CN113382224B - 一种基于全息沙盘的交互手柄展示方法及装置 - Google Patents

Abstract

本申请公开了一种基于全息沙盘的交互手柄展示方法及装置，所述方法包括：在沙盘式显示装置根据第一显示信号进行全息影像展示时，若接收到交互指令，则识别佩戴所述头戴式显示装置的用户的手部位置；获取用户的视点信息，所述视点信息示出所述用户双目的位置以及所述用户双目的视角；根据所述手部位置，确定用于生成交互手柄的手持端的第一位置；并且，根据手部位置和所述视点信息，确定用于生成交互手柄的指示端的第二位置；所述手持端是所述交互手柄的一端、所述交互端是所述交互手柄的另一端；根据所述第一位置和所述第二位置，生成第二显示信号，发送至所述沙盘式显示装置，使得所述沙盘式显示装置根据所述第一显示信号和所述第二显示信号，进行全息影像展示。

Description

一种基于全息沙盘的交互手柄展示方法及装置

技术领域

本申请涉及仿真显示技术领域，尤其涉及一种基于全息沙盘的交互手柄展示方法及装置。

背景技术

全息展示技术(Front-Projected Holographic Display)也称虚拟成像技术，是利用干涉和衍射原理记录并再现物体真实的三维图像的技术，具有能够满足人眼视觉的全部感知，甚至观看者可以不借助头盔、眼镜等辅助装置进行观看三维图像的优点。随着显示技术不断的发展，全息展示技术获得了越来越多的关注。

在影院、科技馆、博物馆，甚至虚拟现实(Virtual Reality，VR)头盔等应用场景中，弧形或环形全息影像可以使观看者获取环视效果，从而极大地提高观看者的观看体验，让观看者有身临其境的感觉。

发明内容

本申请实施例提供了一种基于全息沙盘的交互手柄展示方法及装置，以至少部分的解决上述技术问题。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种基于全息沙盘的交互手柄展示方法，所述方法基于全息展示系统，所述全息展示系统包括：显示处理设备、沙盘式显示装置和头戴式显示装置；所述沙盘式显示装置是全息沙盘；

所述显示处理设备与沙盘式显示装置、头戴式显示装置分别地电连接；所述基于全息沙盘的交互手柄展示方法由所述显示处理设备执行，所述方法包括：

在所述沙盘式显示装置根据第一显示信号进行全息影像展示时，若接收到交互指令，则识别佩戴所述头戴式显示装置的用户的手部位置；

获取所述用户的视点信息，所述视点信息示出所述用户双目的位置以及所述用户双目的视角；

根据所述手部位置，确定用于生成交互手柄的手持端的第一位置；并且，根据所述手部位置和所述视点信息，确定用于生成交互手柄的指示端的第二位置；所述手持端是所述交互手柄的一端、所述交互端是所述交互手柄的另一端；

根据所述第一位置和所述第二位置，生成第二显示信号，发送至所述沙盘式显示装置，使得所述沙盘式显示装置根据所述第一显示信号和所述第二显示信号，进行全息影像展示。

在本说明书一个可选的实施例中，所述方法之前，还包括：

判断所述沙盘式显示装置是否正在根据第一显示信号进行全息影像展示；

若是，则进行针对交互指令的检测；

若否，则再次执行所述判断。

在本说明书一个可选的实施例中，根据所述手部位置和所述视点信息，确定用于生成交互手柄的指示端的第二位置，包括：

以所述手部位置为起点延伸指定长度，使得延伸得到的终点与所述用户的视线交汇，确定所述终点是第二位置；所述用户的视线是根据所述视点信息得到的。

在本说明书一个可选的实施例中，通过所述交互手柄实现的交互包括以下至少一种：对所述沙盘式显示装置输出的影像进行放大、缩小、移动、旋转、选取、更换。

在本说明书一个可选的实施例中，所述方法之后，还包括：

判断所述沙盘式显示装置展示的全息影像的轮廓是否与所述交互手柄的指示端相交；

若否，则放大所述沙盘式显示装置展示的全息影像，直至全息影像的轮廓与所述交互手柄的指示端相交。

在本说明书一个可选的实施例中，所述方法，还包括：

根据所述用户的视点信息，生成左目第一显示信号和右目第一显示信号；

对所述左目第一显示信号和右目第一显示信号进行处理，生成第一显示信号，输出至所述沙盘式显示装置，使得所述沙盘式显示装置根据所述第一显示信号，输出影像；

生成同步信号，发送至所述头戴式显示装置，使得所述头戴式显示装置根据所述同步信号，采集所述沙盘式显示装置输出的影像，以交替式地向穿戴所述头戴式显示装置的用户展示采集的影像。

在本说明书一个可选的实施例中，所述全息展示系统还包括：虚拟相机；所述虚拟相机的位置与所述用户双目的位置相同，所述虚拟相机的视角与所述用户双目的视角相同；所述虚拟相机用于根据其所处的位置和视角，对所述头戴式显示装置所处的环境进行图像采集；

所述方法还包括：

获取所述虚拟相机采集的图像；

根据所述虚拟相机采集的图像，生成第一显示信号，使得所述沙盘式显示装置展示的全息影像中，示出所述环境中的至少部分内容。

在本说明书一个可选的实施例中，所述全息展示系统还包括：动捕相机；

所述用户的手部位置是根据所述动捕相机采集的数据得到的。

第二方面，本申请实施例还提供一种全息展示装置，用于实现前述的任意一种全息展示装置。

第三方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述第一方面中的方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述第一方面中的方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本说明书中的基于全息沙盘的交互手柄展示方法及装置，采用沙盘式显示装置与头戴式显示装置相配合的方式，向用户展示全息影像，沙盘式显示装置的可控制性强，其显示的亮度可以根据其所处的场景的亮度进行调整，即使在较暗的场景中，也能够获得较好的全息影像展示效果。此外，本说明书中的过程能够在用户观看全息影像时，通过为用户展示交互手柄的方式，实现用户与全息展示系统之间的交互，有利于改善用户体验。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a为本说明书实施例提供的一种全息展示场景示意图；

图1b为本说明书实施例提供的一种基于全息沙盘的交互手柄展示方法为用户提供的全息影像示意图；

图2为本说明书实施例提供的一种基于全息沙盘的交互手柄展示过程示意图；

图3为本说明书实施例提供的一种全息展示装置结构示意图；

图4为本申请实施例中一种电子设备的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其它元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第二”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

以下结合附图，详细说明本申请各实施例提供的技术方案。

为实现全息展示，本说明书提供一种基于全息沙盘的交互手柄展示方法。该基于全息沙盘的交互手柄展示方法包基于全息展示系统，全息展示系统包括：显示处理设备、沙盘式显示装置和头戴式显示装置，其中，头戴式显示装置的数量为多个，不同的头戴式显示装置由不同的用户佩戴，头戴式显示装置跟随用户的移动而移动。由于不同用户相对于沙盘式显示装置的位姿不同，导致不同的头戴式显示装置的视点不同。

在全息展示系统中，显示处理设备与沙盘式显示装置、头戴式显示装置分别地电连接。采用全息展示系统向用户展示全息图像的场景示意性的如图1a和图1b所示，在图1a和图1b所示的场景中，沙盘式显示装置固定地设置于全息展示的场地中，用户将头戴式显示装置佩戴于身上。用户为多个，不同的用户佩戴不同的头戴式显示装置(如图1a和图1b中所示的头戴式显示装置1至头戴式显示装置n)。需要说明的是，本说明书对全息展示系统的头戴式显示装置的具体数量不做限制，本说明书中的基于全息沙盘的交互手柄展示方法和全息展示系统，也适用于只有一个用户的场景。

在本说明书一个可选的实施例中，显示处理设备可以与沙盘式显示装置集成为一体。头戴式显示装置可以是具有显示功能的眼镜。

本说明书对沙盘式显示装置在全息展示的场地中的设置方式不做具体限制，例如，沙盘式显示装置可以悬挂于墙上，也可以设置于地面上。

本说明书对全息展示系统中包含的沙盘式显示装置的数量也不做具体限制。在沙盘式显示装置为多个的情况下，不同沙盘式显示装置在场地中的设置放置可以相同也可以不同。

本说明书中的基于全息沙盘的交互手柄展示过程可以由全息展示系统中的显示处理设备执行，该基于全息沙盘的交互手柄展示过程可以包括以下步骤中的至少部分。

S200：在所述沙盘式显示装置根据第一显示信号进行全息影像展示时，若接收到交互指令，则识别佩戴所述头戴式显示装置的用户的手部位置。

本说明书中的过程旨在向用户输出全息影像，为使得用户能够体验到全息影像的立体感，并与此同时，实现用户与全息展示系统之间的交互。由此，本说明书中的过程以接收到交互指令为开始交互的时机。

本说明书中的交互指令是基于用户的触发生成的。本说明书对用户触发交互指令的方式不做具体限制，例如，用户可以通过语音、指定手势等方式触发交互指令。

在本说明书一个可选的实施例中，所述全息展示系统还包括：动捕相机。可以通过动辅相机采集到的图像，识别出用户的指定手势，进而触发交互指令。

此外，在本说明书其他可选的实施例中，全息展示系统还对交互终止指令进行检测，若检测到交互终止指令，则终止对交互手柄的展示。

进一步地，在本说明书其他可选的实施例中，还可以在本步骤之前判断所述沙盘式显示装置是否正在根据第一显示信号进行全息影像展示；若是，表明沙盘式显示装置当前处于使用状态，则进行针对交互指令的检测；若否，则再次执行所述判断。

S202：获取所述用户的视点信息，所述视点信息示出所述用户双目的位置以及所述用户双目的视角。

本说明书中的过程旨在向多个不同视点下的用户输出全息影像。由于每个用户的视点(即，该用户佩戴的头戴式显示装置的视点)均不同程度的有所差异，本说明书中的显示处理设备针对每个头戴式显示装置确定其视点。

在本说明书一个可选的实施例中，显示处理设备针对用户的双目的视角分别地输出显示信号，即左目第一显示信号和右目第一显示信号。左目第一显示信号和右目第一显示信号之间存在一定的差异，以模拟用户双眼视角的差异，进而实现具有立体感的显示。

在本说明书一个可选的实施例中，左目第一显示信号和右目第一显示信号对应的图像规格均为1920像素*1080像素。左目第一显示信号和右目第一显示信号的输出频率均为60赫兹。

显示处理设备对所述左目第一显示信号和右目第一显示信号进行的处理，使得得到的第一显示信号能够通过沙盘式显示装置进行展示。

S204：根据所述手部位置，确定用于生成交互手柄的手持端的第一位置。

具体地，可以是所述沙盘式显示装置所处的场景中建立坐标系，将所述动辅相机采集到的图像映射至所述坐标系，在映射后的图像中识别出所述用户手部在所述坐标系中的位置，作为用户的手部位置。

此外，本说明书中涉及的其他位置概念，也可以是在该坐标系下的位置。

S206：根据所述手部位置和所述视点信息，确定用于生成交互手柄的指示端的第二位置。

在本说明书中，交互手柄的指示端即为交互手柄远离用户手部的一端。在本说明书一个可选的实施例中，可以以所述手部位置为起点延伸指定长度，使得延伸得到的终点与所述用户的视线交汇，确定所述终点是第二位置；所述用户的视线是根据所述视点信息得到的。

S208：根据所述第一位置和所述第二位置，生成第二显示信号，发送至所述沙盘式显示装置。

第二显示信号用于在展示给用户的全息图像中展示交互手柄。此后，用户可以通过交互手柄，实现与全息展示系统的交互。

本说明书对交互的方式不做具体限制，例如，交互的方式可以是对所述沙盘式显示装置输出的影像进行放大、缩小、移动、旋转、选取、更换。

具体地，可以识别用户手势，在预设的各标准手势中，确定出与用户手势匹配的标准手势，根据该确定出的标准手势对应的交互方式，进行交互。具体地，若确定出的交互方式是旋转，则针对所述盘式显示装置输出的影像进行旋转。

在本说明一个可选的实施例中，沙盘式显示装置是LED(Light Emitting Diode，发光二极管)显示装置。第一显示信号对应的图像规格为1920像素*1080像素，第一显示信号的输出频率为120赫兹，以实现以60赫兹的频率，对用户的双目交替的输出画面。

沙盘式显示装置在接收到第一显示信号之后，根据第一显示信号输出影像，以供佩戴头戴式显示装置的用户观赏。

为使得沙盘式显示装置和头戴式显示装置能够配合，显示处理设备根据左目第一显示信号和右目第一显示信号，生成同步信号，使得所述头戴式显示装置根据所述同步信号，采集所述沙盘式显示装置输出的影像，以交替式地向穿戴所述头戴式显示装置的用户展示采集的影像。可见，同步信号用于实现对用户的双目交替的输出画面。

在本说明书一个可选的实施例中，所述头戴式显示装置是快门式3D眼镜。

此外，在本说明书中的全息展示系统同时为多个用户提供全息影像展示时，由于每个用户的视点(即，该用户佩戴的头戴式显示装置的视点)均不同程度的有所差异，本说明书中的显示处理设备针对每个头戴式显示装置确定其视点。由于头戴式显示装置的数量不唯一，沙盘式显示装置接收到的第一显示信号也不唯一，则沙盘式显示装置需根据不同的第一显示信号分别的向不同的头戴式显示装置进行全息影像展示。

进一步地，在本说明书一个可选的实施例中，沙盘式显示装置展示的全息影像还会配合交互手柄，以为用户提供更加的交互体验。具体地，显示处理设备判断所述沙盘式显示装置展示的全息影像的轮廓是否与所述交互手柄的指示端相交。若否，表明交互手柄的指示端没有指在全息影像上，造成交互手柄在全息影像上指示的位置不明确，则可以放大所述沙盘式显示装置展示的全息影像，直至全息影像的轮廓与所述交互手柄的指示端相交。

由前述内容可知，本说明中的全息展示需要沙盘式显示装置和头戴式显示装置相配合。该配合一定程度的是通过同步信号实现的。在本说明书一个可选的实施例中，可以通过一个同步信号，实现对所有头戴式显示装置的控制；在本说明书另一个可选的实施例中，可以分别的针对每个头戴式显示装置分别地生成同步信号，以对不同的头戴式显示装置进行分别的控制。

具体地，针对某一头戴式显示装置，同步信号控制该头戴式显示装置在沙盘式显示装置展示该头戴式显示装置视点下的全息影像时，对沙盘式显示装置展示的内容进行采集，并根据采集的结果向用户进行展示。

在本说明书一个可选的实施例中，头戴式显示装置根据所述同步信号，采集所述沙盘式显示装置输出的影像，以交替式地向穿戴所述头戴式显示装置的用户展示采集的影像。

本说明书中的基于全息沙盘的交互手柄展示方法，采用沙盘式显示装置与头戴式显示装置相配合的方式，向用户展示全息影像，沙盘式显示装置的可控制性强，其显示的亮度可以根据其所处的场景的亮度进行调整，即使在较暗的场景中，也能够获得较好的全息影像展示效果。由于本说明中的全息影像由沙盘式显示装置辅助展示，则本说明书中的头戴式显示装置相较于现有的VR眼镜，无需进行较为复杂的数据处理，有利于减小头戴式显示装置的体积和重量，使得用户的体感更加舒适。

此外，现有的3D显示等产品通常只有很窄的观察视点或仅在固定位置上才能看到理想效果，即，现有的3D显示产品仅支持单一视点，但是单视点显示的3D立体交互显示系统越来越不能满足客户的需求。而本说明书中的基于全息沙盘的交互手柄展示方法，采用沙盘式显示装置和头戴式显示装置相配合的方式，即使用户的视点发生变化(可以是由用户的移动引起的)，也能够向用户展示具有立体感的全息影像，有利于改善用户体验。

此外，全息展示系统中的显示处理设备根据头戴式显示装置的视点，控制沙盘式显示装置的展示，即使头戴式显示装置跟随用户移动，头戴式显示装置也能够基于沙盘式显示装置显示的内容，采集到适于用户观看的全息影像。进一步地，全息展示系统包括多个头戴式显示装置，不同的头戴式显示装置被不同的用户佩戴时，会导致不同的头戴式显示装置的视点不同，通过本说明书中方法，能够实现通过同一个沙盘式显示装置，向不同视点的多个头戴式显示装置同时地进行全息影像展示。

为灵活、高效的实现对沙盘式显示装置的控制，在本说明书一个可选的实施例中，显示处理设备在生成各个视点对应的第一显示信号之后，对各视点对应的第一显示信号进行合并处理；将合并处理后得到的复合信号，输出至所述沙盘式显示装置。

在本说明书一个可选的实施例中，复合信号对应的图像规格为1920像素*1080像素。复合信号的输出频率为120*k赫兹。其中，k是头戴式显示设备的数量。在k等于2时，复合信号的输出频率为240赫兹。

为实现显示处理设备与沙盘式显示装置之间的数据传输，并配合多视点输出的场景有效的对沙盘式显示装置进行驱动，在本说明书一个可选的实施例中，全息展示系统还可以包括接收卡。显示处理设备在生成复合信号之后，将复合信号输出至接收卡。接收卡将复合信号还原为各第一显示信号，并分别根据各第一显示信号驱动所述沙盘式显示装置进行全息影像显示。

具体地，接收卡分时地将各第一显示信号输出至沙盘式显示装置，使得沙盘式显示装置分时地根据各第一显示信号进行全息影像显示。在沙盘式显示装置根据对应于第i个(i可是任意整数，表示任意一个)头戴式显示装置的第一显示信号进行全息影像显示时，第i个头戴式显示装置根据同步信号对沙盘式显示装置展示的全息影像进行采集，则采集得到结果是与第i个头戴式显示装置的视点相匹配的。

可见，本说明书中的接收卡具有一定的接口功能，以配合多个沙盘式显示装置同时地进行影像展示，和/或，配合不同型号的沙盘式显示装置进行影像展示。

通过本说明书中的基于全息沙盘的交互手柄展示方法，能够在亮度不同的多种场景中，为用户展示立体感强、画质质量高的全息影像。而在实际的场景中，用户可能会根据其自身的需求在设置沙盘式显示装置的场地中移动，则有可能存在由于用户的移动造成的沙盘式显示装置展示的全息影像与用户的实际视点不匹配的现象，此外，在用户的数量为多个的情况下，多个用户的视点也均一定程度的不相同。

为能够在用户移动的过程中，提供显示效果优异的全息影像，并针对不同的同时展示不同视点下的全息影像，在本说明书一个可选的实施例中，全息展示系统还包括：动捕相机。动捕相机设置于所述沙盘式显示装置上。本说明书中的动捕相机的数量和在沙盘式显示装置上的设置位置、拍摄角度是根据沙盘式显示装置的设置放置、形状、尺寸等确定的。具体地，动捕相机的数量为4个，分别地设置于沙盘式显示装置的角上。动捕相机用于对沙盘式显示装置周围的环境进行图像采集(拍摄)，以捕捉用户在所述场景中的位置，进而获得头戴式显示装置的视点。

在本说明书其他实施中，动捕相机可以设置于沙盘式显示装置的上方，以鸟瞰的视角对环境进行图像采集。

动捕相机可以是在显示处理设备的控制下执行图像采集的。

在本说明书一个可选的实施例中，动捕相机首先获取头戴式显示装置在空间中的3D坐标信息，然后结合获取的佩戴头戴式显示装置的用户在动作捕捉空间中的人眼视点坐标信息，从而完成对用户观看角度的追踪定位，进而将该定位信息传输至显示处理设备。使得显示处理设备在动作捕捉空间的位置信号同步至全息影像，并将所述头戴式显示装置在动作捕捉空间中的三维位置作为全息影像中的虚拟摄像机的位置(即头戴式显示装置的位置)，以计算出所述虚拟摄像机的视点画面。

进一步地，头戴式显示装置包括快门式主动三维眼镜和由至少三个反光标记点组成的刚体等。反光标记点可以是4个。其中，该至少三个反光标记点镶嵌在该快门式主动三维眼镜的外壳结构上。该快门式主动三维眼镜用于接收沙盘式显示装置传输的视点画面(三维信号)，从而获得正确的左右眼画面。具体的，该快门式主动三维眼镜接收该沙盘式显示装置中三维信号发射器发射的三维信号。

该至少三个反光标记点组成的刚体用于标记该快门式主动三维眼镜在动作捕捉空间中的位置，可以捕捉该头戴式显示装置在动作捕捉空间的位置信息，以及佩戴头戴式显示装置的用户在动作捕捉空间中的视点位置信息。这样捕捉该快门式主动三维眼镜在动作捕捉空间中的位置，可以使得用户通过佩戴该快门式主动三维眼镜，可以看到显示内容在浮空中的立体画面，而且可以从各个角度观看三维画面(即全息影像)。

需要说明的是，在本说明书一个可选的实施例中，显示处理设备可以由多个装置构成，显示处理设备的功能可以由构成显示处理设备的各装置配合实现。

具体地，显示处理设备可以包括：显示服务器、显示处理器和同步发射器。第一显示信号是由显示服务器生成的；复合信号和/或同步信号是显示处理器生成的；同步信号是由同步发射器发送至头戴式显示装置的。可选地，前述的左目显示信号和右目显示信号是由显示服务器生成的，显示服务器在生成左目显示信号和右目显示信号之后，发送至显示处理器。显示处理器根据左目显示信号和右目显示信号生成第一显示信号，并发送至沙盘式显示装置。同步信号是由同步发射器发送至头戴式显示装置的。

可选地，显示服务器通过DP或HDMI线与显示处理器电连接；显示处理器通过网口与接收卡电连接；显示处理器通过电缆与同步发射器电连接。接收卡通过排线与沙盘式显示装置电连接。

在本说明书一个可选的实施例中，沙盘式显示装置，可以由小间距的LED显示屏组成，该沙盘式显示装置包括LED显示屏体、三维视频融合器、三维信号发射器等。

其中，该三维视频融合器连接LED显示屏体的发送卡。三维信号发射器接入该三维视频融合器，该三维视频融合器接收经过显示处理设备中显示处理器处理过的虚拟摄像机(即，头戴式显示装置)的视点画面信息，调整显示频率并将画面通过发送卡显示在该LED显示屏体上，以显示左右眼画面，该显示处理器中搭载有全息三维显示算法。该三维信号发射器将该显示频率同步发送至全息3D眼镜，以实现实时显示根据佩戴全息3D眼镜的用户视点位置不同而调整的画面。

在本说明中，虚拟三维场景中，将头戴式显示装置在动作捕捉空间的三维位置作为虚拟空间中虚拟摄像机的位置，这样可以模拟出一个虚拟摄像机的位置从而来捕获头戴式显示装置所在位置的画面，该虚拟三维场景是根据虚拟空间中的虚拟摄像机位置设置的。

则虚拟摄像机所拍摄的画面(即头戴式显示装置视点下的画面)即是佩戴头戴式显示装置的用户的视点所看到的三维虚拟场景画面(即，全息影像)，即通过该虚拟摄像机拍摄出的虚拟三维场景便是用户所观看到的3D视点画面。显示处理设备可以根据头戴式显示装置在动作捕捉空间的视点位置信息实时处理需要显示的画面，同时采用沙盘式显示装置将该视点画面显示出来，可以实现极佳的全息三维显示效果，获得极佳的出屏感以及全息视感。

本申请提供的全息展示系统相较于其他产品，成本大大降低，画面显示更加细腻丰富，色彩更加丰富。显示效果稳定性强，用户使用更加方便，操作控制更为简单。其中，沙盘式显示装置显示效果细腻，亮度高，成本低，采用LED主动3D立体显示技术结合观察视点的空间位置信息，从而实现虚拟物体悬浮于LED显示屏上的3D立体效果，可以提高用户观感，提高全息显示的效果。

除此之外，在本说明书一个可选的实施例中，通过本说明书中的过程不仅仅能够用于向用户展示全息影像，还可以实现与用户的交互。具体地，显示处理设备在接收到交互指令时，生成第二显示信号，输出至沙盘式显示装置，使得沙盘式显示装置根据第二显示信号，输出用于展示交互手柄的影像，使得用户能够针对交互手柄进行操作，以实现交互；交互包括以下至少一种：对沙盘式显示装置输出的影像进行放大、缩小、移动、旋转、选取、更换。

可选地，交互指令是由用户的指定动作触发的，该指定动作可以是由动捕相机采集到的。交互手柄的影像可以是棒状的影像，交互手柄的一端与用户的手部动作配合，跟随用户手部的动作在沙盘式显示装置生成的影像中移动。

在本说明书一个可选的实施例中，显示处理设备采用UE4处理系统。本说明书中的全息展示系统及基于全息沙盘的交互手柄展示方法的适用场景广泛，具体地，可以适用于军事态势推演、工业设备仿真操作、仿真设计、教育教学实训室、医疗仿真实训等场景中。

基于同样的思路，本说明书实施例还提供了对应于图2所示部分过程的一种全息展示装置。所述全息展示装置应用于全息展示系统的显示处理设备。此外，全息展示系统还包括沙盘式显示装置和头戴式显示装置。所述显示处理设备与沙盘式显示装置、头戴式显示装置分别地电连接。如图3所示，所述一种全息展示装置可以包括以下模块中的一个或多个：

手部位置确定模块300，配置为在所述沙盘式显示装置根据第一显示信号进行全息影像展示时，若接收到交互指令，则识别佩戴所述头戴式显示装置的用户的手部位置；

视点信息确定模块302，配置为获取所述用户的视点信息，所述视点信息示出所述用户双目的位置以及所述用户双目的视角。

第一位置确定模块304，配置为根据所述手部位置，确定用于生成交互手柄的手持端的第一位置。

第二位置确定模块306，配置为根据所述手部位置和所述视点信息，确定用于生成交互手柄的指示端的第二位置；所述手持端是所述交互手柄的一端、所述交互端是所述交互手柄的另一端。

第二显示信号确定模块308，配置为根据所述第一位置和所述第二位置，生成第二显示信号，发送至所述沙盘式显示装置，使得所述沙盘式显示装置根据所述第一显示信号和所述第二显示信号，进行全息影像展示。

在本说明书一个可选的实施例中，所述装置还包括第一判断模块。

所述第一判断模块配置为：判断所述沙盘式显示装置是否正在根据第一显示信号进行全息影像展示；若是，则进行针对交互指令的检测；若否，则再次执行所述判断。

在本说明书一个可选的实施例中，第二位置确定模块306具体配置为以所述手部位置为起点延伸指定长度，使得延伸得到的终点与所述用户的视线交汇，确定所述终点是第二位置；所述用户的视线是根据所述视点信息得到的。

在本说明书一个可选的实施例中，交互包括以下至少一种：对所述沙盘式显示装置输出的影像进行放大、缩小、移动、旋转、选取、更换。

在本说明书一个可选的实施例中，所述装置还包括第二判断模块。

所述第二判断模块配置为：判断所述沙盘式显示装置展示的全息影像的轮廓是否与所述交互手柄的指示端相交；若否，则放大所述沙盘式显示装置展示的全息影像，直至全息影像的轮廓与所述交互手柄的指示端相交。

在本说明书一个可选的实施例中，所述装置还包括输出模块。

所述输出模块配置为根据所述用户的视点信息，生成左目第一显示信号和右目第一显示信号；对所述左目第一显示信号和右目第一显示信号进行处理，生成第一显示信号，输出至所述沙盘式显示装置，使得所述沙盘式显示装置根据所述第一显示信号，输出影像；生成同步信号，发送至所述头戴式显示装置，使得所述头戴式显示装置根据所述同步信号，采集所述沙盘式显示装置输出的影像，以交替式地向穿戴所述头戴式显示装置的用户展示采集的影像。

在本说明书一个可选的实施例中，所述全息展示系统还包括：虚拟相机；所述虚拟相机的位置与所述用户双目的位置相同，所述虚拟相机的视角与所述用户双目的视角相同；所述虚拟相机用于根据其所处的位置和视角，对所述头戴式显示装置所处的环境进行图像采集。

所述装置还包括采集模块。所述采集模块配置为获取所述虚拟相机采集的图像；根据所述虚拟相机采集的图像，生成第一显示信号，使得所述沙盘式显示装置展示的全息影像中，示出所述环境中的至少部分内容。

能够理解，上述全息展示装置，能够实现前述实施例中提供的由全息展示装置执行的基于全息沙盘的交互手柄展示过程的各个步骤，关于基于全息沙盘的交互手柄展示方法的相关阐释均适用于全息展示装置，此处不再赘述。

图4是本申请的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成一种全息展示装置和/或第二种全息展示装置。处理器，执行存储器所存放的程序，并具体用于执行前述任意一种基于全息沙盘的交互手柄展示过程。

上述如本申请图2所示实施例揭示的一种全息展示装置和/或第二种全息展示装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图2中全息展示装置执行的至少部分方法步骤，并实现一种全息展示装置和/或第二种全息展示装置在图2所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图2所示实施例中一种全息展示装置和/或第二种全息展示装置执行的方法，并具体用于执行前述的任意一种基于全息沙盘的交互手柄展示方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于全息沙盘的交互手柄展示方法，其特征在于，所述方法基于全息展示系统，所述全息展示系统包括：显示处理设备、沙盘式显示装置和头戴式显示装置；所述沙盘式显示装置是全息沙盘；

所述显示处理设备与沙盘式显示装置、头戴式显示装置分别地电连接；所述基于全息沙盘的交互手柄展示方法由所述显示处理设备执行，所述方法包括：

在所述沙盘式显示装置根据第一显示信号进行全息影像展示时，若接收到交互指令，则识别佩戴所述头戴式显示装置的用户的手部位置；

获取所述用户的视点信息，所述视点信息示出所述用户双目的位置以及所述用户双目的视角；

根据所述手部位置，确定用于生成交互手柄的手持端的第一位置；并且，根据所述手部位置和所述视点信息，确定用于生成交互手柄的指示端的第二位置；所述手持端是所述交互手柄的一端、交互端是所述交互手柄的另一端；

根据所述第一位置和所述第二位置，生成第二显示信号，发送至所述沙盘式显示装置，使得所述沙盘式显示装置根据所述第一显示信号和所述第二显示信号，进行全息影像展示；所述第二显示信号用于在展示给用户的全息图像中展示交互手柄。

2.如权利要求1所述方法，其特征在于，所述方法之前，还包括：

判断所述沙盘式显示装置是否正在根据第一显示信号进行全息影像展示；

若是，则进行针对交互指令的检测；

若否，则再次执行所述判断。

3.如权利要求1所述方法，其特征在于，根据所述手部位置和所述视点信息，确定用于生成交互手柄的指示端的第二位置，包括：

以所述手部位置为起点延伸指定长度，使得延伸得到的终点与所述用户的视线交汇，确定所述终点是第二位置；所述用户的视线是根据所述视点信息得到的。

4.如权利要求1所述方法，其特征在于，通过所述交互手柄实现的交互包括以下至少一种：对所述沙盘式显示装置输出的影像进行放大、缩小、移动、旋转、选取、更换。

5.如权利要求1所述方法，其特征在于，所述方法之后，还包括：

判断所述沙盘式显示装置展示的全息影像的轮廓是否与所述交互手柄的指示端相交；

若否，则放大所述沙盘式显示装置展示的全息影像，直至全息影像的轮廓与所述交互手柄的指示端相交。

6.如权利要求1所述方法，其特征在于，所述方法，还包括：

根据所述用户的视点信息，生成左目第一显示信号和右目第一显示信号；

对所述左目第一显示信号和右目第一显示信号进行处理，生成第一显示信号，输出至所述沙盘式显示装置，使得所述沙盘式显示装置根据所述第一显示信号，输出影像；

生成同步信号，发送至所述头戴式显示装置，使得所述头戴式显示装置根据所述同步信号，采集所述沙盘式显示装置输出的影像，以交替式地向穿戴所述头戴式显示装置的用户展示采集的影像。

7.如权利要求1所述方法，其特征在于，所述全息展示系统还包括：虚拟相机；所述虚拟相机的位置与所述用户双目的位置相同，所述虚拟相机的视角与所述用户双目的视角相同；所述虚拟相机用于根据其所处的位置和视角，对所述头戴式显示装置所处的环境进行图像采集；

所述方法还包括：

获取所述虚拟相机采集的图像；

根据所述虚拟相机采集的图像，生成第一显示信号，使得所述沙盘式显示装置展示的全息影像中，示出所述环境中的至少部分内容。

8.如权利要求1所述方法，其特征在于，所述全息展示系统还包括：动捕相机；

所述用户的手部位置是根据所述动捕相机采集的数据得到的。

9.一种全息展示装置，其特征在于，所述装置包括：

手部位置确定模块，配置为在沙盘式显示装置根据第一显示信号进行全息影像展示时，若接收到交互指令，则识别佩戴头戴式显示装置的用户的手部位置；

视点信息确定模块，配置为获取所述用户的视点信息，所述视点信息示出所述用户双目的位置以及所述用户双目的视角；

第一位置确定模块，配置为根据所述手部位置，确定用于生成交互手柄的手持端的第一位置；

第二位置确定模块，配置为根据所述手部位置和所述视点信息，确定用于生成交互手柄的指示端的第二位置；所述手持端是所述交互手柄的一端、交互端是所述交互手柄的另一端；

第二显示信号确定模块，配置为根据所述第一位置和所述第二位置，生成第二显示信号，发送至所述沙盘式显示装置，使得所述沙盘式显示装置根据所述第一显示信号和所述第二显示信号，进行全息影像展示；所述第二显示信号用于在展示给用户的全息图像中展示交互手柄。

10.一种电子设备，其特征在于，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～8之任一所述方法。