CN113382222B - 一种在用户移动过程中基于全息沙盘的展示方法 - Google Patents

Abstract

本申请公开了一种在用户移动过程中基于全息沙盘的展示方法及装置，方法包括：获取各动辅相机采集的图像；识别出各图像中的用户；针对识别出的每个用户，判断各图像中是否存在该用户位于图像的有效区域的图像；有效区域是图像中距图像各边缘的距离均大于指定距离的区域；指定距离是根据图像的尺寸得到的，指定距离不大于图像较短的一边的尺寸的四分之一；若判断结果为否，则在各动辅相机中确定出采集的图像包含的用户数量最少的动辅相机，作为指定动辅相机；并确定该用户为指定用户；调整指定动辅相机的拍摄角度，使得指定用户位于指定动辅相机拍摄的图像的有效区域内。本说明书的过程，避免了针对指定用户出现较大的跟踪误差，以改善用户体验。

Description

一种在用户移动过程中基于全息沙盘的展示方法

技术领域

本申请涉及仿真显示技术领域，尤其涉及一种在用户移动过程中基于全息沙盘的展示方法。

背景技术

全息展示技术(Front-Projected Holographic Display)也称虚拟成像技术，是利用干涉和衍射原理记录并再现物体真实的三维图像的技术，具有能够满足人眼视觉的全部感知，甚至观看者可以不借助头盔、眼镜等辅助装置进行观看三维图像的优点。随着显示技术不断的发展，全息展示技术获得了越来越多的关注。

在影院、科技馆、博物馆，甚至虚拟现实(Virtual Reality，VR)头盔等应用场景中，弧形或环形全息影像可以使观看者获取环视效果，从而极大地提高观看者的观看体验，让观看者有身临其境的感觉。

发明内容

本申请实施例提供了一种在用户移动过程中基于全息沙盘的展示方法及装置，以至少部分的解决上述技术问题。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种在用户移动过程中基于全息沙盘的展示方法，所述方法基于全息展示系统，所述全息展示系统包括：显示处理设备、沙盘式显示装置、定制的支持双视点射频立体眼镜和多个动辅相机；所述沙盘式显示装置是全息沙盘；

所述显示处理设备与沙盘式显示装置、定制的支持双视点射频立体眼镜、多个动辅相机分别地电连接；所述动辅相机绕所述沙盘式显示装置设置，所述在用户移动过程中基于全息沙盘的展示方法由所述显示处理设备执行，所述方法包括：

获取各动辅相机采集的图像；

识别出各图像中的用户；

针对识别出的每个用户，判断各图像中是否存在所述用户位于图像的有效区域的图像；所述有效区域是图像中距图像各边缘的距离均大于指定距离的区域；指定距离是根据图像的尺寸得到的，指定距离不大于图像较短的一边的尺寸的四分之一；

若判断结果为否，则在各动辅相机中确定出采集的图像包含的用户数量最少的动辅相机，作为指定动辅相机；并确定所述用户为指定用户；

调整指定动辅相机的拍摄角度，使得指定用户位于指定动辅相机拍摄的图像的有效区域内。

在本说明书一个可选的实施例中，识别出各图像中的用户之后，所述方法还包括：

确定在各动辅相机采集到的图像中的用户的总数量；

判断所述总数量是否大于预设的数量阈值；

若是，则减小所述指定距离；

若否，则增加所述指定尺寸，并使得所述指定距离不大于图像较短的一边的尺寸的四分之一。

在本说明书一个可选的实施例中，识别出各图像中的用户之后，所述方法还包括：

针对识别到的每个用户，判断所述用户的移动速度是否大于预设的速度阈值；

若是，则增加所述指定距离；

若否，则减小所述指定距离，并使得所述指定距离不大于图像较短的一边的尺寸的四分之一。

在本说明书一个可选的实施例中，所述各动辅相机设置于所述沙盘式显示装置的周围，以对所述沙盘式显示装置周围进行图像采集；或者，

所述动辅相机悬挂于所述沙盘式显示装置上方，以对所述沙盘式显示装置周围进行图像采集。

在本说明书一个可选的实施例中，调整指定动辅相机的拍摄角度之后，还包括：

获取各动辅相机的拍摄角度，判断所述沙盘式显示装置周围的指定范围内，是否存在拍摄死角；

若判断结果为是，则在各动辅相机中，确定出拍摄角度与所述拍摄死角差异最小的动辅相机，作为第一目标相机；

调整所述第一目标相机的拍摄角度，使得所述拍摄死角在所述第一目标相机调整后的拍摄角度内。

在本说明书一个可选的实施例中，所述方法，还包括：

根据所述用户的视点信息，生成左目第一显示信号和右目第一显示信号；

对所述左目第一显示信号和右目第一显示信号进行处理，生成第一显示信号，输出至所述沙盘式显示装置，使得所述沙盘式显示装置根据所述第一显示信号，输出影像；

生成同步信号，发送至所述定制的支持双视点射频立体眼镜，使得所述定制的支持双视点射频立体眼镜根据所述同步信号，采集所述沙盘式显示装置输出的影像，以交替式地向穿戴所述定制的支持双视点射频立体眼镜的用户展示采集的影像。

在本说明书一个可选的实施例中，所述全息展示系统还包括：虚拟相机；所述虚拟相机的位置与所述用户双目的位置相同，所述虚拟相机的视角与所述用户双目的视角相同；所述虚拟相机用于根据其所处的位置和视角，对所述定制的支持双视点射频立体眼镜所处的环境进行图像采集；

所述方法还包括：

获取所述虚拟相机采集的图像；

根据所述虚拟相机采集的图像，生成第一显示信号，使得所述沙盘式显示装置展示的全息影像中，示出所述环境中的至少部分内容。

在本说明书一个可选的实施例中，所述显示处理设备包括：显示服务器、显示处理器和同步发射器；

所述第一显示信号是由所述显示服务器生成的；所述复合信号和/或同步信号是所述显示处理器生成的；所述同步信号是由所述同步发射器发送至所述支持双视点射频立体眼镜的。

在本说明书一个可选的实施例中，所述全息展示系统还用于与用户进行交互；所述方法，还包括：

针对与全息展示系统进行交互的用户，确定包含所述用户的图像对应的指定距离不大于图像较短的一边的尺寸的五分之一。

第二方面，本申请实施例还提供一种全息展示装置，用于实现前述的任意一种全息展示装置。

第三方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述第一方面中的方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述第一方面中的方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本说明书中的在用户移动过程中基于全息沙盘的展示方法及装置，采用沙盘式显示装置与定制的支持双视点射频立体眼镜相配合的方式，向用户展示全息影像，沙盘式显示装置的可控制性强，其显示的亮度可以根据其所处的场景的亮度进行调整，即使在较暗的场景中，也能够获得较好的全息影像展示效果。此外，通过本说明书的过程，在识别出跟踪难度较大的指定用户之后，采用拍摄负担较小的动辅相机对所述指定用户进行跟踪，避免针对指定用户出现较大的跟踪误差，以改善用户体验。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a为本说明书实施例提供的一种全息展示场景示意图；

图1b为本说明书实施例提供的一种在用户移动过程中基于全息沙盘的展示方法为用户提供的全息影像示意图；

图2为本说明书实施例提供的一种在用户移动过程中基于全息沙盘的展示过程示意图；

图3为本申请实施例中一种电子设备的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其它元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第二”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

以下结合附图，详细说明本申请各实施例提供的技术方案。

为实现全息展示，本说明书提供一种在用户移动过程中基于全息沙盘的展示方法。所述在用户移动过程中基于全息沙盘的展示方法包基于全息展示系统，全息展示系统包括：显示处理设备、沙盘式显示装置和定制的支持双视点射频立体眼镜，其中，定制的支持双视点射频立体眼镜的数量为多个，不同的定制的支持双视点射频立体眼镜由不同的用户佩戴，定制的支持双视点射频立体眼镜跟随用户的移动而移动。由于不同用户相对于沙盘式显示装置的位姿不同，导致不同的定制的支持双视点射频立体眼镜的视点不同。

在全息展示系统中，显示处理设备与沙盘式显示装置、定制的支持双视点射频立体眼镜分别地电连接。采用全息展示系统向用户展示全息图像的场景示意性的如图1a和图1b所示，在图1a和图1b所示的场景中，沙盘式显示装置固定地设置于全息展示的场地中，用户将定制的支持双视点射频立体眼镜佩戴于身上。用户为多个，不同的用户佩戴不同的定制的支持双视点射频立体眼镜(如图1a和图1b中所示的定制的支持双视点射频立体眼镜1至定制的支持双视点射频立体眼镜n)。需要说明的是，本说明书对全息展示系统的定制的支持双视点射频立体眼镜的具体数量不做限制，本说明书中的在用户移动过程中基于全息沙盘的展示方法和全息展示系统，也适用于只有一个用户的场景。

在本说明书一个可选的实施例中，显示处理设备可以与沙盘式显示装置集成为一体。本说明书对沙盘式显示装置在全息展示的场地中的设置方式不做具体限制，例如，沙盘式显示装置可以悬挂于墙上，也可以设置于地面上。

本说明书对全息展示系统中包含的沙盘式显示装置的数量也不做具体限制。在沙盘式显示装置为多个的情况下，不同沙盘式显示装置在场地中的设置放置可以相同也可以不同。

用户在沙盘式显示装置周围，体验沙盘式显示装置展示的全息影像。可以理解的是，用户在体验全息影像时，不会一程不变的站立于场地中。在全息影像展示的过程中，用户在沙盘式显示装置周围走动，造成用户与沙盘式显示装置的位置发生变化。

而某一动辅相机可能会同时需要对多个用户进行拍摄，进而对用户进行跟踪，而一个动辅相机的拍摄范围通常是有限的，这就难以保障所述动辅相机跟踪的所有用户，均位于所述动辅相机拍摄的图像的中间部位。通常情况下，针对位于图像边缘的用户的识别难度较大，针对位于图像中间部位的用户的识别难度较小。这就造成对位于图像边缘的用户的识别精度较低。

有鉴于此，提出本说明书中的技术方案，以解决位于图像边缘的用户的识别精度较低的问题。

本说明书中的在用户移动过程中基于全息沙盘的展示过程可以由全息展示系统中的显示处理设备执行，所述在用户移动过程中基于全息沙盘的展示过程可以包括以下步骤中的至少部分。

S200：获取各动辅相机采集的图像。

本说明书中的动辅相机相对于沙盘式展示装置的设置方式可以根据实际的需求调整。例如在一个可选的实施例中，各动辅相机设置于所述沙盘式显示装置的周围，以对所述沙盘式显示装置周围进行图像采集。而在另一个可选的实施例中，所述动辅相机悬挂于所述沙盘式显示装置上方，以对所述沙盘式显示装置周围进行图像采集。

可见，本说明书中的多个动辅相机只要能够对沙盘式显示装置周围的环境进行拍摄即可。

动辅相机采集到的图像可以是视频，也可以是连续拍摄的单帧图像。

S202：识别出各图像中的用户

本说明书对从图像中识别用户的过程不做具体限制，现有技术中的用于人物跟踪、人物识别的算法，均可以用于本步骤。

在实际的场景中，由于在沙盘式显示设备周围进行观赏的用户可能为多个，则从某一动辅相机采集的图像中识别出的用户可以为多个。也可能存在无法从某一动辅相机采集的图像中识别出的用户的情形。

S204：针对识别出的每个用户，判断各图像中是否存在所述用户位于图像的有效区域的图像。

在本说明书中，有效区域即为图像的中间部位。位于有效区域的用户较为便于识别，而在有效区域之外(图像的边缘)的用户，由于图像提供的信息相对较少，则识别的难度较大。

此外，用户在沙盘式显示设备周围不会长时间处于静止状态，使得位于有效区域之外的用户移动在下一帧图像中有可能移动至图像之外，跟踪的难度更大。

在本说明书的过程中，可以确定图像中距图像各边缘的距离均大于指定距离的区域，是有效区域。指定距离是根据图像的尺寸得到的，指定距离不大于图像较短的一边的尺寸的四分之一。通常情况下，图像多为矩形，图像较短的一边即为图像的宽边。

通过本步骤，能够在各用户中识别出任一动辅相机都无法拍摄到位于有效区域的图像的用户。

S206：若判断结果为否，则在各动辅相机中确定出采集的图像包含的用户数量最少的动辅相机，作为指定动辅相机。并确定所述用户为指定用户。

本说明书中的指定用户，即为识别难度较大的用户。指定动辅相机即为图像采集压力较小的动辅相机。

S208：调整指定动辅相机的拍摄角度，使得指定用户位于指定动辅相机拍摄的图像的有效区域内。

通过本步骤，能够调整指定动辅相机对指定用户进行拍摄，以实现对指定用户的跟踪。

可见，通过本说明书的过程，在识别出跟踪难度较大的指定用户之后，采用拍摄负担较小的动辅相机对所述指定用户进行跟踪，避免针对指定用户出现较大的跟踪误差，以改善用户体验。

进一步地，在本说明书一个可选的实施例中，在识别出各图像中的用户之后，确定在各动辅相机采集到的图像中的用户的总数量。然后，判断所述总数量是否大于预设的数量阈值。若是，则减小所述指定距离。若否，则增加所述指定尺寸，并使得所述指定距离不大于图像较短的一边的尺寸的四分之一。

在本说明书的过程中，指定距离并非一成不变。在用户的总数量不大(即，小于数量阈值)时，表明各动辅相机的跟踪压力均不会太大，则用户识别的压力也不会太大，则可以减小指定距离，减小针对动辅相机的拍摄角度的调整时所需的数据处理量。

可选地，数量阈值是根据动辅相机的数量确定出的。数量阈值与动辅相机的数量正相关。此外，数量阈值还与动辅相机的拍摄帧率正相关。

此外，用户移动的速度对动辅相机跟踪用户时的压力恶意构成影响。则在本说明书一个可选的实施例中，针对识别到的每个用户，判断所述用户的移动速度是否大于预设的速度阈值。若是，则增加所述指定距离。若否，则减小所述指定距离，并使得所述指定距离不大于图像较短的一边的尺寸的四分之一。

通过本说明书中的过程，在用户移动速度较大时，动辅相机跟踪用户的压力也较大，增加指定距离将减小有效区域，使得动辅相机对跟踪难度较大的用户也更加敏感。

为进一步提高全息展示系统对用户的跟踪能力，在本说明一个可选的实施例中，可以针对每个动辅相机，获取所述动辅相机采集的图像。识别出所述动辅相机采集的图像中包含的用户。若所述动辅相机采集的图像中未包含用户，则识别除所述动辅相机以外的其他动辅相机拍摄的用户的数量。若其他动辅相机中拍摄的用户的数量大于预设的第一阈值数量，则确定所述其他动辅相机为参照相机。第一阈值数量可以根据全息展示系统的数据处理能力得到。全息展示系统的数据处理能力越高，则第一阈值数量就越大。或者，第一阈值数量可以人为设定。确定出的参照相机，即为采集到的用户数量较多的动辅相机，表明所述动辅相机较为繁忙。调整所述动辅相机的拍摄角度，使得所述动辅相机调整后的拍摄角度与所述参照相机的拍摄角度之间的差异，不大于预设的阈值角度。

在确定出较为繁忙的动辅相机(参照相机)之后，可以将所述没有拍摄到用户的拍摄角度向所述较为繁忙的动辅相机的拍摄角度靠拢，则即使所述较为繁忙的动辅相机采集到的图像由于包含的用户较多，无法高效的进行处理，还可以通过所述原本没有采集到用户的动辅相机，对较为繁忙的动辅相机的图像采集能力进行补充。以有效的平衡动辅相机图像采集压力。

在本说明书一个可选的实施例中，在检测到各动辅相机采集的图像中的用户的数量均小于第二阈值数量时，表明当前对沙盘式显示装置展示的全息图像进行观看的用户较少，则可以调整各动辅相机的拍摄角度，使得各动辅相机的拍摄角度均布所述沙盘式显示装置周围。本步骤可以视为对各动辅相机的位姿的重置。其中，第二阈值数量小于所述第一阈值数量。

可以理解的是，对动辅相机拍摄用户的情况造成影响的因素不仅仅包括用户的数量，还包括用户的移动速度。用户的移动速度越大，动辅相机的拍摄难度越大。则在本说明书一个可选的实施例中，针对每个动辅相机，确定所述动辅相机距当前时刻的指定时间段内，所述动辅相机拍摄的图像中用户的移动速度。若所述用户的移动速度大于阈值速度，则确定所述动辅相机是第二目标相机。在除所述第二目标相机的各其他动辅相机中，确定出与所述第二目标相机的拍摄角度差异最小的动辅相机，作为第三目标相机。调整所述第三目标相机的拍摄角度，使得第三目标相机拍的图像中，包含所述移动速度大于阈值速度的用户。

可见，本说明书中的过程，还能够调动更多的动辅相机对移动速度较快的用户进行有针对性的拍摄，有利于缓解针对移动速度过快的用户的跟踪压力。

此外，本说明书中的全息展示系统还可以实现与用户交互。本说明书中的过程旨在向用户输出全息影像，为使得用户能够体验到全息影像的立体感，并与此同时，实现用户与全息展示系统之间的交互。由此，本说明书中的过程以接收到交互指令为开始交互的时机。

本说明书中的交互指令是基于用户的触发生成的。本说明书对用户触发交互指令的方式不做具体限制，例如，用户可以通过语音、指定手势等方式触发交互指令。

在本说明书一个可选的实施例中，所述全息展示系统还包括：动捕相机。可以通过动辅相机采集到的图像，识别出用户的指定手势，进而触发交互指令。

此外，在本说明书其他可选的实施例中，全息展示系统还对交互终止指令进行检测，若检测到交互终止指令，则终止对交互手柄的展示。

进一步地，在本说明书其他可选的实施例中，还可以在本步骤之前判断所述沙盘式显示装置是否正在根据第一显示信号进行全息影像展示；若是，表明沙盘式显示装置当前处于使用状态，则进行针对交互指令的检测；若否，则再次执行所述判断。

本说明书中的过程旨在向多个不同视点下的用户输出全息影像。由于每个用户的视点(即，所述用户佩戴的定制的支持双视点射频立体眼镜的视点)均不同程度的有所差异，本说明书中的显示处理设备针对每个定制的支持双视点射频立体眼镜确定其视点。

在本说明书一个可选的实施例中，显示处理设备针对用户的双目的视角分别地输出显示信号，即左目第一显示信号和右目第一显示信号。左目第一显示信号和右目第一显示信号之间存在一定的差异，以模拟用户双眼视角的差异，进而实现具有立体感的显示。

在本说明书一个可选的实施例中，左目第一显示信号和右目第一显示信号对应的图像规格均为1920像素*1080像素。左目第一显示信号和右目第一显示信号的输出频率均为60赫兹。

显示处理设备对所述左目第一显示信号和右目第一显示信号进行的处理，使得得到的第一显示信号能够通过沙盘式显示装置进行展示。

具体地，可以是所述沙盘式显示装置所处的场景中建立坐标系，将所述动辅相机采集到的图像映射至所述坐标系，在映射后的图像中识别出所述用户手部在所述坐标系中的位置，作为用户的手部位置。

此外，本说明书中涉及的其他位置概念，也可以是在所述坐标系下的位置。

在本说明书中，交互手柄的指示端即为交互手柄远离用户手部的一端。在本说明书一个可选的实施例中，可以以所述手部位置为起点延伸指定长度，使得延伸得到的终点与所述用户的视线交汇，确定所述终点是第二位置；所述用户的视线是根据所述视点信息得到的。

第二显示信号用于在展示给用户的全息图像中展示交互手柄。此后，用户可以通过交互手柄，实现与全息展示系统的交互。

本说明书对交互的方式不做具体限制，例如，交互的方式可以是对所述沙盘式显示装置输出的影像进行放大、缩小、移动、旋转、选取、更换。

具体地，可以识别用户手势，在预设的各标准手势中，确定出与用户手势匹配的标准手势，根据所述确定出的标准手势对应的交互方式，进行交互。具体地，若确定出的交互方式是旋转，则针对所述盘式显示装置输出的影像进行旋转。

在本说明一个可选的实施例中，沙盘式显示装置是LED(Light Emitting Diode，发光二极管)显示装置。第一显示信号对应的图像规格为1920像素*1080像素，第一显示信号的输出频率为120赫兹，以实现以60赫兹的频率，对用户的双目交替的输出画面。

沙盘式显示装置在接收到第一显示信号之后，根据第一显示信号输出影像，以供佩戴定制的支持双视点射频立体眼镜的用户观赏。

为使得沙盘式显示装置和定制的支持双视点射频立体眼镜能够配合，显示处理设备根据左目第一显示信号和右目第一显示信号，生成同步信号，使得所述定制的支持双视点射频立体眼镜根据所述同步信号，采集所述沙盘式显示装置输出的影像，以交替式地向穿戴所述定制的支持双视点射频立体眼镜的用户展示采集的影像。可见，同步信号用于实现对用户的双目交替的输出画面。

在本说明书一个可选的实施例中，所述定制的支持双视点射频立体眼镜是快门式3D眼镜。

此外，在本说明书中的全息展示系统同时为多个用户提供全息影像展示时，由于每个用户的视点(即，所述用户佩戴的定制的支持双视点射频立体眼镜的视点)均不同程度的有所差异，本说明书中的显示处理设备针对每个定制的支持双视点射频立体眼镜确定其视点。由于定制的支持双视点射频立体眼镜的数量不唯一，沙盘式显示装置接收到的第一显示信号也不唯一，则沙盘式显示装置需根据不同的第一显示信号分别的向不同的定制的支持双视点射频立体眼镜进行全息影像展示。

进一步地，在本说明书一个可选的实施例中，沙盘式显示装置展示的全息影像还会配合交互手柄，以为用户提供更加的交互体验。具体地，显示处理设备判断所述沙盘式显示装置展示的全息影像的轮廓是否与所述交互手柄的指示端相交。若否，表明交互手柄的指示端没有指在全息影像上，造成交互手柄在全息影像上指示的位置不明确，则可以放大所述沙盘式显示装置展示的全息影像，直至全息影像的轮廓与所述交互手柄的指示端相交。

由前述内容可知，本说明中的全息展示需要沙盘式显示装置和定制的支持双视点射频立体眼镜相配合。所述配合一定程度的是通过同步信号实现的。在本说明书一个可选的实施例中，可以通过一个同步信号，实现对所有定制的支持双视点射频立体眼镜的控制；在本说明书另一个可选的实施例中，可以分别的针对每个定制的支持双视点射频立体眼镜分别地生成同步信号，以对不同的定制的支持双视点射频立体眼镜进行分别的控制。

具体地，针对某一定制的支持双视点射频立体眼镜，同步信号控制所述定制的支持双视点射频立体眼镜在沙盘式显示装置展示所述定制的支持双视点射频立体眼镜视点下的全息影像时，对沙盘式显示装置展示的内容进行采集，并根据采集的结果向用户进行展示。

在本说明书一个可选的实施例中，定制的支持双视点射频立体眼镜根据所述同步信号，采集所述沙盘式显示装置输出的影像，以交替式地向穿戴所述定制的支持双视点射频立体眼镜的用户展示采集的影像。

本说明书中的在用户移动过程中基于全息沙盘的展示方法，采用沙盘式显示装置与定制的支持双视点射频立体眼镜相配合的方式，向用户展示全息影像，沙盘式显示装置的可控制性强，其显示的亮度可以根据其所处的场景的亮度进行调整，即使在较暗的场景中，也能够获得较好的全息影像展示效果。由于本说明中的全息影像由沙盘式显示装置辅助展示，则本说明书中的定制的支持双视点射频立体眼镜相较于现有的VR眼镜，无需进行较为复杂的数据处理，有利于减小定制的支持双视点射频立体眼镜的体积和重量，使得用户的体感更加舒适。

此外，现有的3D显示等产品通常只有很窄的观察视点或仅在固定位置上才能看到理想效果，即，现有的3D显示产品仅支持单一视点，但是单视点显示的3D立体交互显示系统越来越不能满足客户的需求。而本说明书中的在用户移动过程中基于全息沙盘的展示方法，采用沙盘式显示装置和定制的支持双视点射频立体眼镜相配合的方式，即使用户的视点发生变化(可以是由用户的移动引起的)，也能够向用户展示具有立体感的全息影像，有利于改善用户体验。

此外，全息展示系统中的显示处理设备根据定制的支持双视点射频立体眼镜的视点，控制沙盘式显示装置的展示，即使定制的支持双视点射频立体眼镜跟随用户移动，定制的支持双视点射频立体眼镜也能够基于沙盘式显示装置显示的内容，采集到适于用户观看的全息影像。进一步地，全息展示系统包括多个定制的支持双视点射频立体眼镜，不同的定制的支持双视点射频立体眼镜被不同的用户佩戴时，会导致不同的定制的支持双视点射频立体眼镜的视点不同，通过本说明书中方法，能够实现通过同一个沙盘式显示装置，向不同视点的多个定制的支持双视点射频立体眼镜同时地进行全息影像展示。

为灵活、高效的实现对沙盘式显示装置的控制，在本说明书一个可选的实施例中，显示处理设备在生成各个视点对应的第一显示信号之后，对各视点对应的第一显示信号进行合并处理；将合并处理后得到的复合信号，输出至所述沙盘式显示装置。

在本说明书一个可选的实施例中，复合信号对应的图像规格为1920像素*1080像素。复合信号的输出频率为120*k赫兹。其中，k是头戴式显示设备的数量。在k等于2时，复合信号的输出频率为240赫兹。

为实现显示处理设备与沙盘式显示装置之间的数据传输，并配合多视点输出的场景有效的对沙盘式显示装置进行驱动，在本说明书一个可选的实施例中，全息展示系统还可以包括接收卡。显示处理设备在生成复合信号之后，将复合信号输出至接收卡。接收卡将复合信号还原为各第一显示信号，并分别根据各第一显示信号驱动所述沙盘式显示装置进行全息影像显示。

具体地，接收卡分时地将各第一显示信号输出至沙盘式显示装置，使得沙盘式显示装置分时地根据各第一显示信号进行全息影像显示。在沙盘式显示装置根据对应于第i个(i可是任意整数，表示任意一个)定制的支持双视点射频立体眼镜的第一显示信号进行全息影像显示时，第i个定制的支持双视点射频立体眼镜根据同步信号对沙盘式显示装置展示的全息影像进行采集，则采集得到结果是与第i个定制的支持双视点射频立体眼镜的视点相匹配的。

可见，本说明书中的接收卡具有一定的接口功能，以配合多个沙盘式显示装置同时地进行影像展示，和/或，配合不同型号的沙盘式显示装置进行影像展示。

通过本说明书中的在用户移动过程中基于全息沙盘的展示方法，能够在亮度不同的多种场景中，为用户展示立体感强、画质质量高的全息影像。而在实际的场景中，用户可能会根据其自身的需求在设置沙盘式显示装置的场地中移动，则有可能存在由于用户的移动造成的沙盘式显示装置展示的全息影像与用户的实际视点不匹配的现象，此外，在用户的数量为多个的情况下，多个用户的视点也均一定程度的不相同。

为能够在用户移动的过程中，提供显示效果优异的全息影像，并针对不同的同时展示不同视点下的全息影像，在本说明书一个可选的实施例中，全息展示系统还包括：动捕相机。动捕相机设置于所述沙盘式显示装置上。本说明书中的动捕相机的数量和在沙盘式显示装置上的设置位置、拍摄角度是根据沙盘式显示装置的设置放置、形状、尺寸等确定的。具体地，动捕相机的数量为4个，分别地设置于沙盘式显示装置的角上。动捕相机用于对沙盘式显示装置周围的环境进行图像采集(拍摄)，以捕捉用户在所述场景中的位置，进而获得定制的支持双视点射频立体眼镜的视点。

在本说明书其他实施中，动捕相机可以设置于沙盘式显示装置的上方，以鸟瞰的视角对环境进行图像采集。

动捕相机可以是在显示处理设备的控制下执行图像采集的。

在本说明书一个可选的实施例中，动捕相机首先获取定制的支持双视点射频立体眼镜在空间中的3D坐标信息，然后结合获取的佩戴定制的支持双视点射频立体眼镜的用户在动作捕捉空间中的人眼视点坐标信息，从而完成对用户观看角度的追踪定位，进而将所述定位信息传输至显示处理设备。使得显示处理设备在动作捕捉空间的位置信号同步至全息影像，并将所述定制的支持双视点射频立体眼镜在动作捕捉空间中的三维位置作为全息影像中的虚拟摄像机的位置(即定制的支持双视点射频立体眼镜的位置)，以计算出所述虚拟摄像机的视点画面。

进一步地，定制的支持双视点射频立体眼镜包括快门式主动三维眼镜和由至少三个反光标记点组成的刚体等。反光标记点可以是4个。其中，所述至少三个反光标记点镶嵌在所述快门式主动三维眼镜的外壳结构上。所述快门式主动三维眼镜用于接收沙盘式显示装置传输的视点画面(三维信号)，从而获得正确的左右眼画面。具体的，所述快门式主动三维眼镜接收所述沙盘式显示装置中三维信号发射器发射的三维信号。

所述至少三个反光标记点组成的刚体用于标记所述快门式主动三维眼镜在动作捕捉空间中的位置，可以捕捉所述定制的支持双视点射频立体眼镜在动作捕捉空间的位置信息，以及佩戴定制的支持双视点射频立体眼镜的用户在动作捕捉空间中的视点位置信息。这样捕捉所述快门式主动三维眼镜在动作捕捉空间中的位置，可以使得用户通过佩戴所述快门式主动三维眼镜，可以看到显示内容在浮空中的立体画面，而且可以从各个角度观看三维画面(即全息影像)。

需要说明的是，在本说明书一个可选的实施例中，显示处理设备可以由多个装置构成，显示处理设备的功能可以由构成显示处理设备的各装置配合实现。

具体地，显示处理设备可以包括：显示服务器、显示处理器和同步发射器。第一显示信号是由显示服务器生成的；复合信号和/或同步信号是显示处理器生成的；同步信号是由同步发射器发送至定制的支持双视点射频立体眼镜的。可选地，前述的左目显示信号和右目显示信号是由显示服务器生成的，显示服务器在生成左目显示信号和右目显示信号之后，发送至显示处理器。显示处理器根据左目显示信号和右目显示信号生成第一显示信号，并发送至沙盘式显示装置。同步信号是由同步发射器发送至定制的支持双视点射频立体眼镜的。

可选地，显示服务器通过DP或HDMI线与显示处理器电连接；显示处理器通过网口与接收卡电连接；显示处理器通过电缆与同步发射器电连接。接收卡通过排线与沙盘式显示装置电连接。

在本说明书一个可选的实施例中，沙盘式显示装置，可以由小间距的LED显示屏组成，所述沙盘式显示装置包括LED显示屏体、三维视频融合器、三维信号发射器等。

其中，所述三维视频融合器连接LED显示屏体的发送卡。三维信号发射器接入所述三维视频融合器，所述三维视频融合器接收经过显示处理设备中显示处理器处理过的虚拟摄像机(即，定制的支持双视点射频立体眼镜)的视点画面信息，调整显示频率并将画面通过发送卡显示在所述LED显示屏体上，以显示左右眼画面，所述显示处理器中搭载有全息三维显示算法。所述三维信号发射器将所述显示频率同步发送至全息3D眼镜，以实现实时显示根据佩戴全息3D眼镜的用户视点位置不同而调整的画面。

在本说明中，虚拟三维场景中，将定制的支持双视点射频立体眼镜在动作捕捉空间的三维位置作为虚拟空间中虚拟摄像机的位置，这样可以模拟出一个虚拟摄像机的位置从而来捕获定制的支持双视点射频立体眼镜所在位置的画面，所述虚拟三维场景是根据虚拟空间中的虚拟摄像机位置设置的。

则虚拟摄像机所拍摄的画面(即定制的支持双视点射频立体眼镜视点下的画面)即是佩戴定制的支持双视点射频立体眼镜的用户的视点所看到的三维虚拟场景画面(即，全息影像)，即通过所述虚拟摄像机拍摄出的虚拟三维场景便是用户所观看到的3D视点画面。显示处理设备可以根据定制的支持双视点射频立体眼镜在动作捕捉空间的视点位置信息实时处理需要显示的画面，同时采用沙盘式显示装置将所述视点画面显示出来，可以实现极佳的全息三维显示效果，获得极佳的出屏感以及全息视感。

本申请提供的全息展示系统相较于其他产品，成本大大降低，画面显示更加细腻丰富，色彩更加丰富。显示效果稳定性强，用户使用更加方便，操作控制更为简单。其中，沙盘式显示装置显示效果细腻，亮度高，成本低，采用LED主动3D立体显示技术结合观察视点的空间位置信息，从而实现虚拟物体悬浮于LED显示屏上的3D立体效果，可以提高用户观感，提高全息显示的效果。

除此之外，在本说明书一个可选的实施例中，通过本说明书中的过程不仅仅能够用于向用户展示全息影像，还可以实现与用户的交互。具体地，显示处理设备在接收到交互指令时，生成第二显示信号，输出至沙盘式显示装置，使得沙盘式显示装置根据第二显示信号，输出用于展示交互手柄的影像，使得用户能够针对交互手柄进行操作，以实现交互；交互包括以下至少一种：对沙盘式显示装置输出的影像进行放大、缩小、移动、旋转、选取、更换。

可选地，交互指令是由用户的指定动作触发的，所述指定动作可以是由动捕相机采集到的。交互手柄的影像可以是棒状的影像，交互手柄的一端与用户的手部动作配合，跟随用户手部的动作在沙盘式显示装置生成的影像中移动。

在本说明书一个可选的实施例中，显示处理设备采用UE4处理系统。本说明书中的全息展示系统及在用户移动过程中基于全息沙盘的展示方法的适用场景广泛，具体地，可以适用于军事态势推演、工业设备仿真操作、仿真设计、教育教学实训室、医疗仿真实训等场景中。

基于同样的思路，本说明书实施例还提供了对应于图2所示部分过程的一种全息展示装置，用以实现前述过程的至少步骤。

能够理解，上述全息展示装置，能够实现前述实施例中提供的由全息展示装置执行的在用户移动过程中基于全息沙盘的展示过程的各个步骤，关于在用户移动过程中基于全息沙盘的展示方法的相关阐释均适用于全息展示装置，此处不再赘述。

图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，所述电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，所述电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，所述内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成一种全息展示装置和/或第二种全息展示装置。处理器，执行存储器所存放的程序，并具体用于执行前述任意一种在用户移动过程中基于全息沙盘的展示过程。

上述如本申请图2所示实施例揭示的一种全息展示装置和/或第二种全息展示装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者所述处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。所述存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

所述电子设备还可执行图2中全息展示装置执行的至少部分方法步骤，并实现一种全息展示装置和/或第二种全息展示装置在图2所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被包括多个应用程序的电子设备执行时，能够使所述电子设备执行图2所示实施例中一种全息展示装置和/或第二种全息展示装置执行的方法，并具体用于执行前述的任意一种在用户移动过程中基于全息沙盘的展示方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在所述计算机可读存储器中的指令产生包括指令装置的制造品，所述指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种在用户移动过程中基于全息沙盘的展示方法，所述方法基于全息展示系统，所述全息展示系统包括：显示处理设备、沙盘式显示装置、定制的支持双视点射频立体眼镜和多个动辅相机；所述沙盘式显示装置是全息沙盘；

所述显示处理设备与沙盘式显示装置、定制的支持双视点射频立体眼镜、多个动辅相机分别地电连接；所述动辅相机绕所述沙盘式显示装置设置，所述在用户移动过程中基于全息沙盘的展示方法由所述显示处理设备执行，所述方法包括：

获取各动辅相机采集的图像；

识别出各图像中的用户；

针对识别出的每个用户，判断各图像中是否存在所述用户位于图像的有效区域的图像；所述有效区域是图像中距图像各边缘的距离均大于指定距离的区域；指定距离是根据图像的尺寸得到的，指定距离不大于图像较短的一边的尺寸的四分之一；

若判断结果为否，则在各动辅相机中确定出采集的图像包含的用户数量最少的动辅相机，作为指定动辅相机；并确定所述用户为指定用户；

调整指定动辅相机的拍摄角度，使得指定用户位于指定动辅相机拍摄的图像的有效区域内。

2.如权利要求1所述方法，其中，识别出各图像中的用户之后，所述方法还包括：

确定在各动辅相机采集到的图像中的用户的总数量；

判断所述总数量是否大于预设的数量阈值；

若是，则减小所述指定距离；

若否，则增加所述指定距离，并使得所述指定距离不大于图像较短的一边的尺寸的四分之一。

3.如权利要求1所述方法，其中，识别出各图像中的用户之后，所述方法还包括：

针对识别到的每个用户，判断所述用户的移动速度是否大于预设的速度阈值；

若是，则增加所述指定距离；

若否，则减小所述指定距离，并使得所述指定距离不大于图像较短的一边的尺寸的四分之一。

4.如权利要求1所述方法，其中，所述动辅相机悬挂于所述沙盘式显示装置上，以对所述沙盘式显示装置周围进行图像采集。

5.如权利要求1所述方法，其中，调整指定动辅相机的拍摄角度之后，还包括：

获取各动辅相机的拍摄角度，判断所述沙盘式显示装置周围的指定范围内，是否存在拍摄死角；

若判断结果为是，则在各动辅相机中，确定出拍摄角度与所述拍摄死角差异最小的动辅相机，作为第一目标相机；

调整所述第一目标相机的拍摄角度，使得所述拍摄死角在所述第一目标相机调整后的拍摄角度内。

6.如权利要求1所述方法，其中，所述全息展示系统还用于与用户进行交互；所述方法，还包括：

针对与全息展示系统进行交互的用户，确定包含与全息展示系统进行交互的用户的图像对应的指定距离不大于图像较短的一边的尺寸的五分之一。

7.如权利要求1所述方法，其中，所述全息展示系统还包括：虚拟相机；所述虚拟相机的位置与所述用户双目的位置相同，所述虚拟相机的视角与所述用户双目的视角相同；所述虚拟相机用于根据其所处的位置和视角，对所述定制的支持双视点射频立体眼镜所处的环境进行图像采集；

所述方法还包括：

获取所述虚拟相机采集的图像；

根据所述虚拟相机采集的图像，生成第一显示信号，使得所述沙盘式显示装置展示的全息影像中，示出所述环境中的至少部分内容。

8.如权利要求7所述方法，其中，所述显示处理设备包括：显示服务器、显示处理器和同步发射器；

所述第一显示信号是由所述显示服务器生成的；复合信号和/或同步信号是所述显示处理器生成的；所述同步信号是由所述同步发射器发送至所述支持双视点射频立体眼镜的；

其中，所述复合信号是对各视点对应的第一显示信号进行合并处理得到的。

9.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～8之任一所述方法。

Images