CN107463261B - 立体交互系统及方法 - Google Patents

Abstract

本公开涉及一种立体交互系统及方法，涉及显示技术领域。该系统包括：姿态跟踪装置，用于获取目标场景中的用户的操作姿态以及用户相对于目标显示平面的位置信息；数据处理装置，与姿态跟踪装置连接，用于根据预设的转换规则将操作姿态转换为操控命令，基于操控命令和位置信息调整待显示内容；以及立体投影装置，与数据处理装置连接，用于将来自数据处理装置的经调整的待显示内容投射至所述目标显示平面。本公开能够使用户准确地与显示内容进行交互，从而能够提高立体交互系统的交互性和交互体验感。

Description

立体交互系统及方法

技术领域

本公开涉及显示技术领域，具体而言，涉及一种立体交互系统以及立体交互方法。

背景技术

与传统的二维显示技术相比，三维显示以其立体感强、展现力丰富以及沉浸感强等优点，已在电影、游戏、展览展示等行业广泛应用。

目前，普通的立体投影仪也已经很成熟，通过佩戴立体眼镜可以实现三维的观看效果。增强现实技术是通过信息技术将虚拟的信息应用到真实世界的技术，在一种增强现实技术方案中，可以将虚拟信息叠加到三维显示的画面内容中。但是在该技术方案中，由于三维显示的画面是通过摄像头采集的图像，不能让用户准确地与画面内容进行交互，难以满足在需要准确交互的场景例如游戏场景下的交互需求。

因此，需要提供一种能够解决上述问题中的一个或多个问题的立体交互系统以及立体交互方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种立体交互系统以及立体交互方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供了一种立体交互系统，包括：

姿态跟踪装置，用于获取目标场景中的用户的操作姿态以及所述用户相对于目标显示平面的位置信息；

数据处理装置，与所述姿态跟踪装置连接，用于根据预设的转换规则将所述操作姿态转换为操控命令，基于所述操控命令和所述位置信息调整待显示内容；以及

立体投影装置，与所述数据处理装置连接，用于将来自所述数据处理装置的经调整的待显示内容投射至所述目标显示平面。

在本公开的一种示例性实施例中，获取所述用户相对于所述目标显示平面的位置信息包括：

获取所述目标场景的深度信息，根据所述深度信息识别所述用户相对于所述目标显示平面的位置信息。

在本公开的一种示例性实施例中，基于所述操控命令调整待显示内容包括：

基于所述操控命令控制待显示内容中的虚拟对象。

在本公开的一种示例性实施例中，基于所述位置信息调整待显示内容包括：

基于所述位置信息对所述待显示内容进行变形。

在本公开的一种示例性实施例中，基于所述位置信息对所述待显示内容进行变形包括：

根据所述位置信息、所述目标显示平面的坐标以及所述姿态跟踪装置的坐标对所述待显示内容进行变形。

在本公开的一种示例性实施例中，基于所述位置信息调整待显示内容还包括：

基于所述位置信息对经变形的待显示内容进行反向变形和坐标系变换来调整所述待显示内容。

根据本公开的一个方面，提供一种立体交互方法，包括：

获取目标场景中的用户的操作姿态以及所述用户相对于目标显示平面的位置信息；

根据预设的转换规则将所述操作姿态转换为操控命令，基于所述操控命令和所述位置信息调整待显示内容；以及

将经调整的待显示内容投射至所述目标显示平面。

在本公开的一种示例性实施例中，获取所述用户相对于所述目标显示平面的位置信息包括：

获取所述目标场景的深度信息，根据所述深度信息识别所述用户相对于所述目标显示平面的位置信息。

在本公开的一种示例性实施例中，基于所述操控命令和所述位置信息调整待显示内容包括：

基于所述操控命令控制待显示内容中的虚拟对象；以及

根据所述位置信息对所述待显示内容进行变形。

在本公开的一种示例性实施例中，基于所述位置信息对所述待显示内容进行变形包括：

根据所述位置信息、所述目标显示平面的坐标对所述待显示内容进行变形。

根据本公开的示例实施例的立体交互系统以及立体交互方法，获取目标场景中的用户的操作姿态以及用户相对于目标显示平面的位置信息；根据预设的转换规则将操作姿态转换为操控命令，基于操控命令和位置信息调整待显示内容并进行显示。一方面，获取目标场景中的用户的操作姿态以及用户相对于目标显示平面的位置信息，能够实时获取用户的操作姿态和位置信息；另一方面，根据预设的转换规则将操作姿态转换为操控命令，基于操控命令和位置信息调整待显示内容并进行显示，能够基于用户的操作姿态以及用户位置在目标显示平面上准确地与待显示内容进行交互，从而提高立体交互系统的交互性和交互体验感。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出了根据本公开一示例性实施例的立体交互系统的框图；

图2示意性示出了根据本公开一示例性实施例的立体交互系统的结构示意图；

图3示意性示出了根据本公开一示例性实施例的立体交互方法的流程图；

图4示意性示出了根据本公开一示例性实施例的坐标变换图；

图5示意性示出了根据本公开一示例性示例的立体交互方法的流程图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免使本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例实施例中，首先提供了一种立体交互系统。参照图1所示，该立体交互系统可以包括：姿态跟踪装置110、数据处理装置120以及立体投影装置130。其中：姿态跟踪装置110用于获取目标场景中的用户的操作姿态以及所述用户相对于目标显示平面的位置信息；数据处理装置120，与所述姿态跟踪装置110连接，用于根据预设的转换规则将所述操作姿态转换为操控命令，基于所述操控命令和所述位置信息调整待显示内容；以及立体投影装置130，与所述数据处理装置120连接，用于将来自所述数据处理装置120的经调整的待显示内容投射至所述目标显示平面。

根据本示例实施例中的立体交互系统，一方面，获取目标场景中的用户的操作姿态以及用户相对于目标显示平面的位置信息，能够实时获取用户的操作姿态和位置信息；另一方面，根据预设的转换规则将操作姿态转换为操控命令，基于操控命令和位置信息调整待显示内容并进行显示，能够基于用户的操作姿态以及用户位置在目标显示平面上准确地与待显示内容进行交互，从而提高立体交互系统的交互性和交互体验感。

下面，将结合附图对本示例实施例中的立体交互系统进行详细的说明。

图2示出了本示例实施例中的立体交互系统100的结构示意图。参照图2所示，姿态跟踪装置110可以跟踪并识别目标场景中的用户的操作姿势以及用户相对于目标显示平面250的位置，姿态跟踪装置110可以采用深度摄像头或体感摄像头等能够记录空间的深度信息的摄像头，深度摄像头可以采用TOF(time of flight，飞行时间)、结构光、立体双摄等技术实现，例如深度摄像头可以为微软公司的Kinect、苹果公司的Primesense、英特尔公司的Realsense等，本公开对此不进行特殊限定。姿态跟踪装置110可以将获取的目标场景中的用户的操作姿态以及用户相对于目标显示平面250的位置传输至数据处理装置120。

需要说明的是，在本示例实施例中，目标显示平面250可以为能够呈现投影画面的桌面，但是本公开的示例实施例中的目标显示平面不限于此，例如目标显示平面也可以为能够呈现投影画面的具有一定偏转角度的平面，还可以为设有全息膜的平面等平面，这同样在本公开的保护范围内。

在本示例实施例中，图2中的数据处理装置130可以为具有足够运算能力的硬件平台例如计算机系统，还可以为云平台，这同样属于本公开的保护范围。数据处理装置120可以接收来自姿态跟踪装置110传输的用户的操作姿态数据，并根据预设的转换规则，将操作姿态转换为操控命令，然后可以根据操控命令改变待显示的内容。举例而言，在本示例实施例中，用户的操作姿态可以为手势操作或通过操作棒操作，预设的转换规则可以为根据用户的手势操作或操作棒操作改变待显示的内容，例如，用户的单指的点击动作可以表示打开待显示的画面内容，用户的手指的拿捏操作可以表示放大待显示的画面内容，用户的单手向左滑动操作可以表示显示下一画面的内容，用户的单手向右滑动操作可以表示显示上一画面的内容。在本示例实施例中，可以根据上述的预设的转换规则将用户的手势操作转换为对待显示内容的操控命令，然后通过操控命令调整待显示的内容。

进一步地，在本示例实施例中，还可以基于所述操控命令控制待显示内容中的虚拟对象。举例而言，在本示例实施例中，可以将预设的转换规则设置为根据用户的操作姿态控制显示内容的改变，例如在用户的操作姿态为用户的手部操作动作时，可以根据用户的手部操作动作控制显示内容的改变。用户的手部操作可以包括点击操作、拖曳操作、五指合拢的抓操作、五指张开的释放操作。在用户的手部操作为点击操作时，可以通过该点击操作选中显示内容中的虚拟对象；在用户的手部操作为拖曳操作时，可以通过该拖曳操作拖动显示内容的虚拟对象；在用户的手部操作为五指合拢的抓操作时，可以通过该抓操作抓住显示内容中的虚拟对象；在用户的手部操作为五指张开的释放操作时，可以通过该释放操作放开显示内容中的虚拟对象。

此外，为了更准确地实现用户与画面内容的互动，在本示例实施例中，数据处理装置120还可以根据用户相对于目标显示平面250的位置或方位对待显示内容进行变形，然后把经变形的待显示内容传输至立体投影仪130进行显示。因此，在本示例实施例中，基于所述位置信息调整待显示内容可以包括：根据所述位置信息、所述目标显示平面的坐标以及所述姿态跟踪装置的坐标对所述待显示内容进行变形。

具体而言，参照图3所示，假设正常画面显示在目标显示平面250上某一点的坐标为(x0,y0)，因为目标显示平面250的坐标原点到姿态跟踪装置110的空间坐标是已知的，因此经过简单的坐标系变换可以得到用户到姿态跟踪装置002的位置坐标转换到显示平面坐标系之后的坐标(x3,y3,z3)。从图4中可以看到对显示画面变形后(x0,y0)点的坐标会变成(x1,y1)。如果不考虑坐标值的正负，仅考虑坐标值的绝对值，那么变形前后的坐标关系如下式(1)所示：

其中，H是立体画面中需要显示的物体的高度，Z为坐标点(x0,y0)与坐标点(x1,y1)之间的距离。根据上述两个方程联立可以求出(x1,y1)的确定解。

进一步地，为了使立体投影装置130投影出来的画面相对于用户位置具有准确的比例。在本示例实施例中，可以在图像处理的时候把要投影的图像事先进行反向变形，变形后的坐标为

然后再经过坐标系变换到投影仪坐标中得到原始图像的变形。

图4示出了立体交互系统100的详细的交互流程。参照图4所示，在步骤S410中，通过姿态跟踪装置110获取用户姿态信息和方位信息；然后在步骤S420中，通过数据处理装置120根据预先设置的规则将姿态信息转换为控制命令；在步骤S430中根据方位信息计算用户相对于目标显示屏幕250的方位；在步骤S440中根据控制命令改变待显示给用户的画面内容；在步骤S450中，根据方位信息调整目标显示画面的变形状态；然后，在步骤S460中，将调整后的画面输出至提供立体投影仪130，立体投影仪130将调整后的画面投射到目标显示平面250上得到最终的效果。

应当注意，尽管在上文详细描述中提及了立体显示系统的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本示例实施例中，还提供了一种立体交互方法。参照图5所示，该立体交互方法可以包括以下步骤：

步骤S510.获取目标场景中的用户的操作姿态以及所述用户相对于目标显示平面的位置信息；

步骤S520.根据预设的转换规则将所述操作姿态转换为操控命令，基于所述操控命令和所述位置信息调整待显示内容；以及

步骤S530.将经调整的待显示内容投射至所述目标显示平面。

进一步地，在本示例实施例中，获取所述用户相对于所述目标显示平面的位置信息可以包括：

获取所述目标场景的深度信息，根据所述深度信息识别所述用户相对于所述目标显示平面的位置信息。

进一步地，在本示例实施例中，基于所述操控命令和所述位置信息调整待显示内容包括：

基于所述操控命令控制待显示内容中的虚拟对象；以及

根据所述位置信息对所述待显示内容进行变形。

进一步地，在本示例实施例中，基于所述位置信息对所述待显示内容进行变形包括：

根据所述位置信息、所述目标显示平面的坐标对所述待显示内容进行变形。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

由于本公开的示例实施例的立体显示方法的各个步骤与上述立体显示系统的示例实施例的各模块对应，因此在此不再赘述。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施例的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (7)

1.一种立体交互系统，其特征在于，包括：

姿态跟踪装置，用于获取目标场景中的用户的操作姿态以及所述用户相对于目标显示平面的位置信息；

数据处理装置，与所述姿态跟踪装置连接，用于根据预设的转换规则将所述操作姿态转换为操控命令，基于所述操控命令和所述位置信息调整待显示内容；以及

立体投影装置，与所述数据处理装置连接，用于将来自所述数据处理装置的经调整的待显示内容投射至所述目标显示平面；

其中，基于所述位置信息调整待显示内容包括：

根据所述位置信息、所述目标显示平面的坐标以及所述姿态跟踪装置的坐标通过变形公式对所述待显示内容进行变形；

其中，所述变形公式为：

其中，H是立体画面中需要显示的物体的高度，Z为坐标点(x0,y0)与坐标点(x1,y1)之间的距离，(x0,y0)为变形前坐标，(x1,y1)为变形后坐标，(x3,y3,z3)为姿态跟踪装置位置坐标转换到显示平面坐标系之后的坐标。

2.根据权利要求1所述的立体交互系统，其特征在于，获取所述用户相对于目标显示平面的位置信息包括：

获取所述目标场景的深度信息，根据所述深度信息识别所述用户相对于所述目标显示平面的位置信息。

3.根据权利要求1所述的立体交互系统，其特征在于，基于所述操控命令调整待显示内容包括：

基于所述操控命令控制待显示内容中的虚拟对象。

4.根据权利要求1所述的立体交互系统，其特征在于，基于所述位置信息调整待显示内容还包括：

基于所述位置信息对经变形的待显示内容进行反向变形和坐标系变换来调整所述待显示内容。

5.一种立体交互方法，其特征在于，包括：

获取目标场景中的用户的操作姿态以及所述用户相对于目标显示平面的位置信息；

根据预设的转换规则将所述操作姿态转换为操控命令，基于所述操控命令和所述位置信息调整待显示内容；以及

将经调整的待显示内容投射至所述目标显示平面；

其中，基于所述操控命令和所述位置信息调整待显示内容包括：

根据所述位置信息、所述目标显示平面的坐标以及姿态跟踪装置的坐标通过变形公式对所述待显示内容进行变形；

其中，所述变形公式为：

其中，H是立体画面中需要显示的物体的高度，Z为坐标点(x0,y0)与坐标点(x1,y1)之间的距离，(x0,y0)为变形前坐标，(x1,y1)为变形后坐标，(x3,y3,z3)为姿态跟踪装置位置坐标转换到显示平面坐标系之后的坐标。

6.根据权利要求5所述的立体交互方法，其特征在于，获取所述用户相对于目标显示平面的位置信息包括：

获取所述目标场景的深度信息，根据所述深度信息识别所述用户相对于所述目标显示平面的位置信息。

7.根据权利要求5所述的立体交互方法，其特征在于，基于所述操控命令和所述位置信息调整待显示内容包括：

基于所述操控命令控制待显示内容中的虚拟对象。

Images