CN115933880A - 基于手持智能设备与头戴显示设备实现的交互方法与系统 - Google Patents

Abstract

本申请涉及一种基于手持智能设备与头戴显示设备实现的交互方法与系统，其中，所述手持智能设备具备图像采集器件，所述方法包括：通过所述手持智能设备的图像采集器件采集佩戴所述头戴显示设备的用户的头部图像；分析所述头部图像；根据对所述头部图像的分析结果，确定所述手持智能设备与所述头戴显示设备之间的相对位置；跟踪所述手持智能设备的位置变化与所述头戴显示设备的姿态变化，确定所述手持智能设备与所述头戴显示设备之间实时的相对位置；以及，根据所述手持智能设备与所述头戴显示设备之间实时的相对位置，在所述头戴显示设备的显示媒介上的相应区域呈现与所述手持智能设备关联的虚拟内容。

Description

基于手持智能设备与头戴显示设备实现的交互方法与系统

技术领域

本发明涉及信息交互领域，尤其涉及一种基于手持智能设备与头戴显示设备实现的交互方法与系统。

背景技术

本部分的陈述仅仅是为了提供与本申请的技术方案有关的背景信息，以帮助理解，其对于本申请的技术方案而言并不一定构成现有技术。

近年来，增强现实(AR)技术获得了越来越广泛的应用。在AR应用中，目前常用的显示交互设备是手持智能设备(例如手机)与头戴显示设备(例如AR眼镜、智能眼镜)。可以在手机或智能眼镜的显示屏上呈现要展示给用户的虚拟内容，并且用户可以与这些虚拟内容进行交互。虚拟内容例如可以是图标、图片、文字、表情符号、虚拟人、虚拟的三维物体、三维场景模型、一段动画、一段视频等等。在AR应用中，手机与智能眼镜会实时地确定其位置和/或姿态信息(下文可以统称为“位姿信息”)，并根据该位置和/或姿态信息来确定要呈现哪些虚拟内容以及如何呈现这些虚拟内容。

然而，由于目前消费级AR眼镜尚未普及，在AR应用中，用户通常是使用手机或头戴显示设备中的一种来进行信息交互，例如，在开放性的商业环境，用户通常是使用手机来进行信息交互，在一些比较封闭的工业运维环境，用户通常是使用头戴显示设备来进行信息交互。

随着消费级AR眼镜的逐渐普及，手机和AR眼镜会成为用户随时携带的最重要的两种智能设备。因此，需要考虑如何同时使用手机与头戴显示设备(例如AR眼镜)来一起协同配合实现信息交互，以利用两者各自的优势。

发明内容

本发明的一个方面涉及一种基于手持智能设备与头戴显示设备实现的交互方法，其中，所述手持智能设备具备图像采集器件，所述方法包括：通过所述手持智能设备的图像采集器件采集佩戴所述头戴显示设备的用户的头部图像；分析所述头部图像；根据对所述头部图像的分析结果，确定所述手持智能设备与所述头戴显示设备之间的相对位置；跟踪所述手持智能设备的位置变化与所述头戴显示设备的姿态变化，确定所述手持智能设备与所述头戴显示设备之间实时的相对位置；以及，根据所述手持智能设备与所述头戴显示设备之间实时的相对位置，在所述头戴显示设备的显示媒介上的相应区域呈现与所述手持智能设备关联的虚拟内容。

在一个实施例中，所述方法还包括：跟踪所述头戴显示设备的位置变化。

在一个实施例中，所述方法还包括：根据对所述头部图像的分析结果，确定所述手持智能设备与所述头戴显示设备之间的相对姿态；跟踪所述手持智能设备的姿态变化；确定所述手持智能设备与所述头戴显示设备之间实时的相对姿态；以及其中，所述根据所述手持智能设备与所述头戴显示设备之间实时的相对位置在所述头戴显示设备的显示媒介上的相应区域呈现与所述手持智能设备关联的虚拟内容包括：根据所述手持智能设备与所述头戴显示设备之间实时的相对位置和姿态，在所述头戴显示设备的显示媒介上的相应区域呈现与所述手持智能设备关联的虚拟内容。

在一个实施例中，其中，通过所述手持智能设备与所述头戴显示设备各自的传感器来跟踪所述手持智能设备与所述头戴显示设备的位置变化或姿态变化。

在一个实施例中，其中，确定所述手持智能设备与所述头戴显示设备之间的相对位置包括：在基于所述手持智能设备定义的空间坐标系中表示所述头戴显示设备的位置；或者，在基于所述头戴显示设备定义的空间坐标系中表示所述手持智能设备的位置。

在一个实施例中，其中，确定所述手持智能设备与所述头戴显示设备之间的相对姿态包括：在基于所述手持智能设备定义的空间坐标系中表示所述头戴显示设备的姿态；或者，在基于所述头戴显示设备定义的空间坐标系中表示所述手持智能设备的姿态。

在一个实施例中，所述方法还包括：所述手持智能设备与所述头戴显示设备中的一个确定其在某个空间坐标系中的位置和姿态；以及，根据该位置和姿态以及基于所述头部图像确定的所述手持智能设备与所述头戴显示设备之间的相对位置和相对姿态，确定所述手持智能设备与所述头戴显示设备中的另一个在所述空间坐标系中的位置和姿态。

在一个实施例中，所述方法还包括：所述手持智能设备与所述头戴显示设备分别确定其在某个空间坐标系中的位置和姿态；以及，根据基于所述头部图像确定的所述手持智能设备与所述头戴显示设备之间的相对位置和相对姿态，校正所述手持智能设备与所述头戴显示设备中的至少一个在所述空间坐标系中的位置和姿态。

在一个实施例中，所述方法还包括：所述手持智能设备与所述头戴显示设备分别确定其在某个空间坐标系中的位置和姿态；以及，根据基于所述头部图像确定的所述手持智能设备与所述头戴显示设备之间的相对位置和相对姿态以及所述头戴显示设备在所述空间坐标系中的位置和姿态，校正所述手持智能设备在所述空间坐标系中的位置和姿态。

本发明的另一个方面涉及一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现本申请所述的方法。

本发明的另一个方面涉及一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现本申请所述的方法。

本发明的另一个方面涉及一种交互系统，包括手持智能设备与头戴显示设备，所述手持智能设备具备图像采集器件，所述手持智能设备与头戴显示设备能够用于实现本申请所述的方法。

本申请的方案通过将手持智能设备与头戴显示设备统一到一个坐标系中，使得手持智能设备主要用于进行交互操作，头戴显示设备主要用于进行信息呈现，从而充分利用两者各自的优势，并且两者协同配合，一起实现便捷的信息展示与交互功能。

另一方面，通过使用手持智能设备的图像采集器件采集用户的头部图像来确定手持智能设备与头戴显示设备之间相对位姿，还具有如下优势：(1)减轻头戴显示设备的工作任务，降低其功耗，提升其续航能力；(2)用户头部相比于手持智能设备而言更大，且具有明显的立体特征，从而能提供更精确的相对定位定姿能力；(3)在用户体验过程中，用户头部或者其上佩戴的头戴智能设备一般不会被遮挡，而手持智能设备经常会被用户手部遮挡，这使得基于用户头部图像实现的识别和定位更加稳定；(4)用户头部形态比较固定，而用户手部形态在操作过程中会经常变化，这使得基于用户头部图像实现的识别和定位更加可靠；(5)头戴智能设备在用户头部的佩戴位置基本不会发生变化(类似于刚性连接)，因此基于用户头部图像能够准确地确定手持智能设备与头戴显示设备的相对位置或姿态。

附图说明

以下参照附图对本发明的实施例作进一步说明，其中：

图1示出了根据一个实施例的基于手机与头戴显示设备实现的交互系统；

图2示出了根据一个实施例的基于手机与头戴显示设备实现的交互方法；

图3示出了根据另一个实施例的基于手机与头戴显示设备实现的交互方法；

图4示出了根据一个实施例的交互界面；

图5示出了根据一个实施例的在基于头戴显示设备定义的空间坐标系中表示手机的位置和姿态的示意图；

图6示出了根据另一个实施例的基于手机与头戴显示设备实现的交互方法；以及

图7示出了根据另一个实施例的基于手机与头戴显示设备实现的交互方法。

图8示出了根据一个实施例的实际效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限制本发明。

图1示出了根据一个实施例的基于手机与头戴显示设备实现的交互系统，该交互系统包括用户101的手机102和头戴显示设备(例如AR眼镜)103。用户101位于场景中，其在手中持有手机102，在头上佩戴着头戴显示设备103，并可以通过手机102和头戴显示设备103来体验各种增强现实或虚拟现实应用。在该系统中，手机102主要用于实现各种增强现实或虚拟现实应用中的交互功能，例如选择虚拟对象、操作虚拟对象、输入信息、等等。头戴显示设备103具有显示媒介，其主要用于通过显示媒介向用户101呈现增强现实或虚拟现实应用的图像或视频信息，例如，向用户101呈现增强现实或虚拟现实应用中的各种虚拟对象。

在一个实施例中，在手机102上(例如手机102的显示屏上)也可以呈现增强现实或虚拟现实应用的图像或视频信息。在一个实施例中，用户101也可以通过头戴显示设备103来实现增强现实或虚拟现实应用中的信息交互功能，例如通过语音、按键、触摸条、手势、眼睛等进行信息交互。

在手机102上具有一个或多个图像采集器件(例如摄像头)，该图像采集器件可用于采集佩戴头戴显示设备103的用户101的头部图像。图像采集器件可以位于手机102的正面、位于手机102的背面、或者位于手机102的其他位置。在一个实施例中，头戴显示设备103上也可以具有一个或多个图像采集器件。

为了通过智能设备(可以是手机或者头戴智能设备)体验各种增强现实或虚拟现实应用，通常需要确定智能设备在空间中的位置和/或姿态信息。如本领域技术人员理解的，可以使用各种可行的定位/定姿技术来确定智能设备在空间中的位置和/或姿态信息，例如可以通过图像识别、场景三维点云、视觉标志、光通信装置或光标签、光信号、无线信号、卫星信号等方式。同时，智能设备也可以通过内置的各种传感器(例如，加速度传感器、磁力传感器、方向传感器、重力传感器、陀螺仪、摄像头等)通过本领域已知的方法(例如，惯性导航、视觉里程计、SLAM、VSLAM、SFM等)来测量或跟踪其位置变化和/或姿态变化，从而确定智能设备在空间中的实时位置和/或姿态。

图2示出了根据一个实施例的基于手机与头戴显示设备实现的交互方法，在该方法中，通过将手机与头戴显示设备统一到一个坐标系中，手机主要用于进行交互操作，头戴显示设备主要用于进行信息呈现，从而充分利用两者各自的优势，并且两者协同配合，一起实现便捷的信息展示与交互功能。该方法包括：

步骤201：通过手机的图像采集器件采集佩戴头戴显示设备的用户的头部图像。

在该方法中，用户可以佩戴头戴显示设备来体验增强现实或虚拟现实应用，同时，用户可以使用手机来执行增强现实或虚拟现实应用中需要的各种操作，例如点击操作菜单、点击操作按钮、瞄准虚拟对象、点击虚拟对象、移动虚拟对象、绘制虚拟作品、输入信息、等等。

在用户使用手机进行操作的过程中，可以改变手机的位置和/或姿态，在这个过程中，手机上的图像采集器件可以采集佩戴所述头戴显示设备的用户的头部图像。采集用户头部图像的过程对于用户而言可以是无感的。

可以理解，手机并非必须持续地采集用户的头部图像，而是可以在检测到用户头部图像时进行采集即可。例如，手机的图像采集器件可以以一定的周期或频率检测其视野中是否存在用户头部，如果检测到，则采集用户头部图像。

用户的头部图像中可以包括用户的头部或头部的一部分(例如用户的面部、鼻子、眼睛、耳朵等)，也可以包括用户头部佩戴的物体(例如头戴显示设备)或其一部分，只要通过该头部图像能够分析出用户头部或所述头戴显示设备相对于手机的位置和/或姿态信息即可。

步骤202：分析所述头部图像。

在采集到用户的头部图像之后，对该头部图像进行分析，例如，可以分析用户头部或头部的一部分的大小、姿态、成像位置等，或者分析用户头部佩戴的物体(例如头戴显示设备)的大小、姿态、成像位置等。该分析操作可以由手机执行，但也可以由头戴显示设备或者其他设备执行(通过从手机接收所述头部图像进行分析)。如何对用户的头部图像进行这种分析，对于本领域技术人员来说是公知的，这里不再赘述。

步骤203：根据对所述头部图像的分析结果，确定所述手机与所述头戴显示设备之间的相对位置。

根据对用户头部图像的分析结果，可以确定手机与头戴显示设备之间的相对位置。例如，通过分析用户头部的大小，可以确定手机与用户头部的距离，并且由于头戴显示设备通常佩戴于用户头部的固定位置，因此可以确定手机与头戴显示设备之间的相对距离；类似地，通过分析用户头部的姿态，可以确定手机与头戴显示设备之间的相对方向，例如，如果采集的头部图像是用户头部的正面，则表明手机位于用户头部的正前方。从而，可以确定手机与头戴显示设备之间的相对位置关系。手机与头戴显示设备之间的相对位置例如可以是手机位于头戴显示设备正前方且距离30厘米处、手机位于头戴显示设备正前偏右15度且距离20厘米处、手机位于头戴显示设备正前偏下10度且距离25厘米处、等等。可以在现有的各种空间坐标系中表示上述相对位置。

在一个实施例中，可以根据对所述头部图像的分析结果，首先确定手机与用户头部的相对位置，然后根据头戴显示设备在用户头部上的佩戴位置，来确定手机与头戴显示设备之间的相对位置。在一个实施例中，也可以根据对所述头部图像的分析结果，直接确定手机与头戴显示设备之间的相对位置，例如，基于头部图像中头戴显示设备的大小、姿态、成像位置等，确定手机与头戴显示设备之间的相对位置。

步骤204：跟踪所述手机的位置变化与所述头戴显示设备的姿态变化，确定所述手机与所述头戴显示设备之间实时的相对位置。

在一个实施例中，在确定了手机与头戴显示设备之间的相对位置之后，可以继续跟踪手机的位置变化与头戴显示设备的姿态变化，并确定所述手机与所述头戴显示设备之间实时的相对位置，例如手机当前相对于头戴显示设备处于哪个方向、距离多远。

在一个实施例中，可以通过手机与头戴显示设备各自的传感器(例如，加速度传感器、磁力传感器、方向传感器、重力传感器、陀螺仪、摄像头等)通过本领域已知的方法(例如，惯性导航、视觉里程计、SLAM、VSLAM、SFM等)来测量或跟踪其位置变化和/或姿态变化，从而确定手机与头戴显示设备在空间中的实时位置和/或姿态。

在该实施例中，对于头戴显示设备，仅跟踪其姿态变化是因为考虑到目前有大量中低端的头戴显示设备仅具备3DOF姿态跟踪能力，因此，在该实施例中，可以不考虑头戴显示设备的位置变化，或者忽略其位置变化。尽管该实施例中未考虑头戴显示设备的位置变化，但对于一些用户通常在原地或特定的小区域进行体验的增强现实或虚拟现实应用(也即，用户通常仅需要转动头部或身体就可以体验)，这并不会对用户体验造成明显的不利影响。

在另一个实施例中，可以进一步跟踪头戴显示设备的位置变化，也即，使用具备6DOF位置+姿态跟踪能力的头戴显示设备。由于该实施例的方案能够跟踪头戴显示设备的位置变化(实际上也是用户的位置变化)，因此其也能适用于用户通常会进行较大范围移动的增强现实或虚拟现实应用，例如在一个场地中的多人射击游戏。

步骤205：根据所述手机与所述头戴显示设备之间实时的相对位置，在所述头戴显示设备的显示媒介上的相应区域呈现与所述手机关联的虚拟内容。

在确定了手机与头戴显示设备之间实时的相对位置后，便可以根据该相对位置，在头戴显示设备的显示媒介上的相应区域呈现与手机关联的虚拟内容。例如，在增强现实或虚拟现实应用中，当使用手机在空间中进行虚拟绘画时，可以根据手机与头戴显示设备之间实时的相对位置在头戴显示设备的显示媒介上的相应区域呈现虚拟画笔或者呈现通过手机绘制的内容。与手机关联的虚拟内容的呈现位置可以与手机重叠，也可以位于手机周围(例如手机的上方、手机的前方、等等)，也可以根据需要位于其他位置。

在一个实施例中，可以进一步将手机用于执行某些操作，例如通过点击手机屏幕或者按下某个按键来执行某些操作，例如发射子弹、放置虚拟对象、删除虚拟对象、等等。

在一个实施例中，除了确定手机与所述头戴显示设备之间的相对位置之外，还可以确定两者的相对姿态。如此，在进行信息交互时，不仅可以利用手机的位置，还可以进一步利用手机的姿态，例如，通过旋转手机改变其姿态来相应地改变游戏中武器的射击方向。图3示出了根据另一个实施例的基于手机与头戴显示设备实现的交互方法，该方法包括(部分步骤与图2中的步骤类似，不再赘述)：

步骤301：通过手机的图像采集器件采集佩戴头戴显示设备的用户的头部图像。

步骤302：分析所述头部图像。

步骤303：根据对所述头部图像的分析结果，确定所述手机与所述头戴显示设备之间的相对位置和姿态。

在该实施例中，除了根据对用户头部图像的分析结果确定手机与所述头戴显示设备之间的相对位置之外，还可以根据对所述头部图像的分析结果，确定手机与头戴显示设备之间的相对姿态，例如，可以根据用户头部在图像中的成像位置，确定手机相对于头戴显示设备的姿态信息。

在一个实施例中，可以根据对所述头部图像的分析结果，首先确定手机与用户头部的相对位置和姿态，然后根据头戴显示设备在用户头部上的佩戴位置，来确定手机与头戴显示设备之间的相对位置和姿态。在一个实施例中，也可以根据对所述头部图像的分析结果，直接确定手机与头戴显示设备之间的相对位置和姿态，例如，基于头部图像中头戴显示设备的大小、姿态、成像位置等，确定手机与头戴显示设备之间的相对位置和姿态。

步骤304：跟踪所述手机与所述头戴显示设备的位置和姿态变化，确定所述手机与所述头戴显示设备之间实时的相对位置和姿态。

在确定了手机与头戴显示设备之间的相对位置和姿态之后，可以继续跟踪手机与头戴显示设备的位置和姿态变化，确定所述手机与所述头戴显示设备之间实时的相对位置和姿态。在一个实施例中，可以通过手机与头戴显示设备各自的传感器来跟踪手机与头戴显示设备的位置和姿态变化。

步骤305：根据所述手机与所述头戴显示设备之间实时的相对位置和姿态，在所述头戴显示设备的显示媒介上的相应区域呈现与所述手机关联的虚拟内容。

在确定了手机与头戴显示设备之间实时的相对位置和姿态后，便可以根据该相对位置和姿态，在头戴显示设备的显示媒介上的相应区域呈现与手机关联的虚拟内容。

在上面的实施例中，对于手机和头戴显示设备，都跟踪了各自的位置和姿态变化，但可以理解，在一个实施例中，也可以跟踪手机的位置和姿态变化，但仅跟踪头戴显示设备的姿态变化(即对于仅具备3DOF姿态跟踪能力的头戴显示设备)。

图4示出了根据一个实施例的交互界面，其是用户通过头戴显示设备的显示媒介观察到的。在该交互界面中，具有虚拟对象(例如用于射击游戏的弓箭)401、用户的手402、手机403。对于增强现实(AR)应用，手402和手机403可以是用户透过头戴显示设备的显示媒介(例如镜片)观察到的实际物体，而虚拟对象401是在头戴显示设备的显示媒介上渲染出的图形或图像。对于虚拟现实(VR)应用，虚拟对象401、手402、手机403都可以是在头戴显示设备的显示媒介上渲染出的图形或图像，其渲染位置可以依赖于用户实际的手的位置和实际的手机的位置。在一个实施例中，对于虚拟现实(VR)应用，也可以仅呈现虚拟对象401，而不呈现手402和手机403，或者呈现手402和虚拟对象401，而不呈现手机403。可以理解，交互界面中也可以具有其他元素。

在该交互界面中，基于实际的手机的实时的位置和/或姿态来确定虚拟对象(例如用于射击游戏的弓箭)401的实时的位置和/或姿态，并依据虚拟对象401的实时的位置和/或姿态将其渲染在头戴显示设备的显示媒介上。

在一个实施例中，可以在空间中以某一位置和姿态显示第一虚拟对象(例如虚拟的交互菜单)，而用户通过移动或者转动手机来改变第二虚拟对象(例如用于在交互菜单中进行选择的虚拟射线)的位置和姿态，从而与第一虚拟对象进行交互。

在一个实施例中，在确定手机与头戴显示设备之间的相对位置和/或姿态时，可以在基于头戴显示设备定义的空间坐标系中表示手机的位置和/或姿态，或者在基于手机定义的空间坐标系中表示头戴显示设备的位置和/或姿态。

图5示出了根据一个实施例的在基于头戴显示设备定义的空间坐标系中表示手机的位置和姿态的示意图。在该示意图中，原点为O的空间坐标系是基于头戴显示设备定义的空间坐标系，其中示出另一个原点为S的空间坐标系，用于表示手机在基于头戴显示设备定义的空间坐标系中的位置和姿态。具体而言，可以基于头戴显示设备建立其空间坐标系(原点为O)，同时基于手机建立另一个坐标系(原点为S)，在确定头戴显示设备和手机的相对位置和姿态关系的基础上，可以方便地将手机的位置和姿态表示在基于头戴显示设备建立的空间坐标系中，或者反过来。

在一个实施例中，可以设定一个公共的空间坐标系，使得手机与头戴显示设备中的一个确定其在该公共的空间坐标系中的位置和姿态，并基于该位置和姿态以及手机与头戴显示设备之间的相对位置和姿态来确定所述手机与所述头戴显示设备中的另一个在所述公共的空间坐标系中的位置和姿态。所述公共的空间坐标系是指可由手机与头戴显示设备共同使用的空间坐标系，其例如可以是某个场所坐标系(例如，针对某个房间、建筑物、园区等建立的坐标系)或者世界坐标系。可以使用各种可行的定位定姿技术(例如通过图像识别、场景三维点云、视觉标志、光通信装置或光标签、光信号、无线信号、卫星信号等方式)来确定手机或头戴显示设备在某个空间坐标系中的位置和姿态信息。

图6示出了根据另一个实施例的基于手机与头戴显示设备实现的交互方法，在该方法中，使得手机确定其在某个公共的空间坐标系中的位置和姿态。该方法包括(部分步骤与图2或图3中的步骤类似，不再赘述)：

步骤601：手机确定其在公共的空间坐标系中的位置和姿态。

手机可以使用各种可行的定位定姿技术来确定其在某个空间坐标系中的位置和姿态。

在一个实施例中，手机可以基于空间中的视觉标志来确定其在空间坐标系中的位置和姿态。视觉标志是指能够被电子设备识别的标志，其可以具有各种各样的形式。在一些实施例中，视觉标志可以用于传递信息，该信息能够被智能设备(例如手机、智能眼镜等)获得。例如，视觉标志可以是能够发出编码的光信息的光通信装置，或者视觉标志可以是带编码信息的图形，例如二维码(例如QR码、小程序码)、条形码等。手机可以通过其上的图像采集器件对视觉标志进行图像采集来获得包含视觉标志的图像，并可以通过分析图像中的视觉标志的成像来识别出视觉标志传递的信息以及确定手机相对于视觉标志的位置或姿态信息，从而确定手机在空间坐标系中的位置和姿态。

步骤602：通过所述手机的图像采集器件采集佩戴所述头戴显示设备的用户的头部图像。

步骤603：分析所述头部图像。

步骤604：根据对所述头部图像的分析结果，确定所述手机与所述头戴显示设备之间的相对位置和姿态。

步骤605：根据所述手机的位置和姿态以及所述手机与所述头戴显示设备之间的相对位置和姿态，确定所述头戴显示设备在所述公共的空间坐标系中的位置和姿态。

通过这种方式，即使头戴显示设备不具备独立确定其在所述空间坐标系中的位置和姿态的能力，例如，不具备用于识别视觉标志的软件或硬件，或者不具备用于无线定位的软件或硬件，也能够间接地确定其在所述空间坐标系中的位置和姿态。

步骤606：跟踪所述手机与所述头戴显示设备的位置和姿态变化，确定所述手机与所述头戴显示设备之间实时的相对位置和姿态。

步骤607：根据所述手机与所述头戴显示设备之间实时的相对位置和姿态，在所述头戴显示设备的显示媒介上的相应区域呈现与所述手机关联的虚拟内容。

在一个实施例中，也可以使得头戴显示设备确定其在某个公共的空间坐标系中的位置和姿态，并基于该位置和姿态以及手机与头戴显示设备之间的相对位置和姿态来确定手机在所述公共的空间坐标系中的位置和姿态。该方法与图6所示的方法类似，在此不再赘述。

在一个实施例中，手机与头戴显示设备可以分别确定各自在某个公共的空间坐标系中的位置和姿态，并基于所述手机与所述头戴显示设备之间的相对位置和相对姿态来校正所述手机与所述头戴显示设备中的至少一个在所述公共的空间坐标系中的位置和姿态。

图7示出了根据另一个实施例的基于手机与头戴显示设备实现的交互方法，在该方法中，使得手机与头戴显示设备分别确定其在公共的空间坐标系中的位置和姿态。该方法包括(部分步骤与图2或图3中的步骤类似，不再赘述)：

步骤701：手机与头戴显示设备分别确定其在公共的空间坐标系中的位置和姿态。

步骤702：通过所述手机的图像采集器件采集佩戴所述头戴显示设备的用户的头部图像。

步骤703：分析所述头部图像。

步骤704：根据对所述头部图像的分析结果，确定所述手机与所述头戴显示设备之间的相对位置和姿态。

步骤705：根据所述手机与所述头戴显示设备之间的相对位置和姿态来校正所述手机与所述头戴显示设备中的至少一个在所述公共的空间坐标系中的位置和姿态。

手机或头戴显示设备在确定其在公共的空间坐标系中的位置和姿态时，可能存在较大误差，而基于所述头部图像确定两者的相对位置和姿态时，通常具有更高的精度和可信度(因为距离较近)，因此，可以基于所述相对位置和姿态来校正手机与头戴显示设备中的至少一个在所述公共的空间坐标系中的位置和姿态。例如，如果手机的定位定姿精度更高(例如，因为具有性能更好的传感器与处理器)，可以基于手机的位置和姿态以及所述相对位置和姿态来校正头戴显示设备的位置和姿态；类似的，如果头戴显示设备的定位定姿精度更高(例如，因为具有性能更好的传感器与处理器)，可以基于头戴显示设备的位置和姿态以及所述相对位置和姿态来校正手机的位置和姿态。可以理解，也可以同时对手机与头戴显示设备两者的位置和姿态进行校正。

步骤706：跟踪所述手机与所述头戴显示设备的位置和姿态变化，确定所述手机与所述头戴显示设备之间实时的相对位置和姿态。

步骤707：根据所述手机与所述头戴显示设备之间实时的相对位置和姿态，在所述头戴显示设备的显示媒介上的相应区域呈现与所述手机关联的虚拟内容。

通过使用公共的空间坐标系，本申请的方案可以跟踪每个参与用户的手机与头戴显示设备在该空间坐标系中的位置和姿态信息，从而能够支持两个或更多个用户同时参与到同一场景，例如，两个或更多个用户同时体验多人射击游戏。

在一个实施例中，根据需要，可以通过手机的图像采集器件重新采集佩戴所述头戴显示设备的用户的头部图像，分析所述头部图像，以及根据对所述头部图像的分析结果，重新确定所述手机与所述头戴显示设备之间的相对位置和/或姿态。例如，可以在用户头部出现在手机图像采集器件的视野内时就执行上述操作。在确定手机与头戴显示设备之间的相对位置和/或姿态后，可以对手机与头戴显示设备中的至少一个的位置和/或姿态进行校正。

在大部分情况下，用户头部通常不会进行剧烈的移动、旋转等动作，而用户的手经常会实施各种复杂或快速动作，这使得头戴智能设备的位姿确定或位姿跟踪性能通常比手机更好，因此，在一个实施例中，可以在确定手机与头戴显示设备之间的相对位置和/或姿态后，基于所述相对位置和/或姿态以及头戴显示设备在空间坐标系中的位置和/或姿态，对手机在该空间坐标系中的位置和/或姿态进行校正，从而显著降低或消除手机的位置和/或姿态误差。如本领域技术人员理解的，可以使用各种可行的定位/定姿技术来确定手机或头戴显示设备在空间坐标系中的位置和/或姿态，例如可以通过图像识别、场景三维点云、视觉标志、光通信装置或光标签、光信号、无线信号、卫星信号等方式，以及/或者可以通过手机或头戴显示设备内置的各种传感器来测量或跟踪其位置变化和/或姿态变化，从而确定其在空间坐标系中的实时位置和/或姿态。

在一个实施例中，手机与头戴显示设备之间的相对位置和/或姿态包括手机相对于头戴显示设备的位置和/或姿态。在一个实施例中，手机与头戴显示设备之间的相对位置和/或姿态包括头戴显示设备相对于手机的位置和/或姿态。

图8示出了根据一个实施例的实际效果图，该实施例是一个增强现实射击游戏，其中，用户手持手机，并通过改变手机的位置和姿态来控制虚拟手枪的位置与瞄准方向。在瞄准后，用户可以通过在手机上执行操作(例如点击手机屏幕、按下某个按键)来发射子弹。

通过使用手机的图像采集器件采集用户的头部图像来确定手机与头戴显示设备之间相对位姿，具有如下优势：(1)减轻头戴显示设备的工作任务，降低其功耗，提升其续航能力；(2)用户头部相比于手机而言更大，且具有明显的立体特征，从而能提供更精确的相对定位定姿能力；(3)在用户体验过程中，用户头部或者其上佩戴的头戴智能设备一般不会被遮挡，而手机经常会被用户手部遮挡，这使得基于用户头部图像实现的识别和定位更加稳定；(4)用户头部形态比较固定，而用户手部形态在操作过程中会经常变化，这使得基于用户头部图像实现的识别和定位更加可靠；(5)头戴智能设备在用户头部的佩戴位置基本不会发生变化(类似于刚性连接)，因此基于头部图像能够准确地确定手持智能设备与头戴显示设备的相对位置或姿态。

在上文中以手机为例进行了说明，但可以理解，本申请并不局限于手机，而是可以适用于其他具有图像采集器件的手持智能设备。

本申请中的头戴显示设备可以是AR眼镜、VR眼镜、智能眼镜、或者任何其他能够用于向用户呈现信息的眼镜。本申请中的头戴显示设备也包括对普通光学眼镜附加构件或插件后而形成的眼镜，例如，通过在普通光学眼镜上附加显示器件而形成的眼镜。

在本发明的一个实施例中，可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如，硬盘、光盘、闪存等)中，当该计算机程序被处理器执行时，能够用于实现本发明的方法。

在本发明的另一个实施例中，可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现本发明的方法。

本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是不符合逻辑的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的，也即，“根据A”可以涵盖“仅仅根据A”，也可以涵盖“根据A和B”，除非特别声明其含义为“仅仅根据A”。在本申请中为了清楚说明，以一定的顺序描述了一些示意性的操作步骤，但本领域技术人员可以理解，这些操作步骤中的每一个并非是必不可少的，其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行，相反，这些操作步骤中的一些可以根据实际需要以不同的顺序执行，或者并行执行，只要新的执行方式不是不符合逻辑的或不能工作。

由此描述了本发明的至少一个实施例的几个方面，可以理解，对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过一些实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (12)

1.一种基于手持智能设备与头戴显示设备实现的交互方法，其中，所述手持智能设备具备图像采集器件，所述方法包括：

通过所述手持智能设备的图像采集器件采集佩戴所述头戴显示设备的用户的头部图像；

分析所述头部图像；

根据对所述头部图像的分析结果，确定所述手持智能设备与所述头戴显示设备之间的相对位置；

跟踪所述手持智能设备的位置变化与所述头戴显示设备的姿态变化，确定所述手持智能设备与所述头戴显示设备之间实时的相对位置；以及

根据所述手持智能设备与所述头戴显示设备之间实时的相对位置，在所述头戴显示设备的显示媒介上的相应区域呈现与所述手持智能设备关联的虚拟内容。

2.根据权利要求1所述的方法，还包括：

跟踪所述头戴显示设备的位置变化。

3.根据权利要求1所述的方法，还包括：

根据对所述头部图像的分析结果，确定所述手持智能设备与所述头戴显示设备之间的相对姿态；

跟踪所述手持智能设备的姿态变化；

确定所述手持智能设备与所述头戴显示设备之间实时的相对姿态；以及其中，

所述根据所述手持智能设备与所述头戴显示设备之间实时的相对位置在所述头戴显示设备的显示媒介上的相应区域呈现与所述手持智能设备关联的虚拟内容包括：

根据所述手持智能设备与所述头戴显示设备之间实时的相对位置和姿态，在所述头戴显示设备的显示媒介上的相应区域呈现与所述手持智能设备关联的虚拟内容。

4.根据权利要求1-3中任一项所述的方法，其中，通过所述手持智能设备与所述头戴显示设备各自的传感器来跟踪所述手持智能设备与所述头戴显示设备的位置变化或姿态变化。

5.根据权利要求1所述的方法，其中，确定所述手持智能设备与所述头戴显示设备之间的相对位置包括：

在基于所述手持智能设备定义的空间坐标系中表示所述头戴显示设备的位置；或者

在基于所述头戴显示设备定义的空间坐标系中表示所述手持智能设备的位置。

6.根据权利要求3所述的方法，其中，确定所述手持智能设备与所述头戴显示设备之间的相对姿态包括：

在基于所述手持智能设备定义的空间坐标系中表示所述头戴显示设备的姿态；或者

在基于所述头戴显示设备定义的空间坐标系中表示所述手持智能设备的姿态。

7.根据权利要求3所述的方法，还包括：

所述手持智能设备与所述头戴显示设备中的一个确定其在某个空间坐标系中的位置和姿态；以及

根据该位置和姿态以及基于所述头部图像确定的所述手持智能设备与所述头戴显示设备之间的相对位置和相对姿态，确定所述手持智能设备与所述头戴显示设备中的另一个在所述空间坐标系中的位置和姿态。

8.根据权利要求3所述的方法，还包括：

所述手持智能设备与所述头戴显示设备分别确定其在某个空间坐标系中的位置和姿态；以及

根据基于所述头部图像确定的所述手持智能设备与所述头戴显示设备之间的相对位置和相对姿态，校正所述手持智能设备与所述头戴显示设备中的至少一个在所述空间坐标系中的位置和姿态。

9.根据权利要求3所述的方法，还包括：

所述手持智能设备与所述头戴显示设备分别确定其在某个空间坐标系中的位置和姿态；以及

根据基于所述头部图像确定的所述手持智能设备与所述头戴显示设备之间的相对位置和相对姿态以及所述头戴显示设备在所述空间坐标系中的位置和姿态，校正所述手持智能设备在所述空间坐标系中的位置和姿态。

10.一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-9中任一项所述的方法。

11.一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-9中任一项所述的方法。

12.一种交互系统，包括手持智能设备与头戴显示设备，所述手持智能设备具备图像采集器件，所述手持智能设备与头戴显示设备能够用于实现权利要求1-9中任一项所述的方法。

Images