CN115712348A - 手柄控制器、头戴式显示设备及追踪方法 - Google Patents

Abstract

本公开提供一种手柄控制器、头戴式显示设备及追踪方法。具体地，手柄控制器，包括：第一本体；以及第一图像采集单元，设置于所述第一本体上，且被配置为采集用于确定所述手柄控制器的位姿信息的第一光学标记图像；其中，所述第一光学标记图像包括经由头戴式显示设备上布设的第一发光单元形成的第一光学标记。这样的技术方案，有效降低了现有技术中手柄控制器的位姿信息丢失的情况，有助于提高用户体验。

Description

手柄控制器、头戴式显示设备及追踪方法

技术领域

本公开涉及计算机技术领域，尤其涉及一种手柄控制器、头戴式显示设备及追踪方法。

背景技术

扩展现实(Extended Reality，简称XR)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也增强现实(Augmented Reality，简称AR)、虚拟现实(Virtual Reality，简称VR)、混合现实(Mix Reality,简称MR)等多种技术的统称。

定位追踪技术是XR领域的关键技术。定位追踪技术可以定位XR头戴式显示设备(Head Mounted Display，HMD)及手柄在空间的实时位置，具有空间定位追踪的XR头显不仅能更好地提供沉浸感，其产生的眩晕感也会大幅降低，借助定位追踪技术，整个画面可以像现实世界中一样根据我们的移动而真的动起来，并且能够与人体实现准确的交互。

发明内容

有鉴于此，本公开的目的在于提出一种手柄控制器、头戴式显示设备及追踪方法。

基于上述目的，第一方面，本公开提供了一种手柄控制器，包括：

第一本体；以及

第一图像采集单元，设置于所述第一本体上，且被配置为采集用于确定所述手柄控制器的位姿信息的第一光学标记图像；

其中，所述第一光学标记图像包括经由头戴式显示设备上布设的第一发光单元形成的第一光学标记。

第二方面，本公开提供了一种头戴式显示设备，包括：

第二本体；以及

第一发光单元，设置于所述第二本体上，且被配置为形成由手柄控制器获取的第一光学标记。

第三方面，本公开提供了手柄控制器的追踪方法，所述手柄控制器包括第一图像采集单元；所述追踪方法具体包括：

通过第一图像采集单元获取第一光学标记图像；其中，所述第一光学标记图像包括经由头戴式显示设备上布设的第一发光单元形成的第一光学标记；

获取头戴式显示设备在三维空间的第一位姿信息；

根据所述第一光学标记图像和所述第一位姿信息，确定所述手柄控制器的位姿信息。

从上面所述可以看出，本公开提供的手柄控制器、头戴式显示设备及追踪方法，通过在手柄控制器上设置第一图像采集单元，并采集包括经由头戴式显示设备上布设的第一发光单元形成的第一光学标记的第一光学标记图像，利用所述第一光学标记图像确定所述手柄控制器的位姿信息，有效降低了现有技术中手柄控制器的位姿信息丢失的情况，有助于提高用户体验。

附图说明

为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为现有技术中的一种定位追踪方法的场景示意图；

图1B为现有技术中的另一种定位追踪方法的场景示意图；

图2为本公开实施例提供的一种手柄控制器的使用场景示意图；

图3A为本公开实施例提供的一种手柄控制器的结构示意图；

图3B为本公开实施例提供的又一种手柄控制器的结构示意图；

图3C为本公开实施例提供的又一种手柄控制器的结构示意图；

图3D为本公开实施例提供的又一种手柄控制器的结构示意图；

图3E为本公开实施例提供的又一种手柄控制器的结构示意图；

图3F为本公开实施例提供的又一种手柄控制器的结构示意图；

图4为本公开实施例提供的一种头戴式显示设备的部分结构示意图；

图5为本公开实施例提供的一种追踪方法的流程示意图；

图6为本公开实施例提供的又一种追踪方法的流程示意图；

图7为本公开实施例提供的手柄控制器中部分电子部件的结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

增强现实和虚拟现实领域有两大类定位追踪方法，分别是Outside-in和Inside-out。请参阅图1A，Outside-in追踪定位技术需要在房间里布置传感器，通过外部摄像头、基站的传感器等来追踪用户包括头戴式显示设备和手柄控制器的运动。常用的定位方案包括激光扫描定位，红外光学定位和可见光定位。该类方案最大的弊端在于用户需要事先搭建操作环境，在场景内布置两个或更多的传感器。相对的，请参阅图1B，Inside-out方案不需借助外部的辅助设备，仅通过头戴式显示设备自身的摄像头和传感器，结合同步定位与地图构建(Simultaneous Localization and Mapping，简称SLAM)算法来追踪用户的动作即可准确定位。SLAM技术可以依靠自身传感器在未知环境中获得感知信息，递增地创建周围环境的地图，同时利用创建的地图实现自主定位。如今，Inside-out方案得到了广泛的应用。

Inside-out方案主要解决头戴式显示设备的主动定位追踪问题，手柄控制器的六自由度信息(degree of free，简称dof)通常借助额外的技术支持并结合头戴式显示设备的6dof追踪方案才能获得。

可选地，XR领域主流的手柄控制器定位追踪方案基于光学。在一些实施例中，在手柄内设计一些特殊光学标记，例如红外发光二极管(light-emitting diode，简称LED)。这些红外LED依次错落的布满圆环，一般在20-35个之间，并且以固定频率闪烁。此外左右手柄控制器内部各配有一惯性测量单元(Inertial Measurement Unit，简称IMU)。通过头戴式显示设备上的摄像头，实时捕捉手柄控制器圆环内布置红外LED图案，再结合IMU数据，利用计算机视觉中多视图几何理论，确定手柄控制器在空间中的实时位置和姿态。本公开的发明人发现，采用这样的方案，存在明显的视觉盲区，即手柄控制器在头戴式显示设备视野范围时才能稳定工作，一旦用户活动幅度较大，如拉弓、双手背后等就会出现追踪丢失的问题，严重影响用户体验；此外，容易受环境光影响，在光线复杂的环境下工作时可能会产生漂移和抖动。

鉴于此，本公开实施例提供一种手柄控制器。通过在手柄控制器上设置第一图像采集单元，并采集包括经由头戴式显示设备上布设的第一发光单元形成的第一光学标记的第一光学标记图像，利用所述第一光学标记图像确定所述手柄控制器的位姿信息，有效降低了现有技术中手柄控制器的位姿信息丢失的情况，有助于提高用户体验。

如图2～图3F所示，手柄控制器100，具体包括：

第一本体101；以及第一图像采集单元102，设置于第一本体101上，且被配置为采集用于确定所述手柄控制器100的位姿信息的第一光学标记图像；这里，第一图像采集单元102包括至少一摄像头。可选地，摄像头可以选用大视角摄像头，例如，水平视场角(fieldangle of view，FOV)为100°～160°、垂直视场角为80°～120°，深度视场角为130°～160°，摄像头的帧率大于60Hz，分辨率为视频图形阵列(Video Graphics Array，简写VGA)或者720P，采用全局曝光(Global Shutter)的曝光方式。可选地，摄像头可以通过可见光波段和/或红外光波段。

其中，所述第一光学标记图像包括经由头戴式显示设备200上布设的第一发光单元202形成的第一光学标记。

这里，请参阅图2，扩展现实系统包括手柄控制器100和头戴式显示设备200。其中，头戴式显示设备200包括第二本体201，多个第一发光单元202设置于第二本体201上。第一发光单元202的光线能够被第一图像采集单元102获取并形成对应的图像。需要说明的是，多个第一发光单元202以预定的位置约束规则排布，以形成易于识别的第一光学标记，这里不做具体限定。

可选地，多个第一发光单元202不处于同一平面。可选地，第一发光单元202的数量可以是17个或24个。可选地，第一发光单元202可以是红外光光源，例如红外LED。采用红外LED，对应采用红外摄像机，有利于避免环境中可见光的干扰。

可选地，第一光学标记对应至少4个第一发光单元。需要说明的是，第一光学标记图像中至少包含4个特征点才能够确定所述手柄控制器100的位姿信息。由此，第一光学标记对应至少4个第一发光单元，以在第一光学标记图像中形成4个特征点。

图4示出了头戴式显示设备的部分结构示意图。为了便于说明方位关系，图4为头戴式显示设备的俯视图。如图所示，第二本体201围绕头部，第一发光单元202设置于所述第二本体201上。鉴于光线不能穿过头部，第一图像采集单元102难以获取相对位置的第一发光单元202的发射光线，例如第一图像采集单元102位于区域A，则无法获取区域D中第一发光单元202的光线；又如，第一图像采集单元102位于区域B，则无法获取区域C中第一发光单元202的光线。若第一光学标记对应的多个第一发光单元202布设于区域A、区域B、区域C和区域D，由于至少一区域的标记光线被遮挡，必然导致第一光学标记图像获取失败。

由此，在一些实施例中，头戴式显示设备200包括多组第一发光单元202，所述多组第一发光单元202设置于所述头戴式显示设备200的不同方位，并被配置为形成不同的第一光学标记。这里，每组包括多个第一发光单元，且每一组第一发光单元202形成不同的第一光学标记。相应的，不同的所述第一光学标记对应所述头戴式显示设备的不同方位。

采用这样的技术方案，有助于避免因遮挡导致第一光学标记缺失，且借助第一光学标记的类别可以确定手柄控制器100相对于头戴式显示设备200的方位。

示例性的，请参阅图4，若头部的左右眼分别位于区域A和区域B，头戴式显示设备200包括两组第一发光单元202，则第一组第一发光单元202可以位于区域A和区域B，第二组第一发光单元202可以位于区域C和区域D；或者，第一组第一发光单元202可以位于区域A和区域C，第二组第一发光单元202可以位于区域B和区域D。示例性的，头戴式显示设备200包括四组第一发光单元202，则分别位于区域A、区域B、区域C和区域D。

需要说明的是，若采用相同的第一光学标记，则在不同的区域可能得到相同的第一光学标记图像，进而导致难以确定手柄控制器100所在区域的问题。采用不同的第一光学标记，则能够有效避免这一问题。

在一种可替代的实施例中，头戴式显示设备200包括形成相同光学标记的多组第一发光单元202，所述多组第一发光单元202设置于头戴式显示设备200的不同方位且被配置为不同方位的多组第一发光单元按预设规则分别于不同的时间发光。这里，采用多组形成相同光学标记的第一发光单元202，错时发光的方式对头戴式显示设备200的不同方位进行标记，有助于第一图像采集单元102根据时间对获取的第一光学标记图像进行方位区分，进而有助于确定手柄控制器100头戴式显示设备200的方位。

在一些实施例中，请参阅图3D～图3F，手柄控制器100还包括第二发光单元1031，第二发光单元1031被配置为形成第二光学标记；其中，所述第二光学标记用于确定手柄控制器100的位姿信息。需要说明的是，第二光学标记能够被头戴式显示设备200获取。

可选地，手柄控制器100包括安装环103，安装环103内设置多个第二发光单元1031。

为了获取第二光学标记，如图2所示，头戴式显示设备200包括第二图像采集单元203。第二图像采集单元203采集第二发光单元的发射光，获取第二光学标记图像，其中，所述第二光学标记图像包括第二光学标记。

第二发光单元1031的具体类型和第一发光单元202类似，这里不再赘述。为避免第二发光单元1031的光线对于第一图像采集单元102的影响，作为一种可选的实施方式，手柄控制器还包括滤光片，滤光片设置于第一图像采集单元102上，被配置为过滤第二发光单元的发射光。例如，第二发光单元1031发射波长1μm的红外光，第一发光单元202发射波长50μm的红外光，则滤光片过滤波长1μm的红外光，而使波长50μm的红外光的红外光通过。

在一些实施例中，如图3A～3C所示，第一本体101包括握持部1011和位于握持部1011顶端的安装面1012；安装面1012位于握持部1011的端部；第一图像采集单元102设置于安装面1012上。可选地，握持部1011包括手指接触区域1014和手心接触区域1013。

示例性的，图3A示出了一个摄像头的结构示意图，其中左侧为侧视图，右侧为俯视图。具体地，第一图像采集单元102包括一个摄像头；安装面1012由垂直握持部1011的方向向所示握持部的手指接触区域1014倾斜，并且与握持部1011的延伸方向的夹角≤45°(对应图中角α)，例如45°、40°、30°等。这样的设置方案，符合用户手部和头部的相对位置规律，有利于在用户使用过程中，最大限度确保摄像头获取第一光学标记图像。

示例性的，图3B示出了两个摄像头(图中标记1021和1022分别对应两个摄像头)的结构示意图，其中左侧为侧视图，右侧为俯视图。具体地，第一图像采集单元102包括两个摄像头1021,1022；安装面包括第一子面1015和第二子面1016，第一子面1015和第二子面1016的夹角≤90°且≥0°(对应图中角β)，例如90°、45°、30°；两个摄像头分别位于第一子面1015和第二子面1016上。这样的技术方案，通过增加摄像头的数量，能够有效扩大第一图像采集单元的视野范围。

示例性的，图3C示出了三个摄像头的结构示意图，其中左侧为侧视图，右侧为俯视图。具体地，第一图像采集单元102包括三个摄像头；安装面1012为半球面；三个摄像头均匀分布于半球面上。相比于两个摄像头，能够进一步扩大第一图像采集单元102的视野范围。

需要说明的是，图3D～图3F仅示出了安装环103和安装面的相对位置关系。对于安装环103和安装面的具体位置关系，本领域技术人员可以根据实际需求进行设计，这里不做具体限定。

在一些实施例中，还包括第一惯性测量单元；惯用测量单元用于与第一图像采集单元配合，确定手柄控制器的位姿信息。通过第一惯性测量单元，能够增加手柄控制器的位姿信息的准确性。

第二方面，本公开实施例还提供一种手柄控制器的追踪方法。这里，手柄控制器包括第一图像采集单元。

请参阅图2和图5，所述追踪方法具体包括：

步骤S501：通过第一图像采集单元102获取第一光学标记图像；其中，第一光学标记图像包括经由头戴式显示设备200上布设的第一发光单元202形成的第一光学标记。

步骤S503：获取头戴式显示设备200在三维空间的第一位姿信息。这里，头戴式显示设备200具有实时获取三维空间内的第一位姿信息的能力。示例性的，利用头戴式显示设备200上设置的第二惯性测量单元和第二图像采集单元203，基于SLAM算法，确定头戴式显示设备200的第一位姿信息。可选地，第一位姿信息可以包括移动自由度和转动自由度。

步骤S505：根据第一光学标记图像和第一位姿信息，确定手柄控制器的位姿信息。

示例性的，根据第一光学标记图像和第一位姿信息，确定手柄控制器的位姿信息可以采用将手柄控制器100的位姿和头戴式显示设备200的位姿抽象成求解3D到2D点对运动的问题。

可选地，求解3D到2D点对运动的算法可以是直接线性变换(Direct LinearTransform，简写DLT)，P3P、SDP、EPnP算法等。

以直接线性变换算法为例说明如下：

假设某三维空间点P的齐次坐标P＝(X,Y,Z)^T，这里，第一发光单元相对应点P，根据第一位姿信息能够确定第一发光单元的齐次坐标。在图像I中投影到特征点x1＝(u1,v1,1)^T(归一化平面上的齐次坐标)，这里，图像I对应第一光学标记图像。定义一个增广矩阵为[R|t]为一个3×4的矩阵，包含旋转和平移信息，展开如下：

经过一定数学处理，可以得到如下方程：

六对匹配点能够求解上述方程，进而获取手柄控制器100和头戴式显示设备200之间的相对位姿。由于头戴式显示设备200的位姿是已知的，进而也能够实时获取手柄控制器的位姿信息。

在一些实施例中，手柄控制器还包括第一惯性测量单元，追踪方法还包括：

通过第一惯性测量单元获取运动数据，根据运动数据、第一光学标记图像和第一位姿信息，确定手柄控制器的位姿信息。

这里，运动数据包括转动自由度，即偏航角、俯仰角和翻滚角。利用运动数据可以对第一光学标记图像和第一位姿信息得到的位姿信息进行调整，以提高位姿信息的精确度。

对于图像采集单元设置于头戴式显示设备上的方案，由于头部运动会极大的影响画面显示，且运动范围有限，不会采用提醒用户调整头部位置来避免盲区的技术方案。

本公开的发明人注意到手柄控制器是手持设备，而手腕具有较大的灵活性，当第一图像采集单元无法获取第一光学标记图像时，适当调整手腕的角度将大幅度提高第一图像采集单元获取第一光学标记图像的概率，且手腕的活动几乎不影响头戴式显示设备的画面。

鉴于此，在一些实施例中，如图6所示，通过第一图像采集单元获取第一光学标记图像的步骤，具体包括：

步骤S601：通过第一图像采集单元获取原始图像；对原始图像进行预处理，判断是否存在第一光学标记。这里，预处理的方法包括进行光斑检测，例如Blob检测。需要说明的是，本领域技术人员可以选择适宜的预处理方法，这里不做具体限定。

步骤S6031：响应于存在第一光学标记，则确定原始图像为第一光学标记图像。

步骤S6032：否则，发出提示信息；其中，提示信息用于提示用户调整手部姿态，以使第一图像采集单元能够获取包括第一光学标记的图像。

需要说明的是，提示信息可以是手柄控制器发生震动，也可以是头戴式显示设备进行画面提示，还可以是语音提示，这里不做具体限定。

这样的技术方案，能够提高手柄控制器对头戴式显示设备的追踪准确性，特别是对于仅包括一摄像头的手柄控制器，效果显著。

在一些实施例中，响应于形成相同光学标记的多组第一发光单元被布设在头戴式显示设备的不同方位，且被配置为不同方位的多组第一发光单元按预设规则分别于不同的时间发光(请参阅前述图4相关实施例的说明)；所述追踪方法，还包括：

获取第一光学标记图像的采集时间，根据采集时间确定第一光学标记图像中的第一光学标记在头戴式显示设备中的位置。

这里，多组第一发光单元分别于不同的时间发光，根据第一光学标记图像的采集时间与第一发光单元的发光时间进行对应，则可以确定第一光学标记在头戴式显示设备中的位置。

需要说明的是，若考虑第一光学标记图像的采集时间存在延迟，则通过采集时间去除延迟时间可以与发光时间进行匹配。

根据第一光学标记图像、第一位姿信息和第一光学标记在头戴式显示设备中的位置，确定手柄控制器的位姿信息。

这里，借助第一光学标记在头戴式显示设备中的位置，有助于确定第一光学标记的三维坐标，从而是的手柄控制器的位姿信息实时、精确、无死角、长时间的稳定可靠运行。

在一些实施例中，手柄控制器100包括第二发光单元1031；所述追踪方法还包括：

获取头戴式显示设备对手柄控制器的位姿信息的追踪结果；其中，第二发光单元用于头戴式显示设备确定手柄控制器的位姿信息。

本领域技术人员理解的，手柄控制器100包括第二发光单元1031时，头戴式显示设备利用第二图像采集单元203采集第二光学标记图像，能够确定手柄控制器的位姿信息，实现对手柄控制器的追踪。

响应于头戴式显示设备未发现手柄控制器的位姿信息，控制第一图像采集单元获取第一光学标记图像。

这样的技术方案，在头戴式显示设备无法追踪手柄控制器时，利用第一图像采集单元获取第一光学标记图像，能够获取手柄控制器的位姿信息，解决头戴式显示设备存在视觉盲区这一问题。

这里，结合前述，头戴式显示设备200基于第二惯性测量单元、第二图像采集单元和手柄控制器上的第二光学单元，可以对手柄控制器100进行定位追踪。

进一步地，当手柄控制器100包括第一图像采集单元102和第一惯性测量单元时，手柄控制器100可以作为视觉惯导SLAM系统工作。此时，第一图像采集单元用于获取环境图像，基于环境图像和第一惯性测量单元的运动信息，利用SLAM算法可以实现对手柄控制器100的位姿信息的实时获取。又头戴式显示设备包括第一光学单元202，第一图像采集单元102可以获取第一光学标记图像，实现手柄控制器100对头戴式显示设备的姿态信息的定位追踪。

也就是说，头戴式显示设备200和手柄控制器100可以实现双向定位追踪，定位精度和稳定最高，而且没有视觉盲区，是理论上的效果最佳方案。

需要说明的是，对于单目摄像头结合IMU，双目摄像头结合IMU或者三目摄像头结合IMU构建SLAM的方法，本领域技术人员可以进行合理选择，这里不再赘述。

为了避免第二发光单元对第一图像采集单元的干扰，所述追踪方法还包括：

在第一图像采集单元102获取第一光学标记图像的过程中，控制第二发光单元处于熄灭状态。

需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台手柄控制器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本公开一些实施例中，提供一种手柄控制器，包括：

第一本体101；以及

第一图像采集单元102，设置于第一本体101上，且被配置为采集用于确定所述手柄控制器的位姿信息的第一光学标记图像；

其中，所述第一光学标记图像包括经由头戴式显示设备200上布设的第一发光单元202形成的第一光学标记。

在一些实施例中，还包括第二发光单元1031，所述第二发光单元被配置为形成第二光学标记；其中，所述第二光学标记用于确定所述手柄控制器的位姿信息。

在一些实施例中，所述第一本体包括握持部1011和位于握持部1011顶端的安装面1012；所述安装面位于所述握持部的端部；所述第一图像采集单元设置于所述安装面上；

响应于所述第一图像采集单元包括一个摄像头；所述安装面由垂直握持部的方向向所述握持部的手指接触区域倾斜，并且与所述握持部的延伸方向的夹角≤45°；

响应于所述第一图像采集单元包括两个摄像头；所述安装面包括第一子面和第二子面，所述第一子面和所述第二子面的夹角≤90°且≥0°；两个所述摄像头分别位于所述第一子面和所述第二子面上；

响应于所述第一图像采集单元包括三个摄像头；所述安装面为半球面；三个所述摄像头均匀分布于所述半球面上。

在一些实施例中，不同的所述第一光学标记对应所述头戴式显示设备的不同方位。

在一些实施例中，所述第一光学标记对应至少4个第一发光单元。

在一些实施例中，还包括第一惯性测量单元；所述惯用测量单元用于与所述第一图像采集单元配合，确定所述手柄控制器的位姿信息。

在一些实施例中，还包括滤光片，所述滤光片设置于所述第一图像采集单元上，被配置为过滤所述第二发光单元的发射光。

在一些实施例中，还包括处理器；所述处理器被配置为：

通过第一图像采集单元获取第一光学标记图像；其中，所述第一光学标记图像包括经由头戴式显示设备上布设的第一发光单元形成的第一光学标记；

获取头戴式显示设备在三维空间的第一位姿信息；

根据所述第一光学标记图像和所述第一位姿信息，确定所述手柄控制器的位姿信息。

在本公开一些实施例中，提供一种头戴式显示设备，其包括：

第二本体201；以及

第一发光单元202，设置于所述第二本体上，且被配置为形成由手柄控制器获取的第一光学标记。

在一些实施例中，多个所述第一发光单元布设成一组；

多组第一发光单元设置于所述第二本体的不同方位，并被配置为形成不同的第一光学标记或被配置为形成相同的第一光学标记且按预设规则分别于不同的时间发光。

在本公开一些实施例中，提供一种手柄控制器的追踪方法，所述手柄控制器包括第一图像采集单元102；所述追踪方法具体包括：

通过第一图像采集单元获取第一光学标记图像；其中，所述第一光学标记图像包括经由头戴式显示设备上布设的第一发光单元形成的第一光学标记；

获取头戴式显示设备在三维空间的第一位姿信息；

根据所述第一光学标记图像和所述第一位姿信息，确定所述手柄控制器的位姿信息。

在一些实施例中，所述通过第一图像采集单元获取第一光学标记图像的步骤，具体包括：

通过第一图像采集单元获取原始图像；对所述原始图像进行预处理，判断是否存在所述第一光学标记；

响应于存在所述第一光学标记，则确定所述原始图像为第一光学标记图像；

否则，发出提示信息；其中，所述提示信息用于提示用户调整手部姿态，以使所述第一图像采集单元能够获取包括第一光学标记的图像。

在一些实施例中，响应于形成相同光学标记的多组第一发光单元被布设在头戴式显示设备的不同方位，且被配置为不同方位的多组第一发光单元按预设规则分别于不同的时间发光；

所述追踪方法，还包括：

获取第一光学标记图像的采集时间，根据所述采集时间确定所述第一光学标记图像中的第一光学标记在所述头戴式显示设备中的位置；

根据所述第一光学标记图像、所述第一位姿信息和所述第一光学标记在所述头戴式显示设备中的位置，确定所述手柄控制器的位姿信息。

在一些实施例中，所述手柄控制器包括第二发光单元；所述追踪方法还包括：

获取头戴式显示设备对所述手柄控制器的位姿信息的追踪结果；其中，所述第二发光单元用于所述头戴式显示设备确定所述手柄控制器的位姿信息；

响应于所述头戴式显示设备未发现所述手柄控制器的位姿信息，控制所述第一图像采集单元获取第一光学标记图像。

在一些实施例中，所述方法还包括：

在所述第一图像采集单元获取第一光学标记图像的过程中，控制所述第二发光单元处于熄灭状态。

在一些实施例中，所述手柄控制器还包括第一惯性测量单元，所述追踪方法还包括：

通过所述第一惯性测量单元获取运动数据，根据所述运动数据、第一光学标记图像和所述第一位姿信息，确定所述手柄控制器的位姿信息。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种手柄控制器，所述手柄控制器还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的追踪方法。

图7示出了本实施例所提供的一种更为具体的电子部件结构示意图，电子部件可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的追踪方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (16)

1.一种手柄控制器，其特征在于，包括：

第一本体；以及

第一图像采集单元，设置于所述第一本体上，且被配置为采集用于确定所述手柄控制器的位姿信息的第一光学标记图像；

其中，所述第一光学标记图像包括经由头戴式显示设备上布设的第一发光单元形成的第一光学标记。

2.根据权利要求1所述的手柄控制器，其特征在于，还包括第二发光单元，所述第二发光单元被配置为形成第二光学标记；其中，所述第二光学标记用于确定所述手柄控制器的位姿信息。

3.根据权利要求1或2所述的手柄控制器，其特征在于，所述第一本体包括握持部和位于所述握持部顶端的安装面；所述安装面位于所述握持部的端部；所述第一图像采集单元设置于所述安装面上；

响应于所述第一图像采集单元包括一个摄像头；所述安装面由垂直握持部的方向向所述握持部的手指接触区域倾斜，并且与所述握持部的延伸方向的夹角≤45°；

响应于所述第一图像采集单元包括两个摄像头；所述安装面包括第一子面和第二子面，所述第一子面和所述第二子面的夹角≤90°且≥0°；两个所述摄像头分别位于所述第一子面和所述第二子面上；

响应于所述第一图像采集单元包括三个摄像头；所述安装面为半球面；三个所述摄像头均匀分布于所述半球面上。

4.根据权利要求1或2所述的手柄控制器，其特征在于，不同的所述第一光学标记对应所述头戴式显示设备的不同方位。

5.根据权利要求1或2所述的手柄控制器，其特征在于，所述第一光学标记对应至少4个第一发光单元。

6.根据权利要求1或2所述的手柄控制器，其特征在于，还包括第一惯性测量单元；所述惯用测量单元用于与所述第一图像采集单元配合，确定所述手柄控制器的位姿信息。

7.根据权利要求2所述的手柄控制器，其特征在于，还包括滤光片，所述滤光片设置于所述第一图像采集单元上，被配置为过滤所述第二发光单元的发射光。

8.根据权利要求1或2所述的手柄控制器，其特征在于，还包括处理器；所述处理器被配置为：

通过第一图像采集单元获取第一光学标记图像；其中，所述第一光学标记图像包括经由头戴式显示设备上布设的第一发光单元形成的第一光学标记；

获取头戴式显示设备在三维空间的第一位姿信息；

根据所述第一光学标记图像和所述第一位姿信息，确定所述手柄控制器的位姿信息。

9.一种头戴式显示设备，其特征在于，包括：

第二本体；以及

第一发光单元，设置于所述第二本体上，且被配置为形成由手柄控制器获取的第一光学标记。

10.根据权利要求9所述的头戴式显示设备，其特征在于，多个所述第一发光单元布设成一组；

多组第一发光单元设置于所述第二本体的不同方位，并被配置为形成不同的第一光学标记或被配置为形成相同的第一光学标记且按预设规则分别于不同的时间发光。

11.一种手柄控制器的追踪方法，其特征在于，所述手柄控制器包括第一图像采集单元；所述追踪方法具体包括：

通过第一图像采集单元获取第一光学标记图像；其中，所述第一光学标记图像包括经由头戴式显示设备上布设的第一发光单元形成的第一光学标记；

获取头戴式显示设备在三维空间的第一位姿信息；

根据所述第一光学标记图像和所述第一位姿信息，确定所述手柄控制器的位姿信息。

12.根据权利要求11所述的追踪方法，其特征在于，所述通过第一图像采集单元获取第一光学标记图像的步骤，具体包括：

通过第一图像采集单元获取原始图像；对所述原始图像进行预处理，判断是否存在所述第一光学标记；

响应于存在所述第一光学标记，则确定所述原始图像为第一光学标记图像；

否则，发出提示信息；其中，所述提示信息用于提示用户调整手部姿态，以使所述第一图像采集单元能够获取包括第一光学标记的图像。

13.根据权利要求11所述的追踪方法，其特征在于，响应于形成相同光学标记的多组第一发光单元被布设在头戴式显示设备的不同方位，且被配置为不同方位的多组第一发光单元按预设规则分别于不同的时间发光；

所述追踪方法，还包括：

获取第一光学标记图像的采集时间，根据所述采集时间确定所述第一光学标记图像中的第一光学标记在所述头戴式显示设备中的位置；

根据所述第一光学标记图像、所述第一位姿信息和所述第一光学标记在所述头戴式显示设备中的位置，确定所述手柄控制器的位姿信息。

14.根据权利要求11所述的追踪方法，其特征在于，所述手柄控制器包括第二发光单元；所述追踪方法还包括：

获取头戴式显示设备对所述手柄控制器的位姿信息的追踪结果；其中，所述第二发光单元用于所述头戴式显示设备确定所述手柄控制器的位姿信息；

响应于所述头戴式显示设备未发现所述手柄控制器的位姿信息，控制所述第一图像采集单元获取第一光学标记图像。

15.根据权利要求14所述的追踪方法，其特征在于，所述方法还包括：

在所述第一图像采集单元获取第一光学标记图像的过程中，控制所述第二发光单元处于熄灭状态。

16.根据权利要求11所述的追踪方法，其特征在于，所述手柄控制器还包括第一惯性测量单元，所述追踪方法还包括：

通过所述第一惯性测量单元获取运动数据，根据所述运动数据、第一光学标记图像和所述第一位姿信息，确定所述手柄控制器的位姿信息。

Images