CN111174683A - 手柄定位方法、头戴显示设备以及存储介质 - Google Patents

手柄定位方法、头戴显示设备以及存储介质 Download PDF

Info

Publication number
CN111174683A
CN111174683A CN202010015526.2A CN202010015526A CN111174683A CN 111174683 A CN111174683 A CN 111174683A CN 202010015526 A CN202010015526 A CN 202010015526A CN 111174683 A CN111174683 A CN 111174683A
Authority
CN
China
Prior art keywords
handle
pose
electromagnetic
coordinate system
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010015526.2A
Other languages
English (en)
Other versions
CN111174683B (zh
Inventor
李汉振
山君良
吴涛
周宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010015526.2A priority Critical patent/CN111174683B/zh
Publication of CN111174683A publication Critical patent/CN111174683A/zh
Application granted granted Critical
Publication of CN111174683B publication Critical patent/CN111174683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/004—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

本申请公开一种手柄定位方法、头戴显示设备以及存储介质。手柄定位方法，包括：接收所述手柄的电磁发射模组发射的磁场信号，根据所述磁场信号获得手柄电磁位姿；拍摄所述手柄的光学标记点，得到图像，根据所述图像获得手柄光学位姿；将所述手柄电磁位姿与所述手柄光学位姿进行融合，基于融合后的位姿实现所述手柄的定位。本申请实施例避免了电磁定位跟踪容易跟踪丢失的技术问题，突破了单独使用光学定位时视场角的限制，降低了环境光干扰，提高了定位精度。

Description

手柄定位方法、头戴显示设备以及存储介质
技术领域
本申请涉及虚拟现实技术领域，具体涉及一种手柄定位方法、头戴显示设备以及存储介质。
背景技术
随着虚拟现实(Virtual Reality，简称VR)行业的蓬勃发展，用户对于头戴显示设备HMD(Head-Mounted Display)交互的需求日益增加，捕捉手部的动作对于交互体验来说至关重要，当前的手部定位以及动作捕捉易受环境干扰，精度不高。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种手柄定位方法、头戴显示设备以及存储介质。
根据本申请实施例的一个方面，提供了一种手柄定位方法，该手柄定位方法包括：
接收所述手柄的电磁发射模组发射的磁场信号，根据所述磁场信号获得手柄电磁位姿；
拍摄所述手柄的光学标记点，得到图像，根据所述图像获得手柄光学位姿；
将所述手柄电磁位姿与所述手柄光学位姿进行融合，基于融合后的位姿实现所述手柄的定位。
根据本申请实施例的另一个方面，提供了一种头戴显示设备，包括：电磁接收模组，相机以及处理器，
所述电磁接收模组，用于接收所述手柄的电磁发射模组发射的磁场信号；
所述相机，用于拍摄所述手柄的光学标记点，得到图像；
所述处理器，用于根据所述磁场信号获得手柄电磁位姿，根据所述图像获得手柄光学位姿，将所述手柄电磁位姿与所述手柄光学位姿进行融合，基于融合后的位姿实现所述手柄的定位。
根据本申请实施例的又一个方面，提供了一种计算机可读存储介质，，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被处理器执行时实现如前述所述的方法。
本申请实施例的方案，接收手柄的电磁发射模组发射的磁场信号，根据所述磁场信号获得手柄电磁位姿，拍摄所述手柄的光学标记点，得到图像，根据所述图像获得手柄光学位姿，将所述手柄电磁位姿与所述手柄光学位姿进行融合，基于融合后的位姿实现所述手柄的定位。由此，通过将手柄光学定位与电磁定位结合，避免了使用电磁定位时容易跟踪丢失的技术问题，改善了电磁信号扭曲导致的体验效果下降，突破了使用光学定位时视场角的限制，降低了环境光的干扰，提高了定位精度，提升了头戴显示设备的市场竞争力。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例示出的手柄定位方法的流程示意图；
图2为本申请实施例示出的头戴显示设备以及手柄的框图；
图3为本申请实施例头戴显示设备的硬件示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
在虚拟现实领域，有采用光学或超声波进行手柄定位的方案，光学定位方式，成本相对低廉，原理成熟；但是，有视场角的限制且容易受环境光干扰。超声波定位同样有视场角限制，而且易受镜面反射等干扰，总之，两种定位方式的精度不高。
对此，本实施例提出一种手柄定位方案，将光学定位与电磁定位结合，光学定位能够为系统提供稳定的世界坐标系，定位方面累计误差忽略不计。但是当环境光干扰强烈或者光学标记点被遮挡而无法被相机捕获时定位效果差，考虑到电磁传感器的工作范围不受身体等遮挡的影响，可以360°进行跟踪的优点，将电磁定位于光学定位融合，本实施例根据此时光学位置的可信程度给出相应权重，并且提高电磁手柄位姿的权重，比如，侧对相机或背对相机时，由于电磁的视场角是360度的且不受人体干扰，因此，电磁位姿的权重应当比光学位姿的权重高。而当用户侧对相机或者背对相机时，由于身体对手柄上光学标记点的遮挡，无法实现光学定位。这样弥补了光学定位方案在干扰和遮挡时的不足，又因为使用了电磁定位系统，相应的扩大了跟踪范围，实现360°跟踪定位，提升了用户体验。
图1为本申请实施例示出的手柄定位方法的流程示意图，参见图1，本实施例的手柄定位方法包括下列步骤：
步骤S101，接收所述手柄的电磁发射模组发射的磁场信号，根据所述磁场信号获得手柄电磁位姿；
步骤S102，拍摄所述手柄的光学标记点，得到图像，根据所述图像获得手柄光学位姿；
步骤S102，将所述手柄电磁位姿与所述手柄光学位姿进行融合，基于融合后的位姿实现所述手柄的定位。
由图1所示可知，本实施例的手柄定位方案，将光学定位与电磁定位结合，既避免了采用光学定位容易受到环境光干扰导致的精度不高问题，又克服了电磁定位跟踪丢失、位姿解算复杂，耗时较长的问题，提高了定位的效率和精度，满足了实际需求，优化了用户体验。
一个实施例中，前述根据所述磁场信号获得手柄电磁位姿包括：根据所述磁场信号，获得手柄在电磁坐标系下的第一位姿和第二位姿；根据所述图像将所述第一位姿或所述第二位姿确定为手柄电磁位姿。
为了消除电磁数据的抖动，同时改善系统延迟，本实施例中根据所述磁场信号获得手柄电磁位姿包括：获取手柄的惯性传感器采集的传感器数据，根据所述传感器数据对所述手柄电磁位姿进行平滑处理，得到平滑的手柄电磁位姿。
一个实施例中，该方法应用于与手柄配套的头戴显示设备HMD，所述根据所述磁场信号获得手柄电磁位姿包括：根据所述磁场信号，获得手柄在电磁坐标系下的位姿；根据手柄在电磁坐标系下的位姿，电磁坐标系的原点在HMD坐标系下的位置坐标以及HMD在世界坐标系下的位姿，计算手柄在世界坐标系下的位姿，将手柄在世界坐标系下的位姿确定为手柄电磁位姿。这样根据电磁坐标系原点在HMD本地坐标系的位置及姿态，即可根据HMD在世界坐标系下的位置和姿态，将电磁坐标系下所有的位置坐标转换到世界坐标系下，而无需做任何额外的传感器坐标系标定，简化了流程，提高了手柄定位效率。
如前述，本实施例中是将光学定位与电磁定位结合，取两种定位方式之长，以提高定位精度。在具体进行数据融合时，本实施例考虑不同定位结果受到的干扰因素和程度不同，通过降低受干扰大的定位结果的权重，相应的提高受干扰小的定位结果的权重，进而提高最终得到的手柄位姿的准确性。
比如，将所述手柄电磁位姿与所述手柄光学位姿进行融合，基于融合后的位姿实现所述手柄的定位包括：根据获取的惯性传感器的传感器数据确定电磁干扰，基于电磁干扰确定所述手柄电磁位姿对应的权重；根据所述图像的质量，确定所述手柄光学位姿对应的权重；基于所述手柄电磁位姿对应的权重以及所述手柄光学位姿对应的权重，融合所述手柄电磁位姿与所述手柄光学位姿，得到融合后的位姿，将融合后的位姿作为手柄的位姿。
图2为本申请实施例示出的头戴显示设备以及手柄的框图，参见图2，从硬件结构来看，头戴显示设备200相应位置(比如左上方)安装电磁接收模组201，手柄300上安装电磁发射模组301，电磁发射模组301和电磁接收模组201构成电磁定位系统。电磁发射模组301及电磁接收模组201均由相互正交的三组线圈缠绕而成。
实际应用时，电磁发射模组的三组线圈分别发射不同频率的余弦信号，信号强度由电磁发射模组及电磁接收模组的距离进行控制，距离远时，增大发射功率，距离近时，减小发射功率。根据电磁感应原理，不断变化的电磁信号会在电磁接收模组的三个线圈中产生感应电动势，处理器203通过对接收线圈的感应电动势进行解算，即可求得手柄在电磁坐标系下的位姿，根据HMD坐标系的定义，将手柄在电磁坐标系下的坐标转换到HMD坐标系下，进而计算出手柄在世界坐标系下的位姿(位姿包括位置信息和角度信息)，由于是通过电磁计算出的手柄的位姿，故这里称为电磁位姿。
参见图2，头戴显示设备200还包括三个相机202，相机202用于拍摄手柄上的光学标记点得到图像。光学标记点的实施方式之一是安装在手柄上具有一定排列结构的LED灯珠。处理器203，根据图像以及立体视觉原理计算出手柄在光学坐标系下的位姿，又根据光学坐标系与HMD坐标系间的固定安装位置，将光学坐标系下的手柄位置坐标转到HMD坐标系下，进一步计算出手柄在世界坐标系下的位姿，由于是通过光学计算出的手柄的位姿，故这里称为光学位姿。注：图2示意了头戴显示设备包括三个相机的情况，实际应用中相机的数量不限。
处理器203，根据惯性传感器数据或图像质量评价当前的环境光干扰、手柄光学标记点遮挡以及电磁干扰等情况，确定光学位姿和电磁位姿的权重，干扰大的，权重低，干扰小的，权重高。根据光学位姿的权重以及电磁位姿的权重对两种位姿数据进行融合处理，即可完成手柄定位跟踪工作。
下面结合一次具体的手柄定位过程，对上述手柄定位方法进行说明。首先，手柄产生三轴驱动信号同时加载于电磁发射模组中发射线圈的X轴，Y轴及Z轴方向的线圈上，以发射线圈为中心，产生一个规则变化的电磁场。
位于电磁场中的头戴显示设备HMD的接收传感器，因磁感应强度的变化，在接收线圈中产生感应电动势，即接收信号，HMD的处理器接收信号，提取信号并求解出发射线圈XYZ三轴在接收线圈的三个轴向上产生的磁感应强度，组建磁感应强度矩阵，利用六自由度定位算法，求解出电磁发射模组的位置参数及姿态参数，作为手柄的位姿(包括3轴向的平移自由度以及3轴向的旋转自由度，一共6自由度)。
由于电磁定位计算出的坐标是在HMD坐标系下的位置坐标，不能直接使用，需要将电磁坐标系下的位置坐标转到世界坐标系下，而电磁接收模组是在HMD上并跟随其运动，所以，当确定出电磁坐标系的原点在HMD坐标系的位置及姿态时，就可以通过HMD在世界坐标系下的位置和姿态，将电磁坐标系下所有的位置坐标转换到世界坐标系下，而无需做任何额外的传感器坐标系标定流程，简化了流程，提高了定位效率。
手柄在世界坐标系下的位置计算公式如下：
Loc-world＝[Q,T](loc-T0)
其中，Loc-world为手柄在世界坐标系下的坐标，Q为HMD在世界坐标系下的姿态，T为HMD在世界坐标系下的位置，loc为手柄在电磁坐标系下的位置坐标；T0为电磁坐系的原点在HMD坐标系下的位置坐标。
至此，根据磁场信号，获得手柄在电磁坐标系下的位姿，根据手柄在电磁坐标系下的位姿，电磁坐标系的原点在HMD坐标系下的位置坐标以及HMD在世界坐标系下的位姿，计算手柄在世界坐标系下的位姿，将手柄在世界坐标系下的位姿确定为手柄电磁位姿。
由于电磁特性，通过六自由度定位算法解算出来的手柄位姿不是唯一解，会存在镜像解(两个解，这两个解互为镜像)，所以根据所述磁场信号获得手柄电磁位姿包括：根据所述磁场信号，获得手柄在电磁坐标系下的第一位姿和第二位姿；根据所述图像将所述第一位姿或所述第二位姿确定为手柄电磁位姿。为了确定出可用的唯一解(即手柄真实位姿)，一种做法需要不断晃动及转动手柄，通过拟合的方式确认唯一解，该方法耗时长且错误率高。而本申请实施例中，不需要手柄晃动，根据光学图像即可快速确认唯一解，提升了用户体验。比如，电磁对手柄定位可能产生头戴前方以及头戴后方两个镜像解，当手柄位于头戴前面时，相机即可在其视场角FOV(如180°)范围内捕捉到手柄上的光学标记点，从而选择头戴前的这个手柄位姿进而开始电磁定位追踪。这样当相机在视场角范围内捕捉到光学标记点点时，会对当前的电磁定位的镜像解中的指示手柄位于头戴前方的那个结果进行确认。如果相机捕捉不到手柄上的光学标记点，则默认选择头戴后的解以进行追踪。从而快速确定出准确的唯一解。
另外，根据所述磁场信号获得手柄电磁位姿包括：获取手柄的惯性传感器采集的传感器数据，根据所述传感器数据对所述手柄电磁位姿进行平滑处理，得到平滑的手柄电磁位姿。也就是说，本实施例将惯性传感器数据与电磁定位数据进行融合，发挥多传感器优势。对于惯性传感器，其低频特性较差，在定位过程中长时间使用会存在较大的漂移误差，但短时使用定位精度较高，而电磁由于受到信号强度的变化，解算出的手柄位姿不够平滑，所以，本实施例根据向心加速度模型、加速运动模型积分获得两帧电磁数据间的惯性传感器定位位移，并通过影响UKF(Unscented Kalman Filter，无损卡尔曼滤波)的后验值与电磁定位值做融合，这样既消除了电磁数据的抖动，又改善了系统延迟。
本实施例在计算手柄的电磁定位的同时，头戴显示设备HMD的相机捕获手柄上主动发光的光学标记点(Mark点)并呈现在图像上，HMD的处理器通过二维图像处理算法计算Mark点的二维中心位置，又根据立体视觉原理由二维中心位置计算其三维坐标，进而计算出手柄的光学位姿。
在得到手柄的电磁位姿以及光学位姿之后，根据环境光线，光学标记点遮挡及电磁干扰等因素，计算光学位姿与电磁位姿的权重，并根据权重进行数据融合，将融合后的位姿作为手柄的定位结果。
综上可知，本申请实施例的手柄定位方法，弥补了光学定位在干扰和遮挡时的无法定位不足，使用电磁定位系统，扩大了跟踪范围，实现了360°跟踪定位，在电磁定位阶段，基于光学图像对电磁定位中的镜像解进行快速筛选确认，提升了用户体验。在不增加标定流程的基础上增强了系统的定位能力，改善了定位效果。
本申请实施例提供了一种头戴显示设备，包括：电磁接收模组，相机以及处理器，所述电磁接收模组，用于接收所述手柄的电磁发射模组发射的磁场信号；所述相机，用于拍摄所述手柄的光学标记点，得到图像；所述处理器，用于根据所述磁场信号获得手柄电磁位姿，根据所述图像获得手柄光学位姿，将所述手柄电磁位姿与所述手柄光学位姿进行融合，基于融合后的位姿实现所述手柄的定位。
在本申请的一个实施例中，所述处理器，具体用于根据所述磁场信号，获得手柄在电磁坐标系下的第一位姿和第二位姿；根据所述图像将所述第一位姿或所述第二位姿确定为手柄电磁位姿。
在本申请的一个实施例中所述处理器，具体用于获取手柄的惯性传感器采集的传感器数据，根据所述传感器数据对所述手柄电磁位姿进行平滑处理，得到平滑的手柄电磁位姿。
在本申请的一个实施例中，所述处理器，具体用于根据所述磁场信号，获得手柄在电磁坐标系下的位姿；根据手柄在电磁坐标系下的位姿，电磁坐标系的原点在头戴显示设备HMD坐标系下的位置坐标以及头戴显示设备HMD在世界坐标系下的位姿，计算手柄在世界坐标系下的位姿，将手柄在世界坐标系下的位姿确定为手柄电磁位姿；以及，用于根据获取的惯性传感器的传感器数据确定电磁干扰，基于电磁干扰确定所述手柄电磁位姿对应的权重；根据所述图像的质量，确定所述手柄光学位姿对应的权重；基于所述手柄电磁位姿对应的权重以及所述手柄光学位姿对应的权重，融合所述手柄电磁位姿与所述手柄光学位姿，得到融合后的位姿，将融合后的位姿作为手柄的位姿。
图3为本申请实施例头戴显示设备的硬件示意图，如图3所示，在硬件层面，该头戴显示设备包括处理器和传感器(传感器包括相机、电磁传感器以及惯性传感器)，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。当然，该头戴显示设备还包括其他业务所需要的硬件，例如手柄。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。处理器从非易失性存储器中读取手柄定位方法对应的计算机程序到内存中然后运行。处理器，执行存储器所存放的程序实现如上文描述的手柄定位方法。
上述如本说明书图3所示实施例揭示的手柄定位方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上文描述的手柄定位方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述手柄定位方法的步骤。
本申请还提供了一种计算机可读存储介质。该计算机可读存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被处理器执行时，能够实现上文描述的手柄定位方法。
为了便于清楚描述本申请实施例的技术方案，在申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述，仅为本申请的具体实施方式，在本申请的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本申请的目的，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种手柄定位方法，其特征在于，该手柄定位方法包括：
接收所述手柄的电磁发射模组发射的磁场信号，根据所述磁场信号获得手柄电磁位姿；
拍摄所述手柄的光学标记点，得到图像，根据所述图像获得手柄光学位姿；
将所述手柄电磁位姿与所述手柄光学位姿进行融合，基于融合后的位姿实现所述手柄的定位。
2.如权利要求1所述的方法，其特征在于，所述根据所述磁场信号获得手柄电磁位姿包括：
根据所述磁场信号，获得手柄在电磁坐标系下的第一位姿和第二位姿；
根据所述图像将所述第一位姿或所述第二位姿确定为手柄电磁位姿。
3.如权利要求1所述的方法，其特征在于，所述根据所述磁场信号获得手柄电磁位姿包括：
获取手柄的惯性传感器采集的传感器数据，根据所述传感器数据对所述手柄电磁位姿进行平滑处理，得到平滑的手柄电磁位姿。
4.如权利要求1所述的方法，其特征在于，该方法应用于与手柄配套的头戴显示设备HMD，
所述根据所述磁场信号获得手柄电磁位姿包括：
根据所述磁场信号，获得手柄在电磁坐标系下的位姿；
根据手柄在电磁坐标系下的位姿，电磁坐标系的原点在HMD坐标系下的位置坐标以及HMD在世界坐标系下的位姿，计算手柄在世界坐标系下的位姿，将手柄在世界坐标系下的位姿确定为手柄电磁位姿。
5.如权利要求1所述的方法，其特征在于，所述将所述手柄电磁位姿与所述手柄光学位姿进行融合，基于融合后的位姿实现所述手柄的定位包括：
根据获取的惯性传感器的传感器数据确定电磁干扰，基于电磁干扰确定所述手柄电磁位姿对应的权重；
根据所述图像的质量，确定所述手柄光学位姿对应的权重；
基于所述手柄电磁位姿对应的权重以及所述手柄光学位姿对应的权重，融合所述手柄电磁位姿与所述手柄光学位姿，得到融合后的位姿，将融合后的位姿作为手柄的位姿。
6.一种头戴显示设备，其特征在于，包括：电磁接收模组，相机以及处理器，
所述电磁接收模组，用于接收所述手柄的电磁发射模组发射的磁场信号；
所述相机，用于拍摄所述手柄的光学标记点，得到图像；
所述处理器，用于根据所述磁场信号获得手柄电磁位姿，根据所述图像获得手柄光学位姿，将所述手柄电磁位姿与所述手柄光学位姿进行融合，基于融合后的位姿实现所述手柄的定位。
7.如权利要求6所述的头戴显示设备，其特征在于，所述处理器，具体用于根据所述磁场信号，获得手柄在电磁坐标系下的第一位姿和第二位姿；根据所述图像将所述第一位姿或所述第二位姿确定为手柄电磁位姿。
8.如权利要求6所述的头戴显示设备，其特征在于，所述处理器，具体用于获取手柄的惯性传感器采集的传感器数据，根据所述传感器数据对所述手柄电磁位姿进行平滑处理，得到平滑的手柄电磁位姿。
9.如权利要求6所述的头戴显示设备，其特征在于，所述处理器，具体用于根据所述磁场信号，获得手柄在电磁坐标系下的位姿；根据手柄在电磁坐标系下的位姿，电磁坐标系的原点在头戴显示设备HMD坐标系下的位置坐标以及头戴显示设备HMD在世界坐标系下的位姿，计算手柄在世界坐标系下的位姿，将手柄在世界坐标系下的位姿确定为手柄电磁位姿；
以及，用于根据获取的惯性传感器的传感器数据确定电磁干扰，基于电磁干扰确定所述手柄电磁位姿对应的权重；根据所述图像的质量，确定所述手柄光学位姿对应的权重；基于所述手柄电磁位姿对应的权重以及所述手柄光学位姿对应的权重，融合所述手柄电磁位姿与所述手柄光学位姿，得到融合后的位姿，将融合后的位姿作为手柄的位姿。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被处理器执行时实现如权利要求1-5任一项所述的方法。
CN202010015526.2A 2020-01-07 2020-01-07 手柄定位方法、头戴显示设备以及存储介质 Active CN111174683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010015526.2A CN111174683B (zh) 2020-01-07 2020-01-07 手柄定位方法、头戴显示设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010015526.2A CN111174683B (zh) 2020-01-07 2020-01-07 手柄定位方法、头戴显示设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111174683A true CN111174683A (zh) 2020-05-19
CN111174683B CN111174683B (zh) 2021-11-30

Family

ID=70654521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010015526.2A Active CN111174683B (zh) 2020-01-07 2020-01-07 手柄定位方法、头戴显示设备以及存储介质

Country Status (1)

Country Link
CN (1) CN111174683B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949123A (zh) * 2020-07-01 2020-11-17 青岛小鸟看看科技有限公司 多传感器手柄控制器混合追踪方法及装置
CN112181138A (zh) * 2020-09-16 2021-01-05 青岛小鸟看看科技有限公司 自适应智能头手vr系统、方法
CN112214106A (zh) * 2020-09-16 2021-01-12 青岛小鸟看看科技有限公司 高精度抗干扰的vr系统、运行方法
CN112234907A (zh) * 2020-09-29 2021-01-15 西安交通大学 一种永磁同步直线电机两步速度预测控制系统及方法
CN112437213A (zh) * 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴系统
CN113318435A (zh) * 2021-04-27 2021-08-31 青岛小鸟看看科技有限公司 手柄控制追踪器的控制方法、装置及头戴式显示设备
CN113763464A (zh) * 2020-06-01 2021-12-07 北京凌宇智控科技有限公司 一种航向角的标定方法、定位设备及定位系统
WO2022100759A1 (zh) * 2020-11-16 2022-05-19 青岛小鸟看看科技有限公司 头戴式显示系统及其6自由度追踪方法和装置
CN114740967A (zh) * 2021-01-07 2022-07-12 华为技术有限公司 手柄校正方法、电子设备、芯片及可读存储介质
WO2023093884A1 (zh) * 2021-11-29 2023-06-01 北京银河方圆科技有限公司 定位装置及定位系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033964A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 戒指式视频测量手指定位系统及定位方法
CN106019265A (zh) * 2016-05-27 2016-10-12 北京小鸟看看科技有限公司 一种多目标定位方法和系统
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
CN109613983A (zh) * 2018-12-26 2019-04-12 青岛小鸟看看科技有限公司 头戴显示系统中手柄的定位方法、装置和头戴显示系统
CN109633632A (zh) * 2018-12-26 2019-04-16 青岛小鸟看看科技有限公司 一种头戴显示设备，手柄及其定位追踪方法
CN110530356A (zh) * 2019-09-04 2019-12-03 青岛海信电器股份有限公司 位姿信息的处理方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033964A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 戒指式视频测量手指定位系统及定位方法
CN106019265A (zh) * 2016-05-27 2016-10-12 北京小鸟看看科技有限公司 一种多目标定位方法和系统
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
CN109613983A (zh) * 2018-12-26 2019-04-12 青岛小鸟看看科技有限公司 头戴显示系统中手柄的定位方法、装置和头戴显示系统
CN109633632A (zh) * 2018-12-26 2019-04-16 青岛小鸟看看科技有限公司 一种头戴显示设备，手柄及其定位追踪方法
CN110530356A (zh) * 2019-09-04 2019-12-03 青岛海信电器股份有限公司 位姿信息的处理方法、装置、设备及存储介质

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763464B (zh) * 2020-06-01 2023-09-15 北京凌宇智控科技有限公司 一种航向角的标定方法、定位设备及定位系统
CN113763464A (zh) * 2020-06-01 2021-12-07 北京凌宇智控科技有限公司 一种航向角的标定方法、定位设备及定位系统
CN111949123A (zh) * 2020-07-01 2020-11-17 青岛小鸟看看科技有限公司 多传感器手柄控制器混合追踪方法及装置
CN111949123B (zh) * 2020-07-01 2023-08-08 青岛小鸟看看科技有限公司 多传感器手柄控制器混合追踪方法及装置
US11733771B2 (en) * 2020-09-16 2023-08-22 Qingdao Pico Technology Co., Ltd. High-precision anti-interference VR system and operation method
CN112181138A (zh) * 2020-09-16 2021-01-05 青岛小鸟看看科技有限公司 自适应智能头手vr系统、方法
CN112214106A (zh) * 2020-09-16 2021-01-12 青岛小鸟看看科技有限公司 高精度抗干扰的vr系统、运行方法
US20220382365A1 (en) * 2020-09-16 2022-12-01 Qingdao Pico Technology Co., Ltd. High-precision anti-interference vr system and operation method
WO2022057832A1 (zh) * 2020-09-16 2022-03-24 青岛小鸟看看科技有限公司 高精度抗干扰的vr系统、运行方法
WO2022057833A1 (zh) * 2020-09-16 2022-03-24 青岛小鸟看看科技有限公司 自适应智能头手vr系统、方法
CN112181138B (zh) * 2020-09-16 2022-05-03 青岛小鸟看看科技有限公司 自适应智能头手vr系统、方法
CN112234907A (zh) * 2020-09-29 2021-01-15 西安交通大学 一种永磁同步直线电机两步速度预测控制系统及方法
CN112234907B (zh) * 2020-09-29 2021-09-07 西安交通大学 一种永磁同步直线电机两步速度预测控制系统及方法
CN112437213A (zh) * 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴系统
US11754835B2 (en) 2020-10-28 2023-09-12 Qingdao Pico Technology Co., Ltd. Image acquisition method, handle device, head-mounted device and head-mounted system
US11797083B2 (en) 2020-11-16 2023-10-24 Qingdao Pico Technology Co., Ltd. Head-mounted display system and 6-degree-of-freedom tracking method and apparatus thereof
WO2022100759A1 (zh) * 2020-11-16 2022-05-19 青岛小鸟看看科技有限公司 头戴式显示系统及其6自由度追踪方法和装置
WO2022148224A1 (zh) * 2021-01-07 2022-07-14 华为技术有限公司 手柄校正方法、电子设备、芯片及可读存储介质
CN114740967A (zh) * 2021-01-07 2022-07-12 华为技术有限公司 手柄校正方法、电子设备、芯片及可读存储介质
CN113318435A (zh) * 2021-04-27 2021-08-31 青岛小鸟看看科技有限公司 手柄控制追踪器的控制方法、装置及头戴式显示设备
US11896894B2 (en) 2021-04-27 2024-02-13 Qingdao Pico Technology Co., Ltd. Control method and apparatus for handle control, and head mounted display
WO2023093884A1 (zh) * 2021-11-29 2023-06-01 北京银河方圆科技有限公司 定位装置及定位系统

Also Published As

Publication number Publication date
CN111174683B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN111174683B (zh) 手柄定位方法、头戴显示设备以及存储介质
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
US11797083B2 (en) Head-mounted display system and 6-degree-of-freedom tracking method and apparatus thereof
JP6708199B2 (ja) 撮像装置と画像処理装置と画像処理方法
US11301677B2 (en) Deep learning for three dimensional (3D) gaze prediction
JP7018566B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5204785B2 (ja) 画像処理装置、撮影装置、再生装置、集積回路及び画像処理方法
US10269139B2 (en) Computer program, head-mounted display device, and calibration method
US10304253B2 (en) Computer program, object tracking method, and display device
CN110263657A (zh) 一种人眼追踪方法、装置、系统、设备和存储介质
JP2017112602A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
CN114761909A (zh) 针对头戴式显示器的内容稳定
WO2015051606A1 (zh) 定位方法及定位系统
CN107945105A (zh) 背景虚化处理方法、装置及设备
KR20160094190A (ko) 시선 추적 장치 및 방법
KR102219843B1 (ko) 자율주행을 위한 위치 추정 장치 및 방법
CN107687818B (zh) 三维量测方法及三维量测装置
CN111127540A (zh) 一种三维虚拟空间自动测距方法及系统
CN110194173A (zh) 乘员监视装置
JPWO2015129280A1 (ja) 画像処理装置および画像処理方法
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP6555707B2 (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム
WO2021193672A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
CN112101261B (zh) 人脸识别方法、装置、设备及存储介质
CN206300653U (zh) 一种虚拟现实系统中的空间定位装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant