CN116609789A - 可穿戴设备的定位方法、穿戴设备及电子设备 - Google Patents

可穿戴设备的定位方法、穿戴设备及电子设备 Download PDF

Info

Publication number
CN116609789A
CN116609789A CN202310651919.6A CN202310651919A CN116609789A CN 116609789 A CN116609789 A CN 116609789A CN 202310651919 A CN202310651919 A CN 202310651919A CN 116609789 A CN116609789 A CN 116609789A
Authority
CN
China
Prior art keywords
information
rays
wearable device
degree
freedom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310651919.6A
Other languages
English (en)
Inventor
郭飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202310651919.6A priority Critical patent/CN116609789A/zh
Publication of CN116609789A publication Critical patent/CN116609789A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种可穿戴设备的定位方法、穿戴设备及电子设备，属于XR领域。所述方法包括：电子设备获取第一穿戴设备发出的射线的相关信息，所述相关信息包括：所述射线的方向信息、所述射线的长度信息以及所述射线形成的第一光斑的第一位置信息；获取所述第一穿戴设备的发光器件在发光的情况下形成的第二光斑的第二位置信息；根据所述射线的相关信息和所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息；根据所述第一穿戴设备的三自由度姿态信息和所述三自由度位置信息，确定所述第一穿戴设备的六自由度位姿信息。

Description

可穿戴设备的定位方法、穿戴设备及电子设备
技术领域
本申请属于通信技术领域，具体涉及一种可穿戴设备的定位方法、穿戴设备及电子设备。
背景技术
在扩展现实(Extended Reality，XR)应用场景下，对设备的最基本要求是能够提供轻便和自然的交互方式。“轻便”强调外形结构的紧凑，而“自然”则要求空间位姿的感知能力。目前XR领域的轻量设备如指环，由于网络惯性测量单元(Inertial MeasurementUnit，IMU)器件带来的积分漂移问题，往往只能提供三自由度(Degree of Freedom，DoF)的姿态信息，即缺失了位置信息。
发明内容
本申请实施例的目的是提供一种可穿戴设备的定位方法、穿戴设备及电子设备，用以解决现有技术无法确定XR领域的轻量设备的位置信息的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种可穿戴设备的定位方法，包括：
电子设备获取第一穿戴设备发出的射线的相关信息，所述相关信息包括：所述射线的方向信息、所述射线的长度信息以及所述射线形成的第一光斑的第一位置信息；
获取所述第一穿戴设备的发光器件在发光情况下形成第二的光斑的第二位置信息；
根据所述射线的相关信息和所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息；
根据所述第一穿戴设备的三自由度姿态信息和所述三自由度位置信息，确定所述第一穿戴设备的六自由度位姿信息。
第二方面，本申请实施例提供了一种穿戴设备，包括：
激光发射器：用于向目标物体发射射线；
激光接收器：用于接收所述目标物体对于所述射线的反射信号；
发光器件；
测距传感器：用于确定所述射线的长度信息；
惯性测量单元：用于确定所述射线的方向信息；
第一发送模块，用于向电子设备发送所述射线的长度信息以及所述射线的方向信息。
第三方面，本申请实施例提供了一种电子设备，包括：
第一获取模块，用于获取第一穿戴设备发出的射线的相关信息，所述相关信息包括：所述射线的方向信息、所述射线的长度信息以及所述射线形成的第一光斑的第一位置信息；
第二获取模块，用于获取所述第一穿戴设备的发光器件在发光的情况下形成的第二光斑的第二位置信息；
第一确定模块，用于根据所述射线的相关信息和所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息；
第二确定模块，用于根据所述第一穿戴设备的三自由度姿态信息和所述三自由度位置信息，确定所述第一穿戴设备的六自由度位姿信息。
第四方面，本申请实施例提供了一种定位系统，包括电子设备和第一穿戴设备；
其中，所述第一穿戴设备通过激光发射器向目标物体发射射线，并通过测距传感器确定所述射线的长度信息，通过惯性测量单元确定所述射线的方向信息；将所述射线的长度信息和方向信息发送给所述电子设备；所述第一穿戴设备控制发光器件发光；
所述电子设备获取所述射线的长度信息、所述射线的方向信息以及所述射线形成的第一光斑的第一位置信息，并获取所述发光器件在发光的情况下形成的第二光斑的第二位置信息；
所述电子设备据所述射线的长度信息、所述射线的方向信息、所述第一位置信息以及所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息；根据所述第一穿戴设备的三自由度姿态信息和所述三自由度位置信息，确定所述第一穿戴设备的六自由度位姿信息。
第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第七方面，本申请实施例还提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
本申请的实施例，电子设备获取第一穿戴设备发出的射线的相关信息以及第一穿戴设备的发光器件在发光情况下形成的第二光斑的位置信息，根据射线的相关信息以及第二光斑的位置信息确定该第一穿戴设备的三自由度位置信息，并结合第一穿戴设备的三自由度姿态信息，获得第一穿戴设备的六自由度位姿信息，实现了对第一穿戴设备的位置和姿态的三维信息获取，从而可以实现第一穿戴设备的运动类交互。
附图说明
图1是本申请实施例的可穿戴设备的定位方法的流程示意图之一；
图2是本申请实施例的一种XR应用场景的示意图；
图3是本申请实施例的第一穿戴设备的算法框架示意图；
图4是本申请实施例的视觉定位原理示意图；
图5表示本申请实施例的指环的结构示意图之一；
图6表示本申请实施例的指环的结构示意图之二；
图7表示本申请实施例的头盔系统的结构示意图；
图8表示本申请实施例的可穿戴设备的定位方法的流程示意图之二；
图9表示本申请实施例的可穿戴设备的定位方法的流程示意图之三；
图10表示本申请实施例的控制波形示意图；
图11表示本申请实施例的可穿戴设备的定位装置的结构示意图；
图12表示本申请实施例的电子设备的结构示意图之一；
图13表示本申请实施例的电子设备的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
如图1所示，本申请实施例提供一种可穿戴设备的定位方法，包括：
步骤101、电子设备获取第一穿戴设备发出的射线的相关信息，所述相关信息包括：所述射线的方向信息、所述射线的长度信息以及所述射线形成的第一光斑的第一位置信息；
步骤102、获取所述第一穿戴设备的发光器件在发光情况下形成的第二光斑的第二位置信息；
步骤103、根据所述射线的相关信息和所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息；
步骤104、根据所述第一穿戴设备的三自由度姿态信息和所述三自由度位置信息，确定所述第一穿戴设备的六自由度位姿信息。
该实施例中，由电子设备执行所述可穿戴设备的定位方法，所述电子设备可以是带有摄像头的无线计算平台，所述电子设备例如第二穿戴设备、个人计算机(PersonalComputer，PC)、手机终端。所述第二穿戴设备可以是头显设备，例如：虚拟现实(VirtualReality，VR)头盔。所述第一穿戴设备可以是轻量设备，例如增强现实(AugmentedReality，AR)/VR指环。
可选的，所述第一穿戴设备上设置激光测距传感器、激光发射器、激光接收器、发光器件。其中，激光发射器可以向目标物体发射射线，激光接收器可以接收反射的信号，激光测距传感器可以根据激光发射器和激光接收器的信号进行测距，确定所述第一穿戴设备发射的射线的长度。所述第一穿戴设备上还设置IMU和MCU，IMU可以确定第一穿戴设备的三自由度姿态信息，从而使MCU根据三自由度姿态信息确定第一穿戴设备发出的射线的方向信息。所述第一穿戴设备还设置有发光器件，所述发光器件例如发光二极管(LightEmitting Diode，LED)。电子设备可以获取该发光器件的光斑的位置。
所述电子设备获取到第一穿戴设备发出的射线的方向、长度以及射线映射到目标物体形成的第一光斑的位置，还可以获取到第一穿戴设备的发光器件在发光情况下形成的第二光斑的位置，从而可以计算得到第一穿戴设备的三自由度位置信息，结合获取到的第一穿戴设备的三自由度姿态信息，可以得到第一穿戴设备的六自由度位姿信息。
其中，六自由度位姿信息描述的是三自由度位置信息(x，y，z)与姿态三自由度姿态(α，β，γ)，共同构成了完整的3维空间坐标系描述；而一般意义上的三自由度特指的是三自由度姿态信息，即缺失了三自由度位置信息，因此本申请的实施例可以定位到第一穿戴设备的六自由度位姿信息，可以实现第一穿戴设备的运动类交互。
本申请的实施例，电子设备获取第一穿戴设备发出的射线的相关信息以及第一穿戴设备的发光器件在发光情况下形成的第二光斑的位置信息，根据射线的相关信息以及第二位置信息确定该第一穿戴设备的三自由度位置信息，并结合第一穿戴设备的三自由度姿态信息，获得第一穿戴设备的六自由度位姿信息，实现了对第一穿戴设备的位置和姿态的三维信息获取，从而可以实现第一穿戴设备的运动类交互。
可选的，所述方法还包括：接收所述第一穿戴设备发送的三自由度姿态信息。所述第一穿戴设备的IMU可以获得所述第一穿戴设备的三自由度姿态信息。
作为一个可选实施例，获取第一穿戴设备发出的射线的方向信息和长度信息，包括：接收第一穿戴设备发送的所述射线的方向信息和长度信息；其中，所述射线的方向信息是根据所述第一穿戴设备的三自由度姿态信息确定的，所述射线的长度信息是由测距传感器测量获得的。
该实施例中，IMU可以获得所述第一穿戴设备的三自由度姿态信息、第一穿戴设备发出的射线的方向信息和长度信息，所述第一穿戴设备可以将上述信息内容中的一项或者多项发送给所述电子设备，也可以将IMU读取的数据(如射线的方向信息、射线的长度信息)直接发送给所述电子设备，由所述电子设备计算第一穿戴设备的三自由度姿态信息和第一穿戴设备的三自由度位置信息。
该实施例中，一个典型的XR应用场景如图2所示。其中，假设电子设备是头显设备200，第一穿戴设备是带有LED的指环主体结构202，在指环主体结构202上设置红外激光发射模块203(用于发射射线)，红外激光发射模块203发射的射线映射到XR应用场景的表面轮廓201形成第一光斑205。204为指环LED到头显相机的观测线，206为第一光斑到头显相机的观测线，207为激光测距线。对于第一穿戴设备的定位方案属于视觉惯性里程计(VisualInertial Odometry，VIO)，因此定位过程可以包括按惯性导航、视觉和融合三个实现过程。
对于所述惯性导航过程，该部分的核心器件是第一穿戴设备的IMU，如图3所示，IMU由加速计、陀螺仪和磁力计所构成。利用IMU的观测数据可以获得两种信息：a)通过读数可直接观测到的暂态运动信息(主要指角速度ω、加速度a、地磁场m)；b)可间接计算出的第一穿戴设备的三自由度姿态信息(关于地表坐标的转角α，β，γ)。可以由IMU计算获得第一穿戴设备的三自由度姿态信息，并将该三自由度姿态信息发送给头显设备，也可以由第一穿戴设备直接将步骤a)中观测得到的信息发送给头显设备，由头显设备计算获得第一穿戴设备的三自由度姿态信息。头显设备获得第一穿戴设备的三自由度姿态信息的方式在此不做限定，可以根据头显设备以及第一穿戴设备的系统算力、功耗、延迟等要求进行灵活调整。
关于a)的计算可以根据器件数据手册进行原始读数的线性转换获取，关于b)的计算可参考航姿参考系统(Attitude and Heading Reference Systems，AHRS)类算法进行估计，典型的如图3所示的扩展卡尔曼滤波(Extended Kalman Filter，EKF)类算法。
由于激光发射器相对于IMU的位置是由指环刚体结构确定的，因此在估计出IMU的三自由度姿态之后可利用两者间的外参[R|t]计算出激光发射器的发射方向。所述外参可以通过设备出厂时进行离线标定获取，在此不做赘述。
作为一个可选实施例，获取第一穿戴设备发出的射线形成的第一光斑的第一位置信息，包括：根据场景图像提取所述射线映射到目标物体形成的第一光斑的第一位置信息。
该实施例中，电子设备可以获得当前XR场景的场景图像，所述场景图像可以包括可见光图像和红外图像。其中，第一穿戴设备的激光发射器发出射线，该射线在目标物体上形成第一光斑，电子设备可以根据获取的红外图像确定该第一光斑的位置，进而确定第一穿戴设备在红外图像中的位置。
作为一个可选实施例，获取所述第一穿戴设备的发光器件在发光情况下形成的第二光斑的第二位置信息，包括：根据场景图像确定所述发光器件在发光情况下映射到相机上的成像点；确定所述成像点的位置信息是所述发光器件形成的第二光斑的第二位置信息。该实施例中，第一穿戴设备上设置的发光器件在相机的成像区域映射形成第二光斑，电子设备可以根据可见光图像确定该第二光斑的位置。
对于本申请实施例的定位过程中的视觉部分，核心器件是多目相机系统，例如AR头盔的多目相机系统，该多目相机系统可以设置在所述电子设备上，例如在头盔上设置该多目相机系统，头盔通过该多目相机系统可以检测到第一穿戴设备的红外图像和可见光图像。为简化说明，这里抽象为如图4所示的单相机系统。其中，XcYcZc为抽象后的头盔相机坐标系，XwYwZw为世界坐标系，XIYIZI为IMU坐标系，L为激光发射线，II和IB分别为第一穿戴设备(如指环主体)和激光发射线的第一光斑在相机上的成像点。电子设备根据当前场景的场景图像可以确定成像点的具体位置。
作为一个可选实施例，所述根据所述射线的相关信息和所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息，包括：根据相机原点、所述第一位置信息以及所述第二位置信息，确定观测平面；根据所述观测平面确定所述第一穿戴设备的深度；根据所述深度确定所述第一穿戴设备的三自由度位置信息。
该实施例中，电子设备可以根据检测的红外图像以及可见光图像，确定观测平面。所述电子设备根据该观测平面以及射线的长度信息可以确定出所述第一穿戴设备的深度，根据所述第一穿戴设备的深度以及该第一穿戴设备的发光器件形成的第二光斑在图像中位置，确定所述第一穿戴设备的三自由度位置信息。
如图4所示，相机原点Oc和成像点II、IB构成了一个由射线OcII和OcIB构成的观测平面π；激光发射线L一定落在观测平面π上。由于第一穿戴设备的IMU可以获取三自由度姿态信息，也即能够确定射线L的方向。在该观测平面π上，不同位置的射线长度是不同的，因此需要确定射线L的长度才能够进一步确定第一穿戴设备的深度，从而确定第一穿戴设备的三自由度位置。将三自由度姿态信息与三自由度位置信息融合即可获得六自由度位姿，既包括第一穿戴设备的姿态也包括第一穿戴设备的位置。
下面以所示第一穿戴设备是轻量指环，电子设备是AR头盔系统为例，说明对轻量指环的定位过程，该AR头盔系统包括头戴式XR设备。
轻量指环的结构如图5所示，包括：电子器件结构件500、激光接收器501、激光发射器502、环形电池503、指套结构504以及发光器件505，发光器件可以是LED，其中电子器件结构件500可以包括：触摸传感器(Touch/IO)、IMU、微控制单元(Microcontroller Unit，MCU)。其中激光接收器501可以是互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)或者单光子雪崩二极管(Single Photon Avalanche Diode，SPAD)；激光发射器502可以是垂直腔面发射激光器(Vertical-Cavity Surface-Emitting Laser，VCSEL)。所述轻量指环还包括激光测距传感器，可以基于所述激光接收器501和激光发射器502实现射线测距。
该轻量指环的系统结构如图6所示，包括中央处理器(Central Processing Unit，CPU)、存储模块、IMU、供电模块、激光测距模块、I/O、LED驱动模块。AR头盔系统如图7所示，包括CPU、存储模块、IMU、供电模块、相机模块、I/O、数字信号处理器(Digital SignalProcessor，DSP)。
头盔系统可以对指环传输的信息以及相机获取的信息进行融合处理，输出最终的六自由度定位结果。指环传输的信息包括：射线的长度信息、方向信息、射线形成的第一光斑的第一位置信息、发光器件形成的第二光斑的第二位置信息、三自由度姿态信息等。相机获取的信息包括红外图像、可见光图像等。定位原理如下：
1)为不失一般性，这里假设系统工作在单目相机深度未知的前提下。
2)相机原点Oc和成像点II、IB构成了一个由射线OcII和OcIB构成的观测平面π；指环发出的激光发射线L一定落在观测平面π上；II是指环的发光器件映射到相机上的成像点；IB是激光发射线L形成的第一光斑B映射到相机上的成像点。
3)指环的IMU可以提供三自由度姿态的估计结果，即指环的三自由度姿态信息，指环或者头盔系统根据三自由度姿态估计结果计算获得激光发射线L的方向。
4)由于指环或者指环的惯性测量单元的深度未知，观测平面π上任何平行于L方向的直线均满足上述2)和3)，因此还需引入额外约束来确定指环或者指环的IMU的位置。
5)在此系统中，用于确定指环位置的约束来源于激光测距传感器对射线L长度的测量，即指环上的激光测距传感器可以获得射线L的长度信息。基于观测平面π，只有在特定深度上，射线L才能同时满足方向和长度的约束，亦即可确定指环或者指环的IMU在射线OcII上的真实位置。
6)OI、OI ′表示指环或者指环的IMU在射线OcII上的可能位置，其坐标是在相机坐标系下的坐标，在确定了指环或者指环的IMU的真实位置是OI后，将OI投影到世界坐标系XYZw中，得到OI在世界坐标系下的位置坐标(x，y，z)，该位置即为指环的三自由度位置信息，再结合IMU提供的指环的三自由度姿态信息，即可获得完整的6DoF定位结果，即获得指环的六自由度位姿信息。
完整的定位计算流程如图8所示，测距模组，即指环的激光测距传感器，测量获得射线L的长度。指环的IMU测量获得指环的三自由度姿态信息，并确定射线L的方向。头盔系统根据相机系统获得的可见光图像提取指环上的LED发光形成的第二光斑的位置，并根据相机系统获得的红外图像提取射线L映射到目标物体的第一光斑的位置，根据第二光斑的位置和射线L的第一光斑位置确定观测平面π。
头盔系统根据射线L的长度、射线L的方向、观测平面π能够确定指环的深度，并根据指环深度计算指环的三自由度位置信息，基于三自由度位置信息和指环的三自由度姿态信息确定指环的六自由度位姿信息。
本申请中指环系统和头盔系统的工作流程如图9所示，对于指环系统侧，包括：配置驱动参数、读取IMU数据、计算三自由度姿态信息并将三自由度姿态信息传输至头盔系统(也可对不满足预定条件的信参数进行调整后再进行无线传输)。对于头盔系统侧，包括：加载内外参数、配置驱动参数、通过图像处理与视觉算法计算光斑的位置以及指环的三自由度位置信息，接收指环系统发送的三自由度姿态信息后，通过对三自由度位置信息和三自由度姿态信息进行融合处理获得指环的六自由度位姿信息。
需要说明的是，在本申请的实施例中，第一穿戴设备上设置的发光器件发光的颜色、频率和强度在满足可见光成像要求的情况下可以根据需求调整。
由于电子设备的相机系统需要同时观测发光器件和激光发射器发射的红外光，常见的驱动方式是将曝光控制调整为交错模式。以发光器件是LED为例，具体的，可将奇数帧预留较长时间以保证对可见光可形成较好的观测，同时点亮LED并关闭激光器以防止对指环LED可见光的识别；当偶数帧到来时，点亮激光器并关闭指环LED，且将曝光时间显著缩短以提高红外光成像的信噪比，一个典型的控制波形如图10所示。
鉴于此，发光器件的控制可参考以下几点：
1)发光器件的点亮时间窗口应落在奇数帧曝光时间窗口内，否则会导致成像过暗甚至观测不到。同理，激光器的曝光时间也应落在偶数帧曝光窗口内。特殊的，偶数帧也可以尝试点亮发光器件，获得更多可选配置，但显然应避开偶数帧曝光窗口。
2)发光器件脉冲的占空比和强度共同决定外观亮度，在满足1)和功耗要求的前提下可以适当均衡两者比例。
3)发光器件的颜色选择可参考头盔相机模组的波长增益曲线，尽量选择增益较高的波段(颜色)以提高能量利用效率。
本申请的实施例，电子设备获取第一穿戴设备发出的射线的相关信息以及第一穿戴设备的发光器件在发光情况下形成的第二光斑的第二位置信息，根据射线的相关信息以及第二位置信息确定该第一穿戴设备的三自由度位置信息，并结合第一穿戴设备的三自由度姿态信息，获得第一穿戴设备的六自由度位姿信息，实现了对第一穿戴设备的位置和姿态的三维信息获取，从而可以实现第一穿戴设备的运动类交互。
本申请实施例还提供一种穿戴设备，所述穿戴设备可以是第一穿戴设备，所述第一穿戴设备可以是轻量设备，例如AR/VR指环。
如图5所示，所述穿戴设备包括：
激光发射器502：用于向目标物体发射射线；
激光接收器501：用于接收所述目标物体对于所述射线的反射信号；
发光器件505；所述发光器件例如LED；
测距传感器(图5中未示出)：用于确定所述射线的长度信息；
惯性测量单元(IMU)：用于确定所述射线的方向信息；
第一发送模块(图5中未示出)，用于向电子设备发送所述射线的长度信息以及所述射线的方向信息。
可选的，所述穿戴设备控制所述激光发射器向目标物体发射射线并控制所述发光器件发光；
所述穿戴设备通过所述测距传感器确定所述射线的长度信息，并通过所述惯性测量单元确定所述射线的方向信息；
所述穿戴设备发送所述射线的长度信息以及所述射线的方向信息。
可选的，通过所述测距传感器确定所述射线的长度信息，包括：
通过所述激光接收器接收所述目标物体对所述射线的反射信号；
控制所述测距传感器根据所述射线以及所述反射信号确定所述射线的长度信息。
该实施例中，激光发射器可以向目标物体发射射线，激光接收器可以接收反射的信号，激光测距传感器可以根据激光发射器和激光接收器的信号进行测距，确定所述第一穿戴设备发射的射线的长度。IMU可以确定该穿戴设备的三自由度姿态信息。可选的，所述穿戴设备还可以包括MCU，MCU可以根据三自由度姿态信息确定第一穿戴设备发出的射线的方向信息。所述穿戴设备通过第一发送模块向电子设备发送所述射线的长度信息以及所述射线的方向信息。
MCU可以控制发光器件发光，电子设备可以确定发光器件在发光的情况下形成的第二光斑的位置。
可选的，通过所述惯性测量单元确定所述射线的方向信息，包括：
确定穿戴设备的三自由度姿态信息；根据所述三自由度姿态信息，确定所述射线的方向信息。
该实施例中，IMU可以读取第一穿戴设备的三自由度姿态信息，并根据该三自由度姿态信息确定射线的方向。可选的，可以由MCU根据三自由度姿态信息确定穿戴设备发出的射线的方向信息。
可选的，所述穿戴设备还可以包括MCU，MCU可以根据根据三自由度姿态信息确定穿戴设备发出的射线的方向信息。
本申请的实施例，穿戴设备上设置惯性测量单元，该惯性测量单元可以确定该穿戴设备的三自由度姿态信息、穿戴设备发出的射线的方向信息和长度信息，并将上述信息发送给电子设备，电子设备可以是头显设备，由电子设备根据上述信息确定该穿戴设备的三自由度姿态信息和三自由度位置信息，从而确定穿戴设备的六自由度位姿信息。
如图11所示，本申请实施例还提供一种电子设备1100，包括：
第一获取模块1110，用于获取第一穿戴设备发出的射线的相关信息，所述相关信息包括：所述射线的方向信息、所述射线的长度信息以及所述射线形成的第一光斑的第一位置信息；
第二获取模块1120，用于获取所述第一穿戴设备的发光器件在发光的情况下形成的第二光斑的第二位置信息；
第一确定模块1130，用于根据所述射线的相关信息和所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息；
第二确定模块1140，用于根据所述第一穿戴设备的三自由度姿态信息和所述三自由度位置信息，确定所述第一穿戴设备的六自由度位姿信息。
可选的，所述第一获取模块包括：
接收单元，用于接收第一穿戴设备发送的所述射线的方向信息和长度信息；
其中，所述射线的方向信息是根据所述第一穿戴设备的三自由度姿态信息确定的，所述射线的长度信息是由测距传感器测量获得的。
可选的，所述第一获取模块包括：
信息提取单元，用于根据场景图像提取所述射线映射到目标物体形成的第一光斑的第一位置信息。
可选的，所述第二获取模块包括：
第一确定单元，用于根据场景图像确定所述发光器件在发光的情况下映射到相机上的成像点；
第二确定单元，用于确定所述成像点的位置信息是所述发光器件形成的第二光斑的第二位置信息。
可选的，所述第一确定模块包括：
第三确定单元，用于根据相机原点、所述第一位置信息以及所述第二位置信息，确定观测平面；
第四确定单元，用于根据所述观测平面确定所述第一穿戴设备的深度；
第五确定单元，用于根据所述深度确定所述第一穿戴设备的三自由度位置信息。
可选的，所述电子设备还包括：
接收模块，用于接收所述第一穿戴设备发送的三自由度姿态信息。
本申请的实施例，电子设备获取第一穿戴设备发出的射线的相关信息以及第一穿戴设备的发光器件在发光的情况下形成的第二光斑的第二位置信息，根据射线的相关信息以及所述第二位置信息确定该第一穿戴设备的三自由度位置信息，并结合第一穿戴设备的三自由度姿态信息，获得第一穿戴设备的六自由度位姿信息，实现了对第一穿戴设备的位置和姿态的三维信息获取，从而可以实现第一穿戴设备的运动类交互。
本申请实施例中的穿戴设备以及头显设备可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的电子设备可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的电子设备能够实现图1至图10的方法实施例中可电子设备实现的各个过程，为避免重复，这里不再赘述。
可选的，如图12所示，本申请实施例还提供一种电子设备1200，包括处理器1201，存储器1202，存储在存储器1202上并可在所述处理器1201上运行的程序或指令，该程序或指令被处理器1201执行时实现上述可穿戴设备的定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图13为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1300包括但不限于：射频单元1301、网络模块1302、音频输出单元1303、输入单元1304、传感器1305、显示单元1306、用户输入单元1307、接口单元1308、存储器1309、以及处理器1310等部件。
本领域技术人员可以理解，电子设备1300还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1310逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图13中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器1310，用于获取第一穿戴设备发出的射线的相关信息，所述相关信息包括：所述射线的方向信息、所述射线的长度信息以及所述射线形成的第一光斑的第一位置信息；
获取所述第一穿戴设备的发光器件在发光的情况下形成的第二光斑的第二位置信息；
根据所述射线的相关信息和所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息；
根据所述第一穿戴设备的三自由度姿态信息和所述三自由度位置信息，确定所述第一穿戴设备的六自由度位姿信息。
可选的，所述射频单元1301具体用于：
接收第一穿戴设备发送的所述射线的方向信息和长度信息；
其中，所述射线的方向信息是根据所述第一穿戴设备的三自由度姿态信息确定的，所述射线的长度信息是由测距传感器测量获得的。
可选的，所述处理器具体用于：根据场景图像提取所述射线映射到目标物体形成的第一光斑的第一位置信息。
可选的，所述处理器具体用于：
根据场景图像确定所述发光器件在发光的情况下映射到相机上的成像点；
确定所述成像点的位置信息是所述发光器件形成的第二光斑的第二位置信息。
可选的，所述处理器还用于：
根据相机原点、所述第一位置信息以及所述第二位置信息，确定观测平面；
根据所述观测平面确定所述第一穿戴设备的深度；
根据所述深度确定所述第一穿戴设备的三自由度位置信息。
可选的，所述射频单元还用于：接收所述第一穿戴设备发送的三自由度姿态信息。
本申请的实施例，电子设备获取第一穿戴设备发出的射线的相关信息以及第一穿戴设备的发光器件在发光的情况下形成的第二光斑的第二位置信息，根据射线的相关信息以及所述第二位置信息确定该第一穿戴设备的三自由度位置信息，并结合第一穿戴设备的三自由度姿态信息，获得第一穿戴设备的六自由度位姿信息，实现了对第一穿戴设备的位置和姿态的三维信息获取，从而可以实现第一穿戴设备的运动类交互。
应理解的是，本申请实施例中，输入单元1304可以包括图形处理器(GraphicsProcessing Unit，GPU)13041和麦克风13042，图形处理器13041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1306可包括显示面板13061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板13061。用户输入单元1307包括触控面板13071以及其他输入设备13072中的至少一种。触控面板13071，也称为触摸屏。触控面板13071可包括触摸检测装置和触摸控制器两个部分。其他输入设备13072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器1309可用于存储软件程序以及各种数据。存储器1309可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1309可以包括易失性存储器或非易失性存储器，或者，存储器1309可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1309包括但不限于这些和任意其它适合类型的存储器。
处理器1310可包括一个或多个处理单元；可选的，处理器1310集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1310中。
本申请实施例还提供一种定位系统，包括电子设备和第一穿戴设备；
其中，所述第一穿戴设备通过激光发射器向目标物体发射射线，并通过测距传感器确定所述射线的长度信息，通过惯性测量单元确定所述射线的方向信息；将所述射线的长度信息和方向信息发送给所述电子设备；所述第一穿戴设备控制发光器件发光；
所述电子设备获取所述射线的长度信息、所述射线的方向信息以及所述射线形成的第一光斑的第一位置信息，并获取所述发光器件在发光的情况下形成的第二光斑的第二位置信息；
所述电子设备据所述射线的长度信息、所述射线的方向信息、所述第一位置信息以及所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息；根据所述第一穿戴设备的三自由度姿态信息和所述三自由度位置信息，确定所述第一穿戴设备的六自由度位姿信息。
可选的，所述电子设备是第二穿戴设备或者个人计算机PC。
所述电子设备和所述第一穿戴设备的结构以及执行的操作在此不做赘述。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述可穿戴设备的定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述可穿戴设备的定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述可穿戴设备的定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

Claims (13)

1.一种可穿戴设备的定位方法，其特征在于，包括：
电子设备获取第一穿戴设备发出的射线的相关信息，所述相关信息包括：所述射线的方向信息、所述射线的长度信息以及所述射线形成的第一光斑的第一位置信息；
获取所述第一穿戴设备的发光器件在发光的情况下形成的第二光斑的第二位置信息；
根据所述射线的相关信息和所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息；
根据所述第一穿戴设备的三自由度姿态信息和所述三自由度位置信息，确定所述第一穿戴设备的六自由度位姿信息。
2.根据权利要求1所述的方法，其特征在于，获取第一穿戴设备发出的射线的方向信息和长度信息，包括：
接收第一穿戴设备发送的所述射线的方向信息和长度信息；
其中，所述射线的方向信息是根据所述第一穿戴设备的三自由度姿态信息确定的，所述射线的长度信息是由测距传感器测量获得的。
3.根据权利要求1所述的方法，其特征在于，获取第一穿戴设备发出的射线形成的第一光斑的第一位置信息，包括：
根据场景图像提取所述射线映射到目标物体形成的第一光斑的第一位置信息。
4.根据权利要求1所述的方法，其特征在于，获取所述第一穿戴设备的发光器件在发光情况下形成的第二光斑的第二位置信息，包括：
根据场景图像确定所述发光器件在发光的情况下映射到相机上的成像点；
确定所述成像点的位置信息是所述发光器件形成的第二光斑的第二位置信息。
5.根据权利要求1所述的方法，其特征在于，所述根据所述射线的相关信息和所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息，包括：
根据相机原点、所述第一位置信息以及所述第二位置信息，确定观测平面；
根据所述观测平面确定所述第一穿戴设备的深度；
根据所述深度确定所述第一穿戴设备的三自由度位置信息。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述第一穿戴设备发送的三自由度姿态信息。
7.一种穿戴设备，其特征在于，包括：
激光发射器：用于向目标物体发射射线；
激光接收器：用于接收所述目标物体对于所述射线的反射信号；
发光器件；
测距传感器：用于确定所述射线的长度信息；
惯性测量单元：用于确定所述射线的方向信息；
第一发送模块，用于向电子设备发送所述射线的长度信息以及所述射线的方向信息。
8.根据权利要求7所述的穿戴设备，其特征在于，
所述穿戴设备控制所述激光发射器向目标物体发射射线并控制所述发光器件发光；
所述穿戴设备通过所述测距传感器确定所述射线的长度信息，并通过所述惯性测量单元确定所述射线的方向信息；
所述穿戴设备发送所述射线的长度信息以及所述射线的方向信息。
9.根据权利要求8所述的穿戴设备，其特征在于，通过所述测距传感器确定所述射线的长度信息，包括：
通过所述激光接收器接收所述目标物体对所述射线的反射信号；
控制所述测距传感器根据所述射线以及所述反射信号确定所述射线的长度信息。
10.根据权利要求8所述的穿戴设备，其特征在于，通过所述惯性测量单元确定所述射线的方向信息，包括：
确定穿戴设备的三自由度姿态信息；
根据所述三自由度姿态信息，确定所述射线的方向信息。
11.一种电子设备，其特征在于，包括：
第一获取模块，用于获取第一穿戴设备发出的射线的相关信息，所述相关信息包括：所述射线的方向信息、所述射线的长度信息以及所述射线形成的第一光斑的第一位置信息；
第二获取模块，用于获取所述第一穿戴设备的发光器件在发光的情况下形成的第二光斑的第二位置信息；
第一确定模块，用于根据所述射线的相关信息和所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息；
第二确定模块，用于根据所述第一穿戴设备的三自由度姿态信息和所述三自由度位置信息，确定所述第一穿戴设备的六自由度位姿信息。
12.一种定位系统，其特征在于，包括电子设备和第一穿戴设备；
其中，所述第一穿戴设备通过激光发射器向目标物体发射射线，并通过测距传感器确定所述射线的长度信息，通过惯性测量单元确定所述射线的方向信息；将所述射线的长度信息和方向信息发送给所述电子设备；所述第一穿戴设备控制发光器件发光；
所述电子设备获取所述射线的长度信息、所述射线的方向信息以及所述射线形成的第一光斑的第一位置信息，并获取所述发光器件在发光的情况下形成的第二光斑的第二位置信息；
所述电子设备据所述射线的长度信息、所述射线的方向信息、所述第一位置信息以及所述第二位置信息，确定所述第一穿戴设备的三自由度位置信息；根据所述第一穿戴设备的三自由度姿态信息和所述三自由度位置信息，确定所述第一穿戴设备的六自由度位姿信息。
13.根据权利要求12所述的定位系统，其特征在于，所述电子设备是第二穿戴设备或者个人计算机PC。
CN202310651919.6A 2023-06-02 2023-06-02 可穿戴设备的定位方法、穿戴设备及电子设备 Pending CN116609789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310651919.6A CN116609789A (zh) 2023-06-02 2023-06-02 可穿戴设备的定位方法、穿戴设备及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310651919.6A CN116609789A (zh) 2023-06-02 2023-06-02 可穿戴设备的定位方法、穿戴设备及电子设备

Publications (1)

Publication Number Publication Date
CN116609789A true CN116609789A (zh) 2023-08-18

Family

ID=87679881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310651919.6A Pending CN116609789A (zh) 2023-06-02 2023-06-02 可穿戴设备的定位方法、穿戴设备及电子设备

Country Status (1)

Country Link
CN (1) CN116609789A (zh)

Similar Documents

Publication Publication Date Title
US9142062B2 (en) Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
ES2806947T3 (es) Interfaz de usuario para dispositivos habilitados con realidad aumentada
US9824497B2 (en) Information processing apparatus, information processing system, and information processing method
US20210049360A1 (en) CONTROLLER GESTURES IN VIRTUAL, AUGMENTED, AND MIXED REALITY (xR) APPLICATIONS
Maeda et al. Tracking of user position and orientation by stereo measurement of infrared markers and orientation sensing
JP2017027206A (ja) 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
US20200387240A1 (en) Input device
US20190285896A1 (en) Transmission-type head mounted display apparatus, method of controlling transmission-type head mounted display apparatus, and computer program for controlling transmission-type head mounted display apparatus
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20220026981A1 (en) Information processing apparatus, method for processing information, and program
Grimm et al. VR/AR input devices and tracking
CN116609789A (zh) 可穿戴设备的定位方法、穿戴设备及电子设备
US10592010B1 (en) Electronic device system with input tracking and visual output
US11947122B1 (en) Tracking system and method incorporating selective control of light sources of controller
US20230252691A1 (en) Passthrough window object locator in an artificial reality system
US20240104820A1 (en) Tracking system, tracking method, and self-tracking tracker
CN115712348A (zh) 手柄控制器、头戴式显示设备及追踪方法
JP2017215262A (ja) 検出方法、被検出物、及びシステム
JP2017215873A (ja) 表示装置、情報表示システム、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination