CN110572635A - 一种用于手持控制设备追踪定位的方法、设备与系统 - Google Patents

一种用于手持控制设备追踪定位的方法、设备与系统 Download PDF

Info

Publication number
CN110572635A
CN110572635A CN201910802308.0A CN201910802308A CN110572635A CN 110572635 A CN110572635 A CN 110572635A CN 201910802308 A CN201910802308 A CN 201910802308A CN 110572635 A CN110572635 A CN 110572635A
Authority
CN
China
Prior art keywords
handheld control
control device
equipment
led
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910802308.0A
Other languages
English (en)
Inventor
史杰
王西颖
史明
曹萌
叶祖霈
林鸿运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing IQIYI Intelligent Technology Co Ltd
Original Assignee
Chongqing IQIYI Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing IQIYI Intelligent Technology Co Ltd filed Critical Chongqing IQIYI Intelligent Technology Co Ltd
Priority to CN201910802308.0A priority Critical patent/CN110572635A/zh
Publication of CN110572635A publication Critical patent/CN110572635A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请的目的是提供一种用于手持控制设备追踪定位的方法、设备与系统。与现有技术相比，本申请通过在手持控制设备上设置有至少一个LED矩阵，且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，然后，由摄像设备对每一次亮度变化进行拍摄并将所拍摄的多张连续图像发送至处理设备，以由处理设备确定所述手持控制设备的位置与姿态。从而，本申请所述的手持控制设备追踪定位方式，对手部运动的跟踪精度更高，且跟踪延迟很低，使得用户更加具有沉浸感；并且由于摄像设备的固定位置较为灵活，因此拍摄自由，易于解决拍摄干扰；同时，由于LED矩阵大部分时间处于熄灭状态，因此节省了手持控制设备的功耗，增加了手持控制设备续航时间。

Description

一种用于手持控制设备追踪定位的方法、设备与系统
技术领域
本申请涉及计算机技术领域，尤其涉及一种实现手持控制设备追踪定位的技术。
背景技术
虚拟现实(VR，Virtual Reality)技术通过将画面以3D的形式进行展现，能够帮助人们在屏幕上获得更加真实的视觉效果。随着虚拟现实技术的发展，当前虚拟现实技术的一种应用是通过VR一体机等设备，使用户体验在大范围的虚拟场景中的交互体验。例如，通过建立具有不同主题内容的VR体验馆，以及捕捉用户在VR体验馆中的位移与动作，并将该位移与动作映射至虚拟现实场景中的特定逻辑上，以实现用户对虚拟现实场景下的主题互动。
因此，这种虚拟应用的核心技术之一就是如何对用户进行追踪定位。
发明内容
本申请的目的是提供一种用于手持控制设备追踪定位的方法、设备与系统。
根据本申请的一个实施例，提供了一种手持控制设备追踪定位的方法，其中，该方法包括以下步骤：
手持控制设备与摄像设备之间建立无线连接，其中，所述手持控制设备上设置有至少一个LED矩阵；
所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，并由所述摄像设备对每一次亮度变化进行拍摄，以生成多张连续图像；
所述摄像设备将所述多张连续图像发送至处理设备，所述处理设备基于所述多张连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系；
所述处理设备基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系；
所述处理设备根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标；
所述处理设备根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态。
可选地，所述手持控制设备上的LED矩阵排布方式需满足以下至少任一项：
自然手持状态下，手部不会遮挡到所述LED矩阵中的至少部分LED灯；
手部自然操作状态下，至少部分LED灯能够被摄像设备所拍摄。
可选地，在所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设规则执行每一次亮度变化前，所述手持控制设备与所述摄像设备之间执行同步。
可选地，所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化时的开启时间，大于等于所述摄像设备对每一次亮度变化进行拍摄的捕获图像时间。
可选地，所述预设的亮度变化规则包括：
所述LED矩阵上的每一个LED灯的连续多个图像上的亮度变化是唯一的，其中，所述多个图像的图像数量根据所述LED矩阵上LED灯的数量确定。
可选地，该方法还包括：
所述处理设备根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。
可选地，所述摄像设备所在的位置包括以下任一项：
所述摄像设备被固定在空间中的某一固定位置；
所述摄像设备被包含于头显设备。
可选地，该方法还包括：
所述处理设备获取所述手持控制设备端的运动信息；
所述处理设备基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹。
根据本申请的另一个实施例，还提供了一种在处理设备端执行手持控制设备追踪定位的方法，其中，该方法包括以下步骤：
获取摄像设备对手持控制设备所拍摄的多张连续图像，其中，所述手持控制设备上设置有至少一个LED矩阵且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述多张连续图像对应于所述手持控制设备的LED矩阵的每一次亮度变化；
基于所述连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系；
基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系；
根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标；
根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态。
可选地，所述方法还包括以下步骤：
根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。
可选地，所述方法还包括以下步骤：
获取所述手持控制设备端的运动信息；
基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹。
根据本申请的另一个实施例，还提供了一种手持控制设备，其中，所述手持控制设备上设置有至少一个LED矩阵，且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述手持控制设备能够与摄像设备之间建立无线连接，并由所述摄像设备对每一次亮度变化进行拍摄。
可选地，所述手持控制设备上的LED矩阵排布方式需满足以下至少任一项：
自然手持状态下，手部不会遮挡到所述LED矩阵中的至少部分LED灯；
手部自然操作状态下，至少部分LED灯能够被摄像设备所拍摄。
可选地，所述LED矩阵同时设置于所述手持控制设备的正面、背面、侧面中的至少任意两面。
可选地，位于所述手持控制设备正面的LED灯的排布、位于所述手持控制设备背面的LED灯的排布以及位于所述手持控制设备侧面的LED灯的排布中的至少任意两项排布不相同。
可选地，在所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设规则执行每一次亮度变化前，所述手持控制设备与所述摄像设备之间执行同步。
可选地，所述预设的亮度变化规则包括：
所述LED矩阵上的每一个LED灯的连续多个图像上的亮度变化是唯一的，其中，所述多个图像的图像数量根据所述LED矩阵上LED灯的数量确定。
可选地，所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化时的开启时间，大于等于摄像设备对每一次亮度变化进行拍摄的捕获图像时间。
可选地，所述手持控制设备还包括采集装置，以采集所述手持控制设备的运动信息并将所述运动信息发送至处理设备。
根据本申请的另一个实施例，还提供了一种处理设备，其中，所述处理设备包括：
第一装置，用于获取摄像设备对手持控制设备所拍摄的多张连续图像，其中，所述手持控制设备上设置有至少一个LED矩阵且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述多张连续图像对应于所述手持控制设备的LED矩阵的每一次亮度变化；
第二装置，用于基于所述连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系；
第三装置，用于基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系；
第四装置，用于根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标；
第五装置，用于根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态。
可选地，所述处理设备还包括：
第六装置，用于根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。
可选地，所述处理设备还包括：
第七装置，用于获取所述手持控制设备端的运动信息；
第八装置，用于基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹。
根据本申请的另一个实施例，还提供了一种头显设备，其中，所述头显设备包括如上述任一项所述的处理设备。
可选地，所述头显设备还包含摄像设备，以对所述手持控制设备的每一次亮度变化进行拍摄，生成多张连续图像。
根据本申请的另一个实施例，还提供了一种对手持控制设备追踪定位的系统，其中，所述系统包括如上述任一项所述的手持控制设备，以及以下任一项：
如上述任一项所述的处理设备以及包含摄像设备的头显设备，所述摄像设备对所述手持控制设备的每一次亮度变化进行拍摄，生成多张连续图像；
如上述任一项所述的处理设备、头显设备以及用于对所述手持控制设备的每一次亮度变化进行拍摄以生成多张连续图像的摄像设备，其中，所述摄像设备被固定在空间中的某一固定位置；
包含上述任一项所述的计算机设备的头显设备，以及用于对所述手持控制设备的每一次亮度变化进行拍摄以生成多张连续图像的摄像设备，其中，所述摄像设备被固定在空间中的某一固定位置；
包括上述任一项所述的计算机设备以及摄像设备的头显设备。
根据本申请的另一个实施例，还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述任一项所述的方法。
根据本申请的另一个实施例，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如权上述任一项所述的方法。
与现有技术相比，本申请通过在手持控制设备上设置有至少一个LED矩阵，且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，然后，所述手持控制设备能够与摄像设备之间建立无线连接，并由所述摄像设备对每一次亮度变化进行拍摄并将所拍摄的多张连续图像发送至处理设备，以由处理设备确定所述手持控制设备的位置与姿态。从而，本申请所述的手持控制设备追踪定位方式，对手部运动的跟踪精度更高，且跟踪延迟很低，使得用户更加具有沉浸感；并且由于摄像设备的固定位置较为灵活，因此拍摄自由，易于解决拍摄干扰；同时，由于LED矩阵大部分时间处于熄灭状态，因此节省了手持控制设备的功耗，增加了手持控制设备续航时间。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1(a)示出根据本申请一个实施例的一种手持控制设备的主视图；
图1(b)示出根据本申请一个实施例的一种手持控制设备的后视图；
图1(c)示出根据本申请一个实施例的一种手持控制设备的左视图；
图2示出根据本申请一个实施例的一种用于进行手持控制设备追踪定位的处理设备示意图；
图3示出根据本申请一个实施例的一种手持控制设备追踪定位的方法流程图；
图4示出根据本申请一个实施例的一种在手持控制设备与摄像设备之间执行同步的方法流程图；
图5示出根据本申请一个实施例的一种在手持控制设备与摄像设备之间的时间流程图；
图6示出根据本申请一个实施例的一种在处理设备端进行手持控制设备追踪定位的方法流程图；
图7示出根据本申请一个实施例的一种手持控制设备结构图；
图8示出根据本申请一个实施例的一种头显设备结构图；
图9示出根据本申请一个实施例的一种摄像设备结构图；
图10示出了可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
通过对手持控制设备进行追踪以实现对用户的定位是虚拟现实技术中对用户进行追踪定位的方法之一。而对手持控制设备追踪主要包括以下几种方式：
方式一：惯性方法。手持控制设备端使用加速度陀螺仪等惯性传感器。当手持控制设备在空间中运动时，采集惯性传感器上的数据，利用惯性导航算法，即可得到手持控制设备在空间中的相应运动。
方式二：电磁方法。基站作为电磁发射源产生有规律的磁场；手持控制设备端上有电磁接收传感器。当手持控制设备在磁场中运动时，手持控制设备端的电磁传感器数值会产生相应变化，根据变化计算出手持控制设备在空间中的相应运动。
方式三：视觉方法。外置摄像头连续拍摄手持控制设备在空间中的运动轨迹，根据特征图像匹配等视觉算法，计算出手持控制设备在空间中的相应变化。
然而，本申请对上述方式进行分析后发现，上述几种方式均存在一定的缺陷：
惯性方法，虽然体积小、成本低、功耗小，但是由于导航算法随着时间的增长，误差会相应积累。因此，惯性跟踪方法的跟踪精度较低。
电磁方法，虽然不易遮挡，但是由于跟踪精度易受到环境中金属材料干扰，造成电磁跟踪不稳定，并且电磁功耗较大，造成手持控制设备续航能力较差。
视觉方法，对于手持控制设备跟踪精度较高，但是当手持控制设备不在摄像头视场中或者被其他物体遮挡后，摄像头无法有效拍摄手持控制设备图像，造成跟踪失效，且视觉跟踪算法运算量过大。
因此，本申请提出了一种新型的用于手持控制设备追踪定位的方法、设备与系统，以解决上述主动定位方式所存在的一种或多种缺陷。
下面结合附图对本申请作进一步详细描述。
本申请所述摄像设备包括但不限于任意一种独立摄像设备，如摄像头，或者与其他设备相集成的摄像设备，如包含摄像功能的电子设备等。
所述摄像设备能够与手持控制设备之间建立无线连接(如wifi连接或蓝牙连接等)，并对所述手持控制设备的每一次亮度变化进行拍摄，生成多张连续图像。此外，所述摄像设备还能够通过无线连接、有线连接或经由其他设备转发等形式，将所拍摄的多张连续图像发送至处理设备，以供所述处理设备确定所述手持控制设备的位置与姿态。
在一种实施例中，所述摄像设备被固定在空间中的某一固定位置；
在一种实施例中，所述摄像设备通过固定或内置的方式，被包含于头显设备。
在一种实施例中，所述摄像设备支持Global shot模式(全局快门曝光模式)，以实现更好的跟踪精度。
本申请所述头显设备，即头戴式显示设备，包括但不限于VR(虚拟现实)/AR(Augmented Reality，增强现实)/MR(Mix reality，混合现实)一体机、VR/AR/MR眼镜等任意一种可以执行虚拟现实技术、且能够被用户佩戴在身上以显示相应信息的虚拟现实/增强现实/混合现实设备。在一种实施例中，所述虚拟现实/增强现实/混合现实设备还可以是现有虚拟现实/增强现实/混合现实设备与其他设备通过网络相集成所构成的设备，所述其他设备包括用户设备和/或网络设备。
本申请所述处理设备包括但不限于任意一种独立的计算机设备，或者是与其他设备相集成的计算机设备。所述计算机设备包括但不限于用户设备和/或网络设备。在一种实施例中，所述处理设备可以被集成于头显设备中。
所述用户设备包括但不限于任何一种可与用户进行人机交互的电子产品，例如虚拟现实个人终端、个人电脑、智能手机、平板电脑等，所述电子产品可以采用任意操作系统，如windows操作系统、android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(CloudComputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。
当然，本领域技术人员应能理解上述各类设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
本申请所述手持控制设备包括但不限于任意一种可以需要执行追踪定位的手持控制设备，如用于游戏的手柄、用于虚拟现实应用的手持控制设备等。
本申请所述的手持控制设备上设置有至少一个LED矩阵，且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述手持控制设备能够与摄像设备之间建立无线连接(如wifi连接或蓝牙连接等)，并由所述摄像设备对每一次亮度变化进行拍摄。
在此，所述LED包括但不限于可见光LED、红外LED、蓝光LED等全波段LED中的任意一种。
在一种实施例中，所述手持控制设备上的LED矩阵排布方式需满足以下至少任一项：
自然手持状态下，手部不会遮挡到所述LED矩阵中的至少部分LED灯，从而使得所述摄像设备能够拍摄到所述LED矩阵的亮度变化；
手部自然操作状态下，至少部分LED灯能够被摄像设备所拍摄，从而使得所述摄像设备能够持续拍摄所述LED矩阵的亮度变化。
在此，在一种实施例中，所述至少部分LED灯的数量大于等于4。在一种实施例中，所述至少部分LED灯的数量可基于用于确定所述手持控制设备在摄像设备坐标系下的空间三维坐标的算法来确定，例如，当采用PNP算法时，所述至少部分LED灯的数量最低为4。
在一种实施例中，在所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设规则执行每一次亮度变化前，所述手持控制设备与所述摄像设备之间执行同步。
在此，当所述手持控制设备与所述摄像设备之间建立无线连接后，所述手持控制设备进入工作模式，并等待所述摄像设备发送的无线信号。在等待过程中，所述手持控制设备上的LED矩阵中的所有LED均处于熄灭状态。
当所述摄像设备向所述手持控制设备发送无线信号后，所述手持控制设备的时钟信号与所述摄像设备的时钟信号执行同步，可将此刻作为所述手持控制设备与所述摄像设备的时钟原点。这次同步即为所述手持控制设备与所述摄像设备之间的第一次同步。
然后，所述手持控制设备基于预设时间，将所述LED矩阵中的所有LED灯按照预定的亮度进行亮起，在此，所述LED矩阵中的每一个LED灯根据预设规则，可以处于完全亮起、部分亮起或熄灭的状态。
又经过一定时间后，所述LED矩阵中的所有LED灯均为熄灭状态。
然后，所述摄像设备再次向所述手持控制设备发送无线信号，所述手持控制设备的时钟信号与所述摄像设备的时钟信号执行同步，然后所述手持控制设备基于预设时间以及预定的亮度，继续执行所述LED矩阵的亮度变化。这次同步即为所述手持控制设备与所述摄像设备之间的第二次同步。
类似地，在后续中，所述手持控制设备中的所述LED矩阵中的每一个LED灯基于预设规则执行每一次亮度变化前，所述手持控制设备与所述摄像设备之间均执行同步。
在一种实施例中，所述预设的亮度变化规则包括：
所述LED矩阵上的每一个LED灯的连续多个图像上的亮度变化是唯一的，其中，所述多个图像的图像数量根据所述LED矩阵上LED灯的数量确定。
也即，对于所述LED矩阵中的每一个LED灯而言，该LED灯的N次亮度变化可以对应于N张图像，而基于这N张图像，可以确认所述LED矩阵中的每一个LED灯的LED ID；换言之，所述LED矩阵中的每一个LED灯的连续N张图像的亮度变化是唯一的。
在此，所述多个图像的图像数量可直接根据所述LED矩阵上LED灯的数量确定，如LED矩阵包含4个LED灯，连续4张图像能够确认唯一的LED ID，则所述图像数量即等同于所述LED灯。或者，所述多个图像的图像数量可根据所述LED矩阵上LED灯的数量以及所述LED灯的状态数量所确定，所述LED灯的状态包括但不限于全部亮起、部分亮起、熄灭，其中，部分亮起还可以划分为多种亮度；而所述LED灯的状态越多，所需拍摄的图像数量越少；所述LED灯的数量越多，所需拍摄的图像数量越多。
例如，若亮起的状态包括2种，即全部亮起或部分亮起，LED灯的数量包括4个，则最少需拍摄2张图像；若亮起的状态包括2种，即全部亮起或部分亮起，LED灯的数量包括5个，则最少需拍摄3张图像。即，当Xn≥LED灯的数量，n即为所需拍摄的最少数量，其中，X表示亮起的状态数量。在上例中，X＝2。
以下以一个实施例来对LED灯的状态变化以及拍摄进行说明：
所述LED灯的状态包括3种，0(0b00)表示熄灭状态，1(0b01)表示部分亮起状态，3(0b11)表示全部亮起状态。
假设手持控制设备端所述LED矩阵中共有4个LED(LED1、LED2、LED3、LED4)，假设4个LED灯的亮灯规律设定成如下所述：
LED1：{1,1,1,1,1}
LED2：{3,1,3,1,1}
LED3：{3,3,3,3,3}
LED4：{1,3,1,1,3}
每个LED的亮度变化由五帧连续图像构为一组。当所述手持控制设备端接收到所述摄像设备端发送的第一次无线信号后，LED矩阵4个LED灯的状态分别为：LED1＝1，LED2＝3，LED3＝3，LED4＝1；每个LED灯状态会被所述摄像设备拍摄，记录在第一帧图像中；
当所述手持控制设备端接收到所述摄设备端发送的第二次无线信号后，LED矩阵4个LED灯的状态分别为：LED1＝1，LED2＝1，LED3＝3，LED4＝3；每个LED灯状态会被所述摄像设备拍摄，记录在第二帧图像中；
当所述手持控制设备端接收到所述摄像设备端发送的第三次无线信号后，LED矩阵4个LED灯的状态分别为：LED1＝1，LED2＝3，LED3＝3，LED4＝1；每个LED灯状态会被所述摄像设备拍摄，记录在第三帧图像中；
当所述手持控制设备端接收到所述摄像设备端发送的第四次无线信号后，LED矩阵4个LED灯的状态分别为：LED1＝1，LED2＝1，LED3＝3，LED4＝1；每个LED灯状态会被所述摄像设备拍摄，记录在第四帧图像中；
当所述手持控制设备端接收到所述摄像设备端发送的第五次无线信号后，LED矩阵4个LED灯的状态分别为：LED1＝1，LED2＝1，LED3＝3，LED4＝3；每个LED灯状态会被所述摄像设备拍摄，记录在第五帧图像中；
当所述手持控制设备端接收到所述摄像设备端发送的第六次无线信号后，LED矩阵4个LED灯的状态跟接收到所述摄像设备端发送的第一次无线信号相同，循环往复。
在一种实施例中，所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化时的开启时间，大于等于摄像设备对每一次亮度变化进行拍摄的捕获图像时间。
例如，若所述LED灯执行亮度变化时，亮起状态的开启时间为2500us，则所述摄像设备的对每一次亮度变化进行拍摄的捕获图像时间小于等于2500us，如1000us。从而使得所述摄像设备能够正常执行拍摄，并拍摄下所述LED矩阵的亮度变化。
在一种实施例中，所述手持控制设备还包括采集装置，以采集所述手持控制设备的运动信息并将所述运动信息发送至处理设备。
在此，所述采集装置包括但不限于能够采集手持控制设备端运动信息装置，如惯性传感器、超声波传感器、磁场传感器等，所述手持控制设备端运动信息如线性加速度、角速度等。所述惯性传感器可直接采集所述运动信息；所述超声波传感器可采集超声波信息，由于运动会造成TOF(time-of-fight)相关信息，因此，可通过采集超声波信息以反映运动信息；所述磁场传感器可采集电磁信息，由于运动会造成磁场强度变化，因此，可通过采集电磁信息以反映运动信息。所述采集装置将所述运动信息发送至处理设备，以供所述处理设备基于所述运动信息，结合例如导航算法等计算所述手持控制设备的运动轨迹，并具有更低的跟踪延迟。
在一种实施例中，所述LED矩阵设置于所述手持控制设备的正面；在一种实施例中，所述LED矩阵设置于所述手持控制设备的背面。
在一种实施例中，所述LED矩阵同时设置于所述手持控制设备的正面、背面、侧面中的至少任意两面。优选地，位于所述手持控制设备正面的LED灯的排布、位于所述手持控制设备背面的LED灯的排布以及位于所述手持控制设备侧面的LED灯的排布中的至少任意两项排布均不相同。
图1(a)、图1(b)、图1(c)分别示出了根据本申请一个实施例的同一个手持控制设备的主视图、后视图以及左视图。
图1(a)示出所述手持控制设备的主视图。所述手持控制设备端的正面设置有LED矩阵的正面部分，所述LED矩阵的正面部分设置为圆形，包含16个LED灯，如图中所示的LED灯101、LED灯102、LED灯103等。该图中所设置的LED矩阵在自然持握状态以及自然操作状态下不会被手部遮挡，且能够被摄像设备所拍摄。此外，所述手持控制设备端还包括各类控制按键等。
在此，本领域技术人员应能理解，图1(a)仅为手持控制设备的一种实施例，而并非对本申请的限制。其他的LED矩阵设置同样适用于本申请。
图1(b)示出所述手持控制设备的后视图。通过所述手持控制设备端的后视图，可知所述手持控制设备的背面设置有LED矩阵的背面部分，所述LED矩阵的背面部分设置为圆形，包含12个LED灯，如图中所示的LED灯201、LED灯202、LED灯203等。
无法同时从正面或背面观察到所述正面部分与所述背面部分所包含的全部矩阵。
图1(c)示出所述手持控制设备的左视图。通过所述手持控制设备端的左视图，可知所述手持控制设备端的侧面设置有LED矩阵的侧面部分，所述LED矩阵的侧面部分包含若干LED灯，如图中所示的LED灯301、LED灯302等。
图2示出根据本申请一个实施例的一种用于进行手持控制设备追踪定位的处理设备示意图。
其中，所述处理设备40包括第一装置401、第二装置402、第三装置403、第四装置404、第五装置405。
具体地，所述第一装置401获取摄像设备对手持控制设备所拍摄的多张连续图像，其中，所述手持控制设备上设置有至少一个LED矩阵且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述多张连续图像对应于所述手持控制设备的LED矩阵的每一次亮度变化。
在此，所述处理设备40可以与所述摄像设备之间建立无线连接(如wifi连接或蓝牙连接等)或有线连接，以获取所述摄像设备对手持控制设备所拍摄的多张连续图像；或者，所述摄像设备可以将所述多张连续图像发送至其他设备，所述处理设备40可以与所述其他设备相交互，以获取所述摄像设备对手持控制设备所拍摄的多张连续图像。
所述第二装置402基于所述连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系。
在此，所述第二装置402基于预设的亮度变化规则，根据连续图像上所述LED矩阵的亮度变化规律，确定所述连续图像中亮度变化与所述预设的亮度变化规则相对应的每一个LED灯，然后，基于预设的亮度变化规则中所对应的手持控制设备上的每一个LED灯，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系，从而可以判断所述多张连续图像上每一个LED灯的ID号。在此，由于是基于连续图像以及预设的亮度变化规则所确定的对应关系，因此，当确定对应关系后，所述连续图像中每一张图像上的每一个LED灯的ID号均可被确定。
所述第三装置403基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系。
在此，由于每一个固定于所述手持控制设备上的LED灯的位置是已知的，所述连续图像上的LED灯的位置也可以基于图像获取，所述第三装置403可以确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系。
所述第四装置404根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标。
在此，所述第四装置404可以根据相关算法，例如PNP算法，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标。
所述第五装置405根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态，从而实现对所述手持控制设备的追踪定位。
在此，所述转移矩阵可以是所述第五装置405所获取的预设矩阵，也可以是所述第五装置405所获取的所计算得到的转移矩阵。
在一种实施例中，所述处理设备还包括第六装置406(未示出)，其中，所述第六装置406根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。
在一种实施例中，所述摄像设备被固定在空间中的某一固定位置，此时，所述摄像设备坐标系与世界坐标系之间的转移矩阵为常值，所述转移矩阵可以基于所述摄像设备的位置而人工设置。
在一种实施例中，所述摄像设备通过固定或内置的方式被包含与头显设备，从而随着用户的移动而不断移动。此时，所述摄像设备坐标系与世界坐标系之间的转移矩阵，即为所述头显设备与世界坐标系之间的转移矩阵。该转移矩阵可由所述第六装置406基于例如SLAM等算法计算得到。
在一种实施例中，所述处理设备还包括第七装置407(未示出)以及第八装置408(未示出)，其中，所述第七装置407获取所述手持控制设备端的运动信息；所述第八装置408基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹，并具有更低的跟踪延迟。
在此，所述运动信息包括但不限于所述手持控制设备的线性加速度、角速度等。
在此，由于所述LED矩阵大部分时间处于熄灭状态，
该专利的LED矩阵大部分时间处于熄灭状态，因此能够节省功耗，增加续航时间。
图3示出根据本申请一个实施例的一种手持控制设备追踪定位的方法流程图。
其中，所述方法包括手持控制设备、摄像设备以及处理设备三种设备，可选地，所述方法还包括头显设备。其中，所述处理设备可以独立于头显设备，也可以被包含与所述头显设备；所述摄像设备可以独立于所述头显设备，被固定在空间中的某一个固定位置，也可以通过外部固定或内置的方式被包含于所述头显设备，随所述头显设备的不断移动而变化位置。
在步骤S1中，手持控制设备与摄像设备之间建立无线连接，其中，所述手持控制设备上设置有至少一个LED矩阵。
其中，所述无线连接包括但不限于wifi连接或蓝牙连接等。在建立无线连接后，所述手持控制设备进入正常工作模式，并等待所述摄像设备发送的无线信号。在等待过程中，所述手持控制设备端的所述LED矩阵中所有的LED灯均为熄灭状态。
在此，所述手持控制设备与本申请前述手持控制设备相同或相似，故在此不再赘述。
在步骤S2中，所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，并由所述摄像设备对每一次亮度变化进行拍摄，以生成多张连续图像。
在一种实施例中，所述预设的亮度变化规则包括：
所述LED矩阵上的每一个LED灯的连续多个图像上的亮度变化是唯一的，其中，所述多个图像的图像数量根据所述LED矩阵上LED灯的数量确定。
也即，对于所述LED矩阵中的每一个LED灯而言，该LED灯的N次亮度变化可以对应于N张图像，而基于这N张图像，可以确认所述LED矩阵中的每一个LED灯的LED ID；换言之，所述LED矩阵中的每一个LED灯的连续N张图像的亮度变化是唯一的。
在一种实施例中，在所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设规则执行每一次亮度变化前，所述手持控制设备与所述摄像设备之间执行同步。
在此，当所述手持控制设备与所述摄像设备之间建立无线连接后，所述手持控制设备进入工作模式，并等待所述摄像设备发送的无线信号。在等待过程中，所述手持控制设备上的LED矩阵中的所有LED均处于熄灭状态。
当所述摄像设备向所述手持控制设备发送无线信号后，所述手持控制设备的时钟信号与所述摄像设备的时钟信号执行同步，可将此刻作为所述手持控制设备与所述摄像设备的时钟原点。这次同步即为所述手持控制设备与所述摄像设备之间的第一次同步。
然后，所述手持控制设备基于预设时间，将所述LED矩阵中的所有LED灯按照预定的亮度进行亮起，在此，所述LED矩阵中的每一个LED灯根据预设规则，可以处于完全亮起、部分亮起或熄灭的状态。
又经过一定时间后，所述LED矩阵中的所有LED灯均为熄灭状态。
然后，所述摄像设备再次向所述手持控制设备发送无线信号，所述手持控制设备的时钟信号与所述摄像设备的时钟信号执行同步，然后所述手持控制设备基于预设时间以及预定的亮度，继续执行所述LED矩阵的亮度变化。这次同步即为所述手持控制设备与所述摄像设备之间的第二次同步。
类似地，在后续中，所述手持控制设备中的所述LED矩阵中的每一个LED灯基于预设规则执行每一次亮度变化前，所述手持控制设备与所述摄像设备之间均执行同步。
图4示出根据本申请一个实施例的一种在手持控制设备与摄像设备之间执行同步的方法流程图。
在步骤S21中，所述手持控制设备接收所述摄像设备传来的无线信号，并时间同步；在步骤S22中，所述手持控制设备接收到无线信号后，使得所述手持控制设备上的LED矩阵，按照预设产生相应的亮度变化；在步骤S23中，所述摄像设备进行拍摄；在步骤S24中，所述摄像设备拍摄完成后，所述手持控制设备经过一定时间，熄灭LED矩阵，等待下一次无线信号到来。
而当下一次无线信号到来时，所述手持控制设备与所述摄像设备重新执行步骤S21，以重新执行时间同步以及拍摄。
在一种实施例中，所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化时的开启时间，大于等于所述摄像设备对每一次亮度变化进行拍摄的捕获图像时间。
例如，当所述手持控制设备端接收到所述摄像设备所发送的无线信号后，经过一段时间，例如500us，所述LED矩阵中的所有LED灯执行亮起状态；该执行亮度变化的亮度开启时间(例如2500us)之后，所述手持控制设备端的所述LED矩阵变为熄灭状态。
而在所述手持控制设备端接收到所述摄像设备所发送的无线信号后的一段时间，如1000us之后，所述摄像设备开启，用于捕获所述手持控制设备端的所述LED矩阵图像。所述捕获时间可以持续如1000us，然后所述摄像设备关闭，捕获图像结束。
图5示出根据本申请一个实施例的一种在手持控制设备与摄像设备之间的时间流程图。根据图5可知，所述执行亮度变化的开启时间大于等于所述摄像设备对每一次亮度变化进行拍摄的捕获图像时间，并且，在一种实施例中，所述开启时间能够完全覆盖所述捕获图像时间。
在步骤S3中，所述摄像设备将所述多张连续图像发送至处理设备，所述处理设备基于所述多张连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系。
在此，所述处理设备基于预设的亮度变化规则，根据连续图像上所述LED矩阵的亮度变化规律，确定所述连续图像中亮度变化与所述预设的亮度变化规则相对应的每一个LED灯，然后，基于预设的亮度变化规则中所对应的手持控制设备上的每一个LED灯，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系，从而可以判断所述多张连续图像上每一个LED灯的ID号。在此，由于是基于连续图像以及预设的亮度变化规则所确定的对应关系，因此，当确定对应关系后，所述连续图像中每一张图像上的每一个LED灯的ID号均可被确定。
在步骤S4中，所述处理设备基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系。
在此，由于每一个固定于所述手持控制设备上的LED灯的位置是已知的，所述连续图像上的LED灯的位置也可以基于图像获取，所述处理设备可以确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系。
在步骤S5中，所述处理设备根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标。
在此，所述处理设备可以根据相关算法，例如PNP算法，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标。
在步骤S6中，所述处理设备根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态。
在此，所述转移矩阵可以是所述处理设备所获取的预设矩阵，也可以是所述处理设备所获取的所计算得到的转移矩阵。
在一种实施例中，所述方法还包括步骤S7(未示出)，其中，在步骤S7中，所述处理设备根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。
在一种实施例中，所述摄像设备被固定在空间中的某一固定位置，此时，所述摄像设备坐标系与世界坐标系之间的转移矩阵为常值，所述转移矩阵可以基于所述摄像设备的位置而人工设置。
在一种实施例中，所述摄像设备通过固定或内置的方式被包含与头显设备，从而随着用户的移动而不断移动。此时，所述摄像设备坐标系与世界坐标系之间的转移矩阵，即为所述头显设备与世界坐标系之间的转移矩阵。该转移矩阵可由所述处理设备基于例如SLAM等算法计算得到。
在一种实施例中，所述方法还包括步骤S8(未示出)以及步骤S9(未示出)，其中，在步骤S8中，所述处理设备获取所述手持控制设备端的运动信息；在步骤S9中，所述处理设备基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹，并具有更低的跟踪延迟。
在此，所述运动信息包括但不限于所述手持控制设备的线性加速度、角速度等。
图6示出根据本申请一个实施例的一种在处理设备端进行手持控制设备追踪定位的方法流程图。
具体地，在步骤S401中，所述处理设备获取摄像设备对手持控制设备所拍摄的多张连续图像，其中，所述手持控制设备上设置有至少一个LED矩阵且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述多张连续图像对应于所述手持控制设备的LED矩阵的每一次亮度变化。
在此，所述处理设备可以与所述摄像设备之间建立无线连接(如wifi连接或蓝牙连接等)或有线连接，以获取所述摄像设备对手持控制设备所拍摄的多张连续图像；或者，所述摄像设备可以将所述多张连续图像发送至其他设备，所述处理设备可以与所述其他设备相交互，以获取所述摄像设备对手持控制设备所拍摄的多张连续图像。
在步骤S402中，所述处理设备基于所述连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系。
在此，在步骤S402中，所述处理设备基于预设的亮度变化规则，根据连续图像上所述LED矩阵的亮度变化规律，确定所述连续图像中亮度变化与所述预设的亮度变化规则相对应的每一个LED灯，然后，基于预设的亮度变化规则中所对应的手持控制设备上的每一个LED灯，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系，从而可以判断所述多张连续图像上每一个LED灯的ID号。在此，由于是基于连续图像以及预设的亮度变化规则所确定的对应关系，因此，当确定对应关系后，所述连续图像中每一张图像上的每一个LED灯的ID号均可被确定。
在步骤S403中，所述处理设备基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系。
在此，由于每一个固定于所述手持控制设备上的LED灯的位置是已知的，所述连续图像上的LED灯的位置也可以基于图像获取，所述处理设备可以确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系。
在步骤S404中，所述处理设备根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标。
在此，所述处理设备可以根据相关算法，例如PNP算法，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标。
在步骤S405中，所述处理设备根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态，从而实现对所述手持控制设备的追踪定位。
在此，所述转移矩阵可以是所述处理设备所获取的预设矩阵，也可以是所述处理设备所获取的所计算得到的转移矩阵。
在一种实施例中，所述方法还包括步骤S406(未示出)，其中，在步骤S406中，所述处理设备根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。
在一种实施例中，所述摄像设备被固定在空间中的某一固定位置，此时，所述摄像设备坐标系与世界坐标系之间的转移矩阵为常值，所述转移矩阵可以基于所述摄像设备的位置而人工设置。
在一种实施例中，所述摄像设备通过固定或内置的方式被包含与头显设备，从而随着用户的移动而不断移动。此时，所述摄像设备坐标系与世界坐标系之间的转移矩阵，即为所述头显设备与世界坐标系之间的转移矩阵。该转移矩阵可由所述处理设备基于例如SLAM等算法计算得到。
在一种实施例中，所述方法还包括步骤S407(未示出)以及步骤S408(未示出)，其中，在步骤S407中，所述处理设备获取所述手持控制设备端的运动信息；在步骤S408中，所述处理设备基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹，并具有更低的跟踪延迟。
在此，所述运动信息包括但不限于所述手持控制设备的线性加速度、角速度等。
图7示出根据本申请一个实施例的一种手持控制设备结构图。
其中，所述手持控制设备包括以下模块：按键、电容屏、操纵杆、天线、控制器、电机驱动、线性马达、时钟、惯性传感器、LED驱动、LED矩阵、电源。
所述手持控制设备端中，每个模块功能如下：
按键、电容屏、操纵杆均为用户输入模块。
用户按下按键后，将相应信号传递给控制器端。控制器产生相应信息通过天线传递给头显设备处，头显设备接收到手持控制设备端信号后，头显设备上的屏幕里显示相应的映射反应。
电容屏用于检测用户的滑动动作，并将信号传递给控制器中。控制器产生相应信息通过天线传递给头显设备处，头显设备接收到手持控制设备端信号后，头显设备上的屏幕里显示相应的映射反应。
操纵杆主要实现用户操纵头显设备中光标的移动。用户操纵操纵杆后，操纵杆将信号传递给控制器中。控制器产生相应信息通过天线传递给头显设备处，头显设备接收到手持控制设备端信号后，头显设备上的屏幕里显示相应的映射反应。
天线模块是实现手持控制设备端与头显设备端的通信功能。手持控制设备端的信息通过天线发射给头显设备端，并且手持控制设备端也通过天线接收头显设备端发送的信息。
控制器模块用于处理手持控制设备端所有信号，并驱动手持控制设备端其他相应模块完成相应功能。
控制器将控制信号发送到电机驱动模块，电机驱动收到控制信号后，按照控制信号驱动线性马达震动，从而使手持控制设备端产生相应振动。
控制器将控制信号发送到LED驱动模块，LED驱动收到控制信号后，按照控制信号驱动LED矩阵，从而使手持控制设备端的LED矩阵产生相应的亮度变化。
时钟模块产生时钟信号使控制器模块能够正常工作。
惯性传感器模块用于采集手持控制设备端运动信息(例如线性加速度，角速度)，惯性传感器模块将采集到的信息发送给控制器模块，用于后续的导航算法计算运动轨迹。
电源模块用于给其他模块供电，使其能正常工作。
在此，若所述头显设备中不包含信息处理功能，也可由独立的处理设备来执行信息处理功能。此时，控制器所产生的相应信息传递至处理设备，并由处理设备处理后，发送至头显设备显示对应的映射反应。
图8示出根据本申请一个实施例的一种头显设备结构图。
其中，所述头显设备包括以下模块：头显显示器、头显传感器、头显控制器、摄像设备(可选)、天线和电源。
所述头显设备中，每个模块功能如下：
头显显示器用于显示画面。
头显传感器用于采集头显设备端运动信息(例如线性加速度，角速度)。
头显控制器用于处理头显设备端所有信号，并驱动头显设备端其他相应模块完成相应功能。
摄像设备(如果摄像设备包括于头显设备端)用于捕获手持控制设备图像。
天线用于实现头显设备端与手持控制设备端的通信功能。
电源模块用于给其他模块供电，使其能正常工作。
图9示出根据本申请一个实施例的一种摄像设备结构图。
若所述摄像设备为独立的摄像设备，即并未内置于所述头显设备，则所述摄像设备包括以下模块：摄像头、摄像头控制器、天线和电源。
摄像头、摄像头控制器用于捕获手持控制设备图像。
天线用于实现摄像头端与手持控制设备端的通信功能。
电源模块用于给其他模块供电，使其能正常工作。
图10示出了可被用于实施本申请中所述的各个实施例的示例性系统。
在一些实施例中，系统1000能够作为图1至图9所示的实施例或其他所述实施例中的任意一个处理设备。在一些实施例中，系统1000可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备1020)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器1005)。
对于一个实施例，系统控制模块1010可包括任意适当的接口控制器，以向(一个或多个)处理器1005中的至少一个和/或与系统控制模块1010通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块1010可包括存储器控制器模块1030，以向系统存储器1015提供接口。存储器控制器模块1030可以是硬件模块、软件模块和/或固件模块。
系统存储器1015可被用于例如为系统1000加载和存储数据和/或指令。对于一个实施例，系统存储器1015可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器1015可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块1010可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备1020及(一个或多个)通信接口1025提供接口。
例如，NVM/存储设备1020可被用于存储数据和/或指令。NVM/存储设备1020可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1020可包括在物理上作为系统1000被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备1020可通过网络经由(一个或多个)通信接口1025进行访问。
(一个或多个)通信接口1025可为系统1000提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统1000可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器(例如，存储器控制器模块1030)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统1000可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统1000可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统1000包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (25)

1.一种手持控制设备追踪定位的方法，其中，该方法包括以下步骤：
手持控制设备与摄像设备之间建立无线连接，其中，所述手持控制设备上设置有至少一个LED矩阵；
所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，并由所述摄像设备对每一次亮度变化进行拍摄，以生成多张连续图像；
所述摄像设备将所述多张连续图像发送至处理设备，所述处理设备基于所述多张连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系；
所述处理设备基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系；
所述处理设备根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标；
所述处理设备根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态。
2.根据权利要求1所述的方法，其中，在所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设规则执行每一次亮度变化前，所述手持控制设备与所述摄像设备之间执行同步。
3.根据权利要求1或2所述的方法，其中，所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化时的开启时间，大于等于所述摄像设备对每一次亮度变化进行拍摄的捕获图像时间。
4.根据权利要求1至3中任一项所述的方法，其中，该方法还包括：
所述处理设备根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。
5.根据权利要求4所述的方法，其中，所述摄像设备所在的位置包括以下任一项：
所述摄像设备被固定在空间中的某一固定位置；
所述摄像设备被包含于头显设备。
6.根据权利要求1至5中任一项所述的方法，其中，该方法还包括：
所述处理设备获取所述手持控制设备端的运动信息；
所述处理设备基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹。
7.一种在处理设备端执行手持控制设备追踪定位的方法，其中，该方法包括以下步骤：
获取摄像设备对手持控制设备所拍摄的多张连续图像，其中，所述手持控制设备上设置有至少一个LED矩阵且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述多张连续图像对应于所述手持控制设备的LED矩阵的每一次亮度变化；
基于所述连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系；
基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系；
根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标；
根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态。
8.根据权利要求7所述的方法，其中，所述方法还包括以下步骤：
根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。
9.根据权利要求7或8所述的方法，其中，所述方法还包括以下步骤：
获取所述手持控制设备端的运动信息；
基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹。
10.一种手持控制设备，其中，所述手持控制设备上设置有至少一个LED矩阵，且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述手持控制设备能够与摄像设备之间建立无线连接，并由所述摄像设备对每一次亮度变化进行拍摄。
11.根据权利要求10所述的手持控制设备，其中，所述手持控制设备上的LED矩阵排布方式需满足以下至少任一项：
自然手持状态下，手部不会遮挡到所述LED矩阵中的至少部分LED灯；
手部自然操作状态下，至少部分LED灯能够被摄像设备所拍摄。
12.根据权利要求10或11所述的手持控制设备，其中，所述LED矩阵同时设置于所述手持控制设备的正面、背面、侧面中的至少任意两面。
13.根据权利要求12所述的手持控制设备，其中，位于所述手持控制设备正面的LED灯的排布、位于所述手持控制设备背面的LED灯的排布以及位于所述手持控制设备侧面的LED灯的排布中的至少任意两项排布不相同。
14.根据权利要求10至13中任一项所述的手持控制设备，其中，在所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设规则执行每一次亮度变化前，所述手持控制设备与所述摄像设备之间执行同步。
15.根据权利要求10至14中任一项所述的手持控制设备，其中，所述预设的亮度变化规则包括：
所述LED矩阵上的每一个LED灯的连续多个图像上的亮度变化是唯一的，其中，所述多个图像的图像数量根据所述LED矩阵上LED灯的数量确定。
16.根据权利要求10至15中任一项所述的手持控制设备，其中，所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化时的开启时间，大于等于摄像设备对每一次亮度变化进行拍摄的捕获图像时间。
17.根据权利要求10至16中任一项所述的手持控制设备，其中，所述手持控制设备还包括采集装置，以采集所述手持控制设备的运动信息并将所述运动信息发送至处理设备。
18.一种处理设备，其中，所述处理设备包括：
第一装置，用于获取摄像设备对手持控制设备所拍摄的多张连续图像，其中，所述手持控制设备上设置有至少一个LED矩阵且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述多张连续图像对应于所述手持控制设备的LED矩阵的每一次亮度变化；
第二装置，用于基于所述连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系；
第三装置，用于基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系；
第四装置，用于根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标；
第五装置，用于根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态。
19.根据权利要求18所述的处理设备，其中，所述处理设备还包括：
第六装置，用于根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。
20.根据权利要求18或19所述的处理设备，其中，所述处理设备还包括：
第七装置，用于获取所述手持控制设备端的运动信息；
第八装置，用于基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹。
21.一种头显设备，其中，所述头显设备包括如权利要求18至20中任一项所述的处理设备。
22.根据权利要求21所述的头显设备，其中，所述头显设备还包含摄像设备，以对所述手持控制设备的每一次亮度变化进行拍摄，生成多张连续图像。
23.一种对手持控制设备追踪定位的系统，其中，所述系统包括如权利要求10至17中任一项所述的手持控制设备，以及以下任一项：
如权利要求18至20中任一项所述的处理设备以及包含摄像设备的头显设备，所述摄像设备对所述手持控制设备的每一次亮度变化进行拍摄，生成多张连续图像；
如权利要求18至20中任一项所述的处理设备、头显设备以及用于对所述手持控制设备的每一次亮度变化进行拍摄以生成多张连续图像的摄像设备，其中，所述摄像设备被固定在空间中的某一固定位置；
如权利要求21所述的头显设备，以及用于对所述手持控制设备的每一次亮度变化进行拍摄以生成多张连续图像的摄像设备，其中，所述摄像设备被固定在空间中的某一固定位置；
如权利要求22所述的头显设备。
24.一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求7至9中任一项所述的方法。
25.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如权利要求7至9中任一项所述的方法。
CN201910802308.0A 2019-08-28 2019-08-28 一种用于手持控制设备追踪定位的方法、设备与系统 Withdrawn CN110572635A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910802308.0A CN110572635A (zh) 2019-08-28 2019-08-28 一种用于手持控制设备追踪定位的方法、设备与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910802308.0A CN110572635A (zh) 2019-08-28 2019-08-28 一种用于手持控制设备追踪定位的方法、设备与系统

Publications (1)

Publication Number Publication Date
CN110572635A true CN110572635A (zh) 2019-12-13

Family

ID=68776695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910802308.0A Withdrawn CN110572635A (zh) 2019-08-28 2019-08-28 一种用于手持控制设备追踪定位的方法、设备与系统

Country Status (1)

Country Link
CN (1) CN110572635A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837295A (zh) * 2019-10-17 2020-02-25 重庆爱奇艺智能科技有限公司 一种手持控制设备及其追踪定位的方法、设备与系统
CN111752386A (zh) * 2020-06-05 2020-10-09 深圳市欢创科技有限公司 一种空间定位方法、系统及头戴式设备
CN112437213A (zh) * 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴系统
CN113225870A (zh) * 2021-03-29 2021-08-06 青岛小鸟看看科技有限公司 Vr设备定位方法及vr设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102279646A (zh) * 2010-06-10 2011-12-14 鼎亿数码科技(上海)有限公司 带手持设备的装置及手持设备运动的识别方法
CN106326930A (zh) * 2016-08-24 2017-01-11 王忠民 一种确定虚拟现实中被跟踪物体位置的方法、装置及系统
CN106445084A (zh) * 2016-09-30 2017-02-22 乐视控股（北京）有限公司 定位方法及采集设备
CN106651948A (zh) * 2016-09-30 2017-05-10 乐视控股（北京）有限公司 一种定位方法及手柄
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
CN107168515A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种vr一体机中手柄的定位方法和装置
CN107329593A (zh) * 2017-06-28 2017-11-07 歌尔科技有限公司 一种vr手柄定位方法及装置
CN108154533A (zh) * 2017-12-08 2018-06-12 北京奇艺世纪科技有限公司 一种位置姿态确定方法、装置及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102279646A (zh) * 2010-06-10 2011-12-14 鼎亿数码科技(上海)有限公司 带手持设备的装置及手持设备运动的识别方法
CN106326930A (zh) * 2016-08-24 2017-01-11 王忠民 一种确定虚拟现实中被跟踪物体位置的方法、装置及系统
CN106445084A (zh) * 2016-09-30 2017-02-22 乐视控股（北京）有限公司 定位方法及采集设备
CN106651948A (zh) * 2016-09-30 2017-05-10 乐视控股（北京）有限公司 一种定位方法及手柄
CN107168515A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种vr一体机中手柄的定位方法和装置
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
CN107329593A (zh) * 2017-06-28 2017-11-07 歌尔科技有限公司 一种vr手柄定位方法及装置
CN108154533A (zh) * 2017-12-08 2018-06-12 北京奇艺世纪科技有限公司 一种位置姿态确定方法、装置及电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837295A (zh) * 2019-10-17 2020-02-25 重庆爱奇艺智能科技有限公司 一种手持控制设备及其追踪定位的方法、设备与系统
CN111752386A (zh) * 2020-06-05 2020-10-09 深圳市欢创科技有限公司 一种空间定位方法、系统及头戴式设备
CN112437213A (zh) * 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴系统
US11754835B2 (en) 2020-10-28 2023-09-12 Qingdao Pico Technology Co., Ltd. Image acquisition method, handle device, head-mounted device and head-mounted system
CN113225870A (zh) * 2021-03-29 2021-08-06 青岛小鸟看看科技有限公司 Vr设备定位方法及vr设备
US11719945B2 (en) 2021-03-29 2023-08-08 Qingdao Pico Technology Co., Ltd. Method for locating VR device and VR device
CN113225870B (zh) * 2021-03-29 2023-12-22 青岛小鸟看看科技有限公司 Vr设备定位方法及vr设备

Similar Documents

Publication Publication Date Title
JP7198850B2 (ja) 仮想、拡張、および複合現実システムのための深度感知技法
US11080937B2 (en) Wearable augmented reality devices with object detection and tracking
CN110572635A (zh) 一种用于手持控制设备追踪定位的方法、设备与系统
JP7344974B2 (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
KR20140053235A (ko) 레이저 깊이 지도 레인지를 확대하는 방법
CN112189147B (zh) 一种飞行时间ToF相机和一种ToF方法
CN109584375B (zh) 一种物体信息显示方法及移动终端
CN107193380B (zh) 一种高精度虚拟现实定位系统
CN110837295A (zh) 一种手持控制设备及其追踪定位的方法、设备与系统
WO2022188733A1 (en) Scenario triggering and interaction based on target positioning and identification
CN116866541A (zh) 一种虚实结合的实时视频交互系统及方法
CN117130528A (zh) 画面显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191213

WW01 Invention patent application withdrawn after publication