CN112286343A - 定位追踪方法、平台及头戴显示系统 - Google Patents

定位追踪方法、平台及头戴显示系统 Download PDF

Info

Publication number
CN112286343A
CN112286343A CN202010974857.9A CN202010974857A CN112286343A CN 112286343 A CN112286343 A CN 112286343A CN 202010974857 A CN202010974857 A CN 202010974857A CN 112286343 A CN112286343 A CN 112286343A
Authority
CN
China
Prior art keywords
handle
head
mounted display
information
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010974857.9A
Other languages
English (en)
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010974857.9A priority Critical patent/CN112286343A/zh
Publication of CN112286343A publication Critical patent/CN112286343A/zh
Priority to EP21868407.4A priority patent/EP4198694A4/en
Priority to PCT/CN2021/114364 priority patent/WO2022057579A1/zh
Priority to KR1020237010259A priority patent/KR20230054725A/ko
Priority to JP2023517394A priority patent/JP2023542668A/ja
Priority to US17/869,413 priority patent/US11625841B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本公开实施例公开了定位追踪方法、定位追踪平台及头戴显示系统，该方法包括：获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，其中，所述偶数帧图像中至少包括手柄上设置的多个发光体对应的光斑，所述手柄与所述头戴显示设备通信连接；根据所述奇数帧图像和所述头戴显示设备的姿态信息确定所述头戴显示设备的自由度信息；根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息。

Description

定位追踪方法、平台及头戴显示系统
技术领域
本公开实施例涉及视频处理技术领域，更具体地，本公开实施例涉及一种定位追踪方法、定位追踪平台及头戴显示系统。
背景技术
定位技术被广泛应用于虚拟现实、增强现实、混合现实等领域，是人机交互的重要组成部分。
目前，在实现手柄追踪时，通常需要在手柄上设置电磁传感器或者超声传感器，以实现对手柄的定位追踪。在实现裸手追踪时，需要在头戴显示设备上增设红外摄像头或者深度摄像头。基于此，不能基于同一摄像头实现头戴显示设备、手柄和裸手的定位追踪，在使用过程中存在功耗大、稳定性差、成本高的问题。
因此，有必要提供一种定位追踪方法，以实现同步追踪头戴显示设备和手柄。
发明内容
本公开实施例的目的在于提供一种同步追踪头戴显示设备和手柄的技术方案。
根据本公开实施例第一方面，提供了一种定位追踪方法，所述方法包括：
获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，其中，所述偶数帧图像中至少包括手柄上设置的多个发光体对应的光斑，所述手柄与所述头戴显示设备通信连接；
根据所述奇数帧图像和所述头戴显示设备的姿态信息确定所述头戴显示设备的自由度信息；
根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息。
可选地，所述第二曝光时长小于所述第一曝光时长。
可选地，所述方法还包括：
在通过头戴显示设备上设置的追踪相机以预设的第二曝光时长采集偶数帧图像时，控制所述手柄上的发光体按照预设的点亮时长点亮，所述第二曝光时长的中间时刻与所述点亮时长的中间时刻对应。
可选地，所述点亮时长大于等于所述第二曝光时长。
可选地，所述根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息，包括：
对所述偶数帧图像进行光斑检测，确定所述偶数帧图像中所有光斑的位置信息；
根据所述偶数帧图像中所有光斑的位置信息确定与所述偶数帧图像中光斑对应的所述手柄上的发光体的三维坐标；
根据与所述偶数帧图像中光斑对应的所述手柄上的发光体的三维坐标、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息。
可选地，所述奇数帧图像中至少包括手部，所述方法还包括：
根据所述奇数帧图像确定手部的自由度信息。
可选地，所述根据所述奇数帧图像确定手部的自由度信息，包括：
将所述奇数帧图像输入预定的卷积神经网络模型，获得手部的多个关键点的位置；
根据手部的多个关键点的位置确定手部的自由度信息。
可选地，所述方法还包括：训练预定的卷积神经网络模型的步骤：
采集多张场景图像，所述场景图像中包含手部；
标注所述场景图像中的手部的多个关键点的位置，并将标注后的图像组成图像训练样本集；
根据所述图像训练样本集训练所述卷积神经网络模型。
根据本公开实施例的第二方面，提供了一种定位追踪平台，包括：
图像获取模块，用于获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，其中，所述偶数帧图像中至少包括手柄上设置的多个发光体对应的光斑，所述手柄与所述头戴显示设备通信连接；
定位追踪模块，用于根据所述奇数帧图像和所述头戴显示设备的姿态信息确定所述头戴显示设备的自由度信息；
定位追踪模块，还用于根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息；
或者，
所述装置包括处理器和存储器，所述存储器存储有计算机指令，所述计算机指令被所述处理器运行时，执行本公开实施例的第一方面任一项所述的方法。
根据本公开实施例第三方面，提供了一种头戴显示系统，包括头戴显示设备、与所述头戴显示设备连接的手柄和定位追踪平台，所述头戴显示设备上设置有至少两个追踪相机，所述手柄上设置有多个发光体。
根据本公开实施例，获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，根据奇数帧图像和头戴显示设备的姿态信息确定头戴显示设备的6DoF信息，根据偶数帧图像、手柄的姿态信息确定手柄的6DoF信息，从而不需要增设硬件的情况下，基于同一硬件实现对头戴显示设备和手柄的同步追踪，从而降低头戴显示设备的功耗，用户体验更好。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为可用于实现本公开实施例的头戴显示系统的硬件配置示意图；
图2为本公开实施例的定位追踪方法的流程示意图；
图3为本公开实施例的手柄的示意图；
图4为本公开实施例的定位追踪平台的结构方框图；
图5为本公开实施例的定位追踪平台的结构方框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
如图1所示，本发明实施例提供的头戴显示系统100的硬件配置的框图。
参见图1所示，头戴显示系统100包括头戴显示设备1000、手柄2000和定位追踪平台3000。定位追踪平台3000分别与头戴显示设备1000和手柄2000通信连接，以实现对头戴显示设备1000和手柄2000定位追踪。
头戴显示设备1000例如可以是VR(虚拟现实，Virtual Reality)设备、AR(增强现实，Augmented Reality)设备及MR(混合现实，Mixed Reality)设备等。
在一个实施例中，头戴显示设备1000可以如图1所示，包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、音频装置1700、惯性测量单元1800、追踪相机1900等。
其中，处理器1100例如可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括串行总线接口(包括USB接口)、并行总线接口、高清多媒体接口HDMI接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、LED显示屏、触摸显示屏等。输入装置1600例如包括触摸屏、体感输入等。音频装置1700可以用于输入/输出语音信息。惯性测量单元1800可以用于测量头戴显示设备1000的位姿变化。追踪相机1900可以用于获取图像信息。追踪相机1900可以设置至少两个。
在一个实施例中，追踪相机1900可以选用大视角追踪相机，例如，追踪相机1900的水平视场角(field angle of view，FOV)为100°～160°、垂直视场角为80°～120°，深度视场角为130°～160°，追踪相机的帧率大于60Hz，追踪相机的分辨率为VGA(Video GraphicsArray)或者720P，追踪相机采用Global Shutter(全局曝光)的曝光方式，追踪相机可以通过可见光波段和红外光波段。例如，追踪相机的型号为OV7251或者OV9282。
尽管在图1中对头戴显示设备1000示出了多个装置，但是，本发明可以仅涉及其中的部分装置。
在一个实施例中，手柄2000可以如图1所示，包括处理器2100、存储器2200、接口装置2300、通信装置2400、惯性测量单元2500、发光体2600等。
其中，处理器2100例如可以是中央处理器CPU、微处理器MCU等。存储器2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如包括串行总线接口(包括USB接口)、并行总线接口、高清多媒体接口HDMI接口等。通信装置2400例如能够进行有线或无线通信。惯性测量单元2500可以用于测量头戴显示设备1000的位姿变化。发光体2600可以是设置多个，以供识别手柄。该发光体2600例如可以是可见光光源或者红外光光源，例如LED灯。尽管在图1中对手柄2000示出了多个装置，但是，本发明可以仅涉及其中的部分装置。
定位追踪平台3000可以例如是移动终端。在一个实施例中，定位追踪平台3000可以如图1所示，包括处理器3100、存储器3200、接口装置3300、通信装置3400、显示装置3500、输入装置3600。处理器3100可以是满足性能要求的台式机处理器、移动版处理器等，在此不做限定。存储器3200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置3300例如包括各种总线接口，例如串行总线接口(包括USB接口)、并行总线接口、高清多媒体接口HDMI接口等。通信装置3400例如能够进行有线或无线通信。显示装置3500例如是液晶显示屏、LED显示屏、触摸显示屏等。输入装置3600例如可以包括触摸屏、键盘等。在另外的实施例中，定位追踪平台3000还可以包括扬声器、麦克风等等，在此不做限定。尽管在图1中示出了定位追踪平台3000的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，定位追踪平台3000只涉及存储器3200和处理器3100。
在一个实施例中，定位追踪平台3000的存储器3200用于存储指令，该指令用于控制处理器3100执行相应的步骤，从而为本实施例的定位追踪方法提供相关的支持。
应当理解的是，尽管图1仅示出一个头戴显示设备1000、一个手柄2000和定位追踪平台3000，但不意味着限制各自的数量，头戴显示系统100中可以包含多个头戴显示设备1000、多个手柄2000和多个定位追踪平台3000。
在上述描述中，技术人员可以根据本公开所提供的方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
图1所示的头戴显示系统仅是解释性的，并且决不是为了要限制本公开、其应用或用途。
<方法实施例>
参见图2所示，说明本公开实施例提供的定位追踪方法。该方法应用于定位追踪平台，该定位追踪平台分别与头戴显示设备和手柄连接。该定位追踪方法包括以下步骤：S201-S203。
S201、获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，其中，偶数帧图像中至少包括手柄上设置的多个发光体对应的光斑，手柄与头戴显示设备通信连接。
在本公开实施例中，头戴显示设备设置有至少两个追踪相机，至少两个追踪相机用于采集图像。在一个实施例中，追踪相机可以以不同的曝光时长采集图像，例如，以预设的第一曝光时长采集奇数帧图像，以预设的第二曝光时长采集偶数帧图像。其中，至少两个追踪相机是在同一时刻采集的，也就是每一追踪相机的曝光时长的中心点是相同的。
在一个更具体的例子中，头戴显示设备设置四个追踪相机，四个追踪相机按照预定的第一位置约束规则设置在头戴显示设备内，以保证每一追踪相机满足头戴显示设备的视场角要求。根据本公开实施例，根据四个追踪相机采集的图像对头戴显示设备和手柄进行定位追踪，可以提高鲁棒性，提高定位追踪的精度。
参见图3所示，手柄2000上设置有多个发光体2600，多个发光体按照预定的第二位置约束规则放置，可以避免追踪相机距离手柄较近时采集的图像中存在局部图案信息重合或者粘连，并且可以保证在追踪相机以任意角度采集的图像中均出现至少四个发光体对应的光斑，从而可以根据采集的图像定位手柄。在一个具体的例子中，多个发光体不处于同一平面。在一个更具体的例子中，发光体设置17个或者24个。该发光体例如可以是可见光光源或者红外光光源，例如LED灯。
基于前述描述的头戴显示设备和手柄，本公开实施例提供的定位追踪方法可以根据至少两个追踪相机采集的图像和头戴显示设备的姿态信息确定所述头戴显示设备的自由度信息，也可以根据至少两个追踪相机采集的图像手柄的姿态信息确定手柄的自由度信息。
在本公开实施例中，至少两个追踪相机交替以预设的第一曝光时长和预设的第二曝光时长采集图像，也就是说，通过至少两个追踪相机以预设的第一曝光时长采集多张奇数帧图像，每一奇数帧图像与每一追踪相机对应，通过至少两个追踪相机以预设的第二曝光时长采集多张偶数帧图像，每一偶数帧图像与每一追踪相机对应。奇数帧图像用于确定头戴显示设备的自由度信息。偶数帧图像用于确定手柄的自由度信息。
追踪相机的曝光时长越长，采集图像时获取的外界环境光的信息越多。在一个实施例中，第一曝光时长可以自适应外界环境光，也就是第一曝光时长根据外界环境光的强度自适应调整。根据本公开实施例，根据以预设的第一曝光时长采集的奇数帧图像确定头戴显示设备的自由度信息，可以获取更多的外界环境特征，可以提高追踪头戴显示设备的准确性。
在一个实施例中，第二曝光时长小于第一曝光时长。以预设的第二曝光时长采集偶数帧图像，偶数帧图像中至少包括手柄上设置的多个发光体对应的光斑。第二曝光时长可以预先设定。根据本公开实施例，以较小的第二曝光时长采集偶数帧图像，可以在呈现与手柄上设置的多个发光体对应的光斑的同时，避免获取过多的外界环境光的信息，可以减少外界环境光的干扰，提高偶数帧图像的质量，可以提高追踪手柄的准确性。
在一个更具体的例子中，该定位追踪方法还包括：在通过头戴显示设备上设置的追踪相机以预设的第二曝光时长采集偶数帧图像时，控制手柄上的发光体按照预设的点亮时长点亮，第二曝光时长的中间时刻与点亮时长的中间时刻对应。
第二曝光时长的中间时刻与点亮时长的中间时刻同步，也就是在追踪相机采集偶数帧图像的曝光时间段内控制手柄上的发光体点亮，从而可以保证偶数帧图像中包含手柄上设置的多个发光体对应的光斑。
手柄的发光体的点亮时长可以根据预设的第二曝光时长进行设定。根据本公开实施例，根据预设的较短的第二曝光时长设定手柄的发光体的点亮时长，可以缩短手柄的发光体的点亮时间，降低设备功耗。
在一个实施例中，点亮时长可以等于第二曝光时长，也就是说，第二曝光时长的起始点和结束点与点亮时长的起始点和结束点对应。例如，点亮时长可以是100μs。在另一个实施例中，点亮时长可以大于第二曝光时长，也就是发光体的亮灯时长比曝光时长的前后时刻延长一定时间。例如，发光体的亮灯时长比曝光时长的前后时刻多亮30μs。根据本公开实施例，点亮时长大于第二曝光时长，可以避免由于采用无线通信的方式同步控制追踪相机采集偶数帧图像以及手柄的发光体的点亮存在的精度误差，从而保证追踪相机在采集偶数帧图像时可以捕捉到发光体产生的光斑。
在获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像之后，进入S202。
S202、根据奇数帧图像和头戴显示设备的姿态信息确定头戴显示设备的自由度信息。
头戴显示设备内集成有第一惯性测量单元(Inertial measurement unit，IMU)，第一惯性测量单元用于采集头戴显示设备的姿态信息。
头戴显示设备的自由度信息是指头戴显示设备的六自由度信息(以下简称6DoF信息)，包括移动自由度和转动自由度。
在一个实施例中，根据奇数帧图像中的空间结构信息，采用即时定位与地图构建(simultaneous localization and mapping，SLAM)算法进行计算，可以获得头戴显示设备的移动自由度(即三维坐标)；根据第一惯性测量单元采集的头戴显示设备的姿态信息(例如，四元数信息)，可以获得头戴显示设备的转动自由度(即偏航角、俯仰角和翻滚角)；利用移动自由度和转动自由度可以确定出头戴显示设备的6DoF信息。
在一个实施例中，在确定头戴显示设备的6DoF信息之后，该定位追踪方法可以进一步包括：结合头戴显示设备的姿态信息对头戴显示设备的6DoF信息进行预积分，获得高频率的头戴显示设备的6DoF信息。
头戴显示设备的6DoF信息的输出频率取决于第一惯性测量单元采集头戴显示设备的姿态信息的频率和追踪相机采集奇数帧图像的频率。第一惯性测量单元采集头戴显示设备的姿态信息的频率较大，一般为200Hz。根据本公开实施例，结合第一惯性测量单元采集头戴显示设备的姿态信息对头戴显示设备的6DoF信息进行预积分，可以获得高频率的头戴显示设备的6DoF信息，从而可以降低延迟，提升用户体验。
在确定头戴显示设备的自由度信息之后，进入S203。
S203、根据偶数帧图像、手柄的姿态信息和头戴显示设备的自由度信息确定手柄的自由度信息。
手柄内集成有第二惯性测量单元，第二惯性测量单元用于采集手柄的姿态信息。
手柄的自由度信息是指手柄的六自由度信息(以下简称6DoF信息)，包括移动自由度和转动自由度。
在一个实施例中，根据偶数帧图像、手柄的姿态信息和头戴显示设备的自由度信息确定手柄的自由度信息的步骤，可以进一步包括S301-S303。
S301、对偶数帧图像进行光斑检测，确定偶数帧图像中所有光斑的位置信息。
S302、根据偶数帧图像中所有光斑的位置信息确定与偶数帧图像中光斑对应的手柄上的发光体的三维坐标；
对追踪相机采集的每一偶数帧图像进行光斑检测(Blob检测)，以确定每一偶数帧图像中所有光斑的位置信息(二维坐标)，其中，至少包括四个光斑的位置信息；根据偶数帧图像中每个光斑的的分布规律，确定偶数帧图像中的光斑与手柄上的发光体的对应关系；使用对应手柄上的发光体的光斑的二维坐标，确定与其对应的手柄上的发光体的三维坐标。
S303、根据与偶数帧图像中光斑对应的手柄上的发光体的三维坐标、手柄的姿态信息和头戴显示设备的自由度信息确定手柄的自由度信息。
根据与偶数帧图像中光斑对应的手柄上的发光体的三维坐标可以确定手柄的移动自由度；根据手柄的姿态信息可以确定手柄的转动自由度；依据移动自由度和转动自由度即可确定手柄的6DoF信息；之后，根据头戴显示设备的自由度信息对手柄的6DoF信息进行坐标系转换。
在一个实施例中，当确定每个发光体的三维坐标后，可以采用PNP算法或其他现有技术中的相关算法，结合第二惯性测量单元采集的手柄的姿态信息，确定手柄的6DoF信息，从而实现手柄的定位追踪。
根据本公开实施例，采用至少两个追踪相机采集多张偶数帧图像，根据多张偶数帧图像解算手柄的6DoF信息，可以提高鲁棒性，从而可以提高追踪精度。
在一个实施例中，在确定手柄的6DoF信息之后，该定位追踪方法可以进一步包括：结合手柄的姿态信息对手柄的6DoF信息进行预积分，获得高频率的手柄的6DoF信息。
手柄的6DoF信息的输出频率取决于第二惯性测量单元采集手柄的姿态信息的频率和追踪相机采集偶数帧图像的频率。第二惯性测量单元采集手柄的姿态信息的频率较大，一般为200Hz。根据本公开实施例，结合第二惯性测量单元采集手柄的姿态信息对手柄的6DoF信息进行预积分，可以获得高频率的手柄的6DoF信息，从而可以降低延迟，提升用户体验。
根据本公开实施例，获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，根据奇数帧图像和头戴显示设备的姿态信息确定头戴显示设备的6DoF信息，根据偶数帧图像、手柄的姿态信息确定手柄的6DoF信息，从而不需要增设硬件的情况下，基于同一硬件实现对头戴显示设备和手柄的同步追踪，从而降低头戴显示设备的功耗，用户体验更好。
在一些场景下，用户希望通过裸手可以进行一些菜单的选择设置和或者和一些虚拟场景中物体进行交互，例如在主界面下。基于此，本公开实施例中，还可以实现裸手追踪。下面具体说明。
在该实施例中，奇数帧图像中至少包括手部。该定位追踪方法还可以包括：根据奇数帧图像确定手部的自由度信息。根据本公开实施例，在用户不使用手柄的情况下，可以实现对用户手部的追踪。
在一个实施例中，根据奇数帧图像确定手部的自由度信息的步骤，可以进一步包括S401-S402。
S401、将奇数帧图像输入预定的卷积神经网络模型，获得手部的多个关键点的位置。
S402、根据手部的多个关键点的位置确定手部的自由度信息。
手部的自由度信息即手部的二十六自由度信息(26DoF信息)。
在一个实施例中，该定位追踪方法，还可以包括训练预定的卷积神经网络模型的步骤。训练预定的卷积神经网络模型的步骤，可以进一步包括：S501-S503。
S501、采集多张场景图像，场景图像中包含手部。
例如，采集200个人在不同光照环境、不同使用场景环境下，四路追踪相机采集的不同大小尺寸的包含手部的图像数据。例如，采集125万张包含手部的场景图像。
S502、标注场景图像中的手部的多个关键点的位置，并将标注后的图像组成图像训练样本集。
S503、根据图像训练样本集训练卷积神经网络模型。
例如，标注出多张场景图像中的手部的24个关键点的位置，并将标注后的图像组成图像训练样本集；根据卷积神经网络模型估计出多张场景图像上的多个估计关键点的位置；构建优化残差方程，结合PNP优化算法迭代估计卷积神经网络模型，使其卷积神经网络模型对应的在图像上估计关键点的位置和图像上标注的关键点的位置之间的距离误差最小，以得到训练后的卷积神经网络模型。
根据本公开实施例，基于卷积神经网络模型可以快速确定出手部的26DoF信息。
根据本公开实施例，获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像；之后，在用户使用手柄时，根据奇数帧图像和头戴显示设备的姿态信息确定头戴显示设备的6DoF信息，根据偶数帧图像、手柄的姿态信息确定手柄的6DoF信息；在用户不使用手柄时，根据奇数帧图像和头戴显示设备的姿态信息确定头戴显示设备的6DoF信息，以及根据奇数帧图像确定用户手部的26DoF信息。本公开实施例提供的定位追踪方法，基于同一硬件实现对头戴显示设备、手柄和裸手的同步追踪，从而降低头戴显示设备的功耗，用户体验更好。
<装置实施例一>
参见图4所示，本公开实施例提供了定位追踪平台40，该定位追踪平台40可以是如图1所示的定位追踪平台3000，定位追踪平台例如还可以是移动终端。该定位追踪平台40包括图像获取模块41和定位追踪模块42。
该图像获取模块41，用于获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，其中，所述偶数帧图像中至少包括手柄上设置的多个发光体对应的光斑，所述手柄与所述头戴显示设备通信连接。
在一个实施例中，所述第二曝光时长小于所述第一曝光时长。
在一个实施例中，在通过头戴显示设备上设置的追踪相机以预设的第二曝光时长采集偶数帧图像时，控制所述手柄上的发光体按照预设的点亮时长点亮，所述第二曝光时长的中间时刻与所述点亮时长的中间时刻对应。
在一个更具体的例子中，所述点亮时长大于等于所述第二曝光时长。
该定位追踪模块42，用于根据所述奇数帧图像和所述头戴显示设备的姿态信息确定所述头戴显示设备的自由度信息。
该定位追踪模块42，还用于根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息。
在一个实施例中，该定位追踪模块42，具体用于对所述偶数帧图像进行光斑检测，确定所述偶数帧图像中所有光斑的位置信息。
该定位追踪模块42，具体还用于根据所述偶数帧图像中所有光斑的位置信息确定与所述偶数帧图像中光斑对应的所述手柄上的发光体的三维坐标。
该定位追踪模块42，具体还用于根据与所述偶数帧图像中光斑对应的所述手柄上的发光体的三维坐标、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息。
在一个实施例中，所述奇数帧图像中至少包括手部。该定位追踪模块42，还用于根据所述奇数帧图像确定手部的自由度信息。
在一个更具体的例子中，该定位追踪模块42，具体用于将所述奇数帧图像输入预定的卷积神经网络模型，获得手部的多个关键点的位置。
该定位追踪模块42，具体还用于根据手部的多个关键点的位置确定手部的自由度信息。
在一个实施例中，该定位追踪平台40还包括模型训练模块。该模型训练模块，用于训练预定的卷积神经网络模型。
在一个更具体的例子中，该模型训练模块，具体用于采集多张场景图像，所述场景图像中包含手部。
该模型训练模块，具体还用于标注所述场景图像中的手部的多个关键点的位置，并将标注后的图像组成图像训练样本集。
该模型训练模块，具体还用于根据所述图像训练样本集训练所述卷积神经网络模型。
参见图5所示，本公开实施例提供了定位追踪平台50，该定位追踪平台50包括处理器51和存储器52。存储器52用于存储计算机程序，计算机程序被处理器51执行时实现前述任一实施例公开的定位追踪方法。
<装置实施例二>
本公开实施例还提供了一种头戴显示系统。该头戴显示系统包括头戴显示设备、与所述头戴显示设备连接的手柄和定位追踪平台。该头戴显示系统可以是如图1所示的头戴显示系统100。
在一个实施例中，该头戴显示设备上设置有至少两个追踪相机和第一惯性测量单元。
该至少两个追踪相机用于采集图像，具体地，至少两个追踪相机以预设的第一曝光时长采集多张奇数帧图像，通过至少两个追踪相机以预设的第二曝光时长采集多张偶数帧图像。
第一惯性测量单元用于检测头戴显示设备的姿态信息。
在一个更具体的例子中，头戴显示设备设置四个追踪相机，四个追踪相机按照预定的第一位置约束规则设置在头戴显示设备内，以保证每一追踪相机满足头戴显示设备的视场角要求。根据本公开实施例，根据四个追踪相机采集的图像对头戴显示设备和手柄进行定位追踪，可以提高鲁棒性，提高定位追踪的精度。
在一个更具体的例子中，追踪相机1900可以选用大视角追踪相机，例如，追踪相机1900的水平视场角(field angle of view，FOV)为100°～160°、垂直视场角为80°～120°，深度视场角为130°～160°，追踪相机的帧率大于60Hz，追踪相机的分辨率为VGA(VideoGraphics Array)或者720P，追踪相机采用Global Shutter(全局曝光)的曝光方式，追踪相机可以通过可见光波段和红外光波段。例如，追踪相机的型号为OV7251或者OV9282。
该手柄上设置有第二惯性测量单元和多个发光体。
多个发光体按照预定的第二位置约束规则放置，可以避免追踪相机距离手柄较近时采集的图像中存在局部图案信息重合或者粘连，并且可以保证在追踪相机以任意角度采集的图像中均出现至少四个发光体对应的光斑，从而可以根据采集的图像定位手柄。
在一个更具体的例子中，发光体设置有17个或者24个。该发光体例如可以是可见光光源或者红外光光源，例如LED灯。
第二惯性测量单元用于检测手柄的姿态信息。
定位追踪平台用于与头戴显示设备和手柄连接，以获取奇数帧图像、偶数帧图像、头戴显示设备的姿态信息、以及手柄的姿态信息。
定位追踪平台还用于根据奇数帧图像和头戴显示设备的姿态信息确定头戴显示设备的自由度信息，以实现对头戴显示设备的定位追踪。
在一个实施例中，定位追踪平台还用于，在用户使用手柄的情况下，根据偶数帧图像、手柄的姿态信息和头戴显示设备的自由度信息确定手柄的自由度信息，以实现对手柄的定位追踪。
在一个实施例中，定位追踪平台还用于，在用户不使用手柄的情况下，定位追踪平台还用于根据奇数帧图像确定手部的自由度信息，以实现对用户手部的定位追踪。
在一个实施例中，该定位追踪平台可以是如图1所示的定位追踪平台3000。
在一个实施例中，定位追踪平台例如还可以是移动终端。
根据本公开实施例，获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，根据奇数帧图像和头戴显示设备的姿态信息确定头戴显示设备的6DoF信息，根据偶数帧图像、手柄的姿态信息确定手柄的6DoF信息，从而不需要增设硬件的情况下，基于同一硬件实现对头戴显示设备和手柄的同步追踪，从而降低头戴显示设备的功耗，用户体验更好。
根据本公开实施例，获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像；之后，在用户使用手柄时，根据奇数帧图像和头戴显示设备的姿态信息确定头戴显示设备的6DoF信息，根据偶数帧图像、手柄的姿态信息确定手柄的6DoF信息；在用户不使用手柄时，根据奇数帧图像和头戴显示设备的姿态信息确定头戴显示设备的6DoF信息，以及根据奇数帧图像确定用户手部的26DoF信息。本公开实施例提供的定位追踪方法，基于同一硬件实现对头戴显示设备、手柄和裸手的同步追踪，从而降低头戴显示设备的功耗，用户体验更好。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分相互参见即可，每个实施例重点说明的都是与其他实施例的不同之处，但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。另外，对于装置实施例而言，由于其是与方法实施例相对应，所以描述得比较简单，相关之处参见方法实施例的对应部分的说明即可。以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“如“语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)网连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种定位追踪方法，其特征在于，所述方法包括：
获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，其中，所述偶数帧图像中至少包括手柄上设置的多个发光体对应的光斑，所述手柄与所述头戴显示设备通信连接；
根据所述奇数帧图像和所述头戴显示设备的姿态信息确定所述头戴显示设备的自由度信息；
根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息。
2.根据权利要求1所述的方法，其中，所述第二曝光时长小于所述第一曝光时长。
3.根据权利要求1所述的方法，其中，所述方法还包括：
在通过头戴显示设备上设置的追踪相机以预设的第二曝光时长采集偶数帧图像时，控制所述手柄上的发光体按照预设的点亮时长点亮，所述第二曝光时长的中间时刻与所述点亮时长的中间时刻对应。
4.根据权利要求3所述的方法，其中，所述点亮时长大于等于所述第二曝光时长。
5.根据权利要求1所述的方法，其中，所述根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息，包括：
对所述偶数帧图像进行光斑检测，确定所述偶数帧图像中所有光斑的位置信息；
根据所述偶数帧图像中所有光斑的位置信息确定与所述偶数帧图像中光斑对应的所述手柄上的发光体的三维坐标；
根据与所述偶数帧图像中光斑对应的所述手柄上的发光体的三维坐标、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息。
6.根据权利要求1所述的方法，其中，所述奇数帧图像中至少包括手部，所述方法还包括：
根据所述奇数帧图像确定手部的自由度信息。
7.根据权利要求6所述的方法，其中，所述根据所述奇数帧图像确定手部的自由度信息，包括：
将所述奇数帧图像输入预定的卷积神经网络模型，获得手部的多个关键点的位置；
根据手部的多个关键点的位置确定手部的自由度信息。
8.根据权利要求7所述的方法，其中，所述方法还包括：训练预定的卷积神经网络模型的步骤：
采集多张场景图像，所述场景图像中包含手部；
标注所述场景图像中的手部的多个关键点的位置，并将标注后的图像组成图像训练样本集；
根据所述图像训练样本集训练所述卷积神经网络模型。
9.一种定位追踪平台，其特征在于，包括：
图像获取模块，用于获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，其中，所述偶数帧图像中至少包括手柄上设置的多个发光体对应的光斑，所述手柄与所述头戴显示设备通信连接；
定位追踪模块，用于根据所述奇数帧图像和所述头戴显示设备的姿态信息确定所述头戴显示设备的自由度信息；
定位追踪模块，还用于根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息；
或者，
所述装置包括处理器和存储器，所述存储器存储有计算机指令，所述计算机指令被所述处理器运行时，执行权利要求1-8任一项所述的方法。
10.一种头戴显示系统，其特征在于，包括头戴显示设备、与所述头戴显示设备连接的手柄和定位追踪平台，所述头戴显示设备上设置有至少两个追踪相机，所述手柄上设置有多个发光体。
CN202010974857.9A 2020-09-16 2020-09-16 定位追踪方法、平台及头戴显示系统 Pending CN112286343A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010974857.9A CN112286343A (zh) 2020-09-16 2020-09-16 定位追踪方法、平台及头戴显示系统
EP21868407.4A EP4198694A4 (en) 2020-09-16 2021-08-24 POSITIONING AND TRACKING METHOD AND PLATFORM, HEAD-MOUNTED DISPLAY SYSTEM AND COMPUTER-READABLE STORAGE MEDIUM
PCT/CN2021/114364 WO2022057579A1 (zh) 2020-09-16 2021-08-24 定位追踪方法和平台、头戴显示系统和计算机可读存储介质
KR1020237010259A KR20230054725A (ko) 2020-09-16 2021-08-24 측위 및 추적 방법 및 플랫폼, 헤드 마운트 디스플레이 시스템 및 컴퓨터 판독가능 저장 매체
JP2023517394A JP2023542668A (ja) 2020-09-16 2021-08-24 位置決め追跡方法及びプラットフォーム、ヘッドマウントディスプレイシステム、及びコンピュータ読み取り可能な記憶媒体
US17/869,413 US11625841B2 (en) 2020-09-16 2022-07-20 Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010974857.9A CN112286343A (zh) 2020-09-16 2020-09-16 定位追踪方法、平台及头戴显示系统

Publications (1)

Publication Number Publication Date
CN112286343A true CN112286343A (zh) 2021-01-29

Family

ID=74419993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010974857.9A Pending CN112286343A (zh) 2020-09-16 2020-09-16 定位追踪方法、平台及头戴显示系统

Country Status (6)

Country Link
US (1) US11625841B2 (zh)
EP (1) EP4198694A4 (zh)
JP (1) JP2023542668A (zh)
KR (1) KR20230054725A (zh)
CN (1) CN112286343A (zh)
WO (1) WO2022057579A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225870A (zh) * 2021-03-29 2021-08-06 青岛小鸟看看科技有限公司 Vr设备定位方法及vr设备
CN113382228A (zh) * 2021-05-17 2021-09-10 青岛小鸟看看科技有限公司 头戴显示设备和头戴显示系统
CN113382230A (zh) * 2021-05-17 2021-09-10 青岛小鸟看看科技有限公司 头戴显示设备和头戴显示系统
WO2022057579A1 (zh) * 2020-09-16 2022-03-24 青岛小鸟看看科技有限公司 定位追踪方法和平台、头戴显示系统和计算机可读存储介质
CN114363513A (zh) * 2021-12-24 2022-04-15 歌尔光学科技有限公司 头戴显示设备及其摄像追踪方法、装置、系统和存储介质
WO2022100759A1 (zh) * 2020-11-16 2022-05-19 青岛小鸟看看科技有限公司 头戴式显示系统及其6自由度追踪方法和装置
WO2022174594A1 (zh) * 2021-02-18 2022-08-25 青岛小鸟看看科技有限公司 基于多相机的裸手追踪显示方法、装置及系统
CN115082520A (zh) * 2022-06-14 2022-09-20 歌尔股份有限公司 定位追踪方法、装置、终端设备及计算机可读存储介质
US11662592B2 (en) 2021-05-17 2023-05-30 Qingdao Pico Technology Co., Ltd. Head-mounted display device and head-mounted display system
TWI812199B (zh) * 2021-11-22 2023-08-11 宏達國際電子股份有限公司 管理追蹤感測器的方法、追蹤裝置及電腦可讀儲存媒體

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
US20170357333A1 (en) * 2016-06-09 2017-12-14 Alexandru Octavian Balan Passive optical and inertial tracking in slim form-factor
CN109271025A (zh) * 2018-08-31 2019-01-25 青岛小鸟看看科技有限公司 虚拟现实自由度模式切换方法、装置、设备及系统
CN110622107A (zh) * 2017-05-09 2019-12-27 微软技术许可有限责任公司 跟踪可穿戴设备和手持对象姿势
US20200175712A1 (en) * 2018-11-30 2020-06-04 Hins Sas Head mounted device for virtual or augmented reality combining reliable gesture recognition with motion tracking algorithm
CN111614915A (zh) * 2020-05-13 2020-09-01 深圳市欢创科技有限公司 一种空间定位方法、装置、系统和头戴式设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190012835A1 (en) * 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
US10606364B2 (en) * 2018-06-14 2020-03-31 Dell Products, L.P. Two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
CN109445596B (zh) * 2018-11-02 2023-09-08 北京盈迪曼德科技有限公司 一种一体式混合现实头戴显示系统
CN110399866B (zh) * 2019-08-27 2021-03-16 中国科学院紫金山天文台 基于ccd相机不同曝光时间交替的空间碎片观测方法
CN112286343A (zh) * 2020-09-16 2021-01-29 青岛小鸟看看科技有限公司 定位追踪方法、平台及头戴显示系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
US20170357333A1 (en) * 2016-06-09 2017-12-14 Alexandru Octavian Balan Passive optical and inertial tracking in slim form-factor
CN110622107A (zh) * 2017-05-09 2019-12-27 微软技术许可有限责任公司 跟踪可穿戴设备和手持对象姿势
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
CN109271025A (zh) * 2018-08-31 2019-01-25 青岛小鸟看看科技有限公司 虚拟现实自由度模式切换方法、装置、设备及系统
US20200175712A1 (en) * 2018-11-30 2020-06-04 Hins Sas Head mounted device for virtual or augmented reality combining reliable gesture recognition with motion tracking algorithm
CN111614915A (zh) * 2020-05-13 2020-09-01 深圳市欢创科技有限公司 一种空间定位方法、装置、系统和头戴式设备

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11625841B2 (en) 2020-09-16 2023-04-11 Qingdao Pico Technology Co., Ltd. Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
WO2022057579A1 (zh) * 2020-09-16 2022-03-24 青岛小鸟看看科技有限公司 定位追踪方法和平台、头戴显示系统和计算机可读存储介质
US11797083B2 (en) 2020-11-16 2023-10-24 Qingdao Pico Technology Co., Ltd. Head-mounted display system and 6-degree-of-freedom tracking method and apparatus thereof
WO2022100759A1 (zh) * 2020-11-16 2022-05-19 青岛小鸟看看科技有限公司 头戴式显示系统及其6自由度追踪方法和装置
US11798177B2 (en) 2021-02-18 2023-10-24 Qingdao Pico Technology Co., Ltd. Hand tracking method, device and system
WO2022174594A1 (zh) * 2021-02-18 2022-08-25 青岛小鸟看看科技有限公司 基于多相机的裸手追踪显示方法、装置及系统
CN113225870B (zh) * 2021-03-29 2023-12-22 青岛小鸟看看科技有限公司 Vr设备定位方法及vr设备
CN113225870A (zh) * 2021-03-29 2021-08-06 青岛小鸟看看科技有限公司 Vr设备定位方法及vr设备
US11662592B2 (en) 2021-05-17 2023-05-30 Qingdao Pico Technology Co., Ltd. Head-mounted display device and head-mounted display system
CN113382230B (zh) * 2021-05-17 2023-01-17 青岛小鸟看看科技有限公司 头戴显示设备和头戴显示系统
WO2022241981A1 (zh) * 2021-05-17 2022-11-24 青岛小鸟看看科技有限公司 头戴显示设备和头戴显示系统
CN113382228B (zh) * 2021-05-17 2023-04-18 青岛小鸟看看科技有限公司 头戴显示设备和头戴显示系统
CN113382230A (zh) * 2021-05-17 2021-09-10 青岛小鸟看看科技有限公司 头戴显示设备和头戴显示系统
CN113382228A (zh) * 2021-05-17 2021-09-10 青岛小鸟看看科技有限公司 头戴显示设备和头戴显示系统
TWI812199B (zh) * 2021-11-22 2023-08-11 宏達國際電子股份有限公司 管理追蹤感測器的方法、追蹤裝置及電腦可讀儲存媒體
CN114363513A (zh) * 2021-12-24 2022-04-15 歌尔光学科技有限公司 头戴显示设备及其摄像追踪方法、装置、系统和存储介质
CN115082520A (zh) * 2022-06-14 2022-09-20 歌尔股份有限公司 定位追踪方法、装置、终端设备及计算机可读存储介质
WO2023240696A1 (zh) * 2022-06-14 2023-12-21 歌尔股份有限公司 定位追踪方法、装置、终端设备及计算机存储介质

Also Published As

Publication number Publication date
US11625841B2 (en) 2023-04-11
JP2023542668A (ja) 2023-10-11
EP4198694A1 (en) 2023-06-21
EP4198694A4 (en) 2024-03-06
KR20230054725A (ko) 2023-04-25
US20220358663A1 (en) 2022-11-10
WO2022057579A1 (zh) 2022-03-24

Similar Documents

Publication Publication Date Title
CN112286343A (zh) 定位追踪方法、平台及头戴显示系统
US10929980B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
CN111694429A (zh) 虚拟对象驱动方法、装置、电子设备及可读存储
US10776943B2 (en) System and method for 3D association of detected objects
US9501810B2 (en) Creating a virtual environment for touchless interaction
CN109992111B (zh) 增强现实扩展方法和电子设备
US10104286B1 (en) Motion de-blurring for panoramic frames
US20170322700A1 (en) Haptic interface for population of a three-dimensional virtual environment
KR20220122675A (ko) 공동 적외선 및 가시 광 시각-관성 오브젝트 추적
US20220253131A1 (en) Systems and methods for object tracking using fused data
US20170091910A1 (en) Facilitating projection pre-shaping of digital images at computing devices
CN110572635A (zh) 一种用于手持控制设备追踪定位的方法、设备与系统
US11169598B2 (en) Apparatus and associated methods for presentation of a virtual reality space
US20140043326A1 (en) Method and system for projecting content to have a fixed pose
WO2019100547A1 (zh) 投影控制方法、装置、投影交互系统及存储介质
US20230409121A1 (en) Display control method, apparatus, electronic device, medium, and program product
KR102516278B1 (ko) 미디어 패널에 대한 직관적인 컨트롤 환경을 제공하는 사용자 단말, 서버, 및 디스플레이 장치
US20230042447A1 (en) Method and Device for Managing Interactions Directed to a User Interface with a Physical Object
US20240126088A1 (en) Positioning method, apparatus and system of optical tracker
CN117492555A (zh) 对象移动控制方法、装置、设备
CN115619918A (zh) 图像渲染方法、装置、设备及存储介质
KR20240025593A (ko) 객체에 대한 동작 양식을 동적으로 선택하기 위한 방법 및 디바이스
CN117631810A (zh) 基于虚拟现实空间的操作处理方法、装置、设备及介质
CN114115536A (zh) 一种交互方法、装置、电子设备和存储介质
CN116977419A (zh) 智能眼镜的用户位姿确定方法、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210129