CN112380989B - 一种头戴显示设备及其数据获取方法、装置和主机 - Google Patents

一种头戴显示设备及其数据获取方法、装置和主机 Download PDF

Info

Publication number
CN112380989B
CN112380989B CN202011268687.9A CN202011268687A CN112380989B CN 112380989 B CN112380989 B CN 112380989B CN 202011268687 A CN202011268687 A CN 202011268687A CN 112380989 B CN112380989 B CN 112380989B
Authority
CN
China
Prior art keywords
head
rendering
current
time
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011268687.9A
Other languages
English (en)
Other versions
CN112380989A (zh
Inventor
刘鑫
姜滨
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202011268687.9A priority Critical patent/CN112380989B/zh
Priority to US18/011,004 priority patent/US11836286B2/en
Priority to PCT/CN2020/131295 priority patent/WO2022099787A1/zh
Publication of CN112380989A publication Critical patent/CN112380989A/zh
Application granted granted Critical
Publication of CN112380989B publication Critical patent/CN112380989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了一种头戴显示设备的数据获取方法、装置、主机及头戴显示设备，该方法包括：获取头部姿态传感器采集的用户头部姿态信息；根据用户头部姿态信息和头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置；根据预测头部位置和当前渲染时刻的视频数据，获取当前渲染时刻对应的当前视频渲染，以使头戴显示设备显示当前渲染时刻的视频渲染和目标时间扭曲帧；本申请通过对下一渲染时刻用户头部动作的预测追踪，在当前渲染时刻处理得到下一渲染时刻的时间扭曲帧，使得当前头戴显示设备的视频数据能够包含当前渲染时刻到下一渲染时刻之间的时间扭曲帧，从而减少头戴显示设备的用户感知到的显示画面延迟，有效减小用户的眩晕感。

Description

一种头戴显示设备及其数据获取方法、装置和主机
技术领域
本申请涉及头戴显示设备领域，特别涉及一种头戴显示设备的数据获取方法、装置、主机及头戴显示设备。
背景技术
随着现代社会科技的发展，如VR(Virtual Reality，虚拟现实)设备、AR(Augmented Reality，增强现实)设备和MR(Mediated Reality，混合现实)设备等头戴显示设备(HMD)的应用越来越广泛。虽然随着头戴显示设备的发展，头戴显示设备的显示场景越来越丰富，但即便是最尖端的头戴显示设备，依旧存在致命的“硬伤”：晕眩感太强；例如很多VR设备的体验者表示，在一段时间使用VR产品后，会出现不适，恶心，甚至呕吐。这一问题成为了如VR设备的头戴显示设备发展的最大的一个绊脚石。
使用头戴显示设备出现眩晕感的根本原因是视觉大脑对运动的认知不同步，具体点就是眼睛看到的显示画面(如VR显示画面)与从耳朵接收到的(真实位置)信息不匹配，导致脑负担加大，从而产生晕眩感(内耳的前庭器官和耳蜗总称位听器官，顾名思义就是感知位觉和听觉，这也就是我们通常所说的，耳朵除了能听，还能平衡，平衡就依赖于前庭器官。前庭器官是人体对自然运动状态和头在空间位置的感受器官)。一般来说，如果头戴显示设备检测人的运动到最终显示屏显示出对应画面的时间间隔大于20ms，人们就会感觉到画面的延迟滞后，从而导致头晕。
因此，如何能够减少使用头戴显示设备的用户感知到的显示画面延迟，有效减小用户的眩晕感，提升用户体验，是现今急需解决问题。
发明内容
本申请的目的是提供一种头戴显示设备及其数据获取方法、装置和主机，以减少使用头戴显示设备的用户感知到的显示画面延迟，有效减小用户的眩晕感，提升用户体验。
为解决上述技术问题，本申请提供一种头戴显示设备的数据获取方法，包括：
获取头部姿态传感器采集的用户头部姿态信息；其中，所述头部姿态传感器设置在头戴显示设备中；
根据所述用户头部姿态信息和所述头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置；其中，当前显示场景为当前渲染时刻的所述头戴显示设备的显示场景；
根据所述预测头部位置和当前渲染时刻的视频数据，获取当前渲染时刻对应的当前视频渲染，以使所述头戴显示设备显示当前渲染时刻的视频渲染和目标时间扭曲帧；其中，当前视频渲染包括所述视频渲染和下一渲染时刻的时间扭曲帧，所述目标时间扭曲帧为一个所述时间扭曲帧。
可选的，所述根据所述用户头部姿态信息和所述头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置，包括：
根据当前用户头部姿态和当前显示场景，确定所述预测头部位置；其中，当前用户头部姿态为所述用户头部姿态信息中当前渲染时刻的用户头部姿态信息。
可选的，所述根据所述用户头部姿态信息和所述头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置，包括：
根据目标用户头部姿态和当前显示场景，确定所述预测头部位置；其中，所述目标用户头部姿态为所述用户头部姿态信息中目标渲染时刻到当前渲染时刻之间的用户头部姿态信息，所述目标渲染时刻为当前渲染时刻之前预设时间的时刻。
可选的，所述获取当前渲染时刻对应的当前视频渲染之后，还包括：
主机将当前视频渲染发送到所述头戴显示设备。
可选的，所述根据所述用户头部姿态信息和所述头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置之后，还包括：
生成每个所述预测头部位置各自对应的下一渲染时刻的渲染音频流，以使所述头戴显示设备播放所述渲染音频流中的目标渲染音频流。
本申请还提供了一种头戴显示设备的数据获取装置，包括：
获取模块，用于获取头部姿态传感器采集的用户头部姿态信息；其中，所述头部姿态传感器设置在头戴显示设备中；
预测模块，用于根据所述用户头部姿态信息和所述头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置；其中，当前显示场景为当前渲染时刻的所述头戴显示设备的显示场景；
渲染模块，用于根据所述预测头部位置和当前渲染时刻的视频数据，获取当前渲染时刻对应的当前视频渲染，以使所述头戴显示设备显示当前渲染时刻的视频渲染和目标时间扭曲帧；其中，当前视频渲染包括所述视频渲染和下一渲染时刻的时间扭曲帧，所述目标时间扭曲帧为一个所述时间扭曲帧。
本申请还提供了一种主机，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述的头戴显示设备的数据获取方法的步骤。
本申请还提供了一种头戴显示设备的数据获取方法，包括：
头戴显示设备将获取的头部姿态传感器采集的用户头部姿态信息发送到主机；其中，所述头部姿态传感器设置在所述头戴显示设备中；
接收所述主机发送的当前渲染时刻对应的当前视频渲染；其中，当前视频渲染包括当前渲染时刻的视频渲染和下一渲染时刻的时间扭曲帧；
利用显示器依次显示当前视频渲染中的所述视频渲染和目标时间扭曲帧；其中，所述目标时间扭曲帧为一个所述时间扭曲帧。
可选的，所述时间扭曲帧的数量不为1时，所述利用显示设备显示依次显示当前视频渲染中的所述视频渲染和目标时间扭曲帧，包括：
利用所述显示器显示所述视频渲染时，根据所述头部姿态传感器采集的当前时刻的用户头部姿态信息，确定当前用户头部位置；
根据每个所述时间扭曲帧对应的预测头部位置，从所述时间扭曲帧中选择对应的预测头部位置与当前用户头部位置最接近的一个所述时间扭曲帧作为所述目标时间扭曲帧，并在所述视频渲染显示完成后显示所述目标时间扭曲帧。
可选的，该方法还包括：
接收所述主机发送的下一渲染时刻的渲染音频流；
根据所述头部姿态传感器采集的当前时刻的用户头部姿态信息，确定并播放所述渲染音频流中的目标渲染音频流。
本申请还提供了一种头戴显示设备的数据获取装置，包括：
发送模块，用于将获取的头部姿态传感器采集的用户头部姿态信息发送到主机；其中，所述头部姿态传感器设置在所述头戴显示设备中；
接收模块，用于接收所述主机发送的当前渲染时刻对应的当前视频渲染；其中，当前视频渲染包括当前渲染时刻的视频渲染和下一渲染时刻的时间扭曲帧；
显示模块，用于利用显示器依次显示当前视频渲染中的所述视频渲染和目标时间扭曲帧；其中，所述目标时间扭曲帧为一个所述时间扭曲帧。
本申请还提供了一种头戴显示设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述的头戴显示设备的数据获取方法的步骤。
本申请所提供的一种头戴显示设备的数据获取方法，包括：获取头部姿态传感器采集的用户头部姿态信息；其中，头部姿态传感器设置在头戴显示设备中；根据用户头部姿态信息和头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置；其中，当前显示场景为当前渲染时刻的头戴显示设备的显示场景；根据预测头部位置和当前渲染时刻的视频数据，获取当前渲染时刻对应的当前视频渲染，以使头戴显示设备显示当前渲染时刻的视频渲染和目标时间扭曲帧；其中，当前视频渲染包括视频渲染和下一渲染时刻的时间扭曲帧，目标时间扭曲帧为一个时间扭曲帧；
可见，本申请通过对下一渲染时刻用户头部动作的预测追踪，在当前渲染时刻处理得到下一渲染时刻的时间扭曲帧，使得当前头戴显示设备的视频数据能够包含当前渲染时刻到下一渲染时刻之间的时间扭曲帧，从而减少头戴显示设备的用户感知到的显示画面延迟，有效减小了用户的眩晕感，提升了用户体验。此外，本申请还提供了一种头戴显示设备的数据获取装置、主机及头戴显示设备，同样具有上述有益效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种头戴显示设备的数据获取方法的流程图；
图2为本申请实施例所提供的另一种头戴显示设备的数据获取方法的数据传输示意图；
图3为本申请实施例所提供的另一种头戴显示设备的数据获取方法的原理传输示意图；
图4为本申请实施例所提供的另一种头戴显示设备的数据获取方法的流程图；
图5为本申请实施例所提供的一种头戴显示设备的数据获取装置的结构框图；
图6为本申请实施例所提供的一种应用于头戴显示设备的头戴显示设备的数据获取方法的流程图；
图7为本申请实施例所提供的一种应用于头戴显示设备的头戴显示设备的数据获取装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种头戴显示设备的数据获取方法的流程图。该方法可以包括：
步骤101：获取头部姿态传感器采集的用户头部姿态信息；其中，头部姿态传感器设置在头戴显示设备中。
其中，本步骤中的头部姿态传感器可以为头戴显示设备(如VR设备)中设置的用于采集佩戴头戴显示设备的用户的头部位置姿态的数据(即用户头部姿态信息)的传感器，如IMU(Inertial measurement unit，惯性测量单元)。
具体的，对于本步骤中头部姿态传感器的具体传感器类型和在头戴显示设备的具体设置位置，可以由设计人员根据实用场景和用户需求自行设置，如头部姿态传感器可以为包括加速度计(ACC)和陀螺仪(Gyro)的IMU，也可以为地磁传感器和立体摄像头等其它能够采集用户头部姿态信息的设备。只要头戴显示设备中的头部姿态传感器能够采集用户佩戴使用头戴显示设备时用户头部位置姿态的数据，本实施例对此不作任何限制。
对应的，对于本步骤中头部姿态传感器采集的用户头部姿态信息的具体内容，可以由设计人员自行设置，如可以与头部姿态传感器的具体设置类型对应进行设置，本实施例对此不作任何限制。
可以理解的是，本实施例所提供的头戴显示设备的数据获取方法可以应用于与头戴显设备连接的主机，如图2和图3中的PC(个人计算机)或服务器；即本实施例中主机的处理器可以根据头戴显示设备中的头部姿态传感器采集的用户头部姿态信息，对下一渲染时刻用户的头部姿态进行预测，渲染获取并向头戴显示设备发送当前渲染时刻的视频渲染和下一渲染时刻的时间扭曲帧，以使头戴显示设备可以直接接收显示所需的视频数据，并进行相应的显示，减小用户的眩晕感。本实施例所提供的方法也直接可以应用于头戴显设备；即本实施例中头戴显示设备的处理器可以根据自身的头部姿态传感器采集的用户头部姿态信息，对下一渲染时刻用户的头部姿态进行预测，渲染获取当前渲染时刻的视频渲染和下一渲染时刻的时间扭曲帧，从而进行相应的显示，减小用户的眩晕感。
具体的，本实施例所提供的方法应用于主机时，本步骤中主机的处理器可以接收头戴显示设备发送的用户头部姿态信息，如图2所示，PC的处理器(Processor)可以通过802.11ad路由器持续接收HMD的Processor发送的头部姿态传感器(Motion Sensor)实时采集的用户头部姿态信息(Head tracking date)，实现对佩戴头戴显示设备用户的头部位置的跟踪检测。
步骤102：根据用户头部姿态信息和头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置；其中，当前显示场景为当前渲染时刻的头戴显示设备的显示场景。
可以理解的是，本步骤的目的可以为处理器利用获取的用户头部姿态信息和当前渲染时刻的头戴显示设备的显示场景，预测确定下一渲染时刻的一个或多个用户头部位置(即预测头部位置)。
具体的，本步骤中的当前渲染时刻可以为处理器在当前需要渲染的视频帧对应的时刻，下一渲染时刻可以为处理器在下一次需要渲染的视频帧对应的时刻。本步骤中头戴显示设备的当前显示场景可以为当前渲染时刻对应的头戴显示设备中的显示场景，即用户在当前渲染时刻使用的头戴显示设备中的使用场景(即显示场景)，如用户在使用头戴显示设备体验拳击游戏时，当前渲染时刻头戴显示设备中显示的拳击使用场景。本步骤中的预测头部位置可以为处理器预测确定的在下一渲染时刻用户头部可能在的一个或多个位置。
需要说明的是，对于本步骤中处理器根据用户头部姿态信息和头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如处理器可以根据用户头部姿态信息和头戴显示设备的当前显示场景，利用预设预测算法确定下一渲染时刻的预测头部位置。也就是说，处理器可以根据当前渲染时刻的用户头部姿态信息，得到最后时刻的用户头部位置；根据最后时刻已知的用户头部位置和用户当前时刻使用头戴显示设备的使用场景(即当前显示场景)，利用航位推算(Dead Reckoning)算法、卡尔曼滤波器预测算法和Alpha-beta-gamma(α-β-γ)算法等预测算法，预测下一渲染时刻用户头部可能在的一个或多个位置(即预测头部位置)；例如用户在使用头戴显示设备体验拳击游戏时，当前时刻做出向右躲避动作(此时头戴显示设备的IMU中ACC加速度计在Y+轴的数值会比较大，而X轴和Z轴数值相对较小，具体是哪个轴与设计有关，此处仅是举例)，处理器除了对当前渲染时刻的视频进行渲染外，还可以依据当前渲染时刻的IMU数据和当前用户的拳击使用场景以及算法所预测的一个或多个可能的用户头部位置(如向右或右下方)。处理器也可以根据用户头部姿态信息和头戴显示设备的当前显示场景，直接确定预设数量的与当前渲染时刻的用户头部姿态信息的相对距离固定但方向不同的预测头部位置；例如当前显示场景为用户可以自由移动的场景时，处理器可以直接将最后时刻已知的用户头部位置的向前、向后、向左、向右、向上和向下这6个方向移动预设距离后的6个头部位置作为预测头部位置。本实施例对此不作任何限制。
具体的，对于本步骤中处理器根据用户头部姿态信息和头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置的具体过程，可以由设计人员根据实用场景和用户需求自行设置，如处理器可以根据用户头部姿态信息中当前渲染时刻的用户头部姿态信息(当前用户头部姿态)和当前显示场景，确定预测头部位置；即处理器可以利用最后时刻已知的用户头部位置和当前显示场景，确定预测头部位置。处理器也可以根据目标用户头部姿态和当前显示场景，确定预测头部位置；其中，目标用户头部姿态为用户头部姿态信息中目标渲染时刻到当前渲染时刻之间的用户头部姿态信息，目标渲染时刻为当前渲染时刻之前预设时间的时刻；例如处理器可以根据当前渲染时刻前2s(即预设时间)到当前渲染时刻之间的用户头部姿态信息，确定用户当前的头部运动轨迹；再利用该头部运动轨迹和当前显示场景，确定下一渲染时刻的预测头部位置。本实施例对此不作任何限制。
步骤103：根据预测头部位置和当前渲染时刻的视频数据，获取当前渲染时刻对应的当前视频渲染，以使头戴显示设备显示当前渲染时刻的视频渲染和目标时间扭曲帧；其中，当前视频渲染包括视频渲染和下一渲染时刻的时间扭曲帧，目标时间扭曲帧为一个时间扭曲帧。
可以理解的是，本步骤的目的可以为处理器通过对当前渲染时刻的视频的渲染和根据预测头部位置对当前渲染时刻的视频进行时间扭曲，得到当前渲染时刻的视频渲染和下一渲染时刻的时间扭曲帧作为当前视频渲染，使头戴显示设备显示当前渲染时刻的视频渲染和目标时间扭曲帧，如预测头部位置的数量为1时，头戴显示设备可以依次显示当前渲染时刻的视频渲染、下一渲染时刻的时间扭曲帧(即目标时间扭曲帧)和之后的下一渲染时刻的视频渲染；如预测头部位置的数量大于1时，头戴显示设备可以依次显示当前渲染时刻的视频渲染、目标时间扭曲帧(即选择的一个下一渲染时刻的时间扭曲帧)和之后的下一渲染时刻的视频渲染，从而通过目标时间扭曲帧在当前渲染时刻的视频渲染与下一渲染时刻的视频渲染之间的显示，减少头戴显示设备的用户感知到的显示画面延迟。
具体的，本步骤中的下一渲染时刻的时间扭曲帧可以与预测头部位置一对一对应，即处理器可以利用当前渲染时刻需要渲染的视频和每个预测头部位置进行时间扭曲，得到每个预测头部位置各自对应的时间扭曲帧。其中，时间扭曲是一种图像帧修正技术，在使用头戴显示设备(如VR设备)时，由于头部运动过快，而造成场景渲染的延迟，即头已经转过去了，但是图像还没有渲染出来，或者渲染的是上一帧的图像；时间扭曲技术通过将渲染的图像发送到显示器之前对渲染的图像进行扭曲，以校正场景渲染后发生的头部运动，从而减少感知到的延迟。
对应的，对于本步骤中处理器利用当前渲染时刻需要渲染的视频和每个预测头部位置进行时间扭曲，得到下一渲染时刻的时间扭曲帧的具体过程，可以由设计人员自行设置，如可以采用与现有技术中的时间扭曲方法相同或相似的方式实现，本实施例对此不作任何限制。
需要说明的是，本实施例中处理器可以通过视频渲染组件利用一个线程对当前渲染时刻的视频进行渲染，在与此同时利用另一线程使用确定的预测头部位置和当前渲染时刻的视频进行异步时间扭曲，生成下一渲染时刻的时间扭曲帧。如图2所示，PC通过802.11ad路由器发送给HMD的视频数据(Compressed rendered video streams，压缩渲染的视频流)包括当前渲染时刻的视频渲染和依据当前渲染时刻的视频生成的下一渲染时刻的时间扭曲帧，从而减少用户感知到的视频延迟。其中，异步时间扭曲(Asynchronous TimeWarp)是指在另一个线程(称为ATW线程)中进行处理，这个线程和渲染线程平行运行(异步)，在每次同步之前，ATW线程根据渲染线程的最后一帧生成一个新的帧；对于相当复杂的场景，这比渲染整个新帧所需的计算量少得多。
可以理解的是，由于现有头戴显示设备(如VR设备)的主流厂商无论通过硬件、软件还是软硬结合方式，都是通过提高刷新帧率、提高分辨率、减少画面变形、优化头部运动追踪和优化内容这5种方法，从视频传输显示方面入手解决眩晕感的问题，缺少音频传输播放方面的考虑，而音频传输播放延迟也会对用户造成听觉上的影响，加重用户的眩晕感；本实施例所提供的方法还可以包括处理器根据用户头部姿态信息和头戴显示设备的当前显示场景，确定下一音频渲染时刻的预测头部位置；生成每个预测头部位置各自对应的下一音频渲染时刻的渲染音频流，以使头戴显示设备播放渲染音频流中的目标渲染音频流，以当前音频渲染时刻对下一音频渲染时刻的音频进行提前处理，从而有效减小用户视觉大脑与真实位置的延迟，有效减小眩晕感。
对应的，上述下一音频渲染时刻可以为处理器在当前音频渲染时刻的下一次需要渲染处理的音频数据对应的时刻；当前音频渲染时刻可以为处理器在当前需要渲染处理的音频数据对应的时刻。
具体的，对于当前音频渲染时刻和下一渲染时刻具体时间点，可以由设计人员自行设置，如当前音频渲染时刻可以与当前渲染时刻为相同时刻，即处理器可以通过视频渲染组件的一个线程和音频渲染组件的一个线程同时处理视频和音频；也就是说，本实施例中在步骤102之后还可以包括处理器生成每个预测头部位置各自对应的下一渲染时刻的渲染音频流，以使头戴显示设备播放渲染音频流中的目标渲染音频流。
需要说明的是，本实施例所提供的方法还可以包括头戴显示设备利用显示器依次显示当前视频渲染中的视频渲染和目标时间扭曲帧的步骤；其中，目标时间扭曲帧为一个时间扭曲帧。
本实施例中，本申请实施例通过对下一渲染时刻用户头部动作的预测追踪，在当前渲染时刻处理得到下一渲染时刻的时间扭曲帧，使得当前头戴显示设备的视频数据能够包含当前渲染时刻到下一渲染时刻之间的时间扭曲帧，从而减少头戴显示设备的用户感知到的显示画面延迟，有效减小了用户的眩晕感，提升了用户体验。
请参考图4，图4为本申请实施例所提供的另一种头戴显示设备的数据获取方法的流程图。该方法可以包括：
步骤201：主机接收头戴显示设备中的头部姿态传感器采集的用户头部姿态信息。
可以理解的是，本实施例中的主机可以为与头戴显示设备通讯连接的设备，如图2或图3中的PC。如图3所示，HMC(头戴显示设备)可以将Head tracking ponent(头部跟踪元件，即头部姿态传感器)采集的用户头部姿态信息发送到PC的Rendering(渲染组件，即处理器)进行Head tracking analysis(头部跟踪分析)，以确定下一渲染时刻的预测头部位置。
步骤202：根据用户头部姿态信息和头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置；其中，当前显示场景为当前渲染时刻的头戴显示设备的显示场景。
具体的，本步骤与步骤102相似，在此不再赘述。
步骤203：根据预测头部位置和当前渲染时刻的视频数据，获取并向使头戴显示设备发送当前渲染时刻对应的当前视频渲染，以使头戴显示设备显示当前渲染时刻的视频渲染和目标时间扭曲帧；其中，当前视频渲染包括视频渲染和下一渲染时刻的时间扭曲帧，目标时间扭曲帧为一个时间扭曲帧。
可以理解的是，本步骤的目的可以为主机的处理器通过将渲染得到的当前视频渲染的视频渲染和下一渲染时刻的时间扭曲帧发送到头戴显示设备，使头戴显示设备可以在显示当前视频渲染的视频渲染和下一视频渲染的视频渲染之间显示下一渲染时刻的时间扭曲帧，从而减少用户感知到的视频延迟。
具体的，如图2和图3所示，主机的处理器可以将当前渲染时刻对应的当前视频渲染进行编码(Encoder)后的数据(Compressed rendered video streams)通过802.11ad路由器发送到头戴显示设备。
步骤204：生成并向使头戴显示设备发送每个预测头部位置各自对应的下一渲染时刻的渲染音频流，以使头戴显示设备播放渲染音频流中的目标渲染音频流。
可以理解的是，本步骤中处理器可以根据确定的下一渲染时刻的预测头部位置，计算生成下一渲染时刻每个预测头部位置各自对应的音频流(即渲染音频流)，并将得到的音频流发送给头戴显示设备，使头戴显示设备可以选择一个音频流进行播放或选择多个音频流进行组合播放。
具体的，对于本步骤中处理器生成每个预测头部位置各自对应的下一渲染时刻的渲染音频流的具体方式，可以由设计人员自行设置，如处理器可以根据预测头部位置的位置，对左、右声道的输出声音的等级进行调节，得到每个预测头部位置各自对应的下一渲染时刻的渲染音频流，使得头戴显设备的用户可以感知到声音的方向性。例如处理器可以通过音频渲染组件衰减或增强左声道或右声道(如电平、频率、延迟、混响等)以影响用户感知声音的方向和距离；若预测头部位置为前方，则可以渲染左右声道的输出声音在同一等级，使用户感知声音可能来自用户前方；若预测头部位置为右方，则可以渲染左声道的输出声音接近零而右声道的输出声音更高，使用户感知声音可能来自用户右方；若预测头部位置为右前方，则可以渲染左声道的输出声音较低而右声道的输出声音较高，使用户感知声音可能来自用户右前方。
具体的，如图2和图3所示，主机的处理器可以将音频渲染得到的下一渲染时刻的渲染音频流(Multiple audio streams)通过802.11ad路由器发送到头戴显示设备。
本实施例中，本申请实施例通过对下一渲染时刻用户头部动作的预测追踪，在当前渲染时刻处理得到下一渲染时刻的时间扭曲帧和渲染音频流，在当前渲染时刻对下一渲染时刻音频视频进行提前处理，使得在当前时刻传输内容包含下一时刻用户动作所对应的音频视频内容，可有效减小用户视觉大脑与真实位置的延迟，有效减小眩晕感。
请参考图5，图5为本申请实施例所提供的一种头戴显示设备的数据获取装置的结构框图。该装置可以包括：
获取模块10，用于获取头部姿态传感器采集的用户头部姿态信息；其中，头部姿态传感器设置在头戴显示设备中；
预测模块20，用于根据用户头部姿态信息和头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置；其中，当前显示场景为当前渲染时刻的头戴显示设备的显示场景；
渲染模块30，用于根据预测头部位置和当前渲染时刻的视频数据，获取当前渲染时刻对应的当前视频渲染，以使头戴显示设备显示当前渲染时刻的视频渲染和目标时间扭曲帧；其中，当前视频渲染包括视频渲染和下一渲染时刻的时间扭曲帧，目标时间扭曲帧为一个时间扭曲帧。
可选的，预测模块20，可以包括：
第一预测子模块，用于根据当前用户头部姿态和当前显示场景，确定预测头部位置；其中，当前用户头部姿态为用户头部姿态信息中当前渲染时刻的用户头部姿态信息。
可选的，预测模块20，可以包括：
第二预测子模块，用于根据目标用户头部姿态和当前显示场景，确定预测头部位置；其中，目标用户头部姿态为用户头部姿态信息中目标渲染时刻到当前渲染时刻之间的用户头部姿态信息，目标渲染时刻为当前渲染时刻之前预设时间的时刻。
可选的，该装置还可以包括：
视频发送模块，用于将当前视频渲染发送到头戴显示设备。
可选的，该装置还可以包括：
音频渲染模块，用于生成每个预测头部位置各自对应的下一渲染时刻的渲染音频流，以使头戴显示设备播放渲染音频流中的目标渲染音频流。
本实施例中，本申请实施例通过预测模块20对下一渲染时刻用户头部动作的预测追踪，能够在当前渲染时刻处理得到下一渲染时刻的时间扭曲帧，使得当前头戴显示设备的视频数据能够包含当前渲染时刻到下一渲染时刻之间的时间扭曲帧，从而减少头戴显示设备的用户感知到的显示画面延迟，有效减小了用户的眩晕感，提升了用户体验。
本申请实施例还提供了一种主机，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现如上述任一实施例所提供的头戴显示设备的数据获取方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述任一实施例所提供的应用于主机的头戴显示设备的数据获取方法的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
请参考图6，图6为本申请实施例所提供的一种应用于头戴显示设备的头戴显示设备的数据获取方法的流程图。该方法可以包括：
步骤301：头戴显示设备将获取的头部姿态传感器采集的用户头部姿态信息发送到主机；其中，头部姿态传感器设置在头戴显示设备中。
步骤302：接收主机发送的当前渲染时刻对应的当前视频渲染；其中，当前视频渲染包括当前渲染时刻的视频渲染和下一渲染时刻的时间扭曲帧。
可以理解的是，本实施例中的步骤301和步骤302与上述实施例所提供的应用于主机的头戴显示设备的数据获取方法相对应，在此不再赘述。
步骤303：利用显示器依次显示当前视频渲染中的视频渲染和目标时间扭曲帧；其中，目标时间扭曲帧为一个时间扭曲帧。
具体的，本步骤中头戴显示设备的处理器在获取主机发送的当前渲染时刻对应的当前视频渲染后，可以确定当前视频渲染中下一渲染时刻的时间扭曲帧中的目标时间扭曲帧，并在利用自身的显示器显示当前渲染时刻的视频渲染后，先显示目标时间扭曲帧，再显示之后获取的下一渲染时刻的视频渲染，以避免当前渲染时刻的视频渲染和下一渲染时刻的视频渲染之间的显示延迟过长的问题，有效减小用户的眩晕感。
也就是说，本步骤可以包括处理器确定当前视频渲染中的目标时间扭曲帧的步骤，如当前视频渲染中仅包括一个下一渲染时刻的时间扭曲帧时，可以直接将该时间扭曲帧作为目标时间扭曲帧；当前视频渲染中包括大于一个下一渲染时刻的时间扭曲帧时，处理器可以根据当前时刻的用户头部姿态信息，从下一渲染时刻的时间扭曲帧中选择一个时间扭曲帧作为目标时间扭曲帧。也就是说，由于处理器确定目标时间扭曲帧的当前时刻肯定在当前渲染时刻之后，因此头戴显示设备的处理器可以利用当前时刻的用户头部姿态信息，确定下一渲染时刻的时间扭曲帧中哪一个时间扭曲帧对应的预测头部位置与当前时刻的用户头部姿态信息最为接近，从而选择出目标时间扭曲帧。
例如，当前视频渲染中的下一渲染时刻的时间扭曲帧的数量大于1时，头戴显示设备的处理器可以在利用显示器显示视频渲染时，根据头部姿态传感器采集的当前时刻的用户头部姿态信息，确定当前用户头部位置；根据每个时间扭曲帧对应的预测头部位置，从时间扭曲帧中选择对应的预测头部位置与当前用户头部位置最接近的一个时间扭曲帧作为目标时间扭曲帧，并在视频渲染显示完成后显示目标时间扭曲帧。
可以理解的是，本实施例还可以包括头戴显示设备接收主机发送的下一渲染时刻的渲染音频流；根据头部姿态传感器采集的当前时刻的用户头部姿态信息，确定并播放渲染音频流中的目标渲染音频流的步骤，以通过下一渲染时刻的渲染音频流的播放，缓解或消除用户感知到的声音延迟，例如用户佩戴头戴显示设备做向右动作时，下一渲染时刻的渲染音频流的播放可以使场景中声音来自左方。
具体的，对于处理器头部姿态传感器采集的当前时刻的用户头部姿态信息，确定并播放渲染音频流中的目标渲染音频流的具体方式，可以由设计人员自行设置，如接收的下一渲染时刻的渲染音频流仅为一个预测头部位置对应的渲染音频流时，处理器可以直接将该渲染音频流作为目标渲染音频流；接收的下一渲染时刻的渲染音频流为两个或两个以上的预测头部位置对应的渲染音频流时，处理器直接将与当前用户头部位置最接近的一个预测头部位置对应的渲染音频流作为目标渲染音频流。处理器也可以在存在对应的预测头部位置与当前用户头部位置小于阈值的渲染音频流时，将与当前用户头部位置最接近的一个预测头部位置对应的渲染音频流作为目标渲染音频流；在不存在对应的预测头部位置与当前用户头部位置小于阈值的渲染音频流时，将与当前用户头部位置最接近的两个预测头部位置对应的渲染音频流作为目标渲染音频流，以利用扬声器进行混合播放。
本实施例中，本申请实施例通过头戴显示设备利用显示器依次显示当前视频渲染中的视频渲染和目标时间扭曲帧，能够在当前渲染时刻的视频渲染和下一渲染时刻的视频渲染之间的显示目标时间扭曲帧，可有效减小用户视觉大脑与真实位置的延迟，有效减小眩晕感。
请参考图7，图7为本申请实施例所提供的一种应用于头戴显示设备的头戴显示设备的数据获取装置的结构框图。该装置可以包括：
发送模块40，用于将获取的头部姿态传感器采集的用户头部姿态信息发送到主机；其中，头部姿态传感器设置在头戴显示设备中；
接收模块50，用于接收主机发送的当前渲染时刻对应的当前视频渲染；其中，当前视频渲染包括当前渲染时刻的视频渲染和下一渲染时刻的时间扭曲帧；
显示模块60，用于利用显示器依次显示当前视频渲染中的视频渲染和目标时间扭曲帧；其中，目标时间扭曲帧为一个时间扭曲帧。
可选的，时间扭曲帧的数量不为1时，显示模块60，可以包括：
确定子模块，用于利用显示器显示视频渲染时，根据头部姿态传感器采集的当前时刻的用户头部姿态信息，确定当前用户头部位置；
选择显示子模块，用于根据每个时间扭曲帧对应的预测头部位置，从时间扭曲帧中选择对应的预测头部位置与当前用户头部位置最接近的一个时间扭曲帧作为目标时间扭曲帧，并在视频渲染显示完成后显示目标时间扭曲帧。
可选的，该装置还可以包括：
音频接收模块，用于接收主机发送的下一渲染时刻的渲染音频流；
播放模块，用于根据头部姿态传感器采集的当前时刻的用户头部姿态信息，确定并播放渲染音频流中的目标渲染音频流。
本实施例中，本申请实施例通过显示模块60使头戴显示设备能够利用显示器依次显示当前视频渲染中的视频渲染和目标时间扭曲帧，能够在当前渲染时刻的视频渲染和下一渲染时刻的视频渲染之间的显示目标时间扭曲帧，可有效减小用户视觉大脑与真实位置的延迟，有效减小眩晕感。
本申请还提供了一种头戴显示设备，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现如上述任一实施例所提供的应用于头戴显示设备的头戴显示设备的数据获取方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述任一实施例所提供的应用于头戴显示设备的头戴显示设备的数据获取方法的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、主机、头戴显示设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
以上对本申请所提供的一种头戴显示设备的数据获取方法、装置、主机、头戴显示设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种头戴显示设备的数据获取方法，其特征在于，用于与所述头戴显示设备连接的主机，包括：
获取头部姿态传感器采集的用户头部姿态信息；其中，所述头部姿态传感器设置在头戴显示设备中；
根据所述用户头部姿态信息和所述头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置；其中，当前显示场景为当前渲染时刻的所述头戴显示设备的显示场景；
根据所述预测头部位置和当前渲染时刻的视频数据，获取当前渲染时刻对应的当前视频渲染，以使所述头戴显示设备显示当前渲染时刻的视频渲染和目标时间扭曲帧；其中，当前视频渲染包括所述视频渲染和下一渲染时刻的时间扭曲帧，所述目标时间扭曲帧为一个所述时间扭曲帧；
所述获取当前渲染时刻对应的当前视频渲染之后，还包括：
根据所述预测头部位置的位置，对左、右声道的输出声音的等级进行调节，生成每个所述预测头部位置各自对应的下一渲染时刻的渲染音频流，以使所述头戴显示设备播放所述渲染音频流中的目标渲染音频流，使用户能感知声音的方向性。
2.根据权利要求1所述的头戴显示设备的数据获取方法，其特征在于，所述根据所述用户头部姿态信息和所述头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置，包括：
根据当前用户头部姿态和当前显示场景，确定所述预测头部位置；其中，当前用户头部姿态为所述用户头部姿态信息中当前渲染时刻的用户头部姿态信息。
3.根据权利要求1所述的头戴显示设备的数据获取方法，其特征在于，所述根据所述用户头部姿态信息和所述头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置，包括：
根据目标用户头部姿态和当前显示场景，确定所述预测头部位置；其中，所述目标用户头部姿态为所述用户头部姿态信息中目标渲染时刻到当前渲染时刻之间的用户头部姿态信息，所述目标渲染时刻为当前渲染时刻之前预设时间的时刻。
4.根据权利要求1所述的头戴显示设备的数据获取方法，其特征在于，所述获取当前渲染时刻对应的当前视频渲染之后，还包括：
主机将当前视频渲染发送到所述头戴显示设备。
5.一种头戴显示设备的数据获取装置，其特征在于，用于与所述头戴显示设备连接的主机，包括：
获取模块，用于获取头部姿态传感器采集的用户头部姿态信息；其中，所述头部姿态传感器设置在头戴显示设备中；
预测模块，用于根据所述用户头部姿态信息和所述头戴显示设备的当前显示场景，确定下一渲染时刻的预测头部位置；其中，当前显示场景为当前渲染时刻的所述头戴显示设备的显示场景；
渲染模块，用于根据所述预测头部位置和当前渲染时刻的视频数据，获取当前渲染时刻对应的当前视频渲染，以使所述头戴显示设备显示当前渲染时刻的视频渲染和目标时间扭曲帧；其中，当前视频渲染包括所述视频渲染和下一渲染时刻的时间扭曲帧，所述目标时间扭曲帧为一个所述时间扭曲帧；
音频渲染模块，用于根据所述预测头部位置的位置，对左、右声道的输出声音的等级进行调节，生成每个所述预测头部位置各自对应的下一渲染时刻的渲染音频流，以使所述头戴显示设备播放所述渲染音频流中的目标渲染音频流，使用户能感知声音的方向性。
6.一种主机，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的头戴显示设备的数据获取方法的步骤。
7.一种头戴显示设备的数据获取方法，其特征在于，包括：
头戴显示设备将获取的头部姿态传感器采集的用户头部姿态信息发送到主机；其中，所述头部姿态传感器设置在所述头戴显示设备中；
接收所述主机发送的当前渲染时刻对应的当前视频渲染；其中，当前视频渲染包括当前渲染时刻的视频渲染和下一渲染时刻的时间扭曲帧；
利用显示器依次显示当前视频渲染中的所述视频渲染和目标时间扭曲帧；其中，所述目标时间扭曲帧为一个所述时间扭曲帧；
接收所述主机发送的下一渲染时刻的渲染音频流；
根据所述头部姿态传感器采集的当前时刻的用户头部姿态信息，确定并播放所述渲染音频流中的目标渲染音频流，具体的，根据预测头部位置的位置，对左、右声道的输出声音的等级进行调节，生成每个所述预测头部位置各自对应的下一渲染时刻的渲染音频流，以使所述头戴显示设备播放所述渲染音频流中的目标渲染音频流，使用户能感知声音的方向性；其中，所述预测头部位置为根据所述用户头部姿态信息和所述头戴显示设备的当前显示场景，预测确定的下一渲染时刻的头部位置。
8.根据权利要求7所述的头戴显示设备的数据获取方法，其特征在于，所述时间扭曲帧的数量不为1时，所述利用显示器依次显示当前视频渲染中的所述视频渲染和目标时间扭曲帧，包括：
利用所述显示器显示所述视频渲染时，根据所述头部姿态传感器采集的当前时刻的用户头部姿态信息，确定当前用户头部位置；
根据每个所述时间扭曲帧对应的预测头部位置，从所述时间扭曲帧中选择对应的预测头部位置与当前用户头部位置最接近的一个所述时间扭曲帧作为所述目标时间扭曲帧，并在所述视频渲染显示完成后显示所述目标时间扭曲帧。
9.一种头戴显示设备的数据获取装置，其特征在于，包括：
发送模块，用于将获取的头部姿态传感器采集的用户头部姿态信息发送到主机；其中，所述头部姿态传感器设置在所述头戴显示设备中；
接收模块，用于接收所述主机发送的当前渲染时刻对应的当前视频渲染；其中，当前视频渲染包括当前渲染时刻的视频渲染和下一渲染时刻的时间扭曲帧；
显示模块，用于利用显示器依次显示当前视频渲染中的所述视频渲染和目标时间扭曲帧；其中，所述目标时间扭曲帧为一个所述时间扭曲帧；
音频接收模块，用于接收所述主机发送的下一渲染时刻的渲染音频流；
播放模块，用于根据所述头部姿态传感器采集的当前时刻的用户头部姿态信息，确定并播放所述渲染音频流中的目标渲染音频流，具体的，根据预测头部位置的位置，对左、右声道的输出声音的等级进行调节，生成每个所述预测头部位置各自对应的下一渲染时刻的渲染音频流，以使所述头戴显示设备播放所述渲染音频流中的目标渲染音频流，使用户能感知声音的方向性；其中，所述预测头部位置为根据所述用户头部姿态信息和所述头戴显示设备的当前显示场景，预测确定的下一渲染时刻的头部位置。
10.一种头戴显示设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求7或8所述的头戴显示设备的数据获取方法的步骤。
CN202011268687.9A 2020-11-13 2020-11-13 一种头戴显示设备及其数据获取方法、装置和主机 Active CN112380989B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011268687.9A CN112380989B (zh) 2020-11-13 2020-11-13 一种头戴显示设备及其数据获取方法、装置和主机
US18/011,004 US11836286B2 (en) 2020-11-13 2020-11-25 Head-mounted display device and data acquisition method, apparatus, and host computer thereof
PCT/CN2020/131295 WO2022099787A1 (zh) 2020-11-13 2020-11-25 一种头戴显示设备及其数据获取方法、装置和主机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011268687.9A CN112380989B (zh) 2020-11-13 2020-11-13 一种头戴显示设备及其数据获取方法、装置和主机

Publications (2)

Publication Number Publication Date
CN112380989A CN112380989A (zh) 2021-02-19
CN112380989B true CN112380989B (zh) 2023-01-24

Family

ID=74582137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011268687.9A Active CN112380989B (zh) 2020-11-13 2020-11-13 一种头戴显示设备及其数据获取方法、装置和主机

Country Status (3)

Country Link
US (1) US11836286B2 (zh)
CN (1) CN112380989B (zh)
WO (1) WO2022099787A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628311B (zh) * 2021-07-30 2022-12-09 北京百度网讯科技有限公司 图像渲染方法、图像渲染装置、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976424A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技（天津）有限公司 一种图像渲染处理的方法及装置
CN109242944A (zh) * 2018-09-28 2019-01-18 京东方科技集团股份有限公司 一种显示方法和装置
CN109712224A (zh) * 2018-12-29 2019-05-03 青岛海信电器股份有限公司 虚拟场景的渲染方法、装置及智能设备
CN109920040A (zh) * 2019-03-01 2019-06-21 京东方科技集团股份有限公司 显示场景处理方法和装置、存储介质
CN111194561A (zh) * 2017-09-27 2020-05-22 苹果公司 预测性的头部跟踪的双耳音频渲染

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10269132B2 (en) * 2014-07-31 2019-04-23 Sony Corporation Displaying images according to head posture and camera posture
KR20160139461A (ko) * 2015-05-27 2016-12-07 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
CN108139815B (zh) 2016-02-22 2020-11-10 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
CN106919360B (zh) * 2017-04-18 2020-04-14 珠海全志科技股份有限公司 一种头部姿态补偿方法及装置
WO2018203324A1 (en) * 2017-05-01 2018-11-08 Infinity Augmented Reality Israel Ltd. Optical engine time warp for augmented or mixed reality environment
CN107943287A (zh) 2017-11-16 2018-04-20 烽火通信科技股份有限公司 一种基于Android机顶盒系统解决VR画面抖动的系统及方法
CN110244840A (zh) 2019-05-24 2019-09-17 华为技术有限公司 图像处理方法、相关设备及计算机存储介质
US11132056B2 (en) * 2019-12-04 2021-09-28 Facebook Technologies, Llc Predictive eye tracking systems and methods for foveated rendering for electronic displays
US20210240257A1 (en) * 2020-01-31 2021-08-05 Ati Technologies Ulc Hiding latency in wireless virtual and augmented reality systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976424A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技（天津）有限公司 一种图像渲染处理的方法及装置
CN111194561A (zh) * 2017-09-27 2020-05-22 苹果公司 预测性的头部跟踪的双耳音频渲染
CN109242944A (zh) * 2018-09-28 2019-01-18 京东方科技集团股份有限公司 一种显示方法和装置
CN109712224A (zh) * 2018-12-29 2019-05-03 青岛海信电器股份有限公司 虚拟场景的渲染方法、装置及智能设备
CN109920040A (zh) * 2019-03-01 2019-06-21 京东方科技集团股份有限公司 显示场景处理方法和装置、存储介质

Also Published As

Publication number Publication date
US11836286B2 (en) 2023-12-05
US20230236663A1 (en) 2023-07-27
CN112380989A (zh) 2021-02-19
WO2022099787A1 (zh) 2022-05-19

Similar Documents

Publication Publication Date Title
US11342000B2 (en) Immersive virtual reality production and playback for storytelling content
JP5967343B2 (ja) アクティブトラッキングに基づいて表示を最適化するための表示システム及び方法
CN109691141B (zh) 空间化音频系统以及渲染空间化音频的方法
JP2021513773A (ja) 仮想現実ライブストリーミングにおいて視野角を同期させるための方法および装置
KR101988244B1 (ko) 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법
US11003408B2 (en) Image generating apparatus and image generating method
JP7457525B2 (ja) 受信装置、コンテンツ伝送システム、及びプログラム
CN112380989B (zh) 一种头戴显示设备及其数据获取方法、装置和主机
JP7465067B2 (ja) 仮想オブジェクトを表示するための方法およびシステム
EP4152267A1 (en) Information processing device, information processing method, and display device
JPWO2020129115A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP6711803B2 (ja) 画像生成装置および画像生成方法
US10747492B2 (en) Signal processing apparatus, signal processing method, and storage medium
CN115150555B (zh) 视频录制方法、装置、设备及介质
WO2019235106A1 (ja) ヒートマップ提示装置およびヒートマップ提示用プログラム
JP7047085B2 (ja) 画像生成装置、画像生成方法、およびプログラム
EP3573282B1 (en) Communication device, generated data size control method, and program
JP2022022871A (ja) 処理装置および没入度導出方法
US20220317765A1 (en) Image generation apparatus, image generation method, and image displaying program
CN112752190A (zh) 音频调整方法以及音频调整装置
EP4030752A1 (en) Image generation system and method
CN117452637A (zh) 头戴式显示器和图像显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221128

Address after: No. 500 Songling Road, Laoshan District, Qingdao City, Shandong Province, 266100

Applicant after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Applicant before: GoerTek Optical Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant