CN114296539B - 方向预测方法、虚拟实境装置及非暂态计算机可读取媒体 - Google Patents
方向预测方法、虚拟实境装置及非暂态计算机可读取媒体 Download PDFInfo
- Publication number
- CN114296539B CN114296539B CN202011176565.7A CN202011176565A CN114296539B CN 114296539 B CN114296539 B CN 114296539B CN 202011176565 A CN202011176565 A CN 202011176565A CN 114296539 B CN114296539 B CN 114296539B
- Authority
- CN
- China
- Prior art keywords
- neural network
- data
- time
- virtual reality
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000003062 neural network model Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 52
- 230000001537 neural effect Effects 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 6
- 238000013213 extrapolation Methods 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000004886 head movement Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 4
- 201000003152 motion sickness Diseases 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种方向预测方法，适于虚拟实境头戴式装置，包括，取得方向训练数据及调整后方向数据，其中调整后方向数据通过从方向训练数据移除数据段而取得，其中数据段对应于依据应用程序延迟所判定的时间间隔，基于方向训练数据及调整后方向数据训练初始类神经网络模型，用于取得对应于时间间隔的训练后类神经网络模型，通过虚拟实境头戴式装置的方向感测器取得即时方向数据，以及将即时方向数据输入至训练后类神经网络模型用于输出预测方向数据。
Description
技术领域
本发明涉及一种方向预测方法、一种虚拟实境头戴式装置及一种非暂态计算机可读取媒体，尤其涉及一种用于预测使用虚拟实境头戴式装置的使用者的头部动作的方向预测方法、虚拟实境头戴式装置以及非暂态计算机可读取媒体。
背景技术
使用头戴式显示器(Head mounted display，HDM)的虚拟实境(Virtual reality，VR)的技术发展迅速。VR技术已经被应用于各种领域，从例如为电玩的娱乐领域、导航、虚拟旅游、教育，甚至到医护人员使用HDM装置练习或执行手术的医疗领域。
VR技术使用人工的感觉模拟，让使用者在对于干扰有最小感知的情况下，诱导使用者执行目标行为。然而，人工感觉模拟可能因运动光子(Motion-to-photon，MTP)延迟而无法准确地创造出感知幻觉(Perceptual illusion)。也就是说，由于使用者的动作与因使用者动作而在HDM装置上显示的更新的影像之间存在有时间间隔，使得显示的影像与使用者的动作之间可能因产生延迟。且运动光子延迟可能使得使用者有动晕症的现象。
为了解决上述问题，头部运动的预测是补偿延迟的主要方法。也即，传统预测头部运动的方法是基于两组或多组的先前数据使用外插法及滤波预测方法，以降低杂讯并预测使用者的头部动作，由此降低或补偿延迟。
发明内容
鉴于上述，本发明提供一种方向预测方法、虚拟实境头戴式装置以及非暂态计算机可读取媒体以解决上述问题，并提供使用虚拟实境头戴式装置的使用者更好的使用者体验。
依据本发明一实施例的一种方向预测方法，适于一虚拟实境头戴式装置，包括：取得一方向训练数据及一调整后方向数据，其中该调整后方向数据通过从该方向训练数据移除一数据段而取得，其中该数据段对应于依据一应用程序延迟所判定的一时间间隔；基于该方向训练数据及该调整后方向数据训练一初始类神经网络模型，以取得对应于该时间间隔的一训练后类神经网络模型；通过该虚拟实境头戴式装置的一方向感测器取得一即时方向数据；以及将该即时方向数据输入至该训练后类神经网络模型以输出一预测方向数据。
依据本发明一实施例的一种虚拟实境头戴式装置，包括：一方向感测器，取得该虚拟实境头戴式装置的一即时方向数据；一处理器，将该即时方向数据输入至一训练后类神经网络模型以取得一预测方向数据，其中该训练后类神经网络模型通过基于一方向训练数据及一调整后方向数据训练一初始类神经网络模型所取得，其中该调整后方向数据通过从该方向训练数据移除一数据段而取得，其中该数据段对应于依据一应用程序延迟所判定的一时间间隔；以及一显示器，依据该预测方向数据显示一预测影像。
依据本发明一实施例的一种非暂态计算机可读取媒体，存储一可执行指令，当该可执行指令被执行时，使一虚拟实境头戴式装置执行一方法包括：通过一方向感测器取得一即时方向数据，并将该即时方向数据输入至一训练后类神经网络模型用于输出一预测方向数据，其中该训练后类神经网络模型通过基于一方向训练数据及一调整后方向数据训练一初始类神经网络模型所取得，其中该调整后方向数据通过从该方向训练数据移除一数据段而取得，其中该数据段对应于依据一应用程序延迟所判定的一时间间隔。
综上所述，依据本发明一或多个实施例所示的方向预测方法、虚拟实境头戴式装置以及非暂态计算机可读取媒体，运动光子延迟可以被有效地降低且可以精准地预测使用者的头部动作，因此，在使用虚拟实境头戴式装置时，使用者可以有较佳的使用者体验而不会有动晕症的现象。
以上的关于本公开内容的说明及以下的实施方式的说明是用以示例与解释本发明的精神与原理，并且提供本发明的专利保护范围更进一步的解释。
附图说明
图1是依据本发明一实施例所绘示的虚拟实境头戴式装置的方块图；
图2是依据本发明一实施例所绘示的方向预测方法的流程图；
图3是依据本发明另一实施例所绘示的方向预测方法的流程图；
图4A及4B示出基于50ms延迟分别通过外插法及本发明所示的方向预测方法取得的预测方向数据与即时方向数据之间的差值的统计图；
图5A及5B示出基于100ms延迟分别通过外插法及本发明所示的方向预测方法取得的预测方向数据与即时方向数据之间的差值的统计图；
[附图标记说明]
1 虚拟实境头戴式装置
10 处理器
11 方向感测器
12 存储器
13 显示器
S10、S20、S21、S22、S30、S40 步骤。
具体实施方式
以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所公开的内容、申请专利范围及附图，本领域技术人员可轻易地理解本发明相关的目的及优点。以下的实施例进一步详细说明本发明的观点，但不能以任何观点限制本发明的保护范围。
请参考图1及图2，其中图1是依据本发明一实施例所绘示的虚拟实境头戴式装置的方块图；图2是依据本发明一实施例所绘示的方向预测方法的流程图。
本发明所示的虚拟实境头戴式装置1包括一处理器10、一方向感测器11、一存储器12以及一显示器13，其中虚拟实境头戴式装置1可以为头戴式显示器(Head mounteddisplay，HDM)装置。具体而言，由方向感测器11取得的数据及类神经网络模型存储于存储器12，处理器10可以启动显示器13用于显示影像，且虚拟实境头戴式装置1可以执行方向预测方法。也即，当存储在非暂态计算机可读取媒体内的一可执行指令被处理器10执行时，虚拟实境头戴式装置1可以被指示以执行方向预测方法。
此外，方向感测器11用以取得虚拟实境头戴式装置1的即时方向数据。方向感测器11较佳是一惯性量测单元(Inertial measurement unit，IMU)感测器，包括三轴的加速仪(Accelerometer)、回转仪(Gyroscope)以及地磁仪(Magnetometer)，然本发明不以此为限。方向感测器11也可以为能够侦测使用者(虚拟实境头戴式装置1)的俯仰(Pitch)、偏摆(Yaw)及翻滚(Roll)动作的其他方向感测器。
虚拟实境头戴式装置1的存储器12可以存储由方向感测器11取得的数据，以及用以预测使用者头部动作的一或多个类神经网络模型。虚拟实境头戴式装置1的显示器13可以显示对应于预测的使用者头部动作的影像。
需先特别注意的是，图2的步骤S10及S20较佳是由计算机或其他运算装置执行在步骤S30之前。换言之，步骤S10及S20是用以建立一训练后类神经网络模型，且该训练后类神经网络模型较佳是建立于从方向感测器11取得即时方向数据之前。建立训练后类神经网络模型的步骤较佳由制造商的计算机装置执行，或是由后端使用者的计算机装置先累积多组方向训练资料，接着建立该训练后类神经网络模型。建立训练后类神经网络模型的步骤也可以由虚拟实境头戴式装置1的处理器10执行，本发明不以此为限。以下建立训练后类神经网络模型的步骤将以由处理器10执行进行说明。
如图2所示，步骤S10：取得方向训练数据及调整后方向数据。
处理器10取得一方向训练数据及一调整后方向数据用于训练一人工智能(Artificial intelligence，AI)模型，且该AI模型较佳为一类神经网络模型，其中该调整后方向数据通过从该方向训练数据移除一数据段而取得，且该数据段对应于依据一应用程序延迟所判定的一时间间隔。应用程序延迟例如为运动光子(Motion-to-photon，MTP)延迟。
具体而言，方向训练数据及调整后方向数据皆为预先取得的数据，且较佳包括俯仰、偏摆及翻滚数据。方向训练数据与调整后方向数据之间的差别在于，调整后方向数据通过从方向训练数据移除数据段而取得，其中所述的数据段关联于时间间隔(应用程序延迟)，且该时间间隔是在方向感测器11在取得方向训练资料时，依据虚拟实境头戴式装置1所执行的应用程序判定。
举例而言，方向训练数据与调整后方向数据之间可能存在50ms的应用程序延迟，且该50ms的应用程序延迟可以作为所述的时间间隔。延迟可能是由虚拟实境头戴式装置1的追踪延迟、网络连接延迟、应用程序延迟、影像渲染(Rendering)延迟及/或显示延迟所造成。因此，调整后方向数据可以通过将对应于50ms应用程序延迟的数据段从方向训练数据移除而取得。换言之，调整后方向数据是50ms后的方向训练数据。
步骤S20：基于方向训练数据及调整后方向数据训练初始类神经网络模型。
处理器10可以基于该方向训练数据及该调整后方向数据训练一初始类神经网络模型，以取得对应于该时间间隔的一训练后类神经网络模型，其中初始类神经网络模型较佳包括一维卷积类神经网络(One-dimensional convolutional neural network，1D-CNN)。具体地，由于每组方向训练数据及调整后方向数据包括独立于彼此的俯仰、偏摆及翻滚数据，且代表任一三维方向的数据较佳是俯仰/偏摆/翻滚在一或多个时间点的角度，因此1D-CNN非常适合作为初始类神经网络模型。然类神经网络模型也可以包括全连接神经网络(Ful1y connected network，FCN)、长短期记忆模型(Long short-term memory，LSTM)以及卷积类神经网络(Convolutional neural network，CNN)。方向训练数据及调整后方向数据被输入至初始类神经网络模型以训练该模型在收到一即时方向数据时判定一预测方向数据。
需特别注意的是，类神经网络模型也可以是1D-CNN与FCN或CNN的组合，且类神经网络模型可以是基于输入及输出的资料类型而选择，其中上述的模型仅为示例且非用于限制本发明。
实际上，在开始使用虚拟实境头戴式装置1之前，使用者可以先做一些头部动作以收集方向训练数据及调整后方向数据以训练初始类神经网络模型。通过这个方式，训练后类神经网络模型可以预测出更适于使用者头部运动习惯(例如移动速度或角度)且对应于虚拟实境头戴式装置1所执行的应用程序的头部动作。
步骤S30：取得即时方向数据。
也就是说，在初始类神经网络模型已经过训练且取得训练后类神经网络模型后，方向感测器11可以取得虚拟实境头戴式装置1的即时方向数据。即时方向数据较佳是与方向训练数据及调整后方向数据相同类型的数据。因此，在此实施例中，即时方向数据较佳包括俯仰、偏摆及翻滚数据。
步骤S40：将即时方向数据输入至训练后类神经网络模型以输出预测方向数据。
也即，在取得训练后类神经网络模型后，处理器10可以从方向感测器11取得即时方向数据，并将该即时方向数据输入至该训练后类神经网络模型。因此，处理器10可以输出预测方向数据，其中预测方向数据代表使用者(虚拟实境头戴式装置1)之后的头部动作。
换句话说，以上述50ms的应用程序延迟为例，由于在使用者的即时头部动作与虚拟实境头戴式装置1的显示器13显示的影像之间具有50ms的应用程序延迟，处理器10可以将即时方向数据输入至以50ms应用程序延迟(方向训练数据及调整后方向数据)进行训练的训练后类神经网络模型。处理器10接着可以取得从训练后类神经网络模型输出的预测方向数据。据此，可以降低应用程序延迟，且显示器13可以显示对应于预测方向数据的一预测影像。
请一并参考图1及图3，其中图3是依据本发明另一实施例所绘示的方向预测方法的流程图。也即，图3所绘示的方向预测方法相似于图2的方向预测方法，图2与图3的不同处在于，在取得训练后类神经网络模型(S20)之后，且在取得即时方向数据(S30)之前，图3所绘示的方向预测方法还包括步骤S21及S22。具体而言，步骤S10及S20可以对应于不同的时间间隔被执行多次，以取得多个候选类神经网络模型，且该多个候选类神经网络模型可以存储于存储器12内。
换言之，于步骤S20取得训练后类神经网络模型之后，处理器10可以执行步骤S21：计算虚拟实境头戴式装置执行的应用程序的延迟。
也即，虚拟实境头戴式装置1在运行时会执行一应用程序，其中该应用程序可以为电玩游戏或其他类型的虚拟实境应用程序。虚拟实境头戴式装置1的处理器10可以计算该应用程序的延迟，以判断要用哪一个训练后类神经网络模型预测出该预测方向数据。
步骤S22：依据延迟从多个候选类神经网络模型选择训练后类神经网络模型。
如上述，存储器12可以存储多个候选类神经网络模型，其中该多个候选类神经网络模型分别对应于不同的时间间隔。
因此，处理器10判断该应用程序的延迟以判断要使用哪一候选类神经网络模型用于取得该预测方向数据。更具体而言，处理器10可以预先以不同的时间间隔训练多个初始类神经网络模型，以取得该多个候选类神经网络模型。举例而言，该多个候选类神经网络模型可以由分别以15ms、30ms、50ms及100ms的时间间隔训练该多个初始类神经网络模型而获得，其中所述的时间间隔仅为示例，本发明不以此为限。
据此，在判断出虚拟实境头戴式装置1所执行的应用程序的延迟后，处理器10可以选择对应的候选类神经网络模型，且相较于对应其余的该多个候选类神经网络模型的时间间隔，该延迟更接近于所选的该训练后类神经网络模型所对应的时间间隔。举例而言，当延迟为100ms时，处理器10可以选择被以100ms时间间隔训练的候选类神经网络模型。因此，处理器10可以将所选的候选类神经网络模型作为该训练后类神经网络模型以预测方向数据。据此，可以将类神经网络模型应用于不同的延迟，以使预测方向数据可以更准确可以适于运行中的应用程序。
本发明更进一步公开使用本发明的方向预测方法及使用外插法预测头部运动的实验结果。
所述的实验执行于10位受测者，该多个受测者被要求使用虚拟实境头戴式装置玩第一人称射击(First-person shooter，FPS)游戏，且在玩游戏的过程中每一受测者的方向数据被收集并作为方向训练数据。由于在实验中玩的FPS游戏具有50ms延迟，对应于50ms延迟的数据段被从每一方向训练数据移除，以取得调整后方向数据。从10位受测者取得的方向训练数据及调整后方向数据接着被用于训练初始类神经网络模型。
在训练后，该10位受测者接着被要求再次玩同样的FPS游戏，并同样地在游戏过程中收集每一受测者的多个即时方向数据。也即，该多个即时方向数据被以连续的方式于一时段内收集，而在此实验中所述的时段为5分钟。为了便于说明，上述的每一受测者的该多个即时方向数据包括一第一即时方向数据及一第二即时方向数据，且该第二即时方向数据是该第一即时方向数据50ms后的数据。
接着，该10位受测者的第一即时方向数据分别被输入至训练后类神经网络模型以及用于外插法，以预测该10位受测者50ms后的头部运动。也即，第一即时方向数据用于通过训练后类神经网络模型及外插法取得预测方向数据，且由这两个方法取得的预测方向数据可以接着分别与第二即时方向数据进行比较。在分别由两个方法取得预测方向数据后，以样本间(inter-subject)方法比较预测方向数据与第二即时方向数据。换言之，所述的实验收集并比较由训练后类神经网络模型取得的不同的移动速度及方向指标(俯仰、偏摆及翻滚)的预测方向数据与第二即时方向数据之间的误差，以及由外插法取得的不同的移动速度及方向指标的预测方向数据与第二即时方向数据之间的误差。
请参考图4A及4B，其中图4A及4B示出基于50ms延迟的预测方向数据与第二即时方向数据之间的差值的统计图，其中所述的差值为使用线性外插法及使用本发明的方向预测方法的误差。所述的线性外插法记载于以下文献中：Garcia-Agundez,A et al.“Anevaluation of extrapolation and filtering techniques in head tracking forvirtual environments to reduce cybersickness.”，Joint International Conferenceon Serious Games(pp.203-211).Springer,Cham；Choi,S.W et al.“Prediction-basedlatency compensation technique for head mounted display.”,2016InternationalSoC Desing Conference(ISOCC)(pp.9-10),IEEE；以及LaValle,S.M.et al.“Headtracking for the Oculus Rift.”,2014IEEE International Conference on Roboticsand Automation(ICRA)(pp.187-194).IEEE。
为了便于说明，本发明所示的方向预测方法于图4A及4B中以“AI”代表。
图4A所示的误差包括在不同速度的俯仰误差、偏摆误差及翻滚误差，且使用本发明的方向预测方法(AI)所产生的误差在图中以实线表示；使用外插法所产生的误差在图中以虚线表示。
请参考图4A，长条图代表使用平均绝对误差(Mean absolute error，MAE)所计算出的误差；曲线代表最大误差。
如图4A所示，不论第一即时方向数据在受测者以正常速度、较快速度以及最快速度移动头部时所取得，使用外插法的平均绝对误差明显高于使用本发明的方向预测方法(AI)所产生的误差。相似地，使用外插法的最大误差明显高于使用本发明的方向预测方法(AI)所产生的误差。
请参考图4B，长条图代表预测方向数据与第二即时方向数据之间的相关系数。如图4B所示，不论是在正常速度、较快速度以及最快速度，使用本发明的方向预测方法(AI)的相关系数高于使用外插法的相关系数。
请参考图5A及5B，其中图5A及5B示出基于100ms延迟的预测方向数据与即时方向数据之间的差值的统计图，其中所述的差值为使用线性外插法及使用本发明的方向预测方法的误差。相似于图4A及4B，本发明的方向预测方法于图5A及5B中以“AI”代表。
图5A及5B的实验方式相似于图4A及4B的实验方式，图5A及5B与图4A及4B的不同处在于，图5A及5B的延迟为100ms。
且相似于图4A的结果，如图5A所示，使用外插法的平均绝对误差与最大误差明显高于使用本发明的方向预测方法(AI)所产生的误差。此外，如图5B所示，使用本发明的方向预测方法(AI)的相关系数明显高于外插法。
简言之，如图4A及4B以及图5A及5B所示，由本发明的方向预测方法所产生的误差显著地低于使用外插法所产生的误差(p<0.05)；且使用本发明的方向预测方法的相关系数显著地高于使用外插法的相关系数(p<0.05)。因此很显然的，不论头部的运动速度及延迟的时间长短，本发明的方向预测方法可以更精准地预测使用者的头部动作，进而避免在使用虚拟实境头戴式装置的过程中因运动光子延迟所造成的动晕症。
综上所述，依据本发明一或多个实施例所示的方向预测方法、虚拟实境装置以及非暂态计算机可读取媒体，运动光子延迟可以被有效地降低且可以精准地预测使用者的头部动作，因此，在使用虚拟实境装置时，使用者可以有较佳的使用者体验而不会有动晕症的现象。
Claims (9)
1.一种方向预测方法，适于一虚拟实境头戴式装置，包括：
取得一方向训练数据及一调整后方向数据，其中该调整后方向数据通过从该方向训练数据移除一数据段而取得，其中该数据段对应于依据一应用程序延迟所判定的一时间间隔，该时间间隔的起始时刻是该方向训练数据的产生时刻，间隔时长是由该虚拟实境头戴式装置所执行的该应用程序的时延确定的；
基于该方向训练数据及该调整后方向数据训练一初始类神经网络模型，以取得对应于该时间间隔的一训练后类神经网络模型；
通过该虚拟实境头戴式装置的一方向感测器取得一即时方向数据；以及
将该即时方向数据输入至该训练后类神经网络模型以输出一预测方向数据。
2.根据权利要求1所述的方法，其中该训练后类神经网络模型是多个候选类神经网络模型的其中之一，且该多个候选类神经网络模型分别对应于不同的时间间隔，其中在通过该虚拟实境头戴式装置的该方向感测器取得该即时方向数据之前，该方法还包括：
计算该虚拟实境头戴式装置执行的一应用程序的一延迟；以及
依据该延迟从该多个候选类神经网络模型选择该训练后类神经网络模型，且相较于对应其余的该多个候选类神经网络模型的时间间隔，该延迟更接近于该训练后类神经网络模型所对应的时间间隔。
3.根据权利要求1所述的方法，其中该初始类神经网络模型包括一一维卷积类神经网络。
4.一种虚拟实境头戴式装置，包括：
一方向感测器，取得该虚拟实境头戴式装置的一即时方向数据；
一处理器，将该即时方向数据输入至一训练后类神经网络模型以取得一预测方向数据，其中该训练后类神经网络模型通过基于一方向训练数据及一调整后方向数据训练一初始类神经网络模型所取得，其中该调整后方向数据通过从该方向训练数据移除一数据段而取得，其中该数据段对应于依据一应用程序延迟所判定的一时间间隔，该时间间隔的起始时刻是该方向训练数据的产生时刻，间隔时长是由该虚拟实境头戴式装置所执行的该应用程序的时延确定的；以及
一显示器，依据该预测方向数据显示一预测影像。
5.根据权利要求4所述的虚拟实境头戴式装置，还包括一存储器，该存储器存储包括该训练后类神经网络模型的多个候选类神经网络模型，其中在将该即时方向数据输入至该训练后类神经网络模型之前，该处理器还计算该虚拟实境头戴式装置执行的一应用程序的一延迟，并从该多个候选类神经网络模型选择该训练后类神经网络模型，且相较于对应其余的该多个候选类神经网络模型的时间间隔，该延迟更接近于该训练后类神经网络模型所对应的时间间隔。
6.根据权利要求4所述的虚拟实境头戴式装置，其中该初始类神经网络模型包括一一维卷积类神经网络。
7.一种非暂态计算机可读取媒体，存储一可执行指令，当该可执行指令被执行时，使一虚拟实境头戴式装置执行一方法，包括：
通过一方向感测器取得一即时方向数据，并将该即时方向数据输入至一训练后类神经网络模型用于输出一预测方向数据，其中该训练后类神经网络模型通过基于一方向训练数据及一调整后方向数据训练一初始类神经网络模型所取得，其中该调整后方向数据通过从该方向训练数据移除一数据段而取得，其中该数据段对应于依据一应用程序延迟所判定的一时间间隔，该时间间隔的起始时刻是该方向训练数据的产生时刻，间隔时长是由该虚拟实境头戴式装置所执行的该应用程序的时延确定的。
8.根据权利要求7所述的非暂态计算机可读取媒体，其中该训练后类神经网络模型是多个候选类神经网络模型的其中之一，且该多个候选类神经网络模型分别对应于不同的时间间隔，其中在以该方向感测器取得该即时方向数据之前，还包括：
计算该虚拟实境头戴式装置执行的一应用程序的一延迟；以及
依据该延迟从该多个候选类神经网络模型选择该训练后类神经网络模型，且相较于对应其余的该多个候选类神经网络模型的时间间隔，该延迟更接近于该训练后类神经网络模型所对应的时间间隔。
9.根据权利要求7所述的非暂态计算机可读取媒体，其中该初始类神经网络模型包括一一维卷积类神经网络。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/065,443 | 2020-10-07 | ||
| US17/065,443 US11353700B2 (en) | 2020-10-07 | 2020-10-07 | Orientation predicting method, virtual reality headset and non-transitory computer-readable medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114296539A CN114296539A (zh) | 2022-04-08 |
| CN114296539B true CN114296539B (zh) | 2024-01-23 |
Family
ID=78777910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011176565.7A Active CN114296539B (zh) | 2020-10-07 | 2020-10-29 | 方向预测方法、虚拟实境装置及非暂态计算机可读取媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11353700B2 (zh) |
| CN (1) | CN114296539B (zh) |
| TW (1) | TWI738543B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115277497B (zh) * | 2022-06-22 | 2023-09-01 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 传输延迟时间测量方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108664122A (zh) * | 2018-04-04 | 2018-10-16 | 歌尔股份有限公司 | 一种姿态预测方法和装置 |
| CN110120229A (zh) * | 2018-02-05 | 2019-08-13 | 北京三星通信技术研究有限公司 | 虚拟现实vr音频信号的处理方法及相应设备 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200532524A (en) | 2005-05-09 | 2005-10-01 | Ting-Cheng Chang | Method for constructing investment system |
| US9788714B2 (en) | 2014-07-08 | 2017-10-17 | Iarmourholdings, Inc. | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
| US9898866B2 (en) | 2013-03-13 | 2018-02-20 | The University Of North Carolina At Chapel Hill | Low latency stabilization for head-worn displays |
| US9063330B2 (en) | 2013-05-30 | 2015-06-23 | Oculus Vr, Llc | Perception based predictive tracking for head mounted displays |
| US9495801B2 (en) | 2014-05-01 | 2016-11-15 | Microsoft Technology Licensing, Llc | Pose tracking an augmented reality device |
| US11327566B2 (en) * | 2019-03-29 | 2022-05-10 | Facebook Technologies, Llc | Methods and apparatuses for low latency body state prediction based on neuromuscular data |
| KR102529137B1 (ko) | 2016-08-22 | 2023-05-03 | 매직 립, 인코포레이티드 | 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스 |
| US10565777B2 (en) | 2016-09-30 | 2020-02-18 | Sony Interactive Entertainment Inc. | Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display |
| JP2019028368A (ja) | 2017-08-02 | 2019-02-21 | 株式会社ソニー・インタラクティブエンタテインメント | レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法 |
| US11262839B2 (en) | 2018-05-17 | 2022-03-01 | Sony Interactive Entertainment Inc. | Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment |
| TWI704501B (zh) | 2018-08-09 | 2020-09-11 | 宏碁股份有限公司 | 可由頭部操控的電子裝置與其操作方法 |
| US10970935B2 (en) | 2018-12-21 | 2021-04-06 | Curious Company, LLC | Body pose message system |
| US11270492B2 (en) * | 2019-06-25 | 2022-03-08 | Arm Limited | Graphics processing systems |
| US10989916B2 (en) * | 2019-08-20 | 2021-04-27 | Google Llc | Pose prediction with recurrent neural networks |
-
2020
- 2020-10-07 US US17/065,443 patent/US11353700B2/en active Active
- 2020-10-21 TW TW109136365A patent/TWI738543B/zh active
- 2020-10-29 CN CN202011176565.7A patent/CN114296539B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120229A (zh) * | 2018-02-05 | 2019-08-13 | 北京三星通信技术研究有限公司 | 虚拟现实vr音频信号的处理方法及相应设备 |
| CN108664122A (zh) * | 2018-04-04 | 2018-10-16 | 歌尔股份有限公司 | 一种姿态预测方法和装置 |
| WO2019192172A1 (zh) * | 2018-04-04 | 2019-10-10 | 歌尔股份有限公司 | 一种姿态预测方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11353700B2 (en) | 2022-06-07 |
| TW202215104A (zh) | 2022-04-16 |
| TWI738543B (zh) | 2021-09-01 |
| US20220107496A1 (en) | 2022-04-07 |
| CN114296539A (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180070864A1 (en) | Methods and devices for assessing a captured motion | |
| CN106105184B (zh) | 相机投影系统中的延时降低 | |
| Hanson et al. | Improving walking in place methods with individualization and deep networks | |
| KR20190098003A (ko) | 장치의 자세 추정 방법 및 그 장치 | |
| JP7038847B2 (ja) | スケルトンモデル更新装置、スケルトンモデル更新方法及びプログラム | |
| JP7225392B2 (ja) | ゲーム内情報プラットフォーム | |
| CN111417953A (zh) | 用于使用人类运动模型来改进运动估计的设备、系统和方法 | |
| Komogortsev et al. | Kalman filtering in the design of eye-gaze-guided computer interfaces | |
| CN113534948A (zh) | 增强现实ar装置和预测其中的姿势的方法 | |
| JP2019136493A (ja) | 運動の採点方法、システム及びプログラム | |
| CN114296539B (zh) | 方向预测方法、虚拟实境装置及非暂态计算机可读取媒体 | |
| JP2000102523A (ja) | バランス能力判定方法およびその装置 | |
| US11589778B2 (en) | Body size estimation apparatus, body size estimation method, and program | |
| JP7171745B2 (ja) | 推定装置、学習装置、推定方法、学習方法及びプログラム | |
| US20230064242A1 (en) | Electronic device for predicting pose and operating method thereof | |
| JP2021076887A (ja) | 動作分析システム、動作分析方法、および動作分析プログラム | |
| EP3598270A1 (en) | Method and control unit for controlling a virtual reality display, virtual reality display and virtual reality system | |
| US11327630B1 (en) | Devices, methods, systems, and media for selecting virtual objects for extended reality interaction | |
| JP7005788B2 (ja) | スケルトンモデル更新装置、スケルトンモデル更新方法及びプログラム | |
| JP7334337B2 (ja) | モーション決定装置、学習装置、モーション決定方法、学習方法及びプログラム | |
| WO2019167214A1 (ja) | 推定装置、推定方法及びプログラム | |
| WO2023135941A1 (ja) | 情報処理装置、および情報処理システム、並びに情報処理方法 | |
| US9352230B1 (en) | Method and system for tracking motion-sensing device | |
| Ribera d'Alcala | Machine learning approaches for state prediction and motion simulation in a human musculoskeletal model based on inertial motion tracking data | |
| KR20230112636A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |