CN114827575B - 一种vr显示控制方法及装置 - Google Patents

一种vr显示控制方法及装置 Download PDF

Info

Publication number
CN114827575B
CN114827575B CN202210230627.0A CN202210230627A CN114827575B CN 114827575 B CN114827575 B CN 114827575B CN 202210230627 A CN202210230627 A CN 202210230627A CN 114827575 B CN114827575 B CN 114827575B
Authority
CN
China
Prior art keywords
action
matching
trend
motion
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210230627.0A
Other languages
English (en)
Other versions
CN114827575A (zh
Inventor
严群
姚剑敏
林坚普
黄忠航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinjiang Bogan Electronic Technology Co ltd
Original Assignee
Jinjiang Bogan Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinjiang Bogan Electronic Technology Co ltd filed Critical Jinjiang Bogan Electronic Technology Co ltd
Priority to CN202210230627.0A priority Critical patent/CN114827575B/zh
Publication of CN114827575A publication Critical patent/CN114827575A/zh
Application granted granted Critical
Publication of CN114827575B publication Critical patent/CN114827575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种VR显示控制方法及装置,其中方法包括:控制运动传感器采集用户的当前动作;根据当前动作,对当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点;获得当前帧图像中发生变化的变化点;将动作趋势视点与变化点进行匹配,获得匹配点的匹配集合;对匹配集合中各个匹配点对应的下下一帧图像进行渲染并存储;响应于屏幕刷新信号,控制运动传感器采集用户的下一帧动作,将下一帧动作与匹配集合中的匹配点对应的动作趋势进行匹配;当显示下下一帧时,调用与下一帧动作相匹配的匹配点对应的下下一帧图像进行显示。本发明大大减轻了延迟问题,提升了用户体验。

Description

一种VR显示控制方法及装置
技术领域
本发明涉及虚拟现实领域,特别是涉及一种VR显示控制方法及装置。
背景技术
虚拟现实技术(英文名称:Virtual Reality,缩写为VR),是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术,其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。随着社会生产力和科学技术的不断发展,各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步,并逐步成为一个新的科学技术领域。
对于目前的VR设备而言,延迟是影响用户体验的主要因素之一,这里所指的延迟,是Motion-To-Photon Latency,是指从获取用户执行的动作,到在屏幕上展示与动作对应的图像所花费的时间,简称MTP延迟。目前的VR设备,一般通过响应于屏幕刷新信号,如Vsync(垂直同步)信号,对用户动作进行采集,然后主机对采集到的动作对应的图像进行渲染,响应于下一个屏幕刷新信号,将渲染后的图像进行显示。现有技术都是采集动作后,再根据动作所对应的图像进行渲染,导致有些主机无法及时对完成图像渲染,造成明显延迟的问题,导致用户体验大幅下降。
发明内容
有鉴于现有技术的上述的一部分缺陷,本发明所要解决的技术问题是提供一种VR显示控制方法及装置,旨在减轻VR设备中延迟大的问题,提升用户体验。
为实现上述目的,本发明第一方面公开了一种VR显示控制方法,所述方法包括:
控制运动传感器采集用户的当前动作;
根据所述当前动作,对所述当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点;其中,所述动作趋势为当前动作在下一帧时的可能动作,所述动作趋势视点为所述动作趋势对应所述用户眼睛聚焦在当前帧图像中的视点;
获得所述当前帧图像中发生变化的变化点;
将所述动作趋势视点与所述变化点进行匹配,获得匹配点的匹配集合;其中,匹配点为在所述当前帧图像中位置相匹配的所述动作趋势视点和变化点;
对所述匹配集合中各个所述匹配点对应的下下一帧图像进行渲染并存储;
响应于所述屏幕刷新信号,控制运动传感器采集所述用户的下一帧动作,将所述下一帧动作与匹配集合中的匹配点对应的所述动作趋势进行匹配;
当显示下下一帧时,调用与所述下一帧动作相匹配的匹配点对应的下下一帧图像进行显示。
可选的,所述根据所述当前动作,对所述当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点,包括:
获得当前动作对应的身体转动速度、头部转动速度以及眼球转动速度;
根据所述当前动作的位置、所述身体转动速度、所述头部转动速度以及所述眼球转动速度,确定多个动作趋势;
根据所述动作趋势,获得所述动作趋势视点。
可选的,所述获得所述当前帧图像中发生变化的变化点,所述方法包括:
将所述当前帧图像与上一帧图像进行对比,确定当前帧图像中各个位置的变化幅度;
将所述当前帧图像中变化幅度满足预设要求的位置确定为所述变化点,获得变化点。
可选的,所述将所述动作趋势视点与所述变化点进行匹配,获得匹配点的匹配集合,包括:
确定各个所述动作趋势视点在所述当前帧视图中的位置;
确定各个变化点在所述当前帧视图中的位置;
将互相重合的所述动作趋势视点和所述变化点,确定为匹配点,将所述匹配点的集合确定为匹配集合。
可选的,所述将所述下一帧动作与匹配集合中的匹配点对应的所述动作趋势进行匹配,包括:
将所述下一帧动作分别与匹配集合中的匹配点对应的所述动作趋势进行对比;
响应于所述下一帧动作与某个所述动作趋势相同时,则确定所述下一帧动作与该动作趋势相匹配。
本发明第二方面公开了一种VR显示控制装置,所述装置包括:当前动作采集单元、动作趋势预测单元、变化点获得单元、趋势匹配单元、渲染单元、动作匹配单元以及显示单元;
所述当前动作采集单元,用于控制运动传感器采集用户的当前动作;
所述动作趋势预测单元,用于根据所述当前动作,对所述当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点;其中,所述动作趋势为当前动作在下一帧时的可能动作,所述动作趋势视点为所述动作趋势对应所述用户眼睛聚焦在当前帧图像中的视点;
所述变化点获得单元,用于获得所述当前帧图像中发生变化的变化点;
所述趋势匹配单元,用于将所述动作趋势视点与所述变化点进行匹配,获得匹配点的匹配集合;其中,匹配点为在所述当前帧图像中位置相匹配的所述动作趋势视点和变化点;
所述渲染单元,用于对所述匹配集合中各个所述匹配点对应的下下一帧图像进行渲染并存储;
所述动作匹配单元,用于响应于所述屏幕刷新信号,控制运动传感器采集所述用户的下一帧动作,将所述下一帧动作与匹配集合中的匹配点对应的所述动作趋势进行匹配;
所述显示单元,用于当显示下下一帧时,调用与所述下一帧动作相匹配的匹配点对应的下下一帧图像进行显示。
可选的,所述动作趋势预测单元包括:转速获得子单元、动作趋势确定子单元以及动作趋势视点获得子单元;
所述转速获得子单元,用于获得当前动作对应的身体转动速度、头部转动速度以及眼球转动速度;
所述动作趋势确定子单元,用于根据所述当前动作的位置、所述身体转动速度、所述头部转动速度以及所述眼球转动速度,确定多个动作趋势;
所述动作趋势视点获得子单元,用于根据所述动作趋势,获得所述动作趋势视点。
可选的,所述变化点获得单元包括:帧对比子单元和变化点确定子单元;
所述帧对比子单元,用于将所述当前帧图像与上一帧图像进行对比,确定当前帧图像中各个位置的变化幅度;
所述变化点确定子单元,用于将所述当前帧图像中变化幅度满足预设要求的位置确定为所述变化点,获得变化点。
可选的,所述趋势匹配单元包括:动作趋势视点位置确定子单元、变化点位置确定子单元以及匹配点确定子单元;
所述动作趋势视点位置确定子单元,用于确定各个所述动作趋势视点在所述当前帧视图中的位置;
所述变化点位置确定子单元,用于确定各个变化点在所述当前帧视图中的位置;
所述匹配点确定子单元,用于将互相重合的所述动作趋势视点和所述变化点,确定为匹配点,将所述匹配点的集合确定为匹配集合。
可选的,所述动作匹配单元包括:动作对比子单元和匹配确定子单元;
所述动作对比子单元,用于将所述下一帧动作分别与匹配集合中的匹配点对应的所述动作趋势进行对比;
所述匹配确定子单元,用于响应于所述下一帧动作与某个所述动作趋势相同时,则确定所述下一帧动作与该动作趋势相匹配。
本发明的有益效果:本发明通过控制运动传感器采集用户的当前动作;根据当前动作,对当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点;获得当前帧图像中发生变化的变化点;将动作趋势视点与变化点进行匹配,获得匹配点的匹配集合;对匹配集合中各个匹配点对应的下下一帧图像进行渲染并存储;响应于屏幕刷新信号,控制运动传感器采集用户的下一帧动作,将下一帧动作与匹配集合中的匹配点对应的动作趋势进行匹配;调用与下一帧动作相匹配的匹配点对应的下下一帧图像进行显示。相较于现有技术的先采集动作,才能对动作对应的图像进行渲染,本发明可以对当前动作的下一动作进行预测获得动作趋势视点,然后获得当前帧图像中发生变化的变化点,再结合当前动作与当前帧图像的关系(即,用户的动作一般是被图像中的变化所吸引产生的),将趋势视点和变化点重合的确定为匹配点,以此缩小渲染范围,各个匹配点对应的下下一帧图像进行渲染并存储。本发明无需先采集动作,才能对动作对应的图像进行渲染,避免了主机无法及时对完成图像渲染的问题,大大减轻了延迟问题,提升了用户体验。
附图说明
图1是本发明一具体实施例提供的一种VR显示控制方法的流程示意图;
图2是本发明一具体实施例提供的一种VR显示控制装置的结构示意图;
图3是现有技术的一种VR显示控制方法的时序示意图;
图4是本发明一具体实施例提供的一种VR显示控制方法的时序示意图;
图5是本发明一具体实施例的动作趋势视点在当前帧图像的位置示意图;
图6是本发明一具体实施例的变化点在当前帧图像的位置示意图;
图7是本发明一具体实施例的动作趋势对应视点与变化点的匹配集合在当前帧图像的位置示意图。
具体实施方式
本发明公开了一种VR显示控制方法及装置,本领域技术人员可以借鉴本文内容,适当改进技术细节实现。特别需要指出的是,所有类似的替换和改动对本领域技术人员来说是显而易见的,它们都被视为包括在本发明。本发明的方法及应用已经通过较佳实施例进行了描述,相关人员明显能在不脱离本发明内容、精神和范围内对本文所述的方法和应用进行改动或适当变更与组合,来实现和应用本发明技术。
经申请人研究发现:现有技术中的一种VR显示控制方法的时序示意图如图3所示,当Vsync信号到来,VR头盔中的屏幕开始显示第N-1帧图像时,VR头盔中的传感器感应用户的动作,该动作对应的图像为第N帧图像,然后将动作信息发送至电脑主机,电脑主机根据动作信息完成第N帧图像的渲染,并缓存渲染后的图像数据。当屏幕接收到Vsync信号,可以从缓存中读取渲染后的第N帧图像,并显示第N帧图像。现有技术在渲染当前帧图片和显示当前帧图片之间的时间间隔十分短暂,导致主机可能无法及时完成对当前帧图像的处理,从而造成明显延迟的问题。申请人在多次试验中,观察到用户当前动作对应的下一动作与当前帧图像有关,在用户使用VR时,动作会被当前帧画面产生变化的地方所吸引,这样用户的下一动作对应的下下一帧图像就比较容易被预测到。
因此,本发明实施例提供了一种VR显示控制方法,如图1所示,该方法包括:
步骤S101:控制运动传感器采集用户的当前动作。
在一具体实施例中,响应于屏幕刷新信号,控制运动传感器采集用户的当前动作。
需要说明的是,运动传感器可以包括三角陀螺仪,加速度传感器以及眼动追踪器等,其中三角陀螺仪和加速度传感器用于感应用户头部和/或身体的转动,眼动追踪器用于追踪用户眼球的转动。
步骤S102:根据当前动作,对当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点。
其中,动作趋势为当前动作在下一帧时的可能动作,动作趋势视点为动作趋势对应用户眼睛聚焦在当前帧图像中的视点。
可选的,根据当前动作,对当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点,包括:
获得当前动作对应的身体转动速度、头部转动速度以及眼球转动速度;
根据当前动作的位置、身体转动速度、头部转动速度以及眼球转动速度,确定多个动作趋势;
根据动作趋势,获得动作趋势视点。
需要说明的是,身体转动速度、头部转动速度以及眼球转动速度可以由运动传感器进行采集获得。
在一具体实施例中,多个动作趋势对应的动作趋势视点可能在当前帧图像中构成一个连续的区域,而不是离散的点集合。如果是一个连续区域,则变化点落在该区域内的,确定为匹配点。如果是离散的点集合,则变化点与运动趋势点相重合,确定为匹配点。
步骤S103:获得当前帧图像中发生变化的变化点。
可选的,获得当前帧图像中发生变化的变化点,方法包括:
将当前帧图像与上一帧图像进行对比,确定当前帧图像中各个位置的变化幅度;
将当前帧图像中变化幅度满足预设要求的位置确定为变化点,获得变化点。
在一具体实施例中,变化幅度可以包括形状(形态)变化幅度、色彩变化幅度以及亮度变化幅度等。
其中,预设要求是根据变化幅度是否足够引起用户注意进行设定,即该位置的变化幅度足以引起用户注意,确定为变化点。
需要说明的是,在用户使用VR时,用户的动作往往会与被当前帧图像中的变化所吸引。例如烟花绽放,用户抬头看烟花;小鸟飞行,用户眼睛追踪小鸟飞行等。
步骤S104:将动作趋势视点与变化点进行匹配,获得匹配点的匹配集合。
其中,匹配点为在当前帧图像中位置相匹配的动作趋势视点和变化点。
在一具体实施例中,将动作趋势视点与变化点进行匹配,获得匹配点的匹配集合,包括:
确定各个动作趋势视点在当前帧视图中的位置;
确定各个变化点在当前帧视图中的位置;
将互相重合的动作趋势视点和变化点,确定为匹配点,将匹配点的集合确定为匹配集合。
该实施例适合用户动作趋势较少,行为容易判断的具体应用。可以减少主机处理负担。
该实施例的具体应用场景可以如图5至7所示,将互相重合的动作趋势视点和变化点,确定为匹配点。
在另一具体实施例中,将动作趋势视点与变化点进行匹配,获得匹配点的匹配集合,包括:
确定各个动作趋势视点在当前帧视图中组成的动作趋势区域;其中动作趋势区域为一个连续的完整区域,该区域中的每一个点都是动作趋势视点;
将落在动作趋势区域的变化点,确定为匹配点,匹配点的集合确定为匹配集合。
该实施例适合用户动作趋势较多,行为不容易判断的具体应用。用户的身体、头部、眼睛朝向哪个方向转动都有可能,但是这些转动在一帧的时间内都是有极限的,这些转动极限的组合在当前帧图像中对应形成动作趋势区域。
步骤S105:对匹配集合中各个匹配点对应的下下一帧图像进行渲染并存储。
需要说明的是,匹配点一般不多,不会超过5个。可以同时对所有匹配点对应的下下一帧图像进行渲染。
步骤S106:响应于屏幕刷新信号,控制运动传感器采集用户的下一帧动作,将下一帧动作与匹配集合中的匹配点对应的动作趋势进行匹配。
需要说明的是,当采集下一帧动作时,就要对下一帧动作开始重复步骤S101-S105的操作了。
步骤S107:当显示下下一帧时,调用与下一帧动作相匹配的匹配点对应的下下一帧图像进行显示。
在具体应用时,本实施例VR显示控制方法的时序示意图如图4所示,动作传感器采集第N个动作时,屏幕显示第N-1帧,主机在传感器采集完第N个动作后,进行第N个动作与第N个动作趋势的匹配。同时,主机完成对N+1动作趋势对应步骤S102至步骤S105的处理与渲染。从图3和图4可以看出,本发明实施例可以提前对下一帧进行渲染,避免了主机未能及时渲染导致的延迟问题。
本发明实施例通过控制运动传感器采集用户的当前动作;根据当前动作,对当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点;获得当前帧图像中发生变化的变化点;将动作趋势视点与变化点进行匹配,获得匹配点的匹配集合;对匹配集合中各个匹配点对应的下下一帧图像进行渲染并存储;响应于屏幕刷新信号,控制运动传感器采集用户的下一帧动作,将下一帧动作与匹配集合中的匹配点对应的动作趋势进行匹配;调用与下一帧动作相匹配的匹配点对应的下下一帧图像进行显示。相较于现有技术的先采集动作,才能对动作对应的图像进行渲染,本发明实施例可以对当前动作的下一动作进行预测获得动作趋势视点,然后获得当前帧图像中发生变化的变化点,再结合当前动作与当前帧图像的关系(即,用户的动作一般是被图像中的变化所吸引产生的),将趋势视点和变化点重合的确定为匹配点,以此缩小渲染范围,各个匹配点对应的下下一帧图像进行渲染并存储。本发明实施例无需先采集动作,才能对动作对应的图像进行渲染,避免了主机无法及时对完成图像渲染的问题,大大减轻了延迟问题,提升了用户体验。
基于上述实施例提供的一种VR显示控制方法,本发明另实施例提供了一种VR显示控制装置适用于上述实施的方法,如图2所示,该装置包括:当前动作采集单元201、动作趋势预测单元202、变化点获得单元203、趋势匹配单元204、渲染单元205、动作匹配单元206以及显示单元207;
当前动作采集单元201,用于控制运动传感器采集用户的当前动作;
动作趋势预测单元202,用于根据当前动作,对当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点;其中,动作趋势为当前动作在下一帧时的可能动作,动作趋势视点为动作趋势对应用户眼睛聚焦在当前帧图像中的视点;
变化点获得单元203,用于获得当前帧图像中发生变化的变化点;
趋势匹配单元204,用于将动作趋势视点与变化点进行匹配,获得匹配点的匹配集合;其中,匹配点为在当前帧图像中位置相匹配的动作趋势视点和变化点;
渲染单元205,用于对匹配集合中各个匹配点对应的下下一帧图像进行渲染并存储;
动作匹配单元206,用于响应于屏幕刷新信号,控制运动传感器采集用户的下一帧动作,将下一帧动作与匹配集合中的匹配点对应的动作趋势进行匹配;
显示单元207,用于当显示下下一帧时,调用与下一帧动作相匹配的匹配点对应的下下一帧图像进行显示。
可选的,动作趋势预测单元202包括:转速获得子单元、动作趋势确定子单元以及动作趋势视点获得子单元;
转速获得子单元,用于获得当前动作对应的身体转动速度、头部转动速度以及眼球转动速度;
动作趋势确定子单元,用于根据当前动作的位置、身体转动速度、头部转动速度以及眼球转动速度,确定多个动作趋势;
动作趋势视点获得子单元,用于根据动作趋势,获得动作趋势视点。
可选的,变化点获得单元203包括:帧对比子单元和变化点确定子单元;
帧对比子单元,用于将当前帧图像与上一帧图像进行对比,确定当前帧图像中各个位置的变化幅度;
变化点确定子单元,用于将当前帧图像中变化幅度满足预设要求的位置确定为变化点,获得变化点。
可选的,趋势匹配单元204包括:动作趋势视点位置确定子单元、变化点位置确定子单元以及匹配点确定子单元;
动作趋势视点位置确定子单元,用于确定各个动作趋势视点在当前帧视图中的位置;
变化点位置确定子单元,用于确定各个变化点在当前帧视图中的位置;
匹配点确定子单元,用于将互相重合的动作趋势视点和变化点,确定为匹配点,将匹配点的集合确定为匹配集合。
可选的,动作匹配单元206包括:动作对比子单元和匹配确定子单元;
动作对比子单元,用于将下一帧动作分别与匹配集合中的匹配点对应的动作趋势进行对比;
匹配确定子单元,用于响应于下一帧动作与某个动作趋势相同时,则确定下一帧动作与该动作趋势相匹配。
本发明实施例设备通过当前动作采集单元201控制运动传感器采集用户的当前动作;动作趋势预测单元202根据当前动作,对当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点;变化点获得单元203获得当前帧图像中发生变化的变化点;趋势匹配单元204将动作趋势视点与变化点进行匹配,获得匹配点的匹配集合;渲染单元205对匹配集合中各个匹配点对应的下下一帧图像进行渲染并存储;动作匹配单元206响应于屏幕刷新信号,控制运动传感器采集用户的下一帧动作,将下一帧动作与匹配集合中的匹配点对应的动作趋势进行匹配;显示单元207调用与下一帧动作相匹配的匹配点对应的下下一帧图像进行显示。相较于现有技术的先采集动作,才能对动作对应的图像进行渲染,本发明实施例可以对当前动作的下一动作进行预测获得动作趋势视点,然后获得当前帧图像中发生变化的变化点,再结合当前动作与当前帧图像的关系(即,用户的动作一般是被图像中的变化所吸引产生的),将趋势视点和变化点重合的确定为匹配点,以此缩小渲染范围,各个匹配点对应的下下一帧图像进行渲染并存储。本发明实施例无需先采集动作,才能对动作对应的图像进行渲染,避免了主机无法及时对完成图像渲染的问题,大大减轻了延迟问题,提升了用户体验。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种VR显示控制方法,其特征在于,所述方法包括:
控制运动传感器采集用户的当前动作;
根据所述当前动作,对所述当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点;其中,所述动作趋势为当前动作在下一帧时的可能动作,所述动作趋势视点为所述动作趋势对应所述用户眼睛聚焦在当前帧图像中的视点;
获得所述当前帧图像中发生变化的变化点;
将所述动作趋势视点与所述变化点进行匹配,获得匹配点的匹配集合;其中,匹配点为在所述当前帧图像中位置相匹配的所述动作趋势视点和变化点;
对所述匹配集合中各个所述匹配点对应的下下一帧图像进行渲染并存储;
响应于屏幕刷新信号,控制运动传感器采集所述用户的下一帧动作,将所述下一帧动作与匹配集合中的匹配点对应的所述动作趋势进行匹配;
当显示下下一帧时,调用与所述下一帧动作相匹配的匹配点对应的下下一帧图像进行显示。
2.根据权利要求1所述的VR显示控制方法,其特征在于,所述根据所述当前动作,对所述当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点,包括:
获得当前动作对应的身体转动速度、头部转动速度以及眼球转动速度;
根据所述当前动作的位置、所述身体转动速度、所述头部转动速度以及所述眼球转动速度,确定多个动作趋势;
根据所述动作趋势,获得所述动作趋势视点。
3.根据权利要求1所述的VR显示控制方法,其特征在于,所述获得所述当前帧图像中发生变化的变化点,所述方法包括:
将所述当前帧图像与上一帧图像进行对比,确定当前帧图像中各个位置的变化幅度;
将所述当前帧图像中变化幅度满足预设要求的位置确定为所述变化点,获得变化点。
4.根据权利要求1所述的VR显示控制方法,其特征在于,所述将所述动作趋势视点与所述变化点进行匹配,获得匹配点的匹配集合,包括:
确定各个所述动作趋势视点在所述当前帧图像中的位置;
确定各个变化点在所述当前帧图像中的位置;
将互相重合的所述动作趋势视点和所述变化点,确定为匹配点,将所述匹配点的集合确定为匹配集合。
5.根据权利要求1所述的VR显示控制方法,其特征在于,所述将所述下一帧动作与匹配集合中的匹配点对应的所述动作趋势进行匹配,包括:
将所述下一帧动作分别与匹配集合中的匹配点对应的所述动作趋势进行对比;
响应于所述下一帧动作与某个所述动作趋势相同时,则确定所述下一帧动作与该动作趋势相匹配。
6.一种VR显示控制装置,其特征在于,所述装置包括:当前动作采集单元、动作趋势预测单元、变化点获得单元、趋势匹配单元、渲染单元、动作匹配单元以及显示单元;
所述当前动作采集单元,用于控制运动传感器采集用户的当前动作;
所述动作趋势预测单元,用于根据所述当前动作,对所述当前动作的运动趋势进行预测,获得多个动作趋势和对应的动作趋势视点;其中,所述动作趋势为当前动作在下一帧时的可能动作,所述动作趋势视点为所述动作趋势对应所述用户眼睛聚焦在当前帧图像中的视点;
所述变化点获得单元,用于获得所述当前帧图像中发生变化的变化点;
所述趋势匹配单元,用于将所述动作趋势视点与所述变化点进行匹配,获得匹配点的匹配集合;其中,匹配点为在所述当前帧图像中位置相匹配的所述动作趋势视点和变化点;
所述渲染单元,用于对所述匹配集合中各个所述匹配点对应的下下一帧图像进行渲染并存储;
所述动作匹配单元,用于响应于屏幕刷新信号,控制运动传感器采集所述用户的下一帧动作,将所述下一帧动作与匹配集合中的匹配点对应的所述动作趋势进行匹配;
所述显示单元,用于当显示下下一帧时,调用与所述下一帧动作相匹配的匹配点对应的下下一帧图像进行显示。
7.根据权利要求6所述的VR显示控制装置,其特征在于,所述动作趋势预测单元包括:转速获得子单元、动作趋势确定子单元以及动作趋势视点获得子单元;
所述转速获得子单元,用于获得当前动作对应的身体转动速度、头部转动速度以及眼球转动速度;
所述动作趋势确定子单元,用于根据所述当前动作的位置、所述身体转动速度、所述头部转动速度以及所述眼球转动速度,确定多个动作趋势;
所述动作趋势视点获得子单元,用于根据所述动作趋势,获得所述动作趋势视点。
8.根据权利要求6所述的VR显示控制装置,其特征在于,所述变化点获得单元包括:帧对比子单元和变化点确定子单元;
所述帧对比子单元,用于将所述当前帧图像与上一帧图像进行对比,确定当前帧图像中各个位置的变化幅度;
所述变化点确定子单元,用于将所述当前帧图像中变化幅度满足预设要求的位置确定为所述变化点,获得变化点。
9.根据权利要求6所述的VR显示控制装置,其特征在于,所述趋势匹配单元包括:动作趋势视点位置确定子单元、变化点位置确定子单元以及匹配点确定子单元;
所述动作趋势视点位置确定子单元,用于确定各个所述动作趋势视点在所述当前帧图像中的位置;
所述变化点位置确定子单元,用于确定各个变化点在所述当前帧图像中的位置;
所述匹配点确定子单元,用于将互相重合的所述动作趋势视点和所述变化点,确定为匹配点,将所述匹配点的集合确定为匹配集合。
10.根据权利要求6所述的VR显示控制装置,其特征在于,所述动作匹配单元包括:动作对比子单元和匹配确定子单元;
所述动作对比子单元,用于将所述下一帧动作分别与匹配集合中的匹配点对应的所述动作趋势进行对比;
所述匹配确定子单元,用于响应于所述下一帧动作与某个所述动作趋势相同时,则确定所述下一帧动作与该动作趋势相匹配。
CN202210230627.0A 2022-03-10 2022-03-10 一种vr显示控制方法及装置 Active CN114827575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210230627.0A CN114827575B (zh) 2022-03-10 2022-03-10 一种vr显示控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210230627.0A CN114827575B (zh) 2022-03-10 2022-03-10 一种vr显示控制方法及装置

Publications (2)

Publication Number Publication Date
CN114827575A CN114827575A (zh) 2022-07-29
CN114827575B true CN114827575B (zh) 2024-04-30

Family

ID=82529685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210230627.0A Active CN114827575B (zh) 2022-03-10 2022-03-10 一种vr显示控制方法及装置

Country Status (1)

Country Link
CN (1) CN114827575B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928655B1 (en) * 2015-08-31 2018-03-27 Amazon Technologies, Inc. Predictive rendering of augmented reality content to overlay physical structures
CN108289175A (zh) * 2018-02-05 2018-07-17 黄淮学院 一种低延迟虚拟现实显示方法及显示系统
US10139899B1 (en) * 2017-11-30 2018-11-27 Disney Enterprises, Inc. Hypercatching in virtual reality (VR) system
CN108921951A (zh) * 2018-07-02 2018-11-30 京东方科技集团股份有限公司 虚拟现实图像显示方法及其装置、虚拟现实设备
WO2019092698A1 (en) * 2017-11-10 2019-05-16 Infinity Augmented Reality Israel Ltd. Device, system and method for improving motion estimation using a human motion model
CN112230776A (zh) * 2020-10-29 2021-01-15 北京京东方光电科技有限公司 虚拟现实显示方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436742B2 (en) * 2020-07-22 2022-09-06 Microsoft Technology Licensing, Llc Systems and methods for reducing a search area for identifying correspondences between images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928655B1 (en) * 2015-08-31 2018-03-27 Amazon Technologies, Inc. Predictive rendering of augmented reality content to overlay physical structures
WO2019092698A1 (en) * 2017-11-10 2019-05-16 Infinity Augmented Reality Israel Ltd. Device, system and method for improving motion estimation using a human motion model
US10139899B1 (en) * 2017-11-30 2018-11-27 Disney Enterprises, Inc. Hypercatching in virtual reality (VR) system
CN108289175A (zh) * 2018-02-05 2018-07-17 黄淮学院 一种低延迟虚拟现实显示方法及显示系统
CN108921951A (zh) * 2018-07-02 2018-11-30 京东方科技集团股份有限公司 虚拟现实图像显示方法及其装置、虚拟现实设备
CN112230776A (zh) * 2020-10-29 2021-01-15 北京京东方光电科技有限公司 虚拟现实显示方法、装置及存储介质

Also Published As

Publication number Publication date
CN114827575A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
EP3491493B1 (en) Gesture based control of autonomous vehicles
US20190355331A1 (en) Managing Transitions of Adaptive Display Rates for Different Video Playback Scenarios
CN108876934B (zh) 关键点标注方法、装置和系统及存储介质
AU2010366331B2 (en) User interface, apparatus and method for gesture recognition
EP2715531B1 (en) Asynchronous handling of a user interface manipulation
CN104731316B (zh) 基于眼睛跟踪在设备上呈现信息的系统及方法
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
JP6359099B2 (ja) ユーザインターフェースナビゲーション
EP3629133B1 (en) Interface interaction apparatus and method
KR20160080083A (ko) 아이-트래킹을 기반으로 햅틱 효과를 생성하기 위한 시스템 및 방법
CN106774821B (zh) 基于虚拟现实技术的显示方法和系统
JP2014021565A (ja) 電子機器及びその制御方法
JP2018113616A5 (zh)
US10356493B2 (en) Methods, systems, and media for presenting interactive elements within video content
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
CN106576156A (zh) 穿戴式介导现实系统和方法
WO2022252688A1 (zh) 增强现实数据呈现方法、装置、电子设备及存储介质
WO2016169341A1 (zh) 一种运动驱动效果的实现方法及实现系统
CN114827575B (zh) 一种vr显示控制方法及装置
WO2017136554A1 (en) System and method for timing input sensing, rendering, and display to minimize latency
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
CN109344757B (zh) 数据采集方法、装置及电子设备
CN114115631A (zh) 图形处理方法、装置、设备以及存储介质
US9946398B2 (en) System and method for timing input sensing, rendering, and display to minimize latency
CN113350780A (zh) 云游戏操控方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant