CN109727305B - 虚拟现实系统画面处理方法、装置及存储介质 - Google Patents

虚拟现实系统画面处理方法、装置及存储介质 Download PDF

Info

Publication number
CN109727305B
CN109727305B CN201910001464.7A CN201910001464A CN109727305B CN 109727305 B CN109727305 B CN 109727305B CN 201910001464 A CN201910001464 A CN 201910001464A CN 109727305 B CN109727305 B CN 109727305B
Authority
CN
China
Prior art keywords
picture
rendered
area
rendering
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910001464.7A
Other languages
English (en)
Other versions
CN109727305A (zh
Inventor
王亚坤
林琳
孙剑
郭子强
邵继洋
孙宾华
訾峰
刘炳鑫
丁亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910001464.7A priority Critical patent/CN109727305B/zh
Publication of CN109727305A publication Critical patent/CN109727305A/zh
Priority to US16/516,660 priority patent/US11043024B2/en
Application granted granted Critical
Publication of CN109727305B publication Critical patent/CN109727305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种虚拟现实系统画面处理方法、装置及存储介质，其中方法包括：将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域；根据所述第一时刻的第一姿态数据，对待渲染的画面中的第一区域进行渲染处理；根据第一区域渲染结束时第二时刻的第二姿态数据，对待渲染的画面中的第二区域进行渲染处理。本申请通过利用不同时刻的姿态数据，对画面中不同区域进行分时渲染，以得到渲染后画面，尽量缩短了渲染后的画面的显示时刻与用于渲染的姿态数据的采集时刻间的时间间隔，从而有效降低了画面的延迟，提高了用户体验。

Description

虚拟现实系统画面处理方法、装置及存储介质
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种虚拟现实系统画面处理方法、装置及存储介质。
背景技术
随着虚拟现实(Virtual Reality，简称VR)技术的迅猛发展，虚拟现实设备已经逐渐走进人们的视野，应用范围越来越广泛。然而，在实际应用时，虚拟现实设备在感知人体动作方面存在一定的延迟，使得用户在虚拟现实设备中看到的画面与身体动作之间不同步，极易引起人体不适。
发明内容
本申请提供一种虚拟现实系统画面处理方法、装置及存储介质，用于解决相关技术中，在虚拟现实设备中看到的画面与身体动作之间不同步，引发人体不适的问题。
本申请一方面实施例提供一种虚拟现实系统画面处理方法，该方法包括：将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域；根据所述第一时刻的第一姿态数据，对所述待渲染的画面中的所述第一区域进行渲染处理；根据所述第一区域渲染结束时第二时刻的第二姿态数据，对所述待渲染的画面中的所述第二区域进行渲染处理。
本申请另一方面实施例提供一种虚拟现实系统画面处理装置，该装置包括：中央处理器，用于将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域；图形处理器，用于根据所述第一时刻的第一姿态数据，对所述待渲染的画面中的所述第一区域进行渲染处理；所述图形处理器，还用于根据所述第一区域渲染结束时第二时刻的第二姿态数据，对所述待渲染的画面中所述第二区域进行渲染处理。
本申请又一方面实施例的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，以实现第一方面实施例所述的虚拟现实系统画面处理方法。
本申请再一方面实施例的计算机程序，当所述计算机程序被处理器执行时，以实现第一方面实施例所述的虚拟现实系统画面处理方法。
本申请公开的技术方案，具有如下有益效果：
通过将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域，以根据第一时刻的第一姿态数据，对待渲染的画面中的第一区域进行渲染处理，并根据第一区域渲染结束时第二时刻的第二姿态数据，对待渲染的画面中的第二区域进行渲染处理，以得到渲染后的画面。由此，通过利用不同时刻的姿态数据，对画面中不同区域进行分时渲染，得到渲染后的画面，尽量缩短了渲染后的画面的显示时刻与用于渲染的姿态数据的采集时刻间的时间间隔，从而有效降低了画面的延迟，提高了用户体验。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，
图1是相关技术中虚拟现实设备根据用户动作显示对应图像的过程示意图；
图2是根据本申请一实施例示出的虚拟现实系统画面处理方法的流程示意图；
图3是根据本申请一实施例示出的根据待渲染画面中主体所在位置，将第一时刻待渲染的画面拆分为第一区域和第二区域的流程示意图；
图4是根据本申请另一实施例示出的虚拟现实系统画面处理方法的流程示意图；
图5是根据本申请一实施例示出的根据用户注视点位置，将第一时刻待渲染的画面拆分为第一区域和第二区域的流程示意图；
图6是根据本申请一实施例示出的根据用户注视点位置，将第一时刻待渲染的画面拆分为第一区域及第二区域的示例图；
图7是根据本申请另一实施例示出的根据用户注视点位置，将第一时刻待渲染的画面拆分为第一区域及第二区域的流程示意图；
图8是根据本申请又一实施例示出的虚拟现实系统画面处理方法的流程示意图；
图9是相关技术中对待渲染的画面进行渲染、并显示的过程示意图；
图10是根据本申请一实施例示出的对待渲染的画面进行渲染、并显示的过程示意图；
图11是根据本申请一实施例示出的虚拟现实系统画面处理装置的结构示意图；
图12是根据本申请另一实施例示出的虚拟现实系统画面处理装置的结构示意图；
图13是根据本申请又一实施例示出的虚拟现实系统画面处理装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请实施例针对相关技术中，在虚拟现实设备中看到的画面与身体动作之间不同步，引发人体不适的问题，提出一种虚拟现实系统画面处理方法。
本申请实施例，通过将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域，以根据第一时刻的第一姿态数据，对待渲染的画面中的第一区域进行渲染处理，并根据第一区域渲染结束时第二时刻的第二姿态数据，对待渲染的画面中的第二区域进行渲染处理，以得到渲染后的画面。由此，通过利用不同时刻的姿态数据，对画面中不同区域进行分时渲染，得到渲染后的画面，尽量缩短了渲染后的画面的显示时刻与用于渲染的姿态数据的采集时刻间的时间间隔，从而有效降低了画面的延迟，提高了用户体验。
为了更清楚的说明本申请实施例，下面首先对虚拟现实设备中的虚拟现实系统感知人体动作显示相应画面时，存在的延迟来源进行说明。
具体如图1所示，用户转动头部时，虚拟现实设备根据用户头部转动的第一姿态，产生对应的数字信号，并传输到处理端(例如电脑端)。之后，处理端对信号进行处理，以生成与头部姿态对应的图像，然后将处理后的图像显示给用户，直至显示完成，而此时用户头部的姿态可能已经并非第一姿态。由于以上每一步的处理都需要一定的时间，而用户的头部可能处于持续转动中，也就是说当头部转动到一定姿态看到的显示画面，实际上是根据前一时刻姿态得到的对应图像。
对此，为了降低虚拟现实设备存在的延迟，本申请实施例通过对图1中虚线部分中的过程进行处理，来降低虚拟现实设备显示画面与用户动作之间不同步，导致人体不适的问题。
下面参考附图描述本申请实施例的虚拟现实系统画面处理方法、装置及存储介质进行详细说明。
首先，结合图2对本申请中虚拟现实系统画面处理方法进行具体说明。
图2是根据本申请一实施例示出的虚拟现实系统画面处理方法的流程示意图。
如图2所示，本申请实施例虚拟现实系统画面处理方法可以包括以下步骤：
步骤201，将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域。
其中，本申请实施例提供的虚拟现实系统画面处理方法，可以由本申请实施例提供的虚拟现实系统画面处理装置执行。其中，虚拟现实系统画面处理装置设置在虚拟现实系统画面处理设备中，以实现对虚拟现实系统中画面处理过程进行控制。本实施例虚拟现实系统画面处理设备可以是，但不限于：VR眼镜、VR头盔设备等等。
在本实施例中，第一时刻，是指虚拟显示系统中产生垂直同步信号的时刻。相应的，待渲染的画面是指，垂直同步信号时刻指示的用于启动渲染处理的画面，也是下一个垂直同步信号用于指示显示的画面。
其中，本申请实施例中，可以采用多种方式，将待渲染的画面拆分为第一区域及第二区域。比如，可以根据用户的注视点，将画面拆分为感兴趣区域(第二区域)和非感兴趣区域(第一区域)；或者，也可以根据待渲染画面中的主体，将画面拆分主体区域(第二区域)和背景区域(第一区域)等等，本实施例对此不做限定。
具体的如何将虚拟现实系统中当前待渲染的画面拆分为第一区域和第二区域的内容可以参见后续描述。
步骤202，根据第一时刻的第一姿态数据，对待渲染的画面中的第一区域进行渲染处理。
在本实施例中，将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域之后，虚拟现实系统画面处理装置可控制姿态传感器采集第一时刻的姿态数据，即采集当前使用该虚拟现实系统的用户在第一时刻的第一姿态数据，并利用第一时刻用户的第一姿态数据，对待渲染的画面中的第一区域进行渲染处理。
作为一种可选的实现方式，本实施例对所述待渲染的画面中的第一区域进行渲染处理，可根据第一时刻用户的姿态数据及预设的画面库中各画面内容对应的姿态数据，确定待渲染的画面中要展现的内容，进而基于要展现的内容，对第一区域对应的画面进行渲染。
步骤203，根据第一区域渲染结束时第二时刻的第二姿态数据，对待渲染的画面中的第二区域进行渲染处理。
可选的，对待渲染的画面中的第二区域进行渲染处理时，虚拟现实系统画面处理装置可在第一区域渲染结束时，控制姿态传感器采集第二时刻的姿态数据，即采集当前使用该虚拟现实系统的用户在第二时刻的第二姿态数据，并利用第二时刻用户的第二姿态数据，对待渲染的画面中的第二区域进行渲染处理，得到渲染后的画面。
其中，本实施例可根据第二时刻用户的姿态数据(第二姿态数据)及预设的画面内容与姿态数据的对应关系，确定待渲染的画面中要展现的内容，进而基于要展现的内容，对第二区域对应的画面进行渲染。
需要说明的是，通常屏幕的刷新频率在60Hz-120Hz之间，而本申请中采集用户的第一姿态数据及第二姿态数据时的姿态传感器的采样频率可达1000Hz。可见，屏幕的刷新频率，远远小于姿态传感器的采样频率，因此采用本申请中的方案，可在渲染画面的过程中，获取到多个、不同时刻的用户姿态数据，从而即可利用尽可能靠近显示时刻的姿态数据对第二区域进行渲染处理，使得渲染后的画面，能够尽可能的与显示时刻用户姿态数据接近，从而可以减少画面的延迟。
进一步的，本实施例中根据用户第一姿态数据，对第一区域进行渲染处理，及根据用户第二姿态数据，对第二区域进行渲染时，可以采用相同分辨率对第一区域及第二区域进行渲染处理；或者，也可以采用不同分辨率对第一区域及第二区域进行渲染处理。
实际应用时，为了提高对待渲染画面的处理速度，减少画面处理时间，可以对待渲染的画面中的第一区域和第二区域采用不同的分辨率进行渲染操作。
例如，对第一区域采用低分辨率进行渲染处理，对第二区域采用高于渲染第一区域的分辨率进行渲染处理，从而不仅保证了对画面中第二区域进行高精准度的渲染处理，使得渲染后的第二区域更逼真立体，提高画面的渲染效果，并且通过降低第一区域的渲染分辨率，还能减少第一区域的渲染处理时间，从而提高画面处理速度，满足了用户需求。
即本申请实施例对所述待渲染的画面中的所述第一区域进行渲染处理，包括：
采用第一分辨率对所述第一区域进行渲染处理；
所述对所述待渲染的画面中的所述第二区域进行渲染处理，包括：
采用第二分辨率对所述第二区域进行渲染处理；
其中，所述第一分辨率小于所述第二分辨率。
本申请实施例提供的虚拟现实系统画面处理方法，通过将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域，以根据第一时刻的第一姿态数据，对待渲染的画面中的第一区域进行渲染处理，并根据第一区域渲染结束时第二时刻的第二姿态数据，对待渲染的画面中的第二区域进行渲染处理，以得到渲染后的画面。由此，通过利用不同时刻的姿态数据，对画面中不同区域进行分时渲染，得到渲染后的画面，尽量缩短了渲染后的画面的显示时刻与用于渲染的姿态数据的采集时刻间的时间间隔，从而有效降低了画面的延迟，提高了用户体验
通过上述分析可知，本申请实施例可以通过多种方式将待渲染的画面拆分为第一区域和第二区域。
其中，根据待渲染画面中的主体所在位置，对画面进行拆分时，拆分后的第一区域为背景区域，第二区域为主体所在区域。由于主体所在区域通常为用户的关注区域，进而对主体所在区域进行渲染时，依据与显示时刻间隔最近的姿态数据，从而有效降低了渲染后的画面中主体所在区域的延迟，提高了用户体验。
下面结合图3，对本申请上述实施例中根据待渲染画面中的主体所在位置，将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域的部分进行说明。
如图3所示，本申请实施例将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域可以包括以下步骤：
步骤301，对第一时刻待渲染的画面进行主体识别，以确定待渲染的画面中主体所在的区域。
步骤302，将待渲染的画面中主体所在的区域，确定为第二区域。
实际应用时，画面中的主体通常是用户比较关注的区域，因此本实施例可通过对第一时刻待渲染的画面进行主体识别，以确定待渲染的画面中主体所在区域，并将主体所在的区域，确定为第二区域(感兴趣区域)，同时将除了主体所在的区域之前的其他区域，确定为第一区域(非感兴趣区域)。
在本实施例中，确定待渲染的画面中主体所在的区域，可通过现有的确定方式来实现，此处对其不作过多赘述。
进一步的，本实施例还可根据用户注视点，将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域。下面结合图4，对根据注视点，将待渲染的画面拆分为第一区域和第二区域的情况，进行进一步说明。
图4是根据本申请另一实施例示出的虚拟现实系统画面处理方法的流程示意图。如图4所示，本申请实施例虚拟现实系统画面处理方法可以包括以下步骤：
步骤401，将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域。
本实施例中，可通过不同的方式，将第一时刻待渲染的画面拆分为第一区域和第二区域，具体可参见图5至图7所示。
下面结合图5-图7，对本申请上述实施例中，根据用户注视点位置，将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域的部分进行详细说明。
首先，如图5所示，本申请实施例将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域可包括以下步骤：
步骤501，在获取到第一时刻待渲染的画面对应的垂直同步信号时，确定用户当前的注视点位置。
步骤502，将用户在第一时刻的注视点位置，确定为第二区域的参考点位置。
步骤503，按照预设的延伸方式及参考点位置，确定第二区域。
其中，预设的延伸方式，可以是预先设定的，或者，也可以是根据用户视场角确定的，此处不做限定。
可选的，本实施例可通过实时监测垂直同步(vertical synchronization，简称Vsync)信号，当第一时刻检测到Vsync信号时，获取用户在第一时刻人眼的注视点位置，然后根据第一时刻人眼的注视点位置(对应第一姿态)，将虚拟现实系统中待渲染的画面拆分为第一区域和第二区域。其中，获取用户第一时刻人眼的注视点位置时，可以是通过眼球追踪技术，以根据眼球和眼球周围的特征变化进行跟踪；或者，根据虹膜角度变化进行跟踪等实现的。
也就是说，当获取到用户第一时刻的注视点位置之后，虚拟现实系统画面处理装置即可根据用户第一时刻的注视点位置，确定第二区域的参考点位置，进而根据预设的延伸方式及参考点位置，自动确定出第一区域和第二区域。
举例来说，如图6所示，假设获取到用户第一时刻的注视点位置为A点，则虚拟现实系统画面处理装置即可将A点作为第二区域的参考点，即A点作为中心点，将与注视点A点距离在预设范围内的区域，确定为第二区域(感兴趣区域)，其他区域确定为第一区域(非感兴趣区域)等。参见图6，拆分的第一区域(非感兴趣区域)为长方形，第二区域(感兴趣区域)为正方形。
需要说明的是，本实施例将当前待渲染的画面拆分为第一区域(非感兴趣区域)和第二区域(感兴趣区域)的形状，除了图6所示的情况之外，还可以是圆形，或者其他形状等等，此处对其不作具体限定。
通过上述分析可知，本申请实施例中，还可以基于用户当前的视场角、或虚拟显示系统的光学特性等，来将待渲染的画面进行区域划分。即如图7所示，本申请实施例将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域时还可以包括以下步骤：
步骤701，在获取到第一时刻待渲染的画面对应的垂直同步信号时，确定用户当前的注视点位置。
步骤702，根据用户当前的注视点位置与用户当前所在位置的距离，确定用户的视场角。
步骤703，根据用户的视场角及当前的注视点位置，确定第二区域。
在实际使用时，由于用户在不同位置注视同一点时，视场角不同，看到的内容也不相同。比如，用户只注视空间中的一张桌子时，在距离桌子较远处视场角较小，而走至近处还关注这一桌子时，视场角变大，因此对应的第二区域面积也变大。因此，本申请实施例中，首先根据用户当前所在的位置及当前注视点与所在位置的距离，确定用户的视场角，进而再根据用户的视场角及注视点位置，将待渲染的画面进行拆分，从而提高了区域划分的准确性，进而提高画面的显示效果。
步骤402，根据第一时刻的第一姿态数据，对待渲染的画面中的第一区域进行渲染处理。
步骤403，根据第一区域渲染结束时第二时刻的第二姿态数据，对待渲染的画面中的第二区域进行渲染处理。
本实施例虚拟现实系统画面处理装置，对所述待渲染的画面中的第二区域(感兴趣区域)进行渲染处理时，需要保证用户第二姿态时的注视点与第一时刻时用户的注视点间的位置变化在一定范围内，否则基于不同时刻的注视点位置对待渲染画面进行区域划分时，划分的结果并不相同，从而使得根据采集的第二时刻用户的第二姿态数据，对根据第一时刻的注视点划分的第二区域(感兴趣区域)进行渲染后，得到的画面存在误差，会在一定程度上降低用户体验。
为此，本实施例根据用户的第二姿态数据，对待渲染的画面中的第二区域(感兴趣区域)进行渲染处理时，可对用户在第二时刻的注视点位置进行检测，以确保在渲染待渲染的画面中的第一区域(非感兴趣区域)和第二区域(感兴趣区域)时，用户的注视点位置间的变化处于可允许的范围，进一步提升用户体验。
可选的，可通过以下方式，确定用户的注视点位置间的变化处于可允许范围。
方式一：
确定第一区域(非感兴趣区域)的渲染处理时长小于第一阈值。
其中，第一阈值可根据用户视觉暂留进行设置。
实际应用中，人眼在观察景物时，光信号传入大脑神经，需经过一段短暂的时间，光的作用结束后，视觉形象并不立即消失，这种残留的视觉称“后像”，视觉的这一现象则被称为“视觉暂留”。视觉暂留(Persistence of vision)现象是光对视网膜所产生的视觉在光停止作用后，仍保留一段时间的现象。
也就是说，根据第一时刻用户的第一姿态数据对待渲染的画面中的第一区域(非感兴趣区域)进行渲染后，根据第二时刻用户的第二姿态数据渲染待渲染的画面中的第二区域(感兴趣区域)时，若渲染第一区域(非感兴趣区域)时的时长小于用户的视觉暂留，则当渲染待渲染的画面中的第二区域(感兴趣区域)时，用户的注视点几乎不会发生变化，此时虚拟现实系统画面处理装置，可根据采集的第二时刻用户的第二姿态数据，对待渲染的画面中的第二区域(感兴趣区域)进行渲染处理。
方式二：
确定第二姿态数据对应的注视点位置，与第一时刻的注视点位置间的距离小于第二阈值。
其中，第二阈值可根据待渲染的画面拆分的第一区域(非感兴趣区域)的大小进行设置。本实施例中，第二阈值可以为一个具体的值，也可以是一个数值范围，此处对其不作具体限定。
在一些实施例中，根据第一时刻用户的第一姿态数据，对待渲染的画面中的第一区域(非感兴趣区域)进行渲染处理后，若确定第二时刻用户的第二姿态数据对应的注视点位置，与第一姿态数据对应的注视点位置发生了变化。此时可将第一姿态数据对应的注视点位置与第二姿态数据对应的注视点位置进行作差，得到两个不同时刻对应注视点位置之间的距离。然后将该距离与第二阈值匹配，若该距离小于第二阈值时，则认为上述两个不同时刻对应的注视点位置的变化属于允许范围，此时虚拟现实系统画面处理装置，可根据采集的第二时刻的用户第二姿态数据，对待渲染的画面中的第二区域(感兴趣区域)进行渲染处理。
本申请实施例提供的虚拟现实系统画面处理方法，通过将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域，以根据第一时刻的第一姿态数据，对待渲染的画面中的第一区域进行渲染处理，并根据第一区域渲染结束时第二时刻的第二姿态数据，对待渲染的画面中的第二区域进行渲染处理，以得到渲染后的画面。由此，通过利用不同时刻的姿态数据，对画面中不同区域进行分时渲染，得到渲染后的画面，尽量缩短了渲染后的画面的显示时刻与用于渲染的姿态数据的采集时刻间的时间间隔，从而有效降低了画面的延迟，而第二区域作为用户感兴趣区域或者主体区域，更贴近显示时刻，第一区域为用户非感兴趣区域或者背景区域，延迟对用户的影响并不大，从而提高了用户体验。
通过上述分析可知，本申请实施例通过将待渲染的画面拆分为第一区域和第二区域，以根据用户第一时刻的第一姿态数据，对第一区域进行渲染处理，之后根据用户第二时刻的第二姿态数据，对第二区域进行渲染，得到待渲染画面。
实际使用时，为了进一步降低画面的延迟，本申请实施例还可对待渲染的画面中的第一区域进行渲染处理之后，将渲染处理后的第一区域对应的画面和第二区域对应的画面进行时间扭曲处理，以得到渲染后的画面。下面结合图8，对本申请实施例的虚拟现实系统画面处理方法上述情况进行具体说明。
图8是根据本申请又一实施例示出的虚拟现实系统画面处理方法的流程示意图。
如图8所示，本申请实施例虚拟现实系统画面处理方法可以包括以下步骤：
步骤801，将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域。
步骤802，根据第一时刻的第一姿态数据，对待渲染的画面中第一区域进行渲染处理。
步骤803，根据第一区域渲染结束时第二时刻的第二姿态数据，对待渲染的画面中的第二区域进行渲染处理。
其中，上述步骤801-803的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤804，将渲染处理后的第一区域对应的画面和第二区域对应的画面进行时间扭曲(TimeWrap，简称TW)处理。
其中，TW处理是一种图像帧修正的技术。具体来说，在使用虚拟现实设备时，由于头部运动过快，而造场景渲染的延迟，即头已经转过去了，但是图像还没有渲染出来，或者渲染的是上一帧的图像，TW处理通过扭曲一帧被送往显示器之前的图像，来解决延迟问题。
本方案的TW处理可以是基于方向的扭曲处理，这种处理只纠正了头部的转动变化姿势，因此通过上述处理合并一副变形图像不需要花费太多系统资源。对于复杂的场景，也可以通过较少的计算得到一个新的图像。
下面结合图9和图10，对本申请提供的虚拟现实系统画面处理方法进行进一步说明。
图9为相关技术中，对待渲染的画面进行渲染、并显示的过程。具体参见图9所示。当虚拟现实系统画面处理装置检测到第N-1帧画面的垂直同步(verticalsynchronization，简称Vsync)信号，即图中的第一个Vsync信号后，即可对第N-1帧画面进行渲染处理，同时，控制第N-2帧画面开始显示(图中未示出)。在对第N-1帧画面进行渲染处理时，首先，获取t00时刻(即第一个Vsync信号时刻)的姿态数据，并用该姿态数据渲染第N-1帧画面，在第N-1帧画面渲染完成后，对第N-1帧画面进行时间扭曲处理(即TW处理)，然后在第二个Vsync信号时，控制第N-1帧画面开始显示，直到完成显示(例如t11)，并且在第二个Vsync信号时，开始对第N帧画面进行渲染处理，依次类推。根据图9所示，上述第N-1帧画面从渲染处理到画面显示完成的整个过程，虚拟现实系统的延迟时间为：Δt＝t11-t00，即系统显示的画面是根据与t11时刻距离Δt＝t11-t00之前的t00时刻的姿态数据渲染得到的画面，而此时往往人体已经由t00时刻的第一姿态移动到t11时刻的第三姿态，由于系统延迟，第三姿态去看第一姿态时刻应该显示的画面，导致了人体不适。
需要说明的是，图中帧画面从开始显示至显示完成的时间间隔，是由屏幕刷新频率决定的，该时间间隔通常指向显示屏写数据的时间，小于一帧的实际刷新时间，即t10到t11的时间，小于两个垂直同步信号的时间间隔。
为了降低相关技术中，虚拟现实系统从渲染处理到画面显示完整过程存在的延迟问题。如图10所示，为本申请实施例中对待渲染的画面进行渲染、显示的过程。具体参见图10所示，当虚拟现实系统画面处理装置检测到第N-1帧画面的Vsync信号，即图中的第一个Vsync信号后，即可对第N-1帧画面进行渲染处理，同时，控制第N-2帧画面开始显示(图中未示出)。在对第N-1帧画面进行渲染处理时，首先，通过眼球追踪技术获取第一时刻(对应第一姿态)人眼的注视点位置，并根据注视点位置，自动将第N-1帧画面拆分为第一区域(即图中的非感兴趣区域)及第二区域(即图中的感兴趣区域)，然后获取t00时刻(获取到第一个Vsync信号时刻)的姿态数据(第一姿态)，并用该姿态数据渲染第N-1帧画面中的非感兴趣区域，并在第N-1帧画面中非感兴趣区域渲染结束时，获取t01时刻(获取到第N-1帧画面中非感兴趣区域渲染结束时刻)的姿态数据(第二姿态)，并利用该姿态数据渲染第N-1帧画面中的感兴趣区域。在第N-1帧画面渲染完成后，将渲染完成的非感兴趣区域对应的画面和感兴趣区域对应的画面进行时间扭曲处理(即TW处理)，然后在第二个Vsync信号时，控制第N-1帧画面开始显示，直至完成显示(例如t11)，并且在第二个Vsync信号时，开始对第N帧画面进行渲染处理，依次类推。根据图10所示，本申请实施例第N-1帧画面从渲染处理到画面显示完成的整个过程，虚拟现实系统的延迟时间为：Δt＇＝t11-t01，即系统显示的画面是根据与t11时刻距离Δt＇＝t11-t01之前的t00时刻的姿态数据渲染得到的画面。
进一步的，通过比较本申请实施例中虚拟现实系统，对待渲染的画面从渲染处理到画面显示完成的整个过程的延迟时间，与相关技术中虚拟现实系统，对待渲染的画面从渲染处理到画面显示完成的整个过程的延迟时间，可得到本申请实施例相对于相关技术，能够降低虚拟现实系统，对待渲染的画面从渲染处理到画面显示完成的整个过程的延迟时间为：T＝Δt＇-Δt＝(t11-t01)-(t11-t00)＝t00-t01。
可见，利用本申请实施例的虚拟现实系统画面处理方法对待渲染的画面进行处理，相对与相关技术中对待渲染的画面进行处理方式，能够进一步的降低画面显示的延迟，从而使得显示的画面与用户动作匹配度更高，满足用户求，进一步提升用户体验。此外，本申请实施例通过将待渲染的画面拆分为感兴趣区域和非感兴趣区域，使得感兴趣区域和非感兴趣区域进行渲染时，利用不同时刻的姿态数据，对画面中感兴趣区域和非感兴趣区域进行分时渲染，尽量缩短了渲染后的画面的显示时刻与用于渲染的姿态数据的采集时刻间的时间间隔，有效降低了画面的延迟，与此同时，感兴趣区域更贴近显示时刻，而非感兴趣区域并不对用户观看造成太大影响，从而提高了用户体验。
为了实现上述实施例，本申请还提出了一种虚拟现实系统画面处理装置。
图11是根据本申请一实施例示出的虚拟现实系统画面处理装置的结构示意图。
如图11所示，本申请实施例虚拟现实系统画面处理装置200包括：中央处理器(Central Processing Unit，简称CPU)901及图形处理器(Graphics Processing Unit，简称GPU)902。
其中，中央处理器901，用于将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域；
图形处理器902，用于根据所述第一时刻的第一姿态数据，对所述待渲染的画面中的第一区域进行渲染处理；
图形处理器902，还用于根据所述第一区域渲染结束时第二时刻的第二姿态数据，对所述待渲染的画面中的第二区域进行渲染处理。
其中，用户的姿态数据，可以是由虚拟现实系统中的体感识别组件获取的。
体感识别组件可以包括以下组件中的至少一种：陀螺仪、重力传感器、磁传感器、红外传感器等等。
作为本申请的一种可选的实现方式，所述第一时刻，为所述虚拟显示系统中垂直同步信号的产生时刻。
作为本申请的一种可选的实现方式，所述图形处理器902，还用于：
将渲染处理后的第一区域对应的画面和第二区域对应的画面进行时间扭曲处理。
作为本申请的一种可选的实现方式，所述图形处理器902，还用于：
采用第一分辨率对所述第一区域进行渲染处理；
采用第二分辨率对所述第二区域进行渲染处理；
其中，所述第一分辨率小于所述第二分辨率。
作为本申请的一种可选的实现方式，所述中央处理器901，具体用于：
对所述第一时刻待渲染的画面进行主体识别，以确定所述待渲染的画面中主体所在的区域；
将所述待渲染的画面中主体所在的区域，确定为所述第二区域。
作为本申请的一种可选的实现方式，所述中央处理器901，具体用于：
将所述用户在第一时刻的注视点位置，确定为所述第二区域的参考点位置；
按照预设的延伸方式及所述参考点位置，确定所述第二区域。
作为本申请的一种可选的实现方式，所述中央处理器901，具体用于：
根据所述用户当前的注视点位置与所述用户当前所在位置的距离，确定所述用户的视场角；
根据所述用户的视场角及当前的注视点位置，确定所述第二区域。
作为本申请的一种可选的实现方式，所述中央处理器901，还用于：
确定所述第一区域的渲染处理时长小于第一阈值；
或者，
确定所述第二姿态数据对应的注视点位置，与所述第一时刻的注视点位置间的距离小于第二阈值。
如图12所示，在本申请的另一实施例中，虚拟现实系统画面处理装置200，还包括：存储器210及处理器220。
其中，存储器210中存储有计算机程序；
当处理器220在调用并执行存储在存储器210中的计算机程序时，实现第一方面实施例所述的虚拟现实系统画面处理方法。
在一种可选的实现形式中，如图13所示，该虚拟现实系统画面处理装置200还可以包括：存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本申请第一方面实施例所述的虚拟现实系统画面处理方法。
总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备200典型地包括多种计算机设备可读介质。这些介质可以是任何能够被计算机设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)240和/或高速缓存存储器250。计算机设备200可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图13未显示，通常称为“硬盘驱动器”)。尽管图13中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该计算机设备200交互的设备通信，和/或与使得该计算机设备200能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且，计算机设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与计算机设备200的其他模块通信。应当明白，尽管图中未示出，可以结合计算机设备200使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
需要说明的是，前述对虚拟现实系统画面处理方法实施例的解释说明也适用于该实施例的虚拟现实系统画面处理装置，其实现原理类似，此处不再赘述。
本申请实施例提供的虚拟现实系统画面处理装置，通过将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域，以根据第一时刻的第一姿态数据，对待渲染的画面中的第一区域进行渲染处理，并根据第一区域渲染结束时第二时刻的第二姿态数据，对待渲染的画面中的第二区域进行渲染处理，以得到渲染后的画面。由此，通过利用不同时刻的姿态数据，对画面中不同区域进行分时渲染，得到渲染后的画面，尽量缩短了渲染后的画面的显示时刻与用于渲染的姿态数据的采集时刻间的时间间隔，从而有效降低了画面的延迟，提高了用户体验。
为实现上述目的，本申请还提出一种计算机可读存储介质。
其中该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现第一方面实施例所述的虚拟现实系统画面处理方法。
一种可选实现形式中，本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
为实现上述目的，本申请还提出一种计算机程序。其中当计算机程序被处理器执行时，以实现第一方面实施例所述的虚拟现实系统画面处理方法。
在本申请中，除非另有明确的规定和限定，术语“设置”、“连接”等术语应做广义理解，例如，可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种虚拟现实系统画面处理方法，其特征在于，包括：
在检测到N-1帧画面的垂直同步信号时，对N-1帧画面进行渲染处理，并控制第N-2帧画面开始显示，将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域；根据所述第一时刻的第一姿态数据，对所述待渲染的画面中的所述第一区域进行渲染处理；
根据所述第一区域渲染结束时第二时刻的第二姿态数据，对所述待渲染的画面中的所述第二区域进行渲染处理；在检测到下一垂直同步信号时，控制N-1画面开始显示；
在对所述第N-1帧画面进行渲染处理时，获取所述第一时刻人眼的注视点位置，并根据所述注视点位置，将所述第N-1帧画面拆分为所述第一区域及所述第二区域；
所述第一时刻，为所述虚拟现实系统中垂直同步信号的产生时刻；
对所述待渲染的画面中的所述第二区域进行渲染处理之前，还包括：确定所述第一区域的渲染处理时长小于第一阈值；或者，确定所述第二姿态数据对应的注视点位置，与所述第一时刻的注视点位置间的距离小于第二阈值。
2.如权利要求1所述的方法，其特征在于，对所述待渲染的画面中的所述第二区域进行渲染处理之后，还包括：
将渲染处理后的第一区域对应的画面和第二区域对应的画面进行时间扭曲处理。
3.如权利要求1-2任一所述的方法，其特征在于，所述对所述待渲染的画面中的所述第一区域进行渲染处理，包括：
采用第一分辨率对所述第一区域进行渲染处理；
所述对所述待渲染的画面中的所述第二区域进行渲染处理，包括：
采用第二分辨率对所述第二区域进行渲染处理；
其中，所述第一分辨率小于所述第二分辨率。
4.如权利要求1-2任一所述的方法，其特征在于，所述将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域，包括：
对所述第一时刻待渲染的画面进行主体识别，以确定所述待渲染的画面中主体所在的区域；
将所述待渲染的画面中主体所在的区域，确定为所述第二区域。
5.如权利要求1-2任一所述的方法，其特征在于，所述将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域，包括：
将用户在第一时刻的注视点位置，确定为所述第二区域的参考点位置；
按照预设的延伸方式及所述参考点位置，确定所述第二区域。
6.如权利要求5所述的方法，其特征在于，所述将所述虚拟现实系统中待渲染的画面拆分为第一区域和第二区域，包括：
根据所述用户当前的注视点位置与所述用户当前所在位置的距离，确定所述用户的视场角；
根据所述用户的视场角及当前的注视点位置，确定所述第二区域。
7.一种虚拟现实系统画面处理装置，其特征在于，包括：
中央处理器，用于将虚拟现实系统中第一时刻待渲染的画面拆分为第一区域和第二区域；在对第N-1帧画面进行渲染处理时，获取所述第一时刻人眼的注视点位置，并根据所述注视点位置，将所述第N-1帧画面拆分为所述第一区域及所述第二区域；
图形处理器，在检测到N-1帧画面的垂直同步信号时，对N-1帧画面进行渲染处理，并控制第N-2帧画面开始显示，用于根据所述第一时刻的第一姿态数据，对所述待渲染的画面中的第一区域进行渲染处理；
所述图形处理器，还用于根据所述第一区域渲染结束时第二时刻的第二姿态数据，对所述待渲染的画面中第二区域进行渲染处理；在检测到下一垂直同步信号时，控制N-1画面开始显示；
所述第一时刻，为所述虚拟现实系统中垂直同步信号的产生时刻；
对所述待渲染的画面中的所述第二区域进行渲染处理之前，还包括：确定所述第一区域的渲染处理时长小于第一阈值；或者，确定所述第二姿态数据对应的注视点位置，与所述第一时刻的注视点位置间的距离小于第二阈值。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，以实现如权利要求1-6任一所述的虚拟现实系统画面处理方法。
CN201910001464.7A 2019-01-02 2019-01-02 虚拟现实系统画面处理方法、装置及存储介质 Active CN109727305B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910001464.7A CN109727305B (zh) 2019-01-02 2019-01-02 虚拟现实系统画面处理方法、装置及存储介质
US16/516,660 US11043024B2 (en) 2019-01-02 2019-07-19 Method, apparatus, and storage medium for processing image in a virtual reality system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910001464.7A CN109727305B (zh) 2019-01-02 2019-01-02 虚拟现实系统画面处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109727305A CN109727305A (zh) 2019-05-07
CN109727305B true CN109727305B (zh) 2024-01-12

Family

ID=66298708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910001464.7A Active CN109727305B (zh) 2019-01-02 2019-01-02 虚拟现实系统画面处理方法、装置及存储介质

Country Status (2)

Country Link
US (1) US11043024B2 (zh)
CN (1) CN109727305B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015264B (zh) * 2019-05-30 2023-10-20 深圳市冠旭电子股份有限公司 虚拟现实显示方法、虚拟现实显示装置及虚拟现实设备
CN110351480B (zh) * 2019-06-13 2021-01-15 歌尔光学科技有限公司 用于电子设备的图像处理方法、装置及电子设备
CN110378914A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于注视点信息的渲染方法及装置、系统、显示设备
CN112104855B (zh) * 2020-09-17 2022-05-31 联想(北京)有限公司 一种图像处理方法及装置
CN112578564B (zh) * 2020-12-15 2023-04-11 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
CN113209604A (zh) * 2021-04-28 2021-08-06 杭州小派智能科技有限公司 一种大视角vr渲染的方法和系统
CN113316020B (zh) * 2021-05-28 2023-09-15 上海曼恒数字技术股份有限公司 一种渲染方法、装置、介质及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431690A (zh) * 2007-11-07 2009-05-13 索尼株式会社 图像处理设备,图像处理方法和图像处理程序
CN105979360A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技（天津）有限公司 一种渲染图像的处理方法及装置
CN106683034A (zh) * 2016-12-29 2017-05-17 上海拆名晃信息科技有限公司 一种用于虚拟现实的异步时间卷曲计算方法
CN106971368A (zh) * 2017-01-18 2017-07-21 上海拆名晃信息科技有限公司 一种用于虚拟现实的同步时间卷曲计算方法
CN107153519A (zh) * 2017-04-28 2017-09-12 北京七鑫易维信息技术有限公司 图像传输方法、图像显示方法以及图像处理装置
CN107430786A (zh) * 2015-06-12 2017-12-01 谷歌公司 用于头戴式显示器的电子显示稳定
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170287097A1 (en) * 2016-03-29 2017-10-05 Ati Technologies Ulc Hybrid client-server rendering in a virtual reality system
US9959590B2 (en) * 2016-03-30 2018-05-01 Intel Corporation System and method of caching for pixel synchronization-based graphics techniques
US9940858B2 (en) * 2016-05-16 2018-04-10 Unity IPR ApS System and method for assymetric rendering to eyes in augmented reality and virtual reality devices
US10394313B2 (en) * 2017-03-15 2019-08-27 Microsoft Technology Licensing, Llc Low latency cross adapter VR presentation
CN107194890B (zh) * 2017-05-18 2020-07-28 上海兆芯集成电路有限公司 使用多分辨率改善图像质量的方法及装置
US10602132B2 (en) * 2018-03-06 2020-03-24 Varjo Technologies Oy Display apparatus and method of displaying using light source and controllable scanning mirror

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431690A (zh) * 2007-11-07 2009-05-13 索尼株式会社 图像处理设备,图像处理方法和图像处理程序
CN107430786A (zh) * 2015-06-12 2017-12-01 谷歌公司 用于头戴式显示器的电子显示稳定
CN105979360A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技（天津）有限公司 一种渲染图像的处理方法及装置
CN106683034A (zh) * 2016-12-29 2017-05-17 上海拆名晃信息科技有限公司 一种用于虚拟现实的异步时间卷曲计算方法
CN106971368A (zh) * 2017-01-18 2017-07-21 上海拆名晃信息科技有限公司 一种用于虚拟现实的同步时间卷曲计算方法
CN107153519A (zh) * 2017-04-28 2017-09-12 北京七鑫易维信息技术有限公司 图像传输方法、图像显示方法以及图像处理装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置

Also Published As

Publication number Publication date
US11043024B2 (en) 2021-06-22
US20200211269A1 (en) 2020-07-02
CN109727305A (zh) 2019-05-07

Similar Documents

Publication Publication Date Title
CN109727305B (zh) 虚拟现实系统画面处理方法、装置及存储介质
US11836289B2 (en) Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission
US10775886B2 (en) Reducing rendering computation and power consumption by detecting saccades and blinks
US10739849B2 (en) Selective peripheral vision filtering in a foveated rendering system
WO2020003860A1 (ja) 情報処理装置、情報処理方法、及びプログラム
TWI622957B (zh) 改善圖像品質的方法及虛擬實境裝置
TWI619092B (zh) 使用多分辨率改善圖像品質的方法及裝置
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
US11308685B2 (en) Rendering computer-generated reality text
CN110502097B (zh) 虚拟现实中的运动控制门户
KR20210044506A (ko) 증강 현실 객체를 표시하는 장치 및 그 동작 방법
CN107065164B (zh) 图像展示方法及装置
US20220036779A1 (en) Information processing apparatus, information processing method, and recording medium
KR102521557B1 (ko) 스크롤 입력에 기반하여 이미지 표시를 제어하는 전자 장치 및 방법
CN115914603A (zh) 图像渲染方法、头戴显示设备和可读存储介质
US11288873B1 (en) Blur prediction for head mounted devices
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium
US20240112303A1 (en) Context-Based Selection of Perspective Correction Operations
JP6713591B1 (ja) 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US20240070955A1 (en) Refinement of facial keypoint metadata generation for video conferencing or other applications
CN115686219A (zh) 图像渲染方法、头戴显示设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant