CN110520833B - 一种vr绘图方法、设备及系统 - Google Patents

一种vr绘图方法、设备及系统 Download PDF

Info

Publication number
CN110520833B
CN110520833B CN201780089661.8A CN201780089661A CN110520833B CN 110520833 B CN110520833 B CN 110520833B CN 201780089661 A CN201780089661 A CN 201780089661A CN 110520833 B CN110520833 B CN 110520833B
Authority
CN
China
Prior art keywords
nth
nth frame
frame image
time
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780089661.8A
Other languages
English (en)
Other versions
CN110520833A (zh
Inventor
王安立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI HEIM NETWORK TECHNOLOGY Co.,Ltd.
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN110520833A publication Critical patent/CN110520833A/zh
Application granted granted Critical
Publication of CN110520833B publication Critical patent/CN110520833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种VR绘图方法、设备及系统，涉及绘图技术领域，可以解决终端设备(01)的GPU(20)计算能力不足，导致的建立绘制图形所用的时间较长的问题。具体方案为：终端设备(01)确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据；终端设备(01)向VR设备(02)发送绘图指令；终端设备(01)根据第二绘制图形的第N帧图像数据，通过终端设备(01)中的第一GPU(20)建立第二绘制图形的第N帧图像；终端设备(01)向VR设备(02)发送第二绘制图形的第N帧图像；终端设备(01)向VR设备(02)发送控制指令。上述方案应用于建立绘制图形的图像的过程中。

Description

一种VR绘图方法、设备及系统
技术领域
本发明实施例涉及绘图技术领域，尤其涉及一种VR绘图方法、设备及系统。
背景技术
虚拟现实(Virtual Reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统的技术。VR技术可以利用终端设备的图形处理器(Graphic Processing Unit，GPU)和各种显示、控制等接口设备，在多维信息空间上创建一个虚拟信息环境，为用户提供身临其境的沉浸感。
在实际应用中，用户可以在佩戴VR设备，并在终端设备上进行操作后，在该VR设备的显示屏幕观看到具有3D效果的画面(即绘制图形)。请参考图1，其示出了现有的一种VR绘图系统的系统架构示意图。如图1所示，该VR绘图系统1可以包括：终端设备01和VR设备02。其中，终端设备01和VR设备02通信连接。如图1所示，终端设备01包括：处理器10、第一GPU20、存储器30和总线40。VR设备02包括：显示器，具体为第一显示器61和第二显示器62。其中，向左眼呈现的图形由第一GPU 20对左眼对应的绘制图形的每一帧图像处理得到，然后传输至第一显示器61显示；向右眼呈现的图形由第一GPU 20对右眼对应的绘制图形的每一帧图像处理得到，然后传输至第二显示器62显示。
由上可知，向左眼呈现的图形和向右眼呈现的图形均是由终端设备的第一GPU 20处理得到的，而第一GPU 20计算能力有限，因此第一GPU 20在处理向左眼呈现的图形和向右眼呈现的图形时，耗费时间比较长。
发明内容
本申请提供一种VR绘图方法、设备及系统，可以提高处理绘制图形的处理能力。
为达到上述目的，本申请采用如下技术方案：
本申请的第一方面，提供一种VR绘图方法，终端设备确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据；其中，N为大于或者等于1的正整数；终端设备向VR设备发送包含有第一绘制图形的第N帧图像数据的绘图指令，以指示VR设备根据第一绘制图形的第N帧图像数据通过VR设备中的第二GPU建立第一绘制图形的第N帧图像；终端设备根据第二绘制图形的第N帧图像数据，通过终端设备中的第一GPU建立第二绘制图形的第N帧图像；终端设备向VR设备发送第二绘制图形的第N帧图像，以指示VR设备显示第二绘制图形的第N帧图像；终端设备向VR设备发送控制指令，以指示VR设备同步显示第一绘制图形的第N帧图像。其中，第二绘制图形的第N帧图像和所述第一绘制图形的第N帧图像用于形成第N帧VR图像。本申请中，可以由终端设备中的第一GPU和VR设备中的第二GPU分别建立第二绘制图形的第N帧图像和第一绘制图形的第N帧图像，且第一GPU与第二GPU并行建立第二绘制图形的第N帧图像和第一绘制图形的第N帧图像；因此本发明实施例的方法减少了建立绘制图形的第N帧图像所用的时间，提高了处理绘制图形的处理能力。并且，通过VR核心处理元件控制第一GPU和第二GPU同步向VR设备的显示器发送绘制图形的第N帧图像，实现了第一显示器和第二显示器同步显示第N帧VR图像。
结合第一方面，在本申请的一种可能的实现方式中，上述控制指令可以包括第N次显示时刻。相应的，上述“终端设备向VR设备发送绘图指令”可以包括：终端设备根据第N次显示时刻确定VR设备的第N次绘画时刻；终端设备在VR设备的第N次绘画时刻之前向VR设备发送绘图指令。其中，VR设备的第N次绘画时刻早于第N次显示时刻，且与第N次显示时刻之间的时长大于或等于第二GPU建立第一绘制图形的第N帧图像所用的时长。其中，终端设备可以根据第N次显示时刻，确定向VR设备发送绘图指令的时刻，以使得VR设备可以在第N次显示时刻之前或者在第N次显示时刻完成第一绘制图形的第N帧图像的建立。
结合第一方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，上述“终端设备根据第二绘制图形的第N帧图像数据，通过终端设备中的第一GPU建立第二绘制图形的第N帧图像”可以包括：终端设备根据第N次显示时刻确定终端设备的第N次绘画时刻；终端设备在终端设备的第N次绘画时刻开始根据第二绘制图形的第N帧图像数据，通过第一GPU建立第二绘制图形的第N帧图像。其中，终端设备的第N次绘画时刻早于第N次显示时刻，且与第N次显示时刻之间的时长大于或等于第一GPU建立第二绘制图形的第N帧图像所用的时长。其中，终端设备可以根据第N次显示时刻，确定终端设备开始建立第二绘制图形的第N帧图像的时刻，以使得终端设备可以在第N次显示时刻之前或者在第N次显示时刻完成第二绘制图形的第N帧图像的建立。
结合第一方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，在上述“终端设备向VR设备发送绘图指令”之前，本申请的方法还可以包括：终端设备接收VR设备发送的、包含有VR设备的当前时刻的同步信号；终端设备根据VR设备的当前时刻，调整终端设备的当前时刻与VR设备的当前时刻相同。其中，终端设备调整终端设备的当前时刻与VR设备的当前时刻相同后，可以保证终端设备向VR设备发送第二绘制图形的第N帧图像，以及向VR设备发送控制指令时，VR设备可以在第N次显示时刻同步显示第二绘制图形的第N帧图像和第一绘制图形的第N帧图像。
结合第一方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，上述“终端设备确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据”可以包括：终端设备接收VR设备传输的传感数据；终端设备确定与该传感数据对应的第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。其中，由于第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据为终端设备获取的用户头部转动或移动后的数据，如用户的观看角度；因此终端设备根据第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据建立的绘制图形的图像，为满足用户意愿的图像，提升了用户的VR体验。
本申请的第二方面，提供一种VR绘图方法，VR设备接收终端设备发送的包含有第一绘制图形的第N帧图像数据的绘图指令，N为大于或者等于1的正整数；VR设备根据第一绘制图形的第N帧图像数据，通过VR设备中的第二GPU建立第一绘制图形的第N帧图像；VR设备接收终端设备发送的第二绘制图形的第N帧图像；VR设备接收终端设备发送的控制指令；VR设备显示第二绘制图形的第N帧图像，以及根据控制指令同步显示第一绘制图形的第N帧图像。其中，第二绘制图形的第N帧图像和第一绘制图形的第N帧图像用于形成第N帧VR图像。本申请中，可以由终端设备中的第一GPU和VR设备中的第二GPU分别建立第二绘制图形的第N帧图像和第一绘制图形的第N帧图像，且第一GPU与第二GPU并行建立第二绘制图形的第N帧图像和第一绘制图形的第N帧图像；因此本发明实施例的方法减少了建立绘制图形的第N帧图像所用的时间，提高了处理绘制图形的处理能力。并且，通过VR核心处理元件控制第一GPU和第二GPU同步向VR设备的显示器发送绘制图形的第N帧图像，实现了第一显示器和第二显示器同步显示第N帧VR图像。
结合第二方面，在本申请的一种可能的实现方式中，上述控制指令可以包括第N次显示时刻。相应的，上述“VR设备根据第一绘制图形的第N帧图像数据，通过VR设备中的第二GPU建立第一绘制图形的第N帧图像”可以包括：VR设备在VR设备的第N次绘画时刻开始根据第一绘制图形的第N帧图像数据，通过第二GPU建立第一绘制图形的第N帧图像。其中，VR设备的第N次绘画时刻早于第N次显示时刻，且与第N次显示时刻之间的时长大于或等于第二GPU建立第一绘制图形的第N帧图像所用的时长。其中，终端设备可以根据第N次显示时刻，确定向VR设备发送绘图指令的时刻，以使得VR设备可以在第N次显示时刻之前或者在第N次显示时刻完成第一绘制图形的第N帧图像的建立。
结合第二方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，在上述“VR设备接收终端设备发送的绘图指令”之前，本申请的方法还可以包括：VR设备向终端设备发送同步信号，该同步信号包括VR设备的当前时刻，该同步信号用于同步终端设备的当前时刻。其中，终端设备可以根据VR设备的当前时刻，调整终端设备的当前时刻与VR设备的当前时刻相同，保证了终端设备向VR设备发送第二绘制图形的第N帧图像，以及向VR设备发送控制指令时，VR设备可以在第N次显示时刻同步显示第二绘制图形的第N帧图像和第一绘制图形的第N帧图像。
结合第二方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，在上述“VR设备根据第一绘制图形的第N帧图像数据，通过VR设备中的第二GPU建立第一绘制图形的第N帧图像”之前，本申请的方法还可以包括：VR设备向终端设备发送传感数据，该传感数据用于终端设备确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。其中，终端设备根据第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据建立的绘制图形的图像，为满足用户意愿的图像，提升了用户的VR体验。
本申请的第三方面，提供一种终端设备，该终端设备可以包括：通信接口、处理器和第一GPU。其中，处理器，可以用于确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据，并生成绘图指令，N为大于或者等于1的正整数。通信接口，可以用于向VR设备发送包含有第一绘制图形的第N帧图像数据的绘图指令，以指示VR设备根据第一绘制图形的第N帧图像数据通过VR设备中的第二GPU建立第一绘制图形的第N帧图像。第一GPU，可以用于根据第二绘制图形的第N帧图像数据，建立第二绘制图形的第N帧图像。通信接口，还可以用于向VR设备发送第二绘制图形的第N帧图像，以指示VR设备显示第二绘制图形的第N帧图像。通信接口，还可以用于向VR设备发送控制指令，以指示VR设备同步显示第一绘制图形的第N帧图像。其中，第二绘制图形的第N帧图像和第一绘制图形的第N帧图像用于形成第N帧VR图像。
结合第三方面，在本申请的一种可能的实现方式中，上述控制指令可以包括第N次显示时刻。相应的，处理器，具体可以用于：根据第N次显示时刻确定VR设备的第N次绘画时刻；其中，VR设备的第N次绘画时刻早于第N次显示时刻，且与第N次显示时刻之间的时长大于或等于第二GPU建立第一绘制图形的第N帧图像所用的时长。通信接口，具体可以用于：在VR设备的第N次绘画时刻之前，向VR设备发送绘图指令。
结合第三方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，处理器，具体可以用于：根据第N次显示时刻确定终端设备的第N次绘画时刻；其中，终端设备的第N次绘画时刻早于第N次显示时刻，且与第N次显示时刻之间的时长大于或等于第一GPU建立第二绘制图形的第N帧图像所用的时长。第一GPU，具体可以用于：在终端设备的第N次绘画时刻开始根据第二绘制图形的第N帧图像数据，建立第二绘制图形的第N帧图像。
结合第三方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，通信接口，还可以用于在向VR设备发送绘图指令之前，接收VR设备发送的同步信号，该同步信号包括VR设备的当前时刻。处理器，还可以用于根据VR设备的当前时刻，调整终端设备的当前时刻与VR设备的当前时刻相同。
结合第三方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，通信接口，还可以用于接收VR设备传输的传感数据。处理器，还可以用于确定与传感数据对应的第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
结合第三方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，终端设备还可以包括：存储器。存储器，可以用于存储计算机执行指令，上述处理器、通信接口、第一GPU与存储器通过总线连接，当终端设备运行时，处理器执行存储器存储的计算机执行指令。
需要说明的是，第三方面及其各种可能的实现方式的各个功能单元的详细描述以及有益效果分析可以参考上述第一方面及其各种可能的实现方式中的对应描述及技术效果，此处不再赘述。
本申请的第四方面，提供一种计算机存储介质，该计算机存储介质中存储有一个或多个部分的程序代码，当第三方面中的终端设备或VR设备的至少一个处理器执行该程序代码时，可驱动所述终端设备或VR设备执行如第一方面、第二方面以及相应各种可选实施例方式所述的VR绘图方法。可选地，所述至少一个处理器可包括以下至少一个：处理器、GPU、或通信接口。
本申请的第五方面，提供一种VR设备，该VR设备可以包括：通信接口、第二GPU和显示部件。其中，通信接口，可以用于接收终端设备发送的、包含有第一绘制图形的第N帧图像数据的绘图指令，N为大于或者等于1的正整数。第二GPU，可以用于根据第一绘制图形的第N帧图像数据建立第一绘制图形的第N帧图像。通信接口，还可以用于接收终端设备发送的第二绘制图形的第N帧图像。通信接口，还可以可以用于接收终端设备发送的控制指令。显示部件，可以用于显示第二绘制图形的第N帧图像，以及根据控制指令同步显示第一绘制图形的第N帧图像。其中，第二绘制图形的第N帧图像和第一绘制图形的第N帧图像用于形成第N帧VR图像。
结合第五方面，在本申请的一种可能的实现方式中，上述控制指令可以包括第N次显示时刻。相应的，第二GPU，具体可以用于：在VR设备的第N次绘画时刻开始根据第一绘制图形的第N帧图像数据，建立第一绘制图形的第N帧图像。其中，VR设备的第N次绘画时刻早于第N次显示时刻，且与第N次显示时刻之间的时长大于或等于第二GPU建立第一绘制图形的第N帧图像所用的时长。
结合第五方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，通信接口，还可以用于在接收终端设备发送的绘图指令之前，向终端设备发送同步信号，该同步信号包括VR设备的当前时刻，该同步信号用于同步终端设备的当前时刻。
结合第五方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，VR设备还可以包括：传感器。传感器，可以用于在第二GPU根据第一绘制图形的第N帧图像数据，建立第一绘制图形的第N帧图像之前，获取传感数据，该传感数据用于终端设备确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。通信接口，还可以用于向终端设备发送传感数据。
需要说明的是，第五方面及其各种可能的实现方式的各个功能单元的详细描述以及有益效果分析可以参考上述第二方面及其各种可能的实现方式中的对应描述及技术效果，此处不再赘述。
本申请的第六方面，提供一种VR绘图装置，该VR绘图装置可以包括：确定模块、发送模块和建立模块。其中，确定模块，可以用于确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据，N为大于或者等于1的正整数。发送模块，可以用于向VR设备发送包含有第一绘制图形的第N帧图像数据的绘图指令，以指示VR设备根据第一绘制图形的第N帧图像数据通过VR设备中的第二GPU建立第一绘制图形的第N帧图像。建立模块，可以用于根据确定模块确定的第二绘制图形的第N帧图像数据，通过终端设备中的第一GPU建立第二绘制图形的第N帧图像。发送模块，还可以用于向VR设备发送建立模块建立的第二绘制图形的第N帧图像，以指示VR设备显示第二绘制图形的第N帧图像。发送模块，还可以用于向VR设备发送控制指令，以指示VR设备同步显示第一绘制图形的第N帧图像。其中，第二绘制图形的第N帧图像和第一绘制图形的第N帧图像用于形成第N帧VR图像。
结合第六方面，在本申请的一种可能的实现方式中，上述控制指令可以包括第N次显示时刻。相应的，发送模块，具体可以用于：根据第N次显示时刻确定VR设备的第N次绘画时刻；在VR设备的第N次绘画时刻之前向VR设备发送绘图指令。其中，VR设备的第N次绘画时刻早于第N次显示时刻，且与第N次显示时刻之间的时长大于或等于第二GPU建立第一绘制图形的第N帧图像所用的时长。
结合第六方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，建立模块，具体可以用于：根据第N次显示时刻确定终端设备的第N次绘画时刻；在终端设备的第N次绘画时刻开始根据确定模块确定的第二绘制图形的第N帧图像数据，通过第一GPU建立第二绘制图形的第N帧图像。其中，终端设备的第N次绘画时刻早于第N次显示时刻，且与第N次显示时刻之间的时长大于或等于第一GPU建立第二绘制图形的第N帧图像所用的时长。
结合第六方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，本申请中的VR绘图装置还可以包括：接收模块和调整模块。其中，接收模块，可以用于在发送模块向VR设备发送绘图指令之前，接收VR设备发送的同步信号，该同步信号包括VR设备的当前时刻。调整模块，可以用于根据VR设备的当前时刻，调整终端设备的当前时刻与VR设备的当前时刻相同。
结合第六方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，确定模块，具体可以用于：接收VR设备传输的传感数据；确定与传感数据对应的第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
需要说明的是，本发明实施例的第六方面及其各种可能的实现方式的各个功能单元，是为了执行上述第一方面以及第一方面的各种可选方式的VR绘图方法，而对VR绘图装置进行的逻辑上的划分。第六方面及其各种可能的实现方式的各个功能单元的详细描述以及有益效果分析可以参考上述第一方面及其各种可能的实现方式中的对应描述及技术效果，此处不再赘述。
本申请的第七方面，提供一种VR绘图装置，该VR绘图装置可以包括：接收模块、建立模块和显示模块。其中，接收模块，可以用于接收终端设备发送的包含有第一绘制图形的第N帧图像数据的绘图指令，N为大于或者等于1的正整数。建立模块，可以用于根据第一绘制图形的第N帧图像数据，通过VR设备中的第二GPU建立第一绘制图形的第N帧图像。接收模块，还可以用于接收终端设备发送发送的第二绘制图形的第N帧图像。接收模块，还可以用于接收终端设备发送的控制指令。显示模块，可以用于显示接收模块接收的第二绘制图形的第N帧图像，以及根据控制指令同步显示建立模块建立的第一绘制图形的第N帧图像。其中，第二绘制图形的第N帧图像和第一绘制图形的第N帧图像用于形成第N帧VR图像。
结合第七方面，在本申请的一种可能的实现方式中，上述控制指令可以包括第N次显示时刻。相应的，建立模块，具体可以用于：在VR设备的第N次绘画时刻开始根据第一绘制图形的第N帧图像数据，通过第二GPU建立第一绘制图形的第N帧图像。其中，VR设备的第N次绘画时刻早于第N次显示时刻，且与第N次显示时刻之间的时长大于或等于第二GPU建立第一绘制图形的第N帧图像所用的时长。
结合第七方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，本申请中的VR绘图装置还可以包括：发送模块。其中，发送模块，可以用于在接收模块接收终端设备发送的绘图指令之前，向终端设备发送同步信号，该同步信号包括VR设备的当前时刻，该同步信号用于同步终端设备的当前时刻。
结合第七方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，发送模块，还可以用于在建立模块根据第一绘制图形的第N帧图像数据，建立第一绘制图形的第N帧图像之前，向终端设备发送传感数据，该传感数据用于终端设备确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
需要说明的是，本发明实施例的第七方面及其各种可能的实现方式的各个功能单元，是为了执行上述第二方面以及第二方面的各种可选方式的VR绘图方法，而对VR绘图装置进行的逻辑上的划分。第七方面及其各种可能的实现方式的各个功能单元的详细描述以及有益效果分析可以参考上述第二方面及其各种可能的实现方式中的对应描述及技术效果，此处不再赘述。
本申请的第八方面，提供一种VR绘图系统，该VR绘图系统可以包括如第一方面以及其各种可能的实现方式所述的终端设备，以及如第二方面以及其各种可能的实现方式所述的VR设备。
附图说明
图1为现有的一种VR绘图系统的系统架构示意图；
图2为本发明实施例提供的一种VR绘图系统的系统架构示意图；
图3为本发明实施例提供的一种VR设备的结构示意图；
图4为本发明实施例提供的一种终端设备与VR设备各模块或组成部分之间的交互过程示意图；
图5为本发明实施例提供的一种VR绘图方法流程图一；
图6为本发明实施例提供的一种用户改变观看绘制图形的第N帧图像视角的实例示意图；
图7为本发明实施例提供的一种VR绘图方法流程图二；
图8为本发明实施例提供的一种VR核心处理元件确定VR设备的第N次绘画时刻的实例示意图；
图9为本发明实施例提供的一种VR核心处理元件确定终端设备的第N次绘画时刻的实例示意图；
图10为本发明实施例提供的一种VR绘图方法流程图三；
图11为本发明实施例提供的一种VR绘图装置的可能的示意图一；
图12为本发明实施例提供的一种VR绘图装置的可能的示意图二；
图13为本发明实施例提供的一种VR绘图装置的可能的示意图三；
图14为本发明实施例提供的一种VR绘图装置的可能的示意图四。
具体实施方式
本发明实施例提供一种VR绘图系统，如图2所示，该VR绘图系统2可以包括：终端设备01和VR设备03。
如图2所示，终端设备01包括处理器10、第一GPU 20、存储器30、总线40和通信接口50，处理器10上运行有VR客户端11和VR核心处理元件12。
VR设备03可以包括：显示器(如第一显示器61和第二显示器62)、集成电路模块70、显示控制系统80和传感器90。其中，集成电路模块70中包含有接收装置71和第二GPU 72。本发明实施例中的接收装置71和第二GPU72还可以运行在片上系统(System On Chip，SoC)上。
其中，终端设备01可以与VR设备03有线连接，也可以与VR设备03无线连接。处理器10、存储器30和第一GPU 20可以通过总线40相互连接，总线40可以是外设部件互连标准(英文：Peripheral Component Interconnect，简称：PCI)总线或扩展工业标准结构(英文：Extended Industry Standard Architecture，简称：EISA)总线等。上述总线40可以包括地址总线、数据总线、控制总线等。
其中，处理器10是终端设备01的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器10可以是一个中央处理单元(Central Processing unit，CPU)，也可以是专用集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路，例如：一个或多个微处理器，或，一个或多个数字信号处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)。处理器10可以通过运行或执行存储在存储器30内的软件程序，以及调用存储在存储器30内的数据，执行终端设备01的各种功能。
具体的，处理器10上运行有VR客户端11和VR核心处理元件12。VR客户端11是终端设备01的一种VR应用程序，VR客户端11可以与用户进行交互，例如，可以用于获取用户的操作指令，并根据用户的操作指令获取绘制图形的图像数据，例如本发明实施例中的第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据；其中N为大于或者等于1的正整数。VR核心处理元件12为终端设备01的图像处理的操作系统，VR核心处理元件12可以与VR客户端11交互，以获取相应的数据，并控制第一GPU 20和第二GPU 72处理绘制图形。
第一GPU 20和第二GPU 72分别为一种图像处理器，可以用于处理绘制图形。例如，第一GPU 20可以用于建立第一绘制图形的图像；第二GPU 72可以用于建立第二绘制图形的图像。
存储器30可以用于存储终端设备01中的运行数据或软件模块中的至少一项。例如，存储器30可以用于存储本发明实施例提供的绘制图形的第N帧图像数据。
通信接口50是一种用于数据和指令传输的通道。例如，通信接口50可以用于传输本发明实施例中的绘图指令。
第一显示器61和第二显示器62是一种输出设备，其是一种将设备中的数据显示到屏幕上再反射到人眼的显示工具。例如，每个显示器可以为液晶显示器(Liquid CrystalDisplay，LCD)或相应的显示驱动电路。第一显示器61和第二显示器62可以用于显示绘制图形。例如，第一显示器61可以用于显示第一绘制图形的第N帧图像，第二显示器62可以用于显示第二绘制图形的第N帧图像。
传感器90是一种检测装置，其可以感知到被测量的信息，并能将感知到的信息，按一定规律转换为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。传感器90可以用于感知用户的头部转动或移动，获取用户的头部转动或移动后，发生改变的绘制图形的图像数据，并将获取的绘制图形的图像数据通过VR核心处理元件12传输至VR客户端。本发明实施例中采用传感器90感知用户的头部转动或移动，获取用户的头部转动或移动后，发生改变的绘制图形的图像数据。
接收装置71可以是一种通信接口，用于接收终端设备01发送的数据或者指令等。例如，接收装置71可以用于接收终端设备01发送的包含有第一绘制图形的第N帧图像数据的绘图指令；接收装置71还可以与第二GPU 72交互，向第二GPU 72传输接收到的数据或者指令。示例性地，接收装置71可以是一种有线通信接口或无线通信接口，与通信接口50耦合并互相配合工作。终端设备01与接收装置71之间的各类信号或数据的传输都可以通过通信接口50进行。当通信接口50与接收装置71均是无线通信接口的时候，可以支持WiFi(无线保真)、蓝牙、红外NFC(近场通信)等无线通信协议或其他各类蜂窝无线通信协议。
显示控制系统80可以用于产生同步信号，还可以用于处理绘制图形的图像。例如，显示控制系统80可以用于产生本发明实施例提供的同步信号。显示控制系统80还可以用于对本发明实施例中的对第二绘制图形的第N帧图像的每个像素点进行扫描，即识别或处理每个像素点，并将扫描的结果传输至VR设备中的第二显示器62以进行显示。
进一步的，如图3所示，图2中的VR设备03的集成电路模块70中还可以包含有预测模块73，该预测模块73可以用于预测用户的观看绘制图形的视角，并向VR核心处理元件12发送预测结果；VR核心处理元件12将该预测结果发送至VR客户端11，VR客户端11根据该预测结果确定绘制图形的图像数据，并发送至VR核心处理元件12，以使得VR核心处理元件12能够根据该预测结果控制第一GPU 20和第二GPU 72处理绘制图形。该该预测模块73可以是一个处理器或硬件加速度计。
下面基于图4对图2中各模块或组成部分之间的交互过程进行简单说明。需要说明的是，用户在VR设备03的显示器上观看到的具有3D效果的绘制图形，是由GPU对绘制图形的每一帧图像处理得到的，GPU对绘制图形的一帧图像处理后，会继续处理绘制图形的下一帧图像。图4中仅以GPU处理绘制图形的第N帧图像为例，对VR绘图方法进行说明。
具体的，如图4所示，VR客户端11可以根据用户的操作指令，确定绘制图形的第N帧图像数据(如第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据)，绘制图形的第N帧图像数据可以来自传感器90，例如摄像头的采集数据，也可以是存储器30中已存储的数据；VR客户端11将该绘制图形的第N帧图像数据发送至VR核心处理元件12；VR核心处理元件12在接收到绘制图形的第N帧图像数据后，向接收装置71发送包含有第一绘制图形的第N帧图像数据的绘图指令，接收装置71将接收到的绘图指令发送至第二GPU 72，使得第二GPU 72根据绘图指令中包含的第一绘制图形的第N帧图像数据建立第一绘制图形的第N帧图像；VR核心处理元件12在向接收装置71发送绘图指令后，以指令的形式向第一GPU 20发送第二绘制图形的第N帧图像数据，使得第一GPU 20根据第二绘制图形的第N帧图像数据建立第二绘制图形的第N帧图像；VR核心处理元件12控制第一GPU 20向第二显示器62发送第二绘制图形的第N帧图像，以及控制第二GPU 72向第一显示器61发送第一绘制图形的第N帧图像，使得第二显示器62显示第二绘制图形的第N帧图像，第一显示器61同步显示第一绘制图形的第N帧图像。
基于图2所示的VR绘图系统以及图4中各模块或组成部分之间的交互过程，本发明实施例提供一种VR绘图方法，该方法对图2所示的VR绘图系统中的终端设备01和VR设备03交互过程，进行了详细的介绍。具体的，如图5所示，该VR绘图方法可以包括S501-S514：
S501、VR客户端确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
其中，N为大于或者等于1的正整数。VR客户端可以根据用户的操作指令，确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
示例性的，VR客户端可以根据用户的操作指令，在终端设备的存储器内存储的数据中调取第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据；VR客户端也可以接收VR设备传输的传感数据(传感器采集的数据)，确定与传感数据对应的第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
例如，用户佩戴VR设备，并打开手机中的VR客户端，假设打开VR客户端后，手机屏幕显示的当前画面(2D)为绘制图形的第N帧图像，VR客户端可以从手机的存储器中存储的绘制图形的每一帧图像数据中调取绘制图形的第N帧图像数据(即第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据)。
或者，用户在佩戴VR设备后，用户可以通过头部转动或移动的方式，改变观看绘制图形的视角。如图6所示，用户可以通过俯仰(Pitch)，即头部绕X轴旋转的方式，或者通过转动(Yaw)，即头部绕Y轴旋转的方式，或者通过横滚(Roll)，即头部绕Z轴旋转的方式，改变观看绘制图形的视角。当用户的头部转动或者移动时，VR设备的传感器会采集传感数据，并将采集的传感数据传输至VR客户端；VR客户端根据传感数据，在手机的存储器中存储的绘制图形的每一帧图像数据中调取与传感数据对应的绘制图形的第N帧图像数据。
本发明实施例中的第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据，可以包括用户观看绘制图形的第N帧图像的角度、顶点数据和坐标数据等。
S502、VR客户端向VR核心处理元件发送第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
其中，VR核心处理元件是终端设备的控制中心，VR客户端可以向VR核心处理元件发送绘制图形的第N帧图像数据，使得VR核心处理元件可以控制一个或多个GPU根据绘制图形的第N帧图像数据建立绘制图形的第N帧图像。
S503、VR核心处理元件接收第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
S504、VR核心处理元件向接收装置发送绘图指令。
其中，绘图指令中包含第一绘制图形的第N帧图像数据。绘图指令用于指示VR设备中的第二GPU建立第一绘制图形的第N帧图像。VR核心处理元件在接收到第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据后，会以指令的形式将第一绘制图形的第N帧图像数据发送至VR设备中的接收装置。
示例性的，终端设备可以通过与VR设备有线连接的方式传输绘图指令；终端设备也可以通过与VR设备无线连接的方式传输绘图指令。
例如，终端设备可以通过通信接口(终端设备和VR设备的通信接口)和通用串行总线(Universal Serial Bus，USB)中的至少一项，向VR设备传输绘图指令，具体参考通信接口50和接收装置71；终端设备可以通过与VR设备建立实时网络链接的方式，向VR设备传输绘图指令。
S505、接收装置接收绘图指令，并向第二GPU发送绘图指令。
S506、第二GPU接收绘图指令，并根据第一绘制图形的第N帧图像数据建立第一绘制图形的第N帧图像。
一般而言，GPU建立第一绘制图形的第N帧图像的过程为：顶点处理，即根据绘制图形第N帧图像数据，确定绘制图形第N帧图像的形状以及位置关系，建立绘制图形第N帧图像的骨架(如多边形)；光栅化计算，即通过一定的算法将绘制图形第N帧图像映射到相应的像素点上；像素处理，即在对每个像素进行光栅化处理期间，完成对像素的计算和处理，从而确定每个像素的最终属性；纹理帖图，即着色处理，完成对多边形表面的帖图，通俗的说，就是将多边形的表面贴上相应的图片，从而生成“真实”的图形。
例如，绘图指令中的第一绘制图形的第N帧图像数据包括第一绘制图形的第N帧图像的角度、顶点数据和坐标数据；第二GPU根据第一绘制图形的第N帧图像的角度、顶点数据和坐标数据，建立一个球形，将球形映射到相应的像素点上，并对其进行着色处理，得到一个具有3D效果的球体。
S507、VR核心处理元件向第一GPU发送第二绘制图形的第N帧图像数据。
其中，VR核心处理元件在向VR设备的接收装置发送绘图指令之后，以指令的形式将第二绘制图形的第N帧图像数据发送至第一GPU。
例如，第二绘制图形的第N帧图像数据包括第二绘制图形的第N帧图像的角度、顶点数据和坐标数据。
S508、第一GPU接收第二绘制图形的第N帧图像数据，并根据第二绘制图形的第N帧图像数据建立第二绘制图形的第N帧图像。
例如，第一GPU可以根据第二绘制图形的第N帧图像的角度、顶点数据和坐标数据，建立另一个球形，将该球形映射到相应的像素点上，并对其进行着色处理，得到一个具有3D效果的球体。
本发明实施例中，由于第一绘制图形的第N帧图像由VR设备中的第二GPU建立，第二绘制图形的第N帧图像由终端设备中的第一GPU建立，且第二GPU与第一GPU是并行处理绘制图形的第N帧图像数据，因此可以减少现有技术中仅有一个GPU建立绘制图形的第N帧图像时所用的时间。
S509、第一GPU根据VR核心处理元件的控制，向第二显示器发送第二绘制图形的第N帧图像。
其中，VR核心处理元件可以获知第一GPU完成建立第二绘制图形的第N帧图像的时刻；VR核心处理元件在第一GPU完成建立第二绘制图形的第N帧图像后，控制第一GPU将第二绘制图形的第N帧图像发送至VR设备中的第二显示器。
具体的，终端设备中设置有第一显示控制系统，VR核心处理元件可以控制第一GPU将第二绘制图形的第N帧图像发送至第一显示控制系统；第一显示控制系统对第二绘制图形的第N帧图像进行处理，即对第二绘制图形的第N帧图像的每个像素点进行扫描，并将扫描的结果传输至VR设备中的第二显示器。
示例性的，假设第一GPU在t1时刻完成建立第二绘制图形的第N帧图像，第二GPU在t2时刻完成建立第一绘制图形的第N帧图像，VR核心处理元件预先设置的第N次显示时刻(即VR设备的显示器显示绘制图形的第N帧图像的时刻)为t3时刻。VR核心处理元件控制第一GPU在t3时刻将第二绘制图形的第N帧图像发送至第一显示控制系统进行处理，第一显示控制系统在t3时刻(t3时刻晚于或者等于t2时刻)将处理后的第二绘制图形的第N帧图像发送至第二显示器。
需要说明的是，t1时刻和t2时刻没有时间的前后关系，t1时刻可能等于t2时刻，t1时刻可能早于t2时刻，t1时刻也可能晚于t2时刻，此处仅以t1时刻早于t2时刻为例，对VR核心处理元件控制第一GPU发送第二绘制图形的第N帧图像的时刻进行描述。并且，从第一GPU发送第二绘制图形的第N帧图像，到第一显示控制系统处理第二绘制图形的第N帧图像，并将处理后的第二绘制图形的第N帧图像发送至第二显示器的时间很短，可以忽略不计。
S510、VR核心处理元件向接收装置发送控制指令。
其中，VR核心处理元件在第二GPU完成建立第一绘制图形的第N帧图像后，在预先设置的第N次显示时刻向VR设备的接收装置发送控制指令。
示例性的，VR核心处理元件可以在t3时刻向接收装置发送控制指令。
S511、接收装置接收控制指令，并向第二GPU发送该控制指令。
其中，控制指令用于指示第二GPU将第一绘制图形的第N帧图像发送至VR设备中的显示器。
S512、第二GPU接收控制指令，并根据该控制指令将第一绘制图形的第N帧图像发送至第一显示器。
具体的，VR设备中设置有第二显示控制系统，VR核心处理元件可以通过发送控制指令的方式控制第二GPU将第一绘制图形的第N帧图像发送至第二显示控制系统；第二显示控制系统对第一绘制图形的第N帧图像进行处理，即对第一绘制图形的第N帧图像的每个像素点进行扫描，并将扫描的结果传输至VR设备中的第一显示器。本发明实施例中的第二显示控制系统可以为图2或图3所示的显示控制系统80。
示例性的，VR核心处理元件可以控制第二GPU在t3时刻将第一绘制图形的第N帧图像发送至第二显示控制系统进行处理，第二显示控制系统在t3时刻将处理后的第一绘制图形的第N帧图像发送至第一显示器。
S513、第二显示器显示第二绘制图形的第N帧图像。
S514、第一显示器同步显示第一绘制图形的第N帧图像。
其中，第二绘制图形的第N帧图像和第一绘制图形的第N帧图像用于在第一显示器61和第二显示器62上形成第N帧VR图像。
示例性的，第一显示器和第二显示器均在t3时刻显示第N帧VR图像。
本发明实施例提供一种VR绘图方法，可以由终端设备中的第一GPU和VR设备中的第二GPU分别建立第二绘制图形的第N帧图像和第一绘制图形的第N帧图像，且第一GPU与第二GPU并行建立第二绘制图形的第N帧图像和第一绘制图形的第N帧图像；因此本发明实施例的方法减少了建立绘制图形的第N帧图像所用的时间，提高了处理绘制图形的处理能力。并且，通过VR核心处理元件控制第一GPU和第二GPU同步向VR设备的显示器发送绘制图形的第N帧图像，实现了第一显示器和第二显示器同步显示第N帧VR图像。
进一步的，本发明实施例中的控制指令可以包括第N次显示时刻，VR核心处理元件可以根据第N次显示时刻，确定向VR设备发送绘图指令的时刻以及通过第一GPU建立第二绘制图形的第N帧图像的时刻。相应的，如图7所示，其示出了本发明实施例提供的另一种VR绘图方法，与图5所示的VR绘图方法相比，主要是用S504a和S504b替换了S504，用S507a和S507b替换了S507，用S508a替换了S508，在此只对不同的地方进行详细说明，参见图7，该方法包括：
S501、VR客户端确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
S502、VR客户端向VR核心处理元件发送第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
S503、VR核心处理元件接收第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
S504a、VR核心处理元件根据第N次显示时刻确定VR设备的第N次绘画时刻。
其中，VR核心处理元件可以获取第二GPU建立第一绘制图形的第N帧图像所用的时长，并根据第N次显示时刻(即VR设备显示第一绘制图形的第N帧图像和第二绘制图形的第N帧图像的时刻)，确定VR设备的第N次绘画时刻(即第二GPU开始建立第一绘制图形的第N帧图像的时刻)，以使得VR设备的第N次绘画时刻早于第N次显示时刻，且与第N次显示时刻之间的时长大于或等于第二GPU建立第一绘制图形的第N帧图像所用的时长。
例如，如图8所示，假设第N次显示时刻为t3时刻，VR核心处理元件获取的第二GPU建立第一绘制图形的第N帧图像所用的时长(简称第一时长)为x1(ms)，如图8中的t4时刻到t3时刻的时长；则VR核心处理元件确定的VR设备的第N次绘画时刻为t5时刻到t4时刻中的任一时刻(如t6时刻)，t6时刻早于t3时刻，且与t3时刻之间的时长x2大于x1。
S504b、VR核心处理元件在VR设备的第N次绘画时刻之前向接收装置发送绘图指令。
例如，VR核心处理元件可以在如图8所示的t6时刻之前向接收装置发送绘图指令。
S505、接收装置接收绘图指令，并向第二GPU发送绘图指令。
S506、第二GPU接收绘图指令，并根据第一绘制图形的第N帧图像数据建立第一绘制图形的第N帧图像。
S507a、VR核心处理元件根据第N次显示时刻确定终端设备的第N次绘画时刻。
其中，VR核心处理元件可以获取第一GPU建立第二绘制图形的第N帧图像所用的时长，并根据第N次显示时刻，确定终端设备的第N次绘画时刻(即第一GPU开始建立第二绘制图形的第N帧图像的时刻)，终端设备的第N次绘画时刻早于第N次显示时刻，且与第N次显示时刻之间的时长大于或等于第一GPU建立第二绘制图形的第N帧图像所用的时长。
例如，如图9所示，假设第N次显示时刻为t3时刻，VR核心处理元件获取的第一GPU建立第二绘制图形的第N帧图像所用的时长(简称第二时长)为x3(ms)，如图9中的t7时刻到t3时刻的时长；则VR核心处理元件确定的终端设备的第N次绘画时刻为t8时刻到t7时刻中的任一时刻(如t8时刻)，t8时刻早于t3时刻，且与t3时刻之间的时长x4大于x3。
S507b、VR核心处理元件在终端设备的第N次绘画时刻向第一GPU发送第二绘制图形的第N帧图像数据。
例如，VR核心处理元件可以在如图9所示的t8时刻向第一GPU发送第二绘制图形的第N帧图像数据。
需要说明的是，从VR核心处理元件向第一GPU发送第二绘制图形的第N帧图像，到第一GPU接收第二绘制图形的第N帧图像的时间很短，可以忽略不计。
S508a、第一GPU在终端设备的第N次绘画时刻接收第二绘制图形的第N帧图像数据，并开始根据第二绘制图形的第N帧图像数据建立第二绘制图形的第N帧图像。
S509、第一GPU根据VR核心处理元件的控制，向第二显示器发送第二绘制图形的第N帧图像。
S510、VR核心处理元件向接收装置发送控制指令。
S511、接收装置接收控制指令，并向第二GPU发送该控制指令。
S512、第二GPU接收控制指令，并根据该控制指令将第一绘制图形的第N帧图像发送至第一显示器。
S513、第二显示器显示第二绘制图形的第N帧图像。
S514、第一显示器同步显示第一绘制图形的第N帧图像。
进一步的，VR核心处理元件可以根据VR设备中的显示控制系统发送的同步信号，调整终端设备的当前时刻与VR设备的当前时刻相同，以保证第一显示器和第二显示器能够在第N次显示时刻同步显示第N帧VR图像。具体的，与图5或者图7所示的VR绘图方法相比，主要是在S504或者S504b之前增加了S1001-S1003。如图10所示，与图5所示的VR绘图方法相比，其示出了本发明实施例提供的另一种VR绘图方法，该方法包括：
S1001、显示控制系统向VR核心处理元件发送同步信号。
其中，显示控制系统可以在VR设备的显示器每次显示绘制图形的图像时，向VR核心处理元件发送同步信号。
S1002、VR核心处理元件接收第N同步信号。
其中，同步信号包括VR设备的当前时刻，该同步信号用于同步终端设备的当前时刻。
S1003、VR核心处理元件根据VR设备的当前时刻，调整终端设备的当前时刻与VR设备的当前时刻相同。
其中，终端设备的当前时刻与VR设备的当前时刻可能不同，会导致VR核心处理元件在向VR设备发送控制指令时，控制指令中包含的第N次显示时刻与VR设备的第N次显示时刻可能不同，从而会导致VR设备的显示器并不能够在第N次显示时刻同步分别显示第一绘制图形的第N帧图像和第二绘制图形的第N帧图像。如采用本发明实施例所提供的时间校准方法，终端设备调整终端设备的当前时刻与VR设备的当前时刻相同后，可以保证终端设备向VR设备发送第二绘制图形的第N帧图像，以及向VR设备发送控制指令时，VR设备可以在第N次显示时刻同步显示第二绘制图形的第N帧图像和第一绘制图形的第N帧图像。
上述主要从终端设备和VR设备的角度对本发明实施例提供的方案进行了介绍。可以理解的是，终端设备和VR设备为了实现上述功能，其包含了执行各个功能相应的硬件结构或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的终端设备和VR设备及算法步骤，每个设备的每个部分功能能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能。
结合图2与图5、图7、图10中的相关方法步骤，VR客户端11用于支持上述实施例中的S501和S502，或进一步地用于本文所描述的技术的其它过程。VR核心处理元件12用于支持上述实施例中的S503、S504、S507、S509、S510、S504a、S504b、S507a、S507b、S1002和S1003，或进一步地用于本文所描述的技术的其它过程。第一GPU 20用于支持上述实施例中的S508和S508a，或进一步地用于本文所描述的技术的其它过程。
接收装置71用于支持上述实施例中的S505和S511，或进一步地用于本文所描述的技术的其它过程。第二GPU 72用于支持上述实施例中的S506和S512，或进一步地用于本文所描述的技术的其它过程。第一显示器51用于支持上述实施例中的S514，或进一步地用于本文所描述的技术的其它过程。第二显示器62用于支持上述实施例中的S513，或进一步地用于本文所描述的技术的其它过程。显示控制系统80用于支持上述实施例中的S1001，或进一步地用于本文所描述的技术的其它过程。
图11示出了一种可能的VR绘图装置的实施例示意图。该VR绘图装置1100可以包括：确定模块1101、发送模块1102和建立模块1103。其中，确定模块1101的功能可以通过图2所示的处理器10实现。发送模块1102的功能可以通过图2所示的通信接口50实现。建立模块1103的功能可以通过图2所示的第一GPU 20实现。进一步的，如图12所示，图11所示的VR绘图装置1100还可以包括：接收模块1104和调整模块1105。其中，接收模块1104的功能可以通过图2所示的通信接口50实现。调整模块1105的功能可以通过图2所示的处理器10实现。可选地，确定模块1101、发送模块1102、建立模块1103、接收模块1104和调整模块1105可以是软件或软件与硬件结合实现。当然，本发明实施例提供的VR绘图装置1100包括但不限于上述所述的模块，例如VR绘图装置1100中还可以包括存储模块。存储模块可以用于存储本发明实施例中的第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。存储模块的功能可以通过可以图2所示的存储器30实现。
图13示出了另一种可能的VR绘图装置的实施例示意图，该VR绘图装置1300包括：接收模块1301、建立模块1302和显示模块1303。其中，接收模块1301的功能可以通过可以图2所示的接收装置71实现。建立模块1302的功能可以通过可以图2所示的第二GPU 72实现。显示模块1303的功能可以通过可以图2所示的第一显示器61和第二显示器62实现。进一步的，如图14所示，图13所示的VR绘图装置1300还可以包括：发送模块1304。其中，发送模块1304的功能可以通过可以图2所示的接收装置71实现。可选地，接收模块1301、建立模块1302、显示模块1303和发送模块1304可以是软件或软件与硬件结合实现。
当然，本发明实施例提供的VR绘图装置1300包括但不限于上述所述的模块，例如VR绘图装置1300中还可以包括存储模块。存储模块，可以用于存储本发明实施例中的第一绘制图形的第N帧图像。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明的涉及方法流程的实施例如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本发明实施例还提供一种计算机存储介质，该计算机存储介质中存储有一个或多个部分的程序代码，当图2中的处理器10、通信接口40、第一GPU20、第二GPU72和接收装置71的至少一个执行该程序代码时，驱动图2所示的终端设备01或VR设备03执行图5、图7和图10中任一附图中的与对应设备相关的方法步骤。
基于这样的理解，相关方法实施例的全部或部分流程可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备或至少一个处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (29)

1.一种虚拟现实VR绘图方法，其特征在于，所述方法包括：
终端设备确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据；其中，所述N为大于或者等于1的正整数；
所述终端设备向VR设备发送绘图指令，以指示所述VR设备根据所述第一绘制图形的第N帧图像数据通过所述VR设备中的第二图形处理器GPU建立所述第一绘制图形的第N帧图像，所述绘图指令中包含所述第一绘制图形的第N帧图像数据；
所述终端设备根据所述第二绘制图形的第N帧图像数据，通过所述终端设备中的第一GPU建立所述第二绘制图形的第N帧图像；
所述终端设备向所述VR设备发送所述第二绘制图形的第N帧图像，以指示所述VR设备显示所述第二绘制图形的第N帧图像；
所述终端设备向所述VR设备发送控制指令，以指示所述VR设备同步显示所述第一绘制图形的第N帧图像；其中，所述第二绘制图形的第N帧图像和所述第一绘制图形的第N帧图像用于形成第N帧VR图像。
2.根据权利要求1所述的VR绘图方法，其特征在于，所述控制指令包括第N次显示时刻；
所述终端设备向VR设备发送绘图指令，包括：
所述终端设备根据所述第N次显示时刻确定所述VR设备的第N次绘画时刻；其中，所述VR设备的第N次绘画时刻早于所述第N次显示时刻，且与所述第N次显示时刻之间的时长大于或等于所述第二GPU建立所述第一绘制图形的第N帧图像所用的时长；
所述终端设备在所述VR设备的第N次绘画时刻之前向所述VR设备发送所述绘图指令。
3.根据权利要求1或2所述的VR绘图方法，其特征在于，所述控制指令包括第N次显示时刻；
所述终端设备根据所述第二绘制图形的第N帧图像数据，通过所述终端设备中的第一GPU建立所述第二绘制图形的第N帧图像，包括：
所述终端设备根据所述第N次显示时刻确定所述终端设备的第N次绘画时刻；其中，所述终端设备的第N次绘画时刻早于所述第N次显示时刻，且与所述第N次显示时刻之间的时长大于或等于所述第一GPU建立所述第二绘制图形的第N帧图像所用的时长；
所述终端设备在所述终端设备的第N次绘画时刻开始根据所述第二绘制图形的第N帧图像数据，通过所述第一GPU建立所述第二绘制图形的第N帧图像。
4.根据权利要求1或2所述的VR绘图方法，其特征在于，在所述终端设备向VR设备发送绘图指令之前，所述方法还包括：
终端设备接收所述VR设备发送的同步信号，所述同步信号包括所述VR设备的当前时刻；
所述终端设备根据所述VR设备的当前时刻，调整所述终端设备的当前时刻与所述VR设备的当前时刻相同。
5.根据权利要求1或2所述的VR绘图方法，其特征在于，所述终端设备确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据，包括：
所述终端设备接收所述VR设备传输的传感数据；
所述终端设备确定与所述传感数据对应的所述第一绘制图形的第N帧图像数据和所述第二绘制图形的第N帧图像数据。
6.一种虚拟现实VR绘图方法，其特征在于，所述方法包括：
VR设备接收终端设备发送的绘图指令，所述绘图指令中包含第一绘制图形的第N帧图像数据；其中，所述N为大于或者等于1的正整数；
所述VR设备根据所述第一绘制图形的第N帧图像数据，通过所述VR设备中的第二图形处理器GPU建立所述第一绘制图形的第N帧图像；
所述VR设备接收所述终端设备发送的第二绘制图形的第N帧图像；
所述VR设备接收所述终端设备发送的控制指令；
所述VR设备显示所述第二绘制图形的第N帧图像，以及根据所述控制指令同步显示所述第一绘制图形的第N帧图像；其中，所述第二绘制图形的第N帧图像和所述第一绘制图形的第N帧图像用于形成第N帧VR图像。
7.根据权利要求6所述的VR绘图方法，其特征在于，所述控制指令包括第N次显示时刻；
所述VR设备根据所述第一绘制图形的第N帧图像数据，通过所述VR设备中的第二图形处理器GPU建立所述第一绘制图形的第N帧图像，包括：
所述VR设备在所述VR设备的第N次绘画时刻开始根据所述第一绘制图形的第N帧图像数据，通过所述第二GPU建立所述第一绘制图形的第N帧图像；其中，所述VR设备的第N次绘画时刻早于所述第N次显示时刻，且与所述第N次显示时刻之间的时长大于或等于所述第二GPU建立所述第一绘制图形的第N帧图像所用的时长。
8.根据权利要求6或7所述的VR绘图方法，其特征在于，在VR设备接收终端设备发送的绘图指令之前，所述方法还包括：
所述VR设备向所述终端设备发送同步信号，所述同步信号包括所述VR设备的当前时刻，所述同步信号用于同步所述终端设备的当前时刻。
9.根据权利要求6或7所述的VR绘图方法，其特征在于，在所述VR设备根据所述第一绘制图形的第N帧图像数据，通过所述VR设备中的第二图形处理器GPU建立所述第一绘制图形的第N帧图像之前，所述方法还包括：
所述VR设备向所述终端设备发送传感数据，所述传感数据用于所述终端设备确定所述第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
10.一种终端设备，其特征在于，包括：通信接口、处理器和第一图形处理器GPU；
所述处理器，用于确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据，并生成绘图指令；其中，所述N为大于或者等于1的正整数；
所述通信接口，用于向虚拟现实VR设备发送所述绘图指令，以指示所述VR设备根据所述第一绘制图形的第N帧图像数据通过所述VR设备中的第二GPU建立所述第一绘制图形的第N帧图像，所述绘图指令中包含所述第一绘制图形的第N帧图像数据；
所述第一GPU，用于根据所述第二绘制图形的第N帧图像数据，建立所述第二绘制图形的第N帧图像；
所述通信接口，还用于向所述VR设备发送所述第二绘制图形的第N帧图像，以指示所述VR设备显示所述第二绘制图形的第N帧图像；
所述通信接口，还用于向所述VR设备发送控制指令，以指示所述VR设备同步显示所述第一绘制图形的第N帧图像；其中，所述第二绘制图形的第N帧图像和所述第一绘制图形的第N帧图像用于形成第N帧VR图像。
11.根据权利要求10所述的终端设备，其特征在于，所述控制指令包括第N次显示时刻；
所述处理器，具体用于：
根据所述第N次显示时刻确定所述VR设备的第N次绘画时刻；其中，所述VR设备的第N次绘画时刻早于所述第N次显示时刻，且与所述第N次显示时刻之间的时长大于或等于所述第二GPU建立所述第一绘制图形的第N帧图像所用的时长；
所述通信接口，具体用于：
在所述VR设备的第N次绘画时刻之前，向所述VR设备发送所述绘图指令。
12.根据权利要求10或11所述的终端设备，其特征在于，所述控制指令包括第N次显示时刻；
所述处理器，具体用于：
根据所述第N次显示时刻确定所述终端设备的第N次绘画时刻；其中，所述终端设备的第N次绘画时刻早于所述第N次显示时刻，且与所述第N次显示时刻之间的时长大于或等于所述第一GPU建立所述第二绘制图形的第N帧图像所用的时长；
第一GPU，具体用于：
在所述终端设备的第N次绘画时刻开始根据所述第二绘制图形的第N帧图像数据，建立所述第二绘制图形的第N帧图像。
13.根据权利要求10或11所述的终端设备，其特征在于，所述通信接口，还用于在向所述VR设备发送所述绘图指令之前，接收所述VR设备发送的同步信号，所述同步信号包括所述VR设备的当前时刻；
所述处理器，还用于根据所述VR设备的当前时刻，调整所述终端设备的当前时刻与所述VR设备的当前时刻相同。
14.根据权利要求10或11所述的终端设备，其特征在于，所述通信接口，还用于接收所述VR设备传输的传感数据；
所述处理器，还用于确定与所述传感数据对应的所述第一绘制图形的第N帧图像数据和所述第二绘制图形的第N帧图像数据。
15.根据权利要求10或11所述的终端设备，其特征在于，所述终端设备还包括：存储器；
所述存储器，用于存储计算机执行指令，所述处理器、所述通信接口、所述第一GPU与所述存储器通过总线连接，当所述终端设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令。
16.一种虚拟现实VR设备，其特征在于，包括：通信接口、第二图形处理器GPU和显示部件；
所述通信接口，用于接收终端设备发送的绘图指令，所述绘图指令中包含第一绘制图形的第N帧图像数据；其中，所述N为大于或者等于1的正整数；
所述第二GPU，用于根据所述第一绘制图形的第N帧图像数据建立所述第一绘制图形的第N帧图像；
所述通信接口，还用于接收所述终端设备发送的第二绘制图形的第N帧图像；
所述通信接口，还用于接收所述终端设备发送的控制指令；
所述显示部件，用于显示所述第二绘制图形的第N帧图像，以及根据所述控制指令同步显示所述第一绘制图形的第N帧图像；其中，所述第二绘制图形的第N帧图像和所述第一绘制图形的第N帧图像用于形成第N帧VR图像。
17.根据权利要求16所述的VR设备，其特征在于，所述控制指令包括第N次显示时刻；
所述第二GPU，具体用于：
在所述VR设备的第N次绘画时刻开始根据所述第一绘制图形的第N帧图像数据，建立所述第一绘制图形的第N帧图像；其中，所述VR设备的第N次绘画时刻早于所述第N次显示时刻，且与所述第N次显示时刻之间的时长大于或等于所述第二GPU建立所述第一绘制图形的第N帧图像所用的时长。
18.根据权利要求16或17所述的VR设备，其特征在于，所述通信接口，还用于在接收所述终端设备发送的所述绘图指令之前，向所述终端设备发送同步信号，所述同步信号包括所述VR设备的当前时刻，所述同步信号用于同步所述终端设备的当前时刻。
19.根据权利要求16或17所述的VR设备，其特征在于，所述VR设备还包括：传感器；
所述传感器，用于在所述第二GPU根据所述第一绘制图形的第N帧图像数据，建立所述第一绘制图形的第N帧图像之前，获取传感数据；其中，所述传感数据用于所述终端设备确定所述第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据；
所述通信接口，还用于向所述终端设备发送所述传感数据。
20.一种虚拟现实VR绘图装置，其特征在于，所述VR绘图装置包括：
确定模块，用于确定第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据；其中，所述N为大于或者等于1的正整数；
发送模块，用于向VR设备发送绘图指令，以指示所述VR设备根据所述第一绘制图形的第N帧图像数据通过所述VR设备中的第二图形处理器GPU建立所述第一绘制图形的第N帧图像，所述绘图指令中包含所述确定模块确定的第一绘制图形的第N帧图像数据；
建立模块，用于根据所述确定模块确定的所述第二绘制图形的第N帧图像数据，通过终端设备中的第一GPU建立所述第二绘制图形的第N帧图像；
所述发送模块，还用于向所述VR设备发送所述建立模块建立的所述第二绘制图形的第N帧图像，以指示所述VR设备显示所述第二绘制图形的第N帧图像；
所述发送模块，还用于向所述VR设备发送控制指令，以指示所述VR设备同步显示所述第一绘制图形的第N帧图像；其中，所述第二绘制图形的第N帧图像和所述第一绘制图形的第N帧图像用于形成第N帧VR图像。
21.根据权利要求20所述的VR绘图装置，其特征在于，所述控制指令包括第N次显示时刻；
所述发送模块，具体用于：
根据所述第N次显示时刻确定所述VR设备的第N次绘画时刻；其中，所述VR设备的第N次绘画时刻早于所述第N次显示时刻，且与所述第N次显示时刻之间的时长大于或等于所述第二GPU建立所述第一绘制图形的第N帧图像所用的时长；
在所述VR设备的第N次绘画时刻之前向所述VR设备发送所述绘图指令。
22.根据权利要求20或21所述的VR绘图装置，其特征在于，所述控制指令包括第N次显示时刻；
所述建立模块，具体用于：
根据所述第N次显示时刻确定所述终端设备的第N次绘画时刻；其中，所述终端设备的第N次绘画时刻早于所述第N次显示时刻，且与所述第N次显示时刻之间的时长大于或等于所述第一GPU建立所述第二绘制图形的第N帧图像所用的时长；
在所述终端设备的第N次绘画时刻开始根据所述确定模块确定的所述第二绘制图形的第N帧图像数据，通过所述第一GPU建立所述第二绘制图形的第N帧图像。
23.根据权利要求20或21所述的VR绘图装置，其特征在于，所述VR绘图装置还包括：
接收模块，用于在所述发送模块向所述VR设备发送所述绘图指令之前，接收所述VR设备发送的同步信号，所述同步信号包括所述VR设备的当前时刻；
调整模块，用于根据所述VR设备的当前时刻，调整所述终端设备的当前时刻与所述VR设备的当前时刻相同。
24.根据权利要求20或21所述的VR绘图装置，其特征在于，所述确定模块，具体用于：
接收所述VR设备传输的传感数据；
确定与所述传感数据对应的所述第一绘制图形的第N帧图像数据和所述第二绘制图形的第N帧图像数据。
25.一种虚拟现实VR绘图装置，其特征在于，所述VR绘图装置包括：
接收模块，用于接收终端设备发送的绘图指令，所述绘图指令中包含第一绘制图形的第N帧图像数据；其中，所述N为大于或者等于1的正整数；
建立模块，用于根据所述接收模块接收的所述绘图指令中的所述第一绘制图形的第N帧图像数据，通过VR设备中的第二图形处理器GPU建立所述第一绘制图形的第N帧图像；
所述接收模块，还用于接收所述终端设备发送的第二绘制图形的第N帧图像；
所述接收模块，还用于接收所述终端设备发送的控制指令；
显示模块，用于显示所述接收模块接收的所述第二绘制图形的第N帧图像，以及根据所述控制指令同步显示所述建立模块建立的所述第一绘制图形的第N帧图像；其中，所述第二绘制图形的第N帧图像和所述第一绘制图形的第N帧图像用于形成第N帧VR图像。
26.根据权利要求25所述的VR绘图装置，其特征在于，所述控制指令包括第N次显示时刻；
所述建立模块，具体用于：
在所述VR设备的第N次绘画时刻开始根据所述第一绘制图形的第N帧图像数据，通过所述第二GPU建立所述第一绘制图形的第N帧图像；其中，所述VR设备的第N次绘画时刻早于所述第N次显示时刻，且与所述第N次显示时刻之间的时长大于或等于所述第二GPU建立所述第一绘制图形的第N帧图像所用的时长。
27.根据权利要求25或26所述的VR绘图装置，其特征在于，所述VR绘图装置还包括：
发送模块，用于在所述接收模块接收所述终端设备发送的所述绘图指令之前，向所述终端设备发送同步信号，所述同步信号包括所述VR设备的当前时刻，所述同步信号用于同步所述终端设备的当前时刻。
28.根据权利要求25或26所述的VR绘图装置，其特征在于，所述VR绘图装置还包括发送模块，用于在所述建立模块根据所述第一绘制图形的第N帧图像数据，建立所述第一绘制图形的第N帧图像之前，向所述终端设备发送传感数据，所述传感数据用于所述终端设备确定所述第一绘制图形的第N帧图像数据和第二绘制图形的第N帧图像数据。
29.一种虚拟现实VR绘图系统，其特征在于，包括权利要求10-15任一项所述的终端设备，以及权利要求16-19任一项所述的VR设备。
CN201780089661.8A 2017-05-09 2017-05-09 一种vr绘图方法、设备及系统 Active CN110520833B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/083663 WO2018205152A1 (zh) 2017-05-09 2017-05-09 一种vr绘图方法、设备及系统

Publications (2)

Publication Number Publication Date
CN110520833A CN110520833A (zh) 2019-11-29
CN110520833B true CN110520833B (zh) 2020-12-08

Family

ID=64104031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780089661.8A Active CN110520833B (zh) 2017-05-09 2017-05-09 一种vr绘图方法、设备及系统

Country Status (4)

Country Link
US (1) US20200066234A1 (zh)
EP (1) EP3598748A4 (zh)
CN (1) CN110520833B (zh)
WO (1) WO2018205152A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2578769B (en) 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449309B1 (en) * 1996-03-12 2002-09-10 Olympus Optical Co., Ltd. Stereoscopic display that controls binocular parallax between two images and controls image reconstitution according to parallax data
CN103444193A (zh) * 2011-03-28 2013-12-11 索尼公司 图像处理设备和图像处理方法
CN104639926A (zh) * 2013-11-11 2015-05-20 聚晶半导体股份有限公司 根据深度信息处理图像的方法及装置
WO2016079828A1 (ja) * 2014-11-19 2016-05-26 ニャフーン・ゲームス・ピーティーイー・エルティーディー 打撃操作のためのユーザーインターフェースシステムと操作信号解析方法及びプログラム
CN105847785A (zh) * 2016-05-09 2016-08-10 上海乐相科技有限公司 一种图像处理方法、设备和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007219082A (ja) * 2006-02-15 2007-08-30 Canon Inc 複合現実感表示システム
JP4689639B2 (ja) * 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム
US9007430B2 (en) * 2011-05-27 2015-04-14 Thomas Seidl System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
KR102124395B1 (ko) * 2013-08-12 2020-06-18 삼성전자주식회사 그래픽스 처리 장치 및 방법
US20160238852A1 (en) * 2015-02-13 2016-08-18 Castar, Inc. Head mounted display performing post render processing
CN105892683A (zh) * 2016-04-29 2016-08-24 上海乐相科技有限公司 一种显示方法及目标设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449309B1 (en) * 1996-03-12 2002-09-10 Olympus Optical Co., Ltd. Stereoscopic display that controls binocular parallax between two images and controls image reconstitution according to parallax data
CN103444193A (zh) * 2011-03-28 2013-12-11 索尼公司 图像处理设备和图像处理方法
CN104639926A (zh) * 2013-11-11 2015-05-20 聚晶半导体股份有限公司 根据深度信息处理图像的方法及装置
WO2016079828A1 (ja) * 2014-11-19 2016-05-26 ニャフーン・ゲームス・ピーティーイー・エルティーディー 打撃操作のためのユーザーインターフェースシステムと操作信号解析方法及びプログラム
CN105847785A (zh) * 2016-05-09 2016-08-10 上海乐相科技有限公司 一种图像处理方法、设备和系统

Also Published As

Publication number Publication date
US20200066234A1 (en) 2020-02-27
WO2018205152A1 (zh) 2018-11-15
CN110520833A (zh) 2019-11-29
EP3598748A1 (en) 2020-01-22
EP3598748A4 (en) 2020-01-22

Similar Documents

Publication Publication Date Title
AU2017200163B2 (en) Perception based predictive tracking for head mounted displays
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
US10515573B2 (en) Head mounted display and method for controlling the same
CN110704768B (zh) 基于图形处理器的网页渲染方法以及装置
US11294535B2 (en) Virtual reality VR interface generation method and apparatus
US20200401362A1 (en) Screen sharing for display in vr
KR20160139461A (ko) 헤드 마운티드 디스플레이 및 그 제어 방법
EP3128413A1 (en) Sharing mediated reality content
US10650507B2 (en) Image display method and apparatus in VR device, and VR device
CN110520833B (zh) 一种vr绘图方法、设备及系统
CN111586391A (zh) 一种图像处理方法、装置及系统
CN114842120A (zh) 一种图像渲染处理方法、装置、设备及介质
US10580214B2 (en) Imaging device and imaging method for augmented reality apparatus
CN109753155B (zh) 头戴显示设备、其驱动方法及虚拟现实显示装置
US20230186538A1 (en) Perspective correct vector graphics with foveated rendering
US11610343B2 (en) Video display control apparatus, method, and non-transitory computer readable medium
CN113253829B (zh) 眼球跟踪校准方法及相关产品
CN115920370A (zh) 一种图像渲染方法、装置及设备
CN114424149A (zh) 信息处理装置、信息处理方法、服务器装置和程序
JP6736962B2 (ja) 画像送信制御プログラム、画像送信制御方法および画像送信制御装置
EP3340229A1 (en) Information processing apparatus
US20230388471A1 (en) Image processing apparatus, image processing method, and program
WO2023162504A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6759974B2 (ja) 送信制御プログラム、送信制御方法および情報処理装置
CN113490963A (zh) 显示系统、图形处理器gpu、显示控制器以及显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210721

Address after: 201900 room 313, floor 3, No. 200, Changjiang West Road, Baoshan District, Shanghai a086

Patentee after: SHANGHAI HEIM NETWORK TECHNOLOGY Co.,Ltd.

Address before: 510670 Room 518, 91 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee before: Guangzhou Fangwei Information Technology Co.,Ltd.

Effective date of registration: 20210721

Address after: 510670 Room 518, 91 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: Guangzhou Fangwei Information Technology Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.