CN110402462A - 无用户感知情况下的低延时断裂 - Google Patents

无用户感知情况下的低延时断裂 Download PDF

Info

Publication number
CN110402462A
CN110402462A CN201880018144.6A CN201880018144A CN110402462A CN 110402462 A CN110402462 A CN 110402462A CN 201880018144 A CN201880018144 A CN 201880018144A CN 110402462 A CN110402462 A CN 110402462A
Authority
CN
China
Prior art keywords
threshold value
display
fracture
frame
fracture threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880018144.6A
Other languages
English (en)
Other versions
CN110402462B (zh
Inventor
B·索尔博
S·普罗诺沃斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110402462A publication Critical patent/CN110402462A/zh
Application granted granted Critical
Publication of CN110402462B publication Critical patent/CN110402462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0736—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations using digital storage buffer techniques
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/399—Control of the bit-mapped memory using two or more bit-mapped memories, the operations of which are switched in time, e.g. ping-pong buffers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0247—Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/12—Devices in which the synchronising signals are only operative if a phase difference occurs between synchronising and synchronised scanning devices, e.g. flywheel synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于呈现虚拟现实图像的方法和设备可以包括绘制从针对虚拟现实图像的应用所接收的至少一个图像帧，以用于在显示设备上显示。该方法和设备可以包括接收对多个断裂阈值中的一个断裂阈值的选择，多个断裂阈值限定针对显示图像中的断裂的条件。该方法和设备可以包括确定所绘制的帧是否在多个断裂阈值中的所选择的一个断裂阈值之前被接收，其中多个断裂阈值中的所选择的一个断裂阈值在帧定时事件之后发生，该帧定时事件与用于启动新帧的显示的期限相对应。该方法和设备可以包括当所绘制的帧在多个断裂阈值中的所选择的一个断裂阈值之前被接收时，将所绘制的图像帧传送给显示设备以用于在显示设备上呈现。

Description

无用户感知情况下的低延时断裂
背景技术
本公开涉及计算机图形系统，并且更具体地涉及在显示器上呈现图像。
近些年来发展的计算设备的一个领域是游戏设备和虚拟现实(VR)设备，其基于从计算设备接收到的绘制指令，使用图形处理单元(GPU)将来自计算设备的图形绘制到显示设备。如本文中所使用的，VR设备可以包括这样的设备，其生成和/或显示虚拟现实图像(例如，来自至少一个虚拟环境输入)、混合现实(MR)图像(例如，来自至少两个虚拟环境输入)、和/或增强现实(AR)图像(例如，来自至少一个虚拟环境输入和一个真实环境输入)。在游戏设备中，在显示设备上产生的场景可以基于用户输入(例如，用以引起场景定位的移动的手柄按钮或杆的移动、将项引入到场景中等)被定位或修改。类似地，在VR设备中，在显示设备上产生的场景可以基于用户输入被定位或修改，其中输入可以包括检测到用户头部的移动(例如，诸如头戴式显示器(HMD)的VR设备的所检测到的移动)。
在一种操作模式下，诸如当垂直同步(V-SYNC)关闭时，一有新图像被生成，GPU就将新图像发送给显示器以用于呈现。当显示器接收到该新图像但是正在呈现先前图像时，新图像的呈现的启动可能引起显示器上的图像的断裂(tearing)。例如，这种情况下的断裂可以由显示器的呈现先前图像的顶部和显示器的呈现新图像的(例如，由水平扫描线限定的)底(或低)部限定。
该问题可以通过保持V-SYNC打开来解决，然而，在VR中期望图像中的延时尽可能小。保持V-SYNC打开会创建一个期限，在该期限之后，任何新图像直到下一帧才可能被呈现。因此，保持V-SYNC打开可能导致相当大量的延时，例如，如果新图像没有及时准备好以满足V-SYNC期限，这导致先前图像被重新呈现。在这种情况下，即使新图像在V-SYNC期限之后很快可用，新图像也将直到整个先前图像被再次呈现才被呈现，从而导致低于期望的用户体验。
因此，本领域需要在显示器上呈现VR图像方面的改进。
发明内容
下文呈现了本公开的一个或多个实现的简要概述，以提供对这样的实现的基本的理解。本发明内容不是所有预期实现的广泛概述，并且其既不意图标识所有实现的关键或主要元素，也不意图界定任何或所有实现的范围。其唯一目的是作为后文呈现的更详细的描述的序言，以简要的方式呈现本公开的一个或多个实现的一些概念。
一个示例实现涉及计算机设备。计算机设备可以包括用以存储数据和指令的存储器、与存储器通信的处理器、与存储器和处理器通信的操作系统。操作系统可以是可操作的以：绘制从针对虚拟现实图像的应用所接收的至少一个图像帧，以用于在显示设备上显示；接收对多个断裂阈值中的一个断裂阈值的选择，其中多个断裂阈值中的每一个限定针对显示图像中的断裂的条件；确定所绘制的帧是否在多个断裂阈值中的所选择的一个断裂阈值之前被接收，其中多个断裂阈值中的所选择的一个断裂阈值在帧定时事件之后发生，该帧定时事件与用于启动新帧的显示的期限相对应；以及当所绘制的帧在多个断裂阈值中的所选择的一个断裂阈值之前被接收时，将所绘制的图像帧传送给显示设备，以用于在显示设备上呈现。
另一示例实现涉及用于呈现虚拟现实图像的方法。该方法可以包括在执行在计算机设备上的操作系统处，绘制从针对虚拟现实图像的应用所接收的至少一个图像帧，以用于在显示设备上显示。该方法还可以包括接收对多个断裂阈值中的一个断裂阈值的选择，其中多个断裂阈值中的每一个限定针对显示图像中的断裂的条件。该方法还可以包括确定所绘制的帧是否在多个断裂阈值中的所选择的一个断裂阈值之前被接收，其中多个断裂阈值中的所选择的一个断裂阈值在帧定时事件之后发生，该帧定时事件与用于启动新帧的显示的期限相对应。该方法还可以包括当所绘制的帧在多个断裂阈值中的所选择的一个断裂阈值之前被接收时，将所绘制的图像帧传送给显示设备，以用于在显示设备上呈现。
另一示例实现涉及存储由计算机设备可执行的指令的计算机可读介质。计算机可读介质可以包括至少一个指令，用于使得计算机设备绘制从针对虚拟现实图像的应用所接收的至少一个图像帧，以用于在显示设备上显示。计算机可读介质可以包括至少一个指令，用于使得计算机设备接收对多个断裂阈值中的一个断裂阈值的选择，其中多个断裂阈值中的每一个限定针对显示图像中的断裂的条件。计算机可读介质可以包括至少一个指令，用于使得计算机设备确定所绘制的帧是否在多个断裂阈值中的所选择的一个断裂阈值之前被接收，其中多个断裂阈值中的所选择的一个断裂阈值在帧定时事件之后发生，该帧定时事件与用于启动新帧的显示的期限相对应。计算机可读介质可以包括至少一个指令，用于使得计算机设备当所绘制的帧在多个断裂阈值中的所选择的一个断裂阈值之前被接收时，将所绘制的图像帧传送给显示设备，以用于在显示设备上呈现。
与本公开的实现有关的附加的优点和新颖的特征将在下文的描述中部分地被阐明，并且部分地将在对下文的检查或通过实践的学习后对本领域的技术人员来说变得更明显。
附图说明
在附图中：
图1是根据本公开的一个实现的示例设备的示意性框图；
图2是根据本公开的一个实现的用于显示虚拟现实图像的头戴式显示器的显示面板和光学元件的示意图；
图3是根据本公开的一个实现的用于显示虚拟现实图像的方法的流程图；
图4是图示根据本公开的一个实现的图像处理的定时图；
图5是具有两个图像帧、在两个图像帧之间显示有断裂的图像的示意图；以及
图6是根据本公开的一个实现的示例设备的示意性框图。
具体实施方式
本公开提供用于在显示器上呈现虚拟现实(VR)图像的设备和方法。该设备和方法可以在计算机图形系统中配置多个不同的断裂阈值，以限定何时可以允许特定量的断裂以便呈现最新的图像的条件。例如，断裂阈值可以与消隐周期、图像的光学可见区域、或图像的非重要可见区域相对应。所描述的设备和方法可以使得VR图像能够在具有用户不可感知或可容忍的断裂的情况下被呈现在显示器上，由此使得最新的图像能够呈现。
现在参照图1，用于与呈现VR图像结合使用的示例系统100可以包括与显示设备106通信的计算机设备102。计算机设备102可以传送用于在显示设备106上显示VR图像的图像数据。显示设备106可以包括例如头戴式显示器(HMD)或监视器。
计算机设备102可以包括由计算机设备102的处理器30和/或存储器32执行的操作系统110。计算机设备102的存储器32可以被配置用于存储定义操作系统110和/或与操作系统110相关联的数据和/或计算机可执行指令，并且处理器30可以执行操作系统110。存储器32的示例可以包括但不限于可由计算机使用的类型的存储器，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁带、磁碟、光碟、易失性存储器、非易失性存储器、及其任何组合。处理器30的示例可以包括但不限于如本文描述的那样被特殊编程的任何处理器，包括控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、片上系统(SoC)、或其他可编程逻辑或状态机。
计算机设备102可以包括可以连接到网络的任何可移动或固定的计算机设备。例如，计算机设备102可以是诸如台式或膝上型或平板计算机、蜂窝电话、游戏设备、混合现实或虚拟现实设备、音乐设备、电视机、导航系统、相机、个人数字助理(PDA)、或手持设备之类的计算机设备，或具有与一个或多个其他设备和/或通信网络的有线和/或无线连接能力的任何其他计算机设备。
操作系统110可以包括图形处理单元(GPU)，该图形处理单元可操作以绘制一个或多个图像帧14并确定何时传输所绘制的图像帧15以用于在显示设备106上呈现。操作系统110还可以包括显示接口20，该显示接口20可以与处理器30和/或存储器32通信耦合，以用于经由显示端口22与显示设备106通信。显示端口22可以包括各种类型的端口，包括但不限于高清晰度多媒体接口(HDMI)端口、显示串行接口(DSI)端口、移动产业处理器接口(MIPI)DSI端口、通用串行总线(USB)端口、火线端口、或其他嵌入或外部的有线或无线的显示端口，其允许例如经由计算设备102和显示设备106之间的网络104进行通信。
计算机设备102还可以包括一个或多个应用10，其可以由处理器30执行以在显示设备106上呈现一个或多个图像25。例如，应用10可以是生成虚拟世界的虚拟现实应用，虚拟世界诸如但不限于虚拟现实游戏或协同工作环境。应用10可以向GPU 12提供虚拟世界的图像信息。
GPU 12可以基于从应用10接收到的图像信息，绘制一个或多个图像帧14(例如1到n，其中n是正数)。绘制操作可能是计算密集的操作。用于完成绘制操作的时间可能取决于所产生的显示的图像25的质量。例如，绘制时间可能基于以下因素，诸如分辨率和色彩数目，以及各种视觉效果(例如，阴影或颗粒)的质量。图像25的质量可以基于硬件能力被调整，使得GPU 12能够以刷新率，例如在定时事件17之前，生成新的绘制的帧15。
GPU 12可以将一个或多个绘制的帧传输给显示控制器18。显示控制器18可以确定绘制帧15是否在定时事件17(诸如V-SYNC事件)之前被接收，定时事件17可以对应于当新的图像25可以被呈现在显示面板24上时显示设备106的刷新率。换言之，定时事件17可以对应于用于由显示设备106启动新帧的呈现的期限。
当在定时事件17(例如V-SYNC)之前接收到绘制帧15时，显示控制器18可以指令显示接口20将绘制帧15传送给显示设备106，以用于在显示设备106上呈现。显示接口20可以经由显示端口22与显示设备102通信。例如，显示接口20可以将绘制帧15传输到显示设备106上的显示端口28。显示端口28可以与显示面板24通信，并且显示面板24可以呈现由绘制帧15限定的图像25。
在先前的解决方法中，当在定时事件17(例如，V-SYNC)之后接收到绘制帧15时，在V-SYNC打开的情况下操作的显示控制器18将指令显示接口20将先前的绘制帧传送给显示设备106，以用于在显示面板24上呈现。备选地，显示控制器18可以指令显示接口20来指令显示设备106在显示面板24上重新呈现上一帧(例如，先前的绘制帧)。如上文所述，在一些应用中(诸如在呈现VR图像中)，这导致显示的图像25中不可接受量的用户感知到的延时。
为了减少图像延时，计算机设备102可以在V-SYNC关闭的情况下操作，并且为了呈现最新的图像信息，计算机设备102可以附加地被配置为最小化图像25中的断裂26的用户感知。具体来说，在V-SYNC关闭的情况下操作的GPU 12可以包括一个或多个断裂阈值16(例如1到m，其中m是正数)，其可以在定时事件17之后出现一次或多次，以限定何时可以允许当前显示的图像25中的断裂26。例如，一个或多个断裂阈值16分别限定在定时事件17之后时间上的最大点，以将绘制帧15传送给显示设备106，并将所显示的图像25从先前的绘制帧切换到当前的绘制帧15。当这种切换发生时，图像25中可能出现断裂26，尽管基于本实现，这样的断裂26可能或不可能在显示设备106的显示面板24上可见。断裂26可以由图像25的相邻部分之间的不一致限定，例如由显示先前的绘制帧和当前的绘制帧15之间的不一致限定。此外，断裂阈值16可以限定何时允许特定量的断裂以便呈现最新的图像的可选择的条件。示例断裂阈值16可以包括但不限于消隐周期阈值、光学可见阈值、或非重要可见阈值中的一个或多个。
消隐周期阈值可以对应于一段时间，诸如消隐周期，当显示设备106从显示面板24的右下角向显示面板24的左上角扫描或穿越以便启动下一个图像25的呈现时。消隐周期还可以被称为垂直消隐间隔。在该段时间内，显示面板24不显示任何新的像素，即使显示设备106可能已经接收到当前的绘制帧15的至少一部分。如此，当断裂阈值16对应于消隐周期阈值时，断裂阈值16可以限定用户在查看图像25时将看不到断裂26的定时。
光学可见阈值可以对应于图像的区域，该区域限定对用户光学可见或不可见之间的边界。例如，在VR中，被呈现的图像25可以包括基于VR系统的光学元件来限定可见区域的不同的透镜区域。如此，光学可见阈值可以基于显示设备106的硬件规格而改变。作为一个示例，图像25的顶部部分可以在可见区域之外，并且因此光学可见阈值可以对应于图像25内在可见区域上方(或在可见区域的边缘或与可见区域相邻)的扫描线。因此，光学可见阈值可以限定图像内的其中用户将看不到断裂26的区域。
非重要可见阈值可以对应于图像25内的、但在图像25的其中用户可能不介意看到断裂26的部分处的可见区域。在一些情况下，非重要可见阈值可以由图像25的百分比限定。例如，该阈值可以被设置以便只要少于50％的图像25被呈现就允许断裂26。在其他的一些情况下，非重要可见阈值可以由图像25中所呈现的内容限定。例如，该阈值可以允许图像25的可能正在显示“天空”或一些其他对象的上部分中的断裂26，其中在图像25的该部分中的断裂26可能由于内容可以不被视为重要内容而被确定为是用户可容忍的。在另一情况下，非重要可见阈值可以由连续图像中所呈现的内容的差异限定。例如，该阈值可以允许在图像25的如下部分中的断裂26，在该部分中，图像25的特性(例如，颜色、纹理、亮度等)的增量或变化低于变化阈值(例如，由诸如颜色、纹理、亮度等的像素特性的变化限定)。在另外的一些情况下，非重要可见阈值可以由眼部追踪信息限定。例如，该阈值可以允许图像25的如下部分中的断裂26，该部分在图像25中用户的眼睛所聚焦的位置的上方或远离该位置。因此，非重要可见阈值限定图像25内用户可能不介意看到断裂26的区域。
显示控制器18可以例如响应于由操作系统110接收到的信息或者响应于正在被生成的图像25所针对的应用10，选择一个或多个断裂阈值16以用于与绘制的图像帧15一起使用。例如，在一个实现中，操作系统110可以接收显示设备106(诸如HMD)的光学信息，并且操作系统110可以基于接收到的光学信息标识一个或多个断裂阈值16。此外，操作系统110可以接收用户输入指示例如针对断裂26的偏好(例如，图像25的可见区域之外的断裂26的偏好)，并且操作系统110可以基于用户输入标识一个或多个断裂阈值16。另一示例可以包括操作系统110基于所绘制的内容标识一个或多个断裂阈值。在一个实现中，显示控制器18可以选择允许在图像25的呈现内尽可能晚地进行断裂的断裂阈值16。例如，如果非重要可见断裂阈值相对于其他断裂阈值16提供更多时间来绘制图像帧15，则显示控制器18可以选择非重要可见断裂阈值。在另一实现中，显示控制器18可以选择在从应用10接收到的命令中被标识的断裂阈值16。例如，如果应用10指示针对断裂26的偏好在由用户感知的图像25的可见区域之外，则显示控制器18可以选择消隐周期阈值和/或光学可见阈值。
当绘制帧15在定时事件17之后但在选择的断裂阈值16之前被接收时，显示控制器18可以指令显示接口20将绘制帧15传送给显示设备106，以用于在显示设备106上呈现。如此，在显示面板24上所呈现的图像25可以包括位于显示面板24上呈现的先前的绘制帧和当前的绘制帧15之间的断裂26。断裂26可能是用户不可感知的或是用户可容忍的，由此使得最新的图像信息能够呈现。
当绘制帧15在定时事件17(例如V-SYNC)之后并且也在选择的断裂阈值之后被接收时，显示控制器18可以指令显示接口20将先前的绘制帧传送给显示设备106，以用于在显示设备106上呈现，或者重新呈现先前的绘制帧。因为GPU 12在选择的断裂阈值16之后生成绘制帧15，该新绘制的图像帧15可以直到下一定时事件17(例如，下一V-SYNC)才被呈现。
现在参照图2，概念图图示了根据一个实现的示例显示设备106(诸如HMD)的透镜和显示的操作。显示设备106可以包括用于将用户的视线聚焦到一个或多个显示面板24的一个或多个部分上的光学元件210(例如，一个或多个透镜)。例如，显示面板24可以包括液晶显示器(LCD)(其可以包括发光二极管(LED)背光的LCD显示器)、有机LED(OLED)显示器、数字光处理(DLP)显示器等。显示面板24可以基于从显示控制器18(图1)接收到的信号，显示一个或多个图像(例如，左眼图像222和右眼图像224)。在一个实现中，显示控制器18可以向显示设备106提供处于并排布置中的复用的左眼图像222和右眼图像224。应当理解的是，左眼图像222和右眼图像224也可以被垂直复用或在时间上被复用。显示面板24可以扫描来自显示端口28(图1)的图像(例如，绘制帧15)。如在本文中所使用的，扫描可以指代更新(多个)显示面板24上的像素的过程。
光学元件210可以包括：用于将用户的左眼聚焦到左眼图像222上的左眼光学元件212，以及用于将用户的右眼聚焦到右眼图像224上的右眼光学元件214。例如，光学元件210可以将用户的眼睛聚焦到左眼图像222和右眼图像224中的每一个的中心部分。用户的大脑可以将通过每个眼睛看到的图像组合，以创建用户正在查看3D环境的感知。例如，左眼图像222和右眼图像224两者均可以包括可以被感知为三维对象的对象230。
左眼图像222和右眼图像224的顶部部分202，例如来自图像的顶部的某个数目的扫描线，可以与消隐周期相对应。如此，消隐周期阈值232可以被设置为与在定时事件17之后的定时相对应，在该定时期间，图像的顶部部分202由于消隐周期而将不被显示。
左眼图像222和右眼图像224的边界部分204可以由显示面板24显示，但是由于光学元件210而可能对用户不可见。如此，左眼图像222和右眼图像224中的出现在边界部分204中的断裂26(图1)可能对用户不可见。如此，光学可见阈值234可以被设置为与边界部分204相对应，或者至少与顶部(不是侧面或底部)边界部分204相对应。换言之，光学可见阈值234可以被设置，使得当前的绘制帧15(图1)能够开始由显示设备106在顶部边界部分204下方的扫描线处呈现。
此外，左眼图像222和右眼图像224可以包括非重要可见区域206，诸如在左眼图像222和右眼图像224内的主要聚焦之外的可见区域，其中用户可能不介意看到图像中的断裂26。如此，非重要可见阈值236可以被设置为与非重要可见区域206相对应。如果断裂26在图像中出现在可见阈值206之前的区域中，则断裂26对于查看左眼图像222和右眼图像224的用户来说是非必要的。因此，非重要可见阈值236可以被设置，使得当前的绘制帧15(图1)能够开始由显示设备106在非重要可见区域206下方的扫描线处呈现。
现在参照图3，用于呈现VR图像的方法300可以在计算机设备102(图1)的操作系统110(图1)上实现。方法300可以在V-SYNC关闭的情况下操作，以便使得最新的图像能够被显示。
在302，方法300可以包括绘制来自针对虚拟现实图像的应用的至少一个图像帧，以用于在显示设备上显示。例如，GPU 12(图1)可以绘制一个或多个图像帧14，用于在显示设备106(图1)上呈现。GPU 12可以从应用10接收关于虚拟世界的图像信息，以用于绘制用以呈现虚拟世界的图像帧14。
在304，方法300可以可选地包括：确定所绘制的图像帧是否在定时事件之前被接收。例如，显示控制器18可以从GPU 12接收绘制帧15。显示控制器18可以确定绘制帧15是否在定时事件17(诸如V-SYNC事件)之前被接收，定时事件17可以对应于当新的图像25可以被呈现在显示面板24上时显示设备106的刷新率。换言之，定时事件17可以对应于用于由显示设备106启动新帧的显示的期限。
在306，方法300可以可选地包括：当所绘制的帧在定时事件之前被接收时，将所绘制的图像帧传送给显示器，以用于在显示器上呈现。当显示控制器18确定绘制帧15在定时事件17(例如，V-SYNC)之前被接收时，显示控制器18可以指令显示接口20将绘制帧15传送给显示设备106，以用于在显示设备106上呈现。
在308，当所绘制的图像帧在定时事件之后被接收到，方法300可以包括接收对来自多个断裂阈值的至少一个断裂阈值的选择。例如，多个断裂阈值中的每一个可以在帧定时事件之后发生，该帧定时事件与用于启动新帧的显示的期限相对应。断裂阈值可以限定针对显示图像中的断裂的可选择的条件。例如，断裂阈值可以限定何时可以允许某些量的断裂以便呈现最新的图像。断裂阈值可以包括在定时事件之后时间上的最大点，以呈现被绘制的帧并且在当前被呈现在显示器上的图像中生成断裂。
特别地，GPU 12(图1)可以具有多个不同的断裂阈值16(图1)以供从中选择。例如，多个断裂阈值之一可以与消隐周期阈值232(图2)相对应。消隐周期阈值232可以被设置为与定时事件17(图1)之后的如下定时相对应，在该定时期间图像的顶部部分202(图2)由于消隐周期而将不被显示。消隐周期阈值232还可以被称为垂直消隐间隔。在该段时间内，显示面板24不显示任何新的像素，即使显示设备106可能已经接收到当前的绘制帧15的至少一部分。如此，消隐周期阈值232可以限定其中用户在查看图像25时将看不到断裂的定时。
在另一示例中，多个断裂阈值之一可以与光学可见阈值234(图2)相对应。光学可见阈值234可以与图像的如下区域相对应，该区域限定对用户光学可见或不可见之间的边界。例如，在VR中，被呈现的图像25可以包括基于VR系统的光学元件来限定可见区域的不同的透镜区域。如此，光学可见阈值可以基于显示设备106的硬件规格而改变。作为一个示例，图像25的顶部部分可以在可见区域之外，并且光学可见阈值可以与图像25内在可见区域上方(或在可见区域边缘处或与可见区域相邻)的扫描线相对应。因此，光学可见阈值可以限定图像内的其中用户将看不到断裂26的区域。
在另一示例中，多个断裂阈值之一可以与非重要可见阈值236(图2)相对应。例如，非重要可见阈值可以与图像内的、但在图像的其中用户可能不介意看到断裂26的部分处的可见区域相对应。如此，非重要可见阈值可以限定图像内的其中用户可能不介意看到断裂的区域。
显示控制器18可以例如响应于由操作系统110接收到的信息或者响应于正在被生成的图像所针对的应用，选择一个或多个断裂阈值16以用于与给定的图像帧一起使用。例如，在一个实现中，显示控制器18可以选择允许在图像25的呈现内尽可能晚地进行断裂的断裂阈值16。例如，如果非重要可见阈值236相对于其他断裂阈值16提供更多时间来绘制图像帧，则显示控制器18可以选择非重要可见阈值236。在另一实现中，显示控制器18可以选择可以在从应用10接收到的命令中被标识的断裂阈值16。例如，如果应用10指示针对断裂26的偏好在由用户感知的可见区域之外，则显示控制器18可以选择消隐周期阈值232和/或光学可见阈值234。
在310，方法300可以包括确定所绘制的图像帧是否在多个断裂阈值中的所选择的一个断裂阈值之前被接收。例如，显示控制器18可以确定绘制帧15是否在所选择的断裂阈值16之前被接收。
在312，方法300可以包括：在所绘制的图像帧在多个断裂阈值中的所选择的一个断裂阈值之前被接收时，将所绘制的图像帧传送给显示设备，以用于在显示器上呈现。当绘制帧15在定时事件17之后但在所选择的断裂阈值16之前被接收时，显示控制器18可以指令显示接口20将绘制帧15传送给显示设备106，以用于在显示设备106上呈现。如此，在显示面板24上呈现的图像25可以包括断裂26，该断裂26在显示面板24上所呈现的先前的绘制帧和当前的绘制帧15之间。断裂26可以是用户不可感知的或用户可容忍的，从而使得最新的图像信息能够呈现。
在314，方法300可以包括：在图像帧在所选择的断裂阈值之后被绘制时，指令先前绘制的图像帧在显示设备的显示器上重新呈现。显示控制器18可以指令显示接口20指令显示设备106在显示面板24上重新呈现上一帧(例如，先前的绘制帧)。如此，由于GPU 12在所选择的断裂阈值之后绘制图像帧15，所以新的图像帧可以直到下一定时事件17才被呈现。
现在参照图4，示例定时图400图示了使用GPU 12和显示控制器18对图像的绘制和显示。显示控制器18可以具有周期性的V-SYNC事件402、404和410，其可以与显示设备106的刷新率相对应。例如，用于虚拟现实的刷新率可以是90Hz，导致每11毫秒一个V-SYNC事件402、404、410。此外，显示控制器18可以具有所选择的断裂阈值408和412，其可以限定所绘制的图像帧在V-SYNC已经发生之后可以被呈现的时间点。例如，断裂阈值408和412可以是消隐周期阈值232(图2)、光学可见阈值234(图2)、或非重要可见阈值236(图2)。
GPU 12可以绘制一个或多个图像帧414、416和418，以用于在显示设备106上呈现。用于完成图像帧414、416和418的绘制的时间可以取决于所产生的绘制帧的质量。例如，绘制时间可以基于以下因素，例如但不限于分辨率和色彩数目、以及各种视觉效果(例如，阴影或颗粒)的质量。图像的质量可以基于硬件能力被调整，使得GPU 12能够以刷新率(例如，V-SYNC 402、404和410)来绘制新的帧。
在所图示的示例中，GPU 12在V-SYNC 404之前绘制图像帧414。如此，显示控制器18可以传输图像帧414，以用于在V-SYNC 404在显示设备106的显示面板24上呈现。
在所图示的示例中，GPU 12不能在下一V-SYNC 406之前完成绘制图像帧416，但是在断裂阈值408之前完成绘制图像帧416。由于图像帧416在V-SYNC 406之前没有完成，因此显示控制器18可以重新传输先前的图像帧414，以用于在V-SYNC 406显示。然而，由于GPU12在断裂阈值408之前完成绘制图像帧416，显示控制器18可以传输图像帧416，以用于在显示设备106的显示面板24上呈现，即使图像帧416不是在V-SYNC 416前完成的。如此，显示面板24可以呈现图像帧414和图像帧416两者。如图5所示，在已经开始在显示面板24上呈现的先前的图像帧414和被传输以用于呈现的新的图像帧416之间，可以存在断裂26。断裂26可以是查看显示面板24的用户不可感知的或可容忍的，因为断裂26可能位于与消隐周期相对应的区域、或是位于顶部边界区域、或是位于非必要区域(均由阈值232、234或236限定)，从而使得最新的图像信息能够在显示面板24上呈现。
此外，在图4中所图示的示例中，GPU 12不能在下一V-SYNC 410之前完成绘制图像帧418。GPU 12在断裂阈值412之后完成绘制图像帧418。如上文讨论的，显示控制器18可以决定继续呈现先前的图像帧416，因为在V-SYNC 420之前转到图像帧418可能提供不良的用户体验。在V-SYNC 420，显示控制器可以传输图像帧418，以用于在显示面板24上呈现。
现在参照图6，所图示的是根据一个实现的示例计算机设备102，包括相比于图1的附加组件细节。在一个示例中，计算机设备102可以包括用于执行与本文描述的组件和功能中的一个或多个相关联处理功能的处理器30。处理器30可以包括单组或多组处理器或多核处理器。此外，处理器30可以被实现为集成处理系统和/或分布式处理系统。
计算机设备102还可以包括存储器32，诸如以用于存储由处理器执行的应用的本地版本。存储器32可以包括可由计算机使用的类型的存储器，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁带、磁碟、光碟、易失性存储器、非易失性存储器、及其任何组合。此外，处理器30和存储器32可以包括并执行操作系统110(图1)。
此外，计算机设备102可以包括通信组件34，其提供与利用本文所描述的硬件、软件和服务的一方或多方建立和保持通信。通信组件34可以承载计算机设备102上的组件之间、以及计算机设备102和外部设备之间的通信，外部设备诸如跨通信网络而定位的设备和/或与计算机设备102连续或本地连接的设备。例如，通信组件34可以包括一个或多个总线，并且还可以包括分别与可操作用于与外部设备进行接口的发射器和接收器相关联的发射链组件和接收链组件。
另外，计算机设备102可以包括数据存储装置36，其可以是提供结合本文描述的实现而采用的信息、数据库和程序的大量存储的硬件和/或软件的任何合适的组合。例如，数据存储装置36可以是用于应用10(图1)、GPU 12(图1)、显示控制器18(图1)和/或显示接口20(图1)的数据储存库。
计算机设备102还可以包括用户接口组件28，用户接口组件28可操作以接收来自计算机设备102的用户的输入，并且还可操作以生成用于呈现给用户的输出。用户接口组件38可以包括一个或多个输入设备，包括但不限于键盘、数字盘、鼠标、触感显示器、导航键、功能键、麦克风、声音识别组件、能够从用户接收输入的任何其他机制、或其任何组合。此外，用户接口组件38可以包括一个或多个输出设备，包括但不限于显示器、扬声器、触觉反馈机制、打印机、能够向用户呈现输出的任何其他机制、或其任何组合。
在一个实现中，用户接口组件38可以发射和/或接收与应用10、GPU 12、显示控制器18、和/或显示接口20的操作相对应的消息。另外，处理器30执行应用10、GPU 12、显示控制器18、和/或显示接口，并且存储器32或数据存储装置36可以存储它们。
如本应用中使用的，术语“组件”、“系统”等等旨在包括与计算机相关的实体，诸如但不限于硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，组件可以是但不限于在处理器上运行的进程、处理器、目标、可执行文件、执行线程、程序、和/或计算机。通过说明，在计算机设备上运行的应用和计算机设备都可以是组件。一个或多个组件可以驻留在执行的进程或线程中，并且组件可以被本地化在一个计算机上和/或被分布在两个或更多个计算机之间。另外，这些组件可以从具有存储于其上的各种数据结构的各种计算机可读介质执行。组件可以诸如根据具有一个或多个数据分组的信号通过本地和/或远程进程进行通信，一个或多个数据分组诸如来自与本地系统中、分布式系统中、和/或跨网络的另一组件进行接口的一个组件的数据，网络诸如通过信号与其他系统的互联网。
此外，术语“或”旨在意指包括的“或”而不是排除的“或”。也就是说，除非另外指出，或从上下文是明确的，否则短语“X采用A或B”旨在意指任何自然包括的排列。也就是说，短语“X采用A或B”由以下任何一个实例满足：X采用A；X采用B；或者X采用A和B两者。另外，除非另外指出或从上下文是明确为指向单数形式，否则本申请和所附权利要求中使用的冠词“一”和“一个”通常应被解释为意指“一个或多个”。
各种实现或特征可以已经根据可能包括多个设备、组件、模块等的系统被呈现。应当了解和理解的是，各种系统可能包括附加的设备、组件、模块等，并且/或者可能不包括结合附图中所讨论的设备、组件、模块等的全部。这些方法的组合也可以被使用。
与本文公开实施例结合描述的各种说明性的逻辑、逻辑框、以及方法的动作可以利用特殊编程的以下项之一被实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件、或其被设计为执行本文描述的功能的任何组合。通用处理器可以是微处理器，但是在一个备选方案中，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以被实现为计算机设备的组合，例如，DSP和微处理器的组合、多个微处理器、与一个DSP核心结合的一个或多个微处理器、或任何其他这样的配置。另外，至少一个处理器可以包括一个或多个组件，其可操作以执行上文描述的步骤或动作中的一个或多个。
此外，与本文公开的实现结合而描述的方法或算法的步骤和/或动作可以直接在硬件中、在由处理器执行的软件模块中、或者二者的组合中实施。软件模块可以驻留于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除磁盘、CD-ROM、或本领域已知的任何其他形式的存储介质。示例性的存储介质可以被耦合到处理器，使得处理器可以从存储介质中读取信息，以及向其存储介质写入信息。在备选方案中，存储介质可以与处理器是整体。此外，在一些实现中，处理器和存储介质可以驻留于ASIC中。另外，ASIC可以驻留于用户终端中。在备选方案中，处理器和存储介质可以作为离散组件驻留于用户终端中。另外，在一些实现中，方法或算法的步骤和/或动作可以作为一个或任何组合或一组代码和/或指令驻留于可以合并到计算机程序产品中的机器可读介质和/或计算机可读介质上。
在一个或多个实现中，描述的功能可以在硬件、软件、固件、或其任何组合中被实现。如果在软件中被实现，功能可以作为一个或多个指令或代码被存储或传输到计算机可读介质。计算机可读介质包括计算机存储介质和通信介质两者，通信介质包括促进计算机程序从一个地点传输到另一个地点的介质。存储介质可以是能够由计算机访问的任何可用的介质。通过示例而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能够用于以指令或数据结构的形式存储期望的程序代码并能够由计算机访问的任何其他介质。本文使用的盘和碟包括压缩碟(CD)、激光碟、光碟、数字多功能碟(DVD)、软盘和蓝光碟，其中盘通常磁性地复制数据，然而碟通常利用激光来光学地复制数据。上述的组合应当也被包括在计算机可读介质的范围中。
尽管已经结合上述的示例描述了本公开的实现，但是本领域的技术人员将理解，在不脱离本文的范围的情况下，可以对上文描述的实现进行变化和修改。根据本文公开的示例，从对说明书的考虑或从实践，其他实现对本领域的技术人员将是明显的。

Claims (15)

1.一种计算机设备，包括：
存储器，用以存储数据和指令；
处理器，与所述存储器通信；以及
操作系统，与所述存储器和所述处理器通信，其中所述操作系统可操作以：
绘制从针对虚拟现实图像的应用所接收的至少一个图像帧，以用于在显示设备上显示；
接收对多个断裂阈值中的一个断裂阈值的选择，其中所述多个断裂阈值中的每个断裂阈值限定针对显示图像中的断裂的条件；
确定所绘制的所述帧是否在所述多个断裂阈值中的所选择的所述一个断裂阈值之前被接收，其中所述多个断裂阈值中的所选择的所述一个断裂阈值在帧定时事件之后发生，所述帧定时事件与用于启动新帧的显示的期限相对应；以及
在所绘制的所述帧在所述多个断裂阈值中的所选择的所述一个断裂阈值之前被接收时，将所绘制的所述图像帧传送给所述显示设备，以用于在所述显示设备上呈现。
2.根据权利要求1所述的计算机设备，其中所述多个断裂阈值中的所选择的所述一个断裂阈值包括消隐周期阈值、光学可见区域阈值、和非重要可见区域阈值中的一项或多项。
3.根据权利要求1所述的计算机设备，其中所述定时事件是垂直同步。
4.根据权利要求1所述的计算机设备，其中所述至少一个断裂阈值基于以下中的一项或多项被选择：由所述应用接收的命令、所述显示设备的光学信息、所绘制的内容、以及用户输入。
5.根据权利要求1所述的计算机设备，其中在所绘制的所述帧在所选择的断裂阈值之后被接收时，所述操作系统还可操作以传送先前绘制的帧以用于在所述显示器上呈现，或传送指令以重新呈现所述先前绘制的帧。
6.根据权利要求1所述的计算机设备，其中所述显示设备包括显示器，所述显示器呈现先前绘制的帧的一部分，并且在所述操作系统通过所述多个断裂阈值中的所选择的所述一个断裂阈值接收所绘制的所述帧时切换为呈现当前绘制的帧，
其中所述显示设备是头戴式显示器。
7.一种用于呈现虚拟现实图像的方法，包括：
在执行在计算机设备上的操作系统处，绘制从针对虚拟现实图像的应用所接收的至少一个图像帧，以用于在显示设备上显示；
接收对多个断裂阈值中的一个断裂阈值的选择，其中所述多个断裂阈值中的每个断裂阈值限定针对显示图像中的断裂的条件；
确定所绘制的所述帧是否在所述多个断裂阈值中的所选择的所述一个断裂阈值之前被接收，其中所述多个断裂阈值中的所选择的所述一个断裂阈值在帧定时事件之后发生，所述帧定时事件与用于启动新帧的显示的期限相对应；以及
在所绘制的所述帧在所述多个断裂阈值中的所选择的所述一个断裂阈值之前被接收时，将所绘制的所述图像帧传送给所述显示设备，以用于在所述显示设备上呈现。
8.根据权利要求7所述的方法，其中所述多个断裂阈值中的所选择的所述一个断裂阈值包括消隐周期阈值。
9.根据权利要求7所述的方法，其中所述多个断裂阈值中的所选择的所述一个断裂阈值包括光学可见区域阈值。
10.根据权利要求7所述的方法，其中所述多个断裂阈值中的所选择的所述一个断裂阈值包括非重要可见区域阈值。
11.根据权利要求7所述的方法，其中所述定时事件是垂直同步。
12.根据权利要求7所述的方法，其中所述至少一个断裂阈值基于以下中的一项或多项被选择：由所述应用接收的命令、所述显示设备的光学信息、所绘制的内容、以及用户输入。
13.根据权利要求7所述的方法，还包括：在所绘制的所述帧在所选择的断裂阈值之后被接收时，传送先前绘制的帧以用于在所述显示器上呈现，或传送指令以重新呈现所述先前绘制的帧。
14.根据权利要求7所述的方法，其中所述显示设备包括显示器，所述显示器呈现先前绘制的帧的一部分，并且在所述操作系统通过所述多个断裂阈值中的所选择的所述一个断裂阈值接收所绘制的所述帧时切换为呈现当前绘制的帧。
15.一种存储由计算机设备可执行的指令的计算机可读介质，包括：
至少一个指令，用于使得所述计算机设备绘制从针对虚拟现实图像的应用所接收的至少一个图像帧，以用于在显示设备上显示；
至少一个指令，用于使得所述计算机设备接收对多个断裂阈值中的一个断裂阈值的选择，其中所述多个断裂阈值中的每个断裂阈值限定针对显示图像中的断裂的条件；
至少一个指令，用于使得所述计算机设备确定所绘制的所述帧是否在所述多个断裂阈值中的所选择的所述一个断裂阈值之前被接收，其中所述多个断裂阈值中的所选择的所述一个断裂阈值在帧定时事件之后发生，所述帧定时事件与用于启动新帧的显示的期限相对应；以及
至少一个指令，用于使得所述计算机设备在所绘制的所述帧在所述多个断裂阈值中的所选择的所述一个断裂阈值之前被接收时，将所绘制的所述图像帧传送给所述显示设备，以用于在所述显示设备上呈现。
CN201880018144.6A 2017-03-15 2018-03-08 无用户感知情况下的低延时断裂 Active CN110402462B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762471811P 2017-03-15 2017-03-15
US62/471,811 2017-03-15
US15/628,292 2017-06-20
US15/628,292 US10462336B2 (en) 2017-03-15 2017-06-20 Low latency tearing without user perception
PCT/US2018/021428 WO2018169749A1 (en) 2017-03-15 2018-03-08 Low latency tearing without user perception

Publications (2)

Publication Number Publication Date
CN110402462A true CN110402462A (zh) 2019-11-01
CN110402462B CN110402462B (zh) 2021-10-19

Family

ID=63519702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880018144.6A Active CN110402462B (zh) 2017-03-15 2018-03-08 无用户感知情况下的低延时断裂

Country Status (4)

Country Link
US (1) US10462336B2 (zh)
EP (1) EP3596724B1 (zh)
CN (1) CN110402462B (zh)
WO (1) WO2018169749A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109474768A (zh) * 2017-09-08 2019-03-15 中兴通讯股份有限公司 一种提高图像流畅度的方法及装置
US11170740B2 (en) * 2017-11-28 2021-11-09 Nvidia Corporation Determining allowable locations of tear lines when scanning out rendered data for display
CN109743626B (zh) 2019-01-02 2022-08-12 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
US11776507B1 (en) * 2022-07-20 2023-10-03 Ivan Svirid Systems and methods for reducing display latency

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2842931Y (zh) * 2005-06-01 2006-11-29 上海金桥网络技术有限公司 高速多画面多屏融合显示处理装置
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合
CN103714772A (zh) * 2012-10-02 2014-04-09 辉达公司 用于作为显示持续估计的函数修改像素值的系统和方法
CN104506826A (zh) * 2015-01-13 2015-04-08 中南大学 一种无有效重叠区域的定点定向视频实时拼接装置
CN104641638A (zh) * 2012-06-28 2015-05-20 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
CN105027563A (zh) * 2012-11-30 2015-11-04 微软技术许可有限责任公司 多显示器设备上的低等待时间图像显示
CN106454312A (zh) * 2016-09-29 2017-02-22 乐视控股（北京）有限公司 一种图像处理方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7173639B2 (en) 2002-04-10 2007-02-06 Intel Corporation Spatial light modulator data refresh without tearing artifacts
US7516255B1 (en) 2005-03-30 2009-04-07 Teradici Corporation Method and apparatus for providing a low-latency connection between a data processor and a remote graphical user interface over a network
KR100885913B1 (ko) 2007-01-23 2009-02-26 삼성전자주식회사 티어링 효과를 감소시키는 방법 및 그에 따른 ｌｃｄ 장치
KR101313330B1 (ko) 2007-02-28 2013-09-27 삼성전자주식회사 이미지 티어링 효과를 방지할 수 있는 영상 표시 시스템 및그것의 영상 표시 방법
US8641621B2 (en) 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US8307103B2 (en) 2009-03-09 2012-11-06 Microsoft Corporation Tear-free remote desktop protocol (RDP) display
WO2014160342A1 (en) 2013-03-13 2014-10-02 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9332216B2 (en) 2014-03-12 2016-05-03 Sony Computer Entertainment America, LLC Video frame rate compensation through adjustment of vertical blanking
US9542364B2 (en) 2014-10-23 2017-01-10 Google Inc. Tearable displays with partial tears defined by extrapolated paths
US9911397B2 (en) 2015-01-05 2018-03-06 Ati Technologies Ulc Extending the range of variable refresh rate displays
CN106095366B (zh) * 2016-06-07 2019-01-15 北京小鸟看看科技有限公司 一种缩短图像延迟的方法、装置和虚拟现实设备
IL301071B2 (en) * 2016-08-26 2024-04-01 Magic Leap Inc Continuous time warping and binocular time warping for virtual and augmented reality display systems and methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2842931Y (zh) * 2005-06-01 2006-11-29 上海金桥网络技术有限公司 高速多画面多屏融合显示处理装置
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合
CN104641638A (zh) * 2012-06-28 2015-05-20 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
CN103714772A (zh) * 2012-10-02 2014-04-09 辉达公司 用于作为显示持续估计的函数修改像素值的系统和方法
CN105027563A (zh) * 2012-11-30 2015-11-04 微软技术许可有限责任公司 多显示器设备上的低等待时间图像显示
CN104506826A (zh) * 2015-01-13 2015-04-08 中南大学 一种无有效重叠区域的定点定向视频实时拼接装置
CN106454312A (zh) * 2016-09-29 2017-02-22 乐视控股（北京）有限公司 一种图像处理方法和装置

Also Published As

Publication number Publication date
WO2018169749A1 (en) 2018-09-20
US10462336B2 (en) 2019-10-29
CN110402462B (zh) 2021-10-19
EP3596724B1 (en) 2022-02-23
EP3596724A1 (en) 2020-01-22
US20180270399A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
CN101548277B (zh) 多并行处理器的计算机图形系统
CN110402462A (zh) 无用户感知情况下的低延时断裂
US9083963B2 (en) Method and device for the creation of pseudo-holographic images
CN101681585B (zh) 用于图像处理的设备和方法以及显示装置
US9848184B2 (en) Stereoscopic display system using light field type data
CN108476306B (zh) 一种图像显示的方法及终端设备
CN107833262A (zh) 图形处理系统和图形处理器
CN103392342B (zh) 视区调整的方法和装置、能实现立体显示视频信号的设备
CN103714559A (zh) 用于提供动态显示刷新的系统、方法和计算机程序产品
US8564647B2 (en) Color management of autostereoscopic 3D displays
US20070008315A1 (en) Stereoscopic image display device
US20150304645A1 (en) Enhancing the Coupled Zone of a Stereoscopic Display
EP4147192A1 (en) Multi-layer reprojection techniques for augmented reality
CN103544441A (zh) 移动图像生成装置
CA2923910C (en) Rendering apparatus for 3d graphics
US20160252730A1 (en) Image generating system, image generating method, and information storage medium
US9509984B2 (en) Three dimensional image display method and device utilizing a two dimensional image signal at low-depth areas
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
Li et al. Enhancing 3d applications using stereoscopic 3d and motion parallax
CN112805755B (zh) 信息处理装置、信息处理方法和记录介质
KR20180039224A (ko) 머리 장착형 표시장치
US20140306958A1 (en) Stereoscopic rendering system
US11375179B1 (en) Integrated display rendering
JP2012108512A (ja) ディスプレイ駆動回路及びその制御方法
EP3236423A1 (en) Method and device for compositing an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant