CN114402613A - 多流中央凹显示传输 - Google Patents

多流中央凹显示传输 Download PDF

Info

Publication number
CN114402613A
CN114402613A CN202080064752.8A CN202080064752A CN114402613A CN 114402613 A CN114402613 A CN 114402613A CN 202080064752 A CN202080064752 A CN 202080064752A CN 114402613 A CN114402613 A CN 114402613A
Authority
CN
China
Prior art keywords
image
stream
regions
foveal
receiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080064752.8A
Other languages
English (en)
Inventor
盖纳迪·里盖
萨伊德·阿塔尔·侯赛因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATI Technologies ULC
Original Assignee
ATI Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATI Technologies ULC filed Critical ATI Technologies ULC
Publication of CN114402613A publication Critical patent/CN114402613A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

公开了用于使用多流中央凹显示传输层的系统、设备和方法。虚拟现实(VR)系统包括发射器，所述发射器通过显示传输层将多个流发送到耦接到显示器的接收器。每个流对应于要由所述接收器混合在一起的不同图像。所述图像至少包括中央凹区域图像和背景图像，所述中央凹区域图像对应于眼睛的凝视方向，所述背景图像是与所述中央凹区域图像相比具有更宽视场的更低分辨率图像。相对于背景流调整正在通过所述传输层发送的中央凹区域流的相位时序，以使其对应于所述中央凹区域在整个图像内的位置。这有助于减少在所述接收器处将所述图像混合在一起以创建最终图像以便驱动到所述显示器所需的缓冲的量。

Description

多流中央凹显示传输
背景技术
相关技术描述
随着显示器的分辨率和刷新速率的提高，显示图像所需的发射带宽成为主要限制因素。对于虚拟现实(VR)和增强现实(AR)头戴式耳机或头戴式显示器(HMD)，这成为甚至更大的问题，因为担忧电缆的物理厚度，因为它阻碍用户移动性，并且添加更多电线来发射更高分辨率的图像是不可接受的解决方案。为了给用户创建沉浸式环境，VR和AR视频流应用通常需要高分辨率和相当于高数据速率的高帧速率。在VR显示器和AR显示器的情况下，像现今通常做的那样发射全均匀分辨率图像是浪费的。
附图说明
通过结合附图参考以下描述，可更好地理解本文描述的方法和机制的优点，在附图中：
图1是系统的一个实现方式的框图。
图2是发射器的一个实现方式的框图。
图3是根据一个实现方式的用于呈现帧并将其驱动到VR或AR显示器的帧时序的时序图。
图4是接收器的一个实现方式的框图。
图5是示出用于调整中央凹区域流的相位时序的方法的一个实现方式的一般化流程图。
图6是示出用于响应于检测到眼睛扫视而增加呈现的中间分辨率图像的数量的方法的一个实现方式的一般化流程图。
图7是根据一个实现方式的传输图像和最终图像的图示。
图8是根据一个实现方式的常规多流显示传输的时序图。
图9是根据一个实现方式的相移多流显示传输的时序图。
具体实施方式
在以下描述中，阐述了众多具体细节以提供对本文呈现的方法和机制的透彻理解。然而，本领域普通技术人员应认识到，可在没有这些具体细节的情况下实践各种实现方式。在一些情况下，并未详细示出众所周知的结构、部件、信号、计算机程序指令和技术，以避免使本文描述的方法不清楚。将了解，为了图示的简单和清楚起见，附图中所示的元件未必按比例绘制。例如，一些元件的尺寸可相对于其他元件放大。
本文公开用于使用多流中央凹显示传输层的各种系统、设备、方法和计算机可读介质。在一个实现方式中，虚拟现实(VR)系统包括发射器，所述发射器通过显示传输层将多个流发送到耦接到显示器的接收器。每个流对应于不同图像，所述不同图像要由接收器混合在一起以创建合成图像以便驱动到显示器。图像至少包括中央凹区域图像和背景图像，所述中央凹区域图像对应于眼睛的凝视方向，所述背景图像是与中央凹区域图像相比具有更宽视场的更低分辨率图像。在另一个实现方式中，可存在分辨率逐步降低的多个中央凹区域图像。相对于背景流调整正在通过传输层发送的一个或多个中央凹区域流的相位时序，以使其对应于中央凹区域在整个图像内的位置。这有助于减少在接收器处将图像混合在一起以创建合成图像以便驱动到显示器所需的缓冲的量。
现在参考图1，示出系统100的一个实现方式的框图。在一个实现方式中，系统100包括发射器105、信道110、接收器115和头戴式显示器(HMD)120。应注意，在其他实现方式中，系统100可包括不同于图1所示的其他部件。在一个实现方式中，信道110是发射器105与接收器115之间的直接有线连接。在另一个实现方式中，信道110代表发射器105与接收器115之间的网络连接。取决于实现方式，可采用任何类型和数量的网络来提供发射器105与接收器115之间的连接。例如，在一个特定实现方式中，发射器105是云服务提供商的一部分。在另一个实现方式中，信道110表示发射器105与接收器115之间的无线连接。
在一个实现方式中，发射器105接收要编码并发送到接收器115的视频序列。在另一个实现方式中，发射器105包括呈现单元，所述呈现单元呈现要编码并发射到接收器115的视频序列。为了减少传送的数据量，在发射器105与接收器115之间使用中央凹图像的多流传输。多流序列的每个流对应于以不同分辨率生成的不同图像。在一个实现方式中，可针对每个流静态地分配可用链路带宽的部分。在另一个实现方式中，流的带宽可以是动态可配置的。为了减少在接收器115处的像素数据的缓冲的量，使中央凹图像在它们的适当流中的传输相对于携载背景图像的数据流相移。当接收器115接收多个流时，接收器115从流提取单独图像，并且然后将所述图像混合在一起以创建然后被驱动到HMD 120的单个帧。在一个实现方式中，接收器115与HMD 120分离，并且接收器115使用有线或无线连接与HMD 120通信。在另一个实现方式中，接收器115集成在HMD 120内。
发射器105和接收器115代表任何类型的通信装置和/或计算装置。例如，在各种实现方式中，发射器105和/或接收器115可以是移动电话、平板电脑、计算机、服务器、HMD、另一种类型的显示器、路由器或其他类型的计算或通信装置。在一个实现方式中，系统100执行用于将所呈现虚拟环境的帧从发射器105无线地发射到接收器115的虚拟现实(VR)应用。在其他实现方式中，可通过利用本文描述的方法和机制的系统100来实现其他类型的应用(例如，增强现实(AR)应用)。
在一个实现方式中，在于HMD 120上显示的每个图像内，在HMD 120的右侧125R上正在显示的场景包括中央凹区域130R，而在HMD 120的左侧125L上正在显示的场景包括中央凹区域130L。这些中央凹区域130R和130L分别由HMD 120的扩展右侧125R和左侧125L内的圆圈指示。如本文所用，术语“中央凹区域”被定义为每只眼睛显示的半帧中的每只眼睛的凝视所指向的部分。在一些情况下，“中央凹区域”至少部分地基于检测半帧内的眼睛所指向的位置的眼睛跟踪传感器来确定。此外，术语“中央凹区域”也可称为“聚焦区域”。
在一个实现方式中，中央凹区域130R和130L在右半帧和左半帧内的位置基于HMD120内的一个或多个眼睛跟踪传感器140来确定。在此实现方式中，眼睛跟踪数据作为反馈被提供给发射器105，并且可选地被提供给VR视频的呈现源。在一些情况下，眼睛跟踪数据反馈以高于VR视频帧速率的频率生成，并且发射器105能够访问所述反馈并以每帧为基础更新编码的视频流。在一些情况下，不在HMD 120上执行眼睛跟踪，而是将视频和其他传感器数据发送回发射器105以进行进一步处理，以确定眼睛的位置和移动。在另一个实现方式中，中央凹区域130R和130L的位置由VR应用基于预期用户正在看着的地方来指定。在另一个实现方式中，中央凹区域130R和130L的位置基于光学系统的特性单独地确定或结合眼睛跟踪来确定。应注意，中央凹区域130R和130L的大小可根据实现方式而变化。另外，中央凹区域130R和130L的形状可根据实现方式而变化，使得在另一个实现方式中，中央凹区域130R和130L被限定为椭圆形。在其他实现方式中，其他类型的形状也可用于中央凹区域130R和130L。
在一个实现方式中，信道110支持多流传输层来传送一个或多个较高分辨率中央凹区域以及较低分辨率背景图像，从而针对每个区域使用单独流并且针对背景图像使用单独流。在一些情况下，中央凹图像和背景图像以不同的刷新速率发射。例如，如果用户在VR或AR应用中的当前场景不变时已快速移动了他们的眼睛，则以比背景图像高的刷新速率发送中央凹区域，以考虑新的扫视着陆点。在一个实现方式中，发射器105将掩模元数据发送到接收器115，从而指定应如何组合多个区域以创建帧的最终合成图像。接收器115基于所接收掩模元数据将中央凹区域与背景图像混合。在一个实现方式中，掩模元数据作为阿尔法颜色信道供应。在另一个实现方式中，掩模元数据是分析确定的。在一个实现方式中，发射器105还将指定背景图像缩放属性的元数据发送到接收器115。背景图像缩放属性指示背景图像在与一个或多个中央凹区域混合之前应由接收器115缩放多少。接收器115基于此所接收缩放属性缩放背景图像。
在一个实现方式中，为了在与背景图像组合之前，使接收器115存储中央凹图像数据所需的图像缓冲的量最小化，使中央凹图像流的开始相对于背景图像流相移，以使其对应于中央凹区域在帧内的位置。在一个实现方式中，具有中央凹图像的流包括关于中央凹区域相对于背景图像的位置、中央凹层组成次序和相移的元数据。在一个实现方式中，中央凹区域在对应流内的相移的调整与扫视移动相关并且在扫视抑制期间执行。在一个实现方式中，使用边带通信接口145将关于用于在流内的图像移位的眼睛扫视的信息从一个或多个眼睛跟踪传感器140发射到发射器105。
当接收器115接收到多个流时，接收器115从每个流提取图像。然后，接收器115将一个或多个中央凹图像叠加在背景图像上以创建将被驱动到显示器120的最终图像。使一个或多个中央凹图像流的发射相对于背景图像流进行相移减少在接收器115上将一个或多个中央凹图像与背景图像组合以创建最终图像所需的缓冲的量。
现在转向图2，示出发射器200的一个实现方式的框图。在一个实现方式中，发射器200至少包括中央凹呈现单元210、眼睛扫视预测单元215和编码器225。替代地，在另一个实现方式中，中央凹呈现单元210耦接到发射器200，而不是集成在发射器200内。应注意，发射器200还可包括其他部件，所述部件并未示出以避免使附图不清楚。虽然中央凹呈现单元210、眼睛扫视预测单元215和编码器225在图2中示出为单独的单元，但是应注意，在其他实现方式中，这些单元中的任两个可一起组合成单个单元，或者所有三个单元可一起组合成单个单元。呈现单元210、眼睛扫视预测单元215和编码器225中的每一者使用硬件(例如，控制逻辑、处理单元)和/或软件(例如，可由处理单元执行的程序指令)的任何合适的组合来实现。
在一个实现方式中，中央凹呈现单元210根据图形信息(例如，原始图像数据)生成呈现图像220。在一个实现方式中，呈现图像220包括对应于视频序列的单个视频帧的两个或更多个图像。应注意，术语“图像”、“帧”和“视频帧”在本文中可以可交换地使用。在一个实现方式中，中央凹呈现单元210接收指定帧内的一个或多个中央凹区域(例如，图1的中央凹区域130R和130L)的中央凹区域信息。在一个实现方式中，将中央凹区域信息从HMD(例如，HMD 120)中的一个或多个眼睛跟踪传感器(例如，传感器140)提供给发射器200。中央凹呈现单元210使用中央凹区域信息来以比呈现图像220中的其他图像相对高的像素密度生成中央凹区域图像。
应注意，在一个实现方式中，呈现图像220中的每个图像代表一对图像，其中一个图像用于HMD的每只眼睛视野。例如，在此实现方式中，呈现图像220中的每个图像代表包括用于右眼的第一呈现图像和用于左眼的第二呈现图像的一对图像。替代地，呈现图像220中的每个图像包括一起组合成单个图像的左眼部分和右眼部分。
在一个实现方式中，编码器225针对来自呈现图像220的每一帧生成多个编码流235。然后，编码器225将多个编码流235发送到接收器以用于重构，其中每个流包括帧的一部分或全部的单独编码的图像表示。在一个实现方式中，每个流包括在与其他流的其他图像的分辨率不同的分辨率下的图像。另外，每个流的更新速率独立于其他流。因此，在一个实现方式中，中央凹区域流与背景图像流相比具有更高的更新速率。
在一个实现方式中，眼睛扫视预测单元215检测眼睛扫视并预测在扫视结束时眼睛将着陆的位置。在一个实现方式中，检测和预测是基于眼睛跟踪数据。如本文所用，术语“扫视”被定义为眼睛在注视点之间的快速移动。例如，眼睛扫视预测单元215基于指示眼睛移动大于阈值量的眼睛位置传感器读数检测眼睛扫视。当检测到眼睛扫视时，扫视预测单元215预测眼睛在显示器上最终将着陆的位置。在一个实现方式中，扫视预测单元215还预测眼睛将着陆在最终位置处的时序。位置和时序预测用于确定何时呈现要显示给用户的下一帧的一个或多个中央凹区域。通常，扫视遗漏阻止一些视觉输入在快速的眼睛移动之前的短时段内、在眼睛移动期间以及在眼睛移动之后的短时段内被处理。然而，一旦眼睛停止移动，大脑就将在短暂延迟之后再次开始处理新的视觉数据。因此，为了防止用户具有负面观看体验，中央凹呈现单元210将在眼睛扫视的预测的着陆位置之后不久呈现中央凹区域。另外，中央凹呈现单元200将呈现下一帧，使得下一帧在预测眼睛扫视结束的时刻之后不久显示给用户。
在一个实现方式中，呈现单元210利用一个或多个中央凹区域中的数据生成多个不同分辨率的图像以模拟(approximate)眼睛的敏锐度下降。根据扫视的类型和扫视预测的概率测度，一旦预测眼睛扫视结束，呈现单元210将增加每帧呈现的图像的数量并在一段时间内调整它们的形状(例如在扫视方向上拉长图像，扩大图像以覆盖扫视着陆点处的更大图像部分)以校正可能的着陆点预测误差。例如，在一个实现方式中，在眼睛移动可忽略不计的时间段期间，呈现单元210每帧生成将由接收器混合在一起的两个图像。然而，在检测到眼睛扫视并且估计着陆点不确定性高于某个阈值之后，呈现单元210每帧生成多于两个图像。这有助于向用户提供更好的图像，所述图像将具有更少的视觉伪影。这也有助于在眼睛着陆位置的预测存在少量误差的情况下提供更好的图像。在一个实现方式中，响应于检测到眼睛扫视，呈现单元210生成呈第一分辨率的中央凹区域图像、呈第二分辨率的第一中间中央凹区域图像、呈第三分辨率的第二中间中央凹区域图像以及呈第四分辨率的背景图像。这四个图像作为单独流发送，并且然后在接收器处混合在一起以生成被驱动到显示器的图像。在此实例中，分辨率从第一分辨率到第四分辨率从最高到最低。换句话说，第一分辨率高于第二分辨率，第二分辨率高于第三分辨率，并且第三分辨率高于第四分辨率。因此，如果扫视着陆地点预测有少量偏差，则用户的眼睛将着陆在第一中间中央凹区域图像中，所述图像具有比背景图像高的分辨率，并且因此将为用户提供足够的细节以防止明显的视觉伪影。
现在参考图3，示出根据一个实现方式的用于呈现帧并将其驱动到VR或AR显示器的帧时序的时序图300。在一个实现方式中，每个帧周期的边界由垂直同步(VSync)信号确定。换句话说，帧周期的开始与VSync信号一致，并且帧周期的结束与下一VSync信号一致。例如，时序图300中所示的第一帧周期由VSync 305和Vsync 310界定。在第一帧周期期间，原始中央凹图像流以相对于背景图像流的相移方式通过显示传输发送到接收器。执行相移，使得中央凹图像流在中央凹图像将与背景图像混合的时间点处到达接收器。接收器将中央凹区域与背景图像混合，并且然后VR合成器将混合图像驱动到显示器。
如本文所用，术语“帧周期”被定义为帧速率的倒数。在各种实现方式中，帧以固定或可变帧速率驱动到VR显示器，其中帧速率足够高以为给定的VR应用提供积极的用户体验。应注意，贯穿本公开，当技术被称为适用于VR应用或VR显示器时，应理解所述技术也适用于AR或其他类型的沉浸式应用。当VR应用的帧速率在给定时间段内固定时，可确定要显示的下一帧的Vsync的时序。
出于此论述目的，假设VR系统包括在VR应用的执行期间检测和/或预测眼睛扫视的眼睛扫视检测单元或眼睛扫视预测单元(例如，图2的眼睛扫视预测单元215)。如时序图300所示，已检测到眼睛扫视325，并且示出与Vsync信号、背景图像流的传输和原始中央凹图像流的传输相关的眼睛扫视325的时序的预测。作为眼睛扫视325的结果，中央凹区域的位置将移动，这将改变在显示传输上发送中央凹图像流的最佳时序。在一个实现方式中，由于在发送整个原始中央凹图像流320之前检测到眼睛扫视325，因此发射器中止原始中央凹图像流320的发射，因为中央凹区域的位置已经改变。一旦眼睛扫视325结束并且眼睛停止移动，用户就将预期高分辨率中央凹区域位于眼睛凝视所指向的位置。
因此，在一个实现方式中，当检测到眼睛扫视325时，呈现新的中央凹图像以说明中央凹区域在眼睛扫视325结束时的预测位置。新的中央凹图像流330以相对于背景图像流335的新相位关系发送以对应于新的中央凹图像将与背景图像混合的时间。如果在下一Vsync 315之前存在足够的时间来呈现和发射新的中央凹图像流330，则执行新的中央凹图像流330的相位的此调整。如果在Vsync 315之前不存在足够的时间，则可针对当前帧向用户显示较低分辨率背景图像，并且然后将新的中央凹图像流与背景图像流之间的适当相位关系应用于后续帧。
现在转向图4，示出接收器400的一个实现方式的框图。在一个实现方式中，接收器400集成在HMD(例如，图1的HMD 120)内。在另一个实现方式中，接收器400是与HMD分离的部件，并且接收器400通过有线或无线接口与HMD通信。在一个实现方式中，接收器400至少包括流解复用器410、缓冲器415A-N、解码单元420、显示合成器430和显示控制器440。应注意，接收器400可包括其他单元，所述单元并未示出以避免使附图不清楚。在其他实现方式中，接收器400可以其他合适的布置来构造。还应注意，在其他实现方式中，图4所示的单元中的两个或更多个可一起组合成单个单元。
在一个实现方式中，接收器400接收用于VR或AR应用的帧的多个编码流。在接收到多个编码流之后，流解复用器410将编码流分成单独的分量流。在一个实现方式中，编码流中存在两个流，其中所述两个流包括相对高分辨率中央凹图像和相对低分辨率背景图像。在其他实现方式中，接收器400接收多于两个编码流。单独的分量流被分离出来并存储在缓冲器415A-N中，所述缓冲器415A-N代表用于存储不同分量流的像素数据的任意数量的缓冲器。
解码单元420从缓冲器415A-N检索分离的分量编码图像并且对编码图像进行解码。然后，解码单元420将解码图像425输送到显示合成器430。显示合成器430将解码图像425混合在一起以创建提供给显示控制器440的混合图像435。在一个实现方式中，解码单元420从编码流提取混合掩模422并将混合掩模422输送到显示合成器430。在此实现方式中，显示合成器430使用混合掩模422来确定如何将多个分量图像组合在一起以创建混合图像435。显示控制器440对混合图像435执行最终调整以创建被驱动到显示器的最终图像445。应注意，最终图像445在被驱动到目标显示器之前可存储在帧缓冲器或其他位置中。
现在参考图5，示出用于调整中央凹区域流的相位时序的方法500的一个实现方式。出于论述目的，按顺序次序示出此实现方式中的步骤和图6至图7的那些步骤。然而，应注意，在所描述方法的各种实现方式中，可同时执行、可按与所示不同的次序、或者可完全省略所描述要素中的一个或多个。还根据需要执行其他另外的要素。本文描述的各种系统或设备中的任一者被配置来实施方法500。
发射器接收中央凹区域在帧内的位置的指示(框505)。在一个实现方式中，将中央凹区域信息通过边带信道从一个或多个眼睛跟踪传感器发送到发射器。发射器相对于背景图像流调整中央凹区域图像流的相位时序以使其对应于中央凹区域在帧内的位置(框510)。例如，如果显示的光栅次序是从上到下，并且如果中央凹区域位于帧的上部，则使中央凹区域图像何时通过传输层发送的相位时序向前移动到一个点，所述点允许接收器在中央凹区域图像将需要与背景图像混合的时间点处接收整个中央凹区域图像。替代地，如果中央凹区域位于屏幕的底部，则调整中央凹区域图像何时通过传输层发送的相位时序，以允许中央凹区域图像及时被接收器完全接收以进行混合。接下来，发射器使用相对于背景图像流调整的相位时序将中央凹区域图像流发送到接收器(框515)。在框515之后，方法500结束。作为发射器执行方法500的结果，接收器能够减少在将中央凹区域图像与背景图像混合时使用的缓冲的量。
现在转向图6，示出用于响应于检测到眼睛扫视而增加呈现的中间分辨率图像的数量的方法600的一个实现方式。呈现单元针对中央凹区域呈现相对高分辨率图像，并且针对VR应用的每一帧的背景呈现相对低分辨率图像(框605)。如果呈现单元接收到针对正在呈现的当前帧已检测到眼睛扫视的指示(条件框610，“是”支线(leg))，则如果基于新的相位时序存在足够的可用时间，则呈现单元终止呈现现有的中央凹区域并开始在新位置处呈现新的中央凹区域(框615)。接收器将处理中央凹流被中止并且在帧的不同位置中以不同相位重新启动新的中央凹流的情形。在一个实现方式中，接收器能够处理帧内因这种重新启动而引起的多个中央凹区域。
另外，响应于检测到眼睛扫视，呈现单元增加针对当前帧呈现的中间分辨率图像的数量(框620)。例如，在一个实现方式中，呈现单元呈现高分辨率中央凹区域、围绕所述中央凹区域的中高分辨率区域、围绕所述中高分辨率区域的中等分辨率区域以及低分辨率背景图像。在其他实现方式中，呈现单元呈现其他数量的(大于两个)具有不同分辨率量的区域。在另一个实现方式中，对于使用非均匀分辨率呈现技术的系统，可根据较高分辨率图像生成多个中央凹层。如果针对当前帧尚未检测到眼睛扫视(条件框610，“否”支线)，则针对当前帧，呈现单元呈现中央凹区域的第一图像和背景的第二图像(框625)。在接收器处，在混合图像之后，针对当前帧将混合图像驱动到显示器(框630)，方法600返回到条件框610。
现在参考图7，示出根据一个实现方式的传输图像和最终图像的图示。低分辨率背景图像705的一个实例示出在图7的左上方，并且高分辨率中央凹图像710的一个实例示出在图7的左下方。在一个实现方式中，将这两个图像705和710从发射器发送到接收器，使得基于中央凹区域在整个图像内的位置对对应图像流的相位时序进行调整。接收器然后将图像705和710混合在一起以创建最终图像715。应当理解，在其他实现方式中，可将其他数量的图像发送到接收器以混合在一起以创建最终图像。在这些其他实现方式中，在传输层上发送的每个较高分辨率图像流的相位时序将基于对应区域在整个图像内的位置相对于背景图像流进行调整。
现在转向图8，示出根据一个实现方式的常规多流显示传输的时序图。通过传输层正在发送的图像的时序示出在图8的顶部处。在此实例中，假设存在正在发送的两个单独的图像流，但是应当理解这仅仅表示一个实现方式。在其他实现方式中，可用正在从发射器发送到接收器的对应图像流来呈现其他数量的图像。如图所示，背景图像805A和中央凹图像805B通过传输层同相发送，其中背景图像805A和中央凹图像805B对应于正在呈现并意图在接收器处显示的单个帧。在一个实现方式中，背景图像805A和中央凹图像805B在它们通过传输层发送时被交错。
在接收器处的图像处理的时序示出在传输时序框下方。在背景图像805A和中央凹图像805B通过传输层同相发送到接收器之后，接收器将图像分别存储在缓冲器810A和810B中。然后，在背景图像805A和中央凹图像805B两者均被完全缓冲之后，背景图像805A被缩放，如框815A所指示。基于中央凹图像805B在图像内的位置，在相对于背景图像805A的缩放的适当时间处开始混合中央凹图像805B。混合由框815B表示。作为缩放815A和混合815B步骤的结果，生成最终图像817。如图8所示，假设中央凹图像805B位于背景图像805A内，如针对中央凹图像710相对于(图7的)背景图像705所示。对于中央凹图像在整个图像内的其他位置，可使混合框815B的时序移位以匹配所述位置。例如，如果中央凹图像位于背景图像的左上角，则混合框815B将被向左移位并在背景图像的缩放815A内更早地执行。
在执行缩放815A时，新的背景图像820A和新的中央凹图像820B被发送到接收器并分别存储在缓冲器825A和825B中。需要两对缓冲器810A-B和825A-B，因为在正在接收背景图像820A和中央凹图像820B的同时将背景图像805A与中央凹图像805B混合。对于从发射器发送并由接收器处理的后续图像，此时序模式可以继续。
现在参考图9，示出相移多流显示传输的时序图的一个实现方式。图9的时序图示出用于发射背景图像流和中央凹图像流的更有效的传输层。使中央凹图像流的发射相对于背景图像流进行相移，以减少在接收器处所需的缓冲的量。此相移示出为中央凹图像905B在时间上比背景图像905A更早地发送。如框915A所示，在接收背景图像时对其进行缩放，从而防止需要用于背景图像的缓冲器。接收器在接收到中央凹图像流时将其在缓冲器910中缓冲，并且然后基于中央凹区域在整个图像内的位置在适当的时间处将缓冲的中央凹图像与背景图像混合。缓冲的中央凹图像905B与背景图像905A的混合被示出为框915B。作为缩放915A和混合915B步骤的结果，生成最终图像917。对于后续帧，此时序模式将继续，而中央凹区域的位置保持不变。
在眼睛扫视期间，中央凹区域的位置快速变化。如果在检测到眼睛扫视时已经发起通过传输层发射中央凹图像流，则发射器可中止中央凹图像流的发射并在相对于背景图像流的正确相位位置处重新启动新的中央凹图像流。
在各种实现方式中，使用软件应用程序的程序指令来实现本文描述的方法和/或机制。例如，设想到可由通用处理器或专用处理器执行的程序指令。在各种实现方式中，此类程序指令可由高级编程语言表示。在其他实现方式中，程序指令可从高级编程语言编译成二进制形式、中间形式或其他形式。替代地，可写入描述硬件的行为或设计的程序指令。此类程序指令可由高级编程语言诸如C表示。替代地，可使用硬件设计语言(HDL)，诸如Verilog。在各种实现方式中，程序指令存储在多种非暂时性计算机可读存储介质中的任一种上。存储介质可由计算系统在使用期间访问，以将程序指令提供到计算系统以用于程序执行。一般而言，这种计算系统包括至少一个或多个存储器和被配置来执行程序指令的一个或多个处理器。
应强调，上述实现方式仅是实现方式的非限制性实例。一旦充分了解以上公开内容，许多改动和修改对本领域技术人员将显而易见。以下权利要求意图解译为包含所有此类改动和修改。

Claims (20)

1.一种系统，其包括：
呈现单元，所述呈现单元被配置来呈现帧的多个区域，其中所述多个区域中的每个区域以与其他区域不同的分辨率呈现；以及
发射器，所述发射器被配置来：
将每个区域作为单独图像在单独流中发射到接收器，所述接收器组合图像，之后将合成图像驱动到显示器；并且
通过使第一流的相位相对于第二流移位来发射所述第一流，其中所述相位移位对应于中央凹区域在所述帧内的位置的量，其中所述第一流包含所述中央凹区域，并且其中所述第二流包含背景图像。
2.如权利要求1所述的系统，其中：
所述中央凹区域以第一刷新速率更新；
所述背景图像以第二刷新速率更新；并且
所述第二刷新速率不同于所述第一刷新速率。
3.如权利要求1所述的系统，其中所述呈现单元进一步被配置来响应于接收到已检测到眼睛扫视的指示而增加正在以不同分辨率呈现的区域的数量。
4.如权利要求3所述的系统，其中所述呈现单元进一步被配置来：
在接收到所述指示之前针对第一帧呈现两个单独区域；并且
在接收到所述指示之后针对第二帧呈现多于两个单独区域。
5.如权利要求3所述的系统，其中所述呈现单元进一步被配置来响应于接收到所述指示而调整所述中央凹区域的刷新速率。
6.如权利要求1所述的系统，其中所述发射器进一步被配置来将混合掩模输送到所述接收器以指定如何组合所述多个区域以创建所述合成图像。
7.如权利要求1所述的系统，其中所述发射器进一步被配置来将背景图像缩放属性输送到所述接收器以指定如何缩放所述背景图像。
8.一种方法，其包括：
由呈现单元呈现帧的多个区域，其中所述多个区域中的每个区域以与其他区域不同的分辨率呈现；
由发射器将每个区域作为单独图像在单独流中发射到接收器，所述接收器组合图像，之后将合成图像驱动到显示器；以及
通过使第一流的相位相对于第二流移位来发射所述第一流，其中所述相位移位对应于中央凹区域在所述帧内的位置的量，其中所述第一流包含所述中央凹区域，并且其中所述第二流包含背景图像。
9.如权利要求8所述的方法，其中：
所述中央凹区域以第一刷新速率更新；
所述背景图像以第二刷新速率更新；并且
所述第二刷新速率不同于所述第一刷新速率。
10.如权利要求8所述的方法，其还包括：响应于接收到已检测到眼睛扫视的指示而增加正在以不同分辨率呈现的区域的数量。
11.如权利要求10所述的方法，其还包括：
在接收到所述指示之前针对第一帧呈现两个单独区域；以及
在接收到所述指示之后针对第二帧呈现多于两个单独区域。
12.如权利要求10所述的方法，其还包括：响应于接收到所述指示而调整所述中央凹区域的刷新速率。
13.如权利要求8所述的方法，其还包括：将混合掩模输送到所述接收器以指定如何组合所述多个区域以创建所述合成图像。
14.如权利要求8所述的方法，其还包括：将背景图像缩放属性输送到所述接收器以指定如何缩放所述背景图像。
15.一种系统，其包括：
发射器，所述发射器被配置来：
呈现帧的多个区域，其中所述多个区域中的每个区域以与其他区域不同的分辨率呈现；
将每个区域作为单独图像在单独流中发射到接收器；并且
通过使第一流的相位相对于第二流移位来发射所述第一流，其中所述相位移位对应于中央凹区域在所述帧内的位置的量，其中所述第一流包含所述中央凹区域，并且其中所述第二流包含背景图像；以及
所述接收器，所述接收器被配置来：
组合来自多个流的所述多个区域以创建合成图像；并且
将所述合成图像驱动到显示器。
16.如权利要求15所述的系统，其中：
所述中央凹区域以第一刷新速率更新；
所述背景图像以第二刷新速率更新；并且
所述第二刷新速率不同于所述第一刷新速率。
17.如权利要求15所述的系统，其中所述发射器进一步被配置来响应于接收到已检测到眼睛扫视的指示而增加正在以不同分辨率呈现的区域的数量。
18.如权利要求17所述的系统，其中所述发射器进一步被配置来：
在接收到所述指示之前针对第一帧呈现两个单独区域；并且
在接收到所述指示之后针对第二帧呈现多于两个单独区域。
19.如权利要求17所述的系统，其中所述发射器进一步被配置来响应于接收到所述指示而调整所述中央凹区域的刷新速率。
20.如权利要求15所述的系统，其中所述发射器进一步被配置来将混合掩模输送到所述接收器以指定如何组合所述多个区域以创建所述合成图像。
CN202080064752.8A 2019-09-19 2020-09-21 多流中央凹显示传输 Pending CN114402613A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/575,804 US11307655B2 (en) 2019-09-19 2019-09-19 Multi-stream foveal display transport
US16/575,804 2019-09-19
PCT/IB2020/058783 WO2021053644A1 (en) 2019-09-19 2020-09-21 Multi-stream foveal display transport

Publications (1)

Publication Number Publication Date
CN114402613A true CN114402613A (zh) 2022-04-26

Family

ID=74880843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080064752.8A Pending CN114402613A (zh) 2019-09-19 2020-09-21 多流中央凹显示传输

Country Status (6)

Country Link
US (1) US11307655B2 (zh)
EP (1) EP4032283A4 (zh)
JP (1) JP7477600B2 (zh)
KR (1) KR20220065794A (zh)
CN (1) CN114402613A (zh)
WO (1) WO2021053644A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11353723B2 (en) * 2019-10-31 2022-06-07 Tectus Corporation Saccade detection and endpoint prediction for electronic contact lenses
FR3116351B1 (fr) * 2020-11-18 2023-06-16 Thales Sa Dispositif d'affichage tête haute porté et procédé d'affichage associé
US20220201271A1 (en) * 2020-12-23 2022-06-23 Facebook Technologies, Llc Temporal foveated rendering
CN113362450B (zh) * 2021-06-02 2023-01-03 聚好看科技股份有限公司 一种三维重建方法、装置及系统
TWI783588B (zh) * 2021-07-23 2022-11-11 瑞昱半導體股份有限公司 可應用於在顯示裝置中進行多畫面處理之縮放器積體電路
US11874958B2 (en) * 2021-09-24 2024-01-16 Apple Inc. Eye detection methods and devices
CN118215954A (zh) * 2021-11-10 2024-06-18 索尼半导体解决方案公司 显示装置、显示系统及显示驱动方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141062A (en) * 1998-06-01 2000-10-31 Ati Technologies, Inc. Method and apparatus for combining video streams
US20090141032A1 (en) * 2007-12-03 2009-06-04 Dat Nguyen Synchronization of video input data streams and video output data streams
US20180084159A1 (en) * 2015-05-29 2018-03-22 Japan Display Inc. Display system and display method
US20180176535A1 (en) * 2016-12-19 2018-06-21 Dolby Laboratories Licensing Corporation View Direction Based Multilevel Low Bandwidth Techniques to Support Individual User Experiences of Omnidirectional Video
CN109792562A (zh) * 2016-09-26 2019-05-21 杜比实验室特许公司 视频数据的基于内容的流分割

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047504A1 (en) 2003-09-03 2005-03-03 Sung Chih-Ta Star Data stream encoding method and apparatus for digital video compression
US9024964B2 (en) 2008-06-06 2015-05-05 Omnivision Technologies, Inc. System and method for dithering video data
US20110317770A1 (en) * 2010-06-24 2011-12-29 Worldplay (Barbados) Inc. Decoder for multiple independent video stream decoding
US8615140B2 (en) 2011-11-18 2013-12-24 Canon Kabushiki Kaisha Compression of image data in accordance with depth information of pixels
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9998750B2 (en) 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
US9426475B2 (en) 2013-06-25 2016-08-23 VIXS Sytems Inc. Scene change detection using sum of variance and estimated picture encoding cost
WO2015138008A1 (en) 2014-03-10 2015-09-17 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US9857871B2 (en) * 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US10460704B2 (en) 2016-04-01 2019-10-29 Movidius Limited Systems and methods for head-mounted display adapted to human visual mechanism
EP3440495A1 (en) 2016-04-08 2019-02-13 Google LLC Encoding image data at a head mounted display device based on pose information
US10341650B2 (en) 2016-04-15 2019-07-02 Ati Technologies Ulc Efficient streaming of virtual reality content
US10805592B2 (en) 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
JP2019525248A (ja) * 2016-08-01 2019-09-05 イマジン・コーポレイション 再構成可能なディスプレイおよび再構成可能なディスプレイのための方法
US10291931B2 (en) 2016-10-13 2019-05-14 Ati Technologies Ulc Determining variance of a block of an image based on a motion vector for the block
US10490157B2 (en) 2017-01-03 2019-11-26 Screenovate Technologies Ltd. Compression of distorted images for head-mounted display
EP3370419B1 (en) 2017-03-02 2019-02-13 Axis AB A video encoder and a method in a video encoder
US20180262758A1 (en) 2017-03-08 2018-09-13 Ostendo Technologies, Inc. Compression Methods and Systems for Near-Eye Displays
US10665209B2 (en) * 2017-05-18 2020-05-26 Synaptics Incorporated Display interface with foveal compression
WO2018227100A1 (en) 2017-06-09 2018-12-13 Sony Interactive Entertainment Inc. Optimized shadows and adaptive mesh skinning in a foveated rendering system
WO2019018365A1 (en) 2017-07-17 2019-01-24 Tobii Ab CLOTHING DEVICES FOR EYE FOLLOW-UP
US10553016B2 (en) * 2017-11-15 2020-02-04 Google Llc Phase aligned foveated rendering
US10798455B2 (en) * 2017-12-22 2020-10-06 Comcast Cable Communications, Llc Video delivery
US10949947B2 (en) * 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
US10904552B2 (en) 2018-02-15 2021-01-26 Intel Corporation Partitioning and coding mode selection for video encoding
US20200195944A1 (en) 2018-12-14 2020-06-18 Advanced Micro Devices, Inc. Slice size map control of foveated coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141062A (en) * 1998-06-01 2000-10-31 Ati Technologies, Inc. Method and apparatus for combining video streams
US20090141032A1 (en) * 2007-12-03 2009-06-04 Dat Nguyen Synchronization of video input data streams and video output data streams
US20180084159A1 (en) * 2015-05-29 2018-03-22 Japan Display Inc. Display system and display method
CN109792562A (zh) * 2016-09-26 2019-05-21 杜比实验室特许公司 视频数据的基于内容的流分割
US20180176535A1 (en) * 2016-12-19 2018-06-21 Dolby Laboratories Licensing Corporation View Direction Based Multilevel Low Bandwidth Techniques to Support Individual User Experiences of Omnidirectional Video

Also Published As

Publication number Publication date
EP4032283A1 (en) 2022-07-27
US11307655B2 (en) 2022-04-19
JP7477600B2 (ja) 2024-05-01
EP4032283A4 (en) 2023-09-27
JP2022548534A (ja) 2022-11-21
KR20220065794A (ko) 2022-05-20
US20210089119A1 (en) 2021-03-25
WO2021053644A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
CN114402613A (zh) 多流中央凹显示传输
US11290699B2 (en) View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video
US10511823B2 (en) Video display apparatus, video display system, and video display method
AU2017314940A1 (en) Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
US8248437B2 (en) Image display apparatus and method for controlling the same
US11711530B2 (en) Tile shuffling for 360 degree video decoding
CN114981880A (zh) 隐藏无线虚拟和增强现实系统中的延迟
US20230199333A1 (en) Methods and apparatus for encoding, communicating and/or using images
WO2021199205A1 (ja) 画像データ転送装置、画像表示システム、および画像データ転送方法
KR20220054604A (ko) 단일-스트림 포빌 디스플레이 전송
US10692186B1 (en) Blending inset images
KR102228025B1 (ko) 고화질의 vr 컨텐츠의 스트리밍 제공 방법, 단말 및 서버
US20230260191A1 (en) Improved Split Rendering for Extended Reality (XR) Applications
US20240107110A1 (en) Changing video tracks in immersive videos
KR102372323B1 (ko) 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 프로그램
CN117859320A (zh) 改进中心凹渲染图像的感知质量的方法
KR20230109278A (ko) 콘텐츠를 제공하는 서버 및 방법, 콘텐츠를 출력하는 사용자 단말 및 방법
JP2020035249A (ja) 視線誘導装置及びそのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination