CN111357289B - 针对视频编码器渲染的游戏引擎的方法、设备及系统 - Google Patents

针对视频编码器渲染的游戏引擎的方法、设备及系统 Download PDF

Info

Publication number
CN111357289B
CN111357289B CN201880074192.7A CN201880074192A CN111357289B CN 111357289 B CN111357289 B CN 111357289B CN 201880074192 A CN201880074192 A CN 201880074192A CN 111357289 B CN111357289 B CN 111357289B
Authority
CN
China
Prior art keywords
color space
rendered
attributes
image
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880074192.7A
Other languages
English (en)
Other versions
CN111357289A (zh
Inventor
加博尔·西尼斯
凯尔·普拉马多尔
刘杨
伊哈卜·阿梅尔
鲍里斯·伊万诺维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATI Technologies ULC
Original Assignee
ATI Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATI Technologies ULC filed Critical ATI Technologies ULC
Publication of CN111357289A publication Critical patent/CN111357289A/zh
Application granted granted Critical
Publication of CN111357289B publication Critical patent/CN111357289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/203—Image generating hardware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions

Abstract

公开了将图像直接渲染到视频编码器的系统、设备和方法。游戏引擎包括被配置为根据模式在不同的颜色空间中渲染图像的嵌入式渲染单元。所述渲染单元在以第一模式操作时仅针对第一颜色空间渲染图像以使图像被直接驱动到显示器。所述渲染单元在以第二模式操作时仅针对第二颜色空间渲染图像，所述图像被直接提供到视频编码器。在第三模式中，所述渲染单元针对两个颜色空间渲染图像。在一个实施方案中，所述第一颜色空间是RGB并且所述第二颜色空间是YUV。所述游戏引擎还生成与每个已渲染的图像相关联的多个属性并且所述视频编码器基于与所述已渲染的图像相关联的所述属性来将每个已渲染的图像编码成编码的位流。

Description

针对视频编码器渲染的游戏引擎的方法、设备及系统
背景技术
相关技术的描述
各种应用程序执行图像或视频内容的实时编码和解码。例如，云游戏和游戏观看行为是包括对内容的实时编码和解码的支持的应用程序的示例。在实时地供给这种工作量时通常会出现延迟、质量、位速率率、功率和性能挑战。在许多情形中，在图形处理单元(GPU)上运行的基于游戏引擎的应用程序在RGB颜色空间中进行渲染以经由系统附接的显示器呈现图像。另外，当打算经由网络将已渲染的图像发送到远程系统时，已渲染的图像被转变到由编解码器使用的颜色空间(通常是YUV)中，并且被视频编码器编码成视频位流。使视频编码器在维持低编码延迟并减少编码的视频位流中的伪影的同时优化视频的质量可为具有挑战性的。鉴于以上内容，期望用于渲染图像和将已渲染的图像编码成编码的位流的新的和改进的方法。
附图说明
通过结合附图参考以下描述，可更好地理解本文中描述的方法和机制的优点，附图中：
图1是用于将已渲染的图像编码成经由网络发送的视频位流的系统的一个实施方案的框图。
图2是服务器的软件部件的一个实施方案的框图。
图3是计算系统的一个实施方案的框图。
图4是计算系统的另一实施方案的框图。
图5是示出游戏引擎直接渲染到视频编码器的方法的一个实施方案的一般化流程图。
图6是示出用于操作多模式游戏引擎的方法的一个实施方案的一般化流程图。
具体实施方式
在以下描述中，阐述了众多具体细节以提供对本文中呈现的方法和机制的透彻理解。然而，本领域技术人员应认识到，可在没有这些具体细节的情况下实践各种实施方案。在一些情况下，未详细示出众所周知的结构、部件、信号、计算机程序指令和技术以避免使本文中描述的方法模糊不清。应了解，为了简单和清楚地进行说明，图中所示的元件不一定按比例绘制。例如，元件中的一些的尺寸相对于其他元件可能被夸大。
本文中公开了游戏引擎直接渲染到视频编码器的系统、设备和方法。在一个实施方案中，一种系统包括游戏引擎和服务器中的视频编码器，所述服务器经由网络联接到具有解码器的客户端。游戏引擎包括被配置为在第一颜色空间中渲染图像以用于显示的嵌入式渲染单元。渲染单元还被配置为在第二颜色空间中将图像直接渲染到视频编码器。在一个实施方案中，第一颜色空间是RGB并且第二颜色空间是YUV。游戏引擎还生成与每个已渲染的图像相关联的多个属性并且向视频编码器传送多个属性。所述多个属性包括由渲染单元用来渲染图像的各种类型的数据。视频编码器基于与已渲染的图像相关联的多个属性来将每个已渲染的图像编码成编码的位流。
在一个实施方案中，渲染单元位于云中的服务器上，并且已渲染的内容经由网络被传送到客户端。例如，可执行云游戏应用程序，其中游戏应用程序帧在云中被渲染。在这种情形中，渲染单元将向编码器传送已渲染的帧。渲染单元可使用各种类型的处理单元中的任一个来实施。在一个实施方案中，渲染单元在图形处理器或图形子系统上实施。在另一实施方案中，渲染单元在通用中央处理单元(CPU)上实施。在其他实施方案中，渲染单元能够在其他类型的处理单元(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP))上实施。
现在参考图1，示出了用于将已渲染的图像编码成经由网络发送的视频位流的系统100的一个实施方案的框图。系统100包括服务器105、网络110、客户端115和显示器120。在其他实施方案中，系统100能够包括经由网络110连接到服务器105的多个客户端，其中多个客户端接收由服务器105生成的相同的位流或不同的位流。系统100还能够包括用于为多个客户端生成多个位流的一个以上服务器105。在一个实施方案中，系统100被配置为将游戏内容的实时渲染和编码实施为云游戏应用程序的一部分。在实时地供给这种工作量时通常会出现延迟、质量、位速率、功率和性能挑战。在其他实施方案中，系统100被配置为执行其他类型的应用程序。
在一个实施方案中，服务器105被配置为渲染视频或图像帧，将所述帧编码成位流，并且然后经由网络110将编码的位流传送到客户端115。客户端115被配置为对编码的位流进行解码并生成视频帧或图像以驱动到显示器120或到显示合成器。在一个实施方案中，服务器105包括用于渲染将要向用户显示的图像的游戏引擎。如本文中所使用，术语“游戏引擎”被定义为用于渲染图像的实时渲染应用程序。游戏引擎能够包括用于渲染图像的各种着色器(例如，顶点着色器、几何着色器)。游戏引擎通常用来生成已渲染的图像以在连接到服务器105的显示器上立即显示。然而，一些应用程序能够使用客户端-服务器模型运行，其中已渲染的内容将在远程位置显示。对于这些应用程序，已渲染的图像由视频编码器编码成视频位流。然后经由网络110将视频位流发送到客户端115以在显示器120上观看。在各种实施方案中，根据多种合适的通信协议(例如TCP/IP等)中的任一种经由网络接口(未示出)将视频位流235传送到网络240。
网络110代表任何类型的网络或网络的组合，包括无线连接、直接局域网(LAN)、城域网(MAN)、广域网(WAN)、内联网、互联网、有线网络、分组交换网络、光纤网络、路由器、存储区域网络，或其他类型的网络。LAN的示例包括以太网、光纤分布式数据接口(FDDI)网络和令牌环网。网络110还能够包括远程直接存储器访问(RDMA)硬件和/或软件、传输控制协议/互联网协议(TCP/IP)硬件和/或软件、路由器、中继器、交换机、电网和/或其他部件。
服务器105包括用于渲染视频/图像帧并将帧编码成位流的软件和/或硬件的任何组合。在一个实施方案中，服务器105包括在一个或多个服务器的一个或多个处理器上执行的一个或多个软件应用程序。服务器105还包括网络通信能力、一个或多个输入/输出装置和/或其他部件。服务器105的一个或多个处理器能够包括任何数量和类型的处理器(例如，图形处理单元(GPU)、CPU、DSP、FPGA、ASIC)。一个或多个处理器能够联接到存储可由所述一个或多个处理器执行的程序指令的一个或多个存储器装置。类似地，客户端115包括用于对位流进行解码并将帧驱动到显示器120的软件和/或硬件的任何组合。在一个实施方案中，客户端115包括在一个或多个计算装置的一个或多个处理器上执行的一个或多个软件应用程序。客户端115能够是计算装置、游戏控制台、移动装置、流媒体播放器或其他类型的装置。
现在转向图2，示出了服务器205的软件部件的一个实施方案的框图。在一个实施方案中，服务器205包括被配置为在服务器205的处理单元上执行的应用程序210。在一个实施方案中，应用程序210是视频游戏应用程序。例如，应用程序210可为被配置为传送和/或接收游戏过程的视频的云游戏应用程序。在另一实施方案中，应用程序210是被配置为观看游戏过程的视频的游戏观看行为应用程序。在各种实施方案中，服务器205包括一个或多个处理器、一个或多个存储器装置以及指示服务器或其他计算装置的额外部件。在图2中所示的各种软件部件被配置为在服务器205的处理单元上执行。在一个实施方案中，服务器205是云计算架构的一部分。
在一个实施方案中，应用程序210被配置为接收输入(例如，游戏命令)，所述输入指定在客户端装置上捕获的用户移动/动作，在客户端装置上用户显示由应用程序210生成的视频流并与所述视频流交互。应用程序210包括被提供给游戏引擎215以渲染帧以用于显示的图形信息。游戏引擎215被配置为基于应用程序210的游戏状态来渲染图像帧。然后打算将已渲染的图像帧提供到显示引擎，然后驱动到显示器。然而，在一个实施方案中，已渲染的图像帧将在远程客户端装置的显示器上显示。在这个实施方案中，已渲染的图像帧将被编码成视频位流，其中视频位流被发送到远程客户端装置。
在一个实施方案中，游戏引擎215被配置为向编码器230提供与每个已渲染的图像227相关联的多个属性228，以在从已渲染的图像编码视频位流中使用。所述多个属性228包括渲染单元220用来构建已渲染的图像的多种数据。因此，这些属性228已经存在，并且渲染单元220可向编码器230提供这些属性228以增强编码过程。通过接收这些属性228，编码器230能够放弃通常将针对每个已渲染的图像227执行的各种处理和分析任务。在各种实施方案中，多个属性228可包括但不限于以下属性：相机视角速度缓存、每个对象运动信息、纹理数据提示、感兴趣区(ROI)、深度信息(例如，立体视频编码)、时间统计、渲染帧速率、场景变化、需要额外位的区域(例如，矩形)、跳过或静态帧指示和后处理数据。在其他实施方案中，可收集其他信息和/或可从被提供给视频编码器230的属性228中省略这些属性中的一个或多个。
在一个实施方案中，相机视角速度信息可用来辅助运动估计器。在一个实施方案中，ROI信息可包括脏矩形数据、重要性内容依赖对象、游戏/应用程序统计等。游戏/应用程序统计可在不透明的、透明的或半透明的覆盖层中显示。场景变化数据可辅助编码器刷新逻辑。可能需要额外位的区域包括覆盖的游戏统计或菜单。
根据实施方案，各种已渲染的图像属性可用于控制或调整不同的编码器设置。例如，如果两个连续图像(图像N-1和图像N)是相似的(例如，图像N-图像N-1<阈值)，则渲染单元220可用信号通知编码器230跳过帧。此外，如果在比较两个连续图像时(将图像N与图像N-1比较)标记的区域不变，则编码器230可在图像N中为那些区域构建对图像N-1的直接引用。而且，渲染单元220可使标记的ROI量化参数值交替(以实现更多或更少的压缩)。此外，可利用来自速度缓存的运动信息(将图像N与图像N-1比较)。例如，运动数据可用来修改在编码过程中使用的每个宏块量化参数。这意味着基于特定内容的速度向它分配更多编码位。更进一步地，深度信息可用于对立体图像进行编码。
在一个实施方案中，游戏引擎215被配置为在红/绿/蓝(RGB)颜色空间中渲染图像。然而，在一个实施方案中，编码器230被配置为将亮度/色度(YUV)颜色空间中的图像编码成视频流。因此，在这种情况下，已渲染的RGB图像与被配置为在YUV颜色空间中渲染图像的编码器230不兼容。为了解决这个矛盾，在各种实施方案中，渲染单元220被配置为在RGB和YUV颜色空间中的任一个或两个中渲染图像。应注意YUV颜色空间也可称为YCbCr或Y’CbCr颜色空间。
在一个实施方案中，游戏引擎215的渲染单元220将已渲染的图像227写入到缓冲器225的第一部分中并且游戏引擎215的渲染单元220将与已渲染的图像227相关联的属性228写入到缓冲器225的第二部分中。在一个实施方案中，视频编码器230被配置为从缓冲器225中检索已渲染的图像227和相关联的属性228。视频编码器230被配置为在将已渲染的图像227编码成编码的视频位流235时利用属性228。视频编码器230被配置为从缓冲器225中检索(或以其他方式接收)随后渲染的图像和相关联的属性，并继续从随后渲染的图像生成编码的视频位流235。在各种实施方案中，由游戏引擎215的渲染单元220生成的帧的编码按需要是根据多种视频格式和标准中的任一者(例如，“HD”、“4K”、“超4K”、H.262、H.264、H.265等)。
在一个实施方案中，编码器230被配置为以给定的位预算生成编码的位流235。例如，编码器230对于位流235可具有基于可用或指定的网络带宽的特定位预算(例如，2兆位每秒(Mbps))，并且编码器230对帧进行编码以满足这个特定的位预算。当编码的位流235由编码器230生成时，将编码的位流235从服务器205传送到客户端(未示出)。客户端接收编码的位流235，将位流235解码成各个帧，并且然后将帧驱动到显示器或显示合成器。
现在参考图3，示出了计算系统305的一个实施方案的框图。计算系统305包括接收玩家移动或动作的应用程序310。计算系统305还包括具有集成的渲染单元320的游戏引擎315。在图3所示的实施方案中，计算系统305被配置为生成用于在显示装置324上显示的已渲染的图像322，以及专门针对视频编码器330渲染的已渲染的图像327。渲染单元320还在缓冲器325中向视频编码器330提供属性328以辅助编码过程。视频编码器330针对由游戏引擎315的渲染单元320生成的每个图像从缓冲器325中检索已渲染的图像327和属性328，然后视频编码器330从已渲染的图像327和属性328生成编码的视频位流335。在一个实施方案中，已渲染的图像322在第一颜色空间中生成，并且已渲染的图像327在第二颜色空间中生成。在一个实施方案中，第一颜色空间是RGB并且第二颜色空间是YUV。根据实施方案，可经由网络340将编码的视频位流335传送到远程系统，或可将编码的视频位流335记录并存储在存储器345中。
现在转向图4，示出了计算系统405的另一实施方案的框图。系统405包括具有集成的渲染单元420的游戏引擎415。在一个实施方案中，根据所执行的特定软件应用程序和/或根据系统405的操作条件，游戏引擎415可以不同模式操作。表416包括游戏引擎415可根据一个实施方案实施的不同的操作模式的列表。例如，在模式417A中，游戏引擎415被配置为仅渲染到视频编码器450。在模式417A中，渲染单元420将图像渲染到YUV颜色空间，并且生成属性435以由视频编码器450在将每个已渲染的图像430编码成视频位流时利用。渲染单元420收集将要存储在图像属性部分435中的数据。除了渲染单元420生来用来产生图像的数据(深度、运动、纹理)之外，渲染单元420还可提示与先前图像的ROI和时间变化。例如，如果与先前渲染的图像相比当前渲染的图像430只有一小部分已发生变化，则渲染单元420生成视频编码器450在对当前渲染的图像430进行编码时再次使用与先前渲染的图像不变的部分的指示(其被包括在属性435中)。
当以模式417B操作时，游戏引擎415被配置为仅渲染到显示器424。在模式417B中，渲染单元420在RGB颜色空间中生成每个已渲染的图像422，然后将已渲染的RGB图像422驱动到显示器424或显示合成器。当以模式417C操作时，游戏引擎415被配置为渲染到视频编码器450和显示器424。在模式417C中，对于主机游戏应用程序的每个帧，渲染单元420为显示器424生成RGB颜色空间中的已渲染的图像422，并且渲染单元420为视频编码器450生成YUV颜色空间中的已渲染的图像430和属性435。在其他实施方案中，游戏引擎415可以其他类型的模式操作和/或游戏引擎415可省略表416中示出的模式中的一个。
在一个实施方案中，当游戏引擎415渲染图像以直接由视频编码器450消耗时，游戏引擎415将已渲染的图像430和属性435存储在缓冲器425中以供视频编码器450检索。在一个实施方案中，转换单元440将属性435转换成视频编码器450在将已渲染的图像430编码成编码的视频位流时可消耗的格式。转换单元440可检索由游戏引擎415存储在缓冲器425中的元数据(即，属性435)，并且转换单元440可转换元数据以使得元数据能够被可由系统405实施的各种不同类型的视频编码器消耗。例如，这个数据将帮助编码器理解时间差异、纹理、ROI并完全或部分地跳过图像分析。于是，编码器将节省压缩图像的时间，并在给定时间约束(低延迟)的情况下提供更好的图像质量。在一些实施方案中，转换单元440提供用于视频编码器450的额外参数，诸如ROI图、压缩参数图，以及是否将跳过帧插入到位流中的决定。
例如，如果视频编码器450正在根据H.264视频标准对视频位流进行编码，则转换单元440能够将属性435转换为与H.264标准兼容的格式。替代地，如果视频编码器450正在根据H.265视频标准(即，高效视频译码(HEVC))对视频位流进行编码，则转换单元440能够将属性435转换为与H.265标准兼容的格式。更进一步地，如果视频编码器450正在根据VP9编解码器对视频位流进行编码，则转换单元440能够将属性435转换为与VP9编解码器兼容的格式。转换单元440还可根据视频编码器450支持哪些标准来将属性435转换为与其他视频压缩标准兼容的其他格式。
在一个实施方案中，视频编码器450被配置为向游戏引擎415的渲染单元420和/或向转换单元440提供反馈。例如，如果视频编码器450发送视频位流所经由的网络连接上的可用带宽减小，则视频编码器450可通知游戏引擎415的渲染单元420降低已渲染的图像430的分辨率。此外，在一些实施方案中，视频编码器450可为多个客户端生成视频位流，并且如果视频编码器450具有用于对视频位流进行编码的较少的计算资源，则视频编码器450可告知游戏引擎415的渲染单元420在生成已渲染的图像430时降低帧速率、降低分辨率和/或执行一个或多个其他动作。在另一实施方案中，视频编码器450还可请求将一个或多个额外属性添加到属性435。此外，在另一实施方案中，视频编码器450还向转换单元440提供反馈以指定如何格式化被提供给视频编码器450的各种属性435。
现在参考图5，示出了游戏引擎直接渲染到视频编码器的方法500的一个实施方案。出于讨论的目的，按顺序次序示出了本实施方案和图6的实施方案中的步骤。然而，应注意，在所描述的方法的各种实施方案中，同时地、以与所示不同的次序执行所描述的元件中的一个或多个，或完全省略所描述的元件中的一个或多个。在需要时也执行其他额外元件。本文中描述的各种系统或设备中的任一者被配置为实施方法500。
具有嵌入式渲染单元的游戏引擎接收用于渲染图像的输入(框505)。游戏引擎以与视频编码器直接兼容的格式渲染图像(框510)。例如，游戏引擎在颜色格式(例如，YUV)中渲染图像，视频编码器在执行编码过程时将利用所述颜色格式。游戏引擎还向视频编码器提供针对已渲染的图像的多个属性(框515)。接下来，视频编码器基于多个属性将已渲染的图像编码成编码的位流(框520)。然后，视频编码器将编码的位流发送到客户端或存储编码的位流(框525)。在框525之后，方法500返回到框505，其中游戏引擎接收用于渲染下一个图像的输入。
现在转到图6，示出了用于操作多模式游戏引擎的方法600的一个实施方案。具有嵌入式渲染单元的多模式游戏引擎在计算系统上执行(框605)。系统确定游戏引擎的操作模式(框610)。如果游戏引擎正在以第一模式操作(条件方框615，“是”支线)，则渲染单元仅为视频编码器将每个图像直接渲染到第一颜色空间(即，YUV颜色空间)中(框620)。而且，游戏引擎还向视频编码器提供针对每个已渲染的图像的多个属性(框625)。在一个实施方案中，渲染单元属性数据填入了YUV渲染的图像。在框625之后，方法600结束。
如果游戏引擎正在以第二模式操作(条件方框630，“是”支线)，则渲染单元仅为本地连接的显示器将每个图像渲染到第二颜色空间(即，RGB颜色空间)中(框635)。在框635之后，方法600结束。如果游戏引擎正在以第三模式操作(条件方框630，“否”支线)，则渲染单元为视频编码器将每个图像直接渲染到第一颜色空间(即，YUV颜色空间)中并且为本地连接的显示器将每个图像渲染到第二颜色空间(即，RGB颜色空间)中(框640)。在框640之后，方法600结束。应注意，在其他实施方案中，游戏引擎可具有其他操作模式。在这些实施方案中，方法600可适于利用这些其他操作模式。
在各种实施方案中，软件应用程序的程序指令用于实施本文中描述的方法和/或机制。例如，预期可由通用或专用处理器执行的程序指令。在各种实施方案中，这样的程序指令可由高阶编程语言表示。在其他实施方案中，程序指令可从高阶编程语言编译为二进制、中间或其他形式。或者，可编写描述硬件的行为或设计的程序指令。这种程序指令可由高阶编程语言(诸如C/C++)表示。或者，可使用硬件设计语言(HDL)，诸如Verilog。在各种实施方案中，程序指令被存储在多种非暂时性计算机可读存储介质中的任一者上。存储介质可由计算系统在使用期间存取以向计算系统提供程序指令以用于程序执行。一般来说，这样的计算系统包括至少一个或多个存储器和被配置为执行程序指令的一个或多个处理器。
应强调，上述实施方案仅仅是实现方式的非限制性示例。在完全了解以上公开内容后，各种变化和修改对本领域技术人员来说将变得显而易见。意图将随附权利要求解释为涵盖所有此类变化和修改。

Claims (18)

1.一种系统，所述系统包括：
游戏引擎，所述游戏引擎包括被配置为渲染图像以用于显示的渲染单元；以及
视频编码器，所述视频编码器被配置为对已在第一颜色空间中渲染的已渲染的图像进行编码；
其中所述渲染单元被配置为：
在所述第一颜色空间以及与所述第一颜色空间不同的第二颜色空间中渲染每个图像；
与向所述编码器传送所述第一颜色空间中的已渲染的图像并行地向显示装置传送在所述第二颜色空间中渲染的每个图像；
其中所述编码器被配置为基于由所述渲染单元提供的多个属性来对每个已渲染的图像进行编码。
2.如权利要求1所述的系统，其中所述系统还包括转换单元，所述转换单元被配置为将所述多个属性从第一格式转换为与所述编码器兼容的第二格式。
3.如权利要求1所述的系统，其中所述渲染单元还被配置为：
生成与在所述第一颜色空间中渲染的每个图像相关联的属性；以及
向所述编码器传送所述属性和在所述第一颜色空间中渲染的每个图像。
4.如权利要求1所述的系统，其中所述第一颜色空间是YUV，并且其中所述第二颜色空间是RGB。
5.如权利要求1所述的系统，其中所述多个属性包括相机视角速度缓存、每个对象运动信息、纹理数据提示、感兴趣区、深度信息、时间统计、渲染帧速率、场景变化数据、需要额外位的区域、跳过或静态帧数据和后处理数据。
6.如权利要求1所述的系统，其中所述游戏引擎被配置为收集当前渲染的帧属性以及提供相对于先前渲染的图像的时间和空间变化。
7.如权利要求6所述的系统，其中所述游戏引擎被配置为基于当前渲染的图像与一个或多个先前渲染的图像的比较来生成所述多个属性中的一个或多个属性，其中所述一个或多个属性包括场景变化数据、感兴趣区或运动向量数据。
8.一种方法，所述方法包括：
通过游戏引擎的渲染单元将每个图像渲染到与编码器兼容的第一颜色空间中，其中显示器期望得到第二颜色空间中的已渲染的图像；
向所述编码器提供与每个已渲染的帧相关联的多个属性；
与向所述编码器提供所述第一颜色空间中的已渲染的图像并行地向显示器提供所述第二颜色空间中的已渲染的图像；以及
通过所述编码器基于所述多个属性来对每个已渲染的图像进行编码。
9.如权利要求8所述的方法，所述方法还包括通过转换单元将所述多个属性从第一格式转换为与所述编码器兼容的第二格式。
10.如权利要求8所述的方法，其中所述第一颜色空间是YUV，并且其中所述第二颜色空间是RGB。
11.如权利要求8所述的方法，其中所述多个属性包括相机视角速度缓存、每个对象运动信息、纹理数据提示、感兴趣区、深度信息、时间统计、渲染帧速率、场景变化数据、需要额外位的区域、跳过或静态帧数据和后处理数据。
12.如权利要求8所述的方法，所述方法还包括通过所述游戏引擎收集当前渲染的帧属性以及提供相对于先前渲染的图像的时间和空间变化。
13.如权利要求12所述的方法，所述方法还包括通过所述游戏引擎基于当前渲染的图像与一个或多个先前渲染的图像的比较来生成所述多个属性中的一个或多个属性，其中所述一个或多个属性包括场景变化数据、感兴趣区或运动向量数据。
14.一种设备，所述设备包括：
游戏引擎，所述游戏引擎包括被配置为渲染图像以用于显示的渲染单元；
编码器，所述编码器被配置为对已渲染的图像进行编码；以及
转换单元，所述转换单元联接到所述游戏引擎和所述编码器；
其中所述渲染单元被配置为：
将每个图像渲染到与所述编码器兼容的第一颜色空间中，其中显示器期望得到第二颜色空间中的已渲染的图像；
向所述编码器提供与每个已渲染的帧相关联的多个属性；
与向所述编码器发送所述第一颜色空间中的已渲染的图像并行地向显示器发送所述第二颜色空间中的已渲染的图像；并且其中所述编码器被配置为基于所述多个属性来对每个已渲染的图像进行编码。
15.如权利要求14所述的设备，其中所述转换单元被配置为将所述多个属性从第一格式转换为与所述编码器兼容的第二格式。
16.如权利要求14所述的设备，其中所述第一颜色空间是YUV，并且其中所述第二颜色空间是RGB。
17.如权利要求14所述的设备，其中所述多个属性包括相机视角速度缓存、每个对象运动信息、纹理数据提示、感兴趣区、深度信息、时间统计、渲染帧速率、场景变化数据、需要额外位的区域、跳过或静态帧数据和后处理数据。
18.如权利要求14所述的设备，其中所述游戏引擎被配置为收集当前渲染的帧属性以及提供相对于先前渲染的图像的时间和空间变化。
CN201880074192.7A 2017-11-17 2018-09-27 针对视频编码器渲染的游戏引擎的方法、设备及系统 Active CN111357289B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/816,765 2017-11-17
US15/816,765 US10594901B2 (en) 2017-11-17 2017-11-17 Game engine application direct to video encoder rendering
PCT/IB2018/057511 WO2019097319A1 (en) 2017-11-17 2018-09-27 Game engine application direct to video encoder rendering

Publications (2)

Publication Number Publication Date
CN111357289A CN111357289A (zh) 2020-06-30
CN111357289B true CN111357289B (zh) 2024-04-02

Family

ID=66532691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880074192.7A Active CN111357289B (zh) 2017-11-17 2018-09-27 针对视频编码器渲染的游戏引擎的方法、设备及系统

Country Status (6)

Country Link
US (1) US10594901B2 (zh)
EP (1) EP3711296A4 (zh)
JP (1) JP7221957B2 (zh)
KR (1) KR102432755B1 (zh)
CN (1) CN111357289B (zh)
WO (1) WO2019097319A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10523947B2 (en) 2017-09-29 2019-12-31 Ati Technologies Ulc Server-based encoding of adjustable frame rate content
US11290515B2 (en) 2017-12-07 2022-03-29 Advanced Micro Devices, Inc. Real-time and low latency packetization protocol for live compressed video data
US11100604B2 (en) 2019-01-31 2021-08-24 Advanced Micro Devices, Inc. Multiple application cooperative frame-based GPU scheduling
US11418797B2 (en) 2019-03-28 2022-08-16 Advanced Micro Devices, Inc. Multi-plane transmission
CN110708604B (zh) * 2019-09-03 2021-09-28 中国联合网络通信集团有限公司 一种视频转发服务器的ip信道带宽的适配方法及装置
US11070829B2 (en) 2019-12-16 2021-07-20 Ati Technologies Ulc Reducing latency in wireless virtual and augmented reality systems
CN113256745A (zh) * 2020-02-13 2021-08-13 英特尔公司 用于基于重要度值来编码的方法和装置
US11833419B2 (en) 2020-03-16 2023-12-05 Tencent America LLC Method and apparatus for cloud gaming
US11652863B2 (en) * 2020-03-16 2023-05-16 Tencent America LLC Method and apparatus for cloud gaming
JP7393267B2 (ja) * 2020-03-25 2023-12-06 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像データ転送方法
US20230107260A1 (en) * 2020-03-31 2023-04-06 Sony Interactive Entertainment Inc. Transmission apparatus, transmission method, and program
CN111654720B (zh) * 2020-07-17 2023-08-25 腾讯科技（深圳）有限公司 视频编码方法、装置、设备及可读存储介质
US11488328B2 (en) 2020-09-25 2022-11-01 Advanced Micro Devices, Inc. Automatic data format detection
CN112164132B (zh) * 2020-10-17 2021-04-02 深圳市游梦初心文化网络有限公司 基于大数据和云计算的游戏兼容处理方法及云端计算中心
US11478701B1 (en) * 2020-11-06 2022-10-25 Rockwell Collins, Inc. Quasi cloud rendering technique for legacy databases using game engines
CN113041617B (zh) * 2021-03-18 2022-07-26 深圳市腾讯网域计算机网络有限公司 一种游戏画面渲染方法、装置、设备及存储介质
CN113117326B (zh) * 2021-03-26 2023-06-09 腾讯数码（深圳）有限公司 一种帧率控制方法和装置
CN113747198B (zh) * 2021-06-25 2024-02-09 航天时代飞鸿技术有限公司 无人机集群视频图片渲染及后处理的方法、介质和装置
CN113794887A (zh) * 2021-08-17 2021-12-14 镕铭微电子(济南)有限公司 一种游戏引擎中视频编码的方法及相关设备
CN117793367A (zh) * 2024-02-26 2024-03-29 此芯科技(上海)有限公司 一种图像编码方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040046901A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 영상 전화 시스템 및 그 운용방법
JP2005055824A (ja) * 2003-08-07 2005-03-03 Seiko Epson Corp 画像表示装置、画像表示方法及び画像表示プログラム
US9161006B1 (en) * 2014-12-05 2015-10-13 Kamcord, Inc. Systems and methods for efficient screen capture
CN105933724A (zh) * 2016-05-23 2016-09-07 福建星网视易信息系统有限公司 视频制作方法、装置及系统
CN106163624A (zh) * 2014-04-11 2016-11-23 微软技术许可有限责任公司 尤其用于视频游戏的使用提示的基于感兴趣区域的视频编码

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930390A (en) 1996-03-28 1999-07-27 Intel Corporation Encoding/decoding signals using a remap table
US6680976B1 (en) 1997-07-28 2004-01-20 The Board Of Trustees Of The University Of Illinois Robust, reliable compression and packetization scheme for transmitting video
JP3606306B2 (ja) 1998-10-08 2005-01-05 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
US6754234B1 (en) 1999-05-21 2004-06-22 Ati International Srl Method and apparatus for asynchronous frame synchronization
US6611273B2 (en) * 2000-02-25 2003-08-26 Microsoft Corporation Method and data arrangement for encapsulating signed over-ranged color image data to accommodate in-range file formats
JP2002017908A (ja) 2000-07-07 2002-01-22 Endo Mfg Co Ltd ゴルフクラブ及びその製造方法
US6618397B1 (en) 2000-10-05 2003-09-09 Provisionpoint Communications, Llc. Group packet encapsulation and compression system and method
US20020097418A1 (en) * 2001-01-19 2002-07-25 Chang William Ho Raster image processor and processing method for universal data output
US7215813B2 (en) * 2001-12-03 2007-05-08 Apple Computer, Inc. Method and apparatus for color correction
US7813000B2 (en) * 2003-12-30 2010-10-12 Microsoft Corporation Device color characterization profile format
US7337273B2 (en) * 2004-03-31 2008-02-26 Microsoft Corporation Strategies for reading information from a mass storage medium using a cache memory
EP1813117A1 (en) * 2004-11-04 2007-08-01 Koninklijke Philips Electronics N.V. Method and device for processing coded video data
US7570819B2 (en) * 2005-01-28 2009-08-04 Chih-Ta Star Sung Method and apparatus for displaying images with compression mechanism
US20110157196A1 (en) * 2005-08-16 2011-06-30 Exent Technologies, Ltd. Remote gaming features
EP2044543A4 (en) * 2006-04-13 2012-07-04 Yosef Mizrachi METHOD AND DEVICE FOR PROVIDING GAME SERVICES AND MOVING WITH VIDEO CONTENT
US20080055318A1 (en) 2006-08-31 2008-03-06 Glen David I J Dynamic frame rate adjustment
TW200844899A (en) * 2007-05-04 2008-11-16 Sunplus Mmobile Inc An interactive image and graphical system and method that is capable of detecting collisions of graphical objects
US8175181B1 (en) 2007-05-31 2012-05-08 Marvell International Ltd. Method and apparatus for selecting a modulation coding scheme
EP2153608B1 (en) 2007-06-01 2013-09-18 BlackBerry Limited Determination of compression state information for use in interactive compression
WO2009016914A1 (ja) 2007-08-02 2009-02-05 Sony Corporation 画像処理装置
US8953685B2 (en) 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
WO2009136969A2 (en) * 2008-01-22 2009-11-12 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
US8265171B2 (en) 2008-02-26 2012-09-11 Richwave Technology Corp. Error resilient video transmission using instantaneous receiver feedback and channel quality adaptive packet retransmission
US8793749B2 (en) 2008-08-25 2014-07-29 Broadcom Corporation Source frame adaptation and matching optimally to suit a recipient video device
US8958485B2 (en) 2010-06-04 2015-02-17 Broadcom Corporation Method and system for providing selected layered video service via a broadband gateway
US8395709B2 (en) 2009-03-04 2013-03-12 ATI Technology ULC 3D video processing
US8520023B2 (en) * 2009-09-01 2013-08-27 Entertainment Experience Llc Method for producing a color image and imaging device employing same
KR20130061675A (ko) * 2010-04-20 2013-06-11 톰슨 라이센싱 컴퓨터 그래픽을 사용해서 적어도 하나의 이미지를 렌더링하기 위해 데이터를 인코딩하는 방법 및 디바이스와 대응 디코딩 방법 및 디바이스
US8625666B2 (en) * 2010-07-07 2014-01-07 Netzyn, Inc. 4:4:4 color space video with 4:2:0 color space video encoders and decoders systems and methods
HUE026534T2 (en) 2010-07-15 2016-06-28 Ge Video Compression Llc Hybrid video encoding to support intermediate view synthesis
US20120236934A1 (en) * 2011-03-18 2012-09-20 Qualcomm Incorporated Signaling of multiview video plus depth content with a block-level 4-component structure
US8797602B2 (en) * 2011-03-23 2014-08-05 Xerox Corporation UV and IR specialty imaging methods and systems
US8813111B2 (en) * 2011-08-22 2014-08-19 Xerox Corporation Photograph-based game
GB2495468B (en) 2011-09-02 2017-12-13 Skype Video coding
US20130057567A1 (en) * 2011-09-07 2013-03-07 Michael Frank Color Space Conversion for Mirror Mode
US20130076771A1 (en) * 2011-09-23 2013-03-28 Apple Inc. Generating a visual depiction of a cover for a digital item
US8872895B2 (en) * 2011-09-30 2014-10-28 Deutsche Telekom Ag Real-time video coding using graphics rendering contexts
JP5331192B2 (ja) * 2011-11-07 2013-10-30 株式会社スクウェア・エニックス・ホールディングス 描画サーバ、センタサーバ、符号化装置、制御方法、符号化方法、プログラム、及び記録媒体
WO2013103490A1 (en) * 2012-01-04 2013-07-11 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
US9232139B2 (en) 2012-07-24 2016-01-05 Apple Inc. Image stabilization using striped output transformation unit
US8938127B2 (en) * 2012-09-18 2015-01-20 Nvidia Corporation Hybrid encoding/decoding for remote gaming
MX346529B (es) * 2012-11-16 2017-03-22 Sony Computer Entertainment America Llc Sistemas y métodos para el procesamiento en la nube y la superposición de contenidos en la transmisión de fotogramas de video de aplicaciones procesadas de forma remota.
US9433858B2 (en) * 2013-01-04 2016-09-06 International Business Machines Corporation Access control of user based photograph bundles
GB2513090B (en) 2013-01-28 2019-12-11 Microsoft Technology Licensing Llc Conditional concealment of lost video data
US8842185B1 (en) 2013-03-14 2014-09-23 Microsoft Corporation HDMI image quality analysis
US9407923B2 (en) 2013-05-20 2016-08-02 Gamefly Israel Ltd. Overconing lost IP packets in streaming video in IP networks
US9491490B1 (en) 2015-06-12 2016-11-08 Intel Corporation Facilitating environment-based lossy compression of data for efficient rendering of contents at computing devices
US10469857B2 (en) 2016-09-26 2019-11-05 Samsung Display Co., Ltd. System and method for electronic data communication
US20190068983A1 (en) 2017-08-25 2019-02-28 Advanced Micro Devices, Inc. Sending a Frame Difference or Raw Chunk Based on a Known Acknowledgement
US10523947B2 (en) 2017-09-29 2019-12-31 Ati Technologies Ulc Server-based encoding of adjustable frame rate content
US11290515B2 (en) 2017-12-07 2022-03-29 Advanced Micro Devices, Inc. Real-time and low latency packetization protocol for live compressed video data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040046901A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 영상 전화 시스템 및 그 운용방법
JP2005055824A (ja) * 2003-08-07 2005-03-03 Seiko Epson Corp 画像表示装置、画像表示方法及び画像表示プログラム
CN106163624A (zh) * 2014-04-11 2016-11-23 微软技术许可有限责任公司 尤其用于视频游戏的使用提示的基于感兴趣区域的视频编码
US9161006B1 (en) * 2014-12-05 2015-10-13 Kamcord, Inc. Systems and methods for efficient screen capture
CN105933724A (zh) * 2016-05-23 2016-09-07 福建星网视易信息系统有限公司 视频制作方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Using graphics rendering contexts to enhance the real-time video coding for mobile cloud gaming;Shu Shi等;IEEE Transactions on Circuits and System for Video Technology;摘要、第1-3节 *
一种用于固态体积式真三维显示的片源编码的改进方法;胡跃辉;丁小宇;代飘;任旖旎;马星宇;吕国强;;液晶与显示(第04期);全文 *

Also Published As

Publication number Publication date
CN111357289A (zh) 2020-06-30
EP3711296A4 (en) 2021-08-04
KR20200088830A (ko) 2020-07-23
US20190158704A1 (en) 2019-05-23
JP7221957B2 (ja) 2023-02-14
WO2019097319A1 (en) 2019-05-23
US10594901B2 (en) 2020-03-17
EP3711296A1 (en) 2020-09-23
JP2021503777A (ja) 2021-02-12
KR102432755B1 (ko) 2022-08-18

Similar Documents

Publication Publication Date Title
CN111357289B (zh) 针对视频编码器渲染的游戏引擎的方法、设备及系统
US10523947B2 (en) Server-based encoding of adjustable frame rate content
JP2022133427A (ja) マルチラインフレーム内予測のための方法、装置、及びコンピュータプログラム
JP7436721B2 (ja) タイル及びサブ画像の分割
WO2013125220A1 (ja) 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
RU2735241C1 (ru) Системы и способы для векторов движения, генерируемых во время игры
JP2022521991A (ja) 一般化されたｔｒｉｓｏｕｐジオメトリ符号化のための技術
JP2014530563A (ja) 低複雑度リモート・プレゼンテーション・セッション・エンコーダー
CN112073737A (zh) 在直播视频流应用中重新编码预测的图像帧
US20200413095A1 (en) View-position and angle dependent processing of point cloud data
WO2019001149A1 (zh) 图片的传输和接收的方法、装置及其系统
CN112153391A (zh) 视频编码的方法、装置、电子设备及存储介质
US10841591B2 (en) Systems and methods for deferred post-processes in video encoding
US20190379944A1 (en) Enhanced Distribution Image System
WO2011108146A1 (ja) 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法
JP2022504379A (ja) イントラ予測におけるイントラモード選択
JP2013168941A (ja) 画像データを表示するためのビデオシステム及び方法及びコンピュータプログラムならびに符号化装置
US20240089460A1 (en) Scene-change detection at server for triggering client-side temporal frame buffer reset
US20230031245A1 (en) Encoder changes
CN112368766B (zh) 带有编码器反馈的图形渲染
JP2024514060A (ja) ストリーミングアプリケーションにおけるビデオデータの微調整
WO2023059689A1 (en) Systems and methods for predictive coding
WO2023229762A1 (en) Dynamic mesh compression using inter and intra prediction
CN115988171A (zh) 一种视频会议系统及其沉浸式布局方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant