CN110959169A - 用于游戏生成的运动向量的系统和方法 - Google Patents

用于游戏生成的运动向量的系统和方法 Download PDF

Info

Publication number
CN110959169A
CN110959169A CN201880040171.3A CN201880040171A CN110959169A CN 110959169 A CN110959169 A CN 110959169A CN 201880040171 A CN201880040171 A CN 201880040171A CN 110959169 A CN110959169 A CN 110959169A
Authority
CN
China
Prior art keywords
per
engine
motion vectors
pixel
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880040171.3A
Other languages
English (en)
Inventor
迈克尔·科皮茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zenimax Media Inc
Original Assignee
Zenimax Media Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zenimax Media Inc filed Critical Zenimax Media Inc
Publication of CN110959169A publication Critical patent/CN110959169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B77/00—Vehicle locks characterised by special functions or purposes
    • E05B77/54—Automatic securing or unlocking of bolts triggered by certain vehicle parameters, e.g. exceeding a speed threshold
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B79/00—Mounting or connecting vehicle locks or parts thereof
    • E05B79/10—Connections between movable lock parts
    • E05B79/20—Connections between movable lock parts using flexible connections, e.g. Bowden cables
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B83/00—Vehicle locks specially adapted for particular types of wing or vehicle
    • E05B83/16—Locks for luggage compartments, car boot lids or car bonnets
    • E05B83/24—Locks for luggage compartments, car boot lids or car bonnets for car bonnets
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B85/00—Details of vehicle locks not provided for in groups E05B77/00 - E05B83/00
    • E05B85/20—Bolts or detents
    • E05B85/24—Bolts rotating about an axis
    • E05B85/243—Bolts rotating about an axis with a bifurcated bolt
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B85/00—Details of vehicle locks not provided for in groups E05B77/00 - E05B83/00
    • E05B85/20—Bolts or detents
    • E05B85/24—Bolts rotating about an axis
    • E05B85/26—Cooperation between bolts and detents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B81/00—Power-actuated vehicle locks
    • E05B81/12—Power-actuated vehicle locks characterised by the function or purpose of the powered actuators
    • E05B81/16—Power-actuated vehicle locks characterised by the function or purpose of the powered actuators operating on locking elements for locking or unlocking action
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16H—GEARING
    • F16H59/00—Control inputs to control units of change-speed-, or reversing-gearings for conveying rotary motion
    • F16H59/02—Selector apparatus
    • F16H59/08—Range selector apparatus
    • F16H59/10—Range selector apparatus comprising levers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16H—GEARING
    • F16H63/00—Control outputs from the control unit to change-speed- or reversing-gearings for conveying rotary motion or to other devices than the final output mechanism
    • F16H63/02—Final output mechanisms therefor; Actuating means for the final output mechanisms
    • F16H63/30—Constructional features of the final output mechanisms
    • F16H63/34—Locking or disabling mechanisms
    • F16H63/36—Interlocking devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了用于集成的图形渲染的系统和方法。在一些实施例中，所述系统和方法利用图形引擎、视频编码引擎和远程客户端编码引擎来在网络上渲染图形。所述系统和方法涉及生成每像素运动向量，该每像素运动向量在图形引擎处被转换为每块运动向量。图形引擎将这些每块运动向量注入视频编码引擎，使得视频编码引擎可以将这些向量转换为经编码的视频数据，以传输到远程客户端编码引擎。

Description

用于游戏生成的运动向量的系统和方法
相关申请的交叉引用
本申请要求于2017年4月21日提交的第62/488,526号和于2017年12月8日提交的第62/596,325号美国临时申请的优先权。
背景技术
远程游戏应用程序，其中服务器端游戏由客户端玩家控制，该应用程序已经尝试使用现有的或定制的编码器实时对来自三维(3D)图形引擎的视频输出进行编码。然而，视频游戏的交互性质，特别是视频输出和玩家输入之间的玩家反馈循环，使得游戏视频流比传统视频流对延迟更为敏感。现有的视频编码方法能够用计算量来换取编码时间的减少，而几乎没有其他方法。将编码过程集成到视频渲染过程中的新方法能够显著减少编码时间，同时还降低了计算量，提高了经编码视频的质量，并保留了原始比特流数据格式，以保持现有硬件设备的互操作性。
现有的视频编码标准仅包含图像序列中的颜色和时间信息，以改善视频编码时间、大小或质量。一些编码标准，如MPEG标准系列中的那些，基于视频中包含的颜色数据使用计算密集的基于块的运动估计方法来近似计算对象运动。这些基于块的运动估计方法历来显著减少了经编码的视频大小，但却是实时视频流环境中显著延迟的根源。
将编码过程集成到视频渲染过程中提供了对能够用于编码改进的其他数据源的访问。例如，一些3D图形引擎，比如包含在游戏引擎中的那些引擎，可能已经生成了完美描述每个视频帧上每个像素运动的运动向量。通过提供最终渲染帧并将适当格式化的运动向量数据注入编码器中，能够为每个帧跳过视频编码器中计算复杂度最高、最耗时的步骤——运动估计。另外，由图形引擎提供的运动向量比基于块的运动估计算法所估算的运动向量更精确，这会提高编码视频的质量。
视频编码和实时图形渲染这两个领域传统上是分开独立运行的。通过将图形引擎和编码器进行集成，以利用它们各自的优势，能够将编码时间减少到足以支持对延迟高度敏感的流应用程序。
通过下文描述的技术不足，本发明的这些优点和其他伴随的优点会变得显而易见。
例如，美国专利申请公开号2015/0228106A1(“‘106公开”)公开了对视频数据进行解码以生成视频图像的已解码的块序列的技术。该技术允许在编解码器引擎生成解码块时，将视频图像的每个解码块用作几何表面的对应多边形的单独纹理。‘106公开技术描述了编解码器引擎和3D图形引擎之间的集成，其中，编解码器引擎对经编码的视频数据进行解码以生成待映射的视频图像，3D图形引擎通过执行视频图像到几何表面的纹理映射来部分渲染显示图片。然而，与本发明相比，该技术是不足的，至少因为：它没有公开或使用提供用于注入视频编解码器引擎的适当格式化的运动向量数据和最终渲染帧的图形引擎，以使得在将经编码的视频数据传输到远程客户端编码引擎之前视频编解码器引擎不需要执行任何运动估计。相比之下，本发明对计算机技术的改进减少了编码时间和计算量，改善了经编码视频的质量，并且保留了原始比特流数据格式以保持互操作性。
美国专利申请公开号2011/0261885A1(“‘885公开”)公开了通过运动估计和宏块编码的集成来减少带宽的系统和方法。在该系统中，可以使用获取的视频数据来执行运动估计以生成运动估计相关信息，包括运动向量。利用缓冲区中缓存的相应视频数据，这些运动向量可以对应到当前宏块。同样，与本发明相比，‘885公开技术是不足的，至少因为：它没有公开或使用提供用于注入视频编解码器引擎的适当格式化的运动向量数据和最终渲染帧的图形引擎，使得视频编解码器引擎在将经编码的视频数据传输到远程客户端编码引擎之前不需要执行任何运动估计。因此，‘885公开的技术没有提供本发明提供的编码时间和计算量的减少，以及编码视频质量的改善。
从以上对本技术领域的现有技术的讨论中显而易见的是，本领域中需要对与游戏环境中的视频编码相关的当前的计算机技术进行改进。
发明内容
因此，本文公开的示例性实施例的目的是解决本领域的缺点，并提供用于图形生成的系统和方法，所述系统和方法使用运行图形引擎、视频编解码器引擎和远程客户端编码引擎的联网服务器体系结构来传输经编码的视频数据，其中，图形引擎提供用于注入视频编解码器引擎的适当格式化的运动向量数据和最终渲染帧。
本发明的另一目的是提供用于图形生成的系统和方法，其中，视频编解码器引擎在将经编码的视频数据传输到远程客户端编码引擎之前不需要执行任何运动估计。
本发明的另一目的是提供用于图形生成的系统和方法，其中，图形引擎将每像素运动向量转换为每块运动向量。
本发明的又一目的是提供用于图形生成的系统和方法，其中，通过以下方式来生成每像素运动矢量：使用计算着色器将每像素运动向量添加到相机速度以获得每像素结果，并且其中，将每像素结果存储在运动向量缓冲区中。
本发明的还有一目的是提供用于图形生成的系统和方法，其中，每块运动向量数据由图形引擎实时地与色度亚采样(chroma subsampled)视频帧一起注入视频编码引擎。
附图说明
当结合附图考虑时，通过参考以下详细描述将更好地理解本发明，将容易地获得对本发明及其许多伴随的优点的更全面的了解，其中：
图1是示出3D图形引擎渲染视频以进行编码和传输到客户端的框图。
图2是示出通过将3D图形引擎生成的运动向量注入图4的经修改的编码过程中来减少延迟所需的步骤的流程图；
图3是示出在图形引擎中生成的每像素运动向量到每宏块运动向量的变换以注入编码引擎中的图；
图4是示出对图1中使用的视频编码过程所需的更改的流程图。
具体实施方式
在描述附图中所示的本发明的优选实施例时，为了清楚起见，将采用特定术语。然而，本发明并不旨在限于这样选择的特定术语，并且应该理解，每个特定术语包括以类似方式操作以实现类似目的的所有技术等同物。为了说明的目的，描述了本发明的几个优选实施例，可以理解，本发明可以以未在附图中具体示出的其他形式来实施。
在3D图形引擎正在渲染视频以进行实时编码和传输的应用中，图形引擎和编码器能够更紧密地耦合以减少总的计算时间和计算开销。对于每个视频帧，已经由图形引擎生成的每像素运动向量数据能够转换为每块运动向量数据，并注入编解码器引擎，来规避运动估计步骤，该运动估计步骤是编码过程中仅有的最复杂且计算密集的步骤。在似真运动模糊方法中使用重建过滤器的图形引擎中，可以已经为每个视频帧计算出每像素运动向量。能够通过为每个16×16像素的宏块找到平均向量来执行从每像素运动向量到每块运动向量的转换。该转换是在3D图形引擎中执行的，因此仅需要将原始运动向量数据的一小部分从3D图形引擎传递到编码引擎。在图形引擎和编码引擎不共享存储器的情况下，这还有助于减少存储器带宽消耗。将每块运动向量注入编解码器引擎中，完全跳过了运动估计步骤，而不会显著地改变编码过程的其余部分。
图1至图4示出了用于改进视频流应用中的视频编码的示例技术，其中，3D图形引擎在渲染视频帧的过程中生成伴随的运动向量数据。
图1示出了示例系统，在该示例系统中，视频被渲染和编码以传输到远程客户端116。在某个服务器体系结构120上的存储器106中运行的3D图形引擎100将有关已渲染的视频帧的视频和补充运动向量信息传递到编解码器引擎(这里称为编解码器或编码器)102，该编解码器引擎生成经编码的比特流108以传输到客户端计算机系统116。服务器体系结构120是能够支持图形引擎和编解码器引擎的功能的硬件或软件的任何组合。在所给定的示例中，图形引擎100能够被实现为例如执行加载到某个计算机可读存储器106中的视频游戏软件104的GPU，而编解码器引擎102可以被实现为运行视频编码软件的CPU。编码引擎102生成经编码的视频数据108以传输到某个远程客户端计算机系统116，该计算机系统包括远程编码引擎(编解码器)110，该编码引擎对比特流进行解码以在由显示控制器112驱动的显示器114上播放。远程客户端计算机系统116是能够对经编码的比特流108进行解码和显示的硬件、设备或软件的任何组合。
图2示出了通过在视频编码过程中重用来自渲染过程的现有补充数据来实现更快的编码时间所需的步骤。在步骤202中，作为位于服务器120的图形引擎100的正常操作功能，必须首先生成补充数据。随着GPU变得越来越强大和普及，实时每像素运动向量生成已成为现代视频游戏引擎的常见功能。在从3D场景渲染2D视频帧期间，3D图形引擎会在颜色生成过程期间生成辅助输出，以用作后续后处理过程的输入。辅助输出可包括写入累积、颜色或速度缓冲区三个存储器位置的信息，该三个存储器位置分别被分配用于临时存储有关像素深度、像素颜色和像素运动的信息。
在运动模糊的常用实现方式(称为似真运动模糊的重建过滤器)中，首先将来自速度缓冲区的每像素速度向降采样成较少数量的切片，其中每个切片均假设是来自像素组的最大速度。然后，使用累积缓冲区中的每像素深度对切片进行遮盖(mask)，并将结果应用于颜色缓冲区中的每像素颜色，以生成运动模糊。存在重构过滤器方法的多种变体，其提高保真度、性能或同时提高两者，但是构思仍然相似，并且速度缓冲区包含两个相邻帧之间的每像素运动。尽管“速度”是图形引擎术语中使用的术语，“运动向量”是视频编码术语中使用的术语，但这些术语在功能上是等效的，并且每像素速度与每像素运动向量是相同的事物。速度缓冲区包含像素运动向量形式的补充数据，这些数据将在视频编码过程中被重用。
在步骤204中，位于服务器120处的图形引擎100基于待用于编码的宏块大小将每像素运动向量转换为每块运动向量。H.264编解码器默认使用16x16像素宏块，并且可以选择进一步细分。能够将256个每像素运动向量平均在一起，以提供单个平均向量，作为每块运动向量。结合图3进一步详细描述该过程。
在步骤206中，将每宏块运动向量信息注入位于服务器120处的编码引擎/编码器102中，从而规避运动估计步骤。在编码器的软件实现中，能够完全禁用运动估计步骤，从而显著节省CPU计算时间。CPU中节省的时间应该足以抵消在GPU中计算平均向量(在步骤204中)并将其传输到CPU所需的附加时间。
在步骤208中，由于由图形引擎100提供的每块运动向量与在典型运动估计步骤中计算出的运动向量可互换，因此编码从运动补偿步骤开始(步骤208)。如结合图4进一步详细描述的，视频编码处理的其余部分与使用运动估计技术的编码标准执行的典型运动补偿、残差计算和编码步骤没有明显的不同。
图3进一步详细示出了在图形引擎100中发生的从每像素运动向量到每宏块运动向量的变换。在颜色生成阶段期间，位于服务器120的3D图形引擎100生成每像素运动向量，并将该数据存储在同样位于服务器120的速度缓冲区300中。速度缓冲区300可以仅包含用于动态对象的数据，但不包括玩家相机运动所赋予的运动信息。为了获得图像空间中每个像素的运动向量信息，计算着色器302将速度缓冲区300中的向量与尚未包含在速度缓冲区中的所有静态对象的相机速度相结合，并将每像素结果存储在运动向量缓冲区304中。相机速度是在帧期间旋转和平移相机运动的2D投影。特定的图形引擎可以使用稍有不同的方法来计算整个屏幕空间的这些每像素运动向量，但是构思保持不变。
H.264编码器使用的默认宏块大小为16×16，但能够细分为更小的大小，最小为4×4。在图3的示例中，4×4宏块306用作简化情况，但是应该外推该方法来匹配编码器中使用的宏块大小。对于4×4宏块306，在运动向量缓冲区304中存储了16个每像素运动向量308。这些每像素运动向量308需要变换312为单个的每宏块运动向量310，该单个的每宏块运动向量能够被注入编码器中以用于如图4所示的运动补偿。一组每像素向量308的算术平均是一种具有低计算复杂度和较短计算时间的变换312方法。
能够对算术平均变换312进行可选的修改，以附加的计算复杂度或计算量为代价提高质量。例如，在算术平均值计算之前，能够使用向量中值过滤技术来去除宏块向量域中的不连续性，以确保每宏块运动向量310代表宏块306中的大多数像素。由于最终的每宏块运动向量是从最初基于已知对象运动数据计算出的像素完美运动向量中得出的，所以每宏块运动向量始终是比现有的基于块的运动估计算法计算的运动向量更精确的表示，其中，这些运动估计算法只能基于像素颜色数据得出运动。
图4示出了通过将在图1的服务器120的图形引擎100中生成的运动向量注入图1的服务器120的编码引擎102中来跳过计算复杂的运动估计过程的方法。如下面详细说明的，经编码的视频数据108的结果比特流被传输到远程客户端计算机系统116。图4所示的方法示出了单个帧间的编码过程，特别是由MPEG视频编解码器标准系列定义的P帧的编码过程。由于在I帧生成中未执行运动补偿406，因此不会更改帧内(I帧)生成。一旦色度亚采样视频帧402和每块运动向量数据404可用，它们将被从图形引擎100传输。游戏生成的运动向量404用于规避原本会在典型运动估计426步骤中发生的运动向量生成，如H.264/MPEG-4AVC标准中所述的那样。运动估计426步骤将被跳过，并且能够在编码引擎的软件实现中被禁用。跳过基于块的运动估计426步骤将显著减少编码时间，这将大大抵消如结合图3所述的将速度缓冲数据转换为适当格式的时间。
已经转换为适当宏块大小的运动向量404能够被直接使用，而不需要对运动补偿406进行任何更改。运动补偿406的结果与输入色度亚采样视频帧402相结合以形成残差图像430，该残差图像通常由残差变换&缩放408、量化410以及扫描412步骤处理，这些步骤通常在现有硬件或软件视频编码器内发生。
如果实施方案选择的解码标准需要解块步骤，则必须执行解块步骤。解块设置420和已解块的图像428通过应用编码标准的算法进行逆量化414、逆变换&缩放416然后进行解块418来计算。已扫描的系数412与解块设置420组合并在熵编码器422中进行编码，然后作为比特流108传输到远程客户端计算机系统116以在远程客户端计算机系统的编解码器110处进行解码。已解块的图像428成为下一帧的运动补偿406的输入。比特流(包括经编码的视频数据)108保留与实施方式中使用的编码标准例如H.264/MPEG-4AVC所定义的相同的格式。该示例特定于H.264/MPEG-4AVC标准，通常能够用于使用运动估计426和运动补偿406技术的类似编码标准。
示例1：基准测试表明减少了编码时间
传统H.264兼容编码中的运动估计步骤通常是计算最复杂且最耗时的步骤。如本文所讨论的，重用游戏生成的运动向量能够显著减少编码时间。
在测试环境中，图形引擎以每秒60帧的速度以1280×720的分辨率产生输出。编码时间是从运行单线程的x264编码器捕获的。运行单线程编码器将产生比实际使用更长的编码时间，但将测量标准化为一个核，以便它们彼此直接比较。编码时间首先在编码器内使用未经修改的运动估计进行测量，然后在相同的环境中使用启用的游戏生成的运动估计功能重新测量。
选择一个低运动区域，包括玩家的手、武器和固定墙的第一人称玩家视图。玩家的手和武器通过轻微的“摆动”动画进行循环，在相对较小的屏幕空间中产生少量像素运动。该测试的结果显示在下面的表1中，其中示出了使用和不使用本文描述的游戏生成的运动估计技术时的延迟结果。在低强度下，其中游戏生成的运动估计被禁用，未经修改的编码时间为12ms。当启用游戏生成的运动估计后，编码时间减少了3ms，降至9ms。针对平均运动强度场景和高运动强度场景，示出了类似的延迟减少，对于平均运动强度场景，延迟减少了17.6％，而在高延迟场景中，延迟减少了15％至30％。这些结果表明，当启用游戏生成的运动估计时，延迟显著减少。
Figure BDA0002320143020000091
表1：不同运动强度下的延迟结果
测试环境还显示了将游戏生成的每像素运动向量转换为用于编码器的每宏块运动向量时存在附加的开销。然而，该开销明显低于上一部分中描述的编码时间减少。利用图形引擎以1280×720的分辨率生成视频，从每像素到每宏块的运动向量转换需要0.02ms。所测得的节省的编码器时间比使用游戏生成的运动向量进行编码所增加的时间成本高三个数量级。
前述说明和附图应该被理解为仅是对本发明原理的说明。本发明不限于该优选实施例，并且可以以本领域普通技术人员所清楚的多种方式来实施。本领域技术人员容易想到本发明的许多应用。因此，不希望将本发明局限于所公开的具体示例或所示出和所描述的确切体系结构和操作。是在本发明的范围内，可以采用所有合适的修改和等同方案。

Claims (20)

1.一种用于生成图形的计算机实现的方法，包括以下步骤：
生成一个或更多个每像素运动向量；
在图形引擎中将所述一个或更多个每像素运动向量转换为一个或更多个每块运动向量；以及
将所述每块运动向量注入视频编码引擎，
其中，所述视频编码引擎将所述一个或更多个每块运动向量转换为经编码的视频数据，以传输到远程客户端编码引擎。
2.根据权利要求1所述的方法，其中，所述一个或更多个每像素运动向量在转换之前存储在速度缓冲区中。
3.根据权利要求1所述的方法，其中，生成所述一个或更多个每像素运动向量包括以下步骤：
在计算着色器处，将所述一个或更多个每像素运动向量与相机速度结合，以获得每像素结果；以及
将所述每像素结果存储在运动向量缓冲区中。
4.根据权利要求1所述的方法，其中，图形引擎实时地将所述每块运动向量数据与一个或更多个色度亚采样视频帧同时注入所述视频编码引擎。
5.根据权利要求1所述的方法，其中，对所述经编码的视频数据进行解码，以在远程客户端计算机系统上播放。
6.根据权利要求1所述的方法，其中，所述视频编码引擎执行运动补偿和残差变换，以将所述一个或更多个每块运动向量转换为经编码的视频数据。
7.根据权利要求1所述的方法，其中，通过应用一个或更多个逆量化算法、逆变换和缩放和/或解块，来准备所述经编码的视频数据以传输到所述远程客户端编码引擎。
8.根据权利要求1所述的方法，其中，使用应用算术平均的变换方法将所述一个或更多个每像素向量转换为一个或更多个每块运动向量。
9.一种计算机实现的图形生成系统，其包括一个或更多个图形引擎和视频编解码器引擎，其中
所述图形引擎生成一个或更多个每像素运动向量，将所述每像素运动向量转换为一个或更多个每块运动向量，并直接将所述每块运动向量注入所述视频编解码器引擎，其中
所述视频编解码器引擎将所述每块运动向量转换为经编码的视频数据，并将所述经编码的视频数据传输到在远程客户端计算机系统上运行的远程客户端编码引擎。
10.根据权利要求9所述的系统，其中，所述一个或更多个每像素运动向量在转换之前存储在速度缓冲区中。
11.根据权利要求9所述的系统，其中，通过以下方式生成所述一个或更多个每像素运动向量：在计算着色器处将所述一个或更多个每像素运动向量添加到相机速度以获得每像素结果，并且将所述每像素结果存储在运动向量缓冲区中。
12.根据权利要求8所述的系统，其中，所述图形引擎实时地将所述每块运动向量数据与一个或更多个色度亚采样视频帧同时注入所述视频编解码器引擎。
13.根据权利要求9所述的系统，其中，所述视频编解码器引擎执行运动补偿和残差变换，以将所述一个或更多个每块运动向量转换为经编码的视频数据。
14.根据权利要求9所述的系统，其中，通过应用一个或更多个逆量化算法、逆变换和缩放和/或解块，来准备所述经编码的视频数据以传输到所述远程客户端编码引擎。
15.根据权利要求9所述的系统，其中，所述经编码的视频数据被配置成在由显示控制器驱动的显示器上解码和播放。
16.根据权利要求9所述的系统，其中，所述图形引擎使用应用算术平均的变换方法将所述一个或更多个每像素向量转换为一个或更多个每块运动向量。
17.一种用于生成图形的计算机实现的方法，包括以下步骤：
在图形引擎中将一个或更多个每像素运动向量转换为一个或更多个每块运动向量，其中，所述每块运动向量数据在接收到后被传输到编解码器引擎；以及
在图形引擎处接收一个或更多个色度亚采样视频帧，其中，所述色度亚采样视频帧在接收到后被传输到编解码器引擎，
其中，所述编解码器引擎将所述每块运动向量数据和所述色度亚采样视频帧进行结合，以对视频数据进行编码，以传输到远程客户端计算机系统，并且其中，在所述视频数据的编码期间禁用运动估计计算。
18.根据权利要求17所述的方法，其中，经结合的每块运动向量数据和色度亚采样视频帧形成残差图像。
19.根据权利要求18所述的方法，其中，所述残差图像在编码之前通过残差变换和缩放、量化和/或扫描进一步处理。
20.根据权利要求18所述的方法，所述方法还包括以下步骤：
计算逆量化、逆变换和缩放；以及
对所述残差图像进行解块。
CN201880040171.3A 2017-04-21 2018-04-20 用于游戏生成的运动向量的系统和方法 Pending CN110959169A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762488526P 2017-04-21 2017-04-21
US62/488,526 2017-04-21
US201762596325P 2017-12-08 2017-12-08
US62/596,325 2017-12-08
PCT/US2018/028544 WO2018195405A1 (en) 2017-04-21 2018-04-20 Systems and methods for game-generated motion vectors

Publications (1)

Publication Number Publication Date
CN110959169A true CN110959169A (zh) 2020-04-03

Family

ID=63854345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880040171.3A Pending CN110959169A (zh) 2017-04-21 2018-04-20 用于游戏生成的运动向量的系统和方法

Country Status (15)

Country Link
US (5) US10567788B2 (zh)
EP (1) EP3613015A4 (zh)
JP (1) JP7135067B2 (zh)
KR (4) KR20240001278A (zh)
CN (1) CN110959169A (zh)
AU (2) AU2018254550B2 (zh)
BR (1) BR112019022007A2 (zh)
CA (2) CA3173525A1 (zh)
DE (1) DE112018002110T5 (zh)
GB (1) GB2576846A (zh)
MX (1) MX2021004095A (zh)
RU (2) RU2735241C1 (zh)
TW (3) TWI721816B (zh)
WO (1) WO2018195405A1 (zh)
ZA (2) ZA201907680B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113794887A (zh) * 2021-08-17 2021-12-14 镕铭微电子(济南)有限公司 一种游戏引擎中视频编码的方法及相关设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11049269B2 (en) 2014-06-27 2021-06-29 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US9589366B2 (en) 2014-06-27 2017-03-07 Samsung Electronics Co., Ltd. Dithered sampling patterns for temporal color averaging
WO2018195405A1 (en) 2017-04-21 2018-10-25 Zenimax Media Inc. Systems and methods for game-generated motion vectors
US11736822B1 (en) 2020-02-28 2023-08-22 Apple Inc. Controlling an image sensor based on GPU temporal processing values
US11833419B2 (en) 2020-03-16 2023-12-05 Tencent America LLC Method and apparatus for cloud gaming
CN111901666B (zh) * 2020-07-01 2021-05-11 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备以及存储介质
JP2022041553A (ja) * 2020-09-01 2022-03-11 ヤマハ株式会社 通信制御方法
EP4395329A1 (en) 2021-11-30 2024-07-03 Samsung Electronics Co., Ltd. Method for allowing streaming of video content between server and electronic device, and server and electronic device for streaming video content

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050094729A1 (en) * 2003-08-08 2005-05-05 Visionflow, Inc. Software and hardware partitioning for multi-standard video compression and decompression
US20120213278A1 (en) * 2009-10-20 2012-08-23 Yukinobu Yasugi Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method
CN102668495A (zh) * 2009-09-29 2012-09-12 网能和光公司 低延时传输协议的方法和系统
US20130083161A1 (en) * 2011-09-30 2013-04-04 University Of Illinois Real-time video coding using graphics rendering contexts
CN103716643A (zh) * 2012-10-01 2014-04-09 辉达公司 用于使用内容信息改进视频编码的系统和方法
US20150379727A1 (en) * 2014-06-27 2015-12-31 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US20160150231A1 (en) * 2014-11-20 2016-05-26 Citrix Systems, Inc. Layer-based video decoding

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4501980A (en) 1982-06-04 1985-02-26 Motornetics Corporation High torque robot motor
JPH06129865A (ja) 1992-10-20 1994-05-13 Sumitomo Electric Ind Ltd シングルモ−ドファイバ型デポラライザとその製造方法及び光ファイバジャイロ
US5778190A (en) * 1995-07-21 1998-07-07 Intel Corporation Encoding video signals using multi-phase motion estimation
US5886741A (en) 1995-08-18 1999-03-23 Texas Instruments Incorporated Method and apparatus for improved video coding using a zero block predictor module
US6687405B1 (en) * 1996-11-13 2004-02-03 Koninklijke Philips Electronics N.V. Image segmentation
GB9623573D0 (en) * 1996-11-13 1997-01-08 Philips Electronics Nv Image segmentation
WO1998024243A1 (en) 1996-11-27 1998-06-04 Princeton Video Image, Inc. Motion tracking using image-texture templates
EP1075147A1 (en) 1999-08-02 2001-02-07 Koninklijke Philips Electronics N.V. Motion estimation
US6850571B2 (en) 2001-04-23 2005-02-01 Webtv Networks, Inc. Systems and methods for MPEG subsample decoding
WO2003075116A2 (en) * 2002-03-01 2003-09-12 T5 Labs Ltd Centralised interactive graphical application server
US7936818B2 (en) 2002-07-01 2011-05-03 Arris Group, Inc. Efficient compression and transport of video over a network
US6903662B2 (en) 2002-09-19 2005-06-07 Ergodex Computer input device with individually positionable and programmable input members
US8054880B2 (en) 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
KR100624429B1 (ko) * 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
US20050047504A1 (en) 2003-09-03 2005-03-03 Sung Chih-Ta Star Data stream encoding method and apparatus for digital video compression
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7408984B2 (en) 2003-09-17 2008-08-05 International Business Machines Corporation Method and system for multiple pass video coding
US20060230428A1 (en) 2005-04-11 2006-10-12 Rob Craig Multi-player video game system
DE602006015650D1 (de) * 2005-07-08 2010-09-02 Tag Networks Inc Videospielsystem mit vorcodierten makroblöcken
JP4178480B2 (ja) 2006-06-14 2008-11-12 ソニー株式会社 画像処理装置、画像処理方法、撮像装置および撮像方法
KR100919886B1 (ko) * 2006-12-06 2009-09-30 한국전자통신연구원 영상 복호기에서 움직임 벡터 특성을 이용한 움직임 보상스킵 제어 장치 및 그 방법
US8219134B2 (en) 2006-12-13 2012-07-10 Quickplay Media Inc. Seamlessly switching among unicast, multicast, and broadcast mobile media content
JP4931223B2 (ja) 2007-03-30 2012-05-16 株式会社バンダイナムコゲームス 動きベクトル探索プログラム、情報記憶媒体、動きベクトル探索装置、及び、ネットワークシステム
US8069258B1 (en) 2007-09-11 2011-11-29 Electronic Arts Inc. Local frame processing to apparently reduce network lag of multiplayer deterministic simulations
US8127233B2 (en) 2007-09-24 2012-02-28 Microsoft Corporation Remote user interface updates using difference and motion encoding
CA2711742A1 (en) 2008-01-09 2009-07-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
WO2009138878A2 (en) 2008-05-12 2009-11-19 Playcast Media Systems, Ltd. Centralized streaming game server
US8154553B2 (en) 2008-05-22 2012-04-10 Playcast Media System, Ltd. Centralized streaming game server
US20100026897A1 (en) 2008-07-30 2010-02-04 Cinnafilm, Inc. Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution
US8678929B1 (en) 2008-08-01 2014-03-25 Electronics Arts Inc. Client-side prediction of a local game object to reduce apparent network lag of multiplayer simulations
US8854376B1 (en) 2009-07-30 2014-10-07 Lucasfilm Entertainment Company Ltd. Generating animation from actor performance
US9338523B2 (en) 2009-12-21 2016-05-10 Echostar Technologies L.L.C. Audio splitting with codec-enforced frame sizes
GB2480422B (en) * 2010-02-25 2014-07-09 Imagination Tech Ltd Object tracking using graphics engine derived vectors in a motion estimation system
US20110261885A1 (en) 2010-04-27 2011-10-27 De Rivaz Peter Francis Chevalley Method and system for bandwidth reduction through integration of motion estimation and macroblock encoding
US8427583B2 (en) * 2010-09-30 2013-04-23 Sharp Laboratories Of America, Inc. Automatic parameter control for spatial-temporal filter
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
JP5155462B2 (ja) 2011-08-17 2013-03-06 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
RU2487489C2 (ru) * 2011-10-18 2013-07-10 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" Способ поиска векторов перемещений в динамических изображениях
US10027982B2 (en) * 2011-10-19 2018-07-17 Microsoft Technology Licensing, Llc Segmented-block coding
JP5977023B2 (ja) 2011-11-07 2016-08-24 株式会社スクウェア・エニックス・ホールディングス 描画システム、プログラム、及び記録媒体
EP2850829B1 (en) 2012-05-14 2021-12-01 V-Nova International Ltd Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
BR112015006178B1 (pt) 2012-09-21 2022-11-16 Nokia Technologies Oy Métodos, aparelhos e meio não transitório legível por computador para codificação e decodificação de vídeo
KR102137266B1 (ko) 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US9794569B2 (en) 2013-01-30 2017-10-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US9661351B2 (en) 2013-03-15 2017-05-23 Sony Interactive Entertainment America Llc Client side frame prediction for video streams with skipped frames
US9521425B2 (en) 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
CN105246567B (zh) 2013-05-31 2016-09-14 英派尔科技开发有限公司 受缓存影响的视频游戏
US9313493B1 (en) * 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
US20150071357A1 (en) 2013-09-12 2015-03-12 Qualcomm Incorporated Partial intra block copying for video coding
US9648332B2 (en) 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
KR101586125B1 (ko) * 2013-12-17 2016-02-02 세종대학교산학협력단 영상의 복호화/부호화 방법 및 장치
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US20150228106A1 (en) 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
US9762919B2 (en) 2014-08-28 2017-09-12 Apple Inc. Chroma cache architecture in block processing pipelines
US9830888B2 (en) * 2014-11-10 2017-11-28 Dell Products, Lp Gaze driven display front of screen performance
US10063866B2 (en) 2015-01-07 2018-08-28 Texas Instruments Incorporated Multi-pass video encoding
WO2016119046A1 (en) 2015-01-29 2016-08-04 Ecole De Technologie Superieure Methods and systems for determining motion vectors in a motion estimation process of a video encoder
EP3286918A1 (en) 2015-04-21 2018-02-28 VID SCALE, Inc. Artistic intent based video coding
JP6910130B2 (ja) 2015-11-06 2021-07-28 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３ｄレンダリング方法及び３ｄレンダリング装置
US10163183B2 (en) 2016-01-13 2018-12-25 Rockwell Collins, Inc. Rendering performance using dynamically controlled samples
US9705526B1 (en) 2016-03-17 2017-07-11 Intel Corporation Entropy encoding and decoding of media applications
US10109100B2 (en) 2016-03-25 2018-10-23 Outward, Inc. Adaptive sampling of pixels
US20180054613A1 (en) * 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
US10402932B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Power-based and target-based graphics quality adjustment
WO2018195405A1 (en) 2017-04-21 2018-10-25 Zenimax Media Inc. Systems and methods for game-generated motion vectors

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050094729A1 (en) * 2003-08-08 2005-05-05 Visionflow, Inc. Software and hardware partitioning for multi-standard video compression and decompression
CN102668495A (zh) * 2009-09-29 2012-09-12 网能和光公司 低延时传输协议的方法和系统
US20120213278A1 (en) * 2009-10-20 2012-08-23 Yukinobu Yasugi Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method
US20130083161A1 (en) * 2011-09-30 2013-04-04 University Of Illinois Real-time video coding using graphics rendering contexts
CN103716643A (zh) * 2012-10-01 2014-04-09 辉达公司 用于使用内容信息改进视频编码的系统和方法
US20150379727A1 (en) * 2014-06-27 2015-12-31 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US20160150231A1 (en) * 2014-11-20 2016-05-26 Citrix Systems, Inc. Layer-based video decoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANUSHEEL BHUNSHAN等: "real-time 3D graphics streaming using MPEG-4", PROCEEDINGS OF THE IEEE/ACM WORKSHOP ON BROADBAND WIRELESS SERVICES AND APPLICATIONS, 18 July 2004 (2004-07-18), pages 1 - 16, XP008147336 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113794887A (zh) * 2021-08-17 2021-12-14 镕铭微电子(济南)有限公司 一种游戏引擎中视频编码的方法及相关设备

Also Published As

Publication number Publication date
US10567788B2 (en) 2020-02-18
KR20220123141A (ko) 2022-09-05
US20180310016A1 (en) 2018-10-25
KR20200019854A (ko) 2020-02-25
EP3613015A4 (en) 2021-02-24
MX2021004095A (es) 2021-06-08
US11381835B2 (en) 2022-07-05
AU2020267252A1 (en) 2020-12-10
RU2735241C1 (ru) 2020-10-29
US12003756B2 (en) 2024-06-04
KR102617595B1 (ko) 2023-12-22
JP2020518209A (ja) 2020-06-18
JP7135067B2 (ja) 2022-09-12
US10701388B2 (en) 2020-06-30
US20230089232A1 (en) 2023-03-23
KR20210148381A (ko) 2021-12-07
CA3173525A1 (en) 2018-10-25
WO2018195405A1 (en) 2018-10-25
AU2018254550A1 (en) 2019-12-12
TW202025757A (zh) 2020-07-01
GB201916979D0 (en) 2020-01-08
CA3059740A1 (en) 2018-10-25
RU2760974C2 (ru) 2021-12-02
ZA201907680B (en) 2021-04-28
TWI691199B (zh) 2020-04-11
AU2020267252B2 (en) 2022-01-27
TW202131688A (zh) 2021-08-16
DE112018002110T5 (de) 2020-01-09
AU2018254550B2 (en) 2020-09-24
US20200404317A1 (en) 2020-12-24
RU2020134091A (ru) 2020-11-17
ZA202007051B (en) 2022-04-28
RU2020134091A3 (zh) 2021-05-18
TWI721816B (zh) 2021-03-11
US20190230375A1 (en) 2019-07-25
US11503326B2 (en) 2022-11-15
TW201844002A (zh) 2018-12-16
GB2576846A (en) 2020-03-04
US20200141162A1 (en) 2020-05-07
KR20240001278A (ko) 2024-01-03
EP3613015A1 (en) 2020-02-26
BR112019022007A2 (pt) 2020-05-12
TWI797550B (zh) 2023-04-01

Similar Documents

Publication Publication Date Title
US12003756B2 (en) Systems and methods for game-generated motion vectors
EP1609244B1 (en) Accelerating video decoding using a graphics processing unit
KR20200088830A (ko) 비디오 인코더에 직접 렌더링하는 게임 엔진 애플리케이션
US20230362388A1 (en) Systems and methods for deferred post-processes in video encoding
Zhao et al. GPU_CPU based parallel architecture for reduction in power consumption

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021830

Country of ref document: HK