CN111033519A - 用于编码器引导的自适应质量渲染的系统和方法 - Google Patents

用于编码器引导的自适应质量渲染的系统和方法 Download PDF

Info

Publication number
CN111033519A
CN111033519A CN201880041154.1A CN201880041154A CN111033519A CN 111033519 A CN111033519 A CN 111033519A CN 201880041154 A CN201880041154 A CN 201880041154A CN 111033519 A CN111033519 A CN 111033519A
Authority
CN
China
Prior art keywords
rendering
quality
perceptual
reference images
rendered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880041154.1A
Other languages
English (en)
Other versions
CN111033519B (zh
Inventor
迈克尔·科皮茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zenimax Media Inc
Original Assignee
Zenimax Media Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zenimax Media Inc filed Critical Zenimax Media Inc
Publication of CN111033519A publication Critical patent/CN111033519A/zh
Application granted granted Critical
Publication of CN111033519B publication Critical patent/CN111033519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了用于改善与图像的渲染和编码有关的、优选地用于视频游戏环境中的计算机技术的系统和方法。在某些实施例中，编解码器用于针对编码器设置的部分范围编码一个或更多个参考图像，并且渲染器用于生成一个或更多个渲染质量设置配置文件、生成一个或更多个参考图像、针对一个或更多个参考图像中的每个，计算感知质量、针对一个或更多个渲染质量设置配置文件中的每个，重新渲染一个或更多个参考图像、以及针对一个或更多个重新渲染的参考图像中的每个，计算感知质量。渲染器对参考图像的感知质量与重新渲染的图像的感知质量进行比较并且匹配它们。这些匹配导致将一个或更多个编码器设置和与其匹配的渲染质量设置配置文件关联到查找表中。

Description

用于编码器引导的自适应质量渲染的系统和方法
相关申请
本申请要求于2017年4月21日提交的No.62/488,526和2018年4月5日提交的No.62/653,056的美国临时申请的优先权。
背景技术
由客户端玩家控制服务器端游戏的远程游戏应用程序已尝试使用现有或定制的编解码器(也称为编码器)对来自三维(3D)图形引擎的视频输出进行实时编码。然而，视频游戏的交互性质、特别是在视频输出与玩家输入之间的玩家反馈循环使得游戏视频流比传统视频流对延迟更加敏感。现有的视频编码方法可以为减少编码时间而牺牲计算能力，而别无其他。用于将编码过程集成到视频渲染过程中的新方法能够显著减少编码时间，同时还可以降低计算能力、改善编码视频的质量、并保留原始比特流数据格式以保留现有硬件设备的互操作性。
当视频游戏实例在玩家本地的硬件上运行时，期望游戏以最高质量输出每个像素。然而，在渲染输出被编码并传输到远程客户端的服务器端游戏实例中，编码器可能会降低图像质量以适合有限的带宽。如果渲染质量显著高于解码输出的质量，则将大量损失服务器端渲染工作。
通过基于来自编码器的反馈使服务器端渲染的质量与量化后的质量相匹配，游戏能够减少浪费的服务器端计算而不会有任何明显的客户端质量损失。减少服务器端计算浪费还可以导致额外的益处，包括减少能源消耗、减少渲染时间、以及减少播放器反馈延迟。在多个游戏实例在同一台服务器上运行的环境中，服务器端的计算节省更为复杂。
在涉及多个玩家的游戏、特别是诸如大型多人在线游戏(“MMOG”)的游戏的流环境中，确保不浪费服务器端渲染工作变得越来越重要。由于MMOG玩家可用的带宽有限，因此在防止游戏速度下降的同时使渲染质量最大化的编码器特别重要。如下所述，当前的技术采用各种方法来尝试解决该问题，但是仍然不足。
公开号US20170132830A1(“'830公开”)的美国专利公开了一种系统及方法，用于在执行着色的3D场景中确定选择着色点、在确定的着色点上执行着色、并且基于在确定的着色点上所执行的着色的结果来确定3D场景的着色信息。基于场景的时间特性调整场景的着色。然而，该技术没有解决基于服务器端渲染功能和可用带宽来优化编码的根本问题。
公开号US20170200253A1(“'253公开”)的美国专利公开了用于改善图形处理器的渲染性能的系统和方法。在图形处理器处，能够设置上限阈值，以便在遇到大于设置的阈值的帧时，图形处理器将采取适当的操作以减少渲染时间。然而，该技术仅基于设置的阈值并且无法动态调整以适应服务器端渲染功能和可用带宽。
公开号US2017/0278296A1(“'296公开”)的美国专利公开了系统和方法，其中生成确定场景的每个部分处的纹理的场景的初始渲染，并且通过追踪光线的初始样本来生成场景的光线追踪渲染。该参考文献公开了基于场景纹理的预知和识别由于在光线追踪期间欠采样而引起的噪声来智能地确定每个像素的最佳采样数量。再次，该技术受限于最佳光线采样并且无法动态调整以适应服务器端渲染功能和可用带宽。
从对该技术的现有状态的以上讨论中明显看出，本领域中需要改善与游戏的渲染和编码有关的现有计算机技术。
发明内容
因此，本发明的目的是公开用于通过以下操作优化渲染的系统和方法：通过使用编解码器(在本文中也可称为编码器)来针对编码器设置的部分范围编码一个或更多个参考图像，并且使用渲染器生成一个或更多个渲染质量设置配置文件、生成一个或更多个参考图像、针对一个或更多个参考图像中的每个，计算感知质量、针对一个或更多个参考图像中的每个，重新渲染一个或更多个参考图像、以及针对一个或更多个重新渲染的参考图像中的每个，计算感知质量。渲染器将参考图像的感知质量与重新渲染图像的感知质量进行比较并且匹配它们。这些匹配结果导致将一个或更多个编码器设置和与其匹配的渲染质量设置配置文件关联到查找表中。查找表用于在游戏期间以与编码帧基本相同的感知质量生成渲染图像。
本发明的另一个目的是公开用于通过使用渲染器来计算重新渲染的参考图像中的每个的计算成本来优化编码和渲染的系统和方法。
本发明的又一个目的是公开用于通过应用结构相似性指数计算图像的感知质量来优化编码和渲染的系统和方法。
附图说明
当结合附图考虑时，通过参考以下详细描述将会更好地理解并容易获得对本发明及其许多伴随优点的更完整的认识，其中：
图1是根据本发明实施例的示例性环境的示图，在所述示例性环境中，实时流编解码器能够将设置传达回产生视频的渲染器；
图2是根据本发明实施例的概述了编码器引导的自适应质量渲染的示例性阶段的流程图；
图3是根据本发明实施例的概述了查找表的示例性预生成的流程图，所述查找表将渲染质量设置配置文件分配给编码器设置的每个部分范围；
图4是根据本发明实施例的用于渲染质量设置配置文件的示例性查找表生成的示图，所述渲染质量设置配置文件仅由一个设置组成；以及
图5是根据本发明实施例的用于渲染质量设置配置文件的示例性查找表生成的示图，所述渲染质量设置配置文件包含多个设置。
具体实施方式
在描述附图中示出的本发明的优选实施例时，为了清楚起见将采用特定术语。然而，本发明不旨在限于如此选择的特定术语，并且应当理解，每个特定术语包括以相似方式操作以完成相似目的的所有技术等同物。为了说明的目的描述了本发明的若干优选实施例，应该理解，本发明可以以未在附图中具体示出的其他形式实施。
现代渲染引擎(诸如视频游戏中使用的那些)具有在运行期间基于诸如玩家与目标的距离、前一帧的渲染时间、或其他运行时测量值等因素来适应某些质量设置的能力。渲染引擎可以提供多种方法来调整质量，从而允许更精细地控制总体渲染质量。一些示例包括：偏置纹理采样以使用模糊纹理映射(Mipmap)；在阴影上使用更低质量的级联或更少的样本；在着色模型上运行简化的路径(例如看起来像漫反射的镜面反射的DCT变换)；以及使用更少的样本进行后处理(例如用于高斯、体积雾等)。在实时流应用中，响应于编码器设置的改变来更改一个或更多个渲染质量设置可以提供最佳的渲染成本节省而不影响编码输出质量。
图1是实时渲染视频被实时流传输到远程观看者的示例性环境的示图。服务器100可以是能够同时运行实时渲染过程102(以下也称为渲染器)和流编解码器104的任何硬件。编解码器104还必须具有通过直接报告或本领域已知的一些其他监视过程将其量化设置传达回渲染过程102的能力。编码视频流通过网络传输到客户端设备106。客户端106可以是能够解码和显示视频流的任何硬件。
图2是概述了编码器引导的自适应质量渲染的示例性阶段的流程图。使用H.264标准兼容的编码器的实时流编码通常采用恒定速率因子(“CRF”)模式，所述模式在“报告每个编码帧的量化设置，”(步骤200)处将编码帧的有效量化设置报告为量化参数(“QP”)。在某些实施例中，使用的H.264标准兼容库是ffmpeg，其输出量化参数作为变量f_crf_avg。量化参数是从0到51的指数，其定义了编码期间压缩的有损程度。更低的QP值表示更低的压缩，而更高的QP值表示更高的压缩。为了保持恒定的比特率，在CRF模式下运行的编码器将提高帧的QP，这能够提供更高的压缩，并且降低需要更高的质量的帧的QP。编码器利用了这样的事实，即人眼通过在具有相对高运动的区域中增加压缩并且在相对静止的区域中减少压缩而不太能够辨别在移动对象上的细节。这允许编码器在减小一些编码帧的尺寸的同时保持目标感知质量。
渲染器在“监视量化设置的改变，”(步骤202)处在渲染帧之前读取报告的QP。在“不同？”(步骤203)处，如果自先前渲染的帧以来有效量化设置没有改变，则渲染器不采取任何操作来适应渲染质量，并且将在下一帧上再次检查。如果渲染器读取的QP值与先前渲染的帧不同，或者如果这是正在执行编码器引导的自适应质量渲染的第一个编码帧，则在“改变渲染质量设置以匹配量化设置”(步骤204)处更改渲染质量。如果自先前渲染的帧以来QP值已提高，则渲染器将降低质量以匹配在编码器处的压缩级别。同样，如果自先前渲染的帧以来QP值已降低，则编码器将提高质量。为了改变渲染设置，渲染器将检查预生成的查找表，所述查找表提供用于编码器提供的QP值的渲染质量设置配置文件。通常，每个编码器质量设置应该仅有一个条目。渲染器使用编码器提供的QP，找到该一个条目，并且使用相关联的渲染质量设置配置文件。通常，应用整个渲染质量设置配置文件。渲染质量设置配置文件限定为每个可用渲染质量设置的值的列表。参考图3更详细地描述了该查找表的预生成。预定义的查找表可以对QP的整数值定义渲染设置，这需要渲染器将读取的QP值四舍五入到最接近的整数，或者查找表可以对在0到51之间的QP值的每个部分范围限定渲染设置。图4和图5中的示例假设渲染器将在使用查找表之前将QP四舍五入到最接近的整数，但是替代地，可以将示例修改成使用QP的部分范围来限定查找表。在渲染下一帧之前，渲染器将根据从查找表获取的渲染质量设置配置文件来更改质量设置。降低渲染质量将减少在编码器出现质量瓶颈时浪费的渲染工作量。
图3是概述了查找表的示例性预生成的流程图，所述查找表将渲染质量设置配置文件分配给编码器设置的每个部分范围。参考图像将用作基准，以在改变编码设置或渲染设置时测量对感知质量的影响。参考图像应该代表视频输出的典型帧，并包括所选游戏背景特有的渲染元素，诸如模型、纹理或视觉效果。游戏背景可以包括特定区域、特定地图、特定级别、或一些特定游戏。所选的参考图像将用于生成估算在与参考图像相同的背景内所渲染的视频的感知质量的查找表。例如，由包含来自游戏级别的代表性元素组的参考图像所生成的查找表可以用于估算来自同一级别内的相似场景所渲染的视频的感知质量。下面将进一步讨论将多个查找表组合成通用查找表的方法。在识别了游戏背景之后，应该选择具有代表性的场景并以全质量渲染，如“选择并生成参考图像”(步骤300)处示出的。代表性场景的全质量渲染场景在本文中称为参考图像。
上面结合图2的描述讨论的渲染器的运行时行为的优选实施例需要渲染器在读取查找表之前将接收的QP值四舍五入到最接近的整数。因此，将仅使用QP的整数值生成查找表。在编码器处，针对编码器中每个整数值的质量设置(量化参数(QP)整数值0到51)编码全质量参考图像，如在“针对编码器设置的每个部分范围编码参考图像”(步骤302)处示出的。在优选实施例中，有由渲染器执行的四舍五入操作所限定的52个部分范围。能够修改实施方式，以对更常见的QP值(0到51的中间处的值)创建更多的部分范围、或者对更罕见的QP值(0到51的极端处的值)创建更少的部分范围。
感知质量是尝试量化人眼感知压缩图像与全质量源图像之间的质量损失的程度。存有多种用于估算感知质量的方法，包括仅使用两个图像之间的亮度和对比度值的差来计算压缩编解码器的质量的均方误差(MSE)和峰值信噪比(PSNR)。如由Z.Wang、A.C.Bovik、H.R.Sheikh以及E.P.Simoncelli在“Image quality assessment:From error visibilityto structural similarity，”IEEE Transactions on Image Processing，vol.13，no.4，pp.600-612，Apr.2004所公开的，结构相似性(SSIM)指数是一种方法，它增加了一种假设——即人眼也擅长从场景中提取结构性信息，并定义了一种计算以估算感知的质量。SSIM通过比较两个图像的像素数据：未压缩的全质量参考图像和编码图像之间的像素数据来工作。该算法比较8x8像素“窗口”上的亮度、对比度、结构、以及有时的色度。因为SSIM的计算成本低，并且优于MSE和PSNR等方法，所以其是用于计算感知质量的优选工具。为了对编码器设置的每个值生成感知质量(优选地在渲染器和/或游戏引擎处)，在每个编码参考图像与参考图像之间计算SSIM指数，如“对每个编码参考图像计算感知质量”(步骤304)处示出的。在优选实施例中，对于每个量化参数(QP)整数中的一个，为0到51的值计算52个SSIM值。参考图3、图4以及图5的示例性描述使用标准的SSIM计算来比较两个静止图像，但是存在能够比较两个视频片段并且可以以提高计算成本来替代的SSIM方法的变体。一种这样的SSIM变体是时空SSIM，如Anush K.Moorthy和Alan C.Bovik公开的“Efficient MotionWeighted Spatio-Temporal Video SSIM Index，”Human Vision and ElectronicImaging XV,vol.7527,Mar.2010(从
http://live.ece.utexas.edu/publications/2010/moorthy_spie_jan10.pdf可获得)。
渲染器可以具有可用于每像素质量控制的多个设置，所述设置包括屏幕分辨率、纹理映射(mipmap)选择、多细节层次(LOD)选择、阴影质量、后处理质量、或其他设置。质量设置配置文件限定为每个可用质量设置的值的列表。在某些实施例中，在渲染器处，收集了能够自适应更改的所有渲染设置的列表以及它们的可能值。然后生成自适应质量渲染设置及其值的所有排列组合，以创建渲染质量设置配置文件的列表，如在“生成渲染质量设置配置文件列表”(步骤306)处示出的。因为渲染器可以是具有许多可能值的许多质量设置，所以质量设置配置文件的排列组合的数量可能会过长。图5的示例讨论了用于限制和优化列表中的质量设置配置文件的数量的示例性方法。
对列表中的每个渲染质量设置配置文件，在渲染器处应该使用指定的渲染设置重新渲染的参考图像，如在“对每个渲染质量设置配置文件重新渲染参考图像”(步骤308)处示出的。如果渲染质量设置配置文件由多于一个的设置组成，则对每个重新渲染的参考图像的渲染时间也应该记录为计算成本的测量值，示例性地，以渲染时间或时钟周期测量。如果存在任何SSIM值冲突，则该计算成本的测量值可以在以后步骤中用作决胜点。
使用与先前在步骤304中所使用的相同的感知质量的测量值，通过将重新渲染图像中的每个与原始参考图像比较来测量感知质量，如在“针对每个重新渲染的参考图像计算感知质量”(步骤310)处示出的。在优选实施例中，结构相似性指数(SSIM)被用于测量编码器结果的感知质量，并且将被用于测量重新渲染结果的感知质量。
在渲染器处，将两个感知质量值组(在步骤304处计算的编码参考图像的SSIM值和在步骤310处计算的每个配置文件重新渲染的参考图像的SSIM值)在两个图像组之间比较，以在两组之间找到匹配的SSIM值。理想地，对于每个编码参考图像的SSIM值，每个配置文件重新渲染的图像组中存在一个精确匹配的SSIM值。如果没有精确匹配，则选择的每个配置文件重新渲染图像的SSIM值应该大于并尽可能接近目标编码参考图像的SSIM值。跨两个感知质量值组的匹配的SSIM值将对QP的每个值标识渲染质量设置配置文件，如在“查找编码器设置的每个部分范围的质量设置配置文件，”(步骤312)处示出的。在发生冲突(从每个配置文件重新渲染图像的SSIM值组中存有两个或更多个精确匹配)的情况下，在步骤308中记录的计算成本可以用作决胜点和为编码器设置选择的成本更低的渲染质量设置配置文件。图5示出了示例冲突。
编码器设置和其匹配的渲染质量设置配置文件应该被组织到查找表中，如在“创建对每个编码器设置分配渲染质量设置配置文件的查找表”(步骤314)处示出的。该查找表可以在运行时期间在渲染器处用于改变渲染质量设置，以匹配如图2中的步骤204所描述的量化设置。查找表提供渲染质量设置配置文件，其生成与编码帧具有相同感知质量的图像，并为给定的参考帧提供最大的计算节省。图4和图5中示出了示例查找表。
通过结合图3描述的方法生成的查找表可以在类似的游戏背景、场景、或环境中用作参考图像。可以针对多个参考图像重复结合图3概述的过程(每个参考图像代表特定的环境、场景类型、或其他有意义的游戏背景)。例如，可以从游戏中的每个地图中选择参考图像，以生成多个地图指定的查找表。查找表也可以被组合以创建能够在游戏环境中更普遍使用的查找表。例如，地图指定的查找表可以被组合以生成可以用于游戏中的所有地图的一个查找表。为了组合查找表，可以组合每个QP的渲染质量设置配置文件，以找到对包含在配置文件中的每个设置的平均值。例如，对三个参考图像生成三个查找表。渲染质量设置配置文件由三个设置值组成：后处理质量设置、阴影质量设置、以及分辨率设置。为了组合QP值为4的渲染质量设置配置文件，配置文件从每个查找表中读取并被表示为P41＝{3，MED，95％}、P42＝{4，LOW，90％}、以及P43＝{2，MED，90％}。找到对每个设置的平均值以生成PAvg＝{3，MED，92％}。配置文件平均过程应该四舍五入，以使渲染过程永远不会以低于当前编码质量设置的感知质量级别生成图像。将每个QP值的配置文件取平均值，并组织成一个新的查找表。
图4是用于仅由一个设置组成的渲染质量设置配置文件的查找表生成的示例。在该示例中，响应于编码器质量设置中的改变来适应单个渲染质量设置。通过更改视图的3D部分(在“3D视图”400处所示)的分辨率，在渲染器处适应3D场景的第一人视角的渲染，然而为保持任何面向玩家的文本的可读性，用户界面(UI)元素(示出为“UI”402)的分辨率未更改。这种类型的选择性分辨率缩放称为动态分辨率缩放，并且是渲染引擎越来越常见的特征。参考图像(在“参考图像”404处所示)代表来自以尽可能最高的分辨率所渲染的典型视频输出的单个帧，并且根据在图3的步骤300处所概述的准则来选择。在编码器处，对QP的每个整数值编码参考图像(在“参考图像”404处所示)，如结合图3的步骤302描述的，以在“编码参考图像”406处生成编码参考图像的列表。如结合图3的步骤304描述的，在渲染器处，对每个编码参考图像406计算SSIM值(示出为“SSIM”408)。因为渲染质量配置文件仅由一个质量设置组成，所以质量配置文件排列组合的数量受限于可用于3D视图(示出为“3D视图”400)分辨率的可能值的数量。可能分辨率值的数量上限由3D视图的最大可能分辨率限定并且下限由3D视图的最小可行分辨率限定。纵横比可以限定在最小分辨率与最大分辨率之间存在多少分辨率值。例如，最大分辨率3840x 2160具有纵横比16：9，并且在该纵横比中的最小可行分辨率被选为1280x 720。在这些上限和下限之间存在160种具有纵横比为16:9的可能分辨率。可替代地，可以任意选择在上限与下限之间相同分辨率的一些数字作为分辨率样本。例如，可以在3840和1280之间沿x方向逐渐减小分辨率，以选择样本分辨率尺寸的一些数字。
在渲染器处，针对可用分辨率尺寸中的每个或所选的样本分辨率尺寸中的每个重新渲染参考图像(如在“重新渲染的参考序列”410处示出的)，如结合图3的步骤308描述的。在渲染器处对每个重新渲染图像计算“SSIM”值(示出为“SSIM”412)，如图3的步骤310描述的。将两个SSIM值组：编码参考图像的SSIM值(如在“SSIM”408处示出的)和每个配置文件重新渲染的参考图像的SSIM值(如在“重新渲染的参考序列”410处示出的)比较来跨图像组找到匹配，以对QP的每个整数值提供分辨率设置。结果被组织成将在运行时期间所使用的如在“查找表”414处所示的查找表。通过降低3D视图分辨率来匹配量化设置，能够显著减少浪费的渲染工作，这可以导致其他益处，包括：服务器上的能源消耗的减少、渲染时间的减少、以及播放器反馈延迟的改善。在多个游戏实例运行在单个服务器上的环境中，这些益处是复合的。
图5是用于包含多个设置的渲染质量设置配置文件的查找表生成的示例。结合图3描述的过程对选择参考图像并测量每个编码器设置的感知质量没有改变(如结合步骤300、302和304描述的)。因为渲染器可以缩放与QP值相关的一个或更多个渲染质量设置，所以生成的渲染质量设置配置文件的列表(结合图3中的步骤306描述的)可能太长以至于无法重新渲染参考图像和为每个渲染质量设置配置文件计算感知质量。由于可能存有大量的渲染设置排列组合，所以决策树可以有助于以编程方式缩小概率空间。例如，可能不期望具有后处理质量非常低但是其他每个设置都非常高的渲染质量设置配置文件。在某些实施例中，可能期望利用低质量的后处理覆盖高质量的阴影。在其他实施例中，可为相反的。这种决策是主观的，但是基于的标准包括但不限于与特定渲染设置相关联的计算成本、在两个设置值之间的感知质量差、一个渲染设置相对于另一个渲染设置的相对明显性(诸如消耗了屏幕大部分的特写效果与仅几个像素宽的远处细节相比)、或相对的游戏重要性(诸如用于传达回玩家的重要的视觉效果)。
图5是示例性决策树(如在“决策树”500处所示)，所述决策树由用于四个可能后处理质量设置、三个可能阴影质量设置、以及五个可能3D视图分辨率的每个排列组合的叶子组成。该示例决策树明显小于实际示例，因为可能有更多的自适应渲染设置或每个设置有更多选项，这对本领域任何普通技术人员来说是显而易见的。优选地，根据任何限制条件(诸如在后处理质量非常低而所有其他设置高的地方避开叶子)遍历决策树。对于没有被限制条件去除的每个叶子，参考帧可以利用与叶子相关联的渲染质量设置配置文件重新渲染，如图3中的308描述的。在此处可以记录以渲染时间或时钟周期测量的计算成本，以在感知质量值冲突的情况下用作潜在的决胜点。然后，对每个重新渲染图像可以测量感知质量，如结合图3的步骤310描述的。在对编码器设置计算的组中对于每个计算的感知质量值(SSIM)，可以生成具有匹配的SSIM值的所有渲染质量设置配置文件的列表，如结合图3的步骤312描述的。图5的示例示出了对QP值为16所生成的该列表。
利用QP值16编码的参考图像的SSIM值为0.997，为些存在具有匹配的SSIM值的三个渲染质量设置配置文件，示出计算成本为16.004、15.554以及15.402。由于对于感知的质量值存在三个冲突，所以较早记录的计算成本用作决胜点并且可以用于确定哪个渲染质量设置配置文件最便宜，在该情况中是成本为15.402的那个。应该生成查找表(如在“查找表”502处所示)以将最便宜的渲染质量设置配置文件分配给QP的每个值，如图3中步骤314描述的。对QP值16选择的渲染质量设置配置文件在图5中示出为“配置文件16”。
示例1：将渲染时间作为计算浪费的代理的影响
在示例实施方式中，响应于编码器质量的改变，仅分辨率被线性地缩放。例如，如果编码器质量下降50％，分辨率将降低50％作为响应。因为渲染时间节省与计算能力节省直接互相关，所以在缩放分辨率的同时检查渲染时间。测量值是在包括玩家的手、武器、以及固定墙壁的第一人视角的视角的低运动环境下取得的。选择该低运动视角是为了限制可能影响测量结果的渲染时间而污染测量结果的因素的数量。这些因素可以包括诸如运动模糊的后处理、渲染对象数量的改变、屏幕上纹理的改变、或在高运动视角中可能改变的视图的其他要素。固定场景的固定视角还可以直接比较以缩放的分辨率取得的各种测量值。渲染引擎被强制以逐渐降低的分辨率输出视频，并且测量结果如下面表1所示。
Figure BDA0002326231820000111
表1：分辨率缩放对渲染时间的影响
不透明处理(opaque pass)是用于在视图中绘制不透明几何图形的渲染管线的部分。这是渲染管线的对分辨率改变最敏感的部分。通过缩放分辨率获得的任何渲染时间节省或计算成本节省将大部分来自不透明渲染处理。
如表1所示，在60帧的全分辨率1280x 720下，总渲染时间1.4ms，其中不透明处理的渲染时间为0.4ms。当分辨率降低到全分辨率的50％时，总渲染时间为1.0ms，其中不透明处理的渲染时间为0.3ms。因此，将分辨率缩小50％导致渲染时间显著节省约30％。当分辨率降低到全分辨率的25％时，总渲染时间为0.8ms，其中不透明处理的渲染时间为0.2ms。因此，将分辨率缩小75％导致渲染时间显著节省40％以上。
前述描述和附图应被认为仅是对本发明原理的说明。本发明不旨在受限于优选实施例并且可以以对本领域普通技术人员显而易见的各种方式来实施。本领域技术人员将容易想到本发明的许多应用。因此，不需将本发明受限于所公开的特定示例或所示出和描述的确切构造和操作。相反，在本发明的范围内，可以采用所有合适的修改和等同物。

Claims (20)

1.一种用于渲染的计算机实现的方法，包括以下步骤：
生成一个或更多个渲染质量设置配置文件；
生成一个或更多个参考图像；
针对编码器设置的部分范围，编码所述一个或更多个参考图像；
针对所述一个或更多个参考图像中的每个，计算第一感知质量；
针对一个或更多个渲染质量设置配置文件中的每个，重新渲染所述一个或更多个参考图像；
针对一个或更多个重新渲染的参考图像中的每个，计算一个或更多个第二感知质量；
将一个或更多个第一感知质量与一个或更多个第二感知质量进行比较，其中，一个或更多个第一感知质量与一个或更多个第二感知质量之间的匹配导致一个或更多个编码器设置和与其匹配的渲染质量设置配置文件在一个或更多个查找表中的关联；以及
基于所述查找表，以与编码帧基本相同的感知质量生成渲染图像。
2.根据权利要求1所述的计算机实现的方法，还包括步骤：计算重新渲染的参考图像中的每个的计算成本。
3.根据权利要求2所述的计算机实现的方法，还包括步骤：对参考图像和重新渲染的参考图像，应用所述重新渲染的参考图像中的每个的计算成本作为一个或更多个第一感知质量与一个或更多个第二感知质量的多个匹配的决胜点。
4.根据权利要求2所述的计算机实现的方法，其中，以渲染时间或时钟周期来衡量所述计算成本。
5.根据权利要求1所述的计算机实现的方法，其中，计算算法图像质量评估并且然后将其用于计算所述第一感知质量和第二感知质量。
6.根据权利要求1所述的计算机实现的方法，其中，通过应用决策树以编程方式缩小概率空间来执行将一个或更多个编码器设置和与其匹配的渲染质量设置配置文件的关联。
7.根据权利要求1所述的计算机实现的方法，其中，结构相似性指数(SSIM)被用于测量所述第一感知质量和所述第二感知质量。
8.根据权利要求1所述的计算机实现的方法，其中，使用量化参数的多个整数值或非整数部分范围来生成一个或更多个查找表。
9.根据权利要求8所述的计算机实现的方法，其中，量化参数的整数值为0到51。
10.根据权利要求1所述的计算机实现的方法，其中，所述质量设置配置文件是每个可用渲染质量设置的值的列表。
11.一种用于渲染的系统，包括：
编解码器，其针对编码器设置的部分范围编码一个或更多个参考图像；以及
渲染器；其中，所述渲染器用于：
生成一个或更多个渲染质量设置配置文件；
生成一个或更多个参考图像；
针对所述一个或更多个参考图像中的每个，计算第一感知质量；
针对所述一个或更多个渲染质量设置配置文件中的每个，重新渲染所述一个或更多个参考图像；
针对所述一个或更多个重新渲染的参考图像中的每个，计算一个或更多个第二感知质量；
将一个或更多个第一感知质量与一个或更多个第二感知质量进行比较，其中，一个或更多个第一感知质量与一个或更多个第二感知质量之间的匹配导致一个或更多个编码器设置和与其匹配的渲染质量设置配置文件在查找表中的关联；以及
基于所述查找表，以与编码帧基本相同的感知质量生成渲染图像。
12.根据权利要求11所述的系统，还包括步骤：计算重新渲染的参考图像中的每个的计算成本。
13.根据权利要求12所述的系统，还包括步骤：对参考图像和重新渲染的参考图像，应用所述重新渲染的参考图像中的每个的计算成本作为一个或更多个第一感知质量与一个或更多个第二感知质量的多个匹配的决胜点。
14.根据权利要求12所述的系统，其中，所述计算成本是以渲染时间或时钟周期来衡量的。
15.根据权利要求11所述的系统，其中，结构相似性指数被用于计算所述第一感知质量和第二感知质量。
16.根据权利要求11所述的系统，其中，一个或更多个编码器设置和与其匹配的渲染质量设置配置文件的关联是通过应用决策树以编程方式缩小概率空间来执行的。
17.根据权利要求11所述的系统，其中，结构相似性指数(SSIM)被用于测量所述第一感知质量和所述第二感知质量。
18.根据权利要求11所述的系统，其中，一个或更多个查找表是使用量化参数的多个整数值或非整数部分范围来生成的。
19.根据权利要求18所述的系统，其中，量化参数的整数值为0到51。
20.根据权利要求11所述的系统，其中，所述质量设置配置文件是每个可用渲染质量设置的值的列表。
CN201880041154.1A 2017-04-21 2018-04-20 用于编码器引导的自适应质量渲染的系统和方法 Active CN111033519B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762488526P 2017-04-21 2017-04-21
US62/488,526 2017-04-21
US201862653056P 2018-04-05 2018-04-05
US62/653,056 2018-04-05
PCT/US2018/028645 WO2018195477A1 (en) 2017-04-21 2018-04-20 Systems and methods for encoder-guided adaptive-quality rendering

Publications (2)

Publication Number Publication Date
CN111033519A true CN111033519A (zh) 2020-04-17
CN111033519B CN111033519B (zh) 2021-07-27

Family

ID=63854334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880041154.1A Active CN111033519B (zh) 2017-04-21 2018-04-20 用于编码器引导的自适应质量渲染的系统和方法

Country Status (14)

Country Link
US (3) US10313679B2 (zh)
EP (1) EP3612978A4 (zh)
JP (1) JP7145204B2 (zh)
KR (1) KR102326456B1 (zh)
CN (1) CN111033519B (zh)
AU (2) AU2018254591B2 (zh)
BR (1) BR112019021687A2 (zh)
CA (2) CA3060578C (zh)
DE (1) DE112018002109T5 (zh)
GB (3) GB2595197B (zh)
RU (2) RU2759505C2 (zh)
TW (2) TWI669954B (zh)
WO (1) WO2018195477A1 (zh)
ZA (2) ZA201907682B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111836116A (zh) * 2020-08-06 2020-10-27 武汉大势智慧科技有限公司 一种网络自适应渲染的视频展示方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
US11750811B2 (en) * 2018-04-06 2023-09-05 Comcast Cable Communications, Llc Systems, methods, and apparatuses for processing video
US11830225B2 (en) * 2018-05-30 2023-11-28 Ati Technologies Ulc Graphics rendering with encoder feedback
CN112206535B (zh) * 2020-11-05 2022-07-26 腾讯科技（深圳）有限公司 虚拟对象的渲染显示方法、装置、终端及存储介质
KR102472971B1 (ko) * 2020-11-19 2022-12-02 네이버 주식회사 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램
US20240114146A1 (en) * 2021-02-02 2024-04-04 Sony Group Corporation Information processing device and information processing method
EP4373102A1 (en) * 2022-11-18 2024-05-22 Axis AB Encoding aware overlay format
CN116440501B (zh) * 2023-06-16 2023-08-29 瀚博半导体(上海)有限公司 自适应云游戏视频画面渲染方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8145451B2 (en) * 2008-11-07 2012-03-27 Institute For Information Industry Digital filtering system, method, and recording medium thereof
US20130083163A1 (en) * 2011-09-29 2013-04-04 Texas Instruments Incorporated Perceptual Three-Dimensional (3D) Video Coding Based on Depth Information
CN103428488A (zh) * 2012-04-18 2013-12-04 Vixs系统公司 具有模式检测的视频处理系统及其使用方法
CN103905836A (zh) * 2012-12-27 2014-07-02 辉达公司 通过帧率控制实现网络自适应时延降低
US20140226490A1 (en) * 2013-02-11 2014-08-14 Avaya Inc. Method to achieve the use of an external metric as the primary tie-breaker in intermediate system to intermediate system (isis) route selections
US20160227172A1 (en) * 2013-08-29 2016-08-04 Smart Services Crc Pty Ltd Quality controller for video image
CN105917649A (zh) * 2014-02-18 2016-08-31 英特尔公司 用于将兴趣区域指示包括在压缩视频数据中的技术

Family Cites Families (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4501980A (en) 1982-06-04 1985-02-26 Motornetics Corporation High torque robot motor
JPH06129865A (ja) 1992-10-20 1994-05-13 Sumitomo Electric Ind Ltd シングルモ−ドファイバ型デポラライザとその製造方法及び光ファイバジャイロ
US6064359A (en) * 1997-07-09 2000-05-16 Seiko Epson Corporation Frame rate modulation for liquid crystal display (LCD)
WO2004004359A1 (en) 2002-07-01 2004-01-08 E G Technology Inc. Efficient compression and transport of video over a network
US6903662B2 (en) 2002-09-19 2005-06-07 Ergodex Computer input device with individually positionable and programmable input members
US8054880B2 (en) 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
US7408984B2 (en) 2003-09-17 2008-08-05 International Business Machines Corporation Method and system for multiple pass video coding
US7362804B2 (en) 2003-11-24 2008-04-22 Lsi Logic Corporation Graphical symbols for H.264 bitstream syntax elements
US20060230428A1 (en) 2005-04-11 2006-10-12 Rob Craig Multi-player video game system
JP4816874B2 (ja) 2005-05-31 2011-11-16 日本電気株式会社 パラメータ学習装置、パラメータ学習方法、およびプログラム
US20070147497A1 (en) * 2005-07-21 2007-06-28 Nokia Corporation System and method for progressive quantization for scalable image and video coding
KR100790986B1 (ko) * 2006-03-25 2008-01-03 삼성전자주식회사 가변 비트율 비디오 코딩에서 비트율을 제어하는 장치 및방법
US20080012856A1 (en) * 2006-07-14 2008-01-17 Daphne Yu Perception-based quality metrics for volume rendering
US8711144B2 (en) * 2006-08-01 2014-04-29 Siemens Medical Solutions Usa, Inc. Perception-based artifact quantification for volume rendering
US9064010B2 (en) 2006-12-13 2015-06-23 Quickplay Media Inc. Encoding and transcoding for mobile media
JP4843482B2 (ja) 2006-12-27 2011-12-21 株式会社東芝 情報処理装置およびプログラム
US8069258B1 (en) 2007-09-11 2011-11-29 Electronic Arts Inc. Local frame processing to apparently reduce network lag of multiplayer deterministic simulations
US8954876B1 (en) * 2007-10-09 2015-02-10 Teradici Corporation Method and apparatus for providing a session status indicator
US8270739B2 (en) * 2007-12-03 2012-09-18 Ecole De Technologie Superieure System and method for quality-aware selection of parameters in transcoding of digital images
US9865043B2 (en) 2008-03-26 2018-01-09 Ricoh Company, Ltd. Adaptive image acquisition and display using multi-focal display
US8264493B2 (en) * 2008-05-12 2012-09-11 Playcast Media Systems, Ltd. Method and system for optimized streaming game server
US8154553B2 (en) 2008-05-22 2012-04-10 Playcast Media System, Ltd. Centralized streaming game server
EP2364190B1 (en) 2008-05-12 2018-11-21 GameFly Israel Ltd. Centralized streaming game server
US8678929B1 (en) 2008-08-01 2014-03-25 Electronics Arts Inc. Client-side prediction of a local game object to reduce apparent network lag of multiplayer simulations
EP2338282A1 (en) * 2008-09-16 2011-06-29 Dolby Laboratories Licensing Corporation Adaptive video encoder control
FR2936926B1 (fr) * 2008-10-06 2010-11-26 Thales Sa Systeme et procede de determination de parametres de codage
US9342901B2 (en) * 2008-10-27 2016-05-17 Autodesk, Inc. Material data processing pipeline
EP2360562B1 (en) 2008-11-11 2015-04-08 Sony Computer Entertainment Inc. Image processing device, information processing device, image processing method, and information processing method
EA201190195A1 (ru) * 2009-03-29 2012-05-30 НОМАД3Ди САС Система и формат для кодирования данных и трехмерного рендеринга
US9894361B2 (en) * 2009-03-31 2018-02-13 Citrix Systems, Inc. Framework for quality-aware video optimization
US10097946B2 (en) 2011-12-22 2018-10-09 Taiwan Semiconductor Manufacturing Co., Ltd. Systems and methods for cooperative applications in communication systems
WO2011042900A1 (en) * 2009-10-05 2011-04-14 I.C.V.T Ltd. A method and system for processing an image
FR2954036B1 (fr) * 2009-12-11 2012-01-13 Thales Sa Procede et systeme pour la determination de parametres de codage sur des flux a resolution variable
US9338523B2 (en) 2009-12-21 2016-05-10 Echostar Technologies L.L.C. Audio splitting with codec-enforced frame sizes
US20110261885A1 (en) 2010-04-27 2011-10-27 De Rivaz Peter Francis Chevalley Method and system for bandwidth reduction through integration of motion estimation and macroblock encoding
US20130307847A1 (en) * 2010-12-06 2013-11-21 The Regents Of The University Of California Rendering and encoding adaptation to address computation and network
RU2014110047A (ru) * 2011-08-16 2015-09-27 Дэстини Софтвэар Продакшнз Инк. Рендеринг видео на основе сценария
JP5155462B2 (ja) 2011-08-17 2013-03-06 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US10085023B2 (en) * 2011-10-05 2018-09-25 Texas Instruments Incorporated Systems and methods for quantization of video content
JP5977023B2 (ja) 2011-11-07 2016-08-24 株式会社スクウェア・エニックス・ホールディングス 描画システム、プログラム、及び記録媒体
US9300980B2 (en) 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
FR2987086B1 (fr) * 2012-02-22 2014-03-21 Snecma Joint lineaire de plateforme inter-aubes
US20150169960A1 (en) * 2012-04-18 2015-06-18 Vixs Systems, Inc. Video processing system with color-based recognition and methods for use therewith
US9313495B2 (en) 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
JP2015519016A (ja) 2012-05-14 2015-07-06 ロッサト、ルカ 支持情報に基づく残存量データのエンコードおよび再構成
US8897586B2 (en) * 2012-06-15 2014-11-25 Comcast Cable Communications, Llc Dynamic generation of a quantization matrix for compression of a digital object
BR112015006178B1 (pt) 2012-09-21 2022-11-16 Nokia Technologies Oy Métodos, aparelhos e meio não transitório legível por computador para codificação e decodificação de vídeo
US9899007B2 (en) 2012-12-28 2018-02-20 Think Silicon Sa Adaptive lossy framebuffer compression with controllable error rate
US9924200B2 (en) 2013-01-24 2018-03-20 Microsoft Technology Licensing, Llc Adaptive noise reduction engine for streaming video
EP2952003B1 (en) 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
ES2770426T3 (es) 2013-02-21 2020-07-01 Koninklijke Philips Nv Métodos y dispositivos de codificación y decodificación de imágenes HDR mejorados
US8842185B1 (en) * 2013-03-14 2014-09-23 Microsoft Corporation HDMI image quality analysis
US10040323B2 (en) 2013-03-15 2018-08-07 Bridgestone Americas Tire Operations, Llc Pneumatic tire with bead reinforcing elements at least partially formed from carbon fibers
US9661351B2 (en) 2013-03-15 2017-05-23 Sony Interactive Entertainment America Llc Client side frame prediction for video streams with skipped frames
GB2513345B (en) 2013-04-23 2017-07-26 Gurulogic Microsystems Oy Data communication system and method
US20140321561A1 (en) * 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information
US9079108B2 (en) 2013-05-31 2015-07-14 Empire Technology Development Llc Cache-influenced video games
GB2520406B (en) 2013-10-17 2015-11-04 Imagination Tech Ltd Tone mapping
US9940904B2 (en) 2013-10-23 2018-04-10 Intel Corporation Techniques for determining an adjustment for a visual output
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US20150228106A1 (en) 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
US9830714B2 (en) 2014-06-27 2017-11-28 Samsung Electronics Co., Ltd. Graphics processing with advection to reconstruct missing sample data points
US10438313B2 (en) * 2014-07-23 2019-10-08 Divx, Llc Systems and methods for streaming video games using GPU command streams
EP3188762A4 (en) 2014-07-31 2018-01-10 The Board of Regents of the University of Oklahoma High isomerohydrolase activity mutants of mammalian rpe65
US9762919B2 (en) 2014-08-28 2017-09-12 Apple Inc. Chroma cache architecture in block processing pipelines
WO2016050991A1 (es) 2014-10-03 2016-04-07 RUIZ COLL, José Damián Método de mejora de la calidad de una imagen sometida a recodificación
US10063866B2 (en) 2015-01-07 2018-08-28 Texas Instruments Incorporated Multi-pass video encoding
US10098960B2 (en) 2015-04-03 2018-10-16 Ucl Business Plc Polymer conjugate
EP3286918A1 (en) 2015-04-21 2018-02-28 VID SCALE, Inc. Artistic intent based video coding
KR102059256B1 (ko) 2015-06-05 2019-12-24 애플 인크. Hdr 콘텐츠의 렌더링 및 디스플레이
IN2015CH02866A (zh) * 2015-06-09 2015-07-17 Wipro Ltd
CN106293047B (zh) 2015-06-26 2020-01-10 微软技术许可有限责任公司 通过动态分辨率缩放来减少移动设备的功耗
US9704270B1 (en) 2015-07-30 2017-07-11 Teradici Corporation Method and apparatus for rasterizing and encoding vector graphics
WO2017043730A1 (ko) 2015-09-08 2017-03-16 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
US9716875B2 (en) * 2015-09-18 2017-07-25 Intel Corporation Facilitating quantization and compression of three-dimensional graphics data using screen space metrics at computing devices
US9807416B2 (en) 2015-09-21 2017-10-31 Google Inc. Low-latency two-pass video coding
US10257528B2 (en) * 2015-10-08 2019-04-09 Electronics And Telecommunications Research Institute Method and apparatus for adaptive encoding and decoding based on image quality
JP6910130B2 (ja) 2015-11-06 2021-07-28 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３ｄレンダリング方法及び３ｄレンダリング装置
US10163183B2 (en) 2016-01-13 2018-12-25 Rockwell Collins, Inc. Rendering performance using dynamically controlled samples
US10216467B2 (en) 2016-02-03 2019-02-26 Google Llc Systems and methods for automatic content verification
US10499056B2 (en) * 2016-03-09 2019-12-03 Sony Corporation System and method for video processing based on quantization parameter
US9705526B1 (en) 2016-03-17 2017-07-11 Intel Corporation Entropy encoding and decoding of media applications
US10109100B2 (en) 2016-03-25 2018-10-23 Outward, Inc. Adaptive sampling of pixels
KR101713492B1 (ko) * 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
CN106162195B (zh) * 2016-07-05 2018-04-17 宁波大学 一种基于单深度帧内模式的3d‑hevc深度视频信息隐藏方法
US11011096B2 (en) * 2016-08-25 2021-05-18 Sharp Nec Display Solutions, Ltd. Self-diagnostic imaging method, self-diagnostic imaging program, display device, and self-diagnostic imaging system
EP3301921A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for calculating quantization parameters to encode and decode an immersive video
US10070098B2 (en) * 2016-10-06 2018-09-04 Intel Corporation Method and system of adjusting video quality based on viewer distance to a display
GB2554877B (en) 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
US10237293B2 (en) * 2016-10-27 2019-03-19 Bitdefender IPR Management Ltd. Dynamic reputation indicator for optimizing computer security operations
KR102651126B1 (ko) 2016-11-28 2024-03-26 삼성전자주식회사 그래픽 프로세싱 장치 및 그래픽스 파이프라인에서 텍스처를 처리하는 방법
GB2558886B (en) 2017-01-12 2019-12-25 Imagination Tech Ltd Graphics processing units and methods for controlling rendering complexity using cost indications for sets of tiles of a rendering space
US10117185B1 (en) 2017-02-02 2018-10-30 Futurewei Technologies, Inc. Content-aware energy savings for video streaming and playback on mobile devices
US10979718B2 (en) * 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods
US10423587B2 (en) * 2017-09-08 2019-09-24 Avago Technologies International Sales Pte. Limited Systems and methods for rendering graphical assets
CN108334412A (zh) 2018-02-11 2018-07-27 沈阳东软医疗系统有限公司 一种显示图像的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8145451B2 (en) * 2008-11-07 2012-03-27 Institute For Information Industry Digital filtering system, method, and recording medium thereof
US20130083163A1 (en) * 2011-09-29 2013-04-04 Texas Instruments Incorporated Perceptual Three-Dimensional (3D) Video Coding Based on Depth Information
CN103428488A (zh) * 2012-04-18 2013-12-04 Vixs系统公司 具有模式检测的视频处理系统及其使用方法
CN103905836A (zh) * 2012-12-27 2014-07-02 辉达公司 通过帧率控制实现网络自适应时延降低
US20140226490A1 (en) * 2013-02-11 2014-08-14 Avaya Inc. Method to achieve the use of an external metric as the primary tie-breaker in intermediate system to intermediate system (isis) route selections
US20160227172A1 (en) * 2013-08-29 2016-08-04 Smart Services Crc Pty Ltd Quality controller for video image
CN105917649A (zh) * 2014-02-18 2016-08-31 英特尔公司 用于将兴趣区域指示包括在压缩视频数据中的技术

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111836116A (zh) * 2020-08-06 2020-10-27 武汉大势智慧科技有限公司 一种网络自适应渲染的视频展示方法及系统

Also Published As

Publication number Publication date
US10554984B2 (en) 2020-02-04
RU2730435C1 (ru) 2020-08-21
CN111033519B (zh) 2021-07-27
ZA202007214B (en) 2022-04-28
JP2020518211A (ja) 2020-06-18
GB2595197B (en) 2022-02-23
GB2595197A (en) 2021-11-17
AU2021202099B2 (en) 2022-07-07
CA3060578A1 (en) 2018-10-25
GB2587091B (en) 2022-01-05
GB2576662A (en) 2020-02-26
JP7145204B2 (ja) 2022-09-30
US11330276B2 (en) 2022-05-10
US20180310008A1 (en) 2018-10-25
KR102326456B1 (ko) 2021-11-12
GB202112381D0 (en) 2021-10-13
RU2759505C2 (ru) 2021-11-15
ZA201907682B (en) 2021-04-28
AU2021202099A1 (en) 2021-05-06
KR20200020674A (ko) 2020-02-26
US10313679B2 (en) 2019-06-04
TW201941613A (zh) 2019-10-16
US20200154112A1 (en) 2020-05-14
BR112019021687A2 (pt) 2020-05-12
TWI669954B (zh) 2019-08-21
GB2576662B (en) 2020-10-28
CA3082771C (en) 2022-09-20
DE112018002109T5 (de) 2020-01-09
AU2018254591A1 (en) 2019-12-12
GB201916965D0 (en) 2020-01-08
RU2020127411A3 (zh) 2021-03-10
GB202014205D0 (en) 2020-10-21
US20190253720A1 (en) 2019-08-15
TW201842780A (zh) 2018-12-01
WO2018195477A1 (en) 2018-10-25
CA3060578C (en) 2020-07-21
GB2587091A (en) 2021-03-17
EP3612978A4 (en) 2020-06-03
RU2020127411A (ru) 2020-10-14
AU2018254591B2 (en) 2021-01-07
EP3612978A1 (en) 2020-02-26
CA3082771A1 (en) 2018-10-25
TWI755616B (zh) 2022-02-21

Similar Documents

Publication Publication Date Title
CN111033519B (zh) 用于编码器引导的自适应质量渲染的系统和方法
US10242462B2 (en) Rate control bit allocation for video streaming based on an attention area of a gamer
AU2020289756B2 (en) Systems and methods for rendering & pre-encoded load estimation based encoder hinting
TWI511529B (zh) 基於圖框相似性及視覺品質及興趣之圖框編碼選擇

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024991

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant