CN104412594A - 用于动态适配视频编码器参数的方法和设备 - Google Patents

用于动态适配视频编码器参数的方法和设备 Download PDF

Info

Publication number
CN104412594A
CN104412594A CN201380033980.9A CN201380033980A CN104412594A CN 104412594 A CN104412594 A CN 104412594A CN 201380033980 A CN201380033980 A CN 201380033980A CN 104412594 A CN104412594 A CN 104412594A
Authority
CN
China
Prior art keywords
video
interest
translational speed
area
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380033980.9A
Other languages
English (en)
Inventor
N·韦尔齐普
J-F·麦克
P·龙当阿尔法塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Publication of CN104412594A publication Critical patent/CN104412594A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于适配至少一个视频编码参数的方法，所述至少一个视频编码参数被用于对从服务器(S)传输至客户端(C)的视频进行编码，该方法包括确定所述视频的先前被编码和传输的帧中的连续帧上的感兴趣区域的移动速度是否超过预定阈值的步骤，以及在所述预定阈值被超过的情况下适配所述至少一个视频编码参数的步骤。

Description

用于动态适配视频编码器参数的方法和设备
本发明涉及一种用于适配(adapt)视频编码器参数的方法和设备。
高分辨率视频(也称为超高清视频)正变得越来越普遍。这种类型的内容从每帧1920x1080像素的高清(下面简写为HD)视频到更高分辨率的视频，该更高分辨率的视频或者直接使用高级光学器件获得，或者从多个摄像机的拼接视图获得。由于带宽限制，通常不可能直接将这种类型的内容整个都传送给终端用户。
一种可能的解决方案是在传输之前对完整的内容进行下采样，但是这导致低品质的图像，这是不可取的。
在另一种解决方案中，终端用户首先操作感兴趣区域，在本文的剩余部分该感兴趣区域简写为ROI。与超高清(UHD)输入视频相比，该ROI通常要小得多，可以适配用户设备的原生视频分辨率。响应于终端用户指令，在编码和传输之前，图像将在服务器侧被裁剪为所需的ROI。这种解决方案以每用户编码为代价提供了较好的图像。但是，这种系统可能无法扩展以满足大量用户，但是非常适用于-举例来说-监视应用。为了改善可扩展性，该系统可以分布在多个代理服务器上，每个代理服务器负责服务预定数量邻近的用户。
当终端用户开始将他/她的ROI导航(例如，交互式地位移)到他/她的显示器上的整个可用的空间内容中时，这种交互式ROI编码会产生问题。取决于编码器配置，现有技术的解决方案可以产生如下两种观察结果：
a/恒定质量编码(固定量化)导致带宽急剧增加。
b/恒定比特率编码保持带宽受控，但是质量受损，即使在静态ROI的情况下也是如此。
因此，本发明的实施方式的一个目的是提供一种已知类型的方法，但是该方法不存在上述缺点。
根据本发明的实施方式，该目的通过一种用于适配至少一个视频编码参数的方法实现，所述至少一个视频编码参数被用于对从服务器传输至客户端的视频进行编码，该方法包括确定所述视频的先前被编码和传输的帧中的连续帧上的感兴趣区域的移动速度是否超过预定阈值的步骤，以及在所述预定阈值被超过的情况下适配所述至少一个视频编码参数的步骤。
这样，通过基于ROI移动速度自身来适配编码器参数，在检测到快速ROI移动的情况下防止带宽峰值。此外，可以降低对视频质量的影响。
在一个实施方式中，通过监控所述客户端对所述感兴趣区域发出的命令，确定所述感兴趣区域的所述移动速度。
这允许使用来自用户导航命令的直接输入。
在另一个实施方式中，通过监控对先前的帧进行编码的过程中使用的先前确定的编码决定，确定所述感兴趣区域的所述移动速度。
在这种情况下，基于编码器所做的先前编码决定来间接地确定ROI移动。
将被适配的至少一个编码参数可以是量化参数，该量化参数可以被适配为根据所述感兴趣区域的增加的移动速度增加。
可替换地，所述至少一个编码参数可以与从帧间编码到帧内编码的改变相关，由此，在所述感兴趣区域的所述移动速度超过所述预定阈值的情况下，将强制执行宏块的帧内编码。
在另一个变型实施方式中，至少一个编码参数可以与解块(deblock)滤波器的使用相关，在所述感兴趣区域的所述移动速度超过所述预定阈值的情况下，将强制使用该解块滤波器。
本发明还涉及用于执行上述方法的视频服务器的实施方式。
本发明还涉及包括软件的计算机程序产品，所述软件适于在数据处理设备上运行时执行如权利要求1至6中任意一项所述的方法步骤。
需要注意的是，权利要求中使用的术语“耦合”不应该解释成限制为仅指直接连接。因此，表达“连接至设备B的设备A”的范围不应限制为这样的设备或系统：设备A的输出直接连接至设备B的输入。它的意思是A的输出和B的输入之间存在路径，该路径可能包括其他设备或装置。
需要注意的是，权利要求中使用的术语“包括”不应该解释成限制为它后面列出的装置。因此，表达“包括装置A和B的设备”的范围不应限制为仅由组件A和B构成的设备。它的意思是相对于本发明，设备的唯一相关的组件是A和B。
通过参考附图对实施方式的描述，本发明的上述和其他目的和特征会更加清晰，能够以最佳方式理解本发明，在这些附图中：
图1a-b概略地显示了客户端/服务器系统的典型现有技术配置，
图2描绘了测量ROI移动速度的可能手段，
图3a-b显示了根据本发明的客户端/服务器配置的实施方式，
图4显示了所述方法的一个实施方式。
本领域技术人员可以理解，本文中的任何框图代表体现本发明原理的说明性电路的概念视图。类似地，应该理解的是，任何流程图，流程图表，状态转换图，虚拟码等均代表各种程序，这些程序随后可以被呈现在计算机可读的介质中，并由计算机或处理器执行，而不管该计算机或处理器是否被明确地示出。
图1a-b描述了现有技术的系统，举例来说，所述系统可以基于具有可变比特率(VBR)输出的H.264编码器。在如图1a所示的典型配置中，能够存储大量视频文件的视频存储设备VS是用于将这些视频文件提供给客户端设备C的服务器S的一部分。在替代实施方式中，该视频存储设备可以是连接至服务器S的单独实体。考虑到存储设备的存储能力，视频文件通常存储以压缩模式存储，所述存储设备可以由任何类型的存储器组成，例如硬盘驱动器，电子可擦写或非易失存储器，或者任意其他类型的能够存储数字数据的存储器。在这些情况下，如图1a所示，解码器DS可以设置在视频存储器和服务器之间，或者可以作为服务器自身的一部分，从而对存储的压缩视频文件进行解压缩，以将它们恢复至原始未压缩格式。或者，如图1b所示，服务器还可以连接至采集系统AS，该采集系统AS包括一个或多个可以输出未压缩的视频的摄像机，并且直接连接至服务器的ROI裁剪设备CR。
在这两种配置中，原始视频文件由所述ROI裁剪设备CR接收，该ROI裁剪设备还适于从客户端设备C接收关于裁剪的指令。客户端设备自身大体上包括用于显示从服务器传输至客户端的视频的显示器(图1a-b中未显示)以及用于从用户接收裁剪指令的用户界面。这些指令可以由用户U通过任意类型的用户界面(图1a-b中未显示)输入，以接收与ROI的位置或用户想将显示的图像裁剪到什么尺寸相关的信息，举例来说，所述用户界面包括触摸界面，键盘，鼠标，或任何其他类型的手势检测界面。这些指令通常表示为ROI导航命令，例如平移/倾斜命令，所述命令一般假设ROI的尺寸最初等于终端用户的设备的分辨率。还可以输入改变ROI尺寸的缩放命令。该用户界面耦合至用户命令处理器UCP，该UCP适于将这些从用户界面接收的指令转化为可以由服务器中的ROI剪切设备CR理解的合适命令。
在另一种配置中，用户命令处理器考虑到客户端设备显示器的尺寸限制而自主提供裁剪指令，因此不需要来自人类用户的任何输入。例如，如果服务器中的图像的原始尺寸包括8000x4000像素，显示器只适合显示1880x800像素,则用户命令处理器可以对ROI裁剪设备自主生成裁剪命令,以选择1880x800的感兴趣区域(例如,图像的左上角,或者8Kx4K图像的中心)。
接收到这些裁剪指令之后,ROI裁剪设备将对大图像进行裁剪,由此从大图像中切出所指示的(选择的或预定义的)区域,满足所需的减小的尺寸,并将该区域提供给编码器以对选择的ROI进行编码,然后将该编码的ROI传输给客户端。客户端接收到之后，客户端的解码器设备DC随后对接收到的裁剪图像进行解码，并将其提供给显示器设备(图1a-b中未显示)以由用户U查看。原始图像被选择裁剪的部分被称为ROI图像。如图1a-b所示，服务器编码器E接收裁剪的ROI图像。
当用户开始(举例来说，通过客户端用户界面提供平移/倾斜输入命令)ROI导航时，用户命令处理器UCP将这些指令转化为可由ROI裁剪设备理解的命令。如前所述，当终端用户开始将他/她的ROI导航(即，交互式地地位移)到在整个可用的空间内容时可能会产生问题。取决于编码器配置，现有技术的解决方案可以产生如下两种观察结果：
a/恒定质量编码(固定量化)导致带宽急剧增加。确实，针对快速ROI移动，很少有机会，甚至不可能进行运动补偿(参考帧不会与当前ROI位置充分重叠)，实际上导致可与只使用帧内编码相比的带宽。试验显示，带宽可能以6或更大的系数增长。对于1Mbps的视频流(平均)，观察到带宽增加到6Mbps，甚至更多。
b/恒定比特率编码保持带宽受控，但是质量受损，即使在静态ROI的情况下也是如此。
为解决这些现有技术问题，服务器S包括附加功能，以基于用户输入的ROI移动的速度来动态适配编码器参数。当检测到超出预定阈值的ROI移动时，更新编码参数，从而防止带宽峰值和/或对视频质量产生太强的影响。
该阈值可以表达为每帧的绝对数量像素偏移，例如，每帧32像素。也可以表达为每帧的绝对数量宏块偏移，例如，2个宏块(针对H.264编码，其对应于32像素，因为1个宏块对应于16x16像素)。在另一个实施方式中，阈值可以变化，并且是基于编码器性能自身的统计测量。在本文的下面段落中将对这些和其他实施例进行更详细的解释。
在一个实施方式中，在服务器的一个单独模块中进行移动检测和确定如何更新编码器参数。这在图3a-b中显示，其中服务器配置有速率控制器模块RCM。为了不使附图过大，图3a-b中未显示视频存储器，解码器，采集系统和用户，因为它们不是本发明的真是贡献元素。
此外还需要注意，在其他实施方式中，服务器不需要包含单独模块RCM以实现所述附加功能，所有的服务器功能可以由一个处理器设备执行，该处理器设备可以从一个或多个计算机程序接收指令，所述程序可以编码在诸如光盘这样的载体上，或存储在其他类型的可以附加或结合到服务器中的固定或移动存储器中，或者从存储服务器下载到视频服务器中。
在基于用户输入命令检测ROI移动速度的一个实施方式中，速率控制器模块RCM的功能意味着相对于ROI或者所显示的图像的用户导航命令也被接收和分析。这在图3a中由箭头1a显示，表明该速率控制器模块拦截和接收用户命令cmd。此外，速率控制器功能意味着重新技术将由服务器编码器E使用的编码参数，并将这些可能的适配的参数提供给编码器。这由箭头2显示。举例来说，能够被影响的编码参数是它必须要使用的量化参数QP等。
在图3b所示的替代实施方式中，通过监控服务器编码器移动估计性能而直接检测ROI的移动。该监控由从服务器编码器E到速率控制器模块RCM的箭头2a显示。
下面将对两种实施方式进行更详细的解释。为了进一步解释，假设使用I和P帧的简单序列以与显示顺序相同的顺序对帧进行编码。在显示顺序和编码顺序不同的情况下，编码器也可以就编码帧顺序对速率控制器发出指令。这允许速率控制器相对于编码当前帧(其显示顺序可能不同于先前的帧)所用的参考帧测量ROI移动。
在图3a所示的实施方式中，来自用户导航命令的直接输入被提供给速率控制器。在变型实施方式中，所述导航命令中的连续导航命令被速率控制器检测到，该速率控制器适于对它们进行分析，并从它们获得两个连续帧之间的2D平移矢量，该2D平移矢量表达为像素。基于该信息，速率控制器可以方便地获得ROI速度，该ROI速度表达为以像素/帧表达的平移矢量的长度。
接下来将ROI移动与预定阈值比较，当计算出的速度高出该给定阈值-举例来说-高出5个像素/帧时，ROI移动被认为是快速的。在一些实施方式中，可以预先以实际经验为根据确定出最优阈值。
在另一个实施方式中，可以为确定ROI移动而计算其他度量。一个例子是计算当前ROI和编码当前ROI所用的可用参考帧之间的重叠面积的百分比。这在图2中显示，图2以实线示出了当前帧f，以及用于编码当前帧f的两个参考帧f1 ref和f2 ref。如果用于编码ROI的重叠面积结合A小于阈值T，则认为ROI移动是快速的并超过阈值，从而实现编码参数的适配。如果该面积小于预定阈值，则ROI移动仍然被认为是慢速的，仍然使用实时移动估计预测，意味着不会适配编码参数。在该实施例中，可以通过从ROI的整个面积中减去两行乘两列的宏块得到阈值。这能够相对于编码器使用的任意选定数量的参考帧覆盖任意2D的ROI移动。
在另一种变型实施方式中，取决于交互模式，还可以通过其他形式表达用户的导航输入：例如，缩放系数，3D旋转矩阵等。还可以从这些数据获得度量，并将这些度量与它们的预定阈值比较。
在图3b所示的实施方式中，还可以通过获得关于编码器E相对于移动估计表现如何的反馈来检测ROI移动。因此，基于编码器所做编码决定的一些统计数据间接地检测ROI移动，例如：
-帧间预测的帧中的帧内编码的宏块的数量是否超出预定阈值
-残余信号中的平均能量是否超出平均阈值
-最终的比特率的峰值是否超出预定目标比特率和界限
这些测量可以由速率控制器实时使用以更新编码参数，或者以离线方式使用以学习如何定义根据图3a的实施方式的最佳阈值。
对于参考图3a-b描述的所有实施方式，目的是在检测到高速ROI移动时向编码器指示合适的适配的编码参数。这样能够避免比特率峰值，防止可见伪影，降低处理复杂度。
在一个实施方式中，对编码参数进行修改以防止比特率峰值，因为编码器没有进行合适移动估计的能力通常会产生大量帧内编码的信息。降低比特率的基本杠杆是根据关于ROI移动的信息修改量化参数QP。速率控制器RCM可以如下方式使用该信息改变编码器的QP：在ROI速度低于阈值的情况下，速率控制器输出低QP(导致高品质图像)。在一个实施方式中，举例来说，可以选择小于等于16的QP值。当ROI速度增加时，输出QP也增加。一般而言，速率控制器实施函数QP＝f(ROI-速度)，其中该函数可以是线性的，步进式的等。可以利用试验确定最佳匹配函数。举例来说，一种非常简单的步进式函数表示如下：
-低速移动的默认值：QP＝16
-高速移动：QP＝32
在另一种实施方式中，可以将编码参数适配为限制用户感知的对质量的影响。就其本性而言，当ROI移动速度高时，用户对像素精确性的敏感度较低。但是，在高QP时，静态宏块-网格可能变得明显(块伪影)。在这种情况下，可以开启或增强编码器的环内解块滤波器。在H.264标准中，定义了环内解块滤波器。它的参数可以从比特流中的其他编码参数(特别是从量化参数)推断出来，或者当标记deblocking_filter_control_present_flag被设置为1时在片头中明确告知。编码器接下来可以通过将disable_deblocking_filter设置为0用信号通知强制使用解块滤波器，并利用disable_deblocking_filter和slice_beta_offset_div2控制解块滤波器的强度是如何被QP影响的。两个参数的值越高，在块边界(针对给定QP值)应用解块滤波器就越频繁。
速率控制器可以如下方式使用ROI速度来控制这些参数。当如上所述那样检测到快速ROI移动时可以强制使用滤波器，可能具有根据试验确定为过滤控制而优化的阈值。在这种情况下，slice_alpha_c0_offset_div2和slice_beta_offset_div2被定义为ROI速度的递增函数。可以根据经验确定产生最佳视觉效果的函数。
在第三实施方式中，当检测到高速ROI移动时，编码器可以决定以帧内模式对宏块进行编码。为了节省一些运算周期，当检测到快速ROI移动时，速率控制器可以对宏块强制执行帧内编码(可能具有为处理复杂度控制优化的阈值)。这允许编码器跳过移动估计的处理步骤。
很明显，在其他实施方式中，上述对编码参数的适配可以任何顺序组合。图4对此进行显示，给出了流程图实施方式，该流程图显示了方法的不同步骤。在第一步骤100中，举例来说，跳过前述方法检测ROI移动。在步骤200中，通过合适度量表达的该ROI移动(在不同实施方式中可能变化)与预定合适的阈值进行比较。当超过该阈值时，可以适配一个或多个编码参数。在步骤310至330中提到了一系列的三种适配方式，但是它们可以按照任何顺序组合，或者被分别选择以只在选择的一个编码参数300的适配中实施。当未超过阈值时，如步骤400表示，编码不改变，使用正常编码。
虽然根据特定设备描述了本发明的原理，但是应该清晰地理解，该描述只是举例，不对本发明的范围构成限制，本发明的范围在权利要求中限定。在权利要求中，表达为执行特定功能的元件应该理解为包括执行该功能的任何方式。举例来说，这可以包括以任意方式执行该功能或软件的电器或机械元件的组合，包括固件，微码等，它们与合适的电路组合以运行该软件，从而执行功能，以及连接至软件控制电路的机械元件(如果有的话)。权利要求所限定的本发明基于这样一个事实：由各种所提到的设备提供的功能以权利要求所要求保护的方式组合在一起，除非特别限定，任何物理结构对本发明的新颖性的重要程度都很低，或不具有重要性。因此，申请人考虑能够提供与这里显示的功能等同的功能的任何设备。

Claims (13)

1.一种用于适配至少一个视频编码参数的方法，所述至少一个视频编码参数被用于对从服务器(S)传输至客户端(C)的视频进行编码，所述方法包括确定所述视频的先前被编码和传输的帧中的连续帧上的感兴趣区域的移动速度是否超过预定阈值的步骤，以及在所述预定阈值被超过的情况下适配所述至少一个视频编码参数的步骤。
2.如权利要求1所述的方法，其中通过监控所述客户端对所述感兴趣区域发出的命令来确定所述感兴趣区域的所述移动速度。
3.如权利要求1所述的方法，其中通过监控对先前的帧进行编码的过程中使用的先前确定的编码决定来确定所述感兴趣区域的所述移动速度。
4.如权利要求1至3中任意一项所述的方法，其中所述至少一个编码参数是量化参数，并且其中所述量化参数被适配为根据所述感兴趣区域的增加的移动速度而增加。
5.如权利要求1至4中任意一项所述的方法，其中所述至少一个编码参数与从帧间编码到帧内编码的改变相关，由此在所述感兴趣区域的所述移动速度超过所述预定阈值的情况下，将强制执行宏块的帧内编码。
6.如权利要求1至5中任意一项所述的方法，其中所述至少一个编码参数与解块滤波器的使用相关，在所述感兴趣区域的所述移动速度超过所述预定阈值的情况下，该解块滤波器被强制使用。
7.一种用于对视频进行编码的视频服务器(S)，所述视频随后将被传输至耦合到所述视频服务器(S)的客户端(C)，所述视频服务器(S)适于确定所述视频的先前被编码和传输的帧中的连续帧上的感兴趣区域的移动速度是否超过预定阈值，以及在所述预定阈值被超过的情况下适配所述至少一个视频编码参数。
8.如权利要求7所述的视频服务器(S)，所述视频服务器(S)进一步适于通过监控所述客户端对所述感兴趣区域发出的命令来确定所述感兴趣区域的所述移动速度。
9.如权利要求7所述的视频服务器(S)，所述视频服务器(S)进一步适于通过监控对先前的帧进行编码的过程中使用的先前确定的编码决定来确定所述感兴趣区域的所述移动速度。
10.如权利要求7至9中任意一项所述的视频服务器(S)，其中所述至少一个编码参数是量化参数，并且其中所述视频服务器能够将所述量化参数适配为根据所述感兴趣区域的增加的移动速度而增加。
11.如权利要求7至10中任意一项所述的视频服务器(S)，其中所述至少一个编码参数与从帧间编码到帧内编码的改变相关，由此在所述感兴趣区域的所述移动速度超过所述预定阈值的情况下，将强制执行宏块的帧内编码。
12.如权利要求7至11中任意一项所述的视频服务器(S)，其中所述至少一个编码参数与解块滤波器的使用相关，在所述感兴趣区域的所述移动速度超过所述预定阈值的情况下，该解块滤波器被强制使用。
13.一种包括软件的计算机程序产品，该软件适于在数据处理设备上运行时执行如权利要求1至6中任意一项所述的方法步骤。
CN201380033980.9A 2012-06-28 2013-06-24 用于动态适配视频编码器参数的方法和设备 Pending CN104412594A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12305758.0 2012-06-28
EP12305758.0A EP2680581A1 (en) 2012-06-28 2012-06-28 Method and apparatus for dynamic adaptation of video encoder parameters
PCT/EP2013/063113 WO2014001242A1 (en) 2012-06-28 2013-06-24 Method and apparatus for dynamic adaptation of video encoder parameters

Publications (1)

Publication Number Publication Date
CN104412594A true CN104412594A (zh) 2015-03-11

Family

ID=48670569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380033980.9A Pending CN104412594A (zh) 2012-06-28 2013-06-24 用于动态适配视频编码器参数的方法和设备

Country Status (6)

Country Link
US (1) US20150208070A1 (zh)
EP (1) EP2680581A1 (zh)
JP (1) JP2015526003A (zh)
KR (1) KR20150024925A (zh)
CN (1) CN104412594A (zh)
WO (1) WO2014001242A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6565922B2 (ja) * 2014-10-10 2019-08-28 ソニー株式会社 符号化装置および方法、再生装置および方法、並びにプログラム
EP3286918A1 (en) * 2015-04-21 2018-02-28 VID SCALE, Inc. Artistic intent based video coding
KR102511705B1 (ko) 2015-11-16 2023-03-20 삼성전자주식회사 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템
US10630994B2 (en) * 2017-06-28 2020-04-21 Agora Lab, Inc. Specific operation prediction in video compression
US10834413B2 (en) * 2018-08-24 2020-11-10 Disney Enterprises, Inc. Fast and accurate block matching for computer generated content
CN109587495A (zh) * 2018-11-05 2019-04-05 深圳威尔视觉传媒有限公司 视频编码方法、装置、设备及存储介质
WO2020258241A1 (zh) * 2019-06-28 2020-12-30 深圳市大疆创新科技有限公司 可移动平台的图像处理方法、装置、可移动平台及介质
US11228737B2 (en) * 2019-07-31 2022-01-18 Ricoh Company, Ltd. Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
CN113055672B (zh) * 2021-02-23 2023-03-14 浙江大华技术股份有限公司 包裹视频生成方法、装置、计算机设备和存储介质
CN112929668B (zh) * 2021-04-07 2024-04-26 百果园技术(新加坡)有限公司 一种视频编码的方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999059344A1 (en) * 1998-05-12 1999-11-18 Sgs-Thomson Microelectronics Asia Pacific (Pte) Ltd. Conditional masking for video encoder
US20040151390A1 (en) * 2003-01-31 2004-08-05 Ryuichi Iwamura Graphic codec for network transmission
US20090263032A1 (en) * 2006-07-14 2009-10-22 Junichi Tanaka Image processing apparatus, method, and program
CN102340665A (zh) * 2010-07-20 2012-02-01 Vixs系统公司 利用区域检测的资源自适应视频编码系统及其使用的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389072B1 (en) * 1998-12-23 2002-05-14 U.S. Philips Corp. Motion analysis based buffer regulation scheme
US6834080B1 (en) * 2000-09-05 2004-12-21 Kabushiki Kaisha Toshiba Video encoding method and video encoding apparatus
JP2006014121A (ja) * 2004-06-29 2006-01-12 Sanyo Electric Co Ltd 画像符号化方法、画像符号化装置および撮像装置
JP2006304204A (ja) * 2005-04-25 2006-11-02 Matsushita Electric Ind Co Ltd 画像処理装置
US7653130B2 (en) * 2006-12-27 2010-01-26 General Instrument Corporation Method and apparatus for bit rate reduction in video telephony
JP5082142B2 (ja) * 2008-04-08 2012-11-28 富士フイルム株式会社 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2010199656A (ja) * 2009-02-23 2010-09-09 Panasonic Corp 動画撮像装置
US8649668B2 (en) * 2011-06-03 2014-02-11 Adobe Systems Incorporated Client playback of streaming video adapted for smooth transitions and viewing in advance display modes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999059344A1 (en) * 1998-05-12 1999-11-18 Sgs-Thomson Microelectronics Asia Pacific (Pte) Ltd. Conditional masking for video encoder
US20040151390A1 (en) * 2003-01-31 2004-08-05 Ryuichi Iwamura Graphic codec for network transmission
US20090263032A1 (en) * 2006-07-14 2009-10-22 Junichi Tanaka Image processing apparatus, method, and program
CN102340665A (zh) * 2010-07-20 2012-02-01 Vixs系统公司 利用区域检测的资源自适应视频编码系统及其使用的方法

Also Published As

Publication number Publication date
JP2015526003A (ja) 2015-09-07
KR20150024925A (ko) 2015-03-09
EP2680581A1 (en) 2014-01-01
US20150208070A1 (en) 2015-07-23
WO2014001242A1 (en) 2014-01-03

Similar Documents

Publication Publication Date Title
CN104412594A (zh) 用于动态适配视频编码器参数的方法和设备
US11616960B2 (en) Machine learning video processing systems and methods
US9936217B2 (en) Method and encoder for video encoding of a sequence of frames
US10291925B2 (en) Techniques for hardware video encoding
CN101529912A (zh) 用于在多通路编码器中高效地进行第一通路编码的方法和设备
WO2015176280A1 (en) Re-encoding image sets using frequency-domain differences
BR112012021600B1 (pt) método de filtragem de desbloqueio para filtrar uma pluralidade de blocos incluídos em uma imagem, método e aparelho de codificação para codificar uma imagem
US20140369617A1 (en) Image encoding apparatus, image encoding method, and program
EP3648460B1 (en) Method and apparatus for controlling encoding resolution ratio
US20150189297A1 (en) Device and method for intra-encoding image blocks, storage medium carrying and use of a processing device for decoding intra-encoded image blocks
JP2023062136A (ja) 文脈的区分化および処理のためのブロックベースのピクチャ融合
EP3758373B1 (en) Video encoding method, electronic device, and storage medium
CN114503583A (zh) 使用子帧的自适应分辨率管理
JP2022544157A (ja) 適応分解能管理予測再スケーリング
US20230108722A1 (en) Allocating bit rate between video streams using machine learning
KR20240039178A (ko) 인코딩 및 디코딩 방법 그리고 장치
US11006132B1 (en) Methods and systems for adaptive cropping
JP6373681B2 (ja) 客観画質評価装置、客観画質評価方法、およびプログラム
KR20230003491A (ko) 참조 구역들을 사용하는 비디오 코딩의 방법들 및 시스템들
Gu et al. Low complexity Bi-Partition mode selection for 3D video depth intra coding
Miao et al. Layered screen video coding leveraging hardware video codec
CN109951707A (zh) 一种目标运动矢量选择方法、装置、电子设备及介质
JP7253053B2 (ja) ピクチャのためのブロックベースの空間活性測度
Wang et al. SSPQ-spatial domain perceptual image codec based on subsampling and perceptual quantization
KR101533051B1 (ko) 블록별 양자화 레벨을 이용한 인코딩 방법 및 그 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150311

WD01 Invention patent application deemed withdrawn after publication