CN102450014A - 用于质量感知视频优化的框架 - Google Patents

用于质量感知视频优化的框架 Download PDF

Info

Publication number
CN102450014A
CN102450014A CN2010800236368A CN201080023636A CN102450014A CN 102450014 A CN102450014 A CN 102450014A CN 2010800236368 A CN2010800236368 A CN 2010800236368A CN 201080023636 A CN201080023636 A CN 201080023636A CN 102450014 A CN102450014 A CN 102450014A
Authority
CN
China
Prior art keywords
video
frame
video frame
compressed
decompressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800236368A
Other languages
English (en)
Other versions
CN102450014B (zh
Inventor
M.A.梅利尼克
A.彭纳
J.泰德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Citrix Systems Inc
Original Assignee
Bytemobile Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42246235&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102450014(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Bytemobile Inc filed Critical Bytemobile Inc
Publication of CN102450014A publication Critical patent/CN102450014A/zh
Application granted granted Critical
Publication of CN102450014B publication Critical patent/CN102450014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种计算机实现的方法，包括：接收编码视频帧；对接收到的编码视频帧进行解压缩；从解压缩视频帧中提取第一量化参数（QP）；以及基于第一QP来获取ΔQP。所述方法还包括：基于所述ΔQP和所述第一QP来获取第二QP；基于所述第二QP来对解压缩视频帧进行压缩；以及提供压缩视频帧。所述第一QP与最初用于对编码视频帧进行压缩的量化设置相对应。并且，所述第二QP与用于对解压缩视频帧进行压缩的量化设置相对应。

Description

用于质量感知视频优化的框架
相关专利的交叉引用
本申请要求保护于2009年3月31日提交的名称为“A Framework for Quality-Aware Video Optimization”的美国临时申请No. 61/165,224的优先权和权益，该美国临时申请的全部内容并入此处以供参考。
背景技术
量化与感觉质量（perceptual Quality）的关系
在视频处理中，量化是通过将值的范围压缩至单个量子值而实现的有损压缩技术。当在任何系统中量化视频帧时，信息丢失。例如，典型的视频编码器（如MPEG-2）可以通过丢弃在解码期间对表示原始图像的图像的重构没有贡献的信息来压缩视频帧。在编码期间丢弃的信息的量取决于如何量化每个视频帧。每个视频压缩格式定义了离散的量化设置集合，并且，每个量化设置具有抽象的标识符，被表示为量化参数（QP）。QP可以被任意定义为例如对量化设置的阵列编索引的整数，使得较小QP值X所引入的量化噪声小于较大QP值X+1所引入的量化噪声。对于每个视频编解码器，由给定的QP值编索引的量化设置可以不同。
如果在量化期间丢弃过多信息，则当在重放期间解压缩视频帧时，该视频帧可以显出失真。这捕获了量化与感觉质量之间的关系。因此，QP可以用作感觉质量的指示符，这是由于QP指示了在对视频帧进行编码时丢弃多少信息。
为了说明QP仅是用于估计视频帧的感觉质量的启发式算法，应当考虑利用精细的量化设置而量化的“低质量”视频帧。如果利用精细的量化设置对视频帧进行编码（这意味着丢弃非常少的信息），则由解码器重构的视频帧将与原始视频帧非常接近地匹配。重构的视频帧中的量化噪声非常低，但是重构的视频帧仍显得具有低质量，这是由于原始视频帧具有低质量。这仅是其中QP不精确指示视频的感觉质量的一个示例。
量化与比特率的关系
在视频处理中，比特率指的是每重放时间单位使用的比特数，以用于表示编码（数据压缩）后的连续视频。当然，不同图像或视频帧可能需要即使在它们共享相同像素尺寸且利用相同QP而编码时表示的不同比特数。然而，对于给定的视频帧，QP与压缩字节大小之间的关系更加可预测。如果较高的QP值表示较粗糙的量化（更多信息损失），则利用较高QP值X+1而量化的帧将决不会比利用较小QP值X而量化的相同帧需要更多比特（这忽略了通常应用于量化系数数据的熵编码方案中的边角情况）。实际上，这意味着：当增大用于对帧进行量化的QP时，帧的平均比特率需求降低。图3示出了视频序列的比特率如何随着QP的增大而降低。图3中的比特率数和QP值仅是示例。在现实生活中，这些数和值可以不同，并且，对于不同视频序列，QP值与比特率之间的相关性可以有变化。
附图说明
图1图示了示例性系统的框图。
图2是图示了图1的示例性系统中的示例性质量感知视频优化器的实施例的框图。
图3图示了针对各种视频帧序列的、比特率与QP之间的示例性相关性。
图4图示了从QPInput至ΔQP的示例性映射。
图5是图示了图2的实施例中的示例性处理流程的功能图。
图6是表示了质量感知视频优化的示例性方法的流程图。
图7是图示了图1的示例性系统中的示例性质量感知视频优化器的另一实施例的框图。
图8是图示了图7的实施例中的示例性处理流程的功能图。
图9是表示了质量感知视频优化的另一示例性方法的流程图。
具体实施方式
现在将详细参照示例性实施例，这些示例性实施例的示例在附图中图示。在任何可能的地方，在全部附图中将使用相同的参考标记来指代相同或相似的部分。
这里公开的示例性实施例涉及用于质量感知视频优化的方法和系统。质量感知视频优化是一种技术，用于修改视频帧序列，使得尽可能多地减小视频流的字节大小，而且同时将感觉质量下降限制于可控制的水平。质量感知视频优化技术可以对先前编码的视频帧序列仅需要单遍（single pass），以便优化视频帧序列。现有单遍速率控制技术的问题在于：视频帧的压缩字节大小与其量化参数之间的关系仅在对帧进行编码之后已知。为了在单遍中实现字节减少和可控制的质量下降，质量感知视频优化器可以参考与如何在视频帧的初始编码期间量化视频帧有关的信息，并使用该信息来优化视频帧序列。
用于质量感知视频优化的框架可以调整图像量化，从而通过实验测试来允许在字节减少的内容中对质量下降的精细控制。通过进一步的实验测试，还有可能将量化调整优化应用于代码转换情形，在该情形中，输入和输出压缩格式是不同的。
图1图示了示例性系统100的框图。示例性系统100可以是在本地连接或网络（如无线网络、互联网、广播网络等）上提供视频内容的任何类型的系统。除了别的之外，示例性系统100还可以包括用户设备102、网关104、一个或多个网络106和110、视频优化器108以及一个或多个媒体服务器112至114。
用户设备102可以是硬件设备，例如计算机、PDA、蜂窝电话、膝上型计算机、桌上型计算机、VCR、激光盘播放器、DVD播放器、蓝光盘播放器、包括广播调谐器的电视机、或者能够访问数据网络和/或能够播放视频的任何电子设备。用户设备102可以包括：软件应用，其允许用户设备102与数据网络（如网络106）进行通信并从该数据网络接收视频内容。例如，用户设备102可以向媒体服务器发送下载特定视频流传送文件的请求数据，并且，媒体服务器可以向用户设备102传输视频流传送文件。在一些实施例中，视频流传送文件可以路由通过视频优化器108。用户设备102可以提供用于向用户设备的用户显示视频流的显示器以及一个或多个软件应用，如媒体播放器。
在一些实施例中，用户设备102还可以是或包括用于对视频内容进行存储或归档的存储设备。例如，该存储设备可以被提供为视频CD、DVD、蓝光盘、硬盘、磁带、闪速存储器卡/驱动器、易失性或非易失性存储器、全息摄影数据存储器以及任何其他存储介质。
网关104是用作入口或接入装置的一个或多个设备，并且可以或不可以将在一种类型的网络中提供的格式化数据转换成另一种类型的网络所需的特定格式。例如，网关104可以是服务器、路由器、防火墙服务器、主机或视频优化器。例如，网关104可以具有以下能力：将从用户设备102接收到的信号变换为网络106或110可以理解的信号，并且反之亦然。然而，在一些数据网络（如第四代（4G）或全球微波接入互操作性（WiMAX））中不需要该变换能力。网关104可能能够单独地或以任何组合的方式处理音频、视频和T.120传输，并能够进行全双工媒体转换。此外，网关104可以包括用于质量感知视频优化的视频优化器108。
网络106和110可以包括适于分组类型通信（如互联网通信）的广域网（WAN）、局域网（LAN）或无线网络或者适于分发视频内容的广播网络的任何组合。
视频优化器108可以被实现为提供质量感知视频优化的软件程序和/或硬件设备。视频优化器108是提供用户设备102与媒体服务器112至114之间的通信的服务器。视频优化器108可以执行对先前编码的视频帧序列的单遍、即时的质量感知优化，如下所述。由于视频优化方法对视频帧序列仅需要一遍（one pass），因此视频优化器108完全适于在许多种环境中进行操作。例如，视频优化器108可以是媒体服务器112至114中的任一个或者用户设备102与媒体服务器112至114之间的任何网络设备的一部分。这样，视频优化器108在遍历低容量网络段之前优化现场直播视频馈送。此外，视频优化器108还可以被安装在存储阵列的前部，以在对监视视频进行归档之前优化该监视视频，并且从而节省存储空间。
媒体服务器112至114可以是以下计算机服务器：其从用户设备102接收针对视频内容的请求，处理该请求，并在一些实施例中通过视频优化器108向用户设备102提供视频内容。例如，媒体服务器112至114可以是网络服务器、企业服务器或者任何其他类型的计算机服务器。媒体服务器112至114可以是被编程为接受来自用户设备102的请求（例如HTTP、RTSP或可发起视频会话的其他协议）并利用视频流给用户设备102提供服务的计算机。此外，媒体服务器112至114可以是PDA、蜂窝电话、膝上型计算机、桌上型计算机、或者被配置为在一些实施例中通过一个或多个网络106和110向用户设备102传送视频内容的任何设备。此外，媒体服务器112至114可以是用于在一些实施例中通过视频优化器108向用户设备102分发视频内容的广播设施，如免费节目、电缆、卫星以及其他广播设施。此外，媒体服务器112至114可以是：视频源，例如监视设备，其被配置为捕获视频并在一些实施例中通过视频优化器108向用户设备102传送所捕获的视频。此外，作为图1所示的系统100的配置的备选，媒体服务器112至114中的任一个可以包括用于质量感知视频优化的视频优化器108。
图2是图示了图1的示例性系统中的示例性质量感知视频优化器108的实施例的框图。为了简明，图2仅图示了视频优化器108，压缩视频帧作为输入（202）并且优化压缩视频帧作为输出（204）。除了别的之外，视频优化器108还可以包括解码器210、QP调整模块220和编码器230。视频优化器108的所示配置仅是示例性的，并可以被修改为提供分立的元件或将多个元件组合为单个的一个元件，并且被提供为硬件和软件组件的任何组合。
参照图2，解码器210可以是对传入的压缩视频帧进行截取和解码（解压缩）的软件程序和/或硬件设备。除了别的之外，每个传入的压缩视频帧还可以包括报头和压缩帧视频。除了别的之外，报头还可以包括已经用于对帧进行压缩的输入QP（QPInput）。
 除了别的之外，解码器210还可以包括逆量化器212。对于每个解压缩视频帧，逆量化器212可以从解压缩视频帧中提取QP-Input，并将QPInput转发至QP调整模块220。然后，解码器210可以向编码器230传送解压缩视频帧。在一些实施例中，可以将解压缩视频帧存储在数据库（例如缓冲器或队列）中。此外，作为图2所示的视频优化器108的配置的备选，逆量化器212可以位于将解码器210的外部。
质量感知视频优化：QP调整
QP调整模块220可以是用于基于QPInput导出用于对解压缩视频帧进行压缩的输出QP（QPOutput）的软件程序和/或硬件设备。如前所述，由于可以在QP值与视频帧的感觉质量之间以及还可以在QP与视频帧的比特率之间建立关系，因此QP调整模块220可以使用QPInput与QPOutput之间的差（ΔQP）以便同时控制优化压缩视频帧（204）的输出视频帧的比特率降低和感觉质量下降。
参数ΔQP可以被定义为例如：
QPInput + ΔQP = QPOutput
其中QPInput是在最初对输入（压缩）视频帧（202）进行编码时使用的量化参数，并且QPOutput是由QP调整模块220导出以在对解压缩帧进行重新量化时使用的量化参数。对于每个输入视频帧，已知QPInput和压缩字节大小。QP调整模块220可以选择ΔQP值以导出用于对可满足字节大小减小的需求且保持原始感觉质量的输出视频帧进行量化的QPOutput。ΔQP值越小，QPOutput值越小，并且从而将在编码期间丢弃越少信息——感觉质量的下降越少。相反，ΔQP值越大，则QPOutput值越大，并且从而将在编码期间丢弃更多信息——感觉质量的下降更多。
可以利用图3所示的QP 与比特率的关系曲线的两个属性来实现对输入视频帧的优化。第一属性是利用以下事实：当QPInput为高时，小ΔQP对比特率几乎没有影响。这在图3中的曲线的最右侧平坦部分中示出。利用高QPOutput值对视频帧进行量化丢弃了来自原始视频帧的更多信息。为了维持视频帧的原始感觉质量，不能使用高QPOutput值。这与减小字节大小的目标矛盾，这是由于当QPOutput小于QPInput时，帧的字节大小仅可以增大。给定了图3中的QP与比特率的关系曲线的形状，那么当QPIntput为高时，可以使用负ΔQP来导出丢弃更少信息且维持感觉质量的相对较小QPOutput，同时仅以较小量增大字节大小。
要利用的第二属性是：当QPInput为低时，小ΔQP对比特率有较大影响。这在图3中的曲线的最左侧较陡部分中示出。当QPInput为低时，甚至小的正ΔQP也将导致大的字节减小——在编码期间丢弃大量的信息。
这些观察得到了新的函数F，根据QPInput的值来定义ΔQP。ΔQP与QPInput之间的这种关系可以被写为例如：
ΔQP = F(QPInput)
函数F可以是根据上述观察以及对实际视频源的感觉分析来以实验方式导出的。除了别的之外，函数F还可以是例如QPInput与ΔQP之间的映射表。函数F还可以是根据包含例如QPInput与ΔQP之间的映射的数据库来导出的。
返回参照图2，QP调整模块220可以利用函数F来获取ΔQP，并进而使用ΔQP来导出用于对解压缩视频帧进行量化的QPOutput。例如，当QPInput为低或低于预定阈值时，QP调整模块220可以选择正ΔQP。正ΔQP可以在对高质量帧进行重新量化时产生大量的字节节省。基于正ΔQP，QP调整模块220可以导出比QPInput更高的QPOutput值，以便大量地减小字节大小，同时最低限度地降低高质量输入视频帧的原始感觉质量。另一方面，当QPInput为高或高于预定阈值——在对输入视频帧进行原始压缩期间丢弃大量信息时，QP调整模块220可以选择负ΔQP。基于负ΔQP，QP调整模块220可以导出比QPInput更低的QPOutput值，以便保持输入视频帧的原始感觉质量，同时仅最低限度地扩大字节大小。当利用该方法对包括各种质量的帧的正常视频帧序列（202）进行优化时，净字节减小可以是正的。
质量感知视频优化：控制质量下降
在一些实施例中，QP调整模块220还可以获取质量下降偏移（其是指示质量下降量的参数），以在对解压缩视频帧进行优化期间控制质量下降。可以从用于对视频帧进行重新量化的、QPInput与ΔQP值之间的映射中观察到质量下降。图4示出了QPInput与ΔQP之间的两个示例性映射。图4中的ΔQP和QPInput的值仅是示例。在现实生活中，对于不同视频序列，这些值可以不同，并且QPInput与ΔQP之间的映射可以变化。在图4中，更高的曲线产生更多的质量下降，这是由于更高的ΔQP意味着在对帧进行重新量化时丢弃更多信息。
返回参照图2，QP调整模块220可以向ΔQP添加质量下降偏移，以调整在优化期间引入的恒定质量下降。例如，QP调整模块220可以利用以下修正函数来获取ΔQP：
ΔQP = F(QPInput) + D
如上所述，F是公开QPInput与ΔQP之间的相关性的函数。质量下降偏移D是指示质量下降量的参数。除了别的之外，该参数可以基于例如对优化视频的历史数据分析而获得。如果要最小化在优化期间引入的质量下降，则可以将质量下降偏移D的缺省值设置为0。QP调整模块220可以从例如包含例如对优化视频的历史数据分析的数据库获得质量下降偏移。基于QPInput和质量下降偏移，QP调整模块220可以导出ΔQP。然后，QP调整模块220可以使用ΔQP来计算与QPInput相对应的QPOutput。
质量感知视频优化：编解码器之间映射量化参数
在一些实施例中，QP调整模块220还可以考虑输入和输出压缩格式（编解码器）的任意组合之间的差异，并计算考虑输入和输出压缩格式（编解码器）之间的差异的编解码器调整。对于每个视频编解码器，由给定QP指示的量化设置可以不同。两个不同视频编解码器的呈现相同感觉质量的等效或对应量化设置可以由具有不同尺度的两个不同QP值表示。例如，编解码器A中的视频帧的量化设置由QP值20表示，并且编解码器B中的对应量化设置由QP值15表示。为了获得编解码器B中与编解码器A中的由QP值（如20）表示的量化设置相对应的量化设置，QP调整模块220可以将QP值（如20）从编解码器A中的QP尺度转换为编解码器B中的QP尺度，并得到转换后的QP值（如15）。通过具有该功能，质量感知视频优化器108可以在任何代码转换情形中提供优化收益。
如果由解码器210检测到的输入（压缩）视频帧（202）的压缩格式（编解码器）与由编码器230用于对解压缩视频帧进行压缩的压缩格式不同，则在可以计算ΔQP之前，QP调整模块220可以将QPInput从解码器的QP尺度转换为编码器的QP尺度。这可以通过例如以下操作而进行：维持质量感知视频优化器所支持的解码器和编码器的每个组合的QP尺度之间的映射。例如，QP尺度之间的映射使来自编解码器A的所有QP与编解码器B的那些QP相关，使得利用编解码器A编码的视频帧可以产生与在利用编解码器B进行编码时相同的感觉质量。这些映射可以是以实验方式确定的，并可以由QP调整模块220在QP调整步骤中实现。如果输入编解码器与输出编解码器相同，则可以不转换QPInput或者转换后的QPInput与所述QPInput相同。
基于转换后的QPInput、质量下降偏移，QP调整模块220可以导出ΔQP。备选地，QP调整模块220可以基于对输入和输出压缩格式是否相同的确定来获得考虑输入和输出压缩格式（编解码器）之间的差异的编解码器调整。基于QPInput、编解码器调整和质量下降偏移，QP调整模块220可以计算ΔQP。然后，QP调整模块220可以基于ΔQP来计算QPOutput，并将QPOutput转发至编码器230。
编码器230可以是接收解压缩视频帧并对视频帧进行编码（压缩）的软件程序和/或硬件设备。除了别的之外，编码器230还可以包括量化器232。量化器232接收QPOutput和对应的解压缩视频帧，并通过将由QPOutput表示的量化设置应用于对视频帧的编码（压缩）来优化视频帧。然后，视频优化器108将优化压缩视频帧输出并传输（204）至目的地。此外，作为图2所示的视频优化器108的配置的备选，量化器232可以位于编码器230的外部。
视频优化器可以逐一地处理传入的压缩视频帧（202），并即时地且在单遍中将上述视频质量感知优化过程应用于每个视频帧。在需要时可以将视频优化器安装在任何位置处，并且在任何需要的时候，视频优化器可以应用质量感知视频优化。
图5是图示了图2的实施例中的示例性处理流程的功能图。在不脱离示例性实施例的情况下，可以更改该示例性处理流程以删除步骤、改变步骤顺序或包括附加步骤。
在从数据网络接收到（202）压缩视频帧之后，视频优化器108可以将压缩视频帧引导至解码器210。解码器210可以对传入的压缩视频帧进行截取和解码（解压缩）。解码器210的逆量化器212可以从解压缩视频帧中提取最初用于对传入的压缩视频帧进行压缩的QPInput。然后，解码器210或逆量化器212可以将所提取的QPInput传递（502）至QP调整模块220，并将解压缩视频帧传送（504）至编码器230。
如果输入压缩视频帧（202）和输出压缩视频帧（204）具有不同压缩格式（编解码器），那么基于QPInput，QP调整模块220可以将QPInput从解码器210的QP尺度转换为编码器230的QP尺度。该转换可以基于质量感知视频优化器所支持的输入编解码器和输出编解码器的每个组合的QP尺度之间的映射。如果输入编解码器与输出编解码器相同，则可以不转换QPInput或者转换后的QPInput与所述QPInput相同。
此外，在一些实施例中，QP调整模块220可以获取指示质量下降量的质量下降偏移，以控制在对解压缩视频帧进行优化期间引入的质量下降。可以将质量下降偏移的缺省值设置为0，这表示引入了最小质量下降。可以例如从包含例如对优化视频的历史数据分析的数据库获得质量下降偏移。基于转换后的QPInput和质量下降偏移，QP调整模块220可以计算用于导出与传入的QPInput相对应的QPOutput的ΔQP，并将QPOutput转发（506）至编码器230。
在接收到（504、506）解压缩视频帧和对应的QPOutput之后，编码器230的量化器232通过将由QPOutput指示的量化设置应用于对解压缩视频帧的编码（压缩）来优化视频帧。该优化可以包括：例如，在试图保持压缩视频帧的原始感觉质量的同时减小压缩视频帧的字节大小。在该优化之后，视频优化器108将优化压缩视频帧输出并传输（204）至目的地（如用户设备102）。
图6是表示了质量感知视频优化的示例性方法的流程图。在不脱离示例性实施例的情况下，可以更改该示例性处理流程以删除步骤、改变步骤顺序或包括附加步骤。
在接收到（602）压缩视频帧之后，视频优化器对视频帧进行解码（解压缩）（604），并从解码（解压缩）视频帧中提取（606）输入QP值。此外，视频优化器可以获得（608）编解码器调整，该编解码器调整考虑输入和输出压缩格式（编解码器）之间的差异。视频优化器可以基于对编码编解码器（输出视频压缩格式）是否与解码编解码器（输入视频压缩格式）不同的确定来执行该步骤。如果输入编解码器与输出编解码器相同，则可以将编解码器调整的缺省值设置为0。
在步骤610，视频优化器可以获取指示质量下降量的质量下降偏移，以控制在对解压缩视频帧进行优化期间引入的质量下降。如果要最小化质量下降，则可以将质量下降偏移的缺省值设置为0。可以基于例如对优化视频的历史数据的分析来获得质量下降偏移。基于输入QP、编解码器调整和质量下降偏移，视频优化器可以计算ΔQP。ΔQP与用于优化解压缩视频帧的、输入QP和输出QP之间的差异相对应。然后，视频优化器可以基于ΔQP来导出（612）输出QP。
备选地，视频优化器可以基于对编码编解码器是否与解码编解码器不同的确定，将输入QP值从解码（输入）QP尺度转换为编码（输出）QP尺度。如果解码编解码器与编码编解码器相同，则可以不转换输入QP或者转换后的输入QP与所述输入QP相同。基于转换后的输入QP和质量下降偏移，视频优化器可以计算ΔQP，并从而使用ΔQP来导出（612）用于对解压缩视频帧进行优化的输出QP。
在已导出输出QP之后，视频优化器可以通过基于与所导出的输出QP相对应的量化设置对解码（解压缩）视频帧进行编码（压缩），来优化（614）该解码（解压缩）视频帧。该优化可以修改解压缩视频帧，从而尽可能多地减小压缩视频帧的字节大小，而且同时将感觉质量下降限制于可控制的水平。视频优化器可以将优化视频帧传输（616）至目的地。然后，该方法可以结束（618）。
图7是图示了图1的示例性系统中的示例性质量感知视频优化器108的另一实施例的框图。图7中的系统具有与图2中的组件类似的组件，除了在图7中，视频优化器108具有用于补偿可在优化期间引入的字节大小扩大的扩大防止模块710。图7中的视频优化器108的所示配置仅是示例性的，并可以被修改为提供分立的元件或将多个元件组合为单个元件，并且可以被提供为硬件和软件的任何组合。
质量感知视频优化：应用压缩反馈以防止扩大
可以发生如下情形：其中视频流（202）的输入视频帧中的至少一些的QPInput值为高，并因此QP调整模块220可以针对这些帧选择负ΔQP值，以保持视频流的原始感觉质量。高QPInput值指示输入视频帧（202）在其原始压缩期间已经丢失大量信息。在质量感知视频优化过程期间，不期望另外丢弃来自输入视频帧的更多信息。QP调整模块220可以选择用于导出低QPOutput值的负ΔQP值，从而保持视频流的原始感觉质量。然而，负ΔQP值和低QPOutput值可以扩大视频流的字节大小。尽管字节大小扩大的程度可能较小，但是通常不期望提高视频流的字节存储需求。
扩大防止模块710可以利用反馈机制来调整任何潜在扩大的ΔQP值。在一些实施例中，对于当前正在处理的视频流，扩大防止模块710可以利用以下补偿函数，该补偿函数考虑了到目前为止编码的至少一些视频帧的总字节大小和到目前为止解码的至少一些视频帧的总子节大小。在一些实施例中，对于当前正在处理的视频流，扩大防止模块710可以利用以下补偿函数，该补偿函数考虑了到目前为止编码的所有视频帧的总字节大小和到目前为止解码的所有视频帧的总字节大小。补偿函数可以输出正值以补偿字节大小扩大。然后，扩大防止模块710还可以基于字节大小扩大调整（补偿函数的输出）来调整ΔQP值，以保持输入视频帧的原始感觉质量，同时避免或最小化字节大小扩大。
对于要编码的每个视频帧，ΔQP可以被计算为例如：
ΔQP = F(QPInput) + D + C(InputBytes, OutputBytes)
如先前在这里所述，F是公开QPInput与ΔQP之间的相关性的函数，并且参数D是指示要在重新量化期间引入的质量下降量的质量下降偏移。函数C是补偿函数。在一些实施例中，符号InputBytes（输入字节）表示先前针对当前正在处理的视频流而解码的至少一些帧的总字节大小，并且符号OutputBytes（输出字节）表示先前针对当前正在处理的视频流而编码的至少一些帧的总字节大小。在一些实施例中，符号InputBytes表示先前针对当前正在处理的视频流而解码的所有帧的总字节大小，并且符号OutputBytes表示先前针对当前正在处理的视频流而编码的所有帧的总字节大小。视频优化器108可以跟踪当前正在处理的视频帧流的InputBytes和OutputBytes。还可以从包含例如针对当前正在处理的视频帧流而到目前为止编码的视频帧的总字节大小和到目前为止解码的视频帧的总字节大小的数据库获得InputBytes和OutputBytes。如果未发生字节大小扩大，则补偿函数可以输出0值。
在QP调整模块220已经基于QPInput和质量下降偏移计算出ΔQP之后，扩大防止模块710可以基于字节大小扩大调整来调整ΔQP。然后，基于调整后的ΔQP，扩大防止模块710可以导出用于对正在处理的解压缩视频帧进行优化的QPOutput。在一些实施例中，QP调整模块220和扩大防止模块710可以被组合为一个组件。组合组件可以基于QPInput、质量下降偏移和字节大小扩大调整来计算ΔQP，并且还使用ΔQP来导出用于对解压缩视频帧进行优化的QPOutput。
组件的其余部分以与以上在图2中提供的组件类似的方式运行。扩大防止机制可以帮助保持已经在原始压缩期间丢失大量信息的视频流的原始感觉质量，同时尽可能多地减小视频流的字节大小。
图8是图示了图7的实施例中的示例性处理流程的功能图。图8中的系统具有与图5中的组件类似的组件，除了在图8中，视频优化器108提供了用于在计算ΔQP时补偿字节大小扩大的扩大防止模块710。在不脱离示例性实施例的情况下，可以更改该示例性处理流程以删除步骤、改变步骤顺序或包括附加步骤。
在已经计算出输入压缩视频帧的ΔQP之后，QP调整模块220将计算出的ΔQP提供（802）给扩大防止模块710。扩大防止模块710可以检索历史字节大小数据或历史扩大数据。历史字节大小数据可以包括例如由视频优化器108保存或在数据库中保存的InputBytes（先前针对当前正在处理的视频帧流而解码的所有或一些帧的总字节大小）和OutputBytes（先前针对当前正在处理的视频帧流而编码的所有或一些帧的总字节大小）。历史扩大数据可以包括例如已经在当前正在处理的视频帧流的一些帧的视频优化期间引入的字节大小扩大。基于历史字节大小数据或历史扩大数据，扩大防止模块710可以基于由QP调整模块220提供的ΔQP来估计要在视频优化期间引入的字节大小扩大。然后，扩大防止模块710可以通过补偿所估计出的字节大小扩大来调整ΔQP。调整后的ΔQP可以帮助保持输入压缩视频帧的原始感觉质量，同时尽可能多地减小视频帧的字节大小。基于调整后的ΔQP，扩大防止模块710可以导出与传入的QPInput相对应的QPOutput，并将QPOutput转发（506）至编码器230。
通信流程的其余部分与以上在图5中提供的通信流程类似。
图9是表示了质量感知视频优化的另一示例性方法的流程图。在不脱离示例性实施例的情况下，可以更改示例性处理流程以删除步骤、改变步骤顺序或包括附加步骤。
在接收到（902）压缩视频帧之后，视频优化器对视频帧进行解码（解压缩）（904），并从解码（解压缩）视频帧中提取（906）输入QP值。此外，视频优化器可以基于对编码编解码器（输出视频压缩格式）与解码编解码器（输入视频压缩格式）不同的确定，将输入QP值从解码QP尺度转换（908）为编码QP尺度。该转换考虑输入和输出压缩格式（编解码器）之间的差异。如果编码编解码器与解码编解码器相同，则不转换输入QP值或者转换后的输入QP值与所述输入QP值相同。
在步骤910，视频优化器还可以获取质量下降偏移，其指示要在对解压缩视频帧进行优化期间引入的质量下降量。如果要最小化质量下降，则可以将质量下降偏移的缺省值设置为0。可以基于例如对优化视频的历史数据的分析来获得质量下降偏移。
视频优化器还可以基于当前正在处理的视频流的历史数据来获得（912）字节大小扩大调整。历史数据可以包括视频流的历史字节大小数据或历史扩大数据。历史字节大小数据可以包括例如先前针对视频流而解码的所有或一些帧的总字节大小以及先前针对视频流而编码的所有或一些帧的总子节大小。历史扩大数据可以包括例如已经在当前处理视频帧流的一些帧的视频优化期间引入的字节大小扩大。在一些实施例中，可以从数据库检索历史数据。字节大小扩大调整可以补偿要在对解压缩视频帧进行优化期间引入的字节大小扩大。如果未引入字节大小扩大，则可以将字节大小扩大调整的缺省值设置为0。
基于转换后的输入QP、质量下降偏移和字节大小扩大调整，视频优化器可以计算ΔQP。ΔQP与用于对解压缩视频帧进行优化的、输入QP和输出QP之间的差异相对应。然后，视频优化器可以基于ΔQP来导出（914）输出QP。
备选地，视频优化器可以首先基于转换后的输入QP和质量下降偏移来计算ΔQP，并且然后基于字节大小扩大调整来调整ΔQP。基于调整后的ΔQP，视频优化器可以导出（914）用于对解压缩视频帧进行优化的输出QP。
在已导出输出QP之后，视频优化器可以通过基于与所导出的输出QP相对应的量化设置对解码（解压缩）视频帧进行编码（压缩），来优化（916）解码（解压缩）视频帧。该优化可以修改解压缩视频帧，从而尽可能多地减小压缩视频帧的字节大小，而且同时将感觉质量下降限制于可控制的水平。视频优化器可以将优化视频帧传输（918）至目的地。然后，该方法可以结束（920）。
这里公开的方法可以被实现为计算机程序产品，即，有形体现在信息载体中（例如，有形体现在机器可读存储器件中以由数据处理设备（如可编程处理器、计算机或多个计算机）执行或者以便控制所述数据处理设备的操作）的计算机程序。计算机程序可以是以任何形式的编程语言编写的，该编程语言包括编译或解译后的语言，并且，计算机程序可以是以任何形式布置的，该形式包括作为独立程序或作为模块、组件、子例程或适于用在计算环境中的其他单元。计算机程序可以被布置为在一个计算机上执行或者在处于一个站点处或分布在多个站点上且由通信网络互连的多个计算机上执行。
这里公开的方法的部分或全部还可以由专用集成电路（ASIC）、现场可编程门阵列（FPGA）、复杂可编程逻辑器件（CPLD）、印制电路板（PCB）、数字信号处理器（DSP）、可编程逻辑组件和可编程互连的组合、单个中央处理单元（CPU）芯片、在母板上组合的CPU芯片、通用计算机、或者能够执行这里公开的质量感知视频优化的设备或模块的任何其他组合来实现。
在以上说明书中，已参照具体示例性实施例描述了本发明。然而，显而易见，在不脱离所跟随的权利要求中阐述的本发明的更宽精神和范围的情况下，可以进行各种修改和改变。说明书和附图相应地被视为说明性的而非限制性的。在考虑了这里公开的本发明的说明书和实施的情况下，其他实施例对于本领域技术人员来说显而易见。

Claims (29)

1.一种计算机实现的方法，包括：
接收编码视频帧；
对接收到的编码视频帧进行解压缩；
从解压缩视频帧中提取第一量化参数（QP），其中，第一QP与最初用于对编码视频帧进行压缩的量化设置相对应；
基于所述第一QP来获取ΔQP；
基于所述ΔQP和所述第一QP来获取第二QP，其中，所述第二QP与用于对解压缩视频帧进行压缩的量化设置相对应；
基于所述第二QP来对解压缩视频帧进行压缩；以及
提供压缩视频帧。
2.根据权利要求1所述的方法，还包括：
确定接收到的编码视频帧的压缩格式是否与要用于对解压缩视频帧进行压缩的压缩格式不同；
基于所述确定，将所述第一QP从输入QP尺度转换为输出QP尺度，其中，所述输入QP尺度与接收到的编码视频帧的压缩格式相对应，并且所述输出QP尺度与所述要用于对解压缩视频帧进行压缩的压缩格式相对应；以及
基于转换后的第一QP和所述ΔQP来获取所述第二QP。
3.根据权利要求2所述的方法，其中，转换所述第一QP还基于所述输入QP尺度与所述输出QP尺度之间的映射。
4.根据权利要求1所述的方法，其中，获取ΔQP还基于所述第一QP与所述ΔQP之间的映射。
5.根据权利要求1所述的方法，其中，获取ΔQP包括：
如果所述第一QP的值低于阈值，则针对所述ΔQP选择正值。
6.根据权利要求1所述的方法，其中，获取ΔQP包括：
如果所述第一QP的值高于阈值，则针对所述ΔQP选择负值。
7.根据权利要求1所述的方法，还包括：
获取质量下降偏移，所述质量下降偏移用于控制要在对解压缩视频帧进行压缩期间引入的视频质量下降的量；以及
基于所述质量下降偏移、所述第一QP和所述ΔQP来获取所述第二QP。
8.根据权利要求7所述的方法，其中，获取质量下降偏移能够基于对压缩视频的历史数据的分析。
9.根据权利要求7所述的方法，其中，如果在压缩期间引入最小质量下降，则能够将所述质量下降偏移的缺省值设置为0。
10.根据权利要求1所述的方法，还包括：
基于先前解压缩的帧的总字节大小与先前压缩之后的帧的总字节大小之间的比较来获取扩大调整，其中，接收到的编码视频帧和先前解压缩的帧是包括多个视频帧的序列的一部分；以及
基于所述ΔQP、所述第一QP和所述扩大调整来获取所述第二QP。
11.一种计算机实现的方法，包括：
对作为包括多个视频帧的序列的一部分的接收到的编码视频帧进行解压缩；
从解压缩视频帧中提取第一量化参数（QP），其中，第一QP与最初用于对编码视频帧进行压缩的量化设置相对应；
基于所述第一QP来获取ΔQP；
基于关于所述序列的历史数据来获取扩大调整；
基于所述ΔQP和所述扩大调整来获取第二QP，其中，所述第二QP与用于对解压缩视频帧进行压缩的量化设置相对应；以及
基于所述第二QP来对解压缩视频帧进行压缩。
12.根据权利要求11所述的方法，其中，关于所述序列的历史数据包括已经在对序列帧的至少一些进行压缩期间引入的字节大小扩大。
13.根据权利要求11所述的方法，其中，关于所述序列的历史数据包括先前解压缩的序列帧的至少一些的字节大小和先前压缩之后的序列帧的至少一些的字节大小。
14.根据权利要求11所述的方法，其中，获取扩大调整基于先前解压缩的序列帧的至少一些的字节大小与先前压缩之后的序列帧的至少一些的字节大小之间的比较。
15.一种视频优化器，包括：
解码器，其被配置为对接收到的编码视频帧进行解压缩，其中，解压缩视频帧包括与最初用于对编码视频帧进行压缩的量化设置相对应的第一量化参数（QP）；
QP调整模块，其被配置为基于第一QP来获得ΔQP并基于所述ΔQP和所述第一QP来获取第二QP，其中，所述第二QP与用于对解压缩视频帧进行压缩的量化设置相对应；以及
编码器，其被配置为基于所述第二QP来对解压缩视频帧进行压缩。
16.根据权利要求15所述的视频优化器，还包括：逆量化器，其被配置为对接收到的编码视频帧进行解压缩并从解压缩视频帧中提取所述第一QP。
17.根据权利要求15所述的视频优化器，其中，所述QP调整模块还被配置为：
获取压缩格式调整，所述压缩格式调整考虑接收到的编码视频帧的压缩格式与要用于对解压缩视频帧进行压缩的压缩格式之间的差异；
基于所述压缩格式调整，将所述第一QP从输入QP尺度转换为输出QP尺度，其中，所述输入QP尺度与接收到的编码视频帧的压缩格式相对应，并且所述输出QP尺度与所述要用于对解压缩视频帧进行压缩的压缩格式相对应；以及
基于转换后的第一QP和所述ΔQP来获得所述第二QP。
18.根据权利要求15所述的视频优化器，其中，所述QP调整模块还被配置为从包含所述输入QP尺度与所述输出QP尺度之间的映射的数据库获得所述压缩格式调整。
19.根据权利要求15所述的视频优化器，其中，所述QP调整模块还被配置为从包含所述第一QP与所述ΔQP之间的映射的数据库获得所述ΔQP。
20.根据权利要求15所述的视频优化器，其中，所述QP调整模块还被配置为：
获取质量下降偏移，所述质量下降偏移用于控制要在对解压缩视频帧进行压缩期间引入的视频质量下降的量；以及
基于所述质量下降偏移和所述ΔQP来获得所述第二QP。
21.根据权利要求20所述的视频优化器，其中，所述QP调整模块还被配置为从包含压缩视频的历史数据分析的数据库获取所述质量下降偏移。
22.根据权利要求15所述的视频优化器，还包括扩大防止模块，所述扩大防止模块被配置为：
基于先前解压缩的帧的总字节大小与先前压缩之后的帧的总字节大小之间的比较来获取扩大调整，其中，接收到的编码视频帧和先前解压缩的帧是包括多个视频帧的序列的一部分；以及
基于所述ΔQP、所述第一QP和所述扩大调整来获取所述第二QP。
23.根据权利要求15所述的视频优化器，还包括量化器，其被配置为通过将由所述第二QP表示的量化设置应用于对解压缩视频帧的压缩来对解压缩视频帧进行压缩。
24.一种视频优化器，包括：
解码器，其被配置为对作为多个视频帧的序列的一部分的接收到的编码视频帧进行解压缩，其中，解压缩视频帧包括与最初用于对编码视频帧进行压缩的量化设置相对应的第一量化参数（QP）；
QP调整模块，其被配置为基于第一QP来获取ΔQP；
扩大防止模块，其被配置为基于关于所述序列的历史数据来获取扩大调整并基于所述ΔQP和所述扩大调整来获取第二QP，其中，所述第二QP与用于对解压缩视频帧进行压缩的量化设置相对应；以及
编码器，其被配置为基于所述第二QP来对解压缩视频帧进行压缩。
25.根据权利要求24所述的视频优化器，其中，关于所述序列的历史数据包括已经在对序列帧的至少一些进行压缩期间引入的字节大小扩大。
26.根据权利要求24所述的视频优化器，其中，关于所述序列的历史数据包括先前解压缩的序列帧的至少一些的字节大小和先前压缩之后的序列帧的至少一些的字节大小。
27.根据权利要求24所述的视频优化器，其中，所述扩大防止模块还被配置为：基于先前解压缩的序列帧的至少一些的字节大小与先前压缩之后的序列帧的至少一些的字节大小之间的比较来获取扩大调整。
28.一种存储指令的计算机可读介质，所述指令在被执行时使得计算机执行用于视频优化的方法，所述方法包括：
接收编码视频帧；
对接收到的编码视频帧进行解压缩；
从解压缩视频帧中提取第一量化参数（QP），其中，第一QP与最初用于对编码视频帧进行压缩的量化设置相对应；
基于所述第一QP来获取ΔQP；
基于所述ΔQP和所述第一QP来获取第二QP，其中，所述第二QP与用于对解压缩视频帧进行压缩的量化设置相对应；
基于所述第二QP来对解压缩视频帧进行压缩；以及
提供压缩视频帧。
29.一种存储指令的计算机可读介质，所述指令在被执行时使得计算机执行用于视频优化的方法，所述方法包括：
对作为多个视频帧的序列的一部分的接收到的编码视频帧进行解压缩；
从解压缩视频帧中提取第一量化参数（QP），其中，第一QP与最初用于对编码视频帧进行压缩的量化设置相对应；
基于所述第一QP来获取ΔQP；
基于关于所述序列的历史数据来获取扩大调整；
基于所述ΔQP和所述字节大小扩大调整来获取第二QP，其中，所述第二QP与用于对解压缩视频帧进行压缩的量化设置相对应；以及
基于所述第二QP来对解压缩视频帧进行压缩。
CN201080023636.8A 2009-03-31 2010-03-31 用于质量感知视频优化的方法和视频优化器 Active CN102450014B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16522409P 2009-03-31 2009-03-31
US61/165224 2009-03-31
PCT/US2010/000988 WO2010117432A2 (en) 2009-03-31 2010-03-31 A framework for quality-aware video optimization

Publications (2)

Publication Number Publication Date
CN102450014A true CN102450014A (zh) 2012-05-09
CN102450014B CN102450014B (zh) 2017-07-14

Family

ID=42246235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080023636.8A Active CN102450014B (zh) 2009-03-31 2010-03-31 用于质量感知视频优化的方法和视频优化器

Country Status (4)

Country Link
US (2) US9894361B2 (zh)
EP (1) EP2415269B1 (zh)
CN (1) CN102450014B (zh)
WO (1) WO2010117432A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104604241A (zh) * 2012-07-09 2015-05-06 Vid拓展公司 功率感知视频解码和串流
CN107454405A (zh) * 2016-05-31 2017-12-08 三星显示有限公司 包括图像编码方法和图像解码方法的图像显示方法
CN107534771A (zh) * 2015-04-13 2018-01-02 高通股份有限公司 用于基于复杂性量度的显示流压缩dsc的量化参数qp计算
CN111225277A (zh) * 2018-11-27 2020-06-02 北京达佳互联信息技术有限公司 转码方法、转码装置和计算机可读存储介质
CN112565755A (zh) * 2019-09-10 2021-03-26 广州虎牙科技有限公司 视频帧编码方法、装置、电子设备及可读存储介质
CN112954350A (zh) * 2021-03-26 2021-06-11 中南大学 一种基于帧分类的视频后处理优化方法及装置
CN113938689A (zh) * 2021-12-03 2022-01-14 北京达佳互联信息技术有限公司 量化参数确定方法和装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894361B2 (en) 2009-03-31 2018-02-13 Citrix Systems, Inc. Framework for quality-aware video optimization
US9749713B2 (en) 2009-10-15 2017-08-29 Citrix Systems, Inc. Budget encoding
US10897625B2 (en) * 2009-11-20 2021-01-19 Texas Instruments Incorporated Block artifact suppression in video coding
EP2641144A4 (en) * 2010-11-18 2016-11-09 Opera Software Ireland Ltd SYMBOL BAR FOR WEB BROWSERS
US9237363B2 (en) * 2011-02-12 2016-01-12 Openwave Mobility, Inc. Dynamic injection of metadata into flash video
WO2012170910A1 (en) * 2011-06-10 2012-12-13 Bytemobile, Inc. Macroblock-level adaptive quantization in quality-aware video optimization
CN105122305B (zh) * 2013-01-22 2018-10-30 美国莱迪思半导体公司 用于助益有对媒体流的图像的高抖动容限的动态相位检测的机制
DE112018002109T5 (de) * 2017-04-21 2020-01-09 Zenimax Media, Inc. Systeme und verfahren zum codierergeführten adaptiven qualitätsrendern
CN108391127B (zh) * 2018-04-27 2021-08-10 腾讯科技（深圳）有限公司 视频编码方法、装置、存储介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997037322A1 (en) * 1996-03-29 1997-10-09 Sarnoff Corporation Apparatus and method for optimizing encoding and performing automated steerable image compression using a perceptual metric
US20020110193A1 (en) * 2000-12-08 2002-08-15 Samsung Electronics Co., Ltd. Transcoding method and apparatus therefor
CN1204747C (zh) * 2002-12-23 2005-06-01 乐金电子（沈阳）有限公司 影像转换编码装置
CN1631041A (zh) * 2001-11-21 2005-06-22 Vixs系统公司 视频变码中的速率控制方法和系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6574274B2 (en) 1998-02-27 2003-06-03 Sony Corporation Picture signal processing system, decoder, picture signal processing method, and decoding method
US6661927B1 (en) * 2000-07-27 2003-12-09 Motorola, Inc. System and method for efficiently encoding an image by prioritizing groups of spatially correlated coefficients based on an activity measure
US20040141732A1 (en) 2003-01-22 2004-07-22 Kenji Sugiyama Moving-picture code amount control method, moving-picture recording method, moving-picture code amount control apparatus and moving-picture recording apparatus
US7675970B2 (en) 2004-01-12 2010-03-09 General Instrument Corporation Method and apparatus for processing a bitstream in a digital video transcoder
US7397855B2 (en) * 2004-04-14 2008-07-08 Corel Tw Corp. Rate controlling method and apparatus for use in a transcoder
US7447978B2 (en) 2004-11-16 2008-11-04 Nokia Corporation Buffering packets of a media stream
EP1727371A1 (en) 2005-05-27 2006-11-29 Thomson Licensing Method for controlling the encoder output bit rate in a block-based video encoder, and corresponding video encoder apparatus
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
EP2061241A4 (en) 2006-09-05 2010-07-21 Panasonic Corp METHOD AND DEVICE FOR REPRODUCING VIDEO DATA OF A HIGH-BIT RATE FORMAT THROUGH A PLAYBACK DEVICE SUITABLE FOR REPRODUCING VIDEO DATA OF A LOW-BITRATE FORMAT
US8560729B2 (en) 2007-02-09 2013-10-15 Onmobile Global Limited Method and apparatus for the adaptation of multimedia content in telecommunications networks
US8635360B2 (en) 2007-10-19 2014-01-21 Google Inc. Media playback point seeking using data range requests
US8542730B2 (en) 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
US8335259B2 (en) 2008-03-12 2012-12-18 Packetvideo Corp. System and method for reformatting digital broadcast multimedia for a mobile device
CN102172020B (zh) 2008-09-09 2014-09-03 爱移通全球有限公司 用于发送视频的方法和设备
US20100166060A1 (en) * 2008-12-31 2010-07-01 Texas Instruments Incorporated Video transcoder rate control
US9894361B2 (en) 2009-03-31 2018-02-13 Citrix Systems, Inc. Framework for quality-aware video optimization
US9749713B2 (en) 2009-10-15 2017-08-29 Citrix Systems, Inc. Budget encoding
WO2012170910A1 (en) 2011-06-10 2012-12-13 Bytemobile, Inc. Macroblock-level adaptive quantization in quality-aware video optimization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997037322A1 (en) * 1996-03-29 1997-10-09 Sarnoff Corporation Apparatus and method for optimizing encoding and performing automated steerable image compression using a perceptual metric
US20020110193A1 (en) * 2000-12-08 2002-08-15 Samsung Electronics Co., Ltd. Transcoding method and apparatus therefor
CN1631041A (zh) * 2001-11-21 2005-06-22 Vixs系统公司 视频变码中的速率控制方法和系统
CN1204747C (zh) * 2002-12-23 2005-06-01 乐金电子（沈阳）有限公司 影像转换编码装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11039151B2 (en) 2012-07-09 2021-06-15 Vid Scale, Inc. Power aware video decoding and streaming
US11516485B2 (en) 2012-07-09 2022-11-29 Vid Scale, Inc. Power aware video decoding and streaming
CN104604241B (zh) * 2012-07-09 2018-06-01 Vid拓展公司 用于功率感知视频解码的方法和移动设备
US10154258B2 (en) 2012-07-09 2018-12-11 Vid Scale, Inc. Power aware video decoding and streaming
US10536707B2 (en) 2012-07-09 2020-01-14 Vid Scale, Inc. Power aware video decoding and streaming
CN104604241A (zh) * 2012-07-09 2015-05-06 Vid拓展公司 功率感知视频解码和串流
US12058351B2 (en) 2012-07-09 2024-08-06 Vid Scale, Inc. Power aware video decoding and streaming
CN107534771A (zh) * 2015-04-13 2018-01-02 高通股份有限公司 用于基于复杂性量度的显示流压缩dsc的量化参数qp计算
CN107454405A (zh) * 2016-05-31 2017-12-08 三星显示有限公司 包括图像编码方法和图像解码方法的图像显示方法
CN111225277A (zh) * 2018-11-27 2020-06-02 北京达佳互联信息技术有限公司 转码方法、转码装置和计算机可读存储介质
CN112565755A (zh) * 2019-09-10 2021-03-26 广州虎牙科技有限公司 视频帧编码方法、装置、电子设备及可读存储介质
CN112954350A (zh) * 2021-03-26 2021-06-11 中南大学 一种基于帧分类的视频后处理优化方法及装置
CN112954350B (zh) * 2021-03-26 2024-01-30 中南大学 一种基于帧分类的视频后处理优化方法及装置
CN113938689B (zh) * 2021-12-03 2023-09-26 北京达佳互联信息技术有限公司 量化参数确定方法和装置
CN113938689A (zh) * 2021-12-03 2022-01-14 北京达佳互联信息技术有限公司 量化参数确定方法和装置

Also Published As

Publication number Publication date
EP2415269A2 (en) 2012-02-08
EP2415269B1 (en) 2020-03-11
US20100254451A1 (en) 2010-10-07
WO2010117432A2 (en) 2010-10-14
US20180131937A1 (en) 2018-05-10
WO2010117432A3 (en) 2011-01-06
US10412388B2 (en) 2019-09-10
US9894361B2 (en) 2018-02-13
CN102450014B (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
CN102450014A (zh) 用于质量感知视频优化的框架
KR100848310B1 (ko) 스케일러블 비디오 코딩 기술이 적용된 비트스트림적응변환 장치 및 방법
CN110460858B (zh) 信息处理装置和方法
US9749713B2 (en) Budget encoding
US11006134B2 (en) Picture decoding and encoding methods and apparatuses, decoder, and encoder
US8966101B2 (en) Systems and methods for updating firmware over a network
CN103139559B (zh) 多媒体信号传输方法和装置
MX2013008757A (es) Control de velocidad de bits adaptativa basado en escenas.
CN101669369B (zh) 媒体文件中的多个解码时间的信号传输
CN105379293A (zh) 基于超文本协议的动态自适应流媒体中的媒体质量信息指示
CN103999471A (zh) 由视频描述长度引导的视频编码的速率-失真-复杂性优化
US9615101B2 (en) Method and apparatus for signal encoding producing encoded signals of high fidelity at minimal sizes
US20190200052A1 (en) System, Device and Method for Transrating File Based Assets
WO2014146193A1 (en) Method and apparatus for signal encoding producing encoded signals of high fidelity at minimal sizes
US9674523B2 (en) Methods and apparatus for transcoding digital video
KR101603976B1 (ko) 동영상 파일 결합 방법 및 그 장치
US9661331B2 (en) Method and apparatus for signal encoding realizing optimal fidelity
KR100898769B1 (ko) 실시간 스트리밍 서비스를 위한 ｓｖｃ 비디오 데이터추출기 및 방법
KR20250002204A (ko) 동작 제약을 사용한 비디오 인코딩 및 디코딩
Timmerer et al. Piece-wise multimedia content adaptation in streaming and constrained environments
EP1932354A1 (en) Method and apparatus for scalable video adaptation using adaptation operators for scalable video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1170614

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: CITRIX SYSTEMS INC

Free format text: FORMER OWNER: BYTEMOBILE INC.

Effective date: 20131225

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20131225

Address after: American Florida

Applicant after: Citrix Systems Inc

Address before: American California

Applicant before: Bytemobile Inc.

ASS Succession or assignment of patent right

Owner name: BYTEMOBILE INC.

Free format text: FORMER OWNER: CITRIX SYSTEMS INC

Effective date: 20150805

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150805

Address after: American Florida

Applicant after: Bytemobile Inc.

Address before: American Florida

Applicant before: Citrix Systems Inc

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160215

Address after: American Florida

Applicant after: Citrix Systems Inc

Address before: American Florida

Applicant before: Bytemobile Inc.

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1170614

Country of ref document: HK