CN1668110A - 提高压缩视频比特流中的平均图像刷新速率的方法和设备 - Google Patents

提高压缩视频比特流中的平均图像刷新速率的方法和设备 Download PDF

Info

Publication number
CN1668110A
CN1668110A CNA2004100817339A CN200410081733A CN1668110A CN 1668110 A CN1668110 A CN 1668110A CN A2004100817339 A CNA2004100817339 A CN A2004100817339A CN 200410081733 A CN200410081733 A CN 200410081733A CN 1668110 A CN1668110 A CN 1668110A
Authority
CN
China
Prior art keywords
video
decoder
macro block
decode
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100817339A
Other languages
English (en)
Other versions
CN100440975C (zh
Inventor
约翰·西弗斯
斯蒂芬·博茨科
戴维·林德伯格
查尔斯·M·克赖斯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Polycom Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Polycom Inc filed Critical Polycom Inc
Publication of CN1668110A publication Critical patent/CN1668110A/zh
Application granted granted Critical
Publication of CN100440975C publication Critical patent/CN100440975C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)

Abstract

公开了一种用于数字视频编码的设备和方法。所公开的系统提出了提高给定视频编码系统设计的视频质量的方式。

Description

提高压缩视频比特流中的平均图像刷新速率的方法和设备
技术领域
本发明大体上涉及视频编码和压缩，更具体地，涉及提出了一种将压缩视频序列的帧速率或图像尺寸提高到超过给定解码器所能处理的帧速率或图像尺寸的方法。
背景技术
视频的数字化已经变得越来越重要。通信中视频的数字化(例如，视频会议)和针对数字视频记录的视频数字化已经变得越来越普遍。在这些应用中，视频通过如电话线、计算机网络和无线电等电信链路进行传输，或者被存储在如DVD、硬盘和SVCD等多种介质上。
目前，视频数据的有效传输和/或存储需要对视频数据的编码和压缩。视频压缩编码是一种用于处理和编码数字视频数据从而只需较少的信息(典型地，以比特为单位进行测量)来表示视频序列的良好再现的技术。大多数视频压缩/解压缩系统是“有损的”，这意味着再现的视频输出只是原始输入视频数据的近似而非精确版本。多种压缩/解压缩方案用于压缩视频序列。
用于编码和压缩源视频信号的一些方法和标准已经存在。包括ITU-T建议H.120、H.261、H.263和H.264(此后分别称为“H.120”、“H.261”、“H.263”和“H.264”)以及由国际标准化组织/国际电工技术委员会(“ISO/IEC”)公布的标准“MPEG-1”(ISO/IEC11172-2：1993)、“MPEG-2”(ISO/IEC 13818-2：2000/ITU-T建议H.262)和“MPEG-4”(ISO/IEC 14496-2：2001)。在此，将这些标准的全部内容一并作为参考。
在最通用的视频压缩系统中，以象素的矩形阵列来表示每幅未压缩的画面。在多种操作中，并不同时处理整幅图像，而是将其分为单独处理的“宏块”矩形组(例如，每个宏块中16×16象素)。每个宏块可以表示亮度或“luma”象素或者色度或“chroma”象素或者这二者的某些组合。本领域的普通技术人员知道多种用于图像的基于宏块的处理的方法和技术，因而这里不再对其进行详细的描述。所有有损视频压缩系统均面临解压缩视频相对于原始视频的保真度与用于表示压缩视频的比特数之间的折衷，所有其他因素相同。对于给定的视频序列，如果使用不同的压缩技术，可以由针对固定比特数的视频编码器产生不同的视频质量。可以使用哪些技术及其效率在某些情况下依赖于压缩系统可用的计算量、存储器和等待时间余量(latencymargin)。
假定如计算、存储器和等待时间限制等其他约束条件一定，现有的帧速率调整方法允许编码器降低(即，减慢)帧速率，以确保图像压缩保持可接受的可视质量水平。具体地，如果改变了足够多的图像(意味着将需要相对较大的比特数来保持图像质量)，编码器可以减慢帧速率，以增加每帧的可用比特。现有技术公开了多种允许编码器以可变比特率或可变帧速率运行的现有方法。现有技术还公开了针对图像的未改变区域的“跳过”思想。之前，曾经为了降低视频流的比特率或增加图像质量的目的，采用过该技术(通过增加编码区域的比特率来利用通过不对未改变的区域进行编码而节省的比特)。
视频压缩系统(编码器和解码器中)能够处理帧的速率受到多种因素的限制，如输入帧速率、压缩视频流的比特率和压缩系统能够在给定的时间段内执行的计算量等。通常，在存在充足输入帧和可用比特率的情况下，计算限制成为帧速率的主要限制。
本领域所需的是一种允许编码器根据解码器的计算模型动态地增加(即，加速)帧速率的技术。代替地，ITU-T和MPEG压缩系统定义了针对给定画面尺寸的固定帧速率上限，其基于对每个帧中的所有宏块进行编码的假设。本领域所需的另一方案是进一步利用采用“跳过”时的已降低解码计算需求，允许编码器比所能更快的帧速率进行编码。本发明涉及这样的系统。
发明内容
本发明涉及一种技术，其中视频编码器利用从解码器通信过来的信息或来自现有知识(例如，来自己出版的规范)的信息，确定解码器的计算负载的模型，并相应地动态调整其编码。
在多种视频压缩系统中，编码器必须限制已编码比特流的内容从而使解码处理不致于超出解码器的能力。例如，解码器中的计算能力和存储限制了能够实时解码的比特率、帧速率、画面尺寸或其组合。当产生用于如DVD播放器或视频流媒体播放器等回放系统以及如视频会议系统(VCS)等实时通信系统的比特流时，必须满足适当的比特流约束。可以通过向编码器提供预期解码器的限制的现有知识(例如，来自己出版的规范)或者通过从解码器向编码器传输一个或多个参数的集合(直接或间接给出解码器能力的信号)，来规定这些比特流约束。
一个比特流约束是在给定的环境下，能够解码的最大帧速率。例如，在ITU-T H.264视频编解码器规范中，根据规定了每秒能够解码的最大亮度宏块数(在H.264中，每个宏块包含256个象素)的参数(此参数被称为“MaxMBPS”)来计算给定画面尺寸的最大帧速率。例如，如果已知H.264解码器支持基线轮廓级1.2，则其能够接收包含最多396个亮度宏块的帧，并能够每秒解码6,000个亮度宏块(MaxMBPS的数值为6,000)。这表示如果解码器正在接收公用中分辨率图象格式“CIF”帧(每一个包含396个亮度宏块)，则最大帧速率是6,000÷396或近似为15帧每秒。如果解码器正在接收四等分公用中分辨率图象格式“QCIF”帧(每一个包含99个亮度宏块)，则最大帧速率是6,000÷99或近似为60帧每秒。在此示例中，不允许编码器每秒对比解码器每秒所能处理的帧(例如，在CIF的情况下为15帧每秒)更多的帧进行编码。
通常，对大画面尺寸进行编码是有利的。例如，当在视频会议中发送基于计算机的显示时，需要保持典型计算机屏幕的XGA(1024×768象素，为H.264中的3072个亮度宏块)画面尺寸。这里将其全部内容一并作为参考的ITU-T建议H.241提出了一种以H.264基线轮廓级1.2支持XGA视频的信令方法。但是，帧速率限制(如上所计算的)导致了在此画面尺寸下非常低的帧速率(大约为1.95帧每秒)。通常，这种计算机显示具有并非逐帧变化的较大区域。通常，惟一的运动是鼠标光标在屏幕上的静态画面上移动。能够增加这种情况下的XGA帧速率从而使鼠标光标运动能够在远端平滑地出现将是极大的改进。
还存在在场景中几乎不存在运动的其他情况，增加帧速率将导致更为自然的视频。如果解码器能够比改变区域更快地处理画面的未改变区域，则编码器原理上能够利用该事实对比所能更高的帧速率进行编码。
这里所公开的系统利用了这种可能性来保持更高的帧速率，或者在不超过解码器的峰值计算能力的情况下，编码更好的视频质量，因而允许给定的压缩系统设计实现更好的性能。尽管参照视频会议应用描述了本发明，可以预见的是，本发明还可以在涉及视频数据的数字化的其他应用中得到有益的应用，如DVD的记录、数字电视、流视频、视频电话、电视医疗、远程办公等。
附图说明
图1是典型视频会议系统的方框图；
图2是图1所示的视频会议系统的典型视频会议站点的方框图。
具体实施方式
为了以下描述和权利要求的目的，这些术语具有以下含义：
“比特流”——表示视频序列的比特序列。可以每次一个比特地或按照比特组的形式存储或传递比特流。
“编码的宏块”——以要进行解码的编码的比特表示的宏块。与“跳过的宏块”相比。
“帧”——视频序列中的单一画面。可以对帧进行交织或不进行交织(由两个或更多个“场”构成)。
“图像”——单一帧，与画面相同。
“宏块”——表示画面的一些特定区域的1个或多个象素的组。在H.264中，宏块是排列成16×16阵列的256个象素的组，但在本发明的上下文中，宏块中的象素不必在矩形组中，甚或彼此相邻。
“MB”——宏块的缩写。
“画面尺寸”——每个帧中的象素数。
“质量”——编码/解码处理的输入和输出之间的视觉对应关系的精确度。通过增加帧速率、或者通过增加画面尺寸、或者通过增加每个单独的解压缩帧对原始帧的保真度，来提高质量。
“速率”——时间间隔的倒数。短语“30Hz的最大帧速率”等价于“1/30秒的最小帧间时间间隔”。“速率”的使用并不暗示必须以相同的时间间隔分隔每一个连续的帧。
“跳过的宏块”——针对其解码器不产生编码比特或者产生少于正常比特数的编码比特宏块。通常，这是因为跳过的MB表示相对于前一帧未被改变或改变较少的画面部分。通常，解码这种跳过的宏块所需的计算量小于正常的宏块。应当注意，一些解码器按照某种方式(有时利用比特)发出宏块被跳过的信号(例如，H.263的编码的宏块指示)。
“视频序列”——帧序列。
图1示出了典型的视频会议系统100。视频会议系统100包括通过网络106相连的本地视频会议站点102和远程视频会议站点104。尽管图1只示出了两个视频会议站点102和104，本领域的普通技术人员将意识到更多的视频会议站点可以直接或间接地与视频会议系统100相连。网络106可以是任意类型的传输介质，包括但不局限于POTS(简易老式电话业务)、线缆、光学和无线电传输介质或其组合。可选地，任何数据存储和恢复机制可以替代网络106。
图2是典型视频会议站点200的方框图。为了简明，将作为本地视频会议站点102(图1)来描述视频会议站点200，尽管远程视频会议站点104(图1)可以包括类似的结构。在一个实施例中，视频会议站点200包括以下组件之一或多个：显示设备202、CPU204、存储器206、视频捕获设备208、图像处理引擎210和通信接口212。可选地，可以在视频会议站点200中设置其他设备，或者并不设置所有上述设备。
视频捕获设备208可以是用于捕获自然场景(人、地点或其他事物)的摄像机或来自任何可视材料源的输入(如但不局限于VCR或DVD播放器、运动画面投影仪或从计算机输出的显示)，并向图像处理引擎210发送图像。稍后，将对图像处理引擎210的特定功能进行更为详细的讨论。类似地，图像处理引擎210也可以将从远程视频会议站点104接收到的数据转换为用于在显示设备202上进行显示的视频信号，或者用于存储以便稍后进行显示的视频信号，或者用于向其他设备转发的视频信号。
在视频压缩系统中，例如，如果并未改变画面的区域，或者由于其他原因，则解码器(图像处理引擎210)可以选择“跳过”图像的所述区域。当这样进行时，解码器在跳过的区域中输出与前一帧中所出现的相同的象素数据(可能根据其他因素进行修改，如未跳过的画面区域、场景中物体运动的历史、错误隐藏技术等)。根据这些其他因素来修改输出画面的技术对于本领域的技术人员而言是已知的。
因为对于画面的跳过区域，解码通常需要非常少的计算资源，所有当跳过画面区域时，未充分利用解码器的计算能力。实际上，当跳过图像的重要区域时，解码器通常能够具有高得多的最大帧速率。例如，假设在未跳过宏块时，给定的解码器能够以CIF画面尺寸接收15帧每秒(fps)。如果跳过每幅图像中75％的宏块，则解码器可能能够接收30fps。但是，在现有技术中，不存在用于调整帧速率从而允许编码器利用这种容量的方法，也不存在使解码器清楚解码器的最大帧速率对跳过的宏块的比例的这种依赖性的技术，所以必须将编码器限制为15fps的速率。
这里所公开的系统通过利用采用了“跳过”时的下降的解码计算负载，来提高压缩视频流的平均帧速率。其包括一种用于规定解码器的处理能力并利用此信息调整帧速率的方法。所有其他条件均等，这里所公开的技术允许编码器以给定的画面尺寸，编码比所能更快的平均帧速率。
当选择画面尺寸与帧速率的折衷时，编码器通常考虑解码器能够以给定画面尺寸处理的帧速率。这里所公开的系统允许编码器利用跳过所允许的更高平均帧速率，以其已经选择的正常画面尺寸运行。可选地，编码器可以选择比通常实用的更大的画面尺寸，并保持可接受的帧速率，从而提高图像质量。这两种益处的组合也是可能的。
这里所描述的是一种规定了解码系统的计算能力、并与现有的H.264宏块每秒限制MaxMBPS(或其他视频编码系统中的等价物)一起使用以按照下述全新方式约束编码器比特流的改进方法。优选实施例包括针对编码器所编码的特定画面尺寸和“跳过”的宏块的比例允许编码器计算解码器的峰值帧速率的参数。在大多数解码器实现中，此峰值速率比对整幅图像进行编码时所应用的帧速率限制要高得多。
衡量不同画面尺寸的一个这种参数是如果跳过视频序列中的所有宏块，解码器每秒所能处理的宏块数。将此参数称为“MaxSKIPPED”，为了解释的目的，其单位为宏块每秒(MB/s)。应当注意，如果此MaxSKIPPED值对于全部所支持的画面尺寸不是常数，则可以使用这些数值中的最小值。MaxSKIPPED规定了解码系统速度的理论极限。其是理论上的，因为实际上编码其中跳过所有宏块的视频序列并不实用。单位“宏块每秒”是较好的选择，因为随着画面尺寸的增加，解码系统速度趋向于近似线性地减慢。
可以使用其他信令来代替MaxSKIPPED。其应当等价地规定最大帧速率(例如，以Hz为单位)或最小画面时间间隔(例如，以秒为单位)。可选地，可以使用表示针对不同画面尺寸的MaxSKIPPED值的参数的更复杂的集合(例如，公式、完整的数值集合、或用于插值的采样值序列)。但是，MaxSKIPPED允许单一的参数跨越画面尺寸的范围，而最大帧速率将必须是画面尺寸专用的。MaxSKIPPED还与H.264中所规定的其他信令相互良好地适应。
与其他解码器参数一样，可以由解码器向编码器传递此MaxSKIPPED参数(如果解码器具有返回到编码器的通信路径，例如许多视频会议系统)，或者根据解码器的给定目标类型(如果解码器不具有返回到编码器的通信路径，如DVD播放器)，作为现有知识赋予编码器(例如，在已出版的规范中)。
通常，编码器如下确定最大帧速率(以帧每秒为单位)：
PictureSize以宏块为单位。代替地，与这里所描述的系统相联系，如下确定最小帧时间间隔：
最小帧时间间隔＝Tcoded×Ncoded+Tskipped×Nskipped
得到：
将其化简为：
Figure A20041008173300133
其中MaxMBPS是H.264附录A中所规定的宏块每秒极限或其等价物；MaxSKIPPED是如果跳过全部宏块解码器所能处理的宏块每秒的最大数；Ncoded是画面中编码的宏块的数量；Nskipped是画面中跳过的宏块的数量；Tcoded是解码并输出一个编码宏块的秒数(1÷MaxMBPS)；以及Tskipped是输出(而不是解码)一个跳过的宏块的秒数(1÷MaxSKIPPED)。
作为示例，假设上述H.264级1.2解码器(具有6,000MB/s的MaxMBPS)能够可选地处理24,000个跳过宏块每秒(MaxSKIPPED是24,000)。还假设每秒只对50％的宏块进行编码，可以是形成了坐在桌前的一个或两个人的帧的固定摄像机的情况。传统的编码器调整方法将CIF画面尺寸的、396宏块每画面的帧速率限制为大约15.2帧每秒(6,000÷396)。上述方法允许将帧速率增加到24.2帧每秒，只要跳过50％或更多的宏块(1÷(198÷6,000+198÷24,000))。如果将跳过的模块的百分比增加到75％，则此方法给出34.6帧每秒的最大帧速率(1÷(99÷6,000+297÷24,000))，比传统编码方法快得多。
作为另一示例，假设H.264级1.2解码器接收SVGA视频，其包括1,875宏块每帧(800×600象素)，并且只有鼠标光标移动。还假设对鼠标光标区域进行编码只需要16个宏块。传统的编码器调整将帧速率限制为3.2帧每秒(6,000÷1,875)。上述方法给出了12.5帧每秒的帧速率(1÷(16÷6,000+1,861÷6,000))。当然，如果改变整幅画面并对所有宏块进行编码(例如，在摄像机平转期间)，帧速率将下降到与传统方法所传递的相同的数值。
最终结果是一种通过允许编码器动态地确定解码器能够计算处理图像流中给定数量的“跳过”的宏块的最小帧时间间隔，从而能够自动调整以最高可能帧速率运行的系统。由解码器如下使用此最小帧时间间隔。当使用同步传输系统时，公知的是，视频比特流必须与同步传输速率相匹配，以确保解码器在画面的显示时间之前接收到更新画面。由于在编码处理之前并不总是精确地知道画面中的比特数，所有在这种情况下，系统设计必须考虑每个压缩帧的预期比特数与实际比特数之间的一些变化。
一种公知的视频比特率匹配方法根据以下原理进行操作：当事件发生时，编码器可以通过每秒编码更少的帧(通常通过不编码一个或多个输入帧)来考虑每帧不可预料的高比特数。实际上，编码器试图产生精确目标画面比特的画面：
其中PictureSize以宏块为单位。于是，到下一编码的帧的帧时间间隔为：
Figure A20041008173300142
此视频比特率匹配方法确保了实际帧速率永远不会超过解码器的接收容量，并且实际比特率同时永远不会超过信道容量。当此方法与本发明一起使用时，目标图像比特为：
预期帧速率可以简单地是本发明在此图像源上所产生的平均帧速率，或者可以根据图像中的变化量、场景中的运动量或其他因素自适应地确定。于是，到下一编码图像帧的帧时间间隔为：
Figure A20041008173300151
此改进方法确保了实际帧速率永远不会超过解码器的计算能力，并且实际比特率同时永远不会超过信道容量。
帧速率调整的另一方法在于包括缓冲模型，作为解码器能力的一部分。此方法比第一种方法允许单独画面更多的比特率变化，但也给解码处理带来了更大的延迟。在此方法中，假设以已知的速率接收视频比特。解码器在已知尺寸的缓冲器中缓冲这些比特，并在对画面进行解码时，清空该缓冲器。用在缓冲模型中的画面解码时间可以是在图像传输的一些时间段内取平均得到的固定帧速率限制。H.261和H.263标准中的HRD(假设参考编码器)和ISO/IEC 13818-2附录C中所描述的VBV(视频缓冲验证器)是此方法的示例。也可以采用其他缓冲模型。
当此视频比特率匹配方法与本发明一起使用时，对于每个新编码的帧，将此帧的允许编码比特数限制在数值范围内(即，避免缓冲器的上溢和下溢)。如上计算编码画面比特的目标值，但约束其落入这些限制之内。通常实用的是，增加或减小编码图像比特的目标值，以保持缓冲器充满的平均水平适当。将上述最小帧时间间隔用在编码器中，以计算解码器何时从缓冲器中移除比特，例如，以调整ISO/IEC13818-2附录C.9到附录C.12中所述的VBV缓冲器检查时间。可选地，可以使用实际帧时间间隔。
在可选的缓冲模型中，编码器将其编码比特馈入编码器缓冲器，以便传递到实际的信道中。如果信道是同步地(如ISDN)，则从缓冲器中同步地提取比特。周期性地从缓冲器中移除一个或多个视频比特的组，以便进行传输。如果信道是面向分组的，则利用业务量成形算法提取比特，以介质比特率将比特传递到分组网络。编码器缓冲器的当前充满驱动由编码器所采用的比特率控制算法。
也可以使用帧速率调整的其他等价方法。更复杂的模型是可能的，并可能会进一步改进结果。
进一步改善解码器计算需求的编码器模型的方式是可能的。例如，在大多数视频编码系统中，存在几种类型的宏块，每一种均具有其自身的解码计算代价。而且，包含在每个宏块中的变换系数的数量，根据所使用的变换技术，对计算负载有影响。另一种可能性是将解码比特流中的符号的代价与解码宏块的代价相分离，需要编码器跟踪每个压缩图像中的符号数。应当注意，至少存在以下三种针对这些符号的基本熵编码方案：运算、固定字段和可变长度。运算具有最高的计算代价，固定字段具有最低的计算代价。对于所有这些改进方法，将与相关解码计算负担有关的信息赋予编码器，并执行类似的过程。
此外，这里所公开的系统可以用于以可变图像画面尺寸和固定帧速率运行，与上述固定画面尺寸和可变帧速率模式相反。许多视频压缩算法(如H.263附录P)具有用于在压缩比特流中动态调整视频画面尺寸的方法。但是，这些方法被限制使用，这是因为随着画面尺寸的增加，帧速率通常动态地降低。利用本发明，可以对系统进行配置，从而以固定的帧速率(如30fps)、可保证的最小画面尺寸(如CIF)运行。在每秒跳过足够多的宏块时，本发明允许压缩图像的画面尺寸自动增加而保持固定的帧速率。
在前面的描述中，将H.264视频编解码器标准用作描述性示例。但是，应当注意，本发明可以归纳为可应用于大多数的视频压缩系统，包括发明人已知的所有调制解调器视频压缩系统(H.261、H.263、H.264、微软的WM9、MPEG-1、MPEG-2、MPEG-4等)。
已经参照典型实施例，对本发明进行了解释。本领域的普通技术人员显而易见的是，可以对其进行多种修改而不偏离本发明的较宽的精神和范围。此外，尽管已经针对其在特定环境中实施和特定应用，对本发明进行了描述，本领域的普通技术人员将意识到，本发明的用途并不局限于此，并且可以在多种环境和实施中有利地应用本发明。因此，前面的描述和附图应当被看作是示例性的而非限制性的。

Claims (33)

1、一种数字编码视频序列的质量提高方法，其中所述视频序列包括表示编码帧序列的信息，每个编码的帧包括一个或多个宏块，所述方法包括：
确定将要对视频传输进行解码的解码器的一个或多个处理能力；
对第一图像的宏块进行编码；
对随后图像的宏块进行编码，其中跳过一些宏块；以及
作为被跳过的部分宏块的函数，增加视频质量，以利用另外的(otherwise)将作为跳过宏块的结果而不被利用的解码器处理能力。
2、根据权利要求1所述的方法，其特征在于确定解码器的一个或多个处理能力的步骤包括预先具有解码器类型的知识。
3、根据权利要求1所述的方法，其特征在于确定解码器的一个或多个处理能力的步骤包括从解码器接收处理能力信息。
4、根据权利要求1所述的方法，其特征在于确定解码器的一个或多个处理能力的步骤包括确定如果跳过所有宏块、则能够在给定时间间隔内解码的宏块数。
5、根据权利要求4所述的方法，其特征在于增加视频质量的步骤包括根据如下表达式确定最大帧速率：
其中Ncoded是编码的宏块的数量；Nskipped是跳过宏块的数量；MaxMBPS是能够在给定时间间隔内解码的最大宏块数；以及MaxSKIPPED是如果跳过全部宏块、能够在给定时间间隔内解码的最大宏块数。
6、根据权利要求1所述的方法，其特征在于增加视频质量的步骤包括增加视频帧速率。
7、根据权利要求1所述的方法，其特征在于增加视频质量的步骤包括增加视频画面尺寸。
8、根据权利要求1所述的方法，其特征在于增加视频质量的步骤还包括作为解码器解码多种类型的宏块的计算代价的函数，增加视频帧速率。
9、根据权利要求1所述的方法，其特征在于增加视频质量的步骤还包括作为解码器解码多种类型的宏块的计算代价的函数，增加视频画面尺寸。
10、根据权利要求1所述的方法，其特征在于还包括：
考虑包括在编码的宏块中的系数的数量，并作为此数量的函数，考虑解码器的计算需求。
11、根据权利要求10所述的方法，其特征在于增加视频质量的步骤包括增加视频帧速率。
12、根据权利要求10所述的方法，其特征在于增加视频质量的步骤包括增加视频画面尺寸。
13、根据权利要求10所述的方法，其特征在于增加视频质量的步骤还包括作为解码器解码多种类型的宏块的计算代价的函数，增加视频帧速率。
14、根据权利要求10所述的方法，其特征在于增加视频质量的步骤还包括作为解码器解码多种类型的宏块的计算代价的函数，增加视频画面尺寸。
15、一种视频会议终端，适用于产生包括编码的帧序列的编码视频，每个编码的帧包括一个或多个编码的宏块，所述视频会议终端包括：
一个或多个图像处理引擎，适用于对视频信号进行编码，其中跳过一些宏块；以及
通信接口，适用于确定将对编码的视频进行解码的解码器的一个或多个处理能力，并且还适用于作为被跳过的部分宏块的函数，提高视频质量，以利用另外的将作为跳过的宏块的结果而不被使用的解码器处理能力。
16、根据权利要求15所述的视频会议终端，其特征在于：解码器的处理能力被确定为，如果跳过所有宏块、则能够在给定时间间隔内解码的宏块数的函数。
17、根据权利要求16所述的视频会议终端，其特征在于根据如下表达式确定最大帧速率：
其中Ncoded是编码的宏块的数量；Nskipped是跳过的宏块的数量；MaxMBPS是能够在给定时间间隔内解码的最大宏块数；以及MaxSKIPPED是如果跳过全部宏块、能够在给定时间间隔内解码的最大宏块数。
18、根据权利要求15所述的视频会议终端，其特征在于通过增加视频帧速率来增加视频质量。
19、根据权利要求15所述的视频会议终端，其特征在于通过增加画面尺寸来增加视频质量。
20、根据权利要求18所述的视频会议终端，其特征在于：帧速率被进一步确定为，解码器解码多种类型的宏块的计算代价的函数。
21、根据权利要求19所述的视频会议终端，其特征在于：作为解码器解码多种类型的宏块的计算代价的函数，进一步确定画面尺寸。
22、一种数字编码的视频序列的质量提高方法，所述方法包括：
确定将要对视频传输进行解码的解码器的一个或多个处理能力；以及
作为解码器处理负载的编码器模型的函数，增加视频质量，以利用否则将不被使用的解码器处理能力。
23、根据权利要求22所述的方法，其特征在于确定解码器的一个或多个处理能力的步骤包括预先具有解码器类型的知识。
24、根据权利要求22所述的方法，其特征在于确定解码器的一个或多个处理能力的步骤包括从解码器接收处理能力信息。
25、根据权利要求22所述的方法，其特征在于增加视频质量的步骤包括增加视频帧速率。
26、根据权利要求22所述的方法，其特征在于增加视频质量的步骤包括增加视频画面尺寸。
27、一种用于产生编码的视频序列的视频编码器，包括：
一个或多个图像处理引擎，适用于：
对视频信号进行编码；
确定将要对编码的视频序列进行解码的解码器的一个或多个处理能力；以及
作为解码器处理负载的编码器模型的函数，增加视频质量，以利用否则将不被使用的解码器处理能力。
28、根据权利要求27所述的视频编码器，其特征在于：解码器的处理能力被确定为，如果跳过所有宏块、则能够在给定时间间隔内解码的宏块数的函数。
29、根据权利要求28所述的视频编码器，其特征在于根据如下表达式确定最大帧速率：
其中Ncoded是编码的宏块的数量；Nskipped是跳过的宏块的数量；MaxMBPS是能够在给定时间间隔内解码的最大宏块数；以及MaxSKIPPED是如果跳过全部宏块、能够在给定时间间隔内解码的最大宏块数。
30、根据权利要求27所述的视频编码器，其特征在于通过增加视频帧速率来增加视频质量。
31、根据权利要求27所述的视频编码器，其特征在于通过增加画面尺寸来增加视频质量。
32、根据权利要求30所述的视频编码器，其特征在于：帧速率被进一步确定为，解码器解码多种类型的宏块的计算代价的函数。
33、根据权利要求31所述的视频编码器，其特征在于：画面尺寸被进一步确定为，解码器解码多种类型的宏块的计算代价的函数。
CNB2004100817339A 2004-03-11 2004-12-24 提高压缩视频比特流中的平均图像刷新速率的方法和设备 Active CN100440975C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/798,519 2004-03-11
US10/798,519 US20050201469A1 (en) 2004-03-11 2004-03-11 Method and apparatus for improving the average image refresh rate in a compressed video bitstream

Publications (2)

Publication Number Publication Date
CN1668110A true CN1668110A (zh) 2005-09-14
CN100440975C CN100440975C (zh) 2008-12-03

Family

ID=34827663

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100817339A Active CN100440975C (zh) 2004-03-11 2004-12-24 提高压缩视频比特流中的平均图像刷新速率的方法和设备

Country Status (7)

Country Link
US (2) US20050201469A1 (zh)
EP (1) EP1575294B1 (zh)
JP (1) JP2005260935A (zh)
CN (1) CN100440975C (zh)
AT (1) ATE454013T1 (zh)
DE (1) DE602004024863D1 (zh)
HK (1) HK1075159A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300090A (zh) * 2010-06-28 2011-12-28 索尼公司 编码设备、成像设备、编码发送系统和编码方法
CN102300090B (zh) * 2010-06-28 2016-12-14 索尼半导体解决方案公司 编码设备、成像设备、编码发送系统和编码方法
CN106528278A (zh) * 2015-09-14 2017-03-22 纬创资通（上海）有限公司 硬件负载调整方法及电子装置
CN107113447A (zh) * 2014-12-31 2017-08-29 汤姆逊许可公司 高帧速率‑低帧速率传输技术

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006345251A (ja) * 2005-06-09 2006-12-21 Kyocera Corp 無線通信端末及び通信方法
US8249070B2 (en) * 2005-12-29 2012-08-21 Cisco Technology, Inc. Methods and apparatuses for performing scene adaptive rate control
US7643422B1 (en) * 2006-03-24 2010-01-05 Hewlett-Packard Development Company, L.P. Dynamic trans-framing and trans-rating for interactive playback control
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
JP4747109B2 (ja) * 2007-01-15 2011-08-17 パナソニック株式会社 演算量調整装置
JP2008187694A (ja) * 2007-01-31 2008-08-14 Matsushita Electric Ind Co Ltd 画像符号化装置およびその方法
US7987285B2 (en) * 2007-07-10 2011-07-26 Bytemobile, Inc. Adaptive bitrate management for streaming media over packet networks
US20090161766A1 (en) * 2007-12-21 2009-06-25 Novafora, Inc. System and Method for Processing Video Content Having Redundant Pixel Values
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) * 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
US9781418B1 (en) 2012-06-12 2017-10-03 Google Inc. Adaptive deadzone and rate-distortion skip in video processing
US9179155B1 (en) 2012-06-14 2015-11-03 Google Inc. Skipped macroblock video encoding enhancements
WO2014190468A1 (en) 2013-05-27 2014-12-04 Microsoft Corporation Video encoder for images
EP3120556B1 (en) 2014-03-17 2021-01-13 Microsoft Technology Licensing, LLC Encoder-side decisions for screen content encoding
CN106416254B (zh) 2015-02-06 2019-08-02 微软技术许可有限责任公司 在媒体编码期间跳过评估阶段
US10136132B2 (en) 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE515535C2 (sv) * 1996-10-25 2001-08-27 Ericsson Telefon Ab L M En transkoder
US6289067B1 (en) * 1999-05-28 2001-09-11 Dot Wireless, Inc. Device and method for generating clock signals from a single reference frequency signal and for synchronizing data signals with a generated clock
US7114174B1 (en) * 1999-10-01 2006-09-26 Vidiator Enterprises Inc. Computer program product for transforming streaming video data
US6490320B1 (en) * 2000-02-02 2002-12-03 Mitsubishi Electric Research Laboratories Inc. Adaptable bitstream video delivery system
EP1374429A4 (en) * 2001-03-05 2009-11-11 Intervideo Inc SYSTEMS AND METHOD FOR CODING AND DECODING REDUNDANT MOTION VECTORS IN COMPRESSED VIDEO BITSTRAMS
US20030112366A1 (en) * 2001-11-21 2003-06-19 General Instrument Corporation Apparatus and methods for improving video quality delivered to a display device
JP4193406B2 (ja) * 2002-04-16 2008-12-10 三菱電機株式会社 映像データ変換装置および映像データ変換方法
US7139015B2 (en) * 2004-01-20 2006-11-21 Polycom, Inc. Method and apparatus for mixing compressed video

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300090A (zh) * 2010-06-28 2011-12-28 索尼公司 编码设备、成像设备、编码发送系统和编码方法
CN102300090B (zh) * 2010-06-28 2016-12-14 索尼半导体解决方案公司 编码设备、成像设备、编码发送系统和编码方法
CN107113447A (zh) * 2014-12-31 2017-08-29 汤姆逊许可公司 高帧速率‑低帧速率传输技术
CN106528278A (zh) * 2015-09-14 2017-03-22 纬创资通（上海）有限公司 硬件负载调整方法及电子装置
CN106528278B (zh) * 2015-09-14 2019-06-25 纬创资通（上海）有限公司 硬件负载调整方法及电子装置

Also Published As

Publication number Publication date
US8374236B2 (en) 2013-02-12
HK1075159A1 (en) 2005-12-02
US20120200663A1 (en) 2012-08-09
CN100440975C (zh) 2008-12-03
AU2004229063A1 (en) 2005-09-29
EP1575294B1 (en) 2009-12-30
DE602004024863D1 (de) 2010-02-11
EP1575294A1 (en) 2005-09-14
ATE454013T1 (de) 2010-01-15
US20050201469A1 (en) 2005-09-15
JP2005260935A (ja) 2005-09-22

Similar Documents

Publication Publication Date Title
CN100440975C (zh) 提高压缩视频比特流中的平均图像刷新速率的方法和设备
US6263022B1 (en) System and method for fine granular scalable video with selective quality enhancement
CN1288915C (zh) 视频序列的编码和解码方法及相关的视频编码器和解码器
RU2372743C2 (ru) Масштабируемое видеокодирование с двухуровневым кодированием и одноуровневым декодированием
JP4510465B2 (ja) イメージ／ビデオ符号器及び／又は復号器における変換係数の符号化
US9420279B2 (en) Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method
JP4981927B2 (ja) Ｓｖｃｃｇｓ拡張層コーディングに関するｃａｖｌｃ拡張
JP2016026426A (ja) 適応可変長符号化
JP2005236990A (ja) リアルタイム複雑性適応及び注目画像領域コーディング付きビデオコーデックシステム
CN1819661A (zh) 视频编码中的图像帧编组
CN1605209A (zh) 视频编码方法
CN1910926A (zh) 用于处理视频通信差错的方法和装置
Ponlatha et al. Comparison of video compression standards
KR20170137090A (ko) 디스플레이 스트림 압축을 위한 레이트 제약형 폴백 모드
WO2008091687A2 (en) Reduced resolution video transcoding with greatly reduced complexity
JPWO2010035505A1 (ja) 動画像符号化方法および動画像符号化装置
KR100584422B1 (ko) 영상데이터의 압축 장치 및 방법
KR100770873B1 (ko) 영상 부호화시 비트율 제어 방법 및 장치
JP4517453B2 (ja) 画像情報変換装置及び方法並びに符号化装置及び方法
KR101774237B1 (ko) 적응적 부호화 구조를 이용한 영상의 부호화 방법 및 이를 이용한 인코딩 시스템
Pereira Distributed video coding: Basics, main solutions and trends
JP4517468B2 (ja) 画像情報変換装置及び方法並びに符号化装置及び方法
GB2393060A (en) Manipulation of video compression
Wang et al. Robust GOB intra refresh scheme for H. 264/AVC video over UMTS
JPH08256337A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231010

Address after: Texas, USA

Patentee after: Huihe Development Co.,Ltd.

Address before: California, USA

Patentee before: Polycom, Inc.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: American Texas

Patentee after: HEWLETT-PACKARD DEVELOPMENT Co.,L.P.

Country or region after: U.S.A.

Address before: American Texas

Patentee before: Huihe Development Co.,Ltd.

Country or region before: U.S.A.