CN101077011A - 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法 - Google Patents
运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法 Download PDFInfo
- Publication number
- CN101077011A CN101077011A CNA2005800424968A CN200580042496A CN101077011A CN 101077011 A CN101077011 A CN 101077011A CN A2005800424968 A CNA2005800424968 A CN A2005800424968A CN 200580042496 A CN200580042496 A CN 200580042496A CN 101077011 A CN101077011 A CN 101077011A
- Authority
- CN
- China
- Prior art keywords
- video stream
- video
- data transfer
- transfer rate
- input digit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013139 quantization Methods 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 11
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 4
- 240000005373 Panax quinquefolius Species 0.000 claims 4
- 230000015556 catabolic process Effects 0.000 abstract description 3
- 238000006731 degradation reaction Methods 0.000 abstract description 3
- 230000033001 locomotion Effects 0.000 description 20
- 230000007704 transition Effects 0.000 description 15
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000011002 quantification Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003467 diminishing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
介绍一种把预先编码的数字视频数据流代码转换成分层的视频流的视频代码转换器(500)，其中分层的视频流包括具有比原始的源流更低的数据率的基本层和运用精细粒度可伸缩性(FGS)技术编码的增强层。该视频代码转换器(500)包括把现有的数字视频重编码成FGS的多层视频的高效构件，其在无线和/或有线网络中带宽劣化不断变化的条件下，提供可变级别的显示图像的质量。
Description
技术领域
本发明涉及一种把预先编码的数字视频数据流代码转换成分层的视频流的装置和相关的方法，其中分层的流包括具有比原始的源流更低的数据率的基本层和运用精细粒度可伸缩性(FGS)技术编码的增强层。本发明包括把现有的数字视频重编码成FGS的多层视频的高效构件，以便在无线和/或有线网络中带宽劣化不断变化的条件下，提供可变级别的显示图像质量。
背景技术
数字的流视频可以采用诸如MPEG等的视频编码标准，通过有效带宽随时间变化并且与位置相关的信道来传输。这情况经常出现在无线网络中，但也可以出现在其带宽受到限制的有线网络中。当有效带宽低于通过网络发送的视频流的数据率所需的最低水平时，结果导致显示视频发生劣化。
通过根据信道的条件来改变预编码的视频内容的数据率，可以解决这个问题。此项技术通称为速率转换(trans-rating)。然而，速率转换需要对信道的容量进行快速和精确的预测，这是难以达到的。因此，还是有可能信道的容量与视频的源数据率之间出现不匹配，这会导致视频数据包的丢失。
流优先排序技术能够更好地适应信道容量的变化。在流优先排序中，必要(或者基本层)的信息以较高的优先级进行传输，而不太必要(或者增强层)的信息则采用“尽力而为”进行传输。当网络带宽不足时，降低增强层的信息以确保传送基本层的信息。这确保了对于该程度的信道劣化，以其最高可能的质量进行平滑的视频回放。
然而，这种能力需要运用可伸缩的视频编码技术，把视频的内容压缩或者编码成单独的码流。一种众所周知的实现可伸缩的视频编码的方法就是精细粒度可伸缩性或FGS技术。可伸缩的视频编码技术的其它例子是MPEG-2/4的时域可伸缩性和数据分割(DP)。大多数分布式的视频内容都采用MPEG或H264技术，编码或压缩成未进行优先排序的单层的视频流。因此，需要代码转换来把单层的压缩的视频流转换成多优先级的视频流，以便利用流优先排序技术的优点。时域可伸缩性在以前已经提出过，并且时域可伸缩性现在已成为用于视频编码的MPEG-4标准的一部分。
附图说明
为了更彻底地理解本项公开，现请参考以下的连同附图所作的阐述，其中：
图1图解说明了根据本项公开的一种实施例，从流视频发送器，通过数据网络到流视频接收器的端到端流视频的传输；
图2图解说明了根据现有技术的一种实施例，典型的视频数据的速率转换器(transrater)(或代码转换器)；
图3图解说明了根据现有技术的一种实施例，典型的精细粒度可伸缩性(FGS)的编码器；
图4图解说明了根据现有技术的一种实施例，典型的精细粒度可伸缩性(FGS)的解码器；
图5图解说明了根据本发明的一种实施例，典型的精细粒度可伸缩性(FGS)的代码转换器；和
图6图解说明了根据本发明的另一种实施例，典型的精细粒度可伸缩性(FGS)的代码转换器。
具体实施方式
以下所讨论的图1至6和在本专利文件中所述的各种实施例，仅只是举例，而不应以任何方式解释为限制本发明的范围。所属技术领域的专业人员会了解，本发明的原理能够以任何的适当设置的装置、器件或结构来实现。
图1图解说明了根据本发明的一种实施例，从流视频发送器110，通过数据网络120到一个或更多的流视频接收器(典型地诸如流视频接收器130)的端到端传输流视频的视频传输系统。依照应用，流视频发送器110可以是各种各样的视频帧的源中的任意一种，其可以包括数据网络的服务器、电视台的发射器、有线网络、桌面个人计算机(PC)等等。
流视频发送器110包括视频帧的源112、视频编码器114、存储器115和编码器缓冲器116。视频帧的源112可以是任何能够生成非压缩的视频帧的序列的装置，其包括电视天线和接收单元、盒式放像机、摄像机、能够存储视频剪辑的磁盘存储装置等等。非压缩的视频帧以给定的图像速率(或流速率)进入视频编码器114，并且根据任何公知的压缩算法或诸如MPEG-4编码器的装置进行压缩。随后，视频编码器114把压缩的视频帧传输到编码器缓冲器116进行缓存，来为穿越数据网络120进行传输作准备。
数据网络120可以是任何适合的网络，并且可以包括诸如Internet等的公众数据网络和诸如企业拥有的局域网(LAN)或广域网(WAN)等的私有数据网络的部分。在本发明的有利的实施例中，数据网络120包括无线网络。尤其，数据网络120可以是无线家庭网络。
流视频接收器130包括解码器缓冲器132、视频解码器134、存储器135和视频显示器136。依照应用，流视频接收器可以是各种各样的视频帧的接收器中的任意一种，其包括电视接收机、桌面个人计算机(PC)、盒式录像机(VCR)等等。解码器缓冲器132接收并且存储来自数据网络120的流压缩的视频帧。随后，按要求，解码器缓冲器132把压缩的视频帧传输到视频解码器134。视频解码器134以与由视频编码器114压缩的视频帧相同的速率(理想的)解压缩视频帧。视频解码器134把解压缩的帧传送到视频显示器136，在视频显示器134的屏幕上进行回放。
在本发明的有利的实施例中，视频编码器114可以代表标准的MPEG编码器，该MPEG编码器可以运用任何硬件、软件、固件或其联合来加以实现，诸如由常规的数据处理器执行的软件程序等。在这样的实现中，视频编码器114可以包括许多存储在存储器115中的计算机可执行的指令。存储器115可以包括任何类型的计算机存储介质，包括固定磁盘、可移动磁盘、CD-ROM、磁带、视频光盘等等。此外，在本发明的有利的实施例中，视频解码器134也可以代表常规的MPEG解码器，该MPEG解码器可以运用任何硬件、软件、固件或其联合来加以实现，诸如由常规的数据处理器执行的软件程序等。在这样的实现中，视频解码器134可以包括许多存储在存储器135中的计算机可执行的指令。存储器135也可以包括任何类型的计算机存储介质，包括固定磁盘、可移动磁盘、CD-ROM、磁带、视频光盘等等。
由于数据网络120中有效带宽的变化，根据本发明的原理，在视频编码器114中，必须运用精细粒度可伸缩性(FGS)来对视频数据进行代码转换。在此，将对速率转换和FGS进行简明扼要的阐述。速率转换包括将现有的(原始的)视频流直接重编码成具有比原始更低的数据率的新视频流。低速率的新视频流可以正确地解码和显示，其只是相对于原始的视频流在图像质量上有所降低。这是一种当有效传输带宽低于原始的视频流的全数据率时，降低视频流的数据率的广泛应用的方案。
图2图解说明了根据现有技术的一种实施例，典型的视频数据的速率转换器(或代码转换器)200。速率转换器200包括变长解码器(VLD)205、反量化(inverse quantization)电路210、量化电路215、变长编码器(VLC)220、量化系数块225和重量化(re-quantization)系数块230。VLD 205接收高速率的视频流并且解码该流来产生量化的离散余弦变换(DCT)系数。VLD 205还从视频流中提取量化系数，或识别预定的量化系数，并且把量化系数存储在量化系数块225中。反量化电路210接收量化的DCT系数，并且运用来自量化系数块225的该量化系数来产生去量化(de-quantized)的DCT系数。
重量化系数决230确定适于新的、较低的视频数据率的新的(或重量化的)系数(即视频数据率的转换比率)。量化电路215运用重量化系数来重量化反量化电路210的输出，籍此产生重量化的DCT系数的流。随后，变长编码器(VLC)220编码重量化的DCT系数来产生期望的低速率的视频流。
速率转换器200在必要的限度解码原始的视频流，以便识别和评估量化的DCT系数，以及关联的量化因子，从而能够很容易地计算出原始的系数值。已知原始的视频流的数据率和期望的转换速率的视频流的速率，重量化系数决230为各个系数计算出新的量化因子。随后，量化电路215按照此因子缩放(scale)去量化的DCT流。如此，具有与原始的流相同的内容，但数据率低并且相应的图像质量低的视频流就生成出来，用于在对应于较低速率的网络带宽条件下进行传输。然而，由于速率转换算法的复杂性，典型地要用专用处理器来实现。
图3图解说明了根据现有技术的一种实施例，典型的精细粒度可伸缩性(FGS)的编码器300。FGS编码器300包括加法器305、离散余弦变换(DCT)电路310、量化电路315、变长编码器(VLC)320、运动补偿块325和运动估计器330。FGS编码器300进一步包括反量化(Q-1)电路335、反离散余弦变换(IDCT)电路340、加法器345、加法器350、离散余弦变换(DCT)电路355、位平面移位电路360和变长编码器(VLC)365。
运动估计电路330接收原始的视频信号，并且估计所提供的参考帧与当前出现的视频帧之间的运动量，以像素特征发生的变化来代表。例如，MPEG标准规定，运动的信息可以由帧的每个16×16子决的1至4个空间运动矢量来表示。运动补偿电路325接收来自运动估计电路330的运动估计，并且生成运动补偿因子，该运动补偿因子由加法器(或组合器)305从原始的输入视频信号中减去。
DCT电路310接收来自加法器305的合成输出，并且运用公知的诸如离散余弦变换(DCT)的技术，把它从空间域转换到频率域中。量化电路315接收来自DCT电路310的原始的DCT系数的输出，并且运用众所周知的量化技术进一步压缩运动补偿的预测信息。量化电路315确定为对变换输出进行量化所要施加的分割因子。
可以是例如熵编码电路的变长编码器(VLC)320接收来自量化电路315的量化的DCT系数，并且运用变长编码技术进一步压缩该数据，变长编码技术即以相对较短的代码表示出现概率较高的区域；以相对较长的代码表示出现概率较低的区域。VLC 320的输出包括基本层的视频流。
反量化电路335去量化量化电路315的输出，来产生表示该变换输入到量化电路315的信号。此信号包括重构的基本层的DCT系数。正如众所周知的，反量化处理是“有损”处理，因为在由量化电路315执行的分割过程中损失的比特是无法恢复的。反离散余弦变换(IDCT)电路340解码反量化电路335的输出，以产生提供原始的视频信号的帧表示的信号，如由变换和量化处理所更改的。
加法器(或组合器)345把运动补偿电路325的输出与IDCT电路340的输出组合起来。加法器345的输出是运动补偿电路325的输入之一。运动补偿电路325运用来自加法器345的帧数据作为输入的参考信号，用于确定原始的输入视频信号中的运动变化。
加法器(或组合器)350接收原始的视频信号，并且减去来自加法器345的重构的基本层的帧信息。这得出了表示增强层信息的差数据。离散余弦变换(DCT)电路355接收来自加法器350的合成输出，并且把它由空间域变换到频率域中。DCT的输出由位平面移位电路350进行移位。最终，VLC 365接收移位的DCT系数，并且进一步运用变长编码技术压缩该数据。VLC 365的输出包括增强层的视频流。
图4图解说明了根据现有技术的一种实施例，典型的精细粒度可伸缩性(FGS)的解码器400。FGS解码器400包括变长解码器(VLD)405，反量化电路410、反离散余弦变换(IDCT)415，加法器(或组合器)420和运动补偿电路425。FGS解码器400进一步包括变长解码器430、位平面移位电路435、反离散余弦变换(IDCT)440和加法器(或组合器)445。
VLD 405接收传输的基本层的视频流。VLD 405、反量化电路410、反离散余弦变换(IDCT)415、加法器420和运动补偿电路425本质上与由图3中加法器305、DCT 310、量化电路315、VLC 320和运动补偿电路325所执行的处理相反。加法器420的输出为运动补偿的基本层的视频流。
VLD 430接收传输的增强层的视频流。VLD 430、位平面移位电路435和反离散余弦变换(IDCT)电路440本质上与由图3中DCT电路355、位平面移位电路360和VLC 365所执行的处理相反。IDCT 440的输出为编码的增强层的视频流。加法器445把来自加法器420的解码的基本层的视频流与解码的增强层的视频流合并，生成图3中的原始的输入视频信号。
在常规的FGS编码器300中，对输入视频序列进行编码，使得基本层具有规定的数据率，在该数据率下，解码的视频的质量低于原始的源的质量。尽管如此，基本层仍符合数字视频编码标准(诸如MPEG-4等)，籍此基本层能够独立地解码和显示。对增强层的数据进行编码，使得只传输残差(residual)信息(即原始的视频与解码的基本层之间的差)，以便降低位重要性。换而言之，对于整个视频图像来说，传输此残差数据的最高有效位，接着传输第二最高有效位、第三最高有效位等等。
这就允许依据有效的网络带宽，在视频图像内的任意点上截断增强层。传输的数据较少则导致视频的质量较低。然而，实际传输的数据的全部数据，则可以用来提高视频质量，其视频质量将超过单独传输基本层的。
常规的FGS编码与根据用于基本层的标准(例如MPEG-4)对源视频序列进行数字编码一起执行。运用离散余弦变换(DCT)，在空间频率域中对残差视频进行编码，随后按照递减位平面重要性的顺序进行排列。这种编码需要规定基本层的数据率，籍此作为源序列编码的一部分执行这种编码。诸如DVD上的或通过卫星、数字有线服务传输的数字视频的FGS编码，需要对数字视频进行部分地代码转换或解码，紧跟着为基础层以较低的数据率进行重编码，同时为增强层进行残差视频的编码。这个过程常常证明难以实时地执行。
诸如精细粒度可伸缩性(FGS)这样的分层视频的方案，提供了只要能够得到充足的带宽来发送和接收全部的基本层和增强层的信息，就总能提供原始视频的完全质量的优势。只有当不能够传输全部的增强层时，FGS降级。因此，对具有较高数据率的第一视频流进行速率转换成为具有降低数据率的第二视频流(其充当基本层)，同时对较高数据率与较低数据率的视频流之间的残差进行编码，其允许速率转换的方法和FGS分层编码的方法进行联合。这也使流优先排序技术的优点得以体现，以实现IEEE 802.11e标准中定义的MAC层QoS支持，从而达到更好、更快地与变化的信道条件相适应。
本发明中，代码转换的视频流和原始的视频流都进行解码，生成FGS层的视频流，使得在FGS层本身以上不再需要进行附加的编码(即基本层的重编码不再是必需的)。在运动估计和补偿用于视频压缩的数字视频编码的方法中，非精确解码可能导致预测漂移，这是因为视频图像能够充当对随后传输的图像进行解码的参考。
在常规的FGS编码中，当基本层编码之后，再计算增强层的残差视频，其包括运动预测。这使基本层在增强层不存在的情况下，得以无预测漂移地进行解码。然而，视频流的速率转换产生了DCT系数已经重量化的视频流。当解码时，DCT系数可能具有与用于原始的运动编码不同的值，籍此引起预测漂移。
如果视频流被速率转换成为降低了速率的视频流(充当FGS分层的流的基本层)，则在能够对FGS增强层进行编码之前，原始的视频流必须与代码转换的流一起进行完全解码。然而，当没有增强层的情况下进行解码之时，FGS基本层会有一些预测漂移。然而，当增强层完全存在之时，其相对于原始的流的编码确保了解码的图像的质量与通过对原始的视频流进行解码所得到的质量相一致。尤其是，由速率转换引入的预测漂移的影响将不再存在。
图5图解说明了根据本发明的一种实施例，典型的精细粒度可伸缩性(FGS)的代码转换器500。代码转换器500可以实现为视频编码器114的一部分。代码转换器500包括MPEG解码器505、精细粒度可伸缩性(FGS)增强层编码器510、MPEG解码器540和MPEG视频速率转换器550。FGS增强层编码器510进一步包括加法器(或组合器)515、离散余弦变换(DCT)520、位平面移位电路525和变长编码器(VLC)530。
MPEG视频速率转换器550把具有较高速率R1的输入的数字视频流转换成具有较低数据速率R2的第二数字视频流。MPEG解码器505以速率R1对原始的视频流进行解码。MPEG解码器540以速率R2对经过速率转换的基本层的视频流进行解码。FGS增强层编码器510对解码器505和540的残差进行编码。加法器(组合器)515检测FGS增强层编码器510的两个输入信号之间的差。DCT 520、位平面移位电路525和VLC 530以类似于图3中的DCT 355、位平面移位电路360和VLC 365的方式来处理FGS增强层的信号。
本方法的优势在于，只使用标准的解码器，而不再需要更加复杂的、须依靠编码方法和参数的编码器，并且该编码器在期望使用低廉的编码器的应用中可能导致图像质量较低。另一个优势是，本方法能够与任何速率转换的方案一起工作，因此可以使用任何常规的速率转换器。
因为FGS增强层的编码相当简单，所以本发明允许把数字视频流高效、经济、实时地速率转换成所需数据率的基本层和相应的FGS增强层。若使用接受模拟或像素域输入的速率转换器，则不再需要用于原始的视频流的MPEG解码器505，并且可以由适当的转换器来替换，借以产生FGS增强层的编码器510所需的视频格式。
虽然，按常规执行FGS编码，使得在图像域中、相对于预测编码的基本层对残差进行计算，但是，已经证明了，在FGS编码器中，可以改为在DCT系数域中，使用预量化的DCT和随后的去量化的DCT，在基本层的编码器的运动预测循环中对残差进行计算。这消除了其它方面FGS增强层编码要求的DCT操作。由如此编码的视频流所得到的解码的视频与由使用以上的图2中所示的常规的FGS方法编码的视频流所得到的视频，在图像域中只有非常微小的不同。但是，此差值无论如何非常小。特别地，它导致解码和显示的视频会出现少量的预测漂移。此漂移与由速率转换所引起的漂移分离和有所不同。
此结果可以用来使FGS代码转换的方法简单化，如以下图6所示的速率转换器的情况，该速率转换器通过去量化DCT系数并且使用不同的量化因子重量化它们，籍此产生所需的基本层的数据率，来执行其功能。
图6图解说明了根据本发明的另一种实施例，典型的精细粒度可伸缩性(FGS)的代码转换器600。代码转换器600可以实现为视频编码器114的一部分。代码转换器600包括变长解码器605、反量化电路610、量化电路615、变长编码器(VLC)620、量化系数块625和重量化系数块650。VLD 605接收速率为R1的高速率的MPEG视频流，并且对基本层和增强层进行解码，产生量化的离散余弦变换(DCT)系数。VLD605还从该视频流中提取量化系数，或识别预定的量化系数，并且把量化系数存储在量化系数块625中。反量化电路610接收量化的DCT系数，并且运用来自量化系数块625的量化系数，以速率R1来产生去量化的DCT系数。
重量化系数块650确定适于新的、较低的视频数据率的新的(或重量化)系数(即视频数据率的转换比率)。量化电路615运用重量化系数，以新的数据率R2来重量化反量化电路610的输出，籍此产生数据率为R2的重量化的DCT系数的视频流。之后，VLC 620对重量化的DCT系数进行编码，产生所需的低数据率R2的基本层的视频流。
反量化电路635从量化电路615接收重量化的DCT系数，并且产生数据率为R2的去量化的DCT系数。加法器(或组合器)630从反量化电路610的输出中减去反量化电路635的输出，籍此产生残差信号。由位平面移位电路640对该残差信号进行移位，之后由VLC 645进行编码。VLC 645的编码的输出包括FGS增强层的视频流。
在本方案中，由基本层速率转换器中的去量化系数和该速率转换器中的相同重量化系数的去量化，直接计算出残差。这样一种方案消除了使用两个解码器的要求，而只要求以上所述类型的基本层的代码转换器和DCT系数域中的FGS增强层的编码器，该编码器进一步消除了其DCT计算。
与现有技术的方法不同，由于速率转换的作用和DCT域中执行FGS残差计算的作用，本发明把预测漂移引入到了基本层和增强层中。因此，其最适合于图像数目、特别是图像组(GOP)中的参考图像(MPEG的I或P图像)数目总是小得足以使积累的预测误差不会被感知，或者至少不会令人不快的应用。
本项公开已阐述了某些实施例和通常所关联的方法，这些实施例和方法的变更和替换对所属技术领域的专业人员将会是显而易见的。从而，以上对示范实施例的阐述并不定义或限制本项公开。也有可能进行其它的改变、替代和更改，而不会脱离如以下权利要求所定义的本项公开的精神和范围。
Claims (34)
1.一种数字视频代码转换器(500)，其包括：
第一解码器(505)，其能够接收具有第一数据率(R1)的输入数字视频流，对所述的输入数字视频流进行解码以产生第一解码的视频流；
速率转换器(550)，其能够接收具有所述第一数据率(R1)的所述输入数字视频流，对所述的输入数字视频流进行重编码以产生具有比所述的输入数字视频流低的数据率(R2)的基本层视频流；
第二解码器(540)，其能够接收具有所述的第二数据率(R2)的所述的基本层视频流，对所述的基本层视频流进行解码以产生第二解码的视频流；和
增强层编码器(510)，其能够接收所述的第一解码的视频流和所述的第二解码的视频流，由此生成增强层视频流。
2.如权利要求1所述的数字视频代码转换器(500)，其中所述的第一和第二解码器包括MPEG视频解码器，所述的速率转换器包括MPEG视频速率转换器。
3.如权利要求1所述的数字视频代码转换器(500)，其中所述的增强层视频流与所述的第一与第二解码的视频流之间的差相对应。
4.如权利要求3所述的数字视频代码转换器(500)，其中所述的增强层编码器(510)对来自所述的第一和第二解码器的残差信号进行编码。
5.如权利要求4所述的数字视频代码转换器(500)，其中所述的增强层编码器(510)包括精细粒度可伸缩性(FGS)编码器。
6.如权利要求5所述的数字视频代码转换器(500)，其中所述的增强层编码器(510)包括能够对所述的第一与第二解码的视频流之间的差进行检测的检测电路，及对所述的差进行编码的变长编码器。
7.一种对数字视频进行代码转换的方法，其包括以下步骤：
接收具有第一数据率(R1)的输入数字视频流；
解码该输入数字视频流以产生第一解码的视频流；
重编码该输入数字视频流以产生具有比输入数字视频流低的数据率(R2)的基本层视频流；
解码该基本层数字视频流以产生第二解码的视频流；和
从第一解码的视频流和第二解码的视频流生成增强层视频流。
8.如权利要求7所述的方法，其中输入数字视频流包括MPEG视频流。
9.如权利要求7所述的方法，其中增强层视频流与第一与第二解码的视频流之间的差相对应。
10.如权利要求9所述的方法，其中生成的步骤包括对与第一解码的视频流和第二解码的视频流相关联的残差信号进行编码的步骤。
11.如权利要求10所述的方法，其中增强层视频流包括精细粒度可伸缩性(FGS)层视频流。
12.如权利要求11所述的方法，其中生成的步骤包括对第一与第二解码的视频流之间的差进行检测，及对该差进行编码的子步骤。
13.一种在计算机可读的介质上实现并且用来由处理器执行的计算机程序，该计算机程序包括如下用途的计算机可读的程序代码：
接收具有第一数据率(R1)的输入数字视频流；
解码该输入数字视频流以产生第一解码的视频流；
重编码该输入数字视频流以产生具有比输入数字视频流低的数据率(R2)的基本层视频流；
解码该基本层视频流以产生第二解码的视频流；和
从第一解码的视频流和第二解码的视频流生成增强层视频流。
14.如权利要求13所述的在计算机可读的介质上实现的计算机程序，其中输入数字视频流包括MPEG视频流。
15.如权利要求13所述的在计算机可读的介质上实现的计算机程序，其中增强层视频流与第一与第二解码的视频流之间的差相对应。
16.如权利要求15所述的在计算机可读的介质上实现的计算机程序，其中生成的步骤包括对与第一解码的视频流和第二解码的视频流相关联的残差信号进行编码的步骤。
17.如权利要求16所述的在计算机可读的介质上实现的计算机程序，其中增强层视频流包括精细粒度可伸缩性(FGS)层视频流。
18.如权利要求17所述的在计算机可读的介质上实现的计算机程序，其中生成的步骤包括对第一与第二解码的视频流之间的差进行检测，及对该差进行编码的子步骤。
19.一种视频传输系统，其包括：
视频编码器(114)，其能够从下列之一中接收视频帧的流：i)存储装置(115)和ii)视频帧的源(112)，其中所述的视频编码器(114)编码所述视频帧以产生输入数字视频流，其中所述的视频编码器(114)进一步包括数字视频代码转换器(500)，该数字视频代码转换器包括：
第一解码器(505)，其能够接收所述的具有第一数据率(R1)的输入数字视频流，对所述的输入数字视频流进行解码以产生第一解码的视频流；
速率转换器(550)，其能够接收具有所述的第一数据率(R1)的所述的输入数字视频流，重编码所述的输入数字视频流以产生具有比所述输入数字视频流低的数据率(R2)的基本层视频流；
第二解码器(540)，其能够接收具有所述的第二数据率(R2)的所述的基本层视频流，对所述的基本层视频流进行解码以产生第二解码的视频流；和
增强层编码器(510)，其能够接收所述的第一解码的视频流和所述的第二解码的视频流，由此生成增强层视频流；和
缓冲器，其能够在通过以下之一进行传输之前，存储所述的基本层视频流和所述的增强层视频流：i)无线网络和ii)有线网络。
20.如权利要求19所述的视频传输系统，其中所述的第一和第二解码器包括MPEG视频解码器，所述的速率转换器包括MPEG视频速率转换器。
21.如权利要求19所述的视频传输系统，其中所述的增强层视频流与所述的第一与第二解码的视频流之间的差相对应。
22.如权利要求21所述的视频传输系统，其中所述的增强层编码器(510)对来自所述的第一和第二解码器的残差信号进行编码。
23.如权利要求22所述的视频传输系统，其中所述的增强层编码器(510)包括精细粒度可伸缩性(FGS)编码器。
24.如权利要求23所述的视频传输系统，其中所述的增强层编码器(510)包括能够对所述的第一与第二解码的视频流之间的差进行检测的检测电路，及对所述的差进行编码的变长编码器。
25.一种可传输的视频信号，通过以下步骤产生：
接收具有第一数据率(R1)的输入数字视频流；
解码输入数字视频流以产生第一解码的视频流；
重编码输入数字视频流以产生具有比输入数字视频流低的数据率(R2)的基本层视频流；
解码基本层视频流以产生第二解码的视频流；和
从第一解码的视频流和第二解码的视频流生成增强层视频流，其中可传输的视频信号包括基本层视频流和增强层视频流。
26.一种数字视频代码转换器(600)，其包括：
解码器(605)，其能够接收具有第一数据率(R1)的输入数字视频流，对所述的输入数字视频流进行解码以产生第一量化的离散余弦变换(DCT)系数；
第一反量化器(610)，其能够接收所述的第一量化的DCT系数，以所述的第一数据率(R1)产生第一去量化的DCT系数；
重量化器(650)，其能够确定与第二数据率(R2)相关联的量化系数；
量化器(615)，其能够运用所述的量化系数，以所述的第二数据率(R2)量化所述的第一去量化的DCT系数，以产生第二量化的DCT系数；和
第一编码器(620)，其能够编码所述的第二量化的DCT系数以所述的第二数据率(R2)产生基本层视频流。
27.如权利要求26所述的数字视频代码转换器，其进一步包括：
第二反量化器(635)，其能够接收所述的第二量化的DCT系数，以所述的第二数据率(R2)产生第二去量化的DCT系数；
组合器(630)，其能够从所述的第一去量化的DCT系数中减去所述的第二去量化的DCT系数以产生残差信号；
移位器(640)，其能够位平面移位所述的残差信号；和
第二编码器(645)，其能够接收所述的移位的残差信号，由此生成增强层视频流。
28.如权利要求27所述的数字视频代码转换器，其中：
解码器(605)包括变长解码器；和
第一和第二编码器(620，645)包括变长编码器。
29.一种对数字视频进行代码转换的方法，其包括以下步骤：
接收具有第一数据率(R1)的输入数字视频流；
解码所述的输入数字视频流以产生第一量化的离散余弦变换(DCT)系数；
运用所述的第一量化的DCT系数，以所述的第一数据率(R1)产生第一去量化的DCT系数；
确定与第二数据率(R2)相关联的量化系数；
运用所述的量化系数，以所述的第二数据率(R2)量化所述的第一去量化的DCT系数以产生第二量化的DCT系数；和
编码所述的第二量化的DCT系数以所述的第二数据率(R2)产生基本层视频流。
30.如权利要求29所述的方法，其进一步包括：
运用所述的第二量化的DCT系数，以所述的第二数据率(R2)产生第二去量化的DCT系数；
从所述的第一去量化的DCT系数中减去所述的第二去量化的DCT系数以产生残差信号；
位平面移位所述的残差信号；和
运用所述的移位的残差信号生成增强层视频流。
31.如权利要求30所述的方法，其中：
解码所述的输入数字视频流包括变长解码所述的输入数字视频流；
编码所述的第二量化的DCT系数包括变长编码所述的第二量化的DCT系数；和
生成所述的增强层视频流包括运用变长编码生成所述的增强层视频流。
32.一种在计算机可读的介质上实现并且用于由处理器操作执行的计算机程序，该计算机程序包括如下用途的计算机可读的程序代码：
接收具有第一数据率(R1)的输入数字视频流；
解码所述的输入数字视频流以产生第一量化的离散余弦变换(DCT)系数；
运用所述的第一量化的DCT系数，以所述的第一数据率(R1)产生第一去量化的DCT系数；
确定与第二数据率(R2)相关联的量化系数；
运用所述的量化系数，以所述的第二数据率(R2)量化所述的第一去量化的DCT系数以产生第二量化的DCT系数；和
编码所述的第二量化的DCT系数以所述的第二数据率(R2)产生基本层视频流。
33.如权利要求32所述的在计算机可读的介质上实现的计算机程序，进一步包括如下用途的计算机可读的程序代码：
运用所述的第二量化的DCT系数，以所述的第二数据率(R2)产生第二去量化的DCT系数；
从所述的第一去量化的DCT系数中减去所述的第二去量化的DCT系数以产生残差信号；
位平面移位所述的残差信号；和
运用所述的移位的残差信号生成增强层视频流。
34.如权利要求33所述的在计算机可读的介质上实现的计算机程序，其中输入数字视频流包括MPEG视频流。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US63521204P | 2004-12-10 | 2004-12-10 | |
| US60/635,212 | 2004-12-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101077011A true CN101077011A (zh) | 2007-11-21 |
Family
ID=36096435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2005800424968A Pending CN101077011A (zh) | 2004-12-10 | 2005-12-08 | 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20090238264A1 (zh) |
| EP (1) | EP1825686A1 (zh) |
| JP (1) | JP2008523687A (zh) |
| KR (1) | KR20070090240A (zh) |
| CN (1) | CN101077011A (zh) |
| WO (1) | WO2006061794A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105159890A (zh) * | 2014-06-06 | 2015-12-16 | 谷歌公司 | 使用神经网络产生输入序列的表示 |
| CN106713912A (zh) * | 2013-01-02 | 2017-05-24 | 杜比实验室特许公司 | 用于视频信号的向后兼容编码和解码的方法和装置 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7707485B2 (en) * | 2005-09-28 | 2010-04-27 | Vixs Systems, Inc. | System and method for dynamic transrating based on content |
| US20080013624A1 (en) * | 2006-07-14 | 2008-01-17 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding video signal of fgs layer by reordering transform coefficients |
| FR2904494B1 (fr) * | 2006-07-26 | 2008-12-19 | Canon Kk | Procede et dispositif de compression d'image, systeme de telecommunication comportant un tel dispositif et programme mettant en oeuvre un tel procede |
| WO2008085150A1 (en) | 2006-12-21 | 2008-07-17 | Thomson Licensing | Method, apparatus and system for providing color grading for displays |
| US8594137B2 (en) * | 2007-02-20 | 2013-11-26 | Teradici Corporation | Apparatus and methods for image decoding |
| KR101604563B1 (ko) * | 2007-06-28 | 2016-03-17 | 톰슨 라이센싱 | 네트워크 아키텍처를 통해 디스플레이 장치 특정 콘텐트를 제공하는 방법, 장치 및 시스템 |
| KR100952471B1 (ko) * | 2007-12-17 | 2010-04-13 | 한국전자통신연구원 | 무선 홈 네트워크에서 ｈ．２６４ｓｖｃ 멀티미디어데이터의 로드 밸런싱 시스템 및 방법 |
| US8325800B2 (en) | 2008-05-07 | 2012-12-04 | Microsoft Corporation | Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers |
| US8379851B2 (en) | 2008-05-12 | 2013-02-19 | Microsoft Corporation | Optimized client side rate control and indexed file layout for streaming media |
| US7925774B2 (en) | 2008-05-30 | 2011-04-12 | Microsoft Corporation | Media streaming using an index file |
| US8265140B2 (en) * | 2008-09-30 | 2012-09-11 | Microsoft Corporation | Fine-grained client-side control of scalable media delivery |
| TWI399093B (zh) * | 2009-12-30 | 2013-06-11 | Univ Feng Chia | 用於高效能細緻可調性編碼器之快速重新量化方法及快速重新量化器 |
| US9106925B2 (en) * | 2010-01-11 | 2015-08-11 | Ubiquity Holdings, Inc. | WEAV video compression system |
| US8422859B2 (en) * | 2010-03-23 | 2013-04-16 | Vixs Systems Inc. | Audio-based chapter detection in multimedia stream |
| US10326978B2 (en) | 2010-06-30 | 2019-06-18 | Warner Bros. Entertainment Inc. | Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning |
| US9591374B2 (en) | 2010-06-30 | 2017-03-07 | Warner Bros. Entertainment Inc. | Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies |
| KR101141385B1 (ko) * | 2010-08-13 | 2012-05-03 | 삼성전기주식회사 | 프로브 기판의 리페어 방법 및 이를 이용한 프로브 기판 |
| US20210127125A1 (en) * | 2019-10-23 | 2021-04-29 | Facebook Technologies, Llc | Reducing size and power consumption for frame buffers using lossy compression |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1251512C (zh) * | 2001-07-10 | 2006-04-12 | 皇家菲利浦电子有限公司 | 从不可分级编码视频信号产生可分级编码视频信号的方法和装置 |
-
2005
- 2005-12-08 US US11/721,232 patent/US20090238264A1/en not_active Abandoned
- 2005-12-08 WO PCT/IB2005/054131 patent/WO2006061794A1/en not_active Application Discontinuation
- 2005-12-08 EP EP05826741A patent/EP1825686A1/en not_active Withdrawn
- 2005-12-08 CN CNA2005800424968A patent/CN101077011A/zh active Pending
- 2005-12-08 JP JP2007545065A patent/JP2008523687A/ja active Pending
- 2005-12-08 KR KR1020077015754A patent/KR20070090240A/ko not_active Application Discontinuation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106713912A (zh) * | 2013-01-02 | 2017-05-24 | 杜比实验室特许公司 | 用于视频信号的向后兼容编码和解码的方法和装置 |
| CN106713912B (zh) * | 2013-01-02 | 2020-02-21 | 杜比实验室特许公司 | 用于视频信号的向后兼容编码和解码的方法和装置 |
| CN105159890A (zh) * | 2014-06-06 | 2015-12-16 | 谷歌公司 | 使用神经网络产生输入序列的表示 |
| CN105159890B (zh) * | 2014-06-06 | 2021-05-11 | 谷歌有限责任公司 | 使用神经网络产生输入序列的表示的方法、系统和介质 |
| US11222252B2 (en) | 2014-06-06 | 2022-01-11 | Google Llc | Generating representations of input sequences using neural networks |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2006061794A1 (en) | 2006-06-15 |
| US20090238264A1 (en) | 2009-09-24 |
| EP1825686A1 (en) | 2007-08-29 |
| KR20070090240A (ko) | 2007-09-05 |
| JP2008523687A (ja) | 2008-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101077011A (zh) | 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法 | |
| CN1192629C (zh) | 应用基层编码信息改进精确颗粒可定标图像的系统和方法 | |
| CN1303817C (zh) | 细粒可调节视频残差信号的编码解码系统和方法 | |
| CN1196341C (zh) | 使用基层量化数据对增强层数据进行编码和解码的系统和方法 | |
| JP4842486B2 (ja) | プログレッシブファイングラニュラリティスケーラブル（ｐｆｇｓ）ビデオ符号化のための事前予測ビットプレーン符号化を使用するシステムおよび方法 | |
| US6233017B1 (en) | Multimedia compression system with adaptive block sizes | |
| KR20030020382A (ko) | Ｆｇｓ 강화층에 대한 활동-기반 주파수 가중을 위한 방법및 시스템 | |
| KR20010074974A (ko) | 스케일링가능 비디오 코딩을 위한 시스템 및 방법 | |
| US7245662B2 (en) | DCT-based scalable video compression | |
| KR20070100081A (ko) | 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치 | |
| KR100952185B1 (ko) | 순방향 에러 정정 코드를 이용하여 비디오의 드리프트 없는 단편적인 다중 설명 채널 코딩을 위한 시스템 및 방법 | |
| KR101032243B1 (ko) | 스케일링가능한 비트스트림 추출을 위한 방법 및 시스템 | |
| US20060250520A1 (en) | Video coding method and apparatus for reducing mismatch between encoder and decoder | |
| US20070121719A1 (en) | System and method for combining advanced data partitioning and fine granularity scalability for efficient spatiotemporal-snr scalability video coding and streaming | |
| US6996172B2 (en) | Method and structure for scalability type selection in digital video | |
| JP2006500849A (ja) | スケーラブルなビデオエンコード | |
| Matsuo et al. | A bit-plane coding scheme of MPEG-4 FGS with high efficiency based on the distribution of significant coefficients |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |