CN1466853B - 视频处理方法、设备和系统 - Google Patents

视频处理方法、设备和系统 Download PDF

Info

Publication number
CN1466853B
CN1466853B CN018165583A CN01816558A CN1466853B CN 1466853 B CN1466853 B CN 1466853B CN 018165583 A CN018165583 A CN 018165583A CN 01816558 A CN01816558 A CN 01816558A CN 1466853 B CN1466853 B CN 1466853B
Authority
CN
China
Prior art keywords
data
layer
threshold value
video
digital video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN018165583A
Other languages
English (en)
Other versions
CN1466853A (zh
Inventor
H·蒋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN1466853A publication Critical patent/CN1466853A/zh
Application granted granted Critical
Publication of CN1466853B publication Critical patent/CN1466853B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

在编码处理中,视频数据是以量化的基本数据和增强数据的位流来表示的,该增强数据采集了在量化基本视频图像和原始未量化输入视频图像之间的差值。由于受到通信信道的带宽限制,难以实现传输所有的增强数据。在编码处理的过程中,可以根据带宽的限制将增强数据分成“层”。在传输之后,可由解码器来重新组合层并加上基本数据,从而产生可视的视频序列。

Description

视频处理方法、设备和系统
背景
本发明涉及视频处理。
为了能在限定带宽的数字信道中通信,通常将模拟的视频编码成位流并且对位流进行压缩。在接收机端进行解压缩并转换回模拟的。
能部分补偿质量损失的压缩技术包括在传输之前将视频数据分成两部分数据:数据的“基本”体和数据的“增强”体。基本数据包括视频序列的低质量版本,但能够采用相当小的带宽来传输。
增强数据提供了对基本数据的校正。增强数据可以包含增强图像区域颜色和增强图像区域细节的信息。在接收端,解码处理的过程中可以将基本数据与增强数据重新组合。所有增强数据与基本数据的重新组合将使输出视频的质量接近于原始视频。然而,因为通信信道的带宽限制,常常不能传输完全的增强数据体。而是将增强数据分成较小的子集,每一个只需要较小的带宽,且一个或多个子集的增强数据可以与基本数据同时传输。传输越多的增强数据,就能产生更好的输出视频,但需要更宽的带宽。
附图简述
图1a是显示视频信号路径的功能框图。
图1b是显示视频信号路径的图。
图2是产生典型图像的单元分级表示。
图3a和3b是描述DCT系数结构的图。
图4是显示视频编码和压缩的方框图。
图5是显示视频解码的方框图。
图6是说明基于阈值分层处理的流程图。
图7是说明阈值选择的流程图。
图8a和8b显示了增强数据系数幅值的示例部分,它被分成了位平面和层的子集。
图9是说明解码器收集增强数据层的流程图。
详细描述
总的来说,以下所讨论的技术改善了视频数据在网络中的分布,其中不同的通信路径是以不同的带宽表征的。
图1a是显示在网络中分布的视频数据所采取的路径的方框图。输入的视频信号10馈送至编码器12,该编码器将输入的视频信号10转换成机器可读的位序列、或位流形式的视频数据位流。随后将视频数据存储于服务器14,以待对该视频数据的请求。当服务器14接收到视频数据的请求时,就将该数据发送至发射机16,发射机将数据18沿着网络上的通信信道发送。接收机20接收到数据18并将该数据以位流发至解码器22。解码器22把所接收到的位流转换成输出视频信号24,随后可以观看该视频信号。
图1b显示了分布视频数据的系统。视频源11产生输入视频信号10,它被输入到第一计算机13。第一计算机13包括编码器12,它将视频数据编码成位流18,用于沿着与网络19相耦合的通信信道17发送。第一计算机13也包括存储器15,用于存储视频数据并起着服务器14的作用。第二计算机23包括了解码器22,它通过信道21接收位流18。解码器22将所接收到的位流18转换成输出的视频信号24,该信号可以在观察器25上观看。
在编码器12上所完成的编码可以涉及诸如MPEG-2或MPEG-4,第一版或第二版的有损压缩技术。(MPEG是运动图像专家组的简称,以及MPEG-2和MPEG-4表示该小组所开发的数字视频压缩标准以及文件格式。)这些技术产生了基本视频数据体,即,这些数据体足以产生相比于源视频序列的较低质量可视视频序列。如果解码和观察了基本的视频数据,最终产生的视频将是以原始视频较差形式感知的。
MPEG所采用的一种有损压缩技术是将视频序列中的大部分图像编码为一幅图像到下一幅的变化(连同运动矢量一起)而不是编码为图像数据本身。该项技术可明显地节省带宽。
数据的另一部分被称之为增强数据,它采集在量化基本视频图像和原始未量化输入视频图像之间的差值。当增强数据与基本数据相组合时,增强数据可改善可视视频序列的质量,从而产生改善的视频输出。
增强数据的子集可以包括对图像的校正,或对一幅图像到下一幅的变化进行校正。一般来说,增强数据与基本数据相对应,即,如果基本数据对一幅图像到下一幅的变化进行编码,则对应于基本数据的增强数据可包括对一幅图像到下一幅的变化进行校正。增强数据也可以用于解码22过程,以在解码过程中重新构成在编码12时从所编码的基本视频数据中去除的图像。
在许多情况下,通信信道16只具有有限的带宽,并且只能容纳部分但不是全部的增强数据。当接收机20和解码器22接收了少于全部增强数据时,输出视频24就只能得到少于全部的校正。以下所讨论的技术有效利用带宽,采用以下将讨论的基于阈值的处理,通过产生增强数据的子集或“层”,在给定带宽的条件下传递更多的增强。
图2显示了形成图像的一些单元。一般来说,图像是由图像单元,或像素所组成的。一个8×8的像素正方形形成了块30,而一个2×2的块正方形形成了大块32。逐个并排放置的大块32可以形成图像数据的片段34。片段可以是图像的水平条,或者是以光栅扫描次序的若干相邻的条。片断序列可以构成图像36。为了解释的目的,通过考虑8×8视频数据块30来演示编码的过程。实际的处理可采用不同于8×8块的数据单元来实现,如大块32。
在编码的处理中,图像数据可以进行变换处理作为数据压缩的一部分。广泛采用的变换是离散余弦变换(DCT)。DCT是类似于离散傅立叶变换的线性变换,其中,经变换的数据是以频率来排序的并且采用系数加权。进行DCT的8×8像素块将产生8×8的系数矩阵。DCT还可以对其它尺寸的像素组(例如,16×16块)进行操作,但是,8×8块的变换是DCT的示范应用。一般来说,DCT将每一个8×8像素块作为离散信号来处理。DCT产生表示像素的水平频率和垂直频率的8×8系数矩阵。
图3a说明了在8×8矩阵40中DCT是如何排列系数的。将水平系数以较低频率项在左而较高频率项在右的方式排序。将垂直系数以较低频率项在上而较高频率项在下的方式排列。在最左上的单元42中存储的系数表示8×8像素块中具有零水平频率和零垂直频率的部分,该部分在整个块中是恒定的。该系数通常被称为“DC系数”,它可以表示整个像素块的平均色彩和亮度。存储于最右下单元44的系数表示了块中水平和垂直变化的最高的量。
在矩阵40中的系数可以是任意范围内的整数。这些系数经常被存储为由一组位组成的幅值和由单个位组成的符号(正或负)。
正如图3b所说明的,矩阵40可以形象化为二进制系数的三维阵列,而阵列每一个单元分别由‘1’位或‘0’位占据。最上的位平面,或“位平面”46,表示了最高有效位。次最高平面48表示次最高有效位,依次类推。最下面的平面50则表示最低有效位。图3b所示的阵列表示了8×8系数矩阵,每一个系数由8位所组成。这样,每一个系数可以表示0至255(28-1)的整数。也可以采用多于或少于8位来表示系数。
编码处理产生了增强数据的系数矩阵,它可以进一步分成多个位平面以便于传输。正如以下所讨论的,将增强数据分成位平面效率较低和不灵活的。以下所讨论的基于阈值的分层处理提供了划分增强数据更灵活和更有效的方法。
图4显示了举例编码器12的方框图。编码器12可采用软件来实现,它可以存储于任何机器可读介质上机器或计算机系统中,例如,磁盘或光驱动,也可以存储于非易失性存储器中,例如,只读存储器(ROM)。图4说明了一系列输入图像60的编码和压缩,产生了视频数据的基本数据位流62加上增强数据位流64。在存储于服务器上或沿着通信信道传输之前,可以采用多路复用器(未示出)将基本数据位流62和增强数据位流64组合成单个输出位流(未示出)。
由标准的视频编码和压缩66产生基本数据。图4所显示的编码和压缩组件66只是为了说明,并不是获得编码和压缩的唯一方法。编码和压缩可采用DCT 68,量化70,扫描72以及可变长度编码74。基本数据62的产生是有损处理,其中损失的大部分发生在量化期间。图4也包括用于对两个单独图像之间的变化进行编码的组件,它包括逆量化76,离散余弦反变换(IDCT)78,运动补偿80,帧存储82,运动估计84,以及用于从输入的图像流60中扣减86之前图像88以分离出一幅图像到下一幅的变化。
图4显示了导致增强数据产生的扣减90。经过处理98的增强数据与基本数据相分离。增强数据包含着未量化的基本视频数据和未量化的输入视频之间的差值。在图4中,对应于每一个图像的增强数据表示了对各个图像之间变化的增强,以及对各个图像自身的增强。
增强数据可进行任选的预处理92。预处理可以包括,例如,着重在增强数据中的在可视性上较为重要的分量而削弱在可视性上无关紧要的分量。一般来说,观看视频的人士往往集中于图像的整个画面,而不是图像的细节部分。涉及整个画面的信息,在可视性上更为重要,往往会集中在图3所示的较低频率的DCT项。涉及图像细节的信息,在可视性上不太重要,往往会集中于较高频率的DCT项。预处理可以用于着重在可视性上较为重要的数据,且给它较高的传输优先级。
增强数据进行基于阈值的分层处理94,以下将作更详细的讨论。基于阈值的分层处理94的迭代应用100产生了增强数据的多个层。扫描95这些层,且采用可变长度编码器96进行编码,产生增强数据的位流64。
基本数据位流62和增强数据位流64都可以存储于服务器,以等待客户端对视频序列或广播至网络的请求。当视频数据在通信信道17上传输时,通常与各层增强数据一起传输基本数据62。
图5显示了举例的解码器22的方框图。解码器22,类似于编码器12,也可以采用软件来实现。图5说明了视频数据的解码和恢复的方法,其中,视频数据是由服务器14通过通信信道17传输并且由客户端接收20的。图5所示的解码器22说明了对视频数据进行解码的一种方法,但这并不是对数据进行解码的唯一方法。图5所示的部分操作是线性的,并且可以不同的次序出现。例如,图5描述了在IDCT的操作114,132之后增强数据与基本数据的重新组合。采用该项技术,基本数据数值对应于诸如像素的图像单元,而增强数据表示对图像单元的校正。然而,因为离散余弦变换是线性的,所以增强数据可以在IDCT操作114,132之前与基本数据重新组合。在后者情况下,基本数据的数值表示DCT系数,以及增强数据表示对系数的校正。此外,解码还可以包括图5未显示的其它操作。
解码器22的输入包括视频数据的位流(未示出),该位流可以分成为基本数据位流62和增强数据位流102。去多路复用器(未示出)可以用于分解位流。图5所示的基本数据位流62与图4所示的位流62相同。然而,图5所示的增强数据位流102并不一定要与图4所示的位流64相同。因为信道带宽的限制,可在信道中传输少于全部量的增强数据。
基本数据和增强数据要经受不同的解码处理,或“流水线”104,106。正如基本数据和增强数据的编码可涉及不同的步骤一样,在解码处理中也可以具有一些不同。
在基本数据解码流水线104中,基本数据经受可变长度的解码108,逆扫描110,逆量化112,以及IDCT114。可变长度解码108,逆扫描110,逆量化112,以及IDCT114的操作基本上抵消了图4所示的在编码过程中所执行的可变长度编码74,扫描72,量化70以及DCT68操作。随后在运动补偿器116中处理经解码的基本数据,它根据从一幅图像到下一幅图像的变化来重新构成各个图像。来自先前的数据,或“参考”图像可以存储于称之为“帧缓冲器”120的临时存储器单元并且可以用作参考。来自IDCT114的解码数据可用于运动补偿器116,以确定在该序列中下一幅图像是如何从原先的图像变化的。IDCT114可导致产生无效的视频数据,例如,超出范围的数值。“剪辑”功能115通过将这些数据设置成最接近的范围内数值而使这些数据有效。基本数据流水线104的输出是经解码的基本视频数据122。图5所示的基本数据解码技术只是用于说明的,而并不是获得解码的唯一方法。
适用于增强数据106的解码流水线不同于基本数据104的解码流水线。增强数据经受可变长度的解码处理124以及逆扫描处理126,它们抵消了编码器12所进行的可变长度编码96和扫描95。该数据随后进行收集128和后处理130。将在下文中作更详细的讨论的收集128组合由基于阈值分层处理94所产生的增强数据的层。后处理130抵消编码器12所进行的预处理92。IDCT 132的输出表示了校正,它被与基本数据进行累加134和并被剪辑135,产生增强的可视视频数据136。
正如以上所提及的,带宽的限制常常会妨碍全部增强数据体的传输。在存在着带宽限制的条件下,就希望能传输增强数据的子集以产生最好的输出视频质量。一种选择增强数据子集的方法是逐位平面传输增强数据。服务器14首先传输最高有效位平面46,接着传输包含次最高有效位的位平面48。服务器14连续传输与带宽所容纳一样多的位平面。最高有效的位平面46接收最高传输的优先级,具有次最高有效位的位平面48接收次最高传输优先级,依次类推。因为带宽的限制,含有较低有效位的位平面可能根本不传输。
逐位平面的增强数据的传输并不是很有效,有几个原因。其一,对基本数据的大多数校正往往是相对较小的校正。结果,由于在增强数据块40中的大部分数往往是小的数,因此最高有效的位平面46通常包含高百分比的‘0’位。同样,次最有效位平面48也可能包含高百分比的‘0’位,虽然通常该百分比不会与最有效的位平面46中的百分比一样高。因此,只有两个增强数据位平面的传输一般不能对基本数据产生足以满意的校正,因为大部分增强位是‘0’位。于是,逐位平面地传输增强数据并不能得到正比于带宽的改善图像质量。例如,将可用带宽截去一半会使得图像的校正质量降低一大半。
其次,每个位平面都进行可变长度编码96,这也占用了不相等的带宽。典型的是,最高有效的位平面46需要最小的带宽,而最低有效的位平面50则需要最宽的带宽。一般说来,每个位平面都比在其之上的位平面占用更大的带宽。如果增强数据是逐位平面传输,则每一个所传输的位平面都会比先前所传输的位平面占用更大的带宽。在某些点上,带宽并不能容纳整个新的位平面,而只能传输部分的位平面。于是,只能有部分图像36能接收到位平面的增强,而图像的其余部分并不能得到增强。整个图像36不能得到同样的增强。
第三,逐位平面的传输不灵活且不能考虑由于增强数据的质量的调整。
本文所讨论的技术提供了采用基于阈值的分层处理方法94来更有效地使用可用带宽。基于阈值的分层处理94通过将增强数据灵活地分成各层,而不是严格地分成位平面的方法,提供了对整个图像的改善。将增强数据分成位平面并不需要考虑增强数据的特性。相反,将增强数据分成各层就允许根据增强数据的特性来划分增强数据。于是,基于阈值的分层处理94允许编码器12对增强数据调节编码处理。基于阈值分层的优点是通常它能产生多个占用近似相同量带宽的层,从而使得所接收的图像质量与可用带宽更密切相关。
增强层的产生过程如图6所示。该处理以增强数据体(140)进入基于分层处理94开始。确定是否需要产生增强数据的层(142),如果不需要,则基于阈值分层处理94就结束(144)。可以存在着许多终止分层处理的条件。例如,如果增强数据全部由‘0’位组成,那么就没有需要处理的数据,并终止分层处理94。其他终止处理的条件是处理94是否已经产生了预定数量的层,或者,是否所有的可用带宽都已用尽。编码器12也能用于确定所要产生的层的数量。
以下进行更为详细的解释,产生增强数据的层包括选择阈值的数值(146)。在该阈值的基础上,可以产生包括‘1’位和‘0’位的增强数据(148)的层。增强数据层包括所有幅值大于和等于阈值的‘1’位,以及所有幅值小于阈值的‘0’位。通过选择阈值的数值,使得一层可包括比包含在位平面中更多,更少和相等的‘1’位。可以选择阈值来调节在层中的‘1’位的数量,或调节在层中的‘1’位的分布,或控制层所占用的带宽,或其中的任意组合。可以从增强数据的幅值中减去阈值(150),但只是从等于或大于阈值的幅值中减去,以致不会产生负的幅值。
一旦产生该层之后,在增强数据位流64中可以包括该层(152)。层一般包括头部,它存储所选的阈值。解码器22可以使用头部中的阈值,对增强数据进行解码。除了阈值和数据层之外,还可以发送符号数值。虽然有许多方法可用于发送符号数值数据,但是,一般来说,只对在增强数据位流中所实际包括的系数发送符号数值,并且只发送一次系数的符号数值,这样更有效。随后可以重复分层处理(154),以产生具有不同阈值的其它层。有可能重复使用相同的阈值来产生分层,以及,也有可能之后的阈值比较早的阈值具有更高的数值。
有许多根据增强数据的特性来选择阈值电平的方法。图7显示了一种设置阈值电平的方法。可以通过计算系数幅值的频率(162)来估计增强数据(160)。统计分析,例如,柱状图的制备,可以用于估计系数的分布。根据统计分析(164)所显示的分布,可以选择阈值将增强数据分层(166)。划分增强数据的方法包括对增强层选择目标数量的‘1’位,以产生适合于所要求带宽内的层,产生满足所要求增强质量的层,产生根据增强数据的其它特性的层,或者上述的组合。以下所说明的技术涉及对阈值的选择以产生多个层,各个层包含近似目标数量的‘1’位。
图8a和8b采用了适用于小的图像的系数幅值(190)所举例的块,以比较五层增强数据(200,202,204,206,208)的产生与三个位平面(192,194,196)的产生。图8a和8b也说明了许多用于选择阈值的技术中的一种技术。以系数幅值的所举例的块(190)开始,确定在块中最大的数值是120(即,在该实例中,这是DC系数的幅值),或,7位二进制数是‘1111000’。因为,在块(190)中的最大的数值可以由7位来表示,该块可以作为整体用七位平面来表示。最高有效位平面(192)包括14个‘1’位。第二最高有效位平面(194)包括21个‘1’位。第三最高有效位平面(196)包括26个‘1’位,这几乎是最高有效位平面(192)的两倍。因为‘1’位的数量是随着各个连续位平面而增加的,所以各个位平面比它之前位平面占用更多的带宽。
与图8a的3个位平面(192,194,196)相比较,图8b显示了增强数据的5个层(200,202,204,206,208),所指的各层是包括大约10个‘1’位。第一增强层(200)是通过第一阈值71的选择而产生的。所产生的第一增强数据层(200)包括大于和等于第一阈值71的所有系数幅值的‘1’位,以及小于阈值的所有幅值的‘0’位。第一阈值71的选择使得在的第一层(200)包括10个‘1’位。
随后从所有大于和等于阈值的幅值中减去第一阈值71(150),并且产生第二层(202)。第二所选择的阈值是49,它产生了第二层增强数据(202)。与第一层类似,第二层也包括10个‘1’位。
随后重复该处理,以产生的第三层(204),它使用了第三阈值33。再次,第三层包括10个‘1’位。采用第四阈值25来产生第四层(206),它同样也包括10个‘1’位,同样采用第五阈值19来产生的第五层(208)。
于是,通过选择阈值,能够产生5层增强数据(200,202,204,206,208),各层都具有10个‘1’位,并且各层都占用大约相同的带宽。实际上,不是所有层都实际具有目标数量的‘1’位,但是通过根据数据分布对阈值的选择,常常有可能产生多个各层的‘1’位数量相互接近的层。此外,虽然可以要求将增强数据分成了相同带宽的层,但是各层也可具有不相同的带宽。
阈值的确定中可用带宽具有重要的作用。例如,如果总的可用带宽可容纳每单位时间50个‘1’位的话,则利用阈值将增强数据分层可具有超越将增强数据分成位平面的优点。基于阈值的分层处理包括灵活性,以产生5个完整的增强数据层(200,202,204,206,208),各层都能改善整个图像并且所有层都能在可用的带宽中传输。然而,相同的带宽并不能容纳前3个位平面(192,194,196),它包括了比可用带宽能够容纳的更多的每单位时间的‘1’位。如果总的可用带宽能够容纳不同数量的‘1’位,则可以选择阈值来产生能够在该带宽中传输的层。
阈值的选择也可以考虑增强数据是否在两个不同带宽的信道上传输。例如,如果第一信道能够容纳大约每单位时间50个‘1’位,而第二信道可以容纳大约每单位时间30个‘1’位,则可以在第一信道上传输5个完整层(200,202,204,206,208),而在第二信道上传输3个完整层(200,202,204)。
除了带宽或在带宽之外,阈值选择也可以根据其它因素,例如,每层所需改进量。
在解码器22接收到各层及其对应的阈值之后,解码器22通过收集128各层来抵消分层处理。收集的处理如图9所示。在收集处理开始时,可以接收(210)到用于视频数据特定单元的增强数据,例如块30。该增强数据一般是由多层组成。收集增强数据层并且可将其保持在缓冲器中,该缓冲器保持校正系数的幅值。典型的是,在缓冲器中的校正系数初始化为零(212)。如果存在增强数据层(214),则恢复用于产生层的阈值,例如,从该层头部中检索阈值(216)。随后该阈值被加到缓存器中对应于层中的每个‘1’位的每个校正系数(218)。对于各个‘0’位来说,缓冲器中对应的校正系数不作任何相加。只要存在其它层,就重复该处理(220)。对每一个其它层来说,在缓冲器中的数据接近于编码器12进行阈值处理94的数据值。当各层都被收集了之后,且缓冲器中的数据表示解码器22所接收到的经收集的增强数据102,它通常只是近似增强数据体的全部。为该数据分配适当的符号数值(222,224)。
也可对该数据进行任选的截断调整(226)。对低于最低阈值和太小而无法传输的非零幅值会发生截断错误。这些幅值在缓冲器中被表示为零。截断调整加上少量“噪声”来取代零。该噪声可简单地包括将常数值,例如,大约四分之一的最低阈值的数值,与缓冲器的所有零相加。另一种方法是采用一个小于最低阈值的随机整数来替代零值。在截断调整(226)之后,可以终止校正处理(228),并且进一步处理增强数据以及与基本数据相组合,如图5所示。
已经讨论本发明的各种实施例。这些和其它实施例都在以下权利要求书的范围之内。

Claims (19)

1.一种用于视频处理的方法,包括:
根据源视频数据形成数字视频增强数据层,通过:
为每一层选择阈值;
从所述源视频数据产生数字增强数据层,该增强数据层具有对于大于或等于所述阈值的每一系数幅值的‘1’比特。
2.如权利要求1所述的方法,其特征在于选择所述阈值使得每一层消耗大约等量的带宽。
3.如权利要求1所述的方法,其特征在于所述源视频数据包括图像并且每一处理过的层增强了整个图像。
4.一种用于视频处理的设备,它包括:
用于根据源视频数据形成数字视频增强数据层的装置,通过:
为每一层选择阈值;
从所述源视频数据产生数字增强数据层,该增强数据层具有对于大于或等于所述阈值的每一系数幅值的‘1’比特。
5.如权利要求4所述的设备,其特征在于选择所述阈值使得每一层消耗大约等量的带宽。
6.如权利要求4所述的设备,其特征在于所述源视频数据包括图像并且每一处理过的层增强了整个图像。
7.一种用于视频处理的方法,包括:
接收达到了带宽要求的数字视频增强数据层,
通过数字通信信道来传输层,
接收对应于层的阈值,其中该层包括对于大于或等于阈值的每一幅值的‘1’比特;以及,
通过数字通信信道来传输阈值。
8.如权利要求7所述的方法,其特征在于:数字视频增强数据层是达到第一带宽要求的第一数字视频增强数据层,该方法进一步包括:
接收达到了第二带宽要求的第二数字视频增强数据层,其中第一带宽要求不等于第二带宽要求,以及,
通过数字通信信道来传输第二层。
9.一种用于视频处理的设备,它包括:
用于接收达到了带宽要求的数字视频增强数据层并通过数字通信信道来传输层的装置;以及
用于接收对应于层的阈值并通过数字通信信道来传输阈值的装置,其中该层包括对于大于或等于所述阈值的每一幅值的‘1’比特。
10.如权利要求9所述的设备,其特征在于:数字视频增强数据层是达到第一带宽要求的第一数字视频增强数据层,并且所述设备进一步包括:
用于接收达到第二带宽要求的第二数字视频增强数据层并通过数字通信信道来传输第二层的装置,其中第一带宽要求不等同于第二带宽要求。
11.一种用于视频处理的方法,包括:
从源视频序列中产生数字基本视频信号;
从源视频序列中产生数字视频增强数据体;以及,
从数字视频增强数据体产生数字视频增强数据层,该层达到带宽要求,
其中数字视频增强数据体包括多个幅值,并且产生数字视频增强数据层包括:
选择阈值;以及,
形成数字视频增强数据层,它包含对于大于或等于阈值的每一幅值的‘1’比特。
12.一种用于视频处理的设备,它包括:
用于从源视频序列中产生数字基本视频信号的装置;
用于从源视频序列中产生数字视频增强数据体的装置;以及,
用于从数字视频增强数据体产生数字视频增强数据层的装置,该层达到带宽要求,通过:
选择阈值;并
形成数字视频增强数据层,它包含对于大于或等于阈值的每一幅值的‘1’比特。
13.一种用于视频处理的方法,包括:
接收包含了一组数值的数字基本视频信号;
接收数字视频增强数据层,该层包含了一组比特,每一比特对应于数字基本视频信号值;
接收阈值;
对于在数字视频增强数据层中的每一‘1’比特,将阈值与数字基本视频信号的对应值相组合。
14.如权利要求13所述的方法,进一步包括:
接收对应于数字视频增强数据层中比特的符号比特;
其中,将阈值与数字基本视频信号的对应值相组合包括当符号比特指示正时采用加的组合以及当符号比特指示负时采用减的组合。
15.一种用于视频处理的设备,它包括:
用于接收包含了一组数值的数字基本视频信号的装置;
用于接收数字视频增强数据层的装置,该层包含了一组比特,每一比特对应于数字基本视频信号值;
用于接收阈值的装置;
用于对于在数字视频增强数据层中的每一个‘1’比特,将阈值与数字基本视频信号的对应值相组合的装置。
16.如权利要求15所述的设备,进一步包括:
用于接收对应于数字视频增强数据层中比特的符号比特的装置;
其中,用于将阈值与数字基本视频信号的对应值相组合的装置包括用于当符号比特指示正时采用加的组合以及当符号比特指示负时采用减的组合的装置。
17.一种用于视频处理的系统,包括:
编码器,包括:
第一装置,用于从源视频序列中产生数字基本视频信号;
耦合于第一装置的第二装置,用于从源视频序列中产生包括多个幅值的数字视频增强数据体;以及
耦合于第二装置的第三装置,用于根据带宽要求来选择阈值并从数字视频增强数据体产生数字视频增强数据层,该增强数据层包含对于大于或等于所述阈值的每一幅值的‘1’比特。
18.一种用于视频处理的系统,包括:
解码器,包括:
第一装置,用于接收包含了一组数值的数字基本视频信号;
第二装置,用于接收阈值和数字视频增强数据层,该层包含了一组比特,每一比特对应于数字基本视频信号值;以及
耦合于第一和第二装置的第三装置,用于对于在数字视频增强数据层中的每一个‘1’比特,将阈值与数字基本视频信号的对应值相组合。
19.如权利要求18所述的系统,其特征在于:所述组合产生增强的可视视频信号。
CN018165583A 2000-09-29 2001-09-26 视频处理方法、设备和系统 Expired - Fee Related CN1466853B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/675,279 US7082221B1 (en) 2000-09-29 2000-09-29 Bandwidth determination for multiple layer digital video
US09/675,279 2000-09-29
PCT/US2001/030348 WO2002030124A2 (en) 2000-09-29 2001-09-26 Video processing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2011101591132A Division CN102186085B (zh) 2000-09-29 2001-09-26 视频处理方法、设备和系统

Publications (2)

Publication Number Publication Date
CN1466853A CN1466853A (zh) 2004-01-07
CN1466853B true CN1466853B (zh) 2011-06-08

Family

ID=24709787

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2011101591132A Expired - Fee Related CN102186085B (zh) 2000-09-29 2001-09-26 视频处理方法、设备和系统
CN018165583A Expired - Fee Related CN1466853B (zh) 2000-09-29 2001-09-26 视频处理方法、设备和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2011101591132A Expired - Fee Related CN102186085B (zh) 2000-09-29 2001-09-26 视频处理方法、设备和系统

Country Status (8)

Country Link
US (1) US7082221B1 (zh)
EP (1) EP1325637A2 (zh)
JP (1) JP3990630B2 (zh)
KR (1) KR100591114B1 (zh)
CN (2) CN102186085B (zh)
AU (1) AU2001294835A1 (zh)
TW (1) TW583878B (zh)
WO (1) WO2002030124A2 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619718B2 (en) 2002-04-05 2013-12-31 Interdigital Technology Corporation Method and apparatus for coordinating a radio network controller and node B resource management for high speed downlink packet data service
US7992068B2 (en) * 2003-10-06 2011-08-02 Ipg Electronics 503 Limited Digital television transmission with error correction
US7324664B1 (en) * 2003-10-28 2008-01-29 Hewlett-Packard Development Company, L.P. Method of and system for determining angular orientation of an object
KR20060005585A (ko) * 2004-07-13 2006-01-18 삼성전자주식회사 Usb를 이용한 데이터 전송 장치 및 방법
EP1816870A4 (en) * 2004-11-19 2009-07-29 Panasonic Corp VIDEO CODING METHOD AND VIDEO CODING METHOD
RU2007128067A (ru) * 2004-12-22 2009-01-27 Конинклейке Филипс Электроникс Н.В. (Nl) Масштабируемое кодирование
US7778476B2 (en) * 2005-10-21 2010-08-17 Maxim Integrated Products, Inc. System and method for transform coding randomization
KR100813001B1 (ko) * 2006-07-13 2008-03-13 한국전자통신연구원 차분신호의 크기와 부호의 분리를 이용한 동영상부호화/복호화 장치 및 그 방법
JP2010505324A (ja) 2006-09-26 2010-02-18 ライブユー リミテッド 遠隔送信システム
CN101094406B (zh) * 2007-07-23 2010-09-29 北京中星微电子有限公司 一种视频数据流的传输方法及装置
EP2245770A1 (en) 2008-01-23 2010-11-03 LiveU Ltd. Live uplink transmissions and broadcasting management system and method
US9118680B1 (en) 2009-06-30 2015-08-25 Amazon Technologies, Inc. Opportunistic routing
US9137301B1 (en) 2009-06-30 2015-09-15 Amazon Technologies, Inc. Client based opportunistic routing
US9137300B1 (en) 2009-06-30 2015-09-15 Amazon Technologies, Inc. Opportunistic pipe switching
US9137548B2 (en) * 2011-12-15 2015-09-15 Flextronics Ap, Llc Networked image/video processing system and network site therefor
WO2013171648A1 (en) 2012-05-17 2013-11-21 Liveu Ltd. Multi-modem communication using virtual identity modules
US8787966B2 (en) 2012-05-17 2014-07-22 Liveu Ltd. Multi-modem communication using virtual identity modules
US9980171B2 (en) 2013-03-14 2018-05-22 Liveu Ltd. Apparatus for cooperating with a mobile device
US9338650B2 (en) 2013-03-14 2016-05-10 Liveu Ltd. Apparatus for cooperating with a mobile device
US9369921B2 (en) 2013-05-31 2016-06-14 Liveu Ltd. Network assisted bonding
US10986029B2 (en) 2014-09-08 2021-04-20 Liveu Ltd. Device, system, and method of data transport with selective utilization of a single link or multiple links
US9565451B1 (en) * 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US11088947B2 (en) 2017-05-04 2021-08-10 Liveu Ltd Device, system, and method of pre-processing and data delivery for multi-link communications and for media content
US11873005B2 (en) 2017-05-18 2024-01-16 Driveu Tech Ltd. Device, system, and method of wireless multiple-link vehicular communication
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1241336A (zh) * 1997-07-29 2000-01-12 皇家菲利浦电子有限公司 可变比特率视频编码方法和相应的视频编码器
WO2000021302A1 (en) * 1998-10-02 2000-04-13 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
CN1281671A (zh) * 1999-07-27 2001-01-31 林内株式会社 米饭的长时间保温方法以及长时间保温式饭煲
CN1288641A (zh) * 1998-09-22 2001-03-21 松下电器产业株式会社 视频信号编码方法、视频信号编码装置及程序记录媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2127151A1 (en) * 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
JP3170193B2 (ja) 1995-03-16 2001-05-28 松下電器産業株式会社 画像信号の符号化装置及び復号装置
EP0835589A1 (en) 1995-06-29 1998-04-15 THOMSON multimedia System for encoding and decoding layered compressed video data
US5995150A (en) * 1998-02-20 1999-11-30 Winbond Electronics Corporation America Dual compressed video bitstream camera for universal serial bus connection
US6275531B1 (en) * 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
US6510553B1 (en) * 1998-10-26 2003-01-21 Intel Corporation Method of streaming video from multiple sources over a network
US6496980B1 (en) * 1998-12-07 2002-12-17 Intel Corporation Method of providing replay on demand for streaming digital multimedia
JP3957937B2 (ja) * 1999-12-21 2007-08-15 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1241336A (zh) * 1997-07-29 2000-01-12 皇家菲利浦电子有限公司 可变比特率视频编码方法和相应的视频编码器
CN1288641A (zh) * 1998-09-22 2001-03-21 松下电器产业株式会社 视频信号编码方法、视频信号编码装置及程序记录媒体
WO2000021302A1 (en) * 1998-10-02 2000-04-13 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
CN1281671A (zh) * 1999-07-27 2001-01-31 林内株式会社 米饭的长时间保温方法以及长时间保温式饭煲

Also Published As

Publication number Publication date
JP3990630B2 (ja) 2007-10-17
WO2002030124A2 (en) 2002-04-11
CN102186085A (zh) 2011-09-14
AU2001294835A1 (en) 2002-04-15
US7082221B1 (en) 2006-07-25
WO2002030124A3 (en) 2002-08-22
CN102186085B (zh) 2013-01-09
JP2004511186A (ja) 2004-04-08
KR100591114B1 (ko) 2006-06-19
TW583878B (en) 2004-04-11
EP1325637A2 (en) 2003-07-09
KR20040018243A (ko) 2004-03-02
CN1466853A (zh) 2004-01-07

Similar Documents

Publication Publication Date Title
CN1466853B (zh) 视频处理方法、设备和系统
CN100355288C (zh) 图象数据的自适应可变长度编码方法
US6501793B2 (en) Quantization matrix for still and moving picture coding
EP0587783B1 (en) Adaptive block size image compression system
EP2652954B1 (en) Video encoding and decoding using transforms
KR0128435B1 (ko) 비디오 변환계수의 벡터 코딩방법 및 그 장치
EP0517834B1 (en) Image data compression using adaptive block size selection
CN100592784C (zh) 移动通信系统的数字视频信号处理装置及方法
US20060088098A1 (en) Method and arrangement for reducing the volume or rate of an encoded digital video bitstream
CN1189955A (zh) 分层压缩视频数据的编解码系统
CN1421102A (zh) 基于方差的自适应块大小dct图像压缩
WO1993021734A1 (en) A coding technique for high definition television signals
US6785330B1 (en) Flexible video encoding/decoding method
US5822000A (en) Video encoding using rearrangement of transform coefficients and inter-block correlation
KR20020026189A (ko) 고정된 비율 압축을 이용하는 효율적인 비디오 데이터엑세스
AU717473B2 (en) Method for motion estimation
US6084913A (en) Method for compressing dynamic image information and system and device therefor
CN101287119B (zh) 基于频谱的图像分层编解码方法及系统
Nasiopoulos et al. A high-quality fixed-length compression scheme for color images
MXPA98008298A (es) Matriz de cuantificacion para codificacion de imagenes fijas y en movimiento

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20040107

CI01 Correction of invention patent gazette

Correction item: Rejection of patent application

Correct: Dismiss

False: Reject

Number: 32

Volume: 26

ERR Gazette correction

Free format text: CORRECT: PATENT APPLICATION REJECTION OF AFTER PUBLICATION; FROM: REJECTION TO: REVOCATION REJECTED

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110608

Termination date: 20170926

CF01 Termination of patent right due to non-payment of annual fee