CN1860793A - 具有用于过完备小波视频编码架构内的重要系数群集的自适应结构化元素的3－d形态操作 - Google Patents

具有用于过完备小波视频编码架构内的重要系数群集的自适应结构化元素的3－d形态操作 Download PDF

Info

Publication number
CN1860793A
CN1860793A CNA200480028090XA CN200480028090A CN1860793A CN 1860793 A CN1860793 A CN 1860793A CN A200480028090X A CNA200480028090X A CN A200480028090XA CN 200480028090 A CN200480028090 A CN 200480028090A CN 1860793 A CN1860793 A CN 1860793A
Authority
CN
China
Prior art keywords
dimensional structure
wavelet coefficients
structure element
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200480028090XA
Other languages
English (en)
Inventor
D·S·图拉加
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1860793A publication Critical patent/CN1860793A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种给在过完备小波视频编码器内的视频信号进行数字编码的系统和方法。三维形态操作用于识别重要小波系数的群集。一个视频编码算法单元[365]跨空间和时间定位重要小波系数。该视频编码算法单元[365]也使用运动信息以在运动方向上跨空间和时间定位重要小波系数。一个三维结构化元素[500]的长度可以自适应地根据隐含的视频数据的特性而改变。本发明增加了编码效率并且提高了解码视频的品质。

Description

具有用于过完备小波视频编码架构内的重要 系数群集的自适应结构化元素的3-D形态操作
技术领域
本发明总的来说涉及数字信号传输系统，并且尤其涉及用于使用三维(3-D)形态重要(significant)编码技术以在一个过完备(overcomplete)小波视频编码架构内跨空间和时间二者增长重要系数的群集的一种系统和方法。
背景技术
在数字视频通信中，过完备小波视频编码为视频传输提供一个非常灵活而且有效的架构。过完备小波视频编码可以认为是以前存在的帧间小波编码技术的概括。通过子频带和子频带相互独立地执行运动补偿时域滤波，在过完备小波域中的空间分解之后，可以解决小波变换的移位方差的问题。
形态重要性映象编码已经被引进到图像编码，在此重要小波系数利用形态操作被群集在一起。二维(2-D)形态操作已经用于群集重要小波系数和预测不同空间刻度上的重要性。该形态操作已经在保留象边界这样的重要特征时表现得更加稳健。
以前存在的对视频的形态重要性编码(significance coding)的应用把不同的帧看作是独立图像或独立残留帧。因此现有技术方法不能有效利用帧间相关性。
因此在该技术领域中需要一种可以对视频编码施加形态重要性操作以增加编码效率的系统和方法。在该技术领域中还需要这样的一种系统和方法，它可以对视频编码应用形态重要性操作以提供基于小波的视频编码方案的解码后视频的品质。
发明内容
为解决上面提到的现有技术的缺陷，本发明的系统和方法对视频编码应用三维(3-D)形态重要性编码技术。本发明的系统和方法可以跨空间和时间增长重要小波系数的群集。
本发明的系统和方法包括一个位于视频发射器的视频编码器内的视频编码算法单元。该视频编码算法单元可以跨空间和时间在重要小波系数的至少一个群集中定位重要小波系数。本发明的视频编码算法单元搜索一个子频带直到视频编码算法在当前帧中找到第一个重要小波系数。视频编码算法单元随后使用三维(3-D)形态重要性编码技术来在重要小波系数的一个群集中定位另外的重要小波系数。
本发明的视频编码算法单元对准(align)在位于当前视频帧中的第一个重要小波系数上的一个三维结构化元素并随后在该三维结构化元素内搜索另外的重要小波系数。
在本发明的一种有利的实施方式中，视频编码算法单元(1)对准在位于当前视频帧中的第一重要小波系数上的三维结构化元素的第一部分的位于中心的部分，并且(2)对准在当前帧后面的下一帧上的三维结构化元素的第二部分，并且(3)对准在当前帧前面的前一帧上的三维结构化元素的第三部分。视频编码算法单元在三维结构化元素的三部分中的每一个内搜索另外的重要小波系数。
在本发明的系统和方法的另一种有利的实施方式中，视频编码算法单元使用一个从当前帧到下一帧的运动矢量来对准在当前帧后面的下一帧上的三维结构化元素的第二部分。视频编码算法单元还使用一个从当前帧到前一帧的运动矢量来对准在当前帧前面的前一帧上的三维结构化元素的第三部分。
在本发明的系统和方法的另外一种有利的实施方式中，视频编码算法单元可以自适应地改变三维结构化元素的尺寸以利用隐含的视频数据的特性。
本发明的一个目的是提供一个于对视频编码使用三维(3-D)形态重要性编码技术的系统和方法。
本发明的另一个目的是在数字视频发射器中提供一种用于对过完备小波视频编码架构内的视频信号进行数字编码以跨空间和时间定位重要小波系数的群集的系统和方法。
本发明还有一个目的是在数字视频发射器中提供一种用于对过完备小波视频编码架构内的视频信号进行数字编码以在运动方向上跨空间和时间定位重要小波系数的群集的系统和方法。
本发明的另一个目的是提供一种三维(3-D)形态结构化元素。
本发明还有一个目的是提供一种自适应地改变三维(3-D)形态结构化元素的尺寸以利用隐含的视频数据的特性的系统和方法。
前面所说的已经相当粗略地概述了本发明的特征和技术优势，从而本领域技术人员可以更好的理解接下来对本发明的详细说明。形成本发明的权利要求的主题的本发明另外的特征和优势将在下文中说明。本领域技术人员将意识到他们可以容易地使用作为基本原理公开的概念和特殊的实施方式来修改和设计其它的结构以实现与本发明相同的目的。本领域的技术人员也将认识到这种等效的结构不脱离本发明最广泛的形式的精神和范围。
在进行本发明的详细说明之前，阐明贯穿本专利文件的某些词和短语的定义可能是有利的：术语“包括”和“包含”及其派生词，表示没有限制的包含；术语“或”是包括的，表示和/或；短语“与...相关联”和“与此相关联”及其派生词，可以表示包括、被包括在...内、与...互相连接的、包含、被包含在...内、连接到...或与...相连、耦合到或与...耦合、与...相通、与...合作、交错、并列、与...最近、与...密切关联的、具有、有...的性质等等；术语“控制器”、“处理器”或“装置”表示控制至少一个操作的设备、系统或其部分，这样一个设备可以用硬件、固件或软件，或它们中至少两个的某一组合实现。应当注意与任何特殊的控制器相关联的功能可以用本地或远端的方式集中或分散。特别的，一个控制器可以包含一个或多个数据处理器，并且与输入/输出设备和存储器相关联，执行一个或多个应用程序和/或一个操作系统程序。本专利文件全文中提供了对某些词和短语的定义。本领域的普通技术人员将理解在很多情况下(如果不是在大多数情况下)，这种定义应用于这样定义的词和短语的先前的使用和将来的使用。
附图说明
为更完整的理解本发明及其优点，现在参考下面结合附图的说明，其中相同的数字指明相同的对象，并且其中：
图1是举例说明了依照本发明的一个有利的实施方式通过数据网络从流视频发射器到流视频接收器的流视频的端到端传输的框图；
图2是举例说明了依照本发明的一个有利的实施方式的示例视频编码器的框图；
图3是举例说明了依照本发明的一个有利的实施方式的示例过完备小波编码器的框图；
图4是举例说明了使用二维的(2-D)形态重要性映象(map)来定位重要小波系数的群集的现有技术方法的图表，；
图5举例说明了依照本发明的一个有利的实施方式的示例3-D形态结构化元素；
图6举例说明了如何使用本发明的3-D形态结构化元素跨空间和时间增长重要系数的群集；
图7举例说明了如何使用本发明的3-D形态结构化元素跨空间和时间在运动方向上增长重要系数的群集；
图8举例说明了表示依照本发明的一个有利的实施方式的第一种方法的步骤的流程图；
图9举例说明了表示依照本发明的一个有利的实施方式的第二种方法的步骤的流程图；
图10举例说明了一个数字传输系统的一个示例实施方式，它可以用来实现本发明的原理。
具体实施方式
下面讨论的图1到10，和用来说明在本专利文件中的本发明的原理的各种实施方式仅是举例说明的方式而不以任何方式解释为限制本发明的范围。本发明可以用在任何数字视频信号编码器或转码器中。
图1是一个框图，它举例说明了依照本发明的一个有利的实施方式通过数据网络120从流视频发射器110到流视频接收器130的流视频的端到端的传输。依靠本应用，流视频发射器110可以是视频帧源的很多种类中的任何一种，包括数据网络服务器、电视台、有线网络、桌面个人计算机(PC)等。
流视频发射器110包括视频帧源112、视频编码器114和编码器缓冲器116。视频帧源112可以是能够产生未压缩的视频帧序列的任何设备，包括电视天线和接收器单元、视频磁带播放器、摄像机、可以存储“未加工的(raw)”视频剪辑的磁盘存储设备等。未压缩的视频帧以给出的图像速率(或“流速率”)进入视频编码器114并且依照任何已知的诸如MPEG-4编码器的压缩算法或设备压缩。视频编码器114随后发送压缩的视频帧给编码器缓冲器116来缓冲，为通过数据网络120传输作准备。数据网络120可以是任何适当的IP网络并且可以包括公共数据网络(比如互联网)和专用数据网络(比如属于企业的局域网(LAN)或广域网(WAN))二者的部分。
流视频接收器130包含解码器缓冲器132、视频解码器134和视频显示器136。解码器缓冲器132接收并存储来自数据网络120的流压缩的视频帧。解码器缓冲器132随后根据需要发送压缩的视频帧给视频解码器134。视频解码器134以与视频帧被视频编码器114压缩的相同的速率(理想地)解压视频帧。视频解码器134发送解压缩的帧到视频显示器136来在视频显示器136的屏幕上重放。
图2是一个举例说明了依照本发明的一个有利的实施方式的一个示例视频编码器114的框图。示例视频编码器114包含源编码器200和传送编码器230。源编码器200包含波形编码器210和熵编码器220。视频信号从视频帧源112(在图1中示出)提供给视频编码器114的源编码器200。视频信号进入波形编码器210，在这里视频信号依照本发明的原理以将被更充分的描述的方式进行处理。
波形编码器210是一个有损设备，该设备通过使用变换后的变量表现原始视频和施加量化而降低比特率。波形编码器210可以使用离散余弦变换(DCT)或小波变换执行变换编码。来自波形编码器210的编码的视频信号随后发送到熵编码器220。
熵编码器220是一个无损设备，该设备根据将被编码的符号的统计学分布将来自波形编码器210的输出符号变换为二进制码。熵编码方法的示例包括霍夫曼编码、算术编码和使用DCT和运动补偿预测的混合编码方法。来自熵编码器220的编码的视频信号随后发送到传送编码器230。
传送编码器230表示执行信道编码、分包和/或调制和使用一个特定的传送协议执行传送电平控制的一组设备。传送编码器230将来自源编码器200的比特流变换为适于传输的数据单元。从传送编码器230输出的视频信号发送到编码器缓冲器116，用于通过数据网络120最终传输到视频接收器130。
图3是举例说明了依照本发明的一个有利的实施方式的示例过完备小波编码器210的框图。过完备小波编码器210包含一个分支，该分支包含一个产生当前帧320的小波变换的离散小波变换单元310和一个完备到过完备离散小波变换单元330。完备到过完备离散小波变换单元330的第一输出提供给运动估计单元340。完备到过完备离散小波变换单元330的第二输出提供给时域滤波单元350。运动估计单元340和时域滤波单元350一起提供运动补偿时域滤波(MCTF)。运动估计单元340提供运动矢量(和帧参考数字)给时域滤波单元350。
运动估计单元340还提供运动矢量(和帧参考数字)给运动矢量编码器单元370。运动矢量编码器单元370的输出提供给传输单元390。时域滤波单元350的输出提供给子频带编码器360。子频带编码器360包含视频编码算法单元365。视频编码算法单元365包含用来运行本发明的视频编码算法的示例结构。子频带编码器360的输出提供给熵编码器380。熵编码器380的输出提供给传输单元390。该结构和过完备小波编码器210的其它各种元件的操作在本技术领域是为人熟知的。
为更好的理解本发明的视频编码算法的操作，将首先描述现有技术二维(2-D)视频编码算法的说明。图4举例说明了用来定位重要小波系数的二维(2-D)形态重要性映象的一个简单数字示例。
在现有技术二维(2-D)处理中，一个编码器以光栅扫描顺序扫描一个子频带直到该编码器定位一个重要小波系数(也就是，一个非零小波系数)。然后该编码器在围绕该第一个重要小波系数的特定区域内寻找其它重要小波系数。在图4中示出的示例中，特定区域包括位于包含以第一个重要小波系数为中心的三(3)×三(3)的正方形的一个结构化元素内的最接近的八(8)个相邻的小波系数。
如果一个相邻的系数是零(也就是，不重要)那么就忽略它。如果一个相邻的系数非零(也就是，重要)，那么该处理递归地应用于找到的每一个新值。当使用递归应用的处理找到在一个群集内的全部重要系数时，重新开始不重要系数的光栅扫描直到所有的子频带都已经被扫描过。这个处理有时被称为形态扩展(morphologicaldilation)。形态扩展处理可以在一个子频带中捕捉重要系数的全部群集。
图4提供二维(2-D)形态扩展处理的操作的一个示例。假设在图4(a)中示出的在块中的系数组是将被编码的。该块在一个五(5)×八(8)的系数块中包含六(6)个重要系数和三十四(34)个不重要(也就是零)系数。一个三(3)×三(3)的块的结构化元素安排在值是四十(40)的系数的位置。图4(b)示出定位在具有值二十五(25)、负二十(-20)和十(10)的结构化元素内的重要系数。在图4(b)下面的系数行示出定位在以系数四十(40)为中心的结构化元素内的系数。这些系数作为在处理的第一步骤得到的系数发送。
然后结构化元素被移动到以便以系数二十五(25)为中心。这个位置在图4(c)中举例说明。这个唯一的还没有被记录的新的重要系数具有值负五(-5)。具有值负五(-5)的系数和四(4)个新的零系数在图4(c)下面的系数行中示出。这些系数作为在处理的第二步骤得到的系数发送。紧挨着系数的小黑点用于表示已经发送并且因此不需要重新发送的那些系数。
随后结构化元素被移动以便以系数负五(-5)为中心。这个位置在图4(d)中示出。从图4(d)到4(g)举例说明了该处理如何通过应用集中在该组中的每个重要系数上的扩展运算符不断增长系数群集区域。扩展处理在如图4(g)所示的处理已经完成扫描的时刻检测了块中的所有重要系数。
二维(2-D)形态重要性编码以前曾经应用于视频。在1999年6月在IEEE学报关于用于视频技术的电路与系统，第9卷，630-647页中发表的J.Vass等人的名为“Significance-Linked ConnectedComponent Analysis for Very Low Bit-Rate Wavelet Video Coding”的论文中阐明并描述了一个示例。Vass系统首先应用了一个时域滤波器然后通过使用二维(2-D)形态重要性编码来群集时域滤波的帧。Vass系统认为不同的视频帧是独立的图像或独立的剩余帧。Vass系统不能有效利用帧间相关性。
其它现有技术系统已经应用了类似的形态重要性编码技术。例如，在1999年9月在IEEE学报关于用于视频技术的电路与系统，第8卷，1161-1174页中发表的S.D.Servetto等人的名为“Image Coding Basedon a Morphological Representation of Wavelet Data”的论文。
对照现有技术，本发明可以使用三维(3-D)形态重要性编码技术。如将要更加充分说明的那样，本发明的系统和方法可以跨空间和时间二者增长重要小波系数的群集。本发明的视频编码算法(1)提高编码效率，并且(2)提高基于小波的视频编码方案的解码视频品质。
图5举例说明了依照本发明的原理的示例三维(3-D)结构化元素500的一种有利的实施方式。结构化元素500表示一个三维(3-D)立方体，在立方体的每一条边上可以再分为三个块。每个块对应一个单个的像素。在结构化元素500内有二十七(27)个这样的块(也就是，三(3)的立方)。如图5中所示，结构化元素500在“x”方向(一个空间方向)、“y”方向(一个空间方向)和“t”方向(一个时间方向)上延伸。该(x，y，t)坐标系统的方向也在图5中示出。
当结构化元素500放在操作中时，在结构化元素500中位于中心的块(在图5中未示出)定位在第一重要小波系数上。这意味着将有位于中心的块周围的必须被考虑的二十六(26)个相邻位置。
图6举例说明了三维(3-D)结构化元素500是如何被用来跨空间和时间增长重要小波系数的群集的一种有利的实施方式。位于中心的块(在图6中用一个小黑球来确定)定位在当前帧600中的第一重要小波系数上。还可以指定当前帧600为帧N。在帧600中有八(8)个相邻的块围绕着在帧600中的位于中心的块。在帧600中位于中心的块和八(8)个相邻的块包括结构化元素500的第一部分。
在下一帧610中有九(9)个可以从帧600中的位于中心的块访问的相邻的块。还可以指定下一帧610为N+1。在下一帧610中的九(9)个相邻的块构成结构化元素500的第二部分。类似的，在前一帧620中有九(9)个可以从帧600中的位于中心的块访问的相邻的块。还可以指定前一帧620为N-1。在前一帧620中的九(9)个相邻的块构成结构化元素500的第三部分。
本发明的视频编码算法使用三维(3-D)形态重要性编码技术来找到在第一重要小波系数周围的其它重要小波系数并将它们群集。特别的，该算法搜索在当前帧600中在位于中心的块周围的八(8)个相邻的块，和在下一帧610中的九(9)个相邻的块，和在前一帧620中的九(9)个相邻的块。该算法从而可以跨空间和时间二者增长重要小波系数的群集。前面说明的结构化元素500的使用表示形态重要性编码技术直接扩展到第三维(也就是，时间维)。
参考图5和图6说明的直接扩展方法可以通过利用运动信息来增强。众所周知运动存在于帧之间并且运动在运动估计处理期间识别。可以通过修改结构化元素来提高直接扩展方法的效率以顾及运动信息。
图7举例说明了本发明的一个有利的实施方式，它表明了三维(3-D)结构化元素500如何被用于在运动方向上跨空间和时间二者增长重要小波系数的群集。结构化元素500分成3部分。结构化元素500的第一部分包含在当前帧600内的结构化元素500的在中央的部分。第一部分用参考数字700指明。位于中心的块(在图7中用一个小黑球来标识)在当前帧600中定位在第一重要小波系数上。还可以指定当前帧600为N。在帧600中有八(8)个相邻的块围绕着在帧600中位于中心的块。位于中心的块和八(8)个相邻的块构成第一部分700。
结构化元素500的第二部分包含在下一帧610内的结构化元素500的分成三(3)块×三(3)块的部分。第二部分用参考数字710表示。在第二部分710中有九(9)个相邻的块可以从在第一部分700中位于中心的块访问。从第一部分700到第二部分710的位移由运动矢量730来测量。即，在当前帧600和下一帧610之间的运动矢量730的大小和方向用于关于第一部分700定位第二部分710。形态重要性编码在第二部分710内在运动补偿的位置执行。
类似的，结构化元素500的第三部分包含在前一帧620内的结构化元素500的分成三(3)块×三(3)块的部分。第三部分用参考数字720指明。在第三部分720中有九(9)个相邻的块可以从在第一部分700中位于中心的块访问。从第一部分700到第三部分720的位移由运动矢量740来测量。即，在当前帧600和前一帧620之间的运动矢量740的大小和方向用于关于第一部分700定位第三部分720。形态重要性编码在第三部分720内在运动补偿的位置执行。
当运动矢量(730，740)等于零时，那么在图7中示出的运动矢量方法简化为在图5和图6中示出的直接扩展方法。
在运动方向上跨空间和时间增长小波系数群集的优势是为形态重要性映象提供一个非常有效的表现。这在编码性能上提供了相应的增加。然后数据可以使用标准熵编码技术相继的编码。该处理可以一个位面一个位面地重复以用于嵌入的编码。
在上文说明的本发明的有利的实施方式中，结构化元素500有固定的尺寸三(3)块×三(3)块×三(3)块，全部统一尺寸。在本发明的替换实施方式中，结构化元素的尺寸可以在全部三个维度自适应地改变以利用隐含的数据的特性。通常，结构化元素的尺寸可以确定为一个在第一空间方向(“x”)有长度NX，在第二空间方向(“y”)有长度Ny，在时间方向(“t”)有长度Nt的长方体。三个值(也就是，NX和Ny和Nt)可以根据隐含的数据的特性自适应地改变。
考虑结构化元素的时间尺寸是基于运动信息的情况。首先，如果隐含的运动是小的，那么可以增大Nt的值。(1)如果在x方向运动矢量的绝对值小于或等于2，和(2)如果在y方向运动矢量的绝对值小于或等于2，可以认为隐含的运动是小的。
其次，如果隐含的运动非常有规律的，那么可以增大Nt的值。(1)如果在x方向运动矢量的变化小于或等于临界值T，和(2)如果在y方向运动矢量的变化小于或等于临界值T，可以认为隐含的运动是非常有规律的。临界值T可以基于视频序列的特性来选择。
第三，在图7中示出的示例中结构化元素(700、710、720)在时间上是双向的。然而，如果执行了单向的运动估计，那么结构化元素也必须是单向的(也就是，不对称的)。
第四，在图7中示出的示例中结构化元素(700、710、720)是在三部分中的。然而，如果使用多个参考帧，那么结构化元素还必须修改以适应多个参考帧的使用。例如，如果在一个示例中使用了五(5)个帧，将指定这五(5)个帧为N-2、N-1、N、N+1和N+2。将有一个当前帧N、两个在前面的帧N-2和N-1和两个在后面的帧N+1和N+2。
现在考虑结构化元素的空间尺寸是基于数据的空间特性进行适应的情况。首先，如果隐含的数据由长水平群集组成，那么可以在减小Ny的尺寸时增大NX的尺寸。其次，如果隐含的数据由长垂直群集组成，那么可以在减小Nx的尺寸时增大Ny的尺寸。
第三，如果考虑中的子频带对应于粗刻度(scales)，那么必须使用Nx和Ny更小的值。第四，如果考虑中的子频带对应于细刻度，那么必须使用Nx和Ny更大的值。
图8举例说明了一个流程图，示出了依照本发明的一个有利的实施方式的第一种方法的步骤。用参考数字800指定全部这些步骤。在该方法的第一个步骤中本发明的视频编码算法以光栅扫描顺序扫描一个子频带直到第一个重要小波系数在一个当前帧中定位(步骤810)。然后视频编码算法对准在第一个重要小波系数上的三维(3-D)结构化元素500的一个中心块(步骤820)。随后该算法在当前帧中的结构化元素500的第一部分的相邻的块中搜索另外的重要小波系数(步骤830)。
然后该算法在下一帧中的结构化元素500的第二部分的相邻的块中搜索另外的重要小波系数(步骤840)。随后该算法在前一帧中的结构化元素500的第三部分的相邻的块中搜索另外的重要小波系数(步骤850)。然后该算法确定所有已经定位在全部相邻的块中的重要小波系数(860)。
然后该算法连续的重新对准在每个确定的重要小波系数上的结构化元素500并且对每个重要小波系数重复搜索处理直到在群集中所有重要小波系数都已经定位(步骤870)。
图9举例说明了一个流程图，示出了依照本发明的一个有利的实施方式的第二种方法的步骤。用参考数字900表示全体这些步骤。在该方法的第一个步骤中本发明的视频编码算法以光栅扫描顺序扫描一个子频带直到第一个重要小波系数在一个当前帧中定位(步骤910)。然后视频编码算法对准在当前帧中的第一个重要小波系数上的三维(3-D)结构化元素500的第一部分的中心块并且搜索在第一部分中的相邻的块以找到另外的重要小波系数(步骤920)。
然后该算法在下一帧中使用从当前帧到下一帧的一个运动矢量对准三维(3-D)结构化元素500的第二部分并且搜索在第二部分中的相邻的块以找到另外的重要小波系数(步骤930)。
然后该算法在前一帧中使用从当前帧到前一帧的一个运动矢量对准三维(3-D)结构化元素500的第三部分并且搜索在第三部分中的相邻的块以找到另外的重要小波系数(步骤940)。
然后该算法确定所有已经定位在全部相邻的块中的重要小波系数(950)。
然后该算法连续的重新对准在每个确定的重要小波系数上的结构化元素500并且对每个重要小波系数(包括使用运动矢量对准结构化元素500的第二和第三部分)重复搜索处理直到在群集中所有重要小波系数都已经定位(步骤960)。
图10举例说明了可以用来实现本发明的原理的系统1000的一个示例实施方式。系统1000可以表示电视机、机顶盒、台式、膝上或掌上电脑、个人数字助理(PDA)、视频/图像存储设备例如录像机(VCR)、数字视频录像机(DVR)、TiVO设备等，也可以表示这些或其它设备的一部分或其组合。系统1000包括一个或更多视频/图像源1010、一个或多个输入/输出设备1060、一个处理器1020和一个存储器1630。视频/图像源1010可以表示例如，电视接收器、VCR或其它视频/图像存储设备。做为选择，视频/图像源1010可以表示一个或多个用于从一个服务器或多个服务器通过例如诸如互联网的全球计算机通信网络上、广域网、地面广播系统、有线网络、卫星网络、无线网络或电话网络以及这些或其它类型的网络的一部分或其组合接收视频的网络连接。
输入/输出设备1060、处理器1020和存储器1630可以通过一个传播介质1050来通信。传播介质1050可以表示例如，总线、通信网络、电路的一个或多个内部连接、电路卡或其它设备以及这些或其它传播介质的一部分或其组合。来自源1010的输入视频数据依照存储在存储器1030中的一个或多个软件程序来处理并且由处理器1020来执行以便产生提供给显示设备1040的输出视频/图像。
在一个优选的实施方式中，使用本发明的原理的编码和解码可以由系统执行的计算机可读代码来实现。该代码可以存储在存储器1030中或从诸如光盘或软盘的存储介质读取/下载。在其它的实施方式中，硬件电路可以代替软件指令或与其结合用于实现本发明。例如在这里举例说明的单元也可以实现为离散的硬件单元。
虽然本发明已经关于其特定实施方式详细进行了描述，本领域的技术人员应该理解他们可以不脱离本发明的概念和范围的最广泛的形式在本发明中做各种改变、置换、修正、改造和顺应。

Claims (27)

1.一种在数字视频发射器[110]中用于对过完备小波视频编码器[210]内的视频信号进行数字编码的装置[365]，所述装置[365]包含一个可以跨空间和时间在重要小波系数的至少一个群集中定位重要小波系数的视频编码算法单元[365]。
2.如权利要求1所述的装置[365]，其中所述视频编码算法单元[365]可以应用三维形态重要性编码技术以定位所述重要小波系数。
3.如权利要求2所述的装置[365]，其中所述视频编码算法单元[365]对准在位于当前视频帧[600]中的第一个重要小波系数上的三维结构化元素[500]；并且
其中所述视频编码算法单元[365]在所述三维结构化元素[500]内搜索另外的重要小波系数。
4.如权利要求3所述的装置[365]，其中所述视频编码算法单元[365]对准在位于所述当前视频帧[600]中的所述第一个重要小波系数上的所述三维结构化元素[500]的第一部分的位于中心的部分；并且
其中所述视频编码算法单元[365]对准在所述当前帧[600]之后的下一帧[610]上的所述三维结构化元素[500]的第二部分；并且
其中所述视频编码算法单元[365]对准在所述当前帧[600]之前的前一帧[620]上的所述三维结构化元素[500]的第三部分。
5.如权利要求4所述的装置[365]，其中所述视频编码算法单元[365]使用运动信息[730]来对准在所述下一帧[610]上的所述三维结构化元素[500]的所述第二部分[710]并且使用运动信息[740]来对准在所述前一帧[620]上的所述三维结构化元素[500]的所述第三部分[720]。
6.如权利要求3所述的装置[365]，其中所述三维结构化元素[500]包括一个矩形的形状，该形状在第一个空间维度上具有长度NX，在第二个空间维度上具有长度Ny，在一个时间维度上具有长度Nt；并且
其中所述三维结构化元素[500]的所述长度NX、Ny和Nt中的每一个可以自适应地根据隐含的视频数据的特性而改变。
7.如权利要求6所述的装置[365]，其中所述三维结构化元素[500]可以分为大于3个的多个部分以适应多个参考帧的使用。
8.如权利要求6所述的装置[365]，其中所述三维结构化元素[500]在时间维度上是单向的以适应单向的运动估计。
9.如权利要求1所述的装置[365]，其中所述视频编码算法单元[365]可以在运动方向上跨空间和时间在重要小波系数的至少一个群集中定位重要小波系数。
10.一种在数字视频发射器[110]中对一个过完备小波视频编码器[210]内的视频信号进行数字编码的方法，所述方法包含下列步骤：
在一个当前视频帧[600]中检测第一个重要小波系数；和
跨空间和时间在重要小波系数的一个群集中定位另外的重要小波系数。
11.如权利要求10所述的方法，进一步包含下列步骤：
应用一个三维形态重要性编码技术以在所述重要小波系数的群集中定位所述另外的重要小波系数。
12.如权利要求11所述的方法，进一步包含下列步骤：
对准在位于所述当前视频帧[600]中的所述第一个重要小波系数上的一个三维结构化元素[500]；和
在所述三维结构化元素[500]内搜索所述另外的重要小波系数。
13.如权利要求12所述的方法，进一步包含下列步骤：
对准在位于所述当前视频帧[600]中的所述第一个重要小波系数上的所述三维结构化元素[500]的第一部分的位于中心的部分；和
对准在所述当前帧[600]之后的下一帧[610]上的所述三维结构化元素[500]的第二部分；和
对准在所述当前帧[600]之前的前一帧[620]上的所述三维结构化元素[500]的第三部分。
14.如权利要求11所述的方法，进一步包含下列步骤：
使用运动信息[730]来对准在所述下一帧[610]上的所述三维结构化元素[500]的所述第二部分[710]；和
使用运动信息[740]来对准在所述前一帧[620]上的所述三维结构化元素[500]的所述第三部分[720]。
15.如权利要求12所述的方法，其中所述三维结构化元素[500]包括一个矩形的形状，该形状在第一个空间维度上具有长度NX，在第二个空间维度上具有长度Ny，在一个时间维度上具有长度Nt；并且所述方法进一步包含下列步骤：
自适应地根据隐含的视频数据的特性改变所述三维结构化元素[500]的所述长度NX、Ny和Nt中的每一个。
16.如权利要求15所述的方法，进一步包含下列步骤：
将所述三维结构化元素[500]分成大于3个的多个部分以适应多个参考帧的使用。
17.如权利要求15所述的方法，其中所述三维结构化元素[500]在时间维度上是单向的以适应单向的运动估计。
18.如权利要求10所述的方法，进一步包含在运动方向上跨空间和时间在重要小波系数的至少一个群集中定位重要小波系数的步骤。
19.一种数字编码的视频信号，该信号是通过一种用于在数字视频发射器[110]中对过完备小波视频编码器[210]内的视频信号进行数字编码产生的，所述方法包含下列步骤：
在一个当前视频帧[600]中检测第一个重要小波系数；和
跨空间和时间在重要小波系数的一个群集中定位另外的重要小波系数。
20.如权利要求19所述的数字编码的视频信号，其中所述方法进一步包含下列步骤：
应用一个三维形态重要性编码技术以在所述重要小波系数的群集中定位所述另外的重要小波系数。
21.如权利要求20所述的数字编码的视频信号，其中所述方法进一步包含下列步骤：
对准在位于所述当前视频帧[600]中的所述第一个重要小波系数上的一个三维结构化元素[500]；和
在所述三维结构化元素[500]内搜索所述另外的重要小波系数。
22.如权利要求21所述的数字编码的视频信号，其中所述方法进一步包含下列步骤：
对准在位于所述当前视频帧[600]中的所述第一个重要小波系数上的所述三维结构化元素[500]的第一部分的位于中心的部分；和
对准在所述当前帧[600]之后的下一帧[610]上的所述三维结构化元素[500]的第二部分；和
对准在所述当前帧[600]之前的前一帧[620]上的所述三维结构化元素[500]的第三部分。
23.如权利要求22所述的数字编码的视频信号，其中所述方法进一步包含下列步骤：
使用运动信息[730]来对准在所述下一帧[610]上的所述三维结构化元素[500]的所述第二部分[710]；和
使用运动信息[740]来对准在所述前一帧[620]上的所述三维结构化元素[500]的所述第三部分[720]。
24.如权利要求21所述的数字编码的视频信号，其中所述三维结构化元素[500]包括一个矩形的形状，该形状在第一个空间维度上具有长度NX，在第二个空间维度上具有长度Ny，在一个时间维度上具有长度Nt；并且所述方法进一步包含下列步骤：
自适应地根据隐含的视频数据的特性改变所述三维结构化元素[500]的所述长度NX、Ny和Nt中的每一个。
25.如权利要求22所述的数字编码的视频信号，其中所述方法进一步包含下列步骤：
将所述三维结构化元素[500]分成大于3个的多个部分以适应多个参考帧的使用。
26.如权利要求22所述的数字编码的视频信号，其中所述三维结构化元素[500]在时间维度上是单向的以适应单向的运动估计。
27.如权利要求19所述的数字编码的视频信号，其中所述方法进一步包含在运动方向上跨空间和时间在重要小波系数的至少一个群集中定位重要小波系数的步骤。
CNA200480028090XA 2003-09-29 2004-09-24 具有用于过完备小波视频编码架构内的重要系数群集的自适应结构化元素的3－d形态操作 Pending CN1860793A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US50688303P 2003-09-29 2003-09-29
US60/506,883 2003-09-29

Publications (1)

Publication Number Publication Date
CN1860793A true CN1860793A (zh) 2006-11-08

Family

ID=34393196

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200480028090XA Pending CN1860793A (zh) 2003-09-29 2004-09-24 具有用于过完备小波视频编码架构内的重要系数群集的自适应结构化元素的3－d形态操作

Country Status (6)

Country Link
US (1) US20070110162A1 (zh)
EP (1) EP1671490A1 (zh)
JP (1) JP2007507925A (zh)
KR (1) KR20060088548A (zh)
CN (1) CN1860793A (zh)
WO (1) WO2005032141A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2866737B1 (fr) * 2004-02-25 2006-11-17 Nextream France Dispositif et procede de pre-traitement avant codage d'une sequence d'images
US20050201468A1 (en) * 2004-03-11 2005-09-15 National Chiao Tung University Method and apparatus for interframe wavelet video coding
CN100448296C (zh) * 2006-08-18 2008-12-31 哈尔滨工业大学 基于db2小波的可伸缩性视频编解码方法
KR101375668B1 (ko) * 2008-03-17 2014-03-18 삼성전자주식회사 변환 계수의 부호화, 복호화 방법 및 장치
WO2010025458A1 (en) * 2008-08-31 2010-03-04 Mitsubishi Digital Electronics America, Inc. Transforming 3d video content to match viewer position
KR20120070125A (ko) * 2010-12-21 2012-06-29 한국전자통신연구원 인간컴퓨터 상호작용을 위한 영상처리장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206459B2 (en) * 2001-07-31 2007-04-17 Ricoh Co., Ltd. Enhancement of compressed images
WO2005029846A1 (en) * 2003-09-23 2005-03-31 Koninklijke Philips Electronics, N.V. Video de -noising algorithm using inband motion-compensated temporal filtering

Also Published As

Publication number Publication date
JP2007507925A (ja) 2007-03-29
EP1671490A1 (en) 2006-06-21
KR20060088548A (ko) 2006-08-04
WO2005032141A1 (en) 2005-04-07
US20070110162A1 (en) 2007-05-17

Similar Documents

Publication Publication Date Title
RU2571509C2 (ru) Кодирование коэффициентов преобразования для кодирования видео
CN104221375B (zh) 速率失真优化量化中的等级决定
CN103190147B (zh) 用于视频译码的语法元素的联合译码方法及设备
US8410959B2 (en) Variable length codes for coding of video data
CN1189038C (zh) 嵌入的离散余弦变换式静止图像编码算法
US6965700B2 (en) Embedded and efficient low-complexity hierarchical image coder and corresponding methods therefor
CN103718554A (zh) 用于视频译码的变换系数的译码
US6931068B2 (en) Three-dimensional wavelet-based scalable video compression
CN103609112A (zh) 视频译码中的内部位深度增加
CN101855908B (zh) 用于可缩放视频译码的改进的加强层译码
CN1650634A (zh) 利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码
CN1339224A (zh) 使用基层量化数据对增强层数据进行编码和解码的系统和方法
CN103609121A (zh) 统一合并模式和自适应运动向量预测模式候选者选择
CN1798341A (zh) 自适应系数扫描次序
CN103918263A (zh) 用于扫描视频编译中的矩形变换的设备和方法
CN103004192A (zh) 用于视频译码中的固定点变换的可变局部位深增加
CN103636224A (zh) 用于视频压缩中的系数等级译码的上下文
CN1969564A (zh) 用于表示一组相关图像的方法与系统
CN104205832A (zh) 用于视频译码的变换系数译码中的群组旗标
CN1173958A (zh) 基于区域的纹理编码方法及译码方法以及相应的系统
CN1813479A (zh) 过完备小波域中的视频编码
CN111669588B (zh) 一种超低时延的超高清视频压缩编解码方法
CN101132529A (zh) 基于快速逐次逼近量化的小波图像压缩方法
CN101783954A (zh) 一种视频图像编解码方法
CN103650514A (zh) 使用vlc码字来译码语法元素

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication