CN1860794A - 使用用于3－d过完备小波视频编码框架的联合时空预测进行形态学有效位映射编码 - Google Patents

使用用于3－d过完备小波视频编码框架的联合时空预测进行形态学有效位映射编码 Download PDF

Info

Publication number
CN1860794A
CN1860794A CNA2004800280948A CN200480028094A CN1860794A CN 1860794 A CN1860794 A CN 1860794A CN A2004800280948 A CNA2004800280948 A CN A2004800280948A CN 200480028094 A CN200480028094 A CN 200480028094A CN 1860794 A CN1860794 A CN 1860794A
Authority
CN
China
Prior art keywords
frame
video
wavelet coefficient
information
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800280948A
Other languages
English (en)
Inventor
D·S·图拉加
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1860794A publication Critical patent/CN1860794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Abstract

提供用于在过完备小波视频编码器中数字编码视频信号的系统和方法。视频编码算法单元定位第一视频帧中的有效小波系数并使用运动信息时间预测第二视频帧中有效小波系数的位置信息。该视频编码算法单元还能够从所述第二视频帧的空间双亲接收并使用空间预测信息。本发明组合时间预测和空间预测以获得联合的时空预测。本发明还建立用于编码有效小波系数群集的顺序。本发明增加了编码效率并提供了解码视频的增强质量。

Description

使用用于3-D过完备小波视频编码框架的联合时空预测进行 形态学有效位映射编码
本发明通常涉及数字信号传输系统，并具体而言，本发明涉及在过完备(overcomplete)小波视频编码框架内应用联合时空预测技术的系统和方法。
在数字视频通信中过完备小波视频编码为视频传输提供非常灵活和有效的框架。可以认为过完备小波视频编码是先前存在的帧间小波编码技术的概括。在过完备小波域中的空间分解之后，通过独立地一个一个子频带地执行运动补偿的时间滤波，能够解决小波变换的移位偏差的问题。
已经引入了形态学有效位(significance)映射编码用于图象编码，其中使用形态学运算将有效的(significant)小波系数群集(cluster)在一起。已经使用二维(2-D)形态学运算群集有效的小波系数并跨不同的空间尺度(scale)预测有效位。该形态学运算已经在保持像边缘之类的重要特征方面显得更加健壮。
以前存在的应用形态学有效位编码给视频将不同的帧作为独立的图象或独立的残余帧。所以，现有技术方法不能有效地利用帧间相关性。
所以，在本领域中需要能够将形态学有效位运算应用于视频编码以提高编码效率的系统和方法。在本领域中还需要能够将形态学有效位运算应用于视频编码以提高基于小波的视频编码方案的解码视频质量的系统和方法。
为了解决上述现有技术的缺陷，本发明的系统和方法将使用运动信息的有效小波系数的时间预测应用于视频编码。本发明的系统和方法组合时间预测技术和空间预测技术来获得联合时空预测和形态学群集方案。
本发明的系统和方法包括位于视频发送机的视频编码器内的视频编码算法单元。该视频编码算法单元定位第一视频帧中的有效的小波系数，然后使用运动信息时间预测第二视频帧中的有效小波系数的位置信息。然后，该视频编码算法单元形态学群集第二视频帧中的有效小波系数。通过这种方式，本发明提供了用于联合时空预测有效小波系数的系统和方法。
视频编码算法单元还能够从所述第二视频帧的空间双亲接收并使用空间预测信息。视频编码算法单元还能够从所述第二视频帧的其他时间双亲接收并使用时间预测信息。本发明的系统和方法还能够利用双向滤波和多个参考帧进行操作。
在本发明的一个有利实施例中，所述视频编码算法单元建立有效地编码有效小波系数群集的顺序。每一群集分配一个成本因子。该成本因子C是表示需要用来编码群集的比特数量和失真减小D的速率R的函数。首先编码具有小的成本因子值的群集。
本发明的一个目的是提供将使用运动信息的有效小波系数的时间预测应用于视频编码的系统和方法。
本发明的另一个目的是在数字视频发送机中提供一种在用于定位有效小波系数群集的过完备小波视频编码框架内，使用联合时空预测方法数字编码视频信号的系统和方法。
本发明的再一个目的是在数字视频发送机中提供一种在用于定位有效小波系数群集的过完备小波视频编码框架内，使用空间预测信息和时间预测信息数字编码视频信号的系统和方法。
本发明的又一个目的是提供一种通过经由高通滤波器滤波已时空滤波的视频帧以建立残余子频带的系统和方法。
本发明的又一个目的是提供一种使用用于每一群集的最小化速率失真成本的成本因子，建立有效地编码有效小波系数群集的顺序的系统和方法。
以上广泛地阐述了本发明的特征和技术优点，以便本领域的普通技术人员可以更好地理解本发明的以下详细描述。在下文中将描述形成本发明权利要求主题的本发明的其他特征和优点。本领域的普通技术人员应该理解他们可以容易地使用这里公开的构思和具体实施例，作为修改或设计用于实现本发明相同目的的其他结构的基础。本领域的普通技术人员还应当意识到这些等效结构在最广泛形式方面没有背离本发明的精神和范围。
在本发明的详细描述之前，可以有利地阐述在本专利文献中通篇使用的某些词和词组的定义：术语“包括”和“包含”及其派生词指包括而没有限制；术语“或”是包括性的，指的是和/或；词组“与...相关”和“与其相关”及其派生词可以指包括、包括在内、与...互连、包含、包含在内、连接到或与...连接、耦合到或与...耦合、可与...通信、与...互操作、交叉、并列、近似于、限制于、具有、具有特性等等；术语“控制器”、“处理器”或“设备”意指任何设备、系统或其控制至少一种操作的部件，这种设备可以以硬件、固件或软件、或其至少两种的一些组合实现。应该注意到与任何特定控制器相关的功能可以是集中的或分布的，不论其是本地还是远程地分布。特别是，控制器可以包括一个或多个数据处理器，以及相关的输入/输出设备和存储器，所述处理器执行一个或多个应用程序和/或操作系统程序。在本专利文献全文中提供某些词和词组的定义。本领域的普通技术人员应该明白在许多情况下，否则在绝大多数情况下，这些定义适用于这些定义词和词组先前的使用以及以后的使用。
为了更完整的理解本发明及其优点，现在参考以下结合附图的描述，其中相同的附图标记表示相同的对象，其中：
图1是示例了根据本发明的有利实施例通过数据网络从流视频发送机到流视频接收机的流视频的端到端传输的方框图；
图2是示例了根据本发明的有利实施例的示意性视频编码器的方框图；
图3是根据本发明有利实施例的示意过完备小波编码器的方框图；
图4是示例了本发明如何在四个示意子频带中空间分解之后应用时间滤波的实例的图；
图5是示例了显示双向滤波和使用多个参考的本发明方法的另一个实例的图；
图6是示例了本发明方法的另一个实例的图，该方法显示可以如何从子频带的时间双亲和空间双亲预测子频带中有效小波系数的位置；
图7是示例了显示可以如何排序有效小波系数群集的本发明方法的另一个实例的图；
图8示例了显示本发明有利实施例的第一方法的步骤的流程图；
图9示例了显示本发明有利实施例的第二方法的步骤的流程图；
图10示例了可以用于实现本发明原理的数字传输系统的示意性实施例。
以下讨论的图1到10，以及在本专利文献中用于描述本发明原理的各种实施例仅仅通过示例的方式，而不应该以任何方式解释为限制本发明的范围。本发明可以在任何数字视频信号编码器或代码转换器中使用。
图1是示例根据本发明的有利实施例，通过数据网络120从流视频发送机110到流视频接收机130的流视频的端到端传输的方框图。根据这种应用，流视频发送机110可以是大量视频帧源的任何之一，包括数据网络服务器、电视台、电缆网络、台式个人计算机(PC)等等。
流视频发送机110包括视频帧源112、视频编码器114和编码器缓冲器116。视频帧源112可以是能够产生未压缩视频帧序列的任何设备，包括电视天线和接收机单元、录像带播放机、摄影机、能够存储“未加工的”视频剪辑的盘存储设备等等。未压缩的视频帧以给定的图象速率(或“流速率”)进入视频编码器114并根据任何已知的压缩算法或设备诸如MPEG-4编码器来压缩。视频编码器114然后发送压缩的视频帧到用于缓冲的编码器缓冲器116，以准备在数据网络120上进行发送。数据网络120可以是任何适当的IP网络并且可以包括诸如因特网之类公共数据网络以及诸如企业拥有的局域网(LAN)或广域网(WAN)之类专用数据网络的一部分。
流视频接收机130包括解码器缓冲器132、视频解码器134和视频显示器136。解码器缓冲器132从数据网络120接收和存储流传送的压缩视频帧。解码器缓冲器132然后根据需要发送该压缩的视频帧到视频解码器134。视频解码器134以和视频编码器114压缩视频帧相同的速率(理想情况下)解压缩所述视频帧。视频解码器134发送该解压缩的帧到视频显示器136，以用于在视频显示器136的屏幕上重放。
图2是示例根据本发明的有利实施例的示意视频编码器114的方框图。示意视频编码器114包括信源编码器200和传输编码器230。信源编码器200包括波形编码器210和熵编码器220。从视频帧源112(图1所示)提供视频信号给视频编码器114的信源编码器200。该视频信号进入波形编码器210，在该编码器中根据本发明的原理以将会更完整描述的方式处理所述视频信号。
波形编码器210是有损设备，它通过使用变换的变量和应用量化表示原始视频减小了比特率。波形编码器210可以使用离散余弦变换(DCT)或小波变换执行变换编码。然后发送来自波形编码器210的编码视频信号到熵编码器220。
熵编码器220是无损设备，它根据将要编码的符号的统计分布将来自波形编码器210的输出符号映射成二进制码字。熵编码方法的实例包括霍夫曼编码、算术编码、和使用DCT和运动补偿预测的混合编码方法。然后发送来自熵编码器220的编码视频信号到传输编码器230。
传输编码器230表示使用特定传输协议执行信道编码、打包和/或调制、以及传输电平控制的一组设备。传输编码器230将来自信源编码器200的比特流转换成适于传输的数据单元。自传输编码器230输出的视频信号被发送到编码器缓冲器116，以将其最终通过数据网络120发送到视频接收机130。
图3是示例根据本发明有利实施例的示意性过完备小波编码器210的方框图。过完备小波编码器210包括分支，该分支包括产生当前帧320的小波变换的离散小波变换单元310，和完备到过完备离散小波变换单元330。完备到过完备离散小波变换单元330的第一输出被提供给运动估计单元340。完备到过完备离散小波变换单元330的第二输出被提供给时间滤波单元350。运动估计单元340和时间滤波单元350一起提供运动补偿的时间滤波(MCTF)。运动估计单元340提供运动向量(和帧参考号码)给时间滤波单元350。
运动估计单元340还提供运动向量(和帧参考号码)给运动向量编码器单元370。运动向量编码器单元370的输出被提供给发送单元390。时间滤波单元350的输出被提供给子频带编码器360。子频带编码器360包括视频编码算法单元365。视频编码算法单元365包括操作本发明视频编码算法的示意性结构。子频带编码器360的输出被提供给熵编码器380。熵编码器380的输出被提供给发送单元390。过完备小波编码器210的其他各种单元的结构和操作在本领域中是众所周知的。
二维(2-D)形态学有效位编码已经先前应用于视频。在J.Vass等人的题为“Significance-Linked Connected Component Analysis for VeryLow Bit-Rate Wavelet Video Coding”的论文中阐述和描述了一个实例，该论文在视频技术电路和系统IEEE学报(IEEE Transactions on Circuitsand Systems for Video Technology)1999年6月第9卷第630-647页中出版。Vass系统首先应用时间滤波器，然后通过使用二维(2-D)形态学有效位编码群集时间滤波的帧。Vass系统将不同的视频帧考虑作为独立的图象和独立的残余帧。Vass系统没有有效地利用帧间相关性。
其他现有技术的系统已经应用类似的形态学有效位编码技术。参见例如，S.D.Servetto等人的题为“Image Coding Based on a MorphologicalRepresentation of Wavelet Data”的论文，该论文在视频技术电路和系统IEEE学报(IEEE Transactions on Circuits and Systems for VideoTechnology)1999年9月第8卷第1161-1174页中出版，。
与现有技术不同，本发明组合了形态学有效位编码技术和使用运动信息的有效小波系数的时间预测。正如将更详细描述地，本发明的系统和方法能够识别和空间群集第一帧中的有效小波系数，使用运动信息时间预测第二帧中群集的位置，然后空间群集第二帧中的有效小波系数。本发明的视频编码算法(1)增加了编码效率，和(2)增加了基于小波的视频编码方案的解码视频质量。
为了更好地理解本发明的操作，考虑以下的实例。图4示例了可以在空间去分解之后如何应用时间滤波的一个有利实施例。图4示例了在将空间小波变换处理应用到四个相继帧之后以相同的尺度获得的四个示意性子频带。这四个子频带表示为子频带0、子频带1、子频带2、和子频带3。子频带0、子频带1、子频带2、和子频带3也分别用附图标记410、420、430和440表示。在图4中，子频带中的黑点线表示有效小波系数的群集。有效小波系数可以在视频表示中例如表示运动对象的边缘。
本发明的方法空间群集帧410中的有效小波系数(即，获得帧410中有效小波系数的有效位映射)。然后该方法使用运动信息(由运动向量MV1表示)来时间预测帧420中有效小波系数群集的位置。即，帧410在运动方向被时间滤波。这种时间滤波器可以是现有技术的时间滤波器，例如时间多分辨率分解滤波器。然后，该方法空间群集帧420中的有效小波系数(即，获得帧410中的有效小波系数的有效位映射)。然后，编码用于帧410的数据。
本方法还空间群集帧430中的有效小波系数(即，获得帧430中有效小波系数的有效位映射)。然后，该方法使用运动信息(由运动向量MV2表示)来时间预测帧440中有效小波系数群集的位置。即，帧430在运动方向中被时间滤波。然后，该方法空间群集帧440中的有效小波系数(即，获得帧440中的有效小波系数的有效位映射)。然后，编码用于帧440的数据。
图4还示例了使用帧410如何定位帧430中有效小波系数群集的位置。正如上所述，该方法空间群集帧410中的有效小波系数(即，获得帧410中有效小波系数的有效位映射)。然后该方法使用运动信息(由运动向量MV3表示)来时间预测帧430中有效小波系数群集的位置。即，帧430在运动方向被时间滤波。然后，该方法空间群集帧430中的有效小波系数(即，获得帧430中有效小波数的有效位映射)。然后，编码用于帧430的数据。
图4还示例了如何产生时空滤波的子频带。提供有关帧410和帧420中有效小波系数群集的位置的信息给高通滤波器(HPF)。高通滤波器滤波该信息以产生分解的帧450(还表示为SH1)。帧450表示由从帧410中减去帧420的相减运算产生的残余(即，从子频带0减去子频带1的残余)。然后，编码用于帧450的数据。
同理，提供有关帧430和帧440中有效小波系数群集的位置的信息给高通滤波器(HPF)。高通滤波器滤波该信息以产生分解的帧460(还表示为SH3)。帧460表示由从帧430中减去帧440的相减运算产生的残余(即，从子频带2减去子频带3的残余)。然后，编码用于帧460的数据。
残余子频带(帧450和帧460)有可能比原始的子频带具有少得多的能量。所以，通过残余子频带中较浅点的线表示有效小波系数的群集。但是，由于不完善的运动预测，有效小波系数继续存在于边缘的周围(空间细节)。
图4还示例了如何从帧410和帧430产生残余子频带(帧470)。提供有关帧410和帧430中有效小波系数群集的位置的信息给高通滤波器(HPF)。高通滤波器滤波该信息以产生分解的帧470(还表示为SLH)。帧470表示由从帧410中减去帧430的相减运算产生的残余(即，从子频带0减去子频带2的残余)。然后，编码用于帧470的数据。最后，编码子频带0(还表示为SLL)中帧410的数据。
可以在使用时间预测编码四个子频带(SLL、SLH、SH1、SH3)的伪代码中阐述上述处理。所述伪代码如下：
(1)子频带SLL。以随机种子开始来识别有效小波系数的位置。使用形态学滤波来群集该有效小波系数。获得有效位映射。编码用于SLL的数据。
(2)子频带SLH。使用运动向量MV3和SLL中的群集位置预测SLH(子频带0)中有效小波系数的位置。使用该预测构造用于SLH的有效位映射。编码用于SLH的数据。
(3)子频带SH1。使用运动向量MV1和SLL中的群集位置预测子频带0中有效小波系数的位置。使用该预测构造用于SH1的有效位映射。编码用于SH1的数据。
(4)子频带SH3。使用运动向量MV2和SLH中的群集位置预测子频带2中有效小波系数的位置。使用该预测构造用于SH3的有效位映射。编码用于SH3的数据。
本发明的方法不仅使用形态学群集技术跨不同的尺度进行预测，还跨帧进行预测。这更有效地利用了数据中的时间冗余。
图4所示的实例是示例性的。本发明的方法并不限于图4的实例中所示的特征。图4示出了本发明方法在具有四个帧的二级去分解中的应用。本发明的方法还可应用于其他数量帧的其他级去分解。特别是，本发明的方法可以应用于不止一个子频带用作参考(多个参考)的情况。本发明的方法还可以应用于使用双向滤波的情况。本发明的方法还可以应用于时间滤波网络内的各种其他情形。
图5示例了在空间分解之后如何应用时间滤波的另一个有利实施例。图5示例了在应用空间小波变换处理给四个相继帧之后以相同尺度获得的四个示意性子频带。这四个子频带表示为子频带0、子频带1、子频带2、和子频带3。子频带0、子频带1、子频带2、和子频带3也分别用附图标记510、520、530和540表示。在图5中，子频带中的黑点线表示有效小波系数群集。有效小波系数可以例如表示为视频表示中运动对象的边缘。
图5示例了本发明的方法在涉及多个参考帧和双向滤波的情况下如何进行操作。本发明的方法空间群集帧510中的有效小波系数(即，获得帧510中有效小波系数的有效位映射)。然后该方法使用运动信息(由运动向量MV1表示)时间预测帧430中有效小波系数群集的位置。即，帧510在运动方向被时间滤波。
本发明的方法空间群集帧520中的有效小波系数(即，获得帧520中的有效小波系数的有效位映射)。然后，该方法使用运动信息(由运动向量MV2表示)时间预测帧530中有效小波系数群集的位置。即，帧520在运动方向中被时间滤波。
本发明的方法空间群集帧540中的有效小波系数(即，获得帧540中的有效小波系数的有效位映射)。然后该方法使用运动信息(由运动向量MV3表示)时间预测帧530中有效小波系数群集的位置。即，帧530在运动方向被时间滤波。运动向量MV3从帧540向帧530延伸。运动向量MV3的方向与运动向量MV1和运动向量MV2的方向相反。
有关帧510、帧520、帧530和帧540中有效小波系数群集的位置的信息被提供给高通滤波器(HPF)。高通滤波器滤波该信息以产生分解的帧550(还表示为SH3)。本发明的方法空间群集帧550中的有效小波系数(即，获得帧550中有效小波系数的有效位映射)。然后，编码用于帧550的数据。
可以在使用时间预测来编码子频带SH3的伪代码中阐述上述处理。该伪代码如下：
(1)子频带SH3。使用运动向量MV1、MV2和MV3和帧510、帧520、和帧540中有效小波系数群集的位置来预测SH3中有效小波系数的位置。使用形态学滤波来群集有效小波系数并使用该组合预测获得用于SH3的有效位映射。编码用于SH3的数据。
本发明方法的其他实施例可以扩展到覆盖包括可变的分解结构、多个参考等等的情况。
图6示例了在空间分解之后如何应用时间滤波并且如何使用它来从子频带的时间双亲和空间双亲预测子频带中有效小波系数的位置的另一个有利实施例。图6示例了当前子频带(由帧610表示)、当前子频带的时间双亲(由帧620表示)以及当前子频带的空间双亲(由帧630表示)。
本发明方法的该实施例组合跨空间尺度的有效小波系数的预测和跨时间帧的有效小波系数的预测。即，从时间双亲(帧620)或空间双亲(帧630)可以预测帧610中有效小波系数的位置。组合根据时间双亲(帧620)或空间双亲(帧630)的预测以增加预测的健壮性并提高编码效率。
可以在三个具体组合中组合时间双亲预测和空间双亲预测。
第一种组合是“或”组合。(1)如果所述时间双亲预测是这些系数有效，或(2)如果所述空间双亲预测是这些系数有效，则将帧610中小波系数的位置标记为“有效”。
第二种是“与”组合。(1)如果所述时间双亲预测是这些系数有效并且(2)如果所述空间双亲预测是这些系数有效，则将帧610中小波系数的位置标记为“有效”。
第三种组合是“表决”组合。如果大多数时间双亲预测是这些系数有效，则将帧610中小波系数的位置标记为“有效”。这种“表决”组合可应用于有不止一个时间双亲的情况。
在现有技术系统中，表示有效小波系数的数据被组织成像零树之类固定的空间分层结构或子频带被独立地编码。在一个有利实施例中，本发明的方法使用联合时空预测应用形态学群集。这产生了可以更灵活组织以获得更好速率失真性能的相关群集。
成本因子C可以与每一形态学群集相关联。成本因子C取决于需要用来编码群集的比特数(即，速率R)以及通过编码该群集获得的失真减小D。成本因子C根据R和D的有用表达式如下：
C＝R+λD                          (1)
这里系数lambda(λ)表示拉格朗日乘数。λ的值可以由用户设置或者对于给定的约束条件通过本发明的视频编码算法优化。速率R可以以编码群集所需的比特数测量。失真减小D可以以质量度量诸如均方重构误差进行测量。在替换的实施例中，成本因子C还可以包括群集对整个编码性能的影响的测量(例如，偏差减小)。
期望确定编码群集的最优顺序。为了获得最大增益和减小失真，应该首先编码(和发送)具有小成本因子C的群集。在通过编码群集可以获得的失真减小D的量和编码群集所需的比特数(速率R)之间存在折衷。本发明的方法以最小化速率-失真成本因子C的顺序编码所述群集。可以逐个位平面执行最小化速率-失真成本因子C。
用于对编码群集排序的本发明方法给速率R中的变化提供了灵活、有效和微调粒度的自适应，同时保留了视频编码方案的嵌入。
在图7中作为实例示出了用于排序群集的本发明方法的有利实施例。
图7示例了当前子频带S1，1(由帧710表示)、当前子频带S1，1的时间双亲S0，1(由帧720表示)、当前子频带S1，1的空间双亲S1，0(由帧730表示)、以及用于空间双亲S1，0和时间双亲S0，1的空间双亲S0，0(由帧740表示)。
运动向量750提供用于时间滤波帧720的运动信息，以定位帧710中的有效小波向量的群集。运动向量760提供用于时间滤波器帧740的运动信息，以定位帧730中有效小波向量的群集。
使用本发明方法的示意性处理结合图7的单元可以通过伪代码来说明。该伪代码如下：
1、定位和编码帧740内的群集M0，0。
2、使用群集M0，0预测帧720内的群集M0，1。
3、使用群集M0，0预测帧730内的群集M1，0。
4、计算用于群集M0，1的成本因子C0，1。
5、计算用于群集M1，0的成本因子C1，0。
6、比较成本因子C0，1和C1，0。
7、如果C0，1小于C1，0，首先编码M0，1，然后编码M1，0。
8、如果C1，0小于C0，1，首先编码M1，0，然后编码M0，1。
9、使用M1，0和M0，1预测帧710内的群集M1，1。
10、编码帧710内的群集M1，1。
在该伪代码中描述的示意方法显示首先编码具有最小成本因子值的群集。本发明的方法提供了使用优化的速率-失真成本因子，用于对群集的编码进行排序的有效和灵活的结构。
图8示例了显示本发明有利实施例的第一方法的步骤流程图。这些步骤统称为附图标记800。在该方法的第一步骤中，本发明的视频编码算法以光栅扫描的顺序扫描子频带，直到在第一帧中定位第一有效小波系数(步骤810)。然后，所述视频编码算法空间群集第一帧中的有效小波系数(步骤820)。
然后该算法使用运动信息时间预测第二帧中有效小波系数群集的位置(步骤830)。接着，该算法空间群集第二帧中的有效小波系数(步骤840)。
图9示例了示出本发明有利实施例的提供有效小波系数的联合时空预测的第二方法的步骤的流程图。这些步骤统称为附图标记900。在该方法的第一步骤中，本发明的视频编码算法以光栅扫描的顺序扫描子频带，直到在第一帧中定位第一有效小波系数(步骤910)。然后该视频编码算法空间群集第一帧中的有效小波系数(步骤920)。
接着该算法使用运动信息时间预测第二帧中有效小波系数群集的位置(步骤930)。再接着该算法从第二帧的空间双亲空间预测第二帧中的有效小波系数群集的位置(步骤940)。然后该算法使用时间预测和/或空间预测识别第二帧中的有效小波系数群集的位置(步骤950)。
图10示例了可以用于实现本发明原理的系统1000的示意实施例。系统1000可以表示电视机、机顶盒、台式机、膝上型或掌上型计算机、个人数字助理(PDA)、视频/图象存储设备诸如录像机(VCR)、数字视频记录设备(DVR)、TiVO设备等，以及这些和其他设备的一部分或其组合。系统1000包括一个或多个视频/图象源1010、一个或多个输入/输出设备1060、处理器1020以及存储器1030。视频/图象源1010可以表示例如电视接收机、VCR或其他视频/图象存储设备。视频/图象源1010可以可替换地表示用于在例如诸如因特网之类的全球计算机通信网络、广域网、陆地广播系统、电缆网络、卫星网络、无线网络、或电话网络、以及这些和其他类型网络的一部分或其组合上从服务器或服务器所有者接收视频的一个或多个网络连接。
输入/输出设备1060、处理器1020和存储器1030可以在通信媒介1050上实现通信。通信媒介1050可以表示例如总线、通信网络、电路的一个或多个内部连接、电路卡或其他设备、以及这些和其他通信媒介的一部分或其组合。根据存储器1030中存储的一个或多个软件程序处理来自视频源1010的输入视频数据并通过处理器1020执行以产生提供给显示设备1040的输出视频/图象。
在优选实施例中，应用本发明原理的编码和解码可以通过所述系统执行的计算机可读代码实现。该代码可以存储在存储器1030中或从存储介质诸如CD-ROM或软盘读取/下载。在其他实施例中，可以代替、或组合软件指令使用硬件电路来实现本发明。例如，这里示例的单元还可以实现为单独的硬件单元。
尽管已经参考本发明的特定实施例详细描述了本发明，但是本领域的普通技术人员应该明白能够对本发明作出各种变化、置换修改、变更和改变，而在其最广泛形式方面不背离本发明的构思和范围。

Claims (27)

1、一种在数字视频发送机(110)中用于在过完备小波视频编码器(210)内数字编码视频信号的设备(365)，所述设备(365)包括视频编码算法单元(365)，该单元能够使用第一视频帧中的有效小波系数的位置信息以及运动信息来时间预测第二视频帧中有效小波系数的位置信息。
2、根据权利要求1所述的设备(365)，其中，所述运动信息包括所述第一视频帧和所述第二视频帧之间的运动向量。
3、根据权利要求1所述的设备(365)，其中，所述视频编码算法单元(365)还能够从所述第二帧的空间双亲接收空间预测信息，并使用以下之一预测所述第二视频帧中有效小波系数的位置信息：来自所述空间双亲的空间预测信息和使用所述运动信息推导得出的时间预测信息。
4、根据权利要求3所述的设备(365)，其中，当所述时间预测信息预测所述第二视频帧中所述有效小波系数的位置和/或当所述空间预测信息预测所述第二视频帧中所述有效小波系数的位置时，所述视频编码算法单元(365)识别所述第二视频帧中有效小波系数的位置信息。
5、根据权利要求3所述的设备(365)，其中，所述视频编码算法单元(365)能够从所述第二视频帧的多个时间双亲接收时间预测信息，并且，当所述多个时间双亲中的大多数预测所述第二视频帧中有效小波系数的位置时，识别所述第二视频帧中有效小波系数的位置信息。
6、根据权利要求3所述的设备(365)，其中，所述视频编码算法单元(365)还能够从多个视频帧中每一帧接收有效小波系数的位置信息和用于所述多个视频帧中每一帧的运动信息，并使用所述位置信息和所述运动信息时间预测所述第二视频帧中有效小波系数的位置信息。
7、根据权利要求6所述的设备(365)，其中，所述多个视频帧的第一部分出现在所述第二视频帧之前以及所述多个视频帧的第二部分出现在所述第二视频帧之后。
8、根据权利要求6所述的设备(365)，其中，所述视频编码算法单元(365)还能够通过经由高通滤波器滤波至少一个时空滤波的视频帧产生至少一个残余子频带。
9、据权利要求1所述的设备(365)，其中，所述视频编码算法单元(365)还能够使用每一群集的成本因子C建立编码有效小波系数群集的顺序，其中C表示为：
C＝R+λD
这里R表示编码群集所需的比特数，D表示通过编码所述群集获得的失真减小D，而lambda(λ)表示拉格朗日乘数。
10、一种在数字视频发送机(110)中用于在过完备小波视频编码器(210)内数字编码视频信号的方法，所述方法包括以下步骤：
定位第一视频帧中的有效小波系数；和
使用所述第一视频帧中的所述有效小波系数的位置信息和运动信息时间预测第二视频帧中有效小波系数的位置信息。
11、根据权利要求10所述的方法，其中，所述运动信息包括所述第一视频帧和所述第二视频帧之间的运动向量。
12、根据权利要求10所述的方法，还包括以下步骤：
从所述第二帧的空间双亲获得空间预测信息；和
使用以下之一预测所述第二视频帧中有效小波系数的位置：来自所述空间双亲的空间预测信息和使用所述运动信息推导得出的时间预测信息。
13、根据权利要求12所述的方法，还包括以下步骤：
确定所述时间预测信息预测所述第二视频帧中所述有效小波系数的位置和/或确定所述空间预测信息预测所述第二视频帧中所述有效小波系数的位置；和
识别所述第二视频帧中有效小波系数的位置信息。
14、根据权利要求12所述的方法，还包括以下步骤：
从所述第二视频帧的多个时间双亲获得时间预测信息；
确定所述多个时间双亲中的大多数预测所述第二视频帧中所述有效小波系数的位置；以及
基于所述第二视频帧的所述大多数的时间双亲的所述预测，识别所述第二视频帧中有效小波系数的位置信息。
15、根据权利要求12所述的方法，还包括以下步骤：
从多个视频帧中的每一个帧获得有效小波系数的位置信息；
获得用于所述多个视频帧中的每一个帧的运动信息；和
使用所述位置信息和所述运动信息来时间预测所述第二视频帧中有效小波系数的位置信息。
16、根据权利要求15所述的方法，其中，所述多个视频帧的第一部分出现在所述第二视频帧之前以及所述多个视频帧的第二部分出现在所述第二视频帧之后。
17、根据权利要求15所述的方法，还包括以下步骤：
通过经由高通滤波器滤波至少一个时空滤波的视频帧产生至少一个残余子频带。
18、根据权利要求10所述的方法，还包括以下步骤：
使用每一群集的成本因子C建立编码有效小波系数群集的顺序，其中C表示为：
C＝R+λD
这里R表示编码群集所需的比特数，D表示通过编码所述群集获得的失真减小D，而lambda(λ)表示拉格朗日乘数。
19、一种通过用于在数字视频发送机(110)中在过完备小波视频编码器(210)内数字编码视频信号的方法所产生的数字编码的视频信号，所述方法包括以下步骤：
定位第一视频帧中的有效小波系数；和
使用所述第一视频帧中的所述有效小波系数的位置信息和运动信息时间预测第二视频帧中有效小波系数的位置信息。
20、根据权利要求19所述的数字编码的视频信号，其中，所述运动信息包括所述第一视频帧和所述第二视频帧之间的运动向量。
21、根据权利要求19所述的数字编码的视频信号，其中，所述方法还包括以下步骤：
从所述第二帧的空间双亲获得空间预测信息；和
使用以下之一预测所述第二视频帧中有效小波系数的位置：来自所述空间双亲的空间预测信息和使用所述运动信息推导得出的时间预测信息。
22、根据权利要求21所述的数字编码的视频信号，其中，所述方法还包括以下步骤：
确定所述时间预测信息预测所述第二视频帧中所述有效小波系数的位置和/或确定所述空间预测信息预测所述第二视频帧中所述有效小波系数的位置；和
识别所述第二视频帧中有效小波系数的位置信息。
23、根据权利要求21所述的数字编码的视频信号，其中，所述方法还包括以下步骤：
从所述第二视频帧的多个时间双亲获得时间预测信息；
确定所述多个时间双亲中的大多数预测所述第二视频帧中所述有效小波系数的位置；以及
基于所述第二视频帧的所述大多数的时间双亲的所述预测，识别所述第二视频帧中有效小波系数的位置信息。
24、根据权利要求21所述的数字编码的视频信号，其中，所述方法还包括以下步骤：
从多个视频帧中的每一个帧获得有效小波系数的位置信息；
获得用于所述多个视频帧中的每一个帧的运动信息；和
使用所述位置信息和所述运动信息时间预测所述第二视频帧中有效小波系数的位置信息。
25、根据权利要求24所述的数字编码的视频信号，其中，所述多个视频帧的第一部分出现在所述第二视频帧之前以及所述多个视频帧的第二部分出现在所述第二视频帧之后。
26、根据权利要求24所述的数字编码的视频信号，所述方法还包括以下步骤：
通过经由高通滤波器滤波至少一个时空滤波的视频帧产生至少一个残余子频带。
27、根据权利要求19所述的数字编码的视频信号，所述方法还包括以下步骤：
使用每一群集的成本因子C建立编码有效小波系数群集的顺序，其中C表示为：
C＝R+λD
这里R表示编码群集所需的比特数，D表示通过编码所述群集获得的失真减小D，而lambda(λ)表示拉格朗日乘数。
CNA2004800280948A 2003-09-29 2004-09-24 使用用于3－d过完备小波视频编码框架的联合时空预测进行形态学有效位映射编码 Pending CN1860794A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US50688203P 2003-09-29 2003-09-29
US60/506,882 2003-09-29

Publications (1)

Publication Number Publication Date
CN1860794A true CN1860794A (zh) 2006-11-08

Family

ID=34393195

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800280948A Pending CN1860794A (zh) 2003-09-29 2004-09-24 使用用于3－d过完备小波视频编码框架的联合时空预测进行形态学有效位映射编码

Country Status (6)

Country Link
US (1) US20070031052A1 (zh)
EP (1) EP1671489A1 (zh)
JP (1) JP2007507924A (zh)
KR (1) KR20060090986A (zh)
CN (1) CN1860794A (zh)
WO (1) WO2005032140A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1868214A (zh) * 2003-10-10 2006-11-22 皇家飞利浦电子股份有限公司 3d视频可缩放视频编码方法
KR100668345B1 (ko) * 2004-10-05 2007-01-12 삼성전자주식회사 움직임 보상된 계층 생성장치 및 방법
US9031129B2 (en) * 2007-06-15 2015-05-12 Microsoft Technology Licensing, Llc Joint spatio-temporal prediction for video coding
KR101467849B1 (ko) * 2009-07-02 2014-12-03 에스케이 텔레콤주식회사 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체
JP6379036B2 (ja) * 2012-08-24 2018-08-22 アイキューブド研究所株式会社 送信装置、画像送信方法、および画像送受信方法
GB2558868A (en) * 2016-09-29 2018-07-25 British Broadcasting Corp Video search system & method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000506686A (ja) * 1995-10-25 2000-05-30 サーノフ コーポレイション オーバラップブロック動き補償及びゼロツリーウェーブレット符号化を用いる低ビットレートビデオ符号化器
US6233017B1 (en) * 1996-09-16 2001-05-15 Microsoft Corporation Multimedia compression system with adaptive block sizes
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
US7006568B1 (en) * 1999-05-27 2006-02-28 University Of Maryland, College Park 3D wavelet based video codec with human perceptual model
US6895050B2 (en) * 2001-04-19 2005-05-17 Jungwoo Lee Apparatus and method for allocating bits temporaly between frames in a coding system
KR20040077777A (ko) * 2002-01-22 2004-09-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 드리프트-없는 비디오 엔코딩 및 디코딩 방법, 및 대응장치들
US7042946B2 (en) * 2002-04-29 2006-05-09 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames

Also Published As

Publication number Publication date
US20070031052A1 (en) 2007-02-08
EP1671489A1 (en) 2006-06-21
KR20060090986A (ko) 2006-08-17
WO2005032140A1 (en) 2005-04-07
JP2007507924A (ja) 2007-03-29

Similar Documents

Publication Publication Date Title
KR100703760B1 (ko) 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
JP3659353B2 (ja) ビデオ画像符号化方法
CN101690227B (zh) 用于对子带进行熵译码的子带扫描技术
Bottreau et al. A fully scalable 3D subband video codec
CN103493488A (zh) 用于视频译码的变换系数的译码
CN103797801A (zh) 视频译码中的非正方形变换单元和预测单元
CN103181169A (zh) 使用联合上下文模型对系数进行熵译码
JP2000511366A6 (ja) ４分割ツリーベースの可変ブロックサイズ動き推定装置および方法
CN101946515A (zh) Cabac译码器的二回合量化
CN101919253A (zh) 基于水平和垂直对称的滤波系数的视频译码
US8395991B2 (en) Non-scalable to scalable video converter
Yea et al. A wavelet-based two-stage near-lossless coder
CN1969564A (zh) 用于表示一组相关图像的方法与系统
WO2014066488A1 (en) Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components
CN1860791A (zh) 结合高级数据分割和精确粒度可分级以用于有效时空信噪比的可分级视频编码和流式传输的系统和方法
CN1813479A (zh) 过完备小波域中的视频编码
JP2007143176A (ja) 動きベクトルの圧縮方法
CN1860794A (zh) 使用用于3－d过完备小波视频编码框架的联合时空预测进行形态学有效位映射编码
US20070110162A1 (en) 3-D morphological operations with adaptive structuring elements for clustering of significant coefficients within an overcomplete wavelet video coding framework
KR101421231B1 (ko) 웨이블릿 변환을 이용한 영상 압축 장치
Vijayanagar et al. Real-time low-bitrate multimedia communication for smart spaces and wireless sensor networks
Kuo et al. Distributed video coding with limited feedback requests
KR20050074151A (ko) 스케일러블 비디오 코딩에서 모션 벡터를 선정하는 방법및 그 방법을 이용한 비디오 압축 장치
CN1843035A (zh) 使用预解码器的可伸缩视频编码方法和设备
Shin et al. Fine-tuned SPIHT Algorithm to Improve Compression Efficiency

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication