CN101015125B - 对数据进行可分级编码和解码的系统和方法 - Google Patents

对数据进行可分级编码和解码的系统和方法 Download PDF

Info

Publication number
CN101015125B
CN101015125B CN2004800434999A CN200480043499A CN101015125B CN 101015125 B CN101015125 B CN 101015125B CN 2004800434999 A CN2004800434999 A CN 2004800434999A CN 200480043499 A CN200480043499 A CN 200480043499A CN 101015125 B CN101015125 B CN 101015125B
Authority
CN
China
Prior art keywords
data
perception
uncorrelated
coding
carried out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2004800434999A
Other languages
English (en)
Other versions
CN101015125A (zh
Inventor
俞容山
S·拉哈尔贾
林晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agency for Science Technology and Research Singapore
Original Assignee
Agency for Science Technology and Research Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency for Science Technology and Research Singapore filed Critical Agency for Science Technology and Research Singapore
Publication of CN101015125A publication Critical patent/CN101015125A/zh
Application granted granted Critical
Publication of CN101015125B publication Critical patent/CN101015125B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

提出了用于对数据进行可分级编码并对编码数据进行可分级解码的系统和方法。用于对数据进行可分级地编码的示例性方法包括基于至少一个预定标准将接收的多个数据的每一个分类为(i)感知相关数据或(ii)感知不相关数据。对感知相关数据进行分级编码，对感知不相关数据进行不分级编码。然后将经分级编码的感知相关数据和经不分级编码的感知不相关数据组合为编码数据流以用于发送。

Description

对数据进行可分级编码和解码的系统和方法
技术领域
本申请涉及对数据进行可分级编码(scalably encoding)的方法和系统，以及驻留在计算机可读介质上的相关的计算机程序产品。
背景技术
随着过去数十年中数字技术的扩散，数字视听格式已经基本上取代了模拟视听格式，成为多媒体内容的主流载体并被广泛应用于诸如CD/DVD、数字TV、视频点播(VoD)和网络广播等大量多媒体应用中。总的来说，数字多媒体信号的特征是高数据率，并且通过通信信道的传输不可避免地要求在传输之前进行压缩的技术。目前，存在很多专门为多媒体信号压缩而设计的数据压缩技术，如用于视频信号的H.263和MPEG4视频、用于音频信号的MPEG4音频层III(mp3)、MPEG-AAC和Dolby AC-3、以及用于语音信号的G.723.1和AMR，其中很多技术被广泛使用。
近来，通用多媒体存取(UMA)范例作为用于多媒体通信的重要技术显现出来，其中视听内容通过不同种类的存取网络传送给具有不同功能的各种播放装置，并由偏好有很大不同的用户使用。UMA范例在其框架内对数字视听格式设置了一些新的限制；具体地说，为了适合不同的网络带宽条件以及装置功能和用户偏好的多样性，该数字格式应当提供可容易地使其内容质量在传送网络内适应的可分级性。该可分级性通常通过采用分级编码技术来实现，该技术产生可被容易地截断以降低数据率、反过来又可被解码为具有较低质量的视听表现的分级位流。
原理上，分级位流可以通过图1所示的“分层”结构来构建。在分层结构中，输入信号首先通过基本层编码器以产生基本层位流，其代表原始信号的最低质量/速率表示。然后利用增强层编码器对从原始信号减去基本层位流的重建信号而获得的差信号或误差信号进行编码，以产生增强层位流。该过程可以不断重复地进行以产生如图1所示的多个增强层位流。然后将基本层位流与增强层位流多路复用以产生分级位流(图2)。在解码器中，从分级位流中解析出基本层位流和多个增强层位流并将输出简单地相加以产生解码输出。虽然还存在其他实现分级编码的方法，如图像编码中的位平面编码方法，它们的编码机制与上述方法基本上一致。
该分级编码方法的优点在于其能够使其重建的质量适应于网络带宽以及装置性能和用户偏好。例如，在使多媒体信号流过可变带宽通信信道传送的应用中，分级编码系统可产生可在传输期间根据该通信信道的可变带宽来适配其比特率的位流；当可用带宽不足以传送全速率位流时，该传输系统可以通过简单地丢弃一些增强层位流来降低其比特率，从而仍然可以通过该通信信道来传输该比特流。在这种情况下，不是像流动不分级位流的情况那样中断该流动节目，而是接收终端仅遭受轻微的质量降低，但仍然可以享受连续流动的节目，这从用户的角度来看通常是更有利的。
尽管有这些优点，分级编码系统通常在编码效率和复杂程度方面劣于不分级编码系统。也就是说，当以特定的给定数据率工作时，分级系统通常会导致重建的质量比不分级编码系统差，这是因为分级编码系统的层结构限制了编码器如在不分级编码系统中所做的那样优化到特定目标速率的自由。此外，在其结构和编码/解码过程中所需要的计算功率方面，分级编码系统通常比不分级编码系统更为复杂。
因此需要一种对数据进行编码的、包括分级系统和不分级系统的优点的系统和方法。
发明内容
本发明提供一种用于对数据流如多媒体信号进行编码的混合分级/不分级系统(HSNS)。该系统基于不是数据流中的所有部分都需要被分级编码这一观察结果。具体地，对感知不相关部分进行分级编码是效率低下的，因为可分级编码系统的目标是要实现感知质量相对数据率的可分级性；从定义可知，那些感知不相关的部分(如在人的感知如听觉和视觉范围之外的数据)不会对重建的最终感知质量有贡献。对于这些数据分量，本发明的系统和方法采用了不分级编码器。因此该混合的分级和不分级技术可操作用以提供分级的位流，同时又并入了不分级系统的优点。
根据本发明一个实施例的对数据进行可分级编码的方法包括接收包括多个数据的数据流，并基于至少一个预定标准将该多个数据的每一个分类为(i)感知相关数据或(ii)感知不相关数据。感知相关数据包括对应于在特定参与者的感知范围内的信息的数据，如对应于在一般人的听觉和视觉范围内的音频和/或视频信息的数据。反过来，感知不相关数据包括对应于通常在参与者感知范围之外(高于或低于)的信息的数据。
接着对感知相关数据进行分级编码，对感知不相关数据进行不分级编码。不分级编码的非穷尽性例子包括用霍夫曼码和算术码逐样本地编码，分级编码的示例性实施例包括分层编码和位平面编码。随后，将分级编码的感知相关数据和不分级编码的感知不相关数据组合为编码数据流以用于传输。
根据本发明一个实施例的可操作用于对数据进行可分级编码的系统包括感知相关性分类器、分级编码器、不分级编码器和多路复用器。该系统包括配置为接收包括多个数据的数据流的输入端，该感知相关性分类器可操作用于基于至少一个预定标准将该多个数据的每一个分类为(i)感知相关数据或(ii)感知不相关数据。具有输入端的分级编码器被耦合用于接收感知相关数据并对该数据进行分级编码以产生编码的感知相关数据。具有输入端的不分级编码器被耦合用于接收感知不相关数据并对该数据进行不分级编码以产生编码的感知不相关数据。多路复用器具有第一和第二输入端，被耦合用于分别接收编码的感知相关数据和编码的感知不相关数据，该多路复用器可操作用以将编码的感知相关数据和不相关数据组合为编码的数据流。
在本发明的可选特征中，在编码过程中产生感知相关性分类(PRC)记录，该PRC记录包括关于哪些数据被认为是感知相关而哪些数据被认为是感知不相关的信息。在实施时，PRC记录可用于在解码器中重建原始数据流的拷贝。另外可选的是，编码器和解码器可以使用域变换技术以有助于数据处理。这种变换可以包括例如离散傅立叶变换、离散余弦变换、离散小波变换和离散正弦变换。
通过结合下面的描述和附图可以更为完全地理解本发明的这些和其它特征。
附图说明
图1示出现有技术中已知的传统可分级编码系统。
图2示出由图1的传统可分级编码系统产生的分级位流。
图3A和3B分别示出根据本发明一个实施例的用于对数据进行可分级编码和解码的方法。
图4示出根据本发明一个实施例的可分级编码器和可分级解码器。
图5示出由图4的可分级编码器产生的位流的一个实施例。
通过结合下面的附图和详细描述可以更好地理解本发明的这些和其它特征。
具体实施方式
图3A和3B分别示出根据本发明一个实施例对数据进行可分级编码和解码的方法。首先参照图3A所示的编码方法，最初在302接收包括多个数据的输入信号。该输入信号可能要经历一些如下面举例示出的中间处理，但这对运行本发明来说并非是必须的。
接着在304，每个接收数据被分类为i)感知相关或ii)感知不相关。该分类包括，对于每个数据，将一个或多个预定的标准的水平与阈值比较，根据该比较结果判断该数据是感知相关的还是感知不相关的。该预定标准的示例性种类包括数据的频率、能级、或通过利用针对人类感知系统的感知模型估计的感知重要性。
例如当选择能级作为分类标准时，则利用公式(1)确定数据xi，i＝0，...，L-1的感知相关性：
1 L &Sigma; i = 0 L - 1 x i 2 < THR - - - ( 1 )
其中THR是预定的阈值，低于该阈值就确定系数是感知不相关的。
可替换的，可使用该系数的绝对平均值水平作为分类标准：
1 L &Sigma; i = 0 L - 1 | x i | < THR - - - ( 2 )
在另一实施例中，借助于针对人类感知系统的感知模型来估计感知重要性。在该实施例中，可以使用以下与掩蔽阈值的比：
1 L &Sigma; i = 0 L - 1 x i 2 JND < THR , - - - ( 3 )
其中JND是该信号的临界可察觉失真水平。该标准传统上用于感知音频编码，其中JND是利用心理声学模型评估的掩蔽阈值。例如参见J.D.Johnston，Transform coding of audio signals using perceptual noisecriteria，pp314-323，IEEE Journal on Selected Areas inCommunications，Volume：6，Issue：2，Feb.1988。
接着在306，对已分类为感知不相关的数据进行不分级地编码。多种类型的不分级编码可用于该过程，其选择主要取决于特定的数据格式和内容。在数据包含成像数据的示例性实施例中，可以利用逐样本的Huffman或算术编码来进行分级编码。这些只是可能的编码类型的几个例子而已，本领域的技术人员应当理解还存在很多其他可在本发明中应用的类型。
然后在308，对分类为感知相关的数据进行分级编码。该过程还可用多种方式实施，一个例子就是如在可能是位平面编码器中描述的位平面编码，其公开在“A New，Fast，and Efficient Image Codec based onSet Partitioning in Hierarchical Trees”，A.Said和W.A.Pearlman，IEEE Transactions on Circuits and Systems For Video Technology，vol.6，no.3，pp.243-250，June 1996，或者“Bit Plane Golomb Coding forSources with Laplacian Distributions”，R.Yu等人，ICASSP 2003。本领域的技术人员应当理解其它分级过程也可以在本发明的替换实施例中实施。
接着在310，将经过分级编码和不分级编码的数据多路复用为编码的数据流。该过程可以用传统的多路复用器或此种类似的硬件、软件或固件来实施。
现在参照图3B，其中示出用于对信号进行分级解码的方法，该过程在352通过接收编码数据流开始，该编码数据流既包括分级数据又包括不分级数据。接着在354，编码数据流被解多路复用为分开的分级编码数据流和不分级编码数据流。该操作可以通过多路信号分离器或类似的硬件、软件或固件中的同等器件实施。
随后在356，对分级编码数据流进行解码。该过程通常采用在上述306选择的编码技术的反过程。类似的，在358对不分级编码数据流进行解码，且优选采用在308选择的编码过程的反过程。然后在360将该感知相关和感知不相关的解码数据进行组合以形成在302提供的输入数据的重建版本。
图4示出根据本发明实施例的示例性编码器和解码器。首先参照编码器420，该系统包括可选变换模块421、开关422(在一个实施例中是单极、双掷开关)、感知相关性分类器423、分级编码器426、不分级编码器427和多路复用器428。本领域的技术人员可以理解这些部件可以被实现为软件模块、固件或硬件或这些实施形态的组合。
变换模块420是本发明的可选部件，但可用于特定的实施例。当这样使用时，可操作用于将输入信号域变换为变换系数流421a，例如将时间或空间系数序列变换为对应的频率系数序列。变换模块可以使用任何特定变换，一些可能的例子包括离散余弦变换、离散傅立叶变换、离散正弦变换、离散小波变换、上述变换的改进型版本等等。在特定实施例中，转换模块执行如在本申请人同时提交的名称为“Method forTransforming a Digital Signal from the Time Domain into theFrequency Domain and Vice Versa”中所述的变换操作，其通过引用合并于此。更具体地说，将输入信号处理为两个并行的输入数据块，该变换导致产生两个变换系数块。该过程的实施例在所述由本申请人同时提交的申请中进行了进一步描述。变换系数一旦产生就被提供给单极开关422和感知相关性分类器423。
感知相关性分类器(PRC)423接收变换系数并根据预定标准确定该变换系数是否是感知相关的。该预定标准的示例性种类包括该系数的频率、能级或利用上述感知模型估计的感知重要性。在采用整数改进型离散余弦变换(IntMDCT)来变换输入信号如音频信号的特定实施例中，感知相关性基于该信号系数是否具有小于1的平均绝对值，因为在这种情况下该信号主要由IntMDCT操作中的化整误差而不是实际的音频信号主导。本领域的技术人员应当理解该过程可以使用其它选择标准且本发明不限于这里举出的示例标准。
响应其分类，PRC423控制开关422的输出状态以向分级编码器426输出感知相关数据，并向不分级编码器427输出感知不相关数据。然后这两组数据通过它们各自的编码器被分别编码并利用多路复用器428被组合成分级位流429。分级编码器和不分级编码器可以由运行期望的编码操作如位平面编码、霍夫曼编码、算术编码等等的编码系统的任何硬件、软件或固件实现组成。本发明不限于特定的编码算法，本领域的技术人员应当理解在本发明中可以实施多种形式的分级编码和不分级编码。
可选的，产生包含关于哪些数据被分类为感知相关和感知不相关的信息的PRC记录425，该记录被提供给多路复用器428，并被组合到位流429以传送给解码器460。在特定的实施例中，PRC记录425被附加作为位流的前导部分，以便在处理该位流之前通知解码器哪些数据是感知相关的。
下面参照编码器460，其包括多路信号分离器461、分级解码器462和不分级解码器463、开关465以及可选的反变换模块466。多路信号分离器461可操作用于接收从编码器420或其等同装置传送的分级位流，并分开地将感知相关编码数据传送给分级解码器462，将感知不相关编码数据传送给不分级解码器463，以及将可选包含的PRC记录传送给开关464。分级解码器462和不分级解码器463执行其对应编码器426和427的逆操作，它们的特定的实施方式(即以软件、硬件或固件实施的方式)类似于特定实施例中的编码器的实施方式。
开关465(在一个实施例中是单极双掷开关)通过在解码后的感知相关和不相关系数之间选择性地选择而产生重建的变换系数流465a。因此重建的变换系数流465a与编码器420中产生的变换系数流421a即使不完全相同也基本相似。
在本发明中，以何种方式告知开关465在感知相关解码数据和不相关解码数据之间选择以重建变换流421a的真实副本是可以改变的。在一个实施例中，开关处理关于在当前帧中需要哪个系数的先验知识(或许通过事先的同步操作或通过内置的编程)，以重建原始数据流421a的真实副本。可替换的，可以由经过多路信号分离的PRC记录通知开关465在当前帧中需要哪个系数。
如果编码系统420包括变换模块421，则解码系统460优选包括以互补的方式运行的反变换模块466。相应地，其对重建的变换系数流465a实施逆域变换操作以产生输入信号的解码版本。在一特定的实施例中，反变换模块采用如在本申请人的名称为“Method for Performinga Domain Transformation of a Digital Signal from the Time Domaininto the Frequency Domain and Vice Versa”的共同未决申请中所述的反变换操作。进一步具体地，该重建的数据流465a包括两个并行数据流的块，这两个并行数据流同时被处理以提供两个同时产生的解码数据块，如在所述由本申请人同时提交的专利申请中所描述的。反变换模块466典型地、但并非排他地借助于软件、硬件、固件或其组合以与变换模块421相同的方式实施。
图5示出由根据本发明一个实施例的编码系统420产生的分级位流。在一个实施例中，分级位510位于数据帧的开始处/附近，而不分级位520位于帧结束附近。该设置允许不分级系数520被截断(例如由于通过窄带宽通道传送)，由此保持分级系数510。在使用PRC记录425的实施例中，该记录可以作为前导部分505加到分级系数510之前，以便通知解码系统在信号重建过程中要使用哪些系数。
本发明在编码系统中具有广泛的应用，并且在编码系统产生可以被解码为对原始信号的数学上无损的重建的位流(如果没有被截断的话)的可分级无损编码系统中特别有利。在该编码系统中，(在正常的分级编码系统中通常被丢弃的)大量的感知不相关部分仍然需要以无损位流发送以满足该无损编码约束。因此使用本发明的系统和方法可以大大改善其编码效率和性能。
所引用的参考文献
为了所有目的，这里通过参考引用下列参考文献的全部内容：
R.Yu，Xiao Lin，S.Rahardja and H.Huang，″Proposed Core Experiment forimproving coding efficiency in MPEG-4 audio scalable coding(SLS)″InternationalOrganization for Standarisation，Organization，Coding of Moving Pictures and Audio，ISO/IEC JTC1/SC29/WG11，MPEG2003/M10136，Oct 2003，Brisbane，Australia；
J.Li，“Embedded audio coding(EAC)with implicit auditory masking”，ACMMultimedia 2002；Nice，France，Dce.2002；
R.Geiger，J.Herre，J.Koller，and K.Brandenburg，“INTMDCT-A linkbetween perceptual and lossless audio coding，”IEEE Proc.ICASSP 2002；
T.Moriya，N.Iwakami，T.Mori，and A.Jin，“A design of lossy and losslessscalable audio coding，”IEEE Proc.ICASSP 2000；
R.Yu，X.Lin，S.Rahardja and C.C.Ko，“A Fine Granular scalablcperceptually lossy and lossless audio codec”，IEEE Proc.ICME 2003；
M.Raad and A.Mertings，“From Lossy to Lossless Audio Coding UsingSPIHT”，Proc.5th International Conference of Digital Audio Effect，2003；
A.Said and W.A.Pearlman，“A New，Fast，and Efficient Image Codec basedon Set Partitioning in Hierarchical Trees，”IEEE Transactions on Circuits and SystemsFor Video Technology，vol.6，no.3，pp.243-250，June 1996；
R.Yu and et al，“Bit Plane Golomb Coding for Sources with LaplacianDistributions，″ICASSP 2003；and
Khalid Sayhood，″Introduction to Data Compression，″Morgan Kaufmann，2000.
虽然以上对本发明进行了详细的描述，但这些描述只是示例性的，各种修改、替换和等同内容可以使用在这里描述的装置和过程中。相应地，本发明的范围由所附权利要求的界限和范围限定。

Claims (38)

1.用于对数据进行可分级编码的方法，包括：
接收包括多个数据的数据流；
基于至少一个预定标准将该多个数据中的每一个分类为(i)感知相关数据或(ii)感知不相关数据；
对感知相关数据进行分级编码；
对感知不相关数据进行不分级编码；以及
将分级编码的感知相关数据和不分级编码的感知不相关数据组合为编码数据流。
2.根据权利要求1所述的方法，其中接收多个数据包括接收通过离散变换产生的多个系数。
3.根据权利要求2所述的方法，其中所述离散变换包括离散余弦变换、改进型离散余弦变换、离散小波变换或离散傅立叶变换。
4.根据权利要求1所述的方法，其中每个数据包括频率分量，且其中分类包括基于每个数据的该频率分量将所述数据分类为(i)感知相关数据或(ii)感知不相关数据。
5.根据权利要求1所述的方法，其中每个数据包括能级分量，且其中分类包括基于每个数据的该能级分量将所述数据分类为(i)感知相关数据或(ii)感知不相关数据。
6.根据权利要求1所述的方法，其中每个数据包括感知重要性分量，且其中分类包括基于每个数据的该感知重要性分量将所述数据分类为(i)感知相关数据或(ii)感知不相关数据。
7.根据权利要求1所述的方法，还包括：
产生感知相关/不相关记录，该记录包括关于哪些数据是感知相关以及哪些数据是感知不相关的信息；以及
使该感知相关/不相关记录与编码数据流中的分级编码数据和不分级编码数据组合。
8.根据权利要求1所述的方法，其中对感知相关数据进行分级编码包括对该感知相关数据进行位平面编码。
9.根据权利要求1所述的方法，其中对感知不相关数据进行不分级编码包括对该感知不相关数据进行霍夫曼编码。
10.根据权利要求1所述的方法，其中对感知不相关数据进行不分级编码包括对该感知不相关数据进行算术编码。
11.根据权利要求1所述的方法，还包括从所述编码数据流中丢弃一个或多个不分级编码的感知不相关数据。
12.根据权利要求1所述的方法，其中所述分级编码的感知相关数据在不分级编码的感知不相关数据之前组合到所述数据流中。
13.用于对数据进行可分级解码的方法，包括：
接收包含感知相关编码数据和感知不相关编码数据的编码数据流；
将该感知相关编码数据分级解码为感知相关解码数据；
将该感知不相关编码数据不分级解码为感知不相关解码数据；以及
将该感知相关解码数据和感知不相关解码数据组合为解码数据流。
14.根据权利要求13所述的方法，其中对感知相关编码数据进行分级解码包括对该感知相关数据进行位平面解码。
15.根据权利要求13所述的方法，其中对感知不相关编码数据进行不分级解码包括对该感知不相关数据进行霍夫曼解码。
16.根据权利要求13所述的方法，其中对感知不相关编码数据进行不分级解码包括对该感知不相关数据进行算术解码。
17.根据权利要求13所述的方法，其中所述编码数据流包括感知相关/不相关记录，该记录包括关于哪些编码数据是感知相关编码数据以及哪些编码数据是感知不相关编码数据的信息，且其中该感知相关/不相关记录用于构建所述解码数据流。
18.根据权利要求13所述的方法，还包括对所述数据流进行离散变换以获得解码信号。
19.根据权利要求18所述的方法，其中所述离散变换包括反向离散余弦变换、反向改进型离散余弦变换、反向小波变换或反向快速傅立叶变换。
20.可操作用于对数据进行可分级编码的系统，该系统包括：
感知相关性分类器，具有配置用于接收包含多个数据的数据流的输入端，该数据分类器可操作用于基于至少一个预定标准将该多个数据中的每一个分类为(i)感知相关数据或(ii)感知不相关数据；
分级编码器，具有输入端，被配置用于接收感知相关数据并对其进行分级编码以产生编码的感知相关数据；
不分级编码器，具有输入端，被配置用于接收感知不相关数据并对其进行不分级编码以产生编码的感知不相关数据；
多路复用器，具有耦合用于分别接收编码的感知相关数据和编码的感知不相关数据的第一和第二输入端，该多路复用器可操作用于将编码的感知相关数据和不相关数据组合为编码的数据流。
21.根据权利要求20所述的系统，其中所述数据包括通过离散变换产生的多个系数。
22.根据权利要求20所述的系统，其中所述离散变换包括离散余弦变换、改进型离散余弦变换、离散小波变换或离散傅立叶变换。
23.根据权利要求20所述的系统，其中每个数据包括频率分量，且其中所述感知相关性分类器可操作用于基于每个数据的该频率分量将所述数据分类为(i)感知相关数据或(ii)感知不相关数据。
24.根据权利要求20所述的系统，其中每个数据包括能级分量，且其中所述感知相关性分类器可操作用于基于每个数据的该能级分量将所述数据分类为(i)感知相关数据或(ii)感知不相关数据。
25.根据权利要求20所述的系统，其中每个数据包括感知重要性分量，且其中所述感知相关性分类器可操作用于基于每个数据的该感知重要性分量将所述数据分类为(i)感知相关数据或(ii)感知不相关数据。
26.根据权利要求20所述的系统，其中所述感知相关性分类器还可操作用于产生感知相关/不相关记录，该记录包括关于哪些数据是感知相关以及哪些数据是感知不相关的信息，且其中所述多路复用器还可操作用于使该感知相关/不相关记录与所述编码数据流中的编码的感知相关和感知不相关数据组合。
27.根据权利要求20所述的系统，其中所述分级编码器包括位平面编码器。
28.根据权利要求20所述的系统，其中所述不分级编码器包括霍夫曼编码器。
29.根据权利要求20所述的系统，其中所述不分级编码器包括算术编码器。
30.根据权利要求20所述的系统，还包括用于从所述编码数据流中丢弃一个或多个不分级编码的感知不相关数据的装置。
31.根据权利要求20所述的系统，其中所述多路复用器可操作用于将分级编码的感知相关数据在不分级编码的感知不相关数据之前组合到所述数据流中。
32.用于对数据进行可分级解码的系统，包括：
多路信号分离器，具有可操作用于接收包括感知相关编码数据和感知不相关编码数据的编码数据流的输入端，可操作用于提供感知相关编码数据的第一输出端，和可操作用于提供感知不相关数据的第二输出端；
分级解码器，被耦合用于接收编码的感知相关数据并对其进行分级编码以产生解码的感知相关数据；
不分级解码器，具有配置用于接收编码的感知不相关数据并对其进行不分级编码以产生解码的感知不相关数据的输入端；以及
开关，具有可在耦合用于接收解码的感知相关数据的第一端口和耦合用于接收解码的感知不相关数据的第二端口之间切换的输入端，该开关还包括用于提供解码数据流的输出端。
33.根据权利要求32所述的系统，其中所述分级解码器包括位平面解码器。
34.根据权利要求32所述的系统，其中所述不分级解码器包括霍夫曼解码器。
35.根据权利要求32所述的系统，其中所述不分级解码器包括算术解码器。
36.根据权利要求32所述的系统，其中：
所述编码数据流包括感知相关性分类记录，该记录包括关于哪些编码数据是感知相关编码数据以及哪些编码数据是感知不相关编码数据的信息，
所述开关具有被耦合用于接收该感知相关性分类记录的第二输入端，以及
所述开关响应感知相关性分类记录在第一输入端口或第二输入端口之间选择以顺序构建解码数据流。
37.根据权利要求32所述的系统，还包括离散变换装置，其具有用于接收解码的输入流的输入端，以及输出端，该离散变换装置可操作用于应用离散变换算法以产生解码信号。
38.根据权利要求37所述的系统，其中所述离散变换包括反向离散余弦变换、反向改进型离散余弦变换、反向小波变换或反向离散傅立叶变换。
CN2004800434999A 2004-06-07 2004-06-07 对数据进行可分级编码和解码的系统和方法 Expired - Fee Related CN101015125B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SG2004/000169 WO2005122408A1 (en) 2004-06-07 2004-06-07 Systems and methods for scalably encoding and decoding data

Publications (2)

Publication Number Publication Date
CN101015125A CN101015125A (zh) 2007-08-08
CN101015125B true CN101015125B (zh) 2010-04-28

Family

ID=35503433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800434999A Expired - Fee Related CN101015125B (zh) 2004-06-07 2004-06-07 对数据进行可分级编码和解码的系统和方法

Country Status (13)

Country Link
US (1) US7994946B2 (zh)
EP (2) EP1756950B1 (zh)
JP (1) JP4849479B2 (zh)
KR (1) KR101119965B1 (zh)
CN (1) CN101015125B (zh)
AT (2) ATE430407T1 (zh)
AU (1) AU2004320712B2 (zh)
BR (1) BRPI0418900A (zh)
DE (1) DE602004020936D1 (zh)
ES (1) ES2326223T3 (zh)
MX (1) MXPA06014314A (zh)
TW (1) TWI365610B (zh)
WO (1) WO2005122408A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
CN103297769B (zh) * 2006-01-13 2016-09-07 Ge视频压缩有限责任公司 使用自适应色彩空间变换的画面编码
US8937997B2 (en) 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
WO2007107170A1 (en) * 2006-03-22 2007-09-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Coding scheme enabling precision-scalability
US8180029B2 (en) * 2007-06-28 2012-05-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8090867B2 (en) * 2007-10-19 2012-01-03 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8001261B2 (en) 2007-10-19 2011-08-16 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8706907B2 (en) * 2007-10-19 2014-04-22 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8321581B2 (en) * 2007-10-19 2012-11-27 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8111713B2 (en) 2007-10-19 2012-02-07 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8699678B2 (en) * 2007-10-19 2014-04-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8145780B2 (en) * 2007-10-19 2012-03-27 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8391312B2 (en) * 2007-10-19 2013-03-05 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8380874B2 (en) * 2007-10-19 2013-02-19 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8682336B2 (en) * 2007-10-19 2014-03-25 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US20090103529A1 (en) * 2007-10-19 2009-04-23 Rebelvox, Llc Telecommunication and multimedia management method and apparatus
US8212541B2 (en) 2008-05-08 2012-07-03 Massachusetts Institute Of Technology Power converter with capacitive energy transfer and fast dynamic response
KR101485339B1 (ko) 2008-09-29 2015-01-26 삼성전자주식회사 무손실 부호화/복호화 장치 및 방법
KR101076876B1 (ko) * 2009-03-11 2011-10-26 경희대학교 산학협력단 블록기반 깊이정보 맵의 코딩 방법과 장치, 및 이를 이용한 3차원 비디오 코딩 방법
US8798158B2 (en) 2009-03-11 2014-08-05 Industry Academic Cooperation Foundation Of Kyung Hee University Method and apparatus for block-based depth map coding and 3D video coding method using the same
US8499059B2 (en) * 2009-05-04 2013-07-30 Rovi Solutions Corporation System and methods for buffering of real-time data streams
US11089343B2 (en) * 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
JP2015525547A (ja) 2012-07-02 2015-09-03 サムスン エレクトロニクス カンパニー リミテッド ビデオ符号化またはビデオ復号化のための動きベクトル予測方法及びその装置
CN105607328A (zh) * 2016-03-31 2016-05-25 京东方（河北）移动显示技术有限公司 一种显示装置及其制备方法
CN109874020B (zh) * 2019-01-17 2021-03-30 辽宁师范大学 质量和复杂度可分级的不可分离提升小波变换方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6092041A (en) * 1996-08-22 2000-07-18 Motorola, Inc. System and method of encoding and decoding a layered bitstream by re-applying psychoacoustic analysis in the decoder
CN1460969A (zh) * 2003-06-30 2003-12-10 大唐微电子技术有限公司 基于数字信号处理器的层次树集合划分图像编解码方法
CN1485849A (zh) * 2002-09-23 2004-03-31 上海乐金广电电子有限公司 数字音频编码器及解码方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2088082C (en) 1992-02-07 1999-01-19 John Hartung Dynamic bit allocation for three-dimensional subband video coding
US5285498A (en) * 1992-03-02 1994-02-08 At&T Bell Laboratories Method and apparatus for coding audio signals based on perceptual model
JP3227291B2 (ja) * 1993-12-16 2001-11-12 シャープ株式会社 データ符号化装置
US5404377A (en) * 1994-04-08 1995-04-04 Moses; Donald W. Simultaneous transmission of data and audio signals by means of perceptual coding
US5687191A (en) 1995-12-06 1997-11-11 Solana Technology Development Corporation Post-compression hidden data transport
EP0925651B1 (en) 1997-07-11 2004-10-13 Koninklijke Philips Electronics N.V. Transmission system using a variable length encoder
JP3344962B2 (ja) * 1998-03-11 2002-11-18 松下電器産業株式会社 オーディオ信号符号化装置、及びオーディオ信号復号化装置
KR100304092B1 (ko) * 1998-03-11 2001-09-26 마츠시타 덴끼 산교 가부시키가이샤 오디오 신호 부호화 장치, 오디오 신호 복호화 장치 및 오디오 신호 부호화/복호화 장치
US7751473B2 (en) * 2000-05-15 2010-07-06 Nokia Corporation Video coding
US6678647B1 (en) * 2000-06-02 2004-01-13 Agere Systems Inc. Perceptual coding of audio signals using cascaded filterbanks for performing irrelevancy reduction and redundancy reduction with different spectral/temporal resolution
FI109393B (fi) * 2000-07-14 2002-07-15 Nokia Corp Menetelmä mediavirran enkoodaamiseksi skaalautuvasti, skaalautuva enkooderi ja päätelaite
KR100603592B1 (ko) * 2001-11-26 2006-07-24 학교법인 고황재단 영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법
US6996173B2 (en) 2002-01-25 2006-02-07 Microsoft Corporation Seamless switching of scalable video bitstreams
US7133925B2 (en) * 2002-07-15 2006-11-07 Hewlett-Packard Development Company, L.P. System, method, and format thereof for scalable encoded media delivery
EP1692872A1 (en) * 2003-12-03 2006-08-23 Koninklijke Philips Electronics N.V. System and method for improved scalability support in mpeg-2 systems
US8937997B2 (en) * 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6092041A (en) * 1996-08-22 2000-07-18 Motorola, Inc. System and method of encoding and decoding a layered bitstream by re-applying psychoacoustic analysis in the decoder
CN1485849A (zh) * 2002-09-23 2004-03-31 上海乐金广电电子有限公司 数字音频编码器及解码方法
CN1460969A (zh) * 2003-06-30 2003-12-10 大唐微电子技术有限公司 基于数字信号处理器的层次树集合划分图像编解码方法

Also Published As

Publication number Publication date
JP2008501996A (ja) 2008-01-24
US7994946B2 (en) 2011-08-09
AU2004320712B2 (en) 2010-05-20
EP1756950A1 (en) 2007-02-28
WO2005122408A1 (en) 2005-12-22
EP2077620B1 (en) 2012-01-04
EP2077620A1 (en) 2009-07-08
EP1756950A4 (en) 2007-12-19
TWI365610B (en) 2012-06-01
DE602004020936D1 (de) 2009-06-10
ATE540477T1 (de) 2012-01-15
US20110001642A1 (en) 2011-01-06
CN101015125A (zh) 2007-08-08
TW200620841A (en) 2006-06-16
KR20070029793A (ko) 2007-03-14
BRPI0418900A (pt) 2007-11-27
JP4849479B2 (ja) 2012-01-11
KR101119965B1 (ko) 2012-02-24
EP1756950B1 (en) 2009-04-29
AU2004320712A1 (en) 2005-12-22
ATE430407T1 (de) 2009-05-15
WO2005122408A8 (en) 2007-03-15
MXPA06014314A (es) 2007-05-23
ES2326223T3 (es) 2009-10-05

Similar Documents

Publication Publication Date Title
CN101015125B (zh) 对数据进行可分级编码和解码的系统和方法
CN1890711B (zh) 将数字信号编码成可扩缩比特流的方法和对可扩缩比特流解码的方法
US7620554B2 (en) Multichannel audio extension
KR100982427B1 (ko) 멀티채널 오디오 신호 부호화 및 복호화 방법
CN101682759B (zh) 增强数字图像的图像质量的方法和设备
CN101120615A (zh) 近透明或透明的多声道编码器/解码器方案
EP1027680B1 (en) Computational graceful degradation methods, apparatuses and a system using priority information in multiple objects case
MXPA06006107A (es) Metodo y aparato de codificacion y decodificacion escalables de video.
WO2004064405A1 (ja) 符号化方法及び復号化方法及び符号化装置及び復号化装置
Aggarwal et al. Approaches to improve quantization performance over the scalable advanced audio coder
Grill et al. Scalable joint stereo coding
Moccagatta et al. Wavelet-based image coding: comparison of MPEG-4 and JPEG-2000
Herre Audio coding-an all-round entertainment technology
Yang et al. Progressive syntax-rich coding of multichannel audio sources
Fukuma et al. A relative quality controlled region-of-interest image coding based on wavelet transform
Müller et al. ICSY
Yang et al. Embedded high-quality multichannel audio coding
Zhou et al. An efficient, fine-grain scalable audio compression scheme
Aggarwal Department of Electrical and Computer Engineering University of California, Santa Barbara, CA 93106, USA Email:[ashish, rose](a) ece. ucsb. edu
KR20000021859A (ko) 영상 부호화 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100428

Termination date: 20190607