CN1849826A - 用于可缩放信号处理的方法和设备 - Google Patents

用于可缩放信号处理的方法和设备 Download PDF

Info

Publication number
CN1849826A
CN1849826A CNA2004800262672A CN200480026267A CN1849826A CN 1849826 A CN1849826 A CN 1849826A CN A2004800262672 A CNA2004800262672 A CN A2004800262672A CN 200480026267 A CN200480026267 A CN 200480026267A CN 1849826 A CN1849826 A CN 1849826A
Authority
CN
China
Prior art keywords
data
bulkfactor
compression
scalable encoded
encoded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800262672A
Other languages
English (en)
Inventor
R·塞图拉曼
F·E·厄恩斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1849826A publication Critical patent/CN1849826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及内容信号处理,并且尤其涉及视频内容信号的处理。一种用于内容信号处理的设备(100)包括一个可缩放编码器(101),其用于编码内容信号以产生包括与多个压缩率相关联的数据的可缩放编码数据。一个压缩处理器(105)确定表示与所述多个压缩率相关联的数据的压缩因数指示符。因此,所述压缩因数指示符表示可缩放编码数据中的哪些数据对应于不同的压缩率。包括可缩放编码数据和压缩因数指示符的组合数据被存储在帧存储器(105)中。一种具有给定的压缩因数需求的应用可以使用所述压缩因数指示符来访问处理所需要的帧存储器(105)的可缩放编码数据。多个应用可以访问同一个帧存储器(105),因此允许能够用于多个具有不同压缩因数需求的应用的可缩放编码数据。

Description

用于可缩放信号处理的方法和设备
发明领域
本发明涉及一种用于内容信号处理、并且尤其用于处理可缩放编码信号的方法和设备。
发明背景
近年来,对于诸如视频信号的内容信号的数字存储和分配的使用已经变得日益普遍。因此,已经开发了大量用于不同内容信号的不同编码技术。例如,为便于在许多专业应用和消费应用中采用数字视频并且确保不同生产商的器材之间的兼容性,已经设计了许多视频编码标准。
大多数有影响的标准传统上是由国际电信联盟(ITU-T)或者ISO/IEC(国际标准化组织/国际电工委员会)的MPEG(运动图像专家组)委员会开发的。ITU-T标准(也称为推荐)典型地针对实时通信(例如视频会议),而多数MPEG标准则针对存储而被优化(例如针对数字通用光盘(DVD))和广播(例如对于数字视频广播(DVB)标准)。现在,我们知道MPEG-2(运动图像专家组)标准是应用最广泛的视频压缩技术之一。MPEG-2是一种基于块的压缩方案,其中一个帧被分成多个块,每个块包含八个垂直和八个水平像素。为了对亮度数据进行压缩,每个块使用离散余弦变换(DCT)然后量化而被单独地压缩,从而将大量变换后的数据值减少到零。为了对色度数据进行压缩,通常首先通过下采样减少色度数据的数量,这样对于每四个亮度块,得到两个色度块(4:2:0格式),类似地使用DCT和量化来压缩所述色度块。仅基于帧内压缩的帧被称为内部帧(I帧)。
为了减小传输视频信号所需的带宽和视频信号存储所需的存储器,希望尽可能地降低最终得到的编码率。
近年来,已经开发了大量针对数字视频处理的不同视频应用和处理。这些应用包括例如依照已开发的视频标准的视频编码和压缩算法,而且为了导出另外的信息或提供另外的效果,所述应用也扩展到许多视频信号处理算法。例如,已经开发了针对内容分析或三维信息提取的应用。
为了有效地实施这些算法和应用,开发了许多专用或半专用集成电路。由于许多已开发的算法是基于视频信号的一个或多个帧,所以视频处理电路包括了保存一个或多个帧的数据的帧存储器。更适宜的是,所述帧存储器被嵌入到与处理功能相同的芯片中,因为这允许更快地数据传递、增加带宽和降低功耗。
然而,由于限制了集成电路的芯片尺寸,所嵌入的帧存储器典型地受到限制,并且还可能在不同的集成电路之间发生变化。另外,在某些应用中,帧存储器可以在外部,这允许所述外部帧存储器比所嵌入的帧存储器大很多。
因此,已经开发了可缩放的嵌入式压缩技术,其允许以一种能够被缩放以适于给定帧存储器的格式编码视频信号帧。因此,一个未压缩帧可以包含例如10Mbit。如果帧存储器仅为2Mbit,则可缩放的压缩算法允许将10Mbit的数据压缩到2Mbit。然而,如果帧存储器仅允许1Mbit的数据,该算法可以将该帧压缩到1Mbit。因此该帧可以被编码到帧存储器中,以使其适合于可用的存储器容量。
在R.P.Kleihorst和R.J.van der Vleuten的“DCT-domainembedded memory compression for hybrid video coders(用于混合视频编解码器的DCT域嵌入存储器压缩)”(Journal of VLSI SignalProcessing Systems,vol.24,pp 1523-1543,2000,Institute of Electricaland Electronic Engineers)一文中描述了一种这样的编码算法。这个算法允许对视频信号的帧数据进行有效存储。
Kleihorst等人描述的这种技术提供了适合于给定应用的有效的可缩放的嵌入编码。因此,可以编码一个或多个帧并将其存储在帧存储器中。然后这些帧可以被提供给该应用,并且通过这种方法来处理。然而,现在许多视频信号处理技术是已知的,并且可以应用于视频信号。因此,一个视频信号可以用于几种不同的处理和应用。例如,一个已编码的信号可以被处理以从二维图像产生三维信息;其可以被压缩为较低数据率,或者可以被处理以导出内容信息。然而,许多这些应用或处理具有不同的特性并且需要不同的输入视频信号的参数。例如,分段处理可能基于用高达8的因数压缩的帧信号,而一个压缩算法可能需要用4或更小的因数来压缩输入视频信号。因此,由于不同应用具有不同的需求,所以Kleihorst等人描述的技术不能直接应用,而是需要将帧数据转换为一种适于具有不同需求的多种应用的格式。
因此,一种用于内容信号处理的改进的方法和设备将是有利的,特别地,一种便于将可缩放的嵌入编码信号用于不同应用或处理的系统将是有利的。
发明概要
因此,本发明优选地试图单独地或者以任何组合的方式减轻、缓和或者消除一个或更多上面提到的缺点。
依照本发明的第一方面,提供一种用于内容信号处理的设备,包括:用于编码一个内容信号以产生包含与多个压缩率相关联的数据的可缩放编码数据的编码装置;用于确定表示与所述多个压缩率相关联的数据的压缩因数指示符的装置;和用于产生包含所述可缩放编码数据和压缩因数指示符的组合数据的装置。所述内容信号可以是一个视频信号。
本发明允许产生可以用于具有不同需求的许多不同应用的可缩放编码数据。特别地,可以产生可缩放编码数据,从中可以提取对应于一个期望的或必需的压缩因数的数据。压缩因数指示符表示与不同压缩率相关联的数据。本发明允许通过使用所述压缩因数指示符来直接提取对应于给定压缩因数的数据。
压缩因数指示符优选地可以包括多个表示对应于多个块中的给定压缩因数的数据的指示符。例如,可缩放编码可以基于将内容数据分组成各内容数据组并且对每组单独进行编码。优选的是,对于每个组产生一个压缩因数指示符的集合。对于视频内容信号,每组数据可以例如对应于一个离散余弦变换(DCT)块。由于用来确定压缩因数指示符的标准可能不同,所以压缩因数指示符在各块之间可能不同。例如,确定压缩因数指示符的算法可以取决于各单独组或数据块的特性。
所述组合数据可以例如被存储在一个适当的数据存储器中,或者可以被传送给一个内部或外部的应用程序。优选的是,与多个压缩率相关联的数据包含重叠的数据集合。因此,对应于给定的压缩因数的数据段优选地是对应于较低的压缩因数的数据段的子集。例如,如果编码使用DCT,则每个压缩因数可以对应于所生成的空间频率系数的一个给定截断(truncation),其中递增的压缩因数对应于递增的截断。
因此,本发明可以允许产生组合数据,这便于针对具有不同压缩因数的不同应用使用可缩放编码数据。
术语“压缩因数”可以间接地指包括诸如最终得到的数据率、帧存储器容量、压缩率或类似的压缩因数。
依照本发明的特征,所述设备还包括用于处理第一应用的第一处理装置,该第一处理装置包括:用于确定与第一应用相关联的至少第一压缩因数的装置;用于响应于压缩因数指示符而提取与所述可缩放编码数据的第一压缩因数相关联的第一数据集合的第一提取装置;用于依照第一应用处理所述可缩放编码数据的装置。
因此,本发明允许从可缩放编码信号中提取必需的或期望的数据的给定应用。因此,本发明允许一种低复杂度和/或灵活的分配可由各单独应用定制以适合这个应用需求的数据的方法。此外,本发明还允许设计上和应用更新上的高度灵活性,这是因为无需对内容信号的编码做任何改变就可以引入利用不同压缩因数的处理或算法。
对于至少第一压缩因数的确定可以是一个响应于例如对内容信号、可缩放编码数据或者应用的一个或多个变化特性的评估的主动的确定。可选地或附加的,其可以是一个比如仅仅将一个预定值用于第一应用的被动的确定。优选的是,响应于这些压缩因数确定多个压缩因数并且提取数据。例如,对于不同的段或可缩放编码数据的数据组或者底层内容信号的数据组产生不同的压缩因数。
依照本发明的一个不同特征,第一应用是一个分段应用。这允许一种对已编码的内容信号执行分段操作的有效并且灵活的方法。
依照本发明的一个不同特征,第一提取装置适于响应于由第一应用确定的分段来提取第一数据集合。这允许提取特别适合由分段应用确定的不同段特性的数据。因此所述处理可以有利地包括一个反馈环路,其中分段是基于数据提取和考虑到分段而细化的数据提取。例如,增加的压缩因数可以用于同类段内部,并且较低的压缩因数可以用于各段之间或非同类部分内。因此,要处理的压缩因数和数据可以对于可缩放编码数据或内容信号的特性而被优化或改善,从而允许一种具有降低的资源需求的更有效的处理。这特别有利于时间一致的分段,其中在前数据的分段信息适用于当前数据。例如,前一视频帧的分段可以用于后续视频帧的第一数据集合的提取。
依照本发明的一个不同特征,所述设备还包括用于处理第二应用的第二处理装置,该第二处理装置包括:用于确定与第二应用相关联的第二压缩因数的装置;该第二压缩因数不同于第一压缩因数;
用于响应于压缩因数指示符提取与可缩放编码数据的第二压缩因数相关联的第二数据集合的第二提取装置;以及用于依照第二应用处理所述可缩放编码数据的装置。
因此,本发明允许将单个可缩放编码数据信号用于具有不同需求、特别是具有不同相关压缩因数的多个应用。相关压缩因数可以根据可缩放编码数据或底层内容信号的不同的段或组而变化。压缩因数可以在某些段中相同而在其它部分中不同。例如,不同压缩因数的范围对第一和第二应用可以不同。因此,本发明允许一种非常灵活的可缩放编码数据和一种灵活有效的用于内容信号的编码和处理系统。
用于提取数据的装置可以是与响应于第一或第二应用的压缩因数提取数据的装置不同或相同的装置。
依照本发明的一个不同特征,第一提取装置适于将与第二压缩因数相关联的第一数据集合的数据发送到第二处理装置;并且第二提取装置适于提取与第二压缩因数相关联的附加数据。
这对于实现为多个应用提取数据的装置提供了一种有效而且简单的方法。特别地,这对于其中一个数据集合是另一个的子集的两个应用可以提供一种提取数据的快捷而且低复杂度的方法。例如,如果第二应用需要依照比第一应用低的压缩因数的数据,这可能要求把提供给第一应用的数据再加上与较低的压缩因数相关联的数据提供给第二应用。用这种方法,即使两个应用都需要,对每个数据单元也仅需要一次提取操作。
依照本发明的一个不同特征,第二应用是一个压缩应用。这允许一种对一个编码的内容信号执行压缩操作的有效而且灵活的方法。
依照本发明的一个不同特征,第二处理装置包括一个用于存储第二数据集合的数据存储器,而且其中第二应用适于将压缩的数据存储在该数据存储器中,并且包含一种适于响应于所存储的压缩数据来执行压缩的压缩算法。
这允许一种对内容信号的有效压缩,其中所述压缩可以基于过去压缩的数据。例如,对于一个视频内容信号,对于给定帧的压缩可以响应于其它压缩的帧。
依照本发明的一个不同特征,第一应用是一个分段应用,并且第一处理装置适于提供分段应用的分段数据给第二处理装置,并且压缩应用适于响应于分段数据执行压缩。这允许令该压缩响应于分段,从而允许一种具有改善了品质和/或压缩率的有效的压缩。例如,包含同类数据的各段可以用比段过渡或包含非同类数据的各段更高的压缩因数来压缩。因此本发明允许一种灵活的、有效的和/或高性能的组合分段算法和压缩算法的方法。
依照本发明的一个不同特征,第一数据集合对应于可缩放编码数据的一帧,并且第一提取装置(201)适于响应于该帧的分段而提取第一数据集合。例如,一个外部分段处理可以提供能够用于优化数据提取的分段信息。这允许仅基于空间信息及分析而不需要时间信息的改进的数据提取。
依照本发明的一个不同特征,所述编码装置包括一个单程(singlepass)可缩放编码器。本发明允许一个产生能够由多个具有不同压缩因数需求的应用直接使用的可缩放编码数据的单程编码器。从而,通过本发明避免或缓和了对多程编码的需求。因此,可以有效地降低复杂度、计算资源、成本和/或编码速度。
依照本发明的一个不同特征,压缩因数指示符包含至少一个表示与给定的压缩因数相关联的数据的终点和/或起点的指针。这为表示与给定压缩因数相关联的数据提供了一种特别方便的方法。其允许简单的实施方式和简单的数据提取。
依照本发明的一个不同特征,内容信号是一个视频信号。本发明允许一种为可以直接由具有不同可缩放编码数据需求的多个视频处理应用使用的视频信号产生可缩放编码数据的方便的方法。
依照本发明的第二方面,提供了一种用于内容信号处理的设备,包括:用于接收包含可缩放编码数据和压缩因数指示符的组合内容信号的接收装置,其中所述可缩放编码数据包含与多个压缩率相关联的数据,所述压缩因数指示符表示与所述多个压缩率相关联的数据;用于确定至少与第一应用相关联的第一压缩因数的装置;用于响应于所述压缩因数指示符来提取与所述可缩放编码数据的第一压缩因数相关联的第一数据集合的提取装置;和用于依照第一应用处理第一数据集合的装置。
依照本发明的第三方面,提供了一种内容信号处理方法,包括下列步骤:编码一个内容信号以产生包含与多个压缩率相关联的数据的可缩放编码数据;确定表示与所述多个压缩率相关联的数据的压缩因数指示符;以及产生包含所述可缩放编码数据和压缩因数指示符的组合数据。
本发明的这些和其它的观点、特征和优势将通过参考下面说明的实施方式来阐明而变得显而易见。
附图简述
这里将仅通过举例的方式、参考附图来说明本发明的一种实施方式,其中:
图1举例说明了依照本发明的一种实施方式的内容信号处理设备;和
图2举例说明了依照本发明的一种实施方式的用于处理多个应用的设备。
优选实施方式描述
下面的说明关注于可用于处理一个视频信号的本发明的一种实施方式。然而,应当意识到,本发明并不限于这种应用而是可以应用于许多其它内容信号,例如包括音频或多媒体内容信号。
图1举例说明了依照本发明的一种优选实施方式的内容信号处理设备100。
设备100包括一个从一个可以是内部或外部源的适当的源(未示出)接收一个视频信号的可缩放编码器101。在优选的实施方式中,所接收到的视频信号是没有经过编码或压缩的未处理的数字化视频信号。在其它实施方式中,该视频信号可能已经以适当的格式被编码和/或压缩。
可缩放编码器101适于编码接收到的视频信号,以使它能够适合于给定的帧存储器容量。该优选实施方式中的可缩放编码器101使用在R.P.Kleihorst和R.J.van der Vleuten的“DCT-domain embeddedmemory compression for hybrid video coders(用于混合视频编解码器的DCT域嵌入存储器压缩)”(Journal of VLSI Signal ProcessingSystems,vol.24,pp 1523-1543,2000,Institute of Electrical andElectronic Engineers)一文中说明的算法。
该可缩放编码器101从而产生一个能够被缩放以适合于给定的存储器配置的信号。特别地,可缩放编码器101将所接收到的视频信号的一帧分为多个8×8的像素块。对每个块执行离散傅立叶变换(DCT)以产生空间频率系数。一个位面(bitplane)一个位面地选择并编码多个频率系数(也就是说,首先包括全部所选系数的全部最高有效位,然后是全部所选系数的次高有效位,后面依此类推)。
在优选的实施方式中,视频信号被存储在一个与可缩放编码器101耦合的帧存储器103中。在优选的实施方式中,该帧存储器存储DCT域中的一个或多个帧,也就是说,所选的每个DCT块的系数以位面顺序存储。此外,在优选的实施方式中,可缩放编码器101适于部分地通过选择适当数量的系数以及部分地通过对于不同系数截断字大小来对DCT编码的信号进行缩放,以适合于帧存储器103。
从而,优选地,可缩放编码器101为每个DCT块选择多个低频率系数并且舍弃多个高频率系数。被舍弃的高频率系数的数量取决于帧存储器的可用存储容量。附加的或可选的,取决于可用存储容量,可缩放编码器101可以从一部分或全部系数中截断一些最低效位。这允许适于帧存储器的压缩视频信号。在优选的实施方式中,可缩放编码器101与预期应用的需求无关地使用帧存储器103的全部可用容量。因此,即使一个应用是基于压缩因数4,可缩放编码器101也存储对应于压缩因数2的数据,只要帧存储器有足够的容量。
在优选的实施方式中,存储在帧存储器105中的数据从而对应于多个压缩率。特别地,DCT系数和字大小的选择对应于第一压缩率。可是,如果选择了较少的DCT系数和/或减小的字大小,就能够实现更高的压缩率。因此,存储在帧存储器105中的数据包含对应于更高压缩因数的数据的一个子集。因此,取决于从帧存储器105中提取的数据,能够获得具有不同压缩因数或压缩率的信号。
可缩放编码器101还与压缩处理器105耦合。压缩处理器105适于确定表示与多个压缩率相关联的数据的压缩因数指示符。
在优选的实施方式中,压缩处理器105确定对应于多个固定的压缩因数或者等效地对应于多个相等的帧大小或数据率的多个压缩因数指示符。例如,压缩处理器105可以为压缩因数2、4、6和8确定压缩因数指示符。对于这些压缩因数中的每一个,压缩因数指示符被确定,其标识将要被提取以产生一个具有期望的压缩因数的视频信号的帧存储器105的数据。
应该意识到,术语“压缩因数”可以间接地指比如最终得到的数据率、帧存储器容量、压缩率或类似的压缩因数。
在优选的实施方式中,压缩因数指示符包括指向每个压缩因数的数据的起点和终点的指针。因此,特别地,可缩放编码器101的可缩放编码数据对应于通过包括帧存储器105的全部数据而达到的最小的压缩因数。对于每个更高的压缩因数,压缩处理器105确定应当包含哪些数据以达到这个压缩因数。特别地,它确定应当包含哪些DCT系数以及所选系数的字大小。它随后产生针对每个块的指针,所述指针表示该数据的起点和终点。取决于帧存储器105中的组织和数据结构,可以为每个DCT块产生多个起点和终点指针。当为一个压缩因数确定了所有压缩因数指示符时,压缩处理器105继续为下一个更高的压缩因数确定指针。
因为在优选的实施方式中的更高的压缩因数是通过增加高频率系数和最低有效位的截断而实现,因此更高的压缩因数是通过标识由一个更低的压缩因数选择的可缩放编码数据的一个子集而实现的。因此,该数据包含在彼此内部嵌套的数据集合,以使得更高的压缩因数是更低的压缩因数的子集。这可以用于减少所需的压缩因数指示符的数量,这是因为表示更高的压缩因数的数据的压缩因数指示符也可以用于更低的压缩因数。
压缩处理器105与帧存储器105耦合,并且适于在其中存储压缩因数指示符。从而,帧存储器105包括了既包含来自可缩放编码器101的可缩放编码数据又包含来自压缩处理器105的压缩因数指示符的组合数据。
应该意识到,在一些实施方式中没有使用帧存储器105,并且可缩放编码数据和压缩因数指示符是通过例如被包含在可以分发到其它功能单元的一个信号中而组合的。
因此,设备100允许产生能够被缩放以适合给定的限制的组合数据,所述限制比如是给定的存储器配置,并且它可以用于导出具有不同压缩率的数据信号。例如,一个应用可以依照压缩因数4从帧存储器105中提取数据,而另一个应用可以依照例如压缩因数8从该帧存储器中提取数据。为实现这一目的无需在可缩放编码器101或压缩处理器105或所存储的可缩放编码数据中做任何改变。相反,该应用可以简单地提取所需的数据。实际上,这两个应用可以基本上同时提取对应于不同压缩因数(从而对应于不同数据率等等)的数据。因此,本实施方式允许一种非常灵活而且有效的系统,它允许具有不同需求的不同应用使用相同的单程编码和由此解码产生的相同的可缩放编码数据。
图2表示依照本发明的一种优选的实施方式的用于处理多个应用的设备200。该设备合并了图1的设备100,并且用同样的附图标记表示同样的功能模块。
设备200包括一个适于确定与第一应用相关联的第一压缩因数的第一提取处理器201。在优选的实施方式中,该第一压缩因数被简单地确定为针对该给定应用的一个预存储值,但在其它实施方式中,第一提取处理器201适于通过分析应用或内容信号的特性来确定第一应用。例如,第一提取处理器201可以包括能够与应用交换该信息的通信电路。
第一提取处理器201此外还适于从对应于所确定的第一压缩因数的可缩放编码数据中提取第一数据集合。在优选的实施方式中,第一提取处理器201与其中可以暂时存储第一数据集合的第一高速缓冲存储器203耦合。从而,在优选的实施方式中,第一提取处理器201为存储在帧存储器105中的帧确定适合第一应用的压缩因数。第一提取处理器201随后提取对应于第一压缩因数的压缩因数指示符,并且随后从帧存储器105中提取全部数据,所述数据由压缩因数指示符表示,以对应于第一压缩因数。在这个操作之后,第一高速缓冲存储器203包括具有对应于第一压缩因数的数据大小的视频信号的一个帧。
第一高速缓冲存储器203与第一解码器205耦合,第一解码器205适于将存储在第一高速缓冲存储器203中的帧的数据转换为适合于应用的随后处理的帧格式。特别地,第一解码器205可以执行一个逆离散余弦变换(IDCT),以将DCT块数据转换回空间域。然而,解码的精确特性将取决于第一应用的随后处理的需求。特别地,在一些实施方式中,来自帧存储器105的帧数据可以无需任何插入转换而被直接使用。
第一解码器205与第二高速缓冲存储器207耦合,并且暂时在其中存储转换后的数据。
第二高速缓冲存储器207与适于依照第一应用处理转换后的数据集合的第一应用处理器209耦合。应当意识到,第一应用可以是任何适当的应用。然而,在优选的实施方式中,第一应用是一个依照预定义标准将帧分为多个不同图像段的分段应用。
特别地,分段应用优选地是能够将帧分为具有诸如类似颜色或纹理的同类视觉特性的图像段的时间一致的像素精确分段算法。帧的分段是一个复杂的处理,其可以为包括例如目标识别或视频压缩应用的其它应用提供有用数据。
在优选的实施方式中,分段输出还被第一提取处理器201使用来提取第一数据集合。从而,在优选的实施方式中,第一应用处理器209与第一提取处理器201耦合,以便把由第一应用处理器209产生的分段数据反馈回第一提取处理器201。第一提取处理器201随后可以根据所述分段数据确定在一帧中变化的压缩因数。这对时间一致分段特别有利,其中给定帧的分段可能适用于后续帧。例如,对各段的运动估计可以被用于为后续帧确定分段信息。因此,时间一致的过去信息可以用在提取中。
例如,为全部包括在一个具有诸如基本完全相同的颜色而没有显著纹理的同类特性的图像段中的数据块确定一个更高的压缩因数。可以为在具有高纹理等级或在不同图像段之间具有重叠边缘的图像段中的块确定一个更低的压缩因数。因此,压缩因数可以被动态地调整,以对应于增加的压缩的视觉效果,并且因此可以实现改善的处理结果。
在其它的实施方式中,可以使用一个外部分段处理。例如,可以独立地分析保存在帧存储器中的一个给定帧,并且所导出的分段信息可以被用于提取第一数据集合。这允许一种仅基于空间分段而不需要时间一致的分段或时间相关性的改善的数据提取。
该优选的实施方式的设备此外还能够处理第二应用,并且特别能够与第一应用同时处理第二应用。
在优选的实施方式中,所述设备还包括一个适于确定与第二应用相关联的第二压缩因数的第二提取处理器211。在优选的实施方式中,第二压缩因数与第一压缩因数不同。
应当意识到,为简明计,说明书提到了第一和第二压缩因数,但是这可以包括多个压缩因数或压缩因数的范围或区间。此外,第一和第二压缩因数可以包含优选地不重叠的压缩因数的重叠范围。例如,第一应用可以基于压缩因数4、6和8,并且第一提取处理器201可以根据例如一个单独DCT块的特性来提取对应于这些压缩因数当中的一个的数据。类似地,第二应用可以基于压缩因数2、4、6和8,并且可以根据例如该单独DCT块的特性来提取对应于这些压缩因数当中的一个的数据。因此,第一和第二应用的压缩因数对于一些DCT块可以是相似的或相同的,而对于其它DCT块则是不同的。
第二提取处理器211此外还适于响应于第二压缩因数从帧存储器105中提取第二数据集合。
在优选的实施方式中,第二提取处理器211与第一提取处理器201耦合,并且适于直接从这里接收数据。在这种实施方式中,第二提取处理器211直接从第一提取处理器201接收第一和第二数据集合的公共数据。特别地,第二应用的压缩因数可以对应于一个比第一压缩因数更低的压缩因数,并且第一数据集合可以是第二数据集合的一个子集。因此,第二提取处理器211直接从第一提取处理器201接收第一数据集合。另外,第二提取处理器211直接与帧存储器105耦合,并且从中提取附加数据。从而,在这种实施方式中,第二提取处理器211直接从帧存储器105中提取还没有从第一提取处理器201接收到的第二数据集合的数据。
类似地,如果第二数据集合是第一数据集合的子集,则第二提取处理器211可以简单地从第一提取处理器201接收数据的子集,或者可以接收整个第一数据集合并且丢弃不需要的数据。
从而,第二提取处理器211可以通过第一提取处理器201从帧存储器105提取数据。特别地,第一提取处理器201和第二提取处理器211可以是相同的功能模块或单元。
通过第一提取处理器201给第二提取处理器211提供数据特别有利于其中图1的设备100通过外部单元实现而剩余的功能模块在单个集成电路上实现的情况。因此,在使用一个大的帧存储器的实施方式中,这可以通过芯片外的外部存储器实现,并且将外部存储器存取最小化。因此,可以降低与存取外部存储器相关联的带宽限制和延迟的影响。
设备200还包括第三高速缓冲存储器213,其等同于第一高速缓冲存储器203,并且允许对第二数据集合进行临时存储。第二高速缓冲存储器213与适于将存储在第三高速缓冲存储器213中的帧的数据转换为适合于第二应用的帧格式的第二解码器215耦合。第二解码器215的性能在优选的实施方式中等同于第一解码器205的性能,并因此将不做更详细的说明。第二解码器215与第四高速缓冲存储器217耦合,并且在那里临时存储转换后的数据。
第四高速缓冲存储器217与适于依照第二应用处理转换后的数据集合的第二应用处理器219耦合。应当意识到,第二应用可以是任何适当的应用。然而,在优选的实施方式中,第二应用是一个适于依照一个诸如MPEG2的已定义标准将视频信号编码为数字视频信号的视频编码/压缩应用。
在本领域中,依照例如MPEG2标准编码一个视频信号的方法和算法是公知的,并将不做更详细的说明。
在一些实施方式中,第一和第二应用能够交互,具体来说,第一应用的分段数据可以被馈送给第二应用而且可以用在视频压缩算法中。这允许对于不同的已标识图像段动态地优化压缩。因此,高度压缩可以用于具有很少纹理的同类段,反之较少的压缩用于具有高纹理等级和/或与各段之间的边界相关联的区域的段。此外,分段数据可以用于目标检测和运动估计。
在优选的实施方式中,第二应用处理器219另外还与第四高速缓冲存储器217耦合,并且适于在那里存储压缩的视频数据。因此,压缩的数据帧可以被存储并且可以用于后续帧的压缩,从而使运动估计、目标跟踪和其它视频压缩技术更便利。
在优选的实施方式中,大部分或者全部功能元件在单个集成电路中实现。因此,在优选的实施方式中,将帧存储器以及甚至可缩放编码器101和压缩处理器105都嵌入在与剩余处理功能相同的集成电路上。然而,在其它实施方式中,其它分布是可能的,并且特别在片上和片外功能之间的接口可以处于帧存储器的输入端或输出端。
能够以任何适当形式(包括硬件、软件、固件或其任意组合)实现本发明。然而,优选的是,本发明至少部分地作为专用集成电路或运行在一个或更多数据处理器和/或数字信号处理器上的计算机软件实现。可以在物理上、功能上和逻辑上以任何适当的方法实现本发明的实施方式的元件或部件。实际上,本发明的功能可以在单个单元中、在多个单元中或作为其它功能单元的一部分实现。同样地,本发明可以在单个单元中实现,或者可以在物理上和功能上分布在不同的单元和处理器之间。
尽管已经结合优选的实施方式说明了本发明,但这并不意味着本发明受到在这里阐明的特定形式的限制。更确切地说,本发明的范围仅受所附权利要求书的限制。在权利要求书中,术语“包括”不排除其它元件或步骤的存在。此外,尽管已单独地列出了,但是可以通过例如单个单元或处理器实现多个装置、元件或方法步骤。另外,尽管各特征可能被包括在不同的权利要求中,但还是可以有利地将它们组合在一起,并且包含在不同权利要求中的特征并不意味着特征的组合是不可行的和/或不利的。另外,单数不排除复数。因此所提到的“一个”、“第一”、“第二”等等不排除复数。

Claims (19)

1、一种内容信号处理设备(100),包括:
编码装置(101),用于编码一个内容信号,以产生包含与多个压缩率相关联的数据的可缩放编码数据;
用于确定表示与所述多个压缩率相关联的数据的压缩因数指示符的装置(103);和
用于产生包括所述可缩放编码数据和所述压缩因数指示符的组合数据的装置(105)。
2、如权利要求1中所要求的设备,还包括:
用于处理第一应用的第一处理装置,该第一处理装置包括;
用于确定与第一应用相关联的至少第一压缩因数的装置(201);
第一提取装置(201),用于响应于所述压缩因数指示符来提取与所述可缩放编码数据的第一压缩因数相关联的第一数据集合;
用于依照第一应用来处理所述可缩放编码数据的装置(203、205、207、209)。
3、如权利要求2中所要求的设备,其中第一应用是一个分段应用。
4、如权利要求3中所要求的设备,其中第一提取装置(201)适于响应于由第一应用确定的分段来提取第一数据集合。
5、如权利要求2中所要求的设备,还包括用于处理第二应用的第二处理装置,该第二处理装置包括:
用于确定与第二应用相关联的第二压缩因数的装置(211);该第二压缩因数不同于第一压缩因数;
第二提取装置(211),用于响应于所述压缩因数指示符来提取与所述可缩放编码数据的第二压缩因数相关联的第二数据集合;
用于按照第二应用来处理所述可缩放编码数据的装置(203、205、207、209)。
6、如权利要求5中所要求的设备,其中第一提取装置(201)适于将与第二压缩因数相关联的第一数据集合的数据发送到第二处理装置,并且第二提取装置(211)适于提取与第二压缩因数相关联的附加数据。
7、如权利要求5中所要求的设备,其中第一提取装置(201)适于将与第二压缩因数相关联的第一数据集合的数据发送到第二处理装置,并且第二提取装置(211)适于丢弃与第二压缩因数无关的数据。
8、如权利要求5中所要求的设备,其中第二应用是一个压缩应用。
9、如权利要求5中所要求的设备,其中第二处理装置(211)包括一个用于存储第二数据集合的数据存储器(213、217);并且其中第二应用适于将压缩数据存储在该数据存储器中,并且包括一种适于响应于所存储的压缩数据来执行压缩的压缩算法。
10、如权利要求5中所要求的设备,其中第一应用是一个分段应用,并且第一处理装置适于提供该分段应用的分段数据给第二处理装置,所述压缩应用适于响应于所述分段数据来执行压缩。
11、如权利要求2中所要求的设备,其中第一数据集合对应于所述可缩放编码数据的一帧,并且第一提取装置(201)适于响应于该帧的一个分段来提取该第一数据集合。
12、如权利要求1中所要求的设备,其中所述编码装置(101)包括一个单程可缩放编码器。
13、如权利要求1中所要求的设备,其中所述压缩因数指示符包括至少一个表示与给定压缩因数相关联的数据的终点的指针。
14、如权利要求1中所要求的设备,其中所述压缩因数指示符包括至少一个表示与给定压缩因数相关联的数据的起点的指针。
15、一种内容信号处理设备,包括:
用于接收包括可缩放编码数据和压缩因数指示符的组合内容信号数据的接收装置(201),其中所述可缩放编码数据包括与多个压缩率相关联的数据,所述压缩因数指示符表示与所述多个压缩率相关联的数据;
用于确定与第一应用相关联的至少第一压缩因数的装置(201);
提取装置(201),用于响应于所述压缩因数指示符来提取与所述可缩放编码数据的第一压缩因数相关联的第一数据集合;和
用于按照第一应用处理第一数据集合的装置(203、205、207、209)。
16、一种内容信号处理方法,包括下列步骤:
编码一个内容信号,以便产生包括与多个压缩率相关联的数据的可缩放编码数据;
确定表示与所述多个压缩率相关联的数据的压缩因数指示符;以及
产生包括所述可缩放编码数据和所述压缩因数指示符的组合数据。
17、如权利要求16中所要求的方法,还包括下列步骤:
确定与第一应用相关联的至少第一压缩因数;
响应于所述压缩因数指示符来提取与所述可缩放编码数据的第一压缩因数相关联的第一数据集合;
按照第一应用处理所述可缩放编码数据。
18、一种能够执行依照权利要求17的方法的计算机程序。
19、一种包括如权利要求18所要求的计算机程序的记录载体。
CNA2004800262672A 2003-09-12 2004-08-26 用于可缩放信号处理的方法和设备 Pending CN1849826A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03103373.1 2003-09-12
EP03103373 2003-09-12

Publications (1)

Publication Number Publication Date
CN1849826A true CN1849826A (zh) 2006-10-18

Family

ID=34306930

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800262672A Pending CN1849826A (zh) 2003-09-12 2004-08-26 用于可缩放信号处理的方法和设备

Country Status (6)

Country Link
US (1) US20070019874A1 (zh)
EP (1) EP1665800A1 (zh)
JP (1) JP2007505545A (zh)
KR (1) KR20060133962A (zh)
CN (1) CN1849826A (zh)
WO (1) WO2005027523A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742294B (zh) * 2008-11-14 2012-09-05 北京中星微电子有限公司 一种提高监控视频压缩率的方法和设备
CN101868976B (zh) * 2007-10-16 2013-11-20 三星电子株式会社 对媒体内容及其元数据编码的方法和设备
CN104365096A (zh) * 2012-06-01 2015-02-18 飞思卡尔半导体公司 执行图像数据的压缩的方法及装置
CN108804042A (zh) * 2018-06-16 2018-11-13 王梅 一种基于缓存内移出的数据组进行动态处理的方法及系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090096927A1 (en) * 2007-10-15 2009-04-16 Camp Jr William O System and method for video coding using variable compression and object motion tracking
US20120188460A1 (en) * 2011-01-21 2012-07-26 Ncomputing Inc. System and method for dynamic video mode switching
US20130110815A1 (en) * 2011-10-28 2013-05-02 Microsoft Corporation Generating and presenting deep links
US10958987B1 (en) 2018-05-01 2021-03-23 Amazon Technologies, Inc. Matching based on video data
US10630748B1 (en) * 2018-05-01 2020-04-21 Amazon Technologies, Inc. Video-based encoder alignment
US10630990B1 (en) 2018-05-01 2020-04-21 Amazon Technologies, Inc. Encoder output responsive to quality metric information
US11776026B1 (en) 2021-09-10 2023-10-03 Lalit K Jha Virtual newsroom system and method thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3622365B2 (ja) * 1996-09-26 2005-02-23 ヤマハ株式会社 音声符号化伝送方式
JP3284932B2 (ja) * 1997-08-05 2002-05-27 松下電器産業株式会社 画像処理装置
WO2002047396A1 (en) * 2000-12-01 2002-06-13 Celartem Technology Inc. Image format
KR100869657B1 (ko) * 2001-03-05 2008-11-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 신호를 압축하는 장치 및 방법
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101868976B (zh) * 2007-10-16 2013-11-20 三星电子株式会社 对媒体内容及其元数据编码的方法和设备
CN101742294B (zh) * 2008-11-14 2012-09-05 北京中星微电子有限公司 一种提高监控视频压缩率的方法和设备
CN104365096A (zh) * 2012-06-01 2015-02-18 飞思卡尔半导体公司 执行图像数据的压缩的方法及装置
US10230959B2 (en) 2012-06-01 2019-03-12 Nxp Usa, Inc. Method and apparatus for performing compression of image data
CN108804042A (zh) * 2018-06-16 2018-11-13 王梅 一种基于缓存内移出的数据组进行动态处理的方法及系统
CN108804042B (zh) * 2018-06-16 2021-06-15 浙江力石科技股份有限公司 一种基于缓存内移出的数据组进行动态处理的方法及系统

Also Published As

Publication number Publication date
JP2007505545A (ja) 2007-03-08
US20070019874A1 (en) 2007-01-25
WO2005027523A1 (en) 2005-03-24
KR20060133962A (ko) 2006-12-27
EP1665800A1 (en) 2006-06-07

Similar Documents

Publication Publication Date Title
JP7156762B2 (ja) 方法、デコード装置およびコンピュータプログラム
CN1112045C (zh) 用反复误差数据编码方法进行视频压缩
EP1797721B1 (en) Slab-based processing engine for motion video
US9179162B2 (en) Image transform zero coefficient selection and zero-skip transmission for arbitrary shape transform coding
WO2005120076A1 (en) Method and apparatus for transcoding input video based on first transformation kernel to output viedo based on second transformation kernel
CN1302419A (zh) 缩放压缩的图象
JP2023060310A (ja) ビデオエンコードおよびデコード方法、および装置
CN1849826A (zh) 用于可缩放信号处理的方法和设备
KR101289514B1 (ko) 인코딩 방법 및 인코더 장치
CN110741636A (zh) 用于视频编码的变换块级扫描顺序选择
EP4241450A1 (en) Learned video compression framework for multiple machine tasks
CN111491163B (zh) 基于对图像块的像素域预处理操作的图像块编码
CN1379594A (zh) 对被编码的视频信号同时进行格式压缩和解码的方法
Kim et al. A lossless color image compression method based on a new reversible color transform
Park et al. A 3D-DCT video encoder using advanced coding techniques for low power mobile device
CN112119633B (zh) 多种变换的灵活实现
WO2023215129A1 (en) Deep-learning-based compression method using frequency decomposition
WO2024076518A1 (en) Method or apparatus rescaling a tensor of feature data using interpolation filters
Jaspers et al. Embedded compression for memory resource reduction in MPEG systems
JP2014060543A (ja) エンコード装置、デコード装置およびスイッチャ装置
Shandilya et al. A Review Paper on Image Compression Unit Using DCT
AU2017210632A1 (en) Method, apparatus and system for encoding and decoding video data
Yuan et al. New lossless precompression algorithm suitable for CMOS digital camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication