CN102037731B - 压缩视频中属于互相关性层的图片的通知和抽取 - Google Patents
压缩视频中属于互相关性层的图片的通知和抽取 Download PDFInfo
- Publication number
- CN102037731B CN102037731B CN200980118689.5A CN200980118689A CN102037731B CN 102037731 B CN102037731 B CN 102037731B CN 200980118689 A CN200980118689 A CN 200980118689A CN 102037731 B CN102037731 B CN 102037731B
- Authority
- CN
- China
- Prior art keywords
- picture
- field
- layer
- video flowing
- succession
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title description 16
- 230000011664 signaling Effects 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 54
- 239000000284 extract Substances 0.000 claims description 14
- 239000010410 layer Substances 0.000 description 267
- 230000006835 compression Effects 0.000 description 56
- 238000007906 compression Methods 0.000 description 56
- 230000005540 biological transmission Effects 0.000 description 43
- 230000006837 decompression Effects 0.000 description 35
- 238000012545 processing Methods 0.000 description 29
- 238000003860 storage Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 19
- 230000006978 adaptation Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 239000000872 buffer Substances 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 239000012634 fragment Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 230000009102 absorption Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 239000012536 storage buffer Substances 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 240000002791 Brassica napus Species 0.000 description 1
- 235000013290 Sagittaria latifolia Nutrition 0.000 description 1
- 102100023706 Steroid receptor RNA activator 1 Human genes 0.000 description 1
- 101710187693 Steroid receptor RNA activator 1 Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000004186 co-expression Effects 0.000 description 1
- 235000015246 common arrowhead Nutrition 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000576 supplementary effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/633—Control signals issued by server directed to the network components or client
- H04N21/6332—Control signals issued by server directed to the network components or client directed to client
- H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
Abstract
在一个实施例中,一种方法包括:提供视频流;以及提供标识与各图片互相关性层相对应的所述视频流中压缩图片的信息。
Description
本申请的申请日为2009年5月18日,对除美国外的所有国家指定的申请人是一家美国公司“思科技术公司”,仅对美国指定的申请人是均为美国公民的Arturo A.Rodriguez和Benjamin M.Cook,本申请要求申请日为2008年5月21日的美国专利申请第12/124,779号的优先权。
技术领域
特定实施例一般涉及在网络系统中处理视频流。
背景技术
预期利用先进视频压缩方法实现数字视频对于应用和网络系统扩展的可用性和功能水平与已确立的压缩方法所扩展的相同。遍及网络系统的视频处理装置应当继续具备现有的视频流操纵能力水平或更佳。
当提供用于根据先进视频编码(AVC)标准压缩和格式化的视频流(本文中称为AVC流)的视频流操纵功能时,难以确定视频流是否适于特定的流操纵操作或适于扩展终端用户功能(例如不同的视频回放模式)的操作。同样,位于遍及网络系统的若干位置中任意位置的视频处理设备难以实现对AVC流的操纵操作。这是因为AVC标准通常具有一组大量的压缩工具并可以较之先前的视频编码标准更精细和全面的方式利用图片间的时间冗余。
AVC流的压缩较之利用先前的视频编码标准编码的视频流更加高效。然而,AVC流往往表现出图片互相关性方面的更高复杂度,这使其难以实现流操纵操作。
发明内容
根据本发明的一个方面,公开了一种提供信息的方法,包括:提供视频流;以及提供标识所述视频流中的压缩图片的信息,其中所述压缩图片基于图片互相关性而与多个相继的图片互相关性层的层次结构相关联,所述层次结构包含多于两个层,所述相继的图片互相关性层是按顺序编号的,每个压缩图片属于至多一层,一层中的图片不依赖于所述视频流中的、属于所述多个相继的互相关性层的层次结构中的任何更高编号的后续层的图片。
附图说明
图1的高级框图示出了一示例环境,其中实现了对压缩视频和标识各图片互相关性层中图片的信息的处理的系统和方法的实施例。
图2是图1所示的数字家庭通信终端(DHCT)和相关设备的实施例,其中至少部分地实现了对压缩视频和标识各图片互相关性层中图片的信息的处理的系统和方法的实施例。
图3的框图示出了示例性传输流生成。
图4A和4B的框图示出了传输流生成器所提供的示例性压缩图片序列中的图片互相关性。
图5的框图示出了图片互相关性层的层次结构。
图6是提供关于图片互相关性层的信息的各种方式的框图。
图7是示出包含多个字段的数据结构的实施例的框图,所述多个字段用于分别断言关于一个或多个图片互相关性层的信息的存在。
图8的框图示出了图7的数据结构的示例性实施例。
图9A-9E的框图示出了基于图4A所示的示例性图片序列的各种位图构造。
具体实施方式
综述
在一个实施例中,一种方法包括:提供视频流;以及提供标识所述视频流中与各图片互相关性层相对应的压缩图片的信息。在另一实施例中,一种方法包括:接收视频流;接收表示所述视频流中与各图片互相关性层相对应的压缩图片的信息;以及从所述视频流中抽取所标识的图片中的一个或多个图片。
示例实施例
在以下出版物中可以找到对MPEG-2视频编码标准的描述,该出版物在此被合并参考:(1)ISO/IEC 13818-2,(2000),“InformationTechnology-Generic coding of moving pictures and associated audio-Video”。在以下出版物中可以找到对AVC视频编码标准的描述,该出版物在此被合并参考:(2)ITU-T Rec.H.264(2005),“Advanced video codingfor generic audiovisual services”。在以下出版物中可以找到对用于以MPEG-2传输分组传输AVC视频流的MPEG-2系统的描述,该出版物在此被合并参考:(3)ISO/IEC 13818-1,(2000),“Information Technology-Generic coding of moving pictures and associated audio-Part 1:Systems”,和(4)ITU-T Rec.H.222.0|ISO/IEC 13818-1:2000/AMD.3,(2004),“Transport of AVC video data over ITU-T Rec.H222.0|ISO/IEC 13818-1streams”。
注意,遍及本说明书使用的“位图相关信息”指与图片互相关性层相关或有关的断言(assertion)和/或位图或其他信息。遍及本说明书,“层”(tier)应理解为指图片互相关性层(picture interdependencytier)。
注意,遍及本说明书使用的“图片”指来自以多种形式中的一种构成视频或数字视频的图片序列的图像部分或完整图像。遍及本说明书,“视频节目”或对可视内容的其他提及应理解为包括电视节目、电影,或其他任何传达或定义诸如通过个人摄像机提供的可视内容之类的可视内容的信号。这种视频节目当被传递时可以包括压缩数据流,该压缩数据流对应于复用和分组化成诸如MPEG-2传输(MPEG-2 Transport)之类的传输流的图片和其他元素的一个或多个序列构成的整体,所述其他元素包括视频、音频和/或其他数据。
视频流还可指与任何视频服务或数字视频应用相对应的压缩数字可视数据,所述视频服务或数字视频应用包括但不限于视频节目、视频会议或视频电话会话、通过网络系统中的通信信道发送或接收视频流的任何数字视频应用,或在存储装置或内存装置中存储了视频流或从存储装置或内存装置检索视频流的任何数字视频应用。所公开的实施例可以许多不同形式实现,不应解释为限于这里阐述的实施例;而是提供了这些实施例以使得本公开将更全面和完整,并将会充分地将公开的范围传达给本领域的普通技术人员。虽然遍及本说明书将数字家庭通信终端(DHCT)用作示例装置,但本文中描述的特定实施例扩展到有能力接收和处理AVC流的其他类型的接收机。例如,特定实施例可应用于经由通信信道耦合到网络系统的手持接收机和/或移动接收机。本文中描述的某些实施例还扩展到具有接收和/或发送功能以及其他功能的网络装置(例如编码器、交换机等)。特定实施例还可应用于任何视频服务使能接收机(VSER),还可应用于诸如有能力处理AVC流的媒体播放器之类的电子装置,而与这些电子装置是否耦合到网络系统无关。此外,本文中给出的所有实施例、图示和示例都希望是非限制性的,并且是作为示例列表提供的,还有想到了但未示出的其他示例。
图1是示出了示例环境的高级框图,在该示例环境中,系统和方法的实施例实现了对压缩视频和标识各图片互相关性层中图片的信息的处理。具体而言,图1是示出了示例性订户电视系统(STS)100的框图。在此示例中,STS 100包括头端110和DHCT 200,它们经由网络130耦合起来。DHCT 200通常位于用户的住所或办公场所,并可以是一单独单元或集成到诸如显示装置140或个人计算机(未示出)以及其他装置之类的另一装置中。DHCT 200通过网络130从头端110接收信号(视频、音频和/或其他数据),该信号例如包括数字化视频信号的压缩表示的数字视频信号,例如调制在载波信号上的AVC流,和/或调制在载波信号上的模拟信息,等等,并将相反信息通过网络130提供给头端110。
网络130可以包括用于传送视频和电视服务数据的任何合适介质,例如包括有线电视网络或卫星电视网络,等等。头端110可包括一个或多个服务器装置(未示出),用于向诸如DHCT 200之类的客户装置提供视频、音频和其他类型的媒体或数据。
头端110还包括一个或多个编码器或压缩引擎111,其在一个实施例中将图片互相关性相关信息(例如与图片互相关性有关的位图、标志,和/或其他消息,和/或断言关于一个或多个图片互相关性层的信息的存在的信息,如下文进一步描述的)提供或插入到传输流中,以使能或帮助DHCT200或其他网络装置从视频流中解码、分析和/或抽取顶层的图片和/或丢弃底层的图片,如下文进一步说明的。虽然示为驻留在头端110中,但编码器可位于网络中其他位置。例如,对与图片互相关性层相关的断言和位图或其他信息的插入或提供可以在头端110的上游或外部实现。头端110和DHCT 200进行合作以给用户提供电视服务,该电视服务例如包括广播视频节目、互动式节目指南(IPG),和/或视频点播(VOD)呈现,等等。电视服务经由显示装置140呈现,该显示装置通常是电视机,其被根据其类型而利用隔行扫描视频号或逐行扫描视频信号驱动。然而,显示装置140也可以是能够显示视频图像的其他任何装置,例如包括计算机监视器。虽然示为与显示装置140通信,但DHCT 200可与接收、存储和/或处理来自DHCT 200的视频流或向DHCT 200提供或发送视频流或未压缩视频信号的其他装置进行通信。
图2是图1所示的DHCT 200和相关设备的实施例的框图,其中系统和方法的实施例至少部分地实现了对压缩视频和标识各图片互相关性层中图片的信息的处理。将理解图2所示的DHCT 200仅仅是说明性的,不应解释为暗示对公开范围的任何限制。例如,在一些实施例中,DHCT 200可以具有比图2所示的组件更少、更多和/或不同的组件。所描述的DHCT200和/或编码器111的子系统和方法中任一者都可包括用于实现逻辑功能的可执行指令的有序列表,可以实现在任何计算机可读介质中以供指令执行系统、设备或装置使用或与之协同,例如能从指令执行系统、设备或装置取得指令并执行指令的基于计算机的系统、包含处理器的系统或其他系统。在本文档的上下文中,“计算机可读介质”可以是能包含、存储、传送、传播或传输程序以供指令执行系统、设备或装置使用或与之协同的任何装置。计算机可读介质例如可以是但不限于电、磁、光、电磁、红外或半导体系统、设备、装置或传播介质。计算机可读介质的更具体的示例(非穷举列表)将会包括以下项:具有一条或多条导线的电连接(电子的)、便携式计算机盘(磁的)、随机存取存储器(RAM)(电子的)、只读存储器(ROM)(电子的)、可擦除可编程只读存储器(EPROM或闪存)(电子的)、光纤(光的),以及便携式紧致盘只读存储器(CDROM)(光的)。
DHCT 200通常位于用户的住所或办公场所,并可以是一单独单元或集成到诸如电视机或个人计算机之类的另一装置中。DHCT 200优选地包括用于通过网络130(图1)从头端110(图1)接收信号(视频、音频和/或其他数据)的通信接口242,并将相反信息提供给头端110。
DHCT 200还可包括用于控制DHCT 200的操作的一个或多个处理器(示出了一个处理器244)、用于驱动电视显示器140(图1)的输出系统248,以及用于调谐到特定电视频道和/或频率并用于向/从头端110发送和接收各种类型的数据的调谐器系统245。DHCT 200在一些实施例中可包括用于接收所下载(或所发送)数据的多个调谐器。调谐器系统245可从订户电视系统100(图1)所提供的多个发送信号中进行选择。调谐器系统245使得DHCT 200能调谐到下游媒体和数据发送,从而允许用户经由订户电视系统100接收数字媒体内容。在一个实施例中,模拟电视信号可以经过调谐器系统245接收。调谐器系统245在一种实现方式中包括用于双向数据通信的带外调谐器,和用于接收电视信号的一个或多个调谐器(带内)。另外,接收机246接收来自诸如遥控装置(未示出)的输入装置的外部生成的用户输入或命令。
DHCT 200可包括一个或多个也称为通信端口或接口274的有线或无线接口,用于向其他装置接收和/或发送数据或视频流。例如,DHCT 200可具有USB(通用串行总线)、以太网、IEEE-1394、串行和/或并行端口,等等。DHCT 200可经由通信接口274连接到家庭网络或局部网络。DHCT 200还可包括用于接收模拟视频信号的模拟视频输入端口。可以经由诸如手持遥控装置或键盘之类的输入装置提供用户输入。
DHCT 200包括至少一个存储装置273,用于存储DHCT 200接收的视频流。与操作系统253和装置驱动器211合作的PVR应用277实现向/从存储装置273的读和/或写操作,以及其他功能。处理器244可为操作系统253、装置驱动器211、应用(例如PVR 277),和数据输入及输出提供和/或帮助控制和程序执行。处理器244还可提供和/或帮助接收和处理位图相关信息,识别和抽取分别属于一个或多个层的图片,识别和丢弃分别属于一个或多个层的图片,以及在抽取或丢弃所识别的图片之后解码和输出视频流。处理器244还可为所接收的压缩视频流或DHCT 200所产生的压缩视频流帮助或提供位图相关信息。这里,对针对存储装置273的写和/或读操作的提及可理解为包括对存储装置273的一个或多个介质的操作。装置驱动器211一般是与操作系统253相接口和/或驻留于操作系统253中的软件模块。装置驱动器211在操作系统253的管理下与存储装置控制器279通信以提供用于存储装置273的操作指令。由于传统的装置驱动器和装置控制器对于本领域普通技术人员是公知的,因此这里就不进一步描述各自的详细工作的讨论了。
存储装置273可以位于DHCT 200内部并通过通信接口275耦合到公共总线205。通信接口275可包括集成驱动电子装置(IDE)、小型计算机系统接口(SCSI)、IEEE-1394或通用串行总线(USB),等等。作为替换或补充,存储装置273可以经由通信端口274,外部连接到DHCT200。通信端口274例如可以是根据IEEE-1394、USB、SCSI或IDE规范的。在一种实现方式中,视频流是经由通信接口242接收到DHCT 200中并存储在临时存储器缓存(未示出)中的。临时存储器缓存可以是DRAM252的一指定部分,或者直接或作为DHCT 200中组件一部分而附接的独立存储器。临时缓存被实现和管理来使能向存储装置273的媒体内容传递。在一些实现方式中,存储装置273的快速存取时间和高数据传递速率特性使得能够以足够快的方式从临时缓存读取媒体内容和将媒体内容写到存储装置273。可以实现多个同时的数据传递操作,使得在将数据从临时缓存传递到存储装置273的同时,可以接收另外的数据并将其存储在临时缓存中。
DHCT 200包括信号处理系统214,该信号处理系统包括解调系统210和传输解复用和分析系统215(本文中称为解复用系统),用于处理广播和/或点播媒体内容和/或数据。信号处理系统214的一个或多个组件可以利用软件、软硬件组合,或硬件实现。解调系统210包括用于解调模拟或数字发送信号的功能。
如上所述,编码器或压缩引擎可以驻留在头端110处(例如实现为编码器111),DHCT 200中(例如实现为压缩引擎217),或其他位置。压缩引擎217可以接收数字化未压缩视频信号,例如由模拟视频解码器216提供的数字化未压缩视频信号,或由解压缩引擎(例如解压缩引擎222)作为将压缩视频信号解压缩的结果而产生的解压缩视频信号。在一个实施例中,模拟视频解码器216所输出的数字化图片和相应音频在压缩引擎217的输入端提供,该压缩引擎根据视频压缩规范的句法和语义将未压缩数字化图片序列压缩。从而,压缩引擎217实现了与诸如AVC标准之类相应的视频压缩规范相对应的视频压缩方法或算法,以提供视频流。压缩引擎217还可提供用于所提供的视频流的位图相关信息。
本文中公开的系统和方法可应用于根据视频压缩规范执行的任何视频压缩方法,所述视频压缩规范考虑了至少一种类型的压缩图片,该压缩图片可依赖于多个用于其解压缩和重建的参考图片的相应解压缩版本。例如,压缩引擎217可根据AVC标准的规范来压缩输入的视频,并产生包含不同类型压缩图片的AVC流,一些压缩图片可具有第一压缩部分和第二压缩部分,该第一压缩部分依赖于用于压缩图片的解压缩和重建的第一参考图片,同一图片的该第二压缩部分依赖于不同的第二参考图片。
在一些实施例中,具有诸如能产生AVC流的压缩能力的类似压缩能力的压缩引擎例如作为家庭网络的一部分经由通信端口274连接到DHCT200。在另一实施例中,具有诸如能产生AVC流的压缩能力的类似压缩能力的压缩引擎可位于头端110或网络130中的其他位置。在各种实施例中的压缩引擎可包括提供用于所产生的视频流的位图相关信息的能力。
除非以其他方式规定,否则本文中使用的压缩引擎可驻留在头端110处(例如作为编码器111),DHCT 200中(例如作为压缩引擎217),经由通信端口274连接到DHCT 200,或其他位置。同样,本文中使用的视频处理装置可驻留在头端110处、DHCT 200中、经由通信端口274连接到DHCT 200,或其他位置。在一个实施例中,压缩引擎和视频处理装置驻留在同一位置。在另一实施例中,他们驻留在不同位置。在又一实施例中,压缩引擎和视频处理装置是同一装置。
根据诸如MPEG-2或AVC之类的指定的音频和视频编码方法的句法和语义,产生压缩的视频和音频流,使得压缩的视频和音频流可以在未来时间被解压缩引擎222解释以用于解压缩和重建。根据诸如MPEG-2系统中定义的MPEG-2传输之类的传输规范的句法和语义,将每个AVC流分组化(packetize)成传输分组。每个传输分组包含头部,该头部具有与相应的AVC流相关联的独特的分组标识码或PID。
解复用系统215可包括MPEG-2传输解复用能力。当被调节到承载数字发送信号的载波频率时,解复用系统215使得能够分离与所需的AVC流相对应的数据分组,以用于进一步处理。同时,解复用系统215排除了对复用传输流中无关或不需要的分组,例如对应于其他视频流的数据分组的进一步处理。解复用系统215的分析能力考虑了DHCT 200对传输分组中所承载的节目相关信息的吸收。解复用系统215的分析能力可以考虑DHCT 200对位图相关信息的吸收,所述位图相关信息例如是与一个或多个图片互相关性层中图片的识别相关或有关的断言和位图或其他信息。
在一个实施例中,可通过在诸如MPEG-2传输的传输流分组之类的传输流分组的适配字段或其他字段的私有数据区段中规定显式信息,来提供位图相关信息。在一个实施例中,这种信息的信号通知(signaling)和提供是位于视频节目的复用级,或传输层处的(而非在视频层中)。位图信息可以例如经由在MPEG-2传输分组的适配字段中承载的私有数据,作为未加密数据而承载。
例如,根据MPEG-2的传输分组结构包括188个字节,并包括一4字节的头部,该头部具有标识传输分组的对应流的独特分组标识符或PID。可选的适配字段可跟在传输分组的头部之后。如果有适配字段的话,则包含对应流一部分的有效载荷跟在适配字段之后。如果没有适配字段,则有效载荷跟在传输头部之后。与AVC流中压缩图片相对应的位图相关信息在一个实施例中设在适配字段中,从而不被认为是视频层的一部分,这是因为适配字段既不是传输分组有效载荷的一部分也不是AVC规范的一部分,而是根据MPEG-2系统标准的MPEG-2传输的句法和语义的一部分。
传输流的头部可以包括同步(sync)字节,该同步字节设置传输流分组的开始并允许发送同步。传输流的头部还可包括有效载荷单元起始指示符,当在承载视频流的分组中将该有效载荷单元起始指示符设置为某个值(例如在MPEG-2传输中为1b)时,该有效载荷单元起始指示符指示出该传输分组的有效载荷开始于分组化基本流(PES)的分组的首个字节。PES中所承载的视频流可以被约束为每PES分组承载一个压缩图片,并且PES分组必须始终作为传输流的分组有效载荷的首个字节而开始。从而,有效载荷单元起始指示符提供了对传输流中所承载的视频流的每个相继图片的起始的标识。注意,承载视频流的传输分组是由DHCT 200的分析能力(如上所述)从节目相关信息或节目专用信息(PSI)中识别的。例如,在MPEG-2传输中,节目映射表识别节目映射表(PMT)中节目流的分组标识符(PID),该PMT又是经由节目关联表(PAT)识别的。
应当注意,位图相关信息是未经加密地设置在传输层中的,并使得位于网络中的视频解码器或其他视频处理装置能够针对特定应用或操作而确定从视频流中抽取那些图片和/或从视频流中丢弃哪些图片,而无须分析压缩视频层或视频流。
位图相关信息标识出视频流中分别属于一个或多个图片互相关性层的图片。这又使得在视频节目存储在DHCT 200的硬盘驱动器中时,能够注释与各图片互相关性层相对应的相继图片位置。视频节目可以作为传输流而存储。在一个替代实施例中,其可作为节目流而存储。所注释的视频节目的图片位置可由处理器244在执行PVR应用277的同时处理,以从一起始点开始抽取属于顶层的视频节目图片,或从同一起始点开始抽取属于各相继顶部层的另外图片(即,升序编号的层,如下所述),以提供技巧模式(trick mode)操作。
位于传输分组头部中或适配字段中的一个或多个标志可以标识可作为用于跟踪位图相关信息的起始点的起始点或随机访问点。例如,MPEG-2传输分组中的适配字段包括随机访问指示符和基本流优先级指示符。
信号处理系统214的组件通常能够进行QAM解调、转发纠错、MPEG-2传输流的解复用,以及对分组和流的分析。流分析可以包括对分组化基本流或基本流的分析。分组分析可包括对递送与AVC流相对应的位图相关信息的字段的分析和处理。在一些实施例中,由信号处理系统214执行的分析抽取位图相关信息,并且处理器244提供对位图相关信息的处理和解释。在又一实施例中,处理器244执行对位图相关信息的分析、处理和解释。信号处理系统214还经由DHCT 200的中断和消息发送能力与处理器244通信。处理器244注释视频流或传输流内图片的位置,以及与视频流相对应的其他有关信息。作为替代或补充,注释可以是根据与视频流对应的位图相关信息,或者从位图相关信息得到的。由处理器244进行的注释使得能够进行对所存储的视频节目实例的正常回放以及其他回放模式。常称为“技巧模式”的其他回放模式可包括倒退或反向回放,快进回放,或暂停或静止。回放模式可包括除了正常回放速度之外的一种或多种回放速度。在一些实施例中,位图相关信息由处理器244提供给解压缩引擎222。在另一实施例中,在技巧模式的回放期间,由处理器244将存储在存储装置中的注释提供给解压缩引擎222。在又一实施例中,仅在技巧模式期间提供注释,其中处理器244编程了解压缩引擎222来执行技巧模式。
注释可以仅仅是位图相关信息。处理器244可以抽取来自顶层的图片和/或丢弃来自底层的图片,如下文进一步描述的。
分组化压缩流还可由信号处理系统214输出,并作为对解压缩引擎222的输入而提供,以用于音频和/或视频解压缩。信号处理系统214可以包括其他组件(未示出),包括存储器、解密器、采样器、数字化器(例如模数转换器),和复用器,等等。解复用系统215分析(例如读取并解释)传输分组,并将与对应于AVC流的一个或多个位图相对应的信息存放到DRAM 252中。
在实现对传输流的解复用和分析时,处理器244解释信号处理系统214所输出的数据,并根据与视频流相对应的位图相关信息,生成包括压缩视频流中某些图片的绝对开始位置的表或数据结构(索引表202)形式的辅助数据。处理器244还处理与位图相关信息相对应的信息,以做出用于PVR操作的注释。注释由处理器244存储在存储装置中。在一个实施例中,位图相关信息由注释构成,并且其存储在硬盘驱动器中。这种辅助数据被用来便利在未来的PVR操作期间对所需视频数据的检索。
解复用系统215可以分析接收到的传输流(或由压缩引擎217生成的流,该流在一些实施例中可以是节目流)而不干扰其视频流内容,并将经分析的传输流(或所生成的节目流)存放到DRAM 252中。即使视频节目是加密了的,处理器244也可生成注释,这是因为AVC流的位图相关信息是未加密地承载的。处理器244使得DRAM 252中的传输流被传递到存储装置273。可以存储另外的相关安全性、授权和/或加密信息。作为替代或补充,与AVC流相对应的位图相关信息可以具有包括图片之间互相关性的表或数据结构的形式,如下文进一步说明的。
注意,在一个实施例中,本文中对解码系统的提及包括解码功能和合作元件,例如在解压缩引擎222、处理器244、信号处理系统214和存储器的总的功能中找到的那些。在一些实施例中,解码系统可包括更少、更多或不同的元件。而且,某些系统和方法实施例包括来自头端的组件(例如编码器111等)和/或来自DHCT 200的组件,但在一些实施例中可找到更少或更多的组件。
AVC流或其他压缩视频流包括可根据图片互相关性层次结构或图片相关性层来编码的图片。图片基于图片互相关性而与层的层次结构相关联。每个压缩图片属于至多一层。层是从作为顶层的层编号1开始,从上到下顺序编号的。底层具有最高编号。一层中的图片不依赖于任何更高编号层上的图片。从而,将向位图相关信息提供一致的标识,以使得与一层相对应的任何所标识的图片不依赖于属于任何更高编号层的图片。层的层次结构的另一方面在于,对一些图片的解码依赖于特定的其他图片。因此,如果一个图片用作其他图片的参考图片,则它可被认为是比其他图片更重要。事实上,特定的一组图片可基于图片互相关性而在重要性的层次结构中观看。
流生成器的一个实施例选择I和IDR图片以将其包括在顶层中。另一实施例还包括在顶层中的前向预测图片。
锚图片可以是I图片、IDR图片、或仅依赖于过去的参考图片的FPP(前向预测图片)。在一些实施例中,如果FPP仅依赖于最近解码的锚图片,则FPP是锚图片。
图片可被分类为术语特定的图片互相关性层或“级”,并且流生成器的某些实施例可包括用于层次结构的某一层以上的层(例如顶部两层)的位图相关信息。在另一实施例中,位图相关信息可以仅针对层次结构的特定层以下的层(例如底部两层)而提供。在又一实施例中,位图相关信息可以仅针对层次结构的特定层以下的层、针对层次结构的某一层以上的层,或针对顶部层和底部层的组合而提供。位图相关信息将始终从顶层开始,和/或从底层(最高编号)开始。图片的对应层可以理解为对其在解码其他图片时的重要性的量度——一些参考图片比其他参考图片更重要,因为它们的解码后和重建后的信息传播通过多级的参考。
本领域普通技术人员还应认识到,虽然在本公开中使用了AVC图片类型,但本文中所公开的系统和方法可应用于任何参考一个或多个图片来压缩另一图片的数字视频流。
图3是示出在包含诸如AVC流之类的视频流的传输流部分和对应的位图相关信息的生成中选择的组件的框图。在一些实施例中,传输流的生成可以发生在头端110处,或头端110的上游(或下游)。在一些实施例中,用于视频流的位图相关信息可以在DHCT 200处生成,两者都在传输流中提供。在一个替代实施例中,两者都在节目流中提供。在另外一些实施例中,可以在头端110和DHCT 200处生成传输流。压缩引擎310(其在一些实施例中可以指图1的编码器111,或在一些实施例中可以指图2的压缩引擎217,等等)接收作为输入的视频信号300,例如数字化未压缩视频信号或解压缩的视频信号。压缩引擎310输出诸如AVC视频流之类的压缩视频流312和/或其他数据(例如位图相关信息),其中这种压缩图片是按发送顺序设在视频流中的。分组化器314将AVC视频流312分组化以输出分组流。
遍及本说明书,用AVC流作为例子。但是,特定实施例也可应用于根据视频压缩规范压缩的任何压缩视频流,所述视频压缩规范考虑到了:(1)任何要通过参考多个其他图片而压缩的图片,和/或(2)任何未确定性地从视频流中其对应的图片类型信息传达或暗示其实际图片互相关性特性的压缩图片。这里,提及了与AVC压缩图片相对应的“图片类型”,作为由AVC流中一个或可能多个各自的字段利用传达“图片类型”或“片段”(slice)的类型的语义传达的信息。即,根据AVC标准,图片类型可以通过不同的方法在AVC流中传达。例如,图片类型可以由“访问单元定界符”(access unit delimiter)中的“primary_pic_type”字段来表达。或者,图片类型可以由分别与AVC压缩图片的一个或多个各自的片段中的每一个片段相对应的一个或多个“slice_type”字段共同表达。AVC压缩图片的每个片段的“slice_header”包括其“slice_type”字段。AVC压缩图片可以仅具有一个片段。虽然将图片类型信息描述为在标准格式的具体字段或部分中传递,但其他用于传达这种信息的布置或方法也是可能的。位图相关信息可以包括在网络适配层中(如AVC规范中所描述的)或其他任何层、结构、流、单元、位置或地点中。
AVC中有两种主要的压缩图片的方法:帧内(Intra)和帧间(Inter)(或非帧内(Non-Intra))压缩。帧内压缩是不参考其他图片而完成的,但通常表现出比帧间压缩更低的压缩效率。帧间压缩通过参考一个或多个其他图片而利用了时间上的冗余和不相关性。至少一个其他图片依赖于参考图片来进行其压缩。在由压缩引擎进行的AVC压缩期间使用参考图片的解压缩版本,来预测依赖于该参考图片的图片的至少一部分。在由诸如DHCT 200中的解压缩引擎222之类的解压缩引擎进行的AVC流解压缩期间,也依赖于参考图片来解压缩并重建至少一个其他图片的至少一部分。不是参考图片的图片(例如不被至少一个其他图片依赖的图片)是非参考图片。
应当理解,遍及本说明书,在参考图片上下文中的术语“依赖”或“相关性”指“直接”相关性。这些术语不指间接相关性,例如通过参考第一图片,第一图片又参考第二图片,从而造成的第二图片的数据的传播。
图片的输出时间,或图片输出时间指其显示时间,该显示时间处于该图片被完全解压缩并重建的时间,或在该图片被完全解压缩并重建之后。例如,图片的输出时间对应于DHCT 200中的输出系统248将AVC图片的解压缩版本提供到显示装置140的时间。输出图片通常指其希望的解压缩版本的输出。注意,在其所依赖的参考图片全部解压缩之前就被解压缩并输出的图片很可能导致不完整的视觉信息,从而这种输出图片不代表希望的解压缩版本。根据修改后的MPEG-2系统标准中用于传输AVC流的规范,解码时间戳(DTS)和呈现时间戳(PTS)通常与AVC流中的图片相关联。图片的PTS,不管是设在传输流中还是由DHCT 200中的解压缩引擎222得到的,都对应于其在AVC流正常回放模式的实行期间的假定输出时间。图片的DTS对应于其解压缩时间,并且也可设在传输流中或由DHCT 200中的解压缩引擎222得到。AVC流中的相继压缩图片由DHCT200中的解压缩引擎222按其发送顺序(即,也是接收顺序)解压缩,因而具有相继的解压缩时间。虽然本文中提供的公开的某些实施例主要考虑和实现了根据位图相关信息来解码所抽取的图片和/或处理所丢弃的图片方面的优势,但实施例也可关注呈现顺序的分析和优化。一般而言,位图相关信息可由任何软件进程、硬件装置(或其组合)在任何时间用在创建、编码、分发、处理/解码和显示链中以实现好处。
图片的发送顺序是根据各自具有相应优先级的若干排序规则确立的。最高优先级的排序规则要求每个参考图片在AVC流中在所有参考它的图片之前发送。具有高优先级的第二排序规则要求在其他情况下将会具有相同排序优先级的图片按其各自的输出时间从早到晚发送。
视频编码标准通常假设一假定瞬时解码器,这意味着压缩图片可以在其DTS处被瞬时解码。图片的PTS可以等于其DTS,从而假定瞬时解码器在这种情况下假设该图片被瞬时解码并输出。
根据AVC流的图片速率或帧速率定义了图片输出间隔。例如,如果AVC流对应于一60图片每秒的视频信号,则图片输出间隔约等于16.66毫秒。每个接连的图片输出间隔开始于图片输出时间,并且图片的输出遍及图片输出间隔。在一个实施例中,解压缩引擎222所输出的每个图片的实际输出时间被从其假定输出时间或PTS延迟了一个图片输出间隔。即,每个图片的实际输出时间等于该图片的PTS加上一个图片输出间隔。过去参考图片是一先前解压缩的参考图片,它所具有的输出时间在参考它的图片之前。同样,未来参考图片是一先前解压缩的参考图片,它所具有的输出时间在参考它的图片之后。
AVC帧内图片或I图片不参考其他图片,但通常被其他图片所参考。与MPEG-2视频不同,AVC中的帧内压缩使得可将被压缩的图片的区域从同一图片的其他部分的解压缩版本预测出来。AVC“瞬时解码刷新”图片或IDR图片是如下的图片,其使得正被用作参考图片的所有先前解压缩的图片在该IDR图片的解压缩之后不再被用作参考图片。AVC中的P图片和B图片被允许包含帧内压缩部分。与在MPEG-2视频中一样,AVC中的P图片和B图片使得可将图片的任何部分或可能所有部分从“先前解压缩的”参考图片帧间预测出来。还与MPEG-2视频类似的是,AVC中P图片任何部分的帧间预测限于每次最多使用一个参考图片。然而,与MPEG-2不同的是,AVC P图片的每个不同的帧间预测部分可从若干不同参考图片中的任何一个预测出来。与MPEG-2视频类似的是,AVC中B图片任何部分的帧间预测限于最多使用两个参考图片。但尽管MPEG-2视频对于B图片的所有部分最多使用两个参考图片,但允许对AVC B图片的每个不同的帧间预测部分使用若干不同参考图片中的任何参考图片。
不同AVC P图片所依赖于的参考图片的总数可能各自不同。类似地,不同AVC B图片所依赖于的参考图片的总数可能各自不同。根据AVC标准,AVC流中所允许的参考图片的“最大数量”根据针对AVC流规定的“级别”(Level)和该AVC流中压缩图片的空间分辨率而不同。此外,AVC参考图片不具有相对于以它们为参考的图片的预定位置。AVC标准中的这些灵活性导致了更好的压缩效率。然而,它们妨碍了视频处理装置的流操纵能力,这是因为关于AVC流中所具有的图片类型为P图片或B图片的压缩图片的图片互相关特性,没有暗示任何推断。
因此,AVC标准通过使得图片的每个不同的帧间预测部分可从多个不同参考图片(例如16个参考图片)中任何图片的“至多一个”预测出来而规定了P图片。与将帧间预测进一步限制为参考一个“预定的”过去参考图片的MPEG-2视频标准或其他视频压缩规范不同的是,在AVC中没有这种限制。例如,AVC P图片的第一部分可以依赖于一个参考图片,另一部分可依赖于不同的参考图片。事实上,AVC P图片的第一部分所参考的图片可以是一过去参考图片,第二部分可依赖于一未来参考图片。作为AVC中所允许的精细且复杂的图片互相关性的另一示例,第一AVC P图片可依赖于四个未来参考图片,第二AVC P图片可依赖于三个过去参考图片,第三AVC P图片可既依赖于多个过去参考图片又依赖于多个未来参考图片。
AVC标准对B图片的规定也不同于MPEG-2视频标准。MPEG-2视频将B图片规定为双向图片,使得图片的任何部分可利用不多于两个参考图片——一个是“预定的”未来参考图片,另一个是“预定的”过去参考图片——的相关性被压缩。相同的两个参考图片或它们中任意一个必须被用作用来预测该B图片的任何部分的参考图片。另一方面,AVC B图片可依赖于多个参考图片,例如多达16个参考图片,只要该B图片的任何部分通过该多个参考图片的至多两个区域来预测即可。当通过两个区域来预测B图片的区域时,将其称为被双预测,而非双向预测。还与MPEG-2视频不同的是,AVC B图片可以被用作其他P图片或B图片的参考图片。
作为AVC B图片中所允许的精细且复杂的图片互相关性的另一示例,AVC B图片的第一区域可以从两个过去参考图片双预测出来,第二区域可以从两个未来参考图片双预测出来,第三区域可以从过去参考图片和未来参考图片双预测出来,并且这三个区域依赖于六个不同的参考图片。AVC流中第一B图片所使用的这组参考图片可以不同于第二B图片所使用的这组参考图片,即使这两个B图片都处于连续的发送顺序或具有连续的输出时间也是如此。如前所述,AVC参考图片相对于以它们为参考的图片没有预定位置。应当很清楚的是,图片(或图片部分)相关性的许多类型和组合是可能的,并且可以创建不同类型的辅助信息来描述图片之间的互相关性或关系,其向以后对图片信息的处理提供了好处。
增加的复杂性包括如下的事实:不作为参考图片的I图片是非参考图片。此外,一些I图片可能比其他I图片更重要,这依赖于AVC流中I图片的相对位置和/或依赖于多少其他AVC压缩图片参考该I图片。
应当意识到,尽管一些视频压缩规范具有各自暗示具体图片互相关性特性的图片类型,但AVC流中压缩图片的图片类型不能赖以暗示表现出某种特性的AVC压缩图片。此外,即使图片类型能传达有用的信息,也存在其他方面使得难以容易地窥视和识别AVC流中具有某一特性(包括互相关性在内的特性)的图片,例如当承载AVC流的传输分组的有效载荷被加密或加扰的时候。在传输分组的有效载荷中找到slice_type(片段类型)和其他所需数据字段以验证图片的某一特性可能是困难的且需要进入AVC流的大量遍历,尤其是在所需数据字段相对于传输分组的有效载荷的起始或相对于其他某个可识别的定界符的对准不同的情况下。
遍及本说明书,AVC流中连续图片的序列或AVC流中的连续图片指按其发送顺序的连续压缩图片,或等同地指AVC流中具有相继解码时间戳的压缩图片的序列。
可丢弃图片是非参考图片。具有延迟了的输出时间的可丢弃图片是所具有的PTS晚于其DTS的可丢弃图片。即,它是并非在其被压缩之后立即被输出的可丢弃图片,并且虽然它未被其他任何图片所参考,但它进入了AVC标准中规定的“解码图片缓冲器”(DPB)达至少一个图片输出间隔。DPB驻留在DHCT 200的解压缩存储器299中,虽然不限于驻留在该特定位置。
现在将注意力转向图4A和图4B,它们是示出了传输流生成器所提供的示例压缩图片序列中图片互相关性的框图。图4A的第一行402包括示例性GOP的输出顺序,例如在解压缩引擎222处按解码顺序404(即,发送顺序)接收和解码。GOP包括压缩图片(由图片类型指定,例如I、P或B)的序列。图片互相关性部分地由每个图片(在各个图片顶部编号为1-25的图片)上方和下方的箭头示出。在一图片处示出的箭头尾部描绘出该图片作为对示出了相应箭头头部的另一图片的参考图片。即,箭头传达了该另一图片是从该参考图片预测出来的。例如,在图4A中,图3是从图片1和图片5预测出来的(因而依赖于图片1和图片5)。虽然所示出和描述的具有边界之间(例如,图片1和9之间,以及图片9和17之间)类似的相关性模式,但本领域普通技术人员应意识到,不同界定群组之间可以找到不同的模式和/或相关性,如图4B所示(例如,参见图片1和9所界定的模式内图片1和4以及图片5和2之间所揭示的图片互相关性,以及它们的互相关性如何与图片9和17所界定的模式中所示的图片互相关性不同)。
图4A的下面一行402是解码顺序404,其与解压缩引擎222处对图片进行解码以用于重建的顺序相对应。由于需要在对图片进行解码之间先具有参考图片,图片的发送顺序与输出或显示顺序不同。注意,P图片可以被前向预测或后向预测,并且通常,该事实直到图片被解码才变得明显。例如,图片类型的知识(例如由头部所确定的)不一定传达了如何采用的预测或图片互相关性。
在MPEG-2中,可丢弃图片可以立即输出(不需要保留),虽然通常,出于实现的原因,这种图片被临时存储达至少一图片周期或间隔。在AVC流中,即使对于可丢弃图片,也存在将可丢弃的解码图片延迟并因而保留在解码图片缓冲器(DPB)中的情况。在一个实施例中,如果一图片还未被输出或如果需要该图片作为还未被解压缩的另一图片的参考,则将该图片保留在DPB中。
现在将注意力转向图5和图6中示出的层的说明。图5示出了图片互相关性层的层次结构的示例。图片互相关性层的层次结构具有“T”个层,T是底层。视频流中的图片仅可属于T个层中的一个。然而,流生成器可以选择不在其所提供的位图相关信息中标识属于一些中间层的图片。顶层或层1 502包括视频流中可独立于层2到T中的图片而被解码的图片。顶层是图片抽取的第一级。每个相继的层可独立于视频流中属于更高编号层的图片而被解码。例如,从层次结构顶部开始的第二层,层2 504可独立于属于层3到T的图片而被解码。顶层或层1 502标识图片可抽取性的第一级。图片可抽取性,即可从视频流中抽取的图片的数量,是从顶部到底部增加的,而图片可丢弃性,即可从视频流丢弃的图片的数量,是从底部到顶部增加的。相反,图片可丢弃性从顶部到底部减少,且图片可抽取性从底部到顶部减少。层1 502包括图片可抽取性的第一级,和图片可丢弃性的最后一级。第T层508(底层)包括图片可丢弃性的第一级,和图片可抽取性的最后一级。第(T-1)层506包括图片可丢弃性的第二级和图片可抽取性的倒数第二级,等等。
总之,层1 502图片包括独立于层2 504到层T 508而可解码的图片。层2 504图片是独立于层3到层T 508中的图片而可解码的图片,依此类推。
底层,层T 508中的图片可被丢弃而不影响与较低编号层相对应的视频流中其余图片的可解码性。层T 508图片是可丢弃而不影响层1 502到层(T-1)506中的图片的可解码性的图片。层(T-1)图片是可丢弃而不影响层1 502到层(T-2)(未示出)中的图片的可解码性的图片。
第一层或层1 502包括视频流中如下的编码图片(即压缩图片),所述编码图片当从视频流中诸如随机访问点之类的起始点开始逐个地(progressively)被抽取时,可独立于视频流中的其他编码图片而被解码并输出。第二层或层2 504包括视频流中如下的编码图片,所述编码图片当从视频流中相同的起始点开始逐个地被抽取时,与利用属于层1 502的图片的逐个抽取相合作,增加了另一级的图片抽取。从而,层1 502和层2504可独立于视频流中“被确定为不属于”或“未被识别为”层1 502或层2 504编码图片的其他编码图片而被解码和输出。更一般而言,对于从1到T的任意值K,被识别为或确定为属于从层1到层K的层的编码图片可以通过从一起始点开始逐个地抽取视频流中的所有编码图片而被独立地解码和输出,如果它们被分类为或确定为属于层1到层K当中的一层的话。在DHCT 200处,从所接收或所提供的位图相关信息,将属于层1到层K的图片识别为或确定为属于层1到层K。从而,如果以逐个的方式,属于层1到层K的“所有”图片都:(1)从一起始点开始从视频流中被抽取,并且(2)被解码,则视频流中被分类为或属于层1到层K中一层的下一图片可被抽取和解码,这是因为该下一图片针对时间预测和/或针对运动补偿而依赖于的所有图片或该下一图片作为参考图片而参考的所有图片都将会已经:(1)被从视频流中抽取,(2)被解码和(3)可用于参考。
注意,遍及本说明书,对属于一层的图片或一层中的图片的提及应被理解为与一层相关联的图片或与一层相对应的图片。一个图片最多与一个层相关联或对应。位图相关信息标识出视频流中一个或多个分别的图片所关联或对应的单个层。位图相关信息可不标识流中一个或多个图片所关联或对应的层。
视频流中一第K层编码图片可被抽取并保证解码成其希望的完整的全部重建,条件是在该特定的层K编码图片的抽取之前,对所有紧接在前的层K编码图片的抽取和解码已被逐个地执行达一有限时间量。这是因为视频编码可以执行跨GOP边界的时间参考。在一个实施例中,视频流中一第K层编码图片可被抽取并解码成其希望的完整的全部重建,条件是自从或针对视频流中紧接在该特定的层K编码图片之前的最后“n”个随机访问点(RAP),所有属于层1到层K的编码图片都已被逐个地抽取和解码。例如,如果诸如快进之类的回放模式或技巧模式要从视频流的一特定或希望位置开始,则可能必须在视频流的该特定位置之前的第二RAP(即n=2)处开始解码。RAP可利用MPEG-2传输层级或层的头部和/或适配字段头部中的一个或多个具体标志来通知和标识。例如,诸如MPEG-2系统(MPEG-2Systems)之类的规范提供了用于通知RAP的传输流中的指示符,例如随机访问点指示符和/或基本流优先级指示符。在一个实施例中,RAP指AVC比特流中的一个访问单元(或图片),在该访问单元(或图片)处接收机可开始对视频流的解码。访问单元还包括用于将相关联图片解码的序列参数集(SPS)和图片参数集(PPS),以及将视频流的图片解码和输出所需的其他任何必需的参数或参数集。随机访问点可承载I图片或IDR图片。在一个实施例中,GOP(其通常是一MPEG-2术语)等同于在两个或更多个RAP之间找到的图片序列和图片互相关性。
在替代实施例中,一第K层编码图片可被抽取并解码成其希望的完整的全部重建,条件是自从或针对视频流中紧接在该特定的层K编码图片之前的最后“n”个图片群组(GOP)的开始,所有属于层1到层K的编码图片都已被逐个地抽取和解码。
在又一实施例中,一第K层编码图片可被抽取并解码成其希望的完整的全部重建,条件是至少在视频流中该特定的层K编码图片的位置之前该视频流中最后“n”个I图片或IDR图片的解码之后,所有属于层1到层K的编码图片都已被逐个地抽取和解码。在一个实施例中,“n”可对于连续的I图片具有第一值,并对连续的IDR图片具有第二值。
在又一实施例中,一第K层编码图片可被抽取并解码成其希望的完整的全部重建,条件是在该视频流中该特定的层K编码图片的位置之前属于层1到层K当中的层的至少G个连续的编码图片都已被逐个地抽取和解码。
将层应用于一MPEG-2视频流中诸如PVR之类的一示例实现方式,该视频流编码了一普通GOP,其中按输出顺序的图片如下:I B B P B B PB B P B B P依此类推,顶层,层1 502可以是足够的。例如,可在快进或倒带操作中排他地利用I图片。但是假设针对技巧模式需要更精细的粒度级别,或者为了提高技巧模式操作中图片的放置或移除的精度。可以增加第二和/或第三层以在应对AVC的复杂性的同时允许该提高的功能。注意,根据所需的技巧模式功能(例如速度、方向等),一个实施例可以将顶层中的图片解码(例如15x技巧模式)。在一些实施例中,可以利用来自顶部两层的图片实现解码。
位图相关信息和/或层的识别可以根据多种方式实现,如图6所示。在一些实施例中,可以实现自底向上方式602(例如经由解压缩引擎),其中从最高编号层(即,第一可丢弃性级图片)开始识别图片,然后进行到层的层次结构中相继降序编号层中一个或多个层的图片。在一些实施例中,可以实现自顶向下方式604,其中从第一可抽取性级开始识别图片,然后进行到层的层次结构中相继升序编号层中的图片。在一些实施例中,可基于自底向上方式602和自顶向下方式604的组合,实现混合方式606。
提供了关于层次结构层的背景和属于各层的图片的属性,现在将注意力转向通过提供位图相关信息显式地标识给定层中图片的系统和方法,所述位图相关信息可包括一个或多个位图。位图被断言(assert)且被断言的位图被提供,其中每个位图的比特(或字段)被相继排序以对应于视频流的发送顺序的相继图片的顺序。可以从诸如上述的随机访问点之类的给定起始点开始对可抽取的或所抽取的图片进行解码。位图相关信息的其他目的包括使能图片的放弃(dropping)(例如,网络流管理等),可缩放性,等等。位图不是在每个图片处提供的,但在一个实施例中,在每个随机访问点(RAP)处提供,有时在视频流的其他位置提供,这将在下文中进一步说明。如果针对属于顶层的图片提供了位图,并且该位图的比特被排序以对应于发送顺序的图片,则可以顺序地从RAP开始抽取图片并将其解码,其中可保证所有图片能被解码并重建到其各自的希望的解压缩版本。
在一个实施例中,在传输流中通知与层和位图有关的位图相关信息的存在,并且提供了包含标志的数据字段以指示或断言分别与一个或多个层相对应的一个或多个位图的存在。对位图的处理可以使用“自顶向下”方式实现,从“顶层”(例如层1,图5)开始抽取图片,或“自底向上”方式或“底层”图片(例如层T,图5)被丢弃。例如,数据字段或标志可指示或断言与一个或多个层相对应的各位图的存在。各个位图标识属于相应层的图片。图片可从与顶层或相继的顶部层相对应的位图识别出来,被抽取和解码。或者,图片可从与底层或相继的底部层相对应的位图识别出来,被丢弃,并且视频流中其余的图片被解码。位图的经排序的比特中单个比特的第一值(例如“1”)将单个图片断言为属于与该位图相对应的层。断言标志字段中标志的第一标志值断言相应位图的存在。例如,可针对与底层相对应的断言标志字段的标志或子字段设置第一标志值,以断言与该底层相对应的单个位图的存在。关于底层的图片是可丢弃的,并且当被丢弃时,导致视频流中完全可重建到其希望的解压缩版本而不依靠所丢弃图片的可解码图片。在一个实施例中,位图相关信息、断言标志字段和被相应的断言标志断言为存在的位图被设置在传输流中与RAP和跟该RAP相关联的图片相对应的位置。注意,不是对每个图片提供位图相关信息的,但至少在每个RAP(例如,用于容许频道改变)和/或在视频流中如本文中所描述的可允许的其他位置设置之。
在一个实施例中,还在视频流中预先规定的图片增量处设置位图相关信息,例如每16个图片,每32个图片等。
断言标志字段和/或位图的存在(即,位图相关信息)是在传输流中通知的。换言之,一具体消息承载位图相关信息。也可以设置“通告”来警告在传输流中存在承载位图相关信息的具体消息。例如,可以通过PMT的ES信息循环,利用相应的具体通告来通告承载位图相关信息的具体消息。这种通告用于仅标识出该传输流包含承载位图相关信息的具体消息。在一个实施例中,该具体消息的格式可以经由被指派的消息标识(例如描述符标签)和相应的消息长度(例如标签长度)。例如,一描述符标签可向解码器传达:特定类型(例如对应于多个标签值之一)的信息存在于传输流中。在一个示例中,假设了用于标志断言的一个字节,并且在消息中存在三个被断言存在的层,所断言的层分别对应于三个各16比特(2字节)的位图。因而,对应于位图的6个字节(3个位图×各2字节)加上对应于断言标志的一个字节构成了总共7个字节,作为所指示的消息有效载荷的长度。消息的有效载荷跟在用于描述符标签的第一字段和用于长度的第二字段之后。
图7示出了断言标志字段的示例,作为包含多个标志或子字段的数据结构700,揭示了五个断言标志(例如各1比特),其分别对应于五个层(从顶层T1到底层TT或T5)。数据结构可以是另一包含完整字节的字段的一子字段。应当理解在一些实现方式中可利用更少或更多层,而且层优先级命名规则可以相反(例如T1可以是底层,T5是顶层)。如上所述,对图片的标识可以是根据一种或多种方式的,包括自顶向下、自底向上,或混合方式。在此示例中,顶层断言标志702和底层断言标志704各自被设置,因而当数据结构的相应断言比特中存在第一标志值时,提供了相应的位图706和708。
在一个实施例中,位图706和708的长度是固定的(例如以字节或比特为单位,例如16比特,或8的倍数,仅作为一个示例),并且每个位图与视频流中发送顺序的紧接在前的图片相关,包括位于视频流中提供了位图相关信息的位置或与这样的位置相关联的图片。在一些实施例中,位图对应于视频流的发送顺序的紧接在后的图片,包括位于视频流中提供了位图相关信息的位置或与这样的位置相关联的图片。在一个实施例中,位图的长度可以是预定的,例如每16个图片或其他所定义的周期。即,不需要给出长度字段,这是因为位图长度是预定的(并且各自具有相同的预定长度)。例如,如果针对一给定层断言了一比特,则相应位图的长度是预定长度。虽然上面描述了每16个图片的预定长度,但可使用其他预定长度,例如每8个,24个,32个,以及其他数量的图片。在一些实施例中,可经由长度字段(例如跟在数据结构700之后)显式提供位图的长度,或者作为数据700的用于位图长度的指定子字段,并且在一个实施例中作为固定值提供,或者在其他实施例中长度可以变化。例如,所提供的长度可应用于与所断言的标志相对应的每一个位图。传达长度的单个值可应用于每个位图。在一些实施例中,可传达每个标志每个位图长度,作为数据结构700的一部分。在一些实施例中,可利用一个或多个另外的数据结构,传达针对各位图的多个长度。例如,如果可断言总共8个标志,并且这些标志中的三个被断言了,则在关于这三个位图的断言标志字段之后提供三个长度。在一些实施例中,在断言标志字段之后提供长度。
位图的长度(例如关于与所设置或断言的标志相对应的位图的长度)影响编码器和解码器的性能。例如,如果针对可丢弃图片设置了位图,则要解决的一个问题是该位图是否对应于流中先前的图片(例如最近32个图片)。如果编码器提供了针对先前32个图片的位图,则编码器不需要造成延迟(虽然解码器需要,但解码器可以知道或被告知,针对这些图片的位图相关信息被提供在该流中将会跟随所接收图片之后很快到达的消息上),这是因为当图片被从编码器输出时,图片的类型被提示,并且可以在与从编码器输出32个图片的结尾相对应的时间提供位图(例如四(4)字节位图)。另一方面,如果由编码器针对接下来的32个图片提供位图,则位图将与第一图片的输出一起提供(或在与第一图片的输出相对应的时间提供),因而在编码器处造成了延迟(但是在解码器处没有或很少有延迟)以处理32个图片来使能位图的提供。另外,给定MPEG-2传输分组中188个字节的约束,适配字段表示非有效载荷数据,导致随着位图长度增加而增加的开销。因而,由于位图长度是在编码器处造成的延迟与在解码器处造成的延迟之间的折中,并且给定固定大小传输分组的约束,因此确定位图大小的方式是不在任一装置处施加不必要的延迟或消费不必要的分组长度。
一种示例性的数据结构可包括针对与层数(例如用作标志的比特数,例如作为多个示例中的一个示例,8的倍数)相对应的字节的无符号“char”的格式。在一些实施例中,省略了层数,而代之以包含断言标志的一个或多个字节或数据字段。一旦设置了断言标志,在一个实施例中就存在用于在承载位图相关信息的具体消息中提供相应位图的预定顺序。例如,位图可在断言标志字段之后按从顶到底的层顺序排序。在一些实施例中,它们可从底层到顶层排序。
在自顶向下方式中,例如由DHCT 200来抽取顶层图片以实现所抽取图片的视频回放模式,解码和输出。在拥塞网络中也可从视频流抽取图片,例如在路由器或交换机处或由其他网络处理元件来进行,从而以较低比特率提供视频流的字序列。
作为另一示例,参照图8,示出了数据结构800,其具有多个标志字段,其中设置了(例如设为“1”或“开”)对应于顶层标志802、第二层标志804和最后层标志806的比特。因此,提供三个位图(在此示例中,长度各为16比特,总共48比特),即,对应于顶层标志802的顶层位图808、对应于第二层标志804的第二层位图810,以及对应于底层标志806的底层位图812。在一个实施例中,所建立的顺序是从最重要(顶层)到最不重要的图片(底层)。从而,首先处理顶层位图808,然后是第二层位图810,然后是最后层位图812。中间标志表示不关心状况(例如设为0),虽然在一些实施例中可被设置或断言。
如图8所示,对于先前16个图片(或在一些实施例中对于后续16个图片)存在三个位图(808、810和812)。如上所述,位图是与单个图片相关联地提供的(而非针对传输流中每个图片提供)。然而,出现了一个恢复(resumption)的问题,例如对于接下来的16个图片要做什么,这将在下文进一步描述。还要解决一个关联方面的问题——如何将接下来的16个图片与位图相关联。如果用于接下来16个图片的位图在下一适配字段中提供,则延迟可能是不可接受的,并且所提供的信息可能不对应于与用于先前16个图片相同的标签。此外,编码器由于存在场景改变而改变了I图片的位置(例如MPEG-2中的GOP改变了),并且存在从第一视频流到第二流的接合(splice)操作,正如当从视频节目进入广告时一样。另外,适配字段是可选的,提供得太频繁可能导致低效的压缩。此外,如果在适配字段中放置了用于太多图片的信息(以覆盖先前的16个图片及未来的图片或用于太多的图片)则延迟太长了。
与解码器需要找到位图相关信息的能力的概念类似,解码器需要有能力识别或关联与位图相关信息相对应的图片。在一个实施例中,该关联是以预定方式(例如使用现有的传输流机制)完成的。在一个实施例中,可使用起始码来标识图片开始的地方。例如,PES分组中图片的开始可与传输分组有效载荷的开始对准。因而,可标识图片的开始以使能图片的抽取(以用于解码或丢弃)。在一些实施例中,在传输级可获得的信息使得能够标识图片的开始。例如,对于承载视频流的MPEG-2传输流分组,有效载荷单元起始指示符可利用MPEG-2PES分组的首个字节来标识传输流分组有效载荷何时开始。一旦在RAP处识别了首个图片的位置,则处理按发送顺序依次基于位图而继续(例如位图列表比特位置按发送顺序对应于图片)。
参照图8,位图808对应于顶层图片,并且在此示例中具有16比特的长度。位图810对应于层T2(从顶部数的第二层),并且也具有16比特的长度。位图812对应于底层(可丢弃)图片,并且具有16比特的长度。各个位图808、810和812的16比特对应于给定图片实例的16个图片。注意,在位图808中示出了16个块以表示16个图片,其中虚线代替了位图810和812中这些块当中的许多块以表示同样数量的块或图片。而且,注意仅几个块被表示为设置了比特,理解为其他块将会要么被设置(例如1)或未设置(例如0)。此外,注意如果在给定层中的比特被设置,则该比特将会对于相应位置在其他所有位图中为零。换言之,在位图当中一个图片仅能让一个比特开启最多一次,这是因为一个图片仅能对应于单个层。例如,位图808的比特位置814(对应于第一图片)被设置,而位图810和812的比特位置814是零。由于位图808对应于顶层图片(例如I、IDR、前向预测图片),因此针对图片之一(例如比特位置814所标识的第一图片)设置的比特反映了如下事实:在其他层中未找到顶层图片。类似地,与序列中第二图片相对应的比特位置816针对位图810被设置,但对于位图808和812中的相同位置是零。同样,比特位置818针对位图818被设置,并且对于位图808和810是零。
图8还示出了在一些实施例中可以通过逻辑运算来完成对层图片的抽取。例如,采用自顶向下方式,顶部两层808和810的比特位置可以经历逻辑或运算,所产生的所抽取的图片具有如下的特性:它们是可自解码的(例如,满足用于参考的所有图片互相关性)。
另外,如果采用自底向上方式,则也可以确定哪些图片是可自解码的,即使提供了单个位图(例如位图812)。例如,如果对底层位图812的比特位置执行逻辑非,则结果是可解码的图片(这是因为由底层位图812的比特位置标识的图片对应于可丢弃图片)。
此外,如果断言了对应于层次结构的倒数第二层的位图,则可对底层和倒数第二层执行逻辑或运算,并且可对逻辑或运算的结果执行逻辑非运算以揭示可自解码图片。
图9A-9D是示出基于图4A中的压缩图片的序列的示例位图构造的框图。在图9A中,顶层(T1,使用图5所示的惯例)位图902被示为在与顶层图片P9、P17和I25相对应的位置设置了比特(例如“1”)。注意,比特设定对应于图片的发送顺序。在一个实施例中,编码器(例如编码器111)可排他地提供层1图片。
图9B是示出提供了与第二层(T2)图片B5、B13和B21并设置了相应比特的另一位图904的框图。注意,如上所述,在图片排他地与一个给定层相关联的情况下,比特不在不同位图当中针对相同的图片被设置。
图9C增加了与第三层(T3)相对应的另一位图906,在此示例中该T3也对应于倒数第二重要的层(例如层(T-1))。如图所示,设置了对应于T3图片B3、B7、B11、B15、B19和B23的比特。
图9D增加了另一位图908,其中针对对应的可丢弃(层T)图片b2、b4、b6、b8、b10、b12、b14、b16、b18、b20和b22设置了比特。如上所述,图片都没有在多个位图当中设置多于一个的比特。
图9E示出了一个实施例,其中位图908是唯一所提供的位图,辅助了对图片的丢弃(或如上所述,使用逻辑非运算辅助了对可解码图片的抽取)。
注意,虽然在AVC环境的上下文中说明了以上位图,但想到了MPEG-2视频,具体而言是MPEG-2视频GOP处于本文中所公开的实施例的范围之内。例如,与图8和图9中示出的标志字段相似的标志字段可以断言(设置)与顶层位图和底层位图相对应的比特。顶层位图可以针对I图片和P图片(按发送顺序)设置比特位置,而底层位图(可丢弃的B图片)具有相反的比特设定(例如顶位图的异或)。
注意在一个实施例中,可以设置与顶层图片的位图相对应的一另外字段,该字段表示在何点处(或在何点之后)图片完全达到其希望的解压缩版本。例如,如上所述,可在适配字段中使用一字节来传达层数(数据结构或标志字段,例如图8中的800),并且可以使用另一字节来传达图片中的何点处(例如,对应于一示例位图的16个图片)在解码后人们获得了完全重建。这种字段在如下情形中可能是有帮助的,例如在所述情形中,在达到完全重建之前需要访问第二RAP。
上述的一个问题是关于位图相关信息的恢复的。例如,由于位图相关信息不是对每个图片提供的,而是关于一个图片序列,因此出现了如下的问题:对于随后的图片如何传播位图处理。为了后续讨论的目的,作出如下的假设:位图是16比特长(因而对应于16个图片),但要理解可采用其他比特长度,固定或可变,预定或其他方式都可以。处理一般地开始于RAP,因而在一个实施例中,在每个RAP处提供位图。在一个实施例中,位图总是在RAP处提供。然而,这并不一定意味着SRAP将会每16个图片地出现(例如,RAPS可以相隔5秒或其他值)。在一些实施例中,每16个图片地提供位图(而不管第16个图片是不是RAP),例如假设了16比特的预定(或显式地提供的)位图长度对应于16个图片。在一些实施例中,位图相关信息可以在先前的位图相关信息仍活动时被提供,例如在预定图片长度期满之前(例如在第16个图片之前)设置了RAP的时候。在一些实施例中,在先前的位图相关信息仍活动时(即,在预定图片长度期满之前)对位图相关信息的提供导致“清账”(clean-slate)。换言之,假设新提供的位图相关信息在与提供了上次位图相关信息的视频流位置相关联的图片处生效。例如,如果位图相关信息在第12个图片处被提供,则与比特位置12-16(或在一些实施例中,13-16)相对应的位图的所有比特被忽略,并且对于接下来的16个图片(或在一些实施例中,对于其余图片),采用最近到达的位图相关信息。
在一些实施例中,可以施加如下的要求:期满前位图仅在与顶层图片相对应或关联的视频流位置中提供,其中这种顶层图片在活动位图相关信息中用如下方式标识出来:位图中与顶层相对应的比特具有指示出图片是顶层图片的第一值。在一个替代实施例中,位图相关信息只有在与当前位图相关信息中所标识的顶层图片相对应的视频流位置处才能取代活动或当前的位图相关信息。
在一个实施例中,对位图相关信息的恢复总是跟与顶层相对应的活动位图相关信息中最后标识的图片同时发生。此外,在此实施例中,在当前位图相关信息期满之后的图片处(在第16个图片之后),下一位图相关信息可以变为活动的。在一些实施例中,一标志可以利用第一和第二值来指示针对下一位图相关信息的两个激活点之一,要么是在与当前位图相关信息相对应的图片期满处,要么是在提供下一位图相关信息的图片(例如一顶层图片)处。
在一些实施例中,处理可以恢复,或者在一些实施例中,恢复可以发生在一不同的位置。在一些实施例中,可以在期满前引入(设置)一层。在这种情况下,一个实施例需要聚合(aggregation),而在一些实施例中,不采用聚合(例如,不随机地聚合层)。一个实施例可能需要有如下的要求:对所有图片的记账(accounting)保持一致。在一些实施例中,期满前RAP导致位图处理的期满(例如,对间隙(gap)的容许)。因此,对位图处理的恢复或继续可以根据这多种选项中的一种或多种而继续。
在一些实施例中,包含断言标志字段的数据结构还包含另外的比特或字段,用于传达重复先前的(例如,刚刚期满的)位图,从而无须重传位图。例如,在一个实施例中,对于层(例如5个层)使用了5个比特,并且使用了第六比特用来表明重复功能。在一个实施例中,采用了两个其他比特,以用于四个位图长度值(例如用于位图中的字节数),例如如下:
00:缺省值(例如,用于16比特,虽然不限于此)
01:8比特
02:24比特
03:32比特
因此,存在缺省值(上面用16比特来描述,但要理解在一些实施例中可使用其他值)和三个替代值,在一个实施例中它们各为8比特的倍数。
在一些实施例中,断言标志字段中N个连续比特被排序以表示针对可能的大于N的层数,从顶层到底层的对应关系。当提供位图相关信息时,任何一次最多断言N-1个层。这意味着N个比特中至少一个必须是不断言针对层的位图存在的第二值(例如等于“0”)。根据层的层次结构属性,具有第二值的比特的位置和针对位图存在的断言受限于以下条件:
1.顶层(即,其位图的存在)仅在所有更低编号层也都被断言的情况下才能被断言。因而,N比特当中对应于顶层的比特只有与所有更低编号层(如果有的话)相对应的比特也具有第一值(例如,等于“1”)才能具有第一值。
2.底层仅在所有更高编号层也都被断言的情况下才能被断言。因而,N比特当中对应于底层的比特只有与所有更高编号层(如果有的话)相对应的比特也具有第一值才能具有第一值。
3.由于层数大于N,因此必须总是有具有第二值的比特。如果断言了顶部层和底部层的任意组合,则在N比特值的N-2个中间(或中心)比特内必须有至少一个具有第二值的比特。
在一些实现方式中,将哪个比特的分配设为零依赖于用来提供位图相关信息的方式。例如,在自顶向下方式中,除了底层比特之外,所有比特都可设置为1。类似地,如果实现了自底向上方式,则除了顶层比特之外,所有比特都可设置为1。
在一些实施例中,用于通知重复在上一活动或所提供的位图相关信息期间使用的位图相关信息的一种机制是:使用未被允许的N比特的模式作为重复标志。例如,如果N=5比特,则N比特的中间或中心比特可被设为第一值。因此,在一些实施例中,重复功能可以通过非法模式来通知,该非法模式例如是关于最重要和最不重要比特的“边缘”比特是零的情况。
考虑如下的示例:其中每个位图长度是16比特,并且仅断言(8个可能的层当中的)5个层,其中N=5。可以通过非法模式(例如00100,假设自底向上或自顶向下方式)来通知重复功能。利用其他3比特,可以进行8种不同组合或排列。
在一些实施例中,位图的长度可以从在承载位图相关信息的具体消息中所传达的长度字段的值暗示或得到。例如,可以通过如下方式得到位图长度:从该消息的长度字段的值减去一字节以计入断言标志,对断言标志字段值的比特数(“B”)进行计数,然后除以B。
在一些实施例中,关于图片互相关性的信息在无位图的情况下提供。例如,所提供的信息仅仅是一层断言字段(或当使用了多个字节时的一层断言字段),其包括分别对应于M个层的M个比特,其中M小于等于8。M个比特被排序以分别表示从顶层到底层的M个层。M个比特中仅一个比特被允许具有第一值(等于“1”)以断言针对对应图片的层,该对应图片是视频流中与传输分组的断言标志字段的位置相关联的图片。例如,与上述类似,可在MPEG-2传输分组的适配字段中设置层断言字段,并且包含对应图片的PES分组的头部的开始可以位于同一传输分组的有效载荷的开始。从而,可以针对单个图片断言层,但并非视频流中的所有图片需要被断言。例如,断言属于中间层的图片可能是不希望或不必要的。在一些实施例中,与RAP相关联的图片不需要利用层断言字节被断言,这是因为它可被假设为属于顶层,层1。在一些实施例中,当不需要层断言字节来断言RAP图片的层时,层断言字节可表示与视频流中下一层1图片所位于的RAP图片相距的图片数。
在一些实施例中,指派层断言字节的一比特来传达顶层断言或底层断言。换言之,第一值(例如“1”)断言顶层断言,第二值断言底层断言。M个已排序比特当中的单个比特断言针对该图片的层。如果作出了顶层断言,则M个已排序比特分别对应于M个底部层,从底层开始。如果作出了顶层断言,则M个已排序比特分别对应于M个顶部层,从顶层开始。
在另一实施例中,层断言字节包含:(1)用于传达顶层或底层断言的比特,分别对应于M个层的M个比特(刚才描述过),以及下一图片字段。该下一图片字段标识视频流中属于层次结构中与针对当前图片所断言的层相同层的图片的位置。如果下一图片字段等于零,则其不标识图片的位置。下一图片字段中的非零值对应于视频流中按发送顺序与当前图片相距的图片数,并且从而标识出与当前图片属于同一层的下一图片。
在一些实施例中,例如扩展到上面讨论层断言字节(或字段)的实施例的实施例中,当隔行视频的图片被编码为两个单独的PES分组中的两个场时,层断言字节(或等同地,层断言字段)的一比特可以分别利用两个值标识出该场是底部场还是顶部场。在一些实施例中,另一字段可以标识出与正被断言为属于一层的当前图片相对应的场的相对位置(例如,通过与当前场相距的场数)。
注意,本文中描述的某些实施例包括驻留于一个或多个位置,包括DHCT、网络装置等的功能,后者可能由于网络拥塞而丢弃图片,因而保留(一个或多个)顶部层图片,如果这种设备的逻辑“知道”如下事实:保证非顶层图片可以被丢弃且保证顶层(无论它是哪个层“n”)在所有层n及以上图片被保留的情况下是可自解码的。另外,在一些实施例中,这种网络设备中的逻辑可以执行本文中描述的确定方法,因而不再需要DHCT中的编码功能来执行这种功能。
虽然关于“图片”描述了操作,但可以类似地使用其他任何数据集合,例如图片群组,块,宏块,片段或其他图片部分,等等。
可使用任何合适的编程语言来实现特定实施例的例程,包括C、C++、Java、汇编语言,等等。可采用不同编程技术,例如面向过程的或面向对象的。例程可以在单个处理装置或多个处理器上执行。虽然可以按具体顺序提供步骤、操作或计算,但该顺序可以在一些实施例中改变。在一些实施例中,在本说明书中示为顺序的多个步骤可以同时执行。本文中描述的操作序列可被另一进程,例如操作系统,内核等中断、挂起,或以其他方式控制。例程可以在操作系统环境中运行或作为单独例程运行,其占据系统处理的所有或重要部分。可以在硬件、软件或二者组合中执行功能。
在本文中的描述中,提供了许多具体细节,例如组件和/或方法的示例,以提供对特定实施例的透彻理解。但本领域普通技术人员将认识到,特定实施例没有这些具体细节中的一个或多个,或利用其他设备、系统、组件、方法、部件、材料、部分等等来实现。在其他实例中,没有具体详细示出或描述公知的结构、材料或操作,以免模糊特定实施例的方面。
特定实施例可以使用被编程的通用数字计算机、通过使用专用集成电路、可编程逻辑器件、现场可编程门阵列、光、化学、生物、量子或纳米工程系统、组件和机构来实现。一般而言,特定实施例的功能可通过本领域公知的任意手段来实现。可以使用分布式联网的系统、组件和/或电路。数据的通信或传送可以是有线的、无线的,或通过其他任何手段。
所说明的特定实施例的前述描述,包括在摘要中所描述的内容不希望是穷举的或将公开内容限制为本文中所公开的精确形式。各种等同修改的具体特定实施例在本领域技术人员将会认识和明白的精神和范围内是可能的。如上所述,考虑到前述对所说明特定实施例的描述可以对本发明的系统和方法进行这些修改,它们应包括在公开内容的范围内。
从而,尽管本文中参考特定实施例描述了各种系统和方法,但前述公开内容希望包含多种修改、各种改变和替换,并且应认识到,在一些实例中,特定实施例的某些特征可以被采用而没有相应的其他特征的采用,这不会脱离所阐述的公开内容的范围。因此,可以作出许多修改以使特定情形或材料适用于公开内容的实质范围。希望各种实施例不限于所附权利要求书中使用的特定术语和/或作为想到的实施系统和方法的最佳模式而公开的特定实施例,而是某些实施例将包含落入所附权利要求范围内的任意和所有的特定实施例和等同物。
Claims (8)
1.一种用于视频流的方法,包括:
提供视频流;以及
提供标识所述视频流中的压缩图片的信息,其中所述压缩图片基于图片互相关性而与多个相继的图片互相关性层的层次结构相关联,所述层次结构包含多于两个层,所述相继的图片互相关性层是按顺序编号的,每个压缩图片属于至多一层,一层中的图片不依赖于所述视频流中的、属于所述多个相继的互相关性层的层次结构中的任何更高编号的后续层的图片。
2.如权利要求1所述的方法,
其中该视频流中的相继图片是按发送顺序提供的;并且
其中提供标识所述视频流中的压缩图片的信息还包括提供多个标志,所述多个标志分别与多个图片互相关性层相关联,其中多个所提供的所述标志中的任何标志的第一标志值断言对应于与该标志相关联的图片互相关性层的字段的存在。
3.如权利要求2所述的方法,还包括:
提供第一组字段,其中所述第一组字段中所提供的字段的数量对应于所述多个标志中具有所述第一标志值的多个所提供标志的数量,其中所述第一组字段与所述视频流中第一组多个相继图片相关联,其中所述第一组字段中每个字段分别对应于一相应的图片互相关性层,其中所述第一组字段的每个字段包括已排序的子字段,其中所述第一组字段的每个字段中所述已排序的子字段中的第一子字段对应于所述视频流中第一组多个相继图片的发送顺序中的第一图片,其中所述第一组字段的每个字段中所述第一子字段之后的每个相继的已排序子字段分别对应于所述发送顺序中的所述视频流中第一组多个相继图片的第一图片之后的每个相继图片,并且其中所述视频流中第一组多个相继图片中的每个相继图片由所述第一组字段中至多一个相应的已排序子字段标识。
4.如权利要求3所述的方法,还包括:
在所述视频流中第一组多个相继图片之后,在所述视频流中提供第二组多个相继图片,其中所述视频流中第二组多个相继图片的第一所提供图片是在所述视频流中第一组多个相继图片的最后所提供图片之后提供的。
5.如权利要求4所述的方法,还包括:提供第二组字段,其中所述第二组字段中所提供字段的数量对应于具有所述第一标志值的多个所提供标志的数量;提供与所述视频流中第二组多个相继图片相关联的第二组字段,其中所述第二组多个字段中的每个字段分别对应于一图片互相关性层,其中所述第二组多个字段的每个字段包括已排序的子字段,其中所述第二组多个字段的每个字段中所述已排序的子字段中的第一子字段对应于所述视频流中第二组多个相继图片的发送顺序中的第一图片,其中所述第二组多个字段的每个字段中所述第一子字段之后的每个相继的已排序子字段分别对应于所述发送顺序中的所述视频流中第二组多个相继图片的第一图片之后的每个相继图片,并且其中所述视频流中第二组多个相继图片中的每个相继图片由所述第二组多个字段中相应的多个已排序子字段中至多一个子字段标识。
6.一种用于视频流的方法,包括:
接收视频流;以及
处理压缩视频和标识所述视频流中的图片的信息,其中所述压缩图片基于图片互相关性而与多个相继的图片互相关性层的层次结构相关联,所述层次结构包含多于两个层,所述相继的图片互相关性层是按顺序编号的,每个压缩图片属于至多一层,一层中的图片不依赖于所述视频流中的、属于所述多个相继的互相关性层的层次结构中的任何更高编号的后续层的图片。
7.如权利要求6所述的方法,其中接收视频流还包括接收标识所述视频流中图片的信息,其中所述图片包括压缩图片。
8.如权利要求7所述的方法,还包括从所述视频流中抽取所标识的图片中的一个或多个图片。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/124,779 | 2008-05-21 | ||
US12/124,779 US8416859B2 (en) | 2006-11-13 | 2008-05-21 | Signalling and extraction in compressed video of pictures belonging to interdependency tiers |
PCT/US2009/044370 WO2009143066A1 (en) | 2008-05-21 | 2009-05-18 | Signalling and extraction in compressed video of pictures belonging to interdependency tiers |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102037731A CN102037731A (zh) | 2011-04-27 |
CN102037731B true CN102037731B (zh) | 2013-09-04 |
Family
ID=40940534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980118689.5A Active CN102037731B (zh) | 2008-05-21 | 2009-05-18 | 压缩视频中属于互相关性层的图片的通知和抽取 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8416859B2 (zh) |
EP (1) | EP2292011A1 (zh) |
CN (1) | CN102037731B (zh) |
WO (1) | WO2009143066A1 (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8155207B2 (en) | 2008-01-09 | 2012-04-10 | Cisco Technology, Inc. | Processing and managing pictures at the concatenation of two video streams |
US8875199B2 (en) | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
US8958486B2 (en) * | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
US8804845B2 (en) | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
US8718388B2 (en) | 2007-12-11 | 2014-05-06 | Cisco Technology, Inc. | Video processing with tiered interdependencies of pictures |
US8416858B2 (en) | 2008-02-29 | 2013-04-09 | Cisco Technology, Inc. | Signalling picture encoding schemes and associated picture properties |
US8886022B2 (en) | 2008-06-12 | 2014-11-11 | Cisco Technology, Inc. | Picture interdependencies signals in context of MMCO to assist stream manipulation |
US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
US8705631B2 (en) * | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
US8699578B2 (en) | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
US8259817B2 (en) | 2008-11-12 | 2012-09-04 | Cisco Technology, Inc. | Facilitating fast channel changes through promotion of pictures |
US20100132007A1 (en) * | 2008-11-25 | 2010-05-27 | Cisco Technology, Inc. | Accelerating channel change time with external picture property markings |
US8326131B2 (en) | 2009-02-20 | 2012-12-04 | Cisco Technology, Inc. | Signalling of decodable sub-sequences |
US20100232309A1 (en) * | 2009-03-13 | 2010-09-16 | Qualcomm Incorporated | Methods and systems for dynamic call blocking in wimax idle mode |
US8782261B1 (en) | 2009-04-03 | 2014-07-15 | Cisco Technology, Inc. | System and method for authorization of segment boundary notifications |
US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
US8233534B2 (en) * | 2010-04-09 | 2012-07-31 | Newport Media, Inc. | Frame buffer compression and memory allocation in a video decoder |
US9451285B2 (en) | 2010-04-16 | 2016-09-20 | Sk Telecom Co., Ltd. | Inter-prediction method and video encoding/decoding method using the inter-prediction method |
KR101750495B1 (ko) | 2010-04-16 | 2017-06-27 | 에스케이텔레콤 주식회사 | 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법 |
US9706227B2 (en) * | 2011-03-10 | 2017-07-11 | Qualcomm Incorporated | Video coding techniques for coding dependent pictures after random access |
US9338474B2 (en) | 2011-09-23 | 2016-05-10 | Qualcomm Incorporated | Reference picture list construction for video coding |
JP6045222B2 (ja) * | 2012-06-28 | 2016-12-14 | 株式会社Nttドコモ | 動画像予測復号装置、方法及びプログラム |
AU2015213423B2 (en) * | 2012-06-28 | 2016-12-01 | Ntt Docomo, Inc. | Dynamic image predictive encoding and decoding device, method, and program |
US20140003520A1 (en) * | 2012-07-02 | 2014-01-02 | Cisco Technology, Inc. | Differentiating Decodable and Non-Decodable Pictures After RAP Pictures |
US11025882B2 (en) * | 2016-04-25 | 2021-06-01 | HypeVR | Live action volumetric video compression/decompression and playback |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1378751A (zh) * | 1999-10-07 | 2002-11-06 | 汤姆森特许公司 | 将数据写到数字视频系统中的记录介质里的方法和设备 |
CN1530957A (zh) * | 1995-07-28 | 2004-09-22 | ���ṫ˾ | 数据编码/译码方法和设备及编码数据的记录介质 |
Family Cites Families (229)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4764805A (en) | 1987-06-02 | 1988-08-16 | Eastman Kodak Company | Image transmission system with line averaging preview mode using two-pass block-edge interpolation |
DE69323338T2 (de) | 1992-03-24 | 1999-06-10 | Toshiba Kawasaki Kk | Vorrichtung zum Aufzeichnen/Wiedergeben von Kodes mit variablen Längen für einen Videorekorder |
US7095783B1 (en) * | 1992-06-30 | 2006-08-22 | Discovision Associates | Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto |
US5440345A (en) | 1992-07-17 | 1995-08-08 | Kabushiki Kaisha Toshiba | High efficient encoding/decoding system |
US5606359A (en) | 1994-06-30 | 1997-02-25 | Hewlett-Packard Company | Video on demand system with multiple data sources configured to provide vcr-like services |
US5917988A (en) | 1995-04-07 | 1999-06-29 | Sony Corporation | Editing apparatus, editing method and decoding apparatus for compressed video signal |
JP4108121B2 (ja) | 1995-04-21 | 2008-06-25 | テラヨン コミュニケーションズ システムズ, インコーポレイテッド | プログラム・データを記録する方法および装置 |
KR100263788B1 (ko) | 1995-06-26 | 2000-08-16 | 슈즈이 다케오 | 정보 재생 장치 |
US6411725B1 (en) | 1995-07-27 | 2002-06-25 | Digimarc Corporation | Watermark enabled video objects |
TW385431B (en) | 1995-09-29 | 2000-03-21 | Matsushita Electric Ind Co Ltd | A method and an apparatus for encoding a bitstream with plural possible searching reproduction paths information useful in multimedia optical disk |
US5949948A (en) | 1995-11-20 | 1999-09-07 | Imedia Corporation | Method and apparatus for implementing playback features for compressed video data |
US5734443A (en) | 1995-12-28 | 1998-03-31 | Philips Electronics North America Corporation | Method and device for performing source transitions in a video system which performs entropy encoding |
US6065050A (en) | 1996-06-05 | 2000-05-16 | Sun Microsystems, Inc. | System and method for indexing between trick play and normal play video streams in a video delivery system |
JPH1013858A (ja) | 1996-06-27 | 1998-01-16 | Sony Corp | 画像符号化方法、画像復号方法、及び画像信号記録媒体 |
US5828370A (en) | 1996-07-01 | 1998-10-27 | Thompson Consumer Electronics Inc. | Video delivery system and method for displaying indexing slider bar on the subscriber video screen |
KR19980022377A (ko) | 1996-09-21 | 1998-07-06 | 김광호 | 적응형 격자 양자화기법에 의한 비디오신호 부호화 및 또는 복호화방법 |
US5917830A (en) | 1996-10-18 | 1999-06-29 | General Instrument Corporation | Splicing compressed packetized digital video streams |
US5953506A (en) | 1996-12-17 | 1999-09-14 | Adaptive Media Technologies | Method and apparatus that provides a scalable media delivery system |
US6188436B1 (en) | 1997-01-31 | 2001-02-13 | Hughes Electronics Corporation | Video broadcast system with video data shifting |
US6201927B1 (en) | 1997-02-18 | 2001-03-13 | Mary Lafuze Comer | Trick play reproduction of MPEG encoded signals |
US6222979B1 (en) | 1997-02-18 | 2001-04-24 | Thomson Consumer Electronics | Memory control in trick play mode |
US6806909B1 (en) | 1997-03-03 | 2004-10-19 | Koninklijke Philips Electronics N.V. | Seamless splicing of MPEG-2 multimedia data streams |
US5963260A (en) | 1997-03-18 | 1999-10-05 | U.S. Philips Electronics North America Corporation | Macroblock-level partitioned HDTV video decoder and related method |
US6421387B1 (en) | 1998-05-15 | 2002-07-16 | North Carolina State University | Methods and systems for forward error correction based loss recovery for interactive video transmission |
US6859496B1 (en) | 1998-05-29 | 2005-02-22 | International Business Machines Corporation | Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel |
GB9813831D0 (en) | 1998-06-27 | 1998-08-26 | Philips Electronics Nv | Frame-accurate editing of encoded A/V sequences |
US6144375A (en) | 1998-08-14 | 2000-11-07 | Praja Inc. | Multi-perspective viewer for content-based interactivity |
FR2782437B1 (fr) | 1998-08-14 | 2000-10-13 | Thomson Multimedia Sa | Procede de commutation de flux mpeg |
KR100294926B1 (ko) | 1998-08-29 | 2001-07-12 | 윤종용 | 점진적인 삼차원 메쉬 정보의 부호화/복호화 방법 및 장치 |
US6912251B1 (en) | 1998-09-25 | 2005-06-28 | Sarnoff Corporation | Frame-accurate seamless splicing of information streams |
US6553147B2 (en) | 1998-10-05 | 2003-04-22 | Sarnoff Corporation | Apparatus and method for data partitioning to improving error resilience |
US6310915B1 (en) | 1998-11-20 | 2001-10-30 | Harmonic Inc. | Video transcoder with bitstream look ahead for rate control and statistical multiplexing |
US6906743B1 (en) * | 1999-01-13 | 2005-06-14 | Tektronix, Inc. | Detecting content based defects in a video stream |
US6512552B1 (en) | 1999-03-29 | 2003-01-28 | Sony Corporation | Subpicture stream change control |
US6909743B1 (en) | 1999-04-14 | 2005-06-21 | Sarnoff Corporation | Method for generating and processing transition streams |
JP4503858B2 (ja) | 1999-04-14 | 2010-07-14 | ライト チャンス インコーポレイテッド | 遷移ストリームの生成/処理方法 |
US6594798B1 (en) | 1999-05-21 | 2003-07-15 | Microsoft Corporation | Receiver-driven layered error correction multicast over heterogeneous packet networks |
US20060093045A1 (en) | 1999-06-29 | 2006-05-04 | Roger Anderson | Method and apparatus for splicing |
JP2001144086A (ja) * | 1999-08-31 | 2001-05-25 | Sony Corp | 埋め込み配線の形成方法、及び、基体処理装置 |
EP1098526A3 (en) | 1999-11-02 | 2004-09-15 | Matsushita Electric Industrial Co., Ltd. | Video editing apparatus and method |
US7027713B1 (en) | 1999-11-30 | 2006-04-11 | Sharp Laboratories Of America, Inc. | Method for efficient MPEG-2 transport stream frame re-sequencing |
US6658199B1 (en) | 1999-12-16 | 2003-12-02 | Sharp Laboratories Of America, Inc. | Method for temporally smooth, minimal memory MPEG-2 trick play transport stream construction |
US7185018B2 (en) | 1999-12-23 | 2007-02-27 | Zentronix Pty Limited | Method of storing and retrieving miniaturized data |
AUPQ486599A0 (en) | 1999-12-23 | 2000-02-03 | Zentronix Pty Ltd | A method of storing and retrieving miniaturised data |
US7096481B1 (en) | 2000-01-04 | 2006-08-22 | Emc Corporation | Preparation of metadata for splicing of encoded MPEG video and audio |
GB0007868D0 (en) | 2000-03-31 | 2000-05-17 | Koninkl Philips Electronics Nv | Methods and apparatus for editing digital video recordings and recordings made by such methods |
US7088911B2 (en) | 2000-04-26 | 2006-08-08 | Sony Corporation | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
US6643327B1 (en) | 2000-05-05 | 2003-11-04 | General Instrument Corporation | Statistical multiplexer and remultiplexer that accommodates changes in structure of group of pictures |
TW519840B (en) | 2000-06-02 | 2003-02-01 | Sony Corp | Image coding apparatus and method, image decoding apparatus and method, and recording medium |
US20030163832A1 (en) | 2000-06-26 | 2003-08-28 | Yossi Tsuria | Time shifted interactive television |
EP1300023A2 (en) * | 2000-06-30 | 2003-04-09 | Koninklijke Philips Electronics N.V. | Encoding method for the compression of a video sequence |
US6754373B1 (en) | 2000-07-14 | 2004-06-22 | International Business Machines Corporation | System and method for microphone activation using visual speech cues |
FI120125B (fi) | 2000-08-21 | 2009-06-30 | Nokia Corp | Kuvankoodaus |
US7053874B2 (en) | 2000-09-08 | 2006-05-30 | Semiconductor Energy Laboratory Co., Ltd. | Light emitting device and driving method thereof |
GB0022370D0 (en) | 2000-09-13 | 2000-10-25 | Pace Micro Tech Plc | Improvements to televisionn system |
JP4331876B2 (ja) | 2000-09-18 | 2009-09-16 | パナソニック株式会社 | デジタル信号記録再生システム |
JP2004532540A (ja) | 2001-03-05 | 2004-10-21 | インタービデオインコーポレイテッド | 誤り耐性のある符号化のためのシステム及び方法 |
GB0106217D0 (en) | 2001-03-14 | 2001-05-02 | Pace Micro Tech Plc | Television system |
WO2002078357A1 (en) | 2001-03-26 | 2002-10-03 | Koninklijke Philips Electronics N.V. | Storage of multi-media items |
JP2002359833A (ja) | 2001-03-27 | 2002-12-13 | Hitachi Ltd | データ通信システムおよび送信装置、通信端末 |
US7103235B2 (en) | 2001-04-25 | 2006-09-05 | Lockheed Martin Corporation | Extended range image processing for electro-optical systems |
US20020178444A1 (en) | 2001-05-22 | 2002-11-28 | Koninklijke Philips Electronics N.V. | Background commercial end detector and notifier |
US6901603B2 (en) | 2001-07-10 | 2005-05-31 | General Instrument Corportion | Methods and apparatus for advanced recording options on a personal versatile recorder |
US7218635B2 (en) | 2001-08-31 | 2007-05-15 | Stmicroelectronics, Inc. | Apparatus and method for indexing MPEG video data to perform special mode playback in a digital video recorder and indexed signal associated therewith |
US6980594B2 (en) * | 2001-09-11 | 2005-12-27 | Emc Corporation | Generation of MPEG slow motion playout |
US20030093800A1 (en) | 2001-09-12 | 2003-05-15 | Jason Demas | Command packets for personal video recorder |
KR100438703B1 (ko) | 2001-09-27 | 2004-07-05 | 삼성전자주식회사 | 계층적 이미지 인덱싱 방법 및 그 장치 |
US7206501B2 (en) | 2001-10-12 | 2007-04-17 | The Directv Group, Inc. | Method and apparatus for identifying MPEG picture coding types |
US20030081934A1 (en) | 2001-10-30 | 2003-05-01 | Kirmuss Charles Bruno | Mobile video recorder control and interface |
US7398005B2 (en) | 2001-12-19 | 2008-07-08 | Thomson Licensing | Trick mode playback of recorded video |
JP2005513925A (ja) | 2001-12-20 | 2005-05-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ符号化及び復号化方法及び装置 |
US7274857B2 (en) | 2001-12-31 | 2007-09-25 | Scientific-Atlanta, Inc. | Trick modes for compressed video streams |
US20030161407A1 (en) | 2002-02-22 | 2003-08-28 | International Business Machines Corporation | Programmable and adaptive temporal filter for video encoding |
US20050015808A1 (en) | 2002-02-28 | 2005-01-20 | Minoru Nakamura | Camera server and image distribution method |
WO2003079358A1 (en) | 2002-03-20 | 2003-09-25 | Koninklijke Philips Electronics N.V. | Method and device for recording real-time information |
US7129962B1 (en) | 2002-03-25 | 2006-10-31 | Matrox Graphics Inc. | Efficient video processing method and system |
US8401084B2 (en) | 2002-04-01 | 2013-03-19 | Broadcom Corporation | System and method for multi-row decoding of video with dependent rows |
EP1361577A1 (en) | 2002-05-08 | 2003-11-12 | Deutsche Thomson-Brandt Gmbh | Appliance-guided edit-operations in advanced digital video recording systems |
AU2003238771A1 (en) | 2002-05-29 | 2003-12-19 | Simon Butler | Predictive interpolation of a video signal |
US20050254498A1 (en) | 2002-07-12 | 2005-11-17 | Masanori Itoh | Data processing device |
JP4373329B2 (ja) | 2002-07-15 | 2009-11-25 | ノキア コーポレイション | ビデオ・シーケンス内のエラーを隠蔽する方法 |
US7787539B2 (en) * | 2002-07-17 | 2010-08-31 | Broadcom Corporation | Decoding and presentation time stamps for MPEG-4 advanced video coding |
US7167560B2 (en) | 2002-08-08 | 2007-01-23 | Matsushita Electric Industrial Co., Ltd. | Partial encryption of stream-formatted media |
US7813429B2 (en) | 2002-08-13 | 2010-10-12 | Lsi Corporation | System and method for segmentation of macroblocks |
US9043194B2 (en) | 2002-09-17 | 2015-05-26 | International Business Machines Corporation | Method and system for efficient emulation of multiprocessor memory consistency |
MY134659A (en) | 2002-11-06 | 2007-12-31 | Nokia Corp | Picture buffering for prediction references and display |
KR100534207B1 (ko) | 2002-12-09 | 2005-12-08 | 삼성전자주식회사 | 비디오 부호화기의 움직임 추정기 및 그 방법 |
US8054880B2 (en) | 2004-12-10 | 2011-11-08 | Tut Systems, Inc. | Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window |
US7200767B2 (en) | 2002-12-27 | 2007-04-03 | Texas Instruments Incorporated | Maintaining synchronization of multiple data channels with a common clock signal |
US20040133908A1 (en) | 2003-01-03 | 2004-07-08 | Broadq, Llc | Digital media system and method therefor |
JP2004227077A (ja) | 2003-01-20 | 2004-08-12 | Seiko Epson Corp | 情報視聴システムならびに情報再生機器および情報提供装置 |
US20040177369A1 (en) | 2003-03-06 | 2004-09-09 | Akins Glendon L. | Conditional access personal video recorder |
US7403660B2 (en) | 2003-04-30 | 2008-07-22 | Nokia Corporation | Encoding picture arrangement parameter in picture bitstream |
JP4114534B2 (ja) | 2003-05-02 | 2008-07-09 | ソニー株式会社 | 画像符号化装置及び方法 |
EP1629502A1 (en) | 2003-05-16 | 2006-03-01 | Koninklijke Philips Electronics N.V. | Method of recording and of replaying and video recording and replay systems |
US8266659B2 (en) | 2003-05-16 | 2012-09-11 | Time Warner Cable LLC | Technique for collecting data relating to activity of a user receiving entertainment programs through a communications network |
US20130107938A9 (en) | 2003-05-28 | 2013-05-02 | Chad Fogg | Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream |
US20040257472A1 (en) * | 2003-06-20 | 2004-12-23 | Srinivasa Mpr | System, method, and apparatus for simultaneously displaying multiple video streams |
US7809059B2 (en) | 2003-06-25 | 2010-10-05 | Thomson Licensing | Method and apparatus for weighted prediction estimation using a displaced frame differential |
US20050013249A1 (en) | 2003-07-14 | 2005-01-20 | Hao-Song Kong | Redundant packets for streaming video protection |
US7342964B2 (en) | 2003-07-15 | 2008-03-11 | Lsi Logic Corporation | Multi-standard variable block size motion estimation processor |
US20050022245A1 (en) | 2003-07-21 | 2005-01-27 | Ramesh Nallur | Seamless transition between video play-back modes |
CN1875637A (zh) | 2003-08-26 | 2006-12-06 | 汤姆森特许公司 | 最小化用于相互编码的参考画面数目的方法和装置 |
US7317839B2 (en) | 2003-09-07 | 2008-01-08 | Microsoft Corporation | Chroma motion vector derivation for interlaced forward-predicted fields |
US7599438B2 (en) | 2003-09-07 | 2009-10-06 | Microsoft Corporation | Motion vector block pattern coding and decoding |
US7606308B2 (en) | 2003-09-07 | 2009-10-20 | Microsoft Corporation | Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields |
US8009739B2 (en) | 2003-09-07 | 2011-08-30 | Microsoft Corporation | Intensity estimation/compensation for interlaced forward-predicted fields |
US7623574B2 (en) | 2003-09-07 | 2009-11-24 | Microsoft Corporation | Selecting between dominant and non-dominant motion vector predictor polarities |
US7616692B2 (en) | 2003-09-07 | 2009-11-10 | Microsoft Corporation | Hybrid motion vector prediction for interlaced forward-predicted fields |
US7577198B2 (en) | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Number of reference fields for an interlaced forward-predicted field |
US7620106B2 (en) | 2003-09-07 | 2009-11-17 | Microsoft Corporation | Joint coding and decoding of a reference field selection and differential motion vector information |
FI115589B (fi) | 2003-10-14 | 2005-05-31 | Nokia Corp | Redundanttien kuvien koodaaminen ja dekoodaaminen |
WO2005055607A1 (en) | 2003-12-08 | 2005-06-16 | Electronics And Telecommunications Research Institute | System and method for encoding and decoding an image using bitstream map and recording medium thereof |
WO2005071970A1 (en) | 2004-01-16 | 2005-08-04 | General Instrument Corporation | Method and apparatus for determining timing information from a bit stream |
US7599435B2 (en) | 2004-01-30 | 2009-10-06 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Video frame encoding and decoding |
US7586924B2 (en) | 2004-02-27 | 2009-09-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream |
US8472791B2 (en) | 2004-03-17 | 2013-06-25 | Hewlett-Packard Development Company, L.P. | Variable speed video playback |
US20050226327A1 (en) | 2004-03-30 | 2005-10-13 | Kim Seong-Bong | MPEG coding method, moving picture transmitting system and method using the same |
EP1583368A1 (en) | 2004-03-31 | 2005-10-05 | Mitsubishi Electric Information Technology Centre Europe B.V. | Direction-adaptive scalable motion parameter coding for scalable video coding |
CN1947416A (zh) | 2004-04-21 | 2007-04-11 | 松下电器产业株式会社 | 数字广播接收设备、方法及其程序 |
ATE555477T1 (de) | 2004-04-28 | 2012-05-15 | Panasonic Corp | Stream-erzeugungsvorrichtung für bewegliche bilder, kodierungsvorrichtung für bewegliche bilder, multiplex-vorrichtung für bewegliche bilder und decodierungsvorrichtung für bewegliche bilder |
CN101677382B (zh) | 2004-04-28 | 2013-01-09 | 松下电器产业株式会社 | 流产生装置和流产生方法 |
US7480335B2 (en) | 2004-05-21 | 2009-01-20 | Broadcom Corporation | Video decoder for decoding macroblock adaptive field/frame coded video data with spatial prediction |
US7243193B2 (en) | 2004-05-27 | 2007-07-10 | Silverbrook Research Pty Ltd | Storage of program code in arbitrary locations in memory |
US7848428B2 (en) * | 2004-06-17 | 2010-12-07 | Broadcom Corporation | System and method for reducing visible artifacts in video coding using multiple reference pictures |
US7649937B2 (en) | 2004-06-22 | 2010-01-19 | Auction Management Solutions, Inc. | Real-time and bandwidth efficient capture and delivery of live video to multiple destinations |
US20060013305A1 (en) | 2004-07-14 | 2006-01-19 | Sharp Laboratories Of America, Inc. | Temporal scalable coding using AVC coding tools |
GB0418279D0 (en) | 2004-08-16 | 2004-09-15 | Nds Ltd | System for providing access to operation information |
TWI377564B (en) | 2004-08-17 | 2012-11-21 | Panasonic Corp | Information storage medium and multiplexing device |
US9124907B2 (en) | 2004-10-04 | 2015-09-01 | Nokia Technologies Oy | Picture buffering method |
US20060083298A1 (en) | 2004-10-14 | 2006-04-20 | Nokia Corporation | Reference picture management in video coding |
US9117261B2 (en) | 2004-11-16 | 2015-08-25 | Thomson Licensing | Film grain SEI message insertion for bit-accurate simulation in a video system |
US7720350B2 (en) | 2004-11-30 | 2010-05-18 | General Instrument Corporation | Methods and systems for controlling trick mode play speeds |
US7849395B2 (en) | 2004-12-15 | 2010-12-07 | Microsoft Corporation | Filter and sort by color |
US7671894B2 (en) | 2004-12-17 | 2010-03-02 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for processing multiview videos for view synthesis using skip and direct modes |
US7728878B2 (en) | 2004-12-17 | 2010-06-01 | Mitsubishi Electric Research Labortories, Inc. | Method and system for processing multiview videos for view synthesis using side information |
JP4165510B2 (ja) | 2005-01-05 | 2008-10-15 | ソニー株式会社 | 再生装置および方法、記録媒体、並びにプログラム |
CN101238736A (zh) | 2005-02-01 | 2008-08-06 | 德克萨斯仪器股份有限公司 | 在avs-m视频比特流中的随机访问 |
EP2498255A1 (en) | 2005-02-18 | 2012-09-12 | Panasonic Corporation | Stream reproduction device and stream supply device |
US7773935B2 (en) | 2005-03-03 | 2010-08-10 | Panasonic Corporation | Broadcast information receiving terminal |
CN102685562B (zh) | 2005-03-14 | 2016-06-08 | 尼尔逊媒介研究股份有限公司 | 用于媒体信号的压缩域编码设备和方法 |
US20060224763A1 (en) | 2005-03-18 | 2006-10-05 | Sharp Laboratories Of America, Inc. | Switching and simultaneous usage of 802.11a and 802.11g technologies for video streaming |
US20060222319A1 (en) | 2005-04-05 | 2006-10-05 | Scientific-Atlanta, Inc. | Pre-recorded dvd ad insertion |
US7400364B2 (en) | 2005-04-26 | 2008-07-15 | International Business Machines Corporation | Sub-program avoidance redirection for broadcast receivers |
WO2006114761A1 (en) | 2005-04-26 | 2006-11-02 | Koninklijke Philips Electronics N.V. | A device for and a method of detecting positions of intra-coded frames in a data stream |
JP4779435B2 (ja) | 2005-05-17 | 2011-09-28 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
KR20060122663A (ko) | 2005-05-26 | 2006-11-30 | 엘지전자 주식회사 | 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법 |
US7784071B2 (en) | 2005-06-01 | 2010-08-24 | General Instrument Corporation | Method and apparatus for linking a plurality of user devices to a service location |
US8208564B2 (en) | 2005-06-24 | 2012-06-26 | Ntt Docomo, Inc. | Method and apparatus for video encoding and decoding using adaptive interpolation |
JP4311570B2 (ja) | 2005-07-01 | 2009-08-12 | 株式会社ソニー・コンピュータエンタテインメント | 再生装置、ビデオ復号装置および同期再生方法 |
US8441963B2 (en) | 2005-08-04 | 2013-05-14 | General Instrument Corporation | IP multicast management and service provision system and method |
US7912219B1 (en) | 2005-08-12 | 2011-03-22 | The Directv Group, Inc. | Just in time delivery of entitlement control message (ECMs) and other essential data elements for television programming |
US7903743B2 (en) | 2005-10-26 | 2011-03-08 | Mediatek Inc. | Memory sharing in video transcoding and displaying |
KR100724825B1 (ko) | 2005-11-17 | 2007-06-04 | 삼성전자주식회사 | 스케일러블 비디오 코딩에서 다차원 스케일러빌리티에 따른 조건적 접근제어를 위한 스케일러블 비디오 비트스트림 암복호화 방법 및 암복호화 시스템 |
FR2894740A1 (fr) | 2005-12-12 | 2007-06-15 | Thomson Licensing Sa | Dispositif de codage, procede de codage, systeme de decodage procede de decodage de donnees video |
US7477692B2 (en) | 2005-12-16 | 2009-01-13 | Tut Systems, Inc. | Video encoding for seamless splicing between encoded video streams |
US7502501B2 (en) | 2005-12-22 | 2009-03-10 | Carestream Health, Inc. | System and method for rendering an oblique slice through volumetric data accessed via a client-server architecture |
US8989006B2 (en) | 2005-12-29 | 2015-03-24 | General Instrument Corporation | Method and apparatus for glitchless failover to redundant stream |
WO2007080223A1 (en) * | 2006-01-10 | 2007-07-19 | Nokia Corporation | Buffering of decoded reference pictures |
US8767836B2 (en) | 2006-03-27 | 2014-07-01 | Nokia Corporation | Picture delimiter in scalable video coding |
KR100772878B1 (ko) * | 2006-03-27 | 2007-11-02 | 삼성전자주식회사 | 비트스트림의 비트율 조절을 위한 우선권 할당 방법,비트스트림의 비트율 조절 방법, 비디오 디코딩 방법 및 그방법을 이용한 장치 |
KR101353193B1 (ko) * | 2006-03-29 | 2014-01-21 | 톰슨 라이센싱 | 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치 |
KR100959536B1 (ko) | 2006-03-30 | 2010-05-27 | 엘지전자 주식회사 | 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치 |
US7653055B2 (en) | 2006-03-31 | 2010-01-26 | Alcatel-Lucent Usa Inc. | Method and apparatus for improved multicast streaming in wireless networks |
US7656410B2 (en) | 2006-03-31 | 2010-02-02 | Intel Corporation | Image buffering techniques |
US8493973B2 (en) | 2006-04-04 | 2013-07-23 | Samsung Electronics Co., Ltd. | Method of and apparatus for transmitting digital broadcasting signal in advanced-VSB (A-VSB) system in which transport packet without adaptation field is provided at fixed location in data field slices |
WO2008000289A1 (en) | 2006-06-29 | 2008-01-03 | Telecom Italia S.P.A. | Method and apparatus for improving bandwith exploitation in real-time audio/video communications |
US7584495B2 (en) | 2006-06-30 | 2009-09-01 | Nokia Corporation | Redundant stream alignment in IP datacasting over DVB-H |
US8005149B2 (en) | 2006-07-03 | 2011-08-23 | Unisor Design Services Ltd. | Transmission of stream video in low latency |
FR2904494B1 (fr) | 2006-07-26 | 2008-12-19 | Canon Kk | Procede et dispositif de compression d'image, systeme de telecommunication comportant un tel dispositif et programme mettant en oeuvre un tel procede |
US8532178B2 (en) | 2006-08-25 | 2013-09-10 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
JP4221676B2 (ja) | 2006-09-05 | 2009-02-12 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
US7681101B2 (en) | 2007-04-16 | 2010-03-16 | Cisco Technology, Inc. | Hybrid corrective scheme for dropped packets |
JP5151984B2 (ja) | 2006-09-29 | 2013-02-27 | 富士通株式会社 | 動画像符号化装置 |
US8599926B2 (en) | 2006-10-12 | 2013-12-03 | Qualcomm Incorporated | Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers |
JP5184539B2 (ja) | 2006-10-13 | 2013-04-17 | トムソン ライセンシング | 多視点ビデオ符号化のための参照ピクチャ・リスト管理方法 |
CA3006093C (en) | 2006-10-16 | 2022-07-19 | Nokia Technologies Oy | System and method for implementing efficient decoded buffer management in multi-view video coding |
US20100150232A1 (en) | 2006-10-31 | 2010-06-17 | Gottfried Wilhelm Leibniz Universitat Hannover | Method for concealing a packet loss |
US8875199B2 (en) | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
US20080115175A1 (en) | 2006-11-13 | 2008-05-15 | Rodriguez Arturo A | System and method for signaling characteristics of pictures' interdependencies |
US8155207B2 (en) | 2008-01-09 | 2012-04-10 | Cisco Technology, Inc. | Processing and managing pictures at the concatenation of two video streams |
US8656445B2 (en) | 2006-11-27 | 2014-02-18 | Genband Us Llc | Multimedia subsystem control for internet protocol based television services |
US20080141091A1 (en) | 2006-12-06 | 2008-06-12 | General Instrument Corporation | Method and Apparatus for Recovering From Errors in Transmission of Encoded Video Over a Local Area Network |
US20080152006A1 (en) | 2006-12-22 | 2008-06-26 | Qualcomm Incorporated | Reference frame placement in the enhancement layer |
US8331448B2 (en) | 2006-12-22 | 2012-12-11 | Qualcomm Incorporated | Systems and methods for efficient spatial intra predictabilty determination (or assessment) |
KR100850198B1 (ko) | 2007-01-03 | 2008-08-04 | 삼성전자주식회사 | 휴대용 단말기에서 디지털 방송 정보를 제공하기 위한 장치및 방법 |
JP5190469B2 (ja) | 2007-01-26 | 2013-04-24 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | 画像における境界領域処理 |
US8711901B2 (en) | 2007-03-12 | 2014-04-29 | Vixs Systems, Inc. | Video processing system and device with encoding and decoding modes and method for use therewith |
US7940644B2 (en) | 2007-03-14 | 2011-05-10 | Cisco Technology, Inc. | Unified transmission scheme for media stream redundancy |
US8494049B2 (en) | 2007-04-09 | 2013-07-23 | Cisco Technology, Inc. | Long term reference frame management with error video feedback for compressed video communication |
US8340183B2 (en) | 2007-05-04 | 2012-12-25 | Qualcomm Incorporated | Digital multimedia channel switching |
JP4416013B2 (ja) | 2007-06-20 | 2010-02-17 | ソニー株式会社 | コンテンツ視聴システム、コンテンツ視聴装置及び視聴承認装置 |
EP2174502A2 (en) | 2007-06-26 | 2010-04-14 | Nokia Corporation | System and method for indicating temporal layer switching points |
US8265144B2 (en) | 2007-06-30 | 2012-09-11 | Microsoft Corporation | Innovations in video decoder implementations |
US8254455B2 (en) | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
US9648325B2 (en) | 2007-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Video decoding implementations for a graphics processing unit |
KR20090004658A (ko) | 2007-07-02 | 2009-01-12 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
US8359392B2 (en) | 2007-07-09 | 2013-01-22 | Gregor Zebic | System and method for securely communicating on-demand content from closed network to dedicated devices, and for compiling content usage data in closed network securely communicating content to dedicated devices |
US8804845B2 (en) | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
US8958486B2 (en) | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
GB0716028D0 (en) | 2007-08-16 | 2007-09-26 | Fujitsu Ltd | Communication systems |
US8483282B2 (en) | 2007-10-12 | 2013-07-09 | Qualcomm, Incorporated | Entropy coding of interleaved sub-blocks of a video block |
JP2011501497A (ja) | 2007-10-15 | 2011-01-06 | ノキア コーポレイション | マルチビュー映像コンテンツのための動きスキップおよびシングルループ符号化 |
EP2213097A2 (en) | 2007-10-16 | 2010-08-04 | Cisco Technology, Inc. | Conveyance of concatenation properties and picture orderness in a video stream |
US20090103635A1 (en) | 2007-10-17 | 2009-04-23 | Peshala Vishvajith Pahalawatta | System and method of unequal error protection with hybrid arq/fec for video streaming over wireless local area networks |
US8208551B2 (en) | 2007-10-31 | 2012-06-26 | Broadcom Corporation | Method and system for hierarchically layered adaptive median motion vector smoothing |
US8140932B2 (en) | 2007-11-26 | 2012-03-20 | Motorola Mobility, Inc. | Data interleaving circuit and method for vectorized turbo decoder |
US8121187B2 (en) | 2007-12-05 | 2012-02-21 | Alcatel Lucent | Method and apparatus for performing multiple bit rate video encoding and video stream switching |
US8718388B2 (en) | 2007-12-11 | 2014-05-06 | Cisco Technology, Inc. | Video processing with tiered interdependencies of pictures |
US8165210B2 (en) | 2007-12-17 | 2012-04-24 | Vixs Systems, Inc. | Video codec with shared interpolation filter and method for use therewith |
US8189668B2 (en) | 2007-12-18 | 2012-05-29 | Vixs Systems, Inc. | Video codec with shared intra-prediction module and method for use therewith |
US8743972B2 (en) | 2007-12-20 | 2014-06-03 | Vixs Systems, Inc. | Coding adaptive deblocking filter and method for use therewith |
US8107742B2 (en) | 2008-01-30 | 2012-01-31 | Himax Technologies Limited | Encoder and decoder for encoding and decoding pixel data with low amount of transmitting data, encoding method, and decoding method thereof |
WO2009097162A1 (en) | 2008-02-01 | 2009-08-06 | The Oliver Group | A method for searching and indexing data and a system for implementing same |
US8416858B2 (en) | 2008-02-29 | 2013-04-09 | Cisco Technology, Inc. | Signalling picture encoding schemes and associated picture properties |
US8982951B2 (en) | 2008-03-10 | 2015-03-17 | Mediatek Inc. | Adaptive motion estimation coding |
US8886022B2 (en) | 2008-06-12 | 2014-11-11 | Cisco Technology, Inc. | Picture interdependencies signals in context of MMCO to assist stream manipulation |
US8699578B2 (en) | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
US8705631B2 (en) | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
CN102396221B (zh) | 2008-06-25 | 2015-03-25 | 思科技术公司 | 阻止特技模式操作的支持 |
US8259817B2 (en) | 2008-11-12 | 2012-09-04 | Cisco Technology, Inc. | Facilitating fast channel changes through promotion of pictures |
US8184952B2 (en) | 2008-12-11 | 2012-05-22 | Cable Television Laboratories, Inc. | Segment boundary obfuscation |
US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
US8326131B2 (en) | 2009-02-20 | 2012-12-04 | Cisco Technology, Inc. | Signalling of decodable sub-sequences |
US20100218232A1 (en) | 2009-02-25 | 2010-08-26 | Cisco Technology, Inc. | Signalling of auxiliary information that assists processing of video according to various formats |
US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
US20110222837A1 (en) | 2010-03-11 | 2011-09-15 | Cisco Technology, Inc. | Management of picture referencing in video streams for plural playback modes |
-
2008
- 2008-05-21 US US12/124,779 patent/US8416859B2/en active Active
-
2009
- 2009-05-18 WO PCT/US2009/044370 patent/WO2009143066A1/en active Application Filing
- 2009-05-18 EP EP09751294A patent/EP2292011A1/en not_active Withdrawn
- 2009-05-18 CN CN200980118689.5A patent/CN102037731B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1530957A (zh) * | 1995-07-28 | 2004-09-22 | ���ṫ˾ | 数据编码/译码方法和设备及编码数据的记录介质 |
CN1378751A (zh) * | 1999-10-07 | 2002-11-06 | 汤姆森特许公司 | 将数据写到数字视频系统中的记录介质里的方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2009143066A1 (en) | 2009-11-26 |
EP2292011A1 (en) | 2011-03-09 |
CN102037731A (zh) | 2011-04-27 |
US20080260045A1 (en) | 2008-10-23 |
US8416859B2 (en) | 2013-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102037731B (zh) | 压缩视频中属于互相关性层的图片的通知和抽取 | |
CN102396221B (zh) | 阻止特技模式操作的支持 | |
US7782937B2 (en) | System and method for internet broadcasting of MPEG-4-based stereoscopic video | |
US8826346B1 (en) | Methods of implementing trickplay | |
US8325821B1 (en) | Video transcoder stream multiplexing systems and methods | |
KR100587324B1 (ko) | 디지털 멀티미디어 방송 서비스 방법, 송/수신기, 및 데이터 구조 | |
CN102598688A (zh) | 流式传输经编码视频数据 | |
CN104380754A (zh) | 用于在多媒体系统中发送自适应媒体结构的方法和装置 | |
WO2015029754A1 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
US20080013542A1 (en) | Apparatus and method for transmitting media data and apparatus and method for receiving media data | |
CN102160375A (zh) | 使用可扩展视频编码的数字线性tv节目的递送方法 | |
WO2014193996A2 (en) | Network video streaming with trick play based on separate trick play files | |
US11451849B2 (en) | Methods and systems for content control | |
CN1976474A (zh) | 客户端节目标识转换 | |
CN102939766B (zh) | 接收器和接收器侧使用单个解码器使能信道变化的方法 | |
CN102326403A (zh) | 利用外部图片属性标记来加快频道改变时间 | |
EP2770743B1 (en) | Methods and systems for processing content | |
CN101977326B (zh) | 一种基于mpeg-2传输流的特技流生成方法 | |
US20100186464A1 (en) | Laundry refresher unit and laundry treating apparatus having the same | |
US20100131980A1 (en) | Receiver for accelerating channel change time | |
CN105812961A (zh) | 自适应流媒体处理方法及装置 | |
EP1967008A2 (en) | Video encoding and decoding | |
WO2012094975A1 (zh) | 一种多媒体数据的传输、接收方法及其传输、接收设备 | |
KR20040058458A (ko) | 방송 프로그램에 정보 제공을 위한 메타데이터 송/수신장치 및 그 방법 | |
Jianghong et al. | Scheduling algorithm for MPEG-2 TS multiplexers in CATV networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |