CN1409929A - 提供一组定制的编码工具的mpeg－4视频特定控制封包 - Google Patents
提供一组定制的编码工具的mpeg－4视频特定控制封包 Download PDFInfo
- Publication number
- CN1409929A CN1409929A CN00817070A CN00817070A CN1409929A CN 1409929 A CN1409929 A CN 1409929A CN 00817070 A CN00817070 A CN 00817070A CN 00817070 A CN00817070 A CN 00817070A CN 1409929 A CN1409929 A CN 1409929A
- Authority
- CN
- China
- Prior art keywords
- coding
- coding tools
- video flowing
- package
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 22
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000011664 signaling Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- XNPOFXIBHOVFFH-UHFFFAOYSA-N N-cyclohexyl-N'-(2-(4-morpholinyl)ethyl)carbodiimide Chemical compound C1CCCCC1N=C=NCCN1CCOCC1 XNPOFXIBHOVFFH-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- UWHCKJMYHZGTIT-UHFFFAOYSA-N tetraethylene glycol Chemical compound OCCOCCOCCOCCO UWHCKJMYHZGTIT-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/633—Control signals issued by server directed to the network components or client
- H04N21/6332—Control signals issued by server directed to the network components or client directed to client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
提供了一种用于信号接收器(370)的系统，其识别用以对一特定视频流进行编码的专用编码工具组；该视频流无需对应于预定的编码工具外形。尤其是，提供了用于MPEG－4编码工具(200)的结构的MPEG－4视频特定控制封包(100)。该封包随视频流而传送，例如用以便利供应流式视频，例如用于因特网协议网络(350)上的多点播送视频，等等。流式视频服务器(305、310、315)以控制封包将该视频流编码，以便给用户住家内的视频播放器(370)使用。该系统利用了已建立的控制封包，免除建立额外连接的需求，并允许使用专用编码工具组，而无需一致于某一预定外形中的不必要的编码工具的复杂和费用。尤其是，该系统兼容于在RFC 1889中所规定的实时传输协议(RTP)。
Description
发明背景
本发明要求1999年11月12日申请的美国临时申请第60/165,342号的权利。
本发明涉及用于流式视频编码(streaming video coding)——例如MPEG-4视频编码——的一种控制封包(control packet)格式。本发明尤其有助于开发流式视频产品，该产品用于在网际协议(IP)网络(如因特网)上的所进行的多点播送视频(multicast video)。
运动图像专家组在ISO/IEC 14496-2中制定了MPEG-4视觉效果(visual)(信息技术，视听对象的一般编码，第二部分：视觉，1998年10月)。MPEG-4是一种多媒体标准，定义了以下对象的编码：音频和视频对象(包括自然的与合成的)、许多这种同时发生的对象的多路复用表示(multiplexed representation)、以及包含这些对象的场景的描述和动态过程。MPEG-4对由10 Kbit/s到10 Mbit/s的位速率范围有效。国际电信联盟(ITU-T)所制定的标准H.263+关联于MPEG-4，因为H.263+是H.263的延伸，而H.263也是MPEG-4的起始点之一。然而MPEG-4是更为完整的标准，因为它可处理范围和类型很宽广的应用、有大规模的系统支持和用于编码及整合对象(包括自然的与合成的)的工具。MPEG-4增加多种编码工具来提供更多实用性，并且较H.263改进了编码器/解码器(codec)效能。但是，MPEG-4视频的完整性也使得难以实现一个“完整”的解码器，因为建造一个可以操作所有可能的编码工具的解码器相当昂贵和复杂。
而且，以MPEG-4为核心可开发出宽广的应用。这些应用将使用MPEG-4中可用编码工具的不同子组合。国际标准化组织规格ISO/SC29/WG-11通过创建外形(profile)来处理这个问题，如MPEG-2所作的处理。但在MPEG-4中，所预期的应用范围明显比MPEG-2宽广。于是被迫创建更多外形。为了降低外形数量，以较少的外形数量而将可能重复的应用结合在一起。然而，这又创建了对大量应用而言是低效能的外形。此外，尽管有上述努力，愈来愈多的应用的压力将持续增加所需外形的数目。
另外，可将MPEG-4视频应用于因特网上各种各样的服务，包括实时视频流(streaming)、视频随选(video on demand)、多点播送、单播(unicast)，等等。然而，例如因为有大量可能的网络类型，在MPEG-4视频中所粗略指定的外形不能满足这些应用的需求。亦即，为一个特定的网络应用所指定的编码工具未必适合于其它应用。
所以，希望提供一种系统来对各种不专属于某一特定外形的应用指定编码工具。
该系统应该指定在特定网络上对一特定实时视频流应用所使用的编码工具。该技术应该通知接收视频数据的解码器(例如个人计算机、交互式电视解码盒、有线电视调制解调器、或类似解码器)，其中视频数据使用了编码工具。
应该为无外形的(non-profiled)位流(其中未使用常规外形)指定编码工具。例如，对一些网络应用来说，就编码效率与codec(解码器/解码器)复杂性的关系而言，某些无外形的数据流可提供更好的性能。
该系统应该允许使用一组定制的编码工具，其不对应于任何预定编码外形。
该系统应该利用已经建立的一个控制封包，并避免需要建立额外关联。
该系统应该兼容于实时应用的传输协议，如实时传输协议(real-time transport protocol，RTP)，其在1996年1月规定于RFC1889中：“RTP：用于实时应用的传输协议”。
实时传输协议(RTP)设计为能够在多点播送或者单播上进行实时数据传输的弹性协议。这一协议已经广为开发并大量用做发送实时(或近似实时)的多媒体数据流。RTP不涉及实时服务的资源保留(resourcereservation)，并且不保证实时服务的服务品质。由控制协议(controlprotocol，RTCP)加强数据运输，从而能够以一种可比于(scalable to)大型多点播送网络的方式来监视数据交递，并且提供最小限度的控制和识别功能。
RTP是一种因特网标准轨迹(track)协议，其可提供具有实时特性的点对点交递数据的服务，例如交互式音频和视频。那些服务则包括有效载荷类型识别、序列编号、时间戳记和传递监控。
RTP主要设计为满足多方多媒体会议的需要而且也可用于数据的储存、交互分布式仿真(interactive distributed simulation)、活动标记(徽标)、以及控制和测量应用。
该RTP控制协议(RTCP)用于监控服务品质并在会议进行当中传送关于参与者的信息。
然而，以前没有用RTP来提供一种机制，用于为流式视频应用来指定编码工具。
本发明提供一种具有上述优点和其它优点的系统。
发明内容
本发明涉及一种用于流式视频编码的控制封包格式。
本发明的视野超越了MPEG-2原理，并回归MPEG-4中有弹性的最初观点与原理。在开发后，可望MPEG-4解码器(和相应的编码器)是有弹性的并因此而具有可变化的性能。数字信号适度退化(gracefuldegradation)的概念和所有接收器(不尽相同)的模型将可被接受，并且将改变内部操作的旧意义。
因此，本发明提出创建一种机制，用以允许发信号或者发送器和接收器之间握手，从而发送器能够通知这些接收器，其使用了MPEG-4中的哪些工具来对某个给定视频信号进行编码。为确保MPEG-4视频对于不同应用的弹性，本发明对MPEG-4视频编码工具的结构提出了MPEG-4视频特定控制封包。可沿这个视频数据流向前传送这个封包。例如集中于实时协议(RTP)。能够为不同系统层，例如经由描述符(descriptor)的MPEG-2系统，达到一个类似目标。
尤其是，一个编码工具封包可以根据下列一项或多项内容而指明一个视频流的编码状态：是否使用了可扩展性(scalability)，如果是，那么使用了何种类型的可扩展性；是否使用了8位编码；是否使用了alpha平面编码，如果是，那么使用了何种类型的alpha平面编码；是否使用了错误～弹性(error-resilient)的编码工具，如果是，那么使用了何种类型的错误～弹性编码工具；是否使用了交错编码(interlaced coding)；是否使用了子画面编码(sprite coding)，如果如此，那么使用了何种类型的子画面编码；是否使用了B-VOP编码，如果如此，那么是否使用直接模式编码；是否使用了DC和/或AC内部预测(intra DC and/or ACprediction)，如果如此，那么使用了何种类型的预测；是否使用了高级预测(advanced prediction)，如果如此，那么使用了何种类型的高级预测；是否使用了四分之一像素(quarter pixel)编码；是否使用了整体运动(global motion)补偿；以及是否使用了形状适合(shape-adaptive)的DCT。
因此本发明允许使用一组定制的编码工具，该编码工具并不对应于任何预定的无弹性的编码外形。
附图简述
图1说明一个编码工具结构地图(Coding-Tool Configuration Map，CTCM)封包，其显示根据本发明而将视频流解码所需的工具。
图2说明根据本发明的一种MPEG-4视频CTCM有效载荷格式。
图3说明根据本发明所进行的从编码器到解码器之间的视频封包和CTCM封包的通信。发明详述
本发明涉及一种用于流式视频编码的控制封包格式。
I.可选的MPEG-4视频特定控制封包
虽然MPEG-4视频可广泛用于因特网上各种服务，包括实时视频数据流、随选视频、多点播送、单播、等等，但例如由于大量可能的网络类型，MPEG-4视频所粗略制定的外形不能满足这些应用的需求。
本发明通过沿着已编码视频封包而传送一个编码工具结构地图给使用者，以便提供一组订制的不需对应于任一预定外形的编码工具，从而解决了这个问题。完成此任务的一个方法是传送这样的一个结构地图，如MPEG-4视频特定RTCP控制封包。RTCP是放置这样一个控制封包的合理位置，因为它已经建立并且无需创建额外关联。同样，总是在传输开始时或者以某种更不频繁的模式来建立这个结构，因此RTCP间隔(例如上述RFC1889所指定的)非常适合于这一MPEG-4视频特定的RTCP控制封包。该RTCP间隔是复合RTCP封包传输之间的时间。一般而言，将多个RTCP封包作为一个在基础协议(undeflying protocol)的单一封包内的复合RTCP封包而加以传送；这由每个RTCP封包的固定标题(header)中的长度字段所实现。
接下来指定一个MPEG-4特定的RTCP控制封包，称之为“编码工具结构地图”(CTCM)封包。CTCM封包的目的是通知MPEG-4视频解码器，就(解码器)来说，编码工具包括在视频对象层(Video Object Layer，VOL)位流的封包里。可以选择性地选用由MPEG-4发送器所支持的MPEG-4视频特定控制封包。尤其，该封包不应做为外形MPEG-4VOL位流之用。在这样的情况下，视频解码器必须使用MPEG-4视觉(visual)所提供的外形定义。也可以以其它相关协议来传送这个结构数据，例如会议描述协议(Session Description Protocol，SDP)、会议布告协议(Session Announcement Protocol，SAP)或者实时流动协议(Real TimeStreaming，RTSP)，等等。
II.编码工具结构地图(CMCT)封包
图1说明一种编码工具结构地图(CTCM)封包，其显示了用于根据本发明而解码视频位流的所需工具。
如同在图例105中所示，CTCM封包100包括RTP版本字段110、填充字段(padding filed)120、外形指示符字段130、有效载荷类型字段140、长度字段150、SSRC字段160、和有效载荷字段170。
在102展示了一种表示每个字段位数的标度。对各字段所作的位的分配仅为示例，也可使用不同的分配。
封包100显示了用于非外形位流(PI＝0)的视频流解码的所需工具。
这些字段V、P、长度和SSRC定义于RFC1889的RTP规格中。
尤其是：
(1)版本(V)：2位。这个字段识别RTP版本。
(2)填充(P)：1位。如果设置这个填充位，则该封包最后含有一个或多个额外的填充八位位组，其不是有效载荷的一部分。
(3)外形指示符(PI)显示长度为5位，虽然可能有其它实施方式。一个外形是为特定应用所指定的一组工具。PI识别MPEG-4视频位流的外形如下：
0：无外形流(Non-profile stream)
1：短标题流(Short header stream)
2：简单外形(Simple Profile)
3：核心外形(Core Profile)
4：主要外形(Main Profile)
5：高级实时简单外形(Advanced Real-Time Simple Profile)
6：高级编码效率外形(Advanced Coding Efficiency Profile)
7-63：保留
仅将已有外形分配到上面定义的PI字段。然而，应认识到将来可分配其它开发的外形。
尽管字段“PI”表示外形，注意可能有相同外形的的各种层次(level)。例如，对于简单外形(PI＝2)，有层次1、2和3(参见MPEG-4规格)。层次指定于视频对象标题中。
此外，对无外形位流(PI＝0)而言，根据本发明提供CTCM数据，以表明使用哪些编码工具。对外形化位流而言，由外形指定编码工具。PI＝1为基准线(baseline)H.263外形(在MPEG-4中称为短标题)。PI＝5和PI＝6则在MPEG-4中版本2规格作出规定。
(4)有效载荷类型(PT)：8位。这个字段识别RTP有效载荷格式，并根据应用而决定其解释。“RTCP_CTCM”根据本发明指定CTCM有效载荷。
有效载荷/封包型式(PT)定义为一个8位识别符，其值对于MPEG-4编码工具外形地图为常数。如图1所示，将配置一种RTCP有效载荷类型给这个新封包格式。
(5)可选择将单一扩展(extension)附加到RTP数据(有效载荷)标题。标题扩展包含有16-位“长度”字段，其计数该扩展中32位字的数目(例如在本例中有效载荷170有两个字)。
(6)同步源(synchronization source，SSRC)是RTP封包串的来源，由RTP标题中的一个32位数字SSRC识别符来识别，由此与网络地址无关。来自一个同步源的所有封包组成相同时序和序列数目空间的部分，所以一个接收器利用同步源来将封包归类以便回播。同步源的例子包括一个封包流的发送器，该封包流得自单一的信号源，例如一个话筒或者一个照相机、或RTP混合器。
结合图2来进一步讨论有效载荷字段170。
图2说明一种根据本发明的MPEG-4视频CTCM有效载荷格式。
如图例200所描述有效载荷字段170包含一个可扩展性(scalability)识别位字段205、一个非8位编码标志(not 8-bit coding flag)210、一个alpha平面编码字段215、一个错误～弹性编码工具字段220、一个交错编码标志225、一个子画面编码标志230、一个B-VOP(双向预测视频对象平面，bi-directionally-predicted video object plane)编码标志235、一个DC/AC内部预测标志(intra DC/AC prediction flag)240、一个高级预测标志245、一个四分之一像素编码标志250、一个整体运动补偿标志255、一个形状适合的DCT(离散余弦转换)标志260、以及一个保留的位字段265。
所示的这一格式仅为一个示例，因为对于本领域技术人员而言，各种各样的改进是显而易见的。
在所述具体实施例中，MPEG-4视频CTCM有效载荷长度为32位。下面定义MPEG-4视频CTCM有效载荷的句法与语义。表示对应的MPEG-4专用名词。在MPEG-4解码器中规定或设置SIB、QPCF、GMCF和SADCTF。
可扩展性(scalability)识别位(SIB)(3bits)：
000：无可扩展性(scalability)
001：时间可扩展性(temporal scalability)
010：空间可扩展性(spatial scalability)
011：微粒度可扩展性(fine granularitys calability)
100：保留
101：保留
110：保留
111：保留
非8位编码标志(N8)(1位)：
0：没有8位编码(not_8_bit＝1)
1：有8位编码(not_8_bit＝0)
alpha平而编码(APC)(2位)：
00：没有alpha平面编码(video_object_layer_shape＝“00”)
01：二进制alpha平面编码(video_object_layer_shape＝“01”)
10：灰色-层次alpha平面编码(video_object_layer_shape＝“10”)
11：禁用
错误～弹性编码工具(ERCT)(3位)：
000：没有RVLC，没有数据划分，没有视频封包(reversible_vlc＝0，data_partitioned＝0，resync_marker_disable＝0)
001：没有RVLC，没有数据划分，具有视频封包(reversible_vlc＝0，data_partitioned＝0，resync_marker_disable＝1)
010：没有RVLC，有数据划分，没有视频封包(reversible_vlc＝0，data_partitioned＝1，resync_marker_disable＝0)
011：没有RVLC，有数据划分，有视频封包(reversible_vlc＝0，data_partitioned＝1，resync_marker_disable＝1)
100：有RVLC，有数据划分，没有视频封包(reversible_vlc＝1，data_partitioned＝1，resync_marker_disable＝0)
101：有RVLC，有数据划分和视频封包(reversible_vlc＝1，data_partitioned＝1，resync_marker_disable＝1)
110：禁用
111：禁用
交错编码标志(ICF)(1位)：
0：没有交错编码工具(交错＝0)
1：具有交错编码工具(交错＝1)
子画面编码标志(SCF)(2位)：
00：没有子画面编码(sprite_enable＝0)
01：具有静态子画面编码(sprite_enable＝1和low_latency_sprite_enable＝0)
10：具有线上(on-line)子画面编码(sprite_enable＝llow_latency_sprite_enable＝1)
11：保留
B-VOP编码标志(BVCF)(2位)：
00：B-VOP以直接模式编码
01：B-VOP以非直接模式编码
10：没有B-VOP(VOP_coding_type！＝“B”)
11：禁用
DC/AC内部预测标志(IDAPF)(2位)：
00：有DC和AC二者的预测(ac_pred_flag＝1)
01：有DC预测，没有AC预测(ac_pred_flag＝0)
10：有dc_scaler(标度)＝8的DC预测，没有AC预测(ac_pred_flag＝0)
11：没有DC/AC预测并且dc_scaler＝8。
高级预测标志(APF)(2位)：
00：无高级预测
01：无OBMC(obmc_disable＝1)的高级预测
10：有OBMC(obmc_disable＝0)的高级预测，
11：保留
四分之一像素编码标志(QPCF)(1位)：
0：无四分之一像素编码
1：有四分之一像素编码
整体运动补偿标志(GMCF)(1位)：
0：无GMC
1：有GMC
形状适合的DCT标志(SADCTF)(1位)：
0：无形状适合的DCT
1：具有形状适合的DCT
保留位(RB)(11位)：
这是用于未来的可能扩展和应用的保留字段。
在流式视频应用中，例如可使用所建议的编码工具结构地图(CTCM)。流式视频这一术语一般用于网络(尤其是因特网)上所进行的单向的基于封包的压缩视频位流的传输。
因特网是共享的数据报(datagram)网络。在因特网上传送的封包经常经历无法预测的延迟和抖动(jitter)。但对于传输和重放而言，流式视频应用需要精确的计时。实时传输协议(亦即RTP)提供了时间戳记、序列编号、以及其它机制，用以解决时序问题。这些协议也针对数据报网络上的数据，提供了封包遗失检测、点对点传输的安全性和内容识别的支持(例如UDP-用户数据报协议/IP)。实际上，通常在应用中实施实时传输协议。许多问题(例如封包恢复和拥塞控制)必须在应用层次上解决。
在流式视频应用中，压缩的视频位流如同运输封包的有效载荷般传送。一般而言，对于各个传输封包，传输标题之后紧跟着CODEC(例如H.261、H.263和MPEG-4)有效载荷标题，而其后又跟着若干字节的CODEC压缩位流。如上所述，CTCM能够作为一个MPEG-4视频特定的RTCP控制封包般地传送。
所以，本发明延伸了一种实时传输协议，用以指定为视频位流编码所使用的编码工具。
注意，CTCM封包的控制数据/字段能够由一个特定的RTP封包或者一个RTCP封包所载送。这样的封包应该反复传送，以使新的用户(例如用户/终端)同步。将MPEG-4视频数据作为RTP数据封包(具有MPEG-4视频类型)来传送。
可将CTCM数据作为RTCP或特定的RTP封包中的有效载荷加以传送。
图3说明了根据本发明，从编码器到解码器之间的视频封包和CTCM封包的通信。
编码方(encoding side)300包括视频编码器305，用于通过一个或多个可用编码工具来接收和编码输入的视频信号。编码工具标识符/编码器310与视频编码器305通信，以提供图1所示的CTCM封包100。尤其是，对有关编码工具进行句法检查以决定使用哪些编码工具。一个检查表(look-up table)或是类似功能块310可用于这一目的。
例如，一个检查表可能将MPEG-4句法“交错＝0”关联于对CTCM封包字段值“ICF＝0”。
此外，可能用编码工具使视频序列随时间而改变。所以可基于用户设置(例如每个15个框架)而在特定时间更新CTCM封包。
在多路复用器(mux)315，一个CTCM封包或多个封包通过编码视频封包(例如视频位流)而进行多路复用操作，例如其符合MPEG-4标准并越过网络350而与解码方360通信。
网络350基本上可以包括任何类型的通信网络，包括计算机网络(例如因特网)和/或者宽频通信网络(例如卫星或者电缆的电视网络、电话链接)等等。
解码方360包括用户/用户(user/subscriber)终端370，其具有使从网络350接收到的视频封包和CTCM封包得到多路分配的多路分配器(demux)375。当提供CTCM封包给CTCM解码器380时，即提供视频封包给视频解码器385。而CTCM解码器380将解码有关字段，以确定视频解码器305用以将这些视频封包编码的编码工具。尤其是，一个检查表可以用在功能380，以相关于具有切题编码工具句法的CTCM封包的字段。
例如，一个检查表可以将CTCM封包字段值“ICF＝0”关联于MPEG-4句法“交错＝0”。
将编码工具信息作为CTCM数据提供给视频解码器385，以便通过指定的编码工具，将来自多路分配器375的视频封包解码。最后，视频解码器385解码视频封包，从而向输出装置390(如电视或者视频监视器)提供信号。
终端370可以代表终端族群(population)中的一个范例用户终端，其接收视频封包和CTCM的封包，和/或访问网络350。
用户终端370可包括个人计算机、交互式电视解码盒、有线电视调制解调器(cable modem)、无线电话(wireless telephone)、便携式“个人数字助理”，或是其它能够访问网络350的装置。
另外，还可经由一个独立的通信信道提供CTCM封包而非经编码的视频封包，从而避免视频封包与CTCM封包的多路分配。
现在应该理解，本发明提供了一种新颖的编码工具结构地图(CTCM)。根据本发明，通过将CTCM当成MPEG-4视频特定控制封包即可构成适当应用层次下的视频解码器，从而使视频编码工具能最好地服务于其应用。本发明允许使用一组无需对应于某一预定外形的定制编码工具。从而可选择就特定应用而言最便利的工具，而无需使用一个外形中的所有编码工具——其可能是低效和不必要的。
例如，在流式视频应用方面，希望使B-VOP改进编码效率。然而，预定外形定义(核心外形，PI＝3)也需要允许B-VOP使用二进制形状编码(shape coding)。然而，目前对于流式视频应用而言，不需要二进制形状编码。此外，二进制形状编码的电路建造起来很昂贵。因此，本发明允许创建一组订制的编码工具，其包括B-VOP而不包括二进制形状编码。
在其它应用中，在便利流式视频的实施方面(例如用于IP网络上的视频多点播送)，CTCM概念特别有用。
虽然，结合各种特定的具体实施例而描述了本发明，但是本领域技术人员会认识到可以做许多适应和修正，而不违背在权利要求书中所提出的本发明的精神和范围。
Claims (26)
1.一种方法，用于给至少一个解码器传送信号，以便识别用来为一视频流编码的编码工具，该方法包含步骤：
组合至少一个编码工具封包，该封包指定使用哪一个编码工具编码该视频流；并且
提供该至少一个编码工具封包给该解码器；
其中该解码器适用于处理该至少一个编码工具封包，以决定使用哪一个编码工具来编码该视频流，和依此将该视频流解码。
2.如权利要求1的方法，其中：
透过共有网络，从解码器到解码器，提供至少一个编码工具封包和视频流。
3.如权利要求1的网络，其中：
透过网络，将该至少一个编码工具封包与视频流做多任务，以便与解码器通信。
4.如权利要求1的方法，其中：
透过网络，提供该视频流给解码器，如流式视频。
5.如权利要求4的网络，其中：
网络包括共享的数据报网络。
6.如权利要求1的网络，其中：
透过网络，该视频流对解码器多点播送。
7.如权利要求1的方法，其中：
根据实时传输协议，提供至少一个编码工具封包。
8.如权利要求1的方法，其中：
用于编码该视频流的编码工具，符合MPEG-4标准。
9.如权利要求1的方法，其中至少一个编码工具封包指定该视频流的一个编码状态，根据下述中至少一个：
是否使用可扩展性(scalability)，如果是，哪一个类型；
是否使用8位编码；
是否使用最初平面编码，如果是，哪一个类型；
是否使用错误～弹性的编码工具，如果是，哪一个类型；
是否使用交错编码；
是否使用子画面编码(sprite coding)，如果是，哪一个类型；
是否使用B-VOP编码，如果是，是否使用直接模式编码；
是否intra直流和/或交流预测，如果是，哪一个类型；
是否使用高级预测(Advanced Prediction)，如果是，哪一个类型；
是否使用四分之一像素编码；
是否使用球状运动补偿；和
是否使用形状-适合DCT。
10.如权利要求1的方法，其中：
通过提供其中字段，根据相对应的编码工具的句法元素，组成至少一个编码工具封包，其中使用该编码工具将该视频流编码。
11.如权利要求10的方法，其中：
使用检查表，提供这些字段如同一个相对应句法元素的功能。
12.如权利要求1的方法，其中：
该视频流是无外形的；并且
至少一个编码工具封包指定一组定制的编码工具。
13.一种解码方法，用以确认将视频流编码的编码工具，包括步骤：
在解码器接收到该视频流；
在解码器，回复至少一个编码工具封包，其可以指定使用何种编码工具将该视频流做编码；并且
处理至少一个回复的编码工具封包，因而以决定使用何种编码工具将该视频流做编码与解码。
14.如权利要求13的方法，其中：
透过共有网络，提供从解码器到解码器至少一个编码工具封包和视频流。
15.如权利要求13的网络，其中：
透过网络，将至少一个编码工具封包和视频流做多任务，以和解码器通信。
16.如权利要求13的方法，其中：
透过网络，提供该视频流给解码器，当成流式视频。
17.如权利要求16的网络，其中：
网络包括共享的数据报网络。
18.如权利要求13的网络，其中：
透过网络，该视频流对解码器多点播送。
19.如权利要求13的方法，其中：
根据实时传输协议，提供至少一个编码工具封包。
20.如权利要求13的方法，其中：
用于将该视频流编码的编码工具符合MPEG-4视频标准。
21.如权利要求13的方法，其中至少一个编码工具封包指定一个视频流的编码状态，根据至少：
是否使用可扩展性(scalability)，如果是，哪一个类型；
是否使用8位编码；
是否使用alpha平面编码，如果是，哪一个类型；
是否使用错误～弹性编码工具，如果是，哪一个类型；
是否使用交错编码；
是否使用子画面编码，如果是，哪一个类型；
是否使用B-VOP编码，如果是，是否使用直接模式编码；
是否使用DC和/或AC内部预测(intra DC/AC prediction)，如果是，哪一个类型；
是否使用高级预测，如果是，哪一个类型；
是否使用四分之一像素编码；
是否使用球状运动补偿；和
是否使用形状-适合的DCT。
22.如权利要求13的方法，其中：
该至少一个编码工具封包包括其中字段，其根据相对应的将该视频流编码的编码工具的句法元素，而组成。
23.如权利要求22的方法，其中：
一个检查表根据相对应的句法元素，而决定使用哪个编码工具，将视频流编码。
24.如权利要求13的方法，其中：
这个视频流是无外形的；并且
至少一个编码工具封包指定一组定制的编码工具。
25.一种装置，对解码器发出信号，以识别用来对视频流编码的编码工具，包括：
组成至少一个编码工具封包的工具，其指定何种编码工具来将该视频流编码；并且
提供该至少一个编码工具封包给解码器的工具；
其中该解码器适用处理该至少一个编码工具封包，来决定使用何种编码工具来将该视频流编码，和与此解码一致地将该视频流解码。
26.一种解码器装置，用以识别将视频流编码的编码工具，包括：
在解码器接收该视频流的工具；
在解码器回复至少一个编码工具封包的工具，其指定何种编码工具来将该视频流编码；并且
处理至少一个以回复的编码工具封包的工具，以决定使用何种编码工具来将该视频流编码，和以此解码一致地将该视频流解码。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16534299P | 1999-11-12 | 1999-11-12 | |
| US60/165,342 | 1999-11-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1409929A true CN1409929A (zh) | 2003-04-09 |
Family
ID=22598517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN00817070A Pending CN1409929A (zh) | 1999-11-12 | 2000-10-31 | 提供一组定制的编码工具的mpeg－4视频特定控制封包 |
Country Status (8)
| Country | Link |
|---|---|
| EP (1) | EP1230802B1 (zh) |
| KR (1) | KR20020064899A (zh) |
| CN (1) | CN1409929A (zh) |
| AU (1) | AU1247701A (zh) |
| CA (1) | CA2391196A1 (zh) |
| DE (1) | DE60008016T2 (zh) |
| TW (1) | TW513892B (zh) |
| WO (1) | WO2001037573A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146212B (zh) * | 2006-09-11 | 2010-06-09 | 思华科技（上海）有限公司 | 视频点播网络的流媒体封包解包方法及系统 |
| CN101354697B (zh) * | 2008-09-10 | 2010-06-23 | 中国物品编码中心 | 物品编码解析方法及系统 |
| CN101986708A (zh) * | 2010-10-29 | 2011-03-16 | 北京中星微电子有限公司 | 一种视频解码方法及解码器 |
| CN113170204A (zh) * | 2018-12-13 | 2021-07-23 | Sk电信有限公司 | 编码工具设置方法和图像解码设备 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100442473B1 (ko) * | 2002-05-30 | 2004-07-30 | 주식회사 클릭티브이 | 네트워크를 통한 디지털 동영상제어장치 |
| US7586938B2 (en) | 2003-10-24 | 2009-09-08 | Microsoft Corporation | Methods and systems for self-describing multicasting of multimedia presentations |
| KR101244308B1 (ko) | 2003-12-08 | 2013-03-18 | 삼성전자주식회사 | 동영상 파일의 암호화 방법 및 그를 이용한 디지털 저작권관리방법 |
| CN1981531B (zh) | 2004-05-04 | 2012-07-04 | 高通股份有限公司 | 构建用于时间可分级的双向预测帧的方法和装置 |
| JP4828906B2 (ja) | 2004-10-06 | 2011-11-30 | 三星電子株式会社 | デジタルオーディオ放送でのビデオサービスの提供及び受信方法、並びにその装置 |
| KR100760259B1 (ko) * | 2005-12-01 | 2007-09-19 | 한국전자통신연구원 | Ｍｐｅｇ-２ 전송 스트림 패킷으로 분할 전송된 다중프로토콜 캡슐화 패킷의 재조합 장치 및 그 방법 |
| CN118250478A (zh) | 2018-12-13 | 2024-06-25 | Sk电信有限公司 | 视频编码/解码设备执行的方法和提供视频数据的方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0614313A (ja) * | 1992-06-29 | 1994-01-21 | Canon Inc | 画像処理装置 |
| US5802315A (en) * | 1995-09-04 | 1998-09-01 | Sharp Kabushiki Kaisha | Picture reproducing apparatus |
| WO1998006221A1 (en) * | 1996-08-05 | 1998-02-12 | Matsushita Electric Industrial Co., Ltd. | Data transmitter, data receiver, processor, equipment managing device, equipment managing system, data transmitting-receiving system, and medium |
-
2000
- 2000-10-31 EP EP00974047A patent/EP1230802B1/en not_active Expired - Lifetime
- 2000-10-31 KR KR1020027006060A patent/KR20020064899A/ko active IP Right Grant
- 2000-10-31 DE DE60008016T patent/DE60008016T2/de not_active Expired - Fee Related
- 2000-10-31 CN CN00817070A patent/CN1409929A/zh active Pending
- 2000-10-31 CA CA002391196A patent/CA2391196A1/en not_active Abandoned
- 2000-10-31 WO PCT/US2000/029970 patent/WO2001037573A1/en active IP Right Grant
- 2000-10-31 AU AU12477/01A patent/AU1247701A/en not_active Abandoned
- 2000-11-02 TW TW089123112A patent/TW513892B/zh not_active IP Right Cessation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146212B (zh) * | 2006-09-11 | 2010-06-09 | 思华科技（上海）有限公司 | 视频点播网络的流媒体封包解包方法及系统 |
| CN101354697B (zh) * | 2008-09-10 | 2010-06-23 | 中国物品编码中心 | 物品编码解析方法及系统 |
| CN101986708A (zh) * | 2010-10-29 | 2011-03-16 | 北京中星微电子有限公司 | 一种视频解码方法及解码器 |
| CN113170204A (zh) * | 2018-12-13 | 2021-07-23 | Sk电信有限公司 | 编码工具设置方法和图像解码设备 |
| CN113170204B (zh) * | 2018-12-13 | 2024-04-16 | Sk电信有限公司 | 编码工具设置方法和图像解码设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW513892B (en) | 2002-12-11 |
| DE60008016T2 (de) | 2004-09-16 |
| DE60008016D1 (de) | 2004-03-04 |
| AU1247701A (en) | 2001-05-30 |
| CA2391196A1 (en) | 2001-05-25 |
| KR20020064899A (ko) | 2002-08-10 |
| EP1230802A1 (en) | 2002-08-14 |
| EP1230802B1 (en) | 2004-01-28 |
| WO2001037573A1 (en) | 2001-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3243332B1 (en) | Session description information for over-the-air broadcast media data | |
| US20230283863A1 (en) | Retrieving and accessing segment chunks for media streaming | |
| TWI279742B (en) | Method for coding sequences of pictures | |
| US9332254B2 (en) | Coding, storage and signalling of scalability information | |
| KR101029854B1 (ko) | 스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합 | |
| CA2650151C (en) | An iptv receiving system and data processing method | |
| CN1969562A (zh) | 在无线通信系统中的音频和视频数据的同步 | |
| EP1538817A1 (en) | Moving picture streaming file, method and system for moving picture streaming service in a mobile communication terminal | |
| CN1792095A (zh) | 经活动图像编码标准网络的直接实时协议传送方法和系统 | |
| US20110274180A1 (en) | Method and apparatus for transmitting and receiving layered coded video | |
| CN101601305A (zh) | 用于可伸缩多媒体的自适应路径的通用指示 | |
| CN101578884A (zh) | 提供和使用译码的媒体流的互操作点的预定信令的系统和方法 | |
| Kim et al. | A study on feasibility of dual‐channel 3DTV service via ATSC‐M/H | |
| CN1620816A (zh) | 图像/视频编码器和/或解码器中的编码变换系数 | |
| CN1863313A (zh) | H.264多媒体通信的服务质量监测方法 | |
| US8799940B2 (en) | Method of coding a scalable video stream destined for users with different profiles | |
| TW201127062A (en) | Multiview video coding over MPEG-2 systems | |
| CN106303661B (zh) | 一种直播客户端实现自适应屏幕旋转的方法及系统 | |
| JP4549610B2 (ja) | 通信システム、通信方法、送信装置および方法、受信装置および方法、並びにプログラム | |
| CN1801885A (zh) | 用于执行画中画功能的多媒体信号匹配系统和方法 | |
| CN1409929A (zh) | 提供一组定制的编码工具的mpeg－4视频特定控制封包 | |
| KR101861929B1 (ko) | 관심 영역을 고려한 가상 현실 서비스 제공 | |
| US7020205B1 (en) | Sending progressive video sequences suitable for MPEG and other data formats | |
| KR101008753B1 (ko) | 멀티미디어 데이터 스트리밍 시스템 | |
| CN115484476A (zh) | Vr直播视频的传输方法、装置以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| C20 | Patent right or utility model deemed to be abandoned or is abandoned |