CN1147079C - 用于将编码数据解复用的设备 - Google Patents

用于将编码数据解复用的设备 Download PDF

Info

Publication number
CN1147079C
CN1147079C CNB998011584A CN99801158A CN1147079C CN 1147079 C CN1147079 C CN 1147079C CN B998011584 A CNB998011584 A CN B998011584A CN 99801158 A CN99801158 A CN 99801158A CN 1147079 C CN1147079 C CN 1147079C
Authority
CN
China
Prior art keywords
data
demultiplexing
mpeg
access unit
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB998011584A
Other languages
English (en)
Other versions
CN1274506A (zh
Inventor
L���ն���
L·赫尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1274506A publication Critical patent/CN1274506A/zh
Application granted granted Critical
Publication of CN1147079C publication Critical patent/CN1147079C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

本发明涉及一个用于将对应于多媒体对象的编码数据解复用的设备。该数据被组成为一个被分为可单独访问部分的比特流-例如对于遵循MPEG-4标准数据流的存取单元-该可单独访问部分被再分为更小的数据实体-在所述例子中为SL-分组-其中所有的解复用操作被施于其上。所述操作主要是对于在解复用器设备的输入端接收的所有数据：读取并格式化缓存；析取一个存取单元的连续段；渐进地再建一个完整存取单元；将每一个完整的存取单元传送到一个输出缓存或文件。

Description

用于将编码数据解复用的设备
发明领域
本发明涉及一种将能以相应于多媒体对象的位流形式，更具体地，以与运动图像专家组(MPEG-4)标准兼容的位流形式使用，并被再分为所述多媒体对象的编码表示的可单独访问部分的编码数据解复用的设备。
背景技术
MPEG-4标准提供了一种用以表示自然的或原始合成的音频-视频对象(称为AVO)的标准方式，用以将它们组合在一起以产生形成音频-视频场景的复合AVO，以多路复用和同步与AVO有关的数据，并以在接收机端产生或再建的音频-视频场景交互。
如图1所示，由在例如在下述文件中所述的MPEG-4系统所接收的音频-视频场景通常包括几个以分层形式构成的AVO，所述文件为R.Koenen等人所著的“MPEG-4：contex and objectives(背景和目的)”，Signal Processing(信号处理)：Image Communication(图象传输)9(1997)，1997年5月，n°4，pp.295-304。这种分层结构的叶是原始的AVO，例如，在所示的音视频表示例子中为：背景，一个正在谈话的人的图画，与该人有关的声音，在场景中显示的一个3D对象，等(任何类型的文本，曲线，这些可以是二维或三维)。图1也原理性显示了视频和音频合成器如何在场景被提供和显示给用户之前对它进行处理，而用户也有可能与其进行交互。
与这些AVO有关的数据在一个或多个基本流(ES)中传输，数目由他们所要求的传输服务的质量和一些其他参数决定。在图2中原理性显示的所谓MPEG-4系统层模型提供一个MPEG-4终端的所有实现都可以基于的共同模型。如图3所示，图3中显示了诸如一个MPEG-4终端(在接收机端)的主要部件，以TransMux流形式的来自一个网络或一个存储介质(“传输/存储介质”，在图2中；“网络层”，在图3中)的数据流必须被适当地解复用以恢复基本流。考虑到这些基本流的解压缩，为了再建初始AVO(原始AV对象)，这些基本流传到适合的解码器。所解码的AVO，随着给出关于所述场景成分信息的场景描述指示，被用于构成和再现其作者所)以给定层次，交互形式)描绘的场景。另外对于作者所允许的程度，上行流(用户事件，类请求，…)被发送回网络层以与该场景交互。
更精确地，图2中所示的MPEG-4终端为一个包含下面三层的多层结构：TransMux层(传输复用层)21，Flexmux层(多用性复用层)22，Access Unit层(存取单元层)23。
该TransMux层21指明任何适于传输MPEG-4数据流(从而也就允许MPEG-4用于一个宽范围的操作环境)的已有或将来潜在的多路复用功能，该层包括一个保护子层和一个多路复用子层(虽然在TransMux例子中可能不能分别标识这些子层，保护子层更主要提供误差保护和适用于给定网络或存储介质的误差保护工具)。该层在MPEG-4语境中没有定义，实际上是到网络或存储介质的接口并允许提供与所请求的服务质量(QoS)相匹配的传输服务。
由MEPG-4完全指定说明的FlexMux层22包括一个用于插入数据(一个或多个基本流插入一个FlexMux流中)和允许标识用于已被多路复用的数据的不同信道的多用性工具。
Access Unit层28考虑到在基本流中的存取单元(视频或音频帧，场景描述指令，…)的标识和时基的恢复。因此它既传送时基信息也传送这些基本流的时基标识存取单元。然而，可注意到终端的MPEG-4解复用器的每一层必须连续地处理整个流。
发明内容
本发明的第一目的是提出一个这种解复用器的更通用实现方案，并允许与其后的解码器完整地集成。
为此，本发明涉及一种诸如在说明书的导言中所述的设备，而且该设备的特征更具体地在于，在解码操作之前在该设备中实施的所有解复用操作，在初始化所述解复用设备和将所述部分进一步再分为更小的基本数据实体之后，随后被提供给所述小数据实体。
更确切地，被提供给该连续数据结构的每一个的解复用例程的主要步骤如下：
(a)  读取并格式化缓存；
(b)  析取一个存取单元的段；
(c)  测试是否可以由前面析取的段完整再建一个存取单元；
(d)  将每一个完整的存取单元传送到一个输出缓存或文件；
重复步骤(a)至(d)直至在解复用器的输入端没有出现数据为止。
本发明的另一个目的是，更具体地，提供一个允许维持一个完全服从MPEG-4的体系结构的解复用器。
为此目的，本发明涉及一个解复用设备，其中所述比特流遵循MPEG-4标准并被再分为可单独存取的部分，即所谓的存取单元，所述解复用操作被连续提供给更小的被称为这些存取单元的SL分组的数据段。
附图简述
本发明的特征和优点将以结合下面描述和附图的形式更详细地解释，其中：
图1显示了一个基于对象的多媒体场景的示例，如根据MPEG-4标准加工的；
图2示出了一个MPEG-4终端结构，它允许在传输和/或存储相应的MPEG-4编码数据后处理和再建一个音视频交互场景；
图3显示了一个在接收机端的MPEG-4终端的主要部件；
图4示出了一个根据本发明，在解复用器中实施的步骤；
具体实施方式
虽然本发明可以被实施于一个更宽范围的应用领域，但下面将以MPEG-4标准为例进行描述。根据MEPG-4说明，多媒体对象的标识可以在独立的基本流中由源实体传送到目的实体。一个被称为同步层，或 Syn  Layer，或SL的特定层允许采用基本流数据来通信并因此也提供定时和同步信息。该层规定了每一基本流的封装，即将每一基本流分为一个或多个存取单元，该存取单元为一个多媒体对象的编码表示的单独可访问部分，并且是定时信息可施加于其上的数据实体。一个存取单元可以自己分为所谓SL分组的更小基本数据实体，每个SL分组包括一个可配置头标和一个有效载荷。
在至今所提出的实现方案中，MPEG-4解复用器的每一层连续处理整个流，诸如在欧洲专利申请No.98400160.2(PHF98505)中所述的。根据本发明，如果对于MEPG-4解复用器所接收的数据的每一片执行解复用操作，则可以获得一个具有实时性能的MPEG-4终端。基本地，图4所示出的解复用例程的不同步骤如下所述：
(a)  初始化TranMux和FlexMux音视频对象；
(b)  读取一个大小与一个有效载荷长度相对应的缓存(例如，对于一个MPEG-2传输流分组的有效载荷长度，该大小为184字节)；
(c)  然后，所述缓存(已被读取)被该TransMux层格式化为Flex Mux  Protocol  Data  Unit(FMPDU)；
(d)  该FlexMux层接收所述FMPDU并提取相应的Synchronization  Layer  Protocol  Data  Unit(或SLPDU，这样一个SLPDU通常表示一个存取单元的一个段，如上所述)；
(e)  下一个步骤所以测试：是否已有存取单元由一个前面所述SLPDU段完全再建？
(e1)如果一个存取单元仍未完全再建，则该MPEG-4将数据存入本地缓存并再启动对于另一个输入分组的处理过程；
(e2)如果已有一个完整的包括上述所有的SLPDUs的存取单元，则将其传送给一个输出缓存或写入文件。
然后，所述处理过程被再初始化直至在解复用器的输入端没有出现数据为止。
所述的解复用设备可以很容易地集成在一个可编程多媒体处理器中，诸如由Philips公司所生产的参考标号TM1000(TriMedia)所指定的处理器，在所述处理器上，其结构完全遵循MPEG-4标准。

Claims (2)

1.一种用于将编码数据解复用的设备，该编码数据可以以对应于多媒体对象的比特流的形式使用，并被再分为所述多媒体对象的编码表示的可单独访问部分，其特征在于，解码操作之前在该设备中实施的所有解复用操作在初始化该解复用设备和将所述部分进一步再分为更小的基本数据实体之后，被按照如下步骤应用于所述小数据实体：
(a)读取并格式化缓存；
(b)析取一个部分的所述实体；
(c)测试是否由前面析取的实体完整再建了一个部分；
(d)将每一个完整的部分传送到一个输出缓存或文件；
(e)重复步骤(a)至(d)直至在解复用器的输入端不再出现数据为止。
2.权利要求1的设备，其中，所述比特流遵循于MPEG-4标准并被再分为称作存取单元的可单独访问部分，所述解复用操作随后被应用于这些存取单元的被称为SL分组的更小数据段。
CNB998011584A 1998-07-17 1999-07-10 用于将编码数据解复用的设备 Expired - Fee Related CN1147079C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP98401820 1998-07-17
EP98401820.0 1998-07-17

Publications (2)

Publication Number Publication Date
CN1274506A CN1274506A (zh) 2000-11-22
CN1147079C true CN1147079C (zh) 2004-04-21

Family

ID=8235446

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB998011584A Expired - Fee Related CN1147079C (zh) 1998-07-17 1999-07-10 用于将编码数据解复用的设备

Country Status (6)

Country Link
US (1) US6606329B1 (zh)
EP (1) EP1042921A1 (zh)
JP (1) JP2002521882A (zh)
KR (1) KR100705992B1 (zh)
CN (1) CN1147079C (zh)
WO (1) WO2000004723A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735253B1 (en) 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US7143434B1 (en) 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
JP4389323B2 (ja) * 2000-02-29 2009-12-24 ソニー株式会社 シーン記述変換装置及び方法
US20010027468A1 (en) * 2000-03-09 2001-10-04 Sanyo Electric Co., Ltd. Transmission system, reception system, and transmission and reception system capable of displaying a scene with high quality
US20040125877A1 (en) * 2000-07-17 2004-07-01 Shin-Fu Chang Method and system for indexing and content-based adaptive streaming of digital video content
WO2002069643A1 (en) * 2001-02-27 2002-09-06 Koninklijke Philips Electronics N.V. Method and device for encoding mpeg-4 video data
EP1276323A1 (en) * 2001-07-13 2003-01-15 France Telecom Method for broadcasting multimedia signals towards a plurality of terminals
US7339992B2 (en) 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
JP2005527138A (ja) 2002-03-08 2005-09-08 フランス　テレコム 従属データストリームの送信方法
KR100729224B1 (ko) 2004-10-13 2007-06-19 한국전자통신연구원 확장된 멀티미디어 파일 구조, 멀티미디어 파일 생성 방법및 멀티미디어 파일 실행 방법
WO2006096612A2 (en) 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
WO2009126785A2 (en) 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
WO2009155281A1 (en) 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU701138B2 (en) * 1995-07-13 1999-01-21 General Instrument Corporation Transmission of high rate isochronous data in MPEG-2 data streams
JPH1174868A (ja) * 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置
EP0922360A4 (en) * 1997-04-07 1999-12-29 At & T Corp ADAPTIVE CONTROL ENABLING SYSTEM AND METHOD FOR INTERFACING WITH MPEG-CODED AUDIOVISUAL OBJECTS
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
ES2259817T3 (es) * 1997-10-17 2006-10-16 Koninklijke Philips Electronics, N.V. Metodo de encapsulado de datos en paquetes de transporte de tamaño constante.
WO1999038329A2 (en) 1998-01-27 1999-07-29 Koninklijke Philips Electronics N.V. Mpeg-4 systems compliant architecture
US10024740B2 (en) * 2013-03-15 2018-07-17 Nike, Inc. System and method for analyzing athletic activity

Also Published As

Publication number Publication date
KR20010024033A (ko) 2001-03-26
US6606329B1 (en) 2003-08-12
EP1042921A1 (en) 2000-10-11
JP2002521882A (ja) 2002-07-16
KR100705992B1 (ko) 2007-04-12
CN1274506A (zh) 2000-11-22
WO2000004723A1 (en) 2000-01-27

Similar Documents

Publication Publication Date Title
CN1147079C (zh) 用于将编码数据解复用的设备
CN1933590B (zh) 用于将分离的压缩视频和文本流同步的方法和装置
JP4392442B2 (ja) ＦｌｅｘＭｕｘストリームをストリーム形成、受信及び処理する装置及び方法
Haskell et al. Digital video: an introduction to MPEG-2
CN1146205C (zh) 在恒定大小的传送分组中封装数据的方法
US7188353B1 (en) System for presenting synchronized HTML documents in digital television receivers
CA2335256A1 (en) Terminal for composing and presenting mpeg-4 video programs
KR20100132985A (ko) 트랜스포트 데이터 스트림내에서 참조하는 유연성 있는 서브스트림
CN108924600A (zh) 直播数据的发送接收方法、装置及电子设备
CN102724559A (zh) 一种音视频编码同步方法和系统
US6292805B1 (en) System and method for processing object-based audiovisual information
ITTO20010930A1 (it) Sistema per la trasmissione di flussi informativi multimediali ad esempio per insegnamento a distanza.
CN101393760A (zh) 后期录音装置、以及再现装置和方法
JP2004519908A (ja) Ｍｐｅｇ４ビデオデータを符号化する方法及び装置
US7307553B2 (en) MPEG-4 encoding/decoding method, medium, and system
WO2007092891A2 (en) Methods and systems for picture rate reduction of stored video while under continuous record load
JPH10276407A (ja) ビデオ情報提供管理方法およびシステム
JPH104539A (ja) データ多重化方法及び多重データ再生装置
US6970514B1 (en) Signal processing device, signal processing method, decoding device, decoding method and recording medium
JP2001016582A (ja) 画像処理装置およびその方法
Puri et al. Overview of the MPEG Standards
US20080012737A1 (en) Method and apparatus for updating decoder configuration
MXPA99004572A (es) Sistema y metodo mejorado para procesar informacion audiovisual basada en objetos.
Lu et al. Mechanisms of MPEG stream synchronization
CN1610398A (zh) 一种多画面防篡改光盘直录系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee