CN1457602A - Mpeg－4视频数据的编码方法和装置 - Google Patents

Mpeg－4视频数据的编码方法和装置 Download PDF

Info

Publication number
CN1457602A
CN1457602A CN02800255A CN02800255A CN1457602A CN 1457602 A CN1457602 A CN 1457602A CN 02800255 A CN02800255 A CN 02800255A CN 02800255 A CN02800255 A CN 02800255A CN 1457602 A CN1457602 A CN 1457602A
Authority
CN
China
Prior art keywords
video
grouping
video data
data
data partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN02800255A
Other languages
English (en)
Other versions
CN1224263C (zh
Inventor
P·根特里克
B·尼佐特
Y·拉曼津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NXP BV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1457602A publication Critical patent/CN1457602A/zh
Application granted granted Critical
Publication of CN1224263C publication Critical patent/CN1224263C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于根据MPEG－4标准对由一个或多个比特流组成的视频数据进行编码的方法和装置。为了避免当将视频元素映射到系统元素中的任何问题，选择特定的对准/分段机制。根据这种机制，当利用对应于将包括在视频数据中的视频对象平面(VOP)分段为视频分组(VP)，以及将视频分组分段为数据分区(DP)的语法模式，对所述视频比特流进行编码时，视频数据分区被映射到一个或多个SL分组中(SL1、SL2、SL3、SL4...)，第一个视频数据分区(DP1)的开始总是被映射到SL分组的开始，并且传输第一个数据分区的最后一个SL分组包括分隔标记以及多达7个后续第二数据分区(DP2)比特，从而获得字节对准，下一SL分组开始于第二数据分区的下一比特。

Description

MPEG-4视频数据的编码方法和装置
本发明涉及根据MPEG-4标准对由一个或多个比特流组成的视频数据进行编码的方法。本发明还涉及相应的编码装置以及由至少一个在这种编码装置输出端获得的视频比特流组成的编码MPEG-4信号。
在诸如因特网或UMTS无线电信道的有损耗网络上的音频-视频数据传输需要使用编码技术，编码技术在其比特的使用和强有力地防止传输误差两方面都是有效的。在此环境中设计的MPEG-4标准提供表示自然或合成源的音频-视频对象(AVO)的标准化方法，采用在自然和合成视频序列中发现的时间和空间冗余性。出于这种目的，对于在视频流中出现的三种视频对象面(VOP)类型(内部VOP或I VOP；预测VOP或P VOP；双向VOP或B VOP)，使用特定编码技术。通过除去视频信号中的冗余从而降低带宽要求的这些编码技术，在所述信号在传输层中被划分为分组时，变得对比特误差和传输层分组丢失相当敏感(例如，单个比特误差可使得不可能对信息进行解码，或者，由于传输层的分组丢失，后续分组中预测编码的运动信息可能变得不可解码)。另外，由于编码器的预测特性，发生在I或P VOP中的误差将趋向于传播到后继的P VOP和周围的B VOP。
容错是MPEG-4视频标准为了解决上述缺点而提供的无数选项之一：它提供一组允许根据它们的敏感度对编码数据按等级进行分类的工具(这种容错模式特别包括提高解码器定位误差的能力的功能性：它根据数据分区，通过将运动和宏块标题信息与结构信息分开而实现，这样，如果结构信息丢失，则允许借助于预先解码VOP的运动补偿利用运动信息来隐蔽这种误差)。为了利用这种特征的优点，传输层必须考虑由视频层提供的分级信息。
传统上，MPEG-4视频比特流由许多元素组成，例如视频对象(VO)、视频对象层(VOL)、视频对象面、VOP组(GOV)、视频分组(VP)、视频数据分区(VDP)等，同时MPEG-4系统操作以下实体：例如DecoderSpecificInfo(解码器特定信息)、接入单元(AU)、SL分组。为此，为了正常工作，如何将视频元素映射到系统元素中是关键重点。具体地说，这里描述了视频数据分区到系统的映射。视频数据分区以特定视频比特流语法模式对应于视频分组的段，该模式使它们具有容错能力；具体地说，每个视频分组有两个视频数据分区。但是，数据分区语法的一个缺点是它不是字节对准的，即视频分组的第一和第二数据分区之间的边界没有字节对准：它不是以8的倍数比特开始的。这种情况对有效的机器实现是未达最佳标准的的，并且当考虑网络传输时可能导致问题，因为网络协议传输字节(即8比特的分片)。
因此，本发明的第一个目的是提议一种避免这种缺点的方法。
为此，本发明涉及一种根据MPEG-4标准对由一个或多个比特流组成的视频数据进行编码的方法，其中选择了特定的对准/分段机制，根据这种机制，当利用对应于将包括在所述视频数据中的所述视频对象平面(VOP)分段为视频分组(VP)，以及将视频分组分段为数据分区(DP)的语法模式，对所述视频比特流进行编码时，视频数据分区被映射到一个或多个SL分组中，即使大的视频数据分区被分为多个SL分组，第一个视频数据分区的开始也总是被映射到SL分组的开始，并且传输第一个数据分区的最后一个SL分组包括分隔标记(DC标记或运动标记，取决于VOP类型)以及多达7个后续第二数据分区比特，以获得字节对准，下一SL分组开始于第二数据分区的下一比特。
本发明的另一目标是提议一种相应的编码装置。
为此，本发明涉及一种用于根据MPEG-4标准对由一个或多个比特流组成的视频数据进行编码的装置，所述装置包括特定的对准/分段机制，根据这种机制，当利用对应于将包括在所述视频数据中的所述视频对象平面(VOP)分段为视频分组(VP)，以及将视频分组分段为数据分区(DP)的语法模式，对所述视频比特流进行编码时，视频数据分区被映射到一个或多个同步层分组(SL分组)中，即使大的视频数据分区被分为多个SL分组，第一个视频数据分区的开始也总是被映射到一个SL分组的开始，并且传输第一数据分区的最后一个SL分组包括分隔标记以及多达7个后续第二数据分区比特，以获得字节对准，下一SL分组开始于第二数据分区的下一比特。
本发明还涉及一种由至少一个从编码装置的输出端上获得的视频比特流组成的编码MPEG-4信号，其中选择了特定的对准/分段机制，根据这种机制，当利用对应于将包括在所述视频数据中的所述视频对象平面(VOP)分段为视频分组(VP)，以及将视频分组分段为数据分区(DP)的语法模式，对所述视频比特流进行编码时，视频数据分区被映射到一个或多个同步层分组(SL分组)中，即使大的视频数据分区被分为多个SL分组，第一个视频数据分区的开始也总是被映射到一个SL分组的开始，并且传输第一数据分区的最后一个SL分组包括分隔标记以及多达7个后续第二数据分区比特，以获得字节对准，下一SL分组开始于第二数据分区的下一比特。
现在通过例示，参考附图对本发明进行描述，其中：
图1给出了多媒体终端的主处理层；
图2说明了依照本发明的对准/分段机制。
如上所述，MPEG-4标准提供表示自然或合成源的AVO的标准方法，从而将它们组合在一起以产生形成音频-视频场景的复合AVO(音频-视频场景一般由多个AVO组成，以分级方式组织)，从而对与AVO相关的数据进行多路复用和同步，并且影响在接收器端生成或重建的音频-视频场景。图1中说明了允许再现和显示这种音频视频场景的多媒体视听终端的主处理部分，其中终端是多层架构，由以下三层组成：复用转换(TransMux)层21、灵活复用(FlexMux)22以及接入单元层23。
复用转换层21由保护子层和复用子层组成(尽管在某些复用转换实例中，也许不可能分开标识这些子层，但是保护子层特别用于提供适合给定网络和存储媒体的误差保护和误差检测工具)。在MPEG-4的环境中未定义的层21，实际上是与网络或存储媒体的接口，并且允许提供与所请求的业务质量(QoS)相匹配的传输业务。在其输出端上可得到灵活复用流，即灵活复用分组序列(由信头和净荷组成的小数据实体)。
完全由MPEG-4规定的灵活复用层22由用于交织数据的灵活工具组成(将一个或多个基本数据流组合到一个灵活复用流中)，并且允许标识用于多路传输数据的不同信道。在所述层22的输出端上可得到SL分组流，即封装一个基本流的SL分组序列(SL分组或同步层分组＝由下一层23管理的最小数据实体，或同步层，所述实体包括可配置的信头和净荷，净荷自身由全部或部分接入单元组成)。
提供层23或同步层，以修改基本流数据用于通信。基本流作为SL分组流传送，并且这种分组表示法还提供定时和同步信息以及分段和随机访问信息。该层23之后是压缩层24，压缩层24从数据的编码格式将其恢复，并且允许执行必要的操作以对编码信号进行解码并且重建原始信息。然后根据解码信息的显示(以便被显示)和一些用户交互处理这些解码信息(合成、再现)。
根据图2所示的对准/分段机制的本发明，提议了以下解决方法。当利用对应于将VOP分段为视频分组，以及将这些视频分组分段为数据分区(DP1，DP2)的语法模式，对视频比特流进行编码时，视频数据分区应该被映射到一个或多个SL分组(SL1、SL2、SL3、SL4等)中，这些SL分组是字节对准的(在这些SL分组各自的第一比特之间，即SL分组的字节分界BB之间有8比特或8的倍数比特的距离)。具体地说，允许将大的视频数据分区分为多个SL分组，但是第一个视频数据分区DP1的开始必须总是被映射到SL分组的开始。
另外，因为如果第一个数据分区丢失，第二个数据分区是无用的，但是解码器需要标记M以安全地识别第一个数据分区DP1的结束，应该使用以下对准规则：传输第一个数据分区的最后一个SL分组必须包括分隔标记M(DC标记或运动标记，取决于VOP类型)以及多达7个后续第二个数据分区比特，从而获得字节对准。下一SL分组开始于第二个数据分区的下一比特。所述的特定对准/分段允许将视频元素映射到系统元素中，并且在这种情况下避免任何文件结构互换问题或任何网络问题。

Claims (3)

1.一种用于根据MPEG-4标准对由一个或多个比特流组成的视频数据进行编码的方法，其特征在于，选择特定的对准/分段机制，根据这种机制，当利用对应于将包括在所述视频数据中的所述视频对象平面(VOP)分段为视频分组(VP)，以及将视频分组分段为数据分区(DP)的语法模式，对所述视频比特流进行编码时，视频数据分区被映射到一个或多个同步层分组(SL分组)中，视频数据分区被映射到一个或多个同步层分组(SL分组)中，即使大的视频数据分区被分为多个SL分组，所述第一个视频数据分区的开始总是被映射到SL分组的开始，并且传输所述第一个数据分区的最后一个SL分组包括分隔标记以及多达7个后续的所述第二数据分区比特，以获得字节对准，下一SL分组开始于所述第二数据分区的下一比特。
2.一种用于根据MPEG-4标准对由一个或多个比特流组成的视频数据进行编码的装置，所述装置包括特定的对准/分段机制，根据这种机制，当利用对应于将包括在所述视频数据中的所述视频对象平面(VOP)分段为视频分组(VP)，以及将视频分组分段为数据分区(DP)的语法模式，对所述视频比特流进行编码时，视频数据分区被映射到一个或多个同步层分组(SL分组)中，即使大的视频数据分区被分为多个SL分组，所述第一个视频数据分区的开始也总是被映射到SL分组的开始，并且传输所述第一数据分区的最后一个SL分组包括分隔标记以及多达7个后续的所述第二数据分区比特，以获得字节对准，下一SL分组开始于所述第二数据分区的下一比特。
3.一种由至少一个从编码装置的输出端上获得的视频比特流组成的编码MPEG-4信号，其中选择特定的对准/分段机制，根据这种机制，当利用对应于将包括在所述视频数据中的所述视频对象平面(VOP)分段为视频分组(VP)，以及将视频分组分段为数据分区(DP)的语法模式，对所述视频比特流进行编码时，视频数据分区被映射到一个或多个同步层分组(SL分组)中，即使大的视频数据分区被分为多个SL分组，所述第一个视频数据分区的开始也总是被映射到SL分组的开始，并且传输所述第一数据分区的最后一个SL分组包括所述分隔标记以及多达7个后续的所述第二数据分区比特，以获得字节对准，下一SL分组开始于所述第二数据分区的下一比特。
CNB028002555A 2001-02-27 2002-02-25 Mpeg－4视频数据的编码方法 Expired - Lifetime CN1224263C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01400504.5 2001-02-27
EP01400504 2001-02-27

Publications (2)

Publication Number Publication Date
CN1457602A true CN1457602A (zh) 2003-11-19
CN1224263C CN1224263C (zh) 2005-10-19

Family

ID=8182636

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028002555A Expired - Lifetime CN1224263C (zh) 2001-02-27 2002-02-25 Mpeg－4视频数据的编码方法

Country Status (6)

Country Link
US (1) US6888895B2 (zh)
EP (1) EP1384381B1 (zh)
JP (1) JP2004519908A (zh)
KR (1) KR100841896B1 (zh)
CN (1) CN1224263C (zh)
WO (1) WO2002069643A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105432085A (zh) * 2013-07-02 2016-03-23 高通股份有限公司 对多层视频译码的层间预测信令的优化
CN108111865A (zh) * 2013-01-04 2018-06-01 索尼公司 Jctvc-l0226：vps和vps_extension更新

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1309196A3 (en) * 2001-10-29 2005-07-20 Matsushita Electric Industrial Co., Ltd. File creating method and data reproduction method
US20040223547A1 (en) * 2003-05-07 2004-11-11 Sharp Laboratories Of America, Inc. System and method for MPEG-4 random access broadcast capability
JP4845335B2 (ja) * 2003-05-21 2011-12-28 キヤノン株式会社 データストリーム送信装置及びデータストリーム受信装置
JP2005175715A (ja) * 2003-12-09 2005-06-30 Canon Inc テレビ受信装置、ネットワーク端末及びネットワーク制御システム
DE602006006346D1 (de) * 2005-12-16 2009-05-28 Dolby Sweden Ab Vorrichtung zum erzeugen und interpretieren eines datenstroms mit einer reihe von segmenten unter verwendung von daten in nachfolgenden datenrahmen
US7809018B2 (en) 2005-12-16 2010-10-05 Coding Technologies Ab Apparatus for generating and interpreting a data stream with segments having specified entry points
US8060651B2 (en) 2006-08-17 2011-11-15 Sharp Laboratories Of America, Inc. Systems and methods for adaptively packetizing data partitions for transport over a network
JP5512038B2 (ja) * 2010-04-20 2014-06-04 サムスン エレクトロニクス カンパニー リミテッド メディアデータを送受信するためのインターフェース装置及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768775B1 (en) * 1997-12-01 2004-07-27 Samsung Electronics Co., Ltd. Video CODEC method in error resilient mode and apparatus therefor
CN1147079C (zh) * 1998-07-17 2004-04-21 皇家菲利浦电子有限公司 用于将编码数据解复用的设备
US6754277B1 (en) * 1998-10-06 2004-06-22 Texas Instruments Incorporated Error protection for compressed video
JP2000209580A (ja) * 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法
ES2273682T3 (es) * 1999-04-20 2007-05-16 Koninklijke Philips Electronics N.V. Metodo de procesamiento previo para adaptar flujos de datos de mpeg-4 a la red internet.
JP2001025010A (ja) * 1999-07-09 2001-01-26 Mitsubishi Electric Corp マルチメディア情報通信装置およびその方法
US20020018565A1 (en) * 2000-07-13 2002-02-14 Maximilian Luttrell Configurable encryption for access control of digital content

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111865A (zh) * 2013-01-04 2018-06-01 索尼公司 Jctvc-l0226：vps和vps_extension更新
CN105432085A (zh) * 2013-07-02 2016-03-23 高通股份有限公司 对多层视频译码的层间预测信令的优化
CN105432085B (zh) * 2013-07-02 2019-04-02 高通股份有限公司 对多层视频译码的层间预测信令的优化

Also Published As

Publication number Publication date
US20020118749A1 (en) 2002-08-29
EP1384381A1 (en) 2004-01-28
WO2002069643A1 (en) 2002-09-06
KR100841896B1 (ko) 2008-06-26
KR20030005297A (ko) 2003-01-17
US6888895B2 (en) 2005-05-03
JP2004519908A (ja) 2004-07-02
EP1384381B1 (en) 2017-09-20
CN1224263C (zh) 2005-10-19

Similar Documents

Publication Publication Date Title
CN1235406C (zh) 在数字视频解码器中提供无缝流交换的系统和数据格式
CN100334880C (zh) 发送和接收动态图像数据的方法及其设备
CN1146205C (zh) 在恒定大小的传送分组中封装数据的方法
FI117844B (fi) Menetelmä kompressoidun videodatan järjestämiseksi siirtoa varten
US20160105259A1 (en) Apparatus and method of transmitting/receiving broadcast data
AU759158B2 (en) Method and terminal equipment for integrating audiovisual coded information into a frame structured transmission standard
CN1224263C (zh) Mpeg－4视频数据的编码方法
CN1160321A (zh) 层级结构数字信号传输的方法、编码器和解码器
WO2001039505A2 (en) Method and apparatus of transmitting and receiving variable bit rate streams
US6606329B1 (en) Device for demultiplexing coded data
US7630413B2 (en) Data transmission method, data transmission apparatus, and data transmission system
US20100186464A1 (en) Laundry refresher unit and laundry treating apparatus having the same
CN101652931A (zh) 用于将覆盖内容插入到具有转换速率能力的视频信号中的方法、设备和系统
US7577170B2 (en) System for the dynamic multiplexing of digital streams
US6028964A (en) Method and apparatus for coding multiple contours within a frame
CN1941888B (zh) 发送和接收运动图像数据的方法及其设备
US7538693B2 (en) Method and apparatus for updating decoder configuration
JP2001257654A (ja) デジタル放送信号同期切替送出装置
US20020059572A1 (en) Network, transmitter terminal and method of forming an access point in a data stream
KAWAI et al. Transport Structure for Integrated Services Digital Broadcasting
WO2010119171A1 (en) Method and arrangement for synchronizing digital multimedia signals

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS CO., LTD.

Effective date: 20071102

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20071102

Address after: Holland Ian Deho Finn

Patentee after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Patentee before: Koninklike Philips Electronics N. V.

ASS Succession or assignment of patent right

Owner name: CALLAHA XILE CO., LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20120121

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120121

Address after: American Delaware

Patentee after: NXP BV

Address before: Holland Ian Deho Finn

Patentee before: Koninkl Philips Electronics NV

CX01 Expiry of patent term

Granted publication date: 20051019

CX01 Expiry of patent term