CN105393480B - 用于在多媒体通信系统中发送/接收分组的装置和方法 - Google Patents
用于在多媒体通信系统中发送/接收分组的装置和方法 Download PDFInfo
- Publication number
- CN105393480B CN105393480B CN201480040849.XA CN201480040849A CN105393480B CN 105393480 B CN105393480 B CN 105393480B CN 201480040849 A CN201480040849 A CN 201480040849A CN 105393480 B CN105393480 B CN 105393480B
- Authority
- CN
- China
- Prior art keywords
- fec
- source
- grouping
- mmt
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/27—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes using interleaving techniques
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/29—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/29—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes
- H03M13/2906—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes using block codes
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/35—Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
- H03M13/353—Adaptation to the channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0056—Systems characterized by the type of code used
- H04L1/0057—Block codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0075—Transmission of coding parameters to receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
- H04L43/106—Active monitoring, e.g. heartbeat, ping or trace-route using time related information in packets, e.g. by adding timestamps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
- H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
- H03M13/11—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits using multiple parity bits
- H03M13/1102—Codes on graphs and decoding on graphs, e.g. low-density parity check [LDPC] codes
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
- H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
- H03M13/13—Linear codes
- H03M13/15—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes
- H03M13/151—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes using error location or error correction polynomials
- H03M13/1515—Reed-Solomon codes
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
- H03M13/23—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using convolutional codes, e.g. unit memory codes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Error Detection And Correction (AREA)
Abstract
提供了用于在多媒体系统中由发送装置发送前向纠错(FEC)配置信息的方法。该方法包括:向接收装置发送用于FEC源分组的源FEC配置信息,其中,如果FEC源或修复分组块包括至少一个FEC源或修复分组,则所述源FEC配置信息包括与所述至少一个FEC源或修复分组当中被首先发送的FEC源或修复分组相关的信息。
Description
技术领域
本公开涉及用于在多媒体通信系统中发送/接收分组的装置和方法。更具体地,本公开涉及用于在支持前向纠错(FEC)方案的多媒体通信系统中发送/接收分组的装置和方法。
背景技术
已经根据对于多媒体的需求的增加而建议了各种多媒体技术,典型的多媒体技术是运动图像专家组(MPEG)媒体传输(MMT)技术。
MMT技术是用于通过包括网际协议(IP)网络和数字广播网络的异构分组交换网络来传输和递送用于多媒体服务的编码的媒体数据的技术。编码的媒体数据包括定时的影音媒体数据和非定时的数据。
在MMT技术中,编码的媒体数据将通过分组交换递送网络来递送。在MMT技术中,考虑递送环境的特性,例如,从MMT发送实体到MMT接收实体的每个分组的非恒定端到端延迟等。
为了高效的和有效的通过分组交换递送网络的对于编码的媒体数据的递送和消费,MMT技术提供以下元素,并且这将在下面描述。
第一,MMT技术提供了逻辑模型,用于构建由来自各种源的组件(例如,混搭(mash-up)应用的组件等)组成的内容。
第二,MMT技术提供了格式,用于递送关于编码的媒体数据的信息,以使能诸如分组化(packetization)的递送层处理。
第三,MMT技术提供分组化方法和分组的结构,用于通过分组交换网络递送媒体内容,所述分组交换网络支持通过多个信道的媒体和编码独立混合递送。
第四,MMT技术提供了信令消息的格式,用于管理媒体内容的递送和消费。
根据内容的多样化以及在支持MMT方案的多媒体通信系统中的诸如高清晰度(HD)内容和超高清(UHD)内容的大容量内容的增加,网络上的数据拥堵已经变得愈加严重。由于这样的状况,由信号发送设备(例如,主机A)发送的内容并不被完全传递到信号接收设备(例如,主机B),并且一些内容在途中丢失。
一般,数据在分组的基础上发送,并且因此,数据丢失在发送分组的基础上生成。因此,如果发送分组在网络上丢失,则信号接收设备不能接收到丢失的发送分组,并且因此,不能得知在丢失的发送分组中的数据。结果,用户可能不便。例如,用户可能体验到音频信号质量恶化、视频图片质量恶化、视频图片中断、标题遗漏、文件丢失等。
鉴于上述情况,存在对用于修复在网络上发生的数据丢失的方案的需求。
如果数据在网络上丢失,则支持在信号接收装置中修复数据丢失的方案之一是这样一种方案:其中,使用预设数量的可以具有各种长度的数据分组生成被称为源分组的源块,包括诸如例如奇偶校验数据的信息的修复信息或修复分组通过前向纠错(FEC)编码被添加到源块,添加了修复信息的源块在分组块的基础上被发送。
所以,信号接收装置需要与用于在信号发送装置中发送分组块的预设时间相对应的修复延迟时间,以便修复数据丢失。
存在对作为假定的信号接收装置的缓冲模型的假定的接收器缓冲模型(HRBM)的需求,以便通过组合作为去除在网络上发生的分组抖动的方案的去抖动方案和FEC方案来修复数据丢失,所以发生了信号接收装置考虑使用HRBM执行数据丢失修复操作和去抖动操作的情况。
然而,在当前的支持MMT方案的多媒体通信系统中没有使用HRBM来有效地执行数据丢失修复操作和去抖动操作的方案。
上述信息作为背景信息给出,只是为了帮助对本公开的理解。关于上述任何信息是否可适用为相对于本公开的现有技术,既未进行确定,也未做出断言。
发明内容
技术问题
本公开的各方面将解决至少上述问题和/或缺点,并且提供至少下述优点。因此,本公开的一方面将提供用于在支持前向纠错(FEC)方案的多媒体通信系统中发送/接收分组的方法和装置。
本公开的另一方面将提供用于在支持FEC方案的多媒体通信系统中发送/接收分组由此增加数据恢复效率的方法和装置。
本公开的另一方面将提供用于在支持FEC方案的多媒体通信系统中发送/接收分组由此获得高效传输可靠性的方法和装置。
本公开的另一方面将提供用于在支持FEC方案的多媒体通信系统中通过考虑分组的特性来发送/接收分组的方法和装置。
本公开的另一方面将提供用于在支持FEC方案的多媒体通信系统中通过考虑FEC编码结构来发送/接收分组的方法和装置。
本公开的另一方面将提供用于在支持FEC方案的多媒体通信系统中通过考虑分组发送定时点来发送/接收分组的方法和装置。
本公开的另一方面将提供用于在支持FEC方案的多媒体通信系统中通过考虑分组的分割特性(split characteristic)来发送/接收分组的方法和装置。
本公开的另一方面将提供用于在支持FEC方案的多媒体通信系统中通过考虑在信号发送装置和信号接收装置之间的延迟来发送/接收分组的方法和装置。
本公开的另一方面将提供用于在支持FEC方案的多媒体通信系统中通过考虑缓冲器大小来发送/接收分组的方法和装置。
本公开的另一方面将提供用于在支持FEC方案的多媒体通信系统中发送/接收与FEC方案相关的FEC配置信息的方法和装置。
技术方案
根据本公开的一个方面,提供了用于在多媒体系统中由发送装置发送FEC配置信息的方法。该方法包括:向接收装置发送用于FEC源分组的源FEC配置信息,其中,如果FEC源或修复分组块包括至少一个FEC源或修复分组,则源FEC配置信息包括与所述至少一个FEC源或修复分组当中被首先发送的FEC源或修复分组相关的信息。
根据本公开的另一个方面,提供了用于在多媒体系统中由接收装置接收FEC配置信息的方法。该方法包括:从发送装置接收用于FEC源分组的源FEC配置信息,其中,如果FEC源或修复分组块包括至少一个FEC源或修复分组,则源FEC配置信息包括与所述至少一个FEC源或修复分组当中被首先发送的FEC源或修复分组相关的信息。
根据本公开的另一个方面,提供了在多媒体系统中的发送装置。该发送装置包括:发送器,被配置为向接收装置发送用于FEC源分组的源FEC配置信息,其中,如果FEC源或修复分组块包括至少一个FEC源或修复分组,则源FEC配置信息包括与所述至少一个FEC源或修复分组当中被首先发送的FEC源或修复分组相关的信息。
根据本公开的另一个方面,提供了在多媒体系统中的接收装置。该接收装置包括:接收器,被配置为从发送装置接收用于FEC源分组的源FEC配置信息,其中,如果FEC源或修复分组块包括至少一个FEC源或修复分组,则源FEC配置信息包括与所述至少一个FEC源或修复分组当中被首先发送的FEC源或修复分组相关的信息。
有益效果
从前述描述中可以清楚看出,本公开的实施例使得能够在支持FEC方案的多媒体通信系统中发送/接收分组,由此减少由于分组编码造成的延迟时间以及在网络上的分组延迟时间、而在信号接收装置中可能发生的恢复延迟。
本公开的实施例使得能够在支持FEC方案的多媒体通信系统中发送/接收分组由此增加数据恢复效率。
本公开的实施例使得能够在支持FEC方案的多媒体通信系统中发送/接收分组由此获得高效传输可靠性。
本公开的实施例使得能够在支持FEC方案的多媒体通信系统中通过考虑分组的特性来发送/接收分组。
本公开的实施例使得能够在支持FEC方案的多媒体通信系统中通过考虑FEC编码结构来发送/接收分组。
本公开的实施例使得能够在支持FEC方案的多媒体通信系统中通过考虑分组发送定时点来发送/接收分组。
本公开的实施例使得能够在支持FEC方案的多媒体通信系统中通过考虑分组的分割特性来发送/接收分组。
本公开的实施例使得能够在支持FEC方案的多媒体通信系统中通过考虑在信号发送装置和信号接收装置之间的延迟来发送/接收分组。
本公开的实施例使得能够在支持FEC方案的多媒体通信系统中通过考虑缓冲器大小来发送/接收分组。
本公开的实施例使得能够在支持FEC方案的多媒体通信系统中发送/接收与FEC方案相关的FEC配置信息。
从以下公开了本公开的各种实施例的结合附图的详细描述中,本公开的其它方面、优点、以及显著特征将对于本领域技术人员变得清晰。
附图说明
从以下结合附图的描述中,本公开的一定示范性实施例的上述以及其它方面、特征、以及优点将更加清晰,其中:
图1示意地示出了根据本公开的实施例的支持前向纠错(FEC)方案的运动图像专家组(MPEG)媒体传输(MMT)系统的结构的示例;
图2示意地示出了根据本公开的实施例的支持FEC方案的MMT系统的结构的另一个示例;
图3示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中的应用层FEC(AL-FEC)体系结构;
图4示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用的二阶FEC编码结构;
图5示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用的层感知FEC(LA-FEC)编码结构;
图6示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用MMT分组流生成源分组块和源符号块的过程;
图7示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用源符号块生成修复符号块的过程;
图8示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中为包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组设置时戳的过程;
图9示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中在使用二阶FEC结构的情况下设置时戳的过程;
图10示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用的FEC源分组的结构;
图11示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用的FEC修复分组的结构;
图12示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中的FEC源或修复分组块的发送/接收时段和FEC解码去抖动过程;
图13示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中的假定的接收器缓冲模型(HRBM)的内部结构;
图14示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中的在FFRST_TS在被包括在分组中之后被发送的情况(情况1)下信号接收装置中的FEC保护窗口和在FFRST_TS在没有被包括在分组中而发送的情况(情况2)下信号接收装置中的FEC保护窗口;
图15示意地示出了根据本公开的实施例的在MMT系统中的MMT发送实体的内部结构的示例;
图16示意地示出了根据本公开的实施例的在MMT系统中的MMT发送实体的内部结构的另一个示例;
图17示意地示出了根据本公开的实施例的在MMT系统中的MMT接收实体的内部结构的示例;以及
图18示意地示出了根据本公开的实施例的在MMT系统中的MMT接收实体的内部结构的另一个示例。
贯穿附图,应当注意到,相似的参考标号被用来描绘相同或相似的元素、特征、以及结构。
具体实施方式
以下参考附图的描述被提供来帮助对由权利要求及其等同物限定的本公开的各种实施例的全面理解。其包括各种细节来帮助所述理解,但是这些细节将被认为仅仅是示范性的。因此,本领域普通技术人员将认识到,可以对这里描述的各种实施例做出各种改变和修改而不脱离本公开的范围和精神。此外,为了清楚和简明,对于已知功能和结构的描述可以被省略。
在以下描述和权利要求中使用的术语和词语不限于文献学上的含义,而是,仅仅被发明人用来使得对本公开的理解清楚和一致。因此,本领域技术人员应该清楚,以下对本公开的各种实施例的描述仅仅是为了例示的目的而提供,而非为了限制由所附权利要求及其等同物定义的本公开的目的而提供。
将理解的是,单数形式“一”和“该”包括复数的指示物,除非上下文清楚地另外表述。因此,例如,对“组件表面”的引用包括对一个或多个这样的表面的引用。
虽然序数,诸如“第一”、“第二”等,将被用来描述各种组件,但是那些组件不限于此。所述术语只是用来区别一个组件与另一个组件。例如,第一组件可以被称为第二组件,并且同样地,第二组件也可以被称为第一组件,而不脱离本发明构思的教导。这里使用的术语“和/或”包括一个或多个相关联的列出的项目的任何以及全部的组合。
这里使用的术语只是为了描述各种实施例的目的而不意图进行限制。如这里所使用的,单数形式意图也包括复数形式,除非上下文清楚地另外指出。还将理解,术语“包括”和/或“具有”当在本说明书中使用时,表明了所述特征、数字、操作、组件、元素、或者它们的组合的存在,但是并不排除一个或多个其它特征、数字、操作、组件、元素、或者它们的组合的存在或添加。
这里使用的术语,包括技术和科学术语,具有与本领域技术人员所一般理解的术语相同的含义,只要所述术语没有被不同地定义。应当理解,在一般使用的字典中定义的术语具有与相关技术中的术语的含义一致的含义。
根据本公开的各种实施例,电子设备可以包括通信功能。例如,电子设备可以是智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌上型PC、膝上型PC、上网本PC、个人数字助理(PDA)、便携式多媒体播放器(PMP)、mp3播放器、移动医疗设备、相机、可穿戴设备(例如,头戴式设备(HMD)、电子服装、电子手镯、电子项链、电子应用外设、电子纹身、或智能手表)、等等。
根据本公开的各种实施例,电子设备可以是具有通信功能的智能家电。智能家电可以是,例如,电视机、数字多功能盘(DVD)播放器、音响、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、干燥机、空气净化器、机顶盒、TV盒(例如,Samsung HomeSyncTM、Apple TVTM、或Google TVTM)、游戏机、电子词典、电子钥匙、录像摄像机、电子相框、等等。
根据本公开的各种实施例,电子设备可以是医疗设备(例如,磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描(CT)设备、成像设备、或超声波设备)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录仪(FDR)、汽车信息娱乐设备、航海电子设备(例如,航海导航设备、陀螺仪、或指南针)、航空电子设备、安全设备、工业或消费者机器人、等等。
根据本公开的各种实施例,电子设备可以是包括通信功能的家具、建筑/结构的一部分、电子板、电子签名接收设备、投影仪、各种测量设备(例如,水、电、气、或电磁波测量设备)、等等。
根据本公开的各种实施例,电子设备可以是前述设备的任何组合。此外,本领域普通技术人员将清楚,根据本公开的各种实施例的电子设备不限于前述设备。
根据本公开的各种实施例,例如,信号接收装置可以是电子设备。
本公开的实施例建议了用于在支持前向纠错(FEC)方案的多媒体通信系统中发送/接收分组的方法和装置。
本公开的实施例建议了用于在支持FEC方案的多媒体通信系统中发送/接收分组以由此提高数据恢复效率的方法和装置。
本公开的实施例建议了用于在支持FEC方案的多媒体通信系统中发送/接收分组以由此获得高效发送可靠性的方法和装置。
本公开的实施例建议了用于在支持FEC方案的多媒体通信系统中通过考虑分组的特性来发送/接收分组的方法和装置。
本公开的实施例建议了用于在支持FEC方案的多媒体通信系统中通过考虑FEC编码结构来发送/接收分组的方法和装置。
本公开的实施例建议了用于在支持FEC方案的多媒体通信系统中通过考虑分组发送定时点来发送/接收分组的方法和装置。
本公开的实施例建议了用于在支持FEC方案的多媒体通信系统中通过考虑分组的分割特性来发送/接收分组的方法和装置。
本公开的实施例建议了用于在支持FEC方案的多媒体通信系统中通过考虑在信号发送装置和信号接收装置之间的延迟来发送/接收分组的方法和装置。
本公开的实施例建议了用于在支持FEC方案的多媒体通信系统中通过考虑缓冲器大小来发送/接收分组的方法和装置。
本公开的实施例建议了用于在支持FEC方案的多媒体通信系统中发送/接收与FEC方案相关的FEC配置信息的方法和装置。
在本公开的实施例中建议的方法和装置可以被应用到各种通信系统,诸如数字视频广播系统、运动图像专家组(MPEG)媒体传输(MMT)系统、演进分组系统(EPS)、长期演进(LTE)移动通信系统、先进LTE(LTE-A)移动通信系统、高速下行链路分组接入(HSDPA)移动通信系统、高速上行链路分组接入(HSUPA)移动通信系统、在第三代合作伙伴计划2(3GPP2)中建议的高速分组数据(HRPD)移动通信系统、在3GPP2中建议的宽带码分多址(WCDMA)移动通信系统、在3GPP2中建议的码分多址(CDMA)移动通信系统、电气与电子工程师协会(IEEE)移动通信系统、移动网际协议(移动IP)系统、等等,所述数字视频广播系统诸如移动广播服务(诸如数字多媒体广播(DMB)服务、手持数字视频广播(DVP-H)服务、高级电视系统委员会-移动/手持(ATSC-M/H)服务等)、以及网际协议电视(IPTV)服务。
为了方便起见,假设支持其中在本公开的实施例中建议的方法和装置的FEC方案的多媒体通信系统是MMT系统。
在本公开的各种实施例中建议了分组发送/接收装置和方法,用于在所有电子设备中有效地修复数据分组丢失,所述电子设备诸如便携式电话、电视机(TV)、计算机、电子公告板、平板、以及电子书,它们可以提供各种多媒体服务(诸如视频会议/视频呼叫)以及大容量内容(诸如高清晰度(HD)内容、超高清(UHD)内容等)。
虽然不会在本公开的各种实施例中描述详细的FEC编码方案,但是本领域普通技术人员将理解,FEC编码方案不限于特定的FEC编码方案,诸如Reed-Solomon(RS)码、低密度奇偶校验(LDPC)码、Turbo码、XOR码、前运动图像专家组(MPEG)FEC码等。
下面将描述用于描述本公开的各种实施例的术语和定义。
(1)FEC码
FEC码表示用于校正(correct)误差符号或擦除符号的纠错码。FEC码表示用于对数据进行编码以便编码的数据流能够能够较好地应对(resilient to)数据丢失的算法。
(2)源符号
源符号表示在FEC编码过程中使用的数据的单元。
(3)修复符号
修复符号表示包含用于纠错的冗余信息的编码符号。修复符号表示并非源符号的编码符号。修复符号可以被称为奇偶校验符号。
(4)源分组
源分组表示通过FEC编码方案保护的分组。
(5)源分组块
源分组块表示将要作为单一块被保护的FEC源流的分段的集合。
(6)源符号块
源符号块表示从单一源分组块中生成的源符号的集合。也就是说,至少一个源符号被包括在源符号块中。
(7)修复符号块
修复符号块表示可以用来恢复丢失的源符号的修复符号的集合。也就是说,至少一个修复符号被包括在修复符号块中。修复符号块可以被称为奇偶校验符号块。
(8)编码符号块
编码符号块表示编码符号的集合。编码符号块表示在源符号块的编码过程中生成的编码符号的集合。也就是说,至少一个编码符号被包括在编码符号块中。
(9)编码符号
编码符号表示通过编码过程生成的数据的单元。这里,源符号可以是编码符号的一部分。
(10)FEC修复分组
FEC修复分组表示与修复FEC有效载荷标识符(ID)一起的MMT协议(MMTP)分组,用于递送修复符号块的一个或多个修复符号。
(11)FEC源分组
FEC源分组表示与源FEC有效载荷ID一起的MMTP分组。
(12)FEC源或修复分组
FEC源或修复分组表示FEC修复分组或FEC源分组的通用术语。也就是说,FEC源或修复分组可以表示FEC修复分组、FEC源分组、或者FEC修复分组和FEC源分组两者(如果有必要)。
(13)FEC源分组块
FEC源分组块表示用于递送源符号块的FEC源分组的集合。也就是说,至少一个FEC源分组被包括在源FEC分组块中。
(14)FEC修复分组块
FEC修复分组块表示用于递送修复符号块的FEC修复分组的集合。也就是说,至少一个FEC修复分组被包括在FEC修复分组块中。FEC修复分组块可以被称为FEC奇偶校验分组块。
(15)FEC源或修复分组块
FEC源或修复分组块表示FEC源分组块和与FEC源分组块相关的FEC修复分组块的通用术语。也就是说,FEC源或修复分组块可以表示FEC源分组块、FEC修复分组块、或者FEC源分组块和FEC修复分组块两者(如果有必要的话)。也就是说,FEC源或修复分组块表示用于递送编码符号块的FEC源或修复分组的集合。所以,至少一个FEC源或修复分组被包括在FEC源或修复分组块中。
(16)FEC有效载荷ID
FEC有效载荷ID表示标识关于MMT FEC方案的MMTP分组的内容的ID。MMT FEC方案表示MMT系统支持的FEC方案。
(17)修复FEC有效载荷ID
修复FEC有效载荷ID表示用于修复分组的FEC有效载荷ID。修复FEC有效载荷ID可以被称为奇偶校验FEC有效载荷ID。修复FEC有效载荷ID包括用于FEC修复分组的修复FEC配置信息,并且如果FEC源或修复分组块包括至少一个FEC源或修复分组,则修复FEC配置信息包括与所述至少一个FEC源或修复分组当中的被首先发送的FEC源或修复分组相关的信息。这里,与被首先发送的FEC源或修复分组相关的信息包括与被首先发送的FEC源或修复分组的时戳相关的信息。如果发送相关的修复FEC有效载荷ID的信号发送装置,例如,MMT发送实体,支持二阶FEC编码结构,则与被首先发送的FEC源或修复分组相关的信息包括时戳指示符(TS指示符),其指示与FEC中的时戳相关的信息。修复FEC有效载荷ID和时戳将在下面描述,并且这里将省略详细的描述。
(18)源FEC有效载荷ID
源FEC有效载荷ID表示用于源分组的FEC有效载荷ID。源FEC有效载荷ID包括用于FEC源分组的源FEC配置信息,并且如果FEC源或修复分组块包括至少一个FEC源或修复分组,则源FEC配置信息包括与所述至少一个FEC源或修复分组当中的被首先发送的FEC源或修复分组相关的信息。这里,与被首先发送的FEC源或修复分组相关的信息包括与被首先发送的FEC源或修复分组的时戳相关的信息。如果发送相关的修复FEC有效载荷ID的信号发送装置,例如,MMT发送实体,支持二阶FEC编码结构,则与被首先发送的FEC源或修复分组相关的信息包括指示与FEC中的时戳相关的信息的TS指示符。源FEC有效载荷ID、时戳、以及TS指示符将在下面描述,并且这里将省略详细的描述。
(19)MMT
MMT表示用于高效地递送MPEG数据的研究的国际标准。
(20)FEC源流
FEC源流表示通过MMT FEC方案保护的MMTP分组的流。
(21)FEC方案
FEC方案表示定义使用FEC码所需的附加协议方面的规范。
(22)FEC修复流
FEC修复流表示携载用来保护FEC源流的修复符号的数据流。FEC修复流可以被称为FEC奇偶校验流。
(23)FEC编码流(coded flow)
FEC编码流表示由FEC源流和一个或多个关联FEC修复流组成的流的逻辑集合。
(24)资产
资产表示与唯一ID相关联并且用于建立多媒体表现(presentation)的多媒体数据实体。
(25)媒体处理单元(MPU)
MPU表示用于媒体编解码器不可知的可独立解码的定时(timed)或非定时(non-timed)数据的一般容器。
(26)数据包
数据包表示使用MMT来递送的媒体数据的逻辑集(collection)。
(27)MMT分组
MMT分组表示使用MMTP递送的媒体数据的格式化的单元。
(28)MMT有效载荷
MMT有效载荷表示使用MMTP或互联网应用层传输协议携载分组和/或信令消息的媒体数据的格式化的单元。例如,互联网应用层传输协议可以是实时传输协议(RTP)等。
(29)MMTP
MMTP表示用于通过IP网络递送MMTP有效载荷的应用层传输协议。
将利用图1描述根据本公开的实施例的支持FEC方案的MMT系统的结构的示例。
图1示意地示出了根据本公开的实施例的支持FEC方案的MMT系统的结构的示例。
参考图1,MMT系统包括MMT发送实体111、MMT接收实体113、数据包提供者115、以及多个资产提供者,例如,N个资产提供者,即,资产提供者#1117-1、……、资产提供者#N 117-N。基于MMTP在MMT发送实体111和MMT接收实体113之间执行通信。MMTP将在下面描述。
MMTP是被设计用于高效地和可靠地传输MMT数据包的应用层传输协议。MMTP支持若干增强的特征,诸如媒体复用、网络抖动计算等。这些特征使得能够高效地递送由各种类型的编码的媒体数据组成的内容。MMTP可以在现有网络协议的顶端运行,例如,用户数据报协议(UDP)或IP,并且支持各种应用。
MMT发送实体111可以是向一个或多个MMT接收实体发送媒体数据的MMT实体,并且例如,可以是MMT广播服务器等。
MMT接收实体113可以是接收和消费媒体数据的MMT实体,并且例如,可以是诸如移动站(MS)、用户设备(UE)等的无线设备。例如,如果MMT发送实体111是MMT广播服务器,并且MMT接收实体113是MS,则MMT广播服务器可以通过基站(BS)向MS发送媒体数据。将注意到,BS没有在图1中示出。
MMT发送实体111将数据包作为MMTP分组流向MMT接收实体113发送。这里,数据包表示媒体数据的逻辑集,并且使用MMT技术来递送。MMT发送实体111向MMT接收实体113发送资产、表现信息(presentation information,PI)等。这里将省略资产和PI的详细描述。MMT发送实体111可能被要求基于由数据包提供者115提供的数据包的PI从内容提供者(图1中未示出)获取内容。
MMT发送实体111和MMT接收实体113通过MMTP分组流发送/接收MMT信令。
数据包提供者115和内容提供者可以位于一处(co-locate)。媒体内容作为被分段为形成MMTP分组流的一系列封装的MMT处理单元的资产而被提供。
媒体内容的MMTP分组流是使用相关联的传输特性信息来生成的。信令消息可以用来管理数据包的递送和消费。
参考图1,MMT发送实体111是信号发送装置,而MMT接收实体113是信号接收装置。
已经参考图1描述了根据本公开的实施例的支持FEC方案的MMT系统的结构的示例,并且根据本公开的实施例的支持FEC方案的MMT系统的结构的另一个示例将参考图2来描述。
图2示意地示出了根据本公开的实施例的支持FEC方案的MMT系统的结构的另一个示例。
参考图2,MMT系统包括信号发送装置200和信号接收装置210。
信号发送装置200包括:协议A处理块201,其执行与作为FEC上层协议(upperprotocol)的协议A相对应的协议A处理操作;FEC编码块202;协议B处理块203,其执行与作为FEC下层(lower protocol)协议的协议B相对应的协议B处理操作;以及发送器物理层处理块204。
协议A处理块201通过对发送数据执行协议A处理操作来生成源有效载荷230,并且向FEC编码块202输出源有效载荷230。
FEC编码块202生成包括至少一个源分组的源分组块,并且通过对所生成的源分组块执行与预设FEC方案相对应的FEC编码操作,来生成包括奇偶校验有效载荷231的修复符号。FEC编码块202通过将FEC头232添加到源分组和修复符号来生成FEC源分组,并且向协议B处理块203输出FEC源分组。FEC源分组是通过将FEC头与源分组组合来生成的,而FEC修复分组是通过将FEC头与修复符号组合来生成的。
参考图2,FEC源分组是以在FEC头之后存在源有效载荷的形式生成的数据单元。可替换地,FEC源分组可以是以在源有效载荷之后存在FEC头的形式生成的数据单元。
参考图2,FEC编码块202位于协议A处理块201和协议B处理块203之间。可替换地,协议A处理块201可以包括FEC编码块202。在这种情况下,用于执行协议A处理块201的功能的协议头可以被包括在FEC奇偶校验分组中,而包括FEC编码块202的协议A处理块201可以包括用于将源分组和奇偶校验分组生成为一个分组流的复用器。
协议B处理块203通过对从FEC编码块202传递的FEC源分组或FEC奇偶校验分组执行与协议B相对应的协议B处理操作来生成协议B信号,并且向发送器物理层处理块204传递协议B信号。
发送器物理层处理块204将从协议B处理块203传递的协议B信号转换为适于物理层发送的物理层信号,并且通过传输信道220向信号接收装置210传递物理层信号。在协议B处理块203和发送器物理层处理块204之间可以存在各种层,而各种处理块的详细描述将被省略。
虽然协议A处理块201、FEC编码块202、协议B处理块203、以及发送器物理层处理块204在图2中被示出为单独的单元,但是将理解的是,这仅仅是为了方便描述。换句话说,协议A处理块201、FEC编码块202、协议B处理块203、以及发送器物理层处理块204中的两个或更多个可以被合并到单一单元中。
信号接收装置210包括接收器物理层处理块211、执行与协议B相对应的协议B处理操作的协议B处理块212、FEC解码块213、以及执行与协议A相对应的协议A处理操作的协议A处理块214。
接收器物理层处理块211将在信号接收装置210中通过传输信道220从信号发送装置200接收的物理层信号转换为协议B信号,并且向协议B处理块212传递协议B信号。如在信号发送装置200中描述的,在协议B处理块212和接收器物理层处理块211之间可以存在各种层,而各种处理块的详细描述将被省略。
协议B处理块212通过对在协议B处理块212中接收的物理层信号执行协议B处理操作来生成协议B信号,并且将协议B信号递送到FEC解码块213。协议B信号可以是FEC分组,即,FEC源分组或FEC奇偶校验分组。由于网络拥塞效应以及在物理层上发生的错误,从信号发送装置200发送的一些FEC分组被丢失。所以,从信号发送装置100发送的一些FEC分组可能不被递送到FEC解码块213。
FEC解码块213通过对从协议B处理块212传递的FEC分组执行FEC解码操作来检测从信号发送装置200发送的源有效载荷,并且将检测到的源有效载荷递送到协议A处理块214。协议A处理块214通过对从FEC解码块213递送的源有效载荷执行协议A处理操作来检测发送数据。
如上所述,FEC头包括FEC有效载荷ID、用于FEC源分组的FEC头包括源FEC有效载荷ID、而用于FEC奇偶校验分组的FEC头包括修复FEC有效载荷ID。
由于本公开的实施例被应用到MMT系统,所以源分组成为MMT分组,FEC源分组成为具有源FEC有效载荷ID的MMT分组,而FEC修复分组成为携载修复符号的具有修复FEC有效载荷ID的MMT分组。
虽然接收器物理层处理块211、协议B处理块212、FEC解码块213、以及协议A处理块214在图2中被示出为单独的单元,但是将理解的是,这仅仅是为了方便描述。换句话说,接收器物理层处理块211、协议B处理块212、FEC解码块213、以及协议A处理块214中的两个或更多个可以被合并到单一单元中。
已经参考图2描述了根据本公开的实施例的支持FEC方案的MMT系统的结构的另一个示例,而根据本公开的实施例的在支持FEC方案的MMT系统中的用于应用层前向纠错(AL-FEC)的体系结构将参考图3来描述。为了方便起见,用于AL-FEC的体系结构将被称为AL-FEC体系结构。
图3示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中的AL-FEC体系结构。
参考图3,将注意到,图3中的AL-FEC体系结构是包括在信号发送装置中的AL-FEC体系结构的结构。
AL-FEC体系结构包括MMT应用单元310、MMTP单元320、MMT FEC单元330、FEC码单元340、传输层处理单元350、以及网际协议(IP)处理单元360。这里,MMTP单元320和MMT FEC单元330被包括在AL-FEC处理器中。
MMT方案提供了用于IP网络中的可靠递送的AL-FEC机制。MMT系统支持的FEC方案(MMT FEC方案)被描述为递送功能的建设块。
首先,MMT资产被从MMT应用单元310向MMTP单元320递送,MMTP单元320通过将预设MMTP分组化方案应用到所传递的MMT资产来生成MMTP分组,并且将所生成的MMTP分组递送到MMT FEC单元330以用于对发送/接收的保护。在MMTP单元320中使用的MMTP分组化方案可以以各种方案实施,并且这里将省略详细描述。
MMT应用单元310向MMT FEC单元330提供FEC配置信息,而FEC配置信息包括FEC编码流的ID、与FEC编码结构和FEC码相关的信息等。FEC配置信息被递送到与信号发送实体相对应的信号接收实体,FEC配置信息将在下面描述,并且这里将省略详细描述。
MMT FEC单元330通过相应于预设FEC方案对从MMTP单元递送的MMTP分组进行编码,来生成修复符号、修复FEC有效载荷ID和源FEC有效载荷ID,并且向MMTP单元320递送所述修复符号、修复FEC有效载荷ID和源FEC有效载荷ID。MMTP单元320将从MMT FEC单元330递送的修复符号与MMTP分组一起递送到传输层处理单元350。
同时,MMT发送实体确定要求保护的数据包内的MMT资产和FEC源流的数量。所述MMT资产中的一个或多个被作为单一FEC源流来保护,并且所述单一FEC源流由携载所述MMT资产中的一个或多个的MMTP分组组成。FEC源流和关于FEC源流的FEC配置信息被递送到MMTFEC单元330以用于保护。MMT FEC单元330使用(多个)FEC码生成包括一个或多个FEC修复流的修复符号。修复符号与源FEC有效载荷ID和修复FEC有效载荷ID一起被递送到MMTP单元320。然后MMTP单元320向MMT接收实体递送FEC源和修复分组。然后,包括在MMT接收实体中的MMTP单元将FEC源流和FEC源流的相关联的(多个)FEC修复流递送到包括在MMT接收实体中的MMT FEC单元。MMT FEC单元通过基于预设FEC方案解码从MMTP单元递送的FEC源流和FEC源流的相关联的(多个)FEC修复流来恢复MMTP分组,并且将恢复的MMTP分组递送到MMTP单元。
同时,MMT FEC单元330将FEC源流划分为源分组块并生成源符号块。MMT FEC单元330将源符号块递送到FEC码单元340以用于FEC编码。这里,FEC编码意味着从源符号块中生成修复符号的过程。
FEC码单元340通过基于预设FEC码算法对从MMT FEC单元330递送的源符号块进行FEC编码来生成修复符号。FEC码单元340中使用的FEC码算法可以以各种格式实施。在本公开的实施例中,假设FEC码算法是其中从源符号块中生成修复符号的FEC码算法,如在国际标准化组织/国际电工委员会(ISO/IEC)23008-10中所使用的。
同时,将考虑FEC配置信息方面来描述AL-FEC体系结构。
MMT应用单元310确定将要在AL-FEC保护之后被递送的MMT资产,并且将所确定的MMT资产递送到MMTP单元320。MMT应用单元310将AL-FEC相关信息,例如,FEC配置信息递送到MMTP单元320和MMT FEC单元330,即,AL-FEC处理器。FEC配置信息可以包括FEC消息中所包括的FEC控制信息、与FEC源或修复分组块发送时间段相关的信息等,FEC配置信息的详细描述将在下面,而这里将省略详细描述。
MMTP单元320通过分组化输入的MMT资产来生成MMT分组,通过将MMT分组头添加到所生成的MMT分组来生成源分组,并且向MMT FEC单元330输出包括至少一个源分组的源分组块。与MMT分组被发送的时间有关的MMT分组头信息,例如,时戳。MMTP单元320通过执行调度操作以使得关于包括在FEC源或修复分组块中的至少一个FEC源或修复分组当中的被首先发送的FEC源或修复分组的发送时间信息与关于包括在FEC源或修复分组块中的至少一个FEC源或修复分组当中的被最后发送的FEC源或修复分组的发送时间信息之间的差异(即,时戳差异)在包括在FEC配置信息中的FEC源或修复分组块发送时间段之内,来为每一个MMT分组设置时戳。
MMT FEC单元330根据基于从MMT应用单元310输入的FEC配置信息的给定的源符号块生成方案,从输入的每个分组块中生成源符号块。这里,如果关于根据本公开的实施例的源符号块生成方案的信息被作为FEC配置信息给出,并且关于源符号块生成方案的信息被包括在FEC配置信息中,则MMT FEC单元330根据包括在FEC配置信息中的源符号块生成方案来生成源符号块。在生成源符号块之后,MMT FEC单元330将所生成的源符号块递送到FEC码单元340。
FEC码单元340从递送自MMT FEC单元330的源符号块生成修复符号块,以便将修复符号块递送到MMT FEC单元330。
MMT FEC单元330生成用于源符号块和修复符号块的FEC有效载荷ID,并且将从FEC码单元340接收的修复符号递送到MMTP单元320。
MMTP单元320使用输入的修复符号和FEC有效载荷ID,通过将源FEC有效载荷ID添加到源分组来生成FEC源分组,并且通过将修复FEC有效载荷ID、MMTP有效载荷头和MMT分组头添加到修复符号来生成FEC修复分组。MMTP单元320通过传输层单元350将所生成的FEC源分组和FEC修复分组递送到IP单元360。例如,传输层可以是用户数据报协议(UDP)等。用于包括在FEC源或修复分组中的FEC源分组的FEC有效载荷ID或用于包括在FEC源或修复分组中的FEC修复分组的FEC有效载荷ID包括用于在FEC源或修复分组块中所包括的至少一个FEC源或修复分组当中的被首先发送的FEC源或修复分组的发送时间信息,例如,T0。可替换地,发送时间信息T0可以通过对包括T0的MMT分组头执行FEC编码操作并在FEC编码操作之后将T0包括到用于FEC修复分组的MMT分组头来发送。
MMTP单元320将MMT有效载荷头和MMT分组头添加到包括由MMT应用单元310生成的FEC配置信息的FEC消息,以发送添加了MMT有效载荷头和MMT分组头的FEC消息。
图3中未示出,MMT应用单元310可以生成在本公开的实施例中建议的假定的接收器缓冲模型(HRBM)消息。这里,HRBM消息包括:与最大缓冲器大小相关的信息,例如,“最大缓冲器大小”;与信号发送装置和信号接收装置之间的延迟相关的信息,例如,“固定的端到端延迟”等。MMT应用单元310将MMT有效载荷头和MMT分组头添加到所生成的HRBM消息,以递送添加了MMT有效载荷头和MMT分组头的HRBM消息。
同时,固定的端到端延迟通过考虑到关于分组发送的网络情形来表示直到分组在信号接收装置中被接收到为止的最大延迟时间,并且可以包括或可以不包括FEC源或修复分组块的发送时间段。如果固定的端到端延迟包括FEC源或修复分组块的发送时间段,则信号接收装置可以执行与固定的端到端延迟,即,分组的发送时间Ts+固定的端到端延迟,相对应的FEC解码操作,并且提供该分组给包括在信号接收装置中的MMT应用单元(图3中未示出)。如果固定的端到端延迟不包括FEC源或修复分组块的发送时间段,则信号接收装置可以执行与由FEC消息的FEC源或修复分组发送时间段信息指示的时间和固定的端到端延迟,即,分组的发送时间Ts+固定的端到端延迟+FEC源或修复分组发送时间段,相对应的FEC解码操作,并且提供该分组给包括在信号接收装置中的MMT应用单元。FEC源或修复分组发送时间段表示所有FEC源或修复分组块都应该在FEC源或修复分组发送时间段期间发送。
参考图3,FEC源分组在源分组块基础上生成,而FEC修复分组在源分组块基础上生成和发送。然而,在实际网络环境中,本领域普通技术人员将理解,由MMTP单元320生成的源分组被输入到MMT FEC单元330,同时通过将源FEC有效载荷ID添加到所述源分组而将所述源分组生成为FEC源分组,FEC源分组被立即发送。在这种情况下,MMT FEC单元330将源分组存储在MMT FEC单元330中包括的内存储器中,如果用于源分组块的最后一个源分组被输入到MMT FEC单元330,则从源分组块中生成源符号块,并且将源符号块递送到FEC码单元340。然后,最好的是,FEC码单元340基于从MMT FEC单元330递送的源符号块生成奇偶校验符号块,并且将所生成的奇偶校验符号块与FEC有效载荷ID一起递送到MMTP单元320,而MMTP单元320基于从MMT FEC单元340递送的奇偶校验符号块生成FEC修复分组,以递送FEC修复分组。
虽然MMT应用单元310、MMTP单元320、MMT FEC单元330、FEC码单元340、传输层处理单元350、以及IP处理单元360被描述为单独的单元,但是将理解的是,这仅仅是为了方便描述。换句话说,MMT应用单元310、MMTP单元320、MMT FEC单元330、FEC码单元340、传输层处理单元350、以及IP处理单元360中的两个或更多个可以被合并到单一单元中。
已经参考图3描述了根据本公开的实施例的在支持FEC方案的MMT系统中的AL-FEC体系结构,而在支持FEC方案的MMT系统中使用的二阶FEC编码结构将参考图4来描述。
图4示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用的二阶FEC编码结构。
参考图4,MMT FEC方案为分层或非分层媒体数据提供了MMTP分组的多级结构,以用于FEC源流中MMT资产的适当等级的保护。例如,多级结构包括二阶FEC编码结构、层感知FEC(LA-FEC)编码结构等。
在MMT方案中,已经建议了使用多于一个FEC码的二阶FEC编码结构,其用于保护要求相对较高可靠性的MMTP分组。二阶FEC编码结构表示用于保护包括预定数量的MMTP分组的源分组的、用于AL-FEC的FEC编码结构。
参考图4,第i个P1表示用于第i源符号块的修复符号,P2表示用于源符号块的修复符号块。这里,i=1、2、……、M。
源分组块将根据多个FEC编码结构之一来编码,即,与情况0相对应的FEC编码结构、与情况1相对应的FEC编码结构、以及与情况2相对应的FEC编码结构。与情况0相对应的FEC编码结构、与情况1相对应的FEC编码结构、以及与情况2相对应的FEC编码结构将在下面描述。
(1)与情况0相对应的FEC编码结构(情况0)
与情况0相对应的FEC编码结构表示不应用FEC编码。
(2)与情况1相对应的FEC编码结构(情况1)
与情况1相对应的FEC编码结构表示一阶FEC编码结构。
(3)与情况2相对应的FEC编码结构(情况2)
与情况2相对应的FEC编码结构表示二阶FEC编码结构。
对于二阶FEC编码结构,一个源分组块被分割成M个源分组块。所述M个源分组块中的每一个可以被称为源分组子块。这里,M大于1(M>1)。所分割的第i源分组块,即,第i源分组子块,被转换为与源符号块生成(SSBG)模式之一相对应的第i源符号块。SSBG模式将在下面描述,并且这里将省略详细描述。
然后,第i源符号块通过FEC 1码编码。这里,i=1、2、……、M。然后,M个源符号块被连结(concatenate)以便通过FEC 2码形成单一源符号块。
同时,M个修复符号块通过FEC 1码分别从M个源符号块中生成,而一个修复符号块通过FEC 2码从连结的源符号块中生成。
对于与情况0相对应的FEC编码结构,将跳过FEC 1和FEC 2编码两者。对于与情况0相对应的FEC编码结构,不生成修复符号。
对于与情况1相对应的FEC编码结构,M将被设置为“1”,并且FEC 1编码或FEC 2编码将被跳过。
接着是二阶FEC编码结构的详细描述。
根据二阶FEC编码结构,MMT FEC单元将包括预定数量的源分组的源分组子块分割为M个(M是大于1的整数)第一源分组子块(第1源分组块~第M源分组块),从第一源分组子块中的每一个中生成第一源符号子块(第1源符号块~第M源符号块),并且通过对第一源符号子块中的每一个执行第一FEC编码操作来生成包括第一修复符号块的第一编码符号。这里,第一FEC编码操作表示基于FEC码1的编码操作。
MMT FEC单元通过将M个第一源符号子块生成为第二源符号块,来生成包括通过第二FEC编码操作生成的第二修复符号块的第二编码符号块。这里,第二FEC编码操作表示基于FEC码2的编码操作。第一FEC编码操作和第二FEC编码操作可以使用相同的FEC码或不同的FEC码。这里,可以在本公开的实施例中使用的FEC码可以是当前已知的码以及将被研发的码之一,但是不限于特定的码,所述当前已知的码诸如Reed Solomon(RS)码、低密度奇偶校验(LDPC)码、Raptor码、异或(exclusive OR,XOR)码等。
参考图4,第i个P1是用于第i源符号块的修复符号块,而P2是用于源符号块的修复符号块,其中,i=1、2、……、M。
已经参考图4描述了根据本公开的实施例的在支持FEC方案的MMT系统中使用的二阶FEC编码结构,而根据本公开的实施例的在支持FEC方案的MMT系统中使用的LA-FEC编码结构将参考图5来描述。
图5示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用的LA-FEC编码结构。
参考图5,LA-FEC编码结构可以用于高效地保护具有层结构的媒体数据,即,分层媒体数据。例如,分层媒体数据可以是使用可伸缩视频编码(SVC)方案或多视图视频编码(MVC)方案等编码的内容。也就是说,LA-FEC编码结构可以以任何FEC码来应用,并且专用于分层媒体数据。
LA-FEC编码结构在FEC构建中利用(exploit)媒体的各层之间的依赖关系,并且一般由与每一层相关联的若干修复流组成。在每一层中,每个修复流保护每个修复流的相关层的数据、以及每一层所依赖的所有的层(如果有的话)的数据。为了方便起见,每个层可以被称为补充(complementary)层。
第一,来自不同层的MMTP分组被独立地分组到源符号块中。如果使用LA-FEC编码结构,则为了修复流的FEC编码而生成的源符号块将把相关层的源符号块和来自所述相关层的所有补充层(如果有的话)的源符号块组合起来。来自不同层的源符号块的组合将遵循来自媒体的依赖层级来执行,即,以每个源符号块跟随在相关层的补充层的源符号块之后的方式。
参考图5,存在用于LA-FEC编码结构的、用于具有两层的分层媒体数据的源符号块生成的示例。基础层(base layer)和增强层(enhancement layer)能够被表达在图5中的LA-FEC编码结构中,并且增强层依赖于分层媒体流的基础层。
也就是说,在媒体包括两层的情况下应用LA-FEC编码方案的源块配置被示出在图5中的LA-FEC编码结构中。在图5中,基础层的基础表示(base representation,BR)表示可在媒体编解码器中独立解码的数据,而增强层的增强表示(enhancement representation,ER)表示依赖于BE的数据。在图5中,将注意到,如果生成了用于ER1的奇偶校验,则BR被一起使用。
已经参考图5描述了根据本公开的实施例的在支持FEC方案的MMT系统中使用的LA-FEC编码结构,而根据本公开的实施例的在支持FEC方案的MMT系统中使用MMT分组流来生成源分组块和源符号块的过程将参考图6来描述。
图6示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用MMT分组流来生成源分组块和源符号块的过程。
参考图6,资产包括多个MPU,并且在分组化之后每个MPU被生成为MMT分组。
如果每个MPU被分组化为MMT分组,则包括在每个MMT分组中的头包括相关MMT分组的发送时间信息,即,时戳。MMT分组被分别分割为包括预设数量的MMT分组的源分组块,并且每个源分组块被转换为包括具有相同的长度(T)的源符号的源符号块。在源分组块被转换为源符号块的情况下,如果源分组的长度小于T,则通过插入填充数据到源分组来生成长度T的源符号块。这样,包括在源分组块中的源分组当中的最后一个源分组也可以被生成为源符号块。
已经参考图6描述了根据本公开的实施例的在支持FEC方案的MMT系统中使用MMT分组流来生成源分组块和源符号块的过程,而根据本公开的实施例的在支持FEC方案的MMT系统中使用源符号块来生成修复符号块的过程将参考图7来描述。
图7示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用源符号块生成修复符号块的过程。
参考图7,编码符号块包括源符号块以及从源符号块中生成的修复符号块。源符号块是根据预设的SSBG模式从源分组块中生成。修复符号块是通过FEC编码方案从相关的源符号块中生成。这里,编码符号格式示出在图7中。
也就是说,使用FEC码从源符号块中生成修复符号块的过程示出在图7中。在图7中,K个源符号,即,包括源符号#0、源符号#1、……、源符号#K-1的源符号块,被输入到FEC编码器,并且FEC编码器生成包括P个修复符号,即,修复符号#0、修复符号#1、……、修复符号#P-1的修复符号块,以输出所生成的修复符号块。这里,源符号#0、源符号#1、……、源符号#K-1、修复符号#0、修复符号#1、……、修复符号#P-1中的每一个具有T个字节的长度。
已经参考图7描述了根据本公开的实施例的在支持FEC方案的MMT系统中使用源符号块生成修复符号块的过程,而根据本公开的实施例的在支持FEC方案的MMT系统中为包括在FEC源或修复分组块中的FEC源或修复分组当中的被首先发送的FEC源或修复分组设置时戳的过程将参考图8来描述。
图8示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中为包括在FEC源或修复分组块中的FEC源或修复分组当中的被首先发送的FEC源或修复分组设置时戳的过程。
参考图8,AL-FEC处理器(图8中未示出)将包括如图6中生成的20个源分组的源分组块分割成两个源分组子块,每个源分组子块包括10个源分组,以用于应用如图4中描述的二阶FEC编码结构。AL-FEC处理器通过FEC1码为两个源分组子块中的每一个生成三个修复符号,并且通过应用二阶FEC编码结构到所生成的两个源分组子块,通过FEC 2码为包括20个源分组的源分组块生成三个修复符号。AL-FEC处理器通过将FEC有效载荷ID添加到源分组子块和修复符号来生成FEC源或修复分组块。
包括在每一个源分组中的头包括关于源分组生成的用于相关分组的时戳,而包括在修复分组中的头包括用于相关分组的时戳。
这里,FEC有效载荷ID包括用于包括在其中包括每个分组的FEC源或修复分组块中的FEC源或修复分组当中的被首先发送的FEC源或修复分组的时戳。在这种情况下,如果应用了二阶FEC编码结构,则用于源分组子块的源FEC有效载荷ID包括:FEC源或修复分组块中所包括的用于源分组子块的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳、和FEC源或修复分组块中所包括的用于包括源分组子块的源分组块的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳,并且修复FEC有效载荷ID包括相关FEC源或修复分组块中所包括的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳。
虽然图8中未示出,但是如果应用了一阶FEC编码结构,则源FEC有效载荷ID只包括用于包括在相关FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳,而如果如图5中描述的应用了LA-FEC编码结构,则源FEC有效载荷ID只包括用于包括在包括基础层和增强层的FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳。
参考图8,通过考虑到将生成三个FEC修复分组,AL-FEC处理器通过将时戳以0、1、2、……、8、9的形式包括在20个MMT分组当中的前10个MMT分组中所包括的每一个头中,并且通过将时戳以13、14、15、……、21、22的形式包括在另外10个MMT分组中所包括的每一个头中,来生成MMT分组。
然后,通过FEC 1码生成总共六个FEC修复分组,时戳以10、11、12的形式被包括在最先三个FEC修复分组中所包括的每一个MMT头中,并且时戳以23、24、25的形式被包括在接下来三个FEC修复分组中所包括的每一个MMT头中。
时戳以26、27、28的形式被包括在通过FEC 2码生成的3个FEC修复分组中所包括的每一个MMT头中,FEC有效载荷ID在3个FEC修复分组被分组化之后被添加到每个分组。也就是说,源FEC有效载荷ID被添加到FEC源分组,并且修复FEC有效载荷ID被添加到FEC修复分组。包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳,作为“0”,被设置用于包括在FEC源或修复分组块中的、用于第一源分组子块(第1源分组块)的每个FEC源或修复分组,而包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳,作为“13”,被设置用于包括在FEC源或修复分组块中的、用于第二源分组子块(第2源分组块)的每个FEC源或修复分组。
包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳,作为“0”,被设置用于包括在FEC源或修复分组块中的、用于源分组块的每个FEC源或修复分组。
例如,时戳是网络时间协议(NTP)时戳,并且可以用预设数量的字节来实施,例如,4个字节。在这种情况下,上层2个字节表示“第二”,而下层2个字节表示“碎片(fraction)”。NTP时戳的详细描述可以基于NTP版本4、IETF RFC5905的条款6中的“短格式”中定义的概念,并且这里将省略详细描述。
虽然图8中未示出,发送包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳的方法的另一个示例是通过将时戳包括到用于每个FEC源或修复分组的MMT分组头来发送时戳的方案。
可替换地,时戳可以通过不同于FEC有效载荷ID的其他字段来发送。
在各种时戳发送方案的任何一种中,优选的是,包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳通过包括在相关FEC源或修复分组块中的FEC源或修复分组当中的至少一个FEC源或修复分组来发送。
通常,分组丢失可能在网络上发生。所以,如果在包括在FEC源或修复分组块中的所有FEC源或修复分组中的每一个中发送时戳,则信号接收装置可以从信号接收装置首先接收的FEC源或修复分组中得知包括在相关FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳。
而且,信号接收装置应该接收至少一个FEC修复分组用于FEC解码。所以,如果用于相关FEC源或修复分组的时戳在FEC修复分组中,则信号接收装置可以从信号接收装置首先接收的FEC修复分组中得知包括在相关FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳。
对于如在图4中描述的二阶FEC编码结构,如果时戳被包括在相关FEC源或修复分组块中所包括的所有FEC源或修复分组中的每一个中,则由于FEC源分组应该包括用于包括在用于FEC源分组子块的FEC源或修复分组和用于FEC源分组块的FEC源或修复分组中的每一个中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳,所以FEC源分组使用两个时戳字段。
在这种情况下,为了使用用于包括在FEC分组中的时戳的一个字段,有可能可替换地设置时戳。也就是说,有可能用于包括在FEC源或修复分组块中的用于FEC源分组子块的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳信息被包括在FEC源分组当中的奇数发送的FEC源分组中,而用于包括在FEC源或修复分组块中的用于FEC源分组块的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳信息被包括在FEC源分组当中的偶数发送的FEC源分组中。
而且,在这种情况下,最好时戳字段额外包括指示用于包括在FEC源或修复分组块中的用于FEC源分组块的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳、或者用于包括在FEC源或修复分组块中的用于FEC源分组子块的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳的信息。例如,如果时戳字段用4个字节实施,MSB 1位被设置为时戳信息指示符。在这种情况下,如果这1位的值是“0”,则这意味着发送用于包括在FEC源或修复分组块中的用于FEC源分组块的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳。如果这1位的值是“1”,则这意味着发送用于包括在FEC源或修复分组块中的用于FEC源分组子块的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳。在这种情况下,剩余的31位被设置为用于包括在相关FEC源或修复分组中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳当中除了MSB 1位以外的剩余31位。
已经参考图8描述了根据本公开的实施例的在支持FEC方案的MMT系统中设置用于包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳的过程,而根据本公开的实施例的在支持FEC方案的MMT系统中使用二阶FEC结构的情况下设置时戳的过程将参考图9来描述。
图9示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用二阶FEC结构的情况下设置时戳的过程。
参考图9,时戳在包括在10个源分组中的每一个中的MMTP头中被设置为0、1、2、3、4、8、9、10、11、12。这意味着AL-FEC处理器(图9中未示出)将包括10个源分组的源分组块分别分割为5个源分组,并且在假设AL-FEC处理器将为第一源分组块生成3个修复分组之后保留时戳5、6、7用于修复分组。AL-FEC处理器基于在MMT发送实体中输入的或预先确定的FEC配置相关信息,确定如何构建源分组块或者生成多少修复分组,并且可以如上所述根据每个分组的发送次序和发送时间来调度每个分组。
AL-FEC处理器通过将包括10个源分组的源分组块分组,来生成2个源分组子块(第1源分组块),每个源分组子块包括5个源分组,通过对两个源分组子块中的每一个进行FEC1编码来生成3个FEC1修复分组,并且通过对总共的源分组块进行FEC 2编码来生成3个FEC2修复分组。
AL-FEC处理器将TS指示符=0以及FP_TS(=0),作为在包括在第一FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的MMTP分组头中发送的时戳的除了最高有效位(MSB)1位以外的31位信息,包括在第一FEC源分组块中包括的奇数FEC源分组的源FEC有效载荷ID中。TS指示符和FP_TS将在下面描述,并且这里将省略详细描述。
AL-FEC处理器将TS指示符=1以及FP_TS(=0),作为在包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的MMTP分组头中发送的时戳的除了MSB 1位以外的31位信息,包括在偶数FEC源分组的源FEC有效载荷ID中。
AL-FEC处理器将TS指示符=0以及FP_TS(=0),作为在包括在第一FEC源或修复块中的FEC源或修复分组当中被首先发送的FEC源或修复分组中所包括的MMTP分组头中发送的时戳的除了MSB 1位以外的31位信息,包括在用于第一FEC源分组块的3个FEC1修复分组中。
AL-FEC处理器将TS指示符=0以及FP_TS(=8),作为在包括在第一FEC源或修复块中的FEC源或修复分组当中被首先发送的FEC源或修复分组中所包括的MMTP分组头中发送的时戳的除了MSB 1位以外的31位信息,包括在第二FEC源分组中包括的奇数FEC源分组的源FEC有效载荷ID中。
AL-FEC处理器将TS指示符=1以及FP_TS(=0),作为在包括在FEC源或修复块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的MMTP分组头中发送的时戳的除了MSB 1位以外的31位信息,包括在偶数FEC源分组的源FEC有效载荷ID中。
AL-FEC处理器将TS指示符=0以及FP_TS(=8),作为在包括在FEC源或修复块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的MMTP分组头中发送的时戳的除了MSB 1位以外的31位信息,包括在用于第二FEC源分组块的3个FEC1修复分组中。
AL-FEC处理器将TS指示符=1以及FP_TS(=0),作为在包括在FEC源或修复块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的MMTP分组头中发送的时戳的除了MSB 1位以外的31位信息,包括在用于FEC源分组块的3个FEC2修复分组中。
已经参考图9描述了根据本公开的实施例的在支持FEC方案的MMT系统中使用二阶FEC结构的情况下设置时戳的过程,并且将参考图10描述根据本公开的实施例的在支持FEC方案的MMT系统中使用的FEC源分组的结构。
图10示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用的FEC源分组的结构。
参考图10,FEC源分组包括D2头字段1010、D1头字段1011、D1有效载荷字段1012、以及FEC带内信号字段1013。
D2头字段1010包括MMT分组头,D1头字段1011包括MMT有效载荷头,D1有效载荷字段1012包括有效载荷数据,而FEC带内信号字段1013包括源FEC有效载荷ID。这里,作为关于相关MMT分组被发送的发送时间的信息的时戳被包括在D2头字段1010中。
已经参考图10描述了根据本公开的实施例的在支持FEC方案的MMT系统中使用的FEC源分组的结构,并且将参考图11描述根据本公开的实施例的在支持FEC方案的MMT系统中使用的FEC修复分组的结构。
图11示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中使用的FEC修复分组的结构。
参考图11,FEC修复分组包括D2头字段1120、D1头字段1121、D1有效载荷((多个)修复有效载荷)字段1122、以及FEC带内信号字段1123。
D2头字段1120包括MMT分组头,D1头字段1121包括MMT有效载荷头,FEC带内信号字段1123包括修复FEC有效载荷ID,而D1有效载荷((多个)修复有效载荷)字段1122包括一个或多个修复符号。D2头字段1120包括作为关于相关MMT分组被发送的发送时间的信息的时戳。
如上所述,通过一系列诸如FEC编码过程等的过程,MMT分组具有如在图11中描述的结构。
参考图10,为了维持协议分组(例如MMT分组)的结构的一致性并在FEC分组中连续地定位源分组,将假设FEC带内信号字段1013的位置在FEC源分组的最后一部分。FEC修复分组包括一个或多个修复符号。修复符号用于恢复包括源分组的源符号块。
参考图11,为了使信号接收装置更快速地和更容易地获取FEC相关信息,假设FEC带内信号字段1123的位置在发送协议头和修复符号之间。
将参考表1和表2描述根据本公开的实施例的在支持FEC方案的MMT系统中,包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳被包括在FEC有效载荷ID中的情况。
表1表示源FEC有效载荷ID,而表2表示修复FEC有效载荷ID。
【表1】
SS_ID |
FFSRP_TS |
【表2】
SS_Start |
RSB_length |
RS_ID |
SSB_length |
FFSRP_TS |
表1和表2中的每个字段将在下面描述。
(1)SS_ID字段
SS_ID字段包括源符号ID(SS_ID),而SS_ID是FEC源分组中源符号的序号。
从预设值起,SS_ID对于每个符号元素都增加预设值,例如,增加1。这还被应用到填充符号元素,而SS_ID被设置为包括在FEC源分组中的第一符号元素的SS_ID。在用于当前分组的SS_ID和用于下一个分组的SS_ID之间的差与包括在当前分组中的符号元素的数量相等。然而,如果符号元素被包括在当前FEC源分组块的源符号块中,则包括在当前源分组块中的FEC源分组当中的最后一个FEC源分组的SS_ID与包括在下一个源分组块中的FEC源分组当中的第一FEC源分组的SS_ID之间的差是包括在当前FEC源分组块中的符号元素的数量和填充符号元素的数量的总和。SS_ID从可以随机生成的任意值开始增加,并且SS_ID在可以用4个字节或多于4个字节的预设长度的字节表示的预设最大值之后折回到(wraparound to)初始值,例如,“0”。
SS_ID将在下面描述。
SS_ID可以由多个位,例如,32个位实施,并且表示FEC源分组中的源符号的序号。SS_ID从任意值开始增加,并且在预设最大值之后折回到初始值,例如,“0”。
如果作为指示应用的SSBG模式的参数的ssbg_mode的值是00或01(ssbg_mode==00或ssbg_mode==01),则SS_ID对于每个FEC源分组都增加预设值,例如,增加一。这里,“ssbg_mode==00”指示应用的SSBG模式是“ssbg_mode0”,而“ssbg_mode==01”指示应用的SSBG模式是“ssbg_mode1”。ssbg_mode0和ssbg_mode1将在下面描述,并且这里将省略详细描述。
如果ssbg_mode的值是10(ssbg_mode==10),则SS_ID对于每个符号元素都增加预设值,例如,增加一,并且SS_ID被设置为包括在FEC源分组中的第一符号元素的SS_ID。这里,符号元素包括在源符号块的最后一个源符号中的填充符号元素,如果有的话。这里,“ssbg_mode==10”指示应用的SSBG模式是“ssbg_mode2”。ssbg_mode2将在下面描述,并且这里将省略详细描述。
ssbg_mode0、ssbg_mode1、以及ssbg_mode2将在下面描述。
首先,ssbg_mode0将在下面描述。
在ssbg_mode0中,源符号块与源分组块完全相同,因为所有MMTP分组具有相同的大小。这意味着包括在源分组块中的MMTP分组的数量与包括在源符号块中的源符号的数量相等,并且每个MMTP分组#i与每个源符号#i(i=0、1、……、K-1)完全相同。在ssbg_mode0中,对于一阶FEC编码结构(M=1),从源分组块生成源符号块,而无需填充字节。在ssbg_mode0中,对于二阶FEC编码结构和LA-FEC编码结构(M>1),第i源符号块从包括在源分组块中的第i源分组块(即,第i源分组子块)生成(i=0、1、……、M-1),而无需填充字节。
第二,ssbg_mode1将在下面描述。
在ssbg_mode1中,源符号块以和ssbg_mode0相同的方式从源分组块生成,除了每个MMTP分组#i可能具有填充字节以使得每个MMTP分组#i的大小与用作每个MMTP分组#i的相关联的奇偶校验符号的长度的T相同以外。这意味着包括在源分组块中的MMTP分组的数量与包括在与源分组块相关联的源符号块中的源符号的数量相同,并且通过将可能的填充字节(均为00h)添加到相应的MMTP分组#i来生成每个源符号#i。在ssbg_mode1中,对于一阶FEC编码结构(M=1),源符号块从源分组块生成,可能利用了填充字节(均为00h)。在ssbg_mode1中,对于二阶FEC编码结构和LA-FEC编码结构(M>1),第i源符号块从包括在源分组块中的第i源分组块生成(i=0、1、……、M-1),可能利用了填充字节(均为00h)。
第三,ssbg_mode2将在下面描述。
在ssbg_mode2中,对于一阶FEC编码结构,源符号块从源分组块生成,可能利用了填充字节(均为00h)。单一源符号块由从单一源分组块生成的个源符号组成,可能利用了填充字节(均为00h),并且每个源符号由相同的数量的N(>=1)符号元素组成。这意味着单一源符号块由N*KSS个符号元素组成。源分组块的MMTP分组#0被放入包括在源符号块中的最先s0数量个符号元素中,可能具有多达包括在源符号块中的最先s0数量个符号元素的最后一个符号元素的边界的填充字节。源分组块的MMTP分组#1被以与MMTP分组#0相同的方式放入包括在源符号块中的接下来的数量个符号元素中。这样,源分组块的MMTP分组#KSP-1被以与MMTP分组#0相同的方式放入包括在源符号块中的接下来的sKsp-1数量个符号元素中。如果KSST总和{siT’,i=1,…,KSP}不是零,则P数量个填充字节(均为00h)被放入包括在单一源符号块中的最后一个符号元素中。
(2)FFSRP_TS字段
FFSRP_TS字段包括第一FEC源或修复分组时戳。FFSRP_TS字段是用于FEC源分组的字段,并且包括时戳,该时戳是包括相关分组的相关FEC源或修复分组块中包括的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳。
如果二阶FEC编码结构被应用(图4中的M>1),则FFSRP_TS字段包括两个时戳:包括在FEC源或修复分组块中的用于FEC源分组子块(第i FEC源分组块,i=1、2、……、M)的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳;以及包括在FEC源或修复分组块中的用于FEC源分组块的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳。
可替换地,如果二阶FEC编码结构被应用(图3中的M>1),则时戳以这样的形式发送:包括在FEC源或修复分组块中的用于FEC源分组子块(第i FEC源分组块,i=1、2、……、M)的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳被包括在用于FEC源分组块当中的偶数(或奇数)发送的FEC源分组的源FEC有效载荷ID中,而包括在FEC源或修复分组块中的用于FEC源分组块的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳被包括在用于FEC源分组块当中的奇数(或偶数)发送的FEC源分组的源FEC有效载荷ID中,所以一个FFSRP_TS字段可以处理二阶FEC编码结构。在这种情况下,FFSRP_TS字段包括TS指示符和时戳字段。TS指示符指示包括在时戳字段中的时戳是用于包括在FEC源或修复分组块中的用于FEC源分组子块的FEC源或修复分组当中被首先发送的FEC源或修复分组,或者是用于包括在FEC源或修复分组块中的用于FEC源分组块的FEC源或修复分组当中被首先发送的FEC源或修复分组。
可替换地,如果LA-FEC编码结构被应用,则FFSRP_TS字段包括时戳,该时戳是包括增强层的相关FEC源或修复分组块中包括的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳。
(3)SS_Start字段
SS_Start字段可以选择性地在FEC源分组中使用。如果SS_Start字段被包括在FEC源分组中,则SS_Start字段具有与包括在FEC源分组中的源分组块的第一源分组的SS_ID相同的值,并且对应于包括了源分组的源符号块的边界信息。
在FEC奇偶校验分组中,SS_Start字段具有与关于包括相关FEC奇偶校验分组的FEC奇偶校验分组块的FEC源分组块的第一源分组的SS_ID相同的值。信号接收装置可以基于SS_Start字段从接收的FEC分组中得知FEC源分组的边界,即,开始位置。
(4)RSB_length字段
RSB_length字段表示包括在奇偶校验块中的奇偶校验符号的数量,所述奇偶校验块中包括了FEC奇偶校验分组中包括的(多个)奇偶校验符号。也就是说,如果使用FEC编码方案从包括K个源符号的源符号块中生成P个修复符号,则RSB_length字段的值被设置为P。
(5)RS_ID字段
RS_ID字段包括RS_ID,作为用于识别包括在FEC奇偶校验分组中的奇偶校验符号的序号。RS_ID从预设值,例如,0开始,并且在每个奇偶校验符号块内增加预设值,例如,增加1。如果一个FEC奇偶校验分组包括多个奇偶校验符号,则RS_ID表示所述多个奇偶校验符号的序号当中的最小值。
(6)SSB_length字段
由包括在FEC奇偶校验分组中的(多个)奇偶校验符号保护的源符号(子)块中包括的符号元素的数量被设置在SSB_length字段中。符号元素的数量不包括源符号块的最后一个源符号中包括的填充符号元素的数量。也就是说,如果包括在源符号块中的源符号的数量是K,并且包括在源符号块中的源符号当中的最后一个源符号中包括的填充符号元素的数量是p,则SSB_length字段的值被设置为K*m–p。
(7)FFSRP_TS字段
FFSRP_TS字段包括第一FEC源或修复分组时戳。FFSRP_TS字段是用于FEC修复分组,并且包括时戳,该时戳是包括FEC修复分组的相关FEC源或修复分组块中包括的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳。
表3表示包括在根据本公开的实施例的FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳被包括在单独的字段中、并且所述单独的字段被包括在如图10和图11中描述的FEC带内信号字段中的情况。在这种情况下,图10和图11中的FEC带内信号字段包括用于FEC有效载荷ID的字段和用于FEC时戳的字段,源FEC有效载荷ID包括表1中的SS_ID字段,而修复FEC有效载荷ID被生成而没有表2中的FFSRP_TS字段。
【表3】
FFSRP_TS |
表3与表1相同,除了表3中的FFSRP_TS字段被包括在作为单独的字段的FEC带内信号字段中而不是FEC有效载荷ID中以外。也就是说,如果FFSRP_TS字段被应用到FEC源分组,则FFSRP_TS字段与在表1中描述的相同,并且如果FFSRP_TS字段被应用到FEC修复分组,则FFSRP_TS字段与在表2中描述的相同。
表4表示包括在根据本公开的实施例的FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳被包括在MMTP分组头中的情况。
【表4】
TS |
FFSRP_TS |
在表4中,TS字段包括相关分组被发送的时戳。这里,当接收到分组时,信号接收装置可以基于包括在TS字段中的时戳得知接收的分组被发送的时间。
在表4中,FFSRP_TS字段与表1和表2中的FFSRP_TS字段相同,除了FFSRP_TS字段被包括在MMT分组头中以外,并且这里将省略详细描述。
表5表示根据本公开的实施例的FEC消息的格式,并且FEC消息包括FEC保护窗口时间字段作为FEC源或修复分组块的发送时间段信息。
【表5】
FEC保护窗口时间 |
在表5中,FEC保护窗口时间字段表示包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的发送时间与包括在FEC源或修复分组块中的FEC源或修复分组当中被最后发送的FEC源或修复分组的发送时间之间的最大值。这意味着信号接收装置应当在由FEC保护窗口时间设置的时间期间,发送包括在FEC源或修复分组块中的所有FEC源或修复分组。
所以,如果包括在FEC源或修复分组块中的FEC源或修复分组当中被最后发送的FEC源或修复分组的时戳是“T1”,并且包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修理分组的时戳是“T0”,则应当满足T1-T0<FEC保护窗口时间的标准。
如果二阶FEC编码结构或LA-FEC编码结构被应用,则FEC保护窗口时间需要被设置为用于每个FEC编码阶段(stage)的FEC保护窗口时间或用于每个层的FEC保护窗口时间。例如,对于二阶FEC编码结构,可能分别需要用于FEC源分组子块的FEC源或修复分组块的FEC保护窗口时间和用于FEC源分组块的FEC源或修复分组块的FEC保护窗口时间。
表6表示根据本公开的实施例的HRBM消息的格式,以及最大缓冲器大小字段和固定的端到端延迟字段。
【表6】
最大缓冲器大小 |
固定的端到端延迟 |
在表6中,最大缓冲器大小字段包括用于信号接收装置的MMT资产最大需要的缓冲器大小。缓冲器大小可以被计算为(最大延迟-最小延迟)*最大比特率。也就是说,最大缓冲器大小字段包括关于多媒体数据所需的最大缓冲器大小的信息。
在表6中,固定的端到端延迟字段包括信号发送装置和信号接收装置之间的延迟值,并且可以被设置为最大传输延迟+FEC缓冲时间的值。FEC缓冲时间表示FEC保护窗口时间。如图5中所描述的,如果FEC保护窗口时间对于每个编码方案都是必需的,则HRBM消息包括最大传输延迟信息而不是固定的端到端延迟信息,并且对于用于FEC消息的编码方案的每个阶段的固定的端到端延迟信息可以与对于用于FEC消息的编码方案的每个阶段的FEC保护窗口时间一起被发送给信号接收装置。
也就是说,固定的端到端延迟字段包括关于在信号发送装置和信号接收装置之间的延迟的信息。基于在信号发送装置和信号接收装置之间的最大发送延迟以及最大时间间隔信息,确定关于在信号发送装置和信号接收装置之间的延迟的信息。如果FEC源或修复分组块包括多个FEC源或修复分组,则最大时间间隔信息与FEC源或修复分组当中被首先发送的FEC源或修复分组的发送定时点与FEC源或修复分组当中被最后发送的FEC源或修复分组的发送定时点之间的最大时间间隔有关。
如果FEC源或修复分组块包括多个FEC源或修复分组,则FEC保护窗口时间表示与FEC源或修复分组当中被首先发送的FEC源或修复分组的发送定时点与FEC源或修复分组当中被最后发送的FEC源或修复分组的发送定时点之间的最大时间间隔有关的信息。FEC源或修复分组在所述最大时间间隔内被发送给接收装置。
根据本公开的实施例的在支持FEC方案的MMT系统中的FEC源或修复分组块的发送/接收时段和FEC解码去抖动过程将在下面描述。
图12示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中的FEC源或修复分组块的发送/接收时段和FEC解码去抖动过程。
参考图12,MMTP基于发送次序在FEC保护窗口时间(Tw)内发送包括在FEC源或修复分组块中的第一FEC源或修复分组到最后一个FEC源或修复分组。在图12中,2个FEC源或修复分组块,每个包括N个分组(K个FEC源分组和N-K个FEC修复分组),被使用在FEC消息中设置的FEC保护窗口时间(Tw)来发送。所发送的N个分组由于网络延迟在最小传输延迟(Dmin)或者在最大传输延迟(Dmax)之后到达信号接收装置。
所以,在发送定时点的FEC保护窗口可以不同于在接收定时点的FEC保护窗口。也就是说,由于网络延迟,在Ts1和Te1之间发送的FEC源或修复分组块#1可以具有从Ts1+Dmin到Te1+Dmax的接收窗口。
然而,由于网络情形,分组可能不会以与发送次序相同的次序到达并且可能发生分组丢失,由于信号接收装置可能不知道被首先接收到的分组是否是包括在相关的FEC源或修复分组中的FEC源或修复分组当中被首先发送的FEC源或修复分组,所以信号接收装置可能不设置从Ts1+Dmin到Te1+Dmax的接收窗口。
然而,信号接收装置可以使用FEC消息的FEC保护窗口时间(Tw)、最大传输延迟(Dmax)、以及在每个FEC源或修复分组中发送的FEC源或修复分组中包括的FEC源或修复分组当中被首先发送的FEC源或修复分组的时戳(即,FFSRP_TS=T0=Ts1),设置从基于首先接收的FEC源或修复分组的FFSRP_TS信息的首先接收的FEC源或修复分组的接收时间,即,Tr,到T0+Tw+Dmax=Te1+Dmax的接收窗口。
所以,信号接收装置可以通过在从Tr到Te1+Dmax的时间期间执行缓冲操作来执行FEC解码操作。如果信号接收装置接收到足够的FEC源或修复分组,则信号接收装置可以在从Tr到Te1+Dmax的时间之前执行FEC解码操作。Te1+Dmax表示期间FEC解码器通过HRBM可以等待执行解码操作的最大时间。FEC解码器将包括在相关FEC源分组块中的K个MMT分组与根据FEC解码恢复的MMT分组一起输入到去抖动缓冲器,并且去抖动缓冲器输出与Ts+△相对应的输入的MMT分组。这里,Ts表示分组的时戳,并且△=Dmax+Tw。
已经参考图12描述了根据本公开的实施例的在支持FEC方案的MMT系统中的FEC源或修复分组块的发送/接收时段和FEC解码去抖动过程,而根据本公开的实施例的在支持FEC方案的MMT系统中的HRBM的内部结构将参考图13来描述。
图13示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中的HRBM的内部结构。
参考图13,HRBM包括FEC解码缓冲器1311、去抖动缓冲器1313、以及MMTP去封装缓冲器1315。接着是FEC解码缓冲器1311、去抖动缓冲器1313、以及MMTP去封装缓冲器1315的详细描述。
(1)FEC解码缓冲器1311
FEC解码缓冲器1311基于用于首先接收的FEC源或修复分组的FFRSP_TS信息、FEC消息的FEC保护窗口时间Tw、HRBM消息的最大传输延迟Dmax、以及最大缓冲器大小,设置从首先接收的FEC源或修复分组的接收时间Tr到FFRSP_TS+Tw+Dmax=FFRSP+△的接收窗口,并且缓冲在所设置的接收窗口内接收的相关FEC源或修复分组块中包括的FEC源或修复分组。
在接收窗口内接收到足够的FEC源或修复分组之后,信号接收装置在FFRSP+△之前或者在FFRSP+△时执行FEC解码操作,并且将恢复的FEC源分组块的所有分组(MMT分组)输入到去抖动缓冲器1313。也就是说,包括在恢复的FEC源分组中的所有分组在定时点T+FEC保护窗口时间(Tw)被输入到去抖动缓冲器1313。这里,T小于或等于FFRSP_TS+Dmax,或者大于或等于信号接收装置接收到足够的可以被信号接收装置FEC解码的FEC源或修复分组的定时点。
(2)去抖动缓冲器1313
去抖动缓冲器1313将在定时点Ts+△从FEC解码缓冲器1311输入的MMT分组中的每一个输入到MMTP去封装缓冲器1315。这里,Ts是包括在MMT分组的头中的分组的发送时间,即,时戳。
(3)MMTP去封装缓冲器1315
MMTP去封装缓冲器1315对从去抖动缓冲器1313输入的MMT分组执行去封装操作,以生成媒体片段单元(MFU)/媒体处理单元(MPU),并且输出所生成的MFU/MPU。这里,MFU表示MPU的片段。去封装操作包括去除MMT分组头和MMT有效载荷头的操作、去除MMT有效载荷的操作、去碎片化(de-fragmentation)操作、以及去聚合(de-aggregation)。
虽然FEC解码缓冲器1311、去抖动缓冲器1313、以及MMTP去封装缓冲器1315被描述为单独的单元,但是将理解的是这仅仅是为了方便描述。换句话说,FEC解码缓冲器1311、去抖动缓冲器1313、以及MMTP去封装缓冲器1315中的两个或更多个可以被合并到单一单元中。
已经参考图13描述了根据本公开的实施例的在支持FEC方案的MMT系统中的HRBM的内部结构,而根据本公开的实施例的在支持FEC方案的MMT系统中在FFRST_TS在被包括在分组中之后被发送的情况(情况1)下的信号接收装置中的FEC保护窗口和在FFRST_TS没有被包括在分组中而被发送的情况(情况2)下的信号接收装置中的FEC保护窗口将参考图14来描述。
图14示意地示出了根据本公开的实施例的在支持FEC方案的MMT系统中在FFRST_TS在被包括在分组中之后被发送的情况(情况1)下的信号接收装置中的FEC保护窗口和在FFRST_TS在没有被包括在分组中而发送的情况(情况2)下的信号接收装置中的FEC保护窗口。
参考图14,通过考虑到Dmin、Dmax和Tw,被表示为T0+Dmin~Te+Dmax的接收FEC保护窗口间隔表示其中可以接收到发送的FEC源或修复分组块的间隔。
参考图14,参考情况1,信号接收装置首先在实际时间Tr接收包括在FEC源或修复分组中的FEC源或修复分组。根据本公开的实施例,考虑到从FEC消息和HRBM消息获得的Tw和Dmax,信号接收装置的FEC保护窗口被设置为从包括在接收到的FEC源或修复分组中的FFRSP_TS信息(T0)到T0+Tw+Dmax。
参考图14,参考情况2,不发送在本公开的实施例中建议的FFRSP_TS,所以信号接收装置不知道包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修复分组的发送时间信息,并且可能不知道首先接收的FEC源或修复分组是否是包括在FEC源或修复分组块中的FEC源或修复分组当中被首先发送的FEC源或修理分组。
由此,信号接收装置应当基于首先接收的FEC源或修复分组的发送时间信息(Ts),通过考虑到Tw和Tmax,将信号接收装置的FEC保护窗口设置为Ts+Tw+Dmax。
由此,与情况1相比,在情况2中,信号接收装置在Ts-T0期间执行不必要的缓冲操作,或者发生额外的延迟,并且由于Ts-T0的值根据首先接收的FEC源或修复分组的发送时间信息Ts而变化,所以去抖动缓冲器的输出时间可能根据FEC解码缓冲器首先接收哪个FEC源或修复分组而变化。
已经参考图14描述了根据本公开的实施例的在支持FEC方案的MMT系统中在FFRST_TS在被包括在分组中之后被发送的情况(情况1)下信号接收装置中的FEC保护窗口和在FFRST_TS没有被包括在分组中而被发送的情况(情况2)下信号接收装置中的FEC保护窗口,而在根据本公开的实施例的MMT系统中的MMT发送实体的内部结构的示例将参考图15来描述。
图15示意地示出了根据本公开的实施例的在MMT系统中的MMT发送实体的内部结构的示例。
参考图15,MMT发送实体1500包括表现引擎层1511、文件处理器1513、一般对象构建层1515、媒体处理器1517、MPU构建层1519、信令消息处理器1521、信令消息构建层1523、MMTP层1525、以及递送层1527。
表现引擎层1511建立多媒体场景。
文件处理器1513处理文件,例如,MPU文件,而一般对象构建层1515构建一般对象,如完整的MPU。
媒体处理器1517处理媒体数据,MPU构建层1519构建MPU,而信令消息处理器1521对将要发送给MMT接收实体的信令消息执行处理操作。信令消息构建层1523构建在信令消息处理器1521中处理的信令消息。
MMTP层1525考虑各种参数,诸如packet_id、有效载荷类型等,生成流媒体(streamed media)。这里,封装程序基于递送的有效载荷类型,并且被独立地执行,所以将注意到,封装程序未示出在图15中。
递送层1527将在MMTP层1525中生成的流媒体数据转换为适于递送层1527发送流媒体数据的格式,并将转换后的格式发送给MMT接收实体
虽然表现引擎层1511、文件处理器1513、一般对象构建层1515、媒体处理器1517、MPU构建层1519、信令消息处理器1521、信令消息构建层1523、MMTP层1525、以及递送层1527被描述为单独的单元,但是将理解的是这仅仅是为了方便描述。换句话说,表现引擎层1511、文件处理器1513、一般对象构建层1515、媒体处理器1517、MPU构建层1519、信令消息处理器1521、信令消息构建层1523、MMTP层1525、以及递送层1527中的两个或更多个可以被合并到单一单元中。
已经参考图15描述了根据本公开的实施例的在支持FEC方案的MMT系统中的MMT发送实体的内部结构的示例,而根据本公开的实施例的在支持FEC方案的MMT系统中的MMT发送实体的内部结构的另一个示例将参考图16来描述。
图16示意地示出了根据本公开的实施例的在MMT系统中的MMT发送实体的内部结构的另一个示例。
参考图16,MMT发送实体1600包括发送器1611、控制器1613、接收器1615、以及存储单元1617。
控制器1613控制MMT发送实体1600的总体操作。更具体地,根据本公开的实施例,控制器1613控制MMT发送实体1600执行与发送/接收分组的操作相关的操作。与发送/接收分组的操作相关的操作以参考图1到图14描述的方式来执行,并且这里将省略其描述。
发送器1611在控制器1613的控制下向MMT接收实体等等发送各种消息等等。已经在图1到图14中描述了在发送器1611中发送的各种消息等等,并且这里将省略其描述。
接收器1615在控制器1613的控制下从MMT接收实体等接收各种消息等等。已经在图1到图14中描述了在接收器1615中接收的各种消息等,并且这里将省略其描述。
存储单元1617存储MMT发送实体1600的操作(特别是与根据本公开的实施例的发送/接收分组的操作相关的操作)所必需的程序、各种数据等等。存储单元1617存储在接收器1615中接收的各种消息等等。
虽然发送器1611、控制器1613、接收器1615、以及存储单元1617被描述为单独的单元,但是将理解的是这仅仅是为了方便描述。换句话说,发送器1611、控制器1613、接收器1615、以及存储单元1617中的两个或更多个可以被合并到单一单元中。
已经参考图16描述了在根据本公开的实施例的MMT系统中的MMT发送实体的内部结构的另一个示例,而在根据本公开的实施例的MMT系统中的MMT接收实体的内部结构的示例将参考图17来描述。
图17示意地示出了根据本公开的实施例的在MMT系统中的MMT接收实体的内部结构的示例。
参考图17,MMT接收实体1700包括表现引擎层1711、文件处理器1713、一般对象再建层1715、媒体处理器1717、MPU再建层1719、信令消息处理器1721、信令消息再建层1723、MMTP层1725、以及递送层1727。
MMT接收实体1700在一个或多个MMT功能区域(图17中未示出)操作。MMT功能区域包括MPU功能区域、递送功能区域、以及信令功能区域。MPU功能区域、递送功能区域、以及信令功能区域将在下面描述。
MPU功能区域定义了媒体内容的逻辑结构、数据包、以及将要由MMT实体处理的数据单元的格式以及它们的实例化,例如,如ISO/IEC 14496-12中规定的ISO基础媒体文件格式的实例化。数据包规定了包括媒体内容的组件以及所述组件之间的关系,以提供高级的递送所必需的信息。数据单元的格式被定义用来封装编码的媒体数据以用于存储或递送,并且允许在将要存储的数据和将要递送的数据之间的容易转换。
递送功能区域定义了应用层传输协议和有效载荷格式。应用层传输协议提供了与复用相比增强的特性、对流的混合使用的支持、以及一般应用层传输协议中的下载递送,例如,单一分组流。有效载荷格式被定义以便能够携载媒体类型和编码方法不可知的编码的媒体数据。
信令功能区域定义了携载用于管理媒体内容递送和消费的信息的信令消息的格式。用于管理消费的信令消息被用来用信号通知数据包的结构,而用于管理递送的信令消息被用来用信号通知有效载荷格式的结构和协议配置。
MMTP层1725被用来基于各种参数,诸如packet_id、有效载荷类型等,接收和解复用流媒体。这里,去封装程序取决于递送的有效载荷的类型并且被独立地处理,并且因此在图17中未示出。
表现引擎层1711建立多媒体场景,并且引用使用MMTP接收的内容。
虽然表现引擎层1711、文件处理器1713、一般对象再建层1715、媒体处理器1717、MPU再建层1719、信令消息处理器1721、信令消息再建层1723、MMTP层1725、以及递送层1727被描述为单独的单元,但是将理解的是这仅仅是为了方便描述。换句话说,表现引擎层1711、文件处理器1713、一般对象再建层1715、媒体处理器1717、MPU再建层1719、信令消息处理器1721、信令消息再建层1723、MMTP层1725、以及递送层1727中的两个或更多个可以被合并到单一单元中。
已经参考图17描述了在根据本公开的实施例的MMT系统中的MMT接收实体的内部结构的示例,而在根据本公开的实施例的MMT系统中的MMT接收实体的内部结构的另一个示例将参考图18来描述。
图18示意地示出了根据本公开的实施例的在MMT系统中的MMT接收实体的内部结构的另一个示例。
参考图18,MMT接收实体1800包括发送器1811、控制器1813、接收器1815、以及存储单元1817。
控制器1813控制MMT接收实体1800的总体操作。更具体地,根据本公开的实施例,控制器1813控制MMT接收实体1800执行与发送/接收分组的操作相关的操作。与发送/接收分组的操作相关的操作以参考图1到图14描述的方式来执行,并且这里将省略其描述。
发送器1811在控制器1813的控制下向MMT发送实体等等发送各种消息等等。已经在图1到图14中描述了在发送器1811中发送的各种消息等等,并且这里将省略其描述。
接收器1815在控制器1813的控制下从MMT发送实体等接收各种消息等等。已经在图1到图14中描述了在接收器1815中接收的各种消息等,并且这里将省略其描述。
存储单元1817存储MMT接收实体1800的操作,特别是与根据本公开的实施例的发送/接收分组的操作相关的操作,所必需的程序、各种数据等等。存储单元1817存储在接收器1815中接收的各种消息等等。
虽然发送器1811、控制器1813、接收器1815、以及存储单元1817被描述为单独的单元,但是将理解的是这仅仅是为了方便描述。换句话说,发送器1811、控制器1813、接收器1815、以及存储单元1817中的两个或更多个可以被合并到单一单元中。
本公开的某些方面还可以具体实现为非瞬时计算机可读记录介质上的计算机可读代码。非瞬时计算机可读记录介质是能够存储此后能够由计算机系统读取的数据的任何数据存储设备。非瞬时计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、紧密盘只读存储器(CD-ROM)、磁带、软盘、光数据存储设备、以及载波(诸如通过互联网的数据传输)。非瞬时计算机可读记录介质还可以分布在网络耦合的计算机系统上,从而计算机可读代码以分布式方式存储和运行。此外,用于实现本公开的功能程序、代码和代码段能够被本公开所属领域的程序员容易地解释。
能够理解,根据本公开的实施例的方法和装置可以通过硬件、软件、和/或它们的组合来实施。软件可以存储在非易失性存储器(例如,可擦除或可重写ROM)、存储器(例如,RAM、存储器芯片、存储器设备、或存储器集成电路(IC))、或光学地或磁性地可记录非瞬时机器可读(例如,计算机可读)存储介质(例如,紧密盘(CD)、数字多功能盘(DVD)、磁盘、磁带、等等)中。根据本公开的实施例的方法和装置可以通过包括控制器和存储器的计算机或移动终端来实施,而存储器可以是适于存储包括用于实施本公开的各种实施例的指令的一个或多个程序的非瞬时机器可读(例如,计算机可读)的存储介质。
本公开可以包括程序和存储程序的非瞬时机器可读(例如,计算机可读)的存储介质,该程序包括用于实施如所附权利要求限定的装置和方法的代码。该程序可以经由任何介质来电子地传输,诸如通过有线和/或无线连接发送的通信信号,并且本公开可以包括它们的等同物。
根据本公开的实施例的装置可以从经由有线或无线连接到该装置的程序提供设备接收程序并存储程序。该程序提供设备可以包括:存储器,用于存储指令、内容保护方法所必需的信息等,该指令指示执行已经被安装的内容保护方法;通信单元,用于与图形处理设备执行有线或无线通信;以及控制器,用于基于图形处理设备的请求向发送/接收设备发送相关的程序,或者向发送/接收设备自动地发送相关的程序。
虽然已经参考本公开的各种实施例示出和描述了本公开,但是本领域技术人员将理解,可以在这里进行各种形式和细节上的改变,而不脱离由所附权利要求书及其等同物定义的本公开的精神和范围。
Claims (7)
1.一种用于在多媒体系统中由发送装置发送前向纠错FEC配置信息的方法,该方法包括:
发送FEC配置信息,
其中,所述FEC配置信息包括与第一FEC分组相关的信息,所述第一FEC分组是在FEC分组块包括FEC分组的情况下在所述FEC分组当中被首先发送的,并且
其中,所述与第一FEC分组相关的信息指示:第一FEC分组的分组头中的时戳TS的除了最高有效位MSB1位之外的剩余的位的值。
2.如权利要求1所述的方法,其中,所述发送装置支持一阶FEC编码结构。
3.如权利要求1所述的方法,其中,所述发送装置支持层感知-前向纠错LA-FEC编码结构。
4.如权利要求1所述的方法,其中,第一FEC分组包括FEC源分组或FEC修复分组。
5.如权利要求1所述的方法,其中,如果所述发送装置支持二阶FEC编码结构,则所述FEC配置信息包括指示与第一FEC分组相关的信息是用于所述二阶FEC编码结构的FEC分组块的TS指示符。
6.如权利要求5所述的方法,其中,所述TS指示符被设置为用于第一FEC分组块中所包括的FEC分组当中的奇数发送的FEC分组的第一值,或者
其中,所述TS指示符被设置为用于第一FEC分组块中所包括的FEC分组当中的偶数发送的FEC分组的第二值。
7.如权利要求6所述的方法,其中,第一FEC分组块包括FEC源分组块。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2013-0084877 | 2013-07-18 | ||
KR20130084877 | 2013-07-18 | ||
PCT/KR2014/006549 WO2015009105A1 (en) | 2013-07-18 | 2014-07-18 | Apparatus and method for sending/receiving packet in multimedia communication system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105393480A CN105393480A (zh) | 2016-03-09 |
CN105393480B true CN105393480B (zh) | 2019-08-06 |
Family
ID=52346476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480040849.XA Active CN105393480B (zh) | 2013-07-18 | 2014-07-18 | 用于在多媒体通信系统中发送/接收分组的装置和方法 |
Country Status (11)
Country | Link |
---|---|
US (4) | US10341054B2 (zh) |
EP (2) | EP3022860B1 (zh) |
JP (1) | JP6530748B2 (zh) |
KR (1) | KR102138000B1 (zh) |
CN (1) | CN105393480B (zh) |
AU (1) | AU2014290953B2 (zh) |
BR (1) | BR112016000913B1 (zh) |
FI (1) | FI3972135T3 (zh) |
MX (1) | MX357095B (zh) |
MY (1) | MY177154A (zh) |
WO (1) | WO2015009105A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10085051B2 (en) * | 2015-02-13 | 2018-09-25 | Samsung Electronics Co., Ltd. | Method and apparatus for converting MMTP stream to MPEG-2TS |
CN111786682B (zh) | 2015-03-02 | 2023-09-01 | 三星电子株式会社 | 发送器及其分割方法 |
WO2016144142A1 (ko) * | 2015-03-12 | 2016-09-15 | 엘지전자 주식회사 | 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법 |
US10404411B2 (en) * | 2016-02-19 | 2019-09-03 | Mediatek Inc. | Method and system of adaptive application layer FEC for MPEG media transport |
JP6583171B2 (ja) * | 2016-07-21 | 2019-10-02 | 住友電気工業株式会社 | Mmtコンテンツ作成装置および作成プログラム |
KR102464803B1 (ko) * | 2017-10-13 | 2022-11-09 | 삼성전자주식회사 | 응용 계층 순방향 오류 정정 방식을 사용하는 멀티미디어 서비스 제공 방법 및 장치 |
US11689440B2 (en) * | 2019-02-06 | 2023-06-27 | Marvell Israel (M.I.S.L) Ltd. | Method and apparatus for transmit time timestamping |
CN115189810B (zh) * | 2022-07-07 | 2024-04-16 | 福州大学 | 一种面向低时延实时视频fec编码传输控制方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102469311A (zh) * | 2010-11-18 | 2012-05-23 | 财团法人工业技术研究院 | 阶层式前向错误更正编/解码方法、编/解码装置及系统 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1377111A1 (en) * | 1993-12-24 | 2004-01-02 | Sharp Kabushiki Kaisha | Image-information storage regenerating device |
US7257664B2 (en) * | 2001-12-21 | 2007-08-14 | Lambert Everest Ltd. | Adaptive error resilience for signal transmission over a network |
US7660245B1 (en) | 2004-09-16 | 2010-02-09 | Qualcomm Incorporated | FEC architecture for streaming services including symbol-based operations and packet tagging |
WO2007095550A2 (en) | 2006-02-13 | 2007-08-23 | Digital Fountain, Inc. | Streaming and buffering using variable fec overhead and protection periods |
JP4655006B2 (ja) * | 2006-08-23 | 2011-03-23 | 日本電気株式会社 | Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法 |
JP4356742B2 (ja) | 2006-12-25 | 2009-11-04 | ソニー株式会社 | データ通信システム、データ送信装置およびデータ送信方法 |
US8787153B2 (en) | 2008-02-10 | 2014-07-22 | Cisco Technology, Inc. | Forward error correction based data recovery with path diversity |
JP5380862B2 (ja) * | 2008-03-05 | 2014-01-08 | 日本電気株式会社 | Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法 |
JP4544435B2 (ja) * | 2009-02-10 | 2010-09-15 | 日本電気株式会社 | 映像品質推定装置、映像品質推定方法およびプログラム |
US8301982B2 (en) * | 2009-11-18 | 2012-10-30 | Cisco Technology, Inc. | RTP-based loss recovery and quality monitoring for non-IP and raw-IP MPEG transport flows |
CN103650432A (zh) * | 2011-07-08 | 2014-03-19 | 三星电子株式会社 | 用于在多媒体系统中生成前向纠错包的方法和用于发送和接收前向纠错包的方法及装置 |
JP5890208B2 (ja) * | 2012-03-14 | 2016-03-22 | 日本放送協会 | パケット送信装置、パケット受信装置及びパケット伝送システム |
US10756997B2 (en) * | 2015-09-28 | 2020-08-25 | Cybrook Inc. | Bandwidth adjustment for real-time video transmission |
-
2014
- 2014-07-18 MX MX2016000718A patent/MX357095B/es active IP Right Grant
- 2014-07-18 WO PCT/KR2014/006549 patent/WO2015009105A1/en active Application Filing
- 2014-07-18 US US14/906,183 patent/US10341054B2/en active Active
- 2014-07-18 BR BR112016000913-4A patent/BR112016000913B1/pt active IP Right Grant
- 2014-07-18 JP JP2016527939A patent/JP6530748B2/ja active Active
- 2014-07-18 CN CN201480040849.XA patent/CN105393480B/zh active Active
- 2014-07-18 FI FIEP21207152.6T patent/FI3972135T3/fi active
- 2014-07-18 MY MYPI2016700168A patent/MY177154A/en unknown
- 2014-07-18 EP EP14826773.5A patent/EP3022860B1/en active Active
- 2014-07-18 EP EP21207152.6A patent/EP3972135B1/en active Active
- 2014-07-18 KR KR1020140091024A patent/KR102138000B1/ko active IP Right Grant
- 2014-07-18 AU AU2014290953A patent/AU2014290953B2/en not_active Ceased
-
2019
- 2019-05-20 US US16/416,791 patent/US10637611B2/en active Active
-
2020
- 2020-04-17 US US16/851,677 patent/US11146361B2/en active Active
-
2021
- 2021-10-08 US US17/497,403 patent/US11677503B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102469311A (zh) * | 2010-11-18 | 2012-05-23 | 财团法人工业技术研究院 | 阶层式前向错误更正编/解码方法、编/解码装置及系统 |
Non-Patent Citations (1)
Title |
---|
Information technology-High efficiency coding and media delivery in heterogeneous environments-Part 1:MPEG media transport (MMT);Secretariat;《ISO/IEC JTC1/SC29/WG11》;20120720;第46-52页 |
Also Published As
Publication number | Publication date |
---|---|
CN105393480A (zh) | 2016-03-09 |
AU2014290953A2 (en) | 2016-04-21 |
EP3022860B1 (en) | 2021-11-10 |
MX2016000718A (es) | 2016-04-15 |
BR112016000913B1 (pt) | 2023-05-16 |
US10341054B2 (en) | 2019-07-02 |
US20190273579A1 (en) | 2019-09-05 |
FI3972135T3 (fi) | 2024-03-20 |
WO2015009105A1 (en) | 2015-01-22 |
MY177154A (en) | 2020-09-08 |
US11146361B2 (en) | 2021-10-12 |
AU2014290953A1 (en) | 2016-03-10 |
US20160182188A1 (en) | 2016-06-23 |
EP3022860A1 (en) | 2016-05-25 |
KR20150010652A (ko) | 2015-01-28 |
JP6530748B2 (ja) | 2019-06-12 |
US20200244399A1 (en) | 2020-07-30 |
KR102138000B1 (ko) | 2020-07-28 |
EP3022860A4 (en) | 2017-03-22 |
US11677503B2 (en) | 2023-06-13 |
AU2014290953B2 (en) | 2017-11-16 |
US20220029743A1 (en) | 2022-01-27 |
EP3972135A1 (en) | 2022-03-23 |
MX357095B (es) | 2018-06-26 |
EP3972135B1 (en) | 2023-12-20 |
US10637611B2 (en) | 2020-04-28 |
JP2016525320A (ja) | 2016-08-22 |
BR112016000913A2 (zh) | 2017-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105393480B (zh) | 用于在多媒体通信系统中发送/接收分组的装置和方法 | |
CN105191248B (zh) | 用于发送数据和接收数据的方法和装置 | |
AU2013260417B2 (en) | Apparatus and method of transmitting and receiving packet in a broadcasting and communication system | |
US10380358B2 (en) | MPEG transport frame synchronization | |
US10051266B2 (en) | Apparatus and method for transmitting and receiving hybrid packets in a broadcasting and communication system using error correction source blocks and MPEG media transport assets | |
KR102310031B1 (ko) | Mmt에서 미디어 데이터의 저 지연 소비 시그날링 및 동작 방법 및 장치 | |
US9667384B2 (en) | Apparatus and method for transmitting and receiving forward error correction packet | |
KR102506507B1 (ko) | 통신 시스템에서 신호를 송/수신하는 장치 및 방법 | |
KR20160004858A (ko) | 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |