CN106664243A - 用于在多媒体通信系统中传输/接收包的装置和方法 - Google Patents

用于在多媒体通信系统中传输/接收包的装置和方法 Download PDF

Info

Publication number
CN106664243A
CN106664243A CN201580036677.3A CN201580036677A CN106664243A CN 106664243 A CN106664243 A CN 106664243A CN 201580036677 A CN201580036677 A CN 201580036677A CN 106664243 A CN106664243 A CN 106664243A
Authority
CN
China
Prior art keywords
data cell
information
fragment
data
bag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580036677.3A
Other languages
English (en)
Inventor
朴勍模
夫贤喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106664243A publication Critical patent/CN106664243A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2212/00Encapsulation of packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种方法,发送装置借由该方法在多媒体通信系统中传输包,所述方法包括下列步骤:生成包;以及将包发送到接收装置,其中所述包包括可以由接收装置独立地解码的两个或更多个数据单元,并且所述两个或更多个数据单元中的一个包括与包相关的控制信息。

Description

用于在多媒体通信系统中传输/接收包的装置和方法
技术领域
本公开涉及用于在多媒体通信系统中传输/接收包的设备和方法,更具体地,涉及在多媒体通信系统中传输/接收包以支持各种包格式的设备和方法。
背景技术
为了满足对多媒体日益增长的需求,已经提出各种多媒体技术,其中代表性的多媒体技术就是运动图像专家组(MPEG)媒体传输(MMT)技术。
MMT技术旨在通过异构包交换网络(包括互联网协议(IP)网络和数字广播网络)来传输和递送用于多媒体服务的编码的媒体数据。在本文中,编码的媒体数据可包括定时视听媒体数据和非定时数据。
在MMT技术中,通过包交换递送网络来递送编码的媒体数据。具体而言,在MMT技术中,考虑了这种递送环境的特征,例如,每个包从MMT发送实体到MMT接收实体的非恒定端到端延迟。
为了通过包交换递送网络来有效可行地递送和消费编码的媒体数据,MMT技术提供下列元素,如下文将描述。
第一,MMT技术提供逻辑模型,该逻辑模型对具有多个来源分量的内容进行配置,例如,混搭(mash-up)应用程序的分量。
第二,MMT技术提供格式来递送有关编码的媒体数据的信息并且实现递送层处理(诸如封包)。
第三,MMT技术提供用于在支持通过多个通道进行媒体和编码独立混合递送的包交换网络上递送媒体内容的封包方法和包的结构。
第四,MMT技术提供管理媒体内容的递送和消耗的信令消息的格式。
如上文所述,已提出用于有效可行的媒体数据递送的MMT技术。因此,媒体递送的包配置在MMT技术中起到重要作用。
然而,当前提出的MMT技术考虑了对包进行配置,但仅详细考虑了对包进行配置的一种方案。因此,需要MMT技术中对包进行配置的多种方案。
上述信息仅作为帮助理解本公开的背景信息。未确定,也未断言上述任何信息是否可作为本公开的现有技术。
发明内容
[技术问题]
本公开的实施例提供用于在多媒体通信系统中发送/接收包的设备和方法。
本公开的实施例也提供用于在多媒体通信系统中发送/接收包以支持各种包格式的设备和方法。
本公开的实施例还提供用于在多媒体通信系统中基于媒体特征发送/接收包的设备和方法。
本公开的实施例还提供用于在多媒体通信系统中基于可被独立解码的解码单元发送/接收包的设备和方法。
本公开的实施例还提供用于在多媒体通信系统中发送/接收包以提高解码效率的设备和方法。
本公开的实施例还提供用于在多媒体通信系统中发送/接收包以提高解码速度的设备和方法。
[技术解决方案]
根据本公开的实施例的多媒体通信系统中的发送装置包括:发送单元,其被配置以生成包并且将包发送到接收装置,其中包包括可由接收装置独立解码的至少两个数据单元,并且至少两个数据单元中的一个包括与包相关的控制信息。
根据本公开的实施例的多媒体通信系统中的接收装置包括:接收单元,其被配置成从发送装置接收包并且对包进行解码,其中包包括可由接收装置独立解码的至少两个数据单元,并且至少两个数据单元中的一个包括与包相关的控制信息。
根据本公开的实施例的多媒体通信系统中的另一接收装置包括:接收单元,其被配置成接收来自发送装置的通过对包进行分段而生成的片段;以及存储单元,其中接收装置确定片段是否是完整数据单元,如果片段是完整数据单元则确定片段是否包括控制信息,并且如果片段包括控制信息,则将控制信息存储于存储单元的在所述片段之前接收的片段前面的位置。
根据本公开的实施例的用于由多媒体通信系统中的发送装置发送包的方法包括:生成包并且将包发送到接收装置,其中包包括可由接收装置独立解码的至少两个数据单元,并且至少两个数据单元中的一个包括与包相关的控制信息。
在本文中,包括与包相关的控制信息的数据单元位于包中的至少两个数据单元的最后一个。
至少两个数据单元中的每个被分段或不分段,以及如果至少两个数据单元中的每个不分段,则至少两个数据单元中的每个均包括有关数据单元的分段的信息,并且如果至少两个数据单元中的每个被分段,则通过至少两个数据单元中的每个的分段而生成的片段中的每个片段均包括有关数据单元的分段的信息。
有关数据单元的分段的信息包括下列信息中的一个:表明有效载荷包括一个或多个完整数据单元的信息;表明有效载荷包括数据单元的第一片段的信息;表明有效载荷包括既非数据单元的第一片段也非数据单元的最后片段的片段的信息;以及表明有效载荷包括数据单元的最后片段的信息。
至少两个数据单元中的每个被分段或不分段,以及如果至少两个数据单元中的每个不分段,则至少两个数据单元中的每个均包括有关数据单元的片段类型的信息,并且如果至少两个数据单元中的每个被分段,则通过至少两个数据单元中的每个的分段而生成的片段中的每个片段均包括有关数据单元的片段类型的信息。
有关数据单元的片段类型的信息包括下列信息中的一个:表明片段包括控制信息的信息和表明片段包括数据的信息。
如果多媒体通信系统支持运动图像专家组(MPEG)媒体传输(MMT)技术,那么数据单元是媒体处理单元(MPU),并且有关数据单元的分段的信息是分段指示符(f_i)。
如果多媒体通信系统支持MMT技术,那么数据单元是MPU并且有关数据单元的片段类型的信息是片段类型(FT)。
控制信息包括MPU元数据和电影片段元数据中的一个,并且表明片段包括数据的信息表明片段是媒体片段单元(MFU)。
根据本公开的实施例的用于由多媒体通信系统中的接收装置接收包的方法包括:接收来自发送装置的包并且对包进行解码,其中包包括可由接收装置独立解码的至少两个数据单元,并且至少两个数据单元中的一个包括与包相关的控制信息。
包括与包相关的控制信息的数据单元位于包中的至少两个数据单元的最后一个。
至少两个数据单元中的每个被分段或不分段,以及如果至少两个数据单元中的每个不分段,则至少两个数据单元中的每个均包括有关数据单元的分段的信息,并且如果至少两个数据单元中的每个被分段,则通过至少两个数据单元中的每个的分段而产生的片段中的每个片段均包括有关数据单元的分段的信息。
有关数据单元的分段的信息包括下列信息中的一个:表明有效载荷包括一个或多个完整数据单元的信息;表明有效载荷包括数据单元的第一片段的信息;表明有效载荷包括既非数据单元的第一片段也非数据单元的最后片段的片段的信息;以及表明有效载荷包括数据单元的最后片段的信息。
至少两个数据单元中的每个被分段或不分段,以及如果至少两个数据单元中的每个不分段,则至少两个数据单元中的每个均包括有关数据单元的片段类型的信息,并且如果至少两个数据单元中的每个被分段,则通过至少两个数据单元中的每个的分段而生成的片段中的每个片段均包括有关数据单元的片段类型的信息。
有关数据单元的片段类型的信息包括下列信息中的一个:表明片段包括控制信息的信息和表明片段包括数据的信息。
如果多媒体通信系统支持MMT技术,那么数据单元是MPU并且有关数据单元的分段的信息是f_i。
如果多媒体通信系统支持MMT技术,那么数据单元是MPU并且有关数据单元的片段类型的信息是FT。
控制信息包括MPU元数据和电影片段元数据中的一个,并且表明片段包括数据的信息表明片段是MFU。
根据本公开的实施例的用于由接收装置接收包的另一方法包括:接收来自发送装置的通过对包进行分段而生成的片段;确定片段是否是完整数据单元;如果片段是完整数据单元,则确定片段是否包括控制信息;以及如果片段包括控制信息,则将控制信息存储于在所述片段之前接收的片段前面的位置。
包括控制信息的片段是包括所述片段的包中所包括的片段中的最后片段。
确定片段是否是完整数据单元包括基于有关片段的分段的信息来确定片段是否是完整数据单元。
有关分段的信息包括下列信息中的一个:表明有效载荷包括一个或多个完整数据单元的信息;表明有效载荷包括含有片段的数据单元的第一片段的信息;表明有效载荷包括既非数据单元的第一片段也非数据单元的最后片段的片段的信息;以及表明有效载荷包括数据单元的最后片段的信息。
如果片段是完整数据单元则确定片段是否包括控制信息包括基于有关片段的片段类型的信息来确定片段是不是完整数据单元。
有关片段类型的信息包括下列信息中的一个:表明片段包括控制信息的信息和表明片段包括数据的信息。
如果多媒体通信系统支持MMT技术,那么数据单元是MPU并且有关数据单元的分段的信息是f_i。
如果多媒体通信系统支持MMT技术,那么数据单元是MPU并且有关数据单元的片段类型的信息是FT。控制信息包括MPU元数据和电影片段元数据中的一个,并且表明片段包括数据的信息表明片段是MFU。
本公开的实施例实现在多媒体通信系统中支持各种包格式的包发送/接收。
本公开的实施例还实现多媒体通信系统中的基于媒体特征的包发送/接收。
另外,本公开的实施例使得可执行多媒体通信系统中的基于可被独立解码的解码单元的包发送/接收。
此外,本公开的实施例实现多媒体通信系统中的提高解码效率的包发送/接收。
另外,本公开的实施例实现多媒体通信系统中的提高解码速度的包发送/接收。
附图说明
通过以下描述并结合附图,将清楚地了解本公开的某些示例性实施例的上述及其他方面、特征和优点,在附图中:
图1示出根据本公开的实施例的MMT通信系统的结构;
图2示出根据本公开的实施例的MMT通信系统中的MMT包报头的格式和MMT有效载荷报头的格式;
图3示出根据本公开的实施例的在MMT通信系统中在MPU模式下传输包括时间信息的多媒体文件的过程;
图4示出根据本公开的实施例的在MMT通信系统中在MPU模式下传输不包括时间信息的多媒体文件的过程;
图5示出根据本公开的实施例的在MMT通信系统中在MPU模式下基于多媒体特征传输包的过程;
图6示出根据本公开的实施例的在MMT通信系统中基于FT和f_i发送包的过程;
图7示出根据本公开的实施例的在MMT通信系统中基于FT和f_i接收包的过程的示例;
图8示出根据本公开的实施例的在MMT通信系统中基于FT和f_i接收包的过程的另一示例;
图9示出根据本公开的实施例的MMT通信系统中的MMT发送实体的操作过程;
图10示出根据本公开的实施例的MMT通信系统中的MMT发送实体的操作过程;
图11示出根据本公开的实施例的MMT通信系统中的MMT发送实体的内部结构的示例;
图12示出根据本公开的实施例的MMT通信系统中的MMT发送实体的内部结构的另一示例;
图13示出根据本公开的实施例的MMT通信系统中的MMT接收实体的内部结构的示例;以及
图14示出根据本公开的实施例的MMT通信系统中的MMT接收实体的内部结构的另一示例。
在附图中,类似附图标记将被理解为指代相同或类似元素、特征和结构。
具体实施方式
参考附图进行的以下详细描述可帮助全面理解由权利要求书及其等效物限定的本公开的各种实施例。以下详细描述包括便于理解的各种具体细节,但这些细节将仅被视作示例。因此,所属领域的一般技术人员可认识到,在不脱离本公开的范围和精神的情况下,可对本文中描述的各种实施例进行各种变化和更改。此外,为清楚和简洁起见,可以忽略对公知功能和结构的描述。
以下详细描述和权利要求书中使用的术语和词语不限于书目含义,而是仅由发明人用来实现清晰且一致地理解本公开。因此,所属领域的一般技术人员将了解,本公开的各种实施例的下列描述仅用于说明的目的,而不是如权利要求书及其等效物限定的那样限制本公开。
尽管本公开的各种示例性实施例中使用的诸如“第一”和“第二”等术语可修饰各种示例性实施例的各个元素,但这些术语并不限制对应的元素。这些术语可用于将一个元素与另一元素区分开的目的。例如,在不脱离本公开的各种示例性实施例的合适范围的情况下,第一元素可被命名为第二元素,并且类似地,第二元素可被命名为第一元素。术语“和/或”包括多个相关提供术语的组合或者多个相关提供术语中的任一个。
本公开的各种示例性实施例中使用的术语仅用于描述特定示例性实施例的目的,而不意图限制。除非上下文以其他方式明确指出,否则单数形式也意图包括复数形式。本公开的示例性实施例中使用的术语“包括”或“具有”表明存在说明书中描述的特征、数字、步骤、操作、元素、部件或它们的组合,并且不排除存在或添加一个或多个其他特征、数字、步骤、操作、元素、部件或它们的组合。
除非另有定义,否则包括技术或科学术语在内的本文中使用的所有术语均具有与相关领域的一般技术人员通常理解的相同含义。常用字典中定义的术语应被解释为具有与相关技术的上下文含义相同或类似的含义。
本公开的实施例提供用于在多媒体通信系统中发送/接收包的设备和方法。
本公开的实施例也提供用于在多媒体通信系统中发送/接收包以支持各种包格式的设备和方法。
本公开的实施例还提供用于在多媒体通信系统中基于媒体特征发送/接收包的设备和方法。
本公开的实施例还提供用于在多媒体通信系统中基于可被独立解码的解码单元发送/接收包的设备和方法。
本公开的实施例还提供用于在多媒体通信系统中发送/接收包以提高解码效率的设备和方法。
本公开的实施例还提供用于在多媒体通信系统中发送/接收包以提高解码速度的设备和方法。
在以下描述中,为方便起见,在其中应用本公开的实施例中提供的设备和方法的多媒体通信系统被假定为运动图像专家组(MPEG)媒体传输(MMT)系统。
可被独立解码的解码单元可以是媒体处理单元(MPU)和媒体片段单元(MFU)中的任一个。任何其他数据单元(DU)以及MPU和MFU也可以是可被独立解码的解码单元。
本公开的实施例中提供的设备和方法适用于各种通信系统,包括:移动广播服务,诸如,数字多媒体广播(DMB)服务、手持数字视频广播(DVP-H)服务、移动/手持高级电视系统委员会(ATSC-M/H)服务等;数字视频广播系统,诸如,互联网协议电视(IPTV)服务、MMT系统、长期演进(LTE)移动通信系统、LTE-高级(LTE-A)移动通信系统、高速下行链路分组接入(HSDPA)移动通信系统、高速上行链路分组接入(HSUPA)移动通信系统、第3代合作伙伴项目2(3GPP2)的高速率分组数据(HRPD)移动通信系统、3GPP2的宽带码分多址(WCDMA)移动通信系统、3GPP2的码分多址(CDMA)移动通信系统、电气和电子工程师协会(IEEE)802.16m移动通信系统、演进分组系统(EPS)、移动IP系统等等。
参考图1,下文将描述根据本公开的实施例的MMT通信系统的结构。
图1示出根据本公开的实施例的MMT通信系统的结构。
参考图1,MMT通信系统可包括MMT发送(或传输)实体111、MMT接收实体113、数据包提供商115和多个资产提供商,例如,N个资产提供商#1 117-1到#N 117-N。MMT发送实体111与MMT接收实体113之间根据MMT协议(MMTP)执行通信。在本文中,下文将描述MMTP。
MMTP是用于封包和传输MMT数据包的应用层传输协议,并且被设计成有效可靠地传输MMT数据包。MMTP支持改良的特征,诸如,媒体多路传输、网络抖动计算等。此类特征使得能够有效传输包括编码成各种类型的媒体数据的内容。MMTP可在现有网络协议(例如,用户数据报协议(UDP)或IP)的更高层上进行操作,并且支持各种应用程序。
MMT发送实体111可以是传输媒体数据的任意实体,例如,MMT广播服务器。MMT接收实体113可以是接收媒体数据的任意实体,例如,无线装置,诸如移动台(MS)、用户设备(UE)等。例如,如果MMT发送实体111是MMT广播服务器并且MMT接收实体113是MS,那么MMT广播服务器可经由基站将媒体数据传输到MS。然而,应注意,没有单独描述基站。
MMT发送实体111将数据包作为MMTP包流传输到MMT接收实体113。在本文中,数据包指示媒体数据的逻辑集合,并且使用MMT技术进行递送。MMT发送实体111通过MMTP包流将资产、表示信息(PI)等传输到MMT接收实体113。将不详细描述资产和PI。可需要MMT发送实体111以基于数据包提供商115提供的数据包的PI从内容提供商(图1中未示出)获取内容。
MMT发送实体111和MMT接收实体113通过MMTP包流来传输/接收MMT信令。
数据包提供商115和内容提供商的位置可在一起。媒体内容作为资产提供,被分割成形成MMTP包流的一系列封装的MMT处理单元。
媒体内容的MMTP包流是使用相关传送特征信息生成的。信令消息可用来管理数据包的递送和消费。
已参考图1描述了根据本公开的实施例的MMT通信系统的结构,接下来,参考图2,将描述根据本公开的实施例的MMT通信系统中的MMT包报头的格式和MMT有效载荷报头的格式。
图2示出根据本公开的实施例的MMT通信系统中的MMT包报头的格式和MMT有效载荷报头的格式。
参考图2,MMT通信系统支持MPU模式、通用文件递送(GFD)模式等等。基于媒体数据属性,例如,媒体数据的重要性、表明媒体数据是不是控制信息的信息、表明媒体数据是不是媒体信息的信息等等,MMT通信系统支持通过MPU模式设置(MPU mode setting)的包传输方案。
在MPU模式下,MMT包报头包括V字段、C字段、FEC字段、r字段、X字段、R字段、RES字段、类型字段、包标识符(packet_id)字段、时间戳字段、packet_sequence_number字段、packet_counter字段、header_extension字段、有效载荷数据字段,以及源前向纠错(FEC)有效载荷标识符(ID)(source_FEC_payload_ID)字段。随后将分别描述V字段、C字段、FEC字段、r字段、X字段、R字段、RES字段、类型字段、packet_id字段、时间戳字段、packet_sequence_number字段、packet_counter字段、header_extension字段、有效载荷数据字段,以及source_FEC_payload_ID字段。
V字段是表明MMTP的版本号的版本字段,并且可用例如2比特实施。
C字段是packet_counter_flag字段,并且可用例如1比特实施。如果C字段的字段值是1,那么意味着存在packet_counter字段。
FEC字段是表示用于MMTP包的错误保护的FEC方案的类型的FEC类型字段。此处,FEC字段可用例如2比特实施,其中FEC字段的字段值‘0’表示非-AL-FEC-保护的MMTP包,FEC字段的字段值‘1’表示AL-FEC-保护的MMTP包,即,FEC源包,FEC字段的字段值‘2’表示用于修复符号的MMTP包,即,FEC修复包,并且FEC字段的字段值‘3’表示保留以备将来使用。
r字段是保留字段,并且可用例如1比特实施。
x字段是extension_flag字段,并且可用例如1比特实施。如果X字段的字段值设置为例如1,则意味着存在报头扩展字段。
R字段是RAP标记(RAP_flag)字段,并且可用例如1比特实施。如果R字段的字段值设置成例如1,则意味着有效载荷数据字段包括关于数据类型数据流的RAP。R字段的准确含义由数据类型定义。
RES字段是保留字段,并且可用例如2比特实施。
类型字段将参考表1详细描述,因此此处将不详细描述。
packet_id字段用来将一个资产与另一资产区分开,并且可用例如16比特实施。packet_id字段的字段值得自MMT包所属的资产的资产ID(asset_id),并且将不详细描述。
时间戳字段基于UTC来指定MMTP包的时间实例,并且可用例如32比特实施。时间戳字段指定MMTP包的第一字节处的传输时间,并且将不详细描述。
packet_sequence_number字段表示用来区分具有相同packet_id的包的整数值,并且可用例如32比特实施。
packet_counter字段表示用于对MMTP包进行计数的整数值,并且可用例如32比特实施。每次在MMTP包传输时,无论对应的packet_id如何,packet_counter字段的字段值都增加预设值,例如,1。
header_extension字段包括用户定义的信息,并且将不详细描述。
源FEC有效载荷ID字段在FEC字段的字段值为1时使用,并且在AL-FEC保护之后添加到MMTP包。
MMT有效载荷报头包括长度字段、片段类型(FT)字段、T字段、分段指示符(f_i)字段、A字段、片段计数(frag_counter)字段、MPU序列号(MPU_sequence_number)字段、数据单元长度(DU_length)字段、DU报头(DU_header)字段,以及DU有效载荷(DU_payload)字段。随后将分别描述长度字段、T字段、A字段、frag_counter字段、MPU_sequence_number字段、DU_length字段,以及DU_header字段。作为参考,FT字段和f_i字段将参考表2和表3进行描述,因此此处将不详细描述。
长度字段表示除了长度字段之外的有效载荷的长度,可用例如16比特实施。
T字段是定时标记字段,表明片段是由携带定时媒体的MPU生成的还是由携带非定时媒体的MPU生成的。T字段可用例如1比特实施,其中T字段的字段值‘1’表明片段由携带定时媒体的MPU生成,并且T字段的字段值‘0’表明片段由携带非定时媒体的MPU生成。
A字段是aggregation_flag字段,并且可用例如1比特实施。如果A字段的字段值是例如1,则意味着存在于DU有效载荷字段中的一个或多个DU(也就是多个DU)被聚合。
frag_counter字段表示包含有MMTP有效载荷中的连续相同DU的片段的有效载荷的数量,并且可用例如8比特实施。例如,如果A字段的字段值设置为1,则frag_counter字段的字段值可设置为0。
MPU_sequence_number字段表示包含有对应MPU片段的MPU的序列号,并且可用例如32比特实施。
DU_length字段表示DU_length字段之后的数据的长度,可用例如16比特实施。
DU_header字段表示DU的报头,并且基于FT字段。
下文将描述MMT包报头中所包括的类型字段。
首先,类型字段表示MMT包报头中所包括的有效载荷数据的类型。类型字段可用例如6比特实施,并且如表1所示。
[表1]
如表1所示,类型字段的字段值‘0x00’表明有效载荷数据类型是MPU,类型字段的字段值‘0x01’表明有效载荷数据类型是通用对象,类型字段的字段值‘0x02’表明有效载荷数据类型是信令消息,类型字段的字段值‘0x03’表明有效载荷数据类型是修复符号,类型字段的字段值‘0x04’到‘0x1F’表明有效载荷数据类型是用于国际标准化组织(ISO)的保留数据,并且类型字段的字段值‘0x20’到‘0x3F’表明有效载荷数据类型是专用目的的保留数据。
接下来,下文将描述MMT有效载荷报头中所包括的FT字段。
FT字段可用例如4比特实施,并且如表2所示。
[表2]
如表2所示,FT字段的字段值‘0’表明FT是MPU元数据,FT字段的字段值‘1’表明FT是电影片段元数据,FT字段的字段值‘2’表明FT是MFU,并且FT字段的字段值‘3’到‘15’表明FT是用于专用目的的保留数据。在本文中,MPU元数据包括ftyp盒、mmpu盒、moov盒和meta盒,以及另一盒,这将在下文简要描述。
第一,ftyp盒可包括媒体数据的类型信息。
第二,mmpu盒可包括当前MPU所属的资产的ID,以及有关当前MPU的其他信息。具体而言,mmpu盒可包括表明当前MPU是否包括所有MFU的信息(“是完整的”)。
第三,moov盒可包括用于解码和表示媒体数据的任何编解码器配置信息。更具体而言,moov盒可包括至少一个媒体轨道316和用于MFU的MMT提示轨道。在本文中,MMT提示轨道可包括用于通过使用诸如MMTP等传输协议将包含MPU的媒体文件转换成封包的媒体流所必需的信息。也就是说,MMT提示轨道可包括用于产生多个MFU(这些MFU形成一个MPU)所必需的信息。具体而言,MMT提示轨道可包括MFU的优先级信息(“优先级”)(相对于一个MPU中所包括的其他MFU而言),以及有关参考该MFU解码的MFU的数量的信息(“相关性计数”)。
电影片段元数据可包括除了元数据盒中的所有媒体数据之外的moof盒,以及元数据盒,这将不详细描述。MFU表示MPU的分段,并且可包括定时媒体数据的样本或子样本或者非定时媒体数据项。
接下来,下文将描述MMT有效载荷报头中所包括的f_i字段。
f_i字段可包括有关有效载荷中所包括的DU的分段的信息。f_i字段可用例如2比特实施,并且如表3所示。
[表3]
描述
‘00’ 有效载荷含有一个或多个完整数据单元
‘01’ 有效载荷含有数据单元的第一分段
‘10’ 有效载荷含有既非第一部分也非最后部分的数据单元的分段
‘11’ 有效载荷含有数据单元的最后分段
如表3所示,f_i字段的字段值‘00’表明有效载荷包括一个或多个完整DU,f_i字段的字段值‘01’表明有效载荷包括DU的第一分段,并且f_i字段的字段值‘10’表明有效载荷包括这样的DU分段,其既非第一分段也非最后分段,以及f_i字段的字段值‘11’表明有效载荷包括DU的最后分段。
已参考图2描述了根据本公开的实施例的MMT通信系统中的MMT包报头的格式和MMT有效载荷报头的格式,接下来,参考图3,将描述根据本公开的实施例的在MMT通信系统中在MPU模式下传输包括时间信息的多媒体文件的过程。
图3示出根据本公开的实施例的在MMT通信系统中在MPU模式下传输包括时间信息的多媒体文件的过程。
参考图3,MMTP支持流模式和下载模式,其中流模式经优化用于ISO基础媒体文件格式文件的封包化的流,并且下载模式考虑通用文件的平滑递送。在本文中,流模式是MPU模式,并且下载模式是GFD模式。
下文将描述MPU模式。
在MPU模式下,使用MMTP将MPU递送到MMT接收实体导致在MMT发送实体中进行封包并且在MMT接收实体中进行拆包。封包将MPU转换成MMTP包中所携带的MMTP有效载荷的集合。MMTP有效载荷的格式考虑MMTP有效载荷的分段,从而使得能够递送相对大的有效载荷。
MMTP有效载荷的格式还考虑将多个MMTP有效载荷DU聚合成单个MMTP有效载荷,以适应较小DU。在MMT接收实体中,执行拆包以恢复原始MPU数据。定义若干拆包模式以解决覆盖应用的其他需求。
如果有效载荷数据类型的字段值是0x00,那么MPU以媒体感知方式进行分段,在所述媒体感知方式中传输层允许识别被携载的分段的特征和优先级。在本文中,MPU的分段可以是MPU元数据、电影分段元数据、MFU,或者非定时媒体数据项。
如图3所示,MPU模式支持考虑媒体解码的包传输,因此,如图所示,传输包括时间信息的多媒体文件,诸如,音频、视频等。也就是说,如图3所示,当MMT通信系统支持MPU模式时,媒体控制信息(也就是,ftyp盒、mmpu盒、moov盒和moof盒)在MPU模式下与媒体信息分开传输。
已参考图3描述了根据本公开的实施例的在MMT通信系统中的MPU模式下传输包括时间信息的多媒体文件的过程,接下来,参考图4,将描述根据本公开的实施例的在MMT通信系统中的MPU模式下传输不包括时间信息的多媒体文件的过程。
图4示出根据本公开的实施例的在MMT通信系统中的MPU模式下传输不包括时间信息的多媒体文件的过程。
如图4所示,在MPU模式下,传输不包括时间信息的多媒体文件,诸如,图像、网络图像、窗口小部件等。也就是说,如图4所示,当MMT通信系统支持MPU模式时,媒体控制信息(也就是,ftyp盒、mmpu盒、moov盒和meta盒)在MPU模式下与媒体信息分开传输。
已参考图4描述了根据本公开的实施例的在MMT通信系统中的MPU模式下传输不包括时间信息的多媒体文件的过程,接下来,参考图5,将描述根据本公开的实施例的在MMT通信系统中基于多媒体特征传输包的过程。
图5示出根据本公开的实施例的在MMT通信系统中的MPU模式下基于多媒体特征传输包的过程。
参考图5,MPU文件510是指封装功能层想要传输的数据,并且MFU分段520对应于用于配置传输数据的数据结构。MPU文件510可包括:报头信息512,诸如,表示文件类型的文件类型(FTYP)盒、表示MPU的配置的MMPU盒、表示编解码器配置信息的MOOV盒和电影分段(MOOF)盒;以及MDAT盒514,其包括视频样本(VS)516和MMT提示样本(HS)518。在本文中,MMPU盒表明存储在MDAT盒中的数据类型是MPU,并且MOOV盒包括有关存储在MDAT盒中的媒体框架的信息。MFU分段520可包括:MPU元数据522,其包括FTYP盒、MMPU盒和MOOV盒;MPU元数据,其包括MOOF盒和MDAT大小;以及MFU 524,其包括与MPU元数据相关的成对HS 526和VS528。
MMT有效载荷基于MFU分段520进行配置,并且通过MMT包进行传输。
在本文中,下文将描述配置MMT有效载荷的过程。
首先,数据配置器(图5中未示出)分析以MPU文件格式从数据生成器(图5中未示出)递送的传输数据510,以便确定类型、MPU的配置信息、编解码器的配置信息,以及MPU文件510的报头信息512中的数据的起始和大小(长度)信息。数据配置器分析构成MPU文件510的MFU(图5的VS)516和MFU HS 518的结构,以便确定含有大小的MFU报头、每个MFU的相互优先级和互连信息(例如,长度等)以及MFU数据(也就是实际媒体数据),并且基于表示每个MFU的起始偏移量和长度的MFU HS 518来分析每个MFU的大小。基于分析的MPU类型,对用于配置传输包的MFU分段520进行配置。MFU HS 518形成MFU分段520的MFU报头。基于从MFU HS518分析的每个MFU的大小,数据配置器将每个MFU配置成传输单元。在这种情况下,根据MFU的大小,可配置一个或多个有效载荷。
已参考图5描述了根据本公开的实施例的在MMT通信系统中基于多媒体特征传输包的过程,接下来,参考图6,将描述根据本公开的实施例的在MMT通信系统中基于FT和f_i传输包的过程。
图6示出根据本公开的实施例的在MMT通信系统中基于FT和f_i传输包的过程。
参考图6,包600是基于FT和f_i而生成的、考虑MFU处理而生成的,并且针对大容量内容(例如,4K内容)的传输而生成的。也就是说,包600可包括MPU元数据611和至少一个MFU,例如,四个MFU,即,MFU 613、MFU 615、MFU 617和MFU 619。在本文中,如果MFU的大小超过MTU的大小,例如,1500字节,那么假定将MFU分段。
MPU元数据611可包括一个MMTP包611-1。MMTP包611-1可包括包类型、FT和f_i。在本文中,生成具有一个MMTP包的MPU元数据611,未进行分段,从而使得MMTP包611-1中所包括的f_i的值设置为00。MMTP包611-1中所包括的包类型设置为MPU,并且MMTP包611-1中所包括的FT设置为元数据。在本文中,MMTP包611-1的大小是1500字节。
MFU 613可包括三个MMTP包,即,MMTP包613-1、MMTP包613-2和MMTP包613-3。MMTP包613-1、MMTP包613-2和MMTP包613-3中的每个可包括包类型、FT和f_i。在本文中,MFU 613分段成MMTP包613-1、MMTP包613-2和MMTP包613-3,从而使得MMTP包613-1的值f_i设置为01,MMTP包613-2的值f_i设置为10,并且MMTP包613-3的值f_i设置为11。MMTP包613-1、MMTP包613-2和MMTP包613-3中的每个所包括的包类型设置为MPU,并且MMTP包613-1、MMTP包613-2和MMTP包613-3中的每个所包括的FT设置为MFU。在本文中,MMTP包613-1的大小是1500字节,MMTP包613-2的大小是1500字节,并且MMTP包613-3的大小是400字节。
MFU 615可包括两个MMTP包,即,MMTP包615-1和MMTP包615-2。MMTP包615-1和MMTP包615-2中的每个可包括包类型、FT和f_i。在本文中,MFU 615分段成MMTP包615-1和MMTP包615-2,从而使得MMTP包615-1的值f_i设置为01,并且MMTP包615-2的值f_i设置为11。MMTP包615-1和MMTP包615-2中的每个所包括的包类型设置为MPU,并且MMTP包615-1和MMTP包615-2中的每个所包括的FT设置为MFU。在本文中,MMTP包615-1的大小是1500字节,并且MMTP包615-2的大小是1200字节。
MPU 617可包括一个MMTP包617-1。MMTP包617-1可包括包类型、FT和f_i。在本文中,生成具有一个MMTP包的MPU 617,未进行分段,从而使得MMTP包617-1中所包括的f_i的值设置为00。MMTP包617-1中所包括的包类型设置为MPU,并且MMTP包617-1中所包括的FT设置为MFU。在本文中,MMTP包617-1的大小是400字节。
MFU 619可包括两个MMTP包,即,MMTP包619-1和MMTP包619-2。MMTP包619-1和MMTP包619-2中的每个可包括包类型、FT和f_i。在本文中,MFU 619分段成MMTP包619-1和MMTP包619-2,从而使得MMTP包619-1的值f_i设置为01,并且MMTP包619-2的值f_i设置为11。MMTP包619-1和MMTP包619-2中的每个所包括的包类型设置为MPU,并且MMTP包619-1和MMTP包619-2中的每个所包括的FT设置为MFU。在本文中,MMTP包619-1的大小是1500字节,并且MMTP包619-2的大小是1200字节。
同时,在图6中,MPU元数据位于包的头部中,但MPU元数据可根据MMT通信系统的需要而位于包的任何部分,诸如,包的尾部或中间部分。例如,如果由MMT发送实体传输的包中所包括的MFU中的一些未能被MMT接收实体正常接收,那么对于MPU元数据位于包的尾部的情况而言,包修复概率比MPU元数据位于包的头部的情况要高。在本文中,可基于各种参数,考虑MMT接收实体的解码效率来确定MPU元数据在包中的位置,并且将省略各种参数的详细描述。
已参考图6描述了根据本公开的实施例的在MMT通信系统中基于FT和f_i发送包的过程,接下来,参考图7,将描述根据本公开的实施例的在MMT通信系统中基于FT和f_i接收包的过程。
图7示出根据本公开的实施例的在MMT通信系统中基于FT和f_i接收包的过程的示例。
参考图7,在MMT发送实体中,包700是基于FT和f_i、考虑MPU处理而生成的,并且是针对大容量内容(例如,4K内容)的传输而生成的。也就是说,包700可包括MPU元数据、至少一个MFU,即,两个MFU。在本文中,假定两个MFU中的一个被分段成两个MMTP包,并且另一个MFU没有被分段。在图7中,基于MPU元数据生成的MMTP包被示为P1,由MFU的分段生成的MMTP包被示为P2和P3,并且基于未分段的MFU生成的MMTP包被示为P4。在本文中,P2是P3前面的MMTP包。在本文中,如果MFU的大小超过MTU的大小,例如,1500字节,那么假定将MFU分段。
P1到P4中的每个包括包类型、FT和f_i。由于MPU元数据是MPU的起始部分,因此,P1的值f_i设置为01。P1中所包括的包类型设置为MPU,并且P1中所包括的FT设置为元数据。
P2和P3是由一个MFU的分段生成的MMTP包,并且P2是P3前面的MMTP包。因此,P2中所包括的包类型设置为MPU,P2中所包括的FT设置为MFU,并且P2中所包括的f_i设置为01。P3中所包括的包类型设置为MPU,P3中所包括的FT设置为MFU,并且P3中所包括的f_i设置为10。
由于MPU元数据是MPU的最后部分,因此,P4的值f_i设置为11。P4中所包括的包类型设置为MPU,并且P4中所包括的FT设置为MFU。
如果MMT发送实体以上述方式发送包,那么在完成P4的接收之后,MMT接收实体可基于P4中所包括的值f_i来识别已接收到包,即,数据单元的最后分段。
因此,当如上文参考图7所述逐个MPU地传输包时,包的处理可在基于MPU的包接收完成之后开始。也就是说,当包以参考图7描述的方式传输时,基于具有大尺寸的MPU的包处理便可开始。
同时,在图7中,MPU元数据位于包的头部中,但MPU元数据可根据MMT通信系统的需要而位于包的任何部分,诸如,包的尾部或中间部分。例如,如果由MMT发送实体传输的包中所包括的MFU中的一些未能被MMT接收实体正常接收,那么对于MPU元数据位于包的尾部的情况而言,包修复概率比MPU元数据位于包的头部的情况要高。在本文中,可基于各种参数,考虑MMT接收实体的解码效率来确定MPU元数据在包中的位置,并且将省略各种参数的详细描述。
已参考图7描述了根据本公开的实施例的在MMT通信系统中基于FT和f_i接收包的过程的示例,接下来,参考图8,将描述根据本公开的实施例的在MMT通信系统中基于FT和f_i接收包的过程的另一示例。
图8示出根据本公开的实施例的在MMT通信系统中基于FT和f_i接收包的过程的另一示例。
参考图8,在MMT发送实体中,包800是基于FT和f_i、考虑MFU处理而生成的,并且是针对大容量内容(例如,4K内容)的传输而生成的。也就是说,包800可包括MPU元数据、至少一个MFU,即,两个MFU。在本文中,假定两个MFU中的一个被分段成两个MMTP包,并且另一个MFU没有被分段。在图8中,基于MPU元数据生成的MMTP包被示为P1,由MFU的分段生成的MMTP包被示为P2和P3,并且基于未分段的MFU生成的MMTP包被示为P4。在本文中,P2是P3前面的MMTP包。在本文中,如果MFU的大小超过MTU的大小,例如,1500字节,那么假定将MFU分段。
P1到P4中的每个包括包类型、FT和f_i。由于MPU元数据没有分段,那么P1的值f_i设置为00。P1中所包括的包类型设置为MPU,并且P1中所包括的FT设置为元数据。
P2和P3是由一个MFU的分段生成的MMTP包,并且P2是P3前面的MMTP包。因此,P2中所包括的包类型设置为MPU,P2中所包括的FT设置为MFU,并且P2中所包括的f_i设置为01。P3中所包括的包类型设置为MPU,P3中所包括的FT设置为MFU,并且P3中所包括的f_i设置为11。
由于P4没有被分段,那么P4的值f_i设置为00。P4中所包括的包类型设置为MPU,并且P4中所包括的FT设置为MFU。
如果MMT发送实体以上文所述的方式发送包,也就是,基于MFU发送包,那么MMT接收实体可立即开始针对未分段的P1和P4进行处理。在完成最后段P3的接收之后,MMT实体可开始针对分段的P2和P3进行处理。
因此,当如上文参考图8所述逐个MFU地传输包时,包的处理可在基于MFU的包接收完成之后开始。也就是说,当包以参考图8描述的方式传输时,基于具有小尺寸的MFU的包处理便可开始。在这种情况下,包可以比参考图7描述的基于MPU的包传输更高的解码速度进行处理。
同时,在图8中,MPU元数据位于包的头部中,但MPU元数据可根据MMT通信系统的需要而位于包的任何部分,诸如,包的尾部或中间部分。例如,如果由MMT发送实体传输的包中所包括的MFU中的一些未能被MMT接收实体正常接收,那么对于MPU元数据位于包的尾部的情况而言,包修复概率比MPU元数据位于包的头部的情况要高。在本文中,可基于各种参数,考虑MMT接收实体的解码效率来确定MPU元数据在包中的位置,并且将省略各种参数的详细描述。
已参考图8描述了根据本公开的实施例的在MMT通信系统中基于FT和f_i接收包的过程的另一示例,接下来,参考图9,将描述根据本公开的实施例的MMT通信系统中的MMT发送实体的操作过程。
图9示出根据本公开的实施例的MMT通信系统中的MMT发送实体的操作过程。
参考图9,MMT发送实体在操作911中生成MFU,并且转到操作913。上文已经描述了由MMT发送实体生成MFU的方案,因此,此时将不描述。在操作913中MMT发送实体将所生成的MFU中的每个分成至少两个段,并且转到操作915。每个段的长度可设置为固定长度或可变长度。
在操作915中MMT发送实体将有效载荷报头添加到所生成的MFU中的每个,并且转到操作917。如果一段包括MMT提示轨道,那么该段需要指示MMT提示轨道中的subsample_priority和dependency_counter。在操作917中MMT发送实体将包报头添加到每个有效载荷,并且转到操作919。上文已经描述了包报头,因此,此时将不描述。MMT发送实体将所生成的包,也就是,MMTP包存储在缓冲器中,并且在操作919中将包传输到MMT接收实体。
尽管图9示出根据本公开的实施例的MMT通信系统中的MMT发送实体的操作过程,但可对图9进行各种更改。例如,图9中示出连续操作,但参考图9描述的那些操作可重叠、可并行执行、可按不同顺序执行,或者可多次执行。
已参考图9描述了根据本公开的实施例的MMT通信系统中的MMT发送实体的操作过程,接下来,参考图10,将描述根据本公开的实施例的MMT通信系统中的MMT接收实体的操作过程。
图10示出根据本公开的实施例的MMT通信系统中的MMT发送实体的操作过程。
参考图10,在操作1011中MMT接收实体接收来自MMT发送实体的包,也就是MMTP包,并且转到操作1013。在操作1013中MMT接收实体确定所接收的MMTP包是不是完整MMTP包。在本文中,MMT接收实体可基于每个MMTP包中所包括的值f_i来确定所接收的MMTP包是不是完整MMTP包。也就是说,如果值f_i是00或11,则MMT接收实体可确定MMTP包是完整MMTP包。
在操作1013中如果确定所接收的MMTP包是完整MMTP包,那么MMT接收实体转到操作1015。在操作1015中MMT接收实体确定完整MMTP包是不是MPU元数据。如果确定完整MMTP包是MPU元数据,那么MMT接收实体转到操作1017。在操作1017中MMT接收实体将MPU元数据存储在缓冲器中所存储的完整MMTP包前面的位置,也就是第一位置,并且转到操作1021。假定所述缓冲器是用于MFU解码的缓冲器,并且单独存在用于存储所接收的MMTP包的缓冲器。
在操作1015中如果确定完整MMTP包不是MPU元数据,那么MMT接收实体转到操作1019。MMT接收实体检测完整MMTP包中所包括的序列号并且在操作1019中将与检测到的序列号相对应的完整MMTP包存储在缓冲器中,并且转到操作1021。
在操作1021中MMT接收实体确定是否存在可解码的MFU。如果确定存在可解码的MFU,那么MMT接收实体转到操作1023。在操作1023中MMT接收实体对可解码的MFU执行解码。
在操作1013中如果确定所接收的MMTP包不是完整MMTP包,那么MMT接收实体转到操作1025。在操作1025中MMT接收实体将所接收的MMTP包存储在用于接收所接收的MMTP包的缓冲器中,并且转到操作1023。
尽管图10示出根据本公开的实施例的MMT通信系统中的MMT接收实体的操作过程,但可对图10进行各种更改。例如,图10中示出连续操作,但参考图10描述的那些操作可重叠、可并行执行、可按不同顺序执行,或者可多次执行。
已参考图10描述了根据本公开的实施例的MMT通信系统中的MMT接收实体的操作过程,接下来,参考图11,将描述根据本公开的实施例的MMT通信系统中的MMT发送实体的内部结构。
图11示出根据本公开的实施例的MMT通信系统中的MMT发送实体的内部结构的示例。
参考图11,MMT发送实体1100可包括呈现引擎层111、文件处理器1113、通用对象建构层1115、媒体处理器1117、MPU建构层1119、信令消息处理器1121、信令消息建构层1123、MMTP层1125,以及递送层1127。
呈现引擎层1111设立多媒体场景。
文件处理器1113处理文件,例如,MPU文件,并且通用对象配置建构层1115建构通用对象,诸如,完整MPU。
媒体处理器1117处理媒体数据,MPU建构层1119建构MPU,并且信令消息处理器1121针对待传输到MMT接收实体的信令消息执行处理操作。信令消息建构层1123建构由信令消息处理器1121处理的信令消息。
MMTP层1125基于诸如packet_id、有效载荷类型等各种参数来生成流媒体。在本文中,封装过程是基于所递送的有效载荷类型的并且独立执行,因此,在图11中没有单独示出。
递送层1127将MMTP层1125中生成的流媒体数据转换成适于传输到MMT接收层的形式,并且随后将转换的媒体数据传输到MMT接收层。
同时,在图11中,MMT发送实体1100被示为通过单独处理器进行实施,诸如,呈现引擎层1111、文件处理器1113、通用对象建构层1115、媒体处理器1117、MPU建构层1119、信令消息处理器1121、信令消息建构层1123、MMTP层1125和递送层1127,但呈现引擎层1111、文件处理器1113、通用对象建构层1115、媒体处理器1117、MPU建构层1119、信令消息处理器1121、信令消息建构层1123、MMTP层1125和递送层1127中的至少两个可集成到一个处理器中。MMT发送实体1100可通过一个处理器来实施。
已参考图11描述了根据本公开的实施例的MMT通信系统中的MMT发送实体的内部结构的示例,接下来,参考图12,将描述根据本公开的实施例的MMT通信系统中的MMT发送实体的内部结构的另一示例。
图12示出根据本公开的实施例的MMT通信系统中的MMT发送实体的内部结构的另一示例。
参考图12,MMT发送实体1200可包括发送单元1211、控制单元1213、接收单元1215,以及存储单元1217。
控制单元1213控制MMT发送实体1200的整体操作。控制单元1213控制MMT发送实体1200以执行根据本公开的实施例的与包发送/接收相关的整体操作。在本文中,与包发送/接收相关的整体操作与上文参考图1到图10描述的那些操作相同,因此,此时将不详细描述。
在控制单元1213的控制下,发送单元1211将消息发送到MMT接收实体等。在本文中,由发送单元1211发送的各种消息与上文参考图1到图10描述的那些消息相同,因此,此时将不详细描述。
在控制单元1213的控制下,接收单元1215接收来自MMT接收实体等的各种消息。在本文中,由接收单元1215接收的各种消息与上文参考图1到图10描述的那些消息相同,因此,此时将不详细描述。
存储单元1217存储MMT发送实体1200的操作所必需的程序和各种数据,尤其是根据本公开的实施例的与包发送/接收相关的信息。存储单元1217存储由接收单元1215从MMT接收实体接收的各种消息。
在图2中,MMT发送实体1200被示为通过单独处理器进行实施,诸如,发送单元1211、控制单元1213、接收单元1215和存储单元1217,发送单元1211、控制单元1213、接收单元1215和存储单元1217中的至少两个可集成到一个处理器中。MMT发送实体1200可通过一个处理器来实施。
已参考图12描述了根据本公开的实施例的MMT通信系统中的MMT发送实体的内部结构的另一示例,接下来,参考图13,将描述根据本公开的实施例的MMT通信系统中的MMT接收实体的内部结构的示例。
图13示出根据本公开的实施例的MMT通信系统中的MMT接收实体的内部结构的示例。
参考图13,MMT接收实体1300可包括呈现引擎层1311、文件处理器1313、通用对象重建层1315、媒体处理器1317、MPU重建层1319、信令消息处理器1321、信令消息重建层1323、MMTP层1325,以及递送层1327。
MMT接收实体以一个或多个MMT功能区域(图13中未单独示出)进行操作。MMT功能区域可包括MPU功能区域、递送功能区域,以及信令功能区域。在本文中,下文将描述MPU功能区域、递送功能区域,以及信令功能区域。
第一,MPU功能区域限定媒体内容的逻辑结构、将由MMT实体处理的数据单元的格式及其实例化,例如,具有ISO/IEC 14496-12中规定的ISO基础媒体文件格式的实例的生成。数据包提供分量,所述分量包括媒体内容以及基于分量之间的关系来对分发进行改进的基本信息。数据单元的格式被定义为封装用于存储或递送的编码的媒体数据,并且考虑待存储的数据与待递送的数据之间的简单改变。
第二,递送功能区域限定应用层传输协议和有效载荷格式。与支持多路传输和流动的混合使用和以一般应用层传输协议(例如,单个包流)进行的下载递送相比,应用层传输协议提供多媒体数据递送的改进特征。有效载荷格式被定义为实现媒体类型和编码方法不可知的编码的媒体数据的传送。
第三,信令功能区域限定管理媒体数据的递送和消耗的信令消息的格式。用于管理消耗的信令消息用来表示数据包的结构,并且用于管理递送的信令消息用来表示有效载荷格式的结构和协议配置。
MMTP层1325用来接收并且基于诸如packet_id、有效载荷类型等各种参数来多路分解流媒体。在本文中,解封装过程是基于所递送的有效载荷类型的并且独立执行,因此,在图13中没有单独示出。
呈现引擎层1311设立多媒体场景并且通过使用MMTP来参考所接收的内容。
同时,在图13中,MMT发送实体1300被示为通过单独处理器进行实施,诸如,呈现引擎层1311、文件处理器1313、通用对象重建层1315、媒体处理器1317、MPU重建层1319、信令消息处理器1321、信令消息重建层1323、MMTP层1325和递送层1327,但呈现引擎层1311、文件处理器1313、通用对象重建层1315、媒体处理器1317、MPU重建层1319、信令消息处理器1321、信令消息重建层1323、MMTP层1325和递送层1327中的至少两个可集成到一个处理器中。MMT接收实体1300可通过一个处理器来实施。
已参考图13描述了根据本公开的实施例的MMT通信系统中的MMT接收实体的内部结构的示例,接下来,参考图14,将描述根据本公开的实施例的MMT通信系统中的MMT接收实体的内部结构的另一示例。
图14示出根据本公开的实施例的MMT通信系统中的MMT接收实体的内部结构的另一示例。
参考图14,MMT接收实体1400可包括发送单元1411、控制单元1413、接收单元1415,以及存储单元1417。
控制单元1413控制MMT接收实体1400的整体操作。控制单元1413控制MMT接收实体1400以执行根据本公开的实施例的与包发送/接收相关的整体操作。在本文中,与包发送/接收相关的整体操作与上文参考图1到图10描述的那些操作相同,因此,此时将不详细描述。
在控制单元1413的控制下,发送单元1411将消息发送到MMT发送实体等。在本文中,由发送单元1411发送的各种消息与上文参考图1到图10描述的那些消息相同,因此,此时将不详细描述。
在控制单元1413的控制下,接收单元1415接收来自MMT发送实体等的各种消息。在本文中,由接收单元1415接收的各种消息与上文参考图1到图10描述的那些消息相同,因此,此时将不详细描述。
存储单元1417存储MMT接收实体1400的操作所必需的程序和各种数据,尤其是根据本公开的实施例的与包发送/接收相关的信息。存储单元1417存储由接收单元1415从MMT发送实体接收的各种消息。
在图14中,MMT接收实体1400被示为通过单独处理器进行实施,诸如,发送单元1411、控制单元1413、接收单元1415和存储单元1417,发送单元1411、控制单元1413、接收单元1415和存储单元1417中的至少两个可集成到一个处理器中。MMT接收实体1400可通过一个处理器来实施。
本公开的特定方面也可实施为计算机可读记录介质中的计算机可读代码。计算机可读记录介质可以是可存储可由计算机系统读取的数据的任何类型的数据存储装置。可由计算机读取的记录介质的示例可包括只读存储器(ROM)、随机存取存储器(RAM)、压缩式光盘只读存储器(CD-ROM)、磁带、软盘、光学数据存储装置、载波(诸如,通过互联网的数据传输)。计算机可读记录介质可通过经由互联网连接的计算机系统进行分布,因此,计算机可读代码以分散方式存储和执行。此外,本公开所涉及的领域中的程序员可容易解译用于实现本公开的功能程序、代码和代码段。
根据本公开的实施例的设备和方法可由硬件、软件或者硬件与软件的组合实施。此类任意软件可存储在,例如,易失性或非易失性存储装置(例如,ROM等)、存储器(例如,RAM、存储芯片、存储装置或存储IC),或者机器(例如,计算机)可读光学或磁存储介质(例如,CD、DVD、磁盘、磁带等)中,无论它是否能够擦除或重写。可以看出,根据本公开的方法可由包括控制器和存储器的计算机或便携式终端实施,并且存储器是适于存储一个或多个程序的机器可读存储介质的示例,所述程序包括用于实施本公开的实施例的指令。
因此,本发明包括含有用于实施说明书的所附权利要求书中提出的设备和方法的代码的程序,以及用于存储程序的机器(计算机等)可读存储介质。此外,程序可由任意介质电子地传送,诸如,通过有线或无线连接传输的通信信号,并且本发明适当地包括程序的等效物。
根据本公开的实施例的设备可接收和存储以有线或无线方式连接的程序提供装置中的程序。程序提供装置可包括用于存储包括指示设备执行预设方法的指令的程序的存储器、该方法所必需的信息、用于与设备执行有线或无线通信的通信单元,以及用于应设备的请求或自动地将对应程序传输到设备的控制器。
尽管已描述了本公开的实施例,但在不脱离本公开的范围的情况下,可进行各种改变。因此,本公开的范围应由所附权利要求书及其等效物限定,而不是由所描述的实施例限定。

Claims (15)

1.一种用于由多媒体通信系统中的发送装置发送包的方法,所述方法包括:
生成包;以及
将所述包发送到接收装置,
其中所述包包括至少两个数据单元,所述至少两个数据单元能够被所述接收装置独立地解码,并且
所述至少两个数据单元中的一个包括与所述包相关的控制信息。
2.根据权利要求1所述的方法,其中包括与所述包相关的所述控制信息的数据单元位于所述包中的所述至少两个数据单元的最后一个。
3.根据权利要求1所述的方法,其中所述至少两个数据单元中的每个被分段或不分段,并且
如果所述至少两个数据单元中的每个不分段,则所述至少两个数据单元中的每个均包括有关所述数据单元的分段的信息,并且
如果所述至少两个数据单元中的每个被分段,则通过所述至少两个数据单元中的每个的所述分段而生成的片段中的每个片段均包括有关所述数据单元的所述分段的信息。
4.根据权利要求3所述的方法,其中有关所述数据单元的所述分段的所述信息包括下列信息中的一个:表明有效载荷包括一个或多个完整数据单元的信息;表明所述有效载荷包括所述数据单元的第一片段的信息;表明所述有效载荷包括既非所述数据单元的所述第一片段也非所述数据单元的最后片段的片段的信息;以及表明所述有效载荷包括所述数据单元的所述最后片段的信息。
5.根据权利要求1所述的方法,其中所述至少两个数据单元中的每个被分段或不分段,以及
如果所述至少两个数据单元中的每个不分段,则所述至少两个数据单元中的每个均包括有关所述数据单元的片段类型的信息,并且
如果所述至少两个数据单元中的每个被分段,则通过所述至少两个数据单元中的每个的所述分段而生成的片段中的每个片段均包括有关所述数据单元的所述片段类型的信息。
6.根据权利要求5所述的方法,其中有关所述数据的所述片段类型的所述信息包括下列信息中的一个:表明片段包括所述控制信息的信息和表明所述片段包括数据的信息。
7.一种用于由多媒体通信系统中的接收装置接收包的方法,所述方法包括:
接收来自发送装置的包;以及
对所述包进行解码,
其中所述包包括至少两个数据单元,所述至少两个数据单元能够被所述接收装置独立地解码,并且
所述至少两个数据单元中的一个包括与所述包相关的控制信息。
8.根据权利要求7所述的方法,其中包括与所述包相关的所述控制信息的数据单元位于所述包中的所述至少两个数据单元的最后一个。
9.根据权利要求7所述的方法,其中所述至少两个数据单元中的每个被分段或不分段,并且
如果所述至少两个数据单元中的每个不分段,则所述至少两个数据单元中的每个均包括有关所述数据单元的分段的信息,并且
如果所述至少两个数据单元中的每个被分段,则通过所述至少两个数据单元中的每个的所述分段而生成的片段中的每个片段均包括有关所述数据单元的所述分段的信息。
10.根据权利要求9所述的方法,其中有关所述数据单元的所述分段的所述信息包括下列信息中的一个:表明有效载荷包括一个或多个完整数据单元的信息;表明所述有效载荷包括所述数据单元的第一片段的信息;表明所述有效载荷包括既非所述数据单元的所述第一片段也非所述数据单元的最后片段的片段的信息;以及表明所述有效载荷包括所述数据单元的所述最后片段的信息。
11.根据权利要求7所述的方法,其中所述至少两个数据单元中的每个被分段或不分段,以及
如果所述至少两个数据单元中的每个不分段,则所述至少两个数据单元中的每个均包括有关所述数据单元的片段类型的信息,并且
如果所述至少两个数据单元中的每个被分段,则通过所述至少两个数据单元中的每个的所述分段而生成的片段中的每个片段均包括有关所述数据单元的所述片段类型的信息。
12.根据权利要求11所述的方法,其中有关所述数据的所述片段类型的所述信息包括下列信息中的一个:表明片段包括所述控制信息的信息和表明所述片段包括数据的信息。
13.一种用于由多媒体通信系统中的接收装置接收包的方法,所述方法包括:
接收来自发送装置的通过对包进行分段而生成的片段;
确定所述片段是否是完整数据单元;
如果所述片段是完整数据单元,则确定所述片段是否包括控制信息;以及
如果所述片段包括所述控制信息,则将所述控制信息存储于在所述片段之前接收的片段前面的位置。
14.一种多媒体通信系统中的发送装置,其被配置成执行根据权利要求1至6中任一项所述的方法。
15.一种多媒体通信系统中的接收装置,其被配置成执行根据权利要求7至13中任一项所述的方法。
CN201580036677.3A 2014-07-04 2015-07-06 用于在多媒体通信系统中传输/接收包的装置和方法 Pending CN106664243A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140083994A KR20160004858A (ko) 2014-07-04 2014-07-04 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법
KR10-2014-0083994 2014-07-04
PCT/KR2015/006929 WO2016003247A1 (ko) 2014-07-04 2015-07-06 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법

Publications (1)

Publication Number Publication Date
CN106664243A true CN106664243A (zh) 2017-05-10

Family

ID=55019682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580036677.3A Pending CN106664243A (zh) 2014-07-04 2015-07-06 用于在多媒体通信系统中传输/接收包的装置和方法

Country Status (5)

Country Link
US (1) US10476994B2 (zh)
JP (1) JP2017528025A (zh)
KR (1) KR20160004858A (zh)
CN (1) CN106664243A (zh)
WO (1) WO2016003247A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102446181B1 (ko) 2016-02-17 2022-09-22 삼성전자주식회사 멀티미디어 시스템에서 미디어 데이터를 송수신하는 방법 및 장치
US10917477B2 (en) * 2016-05-25 2021-02-09 Samsung Electronics Co., Ltd. Method and apparatus for MMT integration in CDN

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070198897A1 (en) * 2002-03-22 2007-08-23 Schroeder Jacob J Method and apparatus to perform error control
CN103621067A (zh) * 2011-06-14 2014-03-05 三星电子株式会社 用于在多媒体系统中发送/接收媒体内容的方法和装置
WO2014058285A1 (en) * 2012-10-12 2014-04-17 Samsung Electronics Co., Ltd. Method and apparatus for transceiving data packet for transmitting and receiving multimedia data
US20140109159A1 (en) * 2012-10-11 2014-04-17 Samsung Electronics Co., Ltd. Apparatus and method for delivering and receiving multimedia data in hybrid network
CN103843351A (zh) * 2011-09-29 2014-06-04 三星电子株式会社 用于发送和接收内容的方法和装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7965708B2 (en) 2005-06-07 2011-06-21 Cisco Technology, Inc. Method and apparatus for using meta-packets in a packet processing system
CN102835150B (zh) 2009-09-02 2015-07-15 苹果公司 用于无线系统的mac分组数据单元构造
US20110274156A1 (en) 2010-05-05 2011-11-10 Cavium Networks System and method for transmitting multimedia stream
KR20120084237A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 엠엠티(mmt)에서 엠엠티 인캡슐레이터를 전송하는 방법
WO2013077670A1 (ko) * 2011-11-23 2013-05-30 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
JP2013157820A (ja) 2012-01-30 2013-08-15 Sharp Corp 生成装置、再生装置、生成方法、再生方法、データ構造、制御プログラム、および記録媒体
US9813350B2 (en) * 2012-01-31 2017-11-07 Sharp Kabushiki Kaisha Generation device, reproduction device, data structure, generation method, reproduction method, control program, and recording medium
WO2013141666A1 (ko) * 2012-03-23 2013-09-26 (주)휴맥스 Mmt 패키지화된 svc 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
MX343181B (es) 2012-04-25 2016-10-27 Samsung Electronics Co Ltd Metodo y aparato de transcepcion de datos para sistema de transmision multimedia.
US9544641B2 (en) * 2012-05-10 2017-01-10 Humax Co., Ltd. Hybrid transmission method through MMT packet format extension
KR20130138638A (ko) * 2012-06-11 2013-12-19 한국전자통신연구원 비트 에러율을 이용한 효과적인 멀티미디어 전송 방법
WO2014005077A1 (en) * 2012-06-29 2014-01-03 Vid Scale, Inc. Frame prioritization based on prediction information
KR102185384B1 (ko) * 2012-07-11 2020-12-02 한국전자통신연구원 Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템
US9635394B2 (en) * 2013-01-24 2017-04-25 Electronics And Telecommunications Research Institute Method and device for flexible MMT asset transmission and reception
JP5641090B2 (ja) * 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6268066B2 (ja) * 2013-09-20 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
KR102105656B1 (ko) * 2014-01-09 2020-04-28 한국전자통신연구원 Mmt 서비스의 패킷 재전송 방법 및 장치, 재전송 요청 방법 및 장치
KR101841947B1 (ko) * 2014-04-24 2018-03-26 엘지전자 주식회사 방송 전송 장치, 방송 전송 장치의 동작 방법, 방송 수신 장치 및 방송 수신 장치의 동작 방법
US20170171606A1 (en) * 2014-04-30 2017-06-15 Lg Electronics Inc. Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method, and broadcast signal receiving method
US20170055025A1 (en) * 2014-04-30 2017-02-23 Lg Electronics Inc. Broadcast transmission apparatus, broadcast reception apparatus, operation method of the broadcast transmission apparatus and operation method of the broadcast reception apparatus
JP5725242B1 (ja) * 2014-06-04 2015-05-27 ソニー株式会社 送信装置及び送信方法、並びに受信装置並びに受信方法
US20170164043A1 (en) * 2014-06-30 2017-06-08 Lg Electronics Inc. Broadcast transmitting device, broadcast receiving device, operating method for broadcast transmitting device and operating method for broadcast receiving device
JP6681580B2 (ja) * 2014-08-04 2020-04-15 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070198897A1 (en) * 2002-03-22 2007-08-23 Schroeder Jacob J Method and apparatus to perform error control
CN103621067A (zh) * 2011-06-14 2014-03-05 三星电子株式会社 用于在多媒体系统中发送/接收媒体内容的方法和装置
CN103843351A (zh) * 2011-09-29 2014-06-04 三星电子株式会社 用于发送和接收内容的方法和装置
US20140109159A1 (en) * 2012-10-11 2014-04-17 Samsung Electronics Co., Ltd. Apparatus and method for delivering and receiving multimedia data in hybrid network
WO2014058285A1 (en) * 2012-10-12 2014-04-17 Samsung Electronics Co., Ltd. Method and apparatus for transceiving data packet for transmitting and receiving multimedia data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOUNGKWON LIM: "New MPEG Transport Standard for Next Generation Hybrid Broadcasting System with IP", 《IEEE TRANSACTIONS ON BROADCASTING》 *

Also Published As

Publication number Publication date
WO2016003247A1 (ko) 2016-01-07
US10476994B2 (en) 2019-11-12
JP2017528025A (ja) 2017-09-21
KR20160004858A (ko) 2016-01-13
US20170142236A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
US11637887B2 (en) Packet transmission protocol supporting downloading and streaming
JP6797988B2 (ja) マルチメディアシステムにおけるメディアパケットを受信する受信装置
JP6887466B2 (ja) マルチメディア伝送システムにおけるパケットを伝送する装置
US20180123810A1 (en) Methods for delivery of flows of objects over broadcast/multicast enabled networks
CN104303507B (zh) 用于多媒体传输系统的收发数据的方法和装置
CN106664243A (zh) 用于在多媒体通信系统中传输/接收包的装置和方法
CN106664444A (zh) 用于在多媒体系统中接收媒体分组的方法和设备
CN105191323B (zh) 用于在多媒体传输系统中发送媒体数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510

WD01 Invention patent application deemed withdrawn after publication