CN105453572B - 用于运动图像专家组媒体传输中速率适配的方法和设备 - Google Patents

用于运动图像专家组媒体传输中速率适配的方法和设备 Download PDF

Info

Publication number
CN105453572B
CN105453572B CN201480035476.7A CN201480035476A CN105453572B CN 105453572 B CN105453572 B CN 105453572B CN 201480035476 A CN201480035476 A CN 201480035476A CN 105453572 B CN105453572 B CN 105453572B
Authority
CN
China
Prior art keywords
encoded stream
media
available bandwidth
current transmission
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480035476.7A
Other languages
English (en)
Other versions
CN105453572A (zh
Inventor
伊麦德·布瓦吉吉
许蒙
马展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105453572A publication Critical patent/CN105453572A/zh
Application granted granted Critical
Publication of CN105453572B publication Critical patent/CN105453572B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/74—Admission control; Resource allocation measures in reaction to resource unavailability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Abstract

提供了用于发送或接收媒体内容的运动图像专家组(MPEG)媒体传输(MMT)装置的设备和方法。MMT装置包括存储单元和控制器。控制器配置为测量可用带宽、基于可用带宽和当前传输带宽接收媒体内容的第一经编码的流的片段和相同媒体内容的第二经编码的流的片段。混合的经编码的流包括从第一经编码的流接收的片段和从第二经编码的流接收的片段。

Description

用于运动图像专家组媒体传输中速率适配的方法和设备
技术领域
本申请通常涉及媒体内容传送，并且更具体地涉及通过运动图像专家组(MPEG)媒体传输(MMT)的媒体内容传送。
背景技术
在2012年移动视频流量已经增加至占移动网络流量的大半，并且估计这个数字到2017年将达到三分之二。移动数据流量被期望为在相同时间范围内以八个百分点增长。
该趋势对移动操作者和他们的核心网络的规格具有显著影响。在应对该趋势时，出现了巨大的挑战和权衡。例如，如何实现对网络容量的最佳使用以及如何适当地设计网络规格。
发明内容
提供了用于发送或接收媒体内容的运动图像专家组(MPEG)媒体传输(MMT)装置。MMT装置包括存储单元和控制器。控制器配置为测量可用带宽、基于可用带宽和当前传输带宽接收混合的流，混合的流包括从第一流接收的片段和从第二流接收的片段。
提供了用于发送媒体内容的MMT装置。MMT装置包括存储单元和控制器。控制器配置为测量可用带宽，以及基于可用带宽和当前传输带宽从发送包括媒体内容的第一流的片段转换至发送媒体内容的第二流的片段的混合的流。
提供了用于传送媒体内容的方法。方法包括测量可用带宽，以及基于可用带宽和当前传输带宽从发送媒体内容的第一流的片段转换至发送媒体内容的第二流的片段，并发送混合的流。其中混合的流包括第一流发送的片段和第二流发送的片段。
在进行下文的详细描述之前，说明在本专利文件全文中使用的某些单词和短语的定义可能是有益的：用语“包括”和“包含”以及它们的衍生词意味着包括而没有限制；用语“或”是包括性的，意味着和/或；短语“与...关联的”和“与其关联的”以及它们的衍生词，可意味着包括、包括在...内、与...互相连接、包含、包含在...内、连接至或与...连接、联接至或与...联接、可与...交流的、与...配合、交错、并列、接近于、结合至或与...结合、具有、具有...的性质等；以及用语“控制器”意味着控制至少一个操作的任何装置、系统或它们的部分，这种设备例如可以以硬件、固件或软件、或它们中的至少两个的一些组合实现。应注意的是，与任何特定控制器关联的功能可以是集中的或分散的，不论当地地或远程地。在整个该文件中提供了用于某些单词和短语的定义，本领域普通技术人员应理解的是，在许多情况下(即使不是大多数情况)，这种定义适用于这些定义的措辞和短语的在先使用以及将来使用。
附图说明
为了更完整的理解本公开及其优点，现在将参照附图进行下列描述，附图中相同的附图标号表示相同的部分，其中：
图1示出了根据本公开实施方式的通过MMT规定的三个功能区；
图2示出了通过根据本公开实施方式的设备的MMT会话中比特流无缝转换的示意图；
图3示出了通过根据本公开实施方式的MMT装置的MMT会话中的比特流无缝转换；
图4示出了根据本公开实施方式的电子装置；以及
图5示出了根据本公开实施方式的在异构网络上对不同客户的可伸缩视频传送。
具体实施方式
在本专利文件中，下文讨论的图1至图5，以及用于描述本公开原理的各种实施方式都只是以说明的方式，并且不应被解释为以任何方式限制本公开的范围。本领域技术人员应理解，本公开的原理可在任何适当配置的电子装置中实现。
运动图像专家组(MPEG)媒体传输(MMT)指定了一种允许在异构IP网络环境上实现多媒体服务的现代媒体传送方案。所传送的经编码的媒体数据包括：需要在指定时间内对特定单位的数据进行同步解码和呈现的视听媒体数据，即时间性的数据(timed data)；以及可基于服务上下文或基于用户的互动在于任意时间中解码和呈现的其它类型的数据，即非时间性的数据(non-timed data)。
MMT设计为使经编码的媒体数据通过使用因特网协议(例如，UDP)的基于包的传送网络来传送。这样的传送环境的多个特征包括，每个包从发送实体到接收实体的传送的端对端延迟不总是恒定的。此外，底层网络提供从媒体数据区分信令消息的方法。
为了在异构IP网络环境上高效并有效地传送经编码的媒体数据，MMT提供了下列要素：
逻辑模型，构成由用于混搭应用的各种部件组成的内容；
数据传达(convey)信息的结构，关于用于传送层处理(例如，分包和适配)的经编码的媒体数据；
传送媒体的分包方法和包结构，独立于传输控制协议(TCP)或用户定义的协议(UDP)上使用的特定类型的、包括混合传送的媒体或编码方法；
信令消息的格式，管理媒体内容的呈现和传送；以及
信息的格式，在通信层之间交换以便于跨层通信。
图1示出了根据本公开实施方式的MMT规定的三个功能区。图1中所示的实施方式仅用于说明的目的，在不背离本公开范围的条件下可使用其它实施方式。
封装层102规定了媒体内容的逻辑结构、MMT包、和待由兼容MMT的实体处理的数据单元的格式，该格式可使用国际标准组织基本媒体文件格式(ISOBMFF)。MMT包指定了包括媒体内容的部分和它们之间的关系以提供呈现和适应性传送所必需的信息。数据单元的格式被规定为将待存储或待承载的经编码的媒体封装为传输协议的有效负载，并且该格式还被规定为便于在不同传输协议之间转换。
传送功能区104规定了应用层协议和有效负载的格式。相比于用于多媒体传送的传统应用层协议，该应用层协议提供用于传送MMT包的增强的特征，包括多路传输。有效负载格式被规定为承载经编码的媒体数据，其中，经编码的媒体数据独立于特定媒体类型或编码方法。
信令功能区106规定了消息的格式以管理MMT包的传送和消耗。针对消耗管理的消息用于以信号通知MMT包的结构，并且针对传送管理的消息用于以信号通知有效负载格式的结构和协议的配置。
随着因特网网络和移动网络以及蜂窝网络上视频流的巨大增长，对巨量的流量的处理日益变得具有挑战性。速率适配保证视频流应用的可伸缩性以及它们的对拥塞信号的响应性，以减轻拥塞并保证服务连续性。目前的趋势是在超级文本传输协议(HTTP)上执行视频流，接下来在TCP/因特网协议(IP)上部署，并进行拥塞控制。在网络拥塞的情况下，如果在应用层没有执行合适的速率适配，则TCP将节流导致回放中断的流量。在这种情况下，由于一般不在服务器上保持会话，所以速率适配主要是客户端的责任。
在UDP/IP的媒体流传输的情况下，例如使用实时传输协议(RTP)或MMT，发送方负责速率适配。当检测到拥塞时，发送方需要调节其传输速率以防止不必要地加剧拥塞恶化并引起接收方处更多的包丢失和失真。
图2示出了通过根据本公开实施方式的设备的MMT会话中用于比特流无缝交换的过程。虽然流程图描绘了一系列有顺序的步骤，但是除非明确说明，否则不应推断出：与执行的特定顺序有关的次序、步骤的执行或步骤执行中的一些部分是串行的而不是并行的或以重叠方式进行的，或所描述的步骤的执行是排他的，或不存在介于其间的步骤或中间步骤。所描述的示例中描述的过程通过在例如移动站中的发射器链来实现。
在图2所示的过程中，速率适配使用有限集或速率适配技术来执行，例如，帧和片(slice)丢弃以及比特流转换。本公开的实施方式提供用于在为流媒体数据使用MMT时执行速率适配的方法和设备。在某些实施方式中，MMT发送方(例如，图5中的MMT服务器504)连续检测客户端或客户端集的可用带宽。MMT服务器504可通过主动测量带宽或通过来自客户端(多个客户端)的反馈报告来检测可用带宽。此后，MMT服务器504评估对速率适配的需要。如果存在需要，则MMT服务器504首先检测目标比特率(通常低于可用比特率)是否能够通过暂时的比特流细化(thinning)来实现。如果MMT服务器504不能实现目标比特率，则MMT服务器504将比特流转换至更低比特率的比特流。如果可用带宽足够大于当前传输比特率，则MMT服务器504转换至更高比特率的比特流。
MMT服务器504通过丢弃包含较不重要媒体数据的MMT协议(MMTP)包来实现比特流细化。那些较不重要的媒体数据是可丢弃的，这意味着丢弃较不重要的媒体数据将不会导致错误传播。
在块202中，MMT装置测量可用带宽。MMT装置可以是发送内容的MMT服务器504。MMT装置还可以是接收内容并基于可用带宽决定是否请求MMT服务器504转换至不同比特率的MMT客户端506-514中的一个。MMT装置还在片段310发送至MMT客户端506-514时基于可用带宽来确定MMT服务器504是否需要丢弃媒体片段单元(MFU)。
在块204中，MMT装置将可用带宽和当前的传输带宽进行比较。如果可用带宽不小于当前传输带宽，则过程继续至块206。如果可用带宽小于当前传输，则过程继续至块208。
在块206中，MMT装置将可用带宽与当前传输带宽和因子1+β的乘积以及阀值中的一个或多个进行比较。如果可用带宽大于当前传输带宽与因子1+β的乘积以及阀值中的一个或多个，则过程继续至块210。如果可用带宽不大于当前传输带宽与因子1+β的乘积以及阀值中的一个或多个，则过程继续至块212。
在块208中，MMT装置将当前带宽和可用带宽与一个或多个可丢弃的媒体单元的大小的总和进行比较。如果当前带宽与可用带宽之差小于可丢弃的媒体单元的大小总和，则过程继续至块214。如果当前带宽与可用带宽之差不小于可丢弃的媒体单元的大小总和，则过程继续至块216。
在块210中，MMT装置转换到更高比特率的比特流。MMT装置基于可用带宽、当前带宽、以及可丢弃的媒体单元的大小的总和中的一个或多个来发起转换。
在块212中，MMT装置减少媒体单元丢弃。MMT装置基于可用带宽、当前带宽、以及可丢弃的媒体单元的大小的总和中的一个或多个来执行减少。
在块214中，MMT装置丢弃足够数量的丢弃的媒体单元。MMT装置计算可丢弃的媒体单元的数量。在由MMT客户端506-514中的一个进行计算时，MMT装置用通过信号将待丢弃的丢弃的媒体单元的数量发送至MMT服务器504。MMT服务器504基于可用带宽、当前带宽、和可丢弃的媒体单元的大小的总和中的一个或多个通过不向MMT客户端506-514发送某些可丢弃的媒体单元来丢弃该数量的可丢弃的媒体单元。
在块216中，MMT装置转换至更低比特率的比特流。MMT装置基于可用带宽、当前带宽、和可丢弃的媒体单元的大小的总和中的一个或多个发起转换。
图3示出了通过根据本公开实施方式的MMT装置的MMT会话中的比特流无缝转换。图3中所示的实施方式仅用于说明。在不背离本公开范围的条件下可使用其它实施方式。
可作为图5中的MMT服务器504的实施方式的MMT服务器306能够访问资源(asset)或媒体文件中的多个编码308，其中，每个编码308都处于不同比特率，例如，第一流302和第二流304。MMT服务器306生成用于所有可用比特流的每个媒体处理单元(MPU)的公共MPU元数据。MMT服务器306以影片片段等级执行比特流转换。MMT服务器306检测可用比特率，并且MMT服务器306基于可用比特率决定是否转换至更高或更低的比特率。在片段310被发送至MMT客户端312时，MMT服务器306还基于可用比特率决定是否丢弃媒体片段单元(MFU)。因为媒体解码器将不需再被重新初始化，所以通过生成公共MPU报头，MMT服务器306对MMT客户端312透明并无缝地执行转换。MMT客户端312配置为从MMT服务器306接收包括来自不同流302和304的片段的混合的流314。片段使用不同编码，但是使用公共报头和元数据以允许来自不同流的片段组合为可由MMT客户端312接收、解码、和呈现的单个混合的流314。
在某些实施方式中，MMT服务器306使用来自内容提供方的附加元数据决定是否丢弃媒体单元或转换至更低比特率的比特流。内容提供方可推荐用于特定时间段的用于视频比特流的最小帧率。如果得到的比特流的帧率低于所推荐的帧率，则MMT服务器306停止丢弃媒体单元并随后转换至更低比特率的比特流。
在某些实施方式中，MMT服务器306使用MMT片段报头中的信息和MFU报头中的信息预计算丢弃哪些媒体单元。MMT服务器306确定可被丢弃的媒体单元的大小以预计算从可丢弃的媒体单元中丢弃哪些媒体单元。
在某些实施方式中，以一个或多个比特率对媒体内容编码，并且MMT服务器306能够访问分别以一个或多个比特率编码的媒体内容中的一个或多个编码。MMT服务器306将用于媒体内容不同编码的配置信息进行分组，并使分组的配置信息对MMT客户端312可用。MMT服务器306将来自不同编码的媒体数据分组为内容片段，并在特定时间点选择一个内容片段以发送至MMT客户端312。所发送的内容片段具有不超过一个或多个媒体样本的最小时间重叠。
图4示出了根据本公开实施方式的电子装置。图4中所示的电子装置的实施方式仅用于说明。可在不背离本公开的范围的条件下使用电子装置的其它实施方式。
电子装置402包括天线405、射频(RF)收发器410、发射器(TX)处理电路415、麦克风420、以及接收器(RX)处理电路425中的一个或多个。电子装置402还包括扬声器430、处理单元440、输入/输出(I/O)接口(IF)445、键盘450、显示器455、以及存储器460中的一个或多个。处理单元440包括处理电路，处理电路配置为执行存储在存储器460中或处理单元440内的多个指令。存储器460还包括基本操作系统(OS)程序461和多个应用462。电子装置402是MMT装置的实施方式，例如，移动站(MS)、图3的MMT服务器306、图5的MMT服务器504、图3的MMT客户端312、图5的MMT客户端506-514等。电子装置402通过MMT发送、接收、或显示媒体内容。
射频(RF)收发器410从天线405接收由无线网络400的基站发送进来的RF信号。射频(RF)收发器410将进入的RF信号向下转换(down-convert)以产生中间频率(IF)或基带信号。IF或基带信号被发送至接收器(RX)处理电路425，其中，接收器(RX)处理电路425通过滤波、解码、和/或数字化基带或IF信号来产生经处理的基带信号。接收器(RX)处理电路425将经处理的基带信号传送至扬声器430(即，话音数据)或传送至处理单元440用于进一步的处理(例如，网页浏览)。
发射器(TX)处理电路415从麦克风420或来自处理单元440的其它输出基带数据(例如，网络数据、电子邮件、交互式视频游戏数据)接收模拟或数字语音数据。发射器(TX)处理电路415对输出的基带数据编码、复用、和/或数字化以产生经处理的基带或IF信号。射频(RF)收发器410从发射器(TX)处理电路415接收输出的经处理的基带或IF信号。射频(RF)收发器410将基带或IF信号向上转换(up-convert)至通过天线405发送的射频(RF)信号。
在某些实施方式中，处理单元440包括用于中央处理器(CPU)442的电路和在一个或多个分离装置中实现的图形处理单元(GPU)444。存储器460联接至处理单元440。根据本公开的一些实施方式，存储器460的一部分包括随机存取存储器(RAM)并且存储器460的另一部分包括用作只读存储器(ROM)的闪速存储器。
在某些实施方式中，存储器460是包括通过MMT传送媒体内容的程序指令的计算机可读介质。根据本公开的实施方式，当程序指令由处理单元440执行时，程序指令配置为使处理单元440、CPU 442、和GPU444中的一个或多个执行各种功能和程序。根据本公开的某些实施方式，CPU 442和GPU 444被包括为设置在一个或多个印刷电路板上的一个或多个集成电路。
处理单元440执行存储在存储器460中的基本操作系统(OS)程序461以控制无线电子装置402的全部操作。在一个这样的操作中，根据众所周知的原理，处理单元440通过射频(RF)收发器410、接收器(RX)处理电路425、和发射器(TX)处理电路415控制前向信道信号的接收和反向信道信号的发射。
处理单元440能够执行位于存储器460中的其它处理和程序，例如，如本公开实施方式中描述的，用于通过使用去鸣振滤波器的可伸缩视频编解码器来编码或解码比特流的操作。根据执行过程的需要，处理单元440可将数据移入或移出存储器460。在某些实施方式中，处理单元440配置为执行多个应用462。处理单元440可基于OS程序461或响应于从基站接收的信号来操作多个应用462。处理单元440还联接至I/O接口445。I/O接口445使电子装置402能够连接至其它装置，例如，膝上型计算机、手持式计算机、和服务器计算机。I/O接口445是这些配件和处理单元440之间的通信路径。
处理单元440还可选性地联接至键盘450和显示单元455。电子装置402的操作者使用键盘450将数据输入进电子装置402中。显示器455可以是能够渲染来自网站的文本和/或至少有限的图形的液晶显示器。替代的实施方式可使用其它类型的显示器。
图5示出了根据本公开实施方式的在异构网络上对不同客户端的可伸缩视频传送。图5中所示的实施方式仅用于说明。在不背离本公开范围的条件下可使用其它实施方式。
异构网络502包括为MMT客户端506-514提供媒体内容(包括图像、音频、和视频)的MMT服务器504。MMT服务器504和MMT客户端506-514是MMT装置并且是电子装置402的实施方式。MMT服务器504通过异构网络502发送待由MMT客户端506-514接收的全分辨率视频流516。MMT客户端506-514基于至异构网络502的连接的类型、MMT客户端的类型、和网络的拥塞通过一个或多个比特率518-526和一个或多个分辨率530-538来接收全分辨率视频流516中的一些或全部。至异构网络502的连接的类型和比特率包括高速骨干网络连接528、每秒1000兆比特(Mbps)连接518、每秒312千比特(kbps)连接520、1Mbps连接522、4Mbps连接524、2Mbps连接526等。一个或多个分辨率530-538包括以60赫兹的1080逐行扫描(1080P)(1080p@_60Hz)530、@_10Hz的四分之一通用中间格式(QCIF)532、@_24Hz的标清(SD)534、@_60Hz的720逐行扫描(720p)536、720p@_30Hz 538等。客户端506-514的类型包括台式计算机506、移动电话508、个人数字助理(PDA)510、膝上型计算机512、平板计算机514等。
当异构网络502拥塞时，MMT服务器504开始或增加发送至MMT客户端506-514的视频流的MFU的丢弃，并且MMT服务器504使用更低比特率将更低分辨率的MFU发送至MMT客户端506-514。当异构网络502的拥塞减轻时，MMT服务器504减少发送至MMT客户端506-514的视频流的MFU的丢弃，并且MMT服务器504使用更高比特率将更高分辨率的MFU发送至MMT客户端506-514。
虽然多种特征已经在附图中示出和在上文中描述，但是可对附图进行各种改变。例如，图1和图3至图5中所示的部件的大小、形状、布置、和布局仅用于说明。每个部件均可具有任何合适的大小、形状、和大小，并且多个部件可具有任何合适的布置和布局。此外，可组合、进一步细分、或省略图1和图3至图5中的各种部件，并且可根据特定需要添加附加部件。此外，装置或系统中的每个部件均可使用用于执行所述功能(多个功能)的任何合适的结构(多个结构)来实现。此外，在图2中示出多个系列的步骤时，图2中的多个步骤可重叠、并行地发生、多次发生、或以不同顺序发生。
虽然已经通过示例性实施方式描述了本公开，但是还是可以向本领域技术人员提出各种改变和修改。即，本公开包括落在所附权利要求范围内的这些改变和修改。
本申请中的描述不应被解读为暗指：任何特定元件、步骤、或功能是必须归入权利要求范围的必需元素，其中，本申请要求保护的主题的范围仅由授权的权利要求限定。此外，除非精确的词语“用于...的装置”之后跟有分词，否则这些权利要求并不适用于35USC第112款第六段的规定。

Claims (17)

1.用于接收媒体内容的运动图像专家组媒体传输MMT装置，包括：
存储单元；以及
控制器，配置为：
测量可用带宽；
基于所述可用带宽和当前传输带宽接收混合的被编码的流，所述混合的被编码的流包括所述媒体内容的第一经编码的流的片段和同一媒体内容的第二经编码的流的片段；以及
在从所述第二经编码的流接收片段之前，调整所述第一经编码的流的媒体片段单元的丢弃，所述调整包括：如果所述可用带宽不小于所述当前传输带宽并且所述可用带宽不大于所述当前传输带宽与因子1+β的乘积或阀值，则减少对媒体片段单元的丢弃。
2.根据权利要求1所述的MMT装置，其中：
所述调整包括：如果所述可用带宽小于所述当前传输带宽并且所述当前传输 带宽与所述可用带宽之差小于一个或多个可丢弃的媒体单元的大小的总和，则丢弃足够的媒体片段单元。
3.根据权利要求1所述的MMT装置，其中：
如果所述可用带宽小于所述当前传输带宽并且所述当前传输 带宽与所述可用带宽之差不小于一个或多个可丢弃的媒体单元的大小的总和，则将所述第二经编码的流与更低比特率关联并转换至所述更低比特率，以及
如果所述可用带宽不小于所述当前传输带宽并且所述可用带宽大于当前传输带宽与1+β的乘积或所述阀值，则所述第二经编码的流与更高比特率关联并转换至所述更高比特率。
4.根据权利要求1所述的MMT装置，其中，所述第一经编码的流发送的片段和所述第二经编码的流发送的片段具有不超过一个或多个媒体样本的最小时间重叠。
5.根据权利要求1所述的MMT装置，其中：
所述调整基于来自内容提供方的附加元数据，
所述附加元数据配置为指示用于特定时间段的最小帧率，
如果在进行所述丢弃后帧率小于所述最小帧率，则停止所述丢弃，所述第一经编码的流转换至与更低比特率关联的所述第二经编码的流。
6.根据权利要求1所述的MMT装置，其中，所述媒体内容的MMT片段报头中的信息和媒体片段单元中的信息用于预计算丢弃哪些媒体片段单元。
7.用于发送媒体内容的运动图像专家组媒体传输MMT装置，包括：
存储单元；以及
控制器，配置为：
测量可用带宽；
基于所述可用带宽和当前传输带宽，从发送所述媒体内容的第一经编码的流的片段转换至发送同一媒体内容的第二经编码的流的片段，
发送混合的经编码的流，所述混合的经编码的流包括所述第一经编码的流发送的片段和所述第二经编码的流发送的片段；
在从所述第一经编码的流转换至所述第二经编码的流之前，调整所述第一经编码的流的媒体片段单元的丢弃，所述调整包括：如果所述可用带宽不小于所述当前传输带宽并且所述可用带宽不大于所述当前传输带宽与因子1+β的乘积或阀值，则减少对媒体片段单元的丢弃。
8.根据权利要求7所述的MMT装置，其中：
所述调整包括：如果所述可用带宽小于所述当前传输带宽并且所述当前传输 带宽与所述可用带宽之差小于一个或多个可丢弃的媒体单元的大小的总和，则丢弃足够的媒体片段单元。
9.根据权利要求7所述的MMT装置，其中：
如果所述可用带宽小于所述当前传输带宽并且所述当前传输 带宽与所述可用带宽之差不小于一个或多个可丢弃的媒体单元的大小的总和，则将所述第二经编码的流与更低比特率关联，且所述转换包括转换至所述更低比特率，以及
如果所述可用带宽不小于所述当前传输带宽并且所述可用带宽大于所述当前传输带宽与因子1+β的乘积或所述阀值，则所述第二经编码的流与更高比特率关联并且所述转换包括转换至所述更高比特率。
10.根据权利要求7所述的MMT装置，其中，所述第一经编码的流发送的片段和所述第二经编码的流发送的片段具有不超过一个或多个媒体样本的最小时间重叠。
11.根据权利要求7所述的MMT装置，其中：
所述调整基于来自内容提供方的附加元数据，
所述附加元数据配置为指示用于特定时间段的最小帧率，
如果在进行所述丢弃后帧率小于所述最小帧率，则停止所述丢弃，所述第一经编码的流转换至与更低比特率关联的所述第二经编码的流。
12.根据权利要求7所述的MMT装置，其中，所述媒体内容的运动图像专家组媒体传输MMT片段报头中的信息和媒体片段单元中的信息用于预计算丢弃哪些媒体片段单元。
13.用于传送媒体内容的方法，所述方法包括：
测量可用带宽；
基于所述可用带宽和当前传输带宽从发送所述媒体内容的第一经编码的流的片段转换至发送同一媒体内容的第二经编码的流的片段，
发送混合的经编码的流，所述混合的经编码的流包括所述第一经编码的流发送的片段和所述第二经编码的流发送的片段；
在从所述第一经编码的流转换至所述第二经编码的流之前调整所述第一经编码的流的媒体片段单元的丢弃，所述调整包括：如果所述可用带宽不小于所述当前传输带宽并且所述可用带宽不大于所述当前传输带宽与1+β的乘积或阀值，则减少对媒体片段单元的丢弃。
14.根据权利要求13所述的方法，其中：
所述调整包括：如果所述可用带宽小于所述当前传输带宽并且所述当前传输 带宽与所述可用带宽之差小于一个或多个可丢弃的媒体单元的大小的总和，则丢弃足够的媒体片段单元。
15.根据权利要求13所述的方法，其中：
如果所述可用带宽小于所述当前传输带宽并且所述当前传输 带宽与所述可用带宽之差不小于一个或多个可任意处理的媒体单元的大小的总和，则所述第二经编码的流与更低比特率关联并且所述转换包括转换至所述更低比特率，以及
如果所述可用带宽不小于所述当前传输带宽并且所述可用带宽大于所述当前传输带宽与因子1+β的乘积或所述阀值，则所述第二经编码的流与更高比特率关联并且所述转换包括转换至所述更高比特率。
16.根据权利要求13所述的方法，其中，所述第一经编码的流发送的片段和所述第二经编码的流发送的片段具有不超过一个或多个媒体样本的最小时间重叠。
17.根据权利要求13所述的方法，其中：
所述调整基于来自内容提供方的附加元数据，所述附加元数据配置为指示用于特定时间段的最小帧率，
如果在进行所述丢弃后帧率小于所述最小帧率，则停止所述丢弃，所述第一经编码的流转换至与更低比特率关联的所述第二经编码的流。
CN201480035476.7A 2013-06-20 2014-06-17 用于运动图像专家组媒体传输中速率适配的方法和设备 Expired - Fee Related CN105453572B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361837432P 2013-06-20 2013-06-20
US61/837,432 2013-06-20
US14/150,591 US10033658B2 (en) 2013-06-20 2014-01-08 Method and apparatus for rate adaptation in motion picture experts group media transport
US14/150,591 2014-01-08
PCT/KR2014/005314 WO2014204180A1 (en) 2013-06-20 2014-06-17 Method and apparatus for rate adaptation in motion picture experts group media transport

Publications (2)

Publication Number Publication Date
CN105453572A CN105453572A (zh) 2016-03-30
CN105453572B true CN105453572B (zh) 2019-07-12

Family

ID=52104849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480035476.7A Expired - Fee Related CN105453572B (zh) 2013-06-20 2014-06-17 用于运动图像专家组媒体传输中速率适配的方法和设备

Country Status (4)

Country Link
US (1) US10033658B2 (zh)
JP (1) JP6470272B2 (zh)
CN (1) CN105453572B (zh)
WO (1) WO2014204180A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9462329B2 (en) * 2013-12-20 2016-10-04 Mediatek Inc. Method and apparatus for frame rate control in transmitter of wireless communications system
JP6054324B2 (ja) * 2014-03-06 2016-12-27 株式会社東芝 Ｍｍｔ送信システム、暗号化処理装置
CA2967236A1 (en) * 2014-11-21 2016-05-26 Sony Corporation Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
KR102174325B1 (ko) * 2015-02-13 2020-11-04 에스케이텔레콤 주식회사 네트워크 적응형 컨텐츠 제공을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 네트워크 적응형 컨텐츠 제공 장치
CN108713318A (zh) * 2016-10-31 2018-10-26 华为技术有限公司 一种视频帧的处理方法及设备
US10893437B2 (en) * 2018-02-27 2021-01-12 Verizon Patent And Licensing Inc. Out-of-order packet handling in 5G/new radio

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1833391A (zh) * 2003-07-01 2006-09-13 诺基亚公司 降低在流式会话期间传输信道差错所造成的影响
CN101874407A (zh) * 2007-11-29 2010-10-27 科学亚特兰大有限责任公司 在多个媒体流之间调整带宽的系统和方法
EP2587824A1 (en) * 2011-10-27 2013-05-01 Thomson Licensing Method and apparatus to manage the operation of an adaptive streaming client

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2601922B2 (ja) * 1989-10-12 1997-04-23 株式会社東芝 映像信号雑音低減回路
KR100478460B1 (ko) * 2002-05-30 2005-03-23 주식회사 아이큐브 멀티 컨텐츠 파일 무선 수신기와 그 수신기에서의 데이터출력방법
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
JP2004088621A (ja) 2002-08-28 2004-03-18 Ntt Docomo Inc マルチメディア通信制御方法、マルチメディア通信制御サーバ及びマルチメディア通信システム
JP4586328B2 (ja) 2002-12-11 2010-11-24 ソニー株式会社 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
KR100526183B1 (ko) 2003-07-15 2005-11-03 삼성전자주식회사 모바일 애드 혹 네트워크 환경에서 효율적인 데이터송수신을 위한 네트워크 장치 및 데이터 전송 방법
EP1545131B1 (en) 2003-12-19 2007-07-18 STMicroelectronics Limited Semiconductor circuit for restricting data access
US7489656B2 (en) 2004-03-23 2009-02-10 Microsoft Corporation Bandwidth allocation
US7586848B1 (en) * 2004-06-07 2009-09-08 Nortel Networks Limited Elastic traffic marking for multi-priority packet streams in a communications network
US8259861B2 (en) 2005-03-31 2012-09-04 At&T Intellectual Property I, L.P. Methods and systems for providing bandwidth adjustment
US20070258418A1 (en) * 2006-05-03 2007-11-08 Sprint Spectrum L.P. Method and system for controlling streaming of media to wireless communication devices
US8311102B2 (en) 2006-07-26 2012-11-13 Microsoft Corporation Bitstream switching in multiple bit-rate video streaming environments
US20080115185A1 (en) * 2006-10-31 2008-05-15 Microsoft Corporation Dynamic modification of video properties
JP2011087103A (ja) 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
US9313512B2 (en) * 2009-11-25 2016-04-12 Vudu, Inc. Multiple bit rate encoding by segments
KR101737084B1 (ko) 2009-12-07 2017-05-17 삼성전자주식회사 메인 콘텐트에 다른 콘텐트를 삽입하여 스트리밍하는 방법 및 장치
EP2422517A1 (de) * 2010-05-07 2012-02-29 Siemens Enterprise Communications GmbH & Co. KG Verfahren und vorrichtung zur modifikation eines kodierten datenstroms
KR101837687B1 (ko) 2010-06-04 2018-03-12 삼성전자주식회사 콘텐트의 품질을 결정하는 복수의 인자에 기초한 적응적인 스트리밍 방법 및 장치
US20120117261A1 (en) * 2010-11-05 2012-05-10 Nokia Corporation Method and Apparatus for Rate Adaptation for Adaptive HTTP Streaming
US9026671B2 (en) 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods
CN103828324B (zh) 2011-06-10 2017-11-28 茨特里克斯系统公司 用于自适应比特率管理的方法、设备和系统
EP2547062B1 (en) * 2011-07-14 2016-03-16 Nxp B.V. Media streaming with adaptation
US8560719B2 (en) * 2011-09-14 2013-10-15 Mobitv, Inc. Fragment server directed device fragment caching
US20130070839A1 (en) 2011-09-20 2013-03-21 General Instrument Corporation Statistical multiplexing of streaming media
US9445136B2 (en) * 2011-09-21 2016-09-13 Qualcomm Incorporated Signaling characteristics of segments for network streaming of media data
KR20130040144A (ko) 2011-10-13 2013-04-23 한국전자통신연구원 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법
US9332479B2 (en) * 2012-01-04 2016-05-03 Ofinno Technologies, Llc Network site for wireless communications
US9462021B2 (en) * 2012-09-24 2016-10-04 Google Technology Holdings LLC Methods and devices for efficient adaptive bitrate streaming
US9544344B2 (en) * 2012-11-20 2017-01-10 Google Technology Holdings LLC Method and apparatus for streaming media content to client devices
US9154396B2 (en) * 2013-03-14 2015-10-06 Arris Technology, Inc. Passive measurement of available link bandwidth
US20150101003A1 (en) * 2013-06-18 2015-04-09 Global Invacom Limited Data transmission apparatus, system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1833391A (zh) * 2003-07-01 2006-09-13 诺基亚公司 降低在流式会话期间传输信道差错所造成的影响
CN101874407A (zh) * 2007-11-29 2010-10-27 科学亚特兰大有限责任公司 在多个媒体流之间调整带宽的系统和方法
EP2587824A1 (en) * 2011-10-27 2013-05-01 Thomson Licensing Method and apparatus to manage the operation of an adaptive streaming client

Also Published As

Publication number Publication date
WO2014204180A1 (en) 2014-12-24
JP2016525296A (ja) 2016-08-22
CN105453572A (zh) 2016-03-30
US20140379903A1 (en) 2014-12-25
JP6470272B2 (ja) 2019-02-13
US10033658B2 (en) 2018-07-24

Similar Documents

Publication Publication Date Title
CN105453572B (zh) 用于运动图像专家组媒体传输中速率适配的方法和设备
KR102228062B1 (ko) 콘텐트 전달을 위한 방법 및 장치
US8832751B2 (en) Enhanced video streaming to mobile clients
CN102946570B (zh) 一种自适应网络带宽的多流流媒体传输系统与传输方法
AU2010202903B2 (en) Multipath data streaming over a wireless network
CN101909208B (zh) 一种适用于cdma2000的视频无线传输控制方法
US11477257B2 (en) Link-aware streaming adaptation
CN103248964B (zh) 基于rtp/rtcp的车载视频传输系统
WO2011066099A3 (en) Method of opportunity-based transmission of wireless video
CN105072506B (zh) 教学直播视频的传输方法及系统
WO2010074830A3 (en) Method and apparatus for streaming multiple scalable coded video content to client devices at different encoding rates
CN106973294B (zh) 实时视频传输的初始带宽估计
CN109068187A (zh) 实时流量传送系统和方法
WO2006082485A1 (en) Signaling buffer parameters indicative of receiver buffer architecture
WO2014105383A1 (en) Method and system for adaptive video transmission
CN101137060B (zh) 一种视频传输方法、系统及设备
US9391909B2 (en) Apparatus, method and system of rate adaptation based on goodput
KR20100007368A (ko) 스트리밍 서비스의 비트 레이트를 제어하기 위한 시스템 및그 방법
CN102523486A (zh) 一种在视频调度系统中实现动态码流带宽自适应的方法
US10686859B2 (en) Content scenario and network condition based multimedia communication
JP2005244315A (ja) 映像ストリーミング伝送のネットワーク品質安定化装置
Rodríguez et al. Adaptive cross-device videoconferencing solution for wireless networks based on QoS monitoring
CN109196839A (zh) 管理用于速率调步的缓冲器的设备和方法
Park et al. System architecture for IPTV seamless service in mobility
Rodríguez et al. Cross-device Videoconferencing based on Adaptive Multimedia Streams.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190712

Termination date: 20210617