CN100594731C - 用于传输信号流的方法 - Google Patents

用于传输信号流的方法 Download PDF

Info

Publication number
CN100594731C
CN100594731C CN200710140227A CN200710140227A CN100594731C CN 100594731 C CN100594731 C CN 100594731C CN 200710140227 A CN200710140227 A CN 200710140227A CN 200710140227 A CN200710140227 A CN 200710140227A CN 100594731 C CN100594731 C CN 100594731C
Authority
CN
China
Prior art keywords
frame
stream
server
frames
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200710140227A
Other languages
English (en)
Other versions
CN101123729A (zh
Inventor
P·H·韦斯特林克
O·费舒尔
C·文卡特拉马尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN101123729A publication Critical patent/CN101123729A/zh
Application granted granted Critical
Publication of CN100594731C publication Critical patent/CN100594731C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

当可用传输带宽变小时，通过提供来自相同源的不同比特率的备用信号流来传输信号流。对所述备用信号流进行二次采样以形成具有被添加到其中的特定标识符的帧。在实际提供所述帧之前，预先向所述服务器通知所述标识符。因为所述服务器知道当前的带宽限制并且知道所述帧的标识符，所以所述服务器可以为了传输而仅传递能够适合在可用传输带宽内的备用信号流的那些帧。

Description

用于传输信号流的方法
技术领域
本发明公开一般涉及音频和视频信号从服务器到客户机的传输。
背景技术
常规的多媒体流系统通常将单个音频流和单个关联视频流从通常被称为“服务器”的源流传输至通常被称为“客户机”的目的地。音频和视频信号流的联合带宽定义了服务器与客户机之间所需要的信道带宽。如果该信道带宽由于例如拥塞而减小，那么常规的服务器系统具有很少的或者不具有足够应对该带宽减小问题的手段，并且传输必须停止。因此，现代多媒体服务器系统采用各种这样的技术，即该技术允许诸如服务器这样的源适应服务器-客户机带宽方面的减小。
解决该问题的一种已知的方法是使得多个备用音频和视频流对于服务器可用，其中备用流(alternate stream)是具有相同内容但使用不同带宽的编码。这给予了服务器对用于传输至客户机的最合适的音频/视频信号流进行选择的选择权。在对该方法的进一步提炼中，还可以对每个备用流进行二次采样(sub-sample)，其中服务器选择性地仅传输部分的备用音频/视频流，从而在使音频/视频流带宽适应实际的服务器/客户机信道容量方面允许更多的选择。
多个备用流的源不需要一定是与连接至各种客户机以及进行带宽自适应的服务器系统相同的系统的一部分。图1中示出了提供多个备用信号流的这样的系统的例子，其中编码系统10对音频信号和/或视频信号进行编码，且各具有各种不同的带宽，即在各种不同的比特率对信号进行编码。编码系统10将所有的备用流发送至标记为服务器的流选择系统20。流选择系统选择和转发适当编码(可能被二次采样)的信号到30-1至30-N的各个客户机，其中30-1至30-N的各个客户机连接至流选择系统20或与流选择系统20进行通信。
在诸如图1中所示的系统配置中，必须将特定信息从编码系统10传送至流选择系统20，以便流选择系统20(即服务器)知道其正在接收的是哪些流以及选项是什么。
发明内容
本发明的示例性实施例提供了用于传信备用流及其二次采样的方法，从而使得服务器系统具有能够为了向客户机的后续传输而动态选择合适的备用流及其可能的二次采样的所有所需的信息。
通过提供具有相同内容的备用信号流，即使带宽变小，也可以在传输信道上成功传输信号流。对所述备用信号流进行二次采样以形成具有不同的相应采样率的帧。为各帧提供标识符，所述标识符标识帧的种类并且涉及所述帧的传输所需要的带宽。在将任何信号实际提供给所述服务器之前，为所述服务器提供用于所述备用信号流的所有可能的帧的标识符的列表。然后将所述备用信号流发送至所述服务器，在那里基于所述标识符以及那时存在的带宽限制，传递或者阻塞(block)所述备用信号流。以这样的方式，如果所述信道的带宽变小了，则通过选择并未超过可用带宽的那些帧，所述服务器仍然可以提供所述信号流。
附图说明
根据以下结合附图的描述，可以更详细地理解本发明的示例性实施例，其中：
图1是对现有技术中已知的常规多媒体流系统的表示；
图2是根据本发明的示例性实施例对信号流传输系统的表示；以及
图3是根据本发明的示例性实施例对信号流传输系统的表示。
具体实施方式
在描述本发明的示例性实施例的特征之前，应当先明白一些术语的意思。
流指的是由不同类型的帧的序列组成的编码。例如，在MPEG编码的视频流中，我们可以在I-帧、P-帧和B-帧之间进行区分，众所周知这与视频数据帧的时态(过去的和将来的)有关。如图2所示，流创建器(编码器)40总是向二次采样器(服务器)50发送包括所有的MPEG帧类型的完整流。举例来说，服务器50阻塞特定的帧类型或者继续传递特定的帧类型给接收机(客户机)30-1。
创建器或编码器40理解流并且定义了仅由特定的帧类型组成的流配置。因为配置由帧类型的子集组成，所以其还可以被视作完整流的二次采样版本。如创建器40所确定的，根据当前使用的流配置来阻塞或传递输入帧是二次采样器50的功能。
例如，在MPEG视频的情况下，取决于B-帧的数目，创建器40可以定义几个流配置“Si”。这在以下图表中被示出。
在该例中，如果创建器40利用一个B-帧对MPEG视频流进行编码，则创建器40将告知二次采样器50可能有三种不同的二次采样配置。如以上图表所示，这些可能性是：(1)无二次采样，即传递所有的帧；(2)通过丢弃所有B-帧的二次采样；以及(3)通过仅将I-帧传递至接收机的二次采样。
为了提供更大的自适应能力并且为了克服带宽限制问题，诸如创建器40的编码器不仅可以对单个流进行编码，而且可以对来自相同源的多个流进行编码。这些备用编码流将具有不同的相应比特率，从而提供给服务器50可用于匹配服务器/客户机带宽的更多选择，因为其可以在各自具有二次采样选择的备用编码间进行选择。图3中示出了该多个备用流实施例。
作为使用图3中所示的系统的例子，如果编码器或创建器70创建了具有相同源材料的两个备用MPEG视频流，例如，一个具有一个B-帧的备用流1，以及一个不具有B-帧的备用流0，则服务器80具有从以下列出的五个不同的配置中进行选择的选择权。
1.备用流1无二次采样：传递帧I0、P0和B0。
2.阻塞备用流1的B-帧：传递帧I0和P0。
3.仅传递备用流1的I-帧：传递帧I0。
4.备用流0无二次采样：传递帧I1和P1。
5.仅传递备用流0的I-帧：传递帧I1。
为了使服务器80进行有消息的选择，编码系统(即创建器70)必须在实际发送备用流本身之前，预先通知服务器系统(即二次采样器80)关于二次采样器80将会接收哪些备用流。此外，因为可以由服务器80对备用流进行二次采样，所以必须以某种方式标记每个流中的每个样本(即每帧)，以便服务器80可以在转发或者丢弃各个特定样本之间进行最好的选择，如以上结合那个例子中五个可能的选择所解释的。
为了传信或标识备用流，编码系统70总是预先向服务器80通知备用流标识ID，并且利用标识其所属的流的适当的流ID来标记所有的样本。因而，二次采样器80预先知道其可能会接收的所有信号流的具体ID。然而，为了传信二次采样，可以采用两种不同的方法。
在第一种方法中，利用样本所属的二次采样流的ID列表来标记特定的备用流的样本。预先来自创建器70的信令向服务器80通知用于每个备用流的所有可能的二次采样的ID。
例如，在具有一个B-帧的MPEG视频流中，来自创建器70的信令预先标识了三种不同的流：流ID 0仅含I-帧、流ID 1含有I和P-帧，以及流ID 2含有所有的三种帧类型，I、P和B。然后，将利用0、1和2标记I-帧，因为I-帧属于所有的三种流，将利用1和2标记P-帧，以及将利用2标记B-帧。注意到，ID的这些列表通常本身是编码的，以便提升带宽效率。
在第二种方法中，利用样本类型标记特定的备用流(不一定是MPEG视频流)的样本，并且预先提供的信令通知服务器哪些样本类型属于该备用流的哪些可能的二次采样。
例如，在具有一个B-帧的MPEG视频流中，利用“0”标记I-帧，利用“1”标记P-帧，以及利用“2”标记B-帧。然后，预先的信令通知服务器三种二次采样流：仅具有I-帧的一种二次采样流，因而，流0含有帧类型“0”；具有I和P-帧的一种二次采样流，因而，流1含有帧类型“0”和“1”；以及含有所有帧类型的第三种二次采样流，因而，流2含有帧类型“0”、“1”和“2”。
作为如何以及在何处向服务器提供流信息的例子，存在一种多媒体流的标准化方法，其中实时流协议(RTSP)用于控制，会话描述协议(SDP)用于先期的或预先的会话信息，以及用于实时应用的传输协议(RTP)用于数据传输。当使用这些协议时，通过添加延伸线(extension line)，可以将备用流和二次采样信息预先插入会话描述协议中。可以将利用二次采样信息(二次采样流ID或帧类型)标出的样本添加到用于实时应用标题的传输协议，例如，在CSRC域中。注意到，类似MPEG-4视频的某些编码标准在视频流本身中已经具有帧类型指示，但是一般来说这不是充分的信令，尽管这在系统被设计以应对这一情况时是可以使用的。然而，可以对视频数据流进行加密，使得该信息不可访问，因而需要一些其它类型的隐式信令。其次，尽管以上给出的例子用于MPEG I、P和B-帧，然而有可能编码器40可以定义两种不同类型的I-帧，例如“全I-帧”和“每隔一个I-帧”。
使用MPEG系统及其常规术语作为例子，提供了对示例性实施例的以上解释。然而，本发明的原理还适用于使用某些不同术语的其它编码系统。例如，称为AVC的新近视频编码技术具有与MPEG类似的特征但涉及不同的帧类型，例如IDR图片，其是I-帧的等效物。因而，在上述讨论中，帧这个词还可以代表样本或图片，并且可以基于例如帧类型对流进行二次采样。
尽管文中已经参照附图描述了本发明的示例性实施例，然而可以理解到本发明并不限于这些示例性实施例，并且在不背离本发明的范围和精神的情况下，本领域的技术人员可以对其实现各种其它的改变和修改。所有这样的修改和改变都意味着包括在如所附权利要求所限定的本发明的范围之内。

Claims (7)

1.一种用于在具有已知的有限带宽的传输路径上传输信号流的方法，所述方法包括以下步骤：
对具有相同内容的多个备用信号流进行编码，其中将所述多个备用信号流中的每一个编码成多个帧，每帧需要用于传输的不同带宽；
预先通知服务器用于所述多个备用信号流中每个流的所有可能的帧的相应的标识，其中所述标识确定了所述帧的类型并且与传输所述帧所需的带宽相关；
基于所述相应的标识以及目前可用于传输的带宽，选择在服务器处转发或者阻塞所述多个帧中的每一帧；以及
使得所述服务器向接收机传输已经被选择用于转发的那些帧。
2.根据权利要求1的方法，其中所述信号流是MPEG视频流，并且所述编码步骤包括将所述帧定义为B帧、P帧和I帧。
3.根据权利要求1的方法，其中所述通知步骤包括：向所述服务器提供形成所有备用信号流的帧的所有可能的二次采样的列表。
4.一种用于传信备用流以及自适应流选择的方法，所述方法包括以下步骤：
提供具有同样内容的备用信号流；
定义流配置，所述流配置仅由构成所述备用信号流的特定的帧类型组成，其中每种配置由帧类型的子集组成；
预先通知二次采样器用于有可能的所有不同的二次采样配置的相应的标识，其中所述标识确定了所述帧类型并且与传输帧所需的带宽相关；以及
根据当前使用的流配置，进行以下中的一个：阻塞和传递输入帧。
5.根据权利要求4的方法，其中所述信号流是MPEG视频流，并且所述帧类型是B帧、P帧和I帧。
6.根据权利要求4的方法，其进一步包括步骤：向客户接收机传输在所述进行对输入帧的传递的步骤中所传递的信号流。
7.一种用于传输信号流的方法，所述方法包括以下步骤：
使用相同的源对多个流进行编码，以便产生具有不同的相应比特率的备用编码，其中所述编码产生所述多个流中每个流的帧；
为在所述编码步骤中产生的每一帧提供标识；
预先通知服务器提供给所述多个流中不同类型的帧的标识，其中所述标识确定了所述帧的类型并且与传输帧所需的带宽相关；
基于所述标识以及已知的传输带宽，传递所选择的、所述多个流的帧；
阻塞在所述传递步骤中没有选择的所有的帧；以及
从所述服务器向客户机/接收机传输在所述传递步骤中选择的所有的帧。
CN200710140227A 2006-08-10 2007-08-06 用于传输信号流的方法 Expired - Fee Related CN100594731C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/502,799 US7546377B2 (en) 2006-08-10 2006-08-10 Alternate stream signaling for adaptive stream selection
US11/502,799 2006-08-10

Publications (2)

Publication Number Publication Date
CN101123729A CN101123729A (zh) 2008-02-13
CN100594731C true CN100594731C (zh) 2010-03-17

Family

ID=39052172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710140227A Expired - Fee Related CN100594731C (zh) 2006-08-10 2007-08-06 用于传输信号流的方法

Country Status (4)

Country Link
US (1) US7546377B2 (zh)
JP (1) JP5190229B2 (zh)
CN (1) CN100594731C (zh)
TW (1) TWI415477B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7546377B2 (en) * 2006-08-10 2009-06-09 International Business Machines Corporation Alternate stream signaling for adaptive stream selection
US8635360B2 (en) * 2007-10-19 2014-01-21 Google Inc. Media playback point seeking using data range requests
US8543720B2 (en) 2007-12-05 2013-09-24 Google Inc. Dynamic bit rate scaling
WO2009140208A2 (en) 2008-05-12 2009-11-19 Swarmcast, Inc. Live media delivery over a packet-based computer network
US8150992B2 (en) 2008-06-18 2012-04-03 Google Inc. Dynamic media bit rates based on enterprise data transfer policies
CN101646074B (zh) * 2008-08-05 2011-07-13 中兴通讯股份有限公司 视频数据的实时传输方法
JP4636474B2 (ja) * 2008-11-17 2011-02-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 映像変換装置、映像再生装置、映像変換再生システム及びプログラム
US8370520B2 (en) * 2008-11-24 2013-02-05 Juniper Networks, Inc. Adaptive network content delivery system
WO2010065757A1 (en) 2008-12-04 2010-06-10 Swarmcast, Inc. Adaptive playback rate with look-ahead
WO2010141460A1 (en) 2009-06-01 2010-12-09 Swarmcast, Inc. Data retrieval based on bandwidth cost and delay
GB2480424A (en) * 2010-04-10 2011-11-23 Rok Invest Group Ltd A system varies the bit rate of a media stream to a device in dependence upon the type of device and connection.
TW201210325A (en) * 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
JP2012222530A (ja) * 2011-04-06 2012-11-12 Sony Corp 受信装置及び方法、並びにプログラム
US20200150643A1 (en) * 2018-05-07 2020-05-14 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011590A (en) * 1997-01-03 2000-01-04 Ncr Corporation Method of transmitting compressed information to minimize buffer space
JP2002281499A (ja) * 2001-03-19 2002-09-27 Media Glue Corp 圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体
US20020191116A1 (en) * 2001-04-24 2002-12-19 Damien Kessler System and data format for providing seamless stream switching in a digital video recorder
EP1407596B1 (en) * 2001-07-19 2017-10-25 BRITISH TELECOMMUNICATIONS public limited company Video stream switching
US7526565B2 (en) * 2003-04-03 2009-04-28 International Business Machines Corporation Multiple description hinting and switching for adaptive media services
US20040215802A1 (en) * 2003-04-08 2004-10-28 Lisa Amini System and method for resource-efficient live media streaming to heterogeneous clients
US20040240390A1 (en) * 2003-05-30 2004-12-02 Vidiator Enterprises Inc. Method and apparatus for dynamic bandwidth adaptation
US20050120128A1 (en) * 2003-12-02 2005-06-02 Wilife, Inc. Method and system of bandwidth management for streaming data
JP2005244315A (ja) * 2004-02-24 2005-09-08 Kddi Technology Corp 映像ストリーミング伝送のネットワーク品質安定化装置
JP4526294B2 (ja) * 2004-04-15 2010-08-18 シャープ株式会社 ストリームデータ送信装置、受信装置、プログラムを記録した記録媒体、およびシステム
US7784076B2 (en) * 2004-10-30 2010-08-24 Sharp Laboratories Of America, Inc. Sender-side bandwidth estimation for video transmission with receiver packet buffer
US7546377B2 (en) * 2006-08-10 2009-06-09 International Business Machines Corporation Alternate stream signaling for adaptive stream selection

Also Published As

Publication number Publication date
US20080040497A1 (en) 2008-02-14
CN101123729A (zh) 2008-02-13
TWI415477B (zh) 2013-11-11
JP5190229B2 (ja) 2013-04-24
TW200820788A (en) 2008-05-01
JP2008048410A (ja) 2008-02-28
US7546377B2 (en) 2009-06-09

Similar Documents

Publication Publication Date Title
CN100594731C (zh) 用于传输信号流的方法
CN107810624B (zh) 用于检索媒体数据的方法、设备和计算机可读存储介质
EP2445212B1 (en) Method and device for selecting operation point of scalable video coding and providing information
WO2009128528A1 (ja) サーバ装置とコンテンツ配信方法とプログラム
CN104040993A (zh) 用于发送相应地接收媒体流的方法
CN112154672B (zh) 一种检索媒体数据的方法、设备及可读存储介质
JP2009105970A (ja) 漸進的デコーダリフレッシュに基づくストリーム切り換え
US8432937B2 (en) System and method for recovering the decoding order of layered media in packet-based communication
CN101316357A (zh) 一种频道切换的方法、终端和媒体服务器
CN102415071A (zh) 会话推送传输
US20180176278A1 (en) Detecting and signaling new initialization segments during manifest-file-free media streaming
CN102498722A (zh) 利用选择mpeg-2 传输流多路复用的多媒体流的基础分组进行该流的分发
JP4934054B2 (ja) スケーラブルなデータを伝送するための方法および装置
CN112771876B (zh) 检索媒体数据的方法和设备以及发送媒体数据的方法和设备
JP4888672B2 (ja) コンテンツ配信システム、変換装置及びそれらに用いるコンテンツ配信方法
CN102090041A (zh) 使非ip传输上的ip流转向的机制
US11582125B2 (en) Repair mechanism for adaptive bit rate multicast
US20240098307A1 (en) Automatic generation of video content in response to network interruption
US20240146994A1 (en) Identifying and marking video data units for network transport of video data
KR20090132627A (ko) 콘텐츠 배신 시스템, 콘텐츠 배신 방법 및 그들에 이용하는 변환 장치
KR100704116B1 (ko) 멀티미디어 서비스를 위한 다중 실시간 인코딩 방법 및 그서버 장치
JP2007318545A (ja) データ送信装置、データ受信装置、データ送信方法及びデータ受信方法
TW202423095A (zh) 回應於網路中斷的視訊內容的自動產生
TW202420830A (zh) 標識和標記用於視訊資料的網路傳輸的視訊資料單元
Schierl et al. Decoding order recovery for multi flow transmission of scalable video coding (SVC) over mobile IP channels

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100317

Termination date: 20200806

CF01 Termination of patent right due to non-payment of annual fee