JP2004525556A - ストリーミングされたメディアをバッファリングする方法及びシステム - Google Patents

ストリーミングされたメディアをバッファリングする方法及びシステム Download PDF

Info

Publication number
JP2004525556A
JP2004525556A JP2002563340A JP2002563340A JP2004525556A JP 2004525556 A JP2004525556 A JP 2004525556A JP 2002563340 A JP2002563340 A JP 2002563340A JP 2002563340 A JP2002563340 A JP 2002563340A JP 2004525556 A JP2004525556 A JP 2004525556A
Authority
JP
Japan
Prior art keywords
client device
decoder
buffer
source server
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002563340A
Other languages
English (en)
Inventor
ハンヌクセラ，ミスカ
バリス アクス，エムレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2004525556A publication Critical patent/JP2004525556A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9005—Buffering arrangements using dynamic buffer space allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9023—Buffering arrangements for implementing a jitter-buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)
  • Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)
  • Finish Polishing, Edge Sharpening, And Grinding By Specific Grinding Devices (AREA)

Abstract

本発明は、ネットワーク及びトランスポートプロトコルの動作に起因するパケットの伝送遅延変動と符号化/サーバー固有の遅延変動によって発生する問題を克服することにより、クライアント装置上でのストリーミングメディアの再生を改良する方法を開示している。本発明の実施例においては、クライアント装置は、復号器(120)と、パケットネットワークを介してソースサーバーからストリーミングされたパケットを受信する前置復号器バッファ(110)を有している。前置復号器バッファは、サイズが可変であり、復号器での復号化の前に、ソースサーバーから送信されたパケットを受信するための可変初期バッファリング時間を有している。初期バッファリング時間と前置復号器バッファサイズは、クライアント装置により改良再生性能に動的に適応させることができる。本発明の更なる態様においては、後置復号器バッファが前置符号器バッファとともに動作し、復号化に関連する遅延変動を軽減する。

Description

【技術分野】
【０００１】
本発明は、一般的にはパケットベースのネットワークにおけるメディアのストリーミングに関する。更に具体的には、本発明は、符号化とパケット化に起因するパケットの遅延変動に関してストリーミングされたメディアの再生を改良するバッファリングメカニズムに関する。
【背景技術】
【０００２】
例えば、IPベースのビデオ会議システムなどの会話型パケット交換マルチメディアシステムでは、普通、様々なタイプのメディアが別個のパケットによって伝送されている。更に、パケットは、典型的には、一定の伝送遅延を保証できず遅延がパケットごとに変動するベストエフォート型のネットワークプロトコル上で伝送される。この結果、同一のプレゼンテーション(再生)タイムスタンプを有するパケットが同時受信されず、2つのパケットの受信間隔がそれらのプレゼンテーション間隔(時間の観点での)と異なってしまうことになる。このため、マルチメディア端末では、様々なメディアタイプ間で再生の同期を維持すると共に、正しい再生速度を維持するために、典型的には、遅延変動を除去するべく受信データを短時間(例えば0.5秒未満)バッファリングしている。本明細書においては、このタイプのバッファを遅延ジッタバッファと呼ぶことにする。会話型パケット交換マルチメディアシステムでは、メディアデータの復号化の前及び/又は後でバッファリングを実行可能である。
【０００３】
遅延ジッタバッファリングは、ストリーミングシステムにも適用される。但し、ストリーミングは非会話型アプリケーションであるという事実により、必要な遅延ジッタバッファは会話型アプリケーションよりも格段に大きなものになる。ストリーミングプレーヤーがサーバーに対する接続を確立しマルチメディアストリームのダウンロードを要求すると、サーバーは所望のストリームの伝送を開始する。典型的には、プレーヤーは、ストリームの再生を直ちに開始せず、到来するデータを所定の期間だけ、典型的には数秒の間バッファリングする。本明細書では、このタイプのバッファリングを初期バッファリングと呼ぶことにする。この初期バッファリングにより、会話型アプリケーションで遅延ジッタバッファリングが提供されるのと同様のやり方で、伝送の遅延変動を除去する能力が提供される。更に、これにより、消失したプロトコルデータユニット(複数PDU)のリンク、トランスポート、及び/又はアプリケーションレイヤの再送を使用することも可能になる。消失PDUの再送が可能である間、バッファリングにより、バッファからのデータのプレーヤーによる復号化及び再生が可能になる。バッファリング期間が十分に長ければ、再送されたPDUが適時に受信され、スケジューリングされた時点で復号化及び再生される。
【０００４】
ストリーミングクライアントにおける初期バッファリングにより、会話型システムでは実現できない更なる利点が提供される。サーバーから送信されるメディアのデータレートの変動が許容されるのである。即ち、受信側のバッファがオーバーフロー又はアンダーフローしない限り、一時的に再生速度よりも高速で或いは低速でメディアパケットを送信してもよい。このデータレートの変動は、2つの原因によって発生する。変動の第1の原因は、ビデオなどのいくつかのメディアタイプで実現可能な圧縮効率がソースデータの内容に依存していることである。この結果、安定した品質を所望する場合、結果として圧縮されたビットストリームのビットレートが変動する。典型的には、安定した視聴覚品質は、変動する品質よりも本来的に心地よい。従って、初期バッファリングによれば、ビデオ会議システムなどの初期バッファリングを備えていないシステムと比較し、心地よい視聴覚品質を実現することができる。
【０００５】
一例としてビデオデータを詳細に見れば、ビデオシーケンスの異なるフレームを大きく異なるデータ量で表すことができる。これは、予測符号化法を使用した結果である。典型的には、ビデオ符号化規格には、少なくとも2つのタイプのフレームが規定されている。主なフレームタイプは、INTRAすなわちIフレームと、INTERすなわちPフレームである。INTRAフレームは、画像自体に含まれている情報に基づいて符号化され、Pフレームは、少なくとも1つのその他のフレーム、普通、そのビデオシーケンスで初期に発生するフレームを参照して符号化される。デジタルビデオシーケンスの連続フレーム間の大きな時間的冗長性のため、INTERフレームは、INTRAフレームを表すのに必要なものよりも格段に小さなデータ量で符号化することができる。従って、符号化ビデオシーケンスにおいてINTRAフレームが使用される頻度は相対的に小さい。
【０００６】
典型的には、符号化シーケンスは、INTRAフレームから始まっている(これは、INTERフレームの構築に参照可能な以前のフレームが存在しないためである)。INTRAフレームは、予測(INTER)フレームの連続によって累積及び伝播するエラーを補償するべく、シーケンス内に周期的に、例えば一定の間隔で挿入することができる。又、INTRAフレームは、連続フレームの画像コンテンツが非常に変化するので予測符号化によってデータを効果的に削減できない場合のシーンカットにおいても一般的に使用される。従って、典型的な符号化ビデオストリームは、一般的に、INTRA符号化フレームで始まって、時折INTRAフレームが散在するINTERフレームのシーケンスから構成されており、INTRAフレームを表すのに必要なデータ量は、INTER符号化フレームを表すのに必要なデータ量に比べて数倍、例えば5〜10倍も大きい。又、各INTERフレームを表すのに必要なデータ量も、その参照フレームとの類似性/差異のレベルと画像のディテールの量によって変化する。
【０００７】
これは、予測符号化ビデオシーケンスの再構築に必要な情報が伝送データパケットに均等に分布していないことを意味している。即ち、INTRAフレームに関連するデータを伝送するには、INTERフレームのデータ伝送に必要な数よりも多くのデータパケットが必要なのである。更に、連続するINTERフレームを表すのに必要なデータ量も画像のコンテンツによって変化するため、INTERフレームデータを伝送するのに必要なデータパケット数も変動する。
【０００８】
変動の第2の原因は、固定IPネットワークにおけるパケット損失がバーストで発生した場合に生じる。バーストエラーとハイピークのビットレート及びパケットレートを回避するべく、優れた設計のストリーミングサーバーでは、パケットの伝送を注意深くスケジューリングしており、パケットは、受信端で再生される速度では正確に送信されない。典型的には、ネットワークサーバーは、一定速度のパケット伝送を達成するべく実現されている。又、サーバーは、例えば、ネットワークが輻輳してきた場合にはパケット伝送速度を下げ、ネットワークの状況が許す場合には、速度を上げて、そのときのネットワークの状況に応じてパケット伝送速度を調整することができる。これは、典型的には、TCP(伝送制御プロトコル)で送信される確認応答メッセージのアドバタイジングされたウィンドウを調整することによって行われる。
【０００９】
このネットワークサーバーに組み込まれている特性を、前述のビデオ符号化システムと併せて考えれば、予測符号化ビデオシーケンスの再構築に必要な情報が伝送データパケットに不均等に分布しているばかりでなく、データパケット自体もサーバーから様々な速度で伝送されるということである。これは、ネットワークの伝送遅延が一定であったとしても、受信クライアント端末の復号器は、例えば、ビデオシーケンスの連続フレームの構築に必要な情報を受信する際に、遅延変動を受けるということを意味している。尚、クライアント端末という用語は、ハンドヘルド装置(PDA)や無線端末、並びにデスクトップ及びラップトップコンピュータやセットトップボックスなどのあらゆるエンドユーザー電子装置を意味していることに留意されたい。符号化、パケット化、及びサーバーからのパケット伝送に起因して発生するこの遅延変動は、「符号化」又は「サーバー固有」遅延変動と呼ぶことができる。これは、ネットワーク内部の伝送時間の変動によって発生する遅延ジッタとは無関係であって、これに追加されるものである。
【００１０】
従って、初期バッファリングによれば、前述の欠点、即ち、符号化又はサーバー固有の遅延変動とネットワーク伝送関連の遅延変動による伝送データレートの変動に適応することが可能になる。初期バッファリングは、安定した視聴覚品質の提供とネットワークの輻輳及びパケット損失の回避に有用である。
【００１１】
初期バッファリングは、受信メディアデータの復号化後にも実行可能である。但し、この場合、復号化したデータに対してバッファリングが実行されるため、バッファのサイズが相対的に大きくなるという欠点を有している。又、符号化、サーバー固有、及びネットワーク伝送の遅延変動の複合的な影響により、初期バッファリングの要件が増大する傾向がある。
【００１２】
更に、メディアデータの符号化と、符号化データをパケットにカプセル化してサーバーから送信するやり方のために、受信クライアント端末の復号器は、ネットワークによる伝送遅延が一定であったとしても、メディアデータの再構築に必要な情報を受信する際に、遅延変動を受けることになる。従って、後置復号器バッファは、復号化前のこの形態の遅延変動を吸収する手段を提供しない。
【発明の開示】
【００１３】
本発明の第1の態様によれば、符号化パケットを復号化する復号器を含むクライアント装置にネットワークを介してソースサーバーから複数のデータパケットを伝送することにより、メディアデータをストリーミングする方法が提供される。この方法は、復号器での復号化の前に、ソースサーバーから送信されたデータを受信するために設定された可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファがクライアント装置に含まれていることを特徴とし、前置復号器バッファの可変初期バッファリング時間と可変バッファサイズは、クライアント装置により改良再生性能に適応される。
【００１４】
本発明の第2の態様によれば、複数のデータパケットを伝送することによってメディアデータをストリーミングするシステムが提供され、このシステムは、メディアデータをホスティングするソースサーバーと、データパケットの伝送媒体として機能するネットワークと、メディアデータを再生する能力を有するクライアント装置と、を含み、クライアント装置は、ネットワークを介してソースサーバーから伝送されたパケットを受信する、可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファと、前置復号器バッファからのパケットを復号化する復号器と、クライアント装置により改良再生性能に前置復号器バッファの可変初期バッファリング時間と可変バッファサイズを動的に適応させる手段と、を含んでいる。
【００１５】
本発明の第3の態様によれば、ソースサーバーからネットワークを介して伝送された複数のデータパケットを受信するクライアント装置が提供され、このクライアント装置は、ネットワークを介してソースサーバーから伝送されたデータパケットを受信する、可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファと、前置復号器バッファからのデータパケットを復号化する復号器と、クライアント装置により改良再生性能に前置復号器バッファの可変初期バッファリング時間と可変バッファサイズを動的に適応させる手段と、を含んでいる。
本発明、並びにその更なる目的と利点は、以下の添付の図面との関連において本明細書の詳細な説明を参照することにより、最も良く理解することができる。
【発明を実施するための最良の形態】
【００１６】
(アーキテクチャの概要)
本発明によれば、改良された受信側バッファリングを提供するべく、端末アーキテクチャ内に新しいバッファリングブロックが提供される。本明細書においては、このバッファリングブロックを前置復号器バッファと呼ぶことにする。
【００１７】
図1は、本発明の実施例による装置端末アーキテクチャにおける前置復号器バッファブロックの概略ブロック図を示している。「トランスポート復号器」100は、受信したデータパケット(例えばRTPデータパケット)の符号ストリームのカプセル化を解除する。「ソース復号器」120は、符号ストリームを再生可能な圧縮解除されたデータフォーマットに復号化する。「前置復号器バッファ」110は、トランスポート復号化とソース復号化間における一時記憶装置として機能する。複数タイプのデータで構成されるマルチメディアデータストリームの場合には、伝送するすべてのリアルタイムメディアタイプ間で共通前置復号器バッファを共有することが好適である。しかしながら、本発明の別の実施例においては、それぞれのメディアタイプごとに別個の前置復号器バッファが提供され、各メディアタイプ用の前置復号器バッファは、トランスポート復号器と、当該メディアタイプ用の個別のソース復号器の間に配置される。復号化処理は、クライアント装置のメモリに保存されているソフトウェアとして実装し、図1にその一部が示されているクライアント装置の動作を制御するMCU(主制御ユニット)の制御によってまたその制御下において実行することが好ましい。このMCUは、ソースサーバーから制御信号を受信し、ソースサーバーから受信した信号に従って初期バッファリング時間及びバッファサイズの適応を制御する。図1には、MCUによる様々なブロックの制御がMCUからそれぞれのブロックに対する制御の矢印によって示されている。
【００１８】
本発明の好適な実施例においては、ストリーミングクライアントの復号器の後に配置されている後置復号器バッファに加え、前置復号器バッファが提供される。ネットワーク伝送の遅延変動を吸収するべく、後置復号器バッファを提供することが好適である。さらに、この後置復号器バッファは、復号化関連の遅延変動も吸収することもできる。これは、複数のタイプのメディアデータを同時にストリーミングする場合に特に好適である。このような状況で後置復号器バッファを使用すれば、様々なメディア復号器によって生じる復号化の遅延変動を除去することができる。本発明の別の実施例においては、別個の復号器バッファが受信クライアントに更に提供される。この復号器バッファは、復号器と後置復号器バッファ間に配置され、復号化の際のメディアデータの一時記憶装置として提供される。複数のタイプのメディアデータを同時にストリーミングする状況では、それぞれのメディアタイプ用の個別のソース復号器ごとに別個の復号器バッファを提供することが好適である。
【００１９】
(バッファリングアルゴリズム)
ストリーミングクライアントで受信データをバッファリングすると共に、ネットワークに基づいたストリーミングサーバーからのストリームの符号化及びサービスを制御するべく、本実施例に従って動作するバッファリングアルゴリズムが提供される。このアルゴリズムは、本発明による前置復号器バッファがストリーミングクライアントに提供されていることを前提としている。
【００２０】
バッファリングアルゴリズムの動作に影響を与える主な要因が2つ存在している。即ち、初期バッファリング時間と最小前置復号器バッファサイズである。初期バッファリング時間とは、典型的には、最初のメディアデータパケットを受信する時刻とその最初のメディアサンプルを再生する時刻間の経過時間を意味している。最小前置復号器バッファサイズとは、典型的には、伝送遅延変動に対処するべく実行されるバッファリング以外に、ストリーミングクライアントが保存できるデータ量、例えばデータのバイト数に対応している。即ち、最小前置復号器バッファサイズは、遅延がゼロの信頼性の高い伝送ネットワークに対して規定されているのである。
【００２１】
このバッファリングアルゴリズムは、H.263アネックスB(仮想基準復号器)及びMPEG-4ビジュアルアネックスD(ビデオバッファリング検証装置)に記述されているアルゴリズムと類似している。これらのアルゴリズムは、ビデオコーデック用のバッファリング動作を規定している。尚、これらのアルゴリズムを適用可能なのはビデオのみであるため、これらのアルゴリズムにより、提案された前置復号器バッファリングアルゴリズムを置換することはできないことに留意されたい。さらに、H.263の仮想基準復号器は、初期バッファリング又はバッファへの複数(Bでない)フレームの保存をサポートしていない。又、提案された前置復号器バッファリングアルゴリズムは、前述のビデオバッファリングアルゴリズムと完全な互換性を有していることにも留意されたい。実際の実装においては、前置復号器バッファとビデオ復号器バッファを組み合わせることができる。
【００２２】
本発明の好適な実施例によれば、バッファリングアルゴリズムは、以下に規定する前置復号器バッファ要件に伝送データパケットストリームを準拠させる。
【００２３】
1.最初は、前置復号器バッファは空である。
【００２４】
2.受信すると、ほぼ即座にそれぞれの受信データパケットを前置復号器バッファに追加する。伝送プロトコルレベル(例えばRTPレイヤ)、或いはあらゆる下位レイヤにおけるすべてのプロトコルヘッダは除去する。
【００２５】
3.最初のパケットをバッファに追加する際にスタートする初期バッファリング時間と呼ばれる期間内には、データを前置復号器バッファから除去しない。
【００２６】
4.初期バッファリング時間が満了すると、再生タイマがスタートする。
【００２７】
5.再生タイマが当該データチャンク(data chunk)にスケジューリングされた再生時刻に到達すると、ほぼ即座にそのデータチャンクを前置復号器バッファから除去する。
【００２８】
6.データが、遅延がゼロの信頼性の高い伝送ネットワークによって伝送される場合には、前置復号器バッファサイズと呼ばれるあるレベルを前置復号器バッファの占有レベルが超過することは許されない。
【００２９】
上記の要件は、中間のポーズ要求がない動作について記述したものであることに留意されたい。新しい再生要求(例えば、ポーズ後のもの)のそれぞれが同じ要件に従うことになる。
【００３０】
更に、前述の要件は、遅延がゼロの信頼性の高い伝送ネットワークを有するという前提に基づいている。即ち、実際の実装においては、クライアント側の前置復号器バッファリングは、ネットワーク遅延ジッタバッファリングと組み合わせられる可能性が高い。この結果、ストリーミングクライアントの実際の前置復号器バッファサイズは、前述の最小前置復号器バッファサイズよりも大きくなり、実際の初期バッファリング時間も前述の初期バッファリング時間よりも長くなる可能性が高い。
【００３１】
(前置復号器バッファリング)
図2は、前置復号器バッファリングの効果を示す典型的なストリーミングシステムにおけるデータフローの例を示している。各バーは、メディアフレーム又はパケットを表しており、例えば、色の濃いバーは、ビデオデータパケット(例えばITU-T勧告H.263に従って符号化されたもの)であり、色の淡いバーは、オーディオデータパケット(例えば適応マルチレート(AMR)音声コーデックを使用して符号化されたもの)である。各バーの高さは、フレーム(又は、パケット)のサイズをバイト数で表している。そして、処理フローは上から下に実行され、時間は左から右に経過する。
【００３２】
この図2を詳細に参照すれば、まず、入力データを符号化する。この結果、ビデオストリームは、変動するフレームレートとフレームサイズを有し、オーディオストリームは、フレームレートは一定であるが、変動するフレームサイズを有することになる。次に、圧縮されたメディアストリームをパケットにカプセル化してネットワークに送信する。このカプセル化の際には、サーバーは、大きなビデオフレームは複数のパケットに分割し、いくつかの小さなオーディオフレームは1つのパケットに組み合わせる。サーバーは、パケットを一定の間隔で送信する。パケットサイズやその他の要因に関係なく、一定のネットワークの伝送遅延を前提としている。従って、受信したパケットの相対的なタイミングは、送信された際のものと同一である。受信したパケットは、前置復号器バッファ内に保存する。ある初期バッファリング時間の経過後にバッファからフレームを読み出すが、このフレーム除去速度は、フレーム再生速度と同一である。最大バッファ占有レベルにより、最小前置復号器バッファサイズが決定される。
【００３３】
(前置復号器バッファ特性のシグナリング)
ストリーミングクライアントにおける所定の最低バッファリング能力を確保するべく、あるデフォルトバッファ特性を規定する。前述のように、バッファ特性は、主に初期バッファリング時間と最小前置復号器バッファサイズという2つの要因によって規定することができる。初期バッファリング時間のデフォルト値は、例えば、約1秒であり、デフォルト最小前置復号器バッファサイズは約30720バイトである。これらの値は模範的なものに過ぎず、これらを変更し、当該時点でネットワークにおいて受ける特定タイプの遅延に適した性能を実現可能であることに留意されたい。推奨したこれらのデフォルト値は、一般化された環境における実際の実験に基づいたものであり、決して特定なものではないが、最も一般的に起こるパケット伝送のシナリオが考慮されている。所定のストリーミングシステムにおいて、デフォルト前置復号器初期バッファリング時間とデフォルト前置復号器バッファサイズを暗黙的に規定することも可能であることに留意されたい。即ち、ネットワーク内のソースサーバーとストリーミングクライアントが、あるデフォルト前置復号器バッファパラメータ(例えば前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズ)を前提とするようなやり方で動作するのである。別の実施例においては、前置復号器バッファパラメータの明示的なシグナリングを使用する。
【００３４】
ストリーミングクライアントがデフォルト前置復号器バッファリング能力をソースサーバーにシグナリングすると共に、デフォルト能力よりも要求の厳しいバッファリング能力を必要とするメディアストリームを受信できるよう、本発明では、リアルタイムストリーミングプロトコル(RTSP)のSET_PARAMETERメソッドに基づいたシグナリングを使用する。
【００３５】
一例として、クライアント端末装置は、次のパラメータのいずれか、又は両方を設定するようにサーバーに要求することができる。
【００３６】
1.InitialBufferingTimeInMSec(ミリ秒単位の初期バッファリング時間)
【００３７】
2.preDecoderBufferSizeInBytes(バイト単位の最小前置復号器バッファサイズ)
【００３８】
クライアント端末装置が、ストリーミングシステムにおいて規定されている或いは暗黙的に前提とされているデフォルト値よりも小さなパラメータ値をシグナリングすることは許されない。デフォルト値のうちの1つよりも小さな値を通知する要求を受信したサーバーは、「無効要求」をシグナリングする。一方、伝送された値が、規定された或いは暗黙的なデフォルト値以上の場合には、シグナリングされた値は、要求を受信するとほぼ即座に使用され、ソースサーバーは、前述のバッファリングアルゴリズムに従い、シグナリングされた値を使用して伝送パケットストリームを検証する。即ち、また以下に詳述するように、サーバーは、受信クライアントでほぼ正しく再生されるようなやり方で、パケットストリームを送信する。さらに具体的には、ソースサーバーは、受信クライアントの前置復号器バッファがオーバーフローせず、且つ受信クライアントにおけるスケジューリングされた再生時刻の再生にメディアデータのすべてのデータチャンク、例えばフレームが利用可能であることを確実とするようにしてパケットストリームを送信する。
【００３９】
本発明の好適実施例によれば、クライアント端末装置は、最初にネットワークサーバーと通信を確立しストリーミングする特定のメディアコンテンツを要求することによってサーバーとのストリーミングセッションの設定を開始する際に、デフォルト前置復号器バッファリングパラメータをサーバーにシグナリングする。前述のように、本発明によれば、クライアント端末装置は、デフォルト前置復号器バッファリング時間又は最小前置復号器バッファサイズのいずれか、或いは前記パラメータの両方を通知することができる。クライアント端末装置に後置復号器バッファが更に提供されている別の実施例においては、後置復号器バッファサイズをソースサーバーに通知することができる。ストリーミングシステムにおいて前置復号器バッファパラメータが暗黙的に規定されている本発明の実施例においては、クライアント装置による前置復号器バッファパラメータの初期シグナリングは、厳密には不要である。しかし、特定のクライアント装置が、ストリーミングシステムにおいて前提とされている暗黙的に規定されたデフォルト値よりも優れた前置復号器バッファリング能力を有している場合には、それらをサーバーにシグナリングすることができる。更に別の配置においては、ソースサーバーは、ストリーミングシステムに関連する能力サーバーから所定のクライアント装置の前置復号器バッファパラメータを読み出す。
【００４０】
次にサーバーは、クライアント端末装置に対して自身が提供できるメディアストリームの特性を通知する。当業者には周知のように、多くの実際のストリーミングシステムにおいては、同一のメディアコンテンツを表す複数の事前符号化されたメディアストリームがストリーミングサーバーに提供される。これら事前符号化されたストリームのそれぞれは、異なる符号化パラメータで符号化される。このような場合には、異なる特性及び/又は能力を有する複数の異なるクライアント端末装置に対して、且つ/或いは異なる特性(例えば利用可能な最大伝送ビットレートを有するネットワークを介して、メディアコンテンツをストリーミングすることができる。
【００４１】
本発明の好適実施例によれば、サーバーは、クライアント端末のデフォルト前置復号器初期バッファリング時間及び/又は最小前置復号器バッファサイズの通知を受信すると、ネットワークを介したシグナリングにより、クライアント端末に対して自身が提供できる様々な事前符号化メディアストリームについて通知する。例えば、要求されたメディアコンテンツに関連する異なった符号化のメディアストリームをサーバーが4つ有しており、クライアントがデフォルト前置復号器初期バッファリング時間とデフォルト前置復号器バッファサイズの両方を通知した場合には、サーバーは、4つの異なるメディアストリームの正しい(例えばポーズ-フリー)再生を確実なものとするのに必要な前置復号器初期バッファリング時間と前置復号器バッファサイズをシグナリングする。すると、クライアント端末は、それら4つの事前符号化メディアストリームの中から再生する1つを選択し、選択したメディストリームに対応する要件に従って前置復号器初期バッファリング時間と前置復号器バッファサイズを調整する。クライアント端末におけるこの調整は、クライアント端末のMCUによって制御することが好ましい。サーバーが、様々な符号化メディアストリームに必要な前置復号器初期バッファリング時間及び前置復号器バッファサイズのいずれかのみを通知した場合には、クライアント端末は、それに基づいてメディアストリームを選択し、前置復号器初期バッファリング時間又は前置復号器バッファサイズをしかるべく調整する。この場合、通知されなかった方のパラメータには、デフォルト値が割り当てられる。
【００４２】
次にクライアント端末は、メディアコンテンツのストリーミングダウンロードを開始するべく、メディアストリームの選択についてサーバーにシグナリングする。又、この段階では、現在クライアント端末において有効な前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズについてもサーバーに暗黙的に通知し、サーバーが前述のバッファリングアルゴリズムに従って伝送メディアストリームを正しく検証できるようにし、この結果、前置復号器バッファのオーバーフローが発生せず、且つメディアデータのすべてのデータチャンクが受信クライアントにおけるスケジューリングされた再生時刻での再生に利用できるようになる。
【００４３】
本発明による方法では、クライアント端末による前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズの調整を可能にすることにより、デフォルト前置復号器バッファパラメータを使用して正しく再生できないようなやり方で符号化されたメディストリームを端末で受信し正しく再生できるようにしている。
【００４４】
本発明の好適実施例によれば、クライアントの前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズは、新しいメディアストリームのストリーミングを開始する際に常に前述のプロセスに従って適応される。このプロセスの間に、新しいメディアストリームが、現在有効な前置復号器バッファリングパラメータを使用してクライアントにおいて正しく再生できると判定された場合は、調整は不要である。さらに、現在のストリーミングセッションの期間中、必要な前置復号器バッファパラメータの変更をサーバーがシグナリングした場合には、クライアントは、前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズを調整することができる。このような状況は、例えば、ストリーミングするメディアコンテンツの種々の連続するセクションの符号化が異なっており、ストリームの正しい再生を確実なものとするためにクライアントでの様々な前置復号器バッファリングが必要になる場合に発生する。
【００４５】
要約すれば、本発明は、前置復号器バッファをストリーミングクライアントの一部として考慮したものである。ストリーミングクライアントは、バッファリングアルゴリズムに従って動作し、そのアルゴリズムで、ストリーミングサーバーは、規定されたバッファリングアルゴリズムに送信データストリームが準拠していることを検証する。更に、本発明は、ストリーミングクライアントのバッファ能力を規定してストリーミングサーバーにシグナリングするメカニズムを提案している。このようにして、ストリーミングサーバーは、所定のストリーミングクライアントのバッファリング能力に関する情報を取得可能であり、受信側前置復号器バッファの限度内で、符号化データ/メディアの伝送速度の変動が許容される。サーバーのバッファリング検証装置を使用し、受信側のバッファリング能力に送信パケットストリームを準拠させることを確実にすることができることに留意されたい。これは、例えば、クライアントの前置復号器バッファのバッファリング能力を超過しないように、サーバーからのパケットの送信時点を調整することによって実行することができる。或いは、この代わりに、サーバーは、メディアデータの符号化及びパケット化の方法を調整することもできる。実際には、バッファリング検証装置は、サーバーのトランスポート符号器の後で動作するバッファであってよい。
【００４６】
以上、本発明について、特定の実施例を参照していくつかの観点で説明したが、当業者には、変形及び変更が明らかであろう。従って、添付の請求項は、限定的に解釈されるべきではなく、本明細書において開示した発明の主題から導出される変形や変更を包含するものと見なすべきである。
【図面の簡単な説明】
【００４７】
【図１】図1は本発明の実施例による装置端末アーキテクチャにおける前置復号器バッファブロックの概略ブロック図を示す図である。
【図２】図2は前置復号器バッファリングの効果を示す典型的なストリーミングシステムにおけるデータフローの例を示す図である。

Claims (23)

  1. 符号化パケットを復号化する復号器を含むクライアント装置にネットワークを介してソースサーバーから複数のデータパケットを伝送することによってメディアデータをストリーミングする方法において、
    前記クライアント装置は、前記復号器での復号化の前に前記ソースサーバーから伝送されたデータパケットを受信する、可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファを更に含み、
    前記前置復号器バッファの前記可変初期バッファリング時間と前記可変バッファサイズは、前記クライアント装置により改良再生性能に動的に適応させられることを特徴とする方法。
  2. 前記クライアント装置は、前記初期バッファリング時間及び前置復号器バッファサイズのいずれか、又はこれらの両方を設定するべく前記ソースサーバーに対して要求を提出することを特徴とする請求項1に記載の方法。
  3. 前記前置復号器バッファにデフォルト初期バッファリング時間とデフォルトバッファサイズが規定されることを特徴とする請求項1に記載の方法。
  4. 前記クライアント装置は、前記前置復号器バッファの前記デフォルト初期バッファリング時間及び前記デフォルトバッファサイズのいずれか、又はこれらの両方を前記ソースサーバーに対してシグナリングすることを特徴とする請求項3に記載の方法。
  5. 前記前置復号器バッファの前記可変初期バッファリング時間は、前記ソースサーバーから受信した必要な前置復号器初期バッファリング時間に関する指示に応答し、前記クライアント装置によって調整されることを特徴とする請求項1〜4のいずれか一項に記載の方法。
  6. 前記前置復号器バッファの前記可変バッファサイズは、前記ソースサーバーから受信した必要な前置復号器バッファサイズに関する指示に応答し、前記クライアント装置によって調整されることを特徴とする請求項1〜5のいずれか一項に記載の方法。
  7. 前記メディアデータの複数の複写が前記ソースサーバーで利用可能であり、前記メディアデータの複数の複写のそれぞれは、前記クライアント装置の前記前置復号器バッファに必要な特性を示す少なくとも1つのパラメータによって特徴付けられていることを特徴とする請求項1〜6のいずれか一項に記載の方法。
  8. 前記前置復号器バッファの必要な特性を示す前記少なくとも1つのパラメータは、前記ソースサーバーから前記クライアント装置に伝送されることを特徴とする請求項1〜7のいずれか一項に記載の方法。
  9. 前記前置復号器バッファの必要な特性を示す前記少なくとも1つのパラメータは、前記メディアデータのストリーミングされたダウンロード用に前記ソースサーバーと前記クライアント装置間においてストリーミングデータ接続を確立する期間中に前記ソースサーバーから前記クライアント装置に伝送されることを特徴とする請求項8に記載の方法。
  10. 前記前置復号器バッファに必要な特性を示す前記少なくとも1つのパラメータは、必要な前置復号器初期バッファリング時間、必要な前置復号器バッファサイズ、或いは必要な前置復号器初期バッファリング時間及び必要な前置復号器バッファサイズの両方を含むグループから選択されることを特徴とする請求項8又は9に記載の方法。
  11. 前記の動的な適応は、前記ソースサーバーからの信号に応答して前記クライアント装置によって実行される適応であることを特徴とする請求項5又は6に記載の方法。
  12. 前記ソースサーバーにおいてバッファリングアルゴリズムを使用し前記データパケットの送信を制御することを特徴とする請求項1〜11のいずれか一項に記載の方法。
  13. 前記バッファリングアルゴリズムは、前記ソースサーバーから前記クライアント装置へのデータパケットの送信時点を前記ソースサーバーに調整させることを特徴とする請求項12に記載の方法。
  14. 前記バッファリングアルゴリズムは、前記ソースサーバーからの前記データパケットの送信が前記クライアント装置の前記前置復号器バッファの前記可変初期バッファリング時間及び前記可変バッファサイズに基づいていることを検証することを特徴とする請求項12に記載の方法。
  15. 復号化関連の遅延変動を軽減するべく、前記クライアント装置に後置復号器バッファが実装されていることを特徴とする請求項1〜14のいずれか一項に記載の方法。
  16. 前記メディアデータが、GPRS(一般パケット無線サービス)やUMTS(ユニバーサル移動通信システム)などの無線データネットワークを介して無線クライアント装置に伝送されることを特徴とする請求項1〜15のいずれか一項に記載の方法。
  17. 前記メディアデータは無線クライアント装置に対して伝送され、前記ネットワークは無線ネットワークを含んでおり、該無線ネットワークは、GPRS(一般パケット無線サービス)無線ネットワークとUMTS(ユニバーサル移動通信システム)からなるグループから選択されることを特徴とする請求項1〜16のいずれか一項に記載の方法。
  18. 複数のデータパケットを伝送することによってメディアデータをストリーミングするシステムであって、
    前記メディアデータをホスティングするソースサーバーと、
    前記データパケットの伝送媒体として機能するネットワークと、
    前記メディアデータを再生することができるクライアント装置と、
    を備えるメディアデータをストリーミングする前記システムにおいて、
    前記クライアント装置は、
    前記ネットワークを介して前記ソースサーバーから伝送された前記データパケットを受信する、可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファと、
    前記前置復号器バッファからの前記データパケットを復号化する復号器と、
    前記クライアント装置により改良再生性能に前記前置復号器バッファの前記可変初期バッファリング時間と前記可変バッファサイズを動的に適応させる手段と、を含むことを特徴とするメディアデータをストリーミングするシステム。
  19. 前記ネットワークは、GPRS(一般パケット無線サービス)無線ネットワークとUMTS(ユニバーサル移動通信システム)からなるグループから選択された無線ネットワークを含むことを特徴とする請求項18に記載のシステム。
  20. 前記クライアント装置は、前記無線システムで使用されるデータパケットに対応した無線端末であることを特徴とする請求項19に記載のシステム。
  21. 前記クライアント装置のバッファリング能力に準拠した速度でデータパケットを伝送することを確実とするために、前記ソースサーバーにバッファリングアルゴリズムが実装されることを特徴とする請求項18又は19に記載のシステム。
  22. ソースサーバーからネットワークを介して伝送された複数のデータパケットを受信するクライアント装置において、
    前記ソースサーバーから前記ネットワークを介して伝送されたデータパケットを受信する、可変バッファリング時間と可変バッファサイズを有する前置復号器バッファと、
    前記前置復号器バッファからの前記データパケットを復号化する復号器と、
    前記クライアント装置により改良再生性能に前記前置復号器バッファの前記可変初期バッファリング時間と前記可変バッファサイズを動的に適応させる手段と、を含むことを特徴とするクライアント装置。
  23. 無線端末、デスクトップコンピュータ、及びラップトップコンピュータを含むグループから選択されることを特徴とする請求項22に記載のクライアント装置。
JP2002563340A 2001-02-08 2002-02-08 ストリーミングされたメディアをバッファリングする方法及びシステム Withdrawn JP2004525556A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20010239A FI118830B (fi) 2001-02-08 2001-02-08 Tietovirran toisto
PCT/FI2002/000093 WO2002063461A1 (en) 2001-02-08 2002-02-08 Method and system for buffering streamed data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006263162A Division JP4690280B2 (ja) 2001-02-08 2006-09-27 メディアデータをストリーミングする方法、システム及びクライアント装置

Publications (1)

Publication Number Publication Date
JP2004525556A true JP2004525556A (ja) 2004-08-19

Family

ID=8560281

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2002563340A Withdrawn JP2004525556A (ja) 2001-02-08 2002-02-08 ストリーミングされたメディアをバッファリングする方法及びシステム
JP2006263162A Expired - Lifetime JP4690280B2 (ja) 2001-02-08 2006-09-27 メディアデータをストリーミングする方法、システム及びクライアント装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2006263162A Expired - Lifetime JP4690280B2 (ja) 2001-02-08 2006-09-27 メディアデータをストリーミングする方法、システム及びクライアント装置

Country Status (18)

Country Link
US (1) US7421508B2 (ja)
EP (3) EP1358542B1 (ja)
JP (2) JP2004525556A (ja)
KR (1) KR100629158B1 (ja)
CN (1) CN100504757C (ja)
AT (2) ATE438136T1 (ja)
AU (1) AU2002231829B2 (ja)
BR (1) BRPI0206630B1 (ja)
CA (1) CA2435936C (ja)
DE (2) DE60233177D1 (ja)
EE (1) EE04862B1 (ja)
FI (1) FI118830B (ja)
HU (1) HUP0302621A3 (ja)
MX (1) MXPA03007096A (ja)
RU (1) RU2302032C2 (ja)
SG (1) SG148844A1 (ja)
WO (1) WO2002063461A1 (ja)
ZA (1) ZA200306100B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009510855A (ja) * 2005-11-07 2009-03-12 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 移動通信ネットワークにおける方法および装置
JP2009537048A (ja) * 2006-05-11 2009-10-22 シーエフピーエイチ， エル．エル．シー． 電子ファイルの使用と管理とのための方法および装置
JP2011130065A (ja) * 2009-12-16 2011-06-30 Sony Corp 送信装置および方法、並びに、受信装置および方法

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
EP1446955A2 (en) * 2001-11-21 2004-08-18 Canon Kabushiki Kaisha Method and device for determining at least one multimedia data encoding parameter
JP2004015114A (ja) * 2002-06-03 2004-01-15 Funai Electric Co Ltd デジタル放送記録装置及びそれを備えたデジタル放送システム
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
US20040057446A1 (en) * 2002-07-16 2004-03-25 Nokia Corporation Method for enabling packet transfer delay compensation in multimedia streaming
AU2003252347A1 (en) * 2002-07-31 2004-03-11 Sharp Kabushiki Kaisha Data communication device, its intermittent communication method, program describing its method, and recording medium on which program is recorded
CN100539439C (zh) 2002-10-05 2009-09-09 数字方敦股份有限公司 连锁反应码的系统编码和解码系统和方法
TWI249356B (en) * 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
KR100926711B1 (ko) 2003-02-07 2009-11-17 엘지전자 주식회사 멀티미디어 데이터 송수신 방법
WO2004072765A2 (en) * 2003-02-13 2004-08-26 Nokia Corporation Method for signaling streaming quality adaptation and control mechanisms in multimedia streaming
RU2375839C2 (ru) * 2003-02-18 2009-12-10 Нокиа Корпорейшн Способ кодирования изображений
MY136056A (en) * 2003-02-18 2008-08-29 Nokia Corp Picture decoding method
US7353284B2 (en) 2003-06-13 2008-04-01 Apple Inc. Synchronized transmission of audio and video data from a computer to a client via an interface
KR100651566B1 (ko) * 2003-08-26 2006-11-28 삼성전자주식회사 이동통신 단말기에서 출력 버퍼링을 이용한 멀티미디어재생 장치 및 그 제어 방법
CN100412832C (zh) * 2003-09-02 2008-08-20 竺红卫 一种基于优先级调度的非均匀多媒体流传输调度方法
US8345754B2 (en) * 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
EP2722995B1 (en) 2003-10-06 2023-04-19 QUALCOMM Incorporated Soft-Decision Decoding of Multi-Stage Chain Reaction Codes
KR101014233B1 (ko) * 2003-10-22 2011-02-14 엘지전자 주식회사 대화형 광디스크의 부가 오디오 파일 관리 및 재생방법
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US7296205B2 (en) * 2004-02-18 2007-11-13 Nokia Corporation Data repair
KR101145261B1 (ko) * 2004-02-27 2012-05-24 삼성전자주식회사 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
KR101205758B1 (ko) 2004-05-07 2012-12-03 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
US9219729B2 (en) * 2004-05-19 2015-12-22 Philip Drope Multimedia network system with content importation, content exportation, and integrated content management
US9124907B2 (en) * 2004-10-04 2015-09-01 Nokia Technologies Oy Picture buffering method
US7447978B2 (en) * 2004-11-16 2008-11-04 Nokia Corporation Buffering packets of a media stream
US8218439B2 (en) * 2004-11-24 2012-07-10 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive buffering
US20060143678A1 (en) * 2004-12-10 2006-06-29 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a linear quadratic control technique and leaky bucket model
US7536469B2 (en) * 2004-12-10 2009-05-19 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a limited number of supported coding bit rates
US7543073B2 (en) * 2004-12-10 2009-06-02 Microsoft Corporation System and process for performing an exponentially weighted moving average on streaming data to establish a moving average bit rate
TWI401918B (zh) * 2005-02-03 2013-07-11 Nokia Corp 傳送指示接收器緩衝架構之緩衝參數信號的通訊方法
MX2007012338A (es) * 2005-04-07 2007-11-23 Nokia Corp Almacenamiento temporal en la distribucion de corriente de datos.
US7613112B2 (en) * 2005-06-28 2009-11-03 Nokia Corporation Optimizing playback startup time of bursty real-time streams
US8788933B2 (en) * 2005-12-01 2014-07-22 Nokia Corporation Time-shifted presentation of media streams
CN101686107B (zh) 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
FR2907990B1 (fr) 2006-10-27 2009-04-17 Envivio France Entpr Uniperson Encodeur temps-reel contraint en debit et en delai,procede, produit programme d'ordinateur et moyen de stockage correspondants.
US7962637B2 (en) * 2006-11-03 2011-06-14 Apple Computer, Inc. Dynamic adjustments of video streams
US8069260B2 (en) * 2007-01-12 2011-11-29 Microsoft Corporation Dynamic buffer settings for media playback
US8914529B2 (en) * 2007-01-22 2014-12-16 Microsoft Corporation Dynamically adapting media content streaming and playback parameters for existing streaming and playback conditions
GB0705329D0 (en) 2007-03-20 2007-04-25 Skype Ltd Method of transmitting data in a communication system
EP2141936A4 (en) * 2007-03-27 2012-04-18 Nec Corp MOBILE COMMUNICATION SYSTEM, NETWORK DEVICE AND PACKET SEQUENCE CONTROL METHOD
US9148628B2 (en) * 2007-08-16 2015-09-29 Yahoo! Inc. Intelligent media buffering based on input focus proximity
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
ATE550718T1 (de) * 2007-10-11 2012-04-15 Nxp Bv Verfahren und system zur steuerung der zulassung eines speichermediums für einen peripheren bus eines datenreproduktionssystems
RU2463643C2 (ru) * 2008-02-20 2012-10-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки отчета о состоянии буфера заполнения
US8126048B2 (en) * 2008-03-18 2012-02-28 Seiko Epson Corporation Recording streaming delta-encoded data
US8139923B2 (en) * 2008-03-19 2012-03-20 Seiko Epson Corporation Playback of recorded streaming delta-encoded data
EP2129130A1 (fr) * 2008-05-26 2009-12-02 THOMSON Licensing Procédé de transmission simplifié d'un flux de signaux entre un émetteur et un appareil électronique
US8379083B1 (en) * 2008-07-17 2013-02-19 Sprint Communications Company L.P. Simultaneous viewing and reliable recording of multimedia content over a network
JP5135147B2 (ja) * 2008-09-29 2013-01-30 富士フイルム株式会社 動画ファイル送信サーバおよびその動作制御方法
JP5077181B2 (ja) * 2008-10-14 2012-11-21 ソニー株式会社 情報受信装置、情報送信装置および情報通信システム
KR101019594B1 (ko) 2008-11-10 2011-03-07 주식회사 케이티 스트리밍 서비스의 버퍼링 시간을 조정하기 위한 시스템 및그 방법
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
JP5278059B2 (ja) * 2009-03-13 2013-09-04 ソニー株式会社 情報処理装置及び方法、プログラム、並びに情報処理システム
US9357568B2 (en) 2009-06-16 2016-05-31 Futurewei Technologies, Inc. System and method for adapting an application source rate to a load condition
US20100329355A1 (en) * 2009-06-30 2010-12-30 Nxp B.V System and method for configurable packet streaming
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
CN102724705B (zh) 2009-12-25 2015-04-29 华为技术有限公司 一种报告缓存数据量的方法及装置
TWI400949B (zh) * 2010-04-06 2013-07-01 Hon Hai Prec Ind Co Ltd 媒體資料播放裝置及其重播方法
US8301794B2 (en) * 2010-04-16 2012-10-30 Microsoft Corporation Media content improved playback quality
US8532804B2 (en) * 2010-06-18 2013-09-10 Microsoft Corporation Predictive resampler scheduler algorithm
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
KR20120034550A (ko) 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US9467493B2 (en) 2010-09-06 2016-10-11 Electronics And Telecommunication Research Institute Apparatus and method for providing streaming content
KR101739272B1 (ko) 2011-01-18 2017-05-24 삼성전자주식회사 멀티미디어 스트리밍 시스템에서 컨텐트의 저장 및 재생을 위한 장치 및 방법
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
KR20120108564A (ko) * 2011-03-24 2012-10-05 삼성전자주식회사 데이터 처리 시스템 및 그 동작 방법
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
GB2495929B (en) 2011-10-25 2014-09-03 Skype Jitter buffer
GB2520866B (en) 2011-10-25 2016-05-18 Skype Ltd Jitter buffer
GB2495928B (en) 2011-10-25 2016-06-15 Skype Jitter buffer
US9406303B2 (en) 2011-11-18 2016-08-02 Sirius Xm Radio Inc. Systems and methods for implementing cross-fading, interstitials and other effects downstream
EP2608558A1 (en) * 2011-12-22 2013-06-26 Thomson Licensing System and method for adaptive streaming in a multipath environment
CA2866585C (en) 2012-03-06 2021-02-23 Sirius Xm Radio Inc. Systems and methods for audio attribute mapping
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
MX353259B (es) 2012-04-17 2018-01-08 Sirius Xm Radio Inc Transicion gradual del lado del servidor para la descarga progresiva de medios.
CN103476062B (zh) * 2012-06-06 2015-05-27 华为技术有限公司 一种数据流调度的方法、设备和系统
US9246970B2 (en) * 2014-02-14 2016-01-26 GM Global Technology Operations LLC System and method for compensating for delay and jitter
US10283091B2 (en) 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
KR102350504B1 (ko) * 2015-04-27 2022-01-14 삼성전자주식회사 통신 시스템에서 하향링크 전송률 제어를 위한 장치 및 방법
WO2020048617A1 (en) 2018-09-07 2020-03-12 Telefonaktiebolaget Lm Ericsson (Publ) Latency efficient streaming of video frames for machine vision over an ip network
JP7318123B2 (ja) 2019-10-14 2023-07-31 グーグル エルエルシー 適応的バッファを使用してビデオコンテンツをストリーミングするための方法、システム、および媒体

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5014265A (en) 1989-11-30 1991-05-07 At&T Bell Laboratories Method and apparatus for congestion control in a data network
EP0562221B1 (en) * 1992-03-27 1997-10-15 Alcatel Video decoder
JPH0652666A (ja) * 1992-07-31 1994-02-25 Matsushita Electric Ind Co Ltd マルチメディア再生装置
US5363097A (en) * 1992-09-14 1994-11-08 Industrial Technology Research Institute Direct sequential-bit variable length decoder
EP2190207A1 (en) 1994-10-21 2010-05-26 AT&T Corporation Method of video buffer verification
US5913031A (en) * 1994-12-02 1999-06-15 U.S. Philips Corporation Encoder system level buffer management
US5606369A (en) * 1994-12-28 1997-02-25 U.S. Philips Corporation Buffering for digital video signal encoders using joint bit-rate control
JP3060877B2 (ja) * 1995-02-20 2000-07-10 日本ビクター株式会社 マルチメディアシナリオ再生装置
US5808607A (en) * 1995-04-07 1998-09-15 International Business Machines Corporation Multi-node media server that provides video to a plurality of terminals from a single buffer when video requests are close in time
JPH09186966A (ja) 1995-12-25 1997-07-15 Texas Instr Inc <Ti> ビデオ再生方法及び再生システム
US5790792A (en) * 1996-09-04 1998-08-04 Radiant Systems, Inc. Method and apparatus for transmitting multimedia data from and application logic server to interactive multimedia workstations
US6011590A (en) * 1997-01-03 2000-01-04 Ncr Corporation Method of transmitting compressed information to minimize buffer space
US5892980A (en) 1997-02-28 1999-04-06 Comsys Communication And Signal Processing Ltd. System for dynamically changing the length of transmit and receive sample buffers utilizing previous responding to an interrupt in a communications system
JPH10285591A (ja) 1997-04-02 1998-10-23 Hitachi Denshi Ltd 映像信号伝送方法およびその装置
US6175871B1 (en) * 1997-10-01 2001-01-16 3Com Corporation Method and apparatus for real time communication over packet networks
US6301258B1 (en) 1997-12-04 2001-10-09 At&T Corp. Low-latency buffering for packet telephony
JP2000228669A (ja) * 1999-02-08 2000-08-15 Hitachi Ltd ストリーム配送システムにおけるストリームデータ配送方法
US6792615B1 (en) * 1999-05-19 2004-09-14 New Horizons Telecasting, Inc. Encapsulated, streaming media automation and distribution system
ATE349113T1 (de) 2000-04-14 2007-01-15 Cit Alcatel Selbstanpassender zitterspufferspeicher
CA2312333A1 (en) * 2000-06-21 2001-12-21 Kimihiko E. Sato Multimedia compression, coding and transmission method and apparatus
JP4596693B2 (ja) * 2000-07-06 2010-12-08 パナソニック株式会社 ストリーミング方法およびそれを実行するシステム
US7310678B2 (en) * 2000-07-28 2007-12-18 Kasenna, Inc. System, server, and method for variable bit rate multimedia streaming
US6768499B2 (en) * 2000-12-06 2004-07-27 Microsoft Corporation Methods and systems for processing media content
US6823394B2 (en) * 2000-12-12 2004-11-23 Washington University Method of resource-efficient and scalable streaming media distribution for asynchronous receivers
US6842433B2 (en) * 2001-04-24 2005-01-11 Wideray Corporation System and method for communicating information from a computerized distributor to portable computing devices

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009510855A (ja) * 2005-11-07 2009-03-12 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 移動通信ネットワークにおける方法および装置
JP2009537048A (ja) * 2006-05-11 2009-10-22 シーエフピーエイチ， エル．エル．シー． 電子ファイルの使用と管理とのための方法および装置
JP4885270B2 (ja) * 2006-05-11 2012-02-29 シーエフピーエイチ， エル．エル．シー． 電子ファイルの使用と管理とのための方法および装置
JP2011130065A (ja) * 2009-12-16 2011-06-30 Sony Corp 送信装置および方法、並びに、受信装置および方法

Also Published As

Publication number Publication date
ATE438136T1 (de) 2009-08-15
US7421508B2 (en) 2008-09-02
EP1605347A1 (en) 2005-12-14
EE04862B1 (et) 2007-06-15
RU2003127066A (ru) 2005-01-10
MXPA03007096A (es) 2003-11-18
KR20030071815A (ko) 2003-09-06
FI20010239A (fi) 2002-08-09
DE60207381D1 (de) 2005-12-22
BR0206630A (pt) 2004-02-17
AU2002231829B2 (en) 2008-06-26
WO2002063461A1 (en) 2002-08-15
ZA200306100B (en) 2004-09-06
FI20010239A0 (fi) 2001-02-08
BRPI0206630B1 (pt) 2016-11-29
KR100629158B1 (ko) 2006-09-27
CN1491381A (zh) 2004-04-21
EP1605347B1 (en) 2009-07-29
EP2159684A2 (en) 2010-03-03
CN100504757C (zh) 2009-06-24
ATE310275T1 (de) 2005-12-15
EE200300316A (et) 2003-10-15
HUP0302621A3 (en) 2005-08-29
US20020105951A1 (en) 2002-08-08
CA2435936A1 (en) 2002-08-15
SG148844A1 (en) 2009-01-29
CA2435936C (en) 2013-04-16
DE60233177D1 (de) 2009-09-10
JP4690280B2 (ja) 2011-06-01
RU2302032C2 (ru) 2007-06-27
HUP0302621A2 (hu) 2003-11-28
EP2159684B1 (en) 2013-05-22
EP2159684A3 (en) 2010-03-10
DE60207381T2 (de) 2006-08-24
JP2006345582A (ja) 2006-12-21
EP1358542A1 (en) 2003-11-05
FI118830B (fi) 2008-03-31
EP1358542B1 (en) 2005-11-16

Similar Documents

Publication Publication Date Title
JP4690280B2 (ja) メディアデータをストリーミングする方法、システム及びクライアント装置
AU2002231829A1 (en) Method and system for buffering streamed data
KR100945548B1 (ko) 비디오 오류 회복
US7652994B2 (en) Accelerated media coding for robust low-delay video streaming over time-varying and bandwidth limited channels
RU2488968C2 (ru) Кодирующее устройство и способ генерирования потока данных
US7289506B1 (en) Data transmission
JP4980567B2 (ja) 動的なネットワーク損失状態に対する簡単な適応を備えたマルチメディアサーバ
US20130046902A1 (en) Procedure and device for transmission of multimedia digital data
US20070067480A1 (en) Adaptive media playout by server media processing for robust streaming
KR20120010089A (ko) Ｈｔｔｐ 기반의 멀티미디어 스트리밍 서비스의 품질 향상을 위한 방법 및 장치
JP2006050604A (ja) Ａｖデータ受信時のバッファ量をコンテンツ属性によって弾力的に調節する方法及び装置
WO2008076537A1 (en) Method and system for providing adaptive trick play control of streaming digital video
JP2023161219A (ja) 送信装置、受信装置及びそれらのプログラム
KR20100068780A (ko) 스트리밍 서비스에서 프리 디코더 버퍼의 오버플로우 방지 방법 및 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060131

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060501

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060530

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070130