JP2006503517A - Ｉｐネットワークでスケーラブル符号化映像を伝送するシステム及び方法 - Google Patents

Ｉｐネットワークでスケーラブル符号化映像を伝送するシステム及び方法 Download PDF

Info

Publication number
JP2006503517A
JP2006503517A JP2005501323A JP2005501323A JP2006503517A JP 2006503517 A JP2006503517 A JP 2006503517A JP 2005501323 A JP2005501323 A JP 2005501323A JP 2005501323 A JP2005501323 A JP 2005501323A JP 2006503517 A JP2006503517 A JP 2006503517A
Authority
JP
Japan
Prior art keywords
network
upper layer
bitstream
encoded
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005501323A
Other languages
English (en)
Inventor
リー，チョン
ダー シャール，ミハエラ ヴァン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2006503517A publication Critical patent/JP2006503517A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6338—Control signals issued by server directed to the network components or client directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

IPネットワーク(204)でスケーラブル符号化映像の伝送を促進するシステム及び方法が提供される。マルチトラックヒンティングと呼ばれる提案の前処理方法が開示され、階層化映像(400)を柔軟なフォーマットに効率的に構成し、それにより、変化するネットワーク状態、複雑性の制約及びユーザの嗜好に従ってパケット交換ネットワーク(204)で容易にストリーミングされ得る。汎用MPEGサーバ(205)は、主要な変更をせずに、複数チャネル(すなわち、RTP接続)を自動的に使用することができ、それによって、伝送されるスケーラブル階層の数を調整することにより、変化するネットワーク状態、複雑性の制約及びユーザの嗜好に適応するように、ストリーミングシステムに柔軟性を提供する。従って、マルチトラックヒンティング法は、標準的なインターネットストリーミングプロトコル(RTSP、SDP)の機能を拡張し、拡張性のある適応を可能にする。

Description

本発明は、概して映像符号化方法を対象とし、特にIPネットワークでスケーラブル符号化映像をストリーミングする方法を対象とする。
ブロードバンド技術の急速な発展により、近い将来、映像ストリーミングが主要なインターネットアプリケーションになると考えられている。インターネットを含むデーターネットワークでのマルチメディアコンテンツのリアルタイムストリーミングは、近年、ますます一般的なアプリケーションになっている。ニュース・オン・デマンドや、生のネットワークテレビ観賞や、テレビ会議等のような広範囲のインタラクティブ及び非インタラクティブのマルチメディアアプリケーションは、エンド・ツー・エンドのストリーミング映像技術に依存している。この発展を支持するように、WLAN製品の下落するコストと、IEEE802.11aや802.11gのような新しいWLAN技術により提供される大きい帯域が、最終的に映像伝送の更なる使用を導いている。従って、将来の無線映像アプリケーションは、有線バックボーン及び無線の拡張を備えたオープンな階層的なインターネット型のネットワークで動作する必要がある。従って、ネットワークの有線と無線の双方の部分を通じた伝送について、共通のプロトコルが使用される必要がある。これらのプロトコルは、インターネットプロトコル(IP)に基づく既存のプロトコルの将来の拡張である可能性が高い。
インターネットや無線ネットワークの特有のリソースを共有する性質のため、将来のマルチメディア通信は可変帯域のチャネルを主に使用する。従って、映像コンテンツのストリーミングが可変帯域のチャネルを使用するネットワークで行われると、利用可能なリソースに適応するように瞬間データレートが頻繁に調整されなければならない。これはスケーラブル映像符号化を通じて実現され得る。スケーラブル映像符号化機構は、(1)大量の同時のユニキャスト(オンデマンド)ストリームを出力する際に、ストリーミングサーバが最小のリアルタイム処理とレート制御を可能にすること、(2)受信機(例えば、アナログモデム、ケーブルモデム、xDSL等)の不均一のアクセス技術のため、及びネットワーク状態の動的な変化(例えば、輻輳の場合)のため、予測できない帯域の変化に大いに適応可能であること、(3)低い計算能力を備えたプロセッサがスケーラブル映像ストリームのサブセットのみをデコードすることが可能であること、(4)マルチキャストとユニキャストの双方のアプリケーションに対応すること(5)パケット及びビット誤りの損失に対して回復力があること、を含む複数の理由により、不均一のネットワークでの伝送に対して簡単且つ柔軟なフレームワークを提供することができる。
スケーラブル符号化機構の例には、例えば、MPEG-4 Fine Granularity Scalability(FGS)と、Advanced FGSと、データパーティショニング(Data-Partitioning)と、MPEG-4空間及び時間スケーラビリティ(MPEG-4 Spatial and Temporal Scalability)と、新たに出現してきた動き補償ウェーブレット手法(Motion-Compensated Wavelet Solution)が含まれる。
MPEG-4システムグループは、ローカル又はリモート(ストリーミング等)でのマルチメディアプレゼンテーション用の定期メディア情報を含む標準的なメディアファイルフォーマット(.mp4)を展開している。このフォーマットは、メディアの交換、管理、編集及びプレゼンテーションを促進するために、高い柔軟性と拡張性を備えて慎重に設計されている。
図１は、最もハイレベルの抽象化で、MPEG-4ムービーファイル(すなわち、.mp4ファイル)100の構造を示している。そのMPEG-4ムービーファイルは、エンコーダにより生成されたエレメンタリビットストリーム(elementary bit stream)(すなわち、エレメンタリビットストリーム(音声)102、エレメンタリビットストリーム(映像)104)と、ローカル再生用にプレイヤを導き、適切な時間でのプレゼンテーション用に正しいメディアデータを抽出するためにプレイヤが使用するタイミングやデータポインタのようなデータを含むムービートラック(movie track)(すなわち、音声ムービートラック106、映像ムービートラック108)と、パケットベースのネットワークでメディアをストリーミングし、エレメンタリビットストリームからパケットを生成するためにサーバが使用するタイミングやデータポインタやパケットヘッダ用データのような情報を含むヒントトラック(hint track)(すなわち、音声用ヒントトラック110、映像用ヒントトラック112)とを有する構造としてみなされ得る。
矢印は、前述の多様なストリーム間に存在する関係を示している。具体的には、映像ムービートラック108は映像エレメンタリビットストリーム104に関係し、音声ムービートラック106は音声エレメンタリビットストリーム102に関係し、映像用ヒントトラック112は映像ムービートラック108に関係し、音声用ヒントトラック110は音声ムービートラック106に関係する。
ストリーミングアプリケーションで.mp4ファイルが使用される場合、通常、サーバはファイルに含まれるヒントトラックと同じ数の(リアルタイム転送プロトコル)RTP接続を確立する。換言すると、RTP接続とヒントトラックとの間に一対一の関係が存在する。各RTP接続はヒントトラックを割り当てられ、そのトラックから生じたパケットを配信する役割をする。RTPは、音声や映像のようなリアルタイムデータを伝送するインターネットプロトコルである。RTP自体はデータのリアルタイム配信を保証しないが、ストリーミングデータをサポートするアプリケーションを送受信する機構を提供する。一般的に、RTPはUDPプロトコルの上位で動作するが、その使用は他の伝送プロトコルをサポートするのに十分なほど一般的である。ユーザデータグラムプロトコルは、IPネットワークの上位で動作するTCPのようにコネクションレス型プロトコルである。TCP/IPとは異なり、UDP/IPは非常に少ない誤り回復サービスを提供し、その代わりにIPネットワークでデータグラムを送受信する直接の方法を提供する。
前述の.mp4ファイルフォーマットの１つの欠点は、それが階層化映像ストリーミングの要件に明示的に対応しないことである。周知のように、階層化映像符号化では、圧縮された映像は複数のサブレイヤに構成される。これらのレイヤは映像品質を改善するために徐々に追加され得る。一般的に、階層化映像符号化は、異なる優先度を有するサブレイヤに分割され得る１つのエレメンタリビットストリームを生成する。一般的なmp4ファイルフォーマットを複数レイヤの映像ストリームに適用する制約は、階層化映像をストリームするために１つのみのRTP接続しか利用可能でないことである。この柔軟性のないストリーミング手法に基づくスケーラブル符号化により、チャネル特性や複雑性等に対して望ましい適応ができないという点で、このことは望ましくない。
従って、当該技術分野において、サーバが複数のRTP接続を生成し、階層化映像ストリームの各サブレイヤに適応し、チャネル特性や複雑性等に対して望ましい適応を可能にするIPネットワークでスケーラブル符号化映像をストリーミングする体系的なフレームワークの必要性が存在する。
本発明は、IPネットワークでスケーラブル符号化映像をストリーミングする体系的なフレームワークを提供することにより、前述の必要性に対処する。新規なアーキテクチャは、スケーラブル符号化映像を配信するために、ユニキャストとマルチキャストの双方について複数のIP接続を使用する。
従って、一態様によると、本発明は、柔軟なスケーラブル映像パケット化用のシステム(すなわち、前処理ヒンティング法(hinting method)、装置及びコンピュータ実行可能処理ステップ)である。提案の前処理方法は、ここではマルチトラックヒンティング(multi-track hinting)と呼ばれ、有利には現在のMPEG-4メディアファイルフォーマット標準と下位互換性があり、それによって、変化するチャネル特性や複雑性の制約やユーザの嗜好に従って階層化映像を効率的にストリームするために汎用MPEG-4ストリーミングサーバを使用することを可能にする。すなわち、主要な変更を行わずに、サーバはマルチチャネル(すなわち、RTP接続)を自動的に使用することが可能になり、それによって、送信されるスケーラブル階層の数を調整することにより、ネットワーク状態に適応する柔軟性をストリーミングシステムに提供する。従って、マルチトラックヒンティング法は、柔軟な適応を可能にするように標準的なインターネットストリーミングプロトコル(RTSP、SDP)の機能を拡張する。
有利には、本発明のヒンティング法は、mp4ファイルが階層化映像ストリーミングの要件に明示的に対応していないという従来技術の制約を克服する。そのため、IPネットワークで階層化映像をストリームするために、単一のRTP接続のみが利用可能であった。単一のRTP接続は、チャネル特性や複雑性の制約やユーザの嗜好の変化に適応できないという点を含み、複数の理由で望ましくない。
次に図面を参照すると、同一の参照数字は図面を通じて対応する部分を表す。
添付の印刷した付録はこの明細書に含まれ、この明細書の一部を構成し、本発明の実施例を示し、詳細な説明と共に本発明の原理を説明する役割をする。付録は擬似コードで記載されている。
付録１は、FGSマルチトラックヒンティングのアルゴリズムの説明を含む。関数max_channel_allocation(i)は、第iのヒントトラックに関連する第iのRTP接続に割り当てられるビットレートを決定する。従って、そのアルゴリズムは、ヒンティング段階でストリーミングチャネルのビットレートを予め決定する。特定のネットワーク状態及びコーデック特性が考慮された場合には、アルゴリズムをパケット化及びレート割り当ての最適化に発展することも可能であることが、更にわかる。しかし、これらのアルゴリズムはアプリケーション特有のものであり、この開示の中では更に説明しない。
以下の説明では、本発明の完全な理解を提供するため、限定ではなく説明の目的で特定のアーキテクチャ、インタフェース、技術等のような特定の詳細が示されている。簡潔さと明瞭性のため、本発明の説明を不要な詳細であいまいにしないように、周知の装置と回路と方法の詳細な説明を省略する。
一般的に、以下に説明する技術は、多様なスケーラブル符号化機構に統合され、上位レイヤのロバスト性を向上し得る。インターネット又は無線ネットワークのようなネットワークでのスケーラブルビットストリームの配信に関して、符号化機構を説明する。しかし、その階層化映像符号化機構は、広範囲の環境に一般的に適応可能である。更に、MPEG-4符号化機構に関して技術を説明するが、その技術はまた、他の動き補償ベースのマルチレイヤ映像符号化技術にも適用可能である。
MPEG-4システムグループは、IPネットワークでの“非スケーラブル”符号化映像についてのストリーミング方策を展開して標準化してきた。しかし、変化するチャネル状態や複雑性の制約やユーザの嗜好に対して効率的に適応できる“スケーラブル”映像フォーマットの伝送について、新規なストリーミングアーキテクチャが必要であることを、本発明者は認識した。スケーラブル映像ストリーミングシステムのアーキテクチャはMPEG-4システムグループにより定められている非スケーラブルのストリーミングシステムアーキテクチャと互換性を有するべきであり、汎用MPEG-4ストリーミングサーバがスケーラブルと非スケーラブルの双方の映像フォーマットを配信することを可能にするべきであることを、本発明者は更に認識した。
このため、本発明は、.mp4ファイルフォーマットが階層化映像ストリーミングの要件に明示的に対応しないといいう点で、MPEG-4システムグループにより定められた.mp4ファイルに生じる問題を解決することに関係する。特に、現時点では、複数のRTP接続を生成し、階層化符号化に備えられているスケーラビリティを利用する機構は存在しない。従って、本発明は、サーバが複数のRTP接続を生成し、階層化映像ストリームの各サブレイヤに適応し、チャネル特性や複雑性やクライアントの嗜好等に対する所望の適応を可能にするIPネットワークでスケーラブル符号化映像をストリーミングする体系的なフレームワークを提供する。
MPEG-4標準の詳細な説明はここでは行われないが、その標準の特定の態様の概要は、本発明を理解する際の助けとして提示される。
当初はQuickTimeに基づいているMP4ファイルフォーマットは、メディアの交換、管理、編集及びプレゼンテーションを促進する柔軟な拡張性のあるフォーマットで、MPEG-4プレゼンテーションのメディア情報を含むように設計されている。MP4のメディアデータは記述ヘッダ(description header)を備えたフレームにカプセル化される。包含ではなく参照によりメディアデータの特性(メディア形式、タイムスタンプ、サイズ等)を記述するために、メタデータが使用される。MPEG-4システムの仕様書は、IPネットワークでの非スケーラブル符号化映像のストリーミングを処理する特有の方法を有するフォーマット特定拡張子として“.mp4”を使用する。符号化コンテンツはメディアトラック(例えば、音声は音声トラック、映像は他のメディアトラック等)として.mp4ファイルフォーマットに格納される(図１参照)。更に、メディアトラック毎に１つの特定のヒントトラックを追加することにより、伝送機構がファイルに格納され得る。そのような機構により、メディアトラックの場合にはメディアデータ自体の単一のコンテナとして、ヒントトラックの場合には伝送特有のデータの単一のコンテナとして、単一のファイルが使用され得る。MPEG-4ファイルフォーマットは標準で定められている。メディアトラックに格納されているデータエントリーはMPEG-4アクセスユニット(MPEG-4 Access Unit)であり、そのMPEG-4アクセスユニットは一般的にネットワークパケットより大きい。ヒントトラックの役割は、ネットワークパケットが作られる方法、そのネットワークパケットが充填され得る方法についての情報を格納することである。実際に、ヒントトラックは、前セグメント情報を有しており、それにより、各アクセスユニットをネットワークパケットに分割した方法をサーバが認識する。従って、まずメディアトラックを生成し、.mp4ファイルに格納し、このファイルを構文解析してアクセスユニットの構造を分析して適切な追加ヒントトラックを生成するために、別個のヒント器プログラムを使用することができる。
図２は、映像配信システム200を示している。その映像配信システム200において、映像ソース202(例えばカメラ)は、エンコーダ220によりエンコードされる映像コンテンツを生成し、IPネットワーク204で汎用MPEG-4ストリーミングサーバ205を介してクライアント206に配信するため、その映像コンテンツから１つ以上のヒントトラックがヒント器(hinter)230により生成される。ネットワーク204は、インターネットやLAN(ローカルエリアネットワーク)やWAN(広域ネットワーク)やSAN(ストレージエリアネットワーク)や無線ネットワーク(例えば、衛星、セルラ、RF等)を含む多数の異なる種類のネットワークを表す。図示の例は、ネットワーク204での映像コンテンツの配信について説明するが、本発明は、映像や音声やグラフィックやテキスト等を含み得るマルチメディアコンテンツの配信に対してより広い適用性を有する。図２はまた、例えば映像ソース202により生成され得るデジタル映像ファイルを格納する映像記憶ユニット210を示している。
映像エンコーダ220は、ソフトウェア、ファームウェア及び／又はハードウェアで実装されてもよい。エンコーダ220は、説明目的で別個のスタンドアローン型モジュールとして図示されているが、プロセッサ(図示なし)の一部として構成されてもよく、オペレーティングシステム(図示なし)又は他のアプリケーション(図示なし)に組み込まれてもよい。
図３ａは、図２の映像エンコーダ220の更に詳細な説明図である。図示のように、映像エンコーダ220は、下位レイヤ符号化構成要素222と、上位レイヤ符号化構成要素224とを備えている。映像エンコーダ220は、下位レイヤと上位レイヤとを含む複数のレイヤに映像データをエンコードする。下位レイヤ符号化構成要素222は、下位レイヤで映像データをエンコードする。下位レイヤ符号化構成要素222は、FEC(Forward Error Correction)技術のような従来の誤り保護技術により保護され得る下位レイヤのエレメンタリビットストリーム(下位レイヤ映像)402(図４参照)を作る。
映像エンコーダ220の上位レイヤ符号化構成要素224は上位レイヤをエンコードする。上位レイヤエンコーダ224は、下位レイヤのビットストリームと無関係に、ネットワーク204で汎用MPEG-4ストリーミングサーバ205を介してクライアント206に全体的又は部分的に送信される単一のエレメンタリビットストリーム(上位レイヤ映像)404(図４参照)を作る。上位レイヤのエンコーダは固有の再同調マークとヘッダ拡張コードを上位ビットストリームに挿入し、上位ビットストリームの構文的意味的誤り検出及び保護を促進する。
図３ｂは、図２のクライアント206の更に詳細な説明図である。図示のように、クライアント206は、プロセッサ330と、メモリ332と、アダプタ340と、再アセンブラ(reassembler)342と、映像デコーダ344と、１つ以上のメディア出力装置346とを備えている。映像デコーダ344は、下位レイヤデコード構成要素352と、上位レイヤデコード構成要素354と、任意選択のビットプレーン符号化構成要素356とを有する。
デコードに続いて、クライアント206はメモリ332に映像を格納し、及び／または１つ以上のメディア出力装置346を介して映像を再生する。クライアント206は、コンピュータ、ハンドヘルドのエンターテイメント装置、セットトップボックス、テレビ、特定用途向け集積回路(ASIC)等を含む多数の異なる方法で具体化されてもよい。
図４は、図２の映像エンコーダ220により実装される階層化符号化機構400を概略的に示している。IPネットワークでの伝送用のスケーラブル符号化ビットストリームを構成するために、ビットストリームは階層的でなければならない。
本発明の原理によると、エンコーダ220は、下位レイヤ(例えば、下位レイヤ映像402)と単一の上位レイヤ(例えば、上位レイヤ映像404)とを含む複数の階層に映像データのフレームを圧縮符号化する。
説明目的で、図４は９個の階層を示している。すなわち、高優先度の部分を構成するエレメンタリビットストリーム(下位レイヤ映像)402と、低優先度の部分を構成するエレメンタリビットストリーム(上位レイヤ映像)404と、下位レイヤのムービートラック406(高優先度の部分)と、上位レイヤのムービートラック408(低優先度の部分)と、エレメンタリビットストリーム(下位レイヤ映像)402用のヒントトラック410と、本発明の主要な特徴である上位レイヤのムービートラック408用の複数のヒントトラック412、414、416、418である。
従来技術の制約を克服するため、変化するチャネル特性と複雑性の制約とユーザの嗜好に適応可能なように、ネットワーク204を通じて映像データの伝送を促進するように、本発明は複数のヒントトラック412、414、416、418を生成する概念を導入する。上位レイヤのムービートラック408のような単一のムービートラックが、ヒントトラック412、414、416、418のような複数のヒントトラックによりヒントされると、上位レイヤのムービートラック408により示されるエレメンタリストリームは、複数のRTP接続によりネットワークで配信される。このように、従来技術では利用可能でない柔軟性が提供され、それによって、ストリーミングシステムはネットワーク状態に映像品質を適応させることが可能になる。すなわち、対応する伝送用エレメンタリビットストリームからデータを抽出するために、これらのヒントトラックのみがサーバで使用される。
換言すると、１つ以上の次の基準：ネットワークの主なトラヒック状態、複雑性の制約、ユーザの嗜好、を満たすように、複数の利用可能なヒントトラック(例えば、412、414、416、418)の中からこれらのヒントトラックのみが使用される。例えば、ネットワーク状態が変化すると、ムービートラック408の伝送を促進するため、複数の利用可能なヒントトラックの中から多少のヒントトラックがサーバにより使用されてもよい。
本発明のその他の主要な特徴は、複数の利用可能なヒントトラック(例えば、412、414、416、418)が、サーバ205のような何らかの汎用MPEG-4ストリーミングサーバにより使用され得るデータ情報を含み、専用又は専門のハードウェアを使用する必要性を不要にしていることである。
上位レイヤのムービートラック408のみが複数のヒントトラック412、414、416、418に仮想的に分割されることもわかる。すなわち、エレメンタリレイヤのムービートラック408は物理的に変更されないままになり、そのため、ローカルでの再生用に元々構成されたように完全に利用可能なままになる。
本発明のマルチトラックのヒンティング機構は前述の階層化符号化の場合に限定されないことも更にわかる。むしろ、その機構は、例えばヒントトラックを異なる種類の各映像フレーム(すなわち、Iフレーム、Pフレーム及びBフレーム)に関連付けることによる映像ストリームに対して、更に一般的な適用性を有している。このように、時間映像スケーラビリティが容易に実現される。
ここに記載されているシステムと機能と方法とモジュールは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組合せで実装され得ることがわかる。これらは、如何なる種類のコンピュータシステム、又はここに記載された方法を実行するように適合された他の装置により実装されてもよい。ハードウェアとソフトウェアの一般的な組み合わせは、コンピュータプログラムがロード及び実行されると、ここに記載されている方法を実行するようにコンピュータシステムを制御するコンピュータプログラムを備えた汎用コンピュータシステムでもよい。代替として、本発明の１つ以上の機能タスクを実行する専門のハードウェアを有する特殊用途コンピュータが使用されてもよい。本発明はまた、コンピュータプログラム製品に組み込まれてもよく、そのコンピュータプログラム製品は、ここに記載されている方法及び機能の実装を可能にする全ての機能を有し、コンピュータシステムにロードされると、その方法及び機能を実行することができる。この文脈におけるコンピュータプログラム、ソフトウェアプログラム、プログラム、プログラム製品又はソフトウェアは、情報処理機能を有するシステムに対して、直接的に又は次：(a)その他の言語、コード又は表記への変換、及び／又は(b)異なる素材形式での複製、のうちの一方若しくは双方の後で特定の機能を実行させることを目的とした命令のセットの如何なる言語、コード又は表記での如何なる表現をも意味する。
本発明の好ましい実施例の前記の説明は、例示及び説明の目的で提示されている。それらは完全であることを目的としているのではなく、また、開示された正確な形式に本発明を限定することを目的としているものではない。前述の教示を鑑みて明らかに多数の変更及び変形が可能である。当業者に明らかなそのような変更及び変形は、特許請求の範囲に記載の本発明の範囲に含まれることを目的としている。
従来技術によるMPEG-4ムービーファイルの構造である。 本発明の方法が実装され得る映像配信システムである。 図２の映像エンコーダ220の更に詳細な説明図である。 図２のクライアントの更に詳細な説明図である。 本発明の一実施例に従ってIPネットワークでの伝送用にスケーラブル符号化ビットストリームを構成する階層化符号化機構の概略図である。

Claims (13)

  1. ネットワークでスケーラブル符号化映像をストリーミングする方法であって、
    a)前記スケーラブル符号化映像の下位レイヤを表す第１のビットストリームをエンコードし、
    b)前記スケーラブル符号化映像の上位レイヤを表す第２のビットストリームをエンコードし、
    c)前記ネットワークでの前記エンコードされた第１のビットストリーム(下位レイヤ)の伝送を促進する第１のヒントトラックを生成し、
    d)前記ネットワークでの前記第２のビットストリーム(上位レイヤ)の少なくとも一部の伝送を促進する上位レイヤのヒントトラックを生成すること
    を有する方法。
  2. 請求項１に記載の方法であって、
    e)前記第１のヒントトラックに含まれるデータ要素に従って前記ネットワークで前記エンコードされた第１のビットストリーム(下位レイヤ)を伝送するステップと、
    f)前記ネットワークで伝送される前記エンコードされた第２のビットストリーム(上位レイヤ)の前記少なくとも一部を決定するステップと、
    g)前記複数の上位レイヤのヒントトラックの中から１つ以上の上位レイヤのヒントトラックに含まれるデータ要素に従って前記ネットワークで前記エンコードされた第２のビットストリーム(上位レイヤ)の前記決定された部分を伝送するステップと
    を更に有する方法。
  3. 請求項２に記載の方法であって、
    伝送される前記エンコードされた第２のビットストリームの一部を決定する前記ステップ(f)は、主なネットワーク状態と、ネットワーク帯域の変化と、ネットワークの複雑性の制約と、ユーザの嗜好とのうちの少なくとも１つに従って行われる方法。
  4. 請求項２に記載の方法であって、
    前記エンコードされた第２のビットストリームの前記決定された部分を伝送する前記ステップ(g)は、
    1)前記複数の上位レイヤのヒントトラックの中から、伝送される前記決定された部分を満たすために必要な上位レイヤのヒントトラックを特定するステップと、
    2)前記特定された上位レイヤのヒントトラック毎に別のエンド・ツー・エンドのネットワーク接続を確立するステップと
    を更に有する方法。
  5. 請求項４に記載の方法であって、
    前記確立したエンド・ツー・エンドのネットワーク接続がRTP接続である方法。
  6. 請求項１に記載の方法であって、
    前記ネットワークで前記第２のビットストリーム(上位レイヤ)の少なくとも一部の伝送を促進する複数の上位レイヤのヒントトラックを生成する前記ステップ(d)は、ローカルでの再生のために前記上位レイヤを維持することを更に有する方法。
  7. ネットワークでスケーラブル符号化映像をストリーミングするシステムであって、
    前記スケーラブル符号化映像の下位レイヤを表す第１のビットストリームをエンコードする手段と、
    前記スケーラブル符号化映像の上位レイヤを表す第２のビットストリームをエンコードする手段と、
    前記ネットワークでの前記エンコードされた第１のビットストリーム(下位レイヤ)の伝送を促進する第１のヒントトラックを生成する手段と、
    前記ネットワークでの前記第２のビットストリーム(上位レイヤ)の少なくとも一部の伝送を促進する上位レイヤのヒントトラックを生成する手段と
    を有するシステム。
  8. 請求項７に記載のシステムであって、
    前記第１のヒントトラックに含まれるデータ要素に従って前記ネットワークで前記エンコードされた第１のビットストリーム(下位レイヤ)を伝送する手段と、
    前記ネットワークで伝送される前記エンコードされた第２のビットストリーム(上位レイヤ)の前記少なくとも一部を決定する手段と、
    前記複数の上位レイヤのヒントトラックの中から１つ以上の上位レイヤのヒントトラックに含まれるデータ要素に従って前記ネットワークで前記エンコードされた第２のビットストリーム(上位レイヤ)の前記少なくとも一部を伝送する手段と
    を更に有するシステム。
  9. 請求項８に記載のシステムであって、
    伝送される前記エンコードされた第２のビットストリームの前記少なくとも一部を決定する前記手段は、主なネットワーク状態と、ネットワーク帯域の変化と、ネットワークの複雑性の制約と、ユーザの嗜好とのうちの少なくとも１つに従って行われるシステム。
  10. 請求項８に記載のシステムであって、
    前記エンコードされた第２のビットストリームの前記決定された部分を伝送する前記手段は、
    前記複数の上位レイヤのヒントトラックの中から、伝送される前記エンコードされた第２のビットストリームの前記少なくとも一部を満たすために必要な上位レイヤのヒントトラックを特定する手段と、
    前記複数の上位レイヤのヒントトラックの中から前記特定された上位レイヤのヒントトラック毎に別のエンド・ツー・エンドのネットワーク接続を確立する手段と
    を更に有するシステム。
  11. 請求項１０に記載のシステムであって、
    前記確立したエンド・ツー・エンドのネットワーク接続がRTP接続であるシステム。
  12. 請求項７に記載のシステムであって、
    ローカルでの再生に利用される前記上位レイヤを維持する手段を更に有するシステム。
  13. 請求項７に記載のシステムであって、
    前記エンコーダがMPEG-4エンコーダであるシステム。
JP2005501323A 2002-10-15 2003-09-19 Ｉｐネットワークでスケーラブル符号化映像を伝送するシステム及び方法 Withdrawn JP2006503517A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41863502P 2002-10-15 2002-10-15
US45191603P 2003-03-04 2003-03-04
PCT/IB2003/004254 WO2004036916A1 (en) 2002-10-15 2003-09-19 System and method for transmitting scalable coded video over an ip network

Publications (1)

Publication Number Publication Date
JP2006503517A true JP2006503517A (ja) 2006-01-26

Family

ID=32110178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005501323A Withdrawn JP2006503517A (ja) 2002-10-15 2003-09-19 Ｉｐネットワークでスケーラブル符号化映像を伝送するシステム及び方法

Country Status (6)

Country Link
US (1) US20050275752A1 (ja)
EP (1) EP1554883A1 (ja)
JP (1) JP2006503517A (ja)
KR (1) KR20050052531A (ja)
AU (1) AU2003267699A1 (ja)
WO (1) WO2004036916A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011501553A (ja) * 2007-10-16 2011-01-06 サムスン エレクトロニクス カンパニー リミテッド メディア・コンテンツ及びメタデータを符号化する方法及びその装置
JP2013201763A (ja) * 2005-07-19 2013-10-03 Apple Inc メディアデータ送信方法及び装置

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004062195A1 (fr) * 2003-01-02 2004-07-22 Zte Corporation Procede de distribution d'une largeur de bande a lien dynamique pour un anneau de paquet resilient
US9219729B2 (en) 2004-05-19 2015-12-22 Philip Drope Multimedia network system with content importation, content exportation, and integrated content management
KR100595665B1 (ko) * 2004-06-03 2006-07-03 엘지전자 주식회사 카메라폰의 원격 제어 시스템 및 방법
US8484308B2 (en) * 2004-07-02 2013-07-09 MatrixStream Technologies, Inc. System and method for transferring content via a network
US7983160B2 (en) * 2004-09-08 2011-07-19 Sony Corporation Method and apparatus for transmitting a coded video signal
US8312499B2 (en) * 2004-09-13 2012-11-13 Lsi Corporation Tunneling information in compressed audio and/or video bit streams
US20060224763A1 (en) * 2005-03-18 2006-10-05 Sharp Laboratories Of America, Inc. Switching and simultaneous usage of 802.11a and 802.11g technologies for video streaming
CN100358364C (zh) * 2005-05-27 2007-12-26 上海大学 基于h.264的精细颗粒可伸缩编码的码率控制方法
EP1742476A1 (en) * 2005-07-06 2007-01-10 Thomson Licensing Scalable video coding streaming system and transmission mechanism of the same system
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US7593032B2 (en) 2005-07-20 2009-09-22 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
AU2006346226B8 (en) 2005-07-20 2010-03-25 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
AU2006346225B8 (en) * 2005-07-20 2010-03-25 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
US7933294B2 (en) 2005-07-20 2011-04-26 Vidyo, Inc. System and method for low-delay, interactive communication using multiple TCP connections and scalable coding
US8436889B2 (en) 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
KR101029854B1 (ko) 2006-01-11 2011-04-15 노키아 코포레이션 스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합
EP2002655A1 (de) * 2006-03-29 2008-12-17 Nokia Siemens Networks Gmbh & Co. Kg Verfahren und vorrichtung zum erstellen eines datenblocks für einen skalierbaren datenstrom
JP5155323B2 (ja) 2006-09-29 2013-03-06 ヴィドヨ，インコーポレーテッド スケーラブルビデオ符号化サーバ及びマルチキャストを用いる多地点会議のためのシステム及び方法
KR100776680B1 (ko) 2006-11-09 2007-11-19 한국전자통신연구원 Ｓｖｃ 비디오 압축 비트스트림에 대한 패킷타입 분류방법과 이를 이용한 ｒｔｐ 패킷화 장치 및 그 방법
WO2008056878A1 (en) * 2006-11-09 2008-05-15 Electronics And Telecommunications Research Institute Method for determining packet type for svc video bitstream, and rtp packetizing apparatus and method using the same
US7739317B2 (en) * 2006-11-10 2010-06-15 Microsoft Corporation Data serialization and transfer
KR20080057972A (ko) * 2006-12-21 2008-06-25 삼성전자주식회사 프리뷰 기능을 갖는 멀티미디어 데이터 인코딩/디코딩 방법및 장치
US8243789B2 (en) * 2007-01-25 2012-08-14 Sharp Laboratories Of America, Inc. Methods and systems for rate-adaptive transmission of video
RU2510908C2 (ru) * 2007-02-23 2014-04-10 Нокиа Корпорейшн Описание характеристик агрегированных блоков медиаданных с обратной совместимостью
FR2924561A1 (fr) * 2007-05-14 2009-06-05 Sagem Comm Procede de memorisation d'un objet multimedia, structure de donnee et terminal associe
EP2015587B1 (fr) * 2007-05-14 2012-01-25 Apple Inc. Procédé de mémorisation d'un objet multimédia, structure de donnée et terminal associé
US8346959B2 (en) * 2007-09-28 2013-01-01 Sharp Laboratories Of America, Inc. Client-controlled adaptive streaming
US8170097B2 (en) * 2007-12-04 2012-05-01 Sony Corporation Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
EP2124449A1 (en) * 2008-05-19 2009-11-25 THOMSON Licensing Device and method for synchronizing an interactive mark to streaming content
US8261312B2 (en) * 2008-06-27 2012-09-04 Cisco Technology, Inc. Linear hint video streaming
EP2150022A1 (en) * 2008-07-28 2010-02-03 THOMSON Licensing Data stream comprising RTP packets, and method and device for encoding/decoding such data stream
EP2362994A1 (en) * 2008-11-26 2011-09-07 Telefonaktiebolaget L M Ericsson (PUBL) Technique for handling media content to be accessible via multiple media tracks
US20100161716A1 (en) * 2008-12-22 2010-06-24 General Instrument Corporation Method and apparatus for streaming multiple scalable coded video content to client devices at different encoding rates
EP2417772B1 (en) * 2009-04-09 2018-05-09 Telefonaktiebolaget LM Ericsson (publ) Media container file management
WO2010124136A1 (en) * 2009-04-24 2010-10-28 Delta Vidyo, Inc. An efficient video skimmer
JP2012531816A (ja) 2009-06-24 2012-12-10 デルタ・ヴィディオ・インコーポレイテッド アクティブビデオ電子番組ガイドのためのシステムおよび方法
US10410222B2 (en) 2009-07-23 2019-09-10 DISH Technologies L.L.C. Messaging service for providing updates for multimedia content of a live event delivered over the internet
US8473998B1 (en) * 2009-07-29 2013-06-25 Massachusetts Institute Of Technology Network coding for multi-resolution multicast
US10027518B2 (en) 2010-02-12 2018-07-17 Lg Electronics Inc. Broadcasting signal transmitter/receiver and broadcasting signal transmission/reception method
WO2011099749A2 (ko) * 2010-02-12 2011-08-18 엘지전자 주식회사 방송 신호 송/수신기 및 방송 신호 송/수신 방법
US9456234B2 (en) 2010-02-23 2016-09-27 Lg Electronics Inc. Broadcasting signal transmission device, broadcasting signal reception device, and method for transmitting/receiving broadcasting signal using same
WO2011105803A2 (ko) * 2010-02-23 2011-09-01 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 및 방송 신호 송/수신 장치에서 방송 신호 송수신 방법
KR20110117033A (ko) 2010-04-20 2011-10-26 삼성전자주식회사 미디어 데이터를 송수신하기 위한 인터페이스 장치 및 방법
US8521899B2 (en) * 2010-05-05 2013-08-27 Intel Corporation Multi-out media distribution system and method
CN101895580B (zh) * 2010-07-15 2013-08-28 上海大学 可伸缩视频流在多覆盖网络中基于拍卖的带宽分配方法
US20120110628A1 (en) * 2010-10-27 2012-05-03 Candelore Brant L Storage of Adaptive Streamed Content
JP5833682B2 (ja) 2011-03-10 2015-12-16 ヴィディオ・インコーポレーテッド スケーラブルなビデオ符号化のための依存性パラメータセット
EP3340575A1 (en) 2011-12-06 2018-06-27 EchoStar Technologies L.L.C. Remote storage digital video recorder and related operating methods
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
KR20170075802A (ko) * 2012-06-26 2017-07-03 미쓰비시덴키 가부시키가이샤 동화상 부호화·복호 장치 및 방법
US9716916B2 (en) 2012-12-28 2017-07-25 Echostar Technologies L.L.C. Adaptive multicast delivery of media streams
US9078001B2 (en) * 2013-06-18 2015-07-07 Texas Instruments Incorporated Efficient bit-plane decoding algorithm
KR101682627B1 (ko) * 2014-09-05 2016-12-05 삼성에스디에스 주식회사 영상 스트림 제공 방법 및 시스템과 중계 장치
WO2017117264A1 (en) 2015-12-29 2017-07-06 Echostar Technologies L.L.C Remote storage digital video recorder streaming and related methods
EP3267484B1 (en) * 2016-07-04 2021-09-01 ams International AG Sensor chip stack and method of producing a sensor chip stack
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
US20230377606A1 (en) * 2022-05-23 2023-11-23 Microsoft Technology Licensing, Llc Video editing projects using single bundled video files

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100295798B1 (ko) * 1997-07-11 2001-08-07 전주범 스케일러빌리티를구현한이진현상신호부호화장치
US6148005A (en) * 1997-10-09 2000-11-14 Lucent Technologies Inc Layered video multicast transmission system with retransmission-based error recovery
US6453355B1 (en) * 1998-01-15 2002-09-17 Apple Computer, Inc. Method and apparatus for media data transmission
EP1303987A1 (en) * 2000-07-13 2003-04-23 Koninklijke Philips Electronics N.V. Mpeg-4 encoder and output coded signal of such an encoder
US6614844B1 (en) * 2000-11-14 2003-09-02 Sony Corporation Method for watermarking a video display based on viewing mode
JP3843101B2 (ja) * 2002-03-04 2006-11-08 富士通株式会社 階層符号化データ配信装置および方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013201763A (ja) * 2005-07-19 2013-10-03 Apple Inc メディアデータ送信方法及び装置
JP2011501553A (ja) * 2007-10-16 2011-01-06 サムスン エレクトロニクス カンパニー リミテッド メディア・コンテンツ及びメタデータを符号化する方法及びその装置
US8660999B2 (en) 2007-10-16 2014-02-25 Samsung Electronics Co., Ltd. Method and apparatus for encoding media content and metadata thereof

Also Published As

Publication number Publication date
WO2004036916A1 (en) 2004-04-29
EP1554883A1 (en) 2005-07-20
KR20050052531A (ko) 2005-06-02
US20050275752A1 (en) 2005-12-15
AU2003267699A1 (en) 2004-05-04

Similar Documents

Publication Publication Date Title
JP2006503517A (ja) Ｉｐネットワークでスケーラブル符号化映像を伝送するシステム及び方法
JP6441521B2 (ja) 放送システムにおける制御メッセージ構成装置及び方法
US9426536B2 (en) Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems
TWI432035B (zh) 可縮放視訊編碼之圖像反向相容聚合技術
EP1514378B1 (en) Multimedia server with simple adaptation to dynamic network loss conditions
US7881335B2 (en) Client-side bandwidth allocation for continuous and discrete media
US20100226444A1 (en) System and method for facilitating video quality of live broadcast information over a shared packet based network
US20070183494A1 (en) Buffering of decoded reference pictures
US20100226428A1 (en) Encoder and decoder configuration for addressing latency of communications over a packet based network
Lu Signal processing for Internet video streaming: A review
US20110087794A1 (en) System and Method to Support Different Ingest and Delivery Schemes for a Content Delivery Network
US20100161716A1 (en) Method and apparatus for streaming multiple scalable coded video content to client devices at different encoding rates
EP2627082A2 (en) Method for transmitting a scalable http stream for natural reproduction upon the occurrence of expression-switching during http streaming
EP1554812B1 (en) System and method for providing error recovery for streaming fgs encoded video over an ip network
CN1689332A (zh) 用于经ip网络发送可伸缩编码视频的系统和方法
US20210385522A1 (en) Methods and systems for content delivery session recovery
Pourmohammadi et al. Streaming MPEG-4 over IP and Broadcast Networks: DMIF based architectures
CA2657434A1 (en) Encoder and decoder configuration for addressing latency of communications over a packet based network
Lei et al. Architectural thoughts and requirements considerations on video streaming over the Internet
CA2657439A1 (en) System and method for facilitating video quality of live broadcast information over a shared packet based network
Quinlan Efficient delivery of scalable media streaming over lossy networks
Onifade et al. Guaranteed QoS for Selective Video Retransmission
Kong et al. Platform for real-time content adaptive video transmission over heterogeneous networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060915

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070824