JP2003244676A - 動画配信システム、動画配信装置および方法、記録媒体、並びにプログラム - Google Patents
動画配信システム、動画配信装置および方法、記録媒体、並びにプログラムInfo
- Publication number
- JP2003244676A JP2003244676A JP2002041395A JP2002041395A JP2003244676A JP 2003244676 A JP2003244676 A JP 2003244676A JP 2002041395 A JP2002041395 A JP 2002041395A JP 2002041395 A JP2002041395 A JP 2002041395A JP 2003244676 A JP2003244676 A JP 2003244676A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- packet
- unit
- quality
- receiving terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 72
- 238000004891 communication Methods 0.000 claims description 80
- 230000000750 progressive effect Effects 0.000 claims description 66
- 238000012544 monitoring process Methods 0.000 claims description 17
- 239000000872 buffer Substances 0.000 abstract description 35
- 230000008569 process Effects 0.000 description 33
- 230000004044 response Effects 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- DFUSDJMZWQVQSF-XLGIIRLISA-N (2r)-2-methyl-2-[(4r,8r)-4,8,12-trimethyltridecyl]-3,4-dihydrochromen-6-ol Chemical compound OC1=CC=C2O[C@@](CCC[C@H](C)CCC[C@H](C)CCCC(C)C)(C)CCC2=C1 DFUSDJMZWQVQSF-XLGIIRLISA-N 0.000 description 1
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 101100096719 Arabidopsis thaliana SSL2 gene Proteins 0.000 description 1
- 101100321455 Arabidopsis thaliana ZHD7 gene Proteins 0.000 description 1
- 102100036738 Guanine nucleotide-binding protein subunit alpha-11 Human genes 0.000 description 1
- 101100283445 Homo sapiens GNA11 gene Proteins 0.000 description 1
- 102100032704 Keratin, type I cytoskeletal 24 Human genes 0.000 description 1
- 101100366560 Panax ginseng SS10 gene Proteins 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
- H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/64322—IP
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Graphics (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
対して、対応する品質の画像をそれぞれ同時に配信する
ことができるようにする。 【解決手段】 符号化部42は、動画像を、各フレーム
毎に、第1の品質に基づいて階層符号化し、バッファ部
43aに記憶させるとともに、第2の品質に基づいて階
層符号化し、バッファ部43bに記憶させる。パケット
化部44は、バッファ部43aに記憶された第1の品質
に対応するフレームをパケット化し、第1のパケット群
を生成するとともに、バッファ部43bに記憶された第
2の品質に対応するフレームをパケット化し、第2のパ
ケット群を生成する。通信部45は、パケット化部44
により生成された第1および第2のパケット群のうち、
任意のパケットをネットワーク13aに送信する。
Description
ム、動画配信装置および方法、記録媒体、並びにプログ
ラムに関し、特に、異なる品質の画像を指定する複数の
ユーザに対して、対応する品質の画像をそれぞれ同時に
配信することができるようにした動画配信システム、動
画配信装置および方法、記録媒体、並びにプログラムに
関する。
リーミング配信、またはビデオ会議やテレビ電話等に適
用されるリアルタイム通信等の分野において、異なる能
力を持つ複数の端末、例えば、解像度の低い表示装置と
処理能力の低いCPU(CentralProcessing Unit)を有す
る携帯電話機等と、解像度の高い表示装置と処理能力の
高いCPUを有するパーソナルコンピュータ等に対して、
サーバが、同一のソース(動画)を、それぞれの端末に
同時に配信することができるような動画配信システムが
要求されている。
ば、動画データを、フレームを単位として階層符号化す
る階層符号化技術を用いた動画配信システムが研究およ
び開発されている。この階層符号化技術が利用できる圧
縮・伸張方式として、例えば、MPEG(Moving Picture E
xperts Group)4、または、静止画だけでなく動画も扱
えるMotion JPEG(Joint Photographic Experts Grou
p)2000等が知られている。
lability技術と称される階層符号化技術が規格に取り込
まれ、プロファイル化される予定であり、この階層符号
化技術により、低いビットレートから高いビットレート
までの動画がスケーラブルに配信されることができると
いわれている。
ーブレット(Wavelet)変換の技術が採用されており、
このウェーブレット変換の特徴が生かされた階層符号化
技術およびパケット化技術、即ち、空間解像度またはSN
R(Signal to Noise Ratio)画質(以下、単に画質と記
述する)等の所定の品質に基づいて、フレームのデータ
を階層符号化し、所定の順序に並べて、階層的にパケッ
ト化したりするような技術が利用できる。
ては、階層化されたデータが、ファイルフォーマットで
保存されることができる。
は、サーバは、送信データ(配信する動画データ)とし
て、それぞれの受信端末の能力に応じて異なるフォーマ
ットの複数のデータ、または伝送レートに応じて異なる
複数のデータを用意する必要があったが、上述したよう
な階層符号化技術が適用された動画配信システムにおい
ては、サーバは、階層化された1つのファイルデータを
用意することで、異なる能力を有するそれぞれの受信端
末に対して、対応する送信データをそれぞれ同時に配信
することができる。
JPEG2000が動画配信システムに適用された場合、即
ち、Motion JPEG2000がベースとされて、1つのサーバ
から複数の受信端末に対して動画データが配信される場
合、受信端末が指定する品質によって、上述した階層化
された1つのファイルデータに対する処理内容がそれぞ
れ異なるという課題があった。
信端末により空間解像度のプログレッシブが指定される
とともに、第2の受信端末により画質のプログレッシブ
が指定されたものとする。
を、フレームを単位として階層符号化するとともにパケ
ット化して、1つのファイルデータ(複数のパケットか
ら構成されるファイルデータ)を生成するが、サーバ
は、その後の処理として、次のようなプログレッシッブ
毎に異なるそれぞれの処理を並行して行う必要があると
いった課題があった。
タを構成している複数のパケットのうち、それぞれのプ
ログレッシブに該当するパケットをそれぞれ選別し、選
別したパケットを、それぞれのプログレッシブ順序に従
ってそれぞれ並べ替えて、それぞれのプログレッシブに
該当するパケット群をそれぞれ生成し、さらに、生成し
たそれぞれのパケット群のうち、複数の受信端末が指定
するそれぞれのパケットを選択し、複数の受信端末にそ
れぞれ送信するといった複雑な処理を行わなければなら
ず、その結果、リアルタイムでこれらの処理を行うこと
は困難であるという課題があった。
るとともに、所定の順番に並べられたデータが復号され
表示されるときに、最初に低い品質の画像が表示され、
時間の経過とともに高い品質の画像が表示されていくよ
うな表示を、プログレッシブ表示と称しており、この所
定の符号化方式(プログレッシブ表示を実現する符号化
方式)を、プログレッシブ符号化方式と称し、また、こ
の所定の順番(プログレッシブ表示を実現するために符
号が並べられる順番)を、プログレッシブ順序と称して
いる。
号化方式(ウェーブレット変換を利用した符号化方式)
は、プログレッシブ符号化方式の1形態である。換言す
ると、Motion JPEG2000の符号化器は、対応する復号器
により復号される画像の表示がプログレッシブ表示とな
るように、動画データを、フレームを単位として階層符
号化する。
る品質を、以下、プログレッシブと称する。具体的に
は、プログレッシブ(品質)として、空間解像度、画
質、およびカラーコンポーネント等が利用される。
は、特開2000−341668において、上述したMotion JPEG
を使用して、フレーム毎に異なる品質の画像をそれぞれ
割り当てて、対応するフレームを複数の受信端末にそれ
ぞれ配信する動画配信システムを開示した。
化器)が、あらかじめ設定されたフレーム間隔、かつフ
レーム毎に異なる品質(受信端末の表示能力、受信端末
が指定するフレームレート、または、ネットワークの通
信利用可能帯域等)に基づいて、それぞれのフレームを
エンコードすることができるので、この動画配信システ
ムのサーバは、複数の受信端末に対して、対応する品質
の動画をそれぞれ配信することができる。
いては、1つのフレーム(同一のフレーム)に対して割
り当てられる品質の種類は1種類のみであるため、例え
ば、サーバが、30フレーム/秒でエンコードする能力が
あるものとすると、サーバは、15フレーム/秒の画像を
指定する受信端末には、15フレーム分を割り当て、5フ
レーム/秒の画像を指定する他の受信端末には、残り15
フレーム分の中から5フレーム分を割り当てるといった
ようにして、30フレームをそれぞれ割り振ることにな
る。
うに割り振るかで配信可能な受信端末の数が決定され
る。従って、この動画配信システムは、異なる品質の動
画をそれぞれ受信することができる受信端末の数が限ら
れているという課題を有している。
一度品質が割り当てられたフレームは、その品質でしか
使用できないため、上述したように、例えば、サーバ
が、30フレーム/秒でエンコードする能力があり、かつ
低解像度の15フレーム/秒の画像を指定する受信端末が
あったとすると、サーバは、高解像度の30フレーム/秒
の画像を指定する他の受信端末には、動画を配信するこ
とができないという課題を有している。
たものであり、異なる品質の画像を指定する複数のユー
ザに対して、対応する品質の画像をそれぞれ同時に配信
することができるようにするものである。
ムは、動画像を、所定の品質に基づいて、アクセスユニ
ットを単位として階層符号化する符号化手段と、符号化
手段により階層符号化されたアクセスユニットをパケッ
ト化して、それぞれの階層に対応する複数のパケットか
らなるパケット群を生成するパケット化手段と、パケッ
ト化手段により生成されたパケット群のうち、所定の階
層に対応するパケットを送信する第1の通信手段とを備
える動画配信装置と、動画配信装置の第1の通信手段に
より送信されたパケットを受信する第2の通信手段と、
第2の通信手段により受信されたパケットを復号する復
号手段とを備える受信端末とからなり、受信端末は、所
定の品質および所定の階層を、動画配信装置に対してそ
れぞれ指定することを特徴とする。
を使用することができる。
は、ウェーブレット変換を利用する符号化方式であるよ
うにすることができる。
は、Motion JPEG2000による符号化方式であるようにす
ることができる。
ラーコンポーネントの品質のうち、少なくとも1つを、
所定の品質として指定するようにすることができる。
位時間あたりに復号できるアクセスユニットの数を、所
定の品質として指定するようにすることができる。
は、第1の品質および第1の階層を指定し、第2の受信
端末は、第2の品質および第2の階層を指定し、符号化
手段は、同一のアクセスユニットを、第1の品質に基づ
いて階層符号化するとともに、第2の品質に基づいて階
層符号化し、パケット化手段は、符号化手段により第1
の品質に基づいて階層符号化されたアクセスユニットを
パケット化して、第1のパケット群を生成するととも
に、符号化手段により第2の品質に基づいて階層符号化
されたアクセスユニットをパケット化して、第2のパケ
ット群を生成し、第1の通信手段は、第1のパケット群
のうち、第1の階層に対応する第1のパケットを、第1
の受信端末に送信するとともに、第2のパケット群のう
ち、第2の階層に対応する第2のパケットを、第2の受
信端末に送信するようにすることができる。
品質に基づいて階層符号化されたアクセスユニットを記
憶する第1の記憶手段と、符号化手段により第2の品質
に基づいて階層符号化されたアクセスユニットを記憶す
る第2の記憶手段とをさらに設け、パケット化手段は、
第1の記憶手段に記憶された階層符号化されたアクセス
ユニットをパケット化して、第1のパケット群を生成す
るとともに、第2の記憶手段に記憶された階層符号化さ
れたアクセスユニットをパケット化して、第2のパケッ
ト群を生成するようにすることができる。
る品質および階層を含む所定の情報を生成する生成手段
をさらに設け、第2の通信手段は、生成手段により生成
された所定の情報を送信し、第1の通信手段は、第2の
通信手段により送信された所定の情報を受信し、符号化
手段は、第1の通信手段により受信された所定の情報に
含まれる品質に基づいて、動画像を、アクセスユニット
を単位として階層符号化し、第1の通信手段は、第1の
通信手段により受信された所定の情報に含まれる階層に
対応するパケットを送信するようにすることができる。
群のそれぞれのパケットは、RTPパケットであるように
することができる。
を介して相互に接続しており、動画配信装置は、ネット
ワークの状況を監視する監視手段をさらに設け、符号化
手段は、さらに、監視手段により監視されたネットワー
クの状況に基づいて、動画像を、アクセスユニットを単
位として階層符号化するようにすることができる。
トワーク層として、IPv4またはIPv6を用いるようにする
ことができる。
信端末により所定の品質および所定の階層がそれぞれ動
画配信装置に対して指定されると、動画配信装置では、
動画像が、指定された所定の品質に基づいて、アクセス
ユニットが単位とされて階層符号化され、符号化手段に
より階層符号化されたアクセスユニットがパケット化さ
れて、それぞれの階層に対応する複数のパケットからな
るパケット群が生成され、指定された所定の階層に対応
するパケットが受信端末に送信され、受信端末では、動
画配信装置により送信されたパケットが受信され、受信
されたパケットが復号される。
端末により指定された品質に基づいて、アクセスユニッ
トを単位として階層符号化する符号化手段と、符号化手
段により階層符号化されたアクセスユニットをパケット
化して、それぞれの階層に対応する複数のパケットから
なるパケット群を生成するパケット化手段と、パケット
化手段により生成されたパケット群のうち、受信端末に
より指定された階層に対応するパケットを送信する通信
手段とを備えることを特徴とする。
端末により指定された品質に基づいて、アクセスユニッ
トを単位として階層符号化する符号化ステップと、符号
化ステップの処理により階層符号化されたアクセスユニ
ットをパケット化して、それぞれの階層に対応する複数
のパケットからなるパケット群を生成するパケット化ス
テップと、パケット化ステップの処理により生成された
パケット群のうち、受信端末により指定された階層に対
応するパケットを送信する通信ステップとを含むことを
特徴とする。
を、受信端末により指定された品質に基づいて、アクセ
スユニットを単位として階層符号化する符号化ステップ
と、符号化ステップの処理により階層符号化されたアク
セスユニットをパケット化して、それぞれの階層に対応
する複数のパケットからなるパケット群を生成するパケ
ット化ステップと、パケット化ステップの処理により生
成されたパケット群のうち、受信端末により指定された
階層に対応するパケットを送信する通信ステップとを含
むことを特徴とする。
末により指定された品質に基づいて、アクセスユニット
を単位として階層符号化する符号化ステップと、符号化
ステップの処理により階層符号化されたアクセスユニッ
トをパケット化して、それぞれの階層に対応する複数の
パケットからなるパケット群を生成するパケット化ステ
ップと、パケット化ステップの処理により生成されたパ
ケット群のうち、受信端末により指定された階層に対応
するパケットを送信する通信ステップとをコンピュータ
に実行させることを特徴とする。
体、並びにプログラムにおいては、動画像が、受信端末
により指定された品質に基づいて、アクセスユニットが
単位とされて階層符号化され、階層符号化されたアクセ
スユニットがパケット化されて、それぞれの階層に対応
する複数のパケットからなるパケット群が生成され、生
成されたパケット群のうち、受信端末により指定された
階層に対応するパケットが送信される。
配信システム1の構成例を表している。
れる単位は、例えば、上述したように、フレームが単位
とされることも可能であるが、フィールドが単位とされ
ることも可能である。そこで、本発明では、この単位
を、アクセスユニットとも称する。
装置11は、映像や音声を入力し、それらを動画のデー
タに変換し、動画配信装置12に供給する。
に、映像のデータのみならず、音声のデータ等も併せ
て、動画データと称する。
ータを、ウェーブレット変換を使用した符号化方式(例
えば、Motion JPEG200による符号化方式)により、フレ
ームを単位として階層符号化し、階層符号化されたフレ
ームをパケット化して、それぞれの階層に対応する複数
のパケットからなるパケット群を生成する。
パケット群のうち、配信先(後述するユーザ端末15a
乃至ユーザ端末15cのうちのいずれかの端末)より指
定された階層に対応するパケットをネットワーク13a
に供給する。
3aは、インターネットであるものとする。この場合、
動画配信装置12は、パケットを、IP(Internet pro
tocol)パケットとしてネットワーク13aに供給す
る。
を、IPパケットに含まれているアドレスに対応する配信
先に供給する。
パケットは、配信先がユーザ端末15aであった場合、
例えば、ダイアルアップサービスを提供するサービスプ
ロバイダのネットワーク13bを介してユーザ端末15
aに、送信先が15bであった場合、例えば、ADSL(Asy
mmetrical Digital Subscriber Line)を使ったサービス
プロバイダのネットワーク13cを介してユーザ端末1
5bに、配信先がユーザ端末15cであった場合、例え
ば、無線ネットワークにより基地局14を介して移動端
末(携帯電話機等の端末)であるユーザ端末15cに、
それぞれ供給(配信)される。
それぞれは、ネットワーク13aに接続可能な処理速度
を有するCPU、その処理速度の範囲内で符号化されたデ
ータを復号できる復号器、および復号されたデータを所
定の解像度で表示する表示装置等を設けている。
5cのそれぞれは、それらの表示装置の解像度やCPUの
処理能力に応じて、端末の能力やビットレート等からな
る品質情報、即ちいわゆるQOS(Quality Of Service)情
報(後述する、「setup要求」等の情報)をそれぞれ生
成し、それぞれの対応する中継手段(ユーザ端末15a
の場合、ネットワーク13b、ユーザ端末15bの場
合、ネットワーク13c、および、ユーザ端末15cの
場合、無線ネットワークと基地局14)、並びにネット
ワーク13aを介して動画配信装置12にそれぞれ供給
する。
末15a乃至ユーザ端末15cに、ネットワーク13a
の利用可能帯域、および対応するQOS情報(それぞれの
ユーザ端末15a乃至ユーザ端末15cより供給された
QOS情報のうちの対応する端末のQOS情報)に基づいて、
上述したパケット群のうち、いずれのプログレッシブ順
序かついずれの階層に対応するパケットを配信するのか
をそれぞれ決定する。
1の動作の概略を説明する。
れぞれ配信される例を表している。
画配信装置12と各ユーザ端末15d乃至15gとの間
にある中継手段(例えば、ネットワーク13a等)は省
略されている。
つのグループ21と22が存在するものとする。
なるユーザ端末15dおよびユーザ端末15eから構成
され、それゆえに、動画配信装置12に対しては、空間
解像度のプログレッシブがユーザ端末15dおよびユー
ザ端末15eよりそれぞれ指定されるものとする。
端末15fおよびユーザ端末15gから構成されるが、
それぞれのネットワークの帯域が異なるため、動画配信
装置12に対しては、画質のプログレッシブ、即ち、同
じ空間解像度であるが、ビットレートが異なる品質が、
ユーザ端末15fおよびユーザ端末15gよりそれぞれ
指定されるものとする。
ッシブ毎(空間解像度と画質毎)に、プログレッシブ順
序を変えたフレームをそれぞれ用意することにより、異
なるグループ(グループ21とグループ22)に属する
受信端末(ユーザ端末15d乃至15g)のそれぞれに
対して、動画をスケーラブルにそれぞれ配信することが
できる。
プ21には空間解像度のプログレッシブ順序で符号化し
たパケット31−1乃至パケット31−3を用意し、ユ
ーザ端末15dおよびユーザ端末15eに対して、それ
ぞれの端末に対応する空間解像度のパケットをそれぞれ
送信する。
−3は、それぞれ空間解像度の小さい順にグループ化さ
れており、それぞれ解像度1、2、および3と識別でき
るものであるとする。
においては、例えば、パケット31−1乃至パケット3
1−3のそれぞれのヘッダ部分に、それぞれ解像度1、
2、または3に対応する識別子が挿入されており、この
ヘッダ部分により解像度が識別されるものとする。
であり、いま、ユーザ端末15dは、上述したQOS情報
として、解像度1を指定する旨を含む情報を生成し、動
画配信装置12に送信したものとすると、動画配信装置
12は、空間解像度のプログレッシブ順序で符号化した
パケット31−1乃至パケット31−3のうち、解像度
1のパケット31−1のみをユーザ端末15dに供給す
る。従って、ユーザ端末15dは、その小さな画面に対
応する空間解像度、即ち、空間解像度のレベルが解像度
1である動画を表示させることができる。
いものであり、いま、ユーザ端末15eは、上述したQO
S情報として、解像度3を指定する旨を含む情報を生成
し、動画配信装置12に送信したものとすると、動画配
信装置12は、空間解像度のプログレッシブ順序で符号
化した解像度1のパケット31−1乃至解像度3のパケ
ット31−3を、ユーザ端末15eに供給する。従っ
て、ユーザ端末15eは、その大きな画面に対応する空
間解像度、即ち、空間解像度のレベルが解像度3である
動画を表示させることができる。
プ21のユーザ端末15dおよびユーザ端末15eに、
空間解像度に対してスケーラブルに動画をそれぞれ配信
することができるので、動画配信装置1は、例えば、以
下のような例に適用されることができる。
小さい画面を有する端末が、監視カメラ等に対する表示
端末、即ち、動きを検出するための表示端末として要求
され、かつ、ネットワークの輻輳等によって画質が落と
されたり、またはフレームがスキップされたりするよう
な動画ではなく、連続したフレームレートが確保された
動画の表示が要求される場合、動画配信システム1は好
適である。
n)方式などの高ビットレートが要求される動画データ
が、インターネットのようなトラヒックが大きくかつ変
動する通信路によりユーザに配信される場合であって、
視覚的に違和感がない動画データとするために、その動
画データの解像度がNTSC(National Television System
Committee)方式程度に落とされることが要求されると
き、動画配信システム1は好適である。
fおよびユーザ端末15gは、上述したように、表示装
置のサイズは同じであるが、使用しているネットワーク
環境、即ち利用可能な帯域幅がそれぞれ違うため、それ
ぞれの帯域幅によってそれぞれ画質が変わることとな
る。
2に対して、画質のプログレッシブ順序で符号化したパ
ケット32−1乃至パケット32−3を用意し、ユーザ
端末15fおよびユーザ端末15gに対して、それぞれ
の端末に対応する画質のパケットをそれぞれ送信する。
−3は、それぞれ画質の低い順にグループ化されてお
り、それぞれ画質1、2、および3と識別できるもので
あるとする。
においては、パケット31−1乃至パケット31−3と
同様に、パケット32−1乃至パケット32−3のそれ
ぞれのヘッダ部分に、それぞれ画質1、2、または3に
対応する識別子が挿入されており、このヘッダ部分によ
り画質が識別されるものとする。
上述したQOS情報として、画質2を指定する旨を含む情
報を生成し、動画配信装置12に送信したものとする
と、動画配信装置12は、画質のプログレッシブ順序で
符号化したパケット32−1乃至パケット32−3のう
ち、画質1のパケット32−1および画質2のパケット
32−2をユーザ端末15fに供給する。従って、ユー
ザ端末15fは、画質のレベルが画質2である動画を表
示させることができる。
たQOS情報として、画質3を指定する旨を含む情報を生
成し、動画配信装置12に送信したものとすると、動画
配信装置12は、画質のプログレッシブ順序で符号化し
た画質1のパケット32−1乃至画質3のパケット32
−3を、ユーザ端末15gに供給する。従って、ユーザ
端末15gは、画質のレベルが画質3である動画を表示
させることができる。
プ22のユーザ(ユーザ端末15fおよびユーザ端末1
5g)に対して、画質に対してスケーラブルに動画を送
信(配信)することができるので、それぞれのユーザ端
末15fおよび15gは、それぞれの回線速度に応じた
画質の動画を受信することができる。
の構成を説明する。
動作を制御する。
給された動画データを、主制御部41より供給される制
御パラメータ(例えば、各フレームをどのプログレッシ
ブに基づいて階層符号化させるのかを示すパラメータ
等)に基づいて、フレームを単位として階層符号化し、
制御パラメータにより指定されているバッファ部43a
またはバッファ部43bに供給する。
パラメータに、各フレームを2種類のプログレッシブ
(第1および第2のプログレッシブ)に基づいて階層符
号化させる旨の情報が含まれていたものとすると、符号
化部42は、フレーム毎に、第1のプログレッシブに基
づいて階層符号化し、バッファ部43aに供給するとと
もに、第2のプログレッシブに基づいて階層符号化し、
バッファ部43bに供給する。
レッシブに基づいて階層符号化されたフレーム専用のバ
ッファであり、バッファ部43bは、第2のプログレッ
シブに基づいて階層符号化されたフレーム専用のバッフ
ァである。
バッファ部43aおよびバッファ部43bの2つだけで
あるが、実際には、主制御部42により供給される制御
パラメータに含まれるプログレッシブの種類の数だけ必
要となる。
ーム(画像)を、プログレッシブ順序を変えてそれぞれ
階層符号化し、対応するプログレッシブ専用のバッファ
(バッファ部43aおよびバッファ部43b等)にそれ
ぞれ供給する。
符号化が可能な符号化方式であれば限定されないが、こ
の例においては、上述したように、プログレッシッブ符
号化方式の1つであるMotion JPEG2000による符号化方
式(ウェーブレット変換を利用した符号化方式)である
ものとする。
に基づいて、バッファ部43aまたはバッファ部43b
に記憶されているデータ(符号化部42により階層符号
化されたフレームのデータ)を解析して、プログレッシ
ブの階層毎にデータ区切りを検出して、同一の階層毎に
パケット化し、それぞれの階層に対応する複数のパケッ
トからなるパケット群を生成する。この処理は、フレー
ム毎に、バッファ部43aおよびバッファ部43bのそ
れぞれに対して行われる。
ットのそれぞれに、各階層に対応する識別子を表すフラ
グをそれぞれ付与する。
の配信をする場合、受信端末(図1のユーザ端末15a
乃至ユーザ端末15c等)が、自身の能力に必要なパケ
ットを指定するために必要なものであり、従って、1対
1で通信される場合、この識別子は、必須とされない。
ァ部43aおよびバッファ部43bに記憶されているそ
れぞれの階層符号化されたフレームのデータを、対応す
るプログレッシブ順序でそれぞれパケット化し、各階層
に対応する複数のパケット(各階層に対応する識別子が
それぞれ付与された複数のパケット)からなるパケット
群をそれぞれ生成し、通信部45に供給する。
いて、供給されたパケット群のうち、主制御部41より
指示されたパケットを、ネットワーク13aに送信す
る。
は、さらに、パケットをIPパケットにすることができ
る。この場合、パケット化部44は、識別子に対応する
優先度を示すフラグをIPパケットのヘッダにつけ直し
てもよい。
おいては、TOS(Type Of Service)に対して優先度が示
され、Diffservに対応したネットワークにおいて優先度
のあるパケットの優先制御が可能となる。また、IP規格
のバージョン6(IPv6)においては、フローラベルに対
して優先度が示されることが可能である。
プロトコルが異なると、優先度が示される数も異なるた
め、符号化部42により階層符号化される場合の階層、
アプリケーションが意識されたパケットにおける優先
度、およびネットワーク層における優先度はそれぞれ対
応付けられて指定されることが望ましく、その指定の制
御を行うのが主制御部41である。
応付けが設定された制御であってもよいし、動的にネッ
トワークのトラフィックや受信端末(図1のユーザ端末
15a乃至ユーザ端末15c等)の負荷を考慮して優先
度の設定を変更する制御であってもよい。
る方法としては、例えば、IETF(Internet Engineering
Task Force)のRFC(Request For Comments)1889におけ
るRTCP(RTP(Real-time Transport Protocol) Control
Protocol)が適用された方法が知られている。
毎に、送出RTPパケット数やタイムスタンプ情報等の情
報、いわゆる「送信レポート」を受信側にパケットとし
て送信し、受信側は、この「送信レポート」に基づい
て、送信側にRTPパケットの紛失率、紛失パケット数、
受信した最大シーケンス番号、および到着間隔ジッタ等
を含む情報、いわゆる「受信レポート」を返信する。
のプロトコルであり、送信側と受信側の間に介在するネ
ットワークの種類、すなわちLAN(Local Area Networ
k)やWAN(Wide Area Network)等に関わらず機能するプ
ロトコルである。
は、このRTCPに基づいて、ネットワークのトラフィック
情報を監視し、上述した指定の制御を行うものとする。
ユーザ端末15a乃至ユーザ端末15c等)からネット
ワーク13aを介して供給されてくる受信レポートを、
それぞれネットワーク監視・解析部46に供給する。
れたこれらの各受信端末に対応する受信レポートに基づ
いて、ネットワークの輻輳状態を判定し、さらにその判
定結果に基づいて、符号化部42の符号化のレートを下
げたり、送信フレーム数を下げたりさせるための制御に
必要な各受信端末毎の情報を主制御部41へそれぞれ供
給する。
のこれらの情報のうち、所定の受信端末に対応する情報
等に基づいて、上述したように、その所定の受信端末に
対応する制御パラメータを生成し、符号化部42に供給
する。
端末毎のこれらの情報に基づいて、それぞれのプログレ
ッシブに対応する上述した設定の制御を行う。即ち、主
制御部41は、各プログレッシブ毎に、上述した識別子
に対応したIPの優先度を設定し、パケット化部44にそ
れぞれ供給し、パケット化部44は、これらのIPの優先
度を示すフラグを、対応するプログレッシブのIPパケ
ットのヘッダにそれぞれつけ直す。
部44を制御して優先度を設定することで、動画配信装
置12を使用するサービス提供者が最低限保証したい品
質を確保するように制御することができる。
たような、フレーム毎にプログレッシブ順序を変えてパ
ケット化し、それぞれのパケットに識別子を付ける動作
の詳細を説明する。
は、空間解像度と画質の2種類であるものとする。
より供給されてくる各フレームを、N(Nは、任意の整数
値)フレーム/秒で階層符号化できるものとする。
て、動画入力装置11より供給される順番に従って、0
からN-1までの番号がそれぞれ付与されているものとす
ると、符号化部42は、付与された番号が偶数であるフ
レームの場合、即ち、n%2=0(nは、上述した番号
(0乃至N−1までの値)のうちのいずれかの値であ
り、%2は2で割った余りを示している)の場合、空間
解像度に基づいて、また、付与された番号が奇数である
フレームの場合、即ち、n%2=1の場合、画質に基づい
て、それぞれのフレームを階層符号化するものとする。
れるように、符号化部42は、動画入力装置11から入
力されたフレームn(nは、上述した番号(0乃至N−
1までの値)のうちのいずれかの偶数の番号)のデータ
を、空間解像度に基づいて階層符号化して、フレームn
の符号化データ51とし、バッファ部43aに記憶させ
る。
像度に対して5階層のうちのいずれかの階層に対応する
符号化データにそれぞれ分割されている。
最低の空間解像度である空間解像度1の符号化データ6
1−1、空間解像度1より1レベル(階層)上の空間解
像度2の符号化データ61−2、空間解像度2より1レ
ベル上の空間解像度3の符号化データ61−3、空間解
像度3より1レベル上の空間解像度4の符号化データ6
1−4、および最高の空間解像度である空間解像度5の
符号化データ61−5から構成される符号化データ群で
ある。
1乃至符号化データ61−5のそれぞれをパケット化
し、パケット62−1乃至パケット62−5のそれぞれ
とし、即ち、パケット62−1乃至パケット62−5か
ら構成されるパケット群を生成し、通信部45へ供給す
る。
−5は、いずれもRTPパケットであり、パケット62−
p(pは、1乃至5の値のうちのいずれかの値)の拡張
ヘッダ(RTPヘッダに続くアプリケーション依存のヘッ
ダ)には、優先度として、符号化データ61−pの空間
解像度のレベル(階層)に対応する識別子p(空間解像
度pに対応する番号p)が付与される(RTPHpが付与さ
れる)。
−1乃至パケット62−5は、IPにより転送される場
合、IPパケットとされ、そのIPヘッダには、次表1に基
づいて設定された優先度が付与される(IPq(qは、1
乃至3の値のうちのいずれかの値)が付与される)。
(レベル)がRTPレベルの優先度に対応付けられる手法
は、本願出願人により、特開平2001−197499
にて開示されている。
ト群のうち、受信端末(例えば、図1のユーザ端末15
a)が指定する空間解像度r(rは、1乃至5までのう
ちのいずれかの値))に対応するパケット、即ち、パケ
ット62−1乃至パケット62−rをユーザ端末15a
に送信(配信)する。
1乃至パケット62−rを受信するとともに復号するこ
とで、空間解像度rの動画を表示させることができる。
のうちの全てのパケット、即ち、パケット62−1乃至
パケット62−5を受信するとともに復号することで、
最高の空間解像度(空間解像度5)の動画を表示させる
ことができる。
の場合、図5に示されるように、符号化部42は、動画
入力装置11から入力されたフレームn(nは、上述し
た番号(0乃至N−1までの値)のうちのいずれかの奇
数の番号)のデータ(フレームn-1と同一の画像デー
タ)を、画質に基づいて階層符号化して、フレームnの
符号化データ71とし、バッファ部43b(図4のバッ
ファ部43aとは別のバッファ部)に記憶させる。
対して5階層のうちのいずれかの階層に対応する符号化
データにそれぞれ分割されている。
ータ81−1、画質1より1レベル(階層)上の画質2
の符号化データ81−2、画質2より1レベル上の画質
3の符号化データ81−3、画質3より1レベル上の画
質4の符号化データ81−4、および最高の画質である
画質5の符号化データ81−5から構成される符号化デ
ータ群である。
1乃至符号化データ81−5のそれぞれをパケット化
し、パケット82−1乃至パケット82−5のそれぞれ
とし、即ち、パケット82−1乃至パケット82−5か
ら構成されるパケット群を生成し、通信部45へ供給す
る。
−5は、図4のパケット62−1乃至パケット62−5
と同様に、いずれもRTPパケットであり、パケット82
−p(pは、1乃至5の値のうちのいずれかの値)の拡
張ヘッダには、優先度として、符号化データ81−pの
画質のレベル(階層)に対応する識別子p(画質pに対
応する番号p)が付与される(RTPHpが付与される)。
2−5は、図4のパケット62−1乃至パケット62−
5と同様に、IPにより転送される場合、IPパケットとさ
れ、そのIPヘッダには、上述した表1に基づいて設定さ
れた優先度が付与される(IPq(qは、1乃至3の値の
うちのいずれかの値)が付与される)。
ト群のうち、受信端末(例えば、図1のユーザ端末15
a)が指定する画質r(rは、1乃至5までのうちのい
ずれかの値))に対応するパケット、即ち、パケット8
2−1乃至パケット82−rをユーザ端末15aに送信
(配信)する。
1乃至パケット82−rを受信するとともに復号するこ
とで、画質rの動画を表示させることができる。
のうちの全てのパケット、即ち、パケット82−1乃至
パケット82−5を受信するとともに復号することで、
最高の画質(画質5)の動画を表示させることができ
る。
ームを、プログレッシブ順序を変えて、それぞれ階層符
号化するとともにパケット化し、複数のグループに対し
て、それぞれのグループが指定するプログレッシブに対
応するパケットをそれぞれ配信することができる。
ーバ(例えば、図2の動画配信装置12)から異なる品
質をそれぞれ指定する複数のグループ(例えば、図2の
グループ21およびグループ22)に対して、動画デー
タを同時に配信することができる。
のグループ内のそれぞれの受信端末(例えば、図2のグ
ループ21内のユーザ端末15dおよびユーザ端末15
e、並びにグループ22内のユーザ端末15fおよびユ
ーザ端末15g)に対して、プログレッシブ(空間解像
度や品質等)のレベル(階層)が異なる動画データ、即
ち、それぞれの受信端末の能力や、それぞれのネットワ
ークの環境に応じた動画データを、対応する受信端末に
それぞれ配信することができる。
ケットの具体例を説明する。
のデータを、ウェーブレット変換により、空間解像度に
基づいて階層符号化し、それぞれのレベルの帯域に分割
した例を表している。
ット変換により分割が3回行われたフレームが示されて
おり、このフレームがバッファ部43aに記憶される。
帯域91−10)のサイズが1とされると、最も重要度
の高い低域(3LL)、即ち、帯域91−1が1/8の
サイズとされ、帯域91−1乃至帯域91−4で構成さ
れる次の低域(2LL)が1/4サイズとされ、帯域9
1−1乃至帯域91−7で構成される次の低域(LL)
が1/2サイズとされるように、符号化部42によりフ
レームが分割され、それらがバッファ部43aに記憶さ
れる。
ームを、空間解像度のプログレッシブ順序でパケット化
した場合のレイヤ構造の例を表している。
をパケット化したパケット101−1、帯域91−2乃
至帯域92−4をパケット化したパケット101−2、
帯域91−5乃至帯域91−7をパケット化したパケッ
ト101−3、および、帯域91−8乃至帯域91−1
0をパケット化したパケット101−4のそれぞれが、
図7に示される順番で、並べられたパケット群を生成す
る。
ト群(パケット101−1乃至パケット101−4)で
構成される。
として、動画配信装置12より受信端末(例えば、図1
のユーザ端末15a)に配信され、このレイヤ102−
1がユーザ端末15aにより復号されると、空間解像度
1/8の画像103−1が得られる。
ト101−2が、レイヤ102−2として、動画配信装
置12よりユーザ端末15aに配信され、このレイヤ1
02−2がユーザ端末15aにより復号されると、空間
解像度1/4の画像103−2が得られる。
01−3が、レイヤ102−3として、動画配信装置1
2よりユーザ端末15aに配信され、このレイヤ102
−3がユーザ端末15aにより復号されると、空間解像
度1/2の画像103−3が得られる。
101−4が、レイヤ102−4として、動画配信装置
12よりユーザ端末15aに配信され、このレイヤ10
2−4がユーザ端末15aにより復号されると、空間解
像度1、即ち元の画像103−4が得られる。
2により画質に基づいて階層符号化されたフレーム(バ
ッファ部43bに記憶されたフレーム)を、画質のプロ
グレッシブ順序でパケット化した場合のレイヤ構造の例
を表している。
1−1乃至パケット111−4からなるパケット群を生
成する。従って、1フレームの画像は、このパケット群
(パケット111−1乃至パケット111−4)で構成
される。
として、動画配信装置12よりユーザ端末15aに配信
され、このレイヤ112−1がユーザ端末15aにより
復号されると、最低画質(画質低)の画像113−1が
得られる。
ト111−2が、レイヤ112−2として、動画配信装
置12よりユーザ端末15aに配信され、このレイヤ1
12−2がユーザ端末15aにより復号されると、最低
画質より1レベル上の画質(画質中)の画像113−2
が得られる。
11−3が、レイヤ112−3として、動画配信装置1
2よりユーザ端末15aに配信され、このレイヤ112
−3がユーザ端末15aにより復号されると、画質中よ
り1レベル上の画質(画質高)の画像113−3が得ら
れる。
111−4が、レイヤ112−4として、動画配信装置
12よりユーザ端末15aに配信され、このレイヤ11
2−4がユーザ端末15aにより復号されると、最も高
い画質(画質最高)の画像113−4が得られる。
るための図であり、従来のサーバ(動画配信装置)が、
フレームを、空間解像度と画質の2つのプログレッシブ
を組み合わせてパケット化した場合のレイヤ構造の例を
表している。
ト群121−1乃至パケット群121−4から構成され
ている。また、パケット群121−1乃至パケット群1
21−4のそれぞれは、さらに、3レベル(階層)の画
質(例えば、画質が低いものから、画質1、画質2、お
よび画質3)のうちのいずれかのレベルに対応する3つ
のパケットからそれぞれ構成されている。
1として、ユーザ端末15aに配信され、このレイヤ1
22−1がユーザ端末15aにより復号されると、空間
解像度1/8の画像群(画質1、画質2、および画質3
の画像から構成される画像群)123−1が得られる。
ット群121−2が、レイヤ122−2として、動画配
信装置12よりユーザ端末15aに配信され、このレイ
ヤ122−2がユーザ端末15aにより復号されると、
空間解像度1/4の画像群123−2が得られる。
群121−3が、レイヤ122−3として、動画配信装
置12よりユーザ端末15aに配信され、このレイヤ1
22−3がユーザ端末15aにより復号されると、空間
解像度1/2の画像群123−3が得られる。
ト群121−4が、レイヤ122−4として、動画配信
装置12よりユーザ端末15aに配信され、このレイヤ
122−4がユーザ端末15aにより復号されると、空
間解像度1の画像群123−4が得られる。
高画質の画像を再生できない機種であった場合、レイヤ
122−1乃至レイヤ122−4のうちのいずれかのレ
イヤが配信されても、ユーザ端末15aは、最高画質の
画像を表示させることができない。
るような空間解像度のプログレッシブ順序で構成された
パケット群(レイヤ102−1乃至レイヤ102−4の
うちのいずれかのレイヤ)を指定した場合、レイヤ12
2−1乃至レイヤ122−4のうちのいずれのレイヤ
も、その指定に対応することができない。
サーバ(動画配信装置)が、ユーザの要求に応じたパケ
ットを送る場合、サーバは、図9のパケット群121−
1乃至121−4を構成している複数のパケットのう
ち、必要なパケットのみを選別し、バッファからそれら
を読み出すなどの複雑な処理を行っていたが、この処理
は、サーバにとって重負荷の処理であり、長時間の処理
時間が必要とされていた。
は、1つのサーバから、異なる品質を指定するそれぞれ
のユーザに対して、同時に(リアルタイムに)動画を配
信することができなかった。
たように(図7または図8に示されるように)、パケッ
トをそれぞれ単純な構造に並べて、ユーザ毎に対応する
パケットを送信する処理、例えば、フレーム毎にプログ
レッシッブを切り替え、異なる品質を指定するそれぞれ
のユーザグループに対して、対応するパケットのみをそ
れぞれ配信する処理を行うので、動画配信システム1
は、1つの動画配信装置(サーバ)12から複数のユー
ザグループ(例えば、図2のグループ21およびグルー
プ22)に対して、動画をそれぞれ同時に提供すること
ができる。
図1の動画配信装置12により送信されたパケットや
「送信レポート」をネットワーク13aを介して受信す
るとともに、「受信レポート」等を動画配信装置12に
ネットワーク13aを介して送信する通信部、通信部に
より受信されたパケットを復号する復号部、およぶ復号
部により復号されたパケットを、フレームを単位として
表示装置に表示させる表示制御部を設けていれば、その
構成は限定されない。
よびユーザ端末15bに示されるように、パーソナルコ
ンピュータ等から構成されたり、また、ユーザ端末15
cに示されるように、携帯電話機等から構成されたりす
ることができる。
パーソナルコンピュータである場合、即ち、ユーザ端末
15aである場合の構成例を説明する。
に記憶されているプログラム、または記憶部138から
RAM133にロードされたプログラムに従って各種の処
理を実行する。RAM133にはまた、CPU131が各種の
処理を実行する上において必要なデータなども適宜記憶
される。
通信部139により受信されたパケットを、入出力イン
タフェース135およびバス134を介して取得すると
ともに復号し、さらに、それを出力部137のディスプ
レイ等の表示装置にフレームを単位として表示させるよ
うに、バス134および入出力インタフェース135を
介して出力部137を制御する。
画配信装置12より送信された「送信レポート」を、通
信部139、入出力インタフェース135、および、バ
ス134を介して取得するとともに解析し、それに対す
る「受信レポート」を生成し、動画配信装置12に対し
て、バス134、入出力インタフェース135、および
通信部139を介して送信する。
「setup要求」および「play要求」を生成し、動画配信
装置12に対して、バス134、入出力インタフェース
135、および通信部139を介して送信するととも
に、動画配信装置12より送信された「setup要求応
答」および「play要求応答」を、通信部139、入出力
インタフェース135、および、バス134を介して取
得し、それらに対応する処理を実行する。
は、バス134を介して相互に接続されている。このバ
ス134にはまた、入出力インタフェース135も接続
されている。
ード、マウスなどよりなる入力部136、ディスプレイ
などよりなる出力部137、ハードディスクなどより構
成される記憶部138、モデム、ターミナルアダプタな
どより構成される通信部139が接続されている。通信
部139は、ネットワーク13bおよびネットワーク1
3aを介して、動画配信装置12と相互に通信する。
要に応じてドライブ140が接続され、磁気ディスク1
41、光ディスク142、光磁気ディスク143、或い
は半導体メモリ144などが適宜装着され、それらから
読み出されたコンピュータプログラムが、必要に応じて
記憶部138にインストールされる。
を参照して、ユーザ端末15aおよび動画配信装置12
の処理について、個別に説明するが、これらユーザ端末
15aおよび動画配信装置12の処理の関係は、図14
の対応するステップを参照することで、容易に理解する
ことが可能である。
図10のユーザ端末15aの処理について説明する。な
お、動画配信装置12と対応する処理については、図1
4を参照して説明する。また、ここでは、ユーザ端末1
5aの処理についてのみ説明するが、他の受信端末(例
えば、ユーザ端末15bおよびユーザ端末15c等)
も、基本的に同様の処理である。
TSP(Real-Time Streaming Protocol)を利用して、「s
etup要求」のデータを生成し、バス134、入出力イン
タフェース135、および、通信部139を介して送信
する。
たユーザ端末15aが指定する品質例えば、空間解像
度、画質、またはカラーコンポーネントといったプログ
レッシブ、それらのプログレッシブに対応する各階層
(レベル)のうちの指定する階層、および、1秒間あた
りに復号できるフレームの数(CPU131の処理能力)
等が含まれている。
情報に相当する。
求」のデータは、ネットワーク13bおよびネットワー
ク13aを介して、動画配信装置12に供給される。
給された「setup要求」のデータに対応する応答のデー
タ(以下、「setup要求応答」データと称する)を生成
し、ネットワーク13aおよびネットワーク13bを介
して、ユーザ端末15aに送信してくる(図12および
図14のステップS31乃至S35)。
31は、この「setup要求応答」のデータを通信部13
9、入出力インタフェース135、およびバス134を
介して受信し、受信した「setup要求応答」のデータが
「OK」のデータであるか否かを判定する。
「setup要求応答」のデータが「OK」のデータではない
と判定した場合(「setup要求応答」のデータが「NO」
のデータであると判定した場合)、動画配信装置12に
よる動画サービスが不能であると認識し、ステップS1
1に戻り、再度「setup要求」を動画配信装置12に送
信する。
1は、「setup要求応答」のデータが「OK」のデータで
あると判定した場合、動画配信装置12による動画サー
ビスが可能であると認識し、RTSPを利用して、「play要
求」のデータを生成し、バス134、入出力インタフェ
ース135、および通信部139を介して送信する。
のデータは、ネットワーク13bおよびネットワーク1
3aを介して、動画配信装置12に供給される。
給された「play要求」のデータに対応する応答のデータ
(以下、「play要求応答」データと称する)を生成し、
ネットワーク13aおよびネットワーク13bを介し
て、ユーザ端末15aに送信してくる(図12および図
14のステップS36)。
31は、この「play要求応答」のデータを通信部13
9、入出力インタフェース135、およびバス134を
介して受信し、次のデータ(後述するパケット等)がさ
らに送信されてくるまで、その処理を待機する。
ように、ユーザ端末15aにより指定された品質(「se
tup要求」のデータ)に基づいて、動画データを、フレ
ームを単位として階層符号化するとともにパケット化し
て、パケット群を生成し、そのパケット群のうち、ユー
ザ端末15aに対応するパケットを、ネットワーク13
aおよびネットワーク13bを介して、ユーザ端末15
aに送信してくる(図12および図13、並びに図14
のステップS37乃至S45)。
31は、このパケットを通信部139、入出力インタフ
ェース135、およびバス134を介して受信し、復号
する。
ットを、バス134および入出力インタフェース135
を介してフレームを単位としてディスプレィ(出力部1
37)に表示させる。
づいて、一定間隔毎にタイムスタンプや送信パケット数
を含む「送信レポート」のデータを生成し、ネットワー
ク13aおよびネットワーク13bを介して、ユーザ端
末15aに送信してくる(図13および図14のステッ
プS46)。
31は、この「送信レポート」のデータを通信部13
9、入出力インタフェース135、およびバス134を
介して受信し、ステップS17において、RTCPに基づい
て、その「送信レポート」に対応する「受信レポート」
のデータ(例えば、紛失パケット率や紛失パケット数な
どの情報が含まれたデータ)を生成し、バス134、入
出力インタフェース135、および、通信部139を介
して送信する。
ト」のデータは、ネットワーク13bおよびネットワー
ク13aを介して、動画配信装置12に供給される。
給された「受信レポート」のデータに基づいて、ネット
ワーク13aの状態を解析して、動的に品質制御を行
い、符号化部42の設定データやフレーム数を変えて、
次以降のフレームをパケット化し、対応するパケット
を、ネットワーク13aおよびネットワーク13bを介
して、ユーザ端末15aに送信してくる(図13および
図14のステップS41乃至S45)。
おいて、最後のフレームのパケットを受信したか否かを
判定し、受信していないと判定した場合、ステップS1
5に戻り、それ以降の処理を繰り返す。
り送信されてくるパケットを、通信部139、入出力イ
ンタフェース135、およびバス134を介して受信す
るとともに復号し、さらにバス134および入出力イン
タフェース135を介してフレームを単位としてディス
プレィ(出力部137)に表示させる。
いて、最後のフレームのパケットを受信したと判定した
場合、その処理を終了する。
1および図3の動画配信装置12の処理について説明す
る。なお、ユーザ端末15aと対応する処理について
は、図14を参照して説明する。
テップS11の処理で、ユーザ端末15aは、「setup
要求」のデータを生成し、ネットワーク13bおよびネ
ットワーク13aを介して、動画配信装置12に送信し
てくる。
部41は、この「setup要求」のデータを、通信部45
およびネットワーク監視・解析部46を介して受信す
る。
信端末(例えば、ユーザ端末15b、およびユーザ端末
15c等)より、それぞれ要求品質が異なる「setup要
求」のデータを受信することができる。なお、これらの
受信端末(ユーザ)の数は限定されない。
「setup要求」のデータには、例えば、プログレッシブ
として空間解像度を指定し、フレームレートとして30
フレーム/秒を指定する旨の情報が含まれていたものと
する。
/秒で、処理することができるものとする。
は、ユーザ端末15aを含む複数の受信端末からの「se
tup要求」のデータに基づいて、データの処理量の合計
が符号化部42の処理能力以下であるか否かを判定し、
処理能力以下ではないと判定した場合(処理能力を超え
ていると判定した場合)、ステップS33において、RT
SPを利用して、「setup要求応答」のデータとして「N
o」のデータ(サービス不能である旨のデータ)を生成
し、通信部45を介して、ネットワーク13aに送信す
る。
41は、データの処理量の合計が符号化部42の処理能
力以下であると判定した場合、ステップS34におい
て、1秒間のフレーム処理数を決定する。
30フレーム/秒を指定するとともに、空間解像度または
画質のうちのいずれかのプログレッシブをそれぞれ指定
する2つのユーザグループがあるものとし、また、主制
御部41が、フレーム処理数を、60フレームに決定し
たものとする。
プには、ユーザ端末15aが含まれているものとする。
ら符号化部42へ、30フレーム/秒で、各フレームが入
力されるものとすると、符号化部42は、1つのフレー
ム(同一静止画像のフレーム)に対して、異なる2つの
プログレッシブ順序(空間解像度および画質のプログレ
ッシブ順序)でそれぞれ階層符号化し、合計で2つの階
層符号化されたフレームを出力することができる。
は、RTSPを利用して、「setup要求応答」のデータとし
て「OK」のデータ(サービス可能である旨のデータ)を
生成し、通信部45を介して、ネットワーク13aに送
信する。
ト)をユーザ端末15aに送信することで、ユーザ端末
15aは、サービス可能であることを認識することがで
きるので、このステップS35の処理は必須な処理では
ない。
答」のデータ(「OK」、または「No」のデータ)は、ネ
ットワーク13aおよびネットワーク13bを介して、
ユーザ端末15aに供給される。
11と図14のステップS12の処理で、供給された
「setup要求応答」が「ok」であるか否かを判定し、「o
k」であると判定した場合、ステップS13の処理で、
「play要求」を生成し、ネットワーク13bおよびネッ
トワーク13aを介して動画配信装置12に対して送信
してくる。
部41は、この「play要求」のデータを、通信部45お
よびネットワーク監視・解析部46を介して受信し、RT
SPを利用して、「play要求応答」のデータを生成し、通
信部45を介して、ネットワーク13aに送信する。
答」のデータは、上述した図11と図14のステップS
14の処理で、ネットワーク13aおよびネットワーク
13bを介して、ユーザ端末15aに供給(受信)され
る。
は、符号化するフレームのデータのそそれぞれに対し
て、フレームナンバーを付与する。
ントアップされるので、それに対応する番号がそれぞれ
のフレームに付与される。
は、フレーム割り当てスケジューリングを行う。即ち、
主制御部41は、ステップS37の処理でフレームナン
バーが付与されたフレームのそれぞれに対して、どの受
信端末(または、ユーザグループ)に割り当てるのか、
また、どのプログレッシブ順序を割り当てるのかといっ
たスケジューリングを行う。
5aは、30フレーム/秒を指定するとともに、空間解像
度を指定しているので、主制御部41は、ユーザ端末1
5a(ユーザ端末15aが含まれるグループ)に対応す
るフレームとして、図4の例で説明したように、偶数番
号のフレームを割り当てるものとする。
が含まれるユーザグループ内の他の受信端末のうち、よ
り少ないフレームレートを指定する受信端末に対応する
フレームとして、例えば偶数番号のうちの4の倍数の番
号のフレームを割り当てるなどしてもよい。
したように、主制御部41は、画質を指定するユーザグ
ループに対しては、奇数番号のフレームを割り当てるも
のとする。
ぞれのフレーム割り当てに加えて、それぞれの受信端末
が必要とする品質レベル(階層)に対応するパケットを
それぞれ割り当てるものとする。
度のレベル(階層)が空間解像度1乃至空間解像度5と
された場合、ユーザ端末15aが空間解像度3を指定し
ているものとすると、主制御部41は、パケット62−
1乃至パケット62−3(空間解像度1の符号化データ
61−1乃至空間解像度3の符号化データ61−3がそ
れぞれパケット化されたパケット)を、ユーザ端末15
aに対応するパケットとして割り当てる。
部41は、初期状態であるか否かを判定する。
をいずれの受信端末に対しても送信(配信)していない
ものとすると、ステップS39において、主制御部41
は、初期状態であると判定し、ステップS40におい
て、ステップS38の処理で処理されたデータに基づい
て、符号化部42の制御パラメータの初期設定を行う。
空間解像度と画質の2つのプログレッシブが交互に切り
替えられて符号化されると設定されたものとする。
は、各フレームのデータを符号化し、パケット化部44
は、それらをパケット化する。
1から供給されてくるフレームのデータのうち、ユーザ
端末15aに対応するフレーム(偶数番号のフレーム)
のデータを、Motion JPEG2000の符号化方式(ウェーブ
レット変換を利用した符号化方式)により、空間解像度
に基づいて階層符号化し、バッファ部43aに記憶させ
る。
れるようなフレームの符号化データ51、即ち、符号化
データ61−1乃至符号化データ61−5が記憶され
る。
1乃至符号化データ61−5のそれぞれをRTPパケット
化するとともにIPパケット化して、パケット62−1乃
至62−5とする(パケット群を生成する)。
(pは、1乃至5のうちのいずれかの値)の拡張ヘッダ
には、優先度として、符号化データ61−pの空間解像
度のレベル(階層)に対応する識別子p(空間解像度p
に対応する番号p)を付与する(RTPHpが付与する)と
ともに、パケット62−pのIPヘッダには、上述した表
1に基づいて設定した優先度を付与する(IPq(qは、
1乃至3の値のうちのいずれかの値)を付与する)。
は、ユーザ(受信端末)毎に、ステップS44でパケッ
ト化されたパケット群のうち、それぞれのユーザに対応
するパケットを、通信部45を介してそれぞれ送信(配
信)する。
aに対しては、図4のパケット62−1乃至パケット6
2−3(ステップS38の処理で設定されたパケット)
を、通信部45を介して配信する。
3は、上述したように、図11と図14のステップS1
5の処理で、ユーザ端末15aにネットワーク13aお
よびネットワーク13bを介して受信され、復号され
る。
は、上述したように、一定間隔毎に、RTCPを利用して、
タイムスタンプや送信パケット数を含む「送信レポー
ト」のデータを、各受信端末のそれぞれに対して生成
し、対応する受信端末のそれぞれに、通信部45を介し
て送信する。
レポート」のデータは、上述したように、図11と図1
4のステップS16の処理で、ユーザ端末15aにネッ
トワーク13aおよびネットワーク13bを介して受信
され、ステップS17の処理で、その「送信レポート」
に対応する「受信レポート」のデータが、ユーザ端末1
5aより送信されてくる。
において、全てのパケットを送信したか否か判定し、送
信していないと判定した場合、ステップS39におい
て、初期状態ではないと判定し、ステップS41におい
て、ネットワーク監視・解析部46は、この「この受信
レポート」のデータを、ネットワーク13b、ネットワ
ーク13a、および通信部45を介して受信する。
ーク監視・解析部46は、他の受信端末からの「受信レ
ポート」についてもそれぞれ受信する。
視・解析部46は、受信した「受信レポート」のデータ
に基づいて、ネットワーク13aを解析し、その解析結
果を主制御部41に供給する。
て、ユーザ(受信端末)毎に品質レベルを決定する。
うに、RTCPにおけるRTPパケット紛失率、パケット紛失
数等の情報が含まれており、ネットワーク監視・解析部
46は、それらの情報に基づいて、ネットワーク13a
の輻輳状態を監視し、それぞれのユーザ(受信端末)へ
送信可能な帯域幅を演算し、主制御部41に供給する。
は、RTCPパケットをモニターして解析し、その解析結果
を主制御部41に供給する。
信可能な帯域幅、およびRTCPパケットの解析結果等に基
づいて、各ユーザ(受信端末)毎の品質レベルを決定す
る。
トレートを下げる必要があると解析されたものとする
と、主制御部41は、ユーザ端末15aに対して、品質
レベルを1つ落とし(空間解像度2とし)、それに伴
い、送信パケット量を減らす決定をする。
ット紛失率がρであるものとすると、次式(1)、また
は後述する次式(2)に示されるように制御される。 (次の)品質 = (要求品質の帯域)×(1−ρ) (1)
した場合の画質レベルの制御例(式(1)および後述す
る式(2)による制御例)を表しており、縦軸は、ディ
スとレーション(Distortion)、即ち画質の劣化の度合
いを、横軸は、ビットレートをそれぞれ表している。
失率ρが低い状態では、ビットレートの変化に対して
も、大きなディストーションの変化はなく、主制御部4
1は、例えば、点(1−ρ)R(Rは、ビットレートの
値)151−4が、代表的な画質、即ち、点151−1
乃至点151−3のうち、いずれの点に近いかを判定
し、近いと判定した点を、画質の代表値として使用する
(図15の例では、点151−4は、点131−3に近
いと判定されるので、画質の代表値として点151−3
に対応する値が使用される)。
設定されるため、図15においては、画質の代表値とし
て使用される点の個数は、点151−1乃至151−3
の3点であったが、画質の代表値として使用される点の
個数は限定されない。
合、ディストーションの度合いが急激に悪化するため、
画質が下げられるよりも、フレーム数が下げられた方
が、ユーザにとっての品質が高く評価されることが多い
ので、この場合、次式(2)に示されるように品質レベ
ルが制御される。 (次の)フレーム数 ≒ フレーム数 × (1−ρ) (2)
は、ステップS42の処理で設定された品質レベルに基
づいて、符号化部42の制御パラメータを再設定する。
(1)に基づいて設定される符号化部42の設定ビット
レート数、または、式(2)に基づいて設定される1秒
あたりに処理されるフレームの数である。
乃至S46において、この新たに設定された制御パラメ
ータに基づいて、フレームが符号化されるとともにパケ
ット化され、ユーザ(受信端末)毎に対応するパケット
が、それぞれのユーザに送信(配信)される。
において、ユーザ端末15aの品質レベルは、品質2に
決定されたので、ユーザ端末15aには、図4のパケッ
ト62−1およびパケット62−2(空間解像度1の符
号化データ61−1および空間解像度2の符号化データ
61−2がパケット化されたパケット)が送信(配信)
される。
は、全てのパケットを送信したと判定した場合、その処
理を終了する。
は、1つのサーバ(動画配信装置)12から、異なる品
質を指定する多数の受信端末(例えば、ユーザ端末15
a乃至ユーザ端末15c)に対して、動画をそれぞれ同
時に配信することができる。
化部42は、フレーム毎にプログレッシブ順序を変えて
それぞれ階層符号化することができるので、サーバ(動
画配信装置)12は、複数の異なる品質を指定するそれ
ぞれのユーザ(受信端末)に対して、少ない処理(必要
なパケットのみを選択配信する処理等)で動画を配信す
ることができる。
変換による階層符号化を利用することができるので、サ
ーバ(動画配信装置)12は、スケーラブルに配信する
システムを構築することができ、リアルタイムに動画を
配信することができる。
は、ネットワーク13aをモニターし、その輻輳状態に
応じて、符号化部42の制御パラメータを制御すること
ができるので、最適な品質の動画を配信することができ
る。
エアにより実行させることもできるが、ソフトウエアの
みでも実行できる。
は、図16に示されるように、パーソナルコンピュータ
等により構成される。
に記憶されているプログラム、または記憶部178から
RAM173にロードされたプログラムに従って各種の処
理を実行する。RAM173にはまた、CPU171が各種の
処理を実行する上において必要なデータなども適宜記憶
される。
は、バス174を介して相互に接続されている。このバ
ス174にはまた、入出力インタフェース175も接続
されている。
ード、マウスなどよりなる入力部176、ディスプレイ
などよりなる出力177、ハードディスクなどより構成
される記憶部178、モデム、ターミナルアダプタなど
より構成される通信部179が接続されている。通信部
179は、ネットワーク(図1では、インターネットで
あるネットワーク13a)を介しての通信処理を行う。
セスユニットを単位として階層符号化するとともにパケ
ット化して、パケット群を生成し、RAM173等に記憶
させる。
ット群のうち、いま配信する受信端末に対応するパケッ
トを読み出し、バス174、入出力インタフェース17
5、および通信部179を介して、ネットワーク13a
に送信する。
要に応じてドライブ180が接続され、磁気ディスク1
91、光ディスク192、光磁気ディスク193、或い
は半導体メモリ194などが適宜装着され、それらから
読み出されたコンピュータプログラムが、必要に応じて
記憶部178にインストールされる。
る場合には、そのソフトウエアを構成するプログラム
が、専用のハードウエアに組み込まれているコンピュー
タ、または、各種のプログラムをインストールすること
で、各種の機能を実行することが可能な、例えば汎用の
パーソナルコンピュータなどに、ネットワークや記録媒
体からインストールされる。
に、装置本体とは別に、ユーザにプログラムを提供する
ために配布される、プログラムが記憶されている磁気デ
ィスク191(フロッピディスクを含む)、光ディスク
192(CD-ROM(Compact Disk-Read Only Memory),DVD
(Digital Versatile Disk)を含む)、光磁気ディスク1
93(MD(Mini-Disk)を含む)、もしくは半導体メ
モリ194などよりなるパッケージメディアにより構成
されるだけでなく、装置本体に予め組み込まれた状態で
ユーザに提供される、プログラムが記憶されているROM
172や、記憶部178に含まれるハードディスクなど
で構成される。
されるプログラムを記述するステップは、含む順序に沿
って時系列的に行われる処理はもちろん、必ずしも時系
列的に処理されなくとも、並列的あるいは個別に実行さ
れる処理をも含むものである。
処理手段、および複数の装置により構成される装置全体
を表すものである。
品質の画像を指定する複数のユーザに対して、対応する
品質の画像をそれぞれ同時に配信することができる。
を示す図である。
を示す図である。
例を示す図である。
てパケット化されたパケットの構成例を示す図である。
ット化されたパケットの構成例を示す図である。
利用した符号化方式により、階層符号化したフレームの
構成例を示す図である。
てパケット化された場合におけるレイヤの構成例を示す
図である。
ット化された場合におけるレイヤの構成例を示す図であ
る。
質の組み合わせに基づいてパケット化された場合におけ
るレイヤの構成例を示す図である。
例を示す図である。
チャートである。
チャートである。
チャートである。
置の関係を示すアローチャートである。
質レベルを制御するために使用される曲線例を示す図で
ある。
構成例を示す図である。
R, 12 動画配信装置, 13a乃至13c ネッ
トワーク, 15a乃至15g ユーザ端末,31−1
乃至31−3,32−1乃至32−3,62−1乃至6
2−5,82−1乃至82−5,101−1乃至101
−4,111−1乃至111−4 パケット, 42
符号化部, 43a,43b バッファ部, パケット
化部44, 45 通信部, 46 ネットワーク監視
・解析部 51,71 フレームの符号化データ, 6
1−1乃至61−5,81−1乃至81−5 符号化デ
ータ, 102−1乃至102−4,112−1乃至1
12−4 レイヤ, 103−1乃至103−4,11
3−1乃至113−4 画像
Claims (16)
- 【請求項1】 動画像を、所定の品質に基づいて、アク
セスユニットを単位として階層符号化する符号化手段
と、 前記符号化手段により階層符号化された前記アクセスユ
ニットをパケット化して、それぞれの階層に対応する複
数のパケットからなるパケット群を生成するパケット化
手段と、 前記パケット化手段により生成された前記パケット群の
うち、所定の前記階層に対応する前記パケットを送信す
る第1の通信手段とを備える動画配信装置と、 前記動画配信装置の前記第1の通信手段により送信され
た前記パケットを受信する第2の通信手段と、 前記第2の通信手段により受信された前記パケットを復
号する復号手段とを備える受信端末とからなり、 前記受信端末は、前記所定の品質および前記所定の階層
を、前記動画配信装置に対してそれぞれ指定することを
特徴とする動画配信システム。 - 【請求項2】 前記符号化手段は、プログレッシブ符号
化方式を使用することを特徴とする請求項1に記載の動
画配信システム。 - 【請求項3】 前記符号化手段の前記プログレッシブ符
号化方式は、ウェーブレット変換を利用する符号化方式
であることを特徴とする請求項2に記載の動画配信シス
テム。 - 【請求項4】 前記ウェーブレット変換を利用する符号
化方式は、Motion JPEG2000による符号化方式であるこ
とを特徴とする請求項3に記載の動画配信システム。 - 【請求項5】 前記受信端末は、空間解像度、画質、ま
たはカラーコンポーネントの品質のうち、少なくとも1
つを前記所定の品質として指定することを特徴とする請
求項4に記載の動画配信システム。 - 【請求項6】 前記受信端末は、さらに、前記復号手段
が所定の単位時間あたりに復号できる前記アクセスユニ
ットの数を、前記所定の品質として指定することを特徴
とする請求項5に記載の動画配信システム。 - 【請求項7】 前記受信端末は複数個であり、 第1の前記受信端末は、第1の前記品質および第1の前
記階層を指定し、 第2の前記受信端末は、第2の前記品質および第2の前
記階層を指定し、 前記符号化手段は、同一の前記アクセスユニットを、前
記第1の品質に基づいて階層符号化するとともに、前記
第2の品質に基づいて階層符号化し、 前記パケット化手段は、前記符号化手段により前記第1
の品質に基づいて階層符号化された前記アクセスユニッ
トをパケット化して、第1の前記パケット群を生成する
とともに、前記符号化手段により前記第2の品質に基づ
いて階層符号化された前記アクセスユニットをパケット
化して、第2の前記パケット群を生成し、 前記第1の通信手段は、前記第1のパケット群のうち、
前記第1の階層に対応する第1の前記パケットを、前記
第1の受信端末に送信するとともに、前記第2のパケッ
ト群のうち、前記第2の階層に対応する第2の前記パケ
ットを、前記第2の受信端末に送信することを特徴とす
る請求項1に記載の動画配信システム。 - 【請求項8】 前記動画配信装置は、 前記符号化手段により前記第1の品質に基づいて階層符
号化された前記アクセスユニットを記憶する第1の記憶
手段と、 前記符号化手段により前記第2の品質に基づいて階層符
号化された前記アクセスユニットを記憶する第2の記憶
手段とをさらに備え、 前記パケット化手段は、前記第1の記憶手段に記憶され
た前記階層符号化されたアクセスユニットをパケット化
して、前記第1のパケット群を生成するとともに、前記
第2の記憶手段に記憶された前記階層符号化されたアク
セスユニットをパケット化して、前記第2のパケット群
を生成することを特徴とする請求項7に記載の動画配信
システム。 - 【請求項9】 前記受信端末は、前記動画配信装置に対
して指定する前記品質および前記階層を含む所定の情報
を生成する生成手段をさらに備え、 前記第2の通信手段は、前記生成手段により生成された
前記所定の情報を送信し、 前記第1の通信手段は、前記第2の通信手段により送信
された前記所定の情報を受信し、 前記符号化手段は、前記第1の通信手段により受信され
た前記所定の情報に含まれる前記品質に基づいて、前記
動画像を前記アクセスユニットを単位として階層符号化
し、 前記第1の通信手段は、前記第1の通信手段により受信
された前記所定の情報に含まれる前記階層に対応する前
記パケットを送信することを特徴とする請求項1に記載
の動画配信システム。 - 【請求項10】 前記パケット化手段により生成された
前記パケット群のそれぞれの前記パケットは、RTPパケ
ットであることを特徴とする請求項1に記載の動画配信
システム。 - 【請求項11】 前記動画配信装置と前記受信端末は、
ネットワークを介して相互に接続しており、 前記動画配信装置は、前記ネットワークの状況を監視す
る監視手段をさらに備え、 前記符号化手段は、さらに、前記監視手段により監視さ
れた前記ネットワークの状況に基づいて、前記動画像
を、前記アクセスユニットを単位として階層符号化する
ことを特徴とする請求項1に記載の動画配信システム。 - 【請求項12】 前記第1の通信手段と前記第2の通信
手段は、ネットワーク層として、IPv4またはIPv6を用い
ることを特徴とする請求項11に記載の動画配信システ
ム。 - 【請求項13】 動画像を受信端末に配信する動画配信
装置において、 前記動画像を、前記受信端末により指定された品質に基
づいて、アクセスユニットを単位として階層符号化する
符号化手段と、 前記符号化手段により階層符号化された前記アクセスユ
ニットをパケット化して、それぞれの階層に対応する複
数のパケットからなるパケット群を生成するパケット化
手段と、 前記パケット化手段により生成された前記パケット群の
うち、前記受信端末により指定された階層に対応する前
記パケットを送信する通信手段とを備えることを特徴と
する動画配信装置。 - 【請求項14】 動画像を受信端末に配信する動画配信
装置の動画配信方法において、 前記動画像を、前記受信端末により指定された品質に基
づいて、アクセスユニットを単位として階層符号化する
符号化ステップと、 前記符号化ステップの処理により階層符号化された前記
アクセスユニットをパケット化して、それぞれの階層に
対応する複数のパケットからなるパケット群を生成する
パケット化ステップと、 前記パケット化ステップの処理により生成された前記パ
ケット群のうち、前記受信端末により指定された前記階
層に対応する前記パケットを送信する通信ステップとを
含むことを特徴とする動画配信方法。 - 【請求項15】 動画像を受信端末に配信する動画配信
装置を制御するコンピュータのプログラムであって、 前記動画像を、前記受信端末により指定された品質に基
づいて、アクセスユニットを単位として階層符号化する
符号化ステップと、 前記符号化ステップの処理により階層符号化された前記
アクセスユニットをパケット化して、それぞれの階層に
対応する複数のパケットからなるパケット群を生成する
パケット化ステップと、 前記パケット化ステップの処理により生成された前記パ
ケット群のうち、前記受信端末により指定された前記階
層に対応する前記パケットを送信する通信ステップとを
含むことを特徴とするコンピュータが読み取り可能なプ
ログラムが記憶されている記録媒体。 - 【請求項16】 動画像を受信端末に配信する動画配信
装置を制御するコンピュータに、 前記動画像を、前記受信端末により指定された品質に基
づいて、アクセスユニットを単位として階層符号化する
符号化ステップと、 前記符号化ステップの処理により階層符号化された前記
アクセスユニットをパケット化して、それぞれの階層に
対応する複数のパケットからなるパケット群を生成する
パケット化ステップと、 前記パケット化ステップの処理により生成された前記パ
ケット群のうち、前記受信端末により指定された前記階
層に対応する前記パケットを送信する通信ステップとを
実行させるプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002041395A JP4150951B2 (ja) | 2002-02-19 | 2002-02-19 | 動画配信システム、動画配信装置および方法、並びにプログラム |
CNB038042487A CN100359945C (zh) | 2002-02-19 | 2003-02-12 | 运动图像分配系统、运动图像分配设备及方法 |
PCT/JP2003/001417 WO2003071801A1 (en) | 2002-02-19 | 2003-02-12 | Moving picture distribution system, moving picture distribution device and method, recording medium, and program |
US10/504,840 US7639882B2 (en) | 2002-02-19 | 2003-02-12 | Moving picture distribution system, moving picture distribution device and method, recording medium, and program |
KR20047012791A KR100994871B1 (ko) | 2002-02-19 | 2003-02-12 | 동화상 배신 시스템, 동화상 배신 장치 및 방법, 및 기록 매체 |
EP03705065A EP1478181A4 (en) | 2002-02-19 | 2003-02-12 | FILM DISTRIBUTION SYSTEM, FILM DISTRIBUTION DEVICE AND METHOD, RECORDING MEDIUM, AND PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002041395A JP4150951B2 (ja) | 2002-02-19 | 2002-02-19 | 動画配信システム、動画配信装置および方法、並びにプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003244676A true JP2003244676A (ja) | 2003-08-29 |
JP2003244676A5 JP2003244676A5 (ja) | 2005-04-07 |
JP4150951B2 JP4150951B2 (ja) | 2008-09-17 |
Family
ID=27750464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002041395A Expired - Fee Related JP4150951B2 (ja) | 2002-02-19 | 2002-02-19 | 動画配信システム、動画配信装置および方法、並びにプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US7639882B2 (ja) |
EP (1) | EP1478181A4 (ja) |
JP (1) | JP4150951B2 (ja) |
KR (1) | KR100994871B1 (ja) |
CN (1) | CN100359945C (ja) |
WO (1) | WO2003071801A1 (ja) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004054266A1 (ja) * | 2002-12-11 | 2004-06-24 | Sony Corporation | 送受信システム、送信装置および送信方法、受信装置および受信方法、記録媒体、並びにプログラム |
JP2005130428A (ja) * | 2003-09-29 | 2005-05-19 | Ntt Communications Kk | 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム |
WO2005050346A3 (ja) * | 2003-11-21 | 2005-07-14 | Nec Corp | コンテンツ配信及び受信装置, コンテンツ送受信システム, コンテンツ配信及び受信方法, コンテンツ配信及び受信用プログラム |
WO2005074277A1 (en) * | 2004-01-28 | 2005-08-11 | Samsung Electronics Co., Ltd. | Method and device for transmitting scalable video bitstream |
JP2005303927A (ja) * | 2004-04-15 | 2005-10-27 | Sony Corp | 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム |
JP2005333358A (ja) * | 2004-05-19 | 2005-12-02 | Ntt Communications Kk | 画像通信装置、その処理方法及びクライアント装置並びにプログラム |
JP2006174045A (ja) * | 2004-12-15 | 2006-06-29 | Ntt Communications Kk | 画像配信装置、プログラム及び方法 |
JP2006279502A (ja) * | 2005-03-29 | 2006-10-12 | Sanyo Electric Co Ltd | 画像処理装置、画像表示装置および方法 |
JPWO2005079016A1 (ja) * | 2004-02-18 | 2007-08-30 | 三菱電機株式会社 | スイッチ装置 |
JP2007243260A (ja) * | 2006-03-06 | 2007-09-20 | Nippon Telegr & Teleph Corp <Ntt> | 画像通信システム,画像配信システム,サーバ装置,画像通信方法,画像配信システム制御プログラムおよびそのプログラム記録媒体 |
JP2008503908A (ja) * | 2004-05-28 | 2008-02-07 | インフォーカス コーポレイション | タグベース通信プロトコルを備えた画像処理システムおよび方法 |
JP2008516565A (ja) * | 2004-10-12 | 2008-05-15 | ドロップレット テクノロジー インコーポレイテッド | モバイルイメージングアプリケーション、装置、アーキテクチャ及びサービスプラットホームアーキテクチャ |
JP2008244810A (ja) * | 2007-03-27 | 2008-10-09 | Fujitsu Ltd | センサ情報管理システム、センサ情報管理方法、センサ情報管理プログラム |
JP2009516402A (ja) * | 2005-09-14 | 2009-04-16 | エルジー エレクトロニクス インコーポレイティド | 符号化/復号化方法及び装置 |
JP2009200765A (ja) * | 2008-02-21 | 2009-09-03 | Yamaha Corp | 中継装置 |
JP2010513984A (ja) * | 2006-12-21 | 2010-04-30 | トムソン ライセンシング | ディスプレイのカラー・グレーディングを提供する方法、装置及びシステム |
US7721971B2 (en) | 2005-03-16 | 2010-05-25 | Ricoh Company, Ltd. | Image processing system, image processing method and computer readable information recording medium |
JP2010531619A (ja) * | 2007-06-28 | 2010-09-24 | トムソン ライセンシング | ネットワーク・アーキテクチャを介してディスプレイ装置特有のコンテンツを供給する方法、装置及びシステム |
US7925097B2 (en) | 2005-02-18 | 2011-04-12 | Sanyo Electric Co., Ltd. | Image display method, image coding apparatus, and image decoding apparatus |
KR101136564B1 (ko) | 2011-10-24 | 2012-04-19 | 이기택 | Ssd를 사용한 vod 서비스 방법 |
JP2014509113A (ja) * | 2011-01-19 | 2014-04-10 | サムスン エレクトロニクス カンパニー リミテッド | 相互階層最適化を用いた、マルチメディアデータパケットを送信する方法及び装置 |
JP2015510299A (ja) * | 2011-12-20 | 2015-04-02 | クアルコム,インコーポレイテッド | 通信システムにおける以前に通信されたセッション情報の圧縮バージョンの交換 |
JP2015529057A (ja) * | 2012-08-02 | 2015-10-01 | エリクソン テレビジョン インコーポレイテッド | ベースコンテンツおよび付加コンテンツを使用する方法、ならびに関連するクライアントデバイスおよびネットワークサーバデバイス |
KR101757771B1 (ko) * | 2009-12-01 | 2017-07-17 | 삼성전자주식회사 | 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치 |
JPWO2016080234A1 (ja) * | 2014-11-21 | 2017-08-31 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
JP2017223963A (ja) * | 2017-07-19 | 2017-12-21 | 株式会社東芝 | 電子機器および方法 |
JP2018501693A (ja) * | 2014-11-05 | 2018-01-18 | コリン,ジャン−クロード | 動画像を作成するための方法 |
JP2018129587A (ja) * | 2017-02-06 | 2018-08-16 | セコム株式会社 | データ配信システム及びデータ配信方法 |
JP2021119647A (ja) * | 2020-01-30 | 2021-08-12 | 三菱電機株式会社 | 映像記録装置 |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4150951B2 (ja) * | 2002-02-19 | 2008-09-17 | ソニー株式会社 | 動画配信システム、動画配信装置および方法、並びにプログラム |
US7116716B2 (en) | 2002-11-01 | 2006-10-03 | Microsoft Corporation | Systems and methods for generating a motion attention model |
JP4766888B2 (ja) * | 2004-03-30 | 2011-09-07 | 三洋電機株式会社 | 画像処理装置 |
US9053754B2 (en) | 2004-07-28 | 2015-06-09 | Microsoft Technology Licensing, Llc | Thumbnail generation and presentation for recorded TV programs |
US7986372B2 (en) | 2004-08-02 | 2011-07-26 | Microsoft Corporation | Systems and methods for smart media content thumbnail extraction |
EP1847071A4 (en) * | 2005-01-26 | 2010-10-20 | Internet Broadcasting Corp B V | MULTI-DIFFUSION IN LAYERS AND EXACT ATTRIBUTION OF BANDWIDTH AND PRIORIZATION OF PACKETS |
AU2006239877B2 (en) * | 2005-04-21 | 2012-11-01 | Boston Scientific Scimed, Inc. | Control methods and devices for energy delivery |
US7822278B1 (en) | 2005-09-20 | 2010-10-26 | Teradici Corporation | Methods and apparatus for encoding a digital video signal |
CN101283596B (zh) | 2005-10-07 | 2011-07-13 | 韩国电子通信研究院 | 使用分级视频的适配操作符的分级视频适配方法和装置 |
EP1932354A4 (en) * | 2005-10-07 | 2011-01-05 | Korea Electronics Telecomm | METHOD AND DEVICE FOR SCALABLE VIDEO ADJUSTMENT USING ADJUSTABLE OPERATORS FOR SCALABLE VIDEO |
US8180826B2 (en) | 2005-10-31 | 2012-05-15 | Microsoft Corporation | Media sharing and authoring on the web |
US7773813B2 (en) * | 2005-10-31 | 2010-08-10 | Microsoft Corporation | Capture-intention detection for video content analysis |
US8196032B2 (en) | 2005-11-01 | 2012-06-05 | Microsoft Corporation | Template-based multimedia authoring and sharing |
US20080181298A1 (en) * | 2007-01-26 | 2008-07-31 | Apple Computer, Inc. | Hybrid scalable coding |
US10778930B2 (en) | 2007-05-30 | 2020-09-15 | Comcast Cable Communications, Llc | Selection of electronic content and services |
CN103716649A (zh) * | 2007-06-28 | 2014-04-09 | 汤姆逊许可公司 | 通过网络结构提供显示装置专用的内容的方法、设备及系统 |
US8225362B2 (en) * | 2008-05-08 | 2012-07-17 | Sony Corporation | Distributed diagnostics for internet video link |
WO2009154657A1 (en) * | 2008-06-17 | 2009-12-23 | Thomson Licensing | Staggercasting method and apparatus using type of service (tos) information |
EP2323384A4 (en) * | 2008-08-28 | 2013-03-13 | Sumitomo Electric Industries | METHOD FOR DISTRIBUTING IMAGE DATA FROM MOVING IMAGES |
KR101557504B1 (ko) * | 2009-04-13 | 2015-10-07 | 삼성전자주식회사 | 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템 |
US20100309987A1 (en) * | 2009-06-05 | 2010-12-09 | Apple Inc. | Image acquisition and encoding system |
US8525933B2 (en) | 2010-08-02 | 2013-09-03 | Dolby Laboratories Licensing Corporation | System and method of creating or approving multiple video streams |
US20120140645A1 (en) * | 2010-12-03 | 2012-06-07 | General Instrument Corporation | Method and apparatus for distributing video |
US8891863B2 (en) | 2011-06-13 | 2014-11-18 | Dolby Laboratories Licensing Corporation | High dynamic range, backwards-compatible, digital cinema |
WO2013086472A1 (en) * | 2011-12-09 | 2013-06-13 | Micropower Technologies, Inc. | Wireless camera data management |
US8863208B2 (en) | 2012-06-18 | 2014-10-14 | Micropower Technologies, Inc. | Synchronizing the storing of streaming video |
US9497492B2 (en) | 2013-03-15 | 2016-11-15 | Ricoh Company, Limited | Distribution control system, distribution system, distribution control method, and computer-readable storage medium |
JP2014017003A (ja) * | 2013-08-27 | 2014-01-30 | Thomson Licensing | ネットワーク・アーキテクチャを介してディスプレイ装置特有のコンテンツを供給する方法、装置及びシステム |
US11039181B1 (en) | 2016-05-09 | 2021-06-15 | Google Llc | Method and apparatus for secure video manifest/playlist generation and playback |
US10771824B1 (en) | 2016-05-10 | 2020-09-08 | Google Llc | System for managing video playback using a server generated manifest/playlist |
US10785508B2 (en) | 2016-05-10 | 2020-09-22 | Google Llc | System for measuring video playback events using a server generated manifest/playlist |
US10595054B2 (en) | 2016-05-10 | 2020-03-17 | Google Llc | Method and apparatus for a virtual online video channel |
US11069378B1 (en) * | 2016-05-10 | 2021-07-20 | Google Llc | Method and apparatus for frame accurate high resolution video editing in cloud using live video streams |
KR20210067788A (ko) * | 2019-11-29 | 2021-06-08 | 삼성전자주식회사 | 전자 장치, 시스템 및 그 제어 방법 |
Family Cites Families (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6294775A (ja) * | 1985-10-21 | 1987-05-01 | 宇宙開発事業団 | サ−マルポンプ |
JPS62194775A (ja) | 1986-02-20 | 1987-08-27 | Nec Corp | 画像伝送方式およびその端末装置と通信網管理装置 |
JPH0564006A (ja) | 1991-08-29 | 1993-03-12 | Fujitsu Ltd | 画像データ供給制御方式 |
JPH05216800A (ja) * | 1992-02-04 | 1993-08-27 | Mitsubishi Electric Corp | ネットワーク通信方式 |
US5515377A (en) * | 1993-09-02 | 1996-05-07 | At&T Corp. | Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks |
US5742892A (en) * | 1995-04-18 | 1998-04-21 | Sun Microsystems, Inc. | Decoder for a software-implemented end-to-end scalable video delivery system |
KR100477474B1 (ko) * | 1995-06-29 | 2005-08-01 | 톰슨 | 디지털신호프로세싱장치및방법 |
JP3788823B2 (ja) * | 1995-10-27 | 2006-06-21 | 株式会社東芝 | 動画像符号化装置および動画像復号化装置 |
JPH11155144A (ja) | 1997-08-20 | 1999-06-08 | Canon Inc | 画像処理システム及びその制御方法、画像処理装置及びその制御方法、コンピュータ可読メモリ |
JP4332246B2 (ja) | 1998-01-14 | 2009-09-16 | キヤノン株式会社 | 画像処理装置、方法、及び記録媒体 |
US6650783B2 (en) | 1998-01-14 | 2003-11-18 | Canon Kabushiki Kaisha | Image processing apparatus and method for processing images with different scalabilites |
JPH11313301A (ja) * | 1998-02-27 | 1999-11-09 | Hitachi Ltd | 番組配信システム、番組配信装置、番組品質変換装置、及び番組受信装置 |
JP3613983B2 (ja) * | 1998-06-25 | 2005-01-26 | ソニー株式会社 | 画像生成装置及び方法、並びに電子スチルカメラ |
JP2000078573A (ja) | 1998-09-03 | 2000-03-14 | Hitachi Ltd | 階層符号化データ配信装置 |
US6317462B1 (en) * | 1998-10-22 | 2001-11-13 | Lucent Technologies Inc. | Method and apparatus for transmitting MPEG video over the internet |
US6510553B1 (en) * | 1998-10-26 | 2003-01-21 | Intel Corporation | Method of streaming video from multiple sources over a network |
EP1001635B1 (en) * | 1998-11-09 | 2008-02-13 | Sony Corporation | Data recording apparatus and method |
US6496980B1 (en) * | 1998-12-07 | 2002-12-17 | Intel Corporation | Method of providing replay on demand for streaming digital multimedia |
JP4270623B2 (ja) * | 1999-01-13 | 2009-06-03 | 三菱電機株式会社 | 時系列データ蓄積配信システム |
US6996097B1 (en) * | 1999-05-21 | 2006-02-07 | Microsoft Corporation | Receiver-driven layered error correction multicast over heterogeneous packet networks |
JP2001045098A (ja) | 1999-05-26 | 2001-02-16 | Canon Inc | データ通信システム、データ通信装置、データ通信方法及び記憶媒体 |
JP4277365B2 (ja) | 1999-05-31 | 2009-06-10 | ソニー株式会社 | 動画配信システム |
US7028096B1 (en) * | 1999-09-14 | 2006-04-11 | Streaming21, Inc. | Method and apparatus for caching for streaming data |
US7114174B1 (en) * | 1999-10-01 | 2006-09-26 | Vidiator Enterprises Inc. | Computer program product for transforming streaming video data |
JP2001111983A (ja) | 1999-10-12 | 2001-04-20 | Seiko Epson Corp | データ処理装置およびデータ処理方法ならびに情報記録媒体 |
JP2001111433A (ja) | 1999-10-12 | 2001-04-20 | Seiko Epson Corp | 圧縮データ処理装置および圧縮データ処理方法ならびに情報記録媒体 |
US7159235B2 (en) * | 2000-01-28 | 2007-01-02 | Sedna Patent Services, Llc | Method and apparatus for content distribution via non-homogeneous access networks |
JP3999432B2 (ja) | 2000-02-08 | 2007-10-31 | 富士フイルム株式会社 | 画像処理方法および装置並びに記録媒体 |
JP2001258031A (ja) * | 2000-03-08 | 2001-09-21 | Sony Corp | 信号処理方法、画像符号化装置及び画像復号装置 |
US7751473B2 (en) * | 2000-05-15 | 2010-07-06 | Nokia Corporation | Video coding |
GB2362532B (en) * | 2000-05-15 | 2004-05-05 | Nokia Mobile Phones Ltd | Video coding |
JP3931531B2 (ja) | 2000-06-07 | 2007-06-20 | Kddi株式会社 | 階層符号化ビデオ配信システム |
KR20020030101A (ko) * | 2000-06-30 | 2002-04-22 | 요트.게.아. 롤페즈 | 비디오 시퀀스의 압축을 위한 인코딩 방법 |
FI109393B (fi) * | 2000-07-14 | 2002-07-15 | Nokia Corp | Menetelmä mediavirran enkoodaamiseksi skaalautuvasti, skaalautuva enkooderi ja päätelaite |
FI120125B (fi) * | 2000-08-21 | 2009-06-30 | Nokia Corp | Kuvankoodaus |
US7463683B2 (en) * | 2000-10-11 | 2008-12-09 | Koninklijke Philips Electronics N.V. | Method and apparatus for decoding spatially scaled fine granular encoded video signals |
CN1636394A (zh) * | 2000-10-11 | 2005-07-06 | 皇家菲利浦电子有限公司 | 细粒视频编码的空间可缩放性 |
JP3699910B2 (ja) * | 2000-10-31 | 2005-09-28 | 株式会社東芝 | データ伝送装置、データ伝送方法及びプログラム |
US7237032B2 (en) * | 2001-02-16 | 2007-06-26 | Microsoft Corporation | Progressive streaming media rendering |
JP2003152544A (ja) * | 2001-11-12 | 2003-05-23 | Sony Corp | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
GB2382940A (en) * | 2001-11-27 | 2003-06-11 | Nokia Corp | Encoding objects and background blocks |
JP3757857B2 (ja) * | 2001-12-12 | 2006-03-22 | ソニー株式会社 | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
US20030135863A1 (en) * | 2002-01-17 | 2003-07-17 | Koninklijke Philips Electronics N.V. | Targeted scalable multicast based on client bandwidth or capability |
JP4150951B2 (ja) * | 2002-02-19 | 2008-09-17 | ソニー株式会社 | 動画配信システム、動画配信装置および方法、並びにプログラム |
US7062096B2 (en) * | 2002-07-29 | 2006-06-13 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for performing bitplane coding with reordering in a fine granularity scalability coding system |
JP2006507728A (ja) * | 2002-11-21 | 2006-03-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 残りのバッテリー容量に基づくスケーラブルなビデオ圧縮 |
US20060023748A1 (en) * | 2004-07-09 | 2006-02-02 | Chandhok Ravinder P | System for layering content for scheduled delivery in a data network |
KR100662350B1 (ko) * | 2004-08-23 | 2007-01-02 | 엘지전자 주식회사 | 영상 전송 장치 및 방법 |
-
2002
- 2002-02-19 JP JP2002041395A patent/JP4150951B2/ja not_active Expired - Fee Related
-
2003
- 2003-02-12 CN CNB038042487A patent/CN100359945C/zh not_active Expired - Fee Related
- 2003-02-12 KR KR20047012791A patent/KR100994871B1/ko not_active IP Right Cessation
- 2003-02-12 EP EP03705065A patent/EP1478181A4/en not_active Withdrawn
- 2003-02-12 WO PCT/JP2003/001417 patent/WO2003071801A1/ja active Application Filing
- 2003-02-12 US US10/504,840 patent/US7639882B2/en not_active Expired - Fee Related
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7593424B2 (en) | 2002-12-11 | 2009-09-22 | Sony Corporation | Transmitting/receiving system, transmitting apparatus, transmitting method, receiving apparatus, receiving method, recording medium, and program |
WO2004054266A1 (ja) * | 2002-12-11 | 2004-06-24 | Sony Corporation | 送受信システム、送信装置および送信方法、受信装置および受信方法、記録媒体、並びにプログラム |
JP2005130428A (ja) * | 2003-09-29 | 2005-05-19 | Ntt Communications Kk | 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム |
WO2005050346A3 (ja) * | 2003-11-21 | 2005-07-14 | Nec Corp | コンテンツ配信及び受信装置, コンテンツ送受信システム, コンテンツ配信及び受信方法, コンテンツ配信及び受信用プログラム |
US7627184B2 (en) | 2003-11-21 | 2009-12-01 | Nec Corporation | Content distribution/reception device, content transmission/reception method, and content distribution/reception program |
WO2005074277A1 (en) * | 2004-01-28 | 2005-08-11 | Samsung Electronics Co., Ltd. | Method and device for transmitting scalable video bitstream |
JP4499042B2 (ja) * | 2004-02-18 | 2010-07-07 | 三菱電機株式会社 | スイッチ装置 |
JPWO2005079016A1 (ja) * | 2004-02-18 | 2007-08-30 | 三菱電機株式会社 | スイッチ装置 |
JP2005303927A (ja) * | 2004-04-15 | 2005-10-27 | Sony Corp | 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム |
JP2005333358A (ja) * | 2004-05-19 | 2005-12-02 | Ntt Communications Kk | 画像通信装置、その処理方法及びクライアント装置並びにプログラム |
JP2008503908A (ja) * | 2004-05-28 | 2008-02-07 | インフォーカス コーポレイション | タグベース通信プロトコルを備えた画像処理システムおよび方法 |
JP2010268494A (ja) * | 2004-05-28 | 2010-11-25 | Seiko Epson Corp | 画像ソース |
JP2008516565A (ja) * | 2004-10-12 | 2008-05-15 | ドロップレット テクノロジー インコーポレイテッド | モバイルイメージングアプリケーション、装置、アーキテクチャ及びサービスプラットホームアーキテクチャ |
JP2006174045A (ja) * | 2004-12-15 | 2006-06-29 | Ntt Communications Kk | 画像配信装置、プログラム及び方法 |
US7925097B2 (en) | 2005-02-18 | 2011-04-12 | Sanyo Electric Co., Ltd. | Image display method, image coding apparatus, and image decoding apparatus |
US7721971B2 (en) | 2005-03-16 | 2010-05-25 | Ricoh Company, Ltd. | Image processing system, image processing method and computer readable information recording medium |
JP2006279502A (ja) * | 2005-03-29 | 2006-10-12 | Sanyo Electric Co Ltd | 画像処理装置、画像表示装置および方法 |
JP2009516402A (ja) * | 2005-09-14 | 2009-04-16 | エルジー エレクトロニクス インコーポレイティド | 符号化/復号化方法及び装置 |
JP2007243260A (ja) * | 2006-03-06 | 2007-09-20 | Nippon Telegr & Teleph Corp <Ntt> | 画像通信システム,画像配信システム,サーバ装置,画像通信方法,画像配信システム制御プログラムおよびそのプログラム記録媒体 |
JP2010513984A (ja) * | 2006-12-21 | 2010-04-30 | トムソン ライセンシング | ディスプレイのカラー・グレーディングを提供する方法、装置及びシステム |
JP2008244810A (ja) * | 2007-03-27 | 2008-10-09 | Fujitsu Ltd | センサ情報管理システム、センサ情報管理方法、センサ情報管理プログラム |
JP2010531619A (ja) * | 2007-06-28 | 2010-09-24 | トムソン ライセンシング | ネットワーク・アーキテクチャを介してディスプレイ装置特有のコンテンツを供給する方法、装置及びシステム |
JP2009200765A (ja) * | 2008-02-21 | 2009-09-03 | Yamaha Corp | 中継装置 |
KR101757771B1 (ko) * | 2009-12-01 | 2017-07-17 | 삼성전자주식회사 | 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치 |
JP2014509113A (ja) * | 2011-01-19 | 2014-04-10 | サムスン エレクトロニクス カンパニー リミテッド | 相互階層最適化を用いた、マルチメディアデータパケットを送信する方法及び装置 |
US11316799B2 (en) | 2011-01-19 | 2022-04-26 | Samsung Electronics Co., Ltd. | Method and apparatus for transmitting a multimedia data packet using cross-layer optimization |
US10630603B2 (en) | 2011-01-19 | 2020-04-21 | Samsung Electronics Co., Ltd. | Method and apparatus for transmitting a multimedia data packet using cross-layer optimization |
US9584441B2 (en) | 2011-01-19 | 2017-02-28 | Samsung Electronics Co., Ltd. | Method and apparatus for transmitting a multimedia data packet using cross-layer optimization |
US10298966B2 (en) | 2011-10-24 | 2019-05-21 | Lsd Tech Co., Ltd. | Video on demand service method using solid state drive |
KR101136564B1 (ko) | 2011-10-24 | 2012-04-19 | 이기택 | Ssd를 사용한 vod 서비스 방법 |
WO2013062270A1 (en) * | 2011-10-24 | 2013-05-02 | Lsd Tech Co., Ltd. | Video on demand service method using solid state drive |
JP2015510299A (ja) * | 2011-12-20 | 2015-04-02 | クアルコム,インコーポレイテッド | 通信システムにおける以前に通信されたセッション情報の圧縮バージョンの交換 |
JP2017022728A (ja) * | 2011-12-20 | 2017-01-26 | クアルコム,インコーポレイテッド | 通信システムにおける以前に通信されたセッション情報の圧縮バージョンの交換 |
JP2015529057A (ja) * | 2012-08-02 | 2015-10-01 | エリクソン テレビジョン インコーポレイテッド | ベースコンテンツおよび付加コンテンツを使用する方法、ならびに関連するクライアントデバイスおよびネットワークサーバデバイス |
JP2018501693A (ja) * | 2014-11-05 | 2018-01-18 | コリン,ジャン−クロード | 動画像を作成するための方法 |
JPWO2016080234A1 (ja) * | 2014-11-21 | 2017-08-31 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
JP2018129587A (ja) * | 2017-02-06 | 2018-08-16 | セコム株式会社 | データ配信システム及びデータ配信方法 |
JP2017223963A (ja) * | 2017-07-19 | 2017-12-21 | 株式会社東芝 | 電子機器および方法 |
JP2021119647A (ja) * | 2020-01-30 | 2021-08-12 | 三菱電機株式会社 | 映像記録装置 |
JP7434942B2 (ja) | 2020-01-30 | 2024-02-21 | 三菱電機株式会社 | 映像記録装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4150951B2 (ja) | 2008-09-17 |
EP1478181A4 (en) | 2009-01-07 |
WO2003071801A1 (en) | 2003-08-28 |
CN100359945C (zh) | 2008-01-02 |
KR100994871B1 (ko) | 2010-11-18 |
CN1636400A (zh) | 2005-07-06 |
EP1478181A1 (en) | 2004-11-17 |
US20050244070A1 (en) | 2005-11-03 |
KR20040083528A (ko) | 2004-10-02 |
US7639882B2 (en) | 2009-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003244676A (ja) | 動画配信システム、動画配信装置および方法、記録媒体、並びにプログラム | |
KR100881531B1 (ko) | 비디오스트림 스위칭을 위한 멀티미디어 서버 구동 방법 | |
CN106068495B (zh) | 将使用不同编码参数编码的多个编码成流 | |
EP1472845B1 (en) | Targeted scalable video multicast based on client bandwidth or capability | |
US7652993B2 (en) | Multi-stream pro-active rate adaptation for robust video transmission | |
US7093028B1 (en) | User and content aware object-based data stream transmission methods and arrangements | |
US8107524B2 (en) | Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network | |
JP5722366B2 (ja) | リアルタイムマルチメディアストリーミング帯域幅管理 | |
KR20220073851A (ko) | 몰입형 뷰포트 종속 다자간 비디오 통신 | |
US20020174434A1 (en) | Virtual broadband communication through bundling of a group of circuit switching and packet switching channels | |
US20070053428A1 (en) | Managed degradation of a video stream | |
WO2004077831A1 (ja) | 映像伝送システム、映像送信装置、映像受信装置および映像伝送方法 | |
JP2003102008A (ja) | 階層型ビデオ符号化情報の伝送方法 | |
JP2007325109A (ja) | 配信サーバ、ネットワークカメラ、配信方法及びプログラム | |
US20030076858A1 (en) | Multi-layer data transmission system | |
JP2015192230A (ja) | 会議システム、会議サーバ、会議方法及び会議プログラム | |
JP4799191B2 (ja) | 通信端末、通信システムおよび通信方法 | |
KR100978355B1 (ko) | 계층화된 데이터를 전송하는 데이터 전송 장치 및 데이터 전송 방법 | |
KR101249613B1 (ko) | 비디오 스트리밍을 위한 네트워크 적응형 가변 스트림 계층화 장치 및 방법 | |
JP2004266502A (ja) | 映像伝送システム | |
Luo et al. | An end-to-end video transmission framework with efficient bandwidth utilization | |
JP2006074555A (ja) | マルチメディアゲートウェイにおける音声・動画調整方式 | |
Isukapalli | Efficient Real Time Content Delivery on Wireless Networks | |
Jang et al. | Synchronization quality enhancement in 3G-324M video telephony | |
JP2003264820A (ja) | デジタル画像の配信方法及び配信装置ならびに受信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040428 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080605 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080618 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |