JP2004266502A - 映像伝送システム - Google Patents
映像伝送システム Download PDFInfo
- Publication number
- JP2004266502A JP2004266502A JP2003053779A JP2003053779A JP2004266502A JP 2004266502 A JP2004266502 A JP 2004266502A JP 2003053779 A JP2003053779 A JP 2003053779A JP 2003053779 A JP2003053779 A JP 2003053779A JP 2004266502 A JP2004266502 A JP 2004266502A
- Authority
- JP
- Japan
- Prior art keywords
- video
- band
- terminal
- layer
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 126
- 230000006978 adaptation Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 31
- 238000004364 calculation method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 24
- 238000012508 change request Methods 0.000 description 6
- 238000013523 data management Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Communication Control (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
【課題】伝送帯域が変動する無線ネットワークなどを含むネットワークにおいて、受信端末の移動などにより帯域が大きく変動した場合においても、途切れのない映像伝送を実現すること。
【解決手段】映像受信装置（受信端末）１５０が移動中の場合、映像送信装置（送信端末）１００は、階層符号化データの基本レイヤの帯域を極限まで下げる。このように基本レイヤの帯域を下げる場合は、最下位の拡張レイヤの帯域を上げて、基本レイヤを下げたことによる他の端末の受信画質への影響を抑え、または、最下位の拡張レイヤを細かく分割して、帯域変動時における帯域への適応度を上げる。
【選択図】 図１
【解決手段】映像受信装置（受信端末）１５０が移動中の場合、映像送信装置（送信端末）１００は、階層符号化データの基本レイヤの帯域を極限まで下げる。このように基本レイヤの帯域を下げる場合は、最下位の拡張レイヤの帯域を上げて、基本レイヤを下げたことによる他の端末の受信画質への影響を抑え、または、最下位の拡張レイヤを細かく分割して、帯域変動時における帯域への適応度を上げる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを通じて映像を伝送する映像伝送システムに関する。
【０００２】
【従来の技術】
従来の映像伝送システムで伝送される映像データは、ある一定の伝送帯域で伝送できるように、通常、Ｈ．２６１方式やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などによって一定帯域以下に圧縮符号化されており、一度符号化された映像データは伝送帯域が変わっても映像品質を変えることはできない。
【０００３】
しかし、近年のネットワークの多様化に伴い、伝送路の帯域変動が大きく、複数の帯域に見合った品質で映像を伝送可能な映像データが必要とされており、これに対応するために、階層構造を持ち複数帯域に対応できる階層符号化方式が規格化されている。このような階層符号化方式の中でも、とりわけ帯域選択に関して自由度が高い方式であるＭＰＥＧ−４ ＦＧＳ（Ｆｉｎｅ Ｇｒａｎｕｌａｒｉｔｙ Ｓｃａｌａｂｉｌｉｔｙ）が現在規格化されている。ＭＰＥＧ−４ ＦＧＳにより符号化された映像データは、単体で復号化が可能な動画像ストリームである一の基本レイヤと、基本レイヤの復号化動画像品質を向上させるための動画像ストリームである、少なくとも一以上の拡張レイヤとで構成される。基本レイヤは低帯域で低画質の映像データであり、これに拡張レイヤを帯域に応じて足し合わせることにより自由度の高い高画質化が可能である。
【０００４】
ＭＰＥＧ−４ ＦＧＳにおいては、伝送する拡張レイヤの総データサイズを制御して様々な帯域に適応させることが可能であり、帯域に応じた品質の映像を伝送することが可能である。
【０００５】
このように、いずれの映像符号化方式も、入力映像を決められた帯域で伝送できるように圧縮符号化を行い、映像データの帯域を適切な値に制御する役割を持っている。このため、伝送路の帯域に比べて映像データの帯域が高い場合は、映像データをリアルタイムに伝送できず、受信端末においては映像に遅延が発生するだけでなく、映像データがネットワークで欠落し映像が停止してしまう（途切れの発生）。逆に、映像データの帯域が伝送路の帯域よりも低い場合は、遅延は発生しないが、映像品質が極端に低下してしまう。特にＴＶ電話やライブ中継などリアルタイム性と高品質映像が要求される場合は、映像データの帯域を伝送路の帯域に合わせることが必要となる。
【０００６】
そこで、帯域変動による映像の途切れを防止するための従来技術では、受信端末からのビットレート変更要求に応じて、サーバが、あらかじめ生成されたビットレートの異なる複数の映像ストリームの中から１つを選択して送信するようにしている（たとえば、特許文献１参照）。
【０００７】
図２１は、従来の映像伝送システムの構成の一例を示す図である。
【０００８】
映像ストリームを送信するサーバ１０は、ビットレート切り替え部１１で、映像ストリームを受信するクライアント２０からの転送レート変更要求を受けて、異ビットレート映像データ蓄積部１３から対応ビットレートの映像データを選択しクライアント２０に送信する。
【０００９】
そして、クライアント２０は、映像データ受信部２１でサーバ１０から送信された映像データを受信し、データバッファ管理部２３にデータを出力し、受信速度を再生データ管理部２５に出力する。データバッファ管理部２３では、映像データ受信部２１から入力した映像データを内部バッファに格納し、格納状況を管理し、滞留データ状況を再生データ管理部２５に出力し、さらに、映像復号化表示部２７からのデータリード要求時は映像データを内部バッファから読み出して映像復号化表示部２７に出力する。映像復号化表示部２７では、データリード要求をデータバッファ管理部２３に出力し、データバッファ管理部２３から入力した映像データを復号化し表示する。再生データ管理部２５では、データバッファ管理２３から入力する滞留データ状況と映像データ受信部２１から入力する受信速度を用いて転送ビットレート変更の判断を行い、変更ビットレートをレート変更要求部２９に出力する。このとき、再生データ管理部２５における転送ビットレート変更判断方法としては、滞留データが上方しきい値を超える場合は、直前までの受信速度の平均値を求めてビットレートダウン要求とし、逆に、滞留データが下方しきい値を下回る場合は、直前までの受信速度の平均値を求めてビットレートアップ要求とする。レート変更要求部２９では、再生データ管理部２５から入力されるビットレートを用いてビットレート変更要求をサーバ１０に送信する。
【００１０】
このように、従来の技術においては、受信端末（クライアント２０）からのビットレート変更要求に応答して、サーバ１０が異なるビットレートの映像データの中から適するデータを選択し送信することにより、受信端末において映像を途切れることなく受信することができる。
【００１１】
【特許文献１】
特開平１０−３３６６２６号公報（第１頁、第１図）
【００１２】
【発明が解決しようとする課題】
しかしながら、従来の技術においては、平均的な帯域を用いて映像データの帯域制御を行うため、受信端末の移動などにより伝送路の帯域が大きく変動した場合には、予測が外れることが多い。特に、映像データの帯域が伝送帯域よりも高くなった場合は、映像データをリアルタイムに伝送できず、映像に遅延が発生するだけでなく、映像データがネットワークで欠落し映像が停止してしまう（途切れの発生）。このため、受信端末の移動などにより伝送帯域が大きく変動した場合であっても途切れのない映像受信が可能な映像伝送システムが望まれている。
【００１３】
本発明は、かかる点に鑑みてなされたものであり、伝送帯域が変動する無線ネットワークなどを含むネットワークにおいて、受信端末の移動などにより帯域が大きく変動した場合においても、途切れのない映像伝送を実現することができる映像伝送システムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の映像伝送システムは、階層符号化データを複数に分割し別チャネルで映像送信装置からネットワークを通じて映像受信装置に伝送する映像伝送システムであって、前記映像送信装置は、前記映像受信装置からの特定情報を受信する受信手段と、受信された特定情報を用いて分割階層符号化データの帯域を制御する制御手段とを有し、前記映像受信装置は、前記特定情報を送信する送信手段を有する構成を採る。
【００１５】
この構成によれば、映像受信装置（受信端末）からの特定情報を用いて分割階層符号化データの帯域を制御するため、受信端末の情報に合わせた帯域制御が可能となり、たとえば、特定情報が端末の移動情報である場合は、伝送帯域が変動する無線ネットワークなどを含むネットワークにおいて、受信端末の移動により帯域が大きく変動した場合においても、途切れのない映像伝送を実現することができる。
【００１６】
本発明の映像伝送システムは、上記の構成において、前記特定情報は、前記映像受信装置が移動中であることを示す情報であり、前記制御手段は、前記映像受信装置が移動中であることを示す情報に応じて、分割階層符号化データのうち基本レイヤの帯域を下げる、構成を採る。
【００１７】
この構成によれば、受信端末が移動中の場合は基本レイヤの帯域を下げるため、受信端末は映像を途切れることなく受信することができる。
【００１８】
本発明の映像伝送システムは、上記の構成において、前記制御手段は、基本レイヤの帯域を下げる場合、最下位の拡張レイヤの帯域を上げる、構成を採る。
【００１９】
この構成によれば、基本レイヤの帯域を下げる場合は最下位の拡張レイヤの帯域を上げるため、基本レイヤを下げたことによる他の端末の受信画質への影響を抑えることができる。
【００２０】
本発明の映像伝送システムは、上記の構成において、前記制御手段は、基本レイヤの帯域を下げる場合、最下位の拡張レイヤの帯域を分割する、構成を採る。
【００２１】
この構成によれば、基本レイヤの帯域を下げる場合は最下位の拡張レイヤの帯域を分割するため、帯域変動時における帯域への適応度を上げることができる。
【００２２】
本発明の映像伝送システムは、上記の構成において、前記特定情報は、前記映像受信装置の受信状況を示す情報であり、前記制御手段は、前記映像受信装置の受信状況を示す情報を用いて、分割階層符号化データのうち拡張レイヤの帯域を決定する、構成を採る。
【００２３】
この構成によれば、映像受信装置の受信状況を示す情報を用いて拡張レイヤの帯域を決定するため、映像伝送効率の向上を図り、また、多くの受信端末で高品位の映像受信を行うことができる。
【００２４】
本発明の映像伝送システムは、上記の構成において、前記制御手段は、前記映像受信装置の受信状況を示す情報を用いて受信者数が所定値以下と判断される場合、最下位の拡張レイヤの帯域を分割する、構成を採る。
【００２５】
この構成によれば、受信者数が所定値以下の場合は最下位の拡張レイヤの帯域を分割するため、多くの受信端末で分割された拡張レイヤを受信して高品位の映像受信を行うことができる。
【００２６】
本発明の映像伝送システムは、上記の構成において、前記制御手段は、前記映像受信装置の受信状況を示す情報を用いて共通に受信されている拡張レイヤが存在すると判断される場合、当該共通に受信されている拡張レイヤを１つのレイヤに結合する、構成を採る。
【００２７】
この構成によれば、共通に受信されている拡張レイヤが存在する場合は当該共通に受信されている拡張レイヤを１つのレイヤに結合するため、映像伝送効率の向上を図ることができる。
【００２８】
【発明の実施の形態】
本発明の骨子は、階層符号化された映像ストリームを複数の端末に伝送するシステムにおいて、階層符号化データを複数のレイヤに分割し別チャネルで伝送する際に、受信端末からの情報（たとえば、ハンドオーバやユーザ要求など）を用いて階層別の帯域を動的に制御することである。
【００２９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３０】
（実施の形態１）
本実施の形態では、無線を含み帯域変動の大きい環境で階層符号化映像ストリームを伝送する映像伝送システムにおいて、端末の移動などにより大きな帯域変動が予想される場合には基本レイヤの帯域を極限まで下げることにより、途切れのない映像受信を可能とする映像伝送システムについて説明する。
【００３１】
図１は、本発明の実施の形態１に係る映像伝送システムの構成を示す図である。
【００３２】
この映像伝送システムは、映像を送信する映像送信装置（以下「送信端末」ともいう）１００と、映像を受信する映像受信装置（以下「受信端末」ともいう）１５０と、映像送信装置１００から送信された映像を映像受信装置１５０に中継するネットワーク１８０とを有する。すなわち、映像送信装置１００から送信された映像は、ネットワーク１８０を通じて映像受信装置１５０に伝送される。
【００３３】
映像送信装置１００は、映像入力部１０２、映像符号化部１０４、チャネル分割部１０６、映像送信部１０８、端末情報受信部１１０、および帯域算出部１１２を有する。
【００３４】
映像入力部１０２は、外部から提供されまたは当該装置１００で生成された映像を構成する画像を１フレームごとに映像符号化部１０４に出力する。
【００３５】
映像符号化部１０４は、映像入力部１０２から出力された画像を入力画像として階層符号化し、得られた符号化データをチャネル分割部１０６に出力する。
【００３６】
たとえば、ＭＰＥＧ−４ ＦＧＳ符号化を用いる場合、映像符号化部１０４は、入力画像に対して基本レイヤ（ＢＬ）と、画質を向上させる拡張レイヤ（ＥＬ）とで構成される符号化データを生成する（たとえば、図２（Ａ）参照）。このとき、本実施の形態では、基本レイヤの帯域は、帯域算出部１１２から与えられる。
【００３７】
この場合、基本レイヤに拡張レイヤを加えることにより、画質を向上することができる。また、拡張レイヤは下位層からデータを分割することができ、基本レイヤに加えるデータの量を制御することにより、向上させる品質の程度を制御することが可能である。
【００３８】
チャネル分割部１０６は、映像符号化部１０４から出力された符号化データを複数に分割し、分割データを映像リストと共に映像送信部１０８に出力する。このとき、本実施の形態では、拡張レイヤの分割帯域は、帯域算出部１１２から与えられる。たとえば、チャネル分割結果の一例は、図２（Ｂ）に示すとおりである。処理の詳細については、後で説明する。
【００３９】
また、映像リストの一例は、たとえば、図３に示すとおりである。映像リストには、チャネル番号、レイヤ名称、および各レイヤを受信するために必要な帯域が示されている。なお、映像リストは、図３に示すものに限定されるわけではなく、チャネルごとの帯域が示されたものであればよい。
【００４０】
映像送信部１０８は、チャネル分割部１０６から出力された分割データおよび映像リストを別々のチャネルでネットワーク１８０に送信する。具体的には、たとえば、分割され別々のチャネルに割り当てられた符号化データ（基本レイヤと拡張レイヤ）を別々のチャネルでネットワーク１８０にマルチキャスト送信するとともに、各レイヤの帯域とチャネル番号が示された映像リストをマルチキャスト送信する。マルチキャスト送信を行う場合、チャネル番号は、たとえば、マルチキャストアドレスで示される。ここで、マルチキャスト送信とは、１つの送信端末からデータを送信するチャネルに関して、受信を選択した端末に対してのみデータが伝送される方式であり、複数の受信端末が受信を行う場合においても同一伝送路内では伝送されるデータに重複がないため、伝送効率が良い伝送方式である。
【００４１】
なお、映像ストリームの送信方法は、もちろん、マルチキャスト送信に限定されない。
【００４２】
端末情報受信部１１０は、受信端末（映像受信装置１５０）から送信された端末情報を受信し、帯域算出部１１２に出力する。ここで、端末情報は、受信端末が移動していることまたは移動を開始することを示す情報（端末移動情報）である。
【００４３】
帯域算出部１１２は、端末情報受信部１１０から出力された端末情報を用いて、基本レイヤの帯域および拡張レイヤの分割帯域をそれぞれ算出し、前者（基本レイヤの帯域）を映像符号化部１０４に、後者（拡張レイヤの分割帯域）をチャネル分割部１０６にそれぞれ出力する。
【００４４】
このとき、本実施の形態では、帯域算出部１１２は、端末移動情報を入力すると、基本レイヤの帯域（ビットレート）を極限まで下げ超低ビットレートに設定する（図４参照）。この結果、途切れのない映像受信が可能になる。このとき、画質は拡張レイヤで補われる。処理の詳細については、後で説明する。
【００４５】
一方、映像受信装置１５０は、端末情報送信部１５２、映像受信部１５４、映像復号化部１５６、および映像表示部１５８を有する。
【００４６】
端末情報送信部１５２は、端末が移動しているまたは移動を開始すると判断される場合、端末移動情報を映像送信装置１００に送信するとともに、映像受信部１５４に出力する。
【００４７】
映像受信部１５４は、映像送信装置１００から送信された映像リストを受信し、映像リスト内で受信可能な映像データを複数選択して受信し、映像復号化部１５６に出力する。
【００４８】
具体的には、映像受信部１５４は、映像送信装置１００から送信された映像リストを受信し、映像リストに示された帯域と現在の受信帯域とを比較し、チャネル番号の下から順に受信可能な複数のチャネル番号を決定する。ただし、本実施の形態では、端末情報送信部１５２から端末移動情報を入力した場合は、少なくとも基本レイヤのチャネルは受信する。そして、映像受信部１５４は、決定したチャネル番号の映像データを受信し、受信した映像データを映像復号化部１５６に出力するとともに、受信した映像データの量から現在の受信帯域を測定する。
【００４９】
映像復号化部１５６は、映像受信部１５４から出力された映像データ（符号化データ）を復号化し、復号化して得られた映像を映像表示部１５８に出力する。
【００５０】
映像表示部１５８は、映像復号化部１５６から出力された映像を画面に表示する。この映像表示部１５８は、表示デバイスで構成されている。
【００５１】
次いで、上記構成を有する映像送信装置１００の動作について、図５に示すフローチャートを用いて説明する。なお、図５に示すフローチャートは、映像送信装置１００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００５２】
まず、ステップＳ１０００では、映像入力部１０２で、映像を構成する画像を１フレームごとに映像符号化部１０４に出力する。
【００５３】
そして、ステップＳ１１００では、端末情報受信部１１０が受信端末（映像受信装置１５０）から端末移動情報を受信したか否かを判断する。この判断の結果として端末移動情報を受信していない場合は（Ｓ１１００：ＮＯ）、ステップＳ１２００に進み、端末移動情報を受信した場合は（Ｓ１１００：ＹＥＳ）、ステップＳ１３００に進む。
【００５４】
ステップＳ１２００では、帯域算出部１１２で、定常モード帯域算出処理を行う。具体的には、受信端末からの端末移動情報を受信していない場合であるため、あらかじめ設定された基本レイヤの帯域Ｂ１＿ＢＬと拡張レイヤの分割帯域Ｂ１＿ＥＬ（１）〜Ｂ１＿ＥＬ（ｉ）（ｉはあらかじめ設定された分割レイヤ数）を用いて、映像符号化部１０４に基本レイヤの帯域を出力するとともに、チャネル分割部１０６に拡張レイヤの分割帯域を出力する。そして、ステップＳ１４００に進む。
【００５５】
一方、ステップＳ１３００では、帯域算出部１１２で、移動モード帯域算出処理を行う。具体的には、受信端末からの端末移動情報を受信した場合であるため、基本レイヤの帯域Ｂ＿ＢＬと拡張レイヤの分割帯域Ｂ＿ＥＬ（１）〜Ｂ＿ＥＬ（ｉ）（ｉはあらかじめ設定された分割レイヤ数）を算出し、映像符号化部１０４に基本レイヤの帯域を出力するとともに、チャネル分割部１０６に拡張レイヤの分割帯域を出力する。そして、ステップＳ１４００に進む。
【００５６】
ここで、基本レイヤの帯域Ｂ＿ＢＬは、たとえば、次の（式１）、
【数１】
を用いて算出する。ただし、Ｂ＿ＢＬは、算出後の基本レイヤの帯域、Ｂ１＿ＢＬは、定常モードの基本レイヤの帯域、Ｎは、端末の移動に伴い基本レイヤの帯域を下げるための帯域低減パラメータである。たとえば、Ｎ＝１０とした場合、端末の移動に合わせて基本レイヤの帯域（ビットレート）を１／１０に下げることになる。Ｎの値は、端末の移動により帯域が大きく変動したとしても映像を途切れずに受信できる最低限の帯域を確保可能な値に設定される。
【００５７】
また、拡張レイヤの分割帯域は、たとえば、定常モードの場合と同一であるとする。
【００５８】
ステップＳ１４００では、映像符号化部１０４で、映像符号化処理を行う。具体的には、映像入力部１０２からの入力映像に対して階層符号化を行い、基本レイヤと拡張レイヤで構成される符号化データを生成し（図２（Ａ）参照）、チャネル分割部１０６に出力する。このとき、基本レイヤは、帯域算出部１１２から出力された帯域Ｂ＿ＢＬにて符号化を行う。
【００５９】
そして、ステップＳ１５００では、チャネル分割部１０６で、チャネル分割処理を行う。具体的には、映像符号化部１０４から出力された符号化データと、帯域算出部１１２から出力された拡張レイヤの分割帯域Ｂ＿ＥＬ（１）〜Ｂ＿ＥＬ（ｉ）とを用いて、拡張レイヤを複数のチャネルに分割し、基本レイヤを含めた分割データを映像リスト（図３参照）と共に映像送信部１０８に出力する。
【００６０】
たとえば、図２（Ａ）に示す構造の符号化データを例にとって説明すると、基本レイヤを１つのチャネルとし（ＢＬ）、拡張レイヤ（ＥＬ）をあらかじめ決められたデータ量で分割し別チャネルとする。
【００６１】
一例として、符号化データを４つに分割する場合、各チャネルのビットレートが設定ビットレートＢ＿ＢＬ、Ｂ＿ＥＬ（１）、Ｂ＿ＥＬ（２）、Ｂ＿ＥＬ（３）となるように、拡張レイヤ（ＥＬ）をＥＬ＿１、ＥＬ＿２、ＥＬ＿３と３つに分割する（図２（Ｂ）参照）。なお、当然のことながら、分割数は４に限定されない。
【００６２】
そして、ステップＳ１６００では、映像送信部１０８で、映像送信処理を行う。具体的には、チャネル分割部１０６から出力された分割データ（１つの基本レイヤと複数に分割された拡張レイヤ、図２（Ｂ）参照）を対応する別々のチャネルでネットワーク１８０にマルチキャスト送信するとともに、各レイヤの帯域とチャネル番号が示された映像リスト（図３参照）をマルチキャスト送信する。
【００６３】
次いで、上記構成を有する映像受信装置１５０の動作について、図６に示すフローチャートを用いて説明する。なお、図６に示すフローチャートは、映像受信装置１５０の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００６４】
まず、ステップＳ２０００では、自端末が移動中か否か、より具体的には、自端末が移動しているかまたは移動を開始するか否かを判断する。この判断は、たとえば、端末における電波状況や、無線アクセスポイントをまたぐハンドオーバ状態などの情報を用いて行う。また、ユーザが端末の移動を明示する方法も可能である。この判断の結果として自端末が移動中の場合は（Ｓ２０００：ＹＥＳ）、ステップＳ２１００に進み、自端末が移動中でない場合は（Ｓ２０００：ＮＯ）、ただちにステップＳ２２００に進む。
【００６５】
ステップＳ２１００では、端末情報送信部１５２で端末移動情報送信処理を行う。具体的には、自端末が移動中であるため、端末移動情報を映像送信装置１００に送信するとともに、映像受信部１５４に出力する。そして、ステップＳ２２００に進む。
【００６６】
ステップＳ２２００では、映像受信部１５４で映像受信処理を行う。具体的には、映像送信装置１００から送信された映像リストを受信し、映像リストに示された帯域と現在の受信帯域とを比較し、チャネル番号の下から順に受信可能な複数のチャネル番号を決定する。ただし、上記のように、端末情報送信部１５２から端末移動情報を入力した場合は、少なくとも基本レイヤのチャネルは受信する。そして、決定したチャネル番号の映像データを受信し、受信した映像データを映像復号化部１５６に出力するとともに、受信した映像データの量から現在の受信帯域を測定する。
【００６７】
そして、ステップＳ２３００では、映像復号化部１５６で映像復号化処理を行う。具体的には、映像受信部１５４から出力された映像データ（符号化データ）を復号化し、復号化して得られた映像を映像表示部１５８に出力する。
【００６８】
そして、ステップＳ２４００では、映像表示部１５８で映像表示処理を行う。具体的には、映像復号化部１５６から出力された映像を画面に表示する。
【００６９】
次いで、上記構成の映像伝送システムにおける主要な信号のやり取りについて、図７（Ａ）および図７（Ｂ）のシーケンス図を用いて説明する。ここで、図７（Ａ）は、移動時の場合であり、図７（Ｂ）は、定常時の場合である。
【００７０】
まず、図７（Ａ）を用いて移動時の場合について説明する。
【００７１】
移動時の場合（移動を開始する場合を含む）、受信端末１５０は、端末情報（具体的には端末移動情報）を、ネットワーク１８０を通じて送信端末１００に送信する
（▲１▼）。
【００７２】
そして、送信端末１００は、受信端末１５０からの端末移動情報を受信すると、帯域を算出し、具体的には、基本レイヤの帯域（ビットレート）を極限まで下げ超低レートに設定した後（▲２▼）、映像リストをネットワーク１８０を通じて受信端末１５０に送信する（▲３▼）。
【００７３】
そして、受信端末１５０は、送信端末１００からの映像リストを受信すると、受信した映像リストを用いて受信チャネルを決定する（▲４▼）。
【００７４】
そして、送信端末１００は、入力映像に対して、１フレームごとに、映像符号化とチャネル分割を行い、分割後の符号化データを別々のチャネルでネットワーク１８０を通じて受信端末１５０に送信する（▲５▼）。
【００７５】
そして、受信端末１５０は、送信端末１００からの符号化映像データを上記受信チャネルで受信し、復号化し、画面に表示する（▲６▼）。
【００７６】
次に、図７（Ｂ）を用いて定常時の場合について説明する。
【００７７】
定常時の場合、送信端末１００は、受信端末１５０からの端末移動情報を受信せず、帯域を算出し、具体的には、基本レイヤの帯域（ビットレート）を所定の定常時のレートに設定した後（▲１▼）、映像リストをネットワーク１８０を通じて受信端末１５０に送信する（▲２▼）。その後の処理は、図７（Ａ）に示す移動時の場合と同様であるため、その説明を省略する（ただし、図中の番号は１ずつ繰り上がっている）。
【００７８】
このように、本実施の形態によれば、受信端末１５０が移動中の場合は、階層符号化データの基本レイヤの帯域を極限まで下げるため、移動中の受信端末は、少なくとも基本レイヤのみを受信することで、途切れない映像受信を行うことができる。
【００７９】
図８は、本実施の形態を適用したＭＰＥＧ−４ ＦＧＳによる映像伝送システムの一例を示す構成図である。
【００８０】
映像サーバ１００は、基本レイヤと複数（Ｎ個）の拡張レイヤとで構成される映像ストリームをネットワークに伝送して各種の端末１５０ａ、１５０ｂ、１５０ｃに送る。たとえば、端末１５０ａは、高帯域の端末（たとえば、高品位のパソコンやデジタルテレビなど）であり、端末１５０ｂは、中帯域の端末（たとえば、中品位のパソコンなど）であり、端末１５０ｃは、低帯域の端末（たとえば、携帯電話やＰＤＡなど）である。高帯域の端末１５０ａは、高帯域のＬＡＮ１８０ａに接続され、中帯域の端末１５０ｂは、中帯域のインターネット１８０ｂに接続され、低帯域の端末１５０ｃは、低帯域のモバイル網１８０ｃに接続されている。
【００８１】
このとき、高帯域のＬＡＮ１８０ａ、中帯域のインターネット１８０ｂ、および低帯域のモバイル網１８０ｃにそれぞれ接続された各端末１５０ａ、１５０ｂ、１５０ｃは、各自の受信帯域に合わせて、受信するストリームを選択し、帯域に応じた品質の映像を受信することができる。たとえば、高帯域の端末１５０ａは、基本レイヤとすべての拡張レイヤ１〜Ｎを受信して、高品質の映像を得ることができる。また、中帯域の端末１５０ｂは、基本レイヤと２つの拡張レイヤ１〜２を受信して、中品質の映像を得ることができる。また、低帯域の端末１５０ｃは、基本レイヤと１つの拡張レイヤ１を受信して、低品質の映像を得ることができる。
【００８２】
しかも、このとき、低帯域の端末１５０ｃが移動中の場合、映像サーバ１００は基本レイヤの帯域を極限まで下げるため、移動中の端末１５０ｃは、少なくとも基本レイヤのみを受信することで、映像を途切れることなく受信することができる。
【００８３】
（実施の形態２）
本実施の形態では、無線を含み帯域変動の大きい環境で階層符号化映像ストリームを伝送する映像伝送システムにおいて、端末の移動などにより大きな帯域変動が予想される場合には基本レイヤの帯域を極限まで下げるとともに、最下位の（つまり、基本レイヤに一番近い）拡張レイヤの帯域を上げることにより、途切れのない映像受信を可能とするだけでなく、基本レイヤの帯域変更による品質低下を防止することができる映像伝送システムについて説明する。
【００８４】
図９は、本発明の実施の形態２に係る映像伝送システムの構成を示す図である。なお、この映像伝送システムにおける映像送信装置２００は、図１に示す映像伝送システムにおける映像送信装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。また、映像受信装置１５０は、図１に示すものと全く同一であるため、その説明を省略する。
【００８５】
本実施の形態の特徴は、実施の形態１では端末の移動時に基本レイヤの帯域を極限まで下げるだけであるのに対し、ここでは、端末の移動時に基本レイヤの帯域を極限まで下げるとともに、さらに、最下位の拡張レイヤの帯域を上げて画質の補完を図ることである（図１０参照）。このため、映像送信装置２００は、帯域算出部２０２を有する。
【００８６】
帯域算出部２０２は、図１の帯域算出部１１２と同様に、端末情報受信部１１０から出力された端末情報を用いて、基本レイヤの帯域および拡張レイヤの分割帯域をそれぞれ算出し、前者（基本レイヤの帯域）を映像符号化部１０４に、後者（拡張レイヤの分割帯域）をチャネル分割部１０６にそれぞれ出力する。ただし、本実施の形態では、帯域算出部２０２は、端末移動情報を入力すると、基本レイヤの帯域を下げるとともに、最下位の拡張レイヤの帯域を上げる。この結果、基本レイヤの帯域を下げたことによる他の端末への影響を抑えることができる。処理の詳細については、後で説明する。
【００８７】
次いで、上記構成を有する映像送信装置２００の動作について、図１１に示すフローチャートを用いて説明する。なお、図１１に示すフローチャートは、映像送信装置２００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００８８】
本実施の形態では、図１１に示すように、ステップＳ１３２０を図５に示すフローチャートに挿入し、ステップＳ１３００を削除している。
【００８９】
ステップＳ１０００〜ステップＳ１２００は、図５に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【００９０】
ステップＳ１３２０では、帯域算出部２０２で、移動モード帯域算出処理を行う。具体的には、受信端末からの端末移動情報を受信した場合であるため、基本レイヤの帯域Ｂ＿ＢＬと拡張レイヤの分割帯域Ｂ＿ＥＬ（１）〜Ｂ＿ＥＬ（ｉ）（ｉはあらかじめ設定された分割レイヤ数）を算出し、映像符号化部１０４に基本レイヤの帯域を出力するとともに、チャネル分割部１０６に拡張レイヤの分割帯域を出力する。そして、ステップＳ１４００に進む。
【００９１】
ここで、基本レイヤの帯域算出方法は、実施の形態１と同様に、上記の（式１）を用いて算出する。
【００９２】
これに対し、拡張レイヤの分割帯域Ｂ＿ＥＬ（１）は、たとえば、次の（式２）、
【数２】
を用いて算出する。ただし、Ｂ＿ＥＬ（１）は、最下位の拡張レイヤの帯域、Ｂ１＿ＥＬ（１）は、最下位拡張レイヤの定常モードの帯域、Ｂ＿ＢＬは、移動モードの基本レイヤの帯域、Ｂ１＿ＢＬは、定常モードの基本レイヤの帯域である。また、最下位以外の拡張レイヤの帯域Ｂ＿ＥＬ（２）〜Ｂ＿ＥＬ（ｉ）は、定常モードの場合と同一とする。
【００９３】
このように、最下位の拡張レイヤの帯域を基本レイヤの帯域の減少に合わせて向上させることにより、品質低下を防止することができる。
【００９４】
ステップＳ１４００〜ステップＳ１６００は、図５に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【００９５】
このように、本実施の形態によれば、受信端末１５０が移動中の場合は、階層符号化データの基本レイヤの帯域を極限まで下げるとともに、最下位の拡張レイヤの帯域を上げるため、移動中の受信端末は、少なくとも基本レイヤのみを受信することで、途切れない映像受信を行うことができるだけでなく、他の端末は、受信映像の品質低下を防止することができる。
【００９６】
（実施の形態３）
本実施の形態では、無線を含み帯域変動の大きい環境で階層符号化映像ストリームを伝送する映像伝送システムにおいて、端末の移動などにより大きな帯域変動が予想される場合には基本レイヤの帯域を極限まで下げるとともに、最下位の（つまり、基本レイヤに一番近い）拡張レイヤの帯域を細かく分割することにより、途切れのない映像受信を可能とするだけでなく、帯域変動時の受信映像の品質を可及的に向上することができる映像伝送システムについて説明する。
【００９７】
図１２は、本発明の実施の形態３に係る映像伝送システムの構成を示す図である。なお、この映像伝送システムにおける映像送信装置３００は、図１に示す映像伝送システムにおける映像送信装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。また、映像受信装置１５０は、図１に示すものと全く同一であるため、その説明を省略する。
【００９８】
本実施の形態の特徴は、実施の形態１では端末の移動時に基本レイヤの帯域を極限まで下げるだけであるのに対し、ここでは、端末の移動時に基本レイヤの帯域を極限まで下げるとともに、さらに、最下位の拡張レイヤの帯域を上げて細かく分割して帯域変動時の帯域への適応度を上げることである（図１３参照）。このため、映像送信装置３００は、帯域算出部３０２を有する。
【００９９】
帯域算出部３０２は、図１の帯域算出部１１２と同様に、端末情報受信部１１０から出力された端末情報を用いて、基本レイヤの帯域および拡張レイヤの分割帯域をそれぞれ算出し、前者（基本レイヤの帯域）を映像符号化部１０４に、後者（拡張レイヤの分割帯域）をチャネル分割部１０６にそれぞれ出力する。ただし、本実施の形態では、帯域算出部３０２は、端末移動情報を入力すると、基本レイヤの帯域を下げるとともに、最下位の拡張レイヤの帯域を上げて細かく分割する。この結果、基本レイヤの帯域を下げたことによる他の端末への影響を抑え、しかも、帯域変動時の帯域への適応度を上げることができる。処理の詳細については、後で説明する。
【０１００】
次いで、上記構成を有する映像送信装置３００の動作について、図１４に示すフローチャートを用いて説明する。なお、図１４に示すフローチャートは、映像送信装置３００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１０１】
本実施の形態では、図１４に示すように、ステップＳ１３４０を図５に示すフローチャートに挿入し、ステップＳ１３００を削除している。
【０１０２】
ステップＳ１０００〜ステップＳ１２００は、図５に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１０３】
ステップＳ１３４０では、帯域算出部３０２で、移動モード帯域算出処理を行う。具体的には、受信端末からの端末移動情報を受信した場合であるため、基本レイヤの帯域Ｂ＿ＢＬと拡張レイヤの分割帯域Ｂ＿ＥＬ（１）〜Ｂ＿ＥＬ（ｉ）（ｉはあらかじめ設定された分割レイヤ数）を算出し、映像符号化部１０４に基本レイヤの帯域を出力するとともに、チャネル分割部１０６に拡張レイヤの分割帯域を出力する。そして、ステップＳ１４００に進む。
【０１０４】
ここで、基本レイヤの帯域は、実施の形態１と同様に、上記の（式１）を用いて算出する。
【０１０５】
これに対し、拡張レイヤの分割帯域Ｂ＿ＥＬ（ｊ）は、たとえば、次の（式３）、
【数３】
を用いて算出する。ただし、Ｂ＿ＥＬ（ｊ）は、最下位を第１位として第ｊ位の拡張レイヤの帯域、Ｂ１＿ＥＬ（１）は、最下位拡張レイヤの定常モードの帯域、Ｂ＿ＢＬは、移動モードの基本レイヤの帯域、Ｂ１＿ＢＬは、定常モードの基本レイヤの帯域、Ｍは、最下位の拡張レイヤの分割数である。
【０１０６】
たとえば、移動モードにおけるＭ＝３の場合の帯域分割結果の一例は、図１５（Ｃ）に示すとおりである。なお、図１５（Ａ）は符号化データの構造を示し、図１５（Ｂ）は定常モードにおける帯域分割結果の一例を示し、それぞれ図２（Ａ）および図２（Ｂ）に対応している。
【０１０７】
このように、最下位の拡張レイヤの帯域を基本レイヤの帯域の減少に合わせて向上させた上で細かく分割することにより、帯域変動が大きい環境において、各端末が受信可能なチャネルを選択することにより細かい単位で受信映像の品質を適応させることができる。
【０１０８】
ステップＳ１４００〜ステップＳ１６００は、図５に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１０９】
このように、本実施の形態によれば、受信端末１５０が移動中の場合は、階層符号化データの基本レイヤの帯域を極限まで下げるとともに、最下位の拡張レイヤの帯域を上げて細かく分割してチャネル数を増加させるため、移動中の受信端末は、基本レイヤに加えて受信可能な分割拡張レイヤを選択的に受信することで、途切れない映像受信を行うことができるだけでなく、伝送帯域に細かく適応した品質で映像受信を行うことができる。
【０１１０】
（実施の形態４）
本実施の形態では、無線を含み帯域変動の大きい環境で階層符号化映像ストリームを伝送する映像伝送システムにおいて、端末のレイヤ受信状況に応じて、拡張レイヤの構成を算出することにより、映像の伝送効率の向上を図ることができる映像伝送システムについて説明する。
【０１１１】
図１６は、本発明の実施の形態４に係る映像伝送システムの構成を示す図である。なお、この映像伝送システムにおける映像送信装置４００および映像受信装置４５０は、図１に示す映像伝送システムにおける映像送信装置１００および映像受信装置１５０とそれぞれ同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【０１１２】
本実施の形態の特徴は、受信端末情報（具体的には受信レイヤ情報）を用いて各拡張レイヤの帯域を決定することである。たとえば、受信者が少ない場合は拡張レイヤを分割し（図１７の▲１▼参照）、共通に受信される拡張レイヤは１つのレイヤにまとめる（図１７の▲２▼参照）。このため、映像送信装置４００は、映像送信部４０２、受信状況受信部４０４、および帯域算出部４０６を有し、映像受信装置４５０は、受信状況送信部４５２を有する。
【０１１３】
映像送信部４０２は、図１の映像送信部１０８と同様に、チャネル分割部１０６から出力された分割データおよび映像リストを別々のチャネルでネットワーク１８０に送信する。さらに、本実施の形態では、帯域算出部４０６から出力される映像リストもネットワーク１８０に送信する。なお、チャネル分割部１０６から出力される映像リストと帯域算出部４０６から出力される映像リストは、同様のものである（図３参照）。
【０１１４】
受信状況受信部４０４は、複数の受信端末（映像受信装置４５０）から送信された受信状況を受信し、受信レイヤ情報を生成して帯域算出部４０６に出力する。ここで、受信状況は、各受信端末が現在受信しているレイヤの情報であり、受信レイヤ情報は、各レイヤに対する受信端末の総数を示す情報である。
【０１１５】
受信レイヤ情報の一例は、たとえば、図１８（Ａ）および図１８（Ｂ）に示すとおりである。ここで、ＣＬＩＥＮＴ＿ＮＵＭは、受信端末の総数を示し、ＢＬ＝ｘは、基本レイヤを受信している端末の数がｘであり、ＥＬ＿Ｉ＝ｙは、拡張レイヤＥＬ＿Ｉ（Ｉは拡張レイヤの番号）を受信している端末の数がｙであることをそれぞれ示している。
【０１１６】
帯域算出部４０６は、受信状況受信部４０４から出力された受信レイヤ情報を用いて、拡張レイヤの分割帯域を算出し、算出した拡張レイヤの分割帯域をチャネル分割部１０６に出力する。また、あらかじめ設定された基本レイヤの帯域を映像符号化部１０４に出力する。
【０１１７】
受信状況送信部４５２は、当該受信端末４５０が現在受信しているレイヤの情報を受信状況として送信端末（映像送信装置４００）に送信する。このとき、現在受信しているレイヤの情報は、映像受信部１５４ａから与えられる。
【０１１８】
次いで、上記構成を有する映像送信装置４００の動作について、図１９に示すフローチャートを用いて説明する。なお、図１９に示すフローチャートは、映像送信装置４００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１１９】
本実施の形態では、図１９に示すように、ステップＳ１１２０、ステップＳ１１４０、ステップＳ１１６０、およびステップＳ１１８０を図５に示すフローチャートに挿入し、ステップＳ１１００、ステップＳ１２００、およびステップＳ１３００を削除している。
【０１２０】
ステップＳ１０００は、図５に示すフローチャートのステップと同様であるため、その説明を省略する。
【０１２１】
ステップＳ１１２０では、受信状況受信部４０４は、受信状況受信処理を行う。具体的には、複数の受信端末（映像受信装置４５０）から送信された受信状況を受信し、受信レイヤ情報（図１８（Ａ）および図１８（Ｂ）参照）を生成して帯域算出部４０６に出力する。
【０１２２】
そして、ステップＳ１１４０では、帯域算出部４０６で、拡張レイヤ構成算出処理を行う。具体的には、あらかじめ設定された基本レイヤの帯域を映像符号化部１０４に出力するとともに、受信状況受信部４０４から出力された受信レイヤ情報を用いて、拡張レイヤの構成つまり分割帯域を算出し、得られた拡張レイヤの分割帯域をチャネル分割部１０６に出力する。
【０１２３】
ここで、拡張レイヤの分割は、たとえば、次の（式４）および（式５）、
【数４】
【数５】
を用いて行う。
【０１２４】
すなわち、全端末において受信されている拡張レイヤの総数が１以上の場合は、（式４）を用いる。ただし、（式４）において、Ｂ＿ＥＬ（ｉ）´は、帯域算出後の拡張レイヤｉの帯域、Ｂ＿ＥＬ（ｉ）は、前回の拡張レイヤｉの帯域、ｍは、全受信端末が受信している拡張レイヤの総数である。たとえば、図１８（Ａ）の例では、全端末数が３であり、ＥＬ＿１、ＥＬ＿２の受信端末数がいずれも３であるため、ｍ＝２となる。
【０１２５】
このように、（式４）を用いる場合は、全端末で受信されている拡張レイヤを１つにまとめることにより、ヘッダ情報などのオーバーヘッドを削減し、伝送効率を向上することできる（図１７の▲２▼参照）。
【０１２６】
また、全端末において受信されている拡張レイヤの総数が０であり、かつ、次の（式６）の条件が満たされる場合は、
【数６】
（式５）を用いる。すなわち、受信端末が少ない場合は、最下位の拡張レイヤを分割する。ただし、（式５）において、Ｍは、帯域分割パラメータであり、拡張レイヤＥＬ＿１の帯域を等分割するためのパラメータである。また、（式６）において、Ｋは、端末割合パラメータ、ＣＬＩＥＮＴ＿ＮＵＭは、受信端末の総数、Ｎ（ＥＬ＿１）は、拡張レイヤＥＬ＿１を受信している端末の数である。
【０１２７】
たとえば、図１８（Ｂ）において、Ｋ＝２、Ｍ＝３と想定すると、全端末数の１／２の端末がＥＬ＿１を受信していない場合は、（式５）を用いて、拡張レイヤＥＬ＿１を３つに分割し、より多くの端末において拡張レイヤを受信しやすくことができる。
【０１２８】
また、全端末において受信されている拡張レイヤの総数が０であり、かつ、（式６）の条件が満たされない場合は、前回と同じ帯域を用いる。
【０１２９】
そして、ステップＳ１１６０では、帯域算出部４０６で、ステップＳ１１４０の処理結果としてレイヤ構成が変更されたか否かを判断する。この判断は、拡張レイヤの分割帯域が前回算出した帯域と異なるか否かによってなされる。この判断の結果として拡張レイヤの構成が変わった場合は（Ｓ１１６０：ＹＥＳ）、映像リスト（図３参照）を生成して映像送信部４０２に出力し、ステップＳ１１８０に進む。これに対し、拡張レイヤの構成が変わらない場合は（Ｓ１１６０：ＮＯ）、ただちにステップＳ１４００に進む。
【０１３０】
ステップＳ１１８０では、映像送信部４０２で、映像リスト送信処理を行う。具体的には、帯域算出部４０６から出力された映像リストをネットワーク１８０に送信する。そして、ステップＳ１４００に進む。
【０１３１】
ステップＳ１４００〜ステップＳ１６００は、図５に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１３２】
次いで、上記構成を有する映像受信装置４５０の動作について、図２０に示すフローチャートを用いて説明する。なお、図２０に示すフローチャートは、映像受信装置４５０の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１３３】
本実施の形態では、図２０に示すように、ステップＳ２２５０を図６に示すフローチャートに挿入し、ステップＳ２０００およびステップＳ２１００を削除している。
【０１３４】
ステップＳ２２００は、図６に示すフローチャートのステップと同様であるため、その説明を省略する。ただし、本実施の形態では、映像受信部１５４ａは、現在受信しているレイヤの情報を受信状況送信部４５２に出力する。
【０１３５】
ステップＳ２２５０では、受信状況送信部４５２で、受信状況送信処理を行う。具体的には、当該受信端末４５０が現在受信しているレイヤの情報を受信状況として送信端末（映像送信装置４００）に送信する。
【０１３６】
なお、本実施の形態では、受信状況の送信を映像受信処理の度に行っているが、これに限定されるわけではなく、伝送路の混雑を避けるため、一定の間隔で送信することも可能である。
【０１３７】
ステップＳ２３００およびステップＳ２４００は、図６に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１３８】
このように、本実施の形態によれば、受信端末からの受信状況に応じて、共通受信されている拡張レイヤを１つのレイヤとし、または、受信端末が少ない場合は最下位の拡張レイヤを分割するため、伝送効率を向上するだけでなく、多くの端末でより高品位な映像を受信することができる。
【０１３９】
【発明の効果】
以上説明したように、本発明によれば、伝送帯域が変動する無線ネットワークなどを含むネットワークにおいて、受信端末の移動などにより帯域が大きく変動した場合においても、途切れのない映像伝送を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る映像伝送システムの構成を示す図
【図２】（Ａ）ＭＰＥＧ−４ ＦＧＳ符号化を用いた場合の符号化データの構造の一例を示す図（Ｂ）図２（Ａ）の符号化データに対するチャネル分割結果の一例を示す図
【図３】映像リストの一例を示す図
【図４】実施の形態１の概念を説明するための図
【図５】実施の形態１に対応する映像送信装置の動作を示すフローチャート
【図６】実施の形態１に対応する映像受信装置の動作を示すフローチャート
【図７】（Ａ）実施の形態１に対応する映像伝送システムにおける端末移動時の主要な情報のやり取りを示すシーケンス図
（Ｂ）実施の形態１に対応する映像伝送システムにおける定常時の主要な情報のやり取りを示すシーケンス図
【図８】実施の形態１を適用したＭＰＥＧ−４ ＦＧＳによる映像伝送システムの一例を示す構成図
【図９】本発明の実施の形態２に係る映像伝送システムの構成を示す図
【図１０】実施の形態２の概念を説明するための図
【図１１】実施の形態２に対応する映像送信装置の動作を示すフローチャート
【図１２】本発明の実施の形態３に係る映像伝送システムの構成を示す図
【図１３】実施の形態３の概念を説明するための図
【図１４】実施の形態３に対応する映像送信装置の動作を示すフローチャート
【図１５】（Ａ）ＭＰＥＧ−４ ＦＧＳ符号化を用いた場合の符号化データの構造の一例を示す図
（Ｂ）定常モードにおける図１５（Ａ）の符号化データに対するチャネル分割結果の一例を示す図
（Ｃ）移動モードにおける図１５（Ａ）の符号化データに対するチャネル分割結果の一例を示す図
【図１６】本発明の実施の形態４に係る映像伝送システムの構成を示す図
【図１７】実施の形態４の概念を説明するための図
【図１８】（Ａ）受信レイヤ情報の一例を示す図
（Ｂ）受信レイヤ情報の他の一例を示す図
【図１９】実施の形態４に対応する映像送信装置の動作を示すフローチャート
【図２０】実施の形態４に対応する映像受信装置の動作を示すフローチャート
【図２１】従来の映像伝送システムの構成の一例を示す図
【符号の説明】
１００、２００、３００、４００ 映像送信装置
１０２ 映像入力部
１０４ 映像符号化部
１０６ チャネル分割部
１０８、４０２ 映像送信部
１１０ 端末情報受信部
１１２、２０２、３０２、４０６ 帯域算出部
１５０、４５０ 映像受信装置
１５２ 端末情報送信部
１５４、１５４ａ 映像受信部
１５６ 映像復号化部
１５８ 映像表示部
【発明の属する技術分野】
本発明は、ネットワークを通じて映像を伝送する映像伝送システムに関する。
【０００２】
【従来の技術】
従来の映像伝送システムで伝送される映像データは、ある一定の伝送帯域で伝送できるように、通常、Ｈ．２６１方式やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などによって一定帯域以下に圧縮符号化されており、一度符号化された映像データは伝送帯域が変わっても映像品質を変えることはできない。
【０００３】
しかし、近年のネットワークの多様化に伴い、伝送路の帯域変動が大きく、複数の帯域に見合った品質で映像を伝送可能な映像データが必要とされており、これに対応するために、階層構造を持ち複数帯域に対応できる階層符号化方式が規格化されている。このような階層符号化方式の中でも、とりわけ帯域選択に関して自由度が高い方式であるＭＰＥＧ−４ ＦＧＳ（Ｆｉｎｅ Ｇｒａｎｕｌａｒｉｔｙ Ｓｃａｌａｂｉｌｉｔｙ）が現在規格化されている。ＭＰＥＧ−４ ＦＧＳにより符号化された映像データは、単体で復号化が可能な動画像ストリームである一の基本レイヤと、基本レイヤの復号化動画像品質を向上させるための動画像ストリームである、少なくとも一以上の拡張レイヤとで構成される。基本レイヤは低帯域で低画質の映像データであり、これに拡張レイヤを帯域に応じて足し合わせることにより自由度の高い高画質化が可能である。
【０００４】
ＭＰＥＧ−４ ＦＧＳにおいては、伝送する拡張レイヤの総データサイズを制御して様々な帯域に適応させることが可能であり、帯域に応じた品質の映像を伝送することが可能である。
【０００５】
このように、いずれの映像符号化方式も、入力映像を決められた帯域で伝送できるように圧縮符号化を行い、映像データの帯域を適切な値に制御する役割を持っている。このため、伝送路の帯域に比べて映像データの帯域が高い場合は、映像データをリアルタイムに伝送できず、受信端末においては映像に遅延が発生するだけでなく、映像データがネットワークで欠落し映像が停止してしまう（途切れの発生）。逆に、映像データの帯域が伝送路の帯域よりも低い場合は、遅延は発生しないが、映像品質が極端に低下してしまう。特にＴＶ電話やライブ中継などリアルタイム性と高品質映像が要求される場合は、映像データの帯域を伝送路の帯域に合わせることが必要となる。
【０００６】
そこで、帯域変動による映像の途切れを防止するための従来技術では、受信端末からのビットレート変更要求に応じて、サーバが、あらかじめ生成されたビットレートの異なる複数の映像ストリームの中から１つを選択して送信するようにしている（たとえば、特許文献１参照）。
【０００７】
図２１は、従来の映像伝送システムの構成の一例を示す図である。
【０００８】
映像ストリームを送信するサーバ１０は、ビットレート切り替え部１１で、映像ストリームを受信するクライアント２０からの転送レート変更要求を受けて、異ビットレート映像データ蓄積部１３から対応ビットレートの映像データを選択しクライアント２０に送信する。
【０００９】
そして、クライアント２０は、映像データ受信部２１でサーバ１０から送信された映像データを受信し、データバッファ管理部２３にデータを出力し、受信速度を再生データ管理部２５に出力する。データバッファ管理部２３では、映像データ受信部２１から入力した映像データを内部バッファに格納し、格納状況を管理し、滞留データ状況を再生データ管理部２５に出力し、さらに、映像復号化表示部２７からのデータリード要求時は映像データを内部バッファから読み出して映像復号化表示部２７に出力する。映像復号化表示部２７では、データリード要求をデータバッファ管理部２３に出力し、データバッファ管理部２３から入力した映像データを復号化し表示する。再生データ管理部２５では、データバッファ管理２３から入力する滞留データ状況と映像データ受信部２１から入力する受信速度を用いて転送ビットレート変更の判断を行い、変更ビットレートをレート変更要求部２９に出力する。このとき、再生データ管理部２５における転送ビットレート変更判断方法としては、滞留データが上方しきい値を超える場合は、直前までの受信速度の平均値を求めてビットレートダウン要求とし、逆に、滞留データが下方しきい値を下回る場合は、直前までの受信速度の平均値を求めてビットレートアップ要求とする。レート変更要求部２９では、再生データ管理部２５から入力されるビットレートを用いてビットレート変更要求をサーバ１０に送信する。
【００１０】
このように、従来の技術においては、受信端末（クライアント２０）からのビットレート変更要求に応答して、サーバ１０が異なるビットレートの映像データの中から適するデータを選択し送信することにより、受信端末において映像を途切れることなく受信することができる。
【００１１】
【特許文献１】
特開平１０−３３６６２６号公報（第１頁、第１図）
【００１２】
【発明が解決しようとする課題】
しかしながら、従来の技術においては、平均的な帯域を用いて映像データの帯域制御を行うため、受信端末の移動などにより伝送路の帯域が大きく変動した場合には、予測が外れることが多い。特に、映像データの帯域が伝送帯域よりも高くなった場合は、映像データをリアルタイムに伝送できず、映像に遅延が発生するだけでなく、映像データがネットワークで欠落し映像が停止してしまう（途切れの発生）。このため、受信端末の移動などにより伝送帯域が大きく変動した場合であっても途切れのない映像受信が可能な映像伝送システムが望まれている。
【００１３】
本発明は、かかる点に鑑みてなされたものであり、伝送帯域が変動する無線ネットワークなどを含むネットワークにおいて、受信端末の移動などにより帯域が大きく変動した場合においても、途切れのない映像伝送を実現することができる映像伝送システムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の映像伝送システムは、階層符号化データを複数に分割し別チャネルで映像送信装置からネットワークを通じて映像受信装置に伝送する映像伝送システムであって、前記映像送信装置は、前記映像受信装置からの特定情報を受信する受信手段と、受信された特定情報を用いて分割階層符号化データの帯域を制御する制御手段とを有し、前記映像受信装置は、前記特定情報を送信する送信手段を有する構成を採る。
【００１５】
この構成によれば、映像受信装置（受信端末）からの特定情報を用いて分割階層符号化データの帯域を制御するため、受信端末の情報に合わせた帯域制御が可能となり、たとえば、特定情報が端末の移動情報である場合は、伝送帯域が変動する無線ネットワークなどを含むネットワークにおいて、受信端末の移動により帯域が大きく変動した場合においても、途切れのない映像伝送を実現することができる。
【００１６】
本発明の映像伝送システムは、上記の構成において、前記特定情報は、前記映像受信装置が移動中であることを示す情報であり、前記制御手段は、前記映像受信装置が移動中であることを示す情報に応じて、分割階層符号化データのうち基本レイヤの帯域を下げる、構成を採る。
【００１７】
この構成によれば、受信端末が移動中の場合は基本レイヤの帯域を下げるため、受信端末は映像を途切れることなく受信することができる。
【００１８】
本発明の映像伝送システムは、上記の構成において、前記制御手段は、基本レイヤの帯域を下げる場合、最下位の拡張レイヤの帯域を上げる、構成を採る。
【００１９】
この構成によれば、基本レイヤの帯域を下げる場合は最下位の拡張レイヤの帯域を上げるため、基本レイヤを下げたことによる他の端末の受信画質への影響を抑えることができる。
【００２０】
本発明の映像伝送システムは、上記の構成において、前記制御手段は、基本レイヤの帯域を下げる場合、最下位の拡張レイヤの帯域を分割する、構成を採る。
【００２１】
この構成によれば、基本レイヤの帯域を下げる場合は最下位の拡張レイヤの帯域を分割するため、帯域変動時における帯域への適応度を上げることができる。
【００２２】
本発明の映像伝送システムは、上記の構成において、前記特定情報は、前記映像受信装置の受信状況を示す情報であり、前記制御手段は、前記映像受信装置の受信状況を示す情報を用いて、分割階層符号化データのうち拡張レイヤの帯域を決定する、構成を採る。
【００２３】
この構成によれば、映像受信装置の受信状況を示す情報を用いて拡張レイヤの帯域を決定するため、映像伝送効率の向上を図り、また、多くの受信端末で高品位の映像受信を行うことができる。
【００２４】
本発明の映像伝送システムは、上記の構成において、前記制御手段は、前記映像受信装置の受信状況を示す情報を用いて受信者数が所定値以下と判断される場合、最下位の拡張レイヤの帯域を分割する、構成を採る。
【００２５】
この構成によれば、受信者数が所定値以下の場合は最下位の拡張レイヤの帯域を分割するため、多くの受信端末で分割された拡張レイヤを受信して高品位の映像受信を行うことができる。
【００２６】
本発明の映像伝送システムは、上記の構成において、前記制御手段は、前記映像受信装置の受信状況を示す情報を用いて共通に受信されている拡張レイヤが存在すると判断される場合、当該共通に受信されている拡張レイヤを１つのレイヤに結合する、構成を採る。
【００２７】
この構成によれば、共通に受信されている拡張レイヤが存在する場合は当該共通に受信されている拡張レイヤを１つのレイヤに結合するため、映像伝送効率の向上を図ることができる。
【００２８】
【発明の実施の形態】
本発明の骨子は、階層符号化された映像ストリームを複数の端末に伝送するシステムにおいて、階層符号化データを複数のレイヤに分割し別チャネルで伝送する際に、受信端末からの情報（たとえば、ハンドオーバやユーザ要求など）を用いて階層別の帯域を動的に制御することである。
【００２９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３０】
（実施の形態１）
本実施の形態では、無線を含み帯域変動の大きい環境で階層符号化映像ストリームを伝送する映像伝送システムにおいて、端末の移動などにより大きな帯域変動が予想される場合には基本レイヤの帯域を極限まで下げることにより、途切れのない映像受信を可能とする映像伝送システムについて説明する。
【００３１】
図１は、本発明の実施の形態１に係る映像伝送システムの構成を示す図である。
【００３２】
この映像伝送システムは、映像を送信する映像送信装置（以下「送信端末」ともいう）１００と、映像を受信する映像受信装置（以下「受信端末」ともいう）１５０と、映像送信装置１００から送信された映像を映像受信装置１５０に中継するネットワーク１８０とを有する。すなわち、映像送信装置１００から送信された映像は、ネットワーク１８０を通じて映像受信装置１５０に伝送される。
【００３３】
映像送信装置１００は、映像入力部１０２、映像符号化部１０４、チャネル分割部１０６、映像送信部１０８、端末情報受信部１１０、および帯域算出部１１２を有する。
【００３４】
映像入力部１０２は、外部から提供されまたは当該装置１００で生成された映像を構成する画像を１フレームごとに映像符号化部１０４に出力する。
【００３５】
映像符号化部１０４は、映像入力部１０２から出力された画像を入力画像として階層符号化し、得られた符号化データをチャネル分割部１０６に出力する。
【００３６】
たとえば、ＭＰＥＧ−４ ＦＧＳ符号化を用いる場合、映像符号化部１０４は、入力画像に対して基本レイヤ（ＢＬ）と、画質を向上させる拡張レイヤ（ＥＬ）とで構成される符号化データを生成する（たとえば、図２（Ａ）参照）。このとき、本実施の形態では、基本レイヤの帯域は、帯域算出部１１２から与えられる。
【００３７】
この場合、基本レイヤに拡張レイヤを加えることにより、画質を向上することができる。また、拡張レイヤは下位層からデータを分割することができ、基本レイヤに加えるデータの量を制御することにより、向上させる品質の程度を制御することが可能である。
【００３８】
チャネル分割部１０６は、映像符号化部１０４から出力された符号化データを複数に分割し、分割データを映像リストと共に映像送信部１０８に出力する。このとき、本実施の形態では、拡張レイヤの分割帯域は、帯域算出部１１２から与えられる。たとえば、チャネル分割結果の一例は、図２（Ｂ）に示すとおりである。処理の詳細については、後で説明する。
【００３９】
また、映像リストの一例は、たとえば、図３に示すとおりである。映像リストには、チャネル番号、レイヤ名称、および各レイヤを受信するために必要な帯域が示されている。なお、映像リストは、図３に示すものに限定されるわけではなく、チャネルごとの帯域が示されたものであればよい。
【００４０】
映像送信部１０８は、チャネル分割部１０６から出力された分割データおよび映像リストを別々のチャネルでネットワーク１８０に送信する。具体的には、たとえば、分割され別々のチャネルに割り当てられた符号化データ（基本レイヤと拡張レイヤ）を別々のチャネルでネットワーク１８０にマルチキャスト送信するとともに、各レイヤの帯域とチャネル番号が示された映像リストをマルチキャスト送信する。マルチキャスト送信を行う場合、チャネル番号は、たとえば、マルチキャストアドレスで示される。ここで、マルチキャスト送信とは、１つの送信端末からデータを送信するチャネルに関して、受信を選択した端末に対してのみデータが伝送される方式であり、複数の受信端末が受信を行う場合においても同一伝送路内では伝送されるデータに重複がないため、伝送効率が良い伝送方式である。
【００４１】
なお、映像ストリームの送信方法は、もちろん、マルチキャスト送信に限定されない。
【００４２】
端末情報受信部１１０は、受信端末（映像受信装置１５０）から送信された端末情報を受信し、帯域算出部１１２に出力する。ここで、端末情報は、受信端末が移動していることまたは移動を開始することを示す情報（端末移動情報）である。
【００４３】
帯域算出部１１２は、端末情報受信部１１０から出力された端末情報を用いて、基本レイヤの帯域および拡張レイヤの分割帯域をそれぞれ算出し、前者（基本レイヤの帯域）を映像符号化部１０４に、後者（拡張レイヤの分割帯域）をチャネル分割部１０６にそれぞれ出力する。
【００４４】
このとき、本実施の形態では、帯域算出部１１２は、端末移動情報を入力すると、基本レイヤの帯域（ビットレート）を極限まで下げ超低ビットレートに設定する（図４参照）。この結果、途切れのない映像受信が可能になる。このとき、画質は拡張レイヤで補われる。処理の詳細については、後で説明する。
【００４５】
一方、映像受信装置１５０は、端末情報送信部１５２、映像受信部１５４、映像復号化部１５６、および映像表示部１５８を有する。
【００４６】
端末情報送信部１５２は、端末が移動しているまたは移動を開始すると判断される場合、端末移動情報を映像送信装置１００に送信するとともに、映像受信部１５４に出力する。
【００４７】
映像受信部１５４は、映像送信装置１００から送信された映像リストを受信し、映像リスト内で受信可能な映像データを複数選択して受信し、映像復号化部１５６に出力する。
【００４８】
具体的には、映像受信部１５４は、映像送信装置１００から送信された映像リストを受信し、映像リストに示された帯域と現在の受信帯域とを比較し、チャネル番号の下から順に受信可能な複数のチャネル番号を決定する。ただし、本実施の形態では、端末情報送信部１５２から端末移動情報を入力した場合は、少なくとも基本レイヤのチャネルは受信する。そして、映像受信部１５４は、決定したチャネル番号の映像データを受信し、受信した映像データを映像復号化部１５６に出力するとともに、受信した映像データの量から現在の受信帯域を測定する。
【００４９】
映像復号化部１５６は、映像受信部１５４から出力された映像データ（符号化データ）を復号化し、復号化して得られた映像を映像表示部１５８に出力する。
【００５０】
映像表示部１５８は、映像復号化部１５６から出力された映像を画面に表示する。この映像表示部１５８は、表示デバイスで構成されている。
【００５１】
次いで、上記構成を有する映像送信装置１００の動作について、図５に示すフローチャートを用いて説明する。なお、図５に示すフローチャートは、映像送信装置１００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００５２】
まず、ステップＳ１０００では、映像入力部１０２で、映像を構成する画像を１フレームごとに映像符号化部１０４に出力する。
【００５３】
そして、ステップＳ１１００では、端末情報受信部１１０が受信端末（映像受信装置１５０）から端末移動情報を受信したか否かを判断する。この判断の結果として端末移動情報を受信していない場合は（Ｓ１１００：ＮＯ）、ステップＳ１２００に進み、端末移動情報を受信した場合は（Ｓ１１００：ＹＥＳ）、ステップＳ１３００に進む。
【００５４】
ステップＳ１２００では、帯域算出部１１２で、定常モード帯域算出処理を行う。具体的には、受信端末からの端末移動情報を受信していない場合であるため、あらかじめ設定された基本レイヤの帯域Ｂ１＿ＢＬと拡張レイヤの分割帯域Ｂ１＿ＥＬ（１）〜Ｂ１＿ＥＬ（ｉ）（ｉはあらかじめ設定された分割レイヤ数）を用いて、映像符号化部１０４に基本レイヤの帯域を出力するとともに、チャネル分割部１０６に拡張レイヤの分割帯域を出力する。そして、ステップＳ１４００に進む。
【００５５】
一方、ステップＳ１３００では、帯域算出部１１２で、移動モード帯域算出処理を行う。具体的には、受信端末からの端末移動情報を受信した場合であるため、基本レイヤの帯域Ｂ＿ＢＬと拡張レイヤの分割帯域Ｂ＿ＥＬ（１）〜Ｂ＿ＥＬ（ｉ）（ｉはあらかじめ設定された分割レイヤ数）を算出し、映像符号化部１０４に基本レイヤの帯域を出力するとともに、チャネル分割部１０６に拡張レイヤの分割帯域を出力する。そして、ステップＳ１４００に進む。
【００５６】
ここで、基本レイヤの帯域Ｂ＿ＢＬは、たとえば、次の（式１）、
【数１】
【００５７】
また、拡張レイヤの分割帯域は、たとえば、定常モードの場合と同一であるとする。
【００５８】
ステップＳ１４００では、映像符号化部１０４で、映像符号化処理を行う。具体的には、映像入力部１０２からの入力映像に対して階層符号化を行い、基本レイヤと拡張レイヤで構成される符号化データを生成し（図２（Ａ）参照）、チャネル分割部１０６に出力する。このとき、基本レイヤは、帯域算出部１１２から出力された帯域Ｂ＿ＢＬにて符号化を行う。
【００５９】
そして、ステップＳ１５００では、チャネル分割部１０６で、チャネル分割処理を行う。具体的には、映像符号化部１０４から出力された符号化データと、帯域算出部１１２から出力された拡張レイヤの分割帯域Ｂ＿ＥＬ（１）〜Ｂ＿ＥＬ（ｉ）とを用いて、拡張レイヤを複数のチャネルに分割し、基本レイヤを含めた分割データを映像リスト（図３参照）と共に映像送信部１０８に出力する。
【００６０】
たとえば、図２（Ａ）に示す構造の符号化データを例にとって説明すると、基本レイヤを１つのチャネルとし（ＢＬ）、拡張レイヤ（ＥＬ）をあらかじめ決められたデータ量で分割し別チャネルとする。
【００６１】
一例として、符号化データを４つに分割する場合、各チャネルのビットレートが設定ビットレートＢ＿ＢＬ、Ｂ＿ＥＬ（１）、Ｂ＿ＥＬ（２）、Ｂ＿ＥＬ（３）となるように、拡張レイヤ（ＥＬ）をＥＬ＿１、ＥＬ＿２、ＥＬ＿３と３つに分割する（図２（Ｂ）参照）。なお、当然のことながら、分割数は４に限定されない。
【００６２】
そして、ステップＳ１６００では、映像送信部１０８で、映像送信処理を行う。具体的には、チャネル分割部１０６から出力された分割データ（１つの基本レイヤと複数に分割された拡張レイヤ、図２（Ｂ）参照）を対応する別々のチャネルでネットワーク１８０にマルチキャスト送信するとともに、各レイヤの帯域とチャネル番号が示された映像リスト（図３参照）をマルチキャスト送信する。
【００６３】
次いで、上記構成を有する映像受信装置１５０の動作について、図６に示すフローチャートを用いて説明する。なお、図６に示すフローチャートは、映像受信装置１５０の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００６４】
まず、ステップＳ２０００では、自端末が移動中か否か、より具体的には、自端末が移動しているかまたは移動を開始するか否かを判断する。この判断は、たとえば、端末における電波状況や、無線アクセスポイントをまたぐハンドオーバ状態などの情報を用いて行う。また、ユーザが端末の移動を明示する方法も可能である。この判断の結果として自端末が移動中の場合は（Ｓ２０００：ＹＥＳ）、ステップＳ２１００に進み、自端末が移動中でない場合は（Ｓ２０００：ＮＯ）、ただちにステップＳ２２００に進む。
【００６５】
ステップＳ２１００では、端末情報送信部１５２で端末移動情報送信処理を行う。具体的には、自端末が移動中であるため、端末移動情報を映像送信装置１００に送信するとともに、映像受信部１５４に出力する。そして、ステップＳ２２００に進む。
【００６６】
ステップＳ２２００では、映像受信部１５４で映像受信処理を行う。具体的には、映像送信装置１００から送信された映像リストを受信し、映像リストに示された帯域と現在の受信帯域とを比較し、チャネル番号の下から順に受信可能な複数のチャネル番号を決定する。ただし、上記のように、端末情報送信部１５２から端末移動情報を入力した場合は、少なくとも基本レイヤのチャネルは受信する。そして、決定したチャネル番号の映像データを受信し、受信した映像データを映像復号化部１５６に出力するとともに、受信した映像データの量から現在の受信帯域を測定する。
【００６７】
そして、ステップＳ２３００では、映像復号化部１５６で映像復号化処理を行う。具体的には、映像受信部１５４から出力された映像データ（符号化データ）を復号化し、復号化して得られた映像を映像表示部１５８に出力する。
【００６８】
そして、ステップＳ２４００では、映像表示部１５８で映像表示処理を行う。具体的には、映像復号化部１５６から出力された映像を画面に表示する。
【００６９】
次いで、上記構成の映像伝送システムにおける主要な信号のやり取りについて、図７（Ａ）および図７（Ｂ）のシーケンス図を用いて説明する。ここで、図７（Ａ）は、移動時の場合であり、図７（Ｂ）は、定常時の場合である。
【００７０】
まず、図７（Ａ）を用いて移動時の場合について説明する。
【００７１】
移動時の場合（移動を開始する場合を含む）、受信端末１５０は、端末情報（具体的には端末移動情報）を、ネットワーク１８０を通じて送信端末１００に送信する
（▲１▼）。
【００７２】
そして、送信端末１００は、受信端末１５０からの端末移動情報を受信すると、帯域を算出し、具体的には、基本レイヤの帯域（ビットレート）を極限まで下げ超低レートに設定した後（▲２▼）、映像リストをネットワーク１８０を通じて受信端末１５０に送信する（▲３▼）。
【００７３】
そして、受信端末１５０は、送信端末１００からの映像リストを受信すると、受信した映像リストを用いて受信チャネルを決定する（▲４▼）。
【００７４】
そして、送信端末１００は、入力映像に対して、１フレームごとに、映像符号化とチャネル分割を行い、分割後の符号化データを別々のチャネルでネットワーク１８０を通じて受信端末１５０に送信する（▲５▼）。
【００７５】
そして、受信端末１５０は、送信端末１００からの符号化映像データを上記受信チャネルで受信し、復号化し、画面に表示する（▲６▼）。
【００７６】
次に、図７（Ｂ）を用いて定常時の場合について説明する。
【００７７】
定常時の場合、送信端末１００は、受信端末１５０からの端末移動情報を受信せず、帯域を算出し、具体的には、基本レイヤの帯域（ビットレート）を所定の定常時のレートに設定した後（▲１▼）、映像リストをネットワーク１８０を通じて受信端末１５０に送信する（▲２▼）。その後の処理は、図７（Ａ）に示す移動時の場合と同様であるため、その説明を省略する（ただし、図中の番号は１ずつ繰り上がっている）。
【００７８】
このように、本実施の形態によれば、受信端末１５０が移動中の場合は、階層符号化データの基本レイヤの帯域を極限まで下げるため、移動中の受信端末は、少なくとも基本レイヤのみを受信することで、途切れない映像受信を行うことができる。
【００７９】
図８は、本実施の形態を適用したＭＰＥＧ−４ ＦＧＳによる映像伝送システムの一例を示す構成図である。
【００８０】
映像サーバ１００は、基本レイヤと複数（Ｎ個）の拡張レイヤとで構成される映像ストリームをネットワークに伝送して各種の端末１５０ａ、１５０ｂ、１５０ｃに送る。たとえば、端末１５０ａは、高帯域の端末（たとえば、高品位のパソコンやデジタルテレビなど）であり、端末１５０ｂは、中帯域の端末（たとえば、中品位のパソコンなど）であり、端末１５０ｃは、低帯域の端末（たとえば、携帯電話やＰＤＡなど）である。高帯域の端末１５０ａは、高帯域のＬＡＮ１８０ａに接続され、中帯域の端末１５０ｂは、中帯域のインターネット１８０ｂに接続され、低帯域の端末１５０ｃは、低帯域のモバイル網１８０ｃに接続されている。
【００８１】
このとき、高帯域のＬＡＮ１８０ａ、中帯域のインターネット１８０ｂ、および低帯域のモバイル網１８０ｃにそれぞれ接続された各端末１５０ａ、１５０ｂ、１５０ｃは、各自の受信帯域に合わせて、受信するストリームを選択し、帯域に応じた品質の映像を受信することができる。たとえば、高帯域の端末１５０ａは、基本レイヤとすべての拡張レイヤ１〜Ｎを受信して、高品質の映像を得ることができる。また、中帯域の端末１５０ｂは、基本レイヤと２つの拡張レイヤ１〜２を受信して、中品質の映像を得ることができる。また、低帯域の端末１５０ｃは、基本レイヤと１つの拡張レイヤ１を受信して、低品質の映像を得ることができる。
【００８２】
しかも、このとき、低帯域の端末１５０ｃが移動中の場合、映像サーバ１００は基本レイヤの帯域を極限まで下げるため、移動中の端末１５０ｃは、少なくとも基本レイヤのみを受信することで、映像を途切れることなく受信することができる。
【００８３】
（実施の形態２）
本実施の形態では、無線を含み帯域変動の大きい環境で階層符号化映像ストリームを伝送する映像伝送システムにおいて、端末の移動などにより大きな帯域変動が予想される場合には基本レイヤの帯域を極限まで下げるとともに、最下位の（つまり、基本レイヤに一番近い）拡張レイヤの帯域を上げることにより、途切れのない映像受信を可能とするだけでなく、基本レイヤの帯域変更による品質低下を防止することができる映像伝送システムについて説明する。
【００８４】
図９は、本発明の実施の形態２に係る映像伝送システムの構成を示す図である。なお、この映像伝送システムにおける映像送信装置２００は、図１に示す映像伝送システムにおける映像送信装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。また、映像受信装置１５０は、図１に示すものと全く同一であるため、その説明を省略する。
【００８５】
本実施の形態の特徴は、実施の形態１では端末の移動時に基本レイヤの帯域を極限まで下げるだけであるのに対し、ここでは、端末の移動時に基本レイヤの帯域を極限まで下げるとともに、さらに、最下位の拡張レイヤの帯域を上げて画質の補完を図ることである（図１０参照）。このため、映像送信装置２００は、帯域算出部２０２を有する。
【００８６】
帯域算出部２０２は、図１の帯域算出部１１２と同様に、端末情報受信部１１０から出力された端末情報を用いて、基本レイヤの帯域および拡張レイヤの分割帯域をそれぞれ算出し、前者（基本レイヤの帯域）を映像符号化部１０４に、後者（拡張レイヤの分割帯域）をチャネル分割部１０６にそれぞれ出力する。ただし、本実施の形態では、帯域算出部２０２は、端末移動情報を入力すると、基本レイヤの帯域を下げるとともに、最下位の拡張レイヤの帯域を上げる。この結果、基本レイヤの帯域を下げたことによる他の端末への影響を抑えることができる。処理の詳細については、後で説明する。
【００８７】
次いで、上記構成を有する映像送信装置２００の動作について、図１１に示すフローチャートを用いて説明する。なお、図１１に示すフローチャートは、映像送信装置２００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００８８】
本実施の形態では、図１１に示すように、ステップＳ１３２０を図５に示すフローチャートに挿入し、ステップＳ１３００を削除している。
【００８９】
ステップＳ１０００〜ステップＳ１２００は、図５に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【００９０】
ステップＳ１３２０では、帯域算出部２０２で、移動モード帯域算出処理を行う。具体的には、受信端末からの端末移動情報を受信した場合であるため、基本レイヤの帯域Ｂ＿ＢＬと拡張レイヤの分割帯域Ｂ＿ＥＬ（１）〜Ｂ＿ＥＬ（ｉ）（ｉはあらかじめ設定された分割レイヤ数）を算出し、映像符号化部１０４に基本レイヤの帯域を出力するとともに、チャネル分割部１０６に拡張レイヤの分割帯域を出力する。そして、ステップＳ１４００に進む。
【００９１】
ここで、基本レイヤの帯域算出方法は、実施の形態１と同様に、上記の（式１）を用いて算出する。
【００９２】
これに対し、拡張レイヤの分割帯域Ｂ＿ＥＬ（１）は、たとえば、次の（式２）、
【数２】
【００９３】
このように、最下位の拡張レイヤの帯域を基本レイヤの帯域の減少に合わせて向上させることにより、品質低下を防止することができる。
【００９４】
ステップＳ１４００〜ステップＳ１６００は、図５に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【００９５】
このように、本実施の形態によれば、受信端末１５０が移動中の場合は、階層符号化データの基本レイヤの帯域を極限まで下げるとともに、最下位の拡張レイヤの帯域を上げるため、移動中の受信端末は、少なくとも基本レイヤのみを受信することで、途切れない映像受信を行うことができるだけでなく、他の端末は、受信映像の品質低下を防止することができる。
【００９６】
（実施の形態３）
本実施の形態では、無線を含み帯域変動の大きい環境で階層符号化映像ストリームを伝送する映像伝送システムにおいて、端末の移動などにより大きな帯域変動が予想される場合には基本レイヤの帯域を極限まで下げるとともに、最下位の（つまり、基本レイヤに一番近い）拡張レイヤの帯域を細かく分割することにより、途切れのない映像受信を可能とするだけでなく、帯域変動時の受信映像の品質を可及的に向上することができる映像伝送システムについて説明する。
【００９７】
図１２は、本発明の実施の形態３に係る映像伝送システムの構成を示す図である。なお、この映像伝送システムにおける映像送信装置３００は、図１に示す映像伝送システムにおける映像送信装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。また、映像受信装置１５０は、図１に示すものと全く同一であるため、その説明を省略する。
【００９８】
本実施の形態の特徴は、実施の形態１では端末の移動時に基本レイヤの帯域を極限まで下げるだけであるのに対し、ここでは、端末の移動時に基本レイヤの帯域を極限まで下げるとともに、さらに、最下位の拡張レイヤの帯域を上げて細かく分割して帯域変動時の帯域への適応度を上げることである（図１３参照）。このため、映像送信装置３００は、帯域算出部３０２を有する。
【００９９】
帯域算出部３０２は、図１の帯域算出部１１２と同様に、端末情報受信部１１０から出力された端末情報を用いて、基本レイヤの帯域および拡張レイヤの分割帯域をそれぞれ算出し、前者（基本レイヤの帯域）を映像符号化部１０４に、後者（拡張レイヤの分割帯域）をチャネル分割部１０６にそれぞれ出力する。ただし、本実施の形態では、帯域算出部３０２は、端末移動情報を入力すると、基本レイヤの帯域を下げるとともに、最下位の拡張レイヤの帯域を上げて細かく分割する。この結果、基本レイヤの帯域を下げたことによる他の端末への影響を抑え、しかも、帯域変動時の帯域への適応度を上げることができる。処理の詳細については、後で説明する。
【０１００】
次いで、上記構成を有する映像送信装置３００の動作について、図１４に示すフローチャートを用いて説明する。なお、図１４に示すフローチャートは、映像送信装置３００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１０１】
本実施の形態では、図１４に示すように、ステップＳ１３４０を図５に示すフローチャートに挿入し、ステップＳ１３００を削除している。
【０１０２】
ステップＳ１０００〜ステップＳ１２００は、図５に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１０３】
ステップＳ１３４０では、帯域算出部３０２で、移動モード帯域算出処理を行う。具体的には、受信端末からの端末移動情報を受信した場合であるため、基本レイヤの帯域Ｂ＿ＢＬと拡張レイヤの分割帯域Ｂ＿ＥＬ（１）〜Ｂ＿ＥＬ（ｉ）（ｉはあらかじめ設定された分割レイヤ数）を算出し、映像符号化部１０４に基本レイヤの帯域を出力するとともに、チャネル分割部１０６に拡張レイヤの分割帯域を出力する。そして、ステップＳ１４００に進む。
【０１０４】
ここで、基本レイヤの帯域は、実施の形態１と同様に、上記の（式１）を用いて算出する。
【０１０５】
これに対し、拡張レイヤの分割帯域Ｂ＿ＥＬ（ｊ）は、たとえば、次の（式３）、
【数３】
【０１０６】
たとえば、移動モードにおけるＭ＝３の場合の帯域分割結果の一例は、図１５（Ｃ）に示すとおりである。なお、図１５（Ａ）は符号化データの構造を示し、図１５（Ｂ）は定常モードにおける帯域分割結果の一例を示し、それぞれ図２（Ａ）および図２（Ｂ）に対応している。
【０１０７】
このように、最下位の拡張レイヤの帯域を基本レイヤの帯域の減少に合わせて向上させた上で細かく分割することにより、帯域変動が大きい環境において、各端末が受信可能なチャネルを選択することにより細かい単位で受信映像の品質を適応させることができる。
【０１０８】
ステップＳ１４００〜ステップＳ１６００は、図５に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１０９】
このように、本実施の形態によれば、受信端末１５０が移動中の場合は、階層符号化データの基本レイヤの帯域を極限まで下げるとともに、最下位の拡張レイヤの帯域を上げて細かく分割してチャネル数を増加させるため、移動中の受信端末は、基本レイヤに加えて受信可能な分割拡張レイヤを選択的に受信することで、途切れない映像受信を行うことができるだけでなく、伝送帯域に細かく適応した品質で映像受信を行うことができる。
【０１１０】
（実施の形態４）
本実施の形態では、無線を含み帯域変動の大きい環境で階層符号化映像ストリームを伝送する映像伝送システムにおいて、端末のレイヤ受信状況に応じて、拡張レイヤの構成を算出することにより、映像の伝送効率の向上を図ることができる映像伝送システムについて説明する。
【０１１１】
図１６は、本発明の実施の形態４に係る映像伝送システムの構成を示す図である。なお、この映像伝送システムにおける映像送信装置４００および映像受信装置４５０は、図１に示す映像伝送システムにおける映像送信装置１００および映像受信装置１５０とそれぞれ同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【０１１２】
本実施の形態の特徴は、受信端末情報（具体的には受信レイヤ情報）を用いて各拡張レイヤの帯域を決定することである。たとえば、受信者が少ない場合は拡張レイヤを分割し（図１７の▲１▼参照）、共通に受信される拡張レイヤは１つのレイヤにまとめる（図１７の▲２▼参照）。このため、映像送信装置４００は、映像送信部４０２、受信状況受信部４０４、および帯域算出部４０６を有し、映像受信装置４５０は、受信状況送信部４５２を有する。
【０１１３】
映像送信部４０２は、図１の映像送信部１０８と同様に、チャネル分割部１０６から出力された分割データおよび映像リストを別々のチャネルでネットワーク１８０に送信する。さらに、本実施の形態では、帯域算出部４０６から出力される映像リストもネットワーク１８０に送信する。なお、チャネル分割部１０６から出力される映像リストと帯域算出部４０６から出力される映像リストは、同様のものである（図３参照）。
【０１１４】
受信状況受信部４０４は、複数の受信端末（映像受信装置４５０）から送信された受信状況を受信し、受信レイヤ情報を生成して帯域算出部４０６に出力する。ここで、受信状況は、各受信端末が現在受信しているレイヤの情報であり、受信レイヤ情報は、各レイヤに対する受信端末の総数を示す情報である。
【０１１５】
受信レイヤ情報の一例は、たとえば、図１８（Ａ）および図１８（Ｂ）に示すとおりである。ここで、ＣＬＩＥＮＴ＿ＮＵＭは、受信端末の総数を示し、ＢＬ＝ｘは、基本レイヤを受信している端末の数がｘであり、ＥＬ＿Ｉ＝ｙは、拡張レイヤＥＬ＿Ｉ（Ｉは拡張レイヤの番号）を受信している端末の数がｙであることをそれぞれ示している。
【０１１６】
帯域算出部４０６は、受信状況受信部４０４から出力された受信レイヤ情報を用いて、拡張レイヤの分割帯域を算出し、算出した拡張レイヤの分割帯域をチャネル分割部１０６に出力する。また、あらかじめ設定された基本レイヤの帯域を映像符号化部１０４に出力する。
【０１１７】
受信状況送信部４５２は、当該受信端末４５０が現在受信しているレイヤの情報を受信状況として送信端末（映像送信装置４００）に送信する。このとき、現在受信しているレイヤの情報は、映像受信部１５４ａから与えられる。
【０１１８】
次いで、上記構成を有する映像送信装置４００の動作について、図１９に示すフローチャートを用いて説明する。なお、図１９に示すフローチャートは、映像送信装置４００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１１９】
本実施の形態では、図１９に示すように、ステップＳ１１２０、ステップＳ１１４０、ステップＳ１１６０、およびステップＳ１１８０を図５に示すフローチャートに挿入し、ステップＳ１１００、ステップＳ１２００、およびステップＳ１３００を削除している。
【０１２０】
ステップＳ１０００は、図５に示すフローチャートのステップと同様であるため、その説明を省略する。
【０１２１】
ステップＳ１１２０では、受信状況受信部４０４は、受信状況受信処理を行う。具体的には、複数の受信端末（映像受信装置４５０）から送信された受信状況を受信し、受信レイヤ情報（図１８（Ａ）および図１８（Ｂ）参照）を生成して帯域算出部４０６に出力する。
【０１２２】
そして、ステップＳ１１４０では、帯域算出部４０６で、拡張レイヤ構成算出処理を行う。具体的には、あらかじめ設定された基本レイヤの帯域を映像符号化部１０４に出力するとともに、受信状況受信部４０４から出力された受信レイヤ情報を用いて、拡張レイヤの構成つまり分割帯域を算出し、得られた拡張レイヤの分割帯域をチャネル分割部１０６に出力する。
【０１２３】
ここで、拡張レイヤの分割は、たとえば、次の（式４）および（式５）、
【数４】
【０１２４】
すなわち、全端末において受信されている拡張レイヤの総数が１以上の場合は、（式４）を用いる。ただし、（式４）において、Ｂ＿ＥＬ（ｉ）´は、帯域算出後の拡張レイヤｉの帯域、Ｂ＿ＥＬ（ｉ）は、前回の拡張レイヤｉの帯域、ｍは、全受信端末が受信している拡張レイヤの総数である。たとえば、図１８（Ａ）の例では、全端末数が３であり、ＥＬ＿１、ＥＬ＿２の受信端末数がいずれも３であるため、ｍ＝２となる。
【０１２５】
このように、（式４）を用いる場合は、全端末で受信されている拡張レイヤを１つにまとめることにより、ヘッダ情報などのオーバーヘッドを削減し、伝送効率を向上することできる（図１７の▲２▼参照）。
【０１２６】
また、全端末において受信されている拡張レイヤの総数が０であり、かつ、次の（式６）の条件が満たされる場合は、
【数６】
【０１２７】
たとえば、図１８（Ｂ）において、Ｋ＝２、Ｍ＝３と想定すると、全端末数の１／２の端末がＥＬ＿１を受信していない場合は、（式５）を用いて、拡張レイヤＥＬ＿１を３つに分割し、より多くの端末において拡張レイヤを受信しやすくことができる。
【０１２８】
また、全端末において受信されている拡張レイヤの総数が０であり、かつ、（式６）の条件が満たされない場合は、前回と同じ帯域を用いる。
【０１２９】
そして、ステップＳ１１６０では、帯域算出部４０６で、ステップＳ１１４０の処理結果としてレイヤ構成が変更されたか否かを判断する。この判断は、拡張レイヤの分割帯域が前回算出した帯域と異なるか否かによってなされる。この判断の結果として拡張レイヤの構成が変わった場合は（Ｓ１１６０：ＹＥＳ）、映像リスト（図３参照）を生成して映像送信部４０２に出力し、ステップＳ１１８０に進む。これに対し、拡張レイヤの構成が変わらない場合は（Ｓ１１６０：ＮＯ）、ただちにステップＳ１４００に進む。
【０１３０】
ステップＳ１１８０では、映像送信部４０２で、映像リスト送信処理を行う。具体的には、帯域算出部４０６から出力された映像リストをネットワーク１８０に送信する。そして、ステップＳ１４００に進む。
【０１３１】
ステップＳ１４００〜ステップＳ１６００は、図５に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１３２】
次いで、上記構成を有する映像受信装置４５０の動作について、図２０に示すフローチャートを用いて説明する。なお、図２０に示すフローチャートは、映像受信装置４５０の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１３３】
本実施の形態では、図２０に示すように、ステップＳ２２５０を図６に示すフローチャートに挿入し、ステップＳ２０００およびステップＳ２１００を削除している。
【０１３４】
ステップＳ２２００は、図６に示すフローチャートのステップと同様であるため、その説明を省略する。ただし、本実施の形態では、映像受信部１５４ａは、現在受信しているレイヤの情報を受信状況送信部４５２に出力する。
【０１３５】
ステップＳ２２５０では、受信状況送信部４５２で、受信状況送信処理を行う。具体的には、当該受信端末４５０が現在受信しているレイヤの情報を受信状況として送信端末（映像送信装置４００）に送信する。
【０１３６】
なお、本実施の形態では、受信状況の送信を映像受信処理の度に行っているが、これに限定されるわけではなく、伝送路の混雑を避けるため、一定の間隔で送信することも可能である。
【０１３７】
ステップＳ２３００およびステップＳ２４００は、図６に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１３８】
このように、本実施の形態によれば、受信端末からの受信状況に応じて、共通受信されている拡張レイヤを１つのレイヤとし、または、受信端末が少ない場合は最下位の拡張レイヤを分割するため、伝送効率を向上するだけでなく、多くの端末でより高品位な映像を受信することができる。
【０１３９】
【発明の効果】
以上説明したように、本発明によれば、伝送帯域が変動する無線ネットワークなどを含むネットワークにおいて、受信端末の移動などにより帯域が大きく変動した場合においても、途切れのない映像伝送を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る映像伝送システムの構成を示す図
【図２】（Ａ）ＭＰＥＧ−４ ＦＧＳ符号化を用いた場合の符号化データの構造の一例を示す図（Ｂ）図２（Ａ）の符号化データに対するチャネル分割結果の一例を示す図
【図３】映像リストの一例を示す図
【図４】実施の形態１の概念を説明するための図
【図５】実施の形態１に対応する映像送信装置の動作を示すフローチャート
【図６】実施の形態１に対応する映像受信装置の動作を示すフローチャート
【図７】（Ａ）実施の形態１に対応する映像伝送システムにおける端末移動時の主要な情報のやり取りを示すシーケンス図
（Ｂ）実施の形態１に対応する映像伝送システムにおける定常時の主要な情報のやり取りを示すシーケンス図
【図８】実施の形態１を適用したＭＰＥＧ−４ ＦＧＳによる映像伝送システムの一例を示す構成図
【図９】本発明の実施の形態２に係る映像伝送システムの構成を示す図
【図１０】実施の形態２の概念を説明するための図
【図１１】実施の形態２に対応する映像送信装置の動作を示すフローチャート
【図１２】本発明の実施の形態３に係る映像伝送システムの構成を示す図
【図１３】実施の形態３の概念を説明するための図
【図１４】実施の形態３に対応する映像送信装置の動作を示すフローチャート
【図１５】（Ａ）ＭＰＥＧ−４ ＦＧＳ符号化を用いた場合の符号化データの構造の一例を示す図
（Ｂ）定常モードにおける図１５（Ａ）の符号化データに対するチャネル分割結果の一例を示す図
（Ｃ）移動モードにおける図１５（Ａ）の符号化データに対するチャネル分割結果の一例を示す図
【図１６】本発明の実施の形態４に係る映像伝送システムの構成を示す図
【図１７】実施の形態４の概念を説明するための図
【図１８】（Ａ）受信レイヤ情報の一例を示す図
（Ｂ）受信レイヤ情報の他の一例を示す図
【図１９】実施の形態４に対応する映像送信装置の動作を示すフローチャート
【図２０】実施の形態４に対応する映像受信装置の動作を示すフローチャート
【図２１】従来の映像伝送システムの構成の一例を示す図
【符号の説明】
１００、２００、３００、４００ 映像送信装置
１０２ 映像入力部
１０４ 映像符号化部
１０６ チャネル分割部
１０８、４０２ 映像送信部
１１０ 端末情報受信部
１１２、２０２、３０２、４０６ 帯域算出部
１５０、４５０ 映像受信装置
１５２ 端末情報送信部
１５４、１５４ａ 映像受信部
１５６ 映像復号化部
１５８ 映像表示部
Claims (7)
- 階層符号化データを複数に分割し別チャネルで映像送信装置からネットワークを通じて映像受信装置に伝送する映像伝送システムであって、
前記映像送信装置は、
前記映像受信装置からの特定情報を受信する受信手段と、
受信された特定情報を用いて分割階層符号化データの帯域を制御する制御手段と、を有し、
前記映像受信装置は、
前記特定情報を送信する送信手段、
を有することを特徴とする映像伝送システム。 - 前記特定情報は、前記映像受信装置が移動中であることを示す情報であり、
前記制御手段は、
前記映像受信装置が移動中であることを示す情報に応じて、分割階層符号化データのうち基本レイヤの帯域を下げる、
ことを特徴とする請求項１記載の映像伝送システム。 - 前記制御手段は、
基本レイヤの帯域を下げる場合、最下位の拡張レイヤの帯域を上げる、
ことを特徴とする請求項２記載の映像伝送システム。 - 前記制御手段は、
基本レイヤの帯域を下げる場合、最下位の拡張レイヤの帯域を分割する、
ことを特徴とする請求項２記載の映像伝送システム。 - 前記特定情報は、前記映像受信装置の受信状況を示す情報であり、
前記制御手段は、
前記映像受信装置の受信状況を示す情報を用いて、分割階層符号化データのうち拡張レイヤの帯域を決定する、
ことを特徴とする請求項１記載の映像伝送システム。 - 前記制御手段は、
前記映像受信装置の受信状況を示す情報を用いて受信者数が所定値以下と判断される場合、最下位の拡張レイヤの帯域を分割する、
ことを特徴とする請求項５記載の映像伝送システム。 - 前記制御手段は、
前記映像受信装置の受信状況を示す情報を用いて共通に受信されている拡張レイヤが存在すると判断される場合、当該共通に受信されている拡張レイヤを１つのレイヤに結合する、
ことを特徴とする請求項５記載の映像伝送システム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003053779A JP4227438B2 (ja) | 2003-02-28 | 2003-02-28 | 映像伝送システム |
| CNA2004800002834A CN1698382A (zh) | 2003-02-28 | 2004-02-20 | 视频接收装置、视频发送装置和视频传输系统 |
| PCT/JP2004/001989 WO2004077832A1 (ja) | 2003-02-28 | 2004-02-20 | 映像受信装置、映像送信装置および映像伝送システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003053779A JP4227438B2 (ja) | 2003-02-28 | 2003-02-28 | 映像伝送システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004266502A true JP2004266502A (ja) | 2004-09-24 |
| JP4227438B2 JP4227438B2 (ja) | 2009-02-18 |
Family
ID=32923444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003053779A Expired - Fee Related JP4227438B2 (ja) | 2003-02-28 | 2003-02-28 | 映像伝送システム |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP4227438B2 (ja) |
| CN (1) | CN1698382A (ja) |
| WO (1) | WO2004077832A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006109508A1 (ja) * | 2005-03-31 | 2006-10-19 | Matsushita Electric Industrial Co., Ltd. | パケット転送方法、外部接続エッジ装置、パケット転送装置及び移動端末 |
| JP2007281640A (ja) * | 2006-04-04 | 2007-10-25 | Matsushita Electric Ind Co Ltd | 受信装置、送信装置およびその通信方法 |
| US7791637B2 (en) | 2005-03-25 | 2010-09-07 | Funai Electric Co., Ltd. | Data transmission system |
| CN103634552A (zh) * | 2012-08-28 | 2014-03-12 | 华为技术有限公司 | 一种监控视频存储方法、系统和中心管理服务器 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006054249A1 (en) | 2004-11-17 | 2006-05-26 | Koninklijke Philips Electronics, N.V. | Robust wireless multimedia transmission in multiple in multiple out (mimo) system assisted by channel state information |
| WO2008130357A1 (en) | 2007-04-24 | 2008-10-30 | Carrier Corporation | Refrigerant vapor compression system and method of transcritical operation |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2189366B (en) * | 1986-04-17 | 1989-12-28 | British Broadcasting Corp | Method and apparatus for conveying information signals |
| JPH10304334A (ja) * | 1997-04-25 | 1998-11-13 | Canon Inc | 通信方法、通信装置、送信装置、受信装置、通信システム、及び記憶媒体 |
| JP2000092486A (ja) * | 1998-09-10 | 2000-03-31 | Toshiba Corp | 動画像送信装置および動画像再生装置ならびに動画像送信方法および動画像再生方法 |
| JP2001222720A (ja) * | 2000-02-10 | 2001-08-17 | Sony Corp | 情報符号化装置 |
-
2003
- 2003-02-28 JP JP2003053779A patent/JP4227438B2/ja not_active Expired - Fee Related
-
2004
- 2004-02-20 CN CNA2004800002834A patent/CN1698382A/zh active Pending
- 2004-02-20 WO PCT/JP2004/001989 patent/WO2004077832A1/ja active Application Filing
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7791637B2 (en) | 2005-03-25 | 2010-09-07 | Funai Electric Co., Ltd. | Data transmission system |
| WO2006109508A1 (ja) * | 2005-03-31 | 2006-10-19 | Matsushita Electric Industrial Co., Ltd. | パケット転送方法、外部接続エッジ装置、パケット転送装置及び移動端末 |
| JP2007281640A (ja) * | 2006-04-04 | 2007-10-25 | Matsushita Electric Ind Co Ltd | 受信装置、送信装置およびその通信方法 |
| JP4687538B2 (ja) * | 2006-04-04 | 2011-05-25 | パナソニック株式会社 | 受信装置、送信装置およびその通信方法 |
| CN103634552A (zh) * | 2012-08-28 | 2014-03-12 | 华为技术有限公司 | 一种监控视频存储方法、系统和中心管理服务器 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4227438B2 (ja) | 2009-02-18 |
| CN1698382A (zh) | 2005-11-16 |
| WO2004077832A1 (ja) | 2004-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240007517A1 (en) | Situation-dependent dynamic bit rate encoding and distribution of content | |
| KR101557504B1 (ko) | 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템 | |
| EP1472845B1 (en) | Targeted scalable video multicast based on client bandwidth or capability | |
| JP2004266503A (ja) | 映像伝送システム | |
| US7639882B2 (en) | Moving picture distribution system, moving picture distribution device and method, recording medium, and program | |
| US20110274180A1 (en) | Method and apparatus for transmitting and receiving layered coded video | |
| US20060168632A1 (en) | Video reception device, video transmission device, and video transmission system | |
| US8254441B2 (en) | Video streaming based upon wireless quality | |
| JP2009525705A (ja) | マルチメディアコンテンツのリサイズ方法およびシステム | |
| KR100592547B1 (ko) | 스트리밍을 위한 패킷 스케줄링 방법 | |
| CN105579998A (zh) | 实时流量传送系统和方法 | |
| JP5140952B2 (ja) | コンテンツ配信システム、コンテンツ配信サーバ、コンテンツ再生端末、プログラム、コンテンツ配信方法 | |
| US20160337671A1 (en) | Method and apparatus for multiplexing layered coded contents | |
| US20110067072A1 (en) | Method and apparatus for performing MPEG video streaming over bandwidth constrained networks | |
| CN108540745B (zh) | 高清双流视频的传输方法、发送端、接收端及传输系统 | |
| JP4227438B2 (ja) | 映像伝送システム | |
| CN116962613A (zh) | 数据传输方法及装置、计算机设备、存储介质 | |
| JP5970066B2 (ja) | モバイルｉｐｔｖサービスの提供方法及びそれを実行するシステム | |
| JP6277318B1 (ja) | 端末装置、映像配信システムおよび映像配信方法 | |
| US8281008B2 (en) | Resource allocation apparatus, method, and computer readable medium thereof | |
| US20240137606A1 (en) | Electronic apparatus, server apparatus and control method thereof | |
| JP6271072B1 (ja) | 端末装置、映像配信システムおよび映像配信方法 | |
| WO2018150594A1 (ja) | 端末装置、映像配信装置、映像配信システムおよび映像配信方法 | |
| Ji | VBR Video Streaming over Wireless Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070626 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081128 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |