JP2004266503A - 映像伝送システム - Google Patents
映像伝送システム Download PDFInfo
- Publication number
- JP2004266503A JP2004266503A JP2003053780A JP2003053780A JP2004266503A JP 2004266503 A JP2004266503 A JP 2004266503A JP 2003053780 A JP2003053780 A JP 2003053780A JP 2003053780 A JP2003053780 A JP 2003053780A JP 2004266503 A JP2004266503 A JP 2004266503A
- Authority
- JP
- Japan
- Prior art keywords
- video
- quality
- channel
- priority
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 abstract description 32
- 230000033001 locomotion Effects 0.000 description 43
- 238000010586 diagram Methods 0.000 description 24
- 239000013598 vector Substances 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信すること。
【解決手段】送信端末１００は、チャネル分割部１０６で、階層符号化データを品質・帯域別にチャネル分割し、優先度算出部１１２で端末情報を用いて算出した優先度を付加して映像送信部１０８から別チャネルで送信する。また、グループリスト算出部１１４で、品質別にチャネルをグルーピングしたグループリストを算出してグループリスト送信部１１６から送信する。一方、受信端末１５０は、受信チャネル決定部１５８で、入力した優先品質と受信したグループリストを用いて受信チャネルを決定して映像受信部１６０で映像を受信する。
【選択図】 図１
【解決手段】送信端末１００は、チャネル分割部１０６で、階層符号化データを品質・帯域別にチャネル分割し、優先度算出部１１２で端末情報を用いて算出した優先度を付加して映像送信部１０８から別チャネルで送信する。また、グループリスト算出部１１４で、品質別にチャネルをグルーピングしたグループリストを算出してグループリスト送信部１１６から送信する。一方、受信端末１５０は、受信チャネル決定部１５８で、入力した優先品質と受信したグループリストを用いて受信チャネルを決定して映像受信部１６０で映像を受信する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを通じて映像を伝送する映像伝送システムに関する。
【０００２】
【従来の技術】
従来の映像伝送システムで伝送される映像データは、ある一定の伝送帯域で伝送できるように、通常、Ｈ．２６１方式やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などによって一定帯域以下に圧縮符号化されており、一度符号化された映像データは伝送帯域が変わっても映像品質を変えることはできない。
【０００３】
しかし、近年のネットワークの多様化に伴い、伝送路の帯域変動が大きく、複数の帯域に見合った品質の映像を伝送可能な映像データが必要とされており、これに対応するために、階層構造を持ち複数帯域に対応できる階層符号化方式が規格化されている。このような階層符号化方式の中でも、とりわけ帯域選択に関して自由度が高い方式であるＭＰＥＧ−４ ＦＧＳ（Ｆｉｎｅ Ｇｒａｎｕｌａｒｉｔｙ Ｓｃａｌａｂｉｌｉｔｙ）が現在規格化されたところである。ＭＰＥＧ−４ ＦＧＳにより符号化された映像データは、単体で復号化が可能な動画像ストリームである一の基本レイヤと、基本レイヤの復号化動画像品質を向上させるための動画像ストリームである、少なくとも一以上の拡張レイヤとで構成される。基本レイヤは低帯域で低画質の映像データであり、これに拡張レイヤを帯域に応じて足し合わせることにより自由度の高い高画質化が可能である。
【０００４】
ＭＰＥＧ−４ ＦＧＳにおいては、伝送する拡張レイヤの総データサイズを制御して様々な帯域に適応させることが可能であり、帯域に応じた品質の映像を伝送することが可能である。
【０００５】
しかし、複数の端末で同時に映像を受信する場合には、映像を受信する端末の能力や各端末が使用するネットワークの特性（受信帯域）が異なるため、端末ごとに必要とされる品質が異なるという課題がある。なお、ここでいう品質には、たとえば、画質、フレームレート（動きの滑らかさ）、エラー耐性、解像度、遅延などがある。
【０００６】
この点に関し、ネットワークの輻輳などによりネットワーク状況が変動する端末に対して、ネットワークの特性に合わせて適切な品質で映像伝送を行うための技術として、映像ストリームを階層化し優先度の異なるチャネルで伝送するようにしたものがある（たとえば、特許文献１参照）。
【０００７】
図１９は、従来の映像符号化装置の構成の一例を示す図である。この映像符号化装置１０において、映像符号化回路１２は、入力した映像信号に対して、動き補償・ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）・量子化を用いた映像符号化を行い、符号化データを階層化回路１４に出力する。階層化回路１４は、映像符号化回路１２から入力した符号化データに対してＤＣＴに用いられるＮ×Ｎ画素のブロック単位でＭ個の領域に分割し（ただし、Ｎ、Ｍは共に自然数）、Ｍ個の符号化データをパケット化バッファ１６に出力する。ここで、階層化回路１４のデータ分割においては、Ｍ個の領域のうちある領域が破棄された場合に生じる画質劣化を測定し、あらかじめ設定された許容値に等しくなるように領域の大きさを制御している。パケット化バッファ１６は、階層化回路１４から入力した分割符号化データに対して、低周波成分を含む領域から高い優先度のチャネルで伝送する。
【０００８】
このように、映像符号化装置１０においては、ＤＣＴ係数を領域分割し、低周波成分から高い優先度のチャネルで伝送することにより、ネットワークの輻輳が発生した場合においても、低い優先度のチャネルにおける符号化データが破棄されるため、帯域に応じた画質で映像を受信することが可能である。
【０００９】
【特許文献１】
特開平４−１００４９４号公報（第１頁、第１図）
【００１０】
【発明が解決しようとする課題】
しかしながら、上記した従来の技術においては、伝送帯域に応じた画質で映像を受信することは可能であるが、複数の受信端末がそれぞれ自由に優先する品質の種類（たとえば、上記のように、画質、動きの滑らかさ、エラー耐性、解像度など）を選択することはできない。
【００１１】
たとえば、限られた伝送帯域の中で表示画面の大きい端末は、低画質で動きが滑らかな映像よりも、動きは滑らかでないが１枚１枚が高画質な画質優先の映像を受信することが望ましい。逆に、画面の小さい端末は、高画質で動きが滑らかでない映像よりも、低画質で動きが滑らかな映像を受信することが望ましい。また、ネットワークでのエラー発生率が高い無線環境における端末は、エラー耐性が弱くエラーがない状況でのみ再生可能な映像よりも、エラー耐性が高くエラーの発生する状況においても再生可能な映像を受信することが望ましい。
【００１２】
このように、特性（端末能力や受信帯域）が異なる複数の端末で同時に映像を受信する場合には、映像品質の種類と程度を端末が自由に選択でき、端末の特性や状況に応じた適切な品質で映像を受信できることが必要とされている。
【００１３】
本発明は、かかる点に鑑みてなされたものであり、特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信することができる映像伝送システムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の映像伝送システムは、ネットワークを通じて階層符号化データを映像送信装置から映像受信装置に伝送する映像伝送システムであって、前記映像送信装置は、階層符号化データを品質別または品質および帯域別に別々のチャネルに分割する分割手段と、分割された階層符号化データを互いに別チャネルで送信する第１送信手段と、品質別にチャネルをグルーピングしてグループリストを算出する算出手段と、算出されたグループリストを送信する第２送信手段とを有し、前記映像受信装置は、前記映像送信装置から送信されたグループリストを受信する第１受信手段と、受信されたグループリストを用いて受信チャネルを決定する決定手段と、前記映像送信装置から送信された分割階層符号化データのうち、決定された受信チャネルのデータを受信する第２受信手段とを有する構成を採る。ここで、たとえば、前記品質は、画質、フレームレート、エラー耐性、解像度、および遅延のうちの一以上の組み合わせである。
【００１５】
この構成によれば、階層符号化データを品質別または品質および帯域別に分割し別チャネルで伝送するとともに、品質別にチャネルをグルーピングしそのリストを送信するため、複数の受信端末（映像受信装置）がそれぞれ映像の受信品質を選択でき、適切な品質で映像を受信することができる。すなわち、特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信することができる。
【００１６】
本発明の映像送信装置は、階層符号化データを品質別または品質および帯域別に別々のチャネルに分割する分割手段と、分割された階層符号化データを互いに別チャネルで送信する第１送信手段と、品質別にチャネルをグルーピングしてグループリストを算出する算出手段と、算出されたグループリストを送信する第２送信手段とを有する構成を採る。
【００１７】
この構成によれば、階層符号化データを品質別または品質および帯域別に分割し別チャネルで伝送するとともに、品質別にチャネルをグルーピングしそのリストを送信するため、複数の受信端末（映像受信装置）がそれぞれ映像の受信品質を選択でき、適切な品質で映像を受信することができる。すなわち、特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信することができる。
【００１８】
本発明の映像送信装置は、上記の構成において、各チャネルの優先度を算出する第２算出手段をさらに有し、前記分割手段は、階層符号化データを品質別または品質および帯域別に別々のチャネルに分割するとともに、各チャネルに算出されたチャネル優先度を付与し、前記第１送信手段は、分割された階層符号化データをチャネル優先度が付与された互いに別のチャネルで送信する、構成を採る。
【００１９】
この構成によれば、たとえば、重視する品質に合わせて、各チャネルに優先度を付けて伝送を行うため（このとき、たとえば、ネットワークノードは優先度に従ったパケット伝送を行う）、限られた帯域において、端末は優先する品質のグループを選択して受信し、自動的に最高品質の映像を受信することができる。
【００２０】
本発明の映像送信装置は、上記の構成において、前記第２算出手段は、受信端末情報に基づいて各チャネルの優先度を算出する、構成を採る。
【００２１】
この構成によれば、受信端末情報に基づいて各チャネルの優先度を算出するため、端末特性に合わせたスケーラビリティを実現することができる。
【００２２】
本発明の映像送信装置は、上記の構成において、前記第２算出手段は、映像特性に基づいて各チャネルの優先度を算出する、構成を採る。
【００２３】
この構成によれば、映像特性に基づいて各チャネルの優先度を算出するため、映像特性に合わせたスケーラビリティを実現することができる。
【００２４】
本発明の映像送信装置は、上記の構成において、前記分割手段は、階層符号化データを品質別または品質および帯域別に別々のチャネルに分割し、各チャネルに算出されたチャネル優先度を付与するとともに、各チャネル内のパケットの優先度を算出し、各パケットに算出されたパケット優先度を付与し、前記第１送信手段は、分割された階層符号化データをパケット優先度が付与された互いに別のチャネルで送信する、構成を採る。
【００２５】
この構成によれば、チャネル内のパケットに対し、さらに細かい優先度を付けて伝送を行うため（このとき、たとえば、ネットワークノードは優先度に従ったパケット伝送を行う）、より細かい精度で自動的に最高品質の映像を受信することができる。
【００２６】
本発明の映像受信装置は、上記に記載の映像送信装置から送信されたグループリストを受信する第１受信手段と、受信されたグループリストを用いて受信チャネルを決定する決定手段と、前記映像送信装置から送信された分割階層符号化データのうち、決定された受信チャネルのデータを受信する第２受信手段とを有する構成を採る。
【００２７】
この構成によれば、上記に記載の映像送信装置との協働の下、グループリストを用いて受信チャネルを決定するため、映像の受信品質を選択でき、適切な品質で映像を受信することができる。すなわち、特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信することができる。
【００２８】
本発明の映像受信装置は、上記の構成において、受信状況を算出する第３算出手段をさらに有し、前記決定手段は、受信されたグループリストおよび算出された受信状況を用いて受信チャネルを決定する、構成を採る。
【００２９】
この構成によれば、受信状況に応じて受信品質を制御するため、受信状況に合わせて受信品質の向上を図ることができる。
【００３０】
本発明の映像伝送方法は、ネットワークを通じて階層符号化データを映像送信装置から映像受信装置に伝送する映像伝送方法であって、前記映像送信装置が、階層符号化データを品質別または品質および帯域別に別々のチャネルに分割するステップと、前記映像送信装置が、分割した階層符号化データを互いに別チャネルで送信するステップと、前記映像送信装置が、品質別にチャネルをグルーピングしてグループリストを算出するステップと、前記映像送信装置が、算出したグループリストを送信するステップと、前記映像受信装置が、前記映像送信装置から送信されたグループリストを受信するステップと、前記映像受信装置が、受信したグループリストを用いて受信チャネルを決定するステップと、前記映像受信装置が、前記映像送信装置から送信された分割階層符号化データのうち、決定した受信チャネルのデータを受信するステップとを有するようにした。
【００３１】
この方法によれば、階層符号化データを品質別または品質および帯域別に分割し別チャネルで伝送するとともに、品質別にチャネルをグルーピングしそのリストを送信するため、複数の受信端末（映像受信装置）がそれぞれ映像の受信品質を選択でき、適切な品質で映像を受信することができる。すなわち、特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信することができる。
【００３２】
【発明の実施の形態】
本発明の骨子は、階層符号化された映像ストリームを伝送するシステムにおいて、その階層符号化された映像ストリームを品質別または品質および帯域別に分割し別チャネルで伝送するとともに、品質別にチャネルをグルーピングしそのリストを送信することにより、複数の受信端末がそれぞれ映像の受信品質を選択でき、適切な品質で映像を受信できることである。
【００３３】
また、その際、優先する品質に合わせて各チャネルに優先度を付けて伝送を行う（このとき、ネットワークノードは優先度に従ったパケット伝送を行う）ことにより、限られた帯域において、受信端末が、優先する品質のグループを選択して受信し、自動的に最高品質の映像を受信できることである。
【００３４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３５】
（実施の形態１）
本実施の形態では、階層符号化データを品質・帯域別にチャネル分割し、端末情報を用いて算出した優先度を付加して別チャネルで伝送するとともに、品質別にチャネルをグルーピングしたグループリストを送信することにより、受信端末が優先する品質を選択でき、ネットワークの状況に応じ端末特性に適した品質で映像を受信することができる映像伝送システムについて説明する。
【００３６】
図１は、本発明の実施の形態１に係る映像伝送システムの構成を示す図である。
【００３７】
この映像伝送システムは、映像を送信する映像送信装置（以下「送信端末」ともいう）１００と、映像を受信する映像受信装置（以下「受信端末」ともいう）１５０と、映像送信装置１００から送信された映像を映像受信装置１５０に中継するネットワーク１８０とを有する。すなわち、映像送信装置１００から送信された映像は、ネットワーク１８０を通じて映像受信装置１５０に伝送される。
【００３８】
映像送信装置１００は、映像入力部１０２、映像符号化部１０４、チャネル分割部１０６、映像送信部１０８、端末情報受信部１１０、優先度算出部１１２、グループリスト算出部１１４、およびグループリスト送信部１１６を有する。
【００３９】
映像入力部１０２は、外部から提供されたまたは当該装置１００で生成された映像を構成する画像を１フレームごとに映像符号化部１０４に出力する。
【００４０】
映像符号化部１０４は、映像入力部１０２から出力された画像を入力画像として階層符号化し、得られた符号化データをチャネル分割部１０６に出力する。
【００４１】
たとえば、階層符号化としてＭＰＥＧ−４ ＦＧＳ符号化を用いる場合、符号化データの構造の一例は、図２に示すとおりである。すなわち、映像符号化部１０４は、入力画像に対して基本レイヤ（ＢＬ）と、画質を向上させる拡張レイヤ１（ＥＬ１）と、動きの滑らかさを向上させる拡張レイヤ２（ＥＬ２）、拡張レイヤ３（ＥＬ３）、拡張レイヤ４（ＥＬ４）とからなる符号化データを生成し、チャネル分割部１０６に出力する。
【００４２】
この場合、基本レイヤに拡張レイヤ１を加えることにより、画質を向上することができ、また、基本レイヤに拡張レイヤ２、拡張レイヤ３、拡張レイヤ４の順でデータを加えることにより、動きがより一層滑らかになる。さらに、拡張レイヤは下位層からデータを分割することができ、基本レイヤに加えるデータの量を制御することによって、向上させる品質の程度を制御することが可能である。
【００４３】
チャネル分割部１０６は、映像符号化部１０４から出力された符号化データを複数に分割し、各分割データに別々のチャネルを割り当てるとともに優先度算出部１１２から出力される優先度を付加して映像送信部１０８に出力する。また、分割データと割り当てチャネルとのリストである分割リストを生成し、グループリスト算出部１１４に出力する。たとえば、チャネル分割結果の一例は、図３に示すとおりである。処理の詳細については、後で説明する。
【００４４】
映像送信部１０８は、チャネル分割部１０６から出力された分割データを対応する別々のチャネルでネットワーク１８０に伝送する。具体的には、たとえば、分割され別々のチャネルに割り当てられた符号化データを、指定された優先度をヘッダに付加して別々のチャネルでマルチキャスト送信する。優先度は、たとえば、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ヘッダ内に記述することができる。また、チャネルは、たとえば、マルチキャストアドレスで示されるものとする。ここで、マルチキャスト送信とは、１つの送信端末からデータを送信するチャネルに関して、受信を選択した端末に対してのみデータが伝送される方式であり、複数の受信端末が受信を行う場合においても同一伝送路内では伝送されるデータに重複がないため、伝送効率が良い伝送方式である。
【００４５】
なお、映像ストリームの送信方法は、もちろん、マルチキャスト送信に限定されない。
【００４６】
端末情報受信部１１０は、受信端末（映像受信装置１５０）から送信される端末情報を受信し、優先度算出部１１２に出力する。ここで、端末情報は、受信端末に関する情報であって優先すべき品質を示すことができるものであれば、どのような情報でもよい。端末情報としては、たとえば、受信端末が使用する表示デバイスの画面サイズを挙げることができる。
【００４７】
優先度算出部１１２は、端末情報受信部１１０から出力された端末情報を用いてチャネルの優先度を決定し、決定した優先度をチャネル分割部１０６に出力する。処理の詳細については、後で説明する。
【００４８】
グループリスト算出部１１４は、チャネル分割部１０６から出力された分割リストを用いて、優先品質と受信すべきチャネルとのリストであるグループリストを生成し、グループリスト送信部１１６に出力する。処理の詳細については、後で説明する。
【００４９】
グループリスト送信部１１６は、グループリスト算出部１１４から出力されたグループリストをネットワーク１８０に伝送する。具体的には、たとえば、グループリストを、ネットワーク１８０を通じて、すべての受信端末に送信する。
【００５０】
なお、本実施の形態では、グループリストの送信を必ず行う場合を例にとって説明するが、これに限定されない。たとえば、伝送路の混雑を避けるため、一定の間隔で送信することも可能である。
【００５１】
ネットワーク１８０は、図示しないノード（ネットワークノード）を有する。ネットワークノードは、チャネルに付加された優先度に従ってデータの伝送（パケット伝送）を行う。具体的には、ネットワークが混雑している場合は、優先度の低いチャネルからデータを破棄し、優先度の高いチャネルのデータ伝送を保証する。また、送信端末１００から送信される複数のチャネルのうち受信端末１５０が選択しているチャネルのデータのみを当該受信端末１５０に転送する。ネットワークノードは、たとえば、ルータである。
【００５２】
映像受信装置１５０は、端末情報送信部１５２、優先品質入力部１５４、グループリスト受信部１５６、受信チャネル決定部１５８、映像受信部１６０、映像復号化部１６２、および映像表示部１６４を有する。
【００５３】
端末情報送信部１５２は、当該映像受信装置１５０の端末情報を映像送信装置１００に送信する。たとえば、端末情報として表示画面の大きさを送信する。端末情報は、上記のように、受信端末に関する情報であって優先すべき品質を示すことができるものであれば、どのような情報でもよい。
【００５４】
なお、本実施の形態では、映像データを受信する度に端末情報を送信する場合を例にとって説明するが、これに限定されない。たとえば、伝送路の混雑を避けるため、一定の間隔で送信することも可能である。
【００５５】
優先品質入力部１５４は、ユーザが指定した優先する品質（たとえば、画質優先、動き優先など）を受信チャネル決定部１５８に出力する。ただし、ユーザからの指定がない場合は、優先品質の出力は行わない。
【００５６】
グループリスト受信部１５６は、送信端末（映像送信装置１００）から送信されたグループリスト（上記のように、品質とチャネルを示すリスト）を受信し、受信チャネル決定部１５８に出力する。
【００５７】
受信チャネル決定部１５８は、優先品質入力部１５４から出力された優先品質とグループリスト受信部１５６から出力されたグループリストを用いて、受信すべきチャネルを決定する。具体的には、受信するチャネル番号を決定し、決定したチャネル番号を映像受信部１６０に出力する。ただし、優先品質入力部１５４またはグループリスト受信部１５６からの出力がない場合は、前回決定したチャネル番号を映像受信部１６０に出力する。処理の詳細については、後で説明する。
【００５８】
映像受信部１６０は、受信チャネル決定部１５８から出力されたチャネル番号に対応する符号化データを受信し、受信した符号化データを映像復号化部１６２に出力する。
【００５９】
映像復号化部１６２は、映像受信部１６０から出力された符号化データを復号化し、復号化して得られた映像を映像表示部１６４に出力する。
【００６０】
映像表示部１６４は、映像復号化部１６２から出力された映像を画面に表示する。映像表示部１６４は、表示デバイスで構成されている。
【００６１】
次いで、上記構成を有する映像送信装置１００の動作について、図４に示すフローチャートを用いて説明する。なお、図４に示すフローチャートは、映像送信装置１００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００６２】
まず、ステップＳ１０００では、映像入力部１０２で、映像を構成する画像を１フレームごとに映像符号化部１０４に出力する。
【００６３】
そして、ステップＳ１１００では、映像符号化部１０４で、映像入力部１０２から出力された画像に対して階層符号化を行い、得られた符号化データをチャネル分割部１０６に出力する。たとえば、階層符号化としてＭＰＥＧ−４ ＦＧＳ符号化を用いる場合、符号化データは、基本レイヤ（ＢＬ）と複数の拡張レイヤ（ＥＬ）とで構成される。ここでは、一例として、図２に示すように、符号化データが１つの基本レイヤ（ＢＬ）と４つの拡張レイヤ（ＥＬ１〜４）とで構成される場合を例にとって説明する。
【００６４】
一方、ステップＳ１２００では、端末情報受信部１１０で、複数の受信端末１５０から送信された端末情報を受信し、優先度算出部１１２に出力する。ここでは、一例として、たとえば、端末情報は、受信端末１５０が使用する表示デバイスの画面サイズ（Ｄインチ）であるとする。
【００６５】
ただし、上記のように、端末情報は、画面サイズに限定されるわけではなく、たとえば、ユーザの好み（動き優先、画質優先）などの優先すべき品質を示すことができる情報であれば使用可能である。
【００６６】
そして、ステップＳ１３００では、優先度算出部１１２で、端末情報受信部１１０から出力された端末情報を用いて各チャネルの優先度を決定し、決定した優先度をチャネル分割部１０６に出力する。すなわち、端末情報が受信された場合は、受信された端末情報を用いて優先度を決定し、決定した優先度をチャネル分割部１０６に出力する。これに対し、端末情報が受信されない場合は、前回の優先度をチャネル分割部１０６に出力する。
【００６７】
具体的には、複数の端末情報Ｄ＿ｎ（ｎは端末番号）を用いて重視する品質を決定し、この重視する品質に基づいて各チャネルの優先度を決定する。手順は、次のとおりである。
【００６８】
１）平均画面サイズの算出
複数の端末情報Ｄ＿ｎを用いて、次の（式１）により、
【数１】
平均画面サイズＤ＿ＡＶＲを算出する。ここで、Ｎは端末の総数である。
【００６９】
２）重視する品質の決定
平均画面サイズＤ＿ＡＶＲをしきい値ＴＨと比較して、重視する品質を決定する。ここでは、端末の表示画面サイズが大きいほど、１枚１枚の画質が高品位であることが望ましいため、画質重視とする。具体的には、たとえば、平均画面サイズＤ＿ＡＶＲがしきい値ＴＨを超える（Ｄ＿ＡＶＲ＞ＴＨ）場合は、画質重視とし、そうでない場合、つまり、平均画面サイズＤ＿ＡＶＲがしきい値ＴＨ以下（Ｄ＿ＡＶＲ≦ＴＨ）の場合は、動き重視とする。
【００７０】
３）優先度の決定
重視する品質に基づいて各チャネルの優先度を決定する。具体的には、動き重視の場合は、動き向上（時間スケーラビリティ）の方向にチャネル優先度を上げ（図５（Ａ）、図５（Ｂ）参照）、画質重視の場合は、画質向上（画質スケーラビリティ）の方向にチャネル優先度を上げる（図５（Ａ）、図５（Ｃ）参照）。
【００７１】
これを図６の優先度マップ（チャネルと優先度を示すマップ）を用いて説明すると、動き重視の場合は、優先度マップのＸ方向に優先度を上げ、逆に、画質重視の場合は、優先度マップのＹ方向に優先度を上げる。たとえば、動き重視の場合は、図６（Ａ）に示すように優先度を設定し、画質重視の場合は、図６（Ｂ）に示すように優先度を設定する。なお、優先度マップについては、後で再度説明する。また、優先度マップは、図６に示す方法に限定されない。
【００７２】
このように端末情報に合わせて優先度を決定することにより、いかなる帯域においても端末の特性に適した品質の種類に関して高い優先度で伝送することが可能になる。
【００７３】
そして、ステップＳ１４００では、チャネル分割部１０６で、映像符号化部１０４から出力された符号化データを複数に分割し、各分割データに別々のチャネルを割り当てるとともに優先度算出部１１２から出力される優先度を付加して映像送信部１０８に出力する。
【００７４】
具体的に、たとえば、図２に示す構造の符号化データを例にとって説明すると、まず、基本レイヤ（ＢＬ）を１つのチャネルとし、拡張レイヤ（ＥＬ）１〜４をそれぞれあらかじめ決められたデータ量で分割し別チャネルとする。
【００７５】
たとえば、４つに分割する場合、各チャネルのビットレートが設定ビットレートＢ＿ＢＬ、Ｂ＿ＥＬ１、Ｂ＿ＥＬ２、Ｂ＿ＥＬ３となるように、拡張レイヤ１をＥＬ１＿１〜ＥＬ＿３に、拡張レイヤ２をＥＬ２＿０〜ＥＬ２＿３に、拡張レイヤ３をＥＬ３＿０〜ＥＬ３＿３に、拡張レイヤ４をＥＬ４＿０〜ＥＬ４＿３にそれぞれ分割し、合計で４×Ｎに分割する（図３のチャネル分割例参照。この場合、Ｎ＝４）。なお、当然のことながら、分割数は４に限定されない。
【００７６】
次に、優先度算出部１１２から出力された優先度を各チャネルに付与する。たとえば、図７（Ａ）は、優先度マップを示しており、この優先度マップは、４×４のマトリクスで構成されている。優先度マップにおいて、左下（Ｘ，Ｙ）＝（０，０）は基本レイヤＢＬの優先度を示し、基本レイヤＢＬからＸ方向に行くにつれて順に拡張レイヤＥＬ２＿０〜ＥＬ４＿０の優先度を、Ｙ方向に行くにつれて順に拡張レイヤＥＬ１＿１〜ＥＬ１＿２の優先度をそれぞれ示している。一般に、（Ｘ，Ｙ）＝（Ｉ，Ｊ）は、ＥＬ（Ｉ＋１）＿Ｊの優先度を示している。図３のチャネル分割結果に図７（Ａ）の優先度マップを適用して得られる、優先度付与後のチャネルは、図７（Ｂ）に示すとおりである。
【００７７】
そして、ステップＳ１５００では、グループリスト算出部１１４で、チャネル分割部１０６から出力された分割リストを用いて、優先する品質別に受信すべきチャネルを示したグループリストを生成し、グループリスト送信部１１６に出力する。
【００７８】
図８は、グループリストの一例を示している。この例では、３つのグループ（動き優先、画質優先、フルクオリティ）を算出する場合を示している。なお、グループリストは、もちろん、３つに限定されない。１つ以上のチャネルの組み合わせであれば、どのようなグループでもよい。たとえば、同じ種類の品質について、程度の異なる複数のグループを設けてもよい（たとえば、図５（Ａ）における動き優先グループ１と２、画質優先グループ１と２参照）。すなわち、品質の種類と程度が異なるグループを任意に設けることができる。
【００７９】
図８の例において、（Ｘ，Ｙ）＝（０，０）は、基本レイヤＢＬに対応し、（Ｘ，Ｙ）＝（Ｉ，Ｊ）は、チャネルＥＬ（Ｉ＋１）＿Ｊに対応し、丸（○）を付けたチャネルは、当該グループで受信すべきチャネルを示している。すなわち、動き優先グループの場合は、動きを向上する拡張レイヤのチャネルを優先的に受信するリストを生成し、画質優先グループの場合は、画質を向上する拡張レイヤのチャネルを優先的に受信するリストを生成し、フルクオリティグループの場合は、全チャネルを受信するリストを生成する。このようにグループリストを生成することにより、受信端末が優先する品質に合わせてチャネルを受信し、選択した品質において最適な映像を受信することが可能である。
【００８０】
そして、ステップＳ１６００では、グループリスト送信部１１６で、グループリスト算出部１１４から出力されたグループリストをネットワーク１８０に伝送する。具体的には、たとえば、グループリストを、ネットワーク１８０を通じて、すべての受信端末に送信する。なお、本実施の形態では、グループリストの送信を必ず行うようにしているが、これに限定されるわけではなく、たとえば、上記のように、伝送路の混雑を避けるため、一定の間隔で送信することも可能である。
【００８１】
そして、ステップＳ１７００では、映像送信部１０８で、チャネル分割部１０６から出力された分割データを対応する別々のチャネルでネットワーク１８０に伝送する。具体的には、たとえば、上記のように、分割され別々のチャネルに割り当てられた符号化データを、指定された優先度をヘッダに付加して別々のチャネルでマルチキャスト送信する。このとき、チャネルは、たとえば、マルチキャストアドレスで示されている。
【００８２】
次いで、上記構成を有する映像受信装置１５０の動作について、図９に示すフローチャートを用いて説明する。なお、図９に示すフローチャートは、映像受信装置１５０の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００８３】
まず、ステップＳ２０００では、優先品質入力部１５４で、ユーザが指定した優先する品質を受信チャネル決定部１５８に出力する。ここでは、たとえば、動き優先、画質優先、フルクオリティの３つの種類の中から１つを選択するものとする（図８参照）。ただし、上記のように、ユーザからの指定がない場合は優先品質の出力は行わない。
【００８４】
一方、ステップＳ２１００では、グループリスト受信部１５６で、送信端末１００から送信されたグループリストを受信し、受信チャネル決定部１５８に出力する。
【００８５】
ステップＳ２２００では、受信チャネル決定部１５８で、優先品質入力部１５４から出力された優先品質とグループリスト受信部１５６から出力されたグループリストを用いて、受信すべきチャネルを決定する。
【００８６】
たとえば、図８のグループリストを受信した場合を考える。この場合、優先品質が動き優先の場合は、図８（Ａ）に示す丸（○）のチャネルを受信するものと、優先品質が動き優先の場合は、図８（Ｂ）に示す丸（○）のチャネルを受信するものと、優先品質がフルクオリティの場合は、図８（Ｃ）に示す丸（○）のチャネルを受信するものとそれぞれ決定する。
【００８７】
ただし、優先品質入力部１５４またはグループリスト受信部１５６からの出力がない場合は、前回決定したチャネル番号を映像受信部１６０に出力する。
【００８８】
そして、ステップＳ２３００では、映像受信部１６０で、受信チャネル決定部１５８から出力されたチャネル番号に関して、符号化データの受信を行い、受信した符号化データを映像復号化部１６２に出力する。
【００８９】
そして、ステップＳ２４００では、映像復号化部１６２で、映像受信部１６０から出力された符号化データを復号化し、得られた映像を映像表示部１６４に出力する。
【００９０】
そして、ステップＳ２５００では、映像表示部１６４で、映像復号化部１６２から出力された映像を画面に表示する。
【００９１】
そして、ステップＳ２６００では、端末情報送信部１５２で、当該受信端末１５０の端末情報を送信端末１００に送信する。たとえば、端末情報として、上記のように、端末が使用する表示デバイスの画面サイズ（Ｄインチ）を送信する。なお、本実施の形態では、映像データを受信する度に端末情報を送信するようにしているが、これに限定されるわけではなく、たとえば、上記のように、伝送路の混雑を避けるため、一定の間隔で送信することも可能である。
【００９２】
次いで、上記構成の映像伝送システムにおける主要な情報のやり取りについて、図１０のシーケンス図を用いて説明する。
【００９３】
まず、受信端末１５０は、端末情報（たとえば、表示画面のサイズ）を、ネットワーク１８０を通じて送信端末１００に送信する（▲１▼）。
【００９４】
そして、送信端末１００は、受信端末１５０からの端末情報を受信すると、受信した端末情報を用いてチャネルの優先度を算出した後（▲２▼）、グループリストを算出し、算出したグループリストをネットワーク１８０を通じて受信端末１５０に送信する（▲３▼）。
【００９５】
そして、受信端末１５０は、送信端末１００からのグループリストを受信すると、受信したグループリストを用いて受信チャネルを決定する（▲４▼）。
【００９６】
そして、送信端末１００は、入力映像に対して、１フレームごとに、映像符号化とチャネル分割（優先度付与を含む）を行い、分割／優先度付与後の符号化データを別々のチャネルでネットワーク１８０を通じて受信端末１５０に送信する（▲５▼）。その際、ネットワーク１８０は、優先度に応じたデータ伝送（パケット伝送）を行う。
【００９７】
そして、受信端末１５０は、送信端末１００からの符号化映像データを上記受信チャネルで受信し、復号化し、画面に表示する（▲６▼）。
【００９８】
図１１は、本実施の形態の映像伝送システムの適用例を示している。図１１において、映像送信装置として映像サーバ１００が設けられ、映像受信装置として大画面端末１５０ａ、小画面端末１５０ｂ、および低帯域端末１５０ｃが設けられている。映像サーバ１００と各端末１５０ａ〜１５０ｃとは、ネットワーク１８０を通じて互いに接続されている。ネットワーク１８０は、ＬＡＮ１８２、インターネット１８４、およびモバイル網１８６を有し、ＬＡＮ１８２とインターネット１８４はルータ１８８を介して互いに接続され、ＬＡＮ１８２とモバイル網１８６はルータ１９０を介して互いに接続されている。すなわち、映像サーバ１００と大画面端末１５０ａとはＬＡＮ１８２を介して接続され、映像サーバ１００と小画面端末１５０ｂとはＬＡＮ１８２、ルータ１８８、インターネット１８４を介して接続され、映像サーバ１００と低帯域端末１５０ｃとはＬＡＮ１８２、ルータ１９０、モバイル網１８６を介して接続されている。
【００９９】
この場合、大画面端末１５０ａは、画質優先で映像を受信することができ、小画面端末１５０ｂは、動き優先で映像を受信することができ、低帯域端末１５０ｃは、エラー耐性優先で映像を受信することができる。
【０１００】
このように、本実施の形態によれば、階層符号化データを品質・帯域別に別チャネルに分割し、品質別のグループリストを送信するため、複数の受信端末がそれぞれ優先する品質を自由に選択し映像受信することができる。
【０１０１】
また、端末情報に基づいて各チャネルの優先度を算出し、優先度を付けて伝送を行うため、端末の使用可能な伝送帯域において、各端末は優先する品質のグループを選択・受信し、自動的に自己の特性に適した最高品質の映像を受信することができる。また、端末特性に合わせたスケーラビリティを実現することができる。
【０１０２】
（実施の形態２）
本実施の形態では、階層符号化データを品質・帯域別にチャネル分割し、入力映像情報を用いて算出した優先度を付加して別チャネルで伝送するとともに、品質別のグループリストを送信することにより、受信端末が優先する品質を選択でき、ネットワークの状況に応じ映像特性に適した品質で映像を受信することができる映像伝送システムについて説明する。
【０１０３】
図１２は、本発明の実施の形態２に係る映像伝送システムの構成を示す図である。なお、この映像伝送システムにおける映像送信装置２００および映像受信装置２５０は、図１に示す映像伝送システムにおける映像送信装置１００および映像受信装置１５０とそれぞれ同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【０１０４】
本実施の形態の特徴は、実施の形態１ではチャネルの優先度を端末情報に基づいて算出するのに対し、ここでは、映像特性に基づいてチャネル優先度の算出を行うことである。そのため、映像送信装置２００は、映像符号化部１０４ａ、映像特性算出部２０２、および優先度算出部２０４を有する。また、映像受信装置２５０は、図１の端末情報送信部１５２を有していない。
【０１０５】
映像符号化部１０４ａは、図１の映像符号化部１０４と同様に、映像入力部１０２から出力された画像を入力画像として階層符号化し、得られた符号化データをチャネル分割部１０６に出力する。たとえば、階層符号化としてＭＰＥＧ−４ＦＧＳ符号化を用いる場合、入力画像に対して、基本レイヤ（ＢＬ）と、画質を向上させる拡張レイヤ１（ＥＬ１）と、動きの滑らかさを向上させる拡張レイヤ２（ＥＬ２）、拡張レイヤ３（ＥＬ３）、拡張レイヤ４（ＥＬ４）とからなる符号化データを生成し（図２参照）、出力する。ただし、本実施の形態では、映像符号化部１０４ａは、さらに、基本レイヤ（ＢＬ）を映像特性算出部２０２に出力する。
【０１０６】
映像特性算出部２０２は、映像符号化部１０４ａから出力された基本レイヤ（ＢＬ）から動きベクトルを抽出して入力映像の映像特性を算出し、得られた映像特性値を優先度算出部２０４に出力する。処理の詳細については、後で説明する。
【０１０７】
優先度算出部２０４は、映像特性算出部２０２から出力された映像特性値を用いて各チャネルの優先度を決定し、優先度マップをチャネル分割部１０６に出力する。
【０１０８】
次いで、上記構成を有する映像送信装置２００の動作について、図１３に示すフローチャートを用いて説明する。なお、図１３に示すフローチャートは、映像送信装置２００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１０９】
本実施の形態では、図１３に示すように、ステップＳ１２５０を図４に示すフローチャートに挿入し、ステップＳ１２００を削除している。
【０１１０】
ステップＳ１０００およびステップＳ１１００は、図４に示すフローチャートの各ステップと同様であるため、その説明を省略する。ただし、本実施の形態では、ステップＳ１１００の映像符号化処理の際に、映像符号化部１０４ａで、基本レイヤ（ＢＬ）の符号化データを映像特性算出部２０２に出力する。
【０１１１】
そして、ステップＳ１２５０では、映像特性算出部２０２で、映像符号化部１０４ａから出力された基本レイヤ（ＢＬ）から動きベクトルを抽出して入力映像の映像特性を算出し、得られた映像特性値を優先度算出部２０４に出力する。具体的には、たとえば、映像符号化部１０４ａから出力された基本レイヤの符号化データを用いて動きベクトルを抽出し、抽出した動きベクトルの絶対和を算出し、算出した絶対和を映像特性値Ｍとする。
【０１１２】
ここで、映像特性値Ｍは、映像中の動きの大きさを表す値であり、Ｍの値が大きいほど動きの大きい映像であり、逆に、Ｍの値が小さいほど動きの小さい映像である。
【０１１３】
なお、本実施の形態では、映像特性値を動きベクトルの絶対和としたが、これに限定されるわけではなく、映像の動きの大きさを表すことができるものであれば、どのようなものでもよい。
【０１１４】
そして、ステップＳ１３００では、優先度算出部２０４で、映像特性算出部２０２から出力された映像特性値を用いて各チャネルの優先度を決定し、優先度マップをチャネル分割部１０６に出力する。
【０１１５】
具体的には、まず映像特性を用いて重視する品質を決定し、この重視する品質に基づいて各チャネルの優先度を決定する。手順は、次のとおりである。
【０１１６】
１）重視する品質の決定
映像特性値Ｍをしきい値ＴＨと比較して、重視する品質を決定する。ここでは、映像特性値が大きいほど、つまり、動きの大きい映像であるほど、動きの滑らかさが高いことが望ましいため、動き重視とする。具体的には、たとえば、映像特性値Ｍがしきい値ＴＨを超える（Ｍ＞ＴＨ）場合は、動き重視とし、そうでない場合、つまり、映像特性値Ｍがしきい値ＴＨ以下（Ｍ≦ＴＨ）の場合は、画質重視とする。
【０１１７】
２）優先度の決定
重視する品質に基づいて各チャネルの優先度を決定する。たとえば、上記のように、動き重視の場合は、優先度マップのＸ方向に優先度を上げ、逆に、画質重視の場合は、優先度マップのＹ方向に優先度を上げる（図６（Ａ）、図６（Ｂ）参照）。このように映像特性に合わせて優先度を決定することにより、映像特性に合わせ、いかなる帯域においても主観画質を高く保つための品質に関して高い優先度で伝送することが可能になる。
【０１１８】
ステップＳ１４００〜ステップＳ１７００は、図４に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１１９】
このように、本実施の形態によれば、階層符号化を品質・帯域別に別チャネルに分割し、品質別のグループリストを送信するため、複数の受信端末がそれぞれ優先する品質を自由に選択し映像受信することができる。
【０１２０】
また、映像特性に基づいて各チャネルの優先度を算出し、優先度を付けて伝送を行うため、各端末の使用可能な伝送帯域において、入力映像に対して主観画質に与える影響の大きい品質を優先して受信することができる。すなわち、映像特性に合わせて適切な品質を重視したスケーラビリティを実現することができる。
【０１２１】
（実施の形態３）
本実施の形態では、階層符号化データを品質・帯域別に分割し、各チャネル内のパケットごとに算出した優先度を付加して別チャネルで伝送するとともに、品質別のグループリストを送信することにより、受信端末が優先する品質を選択でき、より細かい精度でネットワークの状況に応じ端末特性や映像特性に適した品質で映像を受信することができる映像伝送システムについて説明する。
【０１２２】
図１４は、本発明の実施の形態３に係る映像伝送システムの構成を示す図である。なお、この映像伝送システムにおける映像送信装置３００は、図１に示す映像伝送システムにおける映像送信装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。また、映像受信装置１５０は、図１に示すものと全く同一であるため、その説明を省略する。
【０１２３】
本実施の形態の特徴は、実施の形態１（および実施の形態２）ではチャネルに対して優先度を付けるのに対し、ここでは、チャネル内のパケットに対してさらに細かい優先度を付けて伝送を行うことである。そのため、映像送信装置３００は、チャネル分割部３０２を有する。
【０１２４】
チャネル分割部３０２は、映像符号化部１０４から出力された符号化データを複数に分割し、各分割データに別々のチャネルを割り当てて優先度算出部１１２から出力される優先度を付加し、さらに、チャネルごとにパケット分割を行い、パケットの優先度を算出してパケットに優先度を付け、映像送信部１０８に分割データを出力し、分割リストをグループリスト算出部１１４に出力する。処理の詳細については、後で説明する。
【０１２５】
次いで、上記構成を有する映像送信装置３００の動作について、図１５に示すフローチャートを用いて説明する。なお、図１５に示すフローチャートは、映像送信装置３００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１２６】
本実施の形態では、図１５に示すように、ステップＳ１４２０およびステップＳ１４４０を図４に示すフローチャートに挿入し、ステップＳ１４００を削除している。
【０１２７】
ステップＳ１０００〜ステップＳ１３００は、図４に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１２８】
そして、ステップＳ１４２０では、チャネル分割部３０２で、実施の形態１と同様に、符号化データの分割を行う。たとえば、基本レイヤを１つのチャネルとし（ＢＬ）、拡張レイヤ（ＥＬ）１〜４をそれぞれあらかじめ決められたデータ量で分割し、別チャネルとする（図３参照）。そして、優先度算出部１１２から出力された優先度（図７（Ａ）参照）を各チャネルに付与する（図７（Ｂ）参照）。
【０１２９】
そして、ステップＳ１４４０では、同じくチャネル分割部３０２で、さらに、チャネルを構成するパケットへの優先度を算出する。ここで、パケットとは、データ送出の最小単位であり、たとえば、ＩＰパケットのことを指す。具体的な処理の手順は、次のとおりである。
【０１３０】
１）パケット分割
チャネル内のパケットをあらかじめ設定された分割数Ｋのパケット群に分割する。たとえば、図１６（Ｃ）は、Ｋ＝４の場合であってチャネルＥＬ１＿１を４等分割する場合を示している。なお、パケットの分割方法は、等分割に限定されない。
【０１３１】
２）パケット優先度算出
各パケットの優先度を算出する。図１６は、パケット優先度算出の一例を示しており、特に、図１６（Ａ）は、チャネルの優先度マップであり、図１６（Ｂ）は、基本レイヤ（ＢＬ）、拡張レイヤ１（ＥＬ１）のチャネル優先度を示し、図１６（Ｃ）は、チャネルＥＬ１＿１に対して分割されたパケット群のパケット優先度の一例を示している。
【０１３２】
図１６（Ｃ）の例では、チャネル優先度Ｐを用いて、次の（式２）に従い、
【数２】
下位に属するパケットから高い優先度を算出する。ここで、ｉはパケットの位置するパケット群番号であり、Ｐｉはパケット群の優先度であり、Ｋはチャネルの分割数であり、Ｐはチャネルの優先度である。なお、パケット優先度の算出方法は、上記の（式２）に限定されない。
【０１３３】
こうして算出されたパケット優先度は、各パケットのヘッダに付与される。パケット優先度を付けた符号化データは、映像送信部１０８に出力される。
【０１３４】
ステップＳ１５００〜ステップＳ１７００は、図４に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１３５】
このように、本実施の形態によれば、階層符号化データを品質・帯域別に別チャネルに分割し、端末情報に基づいてチャネルに優先度を付け、さらにチャネル内のパケットに細かい優先度を付けて伝送を行うため、各端末の使用可能な伝送帯域において、より細かい精度で自動的に端末特性に適した品質の符号化データを優先して受信することができる。
【０１３６】
なお、本実施の形態では、チャネルの優先度算出方法として実施の形態１と同様に端末情報を用いる場合を示したが、これに限定されるわけではなく、実施の形態２と同様に映像特性を用いることも可能である。
【０１３７】
（実施の形態４）
本実施の形態では、階層符号化データを品質・帯域別に分割し別チャネルで伝送するとともに、受信端末の受信状況に応じて優先する品質の種類を制御することにより、主観画質の高い映像を受信することができる映像伝送システムについて説明する。
【０１３８】
図１７は、本発明の実施の形態４に係る映像伝送システムの構成を示す図である。なお、この映像伝送システムにおける映像受信装置４５０は、図１に示す映像伝送システムにおける映像受信装置１５０と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。また、映像送信装置１００は、図１に示すものと全く同一であるため、その説明を省略する。
【０１３９】
本実施の形態の特徴は、受信端末の受信状況（たとえば、データ欠落率またはパケットロス率）に応じて優先する品質の種類を制御することである。そのため、映像受信装置４５０は、受信状況算出部４５２、受信チャネル決定部４５４、および映像受信部１６０ａを有する。
【０１４０】
映像受信部１６０ａは、図１の映像受信装置１５０と同様に、受信チャネル決定部４５４から出力されたチャネル番号に対応する符号化データを受信し、受信した符号化データを映像復号化部１６２に出力する。ただし、本実施の形態では、さらに、受信チャネルの総数と、正常にデータを受信できたチャネルの総数とを受信状況算出部４５２に出力する。
【０１４１】
受信状況算出部４５２は、映像受信部１６０ａから出力された情報を用いて受信状況を算出する。具体的には、映像受信部１６０ａから出力された受信チャネル総数および正常に受信できたチャネル総数を用いてデータ欠落率Ｌを算出し、算出したデータ欠落率Ｌを受信チャネル決定部４５４に出力する。処理の詳細については、後で説明する。
【０１４２】
受信チャネル決定部４５４は、受信状況算出部４５２から出力されたデータ欠落率Ｌを用いて優先品質を決定し、決定した優先品質とグループリスト受信部１５６から出力されたグループリストを用いて受信するチャネル番号を決定し、決定したチャネル番号を映像受信部１６０ａに出力する。ただし、受信状況算出部４５２またはグループリスト受信部１５６からの出力がない場合は、前回決定したチャネル番号を映像受信部１６０ａに出力する。処理の詳細については、後で説明する。
【０１４３】
次いで、上記構成を有する映像受信装置４５０の動作について、図１８に示すフローチャートを用いて説明する。なお、図１８に示すフローチャートは、映像受信装置４５０の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１４４】
本実施の形態では、図１８に示すように、ステップＳ２０５０を図９に示すフローチャートに挿入し、ステップＳ２０００を削除している。
【０１４５】
ステップＳ２０５０では、受信状況算出部４５２で、映像受信部１６０ａから出力された情報（受信チャネル総数と正常に受信できたチャネル総数）を用いてデータ欠落率Ｌを算出し、算出したデータ欠落率Ｌを受信チャネル決定部４５４に出力する。ここで、データ欠落率Ｌは、たとえば、次の（式３）、
【数３】
によって算出される。ただし、Ｃｎは受信チャネル総数であり、Ｔｎは正常に受信できたチャネル総数である。
【０１４６】
なお、データ欠落率Ｌの算出方法は、上記の例に限定されない。
【０１４７】
ステップＳ２１００〜ステップＳ２６００は、図９に示すフローチャートの各ステップと同様であるため、その説明を省略する。ただし、本実施の形態では、ステップＳ２２００の受信チャネル決定処理の際に、次のような処理を行う。
【０１４８】
すなわち、ステップＳ２２００では、受信チャネル決定部４５４で、受信状況算出部４５２から出力されたデータ欠落率Ｌを用いて優先品質を決定し、さらに、決定した優先品質とグループリスト受信部１５６から出力されたグループリストを用いて受信すべきチャネル番号を決定し、決定したチャネル番号を映像受信部１６０ａに出力する。
【０１４９】
ここで、具体的な優先品質決定方法は、たとえば、次のとおりである。すなわち、データ欠落率Ｌを所定のしきい値ＴＨと比較して、優先品質を決定する。ここでは、データ欠落率Ｌが高くしきい値ＴＨを超える（Ｌ＞ＴＨ）場合は、データ欠落の影響が小さい動き優先とし（動き優先の場合は、フレームレートが高く、パケットエラーの主観画質への影響が小さい）、データ欠落率Ｌが低くしきい値ＴＨ以下（Ｌ≦ＴＨ）の場合は、データ欠落の影響が大きい画質優先とする（画質優先の場合は、フレームレートが低く、パケットエラーにより主観画質が大きく低下してしまう）。
【０１５０】
このように、本実施の形態によれば、階層符号化データを品質・帯域別に別チャネルに分割し優先度を付けて伝送する映像伝送システムにおいて、受信端末の受信状況を用いてデータ欠落率を算出し、データ欠落率が高い場合は、フレームレートが高くデータ欠落が主観画質に与える影響の小さい動き優先を選択し、そうでない場合は画質優先を選択するため、受信状況によらず主観画質の高い映像を受信することができる。すなわち、受信状況に合わせて受信品質の向上を図ることができる。
【０１５１】
【発明の効果】
以上説明したように、本発明によれば、特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る映像伝送システムの構成を示す図
【図２】ＭＰＥＧ−４ ＦＧＳ符号化を用いた場合の符号化データの構造の一例を示す図
【図３】図２の符号化データに対するチャネル分割結果の一例を示す図
【図４】実施の形態１に対応する映像送信装置の動作を示すフローチャート
【図５】（Ａ）優先度付与とグルーピングを説明するための図
（Ｂ）動き重視の場合の優先度付与を説明するための図
（Ｃ）画質重視の場合の優先度付与を説明するための図
【図６】（Ａ）動き重視の場合の優先度マップを示す図
（Ｂ）画質重視の場合の優先度マップを示す図
【図７】（Ａ）優先度マップの一例を示す図
（Ｂ）上記優先度マップに基づく優先度付与後のチャネルを示す図
【図８】（Ａ）グループリストのうち動き優先グループを示す図
（Ｂ）グループリストのうち画質優先グループを示す図
（Ｃ）グループリストのうちフルクオリティグループを示す図
【図９】実施の形態１に対応する映像受信装置の動作を示すフローチャート
【図１０】実施の形態１に対応する映像伝送システムにおける主要な情報のやり取りを示すシーケンス図
【図１１】実施の形態１の映像伝送システムの適用例を示す図
【図１２】本発明の実施の形態２に係る映像伝送システムの構成を示す図
【図１３】実施の形態２に対応する映像送信装置の動作を示すフローチャート
【図１４】本発明の実施の形態３に係る映像伝送システムの構成を示す図
【図１５】実施の形態３に対応する映像送信装置の動作を示すフローチャート
【図１６】（Ａ）チャネルの優先度マップの一例を示す図
（Ｂ）上記チャネル優先度マップに基づく優先度付与後のチャネルの一部を示す図
（Ｃ）パケット分割とパケット優先度の一例を示す図
【図１７】本発明の実施の形態４に係る映像伝送システムの構成を示す図
【図１８】実施の形態４に対応する映像受信装置の動作を示すフローチャート
【図１９】従来の映像符号化装置の構成の一例を示す図
【符号の説明】
１００、２００、３００ 映像送信装置
１０２ 映像入力部
１０４ 映像符号化部
１０６、３０２ チャネル分割部
１０８ 映像送信部
１１０ 端末情報受信部
１１２，２０４ 優先度算出部
１１４ グループリスト算出部
１１６ グループリスト送信部
１５０、２５０、４５０ 映像受信装置
１５２ 端末情報送信部
１５４ 優先品質入力部
１５６ グループリスト受信部
１５８、４５４ 受信チャネル決定部
１６０、１６０ａ 映像受信部
１６２ 映像復号化部
１６４ 映像表示部
４５２ 受信状況算出部
【発明の属する技術分野】
本発明は、ネットワークを通じて映像を伝送する映像伝送システムに関する。
【０００２】
【従来の技術】
従来の映像伝送システムで伝送される映像データは、ある一定の伝送帯域で伝送できるように、通常、Ｈ．２６１方式やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などによって一定帯域以下に圧縮符号化されており、一度符号化された映像データは伝送帯域が変わっても映像品質を変えることはできない。
【０００３】
しかし、近年のネットワークの多様化に伴い、伝送路の帯域変動が大きく、複数の帯域に見合った品質の映像を伝送可能な映像データが必要とされており、これに対応するために、階層構造を持ち複数帯域に対応できる階層符号化方式が規格化されている。このような階層符号化方式の中でも、とりわけ帯域選択に関して自由度が高い方式であるＭＰＥＧ−４ ＦＧＳ（Ｆｉｎｅ Ｇｒａｎｕｌａｒｉｔｙ Ｓｃａｌａｂｉｌｉｔｙ）が現在規格化されたところである。ＭＰＥＧ−４ ＦＧＳにより符号化された映像データは、単体で復号化が可能な動画像ストリームである一の基本レイヤと、基本レイヤの復号化動画像品質を向上させるための動画像ストリームである、少なくとも一以上の拡張レイヤとで構成される。基本レイヤは低帯域で低画質の映像データであり、これに拡張レイヤを帯域に応じて足し合わせることにより自由度の高い高画質化が可能である。
【０００４】
ＭＰＥＧ−４ ＦＧＳにおいては、伝送する拡張レイヤの総データサイズを制御して様々な帯域に適応させることが可能であり、帯域に応じた品質の映像を伝送することが可能である。
【０００５】
しかし、複数の端末で同時に映像を受信する場合には、映像を受信する端末の能力や各端末が使用するネットワークの特性（受信帯域）が異なるため、端末ごとに必要とされる品質が異なるという課題がある。なお、ここでいう品質には、たとえば、画質、フレームレート（動きの滑らかさ）、エラー耐性、解像度、遅延などがある。
【０００６】
この点に関し、ネットワークの輻輳などによりネットワーク状況が変動する端末に対して、ネットワークの特性に合わせて適切な品質で映像伝送を行うための技術として、映像ストリームを階層化し優先度の異なるチャネルで伝送するようにしたものがある（たとえば、特許文献１参照）。
【０００７】
図１９は、従来の映像符号化装置の構成の一例を示す図である。この映像符号化装置１０において、映像符号化回路１２は、入力した映像信号に対して、動き補償・ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）・量子化を用いた映像符号化を行い、符号化データを階層化回路１４に出力する。階層化回路１４は、映像符号化回路１２から入力した符号化データに対してＤＣＴに用いられるＮ×Ｎ画素のブロック単位でＭ個の領域に分割し（ただし、Ｎ、Ｍは共に自然数）、Ｍ個の符号化データをパケット化バッファ１６に出力する。ここで、階層化回路１４のデータ分割においては、Ｍ個の領域のうちある領域が破棄された場合に生じる画質劣化を測定し、あらかじめ設定された許容値に等しくなるように領域の大きさを制御している。パケット化バッファ１６は、階層化回路１４から入力した分割符号化データに対して、低周波成分を含む領域から高い優先度のチャネルで伝送する。
【０００８】
このように、映像符号化装置１０においては、ＤＣＴ係数を領域分割し、低周波成分から高い優先度のチャネルで伝送することにより、ネットワークの輻輳が発生した場合においても、低い優先度のチャネルにおける符号化データが破棄されるため、帯域に応じた画質で映像を受信することが可能である。
【０００９】
【特許文献１】
特開平４−１００４９４号公報（第１頁、第１図）
【００１０】
【発明が解決しようとする課題】
しかしながら、上記した従来の技術においては、伝送帯域に応じた画質で映像を受信することは可能であるが、複数の受信端末がそれぞれ自由に優先する品質の種類（たとえば、上記のように、画質、動きの滑らかさ、エラー耐性、解像度など）を選択することはできない。
【００１１】
たとえば、限られた伝送帯域の中で表示画面の大きい端末は、低画質で動きが滑らかな映像よりも、動きは滑らかでないが１枚１枚が高画質な画質優先の映像を受信することが望ましい。逆に、画面の小さい端末は、高画質で動きが滑らかでない映像よりも、低画質で動きが滑らかな映像を受信することが望ましい。また、ネットワークでのエラー発生率が高い無線環境における端末は、エラー耐性が弱くエラーがない状況でのみ再生可能な映像よりも、エラー耐性が高くエラーの発生する状況においても再生可能な映像を受信することが望ましい。
【００１２】
このように、特性（端末能力や受信帯域）が異なる複数の端末で同時に映像を受信する場合には、映像品質の種類と程度を端末が自由に選択でき、端末の特性や状況に応じた適切な品質で映像を受信できることが必要とされている。
【００１３】
本発明は、かかる点に鑑みてなされたものであり、特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信することができる映像伝送システムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の映像伝送システムは、ネットワークを通じて階層符号化データを映像送信装置から映像受信装置に伝送する映像伝送システムであって、前記映像送信装置は、階層符号化データを品質別または品質および帯域別に別々のチャネルに分割する分割手段と、分割された階層符号化データを互いに別チャネルで送信する第１送信手段と、品質別にチャネルをグルーピングしてグループリストを算出する算出手段と、算出されたグループリストを送信する第２送信手段とを有し、前記映像受信装置は、前記映像送信装置から送信されたグループリストを受信する第１受信手段と、受信されたグループリストを用いて受信チャネルを決定する決定手段と、前記映像送信装置から送信された分割階層符号化データのうち、決定された受信チャネルのデータを受信する第２受信手段とを有する構成を採る。ここで、たとえば、前記品質は、画質、フレームレート、エラー耐性、解像度、および遅延のうちの一以上の組み合わせである。
【００１５】
この構成によれば、階層符号化データを品質別または品質および帯域別に分割し別チャネルで伝送するとともに、品質別にチャネルをグルーピングしそのリストを送信するため、複数の受信端末（映像受信装置）がそれぞれ映像の受信品質を選択でき、適切な品質で映像を受信することができる。すなわち、特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信することができる。
【００１６】
本発明の映像送信装置は、階層符号化データを品質別または品質および帯域別に別々のチャネルに分割する分割手段と、分割された階層符号化データを互いに別チャネルで送信する第１送信手段と、品質別にチャネルをグルーピングしてグループリストを算出する算出手段と、算出されたグループリストを送信する第２送信手段とを有する構成を採る。
【００１７】
この構成によれば、階層符号化データを品質別または品質および帯域別に分割し別チャネルで伝送するとともに、品質別にチャネルをグルーピングしそのリストを送信するため、複数の受信端末（映像受信装置）がそれぞれ映像の受信品質を選択でき、適切な品質で映像を受信することができる。すなわち、特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信することができる。
【００１８】
本発明の映像送信装置は、上記の構成において、各チャネルの優先度を算出する第２算出手段をさらに有し、前記分割手段は、階層符号化データを品質別または品質および帯域別に別々のチャネルに分割するとともに、各チャネルに算出されたチャネル優先度を付与し、前記第１送信手段は、分割された階層符号化データをチャネル優先度が付与された互いに別のチャネルで送信する、構成を採る。
【００１９】
この構成によれば、たとえば、重視する品質に合わせて、各チャネルに優先度を付けて伝送を行うため（このとき、たとえば、ネットワークノードは優先度に従ったパケット伝送を行う）、限られた帯域において、端末は優先する品質のグループを選択して受信し、自動的に最高品質の映像を受信することができる。
【００２０】
本発明の映像送信装置は、上記の構成において、前記第２算出手段は、受信端末情報に基づいて各チャネルの優先度を算出する、構成を採る。
【００２１】
この構成によれば、受信端末情報に基づいて各チャネルの優先度を算出するため、端末特性に合わせたスケーラビリティを実現することができる。
【００２２】
本発明の映像送信装置は、上記の構成において、前記第２算出手段は、映像特性に基づいて各チャネルの優先度を算出する、構成を採る。
【００２３】
この構成によれば、映像特性に基づいて各チャネルの優先度を算出するため、映像特性に合わせたスケーラビリティを実現することができる。
【００２４】
本発明の映像送信装置は、上記の構成において、前記分割手段は、階層符号化データを品質別または品質および帯域別に別々のチャネルに分割し、各チャネルに算出されたチャネル優先度を付与するとともに、各チャネル内のパケットの優先度を算出し、各パケットに算出されたパケット優先度を付与し、前記第１送信手段は、分割された階層符号化データをパケット優先度が付与された互いに別のチャネルで送信する、構成を採る。
【００２５】
この構成によれば、チャネル内のパケットに対し、さらに細かい優先度を付けて伝送を行うため（このとき、たとえば、ネットワークノードは優先度に従ったパケット伝送を行う）、より細かい精度で自動的に最高品質の映像を受信することができる。
【００２６】
本発明の映像受信装置は、上記に記載の映像送信装置から送信されたグループリストを受信する第１受信手段と、受信されたグループリストを用いて受信チャネルを決定する決定手段と、前記映像送信装置から送信された分割階層符号化データのうち、決定された受信チャネルのデータを受信する第２受信手段とを有する構成を採る。
【００２７】
この構成によれば、上記に記載の映像送信装置との協働の下、グループリストを用いて受信チャネルを決定するため、映像の受信品質を選択でき、適切な品質で映像を受信することができる。すなわち、特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信することができる。
【００２８】
本発明の映像受信装置は、上記の構成において、受信状況を算出する第３算出手段をさらに有し、前記決定手段は、受信されたグループリストおよび算出された受信状況を用いて受信チャネルを決定する、構成を採る。
【００２９】
この構成によれば、受信状況に応じて受信品質を制御するため、受信状況に合わせて受信品質の向上を図ることができる。
【００３０】
本発明の映像伝送方法は、ネットワークを通じて階層符号化データを映像送信装置から映像受信装置に伝送する映像伝送方法であって、前記映像送信装置が、階層符号化データを品質別または品質および帯域別に別々のチャネルに分割するステップと、前記映像送信装置が、分割した階層符号化データを互いに別チャネルで送信するステップと、前記映像送信装置が、品質別にチャネルをグルーピングしてグループリストを算出するステップと、前記映像送信装置が、算出したグループリストを送信するステップと、前記映像受信装置が、前記映像送信装置から送信されたグループリストを受信するステップと、前記映像受信装置が、受信したグループリストを用いて受信チャネルを決定するステップと、前記映像受信装置が、前記映像送信装置から送信された分割階層符号化データのうち、決定した受信チャネルのデータを受信するステップとを有するようにした。
【００３１】
この方法によれば、階層符号化データを品質別または品質および帯域別に分割し別チャネルで伝送するとともに、品質別にチャネルをグルーピングしそのリストを送信するため、複数の受信端末（映像受信装置）がそれぞれ映像の受信品質を選択でき、適切な品質で映像を受信することができる。すなわち、特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信することができる。
【００３２】
【発明の実施の形態】
本発明の骨子は、階層符号化された映像ストリームを伝送するシステムにおいて、その階層符号化された映像ストリームを品質別または品質および帯域別に分割し別チャネルで伝送するとともに、品質別にチャネルをグルーピングしそのリストを送信することにより、複数の受信端末がそれぞれ映像の受信品質を選択でき、適切な品質で映像を受信できることである。
【００３３】
また、その際、優先する品質に合わせて各チャネルに優先度を付けて伝送を行う（このとき、ネットワークノードは優先度に従ったパケット伝送を行う）ことにより、限られた帯域において、受信端末が、優先する品質のグループを選択して受信し、自動的に最高品質の映像を受信できることである。
【００３４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３５】
（実施の形態１）
本実施の形態では、階層符号化データを品質・帯域別にチャネル分割し、端末情報を用いて算出した優先度を付加して別チャネルで伝送するとともに、品質別にチャネルをグルーピングしたグループリストを送信することにより、受信端末が優先する品質を選択でき、ネットワークの状況に応じ端末特性に適した品質で映像を受信することができる映像伝送システムについて説明する。
【００３６】
図１は、本発明の実施の形態１に係る映像伝送システムの構成を示す図である。
【００３７】
この映像伝送システムは、映像を送信する映像送信装置（以下「送信端末」ともいう）１００と、映像を受信する映像受信装置（以下「受信端末」ともいう）１５０と、映像送信装置１００から送信された映像を映像受信装置１５０に中継するネットワーク１８０とを有する。すなわち、映像送信装置１００から送信された映像は、ネットワーク１８０を通じて映像受信装置１５０に伝送される。
【００３８】
映像送信装置１００は、映像入力部１０２、映像符号化部１０４、チャネル分割部１０６、映像送信部１０８、端末情報受信部１１０、優先度算出部１１２、グループリスト算出部１１４、およびグループリスト送信部１１６を有する。
【００３９】
映像入力部１０２は、外部から提供されたまたは当該装置１００で生成された映像を構成する画像を１フレームごとに映像符号化部１０４に出力する。
【００４０】
映像符号化部１０４は、映像入力部１０２から出力された画像を入力画像として階層符号化し、得られた符号化データをチャネル分割部１０６に出力する。
【００４１】
たとえば、階層符号化としてＭＰＥＧ−４ ＦＧＳ符号化を用いる場合、符号化データの構造の一例は、図２に示すとおりである。すなわち、映像符号化部１０４は、入力画像に対して基本レイヤ（ＢＬ）と、画質を向上させる拡張レイヤ１（ＥＬ１）と、動きの滑らかさを向上させる拡張レイヤ２（ＥＬ２）、拡張レイヤ３（ＥＬ３）、拡張レイヤ４（ＥＬ４）とからなる符号化データを生成し、チャネル分割部１０６に出力する。
【００４２】
この場合、基本レイヤに拡張レイヤ１を加えることにより、画質を向上することができ、また、基本レイヤに拡張レイヤ２、拡張レイヤ３、拡張レイヤ４の順でデータを加えることにより、動きがより一層滑らかになる。さらに、拡張レイヤは下位層からデータを分割することができ、基本レイヤに加えるデータの量を制御することによって、向上させる品質の程度を制御することが可能である。
【００４３】
チャネル分割部１０６は、映像符号化部１０４から出力された符号化データを複数に分割し、各分割データに別々のチャネルを割り当てるとともに優先度算出部１１２から出力される優先度を付加して映像送信部１０８に出力する。また、分割データと割り当てチャネルとのリストである分割リストを生成し、グループリスト算出部１１４に出力する。たとえば、チャネル分割結果の一例は、図３に示すとおりである。処理の詳細については、後で説明する。
【００４４】
映像送信部１０８は、チャネル分割部１０６から出力された分割データを対応する別々のチャネルでネットワーク１８０に伝送する。具体的には、たとえば、分割され別々のチャネルに割り当てられた符号化データを、指定された優先度をヘッダに付加して別々のチャネルでマルチキャスト送信する。優先度は、たとえば、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ヘッダ内に記述することができる。また、チャネルは、たとえば、マルチキャストアドレスで示されるものとする。ここで、マルチキャスト送信とは、１つの送信端末からデータを送信するチャネルに関して、受信を選択した端末に対してのみデータが伝送される方式であり、複数の受信端末が受信を行う場合においても同一伝送路内では伝送されるデータに重複がないため、伝送効率が良い伝送方式である。
【００４５】
なお、映像ストリームの送信方法は、もちろん、マルチキャスト送信に限定されない。
【００４６】
端末情報受信部１１０は、受信端末（映像受信装置１５０）から送信される端末情報を受信し、優先度算出部１１２に出力する。ここで、端末情報は、受信端末に関する情報であって優先すべき品質を示すことができるものであれば、どのような情報でもよい。端末情報としては、たとえば、受信端末が使用する表示デバイスの画面サイズを挙げることができる。
【００４７】
優先度算出部１１２は、端末情報受信部１１０から出力された端末情報を用いてチャネルの優先度を決定し、決定した優先度をチャネル分割部１０６に出力する。処理の詳細については、後で説明する。
【００４８】
グループリスト算出部１１４は、チャネル分割部１０６から出力された分割リストを用いて、優先品質と受信すべきチャネルとのリストであるグループリストを生成し、グループリスト送信部１１６に出力する。処理の詳細については、後で説明する。
【００４９】
グループリスト送信部１１６は、グループリスト算出部１１４から出力されたグループリストをネットワーク１８０に伝送する。具体的には、たとえば、グループリストを、ネットワーク１８０を通じて、すべての受信端末に送信する。
【００５０】
なお、本実施の形態では、グループリストの送信を必ず行う場合を例にとって説明するが、これに限定されない。たとえば、伝送路の混雑を避けるため、一定の間隔で送信することも可能である。
【００５１】
ネットワーク１８０は、図示しないノード（ネットワークノード）を有する。ネットワークノードは、チャネルに付加された優先度に従ってデータの伝送（パケット伝送）を行う。具体的には、ネットワークが混雑している場合は、優先度の低いチャネルからデータを破棄し、優先度の高いチャネルのデータ伝送を保証する。また、送信端末１００から送信される複数のチャネルのうち受信端末１５０が選択しているチャネルのデータのみを当該受信端末１５０に転送する。ネットワークノードは、たとえば、ルータである。
【００５２】
映像受信装置１５０は、端末情報送信部１５２、優先品質入力部１５４、グループリスト受信部１５６、受信チャネル決定部１５８、映像受信部１６０、映像復号化部１６２、および映像表示部１６４を有する。
【００５３】
端末情報送信部１５２は、当該映像受信装置１５０の端末情報を映像送信装置１００に送信する。たとえば、端末情報として表示画面の大きさを送信する。端末情報は、上記のように、受信端末に関する情報であって優先すべき品質を示すことができるものであれば、どのような情報でもよい。
【００５４】
なお、本実施の形態では、映像データを受信する度に端末情報を送信する場合を例にとって説明するが、これに限定されない。たとえば、伝送路の混雑を避けるため、一定の間隔で送信することも可能である。
【００５５】
優先品質入力部１５４は、ユーザが指定した優先する品質（たとえば、画質優先、動き優先など）を受信チャネル決定部１５８に出力する。ただし、ユーザからの指定がない場合は、優先品質の出力は行わない。
【００５６】
グループリスト受信部１５６は、送信端末（映像送信装置１００）から送信されたグループリスト（上記のように、品質とチャネルを示すリスト）を受信し、受信チャネル決定部１５８に出力する。
【００５７】
受信チャネル決定部１５８は、優先品質入力部１５４から出力された優先品質とグループリスト受信部１５６から出力されたグループリストを用いて、受信すべきチャネルを決定する。具体的には、受信するチャネル番号を決定し、決定したチャネル番号を映像受信部１６０に出力する。ただし、優先品質入力部１５４またはグループリスト受信部１５６からの出力がない場合は、前回決定したチャネル番号を映像受信部１６０に出力する。処理の詳細については、後で説明する。
【００５８】
映像受信部１６０は、受信チャネル決定部１５８から出力されたチャネル番号に対応する符号化データを受信し、受信した符号化データを映像復号化部１６２に出力する。
【００５９】
映像復号化部１６２は、映像受信部１６０から出力された符号化データを復号化し、復号化して得られた映像を映像表示部１６４に出力する。
【００６０】
映像表示部１６４は、映像復号化部１６２から出力された映像を画面に表示する。映像表示部１６４は、表示デバイスで構成されている。
【００６１】
次いで、上記構成を有する映像送信装置１００の動作について、図４に示すフローチャートを用いて説明する。なお、図４に示すフローチャートは、映像送信装置１００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００６２】
まず、ステップＳ１０００では、映像入力部１０２で、映像を構成する画像を１フレームごとに映像符号化部１０４に出力する。
【００６３】
そして、ステップＳ１１００では、映像符号化部１０４で、映像入力部１０２から出力された画像に対して階層符号化を行い、得られた符号化データをチャネル分割部１０６に出力する。たとえば、階層符号化としてＭＰＥＧ−４ ＦＧＳ符号化を用いる場合、符号化データは、基本レイヤ（ＢＬ）と複数の拡張レイヤ（ＥＬ）とで構成される。ここでは、一例として、図２に示すように、符号化データが１つの基本レイヤ（ＢＬ）と４つの拡張レイヤ（ＥＬ１〜４）とで構成される場合を例にとって説明する。
【００６４】
一方、ステップＳ１２００では、端末情報受信部１１０で、複数の受信端末１５０から送信された端末情報を受信し、優先度算出部１１２に出力する。ここでは、一例として、たとえば、端末情報は、受信端末１５０が使用する表示デバイスの画面サイズ（Ｄインチ）であるとする。
【００６５】
ただし、上記のように、端末情報は、画面サイズに限定されるわけではなく、たとえば、ユーザの好み（動き優先、画質優先）などの優先すべき品質を示すことができる情報であれば使用可能である。
【００６６】
そして、ステップＳ１３００では、優先度算出部１１２で、端末情報受信部１１０から出力された端末情報を用いて各チャネルの優先度を決定し、決定した優先度をチャネル分割部１０６に出力する。すなわち、端末情報が受信された場合は、受信された端末情報を用いて優先度を決定し、決定した優先度をチャネル分割部１０６に出力する。これに対し、端末情報が受信されない場合は、前回の優先度をチャネル分割部１０６に出力する。
【００６７】
具体的には、複数の端末情報Ｄ＿ｎ（ｎは端末番号）を用いて重視する品質を決定し、この重視する品質に基づいて各チャネルの優先度を決定する。手順は、次のとおりである。
【００６８】
１）平均画面サイズの算出
複数の端末情報Ｄ＿ｎを用いて、次の（式１）により、
【数１】
【００６９】
２）重視する品質の決定
平均画面サイズＤ＿ＡＶＲをしきい値ＴＨと比較して、重視する品質を決定する。ここでは、端末の表示画面サイズが大きいほど、１枚１枚の画質が高品位であることが望ましいため、画質重視とする。具体的には、たとえば、平均画面サイズＤ＿ＡＶＲがしきい値ＴＨを超える（Ｄ＿ＡＶＲ＞ＴＨ）場合は、画質重視とし、そうでない場合、つまり、平均画面サイズＤ＿ＡＶＲがしきい値ＴＨ以下（Ｄ＿ＡＶＲ≦ＴＨ）の場合は、動き重視とする。
【００７０】
３）優先度の決定
重視する品質に基づいて各チャネルの優先度を決定する。具体的には、動き重視の場合は、動き向上（時間スケーラビリティ）の方向にチャネル優先度を上げ（図５（Ａ）、図５（Ｂ）参照）、画質重視の場合は、画質向上（画質スケーラビリティ）の方向にチャネル優先度を上げる（図５（Ａ）、図５（Ｃ）参照）。
【００７１】
これを図６の優先度マップ（チャネルと優先度を示すマップ）を用いて説明すると、動き重視の場合は、優先度マップのＸ方向に優先度を上げ、逆に、画質重視の場合は、優先度マップのＹ方向に優先度を上げる。たとえば、動き重視の場合は、図６（Ａ）に示すように優先度を設定し、画質重視の場合は、図６（Ｂ）に示すように優先度を設定する。なお、優先度マップについては、後で再度説明する。また、優先度マップは、図６に示す方法に限定されない。
【００７２】
このように端末情報に合わせて優先度を決定することにより、いかなる帯域においても端末の特性に適した品質の種類に関して高い優先度で伝送することが可能になる。
【００７３】
そして、ステップＳ１４００では、チャネル分割部１０６で、映像符号化部１０４から出力された符号化データを複数に分割し、各分割データに別々のチャネルを割り当てるとともに優先度算出部１１２から出力される優先度を付加して映像送信部１０８に出力する。
【００７４】
具体的に、たとえば、図２に示す構造の符号化データを例にとって説明すると、まず、基本レイヤ（ＢＬ）を１つのチャネルとし、拡張レイヤ（ＥＬ）１〜４をそれぞれあらかじめ決められたデータ量で分割し別チャネルとする。
【００７５】
たとえば、４つに分割する場合、各チャネルのビットレートが設定ビットレートＢ＿ＢＬ、Ｂ＿ＥＬ１、Ｂ＿ＥＬ２、Ｂ＿ＥＬ３となるように、拡張レイヤ１をＥＬ１＿１〜ＥＬ＿３に、拡張レイヤ２をＥＬ２＿０〜ＥＬ２＿３に、拡張レイヤ３をＥＬ３＿０〜ＥＬ３＿３に、拡張レイヤ４をＥＬ４＿０〜ＥＬ４＿３にそれぞれ分割し、合計で４×Ｎに分割する（図３のチャネル分割例参照。この場合、Ｎ＝４）。なお、当然のことながら、分割数は４に限定されない。
【００７６】
次に、優先度算出部１１２から出力された優先度を各チャネルに付与する。たとえば、図７（Ａ）は、優先度マップを示しており、この優先度マップは、４×４のマトリクスで構成されている。優先度マップにおいて、左下（Ｘ，Ｙ）＝（０，０）は基本レイヤＢＬの優先度を示し、基本レイヤＢＬからＸ方向に行くにつれて順に拡張レイヤＥＬ２＿０〜ＥＬ４＿０の優先度を、Ｙ方向に行くにつれて順に拡張レイヤＥＬ１＿１〜ＥＬ１＿２の優先度をそれぞれ示している。一般に、（Ｘ，Ｙ）＝（Ｉ，Ｊ）は、ＥＬ（Ｉ＋１）＿Ｊの優先度を示している。図３のチャネル分割結果に図７（Ａ）の優先度マップを適用して得られる、優先度付与後のチャネルは、図７（Ｂ）に示すとおりである。
【００７７】
そして、ステップＳ１５００では、グループリスト算出部１１４で、チャネル分割部１０６から出力された分割リストを用いて、優先する品質別に受信すべきチャネルを示したグループリストを生成し、グループリスト送信部１１６に出力する。
【００７８】
図８は、グループリストの一例を示している。この例では、３つのグループ（動き優先、画質優先、フルクオリティ）を算出する場合を示している。なお、グループリストは、もちろん、３つに限定されない。１つ以上のチャネルの組み合わせであれば、どのようなグループでもよい。たとえば、同じ種類の品質について、程度の異なる複数のグループを設けてもよい（たとえば、図５（Ａ）における動き優先グループ１と２、画質優先グループ１と２参照）。すなわち、品質の種類と程度が異なるグループを任意に設けることができる。
【００７９】
図８の例において、（Ｘ，Ｙ）＝（０，０）は、基本レイヤＢＬに対応し、（Ｘ，Ｙ）＝（Ｉ，Ｊ）は、チャネルＥＬ（Ｉ＋１）＿Ｊに対応し、丸（○）を付けたチャネルは、当該グループで受信すべきチャネルを示している。すなわち、動き優先グループの場合は、動きを向上する拡張レイヤのチャネルを優先的に受信するリストを生成し、画質優先グループの場合は、画質を向上する拡張レイヤのチャネルを優先的に受信するリストを生成し、フルクオリティグループの場合は、全チャネルを受信するリストを生成する。このようにグループリストを生成することにより、受信端末が優先する品質に合わせてチャネルを受信し、選択した品質において最適な映像を受信することが可能である。
【００８０】
そして、ステップＳ１６００では、グループリスト送信部１１６で、グループリスト算出部１１４から出力されたグループリストをネットワーク１８０に伝送する。具体的には、たとえば、グループリストを、ネットワーク１８０を通じて、すべての受信端末に送信する。なお、本実施の形態では、グループリストの送信を必ず行うようにしているが、これに限定されるわけではなく、たとえば、上記のように、伝送路の混雑を避けるため、一定の間隔で送信することも可能である。
【００８１】
そして、ステップＳ１７００では、映像送信部１０８で、チャネル分割部１０６から出力された分割データを対応する別々のチャネルでネットワーク１８０に伝送する。具体的には、たとえば、上記のように、分割され別々のチャネルに割り当てられた符号化データを、指定された優先度をヘッダに付加して別々のチャネルでマルチキャスト送信する。このとき、チャネルは、たとえば、マルチキャストアドレスで示されている。
【００８２】
次いで、上記構成を有する映像受信装置１５０の動作について、図９に示すフローチャートを用いて説明する。なお、図９に示すフローチャートは、映像受信装置１５０の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００８３】
まず、ステップＳ２０００では、優先品質入力部１５４で、ユーザが指定した優先する品質を受信チャネル決定部１５８に出力する。ここでは、たとえば、動き優先、画質優先、フルクオリティの３つの種類の中から１つを選択するものとする（図８参照）。ただし、上記のように、ユーザからの指定がない場合は優先品質の出力は行わない。
【００８４】
一方、ステップＳ２１００では、グループリスト受信部１５６で、送信端末１００から送信されたグループリストを受信し、受信チャネル決定部１５８に出力する。
【００８５】
ステップＳ２２００では、受信チャネル決定部１５８で、優先品質入力部１５４から出力された優先品質とグループリスト受信部１５６から出力されたグループリストを用いて、受信すべきチャネルを決定する。
【００８６】
たとえば、図８のグループリストを受信した場合を考える。この場合、優先品質が動き優先の場合は、図８（Ａ）に示す丸（○）のチャネルを受信するものと、優先品質が動き優先の場合は、図８（Ｂ）に示す丸（○）のチャネルを受信するものと、優先品質がフルクオリティの場合は、図８（Ｃ）に示す丸（○）のチャネルを受信するものとそれぞれ決定する。
【００８７】
ただし、優先品質入力部１５４またはグループリスト受信部１５６からの出力がない場合は、前回決定したチャネル番号を映像受信部１６０に出力する。
【００８８】
そして、ステップＳ２３００では、映像受信部１６０で、受信チャネル決定部１５８から出力されたチャネル番号に関して、符号化データの受信を行い、受信した符号化データを映像復号化部１６２に出力する。
【００８９】
そして、ステップＳ２４００では、映像復号化部１６２で、映像受信部１６０から出力された符号化データを復号化し、得られた映像を映像表示部１６４に出力する。
【００９０】
そして、ステップＳ２５００では、映像表示部１６４で、映像復号化部１６２から出力された映像を画面に表示する。
【００９１】
そして、ステップＳ２６００では、端末情報送信部１５２で、当該受信端末１５０の端末情報を送信端末１００に送信する。たとえば、端末情報として、上記のように、端末が使用する表示デバイスの画面サイズ（Ｄインチ）を送信する。なお、本実施の形態では、映像データを受信する度に端末情報を送信するようにしているが、これに限定されるわけではなく、たとえば、上記のように、伝送路の混雑を避けるため、一定の間隔で送信することも可能である。
【００９２】
次いで、上記構成の映像伝送システムにおける主要な情報のやり取りについて、図１０のシーケンス図を用いて説明する。
【００９３】
まず、受信端末１５０は、端末情報（たとえば、表示画面のサイズ）を、ネットワーク１８０を通じて送信端末１００に送信する（▲１▼）。
【００９４】
そして、送信端末１００は、受信端末１５０からの端末情報を受信すると、受信した端末情報を用いてチャネルの優先度を算出した後（▲２▼）、グループリストを算出し、算出したグループリストをネットワーク１８０を通じて受信端末１５０に送信する（▲３▼）。
【００９５】
そして、受信端末１５０は、送信端末１００からのグループリストを受信すると、受信したグループリストを用いて受信チャネルを決定する（▲４▼）。
【００９６】
そして、送信端末１００は、入力映像に対して、１フレームごとに、映像符号化とチャネル分割（優先度付与を含む）を行い、分割／優先度付与後の符号化データを別々のチャネルでネットワーク１８０を通じて受信端末１５０に送信する（▲５▼）。その際、ネットワーク１８０は、優先度に応じたデータ伝送（パケット伝送）を行う。
【００９７】
そして、受信端末１５０は、送信端末１００からの符号化映像データを上記受信チャネルで受信し、復号化し、画面に表示する（▲６▼）。
【００９８】
図１１は、本実施の形態の映像伝送システムの適用例を示している。図１１において、映像送信装置として映像サーバ１００が設けられ、映像受信装置として大画面端末１５０ａ、小画面端末１５０ｂ、および低帯域端末１５０ｃが設けられている。映像サーバ１００と各端末１５０ａ〜１５０ｃとは、ネットワーク１８０を通じて互いに接続されている。ネットワーク１８０は、ＬＡＮ１８２、インターネット１８４、およびモバイル網１８６を有し、ＬＡＮ１８２とインターネット１８４はルータ１８８を介して互いに接続され、ＬＡＮ１８２とモバイル網１８６はルータ１９０を介して互いに接続されている。すなわち、映像サーバ１００と大画面端末１５０ａとはＬＡＮ１８２を介して接続され、映像サーバ１００と小画面端末１５０ｂとはＬＡＮ１８２、ルータ１８８、インターネット１８４を介して接続され、映像サーバ１００と低帯域端末１５０ｃとはＬＡＮ１８２、ルータ１９０、モバイル網１８６を介して接続されている。
【００９９】
この場合、大画面端末１５０ａは、画質優先で映像を受信することができ、小画面端末１５０ｂは、動き優先で映像を受信することができ、低帯域端末１５０ｃは、エラー耐性優先で映像を受信することができる。
【０１００】
このように、本実施の形態によれば、階層符号化データを品質・帯域別に別チャネルに分割し、品質別のグループリストを送信するため、複数の受信端末がそれぞれ優先する品質を自由に選択し映像受信することができる。
【０１０１】
また、端末情報に基づいて各チャネルの優先度を算出し、優先度を付けて伝送を行うため、端末の使用可能な伝送帯域において、各端末は優先する品質のグループを選択・受信し、自動的に自己の特性に適した最高品質の映像を受信することができる。また、端末特性に合わせたスケーラビリティを実現することができる。
【０１０２】
（実施の形態２）
本実施の形態では、階層符号化データを品質・帯域別にチャネル分割し、入力映像情報を用いて算出した優先度を付加して別チャネルで伝送するとともに、品質別のグループリストを送信することにより、受信端末が優先する品質を選択でき、ネットワークの状況に応じ映像特性に適した品質で映像を受信することができる映像伝送システムについて説明する。
【０１０３】
図１２は、本発明の実施の形態２に係る映像伝送システムの構成を示す図である。なお、この映像伝送システムにおける映像送信装置２００および映像受信装置２５０は、図１に示す映像伝送システムにおける映像送信装置１００および映像受信装置１５０とそれぞれ同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【０１０４】
本実施の形態の特徴は、実施の形態１ではチャネルの優先度を端末情報に基づいて算出するのに対し、ここでは、映像特性に基づいてチャネル優先度の算出を行うことである。そのため、映像送信装置２００は、映像符号化部１０４ａ、映像特性算出部２０２、および優先度算出部２０４を有する。また、映像受信装置２５０は、図１の端末情報送信部１５２を有していない。
【０１０５】
映像符号化部１０４ａは、図１の映像符号化部１０４と同様に、映像入力部１０２から出力された画像を入力画像として階層符号化し、得られた符号化データをチャネル分割部１０６に出力する。たとえば、階層符号化としてＭＰＥＧ−４ＦＧＳ符号化を用いる場合、入力画像に対して、基本レイヤ（ＢＬ）と、画質を向上させる拡張レイヤ１（ＥＬ１）と、動きの滑らかさを向上させる拡張レイヤ２（ＥＬ２）、拡張レイヤ３（ＥＬ３）、拡張レイヤ４（ＥＬ４）とからなる符号化データを生成し（図２参照）、出力する。ただし、本実施の形態では、映像符号化部１０４ａは、さらに、基本レイヤ（ＢＬ）を映像特性算出部２０２に出力する。
【０１０６】
映像特性算出部２０２は、映像符号化部１０４ａから出力された基本レイヤ（ＢＬ）から動きベクトルを抽出して入力映像の映像特性を算出し、得られた映像特性値を優先度算出部２０４に出力する。処理の詳細については、後で説明する。
【０１０７】
優先度算出部２０４は、映像特性算出部２０２から出力された映像特性値を用いて各チャネルの優先度を決定し、優先度マップをチャネル分割部１０６に出力する。
【０１０８】
次いで、上記構成を有する映像送信装置２００の動作について、図１３に示すフローチャートを用いて説明する。なお、図１３に示すフローチャートは、映像送信装置２００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１０９】
本実施の形態では、図１３に示すように、ステップＳ１２５０を図４に示すフローチャートに挿入し、ステップＳ１２００を削除している。
【０１１０】
ステップＳ１０００およびステップＳ１１００は、図４に示すフローチャートの各ステップと同様であるため、その説明を省略する。ただし、本実施の形態では、ステップＳ１１００の映像符号化処理の際に、映像符号化部１０４ａで、基本レイヤ（ＢＬ）の符号化データを映像特性算出部２０２に出力する。
【０１１１】
そして、ステップＳ１２５０では、映像特性算出部２０２で、映像符号化部１０４ａから出力された基本レイヤ（ＢＬ）から動きベクトルを抽出して入力映像の映像特性を算出し、得られた映像特性値を優先度算出部２０４に出力する。具体的には、たとえば、映像符号化部１０４ａから出力された基本レイヤの符号化データを用いて動きベクトルを抽出し、抽出した動きベクトルの絶対和を算出し、算出した絶対和を映像特性値Ｍとする。
【０１１２】
ここで、映像特性値Ｍは、映像中の動きの大きさを表す値であり、Ｍの値が大きいほど動きの大きい映像であり、逆に、Ｍの値が小さいほど動きの小さい映像である。
【０１１３】
なお、本実施の形態では、映像特性値を動きベクトルの絶対和としたが、これに限定されるわけではなく、映像の動きの大きさを表すことができるものであれば、どのようなものでもよい。
【０１１４】
そして、ステップＳ１３００では、優先度算出部２０４で、映像特性算出部２０２から出力された映像特性値を用いて各チャネルの優先度を決定し、優先度マップをチャネル分割部１０６に出力する。
【０１１５】
具体的には、まず映像特性を用いて重視する品質を決定し、この重視する品質に基づいて各チャネルの優先度を決定する。手順は、次のとおりである。
【０１１６】
１）重視する品質の決定
映像特性値Ｍをしきい値ＴＨと比較して、重視する品質を決定する。ここでは、映像特性値が大きいほど、つまり、動きの大きい映像であるほど、動きの滑らかさが高いことが望ましいため、動き重視とする。具体的には、たとえば、映像特性値Ｍがしきい値ＴＨを超える（Ｍ＞ＴＨ）場合は、動き重視とし、そうでない場合、つまり、映像特性値Ｍがしきい値ＴＨ以下（Ｍ≦ＴＨ）の場合は、画質重視とする。
【０１１７】
２）優先度の決定
重視する品質に基づいて各チャネルの優先度を決定する。たとえば、上記のように、動き重視の場合は、優先度マップのＸ方向に優先度を上げ、逆に、画質重視の場合は、優先度マップのＹ方向に優先度を上げる（図６（Ａ）、図６（Ｂ）参照）。このように映像特性に合わせて優先度を決定することにより、映像特性に合わせ、いかなる帯域においても主観画質を高く保つための品質に関して高い優先度で伝送することが可能になる。
【０１１８】
ステップＳ１４００〜ステップＳ１７００は、図４に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１１９】
このように、本実施の形態によれば、階層符号化を品質・帯域別に別チャネルに分割し、品質別のグループリストを送信するため、複数の受信端末がそれぞれ優先する品質を自由に選択し映像受信することができる。
【０１２０】
また、映像特性に基づいて各チャネルの優先度を算出し、優先度を付けて伝送を行うため、各端末の使用可能な伝送帯域において、入力映像に対して主観画質に与える影響の大きい品質を優先して受信することができる。すなわち、映像特性に合わせて適切な品質を重視したスケーラビリティを実現することができる。
【０１２１】
（実施の形態３）
本実施の形態では、階層符号化データを品質・帯域別に分割し、各チャネル内のパケットごとに算出した優先度を付加して別チャネルで伝送するとともに、品質別のグループリストを送信することにより、受信端末が優先する品質を選択でき、より細かい精度でネットワークの状況に応じ端末特性や映像特性に適した品質で映像を受信することができる映像伝送システムについて説明する。
【０１２２】
図１４は、本発明の実施の形態３に係る映像伝送システムの構成を示す図である。なお、この映像伝送システムにおける映像送信装置３００は、図１に示す映像伝送システムにおける映像送信装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。また、映像受信装置１５０は、図１に示すものと全く同一であるため、その説明を省略する。
【０１２３】
本実施の形態の特徴は、実施の形態１（および実施の形態２）ではチャネルに対して優先度を付けるのに対し、ここでは、チャネル内のパケットに対してさらに細かい優先度を付けて伝送を行うことである。そのため、映像送信装置３００は、チャネル分割部３０２を有する。
【０１２４】
チャネル分割部３０２は、映像符号化部１０４から出力された符号化データを複数に分割し、各分割データに別々のチャネルを割り当てて優先度算出部１１２から出力される優先度を付加し、さらに、チャネルごとにパケット分割を行い、パケットの優先度を算出してパケットに優先度を付け、映像送信部１０８に分割データを出力し、分割リストをグループリスト算出部１１４に出力する。処理の詳細については、後で説明する。
【０１２５】
次いで、上記構成を有する映像送信装置３００の動作について、図１５に示すフローチャートを用いて説明する。なお、図１５に示すフローチャートは、映像送信装置３００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１２６】
本実施の形態では、図１５に示すように、ステップＳ１４２０およびステップＳ１４４０を図４に示すフローチャートに挿入し、ステップＳ１４００を削除している。
【０１２７】
ステップＳ１０００〜ステップＳ１３００は、図４に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１２８】
そして、ステップＳ１４２０では、チャネル分割部３０２で、実施の形態１と同様に、符号化データの分割を行う。たとえば、基本レイヤを１つのチャネルとし（ＢＬ）、拡張レイヤ（ＥＬ）１〜４をそれぞれあらかじめ決められたデータ量で分割し、別チャネルとする（図３参照）。そして、優先度算出部１１２から出力された優先度（図７（Ａ）参照）を各チャネルに付与する（図７（Ｂ）参照）。
【０１２９】
そして、ステップＳ１４４０では、同じくチャネル分割部３０２で、さらに、チャネルを構成するパケットへの優先度を算出する。ここで、パケットとは、データ送出の最小単位であり、たとえば、ＩＰパケットのことを指す。具体的な処理の手順は、次のとおりである。
【０１３０】
１）パケット分割
チャネル内のパケットをあらかじめ設定された分割数Ｋのパケット群に分割する。たとえば、図１６（Ｃ）は、Ｋ＝４の場合であってチャネルＥＬ１＿１を４等分割する場合を示している。なお、パケットの分割方法は、等分割に限定されない。
【０１３１】
２）パケット優先度算出
各パケットの優先度を算出する。図１６は、パケット優先度算出の一例を示しており、特に、図１６（Ａ）は、チャネルの優先度マップであり、図１６（Ｂ）は、基本レイヤ（ＢＬ）、拡張レイヤ１（ＥＬ１）のチャネル優先度を示し、図１６（Ｃ）は、チャネルＥＬ１＿１に対して分割されたパケット群のパケット優先度の一例を示している。
【０１３２】
図１６（Ｃ）の例では、チャネル優先度Ｐを用いて、次の（式２）に従い、
【数２】
【０１３３】
こうして算出されたパケット優先度は、各パケットのヘッダに付与される。パケット優先度を付けた符号化データは、映像送信部１０８に出力される。
【０１３４】
ステップＳ１５００〜ステップＳ１７００は、図４に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１３５】
このように、本実施の形態によれば、階層符号化データを品質・帯域別に別チャネルに分割し、端末情報に基づいてチャネルに優先度を付け、さらにチャネル内のパケットに細かい優先度を付けて伝送を行うため、各端末の使用可能な伝送帯域において、より細かい精度で自動的に端末特性に適した品質の符号化データを優先して受信することができる。
【０１３６】
なお、本実施の形態では、チャネルの優先度算出方法として実施の形態１と同様に端末情報を用いる場合を示したが、これに限定されるわけではなく、実施の形態２と同様に映像特性を用いることも可能である。
【０１３７】
（実施の形態４）
本実施の形態では、階層符号化データを品質・帯域別に分割し別チャネルで伝送するとともに、受信端末の受信状況に応じて優先する品質の種類を制御することにより、主観画質の高い映像を受信することができる映像伝送システムについて説明する。
【０１３８】
図１７は、本発明の実施の形態４に係る映像伝送システムの構成を示す図である。なお、この映像伝送システムにおける映像受信装置４５０は、図１に示す映像伝送システムにおける映像受信装置１５０と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。また、映像送信装置１００は、図１に示すものと全く同一であるため、その説明を省略する。
【０１３９】
本実施の形態の特徴は、受信端末の受信状況（たとえば、データ欠落率またはパケットロス率）に応じて優先する品質の種類を制御することである。そのため、映像受信装置４５０は、受信状況算出部４５２、受信チャネル決定部４５４、および映像受信部１６０ａを有する。
【０１４０】
映像受信部１６０ａは、図１の映像受信装置１５０と同様に、受信チャネル決定部４５４から出力されたチャネル番号に対応する符号化データを受信し、受信した符号化データを映像復号化部１６２に出力する。ただし、本実施の形態では、さらに、受信チャネルの総数と、正常にデータを受信できたチャネルの総数とを受信状況算出部４５２に出力する。
【０１４１】
受信状況算出部４５２は、映像受信部１６０ａから出力された情報を用いて受信状況を算出する。具体的には、映像受信部１６０ａから出力された受信チャネル総数および正常に受信できたチャネル総数を用いてデータ欠落率Ｌを算出し、算出したデータ欠落率Ｌを受信チャネル決定部４５４に出力する。処理の詳細については、後で説明する。
【０１４２】
受信チャネル決定部４５４は、受信状況算出部４５２から出力されたデータ欠落率Ｌを用いて優先品質を決定し、決定した優先品質とグループリスト受信部１５６から出力されたグループリストを用いて受信するチャネル番号を決定し、決定したチャネル番号を映像受信部１６０ａに出力する。ただし、受信状況算出部４５２またはグループリスト受信部１５６からの出力がない場合は、前回決定したチャネル番号を映像受信部１６０ａに出力する。処理の詳細については、後で説明する。
【０１４３】
次いで、上記構成を有する映像受信装置４５０の動作について、図１８に示すフローチャートを用いて説明する。なお、図１８に示すフローチャートは、映像受信装置４５０の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１４４】
本実施の形態では、図１８に示すように、ステップＳ２０５０を図９に示すフローチャートに挿入し、ステップＳ２０００を削除している。
【０１４５】
ステップＳ２０５０では、受信状況算出部４５２で、映像受信部１６０ａから出力された情報（受信チャネル総数と正常に受信できたチャネル総数）を用いてデータ欠落率Ｌを算出し、算出したデータ欠落率Ｌを受信チャネル決定部４５４に出力する。ここで、データ欠落率Ｌは、たとえば、次の（式３）、
【数３】
【０１４６】
なお、データ欠落率Ｌの算出方法は、上記の例に限定されない。
【０１４７】
ステップＳ２１００〜ステップＳ２６００は、図９に示すフローチャートの各ステップと同様であるため、その説明を省略する。ただし、本実施の形態では、ステップＳ２２００の受信チャネル決定処理の際に、次のような処理を行う。
【０１４８】
すなわち、ステップＳ２２００では、受信チャネル決定部４５４で、受信状況算出部４５２から出力されたデータ欠落率Ｌを用いて優先品質を決定し、さらに、決定した優先品質とグループリスト受信部１５６から出力されたグループリストを用いて受信すべきチャネル番号を決定し、決定したチャネル番号を映像受信部１６０ａに出力する。
【０１４９】
ここで、具体的な優先品質決定方法は、たとえば、次のとおりである。すなわち、データ欠落率Ｌを所定のしきい値ＴＨと比較して、優先品質を決定する。ここでは、データ欠落率Ｌが高くしきい値ＴＨを超える（Ｌ＞ＴＨ）場合は、データ欠落の影響が小さい動き優先とし（動き優先の場合は、フレームレートが高く、パケットエラーの主観画質への影響が小さい）、データ欠落率Ｌが低くしきい値ＴＨ以下（Ｌ≦ＴＨ）の場合は、データ欠落の影響が大きい画質優先とする（画質優先の場合は、フレームレートが低く、パケットエラーにより主観画質が大きく低下してしまう）。
【０１５０】
このように、本実施の形態によれば、階層符号化データを品質・帯域別に別チャネルに分割し優先度を付けて伝送する映像伝送システムにおいて、受信端末の受信状況を用いてデータ欠落率を算出し、データ欠落率が高い場合は、フレームレートが高くデータ欠落が主観画質に与える影響の小さい動き優先を選択し、そうでない場合は画質優先を選択するため、受信状況によらず主観画質の高い映像を受信することができる。すなわち、受信状況に合わせて受信品質の向上を図ることができる。
【０１５１】
【発明の効果】
以上説明したように、本発明によれば、特性が異なる複数の端末で同時に映像を受信する場合において、各端末が自己に適した品質で映像を受信することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る映像伝送システムの構成を示す図
【図２】ＭＰＥＧ−４ ＦＧＳ符号化を用いた場合の符号化データの構造の一例を示す図
【図３】図２の符号化データに対するチャネル分割結果の一例を示す図
【図４】実施の形態１に対応する映像送信装置の動作を示すフローチャート
【図５】（Ａ）優先度付与とグルーピングを説明するための図
（Ｂ）動き重視の場合の優先度付与を説明するための図
（Ｃ）画質重視の場合の優先度付与を説明するための図
【図６】（Ａ）動き重視の場合の優先度マップを示す図
（Ｂ）画質重視の場合の優先度マップを示す図
【図７】（Ａ）優先度マップの一例を示す図
（Ｂ）上記優先度マップに基づく優先度付与後のチャネルを示す図
【図８】（Ａ）グループリストのうち動き優先グループを示す図
（Ｂ）グループリストのうち画質優先グループを示す図
（Ｃ）グループリストのうちフルクオリティグループを示す図
【図９】実施の形態１に対応する映像受信装置の動作を示すフローチャート
【図１０】実施の形態１に対応する映像伝送システムにおける主要な情報のやり取りを示すシーケンス図
【図１１】実施の形態１の映像伝送システムの適用例を示す図
【図１２】本発明の実施の形態２に係る映像伝送システムの構成を示す図
【図１３】実施の形態２に対応する映像送信装置の動作を示すフローチャート
【図１４】本発明の実施の形態３に係る映像伝送システムの構成を示す図
【図１５】実施の形態３に対応する映像送信装置の動作を示すフローチャート
【図１６】（Ａ）チャネルの優先度マップの一例を示す図
（Ｂ）上記チャネル優先度マップに基づく優先度付与後のチャネルの一部を示す図
（Ｃ）パケット分割とパケット優先度の一例を示す図
【図１７】本発明の実施の形態４に係る映像伝送システムの構成を示す図
【図１８】実施の形態４に対応する映像受信装置の動作を示すフローチャート
【図１９】従来の映像符号化装置の構成の一例を示す図
【符号の説明】
１００、２００、３００ 映像送信装置
１０２ 映像入力部
１０４ 映像符号化部
１０６、３０２ チャネル分割部
１０８ 映像送信部
１１０ 端末情報受信部
１１２，２０４ 優先度算出部
１１４ グループリスト算出部
１１６ グループリスト送信部
１５０、２５０、４５０ 映像受信装置
１５２ 端末情報送信部
１５４ 優先品質入力部
１５６ グループリスト受信部
１５８、４５４ 受信チャネル決定部
１６０、１６０ａ 映像受信部
１６２ 映像復号化部
１６４ 映像表示部
４５２ 受信状況算出部
Claims (10)
- ネットワークを通じて階層符号化データを映像送信装置から映像受信装置に伝送する映像伝送システムであって、
前記映像送信装置は、
階層符号化データを品質別または品質および帯域別に別々のチャネルに分割する分割手段と、
分割された階層符号化データを互いに別チャネルで送信する第１送信手段と、
品質別にチャネルをグルーピングしてグループリストを算出する算出手段と、
算出されたグループリストを送信する第２送信手段と、を有し、
前記映像受信装置は、
前記映像送信装置から送信されたグループリストを受信する第１受信手段と、
受信されたグループリストを用いて受信チャネルを決定する決定手段と、
前記映像送信装置から送信された分割階層符号化データのうち、決定された受信チャネルのデータを受信する第２受信手段と、
を有することを特徴とする映像伝送システム。 - 前記品質は、画質、フレームレート、エラー耐性、解像度、および遅延のうちの一以上の組み合わせであることを特徴とする請求項１記載の映像伝送システム。
- 階層符号化データを品質別または品質および帯域別に別々のチャネルに分割する分割手段と、
分割された階層符号化データを互いに別チャネルで送信する第１送信手段と、
品質別にチャネルをグルーピングしてグループリストを算出する算出手段と、
算出されたグループリストを送信する第２送信手段と、
を有することを特徴とする映像送信装置。 - 各チャネルの優先度を算出する第２算出手段、をさらに有し、
前記分割手段は、
階層符号化データを品質別または品質および帯域別に別々のチャネルに分割するとともに、各チャネルに算出されたチャネル優先度を付与し、
前記第１送信手段は、
分割された階層符号化データをチャネル優先度が付与された互いに別のチャネルで送信する、
ことを特徴とする請求項３記載の映像送信装置。 - 前記第２算出手段は、
受信端末情報に基づいて各チャネルの優先度を算出する、
ことを特徴とする請求項４記載の映像送信装置。 - 前記第２算出手段は、
映像特性に基づいて各チャネルの優先度を算出する、
ことを特徴とする請求項４記載の映像送信装置。 - 前記分割手段は、
階層符号化データを品質別または品質および帯域別に別々のチャネルに分割し、各チャネルに算出されたチャネル優先度を付与するとともに、各チャネル内のパケットの優先度を算出し、各パケットに算出されたパケット優先度を付与し、
前記第１送信手段は、
分割された階層符号化データをパケット優先度が付与された互いに別のチャネルで送信する、
ことを特徴とする請求項４記載の映像送信装置。 - 請求項３記載の映像送信装置から送信されたグループリストを受信する第１受信手段と、
受信されたグループリストを用いて受信チャネルを決定する決定手段と、
前記映像送信装置から送信された分割階層符号化データのうち、決定された受信チャネルのデータを受信する第２受信手段と、
を有することを特徴とする映像受信装置。 - 受信状況を算出する第３算出手段、をさらに有し、
前記決定手段は、
受信されたグループリストおよび算出された受信状況を用いて受信チャネルを決定する、
ことを特徴とする請求項８記載の映像受信装置。 - ネットワークを通じて階層符号化データを映像送信装置から映像受信装置に伝送する映像伝送方法であって、
前記映像送信装置が、階層符号化データを品質別または品質および帯域別に別々のチャネルに分割するステップと、
前記映像送信装置が、分割した階層符号化データを互いに別チャネルで送信するステップと、
前記映像送信装置が、品質別にチャネルをグルーピングしてグループリストを算出するステップと、
前記映像送信装置が、算出したグループリストを送信するステップと、
前記映像受信装置が、前記映像送信装置から送信されたグループリストを受信するステップと、
前記映像受信装置が、受信したグループリストを用いて受信チャネルを決定するステップと、
前記映像受信装置が、前記映像送信装置から送信された分割階層符号化データのうち、決定した受信チャネルのデータを受信するステップと、
を有することを特徴とする映像伝送方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003053780A JP2004266503A (ja) | 2003-02-28 | 2003-02-28 | 映像伝送システム |
| PCT/JP2004/001988 WO2004077831A1 (ja) | 2003-02-28 | 2004-02-20 | 映像伝送システム、映像送信装置、映像受信装置および映像伝送方法 |
| US10/514,440 US7382729B2 (en) | 2003-02-28 | 2004-02-20 | Video transmission of layered coded data |
| CNA2004800002779A CN1736107A (zh) | 2003-02-28 | 2004-02-20 | 视频发送系统、视频发送装置、视频接收装置和视频发送方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003053780A JP2004266503A (ja) | 2003-02-28 | 2003-02-28 | 映像伝送システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004266503A true JP2004266503A (ja) | 2004-09-24 |
Family
ID=32923445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003053780A Pending JP2004266503A (ja) | 2003-02-28 | 2003-02-28 | 映像伝送システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7382729B2 (ja) |
| JP (1) | JP2004266503A (ja) |
| CN (1) | CN1736107A (ja) |
| WO (1) | WO2004077831A1 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009500929A (ja) * | 2005-07-08 | 2009-01-08 | シーメンス アクチエンゲゼルシヤフト | メディアデータストリームの送信方法および再構成されたメディアデータストリームの受信および作成方法ならびに所属の送信装置および受信装置 |
| WO2009025189A1 (ja) * | 2007-08-23 | 2009-02-26 | Sharp Kabushiki Kaisha | 再生装置、再生方法 |
| JP2009206944A (ja) * | 2008-02-28 | 2009-09-10 | Sony Corp | データ送信装置、データ送信方法、データ受信装置、データ受信方法およびデータ伝送システム |
| JP2014531804A (ja) * | 2011-09-07 | 2014-11-27 | クアルコム，インコーポレイテッド | 複数のソースからのマルチメディアデータのストリーミング |
| KR101531689B1 (ko) * | 2009-08-11 | 2015-06-25 | 에스케이텔레콤 주식회사 | 데이터 전송 시스템의 채널 결합 장치 및 방법 |
| US9154812B2 (en) | 2010-10-26 | 2015-10-06 | Kabushiki Kaisha Toshiba | Transmitting system, receiving device, and a video transmission method |
| KR101733828B1 (ko) | 2009-12-11 | 2017-05-08 | 탈레스 | 가변 레졸루션 스트림에 관한 코딩 파라미터를 결정하는 방법 및 시스템 |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6263503B1 (en) | 1999-05-26 | 2001-07-17 | Neal Margulis | Method for effectively implementing a wireless television system |
| US7975062B2 (en) | 2004-06-07 | 2011-07-05 | Sling Media, Inc. | Capturing and sharing media content |
| US7917932B2 (en) | 2005-06-07 | 2011-03-29 | Sling Media, Inc. | Personal video recorder functionality for placeshifting systems |
| CN103037254B (zh) | 2004-06-07 | 2016-07-13 | 斯灵媒体公司 | 个人媒体广播系统 |
| US7769756B2 (en) * | 2004-06-07 | 2010-08-03 | Sling Media, Inc. | Selection and presentation of context-relevant supplemental content and advertising |
| US9998802B2 (en) | 2004-06-07 | 2018-06-12 | Sling Media LLC | Systems and methods for creating variable length clips from a media stream |
| CN1753493A (zh) * | 2004-09-24 | 2006-03-29 | 松下电器产业株式会社 | 无线多媒体通信系统的跨层联合方法 |
| EP1650973A1 (en) * | 2004-10-25 | 2006-04-26 | Alcatel USA Sourcing, L.P. | Method for encoding a multimedia content |
| KR100712532B1 (ko) * | 2005-09-10 | 2007-04-30 | 삼성전자주식회사 | 단일표현과 다중표현 전환을 이용한 동영상 변환부호화장치 및 방법 |
| GB0525527D0 (en) * | 2005-12-15 | 2006-01-25 | Levett David L | Optimization of remote content delivery and presentation by composition and conversion on the remote device |
| WO2008032001A1 (fr) * | 2006-09-15 | 2008-03-20 | France Telecom | Procede et dispositif d'adaptation d'un flux de donnees scalable, produit programme d'ordinateur et equipement reseau correspondants |
| US8411572B2 (en) * | 2006-12-13 | 2013-04-02 | Viasat, Inc. | ACM and fixed coding and modulation of hierarchical layers |
| US8576858B2 (en) * | 2006-12-13 | 2013-11-05 | Viasat, Inc. | Multiple transmission paths for hierarchical layers |
| US20090041100A1 (en) | 2006-12-13 | 2009-02-12 | Viasat, Inc. | Link aware mobile data network |
| US20080144713A1 (en) * | 2006-12-13 | 2008-06-19 | Viasat, Inc. | Acm aware encoding systems and methods |
| US7961665B2 (en) | 2006-12-13 | 2011-06-14 | Viasat, Inc. | Terminal aware multicasting |
| US8456986B2 (en) * | 2006-12-13 | 2013-06-04 | Viasat, Inc. | Video and data network load balancing |
| US7944872B2 (en) * | 2006-12-13 | 2011-05-17 | Viasat, Inc. | Adaptive coding and modulation aware network load balancing |
| US8395993B2 (en) * | 2006-12-13 | 2013-03-12 | Viasat, Inc. | Video and data network load balancing with video placeholder |
| US8411571B2 (en) | 2006-12-13 | 2013-04-02 | Viasat, Inc. | Video and data network load balancing with video drop |
| US8358690B2 (en) * | 2006-12-13 | 2013-01-22 | Viasat, Inc. | Predictive adaptive coding and modulation |
| US20080187291A1 (en) * | 2007-02-05 | 2008-08-07 | Microsoft Corporation | Prioritization for video acquisition |
| US9019830B2 (en) * | 2007-05-15 | 2015-04-28 | Imagine Communications Corp. | Content-based routing of information content |
| US8180029B2 (en) | 2007-06-28 | 2012-05-15 | Voxer Ip Llc | Telecommunication and multimedia management method and apparatus |
| US11095583B2 (en) | 2007-06-28 | 2021-08-17 | Voxer Ip Llc | Real-time messaging method and apparatus |
| EP2051525A1 (en) * | 2007-10-15 | 2009-04-22 | Mitsubishi Electric Information Technology Centre Europe B.V. | Bandwidth and content dependent transmission of scalable video layers |
| US8150175B2 (en) * | 2007-11-20 | 2012-04-03 | General Electric Company | Systems and methods for image handling and presentation |
| US9078024B2 (en) * | 2007-12-18 | 2015-07-07 | Broadcom Corporation | Video processing system with user customized graphics for use with layered video coding and methods for use therewith |
| US8130823B2 (en) * | 2007-12-19 | 2012-03-06 | Broadcom Corporation | Channel adaptive video transmission system for use with layered video coding and methods for use therewith |
| US8594191B2 (en) * | 2008-01-03 | 2013-11-26 | Broadcom Corporation | Video processing system and transcoder for use with layered video coding and methods for use therewith |
| US20090217338A1 (en) * | 2008-02-25 | 2009-08-27 | Broadcom Corporation | Reception verification/non-reception verification of base/enhancement video layers |
| US8179983B2 (en) * | 2008-05-20 | 2012-05-15 | Broadcom Corporation | Video processing system with layered video coding for fast channel change and methods for use therewith |
| US20100017530A1 (en) * | 2008-06-23 | 2010-01-21 | Hitachi, Ltd. | Priority-Based Physical Layer Transmission Rate Control For Video Streaming Over Wireless Networks |
| EP2139179A1 (en) * | 2008-06-26 | 2009-12-30 | THOMSON Licensing | Method and apparatus for reporting state information |
| CN101365125B (zh) | 2008-09-27 | 2012-03-21 | 腾讯科技（深圳）有限公司 | 多路视频通信方法与系统 |
| EP2200220A1 (en) * | 2008-12-22 | 2010-06-23 | Thomson Licensing | Method and apparatus for reliable multicast streaming |
| US8745186B2 (en) * | 2009-03-31 | 2014-06-03 | Canon Kabushiki Kaisha | Network streaming of a video media from a media server to a media client |
| US20100250764A1 (en) * | 2009-03-31 | 2010-09-30 | Nokia Corporation | Method and Apparatus for Signaling Layer Information of Scalable Media Data |
| CN101998265B (zh) * | 2009-08-17 | 2014-06-04 | 华为技术有限公司 | 数据传输方法、基站、多播协调实体和用户设备 |
| FR2969892B1 (fr) * | 2010-12-23 | 2015-05-29 | Thales Sa | Procede et dispositif d'adaptation de debit d'un flux video compresse transmis dans un environnement contraint |
| US20130318251A1 (en) * | 2012-05-22 | 2013-11-28 | Alimuddin Mohammad | Adaptive multipath content streaming |
| CN109937578B (zh) * | 2016-07-05 | 2022-01-21 | 高讯科技有限公司 | 用于视频流的方法和系统 |
| EP3445045A1 (en) * | 2017-08-18 | 2019-02-20 | NXP USA, Inc. | Video device and method for embedded data capture on a virtual channel |
| US10945029B2 (en) * | 2019-05-31 | 2021-03-09 | Qualcomm Incorporated | Video frame rendering criteria for video telephony service |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2189366B (en) * | 1986-04-17 | 1989-12-28 | British Broadcasting Corp | Method and apparatus for conveying information signals |
| JPH088685B2 (ja) * | 1986-09-16 | 1996-01-29 | 日本電信電話株式会社 | 階層化バ−スト通信方式 |
| JPH0817492B2 (ja) | 1990-08-20 | 1996-02-21 | 松下電器産業株式会社 | 可変レート動画像符号化装置 |
| US5148272A (en) * | 1991-02-27 | 1992-09-15 | Rca Thomson Licensing Corporation | Apparatus for recombining prioritized video data |
| US5231384A (en) * | 1991-08-26 | 1993-07-27 | General Electric Company | Apparatus for splitting video signal between two channels |
| US5502571A (en) * | 1992-11-18 | 1996-03-26 | U.S. Philips Corporation | Device for processing digital signals first coded by means of variable length coding and device for inversely processing signals thus processed |
| US6148005A (en) * | 1997-10-09 | 2000-11-14 | Lucent Technologies Inc | Layered video multicast transmission system with retransmission-based error recovery |
| JPH11313301A (ja) | 1998-02-27 | 1999-11-09 | Hitachi Ltd | 番組配信システム、番組配信装置、番組品質変換装置、及び番組受信装置 |
| US20020072966A1 (en) * | 2000-08-31 | 2002-06-13 | Eldering Charles A. | System for providing targeted advertisements using advertiser-specific target groups |
| US6996097B1 (en) * | 1999-05-21 | 2006-02-07 | Microsoft Corporation | Receiver-driven layered error correction multicast over heterogeneous packet networks |
| US7245663B2 (en) * | 1999-07-06 | 2007-07-17 | Koninklijke Philips Electronis N.V. | Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images |
| JP2001045436A (ja) | 1999-07-27 | 2001-02-16 | Nec Corp | デジタル放送受信機及びデータ伝送装置 |
| US7093028B1 (en) * | 1999-12-15 | 2006-08-15 | Microsoft Corporation | User and content aware object-based data stream transmission methods and arrangements |
| JP3662473B2 (ja) * | 2000-05-12 | 2005-06-22 | 株式会社エヌ・ティ・ティ・ドコモ | マルチキャストサービス提供方法及び情報配信装置 |
| WO2003084208A1 (en) * | 2002-03-28 | 2003-10-09 | Mitsubishi Denki Kabushiki Kaisha | Digital broadcast transmission device and method thereof, digital broadcast reception device and method thereof |
| JP2003333594A (ja) * | 2002-05-14 | 2003-11-21 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム |
| JP2005142654A (ja) * | 2003-11-04 | 2005-06-02 | Matsushita Electric Ind Co Ltd | 映像送信装置および映像受信装置 |
| JP2005229188A (ja) * | 2004-02-10 | 2005-08-25 | Matsushita Electric Ind Co Ltd | 映像通信装置および映像通信方法 |
| JP4779435B2 (ja) * | 2005-05-17 | 2011-09-28 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
-
2003
- 2003-02-28 JP JP2003053780A patent/JP2004266503A/ja active Pending
-
2004
- 2004-02-20 US US10/514,440 patent/US7382729B2/en not_active Expired - Fee Related
- 2004-02-20 WO PCT/JP2004/001988 patent/WO2004077831A1/ja active Application Filing
- 2004-02-20 CN CNA2004800002779A patent/CN1736107A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009500929A (ja) * | 2005-07-08 | 2009-01-08 | シーメンス アクチエンゲゼルシヤフト | メディアデータストリームの送信方法および再構成されたメディアデータストリームの受信および作成方法ならびに所属の送信装置および受信装置 |
| WO2009025189A1 (ja) * | 2007-08-23 | 2009-02-26 | Sharp Kabushiki Kaisha | 再生装置、再生方法 |
| JP2009206944A (ja) * | 2008-02-28 | 2009-09-10 | Sony Corp | データ送信装置、データ送信方法、データ受信装置、データ受信方法およびデータ伝送システム |
| KR101531689B1 (ko) * | 2009-08-11 | 2015-06-25 | 에스케이텔레콤 주식회사 | 데이터 전송 시스템의 채널 결합 장치 및 방법 |
| KR101733828B1 (ko) | 2009-12-11 | 2017-05-08 | 탈레스 | 가변 레졸루션 스트림에 관한 코딩 파라미터를 결정하는 방법 및 시스템 |
| US9154812B2 (en) | 2010-10-26 | 2015-10-06 | Kabushiki Kaisha Toshiba | Transmitting system, receiving device, and a video transmission method |
| JP2014531804A (ja) * | 2011-09-07 | 2014-11-27 | クアルコム，インコーポレイテッド | 複数のソースからのマルチメディアデータのストリーミング |
| US9591361B2 (en) | 2011-09-07 | 2017-03-07 | Qualcomm Incorporated | Streaming of multimedia data from multiple sources |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2004077831A1 (ja) | 2004-09-10 |
| US7382729B2 (en) | 2008-06-03 |
| US20050175084A1 (en) | 2005-08-11 |
| CN1736107A (zh) | 2006-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004266503A (ja) | 映像伝送システム | |
| US7782779B2 (en) | Apparatus and method for transmitting a multimedia data stream | |
| US7093028B1 (en) | User and content aware object-based data stream transmission methods and arrangements | |
| US7734104B2 (en) | Image coding apparatus, image decoding apparatus and image processing system | |
| JP5006917B2 (ja) | モバイルｉｐｔｖサービスを提供する方法及びこれのためのシステム | |
| US20050244070A1 (en) | Moving picture distribution system, moving picture distribution device and method, recording medium, and program | |
| KR100592547B1 (ko) | 스트리밍을 위한 패킷 스케줄링 방법 | |
| WO2014046610A1 (en) | A circuit arrangement and method of determining a priority of packet scheduling | |
| JP2000244923A (ja) | 異機種間通信ネットワーク上でデジタル圧縮されたビジュアルデータを制御し互換性のある配信をする方法及び装置 | |
| US20080123749A1 (en) | Method of transmitting at varying bit rates through a transmission channel | |
| US20060168632A1 (en) | Video reception device, video transmission device, and video transmission system | |
| Yen et al. | Streaming 360° videos to head-mounted virtual reality using DASH over QUIC transport protocol | |
| US20200112721A1 (en) | Transmitter communication device and method for transmitting video data | |
| WO2001037565A1 (en) | Method and apparatus for controlling moving picture synthesis | |
| KR20100019444A (ko) | 패킷 전송 스케줄링 방법 | |
| JP4227438B2 (ja) | 映像伝送システム | |
| Haghani et al. | A quality-driven cross-layer solution for MPEG video streaming over WiMAX networks | |
| US20100027428A1 (en) | Scheduling method of providing multimedia service | |
| Pliakas et al. | Joint scalable video coding and packet prioritization for video streaming over IP/802.11 e heterogeneous networks | |
| Go et al. | A systematic reallocation and prioritization scheme for error-resilient transmission of video packets | |
| CN114978935B (zh) | 服务质量资源申请方法、设备及存储介质 | |
| Bouras et al. | Evaluation of single rate multicast congestion control schemes for MPEG-4 video transmission | |
| Jung et al. | Multithreaded distributed MPEG1-video delivery in the Internet environment | |
| Viet et al. | 2 against Sudden Network Drops | |
| JP4343913B2 (ja) | 画像通信システム，画像配信システム，画像通信方法，画像配信システム制御プログラムおよびそのプログラム記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070626 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071023 |