JP2004096309A - 画像伝送装置、画像伝送方法及びソフトウェアプログラム - Google Patents
画像伝送装置、画像伝送方法及びソフトウェアプログラム Download PDFInfo
- Publication number
- JP2004096309A JP2004096309A JP2002253145A JP2002253145A JP2004096309A JP 2004096309 A JP2004096309 A JP 2004096309A JP 2002253145 A JP2002253145 A JP 2002253145A JP 2002253145 A JP2002253145 A JP 2002253145A JP 2004096309 A JP2004096309 A JP 2004096309A
- Authority
- JP
- Japan
- Prior art keywords
- stream
- predetermined
- data
- transmission
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Television Systems (AREA)
Abstract
【課題】伝送路の状況に柔軟に適応可能な動画像コンテンツ配信システムを提供することを目的とする。
【解決手段】コンテンツの各フレーム毎に予め分割された領域に応じてエンハンスメントレイヤのストリーム１３を送信するか或いはダミーストリーム１４又はパケット無しを選択するストリーム分解部１１よりなる構成である。
【選択図】 図４
【解決手段】コンテンツの各フレーム毎に予め分割された領域に応じてエンハンスメントレイヤのストリーム１３を送信するか或いはダミーストリーム１４又はパケット無しを選択するストリーム分解部１１よりなる構成である。
【選択図】 図４
Description
【０００１】
【発明の属する技術分野】
本発明は画像伝送装置、画像伝送方法及びソフトウェアプログラムに係り、特にインターネット等の通信網等を介して動画像等の画像情報を配信するための画像伝送装置、画像伝送方法及びソフトウェアプログラムに関する。
【０００２】
【従来の技術】
インターネット等の所謂ベストエフォート型ネットワークのよる動画像の配信で問題となるのは、ネットワークの帯域の容量不足等によってパケットロス等が発生し、結果的に配信された情報による再生画質が著しく劣化する場合があることである。この問題を解決するため、実効帯域容量に動的に適応して配信を行う動画像配信技術がある。
【０００３】
一例として、動画像コンテンツを複数種類のビットレートでエンコードした上でサーバに蓄積しておき、当該コンテンツ配信時に実効許容レートで伝送可能なビットレートのストリームを動的に選択して配信する技術がある。以下に図１と共に当該技術の概要について説明する。
【０００４】
ここで、上記の複数種類のビットレートでエンコードするとは、動画像コンテンツを所定の送信手段によって送信する際のビットレートが所定の複数種類のレートとなるように、予め所定の複数種類のデータ変換率でデータ変換、例えば所定の複数種類の圧縮率でデータ圧縮を施すことを意味する。
【０００５】
図中、サーバ・コンピュータ１００の送出部１１０は、ネットワークＮＷの状況によってクライアント・コンピュータ２００が受信可能な実効的な許容送信レートＲ＿ｅｆｆｅｃｔｉｖｅについて、所定の時間間隔毎、例えば１０秒間隔で計測している。そして、この検出実効許容レートに従ってストリーム選択スイッチ１２０により、予めＲ＿ｅｆｆｅｃｔｉｖｅを超えないビットレートでエンコードされたストリームを選択し、これをネットワークＮＷを介してクライアント・コンピュータ２００へと配信する。
【０００６】
例えば、上記Ｒ＿ｅｆｆｅｃｔｉｖｅ＝６００ｋｂｐｓのときには、予め５００ｋｂｐｓでエンコードされたストリーム１３０が選択され、次の瞬間にＲ＿ｅｆｆｅｃｔｉｖｅ＝４００ｋｂｐｓに低下したことが検出された場合、これに応じて予め２５０ｋｂｐｓでエンコードされたストリーム１４０が選択される。このようにして予め送信データ容量を制御してパケットロス等の発生を無くすることによって、配信された情報による再生画質の著しい劣化を抑える。
【０００７】
【発明が解決しようとする課題】
このように、従来のネットワーク帯域適応配信システムでは、実効許容レートの低下を検出した場合の配信のために予め動画像コンテンツを複数種類のビットレートでエンコードした上で、サーバ・コンピュータに格納しておく。そして、上記の如く、ある時点での検出実効許容レートが６００ｋｂｐｓであり５００ｋｂｐｓでエンコードされたストリームが選択されていたときに、実効許容レートの低下が検出され４００ｋｂｐｓになったとする。このとき１つ下のビットレートでエンコードされたストリームが選択され、２５０ｋｂｐｓで配信されることになる。
【０００８】
この場合、実際には４００ｋｂｐｓ−２５０ｋｂｐｓ＝１５０ｋｂｐｓ分の送信レート容量の余裕があるにもかかわらず、予めエンコードされたものから選択するため、２５０ｋｂｐｓまで下げなければならないことになり、もって配信後の再生画質が、実際のネットワーク状況の悪化の程度以上に大きく劣化してしまうという問題があった。
【０００９】
この問題を避けるため、予め４００ｋｂｐｓ等を含む多種類のビットレートでエンコードしておくことが考えられるが、これには処理能力の高いエンコーダが必要とされたり、或いはそのためにエンコード処理時間の増大を招くこととなってしまい、特に動画像配信においては好ましくない。
【００１０】
このような複数種類のビットレートでの配信を効率的に行うための技術として、階層符号化方式が提案されている。この方式はスケーラビリティとも称され、単一の動画像等の情報を夫々単一のストリームにエンコード（符号化）する上記の如くの通常方式と異なり、複数層による階層構造とし、各層毎に独立したストリームとしてエンコードする方式である。ここでは、最も基本的な階層をベースレイヤ、上位の階層のストリームをエンハンスメントレイヤと称している。
【００１１】
この階層符号化方式では、ベースレイヤのみでも再生が可能であるが、エンハンスメントレイヤを１層ずつ付加していくことにより、順次品質を向上させた動画像等の情報を提供することができる。この場合の具体的な例を以下の表１に示す。
【００１２】
【表１】
この例では、ビットレートとしては先の例と同じ３種類を選択できるものとした。ここで、ベースレイヤとは、６４ｋｂｐｓのビットレートでエンコードしたストリームである。
【００１３】
又、エンハンスメントレイヤ＃１とは、同じ動画像コンテンツについて、２５０ｋｂｐｓでエンコードして得られるストリームをデコード再生して得られる再生画像と、上記６４ｋｂｐｓでエンコードして得られるストリームをデコード再生して得られる再生画像との間の差データをエンコードして得られるストリームである。
【００１４】
更に、エンハンスメントレイヤ＃２とは、同じ動画像コンテンツについて、５００ｋｂｐｓでエンコードして得られるストリームをデコード再生して得られる再生画像と、上記２５０ｋｂｐｓでエンコードして得られるストリームをデコード再生して得られる再生画像との間の差データについてエンコードして得られるストリームである。
【００１５】
したがって、ベースレイヤ・ストリームのデコード再生画像データにエンハンスメント＃１ストリームのデコード再生画像データを加算することによって、２５０ｋｂｐｓでエンコードして得られるストリームのデコード再生画像と同画質の画像が得られる。同様に、ベースレイヤ・ストリームのデコード再生画像データにエンハンスメント＃１ストリームのデコード再生画像データ及びエンハンスメント＃２ストリームのデコード再生画像データを加算することによって５００ｋｂｐｓでエンコードして得られるストリームのデコード再生画像と同等の画質が得られることになる。
【００１６】
この階層符号化方式によれば、上記ベースレイヤ、エンハンスメントレイヤ＃１、＃２の各ストリームのうち、ベースレイヤのストリームは図１の例の場合の６４ｋｂｐｓでエンコードされたストリームと同容量であるが、他のエンハンスメントレイヤ＃１、＃２の夫々のストリームについては上記の如く「差データ」であるため、夫々２５０ｋｂｐｓでエンコードしたストリーム、５００ｋｂｐｓでエンコードしたストリームに比して、そのデータ容量を明らかに削減可能である。従って、この階層符号化方式によればサーバでのディスク容量削減や、同報配信時のネットワーク帯域利用効率の向上を図れる。しかしながら、選択可能なビットレートの種類を増やすためには上記エンハンスメントレイヤの種類を増やす必要があり、上記同様の問題が生ずることになる。
【００１７】
又上記従来のネットワーク帯域適応配信システムでは、上述の如く、実効許容レートの低下を検出し、低いレートでの配信が選択された場合であっても画面が崩れる等の著しい劣化は防止可能である。しかしながら、この方式では、低レート配信の結果、モスキートノイズやブロック歪みといった符号化に起因する劣化が画面全体に均一生じるため、画面中の特にユーザにとって重要な部分の画質も他のあまり重要でない部分同様に劣化してしまう。その様な場合、結果的に当該ユーザの視聴に耐えないものとなってしまうおそれがある。
【００１８】
このような問題の解決のため、重要と考えられる特定の領域のみ画質を維持し、その分、それ以外の領域の劣化を相対的に大きくする手法にて、トータル的に低いレートでエンコードをしておくことが考えられる。この点に関し、特開平７−２８８８０６号公報では、画像を圧縮して伝送するにあたり、許容伝送量に応じて画像各部の解像度を自動決定し、詳しく見たい部分の解像度を指定可能とした動画像通信システムが開示されている。
【００１９】
当該公報開示技術では、同公報の図１、図２等に示されている如く、動画提供者と受信者との１対１のリアルタイム通信を想定しており、送信の際にカメラ等にてリアルタイムに画像を取り込み、受信者の指示に従って領域毎に異なった解像度で画像圧縮を行う構成である。しかしながらこのシステムでは、送信側通信部にて生成する画像データは１受信者専用のものであり、仮に同システムにて多数の受信者に対して同じ動画像を配信することを想定した場合、受信者毎に高解像度にしたい画像領域が異なるため、受信者毎に少なくとも送信側通信部を設ける必要があり、システム構成が複雑化してしまう。又、当該システムでは受信者からの指示を受信するまでは高解像度とすべき画像領域が確定出来ずに画像圧縮処理が実施不可の為、予め圧縮しておくことが出来ず、オン・デマンド配信には適さない。
【００２０】
本発明は上記問題点に鑑み、比較的簡易な構成にてネットワークの実効伝送レートに応じた細かな画質調整が可能な画像伝送式を提供することを目的とする。
【００２１】
【課題を解決するための手段】
上記目的達成のため、本発明では、所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成する際、当該動画像データを複数の領域に分割し、所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤのストリームとベースレイヤとの両方のストリームを送信する構成とした。
【００２２】
当該構成では、コンテンツは予めベースレイヤトエンハンスメントレイヤの最低２層分のデータストリームを作成しておき、コンテンツ配信時の実効許容送信レートの範囲内でエンハンスメントレイヤのデータストリームを伝送可能な領域の組み合わせについて、ベースレイヤのデータストリームに加えてエンハンスメントレイヤのデータストリームを送信する。
【００２３】
【発明の実施の形態】
本発明の実施の形態では、予め画面内をいくつかの細かい領域に分割し、検出された伝送路の実効伝送レートで伝送可能な領域のみを選択することにより、１つのストリームにて、より細かく実効許容レートに適応可能とする。又、実施の形態のバリエーションとして、この領域選択をユーザが行うことが出来るようにすることにより、ユーザの嗜好に適した画質での伝送を可能とするものである。
【００２４】
以下に図２と共に、本発明の実施例の概略の構成について説明する。
【００２５】
本発明の実施例では、予めビデオテープレコーダやビデオカメラ等のビデオソース３１から得られた動画像データを、エンコーダ３２を用いて圧縮し、ビデオストリームを作成する。このとき作成されるビデオストリームについては、予め画面内に存在する物体等の領域に関する情報を利用して領域毎に分割して圧縮ストリームを構成する等の操作は特に必要としない。又、ビデオストリームの作成には上記階層符号化方式を用いるが、このとき、必ずしもエンハンスメントレイヤを多数層分作成する必要は無く、１階層分のみでよい。但し、本発明の各実施例では、エンハンスメントレイヤはフレーム内相関のみを利用してエンコードされたものとする。
【００２６】
このビデオストリームをサーバＳに登録する際、領域（分割）情報提供部３５によって提供される領域（分割）情報を基に、エンハンスメントレイヤ・ストリームの連続送信可能な最低単位、即ちパケットに分割しながら行なう。領域分割情報提供部３５による領域分割情報の提供方法としては、例えばビデオストリームの再生中にユーザによって再生画面上においてマウス等で領域を指示する手動入力方式、人の顔やキャプション等を画像処理により抽出する自動判定方式等が考えらる。
【００２７】
又、上記パケット分割の具体的な方式は使用する圧縮方式によって異なるが基本的には図３に示す如く、各領域の境界が分割パケットの境界になるように行うものとする。即ち図３の例では、まず同図（ａ）に示す如く画面をＡ１，Ａ２，Ａ３の３つの領域に分割し、これら分割領域の境界が分割パケットの境界と重なるようにしてパケット分割を行なう。同図（ｂ）はそのようにして得られた分割パケットの例である。同図では、上記領域Ａ１はパケット２，４よりなり、領域Ａ２はパケット６，８よりなり、領域Ａ３はパケット１，１，３，３，５，５，５，７，７，９，９よりなる。よって、各領域間の境界はパケット間の境界と完全に重なっている。
【００２８】
このようにパケット毎に分割されたストリームをサーバＳに、通常ストリーム１２，１３として登録する。ここで、通常ストリーム１２として登録されるストリームは上述のベースレイヤのデータであり、通常ストリーム１３として登録されるストリームは同エンハンスメントレイヤ（この場合一層のみ）のデータである。更に、登録する際に、後述する、領域とパケットとの対応情報を持つ領域テーブル１６、及び同じく後述する、領域と実効伝送レートとの対応情報を持つレートテーブル１７を作成し、これらのテーブルも同時に登録する。
【００２９】
他方、当該登録ストリームのクライアントＣへの配信時には、送出部２０はクライアントＣからの受信実績による実効許容受信レートのフィードバックを受ける等の方法により、実効許容伝送レートＲ＿Ｅｆｆｅｃｔｉｖｅを検出する。又、領域決定部１９は、上記レートテーブル１７に基づき、送出部２０で検出した実効許容レートＲ＿Ｅｆｆｅｃｔｉｖｅの伝送容量範囲内で配信可能な０個又は１個以上の領域を選ぶ。この場合に配信可能領域が０個となるのは、実効許容レートＲ＿Ｅｆｆｅｅｃｔｉｖｅの容量範囲内で伝送可能な領域が存在しない場合である。
【００３０】
又、パケット選択部１８では領域テーブル１６を用いて選ばれた領域を構成するパケットを判断する。ここで選ばれた領域を構成するパケットの各々について、パケット選択スイッチ１５によって通常ストリーム１３のパケットが送出部２０に送られる。他方ここで選ばれなかった領域を構成するパケットについては、パケット選択スイッチ１５によってダミーストリームのパケットが送出され、若しくはパケット無しとして、何も送出されない。
【００３１】
ここでダミーストリームとは画面の情報を持たないストリームであり、情報量が極めて小さいものである。例えばＭＰＥＧ−４方式であればすべてスキップマクロブロックで構成することにより実現され、ビデオパケットヘッダのみで構成出来るものである。このダミーストリームが選択された領域については、ベースレイヤ（通常ストリーム１２）の画面がそのまま出力されることになる。又、シンタックス上、画面情報を送出しない場合にダミーを必要としない符号化方式の場合、上記選択されない領域については該当するパケットを送出しないということも出来る。これの場合は上記「パケット無し」が選択される。
【００３２】
次に、図４に示す第２実施例では、領域選択に対してユーザである視聴者からのフィードバックを利用する構成を有する。この場合、予め複数種類の領域分割態様を用意しておき、視聴者の指示によって選択された領域分割態様と検出Ｒ＿ｅｆｆｅｃｔｉｖｅとから、パケット選択スイッチ１５にて、配信するストリームを選択する。
【００３３】
図５は、上記図４における、複数種類の領域分割態様を用意した場合のパケット分割の態様を示す。この場合、同図（ａ）の領域分割態様１では、領域Ａ１とそれ以外の部分とに分割され、他方同図（ｂ）の領域分割態様２では、領域Ａ２とそれ以外の部分に分割されるものとする。ここで、これら２種類の領域分割態様を合成すると、同図（ｃ）に示す如く、領域Ａ１、Ａ２と、それ以外の部分とに分割されることになる。同図に示す如く、合成した結果領域Ａ１，Ａ２に重なる部分がある場合、この重複部分にも対応するように、パケット分割が行なわれるものとする（図示の例の場合パケット７が該当するパケットである）。
【００３４】
この図５（ｃ）に示す合成領域分割態様における分割領域間の境界に従って上述の如くパケット分割を行なった結果、同図（ｄ）に示す如くの分割パケットが得られる。この場合領域Ａ１に対応するパケットはパケット２，４，７，８であり、領域Ａ２に対応するパケットはパケット６，７，１０，１２となる。図５の例は領域分割態様が２種類の場合の例であったが、この例に限られず、３種類以上の分割であっても上記同様に分割領域の合成結果に対応するようにパケット分割が行なわれるものとする。
【００３５】
このようにして１つのコンテンツに対して複数種類の領域分割態様を用意しておき、配信時には視聴者が選択した領域選択情報番号をクライアントからサーバに送り、選択された領域選択情報番号で指定される領域分割態様に対応して準備されたテーブル１６，１７の項目（エントリ）を用いて図２の実施例における説明と同様の方法にて配信を行う。
【００３６】
以下に、更に詳細に本発明の各実施例について説明する。
【００３７】
まず、上記領域とパケットとの対応情報を格納する領域テーブル１６は。動画像のフレーム毎に領域番号とパケット番号ｐｎｏとを対応付ける構成とされる。即ち、あるフレームのパケット分割が例えば図３に示すようなものであった場合、当該テーブル１６に格納される値は以下の表２に示す如くの値となる。
【００３８】
【表２】
ここで領域の位置や分割態様は領域分割情報提供部３５からの情報に応じてフレーム毎に逐次変化することが考えられ、もって、特に動画像における対象物（例えばサッカー中継画面における個々の選手の画像等）の動きが激しい場合等では、当該テーブル１６にはフレーム毎に異なる値が格納される場合がある。
【００３９】
上記ストリームのパケット分割に関して周知のＭＰＥＧ４の技術を適用した場合を例にとって以下に説明する。ＭＰＥＧ４ではストリームにおいて各ピクチャの開始点にはユニークワード０ｘ０００００１Ｂ６が挿入されているため、容易にピクチャ先頭を検出することができる。しかしマクロブロックの先頭にはこのようなユニークワードは無いため、ピクチャ先頭の情報から通常のビットストリーム解析を行う必要がある。そのためビットストリームシンタックスの解析を行い、一度１ピクチャ分の全マクロブロックにつき、それらの情報を一旦符号化モード、動きベクトル、量子化器、ＤＣＴ係数の夫々の情報に戻す。ＭＰＥＧ４では連続送信可能な最低単位はビデオパケットと呼ばれる単位であるため、このデータによって例えば図３による分割態様に従ってビデオパケットのヘッダを挿入しながら各マクロブロックの情報を再度ビットストリームに変換することにより、所望のパケット分割が施されたストリームを得ることが出来る。
【００４０】
又、所謂ＶＢＲ（Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ）でエンコードされている場合、ビットレートは時刻と共に変化するため、レートテーブル１７もフレーム毎に用意する必要がある。ここで、ある時刻に図３における各領域のみについて取り出したエンハンスメントレイヤのストリームのビットレートが下記のとおりであったとする。
【００４１】
領域Ａ１のビットレートＲ＿Ａ［１］ ＝ １２８（ｋｂｐｓ）
領域Ａ２のビットレートＲ＿Ａ［２］ ＝ ６４（ｋｂｐｓ）
領域Ａ３のビットレートＲ＿Ａ［３］ ＝ ６４（ｋｂｐｓ）
又、ベースレイヤのストリームのビットレートを６４ｋｂｐｓとする。
【００４２】
このとき、当該時刻に該当するフレーム番号のレートテーブル（１７）Ｔ＿Ｒ（ｆｒａｍｅｎｏ，Ｒ＿ｅｆｆｅｃｔｉｖｅ）は以下の表３に示す内容となる。
【００４３】
【表３】
このテーブルは各領域の優先度がＡ１＞Ａ２＞Ａ３であることも示している。この優先度が異なる場合はレートテーブルの内容も異なることとなる。上記表３の内容は、上記各領域毎の所要ビットレートに応じて、以下のようにして決められる。
【００４４】
インターネット等の伝送路の検出実効許容伝送レートからベースレイヤのストリーム分のビットレートである６４ｋｂｐｓを差し引いたＲ＿ｅｆｆｅｃｔｉｖｅが２５６ｋｂｐｓ以上の場合、Ａ１，Ａ２，Ａ３の全ての領域についてベースレイヤに加えてエンハンスメントレイヤのストリームも配信することが可能となる。これは、上記各領域Ａ１、Ａ２、Ａ３のエンハンスメントレイヤの所要ビットレートの合計が２５６ｋｂｐｓであり、上記検出許容ビットレート（２５６ｋｂｐｓ以上）の範囲内に収まるからである。
【００４５】
同様の理由から、同ベースレイヤ分を差し引いたＲ＿ｅｆｆｅｃｔｉｖｅが１９２乃至２５６ｋｂｐｓの範囲であれば、Ａ１，Ａ２の領域についてはベースレイヤに加えてエンハンスメントレイヤのストリームも配信可能であるが、他方領域Ａ３についてはベースレイヤのストリームのみ配信することが可能である。これは、上記各領域Ａ１、Ａ２のエンハンスメントレイヤの所要ビットレートの合計が１９２ｋｂｐｓであり、上記検出許容ビットレート（１９２ｋｂｐｓ以上）の範囲内に収まるからである。
【００４６】
又、同ベースレイヤ分を差し引いたＲ＿ｅｆｆｅｃｔｉｖｅが１２８乃至１９２ｋｂｐｓの範囲であれば、Ａ１の領域についてのみベースレイヤに加えてエンハンスメントレイヤのストリームも配信可能であるが、他方領域Ａ２，Ａ３についてはベースレイヤのストリームのみ配信可能である。これは、上記各領域Ａ１のエンハンスメントレイヤの所要ビットレートの合計が１２８ｋｂｐｓであり、上記検出許容ビットレート（１２８ｋｂｐｓ以上）の範囲内に収まるからである。
【００４７】
更に同Ｒ＿ｅｆｆｅｃｔｉｖｅが１２８ｋｂｐｓ未満の際は、全ての領域についてベースレイヤのストリームのみ配信可能である。これは、検出ビットレートが最も優先順位の高い領域Ａ１のエンハンスメントレイヤの所要ビットレート１２８ｋｂｐｓに満たないからである。
【００４８】
以下、図６と共に、本発明の図２に示す第１実施例による画像伝送方式の処理手順について説明する。尚、同図ではエンハンスメントレイヤ・ストリームの送信手順について示しているが、ベースレイヤ・ストリームは全てパケットについて配信されるものとする。
【００４９】
即ち、先ず配信すべき動画像の最初のフレームについて（ステップＳ１），ステップＳ２にて「領域リスト」を作成する。この領域リストは以下の通りに作成する。即ち、まず、現在の検出実効許容ビットレートから、当該フレームに関する表３の如くのレートテーブル１７を参照し、当該検出実効許容レートの範囲内でエンハンスメントレイヤ・ストリームが配信可能な領域を決定する。次に、当該フレームに関する表２の如くの領域テーブル１６を参照し、上記の如くに決定された、エンハンスメントレイヤ・ストリームが配信可能な領域Ｔ＿Ａを構成するパケット番号ｐｎｏを抽出し、当該抽出されたパケット番号のリストを「領域リストＡＬ」とする。
【００５０】
次に、当該フレームの最初のビデオパケットについて（ステップＳ３）、当該パケット番号が上記領域リストＡＬに含まれているか否かを判定する（ステップＳ４）。その結果含まれていなければ、当該パケットとして上記ダミーパケットを送信するか或いは何も送信しない（ステップＳ６）。ステップＳ４の結果、領域リストＡＬに含まれいれば（Ｙｅｓ）、当該パケットとして該当するエンハンスメントレイヤのデータを送信する（ステップＳ５）。
【００５１】
同様の処理を当該フレームを構成する全てのパケットについて繰り返し（ステップＳ４乃至Ｓ８のループ）、それが終了すると（ステップＳ７のＹｅｓ）、次のフレームの処理に移行し（ステップＳ９）、各フレーム毎に上記処理を繰り返す（ステップＳ２乃至Ｓ１０）。
【００５２】
次に、図４に示す、本発明の第２実施例について詳細に説明する。
【００５３】
本実施例では、ユーザである視聴者からの指示に従って予め準備されている複数の領域分割態様から所定のものを選択し、その領域分割態様に従って配信を行う。この場合の領域、パケット分割例については図５と共に上述した通りである。又、この場合の、あるフレームにおける各領域当たりの所要のビットレート例を以下に示す。
【００５４】
領域分割１の場合
領域Ａ１のビットレート：６４（ｋｂｐｓ）
Ａ１以外の領域のビットレート：１９２（ｋｂｐｓ）
領域分割２の場合
領域Ａ１のビットレート：１２８（ｋｂｐｓ）
Ａ１以外の領域のビットレート：１２８（ｋｂｐｓ）
ここでは、本実施例により、視聴者の嗜好に応じて、同じ動画像について異なる表示方法を選択する場合の例について説明する。
【００５５】
図４において、クライアント・コンピュータＣでは、例えばサッカーなどの試合中継画面を例に取ると、予め視聴者に対して例えば図７に示す如くのメニューを提示することにより選択可能とする。当該メニュー内容はコンテンツ選択時にサーバ・コンピュータＳからクライアント・コンピュータＣに送信されるものとする。
【００５６】
図７の場合、メニュー上の番号が上記領域分割情報番号に相当する。この例では、領域分割情報１を選択した場合、画面中のＡチームの選手が映っている領域について特に高画質で表示する態様が設定され、他方領域分割情報２が選択された場合にはＢチームの選手が映っている領域について特に高画質で表示する態様が設定される。
【００５７】
配信に使用される領域テーブル１６として、上記第１実施例の場合に比して、更に他のパラメタが追加される。ここでは、当該追加パラメタをＴ＿Ａ（ｄｉｖｎｏ，ｐｎｏ） とし、あるフレームについて、図５に対応して、例えば以下の表４の如くに構成するものとする。ここで上記ｄｉｖｎｏは領域分割情報番号を示す。
【００５８】
【表４】
尚、表４において、「領域番号Ｔ＿Ａ」としては以下の値が設定される。
【００５９】
領域分割１（ｄｉｖｎｏ＝１）の場合
領域Ａ１：１
Ａ１以外の領域：２
領域分割２（ｄｉｖｎｏ＝２）の場合
領域Ａ２：１
Ａ２以外：２
またレートテーブル１７についても、パラメタとして上記領域分割情報番号ｄｉｖｎｏを追加してＴ＿Ｒ（ｄｉｖｎｏ，ｆｒａｍｅｎｏ，Ｒ＿ｅｆｆｅｃｔｉｖｅ）とし、同じく図５に対応して例えば以下の表５の如くに構成する。
【００６０】
ここで、Ｒ＿ｅｆｆｅｃｔｉｖｅは、ベースレイヤのストリームのビットレートである６４ｋｂｐｓを、検出された実効許容伝送レートから差し引いたものとする。
【００６１】
【表５】
尚、この例では領域領域分割番号として“１”が選ばれた場合にはＲ＿ｅｆｆｅｃｔｉｖｅが２５６〜６４ｋｂｐｓのときに、当該領域分割情報番号設定時の領域番号１すなわち図５のＡ１の部分のみ選択され、Ａチームの選手の部分が鮮明に見えるようになる。他方、領域領域分割情報番号として“２”が選ばれた場合には、Ｒ＿ｅｆｆｅｃｔｉｖｅが２５６〜１２８ｋｂｐｓのときに、当該領域分割情報番号設定時の領域番号１すなわち図５のＡ２の部分のみ選択され、Ｂチームの選手が鮮明に見えるようになる。
【００６２】
以下、図８と共に、上記本発明の第２実施例による画像伝送方式の処理手順について説明する。尚、第２実施例同様、同図ではエンハンスメントレイヤ・ストリームの送信手順について示しているが、ベースレイヤについては全てパケットについてベースレイヤ・ストリームが配信されるものとする。
【００６３】
即ち、先ず配信すべき動画像の最初のフレームについて（ステップＳ１），視聴者の選択による領域分割情報を受信する（ステップＳ１１）。そして、ステップＳ２にて当該フレームに関する「領域リスト」を作成する。この領域リストは以下の通りに作成する。
【００６４】
即ち、まず、現在の検出実効許容ビットレートから、当該フレームに関する表５の如くのレートテーブル１７のうちの、上記ステップＳ１１にて得られた領域分割情報の番号（ｄｉｖｎｏ）の範囲について参照し、当該検出実効許容レートの範囲内でエンハンスメントレイヤ・ストリームが配信可能な領域を決定する。次に、当該フレームに関する表４の如くの領域テーブル１６のうちの、上記ステップＳ１１にて得られた領域分割情報の番号（ｄｉｖｎｏ）の範囲について参照し、上記の如くに決定され、たエンハンスメントレイヤ・ストリームが配信可能な領域Ｔ＿Ａを構成するパケット番号ｐｎｏを抽出し、当該抽出されたパケット番号のリストを「領域リストＡＬ」とする。
【００６５】
次に、当該フレームの最初のビデオパケットについて（ステップＳ３）、当該パケット番号が上記領域リストＡＬに含まれているか否かを判定する（ステップＳ４）。その結果含まれていなければ、当該パケットとして上記ダミーパケットを送信するか或いは何も送信しない（ステップＳ６）。ステップＳ４の結果、領域リストＡＬに含まれいれば（Ｙｅｓ）、当該パケットとして該当するエンハンスメントレイヤのデータを送信する（ステップＳ５）。
【００６６】
同様の処理を当該フレームを構成する全てのパケットについて繰り返し（ステップＳ４乃至Ｓ８のループ）、それが終了すると（ステップＳ７のＹｅｓ）、次のフレームの処理に移行し（ステップＳ９）、各フレーム毎に上記処理を繰り返す（ステップＳ２乃至Ｓ１０）。
【００６７】
これら各実施例等で実現される本発明によれば、最低ベースレイヤとエンハンスメントレイヤの２階層のみで多数の中間の送信ビットレートの選択が可能となる。即ち、表３の例では４段階の送信ビットレートの選択が可能であり、表５の例では各領域分割態様のついて３段階の送信ビットレートの選択が可能となる。そのため、エンコード処理負荷を削減しながら実効許容ビットレートに即して細かく配信ビットレートを調整可能である。従って、常に現状の実効許容レートに即した、より最良に近い画質での配信が可能となる。
【００６８】
又、１度のエンコードによって得られるパケットの組み合わせによって柔軟に配信ビットレートと特定の画像領域毎の画質との関係を制御可能であるため、再生画像に対するユーザの希望に即した態様での画像配信が可能となる。
【００６９】
尚、本発明の実施例に適用可能な上記の「階層符号化技術（スケーラビリティ）」としては、例えばＭＰＥＧ２に採用されたものとして、夫々公知の、▲１▼画面上の空間解像度に関する空間スケーラビリティ、▲２▼フレームレートに関する時間スケーラビリティ、▲３▼送信データを生成する際のデータ圧縮率に関するＳＮＲスケーラビリティ等がある。このうち、上記各実施例の説明は、▲３▼ＳＮＲスケーラビヒティ技術を主に想定した説明となっている。この場合のデータ圧縮率は、例えば画像圧縮の過程で行なわれる量子化処理における量子化ステップサイズの大小によって決定され得る。
【００７０】
本発明は以下の付記に記載の構成を含む。
【００７１】
（付記１）
所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成するデータ伝送装置であって、
当該所定の動画像データを複数の領域に分割する分割手段と、
所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤとベースレイヤとの両方のストリームを送信する送信レイヤ決定手段とよりなるデータ伝送装置。
【００７２】
（付記２）
所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成するデータ伝送装置であって、
当該所定の動画像データを複数の領域に分割する分割手段と、
エンハンスメントレイヤのストリームについて、所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤのストリームを送信し、他の領域についてはダミーデータを送信するか或いは配信を停止するエンハンスメントレイヤ決定手段とよりなるデータ伝送装置。
【００７３】
（付記３）
前記複数の領域の各領域は所定の優先順位を有し、前記送信レイヤ決定手段は前記所定の単位時間毎に上記優先順位に従ってベースレイヤとエンハンスメントレイヤとの両方のストリームを送信する領域を選択する構成の付記１又は２に記載のデータ伝送装置。
【００７４】
（付記４）
前記送信レイヤ決定手段は、予め前記複数の領域のうちから所定の順序で順次各領域を選択していった場合の夫々の場合のエンハンスメントレイヤのストリーム送信のための合計所要送信レートを算出しておき、前記複数の領域のうちから所定の順序で順次各領域を選択していった場合の夫々の場合のうち、前記所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で最大合計所要送信レートとなる場合の選択領域の各々についてエンハンスメントレイヤのストリームを送信する付記１乃至３のうちのいずれかに記載のデータ伝送装置。
【００７５】
（付記５）
前記分割手段は、所定の動画像データについて、選択可能に複数種類設けた領域分割態様の各々について複数の領域に分割する構成の付記１乃至４にうちのいずれかに記載のデータ伝送装置。
【００７６】
（付記６）
前記分割手段による分割領域の各々に対応させてエンハンスメントレイヤのストリームの連続送信可能な最低データ単位の各々を設定する構成の付記１乃至５のうちのいずれかに記載のデータ伝送装置。
【００７７】
（付記７）
所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成するためのデータ伝送方法であって、
当該所定の動画像データを複数の領域に分割する分割段階と、
所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤとベースレイヤとの両方のストリームを送信する送信レイヤ決定段階とよりなるデータ伝送方法。
【００７８】
（付記８）
所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成するためのデータ伝送方法であって、
当該所定の動画像データを複数の領域に分割する分割段階と、
エンハンスメントレイヤのストリームについて、所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤのストリームを送信し、他の領域についてはダミーデータを送信するか或いは配信を停止するエンハンスメントレイヤ決定段階とよりなるデータ伝送方法。
【００７９】
（付記９）
前記複数の領域の各領域は所定の優先順位を有し、前記送信レイヤ決定段階では前記所定の単位時間毎に上記優先順位に従ってベースレイヤとエンハンスメントレイヤとの両方のストリームを送信する領域を選択する構成の付記７又は８に記載のデータ伝送方法。
【００８０】
（付記１０）
前記送信レイヤ決定段階では、予め前記複数の領域のうちから所定の順序で順次各領域を選択していった場合の夫々の場合のエンハンスメントレイヤのストリーム送信のための合計所要送信レートを算出しておき、前記前記複数の領域のうちから所定の順序で順次各領域を選択していった場合の夫々の場合のうち、前記所定の単位時間毎に、前記所定の伝送路の実効許容送信レートの範囲内で最大合計所要送信レートとなる場合の選択領域の各々についてエンハンスメントレイヤのストリームを送信する付記７乃至９のうちのいずれかに記載のデータ伝送方法。
【００８１】
（付記１１）
前記分割段階では、所定の動画像データについて、選択可能に設けた複数種類の領域分割態様の各々について複数の領域に分割する構成の付記７乃至１０にうちのいずれかに記載のデータ伝送方法。
【００８２】
（付記１２）
前記分割段階での分割領域の各々に対応させてエンハンスメントレイヤのストリームの連続送信可能な最低データ単位の各々を設定する構成の付記７乃至１１のうちのいずれかに記載のデータ伝送方法。
【００８３】
（付記１３）
前記付記７乃至１２のうちのいずれかに記載のデータ伝送方法をコンピュータに実行させるためのソフトウェアプログラム。
【００８４】
【発明の効果】
本発明では、配信すべきコンテンツは予めベースレイヤトエンハンスメントレイヤの最低２層分のデータストリームを作成しておき、コンテンツ配信時の実効許容送信レートの範囲内でエンハンスメントレイヤのデータストリームを送信可能な最大限度の領域の組み合わせについてエンハンスメントレイヤのデータストリームをベースレイヤのデータストリームに加えて送信する。そのため、コンテンツ毎に準備すべき階層符号化方式による最低層数は２層であるにもかかわらず、配信時点の実効許容送信レートに応じて、エンハンスメントレイヤのストリームを送信する領域の選択によって様々な送信レートで当該コンテンツを配信可能である。したがって、配信時点の実効許容送信レートに応じ細かく対応して様々な態様の送信データの生成が可能である。もって、比較的簡易な構成にて、伝送路の状態に応じた配信内容の細かな動的適応が可能であり、且つ、階層符号化方式の適用によって伝送路の効率的利用が可能なデータ伝送方式を提供可能である。
【図面の簡単な説明】
【図１】従来の一例の動的帯域適応配信技術を説明するための図である。
【図２】本発明の第１実施例によるデータ伝送システムの概略ブロック図である。
【図３】本発明の第１実施例による領域分割とパケット割り当てについて説明するための図である。
【図４】本発明の第２実施例によるデータ伝送システムの概略ブロック図である。
【図５】本発明の第２実施例による領域分割とパケット割り当てについて説明するための図である。
【図６】本発明の第１実施例によるデータ伝送方法の概略動作フローチャートである。
【図７】本発明の第２実施例におけるクライアント・コンピュータに表示するメニュー画面の一例を説明するための図である。
【図８】本発明の第２実施例によるデータ伝送方法の概略動作フローチャートである。
【符号の説明】
３１ ビデオリソース
３３ エンハンスメントレイヤ・ストリーム格納部
３４ ベースレイヤ・ストリーム格納部
１１ ストリーム分解部
１２ 通常ストリーム（ベースレイヤ）送出部
１３ 通常ストリーム（エンハンスメントレイヤ）送出部
１４ ダミーストリーム送出部
１５ パケット選択スイッチ
１６ 領域テーブル格納部
１７ レートテーブル格納部
１８ パケット選択部
１９ 領域決定部
２０ 送信部
【発明の属する技術分野】
本発明は画像伝送装置、画像伝送方法及びソフトウェアプログラムに係り、特にインターネット等の通信網等を介して動画像等の画像情報を配信するための画像伝送装置、画像伝送方法及びソフトウェアプログラムに関する。
【０００２】
【従来の技術】
インターネット等の所謂ベストエフォート型ネットワークのよる動画像の配信で問題となるのは、ネットワークの帯域の容量不足等によってパケットロス等が発生し、結果的に配信された情報による再生画質が著しく劣化する場合があることである。この問題を解決するため、実効帯域容量に動的に適応して配信を行う動画像配信技術がある。
【０００３】
一例として、動画像コンテンツを複数種類のビットレートでエンコードした上でサーバに蓄積しておき、当該コンテンツ配信時に実効許容レートで伝送可能なビットレートのストリームを動的に選択して配信する技術がある。以下に図１と共に当該技術の概要について説明する。
【０００４】
ここで、上記の複数種類のビットレートでエンコードするとは、動画像コンテンツを所定の送信手段によって送信する際のビットレートが所定の複数種類のレートとなるように、予め所定の複数種類のデータ変換率でデータ変換、例えば所定の複数種類の圧縮率でデータ圧縮を施すことを意味する。
【０００５】
図中、サーバ・コンピュータ１００の送出部１１０は、ネットワークＮＷの状況によってクライアント・コンピュータ２００が受信可能な実効的な許容送信レートＲ＿ｅｆｆｅｃｔｉｖｅについて、所定の時間間隔毎、例えば１０秒間隔で計測している。そして、この検出実効許容レートに従ってストリーム選択スイッチ１２０により、予めＲ＿ｅｆｆｅｃｔｉｖｅを超えないビットレートでエンコードされたストリームを選択し、これをネットワークＮＷを介してクライアント・コンピュータ２００へと配信する。
【０００６】
例えば、上記Ｒ＿ｅｆｆｅｃｔｉｖｅ＝６００ｋｂｐｓのときには、予め５００ｋｂｐｓでエンコードされたストリーム１３０が選択され、次の瞬間にＲ＿ｅｆｆｅｃｔｉｖｅ＝４００ｋｂｐｓに低下したことが検出された場合、これに応じて予め２５０ｋｂｐｓでエンコードされたストリーム１４０が選択される。このようにして予め送信データ容量を制御してパケットロス等の発生を無くすることによって、配信された情報による再生画質の著しい劣化を抑える。
【０００７】
【発明が解決しようとする課題】
このように、従来のネットワーク帯域適応配信システムでは、実効許容レートの低下を検出した場合の配信のために予め動画像コンテンツを複数種類のビットレートでエンコードした上で、サーバ・コンピュータに格納しておく。そして、上記の如く、ある時点での検出実効許容レートが６００ｋｂｐｓであり５００ｋｂｐｓでエンコードされたストリームが選択されていたときに、実効許容レートの低下が検出され４００ｋｂｐｓになったとする。このとき１つ下のビットレートでエンコードされたストリームが選択され、２５０ｋｂｐｓで配信されることになる。
【０００８】
この場合、実際には４００ｋｂｐｓ−２５０ｋｂｐｓ＝１５０ｋｂｐｓ分の送信レート容量の余裕があるにもかかわらず、予めエンコードされたものから選択するため、２５０ｋｂｐｓまで下げなければならないことになり、もって配信後の再生画質が、実際のネットワーク状況の悪化の程度以上に大きく劣化してしまうという問題があった。
【０００９】
この問題を避けるため、予め４００ｋｂｐｓ等を含む多種類のビットレートでエンコードしておくことが考えられるが、これには処理能力の高いエンコーダが必要とされたり、或いはそのためにエンコード処理時間の増大を招くこととなってしまい、特に動画像配信においては好ましくない。
【００１０】
このような複数種類のビットレートでの配信を効率的に行うための技術として、階層符号化方式が提案されている。この方式はスケーラビリティとも称され、単一の動画像等の情報を夫々単一のストリームにエンコード（符号化）する上記の如くの通常方式と異なり、複数層による階層構造とし、各層毎に独立したストリームとしてエンコードする方式である。ここでは、最も基本的な階層をベースレイヤ、上位の階層のストリームをエンハンスメントレイヤと称している。
【００１１】
この階層符号化方式では、ベースレイヤのみでも再生が可能であるが、エンハンスメントレイヤを１層ずつ付加していくことにより、順次品質を向上させた動画像等の情報を提供することができる。この場合の具体的な例を以下の表１に示す。
【００１２】
【表１】
【００１３】
又、エンハンスメントレイヤ＃１とは、同じ動画像コンテンツについて、２５０ｋｂｐｓでエンコードして得られるストリームをデコード再生して得られる再生画像と、上記６４ｋｂｐｓでエンコードして得られるストリームをデコード再生して得られる再生画像との間の差データをエンコードして得られるストリームである。
【００１４】
更に、エンハンスメントレイヤ＃２とは、同じ動画像コンテンツについて、５００ｋｂｐｓでエンコードして得られるストリームをデコード再生して得られる再生画像と、上記２５０ｋｂｐｓでエンコードして得られるストリームをデコード再生して得られる再生画像との間の差データについてエンコードして得られるストリームである。
【００１５】
したがって、ベースレイヤ・ストリームのデコード再生画像データにエンハンスメント＃１ストリームのデコード再生画像データを加算することによって、２５０ｋｂｐｓでエンコードして得られるストリームのデコード再生画像と同画質の画像が得られる。同様に、ベースレイヤ・ストリームのデコード再生画像データにエンハンスメント＃１ストリームのデコード再生画像データ及びエンハンスメント＃２ストリームのデコード再生画像データを加算することによって５００ｋｂｐｓでエンコードして得られるストリームのデコード再生画像と同等の画質が得られることになる。
【００１６】
この階層符号化方式によれば、上記ベースレイヤ、エンハンスメントレイヤ＃１、＃２の各ストリームのうち、ベースレイヤのストリームは図１の例の場合の６４ｋｂｐｓでエンコードされたストリームと同容量であるが、他のエンハンスメントレイヤ＃１、＃２の夫々のストリームについては上記の如く「差データ」であるため、夫々２５０ｋｂｐｓでエンコードしたストリーム、５００ｋｂｐｓでエンコードしたストリームに比して、そのデータ容量を明らかに削減可能である。従って、この階層符号化方式によればサーバでのディスク容量削減や、同報配信時のネットワーク帯域利用効率の向上を図れる。しかしながら、選択可能なビットレートの種類を増やすためには上記エンハンスメントレイヤの種類を増やす必要があり、上記同様の問題が生ずることになる。
【００１７】
又上記従来のネットワーク帯域適応配信システムでは、上述の如く、実効許容レートの低下を検出し、低いレートでの配信が選択された場合であっても画面が崩れる等の著しい劣化は防止可能である。しかしながら、この方式では、低レート配信の結果、モスキートノイズやブロック歪みといった符号化に起因する劣化が画面全体に均一生じるため、画面中の特にユーザにとって重要な部分の画質も他のあまり重要でない部分同様に劣化してしまう。その様な場合、結果的に当該ユーザの視聴に耐えないものとなってしまうおそれがある。
【００１８】
このような問題の解決のため、重要と考えられる特定の領域のみ画質を維持し、その分、それ以外の領域の劣化を相対的に大きくする手法にて、トータル的に低いレートでエンコードをしておくことが考えられる。この点に関し、特開平７−２８８８０６号公報では、画像を圧縮して伝送するにあたり、許容伝送量に応じて画像各部の解像度を自動決定し、詳しく見たい部分の解像度を指定可能とした動画像通信システムが開示されている。
【００１９】
当該公報開示技術では、同公報の図１、図２等に示されている如く、動画提供者と受信者との１対１のリアルタイム通信を想定しており、送信の際にカメラ等にてリアルタイムに画像を取り込み、受信者の指示に従って領域毎に異なった解像度で画像圧縮を行う構成である。しかしながらこのシステムでは、送信側通信部にて生成する画像データは１受信者専用のものであり、仮に同システムにて多数の受信者に対して同じ動画像を配信することを想定した場合、受信者毎に高解像度にしたい画像領域が異なるため、受信者毎に少なくとも送信側通信部を設ける必要があり、システム構成が複雑化してしまう。又、当該システムでは受信者からの指示を受信するまでは高解像度とすべき画像領域が確定出来ずに画像圧縮処理が実施不可の為、予め圧縮しておくことが出来ず、オン・デマンド配信には適さない。
【００２０】
本発明は上記問題点に鑑み、比較的簡易な構成にてネットワークの実効伝送レートに応じた細かな画質調整が可能な画像伝送式を提供することを目的とする。
【００２１】
【課題を解決するための手段】
上記目的達成のため、本発明では、所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成する際、当該動画像データを複数の領域に分割し、所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤのストリームとベースレイヤとの両方のストリームを送信する構成とした。
【００２２】
当該構成では、コンテンツは予めベースレイヤトエンハンスメントレイヤの最低２層分のデータストリームを作成しておき、コンテンツ配信時の実効許容送信レートの範囲内でエンハンスメントレイヤのデータストリームを伝送可能な領域の組み合わせについて、ベースレイヤのデータストリームに加えてエンハンスメントレイヤのデータストリームを送信する。
【００２３】
【発明の実施の形態】
本発明の実施の形態では、予め画面内をいくつかの細かい領域に分割し、検出された伝送路の実効伝送レートで伝送可能な領域のみを選択することにより、１つのストリームにて、より細かく実効許容レートに適応可能とする。又、実施の形態のバリエーションとして、この領域選択をユーザが行うことが出来るようにすることにより、ユーザの嗜好に適した画質での伝送を可能とするものである。
【００２４】
以下に図２と共に、本発明の実施例の概略の構成について説明する。
【００２５】
本発明の実施例では、予めビデオテープレコーダやビデオカメラ等のビデオソース３１から得られた動画像データを、エンコーダ３２を用いて圧縮し、ビデオストリームを作成する。このとき作成されるビデオストリームについては、予め画面内に存在する物体等の領域に関する情報を利用して領域毎に分割して圧縮ストリームを構成する等の操作は特に必要としない。又、ビデオストリームの作成には上記階層符号化方式を用いるが、このとき、必ずしもエンハンスメントレイヤを多数層分作成する必要は無く、１階層分のみでよい。但し、本発明の各実施例では、エンハンスメントレイヤはフレーム内相関のみを利用してエンコードされたものとする。
【００２６】
このビデオストリームをサーバＳに登録する際、領域（分割）情報提供部３５によって提供される領域（分割）情報を基に、エンハンスメントレイヤ・ストリームの連続送信可能な最低単位、即ちパケットに分割しながら行なう。領域分割情報提供部３５による領域分割情報の提供方法としては、例えばビデオストリームの再生中にユーザによって再生画面上においてマウス等で領域を指示する手動入力方式、人の顔やキャプション等を画像処理により抽出する自動判定方式等が考えらる。
【００２７】
又、上記パケット分割の具体的な方式は使用する圧縮方式によって異なるが基本的には図３に示す如く、各領域の境界が分割パケットの境界になるように行うものとする。即ち図３の例では、まず同図（ａ）に示す如く画面をＡ１，Ａ２，Ａ３の３つの領域に分割し、これら分割領域の境界が分割パケットの境界と重なるようにしてパケット分割を行なう。同図（ｂ）はそのようにして得られた分割パケットの例である。同図では、上記領域Ａ１はパケット２，４よりなり、領域Ａ２はパケット６，８よりなり、領域Ａ３はパケット１，１，３，３，５，５，５，７，７，９，９よりなる。よって、各領域間の境界はパケット間の境界と完全に重なっている。
【００２８】
このようにパケット毎に分割されたストリームをサーバＳに、通常ストリーム１２，１３として登録する。ここで、通常ストリーム１２として登録されるストリームは上述のベースレイヤのデータであり、通常ストリーム１３として登録されるストリームは同エンハンスメントレイヤ（この場合一層のみ）のデータである。更に、登録する際に、後述する、領域とパケットとの対応情報を持つ領域テーブル１６、及び同じく後述する、領域と実効伝送レートとの対応情報を持つレートテーブル１７を作成し、これらのテーブルも同時に登録する。
【００２９】
他方、当該登録ストリームのクライアントＣへの配信時には、送出部２０はクライアントＣからの受信実績による実効許容受信レートのフィードバックを受ける等の方法により、実効許容伝送レートＲ＿Ｅｆｆｅｃｔｉｖｅを検出する。又、領域決定部１９は、上記レートテーブル１７に基づき、送出部２０で検出した実効許容レートＲ＿Ｅｆｆｅｃｔｉｖｅの伝送容量範囲内で配信可能な０個又は１個以上の領域を選ぶ。この場合に配信可能領域が０個となるのは、実効許容レートＲ＿Ｅｆｆｅｅｃｔｉｖｅの容量範囲内で伝送可能な領域が存在しない場合である。
【００３０】
又、パケット選択部１８では領域テーブル１６を用いて選ばれた領域を構成するパケットを判断する。ここで選ばれた領域を構成するパケットの各々について、パケット選択スイッチ１５によって通常ストリーム１３のパケットが送出部２０に送られる。他方ここで選ばれなかった領域を構成するパケットについては、パケット選択スイッチ１５によってダミーストリームのパケットが送出され、若しくはパケット無しとして、何も送出されない。
【００３１】
ここでダミーストリームとは画面の情報を持たないストリームであり、情報量が極めて小さいものである。例えばＭＰＥＧ−４方式であればすべてスキップマクロブロックで構成することにより実現され、ビデオパケットヘッダのみで構成出来るものである。このダミーストリームが選択された領域については、ベースレイヤ（通常ストリーム１２）の画面がそのまま出力されることになる。又、シンタックス上、画面情報を送出しない場合にダミーを必要としない符号化方式の場合、上記選択されない領域については該当するパケットを送出しないということも出来る。これの場合は上記「パケット無し」が選択される。
【００３２】
次に、図４に示す第２実施例では、領域選択に対してユーザである視聴者からのフィードバックを利用する構成を有する。この場合、予め複数種類の領域分割態様を用意しておき、視聴者の指示によって選択された領域分割態様と検出Ｒ＿ｅｆｆｅｃｔｉｖｅとから、パケット選択スイッチ１５にて、配信するストリームを選択する。
【００３３】
図５は、上記図４における、複数種類の領域分割態様を用意した場合のパケット分割の態様を示す。この場合、同図（ａ）の領域分割態様１では、領域Ａ１とそれ以外の部分とに分割され、他方同図（ｂ）の領域分割態様２では、領域Ａ２とそれ以外の部分に分割されるものとする。ここで、これら２種類の領域分割態様を合成すると、同図（ｃ）に示す如く、領域Ａ１、Ａ２と、それ以外の部分とに分割されることになる。同図に示す如く、合成した結果領域Ａ１，Ａ２に重なる部分がある場合、この重複部分にも対応するように、パケット分割が行なわれるものとする（図示の例の場合パケット７が該当するパケットである）。
【００３４】
この図５（ｃ）に示す合成領域分割態様における分割領域間の境界に従って上述の如くパケット分割を行なった結果、同図（ｄ）に示す如くの分割パケットが得られる。この場合領域Ａ１に対応するパケットはパケット２，４，７，８であり、領域Ａ２に対応するパケットはパケット６，７，１０，１２となる。図５の例は領域分割態様が２種類の場合の例であったが、この例に限られず、３種類以上の分割であっても上記同様に分割領域の合成結果に対応するようにパケット分割が行なわれるものとする。
【００３５】
このようにして１つのコンテンツに対して複数種類の領域分割態様を用意しておき、配信時には視聴者が選択した領域選択情報番号をクライアントからサーバに送り、選択された領域選択情報番号で指定される領域分割態様に対応して準備されたテーブル１６，１７の項目（エントリ）を用いて図２の実施例における説明と同様の方法にて配信を行う。
【００３６】
以下に、更に詳細に本発明の各実施例について説明する。
【００３７】
まず、上記領域とパケットとの対応情報を格納する領域テーブル１６は。動画像のフレーム毎に領域番号とパケット番号ｐｎｏとを対応付ける構成とされる。即ち、あるフレームのパケット分割が例えば図３に示すようなものであった場合、当該テーブル１６に格納される値は以下の表２に示す如くの値となる。
【００３８】
【表２】
【００３９】
上記ストリームのパケット分割に関して周知のＭＰＥＧ４の技術を適用した場合を例にとって以下に説明する。ＭＰＥＧ４ではストリームにおいて各ピクチャの開始点にはユニークワード０ｘ０００００１Ｂ６が挿入されているため、容易にピクチャ先頭を検出することができる。しかしマクロブロックの先頭にはこのようなユニークワードは無いため、ピクチャ先頭の情報から通常のビットストリーム解析を行う必要がある。そのためビットストリームシンタックスの解析を行い、一度１ピクチャ分の全マクロブロックにつき、それらの情報を一旦符号化モード、動きベクトル、量子化器、ＤＣＴ係数の夫々の情報に戻す。ＭＰＥＧ４では連続送信可能な最低単位はビデオパケットと呼ばれる単位であるため、このデータによって例えば図３による分割態様に従ってビデオパケットのヘッダを挿入しながら各マクロブロックの情報を再度ビットストリームに変換することにより、所望のパケット分割が施されたストリームを得ることが出来る。
【００４０】
又、所謂ＶＢＲ（Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ）でエンコードされている場合、ビットレートは時刻と共に変化するため、レートテーブル１７もフレーム毎に用意する必要がある。ここで、ある時刻に図３における各領域のみについて取り出したエンハンスメントレイヤのストリームのビットレートが下記のとおりであったとする。
【００４１】
領域Ａ１のビットレートＲ＿Ａ［１］ ＝ １２８（ｋｂｐｓ）
領域Ａ２のビットレートＲ＿Ａ［２］ ＝ ６４（ｋｂｐｓ）
領域Ａ３のビットレートＲ＿Ａ［３］ ＝ ６４（ｋｂｐｓ）
又、ベースレイヤのストリームのビットレートを６４ｋｂｐｓとする。
【００４２】
このとき、当該時刻に該当するフレーム番号のレートテーブル（１７）Ｔ＿Ｒ（ｆｒａｍｅｎｏ，Ｒ＿ｅｆｆｅｃｔｉｖｅ）は以下の表３に示す内容となる。
【００４３】
【表３】
【００４４】
インターネット等の伝送路の検出実効許容伝送レートからベースレイヤのストリーム分のビットレートである６４ｋｂｐｓを差し引いたＲ＿ｅｆｆｅｃｔｉｖｅが２５６ｋｂｐｓ以上の場合、Ａ１，Ａ２，Ａ３の全ての領域についてベースレイヤに加えてエンハンスメントレイヤのストリームも配信することが可能となる。これは、上記各領域Ａ１、Ａ２、Ａ３のエンハンスメントレイヤの所要ビットレートの合計が２５６ｋｂｐｓであり、上記検出許容ビットレート（２５６ｋｂｐｓ以上）の範囲内に収まるからである。
【００４５】
同様の理由から、同ベースレイヤ分を差し引いたＲ＿ｅｆｆｅｃｔｉｖｅが１９２乃至２５６ｋｂｐｓの範囲であれば、Ａ１，Ａ２の領域についてはベースレイヤに加えてエンハンスメントレイヤのストリームも配信可能であるが、他方領域Ａ３についてはベースレイヤのストリームのみ配信することが可能である。これは、上記各領域Ａ１、Ａ２のエンハンスメントレイヤの所要ビットレートの合計が１９２ｋｂｐｓであり、上記検出許容ビットレート（１９２ｋｂｐｓ以上）の範囲内に収まるからである。
【００４６】
又、同ベースレイヤ分を差し引いたＲ＿ｅｆｆｅｃｔｉｖｅが１２８乃至１９２ｋｂｐｓの範囲であれば、Ａ１の領域についてのみベースレイヤに加えてエンハンスメントレイヤのストリームも配信可能であるが、他方領域Ａ２，Ａ３についてはベースレイヤのストリームのみ配信可能である。これは、上記各領域Ａ１のエンハンスメントレイヤの所要ビットレートの合計が１２８ｋｂｐｓであり、上記検出許容ビットレート（１２８ｋｂｐｓ以上）の範囲内に収まるからである。
【００４７】
更に同Ｒ＿ｅｆｆｅｃｔｉｖｅが１２８ｋｂｐｓ未満の際は、全ての領域についてベースレイヤのストリームのみ配信可能である。これは、検出ビットレートが最も優先順位の高い領域Ａ１のエンハンスメントレイヤの所要ビットレート１２８ｋｂｐｓに満たないからである。
【００４８】
以下、図６と共に、本発明の図２に示す第１実施例による画像伝送方式の処理手順について説明する。尚、同図ではエンハンスメントレイヤ・ストリームの送信手順について示しているが、ベースレイヤ・ストリームは全てパケットについて配信されるものとする。
【００４９】
即ち、先ず配信すべき動画像の最初のフレームについて（ステップＳ１），ステップＳ２にて「領域リスト」を作成する。この領域リストは以下の通りに作成する。即ち、まず、現在の検出実効許容ビットレートから、当該フレームに関する表３の如くのレートテーブル１７を参照し、当該検出実効許容レートの範囲内でエンハンスメントレイヤ・ストリームが配信可能な領域を決定する。次に、当該フレームに関する表２の如くの領域テーブル１６を参照し、上記の如くに決定された、エンハンスメントレイヤ・ストリームが配信可能な領域Ｔ＿Ａを構成するパケット番号ｐｎｏを抽出し、当該抽出されたパケット番号のリストを「領域リストＡＬ」とする。
【００５０】
次に、当該フレームの最初のビデオパケットについて（ステップＳ３）、当該パケット番号が上記領域リストＡＬに含まれているか否かを判定する（ステップＳ４）。その結果含まれていなければ、当該パケットとして上記ダミーパケットを送信するか或いは何も送信しない（ステップＳ６）。ステップＳ４の結果、領域リストＡＬに含まれいれば（Ｙｅｓ）、当該パケットとして該当するエンハンスメントレイヤのデータを送信する（ステップＳ５）。
【００５１】
同様の処理を当該フレームを構成する全てのパケットについて繰り返し（ステップＳ４乃至Ｓ８のループ）、それが終了すると（ステップＳ７のＹｅｓ）、次のフレームの処理に移行し（ステップＳ９）、各フレーム毎に上記処理を繰り返す（ステップＳ２乃至Ｓ１０）。
【００５２】
次に、図４に示す、本発明の第２実施例について詳細に説明する。
【００５３】
本実施例では、ユーザである視聴者からの指示に従って予め準備されている複数の領域分割態様から所定のものを選択し、その領域分割態様に従って配信を行う。この場合の領域、パケット分割例については図５と共に上述した通りである。又、この場合の、あるフレームにおける各領域当たりの所要のビットレート例を以下に示す。
【００５４】
領域分割１の場合
領域Ａ１のビットレート：６４（ｋｂｐｓ）
Ａ１以外の領域のビットレート：１９２（ｋｂｐｓ）
領域分割２の場合
領域Ａ１のビットレート：１２８（ｋｂｐｓ）
Ａ１以外の領域のビットレート：１２８（ｋｂｐｓ）
ここでは、本実施例により、視聴者の嗜好に応じて、同じ動画像について異なる表示方法を選択する場合の例について説明する。
【００５５】
図４において、クライアント・コンピュータＣでは、例えばサッカーなどの試合中継画面を例に取ると、予め視聴者に対して例えば図７に示す如くのメニューを提示することにより選択可能とする。当該メニュー内容はコンテンツ選択時にサーバ・コンピュータＳからクライアント・コンピュータＣに送信されるものとする。
【００５６】
図７の場合、メニュー上の番号が上記領域分割情報番号に相当する。この例では、領域分割情報１を選択した場合、画面中のＡチームの選手が映っている領域について特に高画質で表示する態様が設定され、他方領域分割情報２が選択された場合にはＢチームの選手が映っている領域について特に高画質で表示する態様が設定される。
【００５７】
配信に使用される領域テーブル１６として、上記第１実施例の場合に比して、更に他のパラメタが追加される。ここでは、当該追加パラメタをＴ＿Ａ（ｄｉｖｎｏ，ｐｎｏ） とし、あるフレームについて、図５に対応して、例えば以下の表４の如くに構成するものとする。ここで上記ｄｉｖｎｏは領域分割情報番号を示す。
【００５８】
【表４】
【００５９】
領域分割１（ｄｉｖｎｏ＝１）の場合
領域Ａ１：１
Ａ１以外の領域：２
領域分割２（ｄｉｖｎｏ＝２）の場合
領域Ａ２：１
Ａ２以外：２
またレートテーブル１７についても、パラメタとして上記領域分割情報番号ｄｉｖｎｏを追加してＴ＿Ｒ（ｄｉｖｎｏ，ｆｒａｍｅｎｏ，Ｒ＿ｅｆｆｅｃｔｉｖｅ）とし、同じく図５に対応して例えば以下の表５の如くに構成する。
【００６０】
ここで、Ｒ＿ｅｆｆｅｃｔｉｖｅは、ベースレイヤのストリームのビットレートである６４ｋｂｐｓを、検出された実効許容伝送レートから差し引いたものとする。
【００６１】
【表５】
【００６２】
以下、図８と共に、上記本発明の第２実施例による画像伝送方式の処理手順について説明する。尚、第２実施例同様、同図ではエンハンスメントレイヤ・ストリームの送信手順について示しているが、ベースレイヤについては全てパケットについてベースレイヤ・ストリームが配信されるものとする。
【００６３】
即ち、先ず配信すべき動画像の最初のフレームについて（ステップＳ１），視聴者の選択による領域分割情報を受信する（ステップＳ１１）。そして、ステップＳ２にて当該フレームに関する「領域リスト」を作成する。この領域リストは以下の通りに作成する。
【００６４】
即ち、まず、現在の検出実効許容ビットレートから、当該フレームに関する表５の如くのレートテーブル１７のうちの、上記ステップＳ１１にて得られた領域分割情報の番号（ｄｉｖｎｏ）の範囲について参照し、当該検出実効許容レートの範囲内でエンハンスメントレイヤ・ストリームが配信可能な領域を決定する。次に、当該フレームに関する表４の如くの領域テーブル１６のうちの、上記ステップＳ１１にて得られた領域分割情報の番号（ｄｉｖｎｏ）の範囲について参照し、上記の如くに決定され、たエンハンスメントレイヤ・ストリームが配信可能な領域Ｔ＿Ａを構成するパケット番号ｐｎｏを抽出し、当該抽出されたパケット番号のリストを「領域リストＡＬ」とする。
【００６５】
次に、当該フレームの最初のビデオパケットについて（ステップＳ３）、当該パケット番号が上記領域リストＡＬに含まれているか否かを判定する（ステップＳ４）。その結果含まれていなければ、当該パケットとして上記ダミーパケットを送信するか或いは何も送信しない（ステップＳ６）。ステップＳ４の結果、領域リストＡＬに含まれいれば（Ｙｅｓ）、当該パケットとして該当するエンハンスメントレイヤのデータを送信する（ステップＳ５）。
【００６６】
同様の処理を当該フレームを構成する全てのパケットについて繰り返し（ステップＳ４乃至Ｓ８のループ）、それが終了すると（ステップＳ７のＹｅｓ）、次のフレームの処理に移行し（ステップＳ９）、各フレーム毎に上記処理を繰り返す（ステップＳ２乃至Ｓ１０）。
【００６７】
これら各実施例等で実現される本発明によれば、最低ベースレイヤとエンハンスメントレイヤの２階層のみで多数の中間の送信ビットレートの選択が可能となる。即ち、表３の例では４段階の送信ビットレートの選択が可能であり、表５の例では各領域分割態様のついて３段階の送信ビットレートの選択が可能となる。そのため、エンコード処理負荷を削減しながら実効許容ビットレートに即して細かく配信ビットレートを調整可能である。従って、常に現状の実効許容レートに即した、より最良に近い画質での配信が可能となる。
【００６８】
又、１度のエンコードによって得られるパケットの組み合わせによって柔軟に配信ビットレートと特定の画像領域毎の画質との関係を制御可能であるため、再生画像に対するユーザの希望に即した態様での画像配信が可能となる。
【００６９】
尚、本発明の実施例に適用可能な上記の「階層符号化技術（スケーラビリティ）」としては、例えばＭＰＥＧ２に採用されたものとして、夫々公知の、▲１▼画面上の空間解像度に関する空間スケーラビリティ、▲２▼フレームレートに関する時間スケーラビリティ、▲３▼送信データを生成する際のデータ圧縮率に関するＳＮＲスケーラビリティ等がある。このうち、上記各実施例の説明は、▲３▼ＳＮＲスケーラビヒティ技術を主に想定した説明となっている。この場合のデータ圧縮率は、例えば画像圧縮の過程で行なわれる量子化処理における量子化ステップサイズの大小によって決定され得る。
【００７０】
本発明は以下の付記に記載の構成を含む。
【００７１】
（付記１）
所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成するデータ伝送装置であって、
当該所定の動画像データを複数の領域に分割する分割手段と、
所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤとベースレイヤとの両方のストリームを送信する送信レイヤ決定手段とよりなるデータ伝送装置。
【００７２】
（付記２）
所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成するデータ伝送装置であって、
当該所定の動画像データを複数の領域に分割する分割手段と、
エンハンスメントレイヤのストリームについて、所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤのストリームを送信し、他の領域についてはダミーデータを送信するか或いは配信を停止するエンハンスメントレイヤ決定手段とよりなるデータ伝送装置。
【００７３】
（付記３）
前記複数の領域の各領域は所定の優先順位を有し、前記送信レイヤ決定手段は前記所定の単位時間毎に上記優先順位に従ってベースレイヤとエンハンスメントレイヤとの両方のストリームを送信する領域を選択する構成の付記１又は２に記載のデータ伝送装置。
【００７４】
（付記４）
前記送信レイヤ決定手段は、予め前記複数の領域のうちから所定の順序で順次各領域を選択していった場合の夫々の場合のエンハンスメントレイヤのストリーム送信のための合計所要送信レートを算出しておき、前記複数の領域のうちから所定の順序で順次各領域を選択していった場合の夫々の場合のうち、前記所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で最大合計所要送信レートとなる場合の選択領域の各々についてエンハンスメントレイヤのストリームを送信する付記１乃至３のうちのいずれかに記載のデータ伝送装置。
【００７５】
（付記５）
前記分割手段は、所定の動画像データについて、選択可能に複数種類設けた領域分割態様の各々について複数の領域に分割する構成の付記１乃至４にうちのいずれかに記載のデータ伝送装置。
【００７６】
（付記６）
前記分割手段による分割領域の各々に対応させてエンハンスメントレイヤのストリームの連続送信可能な最低データ単位の各々を設定する構成の付記１乃至５のうちのいずれかに記載のデータ伝送装置。
【００７７】
（付記７）
所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成するためのデータ伝送方法であって、
当該所定の動画像データを複数の領域に分割する分割段階と、
所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤとベースレイヤとの両方のストリームを送信する送信レイヤ決定段階とよりなるデータ伝送方法。
【００７８】
（付記８）
所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成するためのデータ伝送方法であって、
当該所定の動画像データを複数の領域に分割する分割段階と、
エンハンスメントレイヤのストリームについて、所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤのストリームを送信し、他の領域についてはダミーデータを送信するか或いは配信を停止するエンハンスメントレイヤ決定段階とよりなるデータ伝送方法。
【００７９】
（付記９）
前記複数の領域の各領域は所定の優先順位を有し、前記送信レイヤ決定段階では前記所定の単位時間毎に上記優先順位に従ってベースレイヤとエンハンスメントレイヤとの両方のストリームを送信する領域を選択する構成の付記７又は８に記載のデータ伝送方法。
【００８０】
（付記１０）
前記送信レイヤ決定段階では、予め前記複数の領域のうちから所定の順序で順次各領域を選択していった場合の夫々の場合のエンハンスメントレイヤのストリーム送信のための合計所要送信レートを算出しておき、前記前記複数の領域のうちから所定の順序で順次各領域を選択していった場合の夫々の場合のうち、前記所定の単位時間毎に、前記所定の伝送路の実効許容送信レートの範囲内で最大合計所要送信レートとなる場合の選択領域の各々についてエンハンスメントレイヤのストリームを送信する付記７乃至９のうちのいずれかに記載のデータ伝送方法。
【００８１】
（付記１１）
前記分割段階では、所定の動画像データについて、選択可能に設けた複数種類の領域分割態様の各々について複数の領域に分割する構成の付記７乃至１０にうちのいずれかに記載のデータ伝送方法。
【００８２】
（付記１２）
前記分割段階での分割領域の各々に対応させてエンハンスメントレイヤのストリームの連続送信可能な最低データ単位の各々を設定する構成の付記７乃至１１のうちのいずれかに記載のデータ伝送方法。
【００８３】
（付記１３）
前記付記７乃至１２のうちのいずれかに記載のデータ伝送方法をコンピュータに実行させるためのソフトウェアプログラム。
【００８４】
【発明の効果】
本発明では、配信すべきコンテンツは予めベースレイヤトエンハンスメントレイヤの最低２層分のデータストリームを作成しておき、コンテンツ配信時の実効許容送信レートの範囲内でエンハンスメントレイヤのデータストリームを送信可能な最大限度の領域の組み合わせについてエンハンスメントレイヤのデータストリームをベースレイヤのデータストリームに加えて送信する。そのため、コンテンツ毎に準備すべき階層符号化方式による最低層数は２層であるにもかかわらず、配信時点の実効許容送信レートに応じて、エンハンスメントレイヤのストリームを送信する領域の選択によって様々な送信レートで当該コンテンツを配信可能である。したがって、配信時点の実効許容送信レートに応じ細かく対応して様々な態様の送信データの生成が可能である。もって、比較的簡易な構成にて、伝送路の状態に応じた配信内容の細かな動的適応が可能であり、且つ、階層符号化方式の適用によって伝送路の効率的利用が可能なデータ伝送方式を提供可能である。
【図面の簡単な説明】
【図１】従来の一例の動的帯域適応配信技術を説明するための図である。
【図２】本発明の第１実施例によるデータ伝送システムの概略ブロック図である。
【図３】本発明の第１実施例による領域分割とパケット割り当てについて説明するための図である。
【図４】本発明の第２実施例によるデータ伝送システムの概略ブロック図である。
【図５】本発明の第２実施例による領域分割とパケット割り当てについて説明するための図である。
【図６】本発明の第１実施例によるデータ伝送方法の概略動作フローチャートである。
【図７】本発明の第２実施例におけるクライアント・コンピュータに表示するメニュー画面の一例を説明するための図である。
【図８】本発明の第２実施例によるデータ伝送方法の概略動作フローチャートである。
【符号の説明】
３１ ビデオリソース
３３ エンハンスメントレイヤ・ストリーム格納部
３４ ベースレイヤ・ストリーム格納部
１１ ストリーム分解部
１２ 通常ストリーム（ベースレイヤ）送出部
１３ 通常ストリーム（エンハンスメントレイヤ）送出部
１４ ダミーストリーム送出部
１５ パケット選択スイッチ
１６ 領域テーブル格納部
１７ レートテーブル格納部
１８ パケット選択部
１９ 領域決定部
２０ 送信部
Claims (5)
- 所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとを利用して所定の伝送路を介して配信すべき動画像データコンテンツを生成するデータ伝送装置であって、
当該所定の動画像データを複数の領域に分割する分割手段と、
所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤとベースレイヤとの両方のストリームを送信する送信レイヤ決定手段とよりなるデータ伝送装置。 - 前記複数の領域の各領域は所定の優先順位を有し、前記送信レイヤ決定手段は前記所定の単位時間毎に上記優先順位に従ってベースレイヤとエンハンスメントレイヤとの両方のストリームを送信する領域を選択する構成の請求項１に記載のデータ伝送装置。
- 前記分割手段は、所定の動画像データについて、選択可能に複数種類設けた領域分割態様の各々について複数の領域に分割する構成の請求項１又は２に記載のデータ伝送装置。
- 所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとを利用して所定の伝送路を介して配信すべき動画像データコンテンツを生成するためのデータ伝送方法であって、
当該所定の動画像データを複数の領域に分割する分割段階と、
所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤとベースレイヤとの両方のストリームを送信する送信レイヤ決定段階とよりなるデータ伝送方法。 - 請求項４に記載のデータ伝送方法をコンピュータに実行させるためのソフトウェアプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002253145A JP4157740B2 (ja) | 2002-08-30 | 2002-08-30 | 画像伝送装置、画像伝送方法及びソフトウェアプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002253145A JP4157740B2 (ja) | 2002-08-30 | 2002-08-30 | 画像伝送装置、画像伝送方法及びソフトウェアプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004096309A true JP2004096309A (ja) | 2004-03-25 |
| JP4157740B2 JP4157740B2 (ja) | 2008-10-01 |
Family
ID=32059232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002253145A Expired - Fee Related JP4157740B2 (ja) | 2002-08-30 | 2002-08-30 | 画像伝送装置、画像伝送方法及びソフトウェアプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4157740B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007235934A (ja) * | 2006-03-02 | 2007-09-13 | Mitsubishi Electric Research Laboratories Inc | スケーラブルな画像トランスコーディング方法及び装置 |
| JP2007534248A (ja) * | 2004-04-20 | 2007-11-22 | フランス テレコム | 通信セッション管理システムおよび当該システムを備えたストリーミングハブ |
| JP2011109176A (ja) * | 2009-11-12 | 2011-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 映像多重化装置、映像多重化方法、及びプログラム |
| JP2011114724A (ja) * | 2009-11-27 | 2011-06-09 | Canon Inc | 表示制御装置及びその制御方法 |
| JP2011519495A (ja) * | 2008-03-12 | 2011-07-07 | トムソン ライセンシング | 無線ネットワークにおいて画像を送信するための方法および装置 |
| JP2011176497A (ja) * | 2010-02-23 | 2011-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像伝送システム、映像伝送方法及びプログラム |
| JP2011228785A (ja) * | 2010-04-15 | 2011-11-10 | Nippon Telegr & Teleph Corp <Ntt> | 形式変換装置、映像配信装置、多重化装置、形式変換方法、映像配信方法、及びプログラム |
| US8731069B2 (en) | 2005-08-25 | 2014-05-20 | Canon Kabushiki Kaisha | Remote display system and method |
| JP2016046778A (ja) * | 2014-08-26 | 2016-04-04 | 株式会社東芝 | 映像圧縮装置および映像再生装置 |
| JP2022532065A (ja) * | 2019-12-30 | 2022-07-13 | テンセント・アメリカ・エルエルシー | 符号化ビデオストリームにおけるレイヤ間のアライメントのための方法、コンピュータシステム、及びコンピュータプログラム |
-
2002
- 2002-08-30 JP JP2002253145A patent/JP4157740B2/ja not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007534248A (ja) * | 2004-04-20 | 2007-11-22 | フランス テレコム | 通信セッション管理システムおよび当該システムを備えたストリーミングハブ |
| US7860003B2 (en) | 2004-04-20 | 2010-12-28 | France Telecom | Communication session management system and a stream concentrator including such a system |
| US8731069B2 (en) | 2005-08-25 | 2014-05-20 | Canon Kabushiki Kaisha | Remote display system and method |
| JP2007235934A (ja) * | 2006-03-02 | 2007-09-13 | Mitsubishi Electric Research Laboratories Inc | スケーラブルな画像トランスコーディング方法及び装置 |
| US8824268B2 (en) | 2008-03-12 | 2014-09-02 | Thomson Licensing | Method and apparatus for transmitting an image in a wireless network |
| JP2011519495A (ja) * | 2008-03-12 | 2011-07-07 | トムソン ライセンシング | 無線ネットワークにおいて画像を送信するための方法および装置 |
| JP2011109176A (ja) * | 2009-11-12 | 2011-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 映像多重化装置、映像多重化方法、及びプログラム |
| JP2011114724A (ja) * | 2009-11-27 | 2011-06-09 | Canon Inc | 表示制御装置及びその制御方法 |
| JP2011176497A (ja) * | 2010-02-23 | 2011-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像伝送システム、映像伝送方法及びプログラム |
| JP2011228785A (ja) * | 2010-04-15 | 2011-11-10 | Nippon Telegr & Teleph Corp <Ntt> | 形式変換装置、映像配信装置、多重化装置、形式変換方法、映像配信方法、及びプログラム |
| JP2016046778A (ja) * | 2014-08-26 | 2016-04-04 | 株式会社東芝 | 映像圧縮装置および映像再生装置 |
| US10341660B2 (en) | 2014-08-26 | 2019-07-02 | Kabushiki Kaisha Toshiba | Video compression apparatus and video playback apparatus |
| JP2022532065A (ja) * | 2019-12-30 | 2022-07-13 | テンセント・アメリカ・エルエルシー | 符号化ビデオストリームにおけるレイヤ間のアライメントのための方法、コンピュータシステム、及びコンピュータプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4157740B2 (ja) | 2008-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9826197B2 (en) | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device | |
| US11412282B2 (en) | Edge optimized transrating system | |
| CA2594118C (en) | Distributed statistical multiplexing of multi-media | |
| US8238438B2 (en) | Image data transmitting apparatus and method and image data reproducing apparatus and method | |
| JP4508422B2 (ja) | 情報分散システムの可変ビットレ−ト情報を処理する方法および装置 | |
| US8510458B2 (en) | Method and device for sharing bandwidth of a communication network | |
| US20130304934A1 (en) | Methods and systems for controlling quality of a media session | |
| KR101014451B1 (ko) | 주문형 비디오 서버 시스템 및 방법 | |
| US8885703B2 (en) | Channel adaptive video transmission system for use with layered video coding and methods for use therewith | |
| CN101321275B (zh) | 视频流的处理系统和处理方法 | |
| JP2003525547A (ja) | スケーラブルビデオをストリーミングするための方法及び装置 | |
| US20090175358A1 (en) | Video processing system and transcoder for use with layered video coding and methods for use therewith | |
| WO2000072601A2 (en) | Method and system for transmitting media streams over a variable bandwidth network | |
| Siekkinen et al. | Optimized upload strategies for live scalable video transmission from mobile devices | |
| JP4157740B2 (ja) | 画像伝送装置、画像伝送方法及びソフトウェアプログラム | |
| JP2017520940A (ja) | 階層符号化されたコンテンツを多重化するための方法および装置 | |
| Dong et al. | Ultra-low latency, stable, and scalable video transmission for free-viewpoint video services | |
| CN105306970B (zh) | 一种流媒体直播发送速度的控制方法及装置 | |
| US8401086B1 (en) | System and method for increasing responsiveness to requests for streaming media | |
| JP3448047B2 (ja) | 送信装置及び受信装置 | |
| CN105393533B (zh) | 播放多个媒体内容的方法、装置和网络媒体系统 | |
| KR100606722B1 (ko) | 고배속 비디오 스트리밍 서비스 제공 방법 | |
| Appleby et al. | Video coding and delivery challenges for next generation IPTV | |
| JP2016192658A (ja) | 通信システム、通信装置、通信方法および通信制御方法 | |
| Murithi | IP multicast in digital television transmission infrastructure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050704 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080714 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |