JP2004260362A - ストリーム配信方法、ストリーム配信装置、送信端末及び受信端末 - Google Patents

Abstract

【課題】従来のストリーム配信方法では、様々な表示出力の能力を持つ受信端末に適合したストリームデータを配信するために、ストリーム配信装置で一旦復号して再度各受信端末の能力に適合したストリームデータへ変換して配信していた。また、階層符号化されたストリームデータを用いて、復号および再符号化を行わずに、受信端末の能力に適合するようにストリーム配信する方法が提案されているが、多地点テレビ会議などへの対応が困難だった。
【解決手段】一以上の送信端末から送信された階層符号化されたストリームデータを、同時に複数の受信端末へその表示能力に適合した階層レベルのストリームデータに限定して配信し、ストリーム配信装置の負荷を抑制しながら、各送信端末からのストリームデータを同時に受信端末へ表示出力できるようにした。さらに、送信端末からのストリームデータが階層符号化されてない場合へも対応できるようにし、様々な能力の端末へ柔軟に対応できるようにした。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ストリーム配信方法、ストリーム配信装置、送信端末及び受信端末に関し、特に、一以上の送信端末から送信された音声や動画像などのストリームデータを、同時に一以上の受信端末へ、該受信端末の表示能力に適合したストリームデータに変換して配信し表示出力するストリーム配信方法、ストリーム配信装置、送信端末及び受信端末に関する。
【０００２】
近年、インターネットを活用して音声や映像のストリームデータを配信して、放送や多地点テレビ会議などが行われるようになってきた。
インターネットの端末も様々なものが普及しており、このような放送や多地点会議などを利用する端末も多種多様で、利用者の端末の表示能力に適合したストリームデータを多数の端末へ効率よく配信する方法の実現が望まれている。
【０００３】
【従来の技術】
従来のストリーム配信方法では、送信端末から送信されてくるストリームデータを中継して配信するストリーム配信装置において、受信端末の表示出力の能力の度合いを示す解像度、ビットレート、フレームレートなどの端末能力情報を予め受信端末から通知してもらい、受信したストリームデータを復号して各受信端末の能力に合う形に再度符号化した後に、各受信端末へ配信していた。
【０００４】
図１７は、従来技術によるストリーム配信方法である。
送信端末１０ａ、１０ｂおよび受信端末２０ａ、２０ｂがネットワーク４０を介してストリーム配信装置３０と接続されている。
各送信端末にはストリームデータを送信するストリーム送信部が設けられ、図１７の実施例では、送信端末１０ａ、１０ｂにそれぞれ、ストリームデータを送信するストリーム送信部１１ａ、１１ｂが設けられる。
【０００５】
ストリーム配信装置３０には、接続される送信端末に対応してストリームデータを一時格納しておくバッファと復号部が設けられ、また、接続される受信端末に対応して合成部、符号化部、端末能力情報受信記憶部が設けられる。図１７の実施例では、送信端末１０ａに対応してバッファ３４ａ、復号部３１ａが、送信端末１０ｂに対応してバッファ３４ｂ、復号部３１ｂがそれぞれ設けられ、受信端末２０ａに対応して合成部３２ａ、符号化部３３ａ、端末能力情報受信記憶部３５ａが、受信端末２０ｂに対応して合成部３２ｂ、符号化部３３ｂ、端末能力情報受信記憶部３５ｂがそれぞれ設けられている。
【０００６】
受信端末には端末能力情報通知部、復号部、表示出力部が設けられ、図１７の実施例では、受信端末２０ａには端末能力情報通知部２１ａ、復号部２２ａ、表示出力部２３ａが、受信端末２０ｂには端末能力情報通知部２１ｂ、復号部２２ｂ、表示出力部２３ｂがそれぞれ設けられている。
図１７は、送信端末１０ａ、１０ｂから送信されてくるストリームデータＳａおよびＳｂが、ストリーム配信装置３０により、受信端末２０ａ、２０ｂへ配信される例を示している。
【０００７】
ストリーム配信装置３０は、予め受信端末２０ａ、２０ｂからその能力情報Ｎａ、Ｎｂを通知され、各受信端末に対応して設けられた端末能力情報受信記憶部３５ａ、３５ｂにそれぞれ記憶し保持する。
次に、送信端末１０ａ、１０ｂから送信されてきたストリームデータＳａ、Ｓｂは、バッファ３４ａ、３４ｂに一旦格納された後、復号部３１ａ、３１ｂによりストリームデータＤａ、Ｄｂに復号される。
【０００８】
受信端末２０ａに対応して設けられた合成ブロック３２ａは、復号されたストリーム列Ｄａ、Ｄｂを合成して、受信端末２０ａ向けのストリーム列Ｅａとした後、符号化部３３ａが端末能力情報受信記憶部３５ａを参照して、受信端末２０ａの表示出力の能力に適合した形の符号Ｔａに符号化して、受信端末２０ａへ配信する。
受信端末２０ｂへのストリームデータの配信についても同様で、受信端末２０ａに対応して設けられた合成ブロック３２ａは、復号されたストリーム列Ｄａ、Ｄｂを合成して、受信端末２０ｂ向けのストリーム列Ｅｂとした後、符号化部３３ｂが端末能力情報受信記憶部３５ｂを参照して、受信端末２０ｂの表示出力の能力に適合した形の符号Ｔｂに符号化して、受信端末２０ｂへ配信する。
【０００９】
図１７の構成では、送信端末数を２、受信端末数を２としているが、２以外の場合も同様であり、ストリーム配信装置３０は、各送信端末からのストリームデータを復号した後、配信する受信端末毎に全送信端末からの復号されたストリームデータを合成した後、該受信端末の端末能力に適合した形に符号化して、該受信端末へ配信する。
【００１０】
図１７に示す実施例では、送信端末と受信端末を別装置として表現しているが、多対地テレビ会議の場合のように、同一端末に送信端末および受信端末双方の機能を含めることもできる。その際は、合成部の処理の対象には、合成された後のストリームデータの配信先となる端末からのストリームデータは含めない。例えば、送信端末１０ａと受信端末２０ａが同一の端末として構成された場合は、合成部３２ａは、送信端末１０ａ以外の全ての送信端末からのストリームデータを合成の対象とする。
【００１１】
図１７に示す実施例では、多対地テレビ会議の場合を想定して送信端末を複数台としているが、ストリーム放送の場合は、送信端末を１台として構成することができる。このときは、ストリーム配信装置３０の機能を送信端末に組み込んでもよい。
上記の受信端末の表示出力の能力に適合したストリームデータの符号化方法の一つとして、階層符号化の方法がある。
【００１２】
図１６は、階層符号化の概要である。
階層符号化は、画像ストリームデータの場合を例にとると、一本の画像ストリームデータを、画質の異なる幾つかのストリームに分解して、画質の程度に応じてレベル付けした階層ストリーム列とするものである。
画像ストリームデータを、画像の解像度の高低に応じてレベル分けして階層ストリーム列を構成する場合を例にして説明する。
【００１３】
画像ストリームデータを階層符号化して送信する送信側処理では、まず符号化Ｅ１において、原ストリームデータを最も低い解像度で符号化し、その結果を階層レベル１の階層ストリームＵ１とする。次に、符号化Ｅ２において、原画像を中解像度で符号化した結果と、前記符号化Ｅ１で作成した低解像度のストリームデータとの差分のデータを符号化し、その結果を階層レベル２の階層ストリームＵ２とする。さらに、符号化Ｅ３において、原画像を高解像度で符号化した結果と、前記符号化Ｅ２で生成した中解像度のストリームデータとの差分のデータを符号化し、その結果を階層レベル３の階層ストリームＵ３とする。
【００１４】
上記で生成した階層ストリームＵ１、Ｕ２、Ｕ３から成る階層ストリーム列を、受信側へ送信する。
受信側処理では、まず低解像度の階層ストリームＵ１を復号Ｄ１で復号して、低解像度の復号データ１を得る。ここで、受信側の表示出力の能力が低解像度レベルの場合は、該復号データ１を表示出力して処理を終了する。
【００１５】
次に、復号Ｅ２において階層ストリームＵ２を復号した結果を、前記復号Ｄ１で復号した復号データ１に付加的に加算することにより、中解像度の復号データ２を得る。ここで、受信側の表示出力の能力が中解像度レベルの場合は、該復号データ２を表示出力して処理を終了する。
さらに、復号Ｅ３において階層ストリームＵ３を復号した結果を、前記復号Ｄ２で復号した復号データ２に付加的に加算することにより、高解像度の復号データ３を得、これを表示出力して処理を終了する。
【００１６】
上記のように、ストリームデータを階層ストリーム列に符号化することにより、受信端末は、該階層ストリーム列の中から受信端末の表示能力に応じた階層レベルまでの階層ストリームを用いて表示出力できるようになり、送信側は一つの階層ストリーム列を送信するだけで、様々な表示出力の能力を持つ受信端末に効率よく対応できるようになる。
【００１７】
上記の説明では、受信側にて受信した階層ストリーム列から、自分の端末に適合した階層ストリームを選択する方法を述べたが、送信側にて受信端末の表示能力を把握している場合は、該受信端末へはその表示能力に見合った解像度までの階層ストリームを選択して送信することもできる。
図１６の階層符号化の概要では、３階層の階層符号化の例を示したが、階層数はこれに限定されない。
【００１８】
上記図１７に示した従来技術のストリーム配信方法では、ストリーム配信装置において一旦受信したストリームデータを復号した後、受信端末の能力に適合した形に符号化しているが、これを一部改良したものとして、階層符号化の方法とＩＰマルチキャストを用いて、１台の送信端末から送信される階層符号化されたストリームデータを、複数の受信端末へ、受信端末の能力に適合した階層ストリーム列に調整して配信することにより、復号およぶ再符号化を行わずに効率よくストリームデータを配信する方法が公開されている（例えば特許文献１参照。）。
【００１９】
【特許文献１】
特開２００１−３５２５３３号公報（第３〜４頁、第１図）
【００２０】
【発明が解決しようとする課題】
従来のストリーム配信技術では、送信端末から送信されてきたストリームデータを一旦復号して、受信端末の能力に適合した形に再度符号化して該受信端末へ配信していた。また、ストリーム配信装置の負荷を抑制し受信端末の表示能力に適合したストリームデータを効率的に配信するために、階層符号化の技術を用ることにより、１台の送信端末から送出された階層符号化されたストリームデータを、復号および符号化の処理をおこなわずに、効率よく複数の受信端末の表示能力に適合した形で配信する方法が提案されている。
【００２１】
しかしながら、多地点テレビ会議などを行う際は、複数の送信端末からのストリームデータを複数の受信端末へ効率よく配信することが不可欠で、また、送信端末からは階層符号化されないストリームデータが送信されてくる場合もあり、従来の方法ではこれらに対応できない。
本発明は、ストリームデータの配信方法において、一以上の送信端末から送信される階層符号化された、または、階層符号化されていないストリームデータを、一以上の受信端末へ、各受信端末の表示能力に適合した階層符号化されたストリームデータとして、効率よく配信するストリーム配信方法を提供することを目的とする。
【００２２】
【課題を解決するための手段】
第一の発明では、ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、前記送信端末は前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解し、前記端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報として、前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信し、前記ストリーム配信装置は、前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、各送信端末からのストリームデータの表示出力領域を指定する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、前記受信端末は、前記端末コンポジット情報に従って前記端末階層ストリーム列を表示出力する、ように構成している。
【００２３】
第一の発明によれば、一以上の送信端末からの階層符号化されたストリームデータを、ストリーム配信装置は復号および再符号化の処理を行うことなく各受信端末へ配信し、各受信端末は全送信端末からの階層化されたストリームデータを該受信端末の能力に適合した品質レベルで同時に表示出力することができる。
第二の発明は、ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、前記ストリーム配信装置は、前記端末能力情報を基に、受信したストリームデータを階層符号化するための目標階層数および各階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を決定して階層化情報として保持し、前記受信したストリームデータを復号した後、前記階層化情報に基づいて階層符号化して階層ストリーム列とし、前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、前記端末階層ストリーム列を表示出力する受信端末内の表示出力領域を指示する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、前記受信端末は、前記端末コンポジット情報に従って、前記端末階層ストリーム列を表示出力する、ように構成している。
【００２４】
第二の発明によれば、一以上の送信端末からの階層符号化されていないストリームデータを、ストリーム配信装置が一旦復号した後、全受信端末の能力に適合した形の階層ストリーム列に符号化しておき、以後の処理は第一の発明と同様にして各受信端末の能力に適合した階層ストリームのみを選択して配信することができ、受信端末向け毎の符号化が不要となる。また、第一の発明と組み合わせることにより、階層符号化に対応していない送信端末を含めた多様な能力の端末へも対応可能となり、より柔軟なストリーム配信システムを構築できるようになる。
【００２５】
【発明の実施の形態】
図１は、本発明のストリーム配信方法（１）で、本発明の第一の実施形態を示している。
一以上の送信端末および一以上の受信端末がネットワーク４０を介してストリーム配信装置７０に接続され、送信端末から送信されたストリームデータが、ストリーム配信装置７０を経由して一以上の受信端末へ配信される。
【００２６】
図１の実施例では、送信端末５０ａ、５０ｂ、および、受信端末６０ａ、６０ｂの構成とし例示しているが、送信端末および受信端末とも一以上の任意の台数で構成することができる。
送信端末５０ａは、受信端末で表示出力すべきストリームデータを、階層ストリーム生成送信部５１ａで階層符号化して階層ストリーム列Ｕａを生成すると同時に、階層化情報通知部５２ａにて、該階層ストリーム列Ｕａに含まれる階層ストリームの属性情報を含む階層化情報Ｘａを生成した後、階層化情報Ｘａおよび階層ストリーム列Ｕａをストリーム配信装置７０へ送信する。
【００２７】
送信端末５０ｂについても、送信端末５０ａと同様に、ストリームデータを階層ストリーム生成送信部５１ｂで階層符号化して階層ストリーム列Ｕｂを生成すると同時に、階層化情報通知部５２ｂにて、該階層ストリーム列Ｕｂに含まれる階層ストリームの属性情報を含む階層化情報Ｘｂを生成した後、階層化情報Ｘｂおよび階層ストリーム列Ｕｂをストリーム配信装置７０へ送信する。
【００２８】
送信端末が３台以上設けられる場合も同様である。
ストリーム配信装置７０には、各送信端末に対応して階層化情報受信記憶部、バッファおよび出力抑制区間検出記憶部が設けられ、各受信端末に対応して端末能力情報受信記憶部、配信選択情報受信記憶部、コンポジット情報生成記憶部および階層選択部が設けられる。
【００２９】
図１に示す実施例では、送信端末５０ａに対応して階層化情報受信記憶部７１ａ、バッファ７７ａ、出力抑制区間検出記憶部７６ａが設けられ、受信端末６０ａに対応して端末能力情報受信記憶部７５ａ、配信選択情報受信記憶部７４ａ、コンポジット情報生成記憶部７２ａ、階層選択部７３ａが設けられる。
同様に、送信端末５０ｂに対応して階層化情報受信記憶部７１ｂ、バッファ７７ｂ、出力抑制区間検出記憶部７６ｂが設けられ、受信端末６０ｂに対応して端末能力情報受信記憶部７５ｂ、配信選択情報受信記憶部７４ｂ、コンポジット情報生成記憶部７２ｂ、階層選択部７３ｂが設けられる。
【００３０】
送信端末および受信端末が３台以上設けられる場合も同様である。
ストリーム配信装置７０は、送信端末５０ａからの階層ストリーム列Ｕａを受信すると、一旦バッファ７７ａに格納したのち、出力抑制区間検出記憶部７６ａが階層ストリーム列Ｕａから表示出力を抑制できる時間帯を意味する出力抑制区間を検出して記憶する。
【００３１】
送信端末５０ｂからの階層ストリーム列Ｕｂを受信した場合も同様で、一旦バッファ７７ｂに格納したのち、出力抑制区間検出記憶部７６ａが階層ストリーム列Ｕｂから出力抑制区間を検出して記憶する。
一方、送信端末５０ａから送信されてきた階層化情報Ｘａは、階層化情報受信記憶部７１ａにより記憶される。送信端末５０ｂから送信されてきた階層化情報Ｘｂについても同様で、階層化情報受信記憶部７１ｂにより記憶される。
【００３２】
端末能力情報受信記憶部７５ａは、予め受信端末６０ａから通知される受信端末６０ａの表示出力の能力を示す端末能力情報Ｎａを受信して記憶し、配信選択情報受信記憶部７４ａは予め受信端末６０ａから通知される受信端末６０ａの配信選択情報Ｚａを受信して記憶する。この配信選択情報Ｚａは、前記端末能力情報Ｎａで示されている受信端末６０ａの表示出力の能力では、全送信端末からのストリームデータを同時には表示出力できないときに使用されるもので、受信端末６０ａへ配信するストリームデータを選択して限定するために用いる。
【００３３】
端末能力情報受信記憶部７５ｂおよび配信選択情報受信記憶部７４ｂについても同様で、予め受信端末６０ｂからそれぞれ端末能力情報Ｎａおよび配信選択情報Ｚａを受信して記憶しておく。
コンポジット情報生成記憶部７２ａは、階層化情報受信記憶部に記憶されている各送信端末の階層化情報、および、端末能力情報記憶部７５ａに記憶されている受信端末６０ａの能力情報を参照して、受信端末６０ａが全送信端末からの階層ストリーム列を同時に表示出力するために許容できる、全送信端末に共通な端末許容階層レベル値を選定する。そして、各送信端末から配信されたストリームデータを受信端末６０ａが表示出力するために必要な、各送信端末別のコンポジット情報を生成し、前記選定した端末許容階層レベル値および全送信端末についてのコンポジット情報を集めたものをコンポジット情報Ｃａとし、コンポジット情報生成記憶部７２ａに保持する。この各送信端末別のコンポジット情報には、送信端末識別情報、ストリームデータを画面表示する際の画面表示開始位置、および、表示出力を抑制してよいか否かを示す出力抑制区間情報が含まれている。
【００３４】
上記の端末許容階層レベル値が選択できなかった場合、つまり、最低位階層の階層ストリームに限定しても、受信端末６０ａの端末能力では、全送信端末からのストリームデータを同時には表示出力できない場合は、前記配信選択情報受信記憶部７４ａに保持されている配信選択情報Ｚａに従って、ストリームデータの配信処理の対象となる送信端末を限定し、その限定して選択された送信端末について、上記のコンポジット情報を生成して集めたものをコンポジット情報Ｃａとして、コンポジット情報生成記憶部７２ａに保持する。
【００３５】
図１に示す実施例では、コンポジット情報生成記憶部７２ａは、階層化情報受信記憶部７１ａ、７１ｂに記憶されている階層化情報と、端末能力情報記憶部７５ａに記憶されている受信端末６０ａの端末能力情報を参照し、受信端末６０ａが送信端末５０ａ、５０ｂからのストリームデータを同時に表示出力するために許容される端末許容階層レベル値を選定すると同時に、送信端末５０ａ、５０ｂについてのコンポジット情報を集めてコンポジット情報Ｃａとして保持する。
【００３６】
次に、階層選択部７３ａは、前記コンポジット情報Ｃａに登録されている送信端末について、各送信端末からの階層ストリーム列の中の最低位の階層から前記端末許容階層レベル値が示す階層までの階層ストリームを選択し、各送信端末についての選択された階層ストリームから成る階層ストリーム列Ｔａを受信端末６０ａへ送信する。同時に、前記コンポジット情報Ｃａの中から、受信端末６０ａが各送信端末からのストリームデータを画面に配置するための情報である画面表示開始位置を抽出して端末コンポジット情報Ｔａとし、受信端末６０ａへ送信する。
【００３７】
コンポジット情報生成記憶部７２ｂおよび階層選択部７３ｂについても同様で、コンポジット情報生成記憶部７２ｂは、各送信端末に対応する階層化情報受信記憶部に記憶されている各送信端末の階層化情報、および、端末能力情報記憶部７５ｂに記憶されている受信端末６０ｂの能力情報を参照して、受信端末６０ｂが全送信端末からのストリームデータを同時に表示出力するために許容できる、全送信端末に共通な端末許容階層レベル値を選定する。そして、各送信端末から配信されたストリームデータを受信端末６０ｂの表示出力するために必要な、各送信端末別のコンポジット情報を生成し、前記選定された端末許容階層レベル値と全送信端末についてのコンポジット情報を集めてコンポジット情報Ｃｂとし、コンポジット情報生成記憶部７２ｂに保持する。
【００３８】
上記の端末許容階層レベル値が選定できなかった場合、つまり、最低位階層の階層ストリームに限定しても、受信端末６０ｂの端末能力では、全送信端末からのストリームデータを同時には表示出力できない場合は、前記配信選択情報受信記憶部７４ｂに保持されている配信選択情報Ｚｂに従って、ストリームデータの配信処理の対象となる送信端末を限定し、その限定して選択された送信端末について、上記のコンポジット情報を生成して集めたものをコンポジット情報Ｃｂとして、コンポジット情報生成記憶部７２ｂに保持する。この場合は、端末許容階層レベル値を最低位の階層レベルに設定しておく。
【００３９】
図１に示す実施例では、コンポジット情報生成記憶部７２ｂは、階層化情報受信記憶部７１ａ、７１ｂに記憶されている階層化情報と、端末能力情報記憶部７５ｂに記憶されている受信端末６０ｂの端末能力情報を参照し、受信端末６０ｂが送信端末５０ａ、５０ｂからのストリームデータを同時に表示出力するために許容される端末許容階層レベル値を選定し、送信端末５０ａ、５０ｂのコンポジット情報を生成して集めてコンポジット情報Ｃｂとして保持する。
【００４０】
次に、階層選択部７３ｂは、前記コンポジット情報Ｃｂに登録されている送信端末について、各送信端末からの階層ストリーム列の中の最低位の階層から前記端末許容階層レベル値が示す階層までの階層ストリームを選択し、各送信端末についての選択された階層ストリームから成る階層ストリーム列Ｔｂを受信端末６０ｂへ送信する。同時に、前記コンポジット情報Ｃｂの中から、受信端末６０ｂが各送信端末からのストリームデータを画面に配置するための情報である画面表示開始位置を抽出して端末コンポジット情報Ｔｂとし、受信端末６０ｂへ送信する。
【００４１】
上記は送信端末数２、受信端末数２として説明したが、３以上の数の場合も同様である。
受信端末６０ａは、端末能力情報通知部６１ａが自端末の表示出力の能力を示す端末能力情報Ｎａを予めストリーム配信装置７０へ送信しておく。また、配信選択情報通知部６５ａは、最低位の階層ストリームだけ受信しても自端末の端末能力では全ての送信端末からのストリームデータを同時に表示できないときに、表示出力すべき送信端末を選択するための配信選択情報Ｚａを、予めストリーム配信装置７０へ送信しておく。
【００４２】
受信端末６０ａは、ストリーム配信装置７０から送信されてきた端末コンポジット情報Ｖａを端末コンポジット情報受信記憶部６２ａに保持する。ここで、端末コンポジット情報Ｖａには、各送信端末の識別情報と、該送信端末からのストリームデータを表示出力する画面上の領域を識別する画面表示開始位置との対が含まれており、受信したストリームデータに含まれている送信端末を識別する情報をキーに検索することにより、該ストリームデータを表示出力すべき画面上の領域が特定できる。
【００４３】
一方、ストリーム配信装置７０で選択されて送信されてきた階層ストリーム列Ｔａについては、復号部６３ａで復号された後、表示出力部６４ａが、端末コンポジット情報受信記憶部６２ａに記憶されている端末コンポジット情報Ｖａに従って表示出力する。
受信端末６０ｂについても同様で、端末能力情報通知６１ｂは端末能力情報Ｎｂを予めストリーム配信装置７０へ送信し、配信選択情報通知部６５ｂは配信選択情報Ｚｂを予めストリーム配信装置７０へ送信しておき、ストリーム配信装置７０から送信されてきた端末コンポジット情報Ｖｂを端末コンポジット情報受信記憶部６２ｂに保持する。一方、ストリーム配信装置７０で選択されて送信されてきた階層ストリーム列Ｔｂについては、復号部６３ｂで復号された後、表示出力部６４ｂが、端末コンポジット情報受信記憶部６２ｂに記憶されている端末コンポジット情報Ｖｂに従って表示出力する。
【００４４】
受信端末数が３以上の場合も、同様である。
図１の実施例では、送信端末と受信端末を別装置として表現しているが、多対地テレビ会議の場合のように、同一端末に送信端末および受信端末双方の機能を含めることもできる。その際は、ストリーム配信装置７０のストリーム配信処理の対象には、ストリームデータの配信先となる端末からのストリームデータは含めない。例えば、送信端末５０ａと受信端末６０ａが同一の端末として構成された場合は、コンポジット情報生成記憶部７２ａおよび階層選択部７３ａは、送信端末１０ａ以外の全ての送信端末からのストリームデータについて上記のストリーム配信の処理を行う。
【００４５】
図１に示す実施例では、多対地テレビ会議の場合を想定して送信端末を複数台としているが、ストリーム放送などのように、送信端末数を１とすることもでき、この場合は、ストリーム配信装置７０の機能を送信端末に組み込んで一体化した構成にすることもできる。
また、コンポジット情報生成記憶部に保持されるコンポジット情報、端末能力情報受信記憶部に記憶される端末能力情報、配信選択情報受信記憶部に記憶される配信選択情報は、受信端末毎に記憶領域を設けずに全受信端末についての情報を一括して記憶してもよい。
【００４６】
同様に、階層化情報受信記憶部に記憶される送信端末毎の階層化情報、出力抑制区間検出記憶部に記憶される出力抑制区間情報は、全送信端末について一括して記憶してもよい。
図２は、本発明のストリーム配信方法による転送シーケンス（１）であり、図１の実施例の構成に従って、処理ステップ毎に説明する。
【００４７】
Ｓ０１． 受信端末６０ａは、予め端末能力情報Ｎａおよび配信選択情報Ｚａを、ストリーム配信装置７０へ送信しておく。
ここで、端末能力情報Ｎａは、受信端末６０ａの表示出力の能力を示す情報で、例えば後述する図３に示す本発明の端末能力情報の構成では、最大解像度、最大ビットレートおよび最大フレームレートからなる。
【００４８】
配信選択情報Ｚａは、前記端末能力情報Ｎａに示される表示出力の能力では、全ての送信端末からのストリームデータを同時に受信端末６０ａに表示出力することができないとストリーム配信装置７０が判定したときに、受信端末６０ａに配信するストリームデータを選択して限定する際に使用する情報である。例えば、後述する図８に示す配信選択情報の構成では、各送信端末からのストリームデータの表示出力可否の情報、あるいは、各送信端末からのストリームデータを表示出力する優先順位を表す表示出力優先度の情報、として構成することができる。
【００４９】
端末能力情報Ｎａ、配信選択情報Ｚａについては、後述する図３の本発明の端末能力情報の構成および図８の本発明の配信選択情報の構成を参照。
Ｓ０２． ストリーム配信装置７０は、受信端末６０ａから受信した端末能力情報Ｎａおよび配信選択情報Ｚａを、それぞれ、端末能力受信記憶部７５ａおよび配信選択情報受信記憶部７４ａに記憶する。
【００５０】
Ｓ０３． 上記ステップＳ０１と同様に、受信端末６０ｂは、予め端末能力情報Ｎｂおよび配信選択情報Ｚｂを、ストリーム配信装置７０へ送信しておく。
Ｓ０４． 上記ステップＳ０２と同様に、ストリーム配信装置７０は、受信端末６０ａから受信した端末能力情報Ｎａおよび配信選択情報Ｚａを、それぞれ、端末能力受信記憶部７５ａおよび配信選択情報受信記憶部７４ａに記憶する。
【００５１】
上記ステップＳ０１〜Ｓ０４の説明では、受信端末６０ａについての処理の後に受信端末６０ｂの処理を記述した。ステップＳ０１〜Ｓ０２とステップＳ０３〜Ｓ０４の処理順序は、受信端末の送信タイミングＴ０１により逆になる場合もあるが、処理内容は同様である。
Ｓ０５． 送信端末５０ａは、階層ストリーム列Ｕａ内の各階層ストリームを受信端末に表示出力するために必要な表示出力の所要能力値を含んでいる階層化情報Ｘａ、および、階層ストリーム列Ｕａを、ストリーム配信装置７０へ送信する。
【００５２】
階層化情報Ｘａの実施例については、後述する図４の本発明の階層化情報の構成を参照。
Ｓ０６． ストリーム配信装置７０は、受信した階層化情報Ｘａを階層化情報受信記憶部７１ａに記憶する。
また、受信した階層ストリーム列Ｕａをバッファ７７ａに格納すると同時に、受信端末への表示出力を抑制できる出力抑制区間を検出し、その結果を出力抑制区間検出記憶部７６ａに記憶しておく。
【００５３】
Ｓ０７． 上記ステップＳ０５と同様に、送信端末５０ｂは、階層ストリーム列Ｕｂの各階層ストリームを受信端末に表示出力するために必要な表示出力の所要能力値を含んでいる階層化情報Ｘｂ、および、階層ストリーム列Ｕｂをストリーム配信装置７０へ送信する。
Ｓ０８． 上記ステップＳ０６と同様に、ストリーム配信装置７０は、受信した階層化情報Ｘｂを階層化情報受信記憶部７１ｂに記憶する。
【００５４】
また、受信した階層ストリーム列Ｕｂをバッファ７７ｂに格納すると同時に、受信端末への表示出力を抑制できる出力抑制区間を検出し、その結果を出力抑制区間検出記憶部７６ａに記憶する。
上記ステップＳ０５〜Ｓ０８の説明では、送信端末５０ａについての処理の後に送信端末５０ｂの処理を記述した。ステップＳ０５〜Ｓ０６とステップＳ０７〜Ｓ０８の処理順序は、送信端末の送信タイミングＴ０２により逆になる場合もあるが、処理内容は同様である。
【００５５】
Ｓ０９． ストリーム配信装置７０は、上記ステップＳ０１で記憶されている受信端末６０ａの端末能力情報Ｎａと配信選択情報Ｚａ、ステップＳ０６およびＳ０８で記憶されている階層化情報Ｘａ、Ｘｂ、および、出力抑制区間検出記憶部に記憶されている出力抑制区間情報Ｐａ、Ｐｂから、受信端末６０ａに対応するコンポジット情報Ｃａを生成して、コンポジット情報生成記憶部７２ａに記憶する。コンポジット情報Ｃａの詳細については後述する図５の本発明のコンポジット情報の構成を、また、コンポジット情報生成記憶部７２ａの詳細については、後述する図９の本発明のコンポジット情報生成記憶部の動作フローチャートを参照。
【００５６】
ここで、受信端末６０ａの端末能力では、最下位の階層ストリームに限定しても、全送信端末からのストリームデータを同時には表示出力できないと判定された場合は、配信選択情報Ｚａにより配信対象外に選定された送信端末に関するコンポジット情報は、コンポジット情報Ｃａに登録されない。
Ｓ１０． ステップＳ０９で生成したコンポジット情報Ｃａから、受信端末６０ａが各送信端末からのストリームデータを表示出力する際の画面配置情報を抽出し、端末コンポジット情報Ｖａとして受信端末６０ａへ送信する。
【００５７】
端末コンポジット情報Ｖａの詳細については、後述する図６の本発明の端末コンポジット情報の構成を参照。
また、コンポジット情報Ｃａに登録されている送信端末からの階層ストリーム列の中から、コンポジット情報Ｃａに設定されている受信端末６０ａの端末許容階層レベル値Ｌａに相当する階層レベルまでの階層ストリームを選択して階層ストリーム列Ｔａとし、受信端末６０ａへ送信する。
【００５８】
従って、上記ステップＳ０９の処理で配信選択情報受信記憶部７４ａに保持されている配信選択情報Ｚａが有効となって配信対象からはずされている送信端末については、コンポジット情報Ｃａに登録されていないため、該送信端末からの階層ストリーム列は、受信端末６０ａへ配信されない。
図２に示す実施例では、送信端末５０ａ、５０ｂは配信対象からはずされていない前提で記述しており、送信端末５０ａ用のバッファ７７ａに格納されている階層ストリーム列Ｕａ、および、送信端末５０ｂ用のバッファ７７ｂに格納されている階層ストリーム列Ｕｂから、コンポジット情報Ｃａに設定されている受信端末６０ａの端末許容階層レベル値Ｌａに相当する階層レベルまでの階層ストリームを選択して階層ストリーム列Ｔａとし、受信端末６０ａへ送信する。
【００５９】
上記は、送信端末数が２の場合について述べたが、送信端末数が２以外の場合も同様で、全送信端末からの端末許容階層レベル値Ｌａ以下の階層ストリームの列が、階層ストリーム列Ｔａとして受信端末６０ａへ送信される。
Ｓ１１． 受信端末６０ａは、ストリーム配信装置７０より送信されてきた階層ストリーム列Ｔａを復号した後、同じくストリーム配信装置７０から通知された端末コンポジット情報Ｖａに含まれている情報に従って、各送信端末からのストリームデータを同時に表示出力する。
【００６０】
端末コンポジット情報Ｖａには、各送信端末毎の送信端末識別情報と画面表示開始位置が含まれており、受信端末６０ａは、この端末コンポジット情報Ｖａを基に、各送信端末からのストリームデータを同時に表示出力することができる。
受信端末６０ａへの表示出力については、後述する図７の本発明の受信端末の表示出力例を参照。
【００６１】
Ｓ１２． 上記ステップＳ０９と同様に、ストリーム配信装置７０は、上記ステップＳ０１で記憶されている受信端末６０ｂの端末能力情報Ｎｂと配信選択情報Ｚｂ、ステップＳ０６およびＳ０８で記憶されている送信端末５０ａ、５０ｂの階層化情報Ｘａ、Ｘｂ、および、出力抑制区間検出記憶部７６ａ、７６ｂに記憶されている出力抑制区間情報Ｐａ、Ｐｂ１から、受信端末６０ｂに対応するコンポジット情報Ｃｂを生成して、コンポジット情報生成記憶部７２ｂに記憶する。
【００６２】
Ｓ１３． 上記ステップＳ１２で生成したコンポジット情報Ｃｂから、上記ステップＳ１０と同様に、受信端末６０ｂが各送信端末からのストリームデータを表示出力する領域を指示する端末コンポジット情報Ｖｂを抽出して受信端末６０ｂへ送信する。 一方、送信端末５０ａ用のバッファ７４ａに格納されている階層ストリーム列Ｕａ、および、送信端末５０ｂ用のバッファ７４ｂに格納されている階層ストリーム列Ｕｂから、コンポジット情報Ｃｂに含まれている受信端末６０ｂの端末許容階層レベル値Ｌｂに相当する階層レベルまでの階層ストリームを抽出し、抽出した階層ストリーム列Ｔｂを受信端末６０ｂへ送信する。
【００６３】
Ｓ１４． 受信端末６０ｂは、ストリーム配信装置７０より送信されてきた階層ストリーム列Ｔｂを復号した後、同じくストリーム配信装置７０から通知された端末コンポジット情報Ｖｂに含まれている情報に従って、各送信端末からのストリームデータを同時に表示出力する。
上記ステップＳ０９〜Ｓ１４の説明では、受信端末６０ａについての処理の後に受信端末６０ｂの処理を記述した。ステップＳ０９〜Ｓ１１とステップＳ１２〜Ｓ１４の処理順序は、ストリーム配信装置の送信タイミングＧ０３により逆になる場合もあるが、処理内容は同様である。
【００６４】
Ｓ１５．上記ステップＳ０５〜Ｓ１４の処理ステップを繰り返す。
ステップＳ０５〜Ｓ１４の繰り返しの方法としては、全送信端末から送信されてくるストリームデータを一旦バッファに格納しておき、ストリーム配信装置において、全送信端末から受信されるストリームデータを欠損させない程度の充分短い周期で上記ステップＳ０６〜Ｓ１１の処理を起動するようにして実現できる。
【００６５】
上記の説明では、送信端末数を２、受信端末数を２として説明したが、２以外の数の場合も同様である。
図３は、本発明の端末能力情報の構成である。
受信端末６０ａについての端末能力情報Ｎａを示しており、最大合計解像度Ｎａ（ＭＷＨ）は、端末の画面に表示できる画像の情報量を表すもので、端末の画面に表示できる画素数である。最大合計ビットレートＮａ（ＭＦＲ）は、端末が１秒間に受信可能なビット数である。最大合計フレームレートＮａ（ＭＦＲ）は、端末の画面表示において１秒間に何回画面を書き換えることができるかを表す指標である。
【００６６】
ここでは、上記３種類の端末能力情報による実施例を基に説明するが、端末能力情報の種類は、これに限定されるものではない。また、図３の実施例は、受信端末６０ａについて記載しているが、受信端末６０ａ以外の受信端末についても同様である。
図４は、本発明の階層化情報の構成である。
【００６７】
送信端末５０ａに対応した階層化情報Ｘａを示しており、階層符号化されたストリームデータである階層ストリーム列内の、各階層レベルに対応した階層ストリームを端末へ表示出力する際に必要な端末の所要能力値を含んでいる。階層化情報に含まれる所要能力値の種類は、上記図３に示した端末能力情報の種類に対応するように構成される。
【００６８】
最低位階層レベルとなる階層レベル１の階層化情報Ｘａ（１）は、階層レベル１に対応する階層ストリームを識別するためのストリーム識別情報Ｘａ（１，Ｓ）、所要解像度Ｘａ（１，ＷＨ）、所要ビットレートＸａ（１，ＢＲ）および所要フレームレートＸａ（１，ＦＲ）で構成されている。他の階層レベルについても同様で、例えば階層レベルｎの階層化情報Ｘａ（ｎ）は、階層レベルｎに対応する階層ストリームを識別するためのストリーム識別情報Ｘａ（ｎ，Ｓ）、所要解像度Ｘａ（ｎ，ＷＨ）、所要ビットレートＸａ（ｎ，ＢＲ）および所要フレームレートＸａ（ｎ，ＦＲ）で構成される。
【００６９】
図４の実施例では、送信端末５０ａについて記載しているが、送信端末５０ａ以外の送信端末についても同様である。
図５は、本発明のコンポジット情報の構成である。
本コンポジット情報は、ストリーム配信装置７０に接続されている各受信端末に対応して設けられるコンポジット情報生成記憶部で生成され保持される。
【００７０】
図５の実施例は、受信端末６０ａに対応したコンポジット情報Ｃａを示している。
端末許容階層レベルＬａは、受信端末６０ａが保有する表示出力の能力でストリーム配信装置７０に接続されている全送信端末からのストリームデータを同時に表示出力するために、各送信端末から送信されてくる階層ストリーム列の中から選択すべき階層レベルの値を示すもので、全送信端末に共通の階層レベル値となる。
【００７１】
つまり、各送信端末から送信されてきる階層ストリーム列の中から、最低位階層レベルから端末許容階層レベル値Ｌａが示す階層までの間の階層ストリームを選択して、受信端末６０ａへ送信するもので、受信端末６０ａは、ここで選択された階層ストリーム列を表示出力することにより、受信端末６０ａの表示出力の能力内で、全送信端末からのストリームデータを同時に表示出力できるようになる。
【００７２】
コンポジット情報Ｃａ（５０ａ）は、送信端末５０ａから送信されてきたストリームデータを受信端末６０ａに表示出力する必要な情報をまとめたコンポジット情報で、送信端末識別情報Ｃａ（５０ａ，ＩＤ）、画面表示開始位置Ｃａ（５０ａ，ＤＰ）および出力抑制区間情報Ｃａ（５０ａ，Ｐ）を含んでいる。
送信端末識別情報Ｃａ（５０ａ，ＩＤ）は送信端末５０ａの識別情報である。画面表示開始位置Ｃａ（５０ａ，ＤＰ）は、送信端末５０ａからのストリームデータを表示出力する受信端末６０ａの画面上の表示開始位置を示す情報である。出力抑制区間情報Ｃａ（５０ａ，Ｐ）は、該送信端末から送信されてきたストリームデータを一時的に配信停止しても、受信端末への表示出力への影響が小さい場合に、該ストリームデータの配信を一時中断するための情報である。例えば、音声情報が途絶えていることを示す無音区間、および、画像の動きが止まっていることを示す無動作区間があり、無音区間の場合は音声ストリームデータを、無動作区間の場合は、動画ストリームデータの配信を抑制する。
【００７３】
送信端末５０ａ以外の他の送信端末から送信されてくるストリームデータを受信端末６０ａへ表示出力するために必要となるコンポジット情報についても同様で、例えば、送信端末５０ｚに対応するコンポジット情報Ｃａ（５０ｚ）では、送信端末識別情報Ｃａ（５０ｚ，ＩＤ）は受信端末６０ａに表示出力する対象となる送信端末の識別情報であり、画面表示開始位置Ｃａ（５０ｚ，ＤＰ）は、送信端末５０ｚからのストリームデータを表示出力する受信端末６０ａの画面上の表示開始位置を示す情報であり、出力抑制区間情報Ｃａ（５０ｚ，Ｐ）は、送信端末５０ｚから送信されてきたストリームデータを一時的に配信停止しても、受信端末への表示出力への影響が小さい場合に、該ストリームデータの配信を一時中断するための情報である。
【００７４】
コンポジット情報Ｃａは送信端末毎のコンポジット情報が集まって構成されているが、本コンポジット情報Ｃａに登録されている送信端末のみが受信端末６０ａへのストリームデータ配信の対象となる。
受信端末６０ａの端末能力情報Ｎａに示されている表示出力能力では、全送信端末からのストリームデータを同時には表示出力できないと判断された場合は、配信選択情報Ｚａの内容に従って、コンポジット情報Ｃａに登録される送信端末を限定することになり、配信選択情報Ｚａの条件からはずれた送信端末のコンポジット情報はコンポジット情報Ｃａには含まれない。
【００７５】
図５の実施例は、受信端末６０ａについて記載しているが、受信端末６０ａ以外の受信端末についても同様である。
図６は、本発明の端末コンポジット情報の構成である。
端末コンポジット情報は、コンポジット情報生成記憶部により、図５に示した本発明のコンポジット情報の構成から、受信端末の表示出力処理に必要な情報を抽出して生成され、対応する受信端末へ送信される。
【００７６】
図６は、受信端末６０ａに対応した端末コンポジット情報Ｖａの実施例を示しており、送信端末毎の端末コンポジット情報からなる。
端末コンポジット情報Ｖａ（５０ａ）は、送信端末５０ａに対応する端末コンポジット情報で、送信端末識別情報Ｖａ（５０ａ，ＩＤ）および画面表示開始位置Ｖａ（５０ａ，ＤＰ）からなり、それぞれ、図５で示した本発明のコンポジット情報の構成の中の送信端末識別情報Ｃａ（５０ａ，ＩＤ）および画面表示開始位置Ｃａ（５０ａ，ＤＰ）と同じ内容である。
【００７７】
送信端末５０ａ以外の他の送信端末に対応する端末コンポジット情報も同様で、例えば、送信端末５０ｚに対応する端末コンポジット情報Ｖａ（５０ｚ）の場合は、送信端末識別情報Ｖａ（５０ｚ，ＩＤ）および画面表示開始位置Ｖａ（５０ｚ，ＤＰ）からなり、それぞれ、図５のコンポジット情報の構成の中の送信端末識別情報Ｃａ（５０ｚ，ＩＤ）および画面表示開始位置Ｃａ（５０ｚ，ＤＰ）と同じ内容である。
【００７８】
受信端末６０ａは、端末コンポジット情報Ｖａに含まれている情報に従って、表示出力を行う。
図６の実施例は、受信端末６０ａについて記載しているが、受信端末６０ａ以外の受信端末についても同様である。
図７は、本発明の受信端末の表示出力例である。
【００７９】
ストリーム配信装置７０に接続されている送信端末が送信端末５０ａ、送信端末５０ｂ、・・・、送信端末５０ｚであった場合の、各送信端末からのストリームデータを受信端末６０ａの画面に同時に表示している例である。
受信端末６０ａの端末能力情報の一つである最大解像度の範囲内で、しかも、各送信端末からのストリームデータの表示領域の大きさが最大になるように、画面を分割して割り当てている例である。
【００８０】
図７の実施例は、受信端末６０ａについて記載しているが、受信端末６０ａ以外の受信端末についても同様である。
図８は、本発明の配信選択情報の構成である。
受信端末６０ａの配信選択情報Ｚａの実施例を示しており、（イ）表示出力可否による配信選択情報、および、（ロ）表示出力優先度による配信選択情報の二つの実施例を示している。
【００８１】
ストリーム配信装置７０で受信端末６０ａに対して端末許容階層レベル値Ｌａの選定ができなかった場合、つまり、最低位階層の階層ストリームだけに限定しても受信端末６０ａの端末能力では、全送信端末からのストリームデータを同時に表示出力できないと判定した場合は、ストリーム配信装置７０は、この配信選択情報Ｚａに従って、受信端末６０ａへ配信するストリームデータを制限し、その制限内でストリームデータを配信して表示出力する。
【００８２】
（イ）の表示出力可否による配信選択情報では、受信端末６０ａが送信端末毎に、該送信端末からのストリームデータを表示出力するか否かの表示出力可否情報を設定し、（ロ）の表示出力優先度による配信選択情報では、各送信端末に優先度を付与し、優先度が高い送信端末からのストリームデータから優先して受信端末６０ａへ配信して表示出力する。図８の（ロ）では、小さい数字ほど優先度が高いとして表記している。
【００８３】
本配信選択情報Ｚａは、予めストリーム配信装置７０へ送信しておく。
図８の実施例は、受信端末６０ａについて記載しているが、受信端末６０ａ以外の受信端末についても同様である。
図９は、本発明のコンポジット情報生成記憶部の動作フローチャートで、受信端末６０ａについての実施例を示している。
【００８４】
Ｓ７２０１． 受信端末６０ａの端末能力情報の一つである最大解像度Ｎａ（ＭＷＨ）について、全送信端末の階層化情報を基に、受信端末６０ａが全送信端末からのストリームデータを同時に表示出力できる階層ストリーム列内の能力別階層レベル値Ｌａ（ＭＷＨ）を選定する。ここで、能力別許容階層レベル値Ｌａ（ＭＷＨ）は、階層ストリーム列の最低位の階層レベルを”１”とし、階層レベルが高くなるに応じてカウントアップされるものとする。また、受信端末６０ａの表示出力の能力が低く、最低位の階層レベルに対応する階層ストリームすらも許容できない場合は、能力別許容階層レベル値Ｌａ（ＭＷＨ）を”０”とする。
【００８５】
本選定処理の詳細については、図１０に示す本発明の解像度に関する許容階層レベル値選定の動作フローチャートを参照。
Ｓ７２０２． 受信端末６０ａの端末能力情報の一つである最大ビットレートＮａ（ＭＢＲ）について、上記ステップＳ７２０１と同様な処理手順で、受信端末６０ａが全受信端末からのストリームデータを同時に表示出力できる階層ストリーム列内の階層レベル値Ｌａ（ＭＢＲ）を選定する。ここで、能力別許容階層レベル値Ｌａ（ＭＢＲ）の値は、階層ストリーム列の最低位の階層レベルを”１”とし、階層レベルが高くなるに応じてカウントアップされるものとする。また、受信端末６０ａの表示出力の能力が低く、最低位の階層レベルに対応する階層ストリームすらも許容できない場合は、能力別許容階層レベル値Ｌａ（ＭＢＲ）を”０”とする。
【００８６】
本選定処理の詳細については、図１１に示す本発明のビットレートに関する許容階層レベル値選定の動作フローチャートを参照。
Ｓ７２０３． 受信端末６０ａの端末能力情報の一つである最大フレームレートＮａ（ＭＦＲ）について、上記ステップＳ７２０２と同様な処理手順で、受信端末６０ａが全受信端末からのストリームデータを同時に表示出力できる階層ストリーム列内の階層レベル値Ｌａ（ＭＦＲ）を選定する。ここで、能力別許容階層レベル値Ｌａ（ＭＦＲ）の値は、階層ストリーム列の最低位の階層レベルを”１”とし、階層レベルが高くなるに応じてカウントアップされるものとする。また、受信端末６０ａの表示出力の能力が低く、最低位の階層レベルに対応する階層ストリームすらも許容できない場合は、能力別許容階層レベル値Ｌａ（ＭＦＲ）を”０”とする。
【００８７】
本選定処理の詳細については、図１２に示す本発明のフレームレートに関する許容階層レベル値選定の動作フローチャートを参照。
Ｓ７２０４． 上記ステップＳ７２０１、Ｓ７２０２、Ｓ７２０３で選定された階層レベル値Ｌａ（ＭＷＨ）、Ｌａ（ＭＢＲ）、Ｌａ（ＭＦＲ）の最小の値が”０”より大か否かを判定し、”０”より大、つまり”１”以上のときは（ＹＥＳ）、受信端末６０ａの表示出力の能力で許容できる適切な階層レベルが選択されたことを意味し、次のステップＳ７２０５へ移行する。
【００８８】
”０”より大でない、つまり、”０”のときは（ＮＯ）、受信端末６０ａの表示出力の能力で許容できる適切な階層レベルが選択できず、最低位の階層レベルの階層ストリームだけに限定しても全送信端末からのストリームデータを同時に表示出力できないことを意味し、ステップＳ７２０９へ移行する。
Ｓ７２０５． 選定された能力別許容階層レベル値Ｌａ（ＭＷＨ）、Ｌａ（ＭＢＲ）、Ｌａ（ＭＦＲ）の最小値を、受信端末６０ａが許容できる端末許容階層レベル値Ｌａと見なして、コンポジット情報生成記憶部７２ａが保持するコンポジット情報Ｃａに設定する。
【００８９】
Ｓ７２０６． 全送信端末について、該送信端末からのストリームデータを表示出力する受信端末６０ａの画面表示開始位置を生成し、コンポジット情報生成記憶部７２ａが保持するコンポジット情報Ｃａに設定する。また、全送信端末について、出力抑制区間検出記憶部に保持されている出力抑制区間情報を参照し、コンポジット情報生成記憶部７２ａが保持するコンポジット情報Ｃａに設定する。
【００９０】
Ｓ７２０７． コンポジット情報生成記憶部７２ａが保持するコンポジット情報Ｃａを基に、受信端末６０ａ用の端末コンポジット情報Ｖａを作成し、受信端末６０ａへ送信する。
Ｓ７２０８． 受信端末６０ａへのストリームデータの配信を行うため、階層選択部７３ａを起動して、処理を終了する。
Ｓ７２０９． 受信端末６０ａの端末許容階層レベル値Ｌａを最低位レベルの”１”として、コンポジット情報生成記憶部７２ａが保持するコンポジット情報Ｃａに設定する。
【００９１】
Ｓ７２１０． 配信選択情報受信記憶部７４ａに保持されている配信選択情報Ｚａに基づいて、受信端末６０ａへの表示出力の対象とする送信端末を選択する。選択された送信端末について、対応する階層化情報を基に該送信端末からのストリームデータを表示出力する受信端末６０ａの画面表示開始位置、および、出力抑制区間情報をを作成し、コンポジット情報Ｃａとしてコンポジット情報生成記憶部７２ａに記憶した後、ステップＳ７２０７へ移行する。
【００９２】
上記の図９の動作フローチャートは、受信端末６０ａに対応するコンポジット情報生成記憶部７２ａについて説明したが、他の受信端末６０ａ以外の受信端末に対応するコンポジット情報生成記憶部についても同様である。
図１０は、本発明のＬａ（ＭＷＨ）選定処理の動作フローチャートで、上記図９の動作フローチャートのステップＳ７２０１の詳細を示しており、各処理ステップの内容は次の通り。
【００９３】
Ｓ７２０１−１． 階層レベル値を一時的に格納する変数をｉで表し、初期値として”１”を設定しておく。
Ｓ７２０１−２． 変数ｉの値が、全バッファに保持されている階層ストリーム列の最大階層レベル値よりも大きいか否かを判定する。ここで、階層ストリーム列の最大階層レベル値は、階層ストリーム列の意味から考えて”２”以上である。
【００９４】
変数ｉの値が、最大階層レベル値よりも大きい場合は（ＹＥＳ）、受信端末６０ａの許容可能な階層レベル値Ｌａ（ＭＷＨ）を確定するために、ステップＳ７２０１−５へ移行し、変数ｉの値が、最大階層レベル値より大きくない、つまり、最大階層レベル値以下の場合は（ＮＯ）、次のステップＳ７２０１−３へ移行して処理を続行する。
Ｓ７２０１−３． 全送信端末から受信した階層化情報を基に、階層レベルｉの解像度の合計値ＷＨ（ｉ）を算出する。
【００９５】
図４に示す本発明の階層化情報の構成に記載した表記を用いると、
ＷＨ（ｉ）＝ Ｘａ（ｉ，ＷＨ） ＋ Ｘｂ（ｉ，ＷＨ） ＋ ・・・ ＋ Ｘｚ（ｉ，ＷＨ）
となる。
Ｓ７２０１−４． 上記ステップＳ７２０１−３で算出した階層レベルｉの解像度の合計値ＷＨ（ｉ）が、図３に示す受信端末６０ａの能力情報Ｎａに設定されている能力値Ｎａ（ＭＷＨ）より大か否かを判定し、大の場合は（ＹＥＳ）、受信端末６０ａの許容可能な階層レベル値Ｌａ（ＭＷＨ）を確定するために、次のステップＳ７２０１−５へ移行する。
【００９６】
合計値ＷＨ（ｉ）がＮａ（ＭＷＨ）より大でない場合は（ＮＯ）、次の階層の処理を行うためにステップＳ７２０１−６へ移行する。
Ｓ７２０１−５． 上記ステップＳ７２０１−４の判定で、階層レベルｉが最大階層レベル値を超えたか、または、階層レベルｉの解像度の合計値ＷＨ（ｉ）が受信端末６０ａの能力値Ｎａ（ＭＷＨ）を超えたため、１レベル低い階層レベル”ｉ−１”の値を、受信端末６０ａが許容可能な階層レベル値Ｌａ（ＭＷＨ）とみなし、Ｌａ（ＭＷＨ）に”ｉ−１”を設定して、処理を終了する。
【００９７】
Ｓ７２０１−６． 次の階層の処理のために、変数ｉをカウントアップして、ステップＳ７２０１−２へ移行する。
図１１は、本発明のＬａ（ＭＢＲ）選定処理の動作フローチャートで、上記図９の動作フローチャートのステップＳ７２０２の詳細を示しており、次の処理ステップからなる。
【００９８】
Ｓ７２０２−１． 階層レベル値を一時的に格納する変数をｉで表し、初期値として”１”を設定しておく。
Ｓ７２０２−２． 変数ｉの値が、全バッファに保持されている階層ストリーム列の最大階層レベル値よりも大きいか否かを判定する。ここで、階層ストリーム列の最大階層レベル値は、階層ストリーム列の意味から考えて”２”以上である。
【００９９】
変数ｉの値が、最大階層レベル値よりも大きい場合は（ＹＥＳ）、受信端末６０ａの許容可能な階層レベル値Ｌａ（ＭＢＲ）を確定するために、ステップＳ７２０２−５へ移行し、変数ｉの値が、最大階層レベル値より大きくない、つまり、最大階層レベル値以下の場合は（ＮＯ）、次のステップＳ７２０２−３へ移行して処理を続行する。
Ｓ７２０２−３． 全送信端末から受信した階層化情報を基に、階層レベルｉの解像度の合計値ＢＲ（ｉ）を算出する。
【０１００】
図４に示す本発明の階層化情報の構成に記載した表記を用いると、
ＢＲ（ｉ）＝ Ｘａ（ｉ，ＢＲ） ＋ Ｘｂ（ｉ，ＢＲ） ＋ ・・・ ＋ Ｘｚ（ｉ，ＢＲ）
となる。
Ｓ７２０２−４． 上記ステップＳ７２０２−３で算出した階層レベルｉの解像度の合計値ＢＲ（ｉ）が、図３に示す受信端末６０ａの能力情報Ｎａに設定されている値Ｎａ（ＭＢＲ）より大か否かを判定し、大の場合は（ＹＥＳ）、受信端末６０ａの許容可能な階層レベル値Ｌａ（ＭＢＲ）を確定するために、次のステップＳ７２０２−５へ移行する。
【０１０１】
合計値ＢＲ（ｉ）がＮａ（ＭＢＲ）より大でない場合は（ＮＯ）、次の階層の処理を行うためにステップＳ７２０２−６へ移行する。
Ｓ７２０２−５． 上記ステップＳ７２０２−４の判定で、階層レベルｉが最大階層レベル値を超えたか、または、階層レベルｉの解像度の合計値ＢＲ（ｉ）が受信端末６０ａの能力値Ｎａ（ＭＢＲ）を超えたため、１レベル低い階層レベル”ｉ−１”の値を、受信端末６０ａが許容可能な階層レベル値Ｌａ（ＭＢＲ）とみなし、Ｌａ（ＭＢＲ）に”ｉ−１”を設定して、処理を終了する。
【０１０２】
Ｓ７２０２−６． 次の階層の処理のために、変数ｉをカウントアップして、ステップＳ７２０２−２へ移行する。
図１２は、本発明のＬａ（ＭＦＲ）選定処理の動作フローチャートで、上記図９の動作フローチャートのステップＳ７２０３の詳細を示しており、次の処理ステップからなる。
【０１０３】
Ｓ７２０３−１． 階層レベル値を一時的に格納する変数をｉで表し、初期値として”１”を設定しておく。
Ｓ７２０３−２． 変数ｉの値が、全バッファに保持されている階層ストリーム列の最大階層レベル値よりも大きいか否かを判定する。ここで、階層ストリーム列の最大階層レベル値は、階層ストリーム列の意味から考えて”２”以上である。
【０１０４】
変数ｉの値が、最大階層レベル値よりも大きい場合は（ＹＥＳ）、受信端末６０ａの許容可能な階層レベル値Ｌａ（ＭＦＲ）を確定するために、ステップＳ７２０３−５へ移行し、変数ｉの値が、最大階層レベル値より大きくない、つまり、最大階層レベル値以下の場合は（ＮＯ）、次のステップＳ７２０３−３へ移行して処理を続行する。
Ｓ７２０３−３． 全送信端末から受信した階層化情報を基に、階層レベルｉの解像度の合計値ＦＲ（ｉ）を算出する。
【０１０５】
図４に示す本発明の階層化情報の構成に記載した表記を用いると、
ＦＲ（ｉ）＝ Ｘａ（ｉ，ＦＲ） ＋ Ｘｂ（ｉ，ＦＲ） ＋ ・・・ ＋ Ｘｚ（ｉ，ＦＲ）
となる。
Ｓ７２０３−４． 上記ステップＳ７２０３−３で算出した階層レベルｉの解像度の合計値ＦＲ（ｉ）が、図３に示す受信端末６０ａの能力情報Ｎａに設定されている値Ｎａ（ＭＦＲ）より大か否かを判定し、大の場合は（ＹＥＳ）、受信端末６０ａの許容可能な階層レベル値Ｌａ（ＭＦＲ）を確定するために、次のステップＳ７２０３−５へ移行する。
【０１０６】
合計値ＦＲ（ｉ）がＮａ（ＭＦＲ）より大でない場合は（ＮＯ）、次の階層の処理を行うためにステップＳ７２０３−６へ移行する。
Ｓ７２０３−５． 上記ステップＳ７２０３−４の判定で、階層レベルｉが最大階層レベル値を超えたか、または、階層レベルｉの解像度の合計値ＦＲ（ｉ）が受信端末６０ａの能力値Ｎａ（ＭＦＲ）を超えたため、１レベル低い階層レベル”ｉ−１”の値を、受信端末６０ａが許容可能な能力別許容階層レベル値Ｌａ（ＭＦＲ）とみなし、Ｌａ（ＭＦＲ）に”ｉ−１”を設定して、処理を終了する。
【０１０７】
Ｓ７２０３−６． 次の階層の処理のために、変数ｉをカウントアップして、ステップＳ７２０３−２へ移行する。
図１３は、本発明の階層選択部の動作フローチャートで、受信端末６０ａに対応して設けられる階層選択部７３ａについての実施例を示している。
Ｓ７３０１． コンポジット情報生成記憶部７２ａに保持されているコンポジット情報Ｃａから、各送信端末に対応して設けられたエントリを取り出す。
【０１０８】
取り出されたエントリは、前記図５のコンポジット情報の構成で示したように、送信端末識別情報、画面表示開始位置、出力抑制区間情報で構成されている。
Ｓ７３０２． 該エントリ内の出力抑制区間情報から、出力抑制区間か否かを判定し、出力抑制区間ならば（ＹＥＳ）、次のエントリの処理を行うためにステップＳ７３０３へ移行し、出力抑制区間でなければ（ＮＯ）、階層ストリームの選択と送信を行うために、次のステップＳ７３０３へ移行する。
【０１０９】
Ｓ７３０３． 該エントリに設定された送信端末識別情報が示す送信端末からの階層ストリーム列が格納されているバッファより、コンポジット情報Ｃａに設定されている許容階層レベルＬａが示す階層までの階層ストリームを取り出し、受信端末６０ａへ送信する。
Ｓ７３０４． コンポジット情報Ｃａ内に、未処理のエントリがあるか否か判定し、ある場合は（ＹＥＳ）、ステップＳ７３０１へ移行して、次の送信端末についての処理を行い、エントリがない場合は（ＮＯ）、処理を終了する。
【０１１０】
以上の階層選択部の処理内容については、受信端末６０ａ以外の他の受信端末についても同様である。
以上が、本発明の第一の実施形態についての説明である。
図１４は、本発明のストリーム配信方法（２）で、本発明の第二の実施形態を示している。
【０１１１】
第一の実施形態では、送信端末でストリームデータを階層符号化した後、階層ストリーム列と階層化情報をストリーム配信装置へ送信するのに対して、図１４の本発明のストリーム配信方法（２）では、送信端末は階層符号化されていないストリームデータをストリーム配信装置へ送信する。
一以上の送信端末および一以上の受信端末がネットワーク４０を介してストリーム配信装置７０Ａに接続され、送信端末から送信されたストリームデータが、ストリーム配信装置７０Ａを経由して受信端末へ配信される。
【０１１２】
図１４の実施例では、送信端末５０ａ、５０ｂ、および、受信端末６０ａ、６０ｂの構成として示しているが、送信端末および受信端末とも一以上の任意の台数で構成することができる。
ストリーム配信装置７０Ａには、各送信端末に対応して階層化情報受信記憶部、二つのバッファ、トランスコード部および出力抑制区間検出記憶部が設けられ、各受信端末に対応して端末能力情報受信記憶部、配信選択情報受信記憶部、コンポジット情報生成記憶部および階層選択部が設けられる。
【０１１３】
図１４に示す実施例では、送信端末５０ａに対応して階層化情報受信記憶部７１ａ、バッファ７７ａ、バッファ７９ａ、トランスコード部７８ａ、出力抑制区間検出記憶部７６ａが設けられ、受信端末６０ａに対応して端末能力情報受信記憶部７５ａ、配信選択情報受信記憶部７４ａ、コンポジット情報生成記憶部７２ａ、階層選択部７３ａが設けられている。
【０１１４】
同様に、送信端末５０ｂに対応して階層化情報受信記憶部７１ｂ、バッファ７７ｂ、バッファ７９ｂ、トランスコード部７８ｂ、出力抑制区間検出記憶部７６ｂが設けられ、受信端末６０ｂに対応して端末能力情報受信記憶部７５ｂ、配信選択情報受信記憶部７４ｂ、コンポジット情報生成記憶部７２ｂ、階層選択部７３ｂが設けられている。
送信端末および受信端末が３台以上設けられる場合も同様である。
【０１１５】
送信端末５０ａは、階層符号化していないストリームデータＳａとして、ストリーム配信装置７０Ａへ送信する。
送信端末５０ｂについても、送信端末５０ａと同様に、階層符号化されていないストリームデータＳｂをストリーム配信装置７０Ａへ送信する。
ストリーム配信装置７０Ａは、送信端末５０ａから送信されてきたストリームデータＳａをバッファ７７ａに格納した後、トランスコード部７８ａは一旦ストリームデータＳａを復号した後、予め定められた目標階層数に従って階層符号化し、階層ストリーム列Ｕａとしてバッファ７９ａへ格納する。同時に、受信端末が表示出力するために必要な階層レベル毎の所要能力値を含んだ階層化情報Ｘａを生成して階層化情報受信記憶部７１ａへ引き渡す。また、出力抑制区間検出記憶部７６ａは表示出力を抑制できる時間帯を意味する出力抑制区間情報Ｐａを検出して記憶する。
【０１１６】
送信端末５０ｂから送信されてきたストリームデータＳｂを受信した場合も同様で、バッファ７７ｂに格納したのち、トランスコード部７８ｂは一旦ストリームデータＳａを復号した後、予め定められた目標階層数に従って階層符号化し、階層ストリーム列Ｕｂとしてバッファ７９ｂへ格納する。同時に、受信端末が表示出力するために必要な階層レベル毎の所要能力値を含んだ階層化情報Ｘｂを生成して階層化情報受信記憶部７１ｂへ引き渡す。また、出力抑制区間検出記憶部７６ｂは表示出力を抑制できる時間帯を意味する出力抑制区間情報Ｐｂを検出して記憶する。
【０１１７】
ここで、目標階層数および階層レベル毎の所要能力値の決定は、次の二つの方法で実現することができる。
第一の方法は、受信端末の端末能力情報として設定される同一種類の能力値の内、値が異なる能力値の全受信端末に渡っての総数を目標階層数とし、その同一種類の値が異なる能力値を各階層レベルの所要能力値とするものである。
【０１１８】
第二の方法は、任意の数を目標階層数として設定し、全受信端末の端末能力情報に設定されている同一種類の能力値の中で、最高の能力値と最低の能力値を選択し、その最高の能力値と最低の能力値の間を、任意に設定した目標階層数で等分し、等分された能力値を各階層レベルの所要能力値とするものである。第二の方法では、目標階層数に等分できない場合も想定されるが、そのときは、等分された値に最も近い値に所要能力値を調整する。
【０１１９】
出力抑制区間検出記憶部７６ｂは、表示出力を抑制できる時間帯を意味する出力抑制区間情報Ｐｂを検出して記憶する。
出力抑制区間としては、音声ストリームデータの場合は、有効な音声情報が含まれていない区間を意味する無音区間があり、この場合は、音声ストリームデータを配信しなくても受信端末の表示出力に実質的な影響を与えない。また、動画ストリームデータの場合は、有効な画像の動きが見られない区間を意味する無動作区間があり、この場合は、動画ストリームデータを配信しなくても受信端末の表示出力には実質的な影響を与えない。
【０１２０】
端末能力情報受信記憶部７５ａは、受信端末６０ａから予め通知される受信端末６０ａの表示出力の能力を示す端末能力情報Ｎａを受信して記憶し、配信選択情報受信記憶部７４ａは予め受信端末６０ａから通知される受信端末６０ａの配信選択情報Ｚａを受信して記憶する。この配信選択情報Ｚａは、前記端末能力情報Ｎａで示されている受信端末６０ａの表示出力の能力では、各送信端末から配信されてくるストリームデータを同時には表示出力できないときに使用されるもので、受信端末６０ａへ配信するストリームデータを選択して限定するために用いる。
【０１２１】
端末能力情報受信記憶部７５ｂおよび配信選択情報受信記憶部７４ｂについても同様で、予め受信端末６０ｂからそれぞれ端末能力情報Ｎａおよび配信選択情報Ｚａを受信して記憶しておく。
コンポジット情報生成記憶部７２ａは、階層化情報受信記憶部に記憶されている各送信端末の階層化情報、および、端末能力情報記憶部７５ａに記憶されている受信端末６０ａの能力情報を参照して、受信端末６０ａが全送信端末からのストリームデータを同時に表示出力するために許容できる、全送信端末に共通な端末許容階層レベル値を選択する。そして、各送信端末から配信されたストリームデータを受信端末６０ａが表示出力するために必要な、各送信端末別のコンポジット情報を生成し、前記選定した端末許容階層レベル値および全送信端末についてのコンポジット情報を集めたものをコンポジット情報Ｃａとし、コンポジット情報生成記憶部７２ａに保持する。この各送信端末別のコンポジット情報には、送信端末識別情報、ストリームデータを画面表示する際の画面表示開始位置、および、表示出力を抑制してよいか否かを示す出力抑制区間情報が含まれている。
【０１２２】
上記の端末許容階層レベル値が選択できなかった場合、つまり、最低位階層の階層ストリームに限定しても、受信端末６０ａの端末能力では、全送信端末からのストリームデータを同時には表示出力できない場合は、前記配信選択情報受信記憶部７４ａに保持されている配信選択情報Ｚａに従って、ストリームデータの配信処理の対象となる送信端末を限定し、その限定して選択された送信端末について、上記のコンポジット情報を生成して集めたものをコンポジット情報Ｃａとして、コンポジット情報生成記憶部７２ａに保持する。
【０１２３】
図１４に示す実施例では、コンポジット情報生成記憶部７２ａは、階層化情報受信記憶部７１ａ、７１ｂに記憶されている階層化情報と、端末能力情報記憶部７５ａに記憶されている受信端末６０ａの端末能力情報を参照し、受信端末６０ａが送信端末５０ａ、５０ｂからのストリームデータを同時に表示出力するために許容される端末許容階層レベル値を選定すると同時に、送信端末５０ａ、５０ｂについてのコンポジット情報を集めてコンポジット情報Ｃａとして保持する。
【０１２４】
次に、階層選択部７３ａは、前記コンポジット情報Ｃａに登録されている送信端末について、各送信端末からの階層ストリーム列の中の最低位の階層から前記端末許容階層レベル値が示す階層までの階層ストリームを選択し、各送信端末についての選択された階層ストリームから成る階層ストリーム列Ｔａを受信端末６０ａへ送信する。同時に、前記コンポジット情報Ｃａの中から、受信端末６０ａが各送信端末からのストリームデータを画面に配置するための情報である画面表示開始位置を抽出して端末コンポジット情報Ｔａとし、受信端末６０ａへ送信する。
【０１２５】
コンポジット情報生成記憶部７２ｂおよび階層選択部７３ｂについても同様で、コンポジット情報生成記憶部７２ｂは、各送信端末に対応する階層化情報受信記憶部に記憶されている各送信端末の階層化情報、および、端末能力情報記憶部７５ｂに記憶されている受信端末６０ｂの能力情報を参照して、受信端末６０ｂが全送信端末からのストリームデータを同時に表示出力するために許容できる、全送信端末に共通な端末許容階層レベル値を選定する。そして、各送信端末から配信されたストリームデータを受信端末６０ｂの表示出力するために必要な、各送信端末別のコンポジット情報を生成し、前記選定された端末許容階層レベル値と全送信端末についてのコンポジット情報を集めてコンポジット情報Ｃｂとし、コンポジット情報生成記憶部７２ｂに保持する。
【０１２６】
上記の端末許容階層レベル値が選定できなかった場合、つまり、最低位階層の階層ストリームに限定しても、受信端末６０ｂの端末能力では、全送信端末からのストリームデータを同時には表示出力できない場合は、前記配信選択情報受信記憶部７４ｂに保持されている配信選択情報Ｚｂに従って、ストリームデータの配信処理の対象となる送信端末を限定し、その限定して選択された送信端末について、上記のコンポジット情報を生成して集めたものをコンポジット情報Ｃｂとして、コンポジット情報生成記憶部７２ｂに保持する。この場合は、端末許容階層レベル値を最低位の階層レベルに設定しておく。
【０１２７】
図１４に示す実施例では、コンポジット情報生成記憶部７２ｂは、階層化情報受信記憶部７１ａ、７１ｂに記憶されている階層化情報と、端末能力情報記憶部７５ｂに記憶されている受信端末６０ｂの端末能力情報を参照し、受信端末６０ｂが送信端末５０ａ、５０ｂからのストリームデータを同時に表示出力するために許容される端末許容階層レベル値を選定し、送信端末５０ａ、５０ｂのコンポジット情報を生成して集めてコンポジット情報Ｃｂとして保持する。
【０１２８】
次に、階層選択部７３ｂは、前記コンポジット情報Ｃｂに登録されている送信端末について、各送信端末からの階層ストリーム列の中の最低位の階層から前記端末許容階層レベル値が示す階層までの階層ストリームを選択し、各送信端末についての選択された階層ストリームから成る階層ストリーム列Ｔｂを受信端末６０ｂへ送信する。同時に、前記コンポジット情報Ｃｂの中から、受信端末６０ｂが各送信端末からのストリームデータを画面に配置するための情報である画面表示開始位置を抽出して端末コンポジット情報Ｔｂとし、受信端末６０ｂへ送信する。
【０１２９】
上記は送信端末数２、受信端末数２として説明したが、３以上の数の場合も同様である。
受信端末６０ａは、端末能力情報通知部６１ａが自端末の表示出力の能力を示す端末能力情報Ｎａを予めストリーム配信装置７０Ａへ送信しておく。また、配信選択情報通知部６５ａは、最低位の階層ストリームだけ受信しても自端末の端末能力では全ての送信端末からのストリームデータを同時に表示できないときに、表示出力すべき送信端末を選択するための配信選択情報Ｚａを、予めストリーム配信装置７０Ａへ送信しておく。
【０１３０】
受信端末６０ａは、ストリーム配信装置７０Ａから送信されてきた端末コンポジット情報Ｖａを端末コンポジット情報受信記憶部６２ａに保持する。ここで、端末コンポジット情報Ｖａには、各送信端末の識別情報と、該送信端末からのストリームデータを表示出力する画面上の領域を識別する画面表示開始位置との対が含まれており、受信したストリームデータに含まれている送信端末を識別する情報をキーに検索することにより、該ストリームデータを表示出力すべき画面上の領域が特定できる。
【０１３１】
一方、ストリーム配信装置７０Ａで選択されて送信されてきた階層ストリーム列Ｔａについては、復号部６３ａで復号された後、表示出力部６４ａが、端末コンポジット情報受信記憶部６２ａに記憶されている端末コンポジット情報Ｖａに従って表示出力する。
受信端末６０ｂについても同様で、端末能力情報通知６１ｂは端末能力情報Ｎｂを予めストリーム配信装置７０Ａへ送信し、配信選択情報通知部６５ｂは配信選択情報Ｚｂを予めストリーム配信装置７０Ａへ送信しておき、ストリーム配信装置７０Ａから送信されてきた端末コンポジット情報Ｖｂを端末コンポジット情報受信記憶部６２ｂに保持する。一方、ストリーム配信装置７０Ａで選択されて送信されてきた階層ストリーム列Ｔｂについては、復号部６３ｂで復号された後、表示出力部６４ｂが、端末コンポジット情報受信記憶部６２ｂに記憶されている端末コンポジット情報Ｖｂに従って表示出力する。
【０１３２】
図１４の実施例では、送信端末と受信端末を別装置として表現しているが、多対地テレビ会議の場合のように、同一端末に送信端末および受信端末双方の機能を含めることもできる。その際は、ストリーム配信装置７０Ａのストリーム配信処理の対象には、ストリームデータの配信先となる端末からのストリームデータは含めない。例えば、送信端末５０ａと受信端末６０ａが同一の端末として構成された場合は、コンポジット情報生成記憶部７２ａおよび階層選択部７３ａは、送信端末５０ａ以外の全ての送信端末からのストリームデータについて上記のストリーム配信の処理を行う。
【０１３３】
図１４の実施例では、多対地テレビ会議の場合を想定して送信端末を複数台としているが、ストリーム放送などのように、送信端末数を１とすることもでき、この場合は、ストリーム配信装置７０Ａの機能を送信端末に組み込んで一体化した構成にすることもできる。
また、コンポジット情報生成記憶部に保持されるコンポジット情報、端末能力情報受信記憶部に記憶される端末能力情報、配信選択情報受信記憶部に記憶される配信選択情報は、受信端末毎に記憶領域を設けずに全受信端末についての情報を一括して記憶してもよい。
【０１３４】
同様に、階層化情報受信記憶部に記憶される送信端末毎の階層化情報、出力抑制区間検出記憶部に記憶される出力抑制区間情報は、全送信端末について一括して記憶してもよい。
図１５は、本発明のストリーム配信方法による転送シーケンス（２）であり、図１４に示す実施例に従って、処理ステップ毎に説明する。
【０１３５】
Ｓ０１． 受信端末６０ａは、予め端末能力情報Ｎａおよび配信選択情報Ｚａを、ストリーム配信装置７０Ａへ送信しておく。
ここで、端末能力情報Ｎａは、受信端末６０ａの表示出力の能力を示す情報で、例えば図３に示した本発明の端末能力情報の構成では、最大解像度、最大ビットレートおよび最大フレームレートからなる。
【０１３６】
配信選択情報Ｚａは、前記端末能力情報Ｎａに示される表示出力の能力では、全ての送信端末からのストリームデータを同時に受信端末６０ａに表示出力することができない、とストリーム配信装置７０Ａが判定したときに、受信端末６０ａに配信するストリームデータを選択して限定する際に使用する情報である。例えば、図８に示した配信選択情報の構成のように、各送信端末からのストリームデータの受信可否の情報、あるいは、各送信端末からのストリームデータを受け付ける優先順位を表す受信優先度の情報、として構成することができる。
【０１３７】
端末能力情報Ｎａ、配信選択情報Ｚａについては、図３の本発明の端末能力情報の構成および図８の本発明の配信選択情報の構成を参照。
Ｓ０２． ストリーム配信装置７０Ａは、受信端末６０ａから受信した端末能力情報Ｎａおよび配信選択情報Ｚａを、それぞれ、端末能力受信記憶部７５ａおよび配信選択情報受信記憶部７４ａに記憶する。
【０１３８】
Ｓ０３． 上記ステップＳ０１と同様に、受信端末６０ｂは、予め端末能力情報Ｎｂおよび配信選択情報Ｚｂを、ストリーム配信装置７０Ａへ送信しておく。
Ｓ０４． 上記ステップＳ０２と同様に、ストリーム配信装置７０Ａは、受信端末６０ａから受信した端末能力情報Ｎａおよび配信選択情報Ｚａを、それぞれ、端末能力受信記憶部７５ａおよび配信選択情報受信記憶部７４ａに記憶する。
【０１３９】
上記ステップＳ０１〜Ｓ０４の説明では、受信端末６０ａについての処理の後に受信端末６０ｂの処理を記述した。ステップＳ０１〜Ｓ０２とステップＳ０３〜Ｓ０４の処理順序は、受信端末の送信タイミングＴ０１により逆になる場合もあるが、処理内容は同様である。
Ｓ０５． 送信端末５０ａは、階層符号化されていないストリームデータＳａを配信装置７０Ａへ送信する。
【０１４０】
Ｓ０６． ストリーム配信装置７０Ａは、受信したストリームデータＳａをバッファ７７ａに格納後、一旦復号し、予め定められた目標階層レベル数に従って階層符号化して階層ストリーム列Ｕａとしてバッファ７９ａに格納する。同時に、階層ストリーム列Ｕａ内の各階層ストリームを受信端末に表示出力するために必要な表示出力の所要能力値を含んでいる階層化情報Ｘａを生成して記憶する。また、受信端末への表示出力を抑制できる出力抑制区間情報Ｐａを検出し、記憶する。
【０１４１】
Ｓ０７． 上記ステップＳ０５と同様に、送信端末５０ｂは、階層符号化されていないストリームデータＳｂを配信装置７０Ａへ送信する。
Ｓ０８． 上記ステップＳ０６と同様に、ストリーム配信装置７０Ａは、受信したストリームデータＳｂをバッファ７７ｂに格納後、一旦復号し、予め定められた目標階層レベル数に従って階層符号化して階層ストリーム列Ｕｂとしてバッファ７９ｂに格納する。同時に、階層ストリーム列Ｕｂ内の各階層ストリームを受信端末に表示出力するために必要な表示出力の所要能力値を含んでいる階層化情報Ｘｂを生成して記憶する。また、受信端末への表示出力を抑制できる出力抑制区間情報Ｐｂを検出し、記憶する。
【０１４２】
上記ステップＳ０５〜Ｓ０８の説明では、送信端末５０ａについての処理の後に送信端末５０ｂの処理を記述した。ステップＳ０５〜Ｓ０６とステップＳ０７〜Ｓ０８の処理順序は、送信端末の送信タイミングＴ０２により逆になる場合もあるが、処理内容は同様である。
Ｓ０９． ストリーム配信装置７０Ａは、上記ステップＳ０１で記憶されている受信端末６０ａの端末能力情報Ｎａと配信選択情報Ｚａ、ステップＳ０６およびＳ０８で記憶されている階層化情報Ｘａ、Ｘｂ、および、出力抑制区間情報Ｐａ、Ｐｂから、受信端末６０ａに対応するコンポジット情報Ｃａを生成して、コンポジット情報生成記憶部７２ａに記憶する。コンポジット情報Ｃａの詳細については図５の本発明のコンポジット情報の構成を、また、コンポジット情報生成記憶部７２ａの詳細については、図９の本発明のコンポジット情報生成記憶部の動作フローチャートを参照。
【０１４３】
ここで、受信端末６０ａの端末能力では、最下位の階層ストリームに限定しても、全送信端末からのストリームデータを同時には表示出力できないと判定された場合は、配信選択情報Ｚａにより配信対象外に選定された送信端末に関するコンポジット情報は、コンポジット情報Ｃａに登録されない。
Ｓ１０． ステップＳ０９で生成したコンポジット情報Ｃａから、受信端末６０ａが各送信端末からのストリームデータを表示出力する方法を示した端末コンポジット情報Ｖａを抽出して受信端末６０ａへ送信する。
【０１４４】
端末コンポジット情報Ｖａの詳細については、図６の本発明の端末コンポジット情報の構成を参照。
また、送信端末５０ａ用のバッファ７９ａに格納されている階層ストリーム列Ｕａ、および、送信端末５０ｂ用のバッファ７９ｂに格納されている階層ストリーム列Ｕｂから、コンポジット情報Ｃａに設定されている受信端末６０ａの端末許容階層レベル値Ｌａに相当する階層レベルまでの階層ストリームを抽出し、抽出した階層ストリーム列Ｔａを受信端末６０ａへ送信する。
【０１４５】
従って、上記ステップＳ０９の処理で配信選択情報受信記憶部７４ａに保持されている配信選択情報Ｚａが有効となって配信対象からはずされている送信端末については、コンポジット情報Ｃａに登録されていないため、該送信端末からの階層ストリーム列は、受信端末６０ａへ配信されない。
図１５に示す実施例では、送信端末５０ａ、５０ｂは配信対象からはずされていない前提で記述しており、送信端末５０ａ用のバッファ７９ａに格納されている階層ストリーム列Ｕａ、および、送信端末５０ｂ用のバッファ７９ｂに格納されている階層ストリーム列Ｕｂから、コンポジット情報Ｃａに設定されている受信端末６０ａの端末許容階層レベル値Ｌａに相当する階層レベルまでの階層ストリームを選択して階層ストリーム列Ｔａとし、受信端末６０ａへ送信する。
【０１４６】
上記は、送信端末数が２の場合について述べたが、送信端末数が１の場合および３以上の場合も同様で、全送信端末からの端末許容階層レベル値Ｌａ以下の階層ストリームの列が、階層ストリーム列Ｔａとして受信端末６０ａへ送信される。
Ｓ１１． 受信端末６０ａは、ストリーム配信装置７０Ａより送信されてきた階層ストリーム列Ｔａを復号した後、同じくストリーム配信装置７０Ａから通知された端末コンポジット情報Ｖａに含まれている情報に従って、各送信端末からのストリームデータを同時に表示出力する。
【０１４７】
端末コンポジット情報Ｖａには、図６の本発明の端末コンポジット情報の構成に示されているように、各送信端末毎の送信端末識別情報と画面表示開始位置が含まれており、受信端末６０ａは、この端末コンポジット情報Ｖａを基に、各送信端末からのストリームデータを同時に表示出力することができる。
受信端末６０ａへの表示出力については、図７の本発明の受信端末の表示出力例を参照。
【０１４８】
Ｓ１２． 上記ステップＳ０９と同様に、ストリーム配信装置７０Ａは、上記ステップＳ０１で記憶されている受信端末６０ｂの端末能力情報Ｎｂと配信選択情報Ｚｂ、ステップＳ０６およびＳ０８で記憶されている送信端末５０ａ、５０ｂの階層化情報Ｘａ、Ｘｂ、および、出力抑制区間情報Ｐａ、Ｐｂ１から、受信端末６０ｂに対応するコンポジット情報Ｃｂを生成して、コンポジット情報生成記憶部７２ｂに記憶する。
【０１４９】
Ｓ１３． 上記ステップＳ１２で生成したコンポジット情報Ｃｂから、受信端末６０ｂが各送信端末からのストリームデータを表示出力する領域を指示した端末コンポジット情報Ｖｂを抽出して受信端末６０ｂへ送信する。
一方、送信端末５０ａ用のバッファ７４ａに格納されている階層ストリーム列Ｕａ、および、送信端末５０ｂ用のバッファ７４ｂに格納されている階層ストリーム列Ｕｂから、コンポジット情報Ｃｂに含まれている受信端末６０ｂの端末許容階層レベル値Ｌｂに相当する階層レベルまでの階層ストリームを抽出し、抽出した階層ストリーム列Ｔｂを受信端末６０ｂへ送信する。
【０１５０】
Ｓ１４． 受信端末６０ｂは、ストリーム配信装置７０Ａより送信されてきた階層ストリーム列Ｔｂを復号した後、同じくストリーム配信装置７０Ａから通知された端末コンポジット情報Ｖｂに含まれている情報に従って、各送信端末からのストリームデータを同時に表示出力する。
上記ステップＳ０９〜Ｓ１４の説明では、受信端末６０ａについての処理の後に受信端末６０ｂの処理を記述した。ステップＳ０９〜Ｓ１１とステップＳ１２〜Ｓ１４の処理順序は、ストリーム配信装置の送信タイミングＴ０３により逆になる場合もあるが、処理内容は同様である。
【０１５１】
Ｓ１５．上記ステップＳ０５〜Ｓ１４の処理ステップを繰り返す。
ステップＳ０５〜Ｓ１４の繰り返しの方法としては、全送信端末から送信されてくるストリームデータを一旦バッファに格納しておき、ストリーム配信装置において、全送信端末から受信されるストリームデータを欠損させない程度の充分短い周期で上記ステップＳ０６〜Ｓ１１の処理を行うようにして実現することができる。
【０１５２】
上記の説明では、送信端末数を２、受信端末数を２として説明したが、２以外の数の場合も同様である。
図３〜図１３に示した実施例については、図１４の本発明のストリーム配信方法（２）に示した本発明の第二の実施形態でも同様であり、説明を割愛する。
以上の本発明の詳細な説明では、受信端末６０ａにストリームデータが配信されて表示出力される場合を重点に説明したが、受信端末６０ａ以外の他の受信端末に配信して表示出力する場合も同様である。
【０１５３】
上記の実施例では、送信端末数および受信端末数とも２として説明したが、送信端末および受信端末とも１以上の任意の数でも同様に本発明は適用できる。
また、階層符号化したストリームデータを送信する送信端末と、階層符号化していないストリームデータを送信する送信端末とが混在してストリーム配信装置に接続される場合についても、本発明の第一の実施形態と第二の実施形態を組み合わせることにより、容易に実現できる。
【０１５４】
上記の本発明の実施例で示した図３〜図１３の実現方法については、様々な変形が可能であるが、本発明は同様に適用できる。
（付記１） ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、
前記送信端末は前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解し、
前記端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報として、前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信し、
前記ストリーム配信装置は、前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、
各送信端末からのストリームデータの表示出力領域を指定する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、
前記受信端末は、前記端末コンポジット情報に従って前記端末階層ストリーム列を表示出力する、
ことを特徴とするストリーム配信方法。
【０１５５】
（付記２） ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、
前記ストリーム配信装置は、前記端末能力情報を基に、受信したストリームデータを階層符号化するための目標階層数および各階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を決定して階層化情報として保持し、
前記受信したストリームデータを復号した後、前記階層化情報に基づいて階層符号化して階層ストリーム列とし、
前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、
前記端末階層ストリーム列を表示出力する受信端末内の表示出力領域を指示する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、
前記受信端末は、前記端末コンポジット情報に従って、前記端末階層ストリーム列を表示出力する、
ことを特徴とするストリーム配信方法。
【０１５６】
（付記３） 付記２に記載のストリーム配信方法において、
前記目標階層数は、全ての受信端末についての前記端末能力情報内の同一種類の能力値についての異なる値の総数とし、
全ての受信端末についての前記端末能力情報内の同一種類の能力値の異なる値を、各階層ストリームの所要能力値とする、
ことを特徴とするストリーム配信方法。
【０１５７】
（付記４） 付記２に記載のストリーム配信方法において、
前記目標階層数は予め設定した任意の数とし、
全ての受信端末についての前記端末能力情報内の同一種類の能力値の中で、最高位の値と最下位の値を前記目標階層数で等分した値を、各階層ストリームの所要能力値とする、
ことを特徴とするストリーム配信方法。
【０１５８】
（付記５） 付記１ないし付記４のいずれかに記載のストリーム配信方法において、
前記端末階層ストリーム列の選択は、前記階層化情報に含まれる所要能力値の種類毎に、前記受信端末の端末能力情報内の対応する種類の能力値を超えない最高位の階層レベルを選定して能力別許容階層レベルとし、
選定された一以上の前記能力別許容階層レベルの中から、最も低い階層レベルを選定して端末許容階層レベルとし、
最低位の階層レベルから前記端末許容階層レベルまでの間の階層ストリームを選択する、
ことを特徴とするストリーム配信方法。
【０１５９】
（付記６） 付記１ないし付記５のいずれかに記載のストリーム配信方法において、
前記受信端末は、前記受信端末へ配信するストリームデータを選択するための配信選択情報を、前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は全受信端末についての前期配信選択情報を保持し、
前記ストリーム配信装置は、前記端末許容階層レベルの選定において、前記階層化情報の同一階層レベルの該当する種類の前記所要能力値を全送信端末について合計した値を算出する際、最低位の階層レベルに限定しても、前記合計した値が前記受信端末の端末能力情報内の対応する種類の能力値を超える場合は、
前記端末許容階層レベルを最低位の階層レベルとし、前記配信選択情報に基づいて前記端末階層ストリーム列を選択する、
ことを特徴とするストリーム配信方法。
【０１６０】
（付記７） 付記１ないし付記６のいずれかに記載のストリーム配信方法において、
前記ストリーム配信装置は、前記送信端末から送信されてきたストリームデータから、予め選定された種類のストリームデータについて、前記受信端末への表示出力を抑制できる時間帯を示す出力抑制区間を検出し、
前記出力抑制区間の間は、前記送信端末からの前記種類のストリームデータを前記端末階層ストリーム列に含めない、
ことを特徴とするストリーム配信方法。
【０１６１】
（付記８） 送信端末から送信されてくるストリームデータを受信端末へ配信して表示出力するストリーム配信装置において、
前記受信端末から予め通知される一以上の種類の表示出力の能力値を含む端末能力情報を、全受信端末について保持し記憶する手段と、
前記送信端末から送信されてくる階層符号化されたストリームデータである階層ストリーム列、および、前記階層ストリーム列内の階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を含んだ階層化情報を受信する手段と、
前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とする手段と、
各送信端末からのストリームデータの表示出力領域を指示する端末コンポジット情報を生成する手段と、
前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信する手段を備える、
ことを特徴とするストリーム配信装置。
【０１６２】
（付記９） 送信端末から送信されてくるストリームデータを受信端末へ配信して表示出力するストリーム配信装置において、
前記受信端末から予め通知される一以上の種類の表示出力の能力値を含む端末能力情報を、全受信端末について保持し記憶する手段と、
前記端末能力情報を基に、受信したストリームデータを階層符号化するための目標階層数および各階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を決定して階層化情報として保持する手段と、
前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とする手段と、
各送信端末からのストリームデータの表示出力領域を指示する端末コンポジット情報を生成する手段と、
前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信する手段を備える
ことを特徴とするストリーム配信装置。
【０１６３】
（付記１０） 付記８ないし付記９のいずれかに記載のストリーム配信装置において、
前記受信端末へ配信するストリームデータを選択するための配信選択情報を、予め前記受信端末から受信して保持する手段と、
前記端末許容階層レベルの選定において、最低階層レベルに選定しても前記受信端末が全ての送信端末からのストリームデータを同時に表示出力できない場合は、前記配信選択情報に基づいて前記端末階層ストリーム列を選択する手段を備える
ことを特徴とするストリーム配信装置。
【０１６４】
（付記１１） 付記８ないし付記１０のいずれかに記載のストリーム配信装置において、
前記送信端末から送信されてきたストリームデータから、予め選定された種類のストリームデータについて、前記受信端末への表示出力を抑制できる時間帯を示す出力抑制区間を検出する手段と、
前記出力抑制区間の間は、前記送信端末からの前記種類のストリームデータを除外して前記端末階層ストリーム列を選択する手段を備える
ことを特徴とするストリーム配信装置。
【０１６５】
（付記１２） ストリームデータを、ストリーム配信装置を中継して受信端末へ配信して表示出力する送信端末において、
前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解する手段と、
前記受信端末が保持する端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報とする手段と、
前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信する手段を備える
ことを特徴とする送信端末。
【０１６６】
（付記１３） 送信端末よりストリーム配信装置を中継して配信されてくるストリームデータを受信して表示出力する受信端末において、
一以上の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知する手段と、
前記ストリーム配信装置から送信されてくる、各送信端末からのストリームデータの表示出力領域を特定する情報を含んだ端末コンポジット情報を受信して保持する手段と、
前記端末コンポジット情報に従って、前記ストリーム配信装置から送信されてくる階層符号化されたストリームデータを復号して表示出力する手段を備える
ことを特徴とする受信端末。
【０１６７】
【発明の効果】
本発明は、ストリームデータの配信において、一以上の送信端末から送信される階層符号化されたストリームデータを、受信端末の能力に適合した形に階層ストリームの範囲を選択して配信し、全送信端末からのストリームデータを同時に受信端末へ表示出力できるよう構成した。
【０１６８】
これにより、複数の送信端末からの階層符号化されたストリームデータを各受信端末へ同時に表示出力する多対地テレビ会議についても、ストリーム配信装置の負荷を抑制しながら、かつ、受信端末の能力に適合した効率的なストリーム配信が行えるようになる。
また、本発明では、送信端末が階層符号化されてないストリームデータを送信してくる場合についても、ストリーム配信装置において適切な階層レベル数に階層符号化し、各受信端末の能力に適合した階層化されたストリームデータを配信するように構成した。
【０１６９】
これにより、階層符号化に対応していない端末からのストリームデータについても、受信端末の能力に適合した形でのストリーム配信が可能となり、多様な種類の端末に柔軟に対応できるストリーム配信システムの構築が可能となる。
【図面の簡単な説明】
【図１】本発明のストリーム配信方法（１）
【図２】本発明のストリーム配信方法による転送シーケンス（１）
【図３】本発明の端末能力情報の構成
【図４】本発明の階層化情報の構成
【図５】本発明のコンポジット情報の構成
【図６】本発明の端末コンポジット情報の構成
【図７】本発明の受信端末の表示出力例
【図８】本発明の配信選択情報の構成
【図９】本発明のコンポジット情報生成記憶部の動作フローチャート
【図１０】本発明の許容階層レベル値選定の動作フローチャート（１）
【図１１】本発明の許容階層レベル値選定の動作フローチャート（２）
【図１２】本発明の許容階層レベル値選定の動作フローチャート（３）
【図１３】本発明の階層選択部の動作フローチャート
【図１４】本発明のストリーム配信方法（２）
【図１５】本発明のストリーム配信方法による転送シーケンス（２）
【図１６】階層符号化の概要
【図１７】従来技術のストリーム配信方法
【符号の説明】
１０ａ，１０ｂ 従来技術の送信端末
１１ａ，１１ｂ 従来技術のストリーム送信部
２０ａ，２０ｂ 従来技術の受信端末
２１ａ，２１ｂ 従来技術の端末能力情報通知部
２２ａ，２２ｂ 従来技術の受信端末の復号部
２３ａ，２３ｂ 従来技術の表示出力部
３０ 従来技術のストリーム配信装置
３１ａ，３１ｂ 従来技術の復号部
３２ａ，３２ｂ 従来技術の合成部
３３ａ，３３ｂ 従来技術の符号化部
３４ａ，３４ｂ 従来技術のバッファ
３５ａ，３５ｂ 従来技術の端末能力情報受信記憶部
４０ ネットワーク
５０ａ，５０ｂ，５０ｚ 送信端末
５１ａ，５１ｂ 階層ストリーム生成送信部
５２ａ，５２ｂ 階層化情報通知部
５３ａ，５３ｂ ストリーム送信部
６０ａ，６０ｂ，６０ｚ 受信端末
６１ａ，６１ｂ 端末能力情報通知部
６２ａ，６２ｂ 端末コンポジット情報受信記憶部
６３ａ，６３ｂ 受信端末の復号部
６４ａ，６４ｂ 表示出力部
６５ａ，６５ｂ 配信選択情報通知部
７０，７０Ａ ストリーム配信装置
７１ａ，７１ｂ 階層化情報受信記憶部
７２ａ，７２ｂ コンポジット情報生成記憶部
７３ａ，７３ｂ 階層選択部
７４ａ，７４ｂ 配信選択情報受信記憶部
７５ａ，７５ｂ 端末能力情報受信記憶部
７６ａ，７６ｂ 出力抑制区間検出記憶部
７７ａ，７７ｂ バッファ
７８ａ，７８ｂ トランスコード部
７９ａ，７９ｂ バッファ
Ｎａ，Ｎｂ 端末能力情報
Ｓａ，Ｓｂ 階層化されていないストリームデータ
Ｔａ，Ｔｂ 端末階層ストリーム列
Ｕａ，Ｕｂ 階層ストリーム列
Ｖａ，Ｖｂ 端末コンポジット情報
Ｘａ，Ｘｂ 階層化情報
Ｚａ，Ｚｂ 配信選択情報

Claims (5)

1. ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
   前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、
   前記送信端末は前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解し、
   前記端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報として、前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信し、
   前記ストリーム配信装置は、前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、
   各送信端末からのストリームデータの表示出力領域を指定する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、
   前記受信端末は、前記端末コンポジット情報に従って前記端末階層ストリーム列を表示出力する、
   ことを特徴とするストリーム配信方法。
2. ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
   前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、
   前記ストリーム配信装置は、前記端末能力情報を基に、受信したストリームデータを階層符号化するための目標階層数および各階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を決定して階層化情報として保持し、
   前記受信したストリームデータを復号した後、前記階層化情報に基づいて階層符号化して階層ストリーム列とし、
   前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、
   前記端末階層ストリーム列を表示出力する受信端末内の表示出力領域を指示する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、
   前記受信端末は、前記端末コンポジット情報に従って、前記端末階層ストリーム列を表示出力する、
   ことを特徴とするストリーム配信方法。
3. 送信端末から送信されてくるストリームデータを受信端末へ配信して表示出力するストリーム配信装置において、
   前記受信端末から予め通知される一以上の種類の表示出力の能力値を含む端末能力情報を、全受信端末について保持し記憶する手段と、
   前記送信端末から送信されてくる階層符号化されたストリームデータである階層ストリーム列、および、前記階層ストリーム列内の階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を含んだ階層化情報を受信する手段と、
   前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とする手段と、
   各送信端末からのストリームデータの表示出力領域を指示する端末コンポジット情報を生成する手段と、
   前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信する手段を備える、
   ことを特徴とするストリーム配信装置。
4. ストリームデータを、ストリーム配信装置を中継して受信端末へ配信して表示出力する送信端末において、
   前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解する手段と、
   前記受信端末が保持する端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報とする手段と、
   前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信する手段を備える
   ことを特徴とする送信端末。
5. 送信端末よりストリーム配信装置を中継して配信されてくるストリームデータを受信して表示出力する受信端末において、
   一以上の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知する手段と、
   前記ストリーム配信装置から送信されてくる、各送信端末からのストリームデータの表示出力領域を特定する情報を含んだ端末コンポジット情報を受信して保持する手段と、
   前記端末コンポジット情報に従って、前記ストリーム配信装置から送信されてくる階層符号化されたストリームデータを復号して表示出力する手段を備える
   ことを特徴とする受信端末。

Images