JP2004260362A - ストリーム配信方法、ストリーム配信装置、送信端末及び受信端末 - Google Patents
ストリーム配信方法、ストリーム配信装置、送信端末及び受信端末 Download PDFInfo
- Publication number
- JP2004260362A JP2004260362A JP2003046599A JP2003046599A JP2004260362A JP 2004260362 A JP2004260362 A JP 2004260362A JP 2003046599 A JP2003046599 A JP 2003046599A JP 2003046599 A JP2003046599 A JP 2003046599A JP 2004260362 A JP2004260362 A JP 2004260362A
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- stream
- information
- hierarchical
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【解決手段】一以上の送信端末から送信された階層符号化されたストリームデータを、同時に複数の受信端末へその表示能力に適合した階層レベルのストリームデータに限定して配信し、ストリーム配信装置の負荷を抑制しながら、各送信端末からのストリームデータを同時に受信端末へ表示出力できるようにした。さらに、送信端末からのストリームデータが階層符号化されてない場合へも対応できるようにし、様々な能力の端末へ柔軟に対応できるようにした。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、ストリーム配信方法、ストリーム配信装置、送信端末及び受信端末に関し、特に、一以上の送信端末から送信された音声や動画像などのストリームデータを、同時に一以上の受信端末へ、該受信端末の表示能力に適合したストリームデータに変換して配信し表示出力するストリーム配信方法、ストリーム配信装置、送信端末及び受信端末に関する。
【0002】
近年、インターネットを活用して音声や映像のストリームデータを配信して、放送や多地点テレビ会議などが行われるようになってきた。
インターネットの端末も様々なものが普及しており、このような放送や多地点会議などを利用する端末も多種多様で、利用者の端末の表示能力に適合したストリームデータを多数の端末へ効率よく配信する方法の実現が望まれている。
【0003】
【従来の技術】
従来のストリーム配信方法では、送信端末から送信されてくるストリームデータを中継して配信するストリーム配信装置において、受信端末の表示出力の能力の度合いを示す解像度、ビットレート、フレームレートなどの端末能力情報を予め受信端末から通知してもらい、受信したストリームデータを復号して各受信端末の能力に合う形に再度符号化した後に、各受信端末へ配信していた。
【0004】
図17は、従来技術によるストリーム配信方法である。
送信端末10a、10bおよび受信端末20a、20bがネットワーク40を介してストリーム配信装置30と接続されている。
各送信端末にはストリームデータを送信するストリーム送信部が設けられ、図17の実施例では、送信端末10a、10bにそれぞれ、ストリームデータを送信するストリーム送信部11a、11bが設けられる。
【0005】
ストリーム配信装置30には、接続される送信端末に対応してストリームデータを一時格納しておくバッファと復号部が設けられ、また、接続される受信端末に対応して合成部、符号化部、端末能力情報受信記憶部が設けられる。図17の実施例では、送信端末10aに対応してバッファ34a、復号部31aが、送信端末10bに対応してバッファ34b、復号部31bがそれぞれ設けられ、受信端末20aに対応して合成部32a、符号化部33a、端末能力情報受信記憶部35aが、受信端末20bに対応して合成部32b、符号化部33b、端末能力情報受信記憶部35bがそれぞれ設けられている。
【0006】
受信端末には端末能力情報通知部、復号部、表示出力部が設けられ、図17の実施例では、受信端末20aには端末能力情報通知部21a、復号部22a、表示出力部23aが、受信端末20bには端末能力情報通知部21b、復号部22b、表示出力部23bがそれぞれ設けられている。
図17は、送信端末10a、10bから送信されてくるストリームデータSaおよびSbが、ストリーム配信装置30により、受信端末20a、20bへ配信される例を示している。
【0007】
ストリーム配信装置30は、予め受信端末20a、20bからその能力情報Na、Nbを通知され、各受信端末に対応して設けられた端末能力情報受信記憶部35a、35bにそれぞれ記憶し保持する。
次に、送信端末10a、10bから送信されてきたストリームデータSa、Sbは、バッファ34a、34bに一旦格納された後、復号部31a、31bによりストリームデータDa、Dbに復号される。
【0008】
受信端末20aに対応して設けられた合成ブロック32aは、復号されたストリーム列Da、Dbを合成して、受信端末20a向けのストリーム列Eaとした後、符号化部33aが端末能力情報受信記憶部35aを参照して、受信端末20aの表示出力の能力に適合した形の符号Taに符号化して、受信端末20aへ配信する。
受信端末20bへのストリームデータの配信についても同様で、受信端末20aに対応して設けられた合成ブロック32aは、復号されたストリーム列Da、Dbを合成して、受信端末20b向けのストリーム列Ebとした後、符号化部33bが端末能力情報受信記憶部35bを参照して、受信端末20bの表示出力の能力に適合した形の符号Tbに符号化して、受信端末20bへ配信する。
【0009】
図17の構成では、送信端末数を2、受信端末数を2としているが、2以外の場合も同様であり、ストリーム配信装置30は、各送信端末からのストリームデータを復号した後、配信する受信端末毎に全送信端末からの復号されたストリームデータを合成した後、該受信端末の端末能力に適合した形に符号化して、該受信端末へ配信する。
【0010】
図17に示す実施例では、送信端末と受信端末を別装置として表現しているが、多対地テレビ会議の場合のように、同一端末に送信端末および受信端末双方の機能を含めることもできる。その際は、合成部の処理の対象には、合成された後のストリームデータの配信先となる端末からのストリームデータは含めない。例えば、送信端末10aと受信端末20aが同一の端末として構成された場合は、合成部32aは、送信端末10a以外の全ての送信端末からのストリームデータを合成の対象とする。
【0011】
図17に示す実施例では、多対地テレビ会議の場合を想定して送信端末を複数台としているが、ストリーム放送の場合は、送信端末を1台として構成することができる。このときは、ストリーム配信装置30の機能を送信端末に組み込んでもよい。
上記の受信端末の表示出力の能力に適合したストリームデータの符号化方法の一つとして、階層符号化の方法がある。
【0012】
図16は、階層符号化の概要である。
階層符号化は、画像ストリームデータの場合を例にとると、一本の画像ストリームデータを、画質の異なる幾つかのストリームに分解して、画質の程度に応じてレベル付けした階層ストリーム列とするものである。
画像ストリームデータを、画像の解像度の高低に応じてレベル分けして階層ストリーム列を構成する場合を例にして説明する。
【0013】
画像ストリームデータを階層符号化して送信する送信側処理では、まず符号化E1において、原ストリームデータを最も低い解像度で符号化し、その結果を階層レベル1の階層ストリームU1とする。次に、符号化E2において、原画像を中解像度で符号化した結果と、前記符号化E1で作成した低解像度のストリームデータとの差分のデータを符号化し、その結果を階層レベル2の階層ストリームU2とする。さらに、符号化E3において、原画像を高解像度で符号化した結果と、前記符号化E2で生成した中解像度のストリームデータとの差分のデータを符号化し、その結果を階層レベル3の階層ストリームU3とする。
【0014】
上記で生成した階層ストリームU1、U2、U3から成る階層ストリーム列を、受信側へ送信する。
受信側処理では、まず低解像度の階層ストリームU1を復号D1で復号して、低解像度の復号データ1を得る。ここで、受信側の表示出力の能力が低解像度レベルの場合は、該復号データ1を表示出力して処理を終了する。
【0015】
次に、復号E2において階層ストリームU2を復号した結果を、前記復号D1で復号した復号データ1に付加的に加算することにより、中解像度の復号データ2を得る。ここで、受信側の表示出力の能力が中解像度レベルの場合は、該復号データ2を表示出力して処理を終了する。
さらに、復号E3において階層ストリームU3を復号した結果を、前記復号D2で復号した復号データ2に付加的に加算することにより、高解像度の復号データ3を得、これを表示出力して処理を終了する。
【0016】
上記のように、ストリームデータを階層ストリーム列に符号化することにより、受信端末は、該階層ストリーム列の中から受信端末の表示能力に応じた階層レベルまでの階層ストリームを用いて表示出力できるようになり、送信側は一つの階層ストリーム列を送信するだけで、様々な表示出力の能力を持つ受信端末に効率よく対応できるようになる。
【0017】
上記の説明では、受信側にて受信した階層ストリーム列から、自分の端末に適合した階層ストリームを選択する方法を述べたが、送信側にて受信端末の表示能力を把握している場合は、該受信端末へはその表示能力に見合った解像度までの階層ストリームを選択して送信することもできる。
図16の階層符号化の概要では、3階層の階層符号化の例を示したが、階層数はこれに限定されない。
【0018】
上記図17に示した従来技術のストリーム配信方法では、ストリーム配信装置において一旦受信したストリームデータを復号した後、受信端末の能力に適合した形に符号化しているが、これを一部改良したものとして、階層符号化の方法とIPマルチキャストを用いて、1台の送信端末から送信される階層符号化されたストリームデータを、複数の受信端末へ、受信端末の能力に適合した階層ストリーム列に調整して配信することにより、復号およぶ再符号化を行わずに効率よくストリームデータを配信する方法が公開されている(例えば特許文献1参照。)。
【0019】
【特許文献1】
特開2001−352533号公報(第3〜4頁、第1図)
【0020】
【発明が解決しようとする課題】
従来のストリーム配信技術では、送信端末から送信されてきたストリームデータを一旦復号して、受信端末の能力に適合した形に再度符号化して該受信端末へ配信していた。また、ストリーム配信装置の負荷を抑制し受信端末の表示能力に適合したストリームデータを効率的に配信するために、階層符号化の技術を用ることにより、1台の送信端末から送出された階層符号化されたストリームデータを、復号および符号化の処理をおこなわずに、効率よく複数の受信端末の表示能力に適合した形で配信する方法が提案されている。
【0021】
しかしながら、多地点テレビ会議などを行う際は、複数の送信端末からのストリームデータを複数の受信端末へ効率よく配信することが不可欠で、また、送信端末からは階層符号化されないストリームデータが送信されてくる場合もあり、従来の方法ではこれらに対応できない。
本発明は、ストリームデータの配信方法において、一以上の送信端末から送信される階層符号化された、または、階層符号化されていないストリームデータを、一以上の受信端末へ、各受信端末の表示能力に適合した階層符号化されたストリームデータとして、効率よく配信するストリーム配信方法を提供することを目的とする。
【0022】
【課題を解決するための手段】
第一の発明では、ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、前記送信端末は前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解し、前記端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報として、前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信し、前記ストリーム配信装置は、前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、各送信端末からのストリームデータの表示出力領域を指定する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、前記受信端末は、前記端末コンポジット情報に従って前記端末階層ストリーム列を表示出力する、ように構成している。
【0023】
第一の発明によれば、一以上の送信端末からの階層符号化されたストリームデータを、ストリーム配信装置は復号および再符号化の処理を行うことなく各受信端末へ配信し、各受信端末は全送信端末からの階層化されたストリームデータを該受信端末の能力に適合した品質レベルで同時に表示出力することができる。
第二の発明は、ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、前記ストリーム配信装置は、前記端末能力情報を基に、受信したストリームデータを階層符号化するための目標階層数および各階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を決定して階層化情報として保持し、前記受信したストリームデータを復号した後、前記階層化情報に基づいて階層符号化して階層ストリーム列とし、前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、前記端末階層ストリーム列を表示出力する受信端末内の表示出力領域を指示する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、前記受信端末は、前記端末コンポジット情報に従って、前記端末階層ストリーム列を表示出力する、ように構成している。
【0024】
第二の発明によれば、一以上の送信端末からの階層符号化されていないストリームデータを、ストリーム配信装置が一旦復号した後、全受信端末の能力に適合した形の階層ストリーム列に符号化しておき、以後の処理は第一の発明と同様にして各受信端末の能力に適合した階層ストリームのみを選択して配信することができ、受信端末向け毎の符号化が不要となる。また、第一の発明と組み合わせることにより、階層符号化に対応していない送信端末を含めた多様な能力の端末へも対応可能となり、より柔軟なストリーム配信システムを構築できるようになる。
【0025】
【発明の実施の形態】
図1は、本発明のストリーム配信方法(1)で、本発明の第一の実施形態を示している。
一以上の送信端末および一以上の受信端末がネットワーク40を介してストリーム配信装置70に接続され、送信端末から送信されたストリームデータが、ストリーム配信装置70を経由して一以上の受信端末へ配信される。
【0026】
図1の実施例では、送信端末50a、50b、および、受信端末60a、60bの構成とし例示しているが、送信端末および受信端末とも一以上の任意の台数で構成することができる。
送信端末50aは、受信端末で表示出力すべきストリームデータを、階層ストリーム生成送信部51aで階層符号化して階層ストリーム列Uaを生成すると同時に、階層化情報通知部52aにて、該階層ストリーム列Uaに含まれる階層ストリームの属性情報を含む階層化情報Xaを生成した後、階層化情報Xaおよび階層ストリーム列Uaをストリーム配信装置70へ送信する。
【0027】
送信端末50bについても、送信端末50aと同様に、ストリームデータを階層ストリーム生成送信部51bで階層符号化して階層ストリーム列Ubを生成すると同時に、階層化情報通知部52bにて、該階層ストリーム列Ubに含まれる階層ストリームの属性情報を含む階層化情報Xbを生成した後、階層化情報Xbおよび階層ストリーム列Ubをストリーム配信装置70へ送信する。
【0028】
送信端末が3台以上設けられる場合も同様である。
ストリーム配信装置70には、各送信端末に対応して階層化情報受信記憶部、バッファおよび出力抑制区間検出記憶部が設けられ、各受信端末に対応して端末能力情報受信記憶部、配信選択情報受信記憶部、コンポジット情報生成記憶部および階層選択部が設けられる。
【0029】
図1に示す実施例では、送信端末50aに対応して階層化情報受信記憶部71a、バッファ77a、出力抑制区間検出記憶部76aが設けられ、受信端末60aに対応して端末能力情報受信記憶部75a、配信選択情報受信記憶部74a、コンポジット情報生成記憶部72a、階層選択部73aが設けられる。
同様に、送信端末50bに対応して階層化情報受信記憶部71b、バッファ77b、出力抑制区間検出記憶部76bが設けられ、受信端末60bに対応して端末能力情報受信記憶部75b、配信選択情報受信記憶部74b、コンポジット情報生成記憶部72b、階層選択部73bが設けられる。
【0030】
送信端末および受信端末が3台以上設けられる場合も同様である。
ストリーム配信装置70は、送信端末50aからの階層ストリーム列Uaを受信すると、一旦バッファ77aに格納したのち、出力抑制区間検出記憶部76aが階層ストリーム列Uaから表示出力を抑制できる時間帯を意味する出力抑制区間を検出して記憶する。
【0031】
送信端末50bからの階層ストリーム列Ubを受信した場合も同様で、一旦バッファ77bに格納したのち、出力抑制区間検出記憶部76aが階層ストリーム列Ubから出力抑制区間を検出して記憶する。
一方、送信端末50aから送信されてきた階層化情報Xaは、階層化情報受信記憶部71aにより記憶される。送信端末50bから送信されてきた階層化情報Xbについても同様で、階層化情報受信記憶部71bにより記憶される。
【0032】
端末能力情報受信記憶部75aは、予め受信端末60aから通知される受信端末60aの表示出力の能力を示す端末能力情報Naを受信して記憶し、配信選択情報受信記憶部74aは予め受信端末60aから通知される受信端末60aの配信選択情報Zaを受信して記憶する。この配信選択情報Zaは、前記端末能力情報Naで示されている受信端末60aの表示出力の能力では、全送信端末からのストリームデータを同時には表示出力できないときに使用されるもので、受信端末60aへ配信するストリームデータを選択して限定するために用いる。
【0033】
端末能力情報受信記憶部75bおよび配信選択情報受信記憶部74bについても同様で、予め受信端末60bからそれぞれ端末能力情報Naおよび配信選択情報Zaを受信して記憶しておく。
コンポジット情報生成記憶部72aは、階層化情報受信記憶部に記憶されている各送信端末の階層化情報、および、端末能力情報記憶部75aに記憶されている受信端末60aの能力情報を参照して、受信端末60aが全送信端末からの階層ストリーム列を同時に表示出力するために許容できる、全送信端末に共通な端末許容階層レベル値を選定する。そして、各送信端末から配信されたストリームデータを受信端末60aが表示出力するために必要な、各送信端末別のコンポジット情報を生成し、前記選定した端末許容階層レベル値および全送信端末についてのコンポジット情報を集めたものをコンポジット情報Caとし、コンポジット情報生成記憶部72aに保持する。この各送信端末別のコンポジット情報には、送信端末識別情報、ストリームデータを画面表示する際の画面表示開始位置、および、表示出力を抑制してよいか否かを示す出力抑制区間情報が含まれている。
【0034】
上記の端末許容階層レベル値が選択できなかった場合、つまり、最低位階層の階層ストリームに限定しても、受信端末60aの端末能力では、全送信端末からのストリームデータを同時には表示出力できない場合は、前記配信選択情報受信記憶部74aに保持されている配信選択情報Zaに従って、ストリームデータの配信処理の対象となる送信端末を限定し、その限定して選択された送信端末について、上記のコンポジット情報を生成して集めたものをコンポジット情報Caとして、コンポジット情報生成記憶部72aに保持する。
【0035】
図1に示す実施例では、コンポジット情報生成記憶部72aは、階層化情報受信記憶部71a、71bに記憶されている階層化情報と、端末能力情報記憶部75aに記憶されている受信端末60aの端末能力情報を参照し、受信端末60aが送信端末50a、50bからのストリームデータを同時に表示出力するために許容される端末許容階層レベル値を選定すると同時に、送信端末50a、50bについてのコンポジット情報を集めてコンポジット情報Caとして保持する。
【0036】
次に、階層選択部73aは、前記コンポジット情報Caに登録されている送信端末について、各送信端末からの階層ストリーム列の中の最低位の階層から前記端末許容階層レベル値が示す階層までの階層ストリームを選択し、各送信端末についての選択された階層ストリームから成る階層ストリーム列Taを受信端末60aへ送信する。同時に、前記コンポジット情報Caの中から、受信端末60aが各送信端末からのストリームデータを画面に配置するための情報である画面表示開始位置を抽出して端末コンポジット情報Taとし、受信端末60aへ送信する。
【0037】
コンポジット情報生成記憶部72bおよび階層選択部73bについても同様で、コンポジット情報生成記憶部72bは、各送信端末に対応する階層化情報受信記憶部に記憶されている各送信端末の階層化情報、および、端末能力情報記憶部75bに記憶されている受信端末60bの能力情報を参照して、受信端末60bが全送信端末からのストリームデータを同時に表示出力するために許容できる、全送信端末に共通な端末許容階層レベル値を選定する。そして、各送信端末から配信されたストリームデータを受信端末60bの表示出力するために必要な、各送信端末別のコンポジット情報を生成し、前記選定された端末許容階層レベル値と全送信端末についてのコンポジット情報を集めてコンポジット情報Cbとし、コンポジット情報生成記憶部72bに保持する。
【0038】
上記の端末許容階層レベル値が選定できなかった場合、つまり、最低位階層の階層ストリームに限定しても、受信端末60bの端末能力では、全送信端末からのストリームデータを同時には表示出力できない場合は、前記配信選択情報受信記憶部74bに保持されている配信選択情報Zbに従って、ストリームデータの配信処理の対象となる送信端末を限定し、その限定して選択された送信端末について、上記のコンポジット情報を生成して集めたものをコンポジット情報Cbとして、コンポジット情報生成記憶部72bに保持する。この場合は、端末許容階層レベル値を最低位の階層レベルに設定しておく。
【0039】
図1に示す実施例では、コンポジット情報生成記憶部72bは、階層化情報受信記憶部71a、71bに記憶されている階層化情報と、端末能力情報記憶部75bに記憶されている受信端末60bの端末能力情報を参照し、受信端末60bが送信端末50a、50bからのストリームデータを同時に表示出力するために許容される端末許容階層レベル値を選定し、送信端末50a、50bのコンポジット情報を生成して集めてコンポジット情報Cbとして保持する。
【0040】
次に、階層選択部73bは、前記コンポジット情報Cbに登録されている送信端末について、各送信端末からの階層ストリーム列の中の最低位の階層から前記端末許容階層レベル値が示す階層までの階層ストリームを選択し、各送信端末についての選択された階層ストリームから成る階層ストリーム列Tbを受信端末60bへ送信する。同時に、前記コンポジット情報Cbの中から、受信端末60bが各送信端末からのストリームデータを画面に配置するための情報である画面表示開始位置を抽出して端末コンポジット情報Tbとし、受信端末60bへ送信する。
【0041】
上記は送信端末数2、受信端末数2として説明したが、3以上の数の場合も同様である。
受信端末60aは、端末能力情報通知部61aが自端末の表示出力の能力を示す端末能力情報Naを予めストリーム配信装置70へ送信しておく。また、配信選択情報通知部65aは、最低位の階層ストリームだけ受信しても自端末の端末能力では全ての送信端末からのストリームデータを同時に表示できないときに、表示出力すべき送信端末を選択するための配信選択情報Zaを、予めストリーム配信装置70へ送信しておく。
【0042】
受信端末60aは、ストリーム配信装置70から送信されてきた端末コンポジット情報Vaを端末コンポジット情報受信記憶部62aに保持する。ここで、端末コンポジット情報Vaには、各送信端末の識別情報と、該送信端末からのストリームデータを表示出力する画面上の領域を識別する画面表示開始位置との対が含まれており、受信したストリームデータに含まれている送信端末を識別する情報をキーに検索することにより、該ストリームデータを表示出力すべき画面上の領域が特定できる。
【0043】
一方、ストリーム配信装置70で選択されて送信されてきた階層ストリーム列Taについては、復号部63aで復号された後、表示出力部64aが、端末コンポジット情報受信記憶部62aに記憶されている端末コンポジット情報Vaに従って表示出力する。
受信端末60bについても同様で、端末能力情報通知61bは端末能力情報Nbを予めストリーム配信装置70へ送信し、配信選択情報通知部65bは配信選択情報Zbを予めストリーム配信装置70へ送信しておき、ストリーム配信装置70から送信されてきた端末コンポジット情報Vbを端末コンポジット情報受信記憶部62bに保持する。一方、ストリーム配信装置70で選択されて送信されてきた階層ストリーム列Tbについては、復号部63bで復号された後、表示出力部64bが、端末コンポジット情報受信記憶部62bに記憶されている端末コンポジット情報Vbに従って表示出力する。
【0044】
受信端末数が3以上の場合も、同様である。
図1の実施例では、送信端末と受信端末を別装置として表現しているが、多対地テレビ会議の場合のように、同一端末に送信端末および受信端末双方の機能を含めることもできる。その際は、ストリーム配信装置70のストリーム配信処理の対象には、ストリームデータの配信先となる端末からのストリームデータは含めない。例えば、送信端末50aと受信端末60aが同一の端末として構成された場合は、コンポジット情報生成記憶部72aおよび階層選択部73aは、送信端末10a以外の全ての送信端末からのストリームデータについて上記のストリーム配信の処理を行う。
【0045】
図1に示す実施例では、多対地テレビ会議の場合を想定して送信端末を複数台としているが、ストリーム放送などのように、送信端末数を1とすることもでき、この場合は、ストリーム配信装置70の機能を送信端末に組み込んで一体化した構成にすることもできる。
また、コンポジット情報生成記憶部に保持されるコンポジット情報、端末能力情報受信記憶部に記憶される端末能力情報、配信選択情報受信記憶部に記憶される配信選択情報は、受信端末毎に記憶領域を設けずに全受信端末についての情報を一括して記憶してもよい。
【0046】
同様に、階層化情報受信記憶部に記憶される送信端末毎の階層化情報、出力抑制区間検出記憶部に記憶される出力抑制区間情報は、全送信端末について一括して記憶してもよい。
図2は、本発明のストリーム配信方法による転送シーケンス(1)であり、図1の実施例の構成に従って、処理ステップ毎に説明する。
【0047】
S01. 受信端末60aは、予め端末能力情報Naおよび配信選択情報Zaを、ストリーム配信装置70へ送信しておく。
ここで、端末能力情報Naは、受信端末60aの表示出力の能力を示す情報で、例えば後述する図3に示す本発明の端末能力情報の構成では、最大解像度、最大ビットレートおよび最大フレームレートからなる。
【0048】
配信選択情報Zaは、前記端末能力情報Naに示される表示出力の能力では、全ての送信端末からのストリームデータを同時に受信端末60aに表示出力することができないとストリーム配信装置70が判定したときに、受信端末60aに配信するストリームデータを選択して限定する際に使用する情報である。例えば、後述する図8に示す配信選択情報の構成では、各送信端末からのストリームデータの表示出力可否の情報、あるいは、各送信端末からのストリームデータを表示出力する優先順位を表す表示出力優先度の情報、として構成することができる。
【0049】
端末能力情報Na、配信選択情報Zaについては、後述する図3の本発明の端末能力情報の構成および図8の本発明の配信選択情報の構成を参照。
S02. ストリーム配信装置70は、受信端末60aから受信した端末能力情報Naおよび配信選択情報Zaを、それぞれ、端末能力受信記憶部75aおよび配信選択情報受信記憶部74aに記憶する。
【0050】
S03. 上記ステップS01と同様に、受信端末60bは、予め端末能力情報Nbおよび配信選択情報Zbを、ストリーム配信装置70へ送信しておく。
S04. 上記ステップS02と同様に、ストリーム配信装置70は、受信端末60aから受信した端末能力情報Naおよび配信選択情報Zaを、それぞれ、端末能力受信記憶部75aおよび配信選択情報受信記憶部74aに記憶する。
【0051】
上記ステップS01〜S04の説明では、受信端末60aについての処理の後に受信端末60bの処理を記述した。ステップS01〜S02とステップS03〜S04の処理順序は、受信端末の送信タイミングT01により逆になる場合もあるが、処理内容は同様である。
S05. 送信端末50aは、階層ストリーム列Ua内の各階層ストリームを受信端末に表示出力するために必要な表示出力の所要能力値を含んでいる階層化情報Xa、および、階層ストリーム列Uaを、ストリーム配信装置70へ送信する。
【0052】
階層化情報Xaの実施例については、後述する図4の本発明の階層化情報の構成を参照。
S06. ストリーム配信装置70は、受信した階層化情報Xaを階層化情報受信記憶部71aに記憶する。
また、受信した階層ストリーム列Uaをバッファ77aに格納すると同時に、受信端末への表示出力を抑制できる出力抑制区間を検出し、その結果を出力抑制区間検出記憶部76aに記憶しておく。
【0053】
S07. 上記ステップS05と同様に、送信端末50bは、階層ストリーム列Ubの各階層ストリームを受信端末に表示出力するために必要な表示出力の所要能力値を含んでいる階層化情報Xb、および、階層ストリーム列Ubをストリーム配信装置70へ送信する。
S08. 上記ステップS06と同様に、ストリーム配信装置70は、受信した階層化情報Xbを階層化情報受信記憶部71bに記憶する。
【0054】
また、受信した階層ストリーム列Ubをバッファ77bに格納すると同時に、受信端末への表示出力を抑制できる出力抑制区間を検出し、その結果を出力抑制区間検出記憶部76aに記憶する。
上記ステップS05〜S08の説明では、送信端末50aについての処理の後に送信端末50bの処理を記述した。ステップS05〜S06とステップS07〜S08の処理順序は、送信端末の送信タイミングT02により逆になる場合もあるが、処理内容は同様である。
【0055】
S09. ストリーム配信装置70は、上記ステップS01で記憶されている受信端末60aの端末能力情報Naと配信選択情報Za、ステップS06およびS08で記憶されている階層化情報Xa、Xb、および、出力抑制区間検出記憶部に記憶されている出力抑制区間情報Pa、Pbから、受信端末60aに対応するコンポジット情報Caを生成して、コンポジット情報生成記憶部72aに記憶する。コンポジット情報Caの詳細については後述する図5の本発明のコンポジット情報の構成を、また、コンポジット情報生成記憶部72aの詳細については、後述する図9の本発明のコンポジット情報生成記憶部の動作フローチャートを参照。
【0056】
ここで、受信端末60aの端末能力では、最下位の階層ストリームに限定しても、全送信端末からのストリームデータを同時には表示出力できないと判定された場合は、配信選択情報Zaにより配信対象外に選定された送信端末に関するコンポジット情報は、コンポジット情報Caに登録されない。
S10. ステップS09で生成したコンポジット情報Caから、受信端末60aが各送信端末からのストリームデータを表示出力する際の画面配置情報を抽出し、端末コンポジット情報Vaとして受信端末60aへ送信する。
【0057】
端末コンポジット情報Vaの詳細については、後述する図6の本発明の端末コンポジット情報の構成を参照。
また、コンポジット情報Caに登録されている送信端末からの階層ストリーム列の中から、コンポジット情報Caに設定されている受信端末60aの端末許容階層レベル値Laに相当する階層レベルまでの階層ストリームを選択して階層ストリーム列Taとし、受信端末60aへ送信する。
【0058】
従って、上記ステップS09の処理で配信選択情報受信記憶部74aに保持されている配信選択情報Zaが有効となって配信対象からはずされている送信端末については、コンポジット情報Caに登録されていないため、該送信端末からの階層ストリーム列は、受信端末60aへ配信されない。
図2に示す実施例では、送信端末50a、50bは配信対象からはずされていない前提で記述しており、送信端末50a用のバッファ77aに格納されている階層ストリーム列Ua、および、送信端末50b用のバッファ77bに格納されている階層ストリーム列Ubから、コンポジット情報Caに設定されている受信端末60aの端末許容階層レベル値Laに相当する階層レベルまでの階層ストリームを選択して階層ストリーム列Taとし、受信端末60aへ送信する。
【0059】
上記は、送信端末数が2の場合について述べたが、送信端末数が2以外の場合も同様で、全送信端末からの端末許容階層レベル値La以下の階層ストリームの列が、階層ストリーム列Taとして受信端末60aへ送信される。
S11. 受信端末60aは、ストリーム配信装置70より送信されてきた階層ストリーム列Taを復号した後、同じくストリーム配信装置70から通知された端末コンポジット情報Vaに含まれている情報に従って、各送信端末からのストリームデータを同時に表示出力する。
【0060】
端末コンポジット情報Vaには、各送信端末毎の送信端末識別情報と画面表示開始位置が含まれており、受信端末60aは、この端末コンポジット情報Vaを基に、各送信端末からのストリームデータを同時に表示出力することができる。
受信端末60aへの表示出力については、後述する図7の本発明の受信端末の表示出力例を参照。
【0061】
S12. 上記ステップS09と同様に、ストリーム配信装置70は、上記ステップS01で記憶されている受信端末60bの端末能力情報Nbと配信選択情報Zb、ステップS06およびS08で記憶されている送信端末50a、50bの階層化情報Xa、Xb、および、出力抑制区間検出記憶部76a、76bに記憶されている出力抑制区間情報Pa、Pb1から、受信端末60bに対応するコンポジット情報Cbを生成して、コンポジット情報生成記憶部72bに記憶する。
【0062】
S13. 上記ステップS12で生成したコンポジット情報Cbから、上記ステップS10と同様に、受信端末60bが各送信端末からのストリームデータを表示出力する領域を指示する端末コンポジット情報Vbを抽出して受信端末60bへ送信する。 一方、送信端末50a用のバッファ74aに格納されている階層ストリーム列Ua、および、送信端末50b用のバッファ74bに格納されている階層ストリーム列Ubから、コンポジット情報Cbに含まれている受信端末60bの端末許容階層レベル値Lbに相当する階層レベルまでの階層ストリームを抽出し、抽出した階層ストリーム列Tbを受信端末60bへ送信する。
【0063】
S14. 受信端末60bは、ストリーム配信装置70より送信されてきた階層ストリーム列Tbを復号した後、同じくストリーム配信装置70から通知された端末コンポジット情報Vbに含まれている情報に従って、各送信端末からのストリームデータを同時に表示出力する。
上記ステップS09〜S14の説明では、受信端末60aについての処理の後に受信端末60bの処理を記述した。ステップS09〜S11とステップS12〜S14の処理順序は、ストリーム配信装置の送信タイミングG03により逆になる場合もあるが、処理内容は同様である。
【0064】
S15.上記ステップS05〜S14の処理ステップを繰り返す。
ステップS05〜S14の繰り返しの方法としては、全送信端末から送信されてくるストリームデータを一旦バッファに格納しておき、ストリーム配信装置において、全送信端末から受信されるストリームデータを欠損させない程度の充分短い周期で上記ステップS06〜S11の処理を起動するようにして実現できる。
【0065】
上記の説明では、送信端末数を2、受信端末数を2として説明したが、2以外の数の場合も同様である。
図3は、本発明の端末能力情報の構成である。
受信端末60aについての端末能力情報Naを示しており、最大合計解像度Na(MWH)は、端末の画面に表示できる画像の情報量を表すもので、端末の画面に表示できる画素数である。最大合計ビットレートNa(MFR)は、端末が1秒間に受信可能なビット数である。最大合計フレームレートNa(MFR)は、端末の画面表示において1秒間に何回画面を書き換えることができるかを表す指標である。
【0066】
ここでは、上記3種類の端末能力情報による実施例を基に説明するが、端末能力情報の種類は、これに限定されるものではない。また、図3の実施例は、受信端末60aについて記載しているが、受信端末60a以外の受信端末についても同様である。
図4は、本発明の階層化情報の構成である。
【0067】
送信端末50aに対応した階層化情報Xaを示しており、階層符号化されたストリームデータである階層ストリーム列内の、各階層レベルに対応した階層ストリームを端末へ表示出力する際に必要な端末の所要能力値を含んでいる。階層化情報に含まれる所要能力値の種類は、上記図3に示した端末能力情報の種類に対応するように構成される。
【0068】
最低位階層レベルとなる階層レベル1の階層化情報Xa(1)は、階層レベル1に対応する階層ストリームを識別するためのストリーム識別情報Xa(1,S)、所要解像度Xa(1,WH)、所要ビットレートXa(1,BR)および所要フレームレートXa(1,FR)で構成されている。他の階層レベルについても同様で、例えば階層レベルnの階層化情報Xa(n)は、階層レベルnに対応する階層ストリームを識別するためのストリーム識別情報Xa(n,S)、所要解像度Xa(n,WH)、所要ビットレートXa(n,BR)および所要フレームレートXa(n,FR)で構成される。
【0069】
図4の実施例では、送信端末50aについて記載しているが、送信端末50a以外の送信端末についても同様である。
図5は、本発明のコンポジット情報の構成である。
本コンポジット情報は、ストリーム配信装置70に接続されている各受信端末に対応して設けられるコンポジット情報生成記憶部で生成され保持される。
【0070】
図5の実施例は、受信端末60aに対応したコンポジット情報Caを示している。
端末許容階層レベルLaは、受信端末60aが保有する表示出力の能力でストリーム配信装置70に接続されている全送信端末からのストリームデータを同時に表示出力するために、各送信端末から送信されてくる階層ストリーム列の中から選択すべき階層レベルの値を示すもので、全送信端末に共通の階層レベル値となる。
【0071】
つまり、各送信端末から送信されてきる階層ストリーム列の中から、最低位階層レベルから端末許容階層レベル値Laが示す階層までの間の階層ストリームを選択して、受信端末60aへ送信するもので、受信端末60aは、ここで選択された階層ストリーム列を表示出力することにより、受信端末60aの表示出力の能力内で、全送信端末からのストリームデータを同時に表示出力できるようになる。
【0072】
コンポジット情報Ca(50a)は、送信端末50aから送信されてきたストリームデータを受信端末60aに表示出力する必要な情報をまとめたコンポジット情報で、送信端末識別情報Ca(50a,ID)、画面表示開始位置Ca(50a,DP)および出力抑制区間情報Ca(50a,P)を含んでいる。
送信端末識別情報Ca(50a,ID)は送信端末50aの識別情報である。画面表示開始位置Ca(50a,DP)は、送信端末50aからのストリームデータを表示出力する受信端末60aの画面上の表示開始位置を示す情報である。出力抑制区間情報Ca(50a,P)は、該送信端末から送信されてきたストリームデータを一時的に配信停止しても、受信端末への表示出力への影響が小さい場合に、該ストリームデータの配信を一時中断するための情報である。例えば、音声情報が途絶えていることを示す無音区間、および、画像の動きが止まっていることを示す無動作区間があり、無音区間の場合は音声ストリームデータを、無動作区間の場合は、動画ストリームデータの配信を抑制する。
【0073】
送信端末50a以外の他の送信端末から送信されてくるストリームデータを受信端末60aへ表示出力するために必要となるコンポジット情報についても同様で、例えば、送信端末50zに対応するコンポジット情報Ca(50z)では、送信端末識別情報Ca(50z,ID)は受信端末60aに表示出力する対象となる送信端末の識別情報であり、画面表示開始位置Ca(50z,DP)は、送信端末50zからのストリームデータを表示出力する受信端末60aの画面上の表示開始位置を示す情報であり、出力抑制区間情報Ca(50z,P)は、送信端末50zから送信されてきたストリームデータを一時的に配信停止しても、受信端末への表示出力への影響が小さい場合に、該ストリームデータの配信を一時中断するための情報である。
【0074】
コンポジット情報Caは送信端末毎のコンポジット情報が集まって構成されているが、本コンポジット情報Caに登録されている送信端末のみが受信端末60aへのストリームデータ配信の対象となる。
受信端末60aの端末能力情報Naに示されている表示出力能力では、全送信端末からのストリームデータを同時には表示出力できないと判断された場合は、配信選択情報Zaの内容に従って、コンポジット情報Caに登録される送信端末を限定することになり、配信選択情報Zaの条件からはずれた送信端末のコンポジット情報はコンポジット情報Caには含まれない。
【0075】
図5の実施例は、受信端末60aについて記載しているが、受信端末60a以外の受信端末についても同様である。
図6は、本発明の端末コンポジット情報の構成である。
端末コンポジット情報は、コンポジット情報生成記憶部により、図5に示した本発明のコンポジット情報の構成から、受信端末の表示出力処理に必要な情報を抽出して生成され、対応する受信端末へ送信される。
【0076】
図6は、受信端末60aに対応した端末コンポジット情報Vaの実施例を示しており、送信端末毎の端末コンポジット情報からなる。
端末コンポジット情報Va(50a)は、送信端末50aに対応する端末コンポジット情報で、送信端末識別情報Va(50a,ID)および画面表示開始位置Va(50a,DP)からなり、それぞれ、図5で示した本発明のコンポジット情報の構成の中の送信端末識別情報Ca(50a,ID)および画面表示開始位置Ca(50a,DP)と同じ内容である。
【0077】
送信端末50a以外の他の送信端末に対応する端末コンポジット情報も同様で、例えば、送信端末50zに対応する端末コンポジット情報Va(50z)の場合は、送信端末識別情報Va(50z,ID)および画面表示開始位置Va(50z,DP)からなり、それぞれ、図5のコンポジット情報の構成の中の送信端末識別情報Ca(50z,ID)および画面表示開始位置Ca(50z,DP)と同じ内容である。
【0078】
受信端末60aは、端末コンポジット情報Vaに含まれている情報に従って、表示出力を行う。
図6の実施例は、受信端末60aについて記載しているが、受信端末60a以外の受信端末についても同様である。
図7は、本発明の受信端末の表示出力例である。
【0079】
ストリーム配信装置70に接続されている送信端末が送信端末50a、送信端末50b、・・・、送信端末50zであった場合の、各送信端末からのストリームデータを受信端末60aの画面に同時に表示している例である。
受信端末60aの端末能力情報の一つである最大解像度の範囲内で、しかも、各送信端末からのストリームデータの表示領域の大きさが最大になるように、画面を分割して割り当てている例である。
【0080】
図7の実施例は、受信端末60aについて記載しているが、受信端末60a以外の受信端末についても同様である。
図8は、本発明の配信選択情報の構成である。
受信端末60aの配信選択情報Zaの実施例を示しており、(イ)表示出力可否による配信選択情報、および、(ロ)表示出力優先度による配信選択情報の二つの実施例を示している。
【0081】
ストリーム配信装置70で受信端末60aに対して端末許容階層レベル値Laの選定ができなかった場合、つまり、最低位階層の階層ストリームだけに限定しても受信端末60aの端末能力では、全送信端末からのストリームデータを同時に表示出力できないと判定した場合は、ストリーム配信装置70は、この配信選択情報Zaに従って、受信端末60aへ配信するストリームデータを制限し、その制限内でストリームデータを配信して表示出力する。
【0082】
(イ)の表示出力可否による配信選択情報では、受信端末60aが送信端末毎に、該送信端末からのストリームデータを表示出力するか否かの表示出力可否情報を設定し、(ロ)の表示出力優先度による配信選択情報では、各送信端末に優先度を付与し、優先度が高い送信端末からのストリームデータから優先して受信端末60aへ配信して表示出力する。図8の(ロ)では、小さい数字ほど優先度が高いとして表記している。
【0083】
本配信選択情報Zaは、予めストリーム配信装置70へ送信しておく。
図8の実施例は、受信端末60aについて記載しているが、受信端末60a以外の受信端末についても同様である。
図9は、本発明のコンポジット情報生成記憶部の動作フローチャートで、受信端末60aについての実施例を示している。
【0084】
S7201. 受信端末60aの端末能力情報の一つである最大解像度Na(MWH)について、全送信端末の階層化情報を基に、受信端末60aが全送信端末からのストリームデータを同時に表示出力できる階層ストリーム列内の能力別階層レベル値La(MWH)を選定する。ここで、能力別許容階層レベル値La(MWH)は、階層ストリーム列の最低位の階層レベルを”1”とし、階層レベルが高くなるに応じてカウントアップされるものとする。また、受信端末60aの表示出力の能力が低く、最低位の階層レベルに対応する階層ストリームすらも許容できない場合は、能力別許容階層レベル値La(MWH)を”0”とする。
【0085】
本選定処理の詳細については、図10に示す本発明の解像度に関する許容階層レベル値選定の動作フローチャートを参照。
S7202. 受信端末60aの端末能力情報の一つである最大ビットレートNa(MBR)について、上記ステップS7201と同様な処理手順で、受信端末60aが全受信端末からのストリームデータを同時に表示出力できる階層ストリーム列内の階層レベル値La(MBR)を選定する。ここで、能力別許容階層レベル値La(MBR)の値は、階層ストリーム列の最低位の階層レベルを”1”とし、階層レベルが高くなるに応じてカウントアップされるものとする。また、受信端末60aの表示出力の能力が低く、最低位の階層レベルに対応する階層ストリームすらも許容できない場合は、能力別許容階層レベル値La(MBR)を”0”とする。
【0086】
本選定処理の詳細については、図11に示す本発明のビットレートに関する許容階層レベル値選定の動作フローチャートを参照。
S7203. 受信端末60aの端末能力情報の一つである最大フレームレートNa(MFR)について、上記ステップS7202と同様な処理手順で、受信端末60aが全受信端末からのストリームデータを同時に表示出力できる階層ストリーム列内の階層レベル値La(MFR)を選定する。ここで、能力別許容階層レベル値La(MFR)の値は、階層ストリーム列の最低位の階層レベルを”1”とし、階層レベルが高くなるに応じてカウントアップされるものとする。また、受信端末60aの表示出力の能力が低く、最低位の階層レベルに対応する階層ストリームすらも許容できない場合は、能力別許容階層レベル値La(MFR)を”0”とする。
【0087】
本選定処理の詳細については、図12に示す本発明のフレームレートに関する許容階層レベル値選定の動作フローチャートを参照。
S7204. 上記ステップS7201、S7202、S7203で選定された階層レベル値La(MWH)、La(MBR)、La(MFR)の最小の値が”0”より大か否かを判定し、”0”より大、つまり”1”以上のときは(YES)、受信端末60aの表示出力の能力で許容できる適切な階層レベルが選択されたことを意味し、次のステップS7205へ移行する。
【0088】
”0”より大でない、つまり、”0”のときは(NO)、受信端末60aの表示出力の能力で許容できる適切な階層レベルが選択できず、最低位の階層レベルの階層ストリームだけに限定しても全送信端末からのストリームデータを同時に表示出力できないことを意味し、ステップS7209へ移行する。
S7205. 選定された能力別許容階層レベル値La(MWH)、La(MBR)、La(MFR)の最小値を、受信端末60aが許容できる端末許容階層レベル値Laと見なして、コンポジット情報生成記憶部72aが保持するコンポジット情報Caに設定する。
【0089】
S7206. 全送信端末について、該送信端末からのストリームデータを表示出力する受信端末60aの画面表示開始位置を生成し、コンポジット情報生成記憶部72aが保持するコンポジット情報Caに設定する。また、全送信端末について、出力抑制区間検出記憶部に保持されている出力抑制区間情報を参照し、コンポジット情報生成記憶部72aが保持するコンポジット情報Caに設定する。
【0090】
S7207. コンポジット情報生成記憶部72aが保持するコンポジット情報Caを基に、受信端末60a用の端末コンポジット情報Vaを作成し、受信端末60aへ送信する。
S7208. 受信端末60aへのストリームデータの配信を行うため、階層選択部73aを起動して、処理を終了する。
S7209. 受信端末60aの端末許容階層レベル値Laを最低位レベルの”1”として、コンポジット情報生成記憶部72aが保持するコンポジット情報Caに設定する。
【0091】
S7210. 配信選択情報受信記憶部74aに保持されている配信選択情報Zaに基づいて、受信端末60aへの表示出力の対象とする送信端末を選択する。選択された送信端末について、対応する階層化情報を基に該送信端末からのストリームデータを表示出力する受信端末60aの画面表示開始位置、および、出力抑制区間情報をを作成し、コンポジット情報Caとしてコンポジット情報生成記憶部72aに記憶した後、ステップS7207へ移行する。
【0092】
上記の図9の動作フローチャートは、受信端末60aに対応するコンポジット情報生成記憶部72aについて説明したが、他の受信端末60a以外の受信端末に対応するコンポジット情報生成記憶部についても同様である。
図10は、本発明のLa(MWH)選定処理の動作フローチャートで、上記図9の動作フローチャートのステップS7201の詳細を示しており、各処理ステップの内容は次の通り。
【0093】
S7201−1. 階層レベル値を一時的に格納する変数をiで表し、初期値として”1”を設定しておく。
S7201−2. 変数iの値が、全バッファに保持されている階層ストリーム列の最大階層レベル値よりも大きいか否かを判定する。ここで、階層ストリーム列の最大階層レベル値は、階層ストリーム列の意味から考えて”2”以上である。
【0094】
変数iの値が、最大階層レベル値よりも大きい場合は(YES)、受信端末60aの許容可能な階層レベル値La(MWH)を確定するために、ステップS7201−5へ移行し、変数iの値が、最大階層レベル値より大きくない、つまり、最大階層レベル値以下の場合は(NO)、次のステップS7201−3へ移行して処理を続行する。
S7201−3. 全送信端末から受信した階層化情報を基に、階層レベルiの解像度の合計値WH(i)を算出する。
【0095】
図4に示す本発明の階層化情報の構成に記載した表記を用いると、
WH(i)= Xa(i,WH) + Xb(i,WH) + ・・・ + Xz(i,WH)
となる。
S7201−4. 上記ステップS7201−3で算出した階層レベルiの解像度の合計値WH(i)が、図3に示す受信端末60aの能力情報Naに設定されている能力値Na(MWH)より大か否かを判定し、大の場合は(YES)、受信端末60aの許容可能な階層レベル値La(MWH)を確定するために、次のステップS7201−5へ移行する。
【0096】
合計値WH(i)がNa(MWH)より大でない場合は(NO)、次の階層の処理を行うためにステップS7201−6へ移行する。
S7201−5. 上記ステップS7201−4の判定で、階層レベルiが最大階層レベル値を超えたか、または、階層レベルiの解像度の合計値WH(i)が受信端末60aの能力値Na(MWH)を超えたため、1レベル低い階層レベル”i−1”の値を、受信端末60aが許容可能な階層レベル値La(MWH)とみなし、La(MWH)に”i−1”を設定して、処理を終了する。
【0097】
S7201−6. 次の階層の処理のために、変数iをカウントアップして、ステップS7201−2へ移行する。
図11は、本発明のLa(MBR)選定処理の動作フローチャートで、上記図9の動作フローチャートのステップS7202の詳細を示しており、次の処理ステップからなる。
【0098】
S7202−1. 階層レベル値を一時的に格納する変数をiで表し、初期値として”1”を設定しておく。
S7202−2. 変数iの値が、全バッファに保持されている階層ストリーム列の最大階層レベル値よりも大きいか否かを判定する。ここで、階層ストリーム列の最大階層レベル値は、階層ストリーム列の意味から考えて”2”以上である。
【0099】
変数iの値が、最大階層レベル値よりも大きい場合は(YES)、受信端末60aの許容可能な階層レベル値La(MBR)を確定するために、ステップS7202−5へ移行し、変数iの値が、最大階層レベル値より大きくない、つまり、最大階層レベル値以下の場合は(NO)、次のステップS7202−3へ移行して処理を続行する。
S7202−3. 全送信端末から受信した階層化情報を基に、階層レベルiの解像度の合計値BR(i)を算出する。
【0100】
図4に示す本発明の階層化情報の構成に記載した表記を用いると、
BR(i)= Xa(i,BR) + Xb(i,BR) + ・・・ + Xz(i,BR)
となる。
S7202−4. 上記ステップS7202−3で算出した階層レベルiの解像度の合計値BR(i)が、図3に示す受信端末60aの能力情報Naに設定されている値Na(MBR)より大か否かを判定し、大の場合は(YES)、受信端末60aの許容可能な階層レベル値La(MBR)を確定するために、次のステップS7202−5へ移行する。
【0101】
合計値BR(i)がNa(MBR)より大でない場合は(NO)、次の階層の処理を行うためにステップS7202−6へ移行する。
S7202−5. 上記ステップS7202−4の判定で、階層レベルiが最大階層レベル値を超えたか、または、階層レベルiの解像度の合計値BR(i)が受信端末60aの能力値Na(MBR)を超えたため、1レベル低い階層レベル”i−1”の値を、受信端末60aが許容可能な階層レベル値La(MBR)とみなし、La(MBR)に”i−1”を設定して、処理を終了する。
【0102】
S7202−6. 次の階層の処理のために、変数iをカウントアップして、ステップS7202−2へ移行する。
図12は、本発明のLa(MFR)選定処理の動作フローチャートで、上記図9の動作フローチャートのステップS7203の詳細を示しており、次の処理ステップからなる。
【0103】
S7203−1. 階層レベル値を一時的に格納する変数をiで表し、初期値として”1”を設定しておく。
S7203−2. 変数iの値が、全バッファに保持されている階層ストリーム列の最大階層レベル値よりも大きいか否かを判定する。ここで、階層ストリーム列の最大階層レベル値は、階層ストリーム列の意味から考えて”2”以上である。
【0104】
変数iの値が、最大階層レベル値よりも大きい場合は(YES)、受信端末60aの許容可能な階層レベル値La(MFR)を確定するために、ステップS7203−5へ移行し、変数iの値が、最大階層レベル値より大きくない、つまり、最大階層レベル値以下の場合は(NO)、次のステップS7203−3へ移行して処理を続行する。
S7203−3. 全送信端末から受信した階層化情報を基に、階層レベルiの解像度の合計値FR(i)を算出する。
【0105】
図4に示す本発明の階層化情報の構成に記載した表記を用いると、
FR(i)= Xa(i,FR) + Xb(i,FR) + ・・・ + Xz(i,FR)
となる。
S7203−4. 上記ステップS7203−3で算出した階層レベルiの解像度の合計値FR(i)が、図3に示す受信端末60aの能力情報Naに設定されている値Na(MFR)より大か否かを判定し、大の場合は(YES)、受信端末60aの許容可能な階層レベル値La(MFR)を確定するために、次のステップS7203−5へ移行する。
【0106】
合計値FR(i)がNa(MFR)より大でない場合は(NO)、次の階層の処理を行うためにステップS7203−6へ移行する。
S7203−5. 上記ステップS7203−4の判定で、階層レベルiが最大階層レベル値を超えたか、または、階層レベルiの解像度の合計値FR(i)が受信端末60aの能力値Na(MFR)を超えたため、1レベル低い階層レベル”i−1”の値を、受信端末60aが許容可能な能力別許容階層レベル値La(MFR)とみなし、La(MFR)に”i−1”を設定して、処理を終了する。
【0107】
S7203−6. 次の階層の処理のために、変数iをカウントアップして、ステップS7203−2へ移行する。
図13は、本発明の階層選択部の動作フローチャートで、受信端末60aに対応して設けられる階層選択部73aについての実施例を示している。
S7301. コンポジット情報生成記憶部72aに保持されているコンポジット情報Caから、各送信端末に対応して設けられたエントリを取り出す。
【0108】
取り出されたエントリは、前記図5のコンポジット情報の構成で示したように、送信端末識別情報、画面表示開始位置、出力抑制区間情報で構成されている。
S7302. 該エントリ内の出力抑制区間情報から、出力抑制区間か否かを判定し、出力抑制区間ならば(YES)、次のエントリの処理を行うためにステップS7303へ移行し、出力抑制区間でなければ(NO)、階層ストリームの選択と送信を行うために、次のステップS7303へ移行する。
【0109】
S7303. 該エントリに設定された送信端末識別情報が示す送信端末からの階層ストリーム列が格納されているバッファより、コンポジット情報Caに設定されている許容階層レベルLaが示す階層までの階層ストリームを取り出し、受信端末60aへ送信する。
S7304. コンポジット情報Ca内に、未処理のエントリがあるか否か判定し、ある場合は(YES)、ステップS7301へ移行して、次の送信端末についての処理を行い、エントリがない場合は(NO)、処理を終了する。
【0110】
以上の階層選択部の処理内容については、受信端末60a以外の他の受信端末についても同様である。
以上が、本発明の第一の実施形態についての説明である。
図14は、本発明のストリーム配信方法(2)で、本発明の第二の実施形態を示している。
【0111】
第一の実施形態では、送信端末でストリームデータを階層符号化した後、階層ストリーム列と階層化情報をストリーム配信装置へ送信するのに対して、図14の本発明のストリーム配信方法(2)では、送信端末は階層符号化されていないストリームデータをストリーム配信装置へ送信する。
一以上の送信端末および一以上の受信端末がネットワーク40を介してストリーム配信装置70Aに接続され、送信端末から送信されたストリームデータが、ストリーム配信装置70Aを経由して受信端末へ配信される。
【0112】
図14の実施例では、送信端末50a、50b、および、受信端末60a、60bの構成として示しているが、送信端末および受信端末とも一以上の任意の台数で構成することができる。
ストリーム配信装置70Aには、各送信端末に対応して階層化情報受信記憶部、二つのバッファ、トランスコード部および出力抑制区間検出記憶部が設けられ、各受信端末に対応して端末能力情報受信記憶部、配信選択情報受信記憶部、コンポジット情報生成記憶部および階層選択部が設けられる。
【0113】
図14に示す実施例では、送信端末50aに対応して階層化情報受信記憶部71a、バッファ77a、バッファ79a、トランスコード部78a、出力抑制区間検出記憶部76aが設けられ、受信端末60aに対応して端末能力情報受信記憶部75a、配信選択情報受信記憶部74a、コンポジット情報生成記憶部72a、階層選択部73aが設けられている。
【0114】
同様に、送信端末50bに対応して階層化情報受信記憶部71b、バッファ77b、バッファ79b、トランスコード部78b、出力抑制区間検出記憶部76bが設けられ、受信端末60bに対応して端末能力情報受信記憶部75b、配信選択情報受信記憶部74b、コンポジット情報生成記憶部72b、階層選択部73bが設けられている。
送信端末および受信端末が3台以上設けられる場合も同様である。
【0115】
送信端末50aは、階層符号化していないストリームデータSaとして、ストリーム配信装置70Aへ送信する。
送信端末50bについても、送信端末50aと同様に、階層符号化されていないストリームデータSbをストリーム配信装置70Aへ送信する。
ストリーム配信装置70Aは、送信端末50aから送信されてきたストリームデータSaをバッファ77aに格納した後、トランスコード部78aは一旦ストリームデータSaを復号した後、予め定められた目標階層数に従って階層符号化し、階層ストリーム列Uaとしてバッファ79aへ格納する。同時に、受信端末が表示出力するために必要な階層レベル毎の所要能力値を含んだ階層化情報Xaを生成して階層化情報受信記憶部71aへ引き渡す。また、出力抑制区間検出記憶部76aは表示出力を抑制できる時間帯を意味する出力抑制区間情報Paを検出して記憶する。
【0116】
送信端末50bから送信されてきたストリームデータSbを受信した場合も同様で、バッファ77bに格納したのち、トランスコード部78bは一旦ストリームデータSaを復号した後、予め定められた目標階層数に従って階層符号化し、階層ストリーム列Ubとしてバッファ79bへ格納する。同時に、受信端末が表示出力するために必要な階層レベル毎の所要能力値を含んだ階層化情報Xbを生成して階層化情報受信記憶部71bへ引き渡す。また、出力抑制区間検出記憶部76bは表示出力を抑制できる時間帯を意味する出力抑制区間情報Pbを検出して記憶する。
【0117】
ここで、目標階層数および階層レベル毎の所要能力値の決定は、次の二つの方法で実現することができる。
第一の方法は、受信端末の端末能力情報として設定される同一種類の能力値の内、値が異なる能力値の全受信端末に渡っての総数を目標階層数とし、その同一種類の値が異なる能力値を各階層レベルの所要能力値とするものである。
【0118】
第二の方法は、任意の数を目標階層数として設定し、全受信端末の端末能力情報に設定されている同一種類の能力値の中で、最高の能力値と最低の能力値を選択し、その最高の能力値と最低の能力値の間を、任意に設定した目標階層数で等分し、等分された能力値を各階層レベルの所要能力値とするものである。第二の方法では、目標階層数に等分できない場合も想定されるが、そのときは、等分された値に最も近い値に所要能力値を調整する。
【0119】
出力抑制区間検出記憶部76bは、表示出力を抑制できる時間帯を意味する出力抑制区間情報Pbを検出して記憶する。
出力抑制区間としては、音声ストリームデータの場合は、有効な音声情報が含まれていない区間を意味する無音区間があり、この場合は、音声ストリームデータを配信しなくても受信端末の表示出力に実質的な影響を与えない。また、動画ストリームデータの場合は、有効な画像の動きが見られない区間を意味する無動作区間があり、この場合は、動画ストリームデータを配信しなくても受信端末の表示出力には実質的な影響を与えない。
【0120】
端末能力情報受信記憶部75aは、受信端末60aから予め通知される受信端末60aの表示出力の能力を示す端末能力情報Naを受信して記憶し、配信選択情報受信記憶部74aは予め受信端末60aから通知される受信端末60aの配信選択情報Zaを受信して記憶する。この配信選択情報Zaは、前記端末能力情報Naで示されている受信端末60aの表示出力の能力では、各送信端末から配信されてくるストリームデータを同時には表示出力できないときに使用されるもので、受信端末60aへ配信するストリームデータを選択して限定するために用いる。
【0121】
端末能力情報受信記憶部75bおよび配信選択情報受信記憶部74bについても同様で、予め受信端末60bからそれぞれ端末能力情報Naおよび配信選択情報Zaを受信して記憶しておく。
コンポジット情報生成記憶部72aは、階層化情報受信記憶部に記憶されている各送信端末の階層化情報、および、端末能力情報記憶部75aに記憶されている受信端末60aの能力情報を参照して、受信端末60aが全送信端末からのストリームデータを同時に表示出力するために許容できる、全送信端末に共通な端末許容階層レベル値を選択する。そして、各送信端末から配信されたストリームデータを受信端末60aが表示出力するために必要な、各送信端末別のコンポジット情報を生成し、前記選定した端末許容階層レベル値および全送信端末についてのコンポジット情報を集めたものをコンポジット情報Caとし、コンポジット情報生成記憶部72aに保持する。この各送信端末別のコンポジット情報には、送信端末識別情報、ストリームデータを画面表示する際の画面表示開始位置、および、表示出力を抑制してよいか否かを示す出力抑制区間情報が含まれている。
【0122】
上記の端末許容階層レベル値が選択できなかった場合、つまり、最低位階層の階層ストリームに限定しても、受信端末60aの端末能力では、全送信端末からのストリームデータを同時には表示出力できない場合は、前記配信選択情報受信記憶部74aに保持されている配信選択情報Zaに従って、ストリームデータの配信処理の対象となる送信端末を限定し、その限定して選択された送信端末について、上記のコンポジット情報を生成して集めたものをコンポジット情報Caとして、コンポジット情報生成記憶部72aに保持する。
【0123】
図14に示す実施例では、コンポジット情報生成記憶部72aは、階層化情報受信記憶部71a、71bに記憶されている階層化情報と、端末能力情報記憶部75aに記憶されている受信端末60aの端末能力情報を参照し、受信端末60aが送信端末50a、50bからのストリームデータを同時に表示出力するために許容される端末許容階層レベル値を選定すると同時に、送信端末50a、50bについてのコンポジット情報を集めてコンポジット情報Caとして保持する。
【0124】
次に、階層選択部73aは、前記コンポジット情報Caに登録されている送信端末について、各送信端末からの階層ストリーム列の中の最低位の階層から前記端末許容階層レベル値が示す階層までの階層ストリームを選択し、各送信端末についての選択された階層ストリームから成る階層ストリーム列Taを受信端末60aへ送信する。同時に、前記コンポジット情報Caの中から、受信端末60aが各送信端末からのストリームデータを画面に配置するための情報である画面表示開始位置を抽出して端末コンポジット情報Taとし、受信端末60aへ送信する。
【0125】
コンポジット情報生成記憶部72bおよび階層選択部73bについても同様で、コンポジット情報生成記憶部72bは、各送信端末に対応する階層化情報受信記憶部に記憶されている各送信端末の階層化情報、および、端末能力情報記憶部75bに記憶されている受信端末60bの能力情報を参照して、受信端末60bが全送信端末からのストリームデータを同時に表示出力するために許容できる、全送信端末に共通な端末許容階層レベル値を選定する。そして、各送信端末から配信されたストリームデータを受信端末60bの表示出力するために必要な、各送信端末別のコンポジット情報を生成し、前記選定された端末許容階層レベル値と全送信端末についてのコンポジット情報を集めてコンポジット情報Cbとし、コンポジット情報生成記憶部72bに保持する。
【0126】
上記の端末許容階層レベル値が選定できなかった場合、つまり、最低位階層の階層ストリームに限定しても、受信端末60bの端末能力では、全送信端末からのストリームデータを同時には表示出力できない場合は、前記配信選択情報受信記憶部74bに保持されている配信選択情報Zbに従って、ストリームデータの配信処理の対象となる送信端末を限定し、その限定して選択された送信端末について、上記のコンポジット情報を生成して集めたものをコンポジット情報Cbとして、コンポジット情報生成記憶部72bに保持する。この場合は、端末許容階層レベル値を最低位の階層レベルに設定しておく。
【0127】
図14に示す実施例では、コンポジット情報生成記憶部72bは、階層化情報受信記憶部71a、71bに記憶されている階層化情報と、端末能力情報記憶部75bに記憶されている受信端末60bの端末能力情報を参照し、受信端末60bが送信端末50a、50bからのストリームデータを同時に表示出力するために許容される端末許容階層レベル値を選定し、送信端末50a、50bのコンポジット情報を生成して集めてコンポジット情報Cbとして保持する。
【0128】
次に、階層選択部73bは、前記コンポジット情報Cbに登録されている送信端末について、各送信端末からの階層ストリーム列の中の最低位の階層から前記端末許容階層レベル値が示す階層までの階層ストリームを選択し、各送信端末についての選択された階層ストリームから成る階層ストリーム列Tbを受信端末60bへ送信する。同時に、前記コンポジット情報Cbの中から、受信端末60bが各送信端末からのストリームデータを画面に配置するための情報である画面表示開始位置を抽出して端末コンポジット情報Tbとし、受信端末60bへ送信する。
【0129】
上記は送信端末数2、受信端末数2として説明したが、3以上の数の場合も同様である。
受信端末60aは、端末能力情報通知部61aが自端末の表示出力の能力を示す端末能力情報Naを予めストリーム配信装置70Aへ送信しておく。また、配信選択情報通知部65aは、最低位の階層ストリームだけ受信しても自端末の端末能力では全ての送信端末からのストリームデータを同時に表示できないときに、表示出力すべき送信端末を選択するための配信選択情報Zaを、予めストリーム配信装置70Aへ送信しておく。
【0130】
受信端末60aは、ストリーム配信装置70Aから送信されてきた端末コンポジット情報Vaを端末コンポジット情報受信記憶部62aに保持する。ここで、端末コンポジット情報Vaには、各送信端末の識別情報と、該送信端末からのストリームデータを表示出力する画面上の領域を識別する画面表示開始位置との対が含まれており、受信したストリームデータに含まれている送信端末を識別する情報をキーに検索することにより、該ストリームデータを表示出力すべき画面上の領域が特定できる。
【0131】
一方、ストリーム配信装置70Aで選択されて送信されてきた階層ストリーム列Taについては、復号部63aで復号された後、表示出力部64aが、端末コンポジット情報受信記憶部62aに記憶されている端末コンポジット情報Vaに従って表示出力する。
受信端末60bについても同様で、端末能力情報通知61bは端末能力情報Nbを予めストリーム配信装置70Aへ送信し、配信選択情報通知部65bは配信選択情報Zbを予めストリーム配信装置70Aへ送信しておき、ストリーム配信装置70Aから送信されてきた端末コンポジット情報Vbを端末コンポジット情報受信記憶部62bに保持する。一方、ストリーム配信装置70Aで選択されて送信されてきた階層ストリーム列Tbについては、復号部63bで復号された後、表示出力部64bが、端末コンポジット情報受信記憶部62bに記憶されている端末コンポジット情報Vbに従って表示出力する。
【0132】
図14の実施例では、送信端末と受信端末を別装置として表現しているが、多対地テレビ会議の場合のように、同一端末に送信端末および受信端末双方の機能を含めることもできる。その際は、ストリーム配信装置70Aのストリーム配信処理の対象には、ストリームデータの配信先となる端末からのストリームデータは含めない。例えば、送信端末50aと受信端末60aが同一の端末として構成された場合は、コンポジット情報生成記憶部72aおよび階層選択部73aは、送信端末50a以外の全ての送信端末からのストリームデータについて上記のストリーム配信の処理を行う。
【0133】
図14の実施例では、多対地テレビ会議の場合を想定して送信端末を複数台としているが、ストリーム放送などのように、送信端末数を1とすることもでき、この場合は、ストリーム配信装置70Aの機能を送信端末に組み込んで一体化した構成にすることもできる。
また、コンポジット情報生成記憶部に保持されるコンポジット情報、端末能力情報受信記憶部に記憶される端末能力情報、配信選択情報受信記憶部に記憶される配信選択情報は、受信端末毎に記憶領域を設けずに全受信端末についての情報を一括して記憶してもよい。
【0134】
同様に、階層化情報受信記憶部に記憶される送信端末毎の階層化情報、出力抑制区間検出記憶部に記憶される出力抑制区間情報は、全送信端末について一括して記憶してもよい。
図15は、本発明のストリーム配信方法による転送シーケンス(2)であり、図14に示す実施例に従って、処理ステップ毎に説明する。
【0135】
S01. 受信端末60aは、予め端末能力情報Naおよび配信選択情報Zaを、ストリーム配信装置70Aへ送信しておく。
ここで、端末能力情報Naは、受信端末60aの表示出力の能力を示す情報で、例えば図3に示した本発明の端末能力情報の構成では、最大解像度、最大ビットレートおよび最大フレームレートからなる。
【0136】
配信選択情報Zaは、前記端末能力情報Naに示される表示出力の能力では、全ての送信端末からのストリームデータを同時に受信端末60aに表示出力することができない、とストリーム配信装置70Aが判定したときに、受信端末60aに配信するストリームデータを選択して限定する際に使用する情報である。例えば、図8に示した配信選択情報の構成のように、各送信端末からのストリームデータの受信可否の情報、あるいは、各送信端末からのストリームデータを受け付ける優先順位を表す受信優先度の情報、として構成することができる。
【0137】
端末能力情報Na、配信選択情報Zaについては、図3の本発明の端末能力情報の構成および図8の本発明の配信選択情報の構成を参照。
S02. ストリーム配信装置70Aは、受信端末60aから受信した端末能力情報Naおよび配信選択情報Zaを、それぞれ、端末能力受信記憶部75aおよび配信選択情報受信記憶部74aに記憶する。
【0138】
S03. 上記ステップS01と同様に、受信端末60bは、予め端末能力情報Nbおよび配信選択情報Zbを、ストリーム配信装置70Aへ送信しておく。
S04. 上記ステップS02と同様に、ストリーム配信装置70Aは、受信端末60aから受信した端末能力情報Naおよび配信選択情報Zaを、それぞれ、端末能力受信記憶部75aおよび配信選択情報受信記憶部74aに記憶する。
【0139】
上記ステップS01〜S04の説明では、受信端末60aについての処理の後に受信端末60bの処理を記述した。ステップS01〜S02とステップS03〜S04の処理順序は、受信端末の送信タイミングT01により逆になる場合もあるが、処理内容は同様である。
S05. 送信端末50aは、階層符号化されていないストリームデータSaを配信装置70Aへ送信する。
【0140】
S06. ストリーム配信装置70Aは、受信したストリームデータSaをバッファ77aに格納後、一旦復号し、予め定められた目標階層レベル数に従って階層符号化して階層ストリーム列Uaとしてバッファ79aに格納する。同時に、階層ストリーム列Ua内の各階層ストリームを受信端末に表示出力するために必要な表示出力の所要能力値を含んでいる階層化情報Xaを生成して記憶する。また、受信端末への表示出力を抑制できる出力抑制区間情報Paを検出し、記憶する。
【0141】
S07. 上記ステップS05と同様に、送信端末50bは、階層符号化されていないストリームデータSbを配信装置70Aへ送信する。
S08. 上記ステップS06と同様に、ストリーム配信装置70Aは、受信したストリームデータSbをバッファ77bに格納後、一旦復号し、予め定められた目標階層レベル数に従って階層符号化して階層ストリーム列Ubとしてバッファ79bに格納する。同時に、階層ストリーム列Ub内の各階層ストリームを受信端末に表示出力するために必要な表示出力の所要能力値を含んでいる階層化情報Xbを生成して記憶する。また、受信端末への表示出力を抑制できる出力抑制区間情報Pbを検出し、記憶する。
【0142】
上記ステップS05〜S08の説明では、送信端末50aについての処理の後に送信端末50bの処理を記述した。ステップS05〜S06とステップS07〜S08の処理順序は、送信端末の送信タイミングT02により逆になる場合もあるが、処理内容は同様である。
S09. ストリーム配信装置70Aは、上記ステップS01で記憶されている受信端末60aの端末能力情報Naと配信選択情報Za、ステップS06およびS08で記憶されている階層化情報Xa、Xb、および、出力抑制区間情報Pa、Pbから、受信端末60aに対応するコンポジット情報Caを生成して、コンポジット情報生成記憶部72aに記憶する。コンポジット情報Caの詳細については図5の本発明のコンポジット情報の構成を、また、コンポジット情報生成記憶部72aの詳細については、図9の本発明のコンポジット情報生成記憶部の動作フローチャートを参照。
【0143】
ここで、受信端末60aの端末能力では、最下位の階層ストリームに限定しても、全送信端末からのストリームデータを同時には表示出力できないと判定された場合は、配信選択情報Zaにより配信対象外に選定された送信端末に関するコンポジット情報は、コンポジット情報Caに登録されない。
S10. ステップS09で生成したコンポジット情報Caから、受信端末60aが各送信端末からのストリームデータを表示出力する方法を示した端末コンポジット情報Vaを抽出して受信端末60aへ送信する。
【0144】
端末コンポジット情報Vaの詳細については、図6の本発明の端末コンポジット情報の構成を参照。
また、送信端末50a用のバッファ79aに格納されている階層ストリーム列Ua、および、送信端末50b用のバッファ79bに格納されている階層ストリーム列Ubから、コンポジット情報Caに設定されている受信端末60aの端末許容階層レベル値Laに相当する階層レベルまでの階層ストリームを抽出し、抽出した階層ストリーム列Taを受信端末60aへ送信する。
【0145】
従って、上記ステップS09の処理で配信選択情報受信記憶部74aに保持されている配信選択情報Zaが有効となって配信対象からはずされている送信端末については、コンポジット情報Caに登録されていないため、該送信端末からの階層ストリーム列は、受信端末60aへ配信されない。
図15に示す実施例では、送信端末50a、50bは配信対象からはずされていない前提で記述しており、送信端末50a用のバッファ79aに格納されている階層ストリーム列Ua、および、送信端末50b用のバッファ79bに格納されている階層ストリーム列Ubから、コンポジット情報Caに設定されている受信端末60aの端末許容階層レベル値Laに相当する階層レベルまでの階層ストリームを選択して階層ストリーム列Taとし、受信端末60aへ送信する。
【0146】
上記は、送信端末数が2の場合について述べたが、送信端末数が1の場合および3以上の場合も同様で、全送信端末からの端末許容階層レベル値La以下の階層ストリームの列が、階層ストリーム列Taとして受信端末60aへ送信される。
S11. 受信端末60aは、ストリーム配信装置70Aより送信されてきた階層ストリーム列Taを復号した後、同じくストリーム配信装置70Aから通知された端末コンポジット情報Vaに含まれている情報に従って、各送信端末からのストリームデータを同時に表示出力する。
【0147】
端末コンポジット情報Vaには、図6の本発明の端末コンポジット情報の構成に示されているように、各送信端末毎の送信端末識別情報と画面表示開始位置が含まれており、受信端末60aは、この端末コンポジット情報Vaを基に、各送信端末からのストリームデータを同時に表示出力することができる。
受信端末60aへの表示出力については、図7の本発明の受信端末の表示出力例を参照。
【0148】
S12. 上記ステップS09と同様に、ストリーム配信装置70Aは、上記ステップS01で記憶されている受信端末60bの端末能力情報Nbと配信選択情報Zb、ステップS06およびS08で記憶されている送信端末50a、50bの階層化情報Xa、Xb、および、出力抑制区間情報Pa、Pb1から、受信端末60bに対応するコンポジット情報Cbを生成して、コンポジット情報生成記憶部72bに記憶する。
【0149】
S13. 上記ステップS12で生成したコンポジット情報Cbから、受信端末60bが各送信端末からのストリームデータを表示出力する領域を指示した端末コンポジット情報Vbを抽出して受信端末60bへ送信する。
一方、送信端末50a用のバッファ74aに格納されている階層ストリーム列Ua、および、送信端末50b用のバッファ74bに格納されている階層ストリーム列Ubから、コンポジット情報Cbに含まれている受信端末60bの端末許容階層レベル値Lbに相当する階層レベルまでの階層ストリームを抽出し、抽出した階層ストリーム列Tbを受信端末60bへ送信する。
【0150】
S14. 受信端末60bは、ストリーム配信装置70Aより送信されてきた階層ストリーム列Tbを復号した後、同じくストリーム配信装置70Aから通知された端末コンポジット情報Vbに含まれている情報に従って、各送信端末からのストリームデータを同時に表示出力する。
上記ステップS09〜S14の説明では、受信端末60aについての処理の後に受信端末60bの処理を記述した。ステップS09〜S11とステップS12〜S14の処理順序は、ストリーム配信装置の送信タイミングT03により逆になる場合もあるが、処理内容は同様である。
【0151】
S15.上記ステップS05〜S14の処理ステップを繰り返す。
ステップS05〜S14の繰り返しの方法としては、全送信端末から送信されてくるストリームデータを一旦バッファに格納しておき、ストリーム配信装置において、全送信端末から受信されるストリームデータを欠損させない程度の充分短い周期で上記ステップS06〜S11の処理を行うようにして実現することができる。
【0152】
上記の説明では、送信端末数を2、受信端末数を2として説明したが、2以外の数の場合も同様である。
図3〜図13に示した実施例については、図14の本発明のストリーム配信方法(2)に示した本発明の第二の実施形態でも同様であり、説明を割愛する。
以上の本発明の詳細な説明では、受信端末60aにストリームデータが配信されて表示出力される場合を重点に説明したが、受信端末60a以外の他の受信端末に配信して表示出力する場合も同様である。
【0153】
上記の実施例では、送信端末数および受信端末数とも2として説明したが、送信端末および受信端末とも1以上の任意の数でも同様に本発明は適用できる。
また、階層符号化したストリームデータを送信する送信端末と、階層符号化していないストリームデータを送信する送信端末とが混在してストリーム配信装置に接続される場合についても、本発明の第一の実施形態と第二の実施形態を組み合わせることにより、容易に実現できる。
【0154】
上記の本発明の実施例で示した図3〜図13の実現方法については、様々な変形が可能であるが、本発明は同様に適用できる。
(付記1) ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、
前記送信端末は前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解し、
前記端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報として、前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信し、
前記ストリーム配信装置は、前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、
各送信端末からのストリームデータの表示出力領域を指定する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、
前記受信端末は、前記端末コンポジット情報に従って前記端末階層ストリーム列を表示出力する、
ことを特徴とするストリーム配信方法。
【0155】
(付記2) ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、
前記ストリーム配信装置は、前記端末能力情報を基に、受信したストリームデータを階層符号化するための目標階層数および各階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を決定して階層化情報として保持し、
前記受信したストリームデータを復号した後、前記階層化情報に基づいて階層符号化して階層ストリーム列とし、
前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、
前記端末階層ストリーム列を表示出力する受信端末内の表示出力領域を指示する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、
前記受信端末は、前記端末コンポジット情報に従って、前記端末階層ストリーム列を表示出力する、
ことを特徴とするストリーム配信方法。
【0156】
(付記3) 付記2に記載のストリーム配信方法において、
前記目標階層数は、全ての受信端末についての前記端末能力情報内の同一種類の能力値についての異なる値の総数とし、
全ての受信端末についての前記端末能力情報内の同一種類の能力値の異なる値を、各階層ストリームの所要能力値とする、
ことを特徴とするストリーム配信方法。
【0157】
(付記4) 付記2に記載のストリーム配信方法において、
前記目標階層数は予め設定した任意の数とし、
全ての受信端末についての前記端末能力情報内の同一種類の能力値の中で、最高位の値と最下位の値を前記目標階層数で等分した値を、各階層ストリームの所要能力値とする、
ことを特徴とするストリーム配信方法。
【0158】
(付記5) 付記1ないし付記4のいずれかに記載のストリーム配信方法において、
前記端末階層ストリーム列の選択は、前記階層化情報に含まれる所要能力値の種類毎に、前記受信端末の端末能力情報内の対応する種類の能力値を超えない最高位の階層レベルを選定して能力別許容階層レベルとし、
選定された一以上の前記能力別許容階層レベルの中から、最も低い階層レベルを選定して端末許容階層レベルとし、
最低位の階層レベルから前記端末許容階層レベルまでの間の階層ストリームを選択する、
ことを特徴とするストリーム配信方法。
【0159】
(付記6) 付記1ないし付記5のいずれかに記載のストリーム配信方法において、
前記受信端末は、前記受信端末へ配信するストリームデータを選択するための配信選択情報を、前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は全受信端末についての前期配信選択情報を保持し、
前記ストリーム配信装置は、前記端末許容階層レベルの選定において、前記階層化情報の同一階層レベルの該当する種類の前記所要能力値を全送信端末について合計した値を算出する際、最低位の階層レベルに限定しても、前記合計した値が前記受信端末の端末能力情報内の対応する種類の能力値を超える場合は、
前記端末許容階層レベルを最低位の階層レベルとし、前記配信選択情報に基づいて前記端末階層ストリーム列を選択する、
ことを特徴とするストリーム配信方法。
【0160】
(付記7) 付記1ないし付記6のいずれかに記載のストリーム配信方法において、
前記ストリーム配信装置は、前記送信端末から送信されてきたストリームデータから、予め選定された種類のストリームデータについて、前記受信端末への表示出力を抑制できる時間帯を示す出力抑制区間を検出し、
前記出力抑制区間の間は、前記送信端末からの前記種類のストリームデータを前記端末階層ストリーム列に含めない、
ことを特徴とするストリーム配信方法。
【0161】
(付記8) 送信端末から送信されてくるストリームデータを受信端末へ配信して表示出力するストリーム配信装置において、
前記受信端末から予め通知される一以上の種類の表示出力の能力値を含む端末能力情報を、全受信端末について保持し記憶する手段と、
前記送信端末から送信されてくる階層符号化されたストリームデータである階層ストリーム列、および、前記階層ストリーム列内の階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を含んだ階層化情報を受信する手段と、
前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とする手段と、
各送信端末からのストリームデータの表示出力領域を指示する端末コンポジット情報を生成する手段と、
前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信する手段を備える、
ことを特徴とするストリーム配信装置。
【0162】
(付記9) 送信端末から送信されてくるストリームデータを受信端末へ配信して表示出力するストリーム配信装置において、
前記受信端末から予め通知される一以上の種類の表示出力の能力値を含む端末能力情報を、全受信端末について保持し記憶する手段と、
前記端末能力情報を基に、受信したストリームデータを階層符号化するための目標階層数および各階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を決定して階層化情報として保持する手段と、
前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とする手段と、
各送信端末からのストリームデータの表示出力領域を指示する端末コンポジット情報を生成する手段と、
前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信する手段を備える
ことを特徴とするストリーム配信装置。
【0163】
(付記10) 付記8ないし付記9のいずれかに記載のストリーム配信装置において、
前記受信端末へ配信するストリームデータを選択するための配信選択情報を、予め前記受信端末から受信して保持する手段と、
前記端末許容階層レベルの選定において、最低階層レベルに選定しても前記受信端末が全ての送信端末からのストリームデータを同時に表示出力できない場合は、前記配信選択情報に基づいて前記端末階層ストリーム列を選択する手段を備える
ことを特徴とするストリーム配信装置。
【0164】
(付記11) 付記8ないし付記10のいずれかに記載のストリーム配信装置において、
前記送信端末から送信されてきたストリームデータから、予め選定された種類のストリームデータについて、前記受信端末への表示出力を抑制できる時間帯を示す出力抑制区間を検出する手段と、
前記出力抑制区間の間は、前記送信端末からの前記種類のストリームデータを除外して前記端末階層ストリーム列を選択する手段を備える
ことを特徴とするストリーム配信装置。
【0165】
(付記12) ストリームデータを、ストリーム配信装置を中継して受信端末へ配信して表示出力する送信端末において、
前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解する手段と、
前記受信端末が保持する端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報とする手段と、
前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信する手段を備える
ことを特徴とする送信端末。
【0166】
(付記13) 送信端末よりストリーム配信装置を中継して配信されてくるストリームデータを受信して表示出力する受信端末において、
一以上の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知する手段と、
前記ストリーム配信装置から送信されてくる、各送信端末からのストリームデータの表示出力領域を特定する情報を含んだ端末コンポジット情報を受信して保持する手段と、
前記端末コンポジット情報に従って、前記ストリーム配信装置から送信されてくる階層符号化されたストリームデータを復号して表示出力する手段を備える
ことを特徴とする受信端末。
【0167】
【発明の効果】
本発明は、ストリームデータの配信において、一以上の送信端末から送信される階層符号化されたストリームデータを、受信端末の能力に適合した形に階層ストリームの範囲を選択して配信し、全送信端末からのストリームデータを同時に受信端末へ表示出力できるよう構成した。
【0168】
これにより、複数の送信端末からの階層符号化されたストリームデータを各受信端末へ同時に表示出力する多対地テレビ会議についても、ストリーム配信装置の負荷を抑制しながら、かつ、受信端末の能力に適合した効率的なストリーム配信が行えるようになる。
また、本発明では、送信端末が階層符号化されてないストリームデータを送信してくる場合についても、ストリーム配信装置において適切な階層レベル数に階層符号化し、各受信端末の能力に適合した階層化されたストリームデータを配信するように構成した。
【0169】
これにより、階層符号化に対応していない端末からのストリームデータについても、受信端末の能力に適合した形でのストリーム配信が可能となり、多様な種類の端末に柔軟に対応できるストリーム配信システムの構築が可能となる。
【図面の簡単な説明】
【図1】本発明のストリーム配信方法(1)
【図2】本発明のストリーム配信方法による転送シーケンス(1)
【図3】本発明の端末能力情報の構成
【図4】本発明の階層化情報の構成
【図5】本発明のコンポジット情報の構成
【図6】本発明の端末コンポジット情報の構成
【図7】本発明の受信端末の表示出力例
【図8】本発明の配信選択情報の構成
【図9】本発明のコンポジット情報生成記憶部の動作フローチャート
【図10】本発明の許容階層レベル値選定の動作フローチャート(1)
【図11】本発明の許容階層レベル値選定の動作フローチャート(2)
【図12】本発明の許容階層レベル値選定の動作フローチャート(3)
【図13】本発明の階層選択部の動作フローチャート
【図14】本発明のストリーム配信方法(2)
【図15】本発明のストリーム配信方法による転送シーケンス(2)
【図16】階層符号化の概要
【図17】従来技術のストリーム配信方法
【符号の説明】
10a,10b 従来技術の送信端末
11a,11b 従来技術のストリーム送信部
20a,20b 従来技術の受信端末
21a,21b 従来技術の端末能力情報通知部
22a,22b 従来技術の受信端末の復号部
23a,23b 従来技術の表示出力部
30 従来技術のストリーム配信装置
31a,31b 従来技術の復号部
32a,32b 従来技術の合成部
33a,33b 従来技術の符号化部
34a,34b 従来技術のバッファ
35a,35b 従来技術の端末能力情報受信記憶部
40 ネットワーク
50a,50b,50z 送信端末
51a,51b 階層ストリーム生成送信部
52a,52b 階層化情報通知部
53a,53b ストリーム送信部
60a,60b,60z 受信端末
61a,61b 端末能力情報通知部
62a,62b 端末コンポジット情報受信記憶部
63a,63b 受信端末の復号部
64a,64b 表示出力部
65a,65b 配信選択情報通知部
70,70A ストリーム配信装置
71a,71b 階層化情報受信記憶部
72a,72b コンポジット情報生成記憶部
73a,73b 階層選択部
74a,74b 配信選択情報受信記憶部
75a,75b 端末能力情報受信記憶部
76a,76b 出力抑制区間検出記憶部
77a,77b バッファ
78a,78b トランスコード部
79a,79b バッファ
Na,Nb 端末能力情報
Sa,Sb 階層化されていないストリームデータ
Ta,Tb 端末階層ストリーム列
Ua,Ub 階層ストリーム列
Va,Vb 端末コンポジット情報
Xa,Xb 階層化情報
Za,Zb 配信選択情報
Claims (5)
- ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、
前記送信端末は前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解し、
前記端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報として、前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信し、
前記ストリーム配信装置は、前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、
各送信端末からのストリームデータの表示出力領域を指定する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、
前記受信端末は、前記端末コンポジット情報に従って前記端末階層ストリーム列を表示出力する、
ことを特徴とするストリーム配信方法。 - ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、
前記ストリーム配信装置は、前記端末能力情報を基に、受信したストリームデータを階層符号化するための目標階層数および各階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を決定して階層化情報として保持し、
前記受信したストリームデータを復号した後、前記階層化情報に基づいて階層符号化して階層ストリーム列とし、
前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、
前記端末階層ストリーム列を表示出力する受信端末内の表示出力領域を指示する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、
前記受信端末は、前記端末コンポジット情報に従って、前記端末階層ストリーム列を表示出力する、
ことを特徴とするストリーム配信方法。 - 送信端末から送信されてくるストリームデータを受信端末へ配信して表示出力するストリーム配信装置において、
前記受信端末から予め通知される一以上の種類の表示出力の能力値を含む端末能力情報を、全受信端末について保持し記憶する手段と、
前記送信端末から送信されてくる階層符号化されたストリームデータである階層ストリーム列、および、前記階層ストリーム列内の階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を含んだ階層化情報を受信する手段と、
前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とする手段と、
各送信端末からのストリームデータの表示出力領域を指示する端末コンポジット情報を生成する手段と、
前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信する手段を備える、
ことを特徴とするストリーム配信装置。 - ストリームデータを、ストリーム配信装置を中継して受信端末へ配信して表示出力する送信端末において、
前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解する手段と、
前記受信端末が保持する端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報とする手段と、
前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信する手段を備える
ことを特徴とする送信端末。 - 送信端末よりストリーム配信装置を中継して配信されてくるストリームデータを受信して表示出力する受信端末において、
一以上の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知する手段と、
前記ストリーム配信装置から送信されてくる、各送信端末からのストリームデータの表示出力領域を特定する情報を含んだ端末コンポジット情報を受信して保持する手段と、
前記端末コンポジット情報に従って、前記ストリーム配信装置から送信されてくる階層符号化されたストリームデータを復号して表示出力する手段を備える
ことを特徴とする受信端末。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003046599A JP4329358B2 (ja) | 2003-02-24 | 2003-02-24 | ストリーム配信方法、及びストリーム配信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003046599A JP4329358B2 (ja) | 2003-02-24 | 2003-02-24 | ストリーム配信方法、及びストリーム配信システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004260362A true JP2004260362A (ja) | 2004-09-16 |
JP4329358B2 JP4329358B2 (ja) | 2009-09-09 |
Family
ID=33113062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003046599A Expired - Fee Related JP4329358B2 (ja) | 2003-02-24 | 2003-02-24 | ストリーム配信方法、及びストリーム配信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4329358B2 (ja) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005333358A (ja) * | 2004-05-19 | 2005-12-02 | Ntt Communications Kk | 画像通信装置、その処理方法及びクライアント装置並びにプログラム |
JP2006279220A (ja) * | 2005-03-28 | 2006-10-12 | Kddi Corp | 多地点会議装置 |
WO2008047929A1 (en) * | 2006-10-16 | 2008-04-24 | Sharp Kabushiki Kaisha | Methods and systems for signaling multi-layer bitstream data |
JP2009518956A (ja) * | 2005-12-07 | 2009-05-07 | マイクロソフト コーポレーション | メディアエンコーダおよびデコーダの間のフィードバックおよびフレーム同期 |
JP2009518996A (ja) * | 2005-09-07 | 2009-05-07 | ヴィドヨ,インコーポレーテッド | 低遅延かつ分散した会議アプリケーション向けコンファレンスサーバアーキテクチャのためのシステムおよび方法 |
JP2009521880A (ja) * | 2005-12-22 | 2009-06-04 | ヴィドヨ,インコーポレーテッド | スケーラブルなビデオ符号化を用いて、またスケーラブルなテレビ会議サーバを複合してテレビ会議を行うためのシステムおよび方法 |
JP2009539194A (ja) * | 2006-05-31 | 2009-11-12 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | 仮想コラボレーションシステムを管理するシステム及び方法 |
JP2010148092A (ja) * | 2008-12-22 | 2010-07-01 | Korea Electronics Telecommun | チャンネル変更のためのiptvサービス方法および装置 |
JPWO2008114393A1 (ja) * | 2007-03-19 | 2010-07-01 | 富士通株式会社 | ビットストリーム変換方法、ビットストリーム変換装置、ビットストリーム結合装置、ビットストリーム分割プログラム、ビットストリーム変換プログラム及びビットストリーム結合プログラム |
JP2011521570A (ja) * | 2008-05-23 | 2011-07-21 | 華為技術有限公司 | マルチポイント会議の制御方法及び装置 |
US7996524B2 (en) | 2006-04-13 | 2011-08-09 | International Business Machines Corporation | Controlling external communication of embedded device using proxy server |
JP2011525770A (ja) * | 2008-06-23 | 2011-09-22 | ラドヴィジョン リミテッド | カスケード接続のマルチポイントテレビ会議装置を提供するためのシステム、方法及び媒体 |
JP2012512561A (ja) * | 2008-12-15 | 2012-05-31 | マイクロソフト コーポレーション | ビデオ会議レートマッチング |
US8279260B2 (en) | 2005-07-20 | 2012-10-02 | Vidyo, Inc. | System and method for a conference server architecture for low delay and distributed conferencing applications |
US8436889B2 (en) | 2005-12-22 | 2013-05-07 | Vidyo, Inc. | System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers |
US8502858B2 (en) | 2006-09-29 | 2013-08-06 | Vidyo, Inc. | System and method for multipoint conferencing with scalable video coding servers and multicast |
US8947492B2 (en) | 2010-06-18 | 2015-02-03 | Microsoft Corporation | Combining multiple bit rate and scalable video coding |
WO2015129550A1 (ja) * | 2014-02-28 | 2015-09-03 | 株式会社リコー | 伝送制御システム、伝送システム、伝送制御方法、及び記録媒体 |
JP2016082498A (ja) * | 2014-10-21 | 2016-05-16 | 三菱電機株式会社 | デジタル放送受信装置及び方法、並びにプログラム及び記録媒体 |
US9654751B2 (en) | 2006-12-21 | 2017-05-16 | Thomson Licensing | Method, apparatus and system for providing color grading for displays |
JP2018029338A (ja) * | 2016-08-16 | 2018-02-22 | Line株式会社 | ビデオカンファレンスのためのビデオストリーム提供方法およびコンピュータプログラム |
JP2018186583A (ja) * | 2012-08-27 | 2018-11-22 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 受信装置および受信方法 |
JP2020014256A (ja) * | 2014-08-07 | 2020-01-23 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
JP2020022194A (ja) * | 2014-07-31 | 2020-02-06 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
-
2003
- 2003-02-24 JP JP2003046599A patent/JP4329358B2/ja not_active Expired - Fee Related
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005333358A (ja) * | 2004-05-19 | 2005-12-02 | Ntt Communications Kk | 画像通信装置、その処理方法及びクライアント装置並びにプログラム |
JP2006279220A (ja) * | 2005-03-28 | 2006-10-12 | Kddi Corp | 多地点会議装置 |
JP4693096B2 (ja) * | 2005-03-28 | 2011-06-01 | Kddi株式会社 | 多地点会議装置 |
US8279260B2 (en) | 2005-07-20 | 2012-10-02 | Vidyo, Inc. | System and method for a conference server architecture for low delay and distributed conferencing applications |
US9338213B2 (en) | 2005-09-07 | 2016-05-10 | Vidyo, Inc. | System and method for a conference server architecture for low delay and distributed conferencing applications |
JP2009518996A (ja) * | 2005-09-07 | 2009-05-07 | ヴィドヨ,インコーポレーテッド | 低遅延かつ分散した会議アプリケーション向けコンファレンスサーバアーキテクチャのためのシステムおよび方法 |
JP2012239184A (ja) * | 2005-09-07 | 2012-12-06 | Vidyo Inc | 低遅延かつ分散した会議アプリケーション向けコンファレンスサーバアーキテクチャのためのシステムおよび方法 |
US8872885B2 (en) | 2005-09-07 | 2014-10-28 | Vidyo, Inc. | System and method for a conference server architecture for low delay and distributed conferencing applications |
JP2009518956A (ja) * | 2005-12-07 | 2009-05-07 | マイクロソフト コーポレーション | メディアエンコーダおよびデコーダの間のフィードバックおよびフレーム同期 |
JP2009521880A (ja) * | 2005-12-22 | 2009-06-04 | ヴィドヨ,インコーポレーテッド | スケーラブルなビデオ符号化を用いて、またスケーラブルなテレビ会議サーバを複合してテレビ会議を行うためのシステムおよび方法 |
US8436889B2 (en) | 2005-12-22 | 2013-05-07 | Vidyo, Inc. | System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers |
US7996524B2 (en) | 2006-04-13 | 2011-08-09 | International Business Machines Corporation | Controlling external communication of embedded device using proxy server |
JP2009539194A (ja) * | 2006-05-31 | 2009-11-12 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | 仮想コラボレーションシステムを管理するシステム及び方法 |
US8502858B2 (en) | 2006-09-29 | 2013-08-06 | Vidyo, Inc. | System and method for multipoint conferencing with scalable video coding servers and multicast |
CN101529911B (zh) * | 2006-10-16 | 2012-02-29 | 夏普株式会社 | 用于对多层比特流数据进行信号指示的方法和系统 |
JP2010507267A (ja) * | 2006-10-16 | 2010-03-04 | シャープ株式会社 | マルチレイヤ・ビットストリームデータを情報伝達するための方法およびシステム |
WO2008047929A1 (en) * | 2006-10-16 | 2008-04-24 | Sharp Kabushiki Kaisha | Methods and systems for signaling multi-layer bitstream data |
US9654751B2 (en) | 2006-12-21 | 2017-05-16 | Thomson Licensing | Method, apparatus and system for providing color grading for displays |
JPWO2008114393A1 (ja) * | 2007-03-19 | 2010-07-01 | 富士通株式会社 | ビットストリーム変換方法、ビットストリーム変換装置、ビットストリーム結合装置、ビットストリーム分割プログラム、ビットストリーム変換プログラム及びビットストリーム結合プログラム |
US8339440B2 (en) | 2008-05-23 | 2012-12-25 | Huawei Technologies Co., Ltd. | Method and apparatus for controlling multipoint conference |
JP2011521570A (ja) * | 2008-05-23 | 2011-07-21 | 華為技術有限公司 | マルチポイント会議の制御方法及び装置 |
JP2011525770A (ja) * | 2008-06-23 | 2011-09-22 | ラドヴィジョン リミテッド | カスケード接続のマルチポイントテレビ会議装置を提供するためのシステム、方法及び媒体 |
JP2012512561A (ja) * | 2008-12-15 | 2012-05-31 | マイクロソフト コーポレーション | ビデオ会議レートマッチング |
JP2010148092A (ja) * | 2008-12-22 | 2010-07-01 | Korea Electronics Telecommun | チャンネル変更のためのiptvサービス方法および装置 |
US8947492B2 (en) | 2010-06-18 | 2015-02-03 | Microsoft Corporation | Combining multiple bit rate and scalable video coding |
JP2018186583A (ja) * | 2012-08-27 | 2018-11-22 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 受信装置および受信方法 |
JPWO2015129550A1 (ja) * | 2014-02-28 | 2017-03-30 | 株式会社リコー | 伝送制御システム、伝送システム、伝送制御方法、及び記録媒体 |
WO2015129550A1 (ja) * | 2014-02-28 | 2015-09-03 | 株式会社リコー | 伝送制御システム、伝送システム、伝送制御方法、及び記録媒体 |
CN106165405A (zh) * | 2014-02-28 | 2016-11-23 | 株式会社理光 | 传输控制系统、传输系统、传输控制方法,以及记录介质 |
US10264131B2 (en) | 2014-02-28 | 2019-04-16 | Ricoh Company, Ltd. | Transmission control system, transmission system, and method of transmission control |
JP2020022194A (ja) * | 2014-07-31 | 2020-02-06 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
US11202087B2 (en) | 2014-07-31 | 2021-12-14 | Sony Corporation | Transmission device, transmission method, reception device, and reception method |
JP2020014256A (ja) * | 2014-08-07 | 2020-01-23 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
JP2016082498A (ja) * | 2014-10-21 | 2016-05-16 | 三菱電機株式会社 | デジタル放送受信装置及び方法、並びにプログラム及び記録媒体 |
JP2018029338A (ja) * | 2016-08-16 | 2018-02-22 | Line株式会社 | ビデオカンファレンスのためのビデオストリーム提供方法およびコンピュータプログラム |
JP2022079607A (ja) * | 2016-08-16 | 2022-05-26 | Line株式会社 | ビデオカンファレンスのビデオストリームを提供するサーバ、方法及びコンピュータプログラム |
JP7273217B2 (ja) | 2016-08-16 | 2023-05-12 | Line株式会社 | ビデオカンファレンスのビデオストリームを提供するサーバ、方法及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4329358B2 (ja) | 2009-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004260362A (ja) | ストリーム配信方法、ストリーム配信装置、送信端末及び受信端末 | |
CN1128595A (zh) | 发送端对多种业务进行唯一加密的方法和装置 | |
JP5781441B2 (ja) | マルチビットレートストリームを使用するビデオ会議のサブスクリプション | |
CN100591121C (zh) | 用于可升级媒体的可升级差错弹性drm | |
JPH06296278A (ja) | 多地点制御装置、テレビ会議端末装置及び多地点テレビ会議システム | |
NO318911B1 (no) | Distribuert sammensetting av sanntids-media | |
JP2003324418A (ja) | 画像処理装置、データ処理装置及びデータ処理方法 | |
WO2004093448A1 (ja) | 電子透かし入り動画像伝送システム及び電子透かし入り動画像伝送方法及び情報処理装置及び通信制御装置及び電子透かし入り動画像処理プログラム及び電子透かし入り動画像処理プログラムを格納した記憶媒体 | |
JP5437073B2 (ja) | 鍵を管理する方法及び装置並びに鍵を取得する方法及び装置 | |
JP5558481B2 (ja) | 複数のメディアトラックを介してアクセス可能になるメディアコンテンツを扱う技術 | |
CN102067551A (zh) | 媒体流处理 | |
Chang et al. | A sudoku-based secret image sharing scheme with reversibility | |
WO2012019647A1 (en) | Method and system for providing encrypted content to a plurality of user devices | |
AU721074B2 (en) | A method for the establishment of a common key for authorised persons by a central station | |
US20100054479A1 (en) | Drm key management system using multi-dimensional grouping techniques | |
JP5269984B2 (ja) | 暗号鍵生成装置 | |
US7522724B2 (en) | System and method of transmission of generalized scalable bit-streams | |
CN1689305A (zh) | 存储器 | |
Liu et al. | A novel encryption algorithm for high resolution video | |
JP5116599B2 (ja) | 階層型マルチキャスト配信のためのコンテンツ暗号化方法及び復号化方法並びにコンテンツ暗号化装置及び復号装置 | |
EP0706284A1 (en) | Image communicating apparatus | |
JP4748571B2 (ja) | 画像分散情報生成装置およびその合成装置 | |
JP4693040B2 (ja) | 画像分散情報生成装置およびその合成装置 | |
JP4693041B2 (ja) | 画像分散情報生成装置およびその合成装置 | |
US7415047B1 (en) | Methods for determining multiplex patterns |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040610 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040610 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090608 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |