JP2003179662A - データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム - Google Patents

データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム

Info

Publication number
JP2003179662A
JP2003179662A JP2001375222A JP2001375222A JP2003179662A JP 2003179662 A JP2003179662 A JP 2003179662A JP 2001375222 A JP2001375222 A JP 2001375222A JP 2001375222 A JP2001375222 A JP 2001375222A JP 2003179662 A JP2003179662 A JP 2003179662A
Authority
JP
Japan
Prior art keywords
data
server
receiving device
system clock
transfer rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001375222A
Other languages
English (en)
Other versions
JP4042396B2 (ja
JP2003179662A5 (ja
Inventor
Kenji Yamane
健治 山根
Satoshi Futenma
智 普天間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001375222A priority Critical patent/JP4042396B2/ja
Publication of JP2003179662A publication Critical patent/JP2003179662A/ja
Publication of JP2003179662A5 publication Critical patent/JP2003179662A5/ja
Application granted granted Critical
Publication of JP4042396B2 publication Critical patent/JP4042396B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 異なるシステムクロックに基づくサンプリン
グレートに従った異なるメディアの受信、同期再生を、
バッファオーバフロー、アンダーフローを発生させずに
可能としたシステムを提供する。 【解決手段】 データ受信端末が、1つのマスターサー
バのクロックとその他のスレーブサーバのクロック差を
各サーバから受信するパケットのタイムスタンプに基づ
いて算出し、算出値を転送レート変更用データとして格
納した転送レート変更メッセージを生成してスレーブサ
ーバに送信する。スレーブサーバは、メッセージに従っ
て、転送レートを変更する。本構成により、マスターサ
ーバのクロックに同期した複数サーバからの複数のメデ
ィア転送が可能となる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、データ通信システ
ム、データ送信装置、データ受信装置、および方法、並
びにコンピュータ・プログラムに関する。さらに詳細に
は、ストリーミングデータ転送における同期処理の改善
を図ったデータ通信システム、データ送信装置、データ
受信装置、および方法、並びにコンピュータ・プログラ
ムに関する。
【0002】
【従来の技術】昨今、インターネット通信など、様々な
通信媒体を介した画像、音声データ等のデータ転送が盛
んに行われている。特に、近年においては、インターネ
ット上のデータ転送において、従来から利用されている
ダウンロード型伝送方式に加えて、ストリーム型伝送方
式によるサービスが増加してきている。ダウンロード型
伝送方式においては、映像ファイルや音声ファイルとい
ったマルチメディアデータを伝送する場合、配信サーバ
からデータファイルを一旦受信側端末の記憶媒体にダウ
ンロードして、その後、記憶媒体から再生することにな
る。よって、この方式ではファイルを完全に転送が終わ
るまでは再生できず、長時間再生やリアルタイム再生な
どには不向きである。
【0003】一方、後者のストリーム型伝送方式では、
送信側から受信端末にデータ転送が行われている間に、
並列して受信データの再生処理を実行するものであり、
インターネット電話・遠隔テレビ会議・ビデオオンデマ
ンドといったインターネットサービスに利用されてい
る。
【0004】ストリーム型伝送方式は、例えば画像デー
タのMPEG圧縮処理により生成されるMPEGストリ
ームをIP(Internet Protocol)パケットに格納して
インターネット上を転送させて、PCやPDA、携帯電
話等の各通信端末において受信するシステム等において
使用され、開発が進んでいる。このような技術は、ビデ
オオンデマンドやライブ映像のストリーミング配信、あ
るいはビデオ会議、テレビ電話などのリアルタイム通信
において有効となる。
【0005】このようなストリーム型伝送方式に適した
インターネット技術に、IETF RFC1889で規定されている
プロトコル:RTP(Realtime Transport Protocol)が
ある。RTPに従ったデータ転送では、時間情報として
パケットにタイムスタンプを付加し、タイムスタンプの
参照により送信側と受信側の時間的関係の把握を行な
い、データ受信側において、パケット転送の遅延ゆらぎ
(ジッタ)などの影響を受けずに同期をとった再生を可
能としている。
【0006】このようなパケットを利用したデータ転送
において、複数の異なるデータ配信サーバから異なるデ
ータをそれぞれ配信して1つの受信端末において、これ
らの複数信号の同期した再生を行うシステムがある。例
えば画像データと音声データとを異なるデータ配信サー
バから送信し、PC、携帯端末等の受信端末装置におい
てこれらの信号を受信して、画像データと音声データと
の同期をとった再生を実行するような構成である。
【0007】インターネットにおいて、データ送信サイ
トから受信端末へ、データをストリーミング配信して、
受信端末において再生しようとするとき、データ送信サ
イトと受信端末のシステムクロックが同期している場合
は、メディア再生が時間のずれなく可能となるが、デー
タ送信サイトと受信端末のシステムクロックが同期して
いない場合、データ送信サイトのデータ転送レートと受
信端末のデータ出力レートが異なることになり、受信端
末においてデータ一時保管用のバッファのデータ溢れに
よる受信データの蓄積不能、すなわちバッファオーバー
フローが生じたり、再生用データの受信、バッファ蓄積
が間に合わない、すなわちバッファアンダーランが生じ
ることがある。
【0008】データ受信端末では、これらのエラー回復
処理として、例えばバッファアンダーランの場合は、受
信端末において同じ情報を再度表示あるいは出力し、ま
た、バッファオーバーフローの場合には、一旦受信した
ものの蓄積不能として廃棄したパケットの再送要求をデ
ータ送信サイトに要求するなどの処理を実行しなくては
ならない状態に陥る。また、このとき、送信者側でのメ
ディアの送信時刻と、受信者側での再生時刻が異なるな
どの不都合が生じる。
【0009】複数のデータ送信サイトから複数の受信端
末へそれぞれ、複数の異なるメディア、例えば画像デー
タと音声データとをストリーミング配信して、受信端末
においてこれら複数のメディアの同期再生を実行しよう
とするとき、上記のバッファオーバーフロー、パッファ
アンダーフローの問題が複数のメデイア配信サイトと受
信端末間でそれぞれ発生し、さらに、複数の配信メディ
ア間のずれという新たな問題が発生することになる。
【0010】それぞれ異なるメディア(例えば画像、音
声)を配信する複数のデータ送信サイト間のシステムク
ロック(サンプリングレート)が同期していることが保
証されない場合は、複数のデータ送信サイトからそれぞ
れ配信されるメディア間の時間関係を受信者側で再現す
ることが不可能であり、メディア間の同期が取れないと
いう事態が発生する。
【0011】このような複数の異なるデータ配信サイト
(サーバ)から受信する複数の異なるデータ(メディ
ア)を同期再生するための構成が種々、提案されてい
る。例えば、特開平6−303254には、ATM網ク
ロックを利用してデータ配信サーバのクロック(ソース
クロック)をデータ受信装置としての再生側で再生可能
とするソースクロック再生回路をデータ受信端末に構成
して、メディア間同期を実現する構成を開示している。
しかし、この方法では、データ受信端末は、同期処理の
ために常にATM網のクロックを受信しなくてはならな
いという問題がある。
【0012】さらに、特開平11−69327では、ビ
デオ信号と、音声信号の同期再生を実現するために、ビ
デオ信号の再生タイミングに合わせて音声信号の再生タ
イミングを調整し、特に、音声信号の無音状態を検知
し、その無音時に音声情報の出力時刻を変更するスライ
ド処理を実行することにより音声の途切れないメディア
間同期を実現する構成を開示している。しかし、この方
法は、画像信号の大幅な遅れによる音声情報のバッファ
溢れ、すなわちバッファオーバーフローの問題は何ら解
決されない。また、音声信号のスライドを無音部分で行
おうとする構成は、無音部分の少ない音楽などのメディ
アには適用することができない。
【0013】さらに、特開平9−55754では、各メ
ディアの送信端末が、送信端末から受信端末までのデー
タ伝送時間を計測して、データとともに伝送時間情報を
受信端末に送信し、受信端末において、各データ送信端
末からの伝送時間情報中、最も長い最長伝送時間情報を
選択して、最長伝送時間に従って送信されるデータの再
生に合わせて、他のデータ再生処理を遅らせて各メディ
ア間の同期再生を実現する構成を開示している。しか
し、この手法では、各送信端末は、送信端末から受信端
末までのデータ伝送時間を計測して受信端末に送信する
処理が必要となり、また、受信端末では、複数の送信端
末から受信する伝送時間情報を解析する処理が必要とな
り、常に遅延時間を監視しなくてはならないという問題
がある。
【0014】
【発明が解決しようとする課題】本発明は、上述の問題
点に鑑みてなされたものであり、例えばインターネット
等のデータ通信網を介してストリーミングデータを転送
する構成において、複数のデータ送信サイトとしてのデ
ータ送信サーバから送信されるデータ(メディア)を受
信端末において受信して同期再生を実現するデータ通信
システム、データ送信装置、データ受信装置、および方
法、並びにコンピュータ・プログラムを提供することを
目的とする。
【0015】
【課題を解決するための手段】本発明の第1の側面は、
各々が異なるデータを送信するデータ送信装置としての
複数のサーバと、該複数のサーバからの送信データを受
信するデータ受信装置とからなるデータ通信システムで
あり、前記複数のサーバは、1つのサーバをマスターサ
ーバとし、他のサーバをスレーブサーバとした設定であ
るとともに、各サーバは各々のシステムクロックに基づ
いて設定する転送レートに従ったタイムスタンプ付与パ
ケットの送信処理を実行する構成を有し、前記データ受
信装置は、各サーバからの受信パケットのタイムスタン
プに基づいて、マスターサーバとスレーブサーバ間のク
ロック差を算出し、該クロック差データを格納したメッ
セージのスレーブサーバに対する送信処理を実行する構
成を有し、前記スレーブサーバは、前記メッセージに基
づいて、データ転送レートを前記マスターサーバのシス
テムクロックに同期させる転送レート変更処理を実行す
る構成を有することを特徴とするデータ通信システムに
ある。
【0016】さらに、本発明のデータ通信システムの一
実施態様において、前記データ受信装置は、各サーバか
らの受信パケットのタイムスタンプと、該データ受信装
置のシステムクロックに基づいて計測したパケット受信
間隔とに基づいて、該データ受信装置のシステムクロッ
クと、各サーバのシステムクロックとの差異を算出する
とともに、該算出値に基づいてマスターサーバとスレー
ブサーバ間のシステムクロック差を算出し、該サーバ間
システムクロック差を示すデータをデータ転送レート変
更用データとして格納した転送レート変更メッセージを
スレーブサーバに送信する構成を有し、前記スレーブサ
ーバは、前記転送レート変更メッセージに格納されたデ
ータ転送レート変更用データに基づいて、データ転送レ
ートを前記マスターサーバのシステムクロックに同期さ
せる転送レート変更処理を実行する構成を有することを
特徴とする。
【0017】さらに、本発明のデータ通信システムの一
実施態様において、前記データ受信装置は、マスターサ
ーバからの受信パケットのタイムスタンプと、該データ
受信装置のシステムクロックに基づいて計測したパケッ
ト受信間隔とに基づいて、該データ受信装置のシステム
クロックと、マスターサーバのシステムクロックとの差
異を算出するとともに、該算出値に基づいてマスターサ
ーバからの受信データの再生サンプリングレートを設定
する処理を実行する構成を有することを特徴とする。
【0018】さらに、本発明のデータ通信システムの一
実施態様において、前記データ受信装置は、前記マスタ
ーサーバからの受信パケットのタイムスタンプと、該デ
ータ受信装置のシステムクロックに基づいて計測したパ
ケット受信間隔とに基づいて、該データ受信装置のシス
テムクロックと、マスターサーバのシステムクロックと
の差異Aを算出し、前記差異Aに基づいてマスターサー
バからの受信データの再生サンプリングレートを設定す
るとともに、前記スレーブサーバからの受信パケットの
タイムスタンプと、該データ受信装置のシステムクロッ
クに基づいて計測したパケット受信間隔とに基づいて、
該データ受信装置のシステムクロックと、スレーブサー
バのシステムクロックとの差異Bを算出し、該差異B
と、前記差異Aとに基づいて、スレーブサーバからの受
信データの再生サンプリングレートを、マスターサーバ
のシステムクロックに同期したレートとして設定する処
理を実行する構成を有することを特徴とする。
【0019】さらに、本発明のデータ通信システムの一
実施態様において、前記スレーブサーバは、複数のデー
タ受信装置から異なるクロック差データを格納した複数
のメッセージを受信した場合において、データ転送にお
けるパケット間隔ジッタが最小であるデータ受信装置か
らのメッセージを選択して、該メッセージに格納された
クロック差データに従った転送レート変更処理を実行す
る構成であることを特徴とする。
【0020】さらに、本発明のデータ通信システムの一
実施態様において、前記データ受信装置から前記スレー
ブサーバに対するメッセージは、マスターサーバとスレ
ーブサーバ間のクロック差データと、前記データ受信装
置が再生実行中のアプリケーション識別データとを含む
構成であることを特徴とする。
【0021】さらに、本発明のデータ通信システムの一
実施態様において、前記複数のサーバがデータ受信装置
に対して送信するデータは、データ転送プロトコルとし
てのRTPに従ったフォーマットを有し、前記データ受
信装置から前記スレーブサーバに対するメッセージは、
制御プロトコルとしてのRTCPに従ったフォーマット
を有することを特徴とする。
【0022】さらに、本発明のデータ通信システムの一
実施態様において、前記複数のサーバ中、少なくとも1
つのサーバは、動画像データのデータ受信装置に対する
送信処理を実行し、前記複数のサーバ中、少なくとも他
の1つのサーバは、音声データの該データ受信装置に対
する送信処理を実行する構成であり、前記データ受信装
置は、各サーバから受信する動画像データおよび音声デ
ータの同期再生処理を実行する構成であることを特徴と
する。
【0023】さらに、本発明の第2の側面は、マスター
サーバおよびスレーブサーバの各々がデータ受信装置に
対して異なるデータを送信し、データ受信装置において
各サーバからの受信データの同期再生処理を実行するシ
ステムにおけるスレーブサーバとしてのデータ送信装置
であり、該データ送信装置は、データ受信装置から、マ
スターサーバとスレーブサーバ間のクロック差データを
格納したメッセージを受信し、該受信メッセージに基づ
いて、データ転送レートを前記マスターサーバのシステ
ムクロックに同期させる転送レート変更処理を実行する
構成を有することを特徴とするデータ送信装置にある。
【0024】さらに、本発明のデータ送信装置の一実施
態様において、前記データ送信装置は、システムクロッ
クからの供給クロックに基づいて動作するカウンタと、
前記メッセージに基づく前記カウンタの補正値を算出す
るカウンタ補正部とを有し、前記カウンタ補正部の補正
カウンタ値に基づいてデータ転送制御を実行することに
より転送レート変更処理を実行する構成であることを特
徴とする。
【0025】さらに、本発明のデータ送信装置の一実施
態様において、前記データ送信装置は、複数のデータ受
信装置から異なるクロック差データを格納した複数のメ
ッセージを受信した場合において、データ転送における
パケット間隔ジッタが最小であるデータ受信装置からの
メッセージを選択して、該メッセージに格納されたクロ
ック差データに従った転送レート変更処理を実行する構
成であることを特徴とする。
【0026】さらに、本発明の第3の側面は、マスター
サーバおよびスレーブサーバの各々がデータ受信装置に
対して異なるデータを送信し、データ受信装置において
各サーバからの受信データの同期再生処理を実行するシ
ステムにおけるデータ受信装置において、各サーバから
の受信パケットのタイムスタンプに基づいて、マスター
サーバとスレーブサーバ間のクロック差を算出するタイ
ムスタンプ比較部と、前記タイムスタンプ比較部におい
て算出したクロック差データを格納したメッセージを生
成する転送レート変更メッセージ生成部と、前記転送レ
ート変更メッセージ生成部において生成した転送レート
変更メッセージをスレーブサーバに対して送信する送信
部と、を有することを特徴とするデータ受信装置にあ
る。
【0027】さらに、本発明のデータ受信装置の一実施
態様において、前記タイムスタンプ比較部は、各サーバ
からの受信パケットのタイムスタンプと、該データ受信
装置のシステムクロックに基づいて計測したパケット受
信間隔とに基づいて、該データ受信装置のシステムクロ
ックと、各サーバのシステムクロックとの差異を算出す
る構成であり、前記転送レート変更メッセージ生成部
は、前記タイムスタンプ比較部の算出値に基づいて算出
されるマスターサーバとスレーブサーバ間のシステムク
ロック差を示すデータをデータ転送レート変更用データ
として格納した転送レート変更メッセージを生成する構
成であることを特徴とする。
【0028】さらに、本発明のデータ受信装置の一実施
態様において、前記タイムスタンプ比較部は、マスター
サーバからの受信パケットのタイムスタンプと、該デー
タ受信装置のシステムクロックに基づいて計測したパケ
ット受信間隔とに基づいて、該データ受信装置のシステ
ムクロックと、マスターサーバのシステムクロックとの
差異を算出する構成であり、前記データ受信装置は、さ
らに、前記タイムスタンプ比較部の算出値に基づいてマ
スターサーバからの受信データの再生サンプリングレー
トを設定するサンプリングレート設定部を有することを
特徴とする。
【0029】さらに、本発明のデータ受信装置の一実施
態様において、前記タイムスタンプ比較部は、前記マス
ターサーバからの受信パケットのタイムスタンプと、該
データ受信装置のシステムクロックに基づいて計測した
パケット受信間隔とに基づいて、該データ受信装置のシ
ステムクロックと、マスターサーバのシステムクロック
との差異Aを算出するとともに、前記スレーブサーバか
らの受信パケットのタイムスタンプと、該データ受信装
置のシステムクロックに基づいて計測したパケット受信
間隔とに基づいて、該データ受信装置のシステムクロッ
クと、スレーブサーバのシステムクロックとの差異Bを
算出する構成を有し、前記データ受信装置は、さらに、
前記差異Aに基づいてマスターサーバからの受信データ
の再生サンプリングレートを設定するとともに、前記差
異Aと、前記差異Bとに基づいて、スレーブサーバから
の受信データの再生サンプリングレートを、マスターサ
ーバのシステムクロックに同期したレートとして設定す
るサンプリングレート設定部を有することを特徴とす
る。
【0030】さらに、本発明のデータ受信装置の一実施
態様において、前記転送レート変更メッセージ生成部
は、マスターサーバとスレーブサーバ間のクロック差デ
ータと、前記データ受信装置が再生実行中のアプリケー
ション識別データとを含む構成であることを特徴とす
る。
【0031】さらに、本発明のデータ受信装置の一実施
態様において、前記転送レート変更メッセージ生成部
は、転送レート変更メッセージを、制御プロトコルとし
てのRTCPフォーマットに従って生成する構成である
ことを特徴とする。
【0032】さらに、本発明の第4の側面は、各々が異
なるデータを送信するデータ送信装置としての複数のサ
ーバと、該複数のサーバからの送信データを受信するデ
ータ受信装置とからなるシステムにおけるデータ通信方
法であり、前記複数のサーバにおいて、1つのサーバを
マスターサーバとし、他のサーバをスレーブサーバとし
た設定であるとともに、各サーバは各々のシステムクロ
ックに基づいて設定する転送レートに従ったタイムスタ
ンプ付与パケットの送信処理を実行し、前記データ受信
装置において、各サーバからの受信パケットのタイムス
タンプに基づいて、マスターサーバとスレーブサーバ間
のクロック差を算出し、該クロック差データを格納した
メッセージのスレーブサーバに対する送信処理を実行
し、前記スレーブサーバにおいて、前記メッセージに基
づいて、データ転送レートを前記マスターサーバのシス
テムクロックに同期させる転送レート変更処理を実行す
ることを特徴とするデータ通信方法にある。
【0033】さらに、本発明のデータ通信方法の一実施
態様において、前記データ通信方法において、前記デー
タ受信装置は、各サーバからの受信パケットのタイムス
タンプと、該データ受信装置のシステムクロックに基づ
いて計測したパケット受信間隔とに基づいて、該データ
受信装置のシステムクロックと、各サーバのシステムク
ロックとの差異を算出するとともに、該算出値に基づい
てマスターサーバとスレーブサーバ間のシステムクロッ
ク差を算出し、該サーバ間システムクロック差を示すデ
ータをデータ転送レート変更用データとして格納した転
送レート変更メッセージをスレーブサーバに送信し、前
記スレーブサーバは、前記転送レート変更メッセージに
格納されたデータ転送レート変更用データに基づいて、
データ転送レートを前記マスターサーバのシステムクロ
ックに同期させる転送レート変更処理を実行することを
特徴とする。
【0034】さらに、本発明のデータ通信方法の一実施
態様において、前記データ通信方法において、前記デー
タ受信装置は、マスターサーバからの受信パケットのタ
イムスタンプと、該データ受信装置のシステムクロック
に基づいて計測したパケット受信間隔とに基づいて、該
データ受信装置のシステムクロックと、マスターサーバ
のシステムクロックとの差異を算出するとともに、該算
出値に基づいてマスターサーバからの受信データの再生
サンプリングレートを設定する処理を実行することを特
徴とする。
【0035】さらに、本発明のデータ通信方法の一実施
態様において、前記データ通信方法において、前記デー
タ受信装置は、前記マスターサーバからの受信パケット
のタイムスタンプと、該データ受信装置のシステムクロ
ックに基づいて計測したパケット受信間隔とに基づい
て、該データ受信装置のシステムクロックと、マスター
サーバのシステムクロックとの差異Aを算出し、前記差
異Aに基づいてマスターサーバからの受信データの再生
サンプリングレートを設定するとともに、前記スレーブ
サーバからの受信パケットのタイムスタンプと、該デー
タ受信装置のシステムクロックに基づいて計測したパケ
ット受信間隔とに基づいて、該データ受信装置のシステ
ムクロックと、スレーブサーバのシステムクロックとの
差異Bを算出し、該差異Bと、前記差異Aとに基づい
て、スレーブサーバからの受信データの再生サンプリン
グレートを、マスターサーバのシステムクロックに同期
したレートとして設定する処理を実行することを特徴と
する。
【0036】さらに、本発明のデータ通信方法の一実施
態様において、前記スレーブサーバは、複数のデータ受
信装置から異なるクロック差データを格納した複数のメ
ッセージを受信した場合において、データ転送における
パケット間隔ジッタが最小であるデータ受信装置からの
メッセージを選択して、該メッセージに格納されたクロ
ック差データに従った転送レート変更処理を実行するこ
とを特徴とする。
【0037】さらに、本発明のデータ通信方法の一実施
態様において、前記データ受信装置から前記スレーブサ
ーバに対するメッセージは、マスターサーバとスレーブ
サーバ間のクロック差データと、前記データ受信装置が
再生実行中のアプリケーション識別データとを含むこと
を特徴とする。
【0038】さらに、本発明のデータ通信方法の一実施
態様において、前記複数のサーバがデータ受信装置に対
して送信するデータは、データ転送プロトコルとしての
RTPに従ったフォーマットを有し、前記データ受信装
置から前記スレーブサーバに対するメッセージは、制御
プロトコルとしてのRTCPに従ったフォーマットを有
することを特徴とする。
【0039】さらに、本発明のデータ通信方法の一実施
態様において、前記複数のサーバ中、少なくとも1つの
サーバは、動画像データのデータ受信装置に対する送信
処理を実行し、前記複数のサーバ中、少なくとも他の1
つのサーバは、音声データの該データ受信装置に対する
送信処理を実行し、前記データ受信装置は、各サーバか
ら受信する動画像データおよび音声データの同期再生処
理を実行することを特徴とする。
【0040】さらに、本発明の第5の側面は、マスター
サーバおよびスレーブサーバの各々がデータ受信装置に
対して異なるデータを送信し、データ受信装置において
各サーバからの受信データの同期再生処理を実行するシ
ステム中のスレーブサーバにおけるデータ送信方法であ
り、データ受信装置から、マスターサーバとスレーブサ
ーバ間のクロック差データを格納したメッセージを受信
し、該受信メッセージに基づいて、データ転送レートを
前記マスターサーバのシステムクロックに同期させる転
送レート変更処理を実行することを特徴とするデータ送
信方法にある。
【0041】さらに、本発明のデータ送信方法の一実施
態様において、前記スレーブサーバは、システムクロッ
クからの供給クロックに基づいて動作するカウンタと、
前記メッセージに基づく前記カウンタの補正値を算出す
るカウンタ補正部とを有し、前記データ送信方法は、前
記カウンタ補正部の補正カウンタ値に基づいてデータ転
送制御を実行することにより転送レート変更処理を実行
するステップを含むことを特徴とする。
【0042】さらに、本発明のデータ送信方法の一実施
態様において、前記データ送信方法において、複数のデ
ータ受信装置から異なるクロック差データを格納した複
数のメッセージを受信した場合において、データ転送に
おけるパケット間隔ジッタが最小であるデータ受信装置
からのメッセージを選択して、該メッセージに格納され
たクロック差データに従った転送レート変更処理を実行
することを特徴とする。
【0043】さらに、本発明の第6の側面は、マスター
サーバおよびスレーブサーバの各々がデータ受信装置に
対して異なるデータを送信し、データ受信装置において
各サーバからの受信データの同期再生処理を実行するシ
ステムにおける受信データ処理方法であり、各サーバか
らの受信パケットのタイムスタンプに基づいて、マスタ
ーサーバとスレーブサーバ間のクロック差を算出するタ
イムスタンプ比較ステップと、前記タイムスタンプ比較
ステップにおいて算出したクロック差データを格納した
メッセージを生成する転送レート変更メッセージ生成ス
テップと、前記転送レート変更メッセージ生成ステップ
において生成した転送レート変更メッセージをスレーブ
サーバに対して送信する送信ステップと、を有すること
を特徴とする受信データ処理方法にある。
【0044】さらに、本発明の受信データ処理方法の一
実施態様において、前記タイムスタンプ比較ステップ
は、各サーバからの受信パケットのタイムスタンプと、
該データ受信装置のシステムクロックに基づいて計測し
たパケット受信間隔とに基づいて、該データ受信装置の
システムクロックと、各サーバのシステムクロックとの
差異を算出するステップを含み、前記転送レート変更メ
ッセージ生成ステップは、前記タイムスタンプ比較ステ
ップにおける算出値に基づいて算出されるマスターサー
バとスレーブサーバ間のシステムクロック差を示すデー
タをデータ転送レート変更用データとして格納した転送
レート変更メッセージを生成するステップを含むことを
特徴とする。
【0045】さらに、本発明の受信データ処理方法の一
実施態様において、前記タイムスタンプ比較ステップ
は、マスターサーバからの受信パケットのタイムスタン
プと、データ受信装置のシステムクロックに基づいて計
測したパケット受信間隔とに基づいて、データ受信装置
のシステムクロックと、マスターサーバのシステムクロ
ックとの差異を算出するステップを含み、前記受信デー
タ処理方法は、さらに、前記タイムスタンプ比較ステッ
プにおける算出値に基づいてマスターサーバからの受信
データの再生サンプリングレートを設定するサンプリン
グレート設定ステップを含むことを特徴とする。
【0046】さらに、本発明の受信データ処理方法の一
実施態様において、前記タイムスタンプ比較ステップ
は、前記マスターサーバからの受信パケットのタイムス
タンプと、該データ受信装置のシステムクロックに基づ
いて計測したパケット受信間隔とに基づいて、該データ
受信装置のシステムクロックと、マスターサーバのシス
テムクロックとの差異Aを算出するとともに、前記スレ
ーブサーバからの受信パケットのタイムスタンプと、該
データ受信装置のシステムクロックに基づいて計測した
パケット受信間隔とに基づいて、該データ受信装置のシ
ステムクロックと、スレーブサーバのシステムクロック
との差異Bを算出するステップを含み、前記受信データ
処理方法は、さらに、前記差異Aに基づいてマスターサ
ーバからの受信データの再生サンプリングレートを設定
するとともに、前記差異Aと、前記差異Bとに基づい
て、スレーブサーバからの受信データの再生サンプリン
グレートを、マスターサーバのシステムクロックに同期
したレートとして設定するサンプリングレート設定ステ
ップを有することを特徴とする。
【0047】さらに、本発明の受信データ処理方法の一
実施態様において、前記転送レート変更メッセージ生成
ステップは、マスターサーバとスレーブサーバ間のクロ
ック差データと、前記データ受信装置が再生実行中のア
プリケーション識別データとを含むメッセージを生成す
ることを特徴とする。
【0048】さらに、本発明の受信データ処理方法の一
実施態様において、前記転送レート変更メッセージ生成
ステップは、転送レート変更メッセージを、制御プロト
コルとしてのRTCPフォーマットに従って生成するこ
とを特徴とする。
【0049】さらに、本発明の第7の側面は、マスター
サーバおよびスレーブサーバの各々がデータ受信装置に
対して異なるデータを送信し、データ受信装置において
各サーバからの受信データの同期再生処理を実行するシ
ステム中のスレーブサーバにおけるデータ送信処理を実
行するコンピュータ・プログラムであって、データ受信
装置から、マスターサーバとスレーブサーバ間のクロッ
ク差データを格納したメッセージを受信するステップ
と、該受信メッセージに基づいて、データ転送レートを
前記マスターサーバのシステムクロックに同期させる転
送レート変更処理を実行するステップと、を具備するこ
とを特徴とするコンピュータ・プログラムにある。
【0050】さらに、本発明の第8の側面は、マスター
サーバおよびスレーブサーバの各々がデータ受信装置に
対して異なるデータを送信し、データ受信装置において
各サーバからの受信データの同期再生処理を実行するシ
ステムにおける受信データ処理を実行するコンピュータ
・プログラムであって、各サーバからの受信パケットの
タイムスタンプに基づいて、マスターサーバとスレーブ
サーバ間のクロック差を算出するタイムスタンプ比較ス
テップと、前記タイムスタンプ比較ステップにおいて算
出したクロック差データを格納したメッセージを生成す
る転送レート変更メッセージ生成ステップと、前記転送
レート変更メッセージ生成ステップにおいて生成した転
送レート変更メッセージをスレーブサーバに対して送信
する送信ステップと、を具備することを特徴とするコン
ピュータ・プログラムにある。
【0051】なお、本発明のコンピュータ・プログラム
は、例えば、様々なプログラム・コードを実行可能な汎
用コンピュータ・システムに対して、コンピュータ可読
な形式で提供する記憶媒体、通信媒体、例えば、CDや
FD、MOなどの記録媒体、あるいは、ネットワークな
どの通信媒体によって提供可能なコンピュータ・プログ
ラムである。このようなプログラムをコンピュータ可読
な形式で提供することにより、コンピュータ・システム
上でプログラムに応じた処理が実現される。
【0052】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。なお、本明細
書においてシステムとは、複数の装置の論理的集合構成
であり、各構成の装置が同一筐体内にあるものには限ら
ない。
【0053】
【発明の実施の形態】[システム及びデータ送受信概
要]まず、図1を参照して、本発明のシステム概要及び
データ送受信処理の概要について説明する。
【0054】図1のデータ通信システムにおいて、マス
ターメディアの送信を実行するマスターサーバ200、
スレーブメディアの送信を実行するスレーブサーバ30
0は、それぞれ異なるメディア、例えば画像メディア
と、音声メディア等、異なるデータを送信するサーバで
あり、データ受信端末400、500に対してそれぞれ
のメディア・データをパケット通信網100を介して送
信する。データ受信端末400、500では、マスター
サーバ200、スレーブサーバ300から受信するメデ
ィア(データ)を受信し、同期再生を実現する。
【0055】これらのデータ転送は、ストリーム型伝送
方式により実行され、マスターサーバ200、スレーブ
サーバ300からデータ受信端末400、500に対す
るデータ転送処理と並列してデータ受信端末400、5
00におけるデータ再生処理が実行される。
【0056】なお、1システムにつき、マスターサーバ
は1つ存在し、マスターサーバに並列に異なるメディア
を送信するサーバがスレーブサーバになる。本実施例で
はスレーブサーバは1台であるが、2台以上のスレーブ
サーバを持つ構成としてもよい。
【0057】例えば音声と動画を2つのメディアとして
それぞれ異なるサーバから送信し、受信端末において、
音声と動画を合わせて再生するシステム例を想定する
と、音声をストリーミング配信するサーバをマスターサ
ーバ、動画をストリーミング配信するサーバをスレーブ
サーバとする。あるいはその逆としてもよい。
【0058】なお、図1に示す例では、データ受信端末
400、500の2つの端末のみを示しているが、1以
上の任意数の受信端末が存在可能であり、任意数の端末
において、マスターサーバ200、スレーブサーバ30
0からのデータ受信処理を行うものとする。また、複数
のメディア、例えば画像、音声等の様々なメデイアの中
から、どのメディアをマスターメディアとするかは、す
べての受信者側において一意なものとして予め定められ
ているものとする。例えば音声と動画を2つのメディア
としてそれぞれ異なるサーバから送信するシステム例
で、音声をストリーミング配信するサーバをマスターサ
ーバとした設定においては、すべてのデータ受信端末に
おいて、音声メディアをマスターメディアとして扱い、
動画をストリーミング配信するサーバをマスターサーバ
とした設定においては、すべてのデータ受信端末におい
て、動画メディアをマスターメディアとして扱う。
【0059】図1に示す構成において、マスターサーバ
200、スレーブサーバ300、受信端末400,50
0の各々は、それぞれ独自のシステムクロック250,
350,450,550を有し、これらの各システムク
ロック250,350,450,550の各々は同期せ
ずに動作しているものとする。
【0060】[マスターサーバの構成および処理]次に
マスターメディアの送信処理を実行する図1におけるマ
スターサーバ200の構成および処理について説明す
る。
【0061】図2にマスターサーバ200の構成を説明
するブロック図を示す。マスターサーバ200は、メデ
ィア供給部201、パケット生成部202、バッファ2
03、転送レート調節部204、データ送信部205、
システムクロック250、サンプリングレート設定部2
07、データ受信部208を有する。
【0062】メディア供給部201は、画像、音声等、
送信すべきマスターメディアをパケット生成部に供給す
る。メディアは、例えばビデオカメラによって取得され
た画像、音声データ等である。なお、メディアは、C
D,DVD等の記憶媒体から入力されるデータ、あるい
は外部ネットワーク、衛星等から受信するデータ等であ
ってもよい。なお、ここでは省略してあるが、これらの
データは、符号化、例えばMPEG圧縮処理等による符
号化がなされて、パケット生成部202に供給され、パ
ケット生成部202において、符号化データをペイロー
ドとして格納したパケットが生成される。
【0063】パケット生成部202で生成するパケット
は、例えば、リアルタイム・トランスポート・プロトコ
ル:RTP(Real-time Transport Protocol)に従った
データ・パケット(以下パケットと称する)である。
【0064】パケット生成部202は、メディア供給部
201から供給されるデータ(例えば符号化データ)を
ペイロードデータとし、RTPヘッダを付加しパケット
化する。RTPパケット構成を図3に示す。RTPヘッ
ダには、バージョン番号(v)、パディング(P)、拡
張ヘッダ(X)の有無、送信元数(Counter)、
マーカ情報(M:marker bit)、ペイロード
タイプ(Payload type)、シーケンス番
号、タイムスタンプ、同期ソース(送信元)識別子(S
SRC)および貢献ソース(送信元)識別子(CSR
C)の各フィールドが設けられている。データ受信側に
おいて、RTPヘッダに付与されたタイムスタンプによ
りRTPパケットの展開時に処理時間の制御が実行さ
れ、リアルタイム画像、または音声の再生制御を行うこ
とが可能となる。なお、例えば動画像データの符号化デ
ータを格納したRTPパケットにおいては、1つの画像
フレームに属する複数のRTPパケットに共通のタイム
スタンプが設定される。
【0065】なお、タイムスタンプは、図2に示すシス
テムクロック250の制御の下にサンプリングレート設
定部207の設定するサンプリングレートに基づいて各
パケット(例えばRTPパケット)に設定する。例え
ば、システムクロック250が90KHzクロックのク
ロックであるとき、動画像データについて、30fps
(フレーム/秒)のレートでサンプリングして符号化デ
ータをRTPパケットに格納して送信すると仮定する
と、RTPパケットのタイムスタンプの値は、90K/
30=3000ずつカウントアップされ、第nフレーム
の符号化データを格納したパケットに設定されるタイム
スタンプが12000であるとき、n+1フレームのデ
ータを格納したパケットのタイムスタンプは15000
として設定する。
【0066】RTPヘッダを付加されたパケットはさら
にIPヘッダが付与される。図4にIPパケットの構成
中のIPヘッダの詳細を示す。IPv4、IPv6等の
バージョンを示すバージョン、ヘッダ長、さらに、優先
度情報を格納したTOS(Type of Service)フィール
ド、パケットの長さ、パケットの識別子、IP層でのデ
ータ分割(フラグメント)に関する制御情報としてのフ
ラグ、分割(フラグメント)されたデータの場所を示す
断片オフセット、データの破棄までの時間情報を示すT
TL(Time to Live)、上位層で利用されるプロトコル
(4:IP,TCP:7,UDP:17…)ヘッダのチ
ェックサム、送信元IPアドレス、宛て先IPアドレス
を有する。
【0067】パケット生成部202において生成された
パケットは、バッファ203に格納された後、システム
クロック250のクロック供給を受ける転送レート調節
部204において、転送レートが制御され、データ送信
部205を介してインターネット等のパケット通信網1
00に送出される。
【0068】マスターサーバ200は、さらに、データ
受信端末からの制御パケット、例えば応答確認としての
ACKパケット、再送要求等のパケット、あるいはセッ
ション開始要求を受信するためのデータ受信部208を
有する。
【0069】転送レート調節部204の詳細構成を図5
に示す。転送レート調節部204は、システムクロック
250のクロック供給を受け、クロック供給に応じてカ
ウンタ値を増加させるカウンタ211、カウンタ211
のカウンタ値に応じてバッファ203に格納されたパケ
ットをデータ送信部に渡すデータ出力制御部212を有
する。データ出力制御部212は、カウンタ211のカ
ウンタ値が、あらかじめ定められたカウンタ値:Vaに
達したとき、バッファからパケットを順次取り出して、
データ送信部205に出力する処理を実行する。
【0070】転送レート調節部204の処理フローを図
6に示す。ステップS101においてカウンタ値=0に
リセットし、ステップS102においてカウンタ211
をシステムクロックからのクロック供給に従ってインク
リメントする。ステップS103において、カウンタ値
と、予め定めた閾値:Vaと比較を実行して、カウンタ
値=Vaとなったことを条件として、ステップS104
において、データ(パケット)をバッファ203から取
り出して、データ送信部205へ出力し、ステップS1
05において、さらにバッファ203に送信対象の蓄積
データ(パケット)があるか否かを判定し、ある場合
は、ステップS101以下の処理を繰り返し実行し、デ
ータが無い場合は、処理を終了する。この処理により、
転送レートが一定に保たれる。
【0071】マスターサーバのデータ送信処理の流れを
図7に示すフローチャートに従って説明する。まず、マ
スターサーバは、ステップS201において、データ受
信端末からのセッション開始要求を待機する。データ受
信端末からのセッション開始要求を受信(S202でY
es)すると、ステップS203へ進み、メディア供給
部201から送信するメディア(データまたは符号化デ
ータ)をペイロードとしたパケットをパケット生成部に
おいて生成する。
【0072】なお、このパケット生成においては、シス
テムクロック250のクロック供給の下にサンプリング
レート設定部207の設定したサンプリングレートに基
づくタイムスタンプがパケットヘッダに設定される(図
3参照)。
【0073】ステップとS204では、パケット化され
たデータをバッファ203に蓄積する。バッファ203
に蓄積されたデータは、ステップS205において、図
6のフローを参照して説明したように、クロック250
のクロック供給に従って増分されるカウンタ211のカ
ウンタ値が所定値:Vaになる毎に順次、データ送信部
に出力され、ステップS206において、データ送信部
205からパケット通信網に出力される。
【0074】さらに、ステップS207において、送信
すべきデータの有無を判定し、有りの場合は、ステップ
S204以下を繰り返し、送信すべきデータが無しと判
定された時点で、ステップS207においてデータ終了
を示すEOS(End of Stream)パケットを送信し、処
理を終了する。
【0075】[スレーブサーバの構成および処理]次に
スレーブメディアの送信処理を実行する図1におけるス
レーブサーバ300の構成および処理について説明す
る。
【0076】図8にスレーブサーバ300の構成を説明
するブロック図を示す。スレーブサーバ300は、メデ
ィア供給部301、パケット生成部302、バッファ3
03、転送レート調節部304、データ送信部305、
システムクロック350、サンプリングレート設定部3
07、データ受信部309、さらに、転送レート変更メ
ッセージ格納部308を有する。
【0077】メディア供給部301は、画像、音声等、
送信すべきデータをパケット生成部に供給する。メディ
アは、例えばビデオカメラによって取得された画像、音
声データ等である。ただし、スレーブサーバ300の送
信するメディアは、上述のマスターサーバ200の送信
するマスターメディアとは異なるメディアであり、デー
タ受信端末400,500において、マスターメディア
に併せて再生されるスレーブメディアである。なお、メ
ディアは、CD,DVD等の記憶媒体から入力されるデ
ータ、あるいは外部ネットワーク、衛星等から受信する
データ等であってもよい。なお、ここでは省略してある
が、これらのデータは、符号化、例えばMPEG圧縮処
理等による符号化がなされて、パケット生成部302に
供給され、パケット生成部302において、符号化デー
タをペイロードとして格納したパケットが生成される。
【0078】パケット生成部302で生成するパケット
は、上述のマスターサーバと同様、例えば、リアルタイ
ム・トランスポート・プロトコル:RTP(Real-time
Transport Protocol)に従ったデータ・パケット(以下
パケットと称する)が適用可能である。
【0079】パケット生成部302において生成された
パケットは、バッファ303に格納された後、システム
クロック350のクロック供給を受ける転送レート調節
部304において、転送レートが制御され、データ送信
部305を介してインターネット等のパケット通信網3
00に送出される。
【0080】スレーブサーバ300は、さらに、転送レ
ート調節部304において、転送レート変更メッセージ
格納部308に格納された転送レート変更メッセージに
基づく出力レート変更処理を実行する。転送レート変更
メッセージは、データ受信端末からの制御パケットとし
てデータ受信部309を介して受信するメッセージであ
る。データ受信部309は、データ受信応答確認として
のACKパケット、再送要求等のパケット、あるいはセ
ッション開始要求パケット等の他に、上述の転送レート
変更メッセージを受信し、受信した転送レート変更メッ
セージを転送レート変更メッセージ格納部308に格納
する。
【0081】転送レート変更メッセージは、マスターサ
ーバ200からのマスターメディアと、スレーブサーバ
300からのスレーブメディアの双方を受信し、同期再
生を実行する受信端末400,500が生成してスレー
ブサーバ300に対して送信する制御用のメッセージ格
納パケットであり、例えばRFC1889 で規定されているR
TCP(Real-time Transport Control Protocol)に従
って生成される。
【0082】データ受信端末が生成し、スレーブサーバ
に送信する転送レート変更メッセージパケットの構成例
を図9に示す。図9に示すように、転送レート変更メッ
セージパケットは、バージョン番号(v)、パディング
(P)、ペイロードの種類としてのコマンド(comm
and)が設定され、ペイロードタイプ(Payloa
d type)として転送レート変更メッセージである
ことを示すタイプデータ=204、メッセージ長、パケ
ット送信元、すなわちデータ受信端末の同期ソース識別
子、受信中のデータを識別するための識別しとしてのア
プリケーションの名前、および転送レート変更用データ
(例えば32ビット)が格納される。
【0083】図9に示す転送レート変更メッセージパケ
ットの例では、転送レート変更用データとして、[10
3/100]が格納されている。これは、スレーブサー
バからデータ受信端末に対するデータ送信レートを[1
03/100]に変更することを要求するメッセージで
あることを示す。この転送レート変更メッセージパケッ
トのデータ受信端末における生成処理については、後段
で説明する。
【0084】スレーブサーバは、データ受信端末から図
9に示すような転送レート変更メッセージパケットを受
信すると、転送レート変更メッセージを転送レート変更
メッセージ格納部308に格納する。転送レート変更メ
ッセージが転送レート変更メッセージ格納部308に格
納されると、転送レート調節部304は、格納された転
送レート変更メッセージに基づいて出力レートを変更す
る。
【0085】転送レート調節部304の詳細構成を図1
0に示す。転送レート調節部304は、システムクロッ
ク350のクロック供給を受け、クロック供給に応じて
カウンタ値を増加させるカウンタ311、カウンタ値に
応じてバッファ203に格納されたパケットをデータ送
信部に渡すデータ出力制御部212を有する。さらに、
スレープサーバにおいては、転送レート変更メッセージ
格納部308に格納された転送レート変更メッセージに
従ってカウンタ311のカウンタ値を補正して補正した
カウンタ値をデータ出力制御部212に渡すカウンタ補
正部313を有する。
【0086】カウンタ補正部313は、例えば、変更メ
ッセージ格納部308に格納された転送レート変更メッ
セージに、図9に示すように、転送レート変更用データ
として、[103/100]が格納されている場合、カ
ウンタ311のカウンタ値Cに転送レート変更用データ
[103/100]の逆数:100/103を乗じて補
正したカウンタ値C’を生成してデータ出力制御部31
2に渡す。すなわち、 補正カウンタ値C’=(100/103)×実カウンタ
値C として、補正処理を実行し、補正値C’をデータ出力制
御部212に渡す。
【0087】データ出力制御部312は、補正カウンタ
値C’に基づいて、補正カウンタ値C’が、あらかじめ
定められたカウンタ値:Vaに達したとき、バッファか
らパケットを順次取り出して、データ送信部305に出
力する処理を実行する。
【0088】スレーブサーバ300において、転送レー
ト変更メッセージに基づく補正処理を実行する場合の転
送レート調節部304の処理フローを図11に示す。ス
テップS301においてカウンタ値=0にリセットし、
ステップS302においてカウンタ211をシステムク
ロックからのクロック供給に従ってインクリメントす
る。ステップS303において、カウンタのカウンタ値
をデータ受信端末から受信した転送レート変更メッセー
ジに従って変更補正する。
【0089】次にステップS304において、補正カウ
ンタ値と、予め定めた閾値:Vaと比較を実行して、補
正カウンタ値=Vaとなったことを条件として、ステッ
プS305において、データ(パケット)をバッファ3
03から取り出して、データ送信部305へ出力し、ス
テップS306において、さらにバッファ303に送信
対象の蓄積データ(パケット)があるか否かを判定し、
ある場合は、ステップS301以下の処理を繰り返し実
行し、データが無い場合は、処理を終了する。この処理
により、補正された転送レートによってスレーブメディ
アの送信処理が実行される。
【0090】スレーブサーバのデータ送信処理の流れを
図12に示すフローチャートに従って説明する。スレー
ブサーバは、ステップS401において、データ受信端
末からのセッション開始要求を待機する。データ受信端
末からのセッション開始要求を受信(S402でYes)
すると、ステップS403へ進み、メディア供給部30
1から送信するメディア(データまたは符号化データ)
をペイロードとしたパケットをパケット生成部において
生成する。
【0091】なお、このパケット生成においては、シス
テムクロック350の供給の下にサンプリングレート設
定部307の設定したサンプリングレートに基づくタイ
ムスタンプがパケットヘッダに設定される(図3参
照)。
【0092】ステップとS404では、パケット化され
たデータをバッファ303に蓄積する。ステップS40
5では、転送レート変更メッセージ格納部308に転送
レート変更メッセージが格納されているか否かを判定
し、無い場合は、ステップS406に進み、クロック2
50のクロック供給に従って増分される転送レート調節
部304のカウンタ311の実カウンタ値に基づいて、
カウンタ値が所定値:Vaになる毎に順次、データ送信
部に出力され、ステップS407において、データ送信
部305からパケット通信網に出力される。
【0093】一方、転送レート変更メッセージ格納部3
08に転送レート変更メッセージが格納されている場合
は、ステップS411に進み、クロック250のクロッ
ク供給に従って増分される転送レート調節部304のカ
ウンタ311の実カウンタ値:Cに対して、上述した転
送レート変更メッセージに基づく補正を実行して補正カ
ウンタ値:C’を算出する。ステップS412では、補
正カウンタ値:C’が所定値:Vaになる毎に順次、デ
ータ送信部に出力され、ステップS407において、デ
ータ送信部305からパケット通信網に出力される。
【0094】さらに、ステップS408において、送信
すべきデータの有無を判定し、有りの場合は、ステップ
S405以下を繰り返し、送信すべきデータが無しと判
定された時点で、ステップS409においてデータ終了
を示すEOS(End of Stream)パケットを送信し、処
理を終了する。
【0095】このように、スレーブサーバでは、データ
受信端末からの転送レート変更メッセージがある場合
は、転送レート調節部において、実カウンタ値:Cに対
して転送レート変更メッセージに基づく補正を実行して
補正カウンタ値:C’を算出し、補正カウンタ値:C’
に基づいて転送レートを決定する構成であり、データ受
信端末の要求に応じた転送レートによるデータ送信が可
能となる。
【0096】[データ受信端末装置の構成および処理]
次にマスターサーバからマスターメディアを受信し、ス
レーブサーバからスレーブメディアを受信して、受信し
た複数のメデイアの同期再生処理を実行するデータ受信
端末装置の構成および処理について説明する。
【0097】図13にデータ受信端末装置の構成を説明
するブロック図を示す。なお、図13においては、マス
ターサーバからの受信データ処理部と、スレーブサーバ
からの受信データ処理部とを区別して示してあるが、こ
れは、理解を容易にするために区別して記載したもので
あり、同一機能を実行する複数の処理部は、単一の処理
部として構成して両受信データの処理を実行する構成と
してもよい。
【0098】図13のデータ受信端末装置の構成に従っ
てデータ再生処理について説明する。データ受信端末4
00は、マスターサーバ200からのマスターメディア
格納パケットをデータ受信部411において受信すると
ともに、スレーブサーバ300からのスレーブメディア
格納パケットをデータ受信部421において受信する。
それぞれの受信パケットは、それぞれのバッファ41
2,422に格納される。
【0099】バッファ412に格納されたマスターメデ
ィア格納パケットは、タイムスタンプ比較部413にお
いて、各パケットに設定されたタイムスタンプ情報が取
り出され、マスターサーバ200から受信する各パケッ
トのパケット受信間隔と、各パケットに設定されたタイ
ムスタンプとの差が比較される。パケット受信間隔は、
データ受信端末のシステムクロック450から供給され
るクロック情報に従って計測される。
【0100】マスターメディアを格納したパケットに設
定されるタイムスタンプは、マスターサーバ200のシ
ステムクロック250に基づいて設定されるタイムスタ
ンプであり、設定されたタイムスタンプとパケット受信
間隔とが対応するべきであるが、データ受信端末400
のシステムクロック450は、マスターサーバ200の
システムクロック250との同期がとれていないもので
あり、マスターサーバ200のシステムクロック250
に基づいて設定される各パケットのタイムスタンプの差
と、データ受信端末400のシステムクロック450に
よって計測されるパケット受信間隔にはずれが発生す
る。このずれは、データ受信端末400のシステムクロ
ック450と、マスターサーバ200のシステムクロッ
ク250との差に相当する。
【0101】データ受信端末400では、データ受信端
末400のシステムクロック450と、マスターサーバ
200のシステムクロック250との差を考慮してデー
タ再生を実行する。このクロック差を考慮しないで、デ
ータ再生を実行すると、例えばデータ受信速度より早い
再生を実行すると、バッファ412のデータの不足、す
なわちバッファのアンダーランが発生し、データ受信速
度より遅い再生を実行すると、バッファ412のデータ
溢れ、すなわちバッファのオーバーフローが発生するこ
とになる。
【0102】タイムスタンプ比較部413において算出
されたデータ受信端末400のシステムクロック450
と、マスターサーバ200のシステムクロック250と
の差分を示す情報は、マスターメディアの再生に関する
サンプリングレートの設定を実行するサンプリングレー
ト設定部414、およびスレーブメディアの再生に関す
るサンプリングレートの設定を実行するサンプリングレ
ート設定部424の双方に出力され、それぞれのメデイ
アに関するサンプリングレート設定処理が実行される。
【0103】すなわち、マスターメディア、スレーブメ
ディア双方のデータ再生は、タイムスタンプ比較部41
3において算出されたデータ受信端末400のシステム
クロック450と、マスターサーバ200のシステムク
ロック250との差分に基づくデータ出力時刻調節処理
によって実行されることになる。
【0104】図14を参照してマスターメディアのサン
プリングレート設定処理について説明する。図14に示
す例は、マスターサーバが10mm秒毎に1つのデータ
処理単位(例えば画像フレーム)のパケットを生成する
サンプリングレートでタイムスタンプをパケットに付加
して受信者にデータを転送している場合の処理例であ
る。横軸が時間(t)であり、各処理単位パケットに
は、マスターサーバ200のシステムクロック250に
基づいて設定されたタイムスタンプ[10〜40]が設
定されている。マスターサーバは、付加するタイムスタ
ンプを1mm秒毎に1づつインクリメントしており、図
に示す最初の処理単位パケットには、10のタイムスタ
ンプが設定され、後続の処理単位パケットには、10m
m秒後に出力されるので、10+10=20のタイムス
タンプが設定される。以下、30、40とタイムスタン
プが設定されたパケットが送信される。
【0105】一方、このパケットデータを受信するデー
タ受信端末400では、これらのパケットの到着間隔
と、そのパケットに付加されているタイムスタンプをタ
イムスタンプ比較部413で比較する。図に示す例で
は、本来、データ受信端末はタイムスタンプ[40]の
設定されたパケットは、タイムスタンプ[10]の設定
されたパケット受信から、30mm秒後に受け取るはず
である。しかし、データ受信端末400のシステムクロ
ック450の供給クロックに基づいてタイムスタンプ比
較部413における測定結果として、タイムスタンプ
[10]の設定パケットからタイムスタンプ[40]の
設定パケットの到着間隔が35mm秒として計測された
とする。
【0106】これは、データ受信端末400のシステム
クロック450がマスターサーバ200のシステムクロ
ック250に対して、(到着時刻間隔/タイムスタンプ
の差)だけ、すなわち、35/30だけ早いことに起因
するものであると判定される。
【0107】この状態で、データ受信端末400がデー
タ受信端末400のシステムクロック450に基づいて
マスターサーバから受信するマスターメディアを再生す
ると、データ受信端末400のクロック差に起因して、
マスターサーバ200のパケット転送レートよりも早い
スピードで再生することになり、データ受信端末400
のマスターメディアのバッファ412がアンダーランし
てしまう。
【0108】アンダーランの発生を防ぐためには、デー
タ受信端末400における再生時のサンプリングレート
を変更することが必要となる。そこで、データ受信端末
400のサンプリングレート設定部414は、データ受
信端末400のシステムクロック450と、マスターサ
ーバ200のシステムクロック250との差に基づい
て、再生時のサンプリングレートを変更する。この場合
は、サンプリングレートを35/30に変更する処理を
実行する。
【0109】この変更したサンプリングレートに基づい
て出力時刻調節部415が各パケットの出力処理部41
6に対する出力タイミングを決定し出力することで、マ
スターサーバ200のシステムクロック250に同期し
たマスターメディア再生処理が実行される。
【0110】出力処理部416は、バッファ412から
変更したサンプリングレートに基づいて順次入力される
パケットに格納された符号化データの復号を実行した
後、ディスプレイ、スピーカ等の出力装置に出力する。
【0111】データ受信装置には、さらに、マスターサ
ーバ200への制御パケット、例えば応答確認としての
ACKパケット、再送要求等のパケット、あるいはセッ
ション開始要求を送信するためのデータ送信部417を
有する。
【0112】一方、スレーブサーバ300から受信し、
バッファ422に格納されたスレーブメディアを格納し
たパケットの出力時刻調節は、サンプリングレート設定
部424の設定するサンプリングレートに基づいて行わ
れる。
【0113】図15を参照してスレーブメディアのサン
プリングレート設定処理について説明する。図15に示
す例は、スレーブサーバが20mm秒毎に1つのデータ
処理単位(例えば画像フレーム)のパケットを生成する
サンプリングレートでタイムスタンプをパケットに付加
して受信者にデータを転送している場合の処理例であ
る。横軸が時間(t)であり、各処理単位パケットに
は、スレーブサーバ300のシステムクロック350に
基づいて設定されたタイムスタンプ[30〜90]が設
定されている。スレーブサーバは、付加するタイムスタ
ンプを1mm秒毎に1づつインクリメントしており、図
に示す最初の処理単位パケットには、30のタイムスタ
ンプが設定され、後続の処理単位パケットには、20m
m秒後に出力されるので、30+20=50のタイムス
タンプが設定される。以下、70、90とタイムスタン
プが設定されたパケットが送信される。
【0114】一方、このパケットデータを受信するデー
タ受信端末400では、これらのパケットの到着間隔
と、そのパケットに付加されているタイムスタンプをタ
イムスタンプ比較部423で比較する。図に示す例で
は、本来、データ受信端末はタイムスタンプ[90]の
設定されたパケットは、タイムスタンプ[30]の設定
されたパケット受信から、60mm秒後に受け取るはず
である。しかし、データ受信端末400のシステムクロ
ック450の供給クロックに基づいてタイムスタンプ比
較部423における測定結果として、タイムスタンプ
[30]の設定パケットからタイムスタンプ[90]の
設定パケットの到着間隔が80mm秒として計測された
とする。
【0115】これは、データ受信端末400のシステム
クロック450がスレーブサーバ300のシステムクロ
ック350に対して、(到着時刻間隔/タイムスタンプ
の差)だけ、すなわち、80/60だけ早いことに起因
するものであると判定される。
【0116】この状態で、データ受信端末400がデー
タ受信端末400のシステムクロック450に基づいて
マスターサーバから受信するマスターメディアを再生す
ると、データ受信端末400のクロック差に起因して、
スレーブサーバ300のパケット転送レートよりも早い
スピードで再生することになり、データ受信端末400
のスレーブメディアのバッファ422がアンダーランし
てしまう。
【0117】アンダーランの発生を防ぐためには、デー
タ受信端末400における再生時のサンプリングレート
を変更することが必要となる。そこで、データ受信端末
400のサンプリングレート設定部424は、データ受
信端末400のシステムクロック450と、スレーブサ
ーバ300のシステムクロック350との差に基づい
て、再生時のサンプリングレートを変更することが必要
となる。この場合は、サンプリングレートを80/60
に変更する処理を実行することで、スレーブサーバ30
0のシステムクロック350に同期した再生が可能とな
る。
【0118】しかし、この処理では、マスターサーバか
ら受信するマスターメディアをマスターサーバのシステ
ムクロックに同期させて再生し、スレーブサーバから受
信するスレーブメディアをスレーブサーバのシステムク
ロックに同期させて再生することになる。しかし、マス
ターサーバのシステムクロックと、スレーブメディアを
スレーブサーバのシステムクロックとは同期しておら
ず、マスターメディアとスレーブメディアの同期した再
生は不可能となる。
【0119】ここで、マスターメディアとスレーブメデ
ィアの同期した再生を行うため、スレーブメディアの再
生をマスターサーバのシステムクロックを基準として再
生を行う。サンプリングレート設定部424は、データ
受信端末400のシステムクロック450と、スレーブ
サーバ300のシステムクロック350との差に基づく
サンプリングレート変更用データとしての[80/6
0]と、受信端末400のシステムクロック450と、
マスターサーバ200のシステムクロック250との差
に基づくサンプリングレート変更用データとしての[3
5/30]との両データを用いて、スレーブメディアの
サンプリングレートを[(35/30)/(80/6
0)]を設定する処理を実行する。
【0120】このサンプリングレート[(35/30)
/(80/60)]に基づいて出力時刻調節部425が
スレーブメディアを格納したパケットを保持したバッフ
ァ422から順次、パケットを出力処理部426に出力
する。出力処理部426は、バッファ422から変更し
たサンプリングレートに基づいて順次入力されるパケッ
トに格納された符号化データの復号を実行した後、ディ
スプレイ、スピーカ等の出力装置に出力する。この処理
により、マスターサーバ200のシステムクロック25
0に同期したスレーブメディア再生処理が実行される。
【0121】上記処理の結果、マスターメディア、スレ
ーブメディアの双方ともマスターサーバ200のシステ
ムクロック250に同期した再生が行なわれ、異なるサ
ーバから送信される異なるメディアの同期再生が実現さ
れる。
【0122】しかし、この状態で再生を継続すると、マ
スターメディアの再生は、マスターサーバ200のシス
テムクロック250に基づいて再生されるので、マスタ
ーメディアを格納したバッファ412には、オーバーフ
ロー、アンダーフローの問題は生じないが、スレーブメ
ディアを格納したバッファ422には、オーバーフロ
ー、アンダーフローの問題が生じることになる。なぜな
ら、受信端末の再生サンプリングレートは、スレーブサ
ーバ300のシステムクロック350に基づくサンプリ
ングレートと一致していないからである。
【0123】この不一致を解消するために、転送レート
変更メッセージ生成部428は、マスターサーバ200
のシステムクロック250と、スレーブサーバ300の
システムクロック350との差に基づく転送レート変更
用データを格納した転送レート変更メッセージを生成し
て、データ送信部427を介してスレーブサーバに送信
する。
【0124】上記例の場合、すなわち、データ受信端末
400のシステムクロック450と、マスターサーバ2
00のシステムクロック250との差が35/30、デ
ータ受信端末400のシステムクロック450と、スレ
ーブサーバ300のシステムクロック350との差が8
0/60、である場合、マスターサーバ200のシステ
ムクロック250と、スレーブサーバ300のシステム
クロック350との差は、(35/30)/(80/6
0)=0.875となる。
【0125】転送レート変更メッセージ生成部428
は、この[0.875]を転送レート変更用データとし
て格納し、その他、再生処理に係るアプリケーション情
報等、必要情報を格納し、先に図9を参照して説明した
フォーマットを持つ転送レート変更メッセージを生成し
て、データ送信部427を介してスレーブサーバに送信
する。
【0126】スレーブサーバは、データ受信端末から転
送レート変更メッセージを受信すると、転送レート変更
メッセージに格納された転送レート変更用データを取り
出して、図8、図10に示す転送レート調節部304の
カウンタ補正部313においてカウンタ値を補正して、
補正カウンタ値C’に基づくデータ転送を開始する。こ
の処理は、先に図11のフローを参照して説明した通り
である。
【0127】スレーブサーバ300が、上記例のよう
に、[0.875]を転送レート変更用データとして格
納した転送レート変更メッセージを受信した場合、転送
レート調節部304のカウンタ補正部313におけるカ
ウンタ値の補正は、実際のカウンタ値:Cに対して補正
カウンタ値:C’を下記式に従って設定する。 補正カウンタ値C’=(1/0.875)C
【0128】上記式に従って、補正処理を実行し、スレ
ーブサーバ300のデータ出力制御部312は、補正カ
ウンタ値C’に基づいて、補正カウンタ値C’が、あら
かじめ定められたカウンタ値:Vaに達したとき、バッ
ファからパケットを順次取り出して、データ送信部30
5に出力する処理を実行する。
【0129】この結果、スレーブサーバ300のデータ
転送レートは、マスターサーバ200のデータ転送レー
トに同期することとなり、その結果、マスターサーバ2
00のデータ転送レートに従ってデータ再生処理を実行
しているデータ受信端末400では、マスターサーバ2
00から受信するマスターメディア格納パケットを一時
記憶するバッファ412、スレーブサーバ300から受
信するスレーブメディア格納パケットを一時記憶するバ
ッファ422にバッファオーバーフロー、あるいはアン
ダーフローの問題が発生することがない。
【0130】図16にデータ受信端末において実行する
マスターメディアおよびスレーブメディアのサンプリン
グレート設定処理および、転送レート変更メッセージの
生成、送信処理についてまとめたフローを示す。処理フ
ローの各ステップについて説明する。
【0131】データ受信端末は、タイムスタンプの比較
処理を予め定めた時間間隔毎に行う。バッファオーバー
フローや、アンダーフローは、データ送信側と再生側の
非同期状態が所定時間継続した場合に発生する問題であ
るからであり、例えば5分間隔にタイムスタンプの比較
処理を実行する。ステップS501は、このタイムスタ
ンプ比較時間を設定したタイマの更新処理ステップであ
り、ステップS502のタイムスタンプ比較時間に達す
るまで、タイマの更新を行う。
【0132】ステップS502でタイマがタイムスタン
プの比較処理間隔、例えば5分に達したとき、ステップ
S503に進む。ステップS503では、マスターサー
バから受信するパケットのタイムスタンプと、受信端末
のシステムクロックで計測したパケット間隔との差を算
出する。
【0133】ステップS504では、ステップS503
で算出したマスターサーバから受信するパケットのタイ
ムスタンプと、受信端末のシステムクロックで計測した
パケット間隔との差に基づいて、マスターメディアのサ
ンプリングレートを設定する。マスターメディアの再生
は、この設定されたサンプリングレートに基づいて実行
される。
【0134】次に、ステップS505では、スレーブサ
ーバから受信するパケットのタイムスタンプと、受信端
末のシステムクロックで計測したパケット間隔との差を
算出する。
【0135】ステップS506では、ステップS505
で算出したスレーブサーバから受信するパケットのタイ
ムスタンプと、受信端末のシステムクロックで計測した
パケット間隔との差、および、ステップS503で算出
したマスターサーバから受信するパケットのタイムスタ
ンプと、受信端末のシステムクロックで計測したパケッ
ト間隔との差に基づいて、スレーブメディアのサンプリ
ングレートを設定する。スレーブメディアの再生は、こ
の設定されたサンプリングレートに基づいて実行され
る。この処理により、マスターメディアとスレーブメデ
ィアの同期再生が可能となる。
【0136】次に、ステップS507では、マスターサ
ーバと、スレープサーバの各システムクロックの差を算
出する。これは、ステップS503で算出したマスター
サーバから受信するパケットのタイムスタンプと、受信
端末のシステムクロックで計測したパケット間隔との差
と、ステップS505で算出したスレーブサーバから受
信するパケットのタイムスタンプと、受信端末のシステ
ムクロックで計測したパケット間隔との差とに基づいて
算出する。算出した値は、転送レート変更メッセージに
格納する転送レート変更用データとする。
【0137】ステップS508では、ステップS507
で算出した転送レート変更用データを格納した転送レー
ト変更メッセージを生成し、ステップS509におい
て、生成した転送レート変更メッセージをスレーブサー
バに対して送信する。
【0138】以上の処理でスレーブサーバに送信された
転送レート変更メッセージに従って、スレーブサーバの
データ転送レートが、マスターサーバのデータ転送レー
トに同期するよう変更され、その結果、マスターサーバ
のデータ転送レートに従ってデータ再生処理を実行して
いるデータ受信端末は、マスターメディア格納パケット
を記憶するバッファ、スレーブメディア格納パケットを
記憶するバッファについてのオーバーフロー、あるいは
アンダーフローを発生させることなく、安定した同期再
生処理を実行することが可能となる。
【0139】なお、上述の実施例では、1つのスレーブ
サーバに対する処理のみを示しているが、1つのマスタ
ーサーバに対して複数のスレーブサーバがある場合も、
各スレーブサーバに対して、転送レート変更メッセージ
を送信することにより、各スレーブサーバは、1つのマ
スターサーバのシステムクロックに同期したデータ送信
処理を実行することが可能となり、1つのマスターサー
バと複数のスレーブサーバからそれぞれ1つのマスター
メディアと、複数のスレーブメディアを受信する受信端
末では、マスターメディア格納パケットを記憶するバッ
ファ、複数の異なるスレーブメディア格納パケットを記
憶する複数のバッファについてのオーバーフロー、ある
いはアンダーフローを発生させることなく、安定した同
期再生処理を実行することが可能となる。
【0140】[複数の受信端末からの転送レート変更メ
ッセージ受信時の処理]図1に示すマスターサーバ20
0、およびスレーブサーバ300が複数の受信端末に対
して、それぞれマスターメディア、スレーブメディアの
送信処理を実行している場合、スレーブサーバ300
は、複数の受信端末から異なる転送レート変更用データ
を格納した複数の転送レート変更メッセージを受信する
場合がある。
【0141】この場合、スレーブサーバ300は、異な
る転送レート変更用データを格納した複数の転送レート
変更メッセージから最適な唯一の転送レート変更用デー
タを格納した転送レート変更メッセージを選択して、選
択したメッセージに従った転送レート変更処理、すなわ
ち転送レート変更用データに基づくカウンタ値の補正を
行う必要がある。
【0142】このメッセージ選択処理のの1つの手法に
ついて説明する。データ送信サーバであるスレーブサー
バと、各データ受信端末の間では、データの受信状態を
確認する制御パケットが転送される。例えばRTCP
(Real-time Transport Control Protocol)に従って生
成されるRTCPレシーバレポート(RTCP Receive
r Report)で各受信端末からスレーブサーバに対して送
信される。
【0143】図17にRTCPレシーバレポート(RT
CP Receiver Report)のフォーマットを示す。RTC
Pレシーバレポート(RTCP Receiver Report)は、
バージョン番号(v)、パディング(P)、ペイロード
タイプ(Payload type)、メッセージ長、
同期ソース(送信元)識別子(SSRC)、さらに、各
受信端末において計測したパケット喪失率、累積喪失パ
ケット数、最大受信シーケンス番号、パケット間隔のゆ
らぎを示すパケット間隔ジッタ、最新送信レポート時
刻、送信レポート経過時間の各項目が格納される。
【0144】スレーブサーバは、図17に示すRTCP
レシーバレポートを各受信端末から受信する。スレーブ
サーバは、受信した複数のRTCPレシーバレポート中
から最小のパケット間隔ジッタ値を持つレポートを選択
し、そのレポートの送信元の受信者からの転送レート変
更メッセージを最適メッセージ、すなわち信頼度の高い
メッセージとして選択し、その転送レート変更メッセー
ジに格納された転送レート変更用データに基づいて転送
レートの変更処理を実行する。
【0145】上記処理は、パケット間隔ジッタ値が最小
の受信端末が、パケット毎のネットワーク遅延のばらつ
きが少ない受信端末であるとの判断に基づく処理であ
り、パケット毎の受信間隔のばらつきの少ない受信状況
において計測された転送レート変更用データを信頼度の
高いデータとして取り扱うものである。
【0146】上述した処理により、マスターサーバ、お
よびスレーブサーバが複数の受信端末に対して、それぞ
れマスターメディア、スレーブメディアの送信処理を実
行している場合において、スレーブサーバが、複数の受
信端末から異なる転送レート変更用データを格納した複
数の転送レート変更メッセージを受信しても、その中か
ら最も信頼度の高い転送レート変更用データを選択し
て、転送レートの変更処理を実行することが可能とな
る。
【0147】[データ送受信装置構成例]上述の実施例
で述べた一連の処理は、ハードウェア、またはソフトウ
ェア、あるいは両者の複合構成によって実行することが
可能である。ソフトウェアによる処理を実行する場合
は、処理シーケンスを記録したプログラムを、専用のハ
ードウェアに組み込まれたデータ処理装置内のメモリに
インストールして実行させるか、あるいは、各種処理が
実行可能な汎用コンピュータにプログラムをインストー
ルして実行させることが可能である。一連の処理をソフ
トウェアによって行う場合には、そのソフトウェアを構
成するプログラムが、例えば汎用のコンピュータやマイ
クロコンピュータ等にインストールされる。
【0148】図18に、上述の実施例で述べた一連の処
理を実行するデータ送信装置としてのマスターサーバ、
スレーブサーバ、およびデータ受信端末装置のシステム
構成例を示す。本発明のシステムで送受信されるデータ
の一例は、符号化データであり、データ送信装置ではエ
ンコード(符号化)処理が実行され、データ受信装置で
はデコード(復号)処理が実行される。符号化されたデ
ータはパケットとしてネットワークを介して送受信す
る。そのため、データ送信側では、パケット生成(パケ
タイズ処理)を実行し、データ受信側ではパケット展開
(デパケタイズ処理)を実行する。
【0149】図18に示すデータ送受信装置(ex.P
C)850は、エンコード(符号化)処理、デコード
(復号)処理を実行するとともにパケット生成、展開処
理を実行するコーデック851、通信ネットワークとの
インタフェースとして機能するネットワークインタフェ
ース852、マウス837、キーボード836等の入力
機器との入出力インタフェース853、ビデオカメラ8
33、マイク834、スピーカ835等のAVデータ入
出力機器からのデータ入出力を行うAVインタフェース
854、ディスプレイ832に対するデータ出力インタ
フェースとしてのディスプレイ・インタフェース85
5、各データ入出力インタフェース、コーデック85
1、ネットワークインタフェース852間のデータ転送
制御、その他各種プログラム制御を実行するCPU85
6、CPU856により制御実行される各種プログラム
の格納、データの格納、CPU856のワークエリアと
して機能するRAM、ROMからなるメモリ857、デ
ータ格納、プログラム格納用の記憶媒体としてのHDD
858を有し、それぞれPCIバス859に接続され、
相互のデータ送受信が可能な構成を持つ。
【0150】コーデック851は、図18に示すよう
に、例えばビデオカメラ833からの画像データ、マイ
ク834からの音声データを入力し、符号化処理、パケ
ット生成処理(パケタイズ)を実行し、最終的に符号化
データをペイロードとしたパケットを生成する。生成さ
れたパケットは、PCIバス859上に出力され、ネッ
トワークインタフェース852を介してネットワークに
出力され、パケットのヘッダに設定された宛先アドレス
に配信される。
【0151】また、HDD858またはメモリ857に
格納されたソフトウェアエンコードプログラムに従って
CPU856の制御により、ビデオカメラ833からの
画像データ、マイク834からの音声データを符号化し
てネットワークインタフェース852を介してネットワ
ークに出力する処理も実行する構成としてもよい。
【0152】一方、ネットワークを介して入力するパケ
ット化されたデータは、ネットワークインタフェース8
52を介して、バス856上に出力されて、コーデック
851に入力される。コーデック851では入力データ
のパケット展開処理(デパケタイズ)を実行し、ペイロ
ードとして格納された符号化データを抽出後、復号処理
を実行して、ディスプレイ832、スピーカ835にお
いて再生、出力する。
【0153】上述の実施例における処理対象となる画像
等のデータは、カメラ他の入力機器、例えばスキャナ等
のデータ入力装置、あるいはフロッピー(登録商標)デ
ィスク、CD−ROM(Compact Disc Read Only Memor
y),MO(Magneto optical)ディスク,DVD(Digital
Versatile Disc)、磁気ディスク、半導体メモリなどの
リムーバブル記録媒体から入力可能である。
【0154】また、CPU856は、ROM格納プログ
ラムに限らず、ハードディスクに格納されているプログ
ラム、衛星若しくはネットワークから転送され、受信さ
れてインストールされたプログラム等を、RAM(Rando
m Access Memory)等のメモリにロードして実行すること
も可能である。
【0155】ここで、本明細書において、プログラム
は、1つのコンピュータにより処理されるものであって
も良いし、複数のコンピュータによって分散処理される
ものであっても良い。さらに、プログラムは、遠方のコ
ンピュータに転送されて実行されるものであっても良
い。
【0156】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
【0157】
【発明の効果】以上、説明してきたように、本発明によ
れば、それぞれ異なるシステムクロックに基づくサンプ
リングレートに従って画像、音声等、異なるメディアを
送信する複数サーバからの送信メディアをデータ受信装
置において受信して再生する構成において、データ受信
端末装置が、1つのマスターサーバのクロックとその他
のスレーブサーバのクロック差を各サーバから受信する
パケットのタイムスタンプに基づいて算出し、算出した
値を転送レート変更用データとして格納した転送レート
変更メッセージを生成して、スレーブサーバに送信し、
スレーブサーバにおいて、転送レート変更メッセージに
従って、転送レートを変更する構成としたので、データ
受信端末は、マスターメディア格納パケットを記憶する
バッファ、スレーブメディア格納パケットを記憶するバ
ッファについてのオーバーフロー、あるいはアンダーフ
ローを発生させることなく、安定した同期再生処理を実
行することが可能となる。
【0158】さらに、本発明の構成によれば、1つのマ
スターサーバに対して複数のスレーブサーバがあり、様
々なメディアを配信する構成においても、各スレーブサ
ーバに対して、転送レート変更メッセージを送信するこ
とにより、各スレーブサーバは、1つのマスターサーバ
のシステムクロックに同期したデータ送信処理を実行す
ることが可能となり、1つのマスターサーバと複数のス
レーブサーバからそれぞれ1つのマスターメディアと、
複数のスレーブメディアを受信する受信端末では、マス
ターメディア格納パケットを記憶するバッファ、および
複数の異なるスレーブメディア格納パケットを記憶する
複数のバッファについてのオーバーフロー、あるいはア
ンダーフローを発生させることなく、安定した同期再生
処理を実行することが可能となる。
【図面の簡単な説明】
【図1】本発明のデータ通信システムの構成概要を示す
図である。
【図2】本発明のデータ通信システムのマスターサーバ
の構成を示す図である。
【図3】本発明のデータ通信システムにおいて転送され
るRTPパケットフォーマットを示す図である。
【図4】本発明のデータ通信システムにおいて転送され
るIPパケットヘッダフォーマットを示す図である。
【図5】本発明のデータ通信システムにおけるマスター
サーバの転送レート調節部の構成を示す図である。
【図6】本発明のデータ通信システムにおけるマスター
サーバの転送レート調節部の処理を説明するフローを示
す図である。
【図7】本発明のデータ通信システムにおけるマスター
サーバの処理を説明するフロー図である。
【図8】本発明のデータ通信システムのスレーブサーバ
の構成を示す図である。
【図9】本発明のデータ通信システムのスレーブサーバ
の受信する転送レート変更メッセージパケットのフォー
マットを示す図である。
【図10】本発明のデータ通信システムにおけるスレー
ブサーバの転送レート調節部の構成を示す図である。
【図11】本発明のデータ通信システムにおけるスレー
ブサーバの転送レート調節部の処理を説明するフローを
示す図である。
【図12】本発明のデータ通信システムにおけるスレー
ブサーバの処理を説明するフロー図である。
【図13】本発明のデータ通信システムのデータ受信端
末装置の構成を示す図である。
【図14】本発明のデータ通信システムのデータ受信端
末装置におけるサンプリングレート設定処理について説
明する図である。
【図15】本発明のデータ通信システムのデータ受信端
末装置におけるサンプリングレート設定処理について説
明する図である。
【図16】本発明のデータ通信システムのデータ受信端
末装置における処理について説明するフロー図である。
【図17】本発明のデータ通信システムのデータ受信端
末装置からスレーブサーバに対して送信されるRTCP
レシーバレポートのフォーマットを示す図である。
【図18】データ送信端末装置およびデータ受信端末装
置のシステム構成例を示す図である。
【符号の説明】
100 パケット通信網 200 マスターサーバ 250 システムクロック 300 スレーブサーバ 350 システムクロック 400,500 データ受信端末 450,550 システムクロック 201 メディア供給部 202 パケット生成部 203 バッファ 204 転送レート調節部 205 データ送信部 207 サンプリングレート設定部 208 データ受信部 211 カウンタ 212 データ出力制御部 301 メディア供給部 302 パケット生成部 303 バッファ 304 転送レート調節部 305 データ送信部 307 サンプリングレート設定部 308 転送レート変更メッセージ格納部 309 データ受信部 311 カウンタ 312 データ出力制御部 313 カウンタ補正部 411,421 データ受信部 412,422 バッファ 413,423 タイムスタンプ比較部 414,424 サンプリングレート設定部 415,425 出力時刻調節部 416,426 出力処理部 417,427 データ送信部 428 転送レート変更メッセージ生成部 809 PCIバス 832 ディスプレイ 833 ビデオカメラ 834 マイク 835 スピーカ 837 マウス 838 キーボード 850 データ送受信装置 851 コーデック 852 ネットワークインタフェース 853 入出力インタフェース 854 AVインタフェース 855 ディスプレイインタフェース 856 CPU 857 メモリ 858 HDD
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/24 H04N 7/08 Z 5K047 // G06F 1/12 G06F 1/04 340D H04L 7/00 Fターム(参考) 5C059 KK34 KK35 MA00 PP04 RA08 RB02 RC02 RC03 RC04 RC31 RC32 RE02 RE03 SS07 SS08 SS09 SS20 SS26 TA06 TC37 UA09 UA10 UA34 5C063 AA10 AB03 AB07 AB09 AC01 AC05 CA29 CA34 CA36 EB14 5C064 BA01 BC10 BC20 BD02 BD08 BD09 5K030 HB15 JT10 KA01 KA07 LA15 LE02 LE17 MB08 MB12 MC07 MC08 5K034 AA06 EE11 FF01 HH01 HH02 HH17 HH42 HH56 MM08 5K047 AA05 DD01 DD02 GG03 GG06 GG11 GG16 GG44 GG45 GG53 HH01 HH12 HH43 LL10

Claims (36)

    【特許請求の範囲】
  1. 【請求項1】各々が異なるデータを送信するデータ送信
    装置としての複数のサーバと、該複数のサーバからの送
    信データを受信するデータ受信装置とからなるデータ通
    信システムであり、 前記複数のサーバは、 1つのサーバをマスターサーバとし、他のサーバをスレ
    ーブサーバとした設定であるとともに、各サーバは各々
    のシステムクロックに基づいて設定する転送レートに従
    ったタイムスタンプ付与パケットの送信処理を実行する
    構成を有し、 前記データ受信装置は、 各サーバからの受信パケットのタイムスタンプに基づい
    て、マスターサーバとスレーブサーバ間のクロック差を
    算出し、該クロック差データを格納したメッセージのス
    レーブサーバに対する送信処理を実行する構成を有し、 前記スレーブサーバは、 前記メッセージに基づいて、データ転送レートを前記マ
    スターサーバのシステムクロックに同期させる転送レー
    ト変更処理を実行する構成を有することを特徴とするデ
    ータ通信システム。
  2. 【請求項2】前記データ受信装置は、 各サーバからの受信パケットのタイムスタンプと、該デ
    ータ受信装置のシステムクロックに基づいて計測したパ
    ケット受信間隔とに基づいて、該データ受信装置のシス
    テムクロックと、各サーバのシステムクロックとの差異
    を算出するとともに、該算出値に基づいてマスターサー
    バとスレーブサーバ間のシステムクロック差を算出し、
    該サーバ間システムクロック差を示すデータをデータ転
    送レート変更用データとして格納した転送レート変更メ
    ッセージをスレーブサーバに送信する構成を有し、 前記スレーブサーバは、 前記転送レート変更メッセージに格納されたデータ転送
    レート変更用データに基づいて、データ転送レートを前
    記マスターサーバのシステムクロックに同期させる転送
    レート変更処理を実行する構成を有することを特徴とす
    る請求項1に記載のデータ通信システム。
  3. 【請求項3】前記データ受信装置は、 マスターサーバからの受信パケットのタイムスタンプ
    と、該データ受信装置のシステムクロックに基づいて計
    測したパケット受信間隔とに基づいて、該データ受信装
    置のシステムクロックと、マスターサーバのシステムク
    ロックとの差異を算出するとともに、該算出値に基づい
    てマスターサーバからの受信データの再生サンプリング
    レートを設定する処理を実行する構成を有することを特
    徴とする請求項1に記載のデータ通信システム。
  4. 【請求項4】前記データ受信装置は、 前記マスターサーバからの受信パケットのタイムスタン
    プと、該データ受信装置のシステムクロックに基づいて
    計測したパケット受信間隔とに基づいて、該データ受信
    装置のシステムクロックと、マスターサーバのシステム
    クロックとの差異Aを算出し、前記差異Aに基づいてマ
    スターサーバからの受信データの再生サンプリングレー
    トを設定するとともに、 前記スレーブサーバからの受信パケットのタイムスタン
    プと、該データ受信装置のシステムクロックに基づいて
    計測したパケット受信間隔とに基づいて、該データ受信
    装置のシステムクロックと、スレーブサーバのシステム
    クロックとの差異Bを算出し、該差異Bと、前記差異A
    とに基づいて、スレーブサーバからの受信データの再生
    サンプリングレートを、マスターサーバのシステムクロ
    ックに同期したレートとして設定する処理を実行する構
    成を有することを特徴とする請求項1に記載のデータ通
    信システム。
  5. 【請求項5】前記スレーブサーバは、 複数のデータ受信装置から異なるクロック差データを格
    納した複数のメッセージを受信した場合において、 データ転送におけるパケット間隔ジッタが最小であるデ
    ータ受信装置からのメッセージを選択して、該メッセー
    ジに格納されたクロック差データに従った転送レート変
    更処理を実行する構成であることを特徴とする請求項1
    に記載のデータ通信システム。
  6. 【請求項6】前記データ受信装置から前記スレーブサー
    バに対するメッセージは、マスターサーバとスレーブサ
    ーバ間のクロック差データと、前記データ受信装置が再
    生実行中のアプリケーション識別データとを含む構成で
    あることを特徴とする請求項1に記載のデータ通信シス
    テム。
  7. 【請求項7】前記複数のサーバがデータ受信装置に対し
    て送信するデータは、データ転送プロトコルとしてのR
    TPに従ったフォーマットを有し、前記データ受信装置
    から前記スレーブサーバに対するメッセージは、制御プ
    ロトコルとしてのRTCPに従ったフォーマットを有す
    ることを特徴とする請求項1に記載のデータ通信システ
    ム。
  8. 【請求項8】前記複数のサーバ中、少なくとも1つのサ
    ーバは、動画像データのデータ受信装置に対する送信処
    理を実行し、前記複数のサーバ中、少なくとも他の1つ
    のサーバは、音声データの該データ受信装置に対する送
    信処理を実行する構成であり、 前記データ受信装置は、各サーバから受信する動画像デ
    ータおよび音声データの同期再生処理を実行する構成で
    あることを特徴とする請求項1に記載のデータ通信シス
    テム。
  9. 【請求項9】マスターサーバおよびスレーブサーバの各
    々がデータ受信装置に対して異なるデータを送信し、デ
    ータ受信装置において各サーバからの受信データの同期
    再生処理を実行するシステムにおけるスレーブサーバと
    してのデータ送信装置であり、 該データ送信装置は、 データ受信装置から、マスターサーバとスレーブサーバ
    間のクロック差データを格納したメッセージを受信し、
    該受信メッセージに基づいて、データ転送レートを前記
    マスターサーバのシステムクロックに同期させる転送レ
    ート変更処理を実行する構成を有することを特徴とする
    データ送信装置。
  10. 【請求項10】前記データ送信装置は、 システムクロックからの供給クロックに基づいて動作す
    るカウンタと、 前記メッセージに基づく前記カウンタの補正値を算出す
    るカウンタ補正部とを有し、 前記カウンタ補正部の補正カウンタ値に基づいてデータ
    転送制御を実行することにより転送レート変更処理を実
    行する構成であることを特徴とする請求項9に記載のデ
    ータ送信装置。
  11. 【請求項11】前記データ送信装置は、 複数のデータ受信装置から異なるクロック差データを格
    納した複数のメッセージを受信した場合において、 データ転送におけるパケット間隔ジッタが最小であるデ
    ータ受信装置からのメッセージを選択して、該メッセー
    ジに格納されたクロック差データに従った転送レート変
    更処理を実行する構成であることを特徴とする請求項9
    に記載のデータ送信装置。
  12. 【請求項12】マスターサーバおよびスレーブサーバの
    各々がデータ受信装置に対して異なるデータを送信し、
    データ受信装置において各サーバからの受信データの同
    期再生処理を実行するシステムにおけるデータ受信装置
    において、 各サーバからの受信パケットのタイムスタンプに基づい
    て、マスターサーバとスレーブサーバ間のクロック差を
    算出するタイムスタンプ比較部と、 前記タイムスタンプ比較部において算出したクロック差
    データを格納したメッセージを生成する転送レート変更
    メッセージ生成部と、 前記転送レート変更メッセージ生成部において生成した
    転送レート変更メッセージをスレーブサーバに対して送
    信する送信部と、 を有することを特徴とするデータ受信装置。
  13. 【請求項13】前記タイムスタンプ比較部は、 各サーバからの受信パケットのタイムスタンプと、該デ
    ータ受信装置のシステムクロックに基づいて計測したパ
    ケット受信間隔とに基づいて、該データ受信装置のシス
    テムクロックと、各サーバのシステムクロックとの差異
    を算出する構成であり、 前記転送レート変更メッセージ生成部は、 前記タイムスタンプ比較部の算出値に基づいて算出され
    るマスターサーバとスレーブサーバ間のシステムクロッ
    ク差を示すデータをデータ転送レート変更用データとし
    て格納した転送レート変更メッセージを生成する構成で
    あることを特徴とする請求項12に記載のデータ受信装
    置。
  14. 【請求項14】前記タイムスタンプ比較部は、 マスターサーバからの受信パケットのタイムスタンプ
    と、該データ受信装置のシステムクロックに基づいて計
    測したパケット受信間隔とに基づいて、該データ受信装
    置のシステムクロックと、マスターサーバのシステムク
    ロックとの差異を算出する構成であり、 前記データ受信装置は、さらに、 前記タイムスタンプ比較部の算出値に基づいてマスター
    サーバからの受信データの再生サンプリングレートを設
    定するサンプリングレート設定部を有することを特徴と
    する請求項12に記載のデータ受信装置。
  15. 【請求項15】前記タイムスタンプ比較部は、 前記マスターサーバからの受信パケットのタイムスタン
    プと、該データ受信装置のシステムクロックに基づいて
    計測したパケット受信間隔とに基づいて、該データ受信
    装置のシステムクロックと、マスターサーバのシステム
    クロックとの差異Aを算出するとともに、 前記スレーブサーバからの受信パケットのタイムスタン
    プと、該データ受信装置のシステムクロックに基づいて
    計測したパケット受信間隔とに基づいて、該データ受信
    装置のシステムクロックと、スレーブサーバのシステム
    クロックとの差異Bを算出する構成を有し、 前記データ受信装置は、さらに、 前記差異Aに基づいてマスターサーバからの受信データ
    の再生サンプリングレートを設定するとともに、前記差
    異Aと、前記差異Bとに基づいて、スレーブサーバから
    の受信データの再生サンプリングレートを、マスターサ
    ーバのシステムクロックに同期したレートとして設定す
    るサンプリングレート設定部を有することを特徴とする
    請求項12に記載のデータ受信装置。
  16. 【請求項16】前記転送レート変更メッセージ生成部
    は、 マスターサーバとスレーブサーバ間のクロック差データ
    と、前記データ受信装置が再生実行中のアプリケーショ
    ン識別データとを含む構成であることを特徴とする請求
    項12に記載のデータ受信装置。
  17. 【請求項17】前記転送レート変更メッセージ生成部
    は、 転送レート変更メッセージを、制御プロトコルとしての
    RTCPフォーマットに従って生成する構成であること
    を特徴とする請求項12に記載のデータ受信装置。
  18. 【請求項18】各々が異なるデータを送信するデータ送
    信装置としての複数のサーバと、該複数のサーバからの
    送信データを受信するデータ受信装置とからなるシステ
    ムにおけるデータ通信方法であり、 前記複数のサーバにおいて、 1つのサーバをマスターサーバとし、他のサーバをスレ
    ーブサーバとした設定であるとともに、各サーバは各々
    のシステムクロックに基づいて設定する転送レートに従
    ったタイムスタンプ付与パケットの送信処理を実行し、 前記データ受信装置において、 各サーバからの受信パケットのタイムスタンプに基づい
    て、マスターサーバとスレーブサーバ間のクロック差を
    算出し、該クロック差データを格納したメッセージのス
    レーブサーバに対する送信処理を実行し、 前記スレーブサーバにおいて、 前記メッセージに基づいて、データ転送レートを前記マ
    スターサーバのシステムクロックに同期させる転送レー
    ト変更処理を実行することを特徴とするデータ通信方
    法。
  19. 【請求項19】前記データ通信方法において、 前記データ受信装置は、 各サーバからの受信パケットのタイムスタンプと、該デ
    ータ受信装置のシステムクロックに基づいて計測したパ
    ケット受信間隔とに基づいて、該データ受信装置のシス
    テムクロックと、各サーバのシステムクロックとの差異
    を算出するとともに、該算出値に基づいてマスターサー
    バとスレーブサーバ間のシステムクロック差を算出し、
    該サーバ間システムクロック差を示すデータをデータ転
    送レート変更用データとして格納した転送レート変更メ
    ッセージをスレーブサーバに送信し、 前記スレーブサーバは、 前記転送レート変更メッセージに格納されたデータ転送
    レート変更用データに基づいて、データ転送レートを前
    記マスターサーバのシステムクロックに同期させる転送
    レート変更処理を実行することを特徴とする請求項18
    に記載のデータ通信方法。
  20. 【請求項20】前記データ通信方法において、 前記データ受信装置は、 マスターサーバからの受信パケットのタイムスタンプ
    と、該データ受信装置のシステムクロックに基づいて計
    測したパケット受信間隔とに基づいて、該データ受信装
    置のシステムクロックと、マスターサーバのシステムク
    ロックとの差異を算出するとともに、該算出値に基づい
    てマスターサーバからの受信データの再生サンプリング
    レートを設定する処理を実行することを特徴とする請求
    項18に記載のデータ通信方法。
  21. 【請求項21】前記データ通信方法において、 前記データ受信装置は、 前記マスターサーバからの受信パケットのタイムスタン
    プと、該データ受信装置のシステムクロックに基づいて
    計測したパケット受信間隔とに基づいて、該データ受信
    装置のシステムクロックと、マスターサーバのシステム
    クロックとの差異Aを算出し、前記差異Aに基づいてマ
    スターサーバからの受信データの再生サンプリングレー
    トを設定するとともに、 前記スレーブサーバからの受信パケットのタイムスタン
    プと、該データ受信装置のシステムクロックに基づいて
    計測したパケット受信間隔とに基づいて、該データ受信
    装置のシステムクロックと、スレーブサーバのシステム
    クロックとの差異Bを算出し、該差異Bと、前記差異A
    とに基づいて、スレーブサーバからの受信データの再生
    サンプリングレートを、マスターサーバのシステムクロ
    ックに同期したレートとして設定する処理を実行するこ
    とを特徴とする請求項18に記載のデータ通信方法。
  22. 【請求項22】前記スレーブサーバは、 複数のデータ受信装置から異なるクロック差データを格
    納した複数のメッセージを受信した場合において、 データ転送におけるパケット間隔ジッタが最小であるデ
    ータ受信装置からのメッセージを選択して、該メッセー
    ジに格納されたクロック差データに従った転送レート変
    更処理を実行することを特徴とする請求項18に記載の
    データ通信方法。
  23. 【請求項23】前記データ受信装置から前記スレーブサ
    ーバに対するメッセージは、マスターサーバとスレーブ
    サーバ間のクロック差データと、前記データ受信装置が
    再生実行中のアプリケーション識別データとを含むこと
    を特徴とする請求項18に記載のデータ通信方法。
  24. 【請求項24】前記複数のサーバがデータ受信装置に対
    して送信するデータは、データ転送プロトコルとしての
    RTPに従ったフォーマットを有し、前記データ受信装
    置から前記スレーブサーバに対するメッセージは、制御
    プロトコルとしてのRTCPに従ったフォーマットを有
    することを特徴とする請求項18に記載のデータ通信方
    法。
  25. 【請求項25】前記複数のサーバ中、少なくとも1つの
    サーバは、動画像データのデータ受信装置に対する送信
    処理を実行し、前記複数のサーバ中、少なくとも他の1
    つのサーバは、音声データの該データ受信装置に対する
    送信処理を実行し、 前記データ受信装置は、各サーバから受信する動画像デ
    ータおよび音声データの同期再生処理を実行することを
    特徴とする請求項18に記載のデータ通信方法。
  26. 【請求項26】マスターサーバおよびスレーブサーバの
    各々がデータ受信装置に対して異なるデータを送信し、
    データ受信装置において各サーバからの受信データの同
    期再生処理を実行するシステム中のスレーブサーバにお
    けるデータ送信方法であり、 データ受信装置から、マスターサーバとスレーブサーバ
    間のクロック差データを格納したメッセージを受信し、
    該受信メッセージに基づいて、データ転送レートを前記
    マスターサーバのシステムクロックに同期させる転送レ
    ート変更処理を実行することを特徴とするデータ送信方
    法。
  27. 【請求項27】前記スレーブサーバは、 システムクロックからの供給クロックに基づいて動作す
    るカウンタと、 前記メッセージに基づく前記カウンタの補正値を算出す
    るカウンタ補正部とを有し、 前記データ送信方法は、 前記カウンタ補正部の補正カウンタ値に基づいてデータ
    転送制御を実行することにより転送レート変更処理を実
    行するステップを含むことを特徴とする請求項26に記
    載のデータ送信方法。
  28. 【請求項28】前記データ送信方法において、 複数のデータ受信装置から異なるクロック差データを格
    納した複数のメッセージを受信した場合において、 データ転送におけるパケット間隔ジッタが最小であるデ
    ータ受信装置からのメッセージを選択して、該メッセー
    ジに格納されたクロック差データに従った転送レート変
    更処理を実行することを特徴とする請求項26に記載の
    データ送信方法。
  29. 【請求項29】マスターサーバおよびスレーブサーバの
    各々がデータ受信装置に対して異なるデータを送信し、
    データ受信装置において各サーバからの受信データの同
    期再生処理を実行するシステムにおける受信データ処理
    方法であり、 各サーバからの受信パケットのタイムスタンプに基づい
    て、マスターサーバとスレーブサーバ間のクロック差を
    算出するタイムスタンプ比較ステップと、 前記タイムスタンプ比較ステップにおいて算出したクロ
    ック差データを格納したメッセージを生成する転送レー
    ト変更メッセージ生成ステップと、 前記転送レート変更メッセージ生成ステップにおいて生
    成した転送レート変更メッセージをスレーブサーバに対
    して送信する送信ステップと、 を有することを特徴とする受信データ処理方法。
  30. 【請求項30】前記タイムスタンプ比較ステップは、 各サーバからの受信パケットのタイムスタンプと、該デ
    ータ受信装置のシステムクロックに基づいて計測したパ
    ケット受信間隔とに基づいて、該データ受信装置のシス
    テムクロックと、各サーバのシステムクロックとの差異
    を算出するステップを含み、 前記転送レート変更メッセージ生成ステップは、 前記タイムスタンプ比較ステップにおける算出値に基づ
    いて算出されるマスターサーバとスレーブサーバ間のシ
    ステムクロック差を示すデータをデータ転送レート変更
    用データとして格納した転送レート変更メッセージを生
    成するステップを含むことを特徴とする請求項29に記
    載の受信データ処理方法。
  31. 【請求項31】前記タイムスタンプ比較ステップは、 マスターサーバからの受信パケットのタイムスタンプ
    と、データ受信装置のシステムクロックに基づいて計測
    したパケット受信間隔とに基づいて、データ受信装置の
    システムクロックと、マスターサーバのシステムクロッ
    クとの差異を算出するステップを含み、 前記受信データ処理方法は、さらに、 前記タイムスタンプ比較ステップにおける算出値に基づ
    いてマスターサーバからの受信データの再生サンプリン
    グレートを設定するサンプリングレート設定ステップを
    含むことを特徴とする請求項29に記載の受信データ処
    理方法。
  32. 【請求項32】前記タイムスタンプ比較ステップは、 前記マスターサーバからの受信パケットのタイムスタン
    プと、該データ受信装置のシステムクロックに基づいて
    計測したパケット受信間隔とに基づいて、該データ受信
    装置のシステムクロックと、マスターサーバのシステム
    クロックとの差異Aを算出するとともに、 前記スレーブサーバからの受信パケットのタイムスタン
    プと、該データ受信装置のシステムクロックに基づいて
    計測したパケット受信間隔とに基づいて、該データ受信
    装置のシステムクロックと、スレーブサーバのシステム
    クロックとの差異Bを算出するステップを含み、 前記受信データ処理方法は、さらに、 前記差異Aに基づいてマスターサーバからの受信データ
    の再生サンプリングレートを設定するとともに、前記差
    異Aと、前記差異Bとに基づいて、スレーブサーバから
    の受信データの再生サンプリングレートを、マスターサ
    ーバのシステムクロックに同期したレートとして設定す
    るサンプリングレート設定ステップを有することを特徴
    とする請求項29に記載の受信データ処理方法。
  33. 【請求項33】前記転送レート変更メッセージ生成ステ
    ップは、 マスターサーバとスレーブサーバ間のクロック差データ
    と、前記データ受信装置が再生実行中のアプリケーショ
    ン識別データとを含むメッセージを生成することを特徴
    とする請求項29に記載の受信データ処理方法。
  34. 【請求項34】前記転送レート変更メッセージ生成ステ
    ップは、 転送レート変更メッセージを、制御プロトコルとしての
    RTCPフォーマットに従って生成することを特徴とす
    る請求項29に記載の受信データ処理方法。
  35. 【請求項35】マスターサーバおよびスレーブサーバの
    各々がデータ受信装置に対して異なるデータを送信し、
    データ受信装置において各サーバからの受信データの同
    期再生処理を実行するシステム中のスレーブサーバにお
    けるデータ送信処理を実行するコンピュータ・プログラ
    ムであって、 データ受信装置から、マスターサーバとスレーブサーバ
    間のクロック差データを格納したメッセージを受信する
    ステップと、 該受信メッセージに基づいて、データ転送レートを前記
    マスターサーバのシステムクロックに同期させる転送レ
    ート変更処理を実行するステップと、 を具備することを特徴とするコンピュータ・プログラ
    ム。
  36. 【請求項36】マスターサーバおよびスレーブサーバの
    各々がデータ受信装置に対して異なるデータを送信し、
    データ受信装置において各サーバからの受信データの同
    期再生処理を実行するシステムにおける受信データ処理
    を実行するコンピュータ・プログラムであって、 各サーバからの受信パケットのタイムスタンプに基づい
    て、マスターサーバとスレーブサーバ間のクロック差を
    算出するタイムスタンプ比較ステップと、 前記タイムスタンプ比較ステップにおいて算出したクロ
    ック差データを格納したメッセージを生成する転送レー
    ト変更メッセージ生成ステップと、 前記転送レート変更メッセージ生成ステップにおいて生
    成した転送レート変更メッセージをスレーブサーバに対
    して送信する送信ステップと、 を具備することを特徴とするコンピュータ・プログラ
    ム。
JP2001375222A 2001-12-10 2001-12-10 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム Expired - Fee Related JP4042396B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001375222A JP4042396B2 (ja) 2001-12-10 2001-12-10 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001375222A JP4042396B2 (ja) 2001-12-10 2001-12-10 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム

Publications (3)

Publication Number Publication Date
JP2003179662A true JP2003179662A (ja) 2003-06-27
JP2003179662A5 JP2003179662A5 (ja) 2005-07-21
JP4042396B2 JP4042396B2 (ja) 2008-02-06

Family

ID=19183633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001375222A Expired - Fee Related JP4042396B2 (ja) 2001-12-10 2001-12-10 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム

Country Status (1)

Country Link
JP (1) JP4042396B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082905A (ja) * 2000-06-21 2002-03-22 Dr Johannes Heidenhain Gmbh 位置測定システムと処理ユニットとの間でシリアルデータ伝送するための方法と装置
JP2006107317A (ja) * 2004-10-08 2006-04-20 Canon Inc データ転送システム及びデータ転送方法
JP2008193178A (ja) * 2007-01-31 2008-08-21 Hewlett-Packard Development Co Lp データストリーミング方法
JP2009237470A (ja) * 2008-03-28 2009-10-15 Yamaha Corp 電子音楽制作・再生装置およびその制御方法を実現するためのプログラム
US7725610B2 (en) 2004-05-13 2010-05-25 Canon Kabushiki Kaisha Data processing apparatus that transmits and receives moving image data to and from an external device through a transmission path
JP4865717B2 (ja) * 2004-08-30 2012-02-01 ハーモニック インコーポレイテッド 確率的なネットワーク上のメッセージの同期化
KR20160023437A (ko) * 2014-08-22 2016-03-03 주식회사 문화방송 시간 동기화 시스템 및 그 방법
KR101730313B1 (ko) 2015-07-08 2017-05-11 미쓰비시덴키 가부시키가이샤 네트워크 시스템, 타임 마스터국, 및 타임 슬레이브국
KR20180066372A (ko) * 2016-12-08 2018-06-19 현대오트론 주식회사 차량용 게이트웨이의 주기 메시지 송수신 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11652860B2 (en) * 2020-09-01 2023-05-16 Yahoo Assets Llc Synchronization of streaming content using live edge offsets

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082905A (ja) * 2000-06-21 2002-03-22 Dr Johannes Heidenhain Gmbh 位置測定システムと処理ユニットとの間でシリアルデータ伝送するための方法と装置
US7725610B2 (en) 2004-05-13 2010-05-25 Canon Kabushiki Kaisha Data processing apparatus that transmits and receives moving image data to and from an external device through a transmission path
JP4865717B2 (ja) * 2004-08-30 2012-02-01 ハーモニック インコーポレイテッド 確率的なネットワーク上のメッセージの同期化
JP2006107317A (ja) * 2004-10-08 2006-04-20 Canon Inc データ転送システム及びデータ転送方法
JP4537169B2 (ja) * 2004-10-08 2010-09-01 キヤノン株式会社 ホスト装置及びその制御方法
US8924579B2 (en) 2007-01-31 2014-12-30 Hewlett-Packard Development Company, L.P. Data streaming method
JP2008193178A (ja) * 2007-01-31 2008-08-21 Hewlett-Packard Development Co Lp データストリーミング方法
JP2009237470A (ja) * 2008-03-28 2009-10-15 Yamaha Corp 電子音楽制作・再生装置およびその制御方法を実現するためのプログラム
KR20160023437A (ko) * 2014-08-22 2016-03-03 주식회사 문화방송 시간 동기화 시스템 및 그 방법
KR101644619B1 (ko) 2014-08-22 2016-08-01 주식회사 문화방송 시간 동기화 시스템 및 그 방법
KR101730313B1 (ko) 2015-07-08 2017-05-11 미쓰비시덴키 가부시키가이샤 네트워크 시스템, 타임 마스터국, 및 타임 슬레이브국
KR20180066372A (ko) * 2016-12-08 2018-06-19 현대오트론 주식회사 차량용 게이트웨이의 주기 메시지 송수신 방법
KR101907438B1 (ko) * 2016-12-08 2018-10-15 현대오트론 주식회사 차량용 게이트웨이의 주기 메시지 송수신 방법

Also Published As

Publication number Publication date
JP4042396B2 (ja) 2008-02-06

Similar Documents

Publication Publication Date Title
US10264070B2 (en) System and method for synchronizing media presentation at multiple recipients
KR101548619B1 (ko) 상호연결 네트워크에서의 관련 데이터 스트림 동기화
JP3912091B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US7606928B2 (en) Method and device for controlling receiver buffer fullness level in multimedia streaming
CN106686438B (zh) 一种跨设备的音频图像同步播放的方法、装置及系统
US7673063B2 (en) Methods for streaming media data
US8208460B2 (en) Method and system for in-band signaling of multiple media streams
JP2003304511A (ja) 通信端末、サーバ装置、中継装置、放送通信システム、放送通信方法及びプログラム
EP1715612B1 (en) Transmitting apparatus, relaying apparatus, receiving apparatus and network system including these apparatus
JP3922047B2 (ja) データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
JP4042396B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP3906678B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP5082715B2 (ja) 受信装置、受信方法およびコンピュータプログラム
JP2002152307A (ja) データ受信装置、データ送信装置、データ通信システム、データ受信方法、データ送信方法、データ通信方法、並びにプログラム記憶媒体
JP4876427B2 (ja) 通信システム、送信装置、送信方法、受信装置、受信方法、およびプログラム
JP2005136545A (ja) 送信装置および方法、プログラム格納媒体、並びにプログラム
JP4506222B2 (ja) 通信システム、送信装置および方法、並びにプログラム
JP2005136547A (ja) 通信システム、受信装置および方法、送信装置および方法、記録媒体、並びにプログラム
JP2006067410A (ja) 送信装置および方法、プログラム、並びに送受信システム
JP2001320407A (ja) データ通信装置、データ通信用拡張ボード及びデータ通信方法
JP2005012780A (ja) 画像伝送方法および画像伝送装置
JP2005027209A (ja) 情報処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20061003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071105

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131122

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees