JP2003179662A - データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム - Google Patents
データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラムInfo
- Publication number
- JP2003179662A JP2003179662A JP2001375222A JP2001375222A JP2003179662A JP 2003179662 A JP2003179662 A JP 2003179662A JP 2001375222 A JP2001375222 A JP 2001375222A JP 2001375222 A JP2001375222 A JP 2001375222A JP 2003179662 A JP2003179662 A JP 2003179662A
- Authority
- JP
- Japan
- Prior art keywords
- data
- server
- receiving device
- system clock
- transfer rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Television Systems (AREA)
Abstract
グレートに従った異なるメディアの受信、同期再生を、
バッファオーバフロー、アンダーフローを発生させずに
可能としたシステムを提供する。 【解決手段】 データ受信端末が、1つのマスターサー
バのクロックとその他のスレーブサーバのクロック差を
各サーバから受信するパケットのタイムスタンプに基づ
いて算出し、算出値を転送レート変更用データとして格
納した転送レート変更メッセージを生成してスレーブサ
ーバに送信する。スレーブサーバは、メッセージに従っ
て、転送レートを変更する。本構成により、マスターサ
ーバのクロックに同期した複数サーバからの複数のメデ
ィア転送が可能となる。
Description
ム、データ送信装置、データ受信装置、および方法、並
びにコンピュータ・プログラムに関する。さらに詳細に
は、ストリーミングデータ転送における同期処理の改善
を図ったデータ通信システム、データ送信装置、データ
受信装置、および方法、並びにコンピュータ・プログラ
ムに関する。
通信媒体を介した画像、音声データ等のデータ転送が盛
んに行われている。特に、近年においては、インターネ
ット上のデータ転送において、従来から利用されている
ダウンロード型伝送方式に加えて、ストリーム型伝送方
式によるサービスが増加してきている。ダウンロード型
伝送方式においては、映像ファイルや音声ファイルとい
ったマルチメディアデータを伝送する場合、配信サーバ
からデータファイルを一旦受信側端末の記憶媒体にダウ
ンロードして、その後、記憶媒体から再生することにな
る。よって、この方式ではファイルを完全に転送が終わ
るまでは再生できず、長時間再生やリアルタイム再生な
どには不向きである。
送信側から受信端末にデータ転送が行われている間に、
並列して受信データの再生処理を実行するものであり、
インターネット電話・遠隔テレビ会議・ビデオオンデマ
ンドといったインターネットサービスに利用されてい
る。
タのMPEG圧縮処理により生成されるMPEGストリ
ームをIP(Internet Protocol)パケットに格納して
インターネット上を転送させて、PCやPDA、携帯電
話等の各通信端末において受信するシステム等において
使用され、開発が進んでいる。このような技術は、ビデ
オオンデマンドやライブ映像のストリーミング配信、あ
るいはビデオ会議、テレビ電話などのリアルタイム通信
において有効となる。
インターネット技術に、IETF RFC1889で規定されている
プロトコル:RTP(Realtime Transport Protocol)が
ある。RTPに従ったデータ転送では、時間情報として
パケットにタイムスタンプを付加し、タイムスタンプの
参照により送信側と受信側の時間的関係の把握を行な
い、データ受信側において、パケット転送の遅延ゆらぎ
(ジッタ)などの影響を受けずに同期をとった再生を可
能としている。
において、複数の異なるデータ配信サーバから異なるデ
ータをそれぞれ配信して1つの受信端末において、これ
らの複数信号の同期した再生を行うシステムがある。例
えば画像データと音声データとを異なるデータ配信サー
バから送信し、PC、携帯端末等の受信端末装置におい
てこれらの信号を受信して、画像データと音声データと
の同期をとった再生を実行するような構成である。
トから受信端末へ、データをストリーミング配信して、
受信端末において再生しようとするとき、データ送信サ
イトと受信端末のシステムクロックが同期している場合
は、メディア再生が時間のずれなく可能となるが、デー
タ送信サイトと受信端末のシステムクロックが同期して
いない場合、データ送信サイトのデータ転送レートと受
信端末のデータ出力レートが異なることになり、受信端
末においてデータ一時保管用のバッファのデータ溢れに
よる受信データの蓄積不能、すなわちバッファオーバー
フローが生じたり、再生用データの受信、バッファ蓄積
が間に合わない、すなわちバッファアンダーランが生じ
ることがある。
処理として、例えばバッファアンダーランの場合は、受
信端末において同じ情報を再度表示あるいは出力し、ま
た、バッファオーバーフローの場合には、一旦受信した
ものの蓄積不能として廃棄したパケットの再送要求をデ
ータ送信サイトに要求するなどの処理を実行しなくては
ならない状態に陥る。また、このとき、送信者側でのメ
ディアの送信時刻と、受信者側での再生時刻が異なるな
どの不都合が生じる。
末へそれぞれ、複数の異なるメディア、例えば画像デー
タと音声データとをストリーミング配信して、受信端末
においてこれら複数のメディアの同期再生を実行しよう
とするとき、上記のバッファオーバーフロー、パッファ
アンダーフローの問題が複数のメデイア配信サイトと受
信端末間でそれぞれ発生し、さらに、複数の配信メディ
ア間のずれという新たな問題が発生することになる。
声)を配信する複数のデータ送信サイト間のシステムク
ロック(サンプリングレート)が同期していることが保
証されない場合は、複数のデータ送信サイトからそれぞ
れ配信されるメディア間の時間関係を受信者側で再現す
ることが不可能であり、メディア間の同期が取れないと
いう事態が発生する。
(サーバ)から受信する複数の異なるデータ(メディ
ア)を同期再生するための構成が種々、提案されてい
る。例えば、特開平6−303254には、ATM網ク
ロックを利用してデータ配信サーバのクロック(ソース
クロック)をデータ受信装置としての再生側で再生可能
とするソースクロック再生回路をデータ受信端末に構成
して、メディア間同期を実現する構成を開示している。
しかし、この方法では、データ受信端末は、同期処理の
ために常にATM網のクロックを受信しなくてはならな
いという問題がある。
デオ信号と、音声信号の同期再生を実現するために、ビ
デオ信号の再生タイミングに合わせて音声信号の再生タ
イミングを調整し、特に、音声信号の無音状態を検知
し、その無音時に音声情報の出力時刻を変更するスライ
ド処理を実行することにより音声の途切れないメディア
間同期を実現する構成を開示している。しかし、この方
法は、画像信号の大幅な遅れによる音声情報のバッファ
溢れ、すなわちバッファオーバーフローの問題は何ら解
決されない。また、音声信号のスライドを無音部分で行
おうとする構成は、無音部分の少ない音楽などのメディ
アには適用することができない。
ディアの送信端末が、送信端末から受信端末までのデー
タ伝送時間を計測して、データとともに伝送時間情報を
受信端末に送信し、受信端末において、各データ送信端
末からの伝送時間情報中、最も長い最長伝送時間情報を
選択して、最長伝送時間に従って送信されるデータの再
生に合わせて、他のデータ再生処理を遅らせて各メディ
ア間の同期再生を実現する構成を開示している。しか
し、この手法では、各送信端末は、送信端末から受信端
末までのデータ伝送時間を計測して受信端末に送信する
処理が必要となり、また、受信端末では、複数の送信端
末から受信する伝送時間情報を解析する処理が必要とな
り、常に遅延時間を監視しなくてはならないという問題
がある。
点に鑑みてなされたものであり、例えばインターネット
等のデータ通信網を介してストリーミングデータを転送
する構成において、複数のデータ送信サイトとしてのデ
ータ送信サーバから送信されるデータ(メディア)を受
信端末において受信して同期再生を実現するデータ通信
システム、データ送信装置、データ受信装置、および方
法、並びにコンピュータ・プログラムを提供することを
目的とする。
各々が異なるデータを送信するデータ送信装置としての
複数のサーバと、該複数のサーバからの送信データを受
信するデータ受信装置とからなるデータ通信システムで
あり、前記複数のサーバは、1つのサーバをマスターサ
ーバとし、他のサーバをスレーブサーバとした設定であ
るとともに、各サーバは各々のシステムクロックに基づ
いて設定する転送レートに従ったタイムスタンプ付与パ
ケットの送信処理を実行する構成を有し、前記データ受
信装置は、各サーバからの受信パケットのタイムスタン
プに基づいて、マスターサーバとスレーブサーバ間のク
ロック差を算出し、該クロック差データを格納したメッ
セージのスレーブサーバに対する送信処理を実行する構
成を有し、前記スレーブサーバは、前記メッセージに基
づいて、データ転送レートを前記マスターサーバのシス
テムクロックに同期させる転送レート変更処理を実行す
る構成を有することを特徴とするデータ通信システムに
ある。
実施態様において、前記データ受信装置は、各サーバか
らの受信パケットのタイムスタンプと、該データ受信装
置のシステムクロックに基づいて計測したパケット受信
間隔とに基づいて、該データ受信装置のシステムクロッ
クと、各サーバのシステムクロックとの差異を算出する
とともに、該算出値に基づいてマスターサーバとスレー
ブサーバ間のシステムクロック差を算出し、該サーバ間
システムクロック差を示すデータをデータ転送レート変
更用データとして格納した転送レート変更メッセージを
スレーブサーバに送信する構成を有し、前記スレーブサ
ーバは、前記転送レート変更メッセージに格納されたデ
ータ転送レート変更用データに基づいて、データ転送レ
ートを前記マスターサーバのシステムクロックに同期さ
せる転送レート変更処理を実行する構成を有することを
特徴とする。
実施態様において、前記データ受信装置は、マスターサ
ーバからの受信パケットのタイムスタンプと、該データ
受信装置のシステムクロックに基づいて計測したパケッ
ト受信間隔とに基づいて、該データ受信装置のシステム
クロックと、マスターサーバのシステムクロックとの差
異を算出するとともに、該算出値に基づいてマスターサ
ーバからの受信データの再生サンプリングレートを設定
する処理を実行する構成を有することを特徴とする。
実施態様において、前記データ受信装置は、前記マスタ
ーサーバからの受信パケットのタイムスタンプと、該デ
ータ受信装置のシステムクロックに基づいて計測したパ
ケット受信間隔とに基づいて、該データ受信装置のシス
テムクロックと、マスターサーバのシステムクロックと
の差異Aを算出し、前記差異Aに基づいてマスターサー
バからの受信データの再生サンプリングレートを設定す
るとともに、前記スレーブサーバからの受信パケットの
タイムスタンプと、該データ受信装置のシステムクロッ
クに基づいて計測したパケット受信間隔とに基づいて、
該データ受信装置のシステムクロックと、スレーブサー
バのシステムクロックとの差異Bを算出し、該差異B
と、前記差異Aとに基づいて、スレーブサーバからの受
信データの再生サンプリングレートを、マスターサーバ
のシステムクロックに同期したレートとして設定する処
理を実行する構成を有することを特徴とする。
実施態様において、前記スレーブサーバは、複数のデー
タ受信装置から異なるクロック差データを格納した複数
のメッセージを受信した場合において、データ転送にお
けるパケット間隔ジッタが最小であるデータ受信装置か
らのメッセージを選択して、該メッセージに格納された
クロック差データに従った転送レート変更処理を実行す
る構成であることを特徴とする。
実施態様において、前記データ受信装置から前記スレー
ブサーバに対するメッセージは、マスターサーバとスレ
ーブサーバ間のクロック差データと、前記データ受信装
置が再生実行中のアプリケーション識別データとを含む
構成であることを特徴とする。
実施態様において、前記複数のサーバがデータ受信装置
に対して送信するデータは、データ転送プロトコルとし
てのRTPに従ったフォーマットを有し、前記データ受
信装置から前記スレーブサーバに対するメッセージは、
制御プロトコルとしてのRTCPに従ったフォーマット
を有することを特徴とする。
実施態様において、前記複数のサーバ中、少なくとも1
つのサーバは、動画像データのデータ受信装置に対する
送信処理を実行し、前記複数のサーバ中、少なくとも他
の1つのサーバは、音声データの該データ受信装置に対
する送信処理を実行する構成であり、前記データ受信装
置は、各サーバから受信する動画像データおよび音声デ
ータの同期再生処理を実行する構成であることを特徴と
する。
サーバおよびスレーブサーバの各々がデータ受信装置に
対して異なるデータを送信し、データ受信装置において
各サーバからの受信データの同期再生処理を実行するシ
ステムにおけるスレーブサーバとしてのデータ送信装置
であり、該データ送信装置は、データ受信装置から、マ
スターサーバとスレーブサーバ間のクロック差データを
格納したメッセージを受信し、該受信メッセージに基づ
いて、データ転送レートを前記マスターサーバのシステ
ムクロックに同期させる転送レート変更処理を実行する
構成を有することを特徴とするデータ送信装置にある。
態様において、前記データ送信装置は、システムクロッ
クからの供給クロックに基づいて動作するカウンタと、
前記メッセージに基づく前記カウンタの補正値を算出す
るカウンタ補正部とを有し、前記カウンタ補正部の補正
カウンタ値に基づいてデータ転送制御を実行することに
より転送レート変更処理を実行する構成であることを特
徴とする。
態様において、前記データ送信装置は、複数のデータ受
信装置から異なるクロック差データを格納した複数のメ
ッセージを受信した場合において、データ転送における
パケット間隔ジッタが最小であるデータ受信装置からの
メッセージを選択して、該メッセージに格納されたクロ
ック差データに従った転送レート変更処理を実行する構
成であることを特徴とする。
サーバおよびスレーブサーバの各々がデータ受信装置に
対して異なるデータを送信し、データ受信装置において
各サーバからの受信データの同期再生処理を実行するシ
ステムにおけるデータ受信装置において、各サーバから
の受信パケットのタイムスタンプに基づいて、マスター
サーバとスレーブサーバ間のクロック差を算出するタイ
ムスタンプ比較部と、前記タイムスタンプ比較部におい
て算出したクロック差データを格納したメッセージを生
成する転送レート変更メッセージ生成部と、前記転送レ
ート変更メッセージ生成部において生成した転送レート
変更メッセージをスレーブサーバに対して送信する送信
部と、を有することを特徴とするデータ受信装置にあ
る。
態様において、前記タイムスタンプ比較部は、各サーバ
からの受信パケットのタイムスタンプと、該データ受信
装置のシステムクロックに基づいて計測したパケット受
信間隔とに基づいて、該データ受信装置のシステムクロ
ックと、各サーバのシステムクロックとの差異を算出す
る構成であり、前記転送レート変更メッセージ生成部
は、前記タイムスタンプ比較部の算出値に基づいて算出
されるマスターサーバとスレーブサーバ間のシステムク
ロック差を示すデータをデータ転送レート変更用データ
として格納した転送レート変更メッセージを生成する構
成であることを特徴とする。
態様において、前記タイムスタンプ比較部は、マスター
サーバからの受信パケットのタイムスタンプと、該デー
タ受信装置のシステムクロックに基づいて計測したパケ
ット受信間隔とに基づいて、該データ受信装置のシステ
ムクロックと、マスターサーバのシステムクロックとの
差異を算出する構成であり、前記データ受信装置は、さ
らに、前記タイムスタンプ比較部の算出値に基づいてマ
スターサーバからの受信データの再生サンプリングレー
トを設定するサンプリングレート設定部を有することを
特徴とする。
態様において、前記タイムスタンプ比較部は、前記マス
ターサーバからの受信パケットのタイムスタンプと、該
データ受信装置のシステムクロックに基づいて計測した
パケット受信間隔とに基づいて、該データ受信装置のシ
ステムクロックと、マスターサーバのシステムクロック
との差異Aを算出するとともに、前記スレーブサーバか
らの受信パケットのタイムスタンプと、該データ受信装
置のシステムクロックに基づいて計測したパケット受信
間隔とに基づいて、該データ受信装置のシステムクロッ
クと、スレーブサーバのシステムクロックとの差異Bを
算出する構成を有し、前記データ受信装置は、さらに、
前記差異Aに基づいてマスターサーバからの受信データ
の再生サンプリングレートを設定するとともに、前記差
異Aと、前記差異Bとに基づいて、スレーブサーバから
の受信データの再生サンプリングレートを、マスターサ
ーバのシステムクロックに同期したレートとして設定す
るサンプリングレート設定部を有することを特徴とす
る。
態様において、前記転送レート変更メッセージ生成部
は、マスターサーバとスレーブサーバ間のクロック差デ
ータと、前記データ受信装置が再生実行中のアプリケー
ション識別データとを含む構成であることを特徴とす
る。
態様において、前記転送レート変更メッセージ生成部
は、転送レート変更メッセージを、制御プロトコルとし
てのRTCPフォーマットに従って生成する構成である
ことを特徴とする。
なるデータを送信するデータ送信装置としての複数のサ
ーバと、該複数のサーバからの送信データを受信するデ
ータ受信装置とからなるシステムにおけるデータ通信方
法であり、前記複数のサーバにおいて、1つのサーバを
マスターサーバとし、他のサーバをスレーブサーバとし
た設定であるとともに、各サーバは各々のシステムクロ
ックに基づいて設定する転送レートに従ったタイムスタ
ンプ付与パケットの送信処理を実行し、前記データ受信
装置において、各サーバからの受信パケットのタイムス
タンプに基づいて、マスターサーバとスレーブサーバ間
のクロック差を算出し、該クロック差データを格納した
メッセージのスレーブサーバに対する送信処理を実行
し、前記スレーブサーバにおいて、前記メッセージに基
づいて、データ転送レートを前記マスターサーバのシス
テムクロックに同期させる転送レート変更処理を実行す
ることを特徴とするデータ通信方法にある。
態様において、前記データ通信方法において、前記デー
タ受信装置は、各サーバからの受信パケットのタイムス
タンプと、該データ受信装置のシステムクロックに基づ
いて計測したパケット受信間隔とに基づいて、該データ
受信装置のシステムクロックと、各サーバのシステムク
ロックとの差異を算出するとともに、該算出値に基づい
てマスターサーバとスレーブサーバ間のシステムクロッ
ク差を算出し、該サーバ間システムクロック差を示すデ
ータをデータ転送レート変更用データとして格納した転
送レート変更メッセージをスレーブサーバに送信し、前
記スレーブサーバは、前記転送レート変更メッセージに
格納されたデータ転送レート変更用データに基づいて、
データ転送レートを前記マスターサーバのシステムクロ
ックに同期させる転送レート変更処理を実行することを
特徴とする。
態様において、前記データ通信方法において、前記デー
タ受信装置は、マスターサーバからの受信パケットのタ
イムスタンプと、該データ受信装置のシステムクロック
に基づいて計測したパケット受信間隔とに基づいて、該
データ受信装置のシステムクロックと、マスターサーバ
のシステムクロックとの差異を算出するとともに、該算
出値に基づいてマスターサーバからの受信データの再生
サンプリングレートを設定する処理を実行することを特
徴とする。
態様において、前記データ通信方法において、前記デー
タ受信装置は、前記マスターサーバからの受信パケット
のタイムスタンプと、該データ受信装置のシステムクロ
ックに基づいて計測したパケット受信間隔とに基づい
て、該データ受信装置のシステムクロックと、マスター
サーバのシステムクロックとの差異Aを算出し、前記差
異Aに基づいてマスターサーバからの受信データの再生
サンプリングレートを設定するとともに、前記スレーブ
サーバからの受信パケットのタイムスタンプと、該デー
タ受信装置のシステムクロックに基づいて計測したパケ
ット受信間隔とに基づいて、該データ受信装置のシステ
ムクロックと、スレーブサーバのシステムクロックとの
差異Bを算出し、該差異Bと、前記差異Aとに基づい
て、スレーブサーバからの受信データの再生サンプリン
グレートを、マスターサーバのシステムクロックに同期
したレートとして設定する処理を実行することを特徴と
する。
態様において、前記スレーブサーバは、複数のデータ受
信装置から異なるクロック差データを格納した複数のメ
ッセージを受信した場合において、データ転送における
パケット間隔ジッタが最小であるデータ受信装置からの
メッセージを選択して、該メッセージに格納されたクロ
ック差データに従った転送レート変更処理を実行するこ
とを特徴とする。
態様において、前記データ受信装置から前記スレーブサ
ーバに対するメッセージは、マスターサーバとスレーブ
サーバ間のクロック差データと、前記データ受信装置が
再生実行中のアプリケーション識別データとを含むこと
を特徴とする。
態様において、前記複数のサーバがデータ受信装置に対
して送信するデータは、データ転送プロトコルとしての
RTPに従ったフォーマットを有し、前記データ受信装
置から前記スレーブサーバに対するメッセージは、制御
プロトコルとしてのRTCPに従ったフォーマットを有
することを特徴とする。
態様において、前記複数のサーバ中、少なくとも1つの
サーバは、動画像データのデータ受信装置に対する送信
処理を実行し、前記複数のサーバ中、少なくとも他の1
つのサーバは、音声データの該データ受信装置に対する
送信処理を実行し、前記データ受信装置は、各サーバか
ら受信する動画像データおよび音声データの同期再生処
理を実行することを特徴とする。
サーバおよびスレーブサーバの各々がデータ受信装置に
対して異なるデータを送信し、データ受信装置において
各サーバからの受信データの同期再生処理を実行するシ
ステム中のスレーブサーバにおけるデータ送信方法であ
り、データ受信装置から、マスターサーバとスレーブサ
ーバ間のクロック差データを格納したメッセージを受信
し、該受信メッセージに基づいて、データ転送レートを
前記マスターサーバのシステムクロックに同期させる転
送レート変更処理を実行することを特徴とするデータ送
信方法にある。
態様において、前記スレーブサーバは、システムクロッ
クからの供給クロックに基づいて動作するカウンタと、
前記メッセージに基づく前記カウンタの補正値を算出す
るカウンタ補正部とを有し、前記データ送信方法は、前
記カウンタ補正部の補正カウンタ値に基づいてデータ転
送制御を実行することにより転送レート変更処理を実行
するステップを含むことを特徴とする。
態様において、前記データ送信方法において、複数のデ
ータ受信装置から異なるクロック差データを格納した複
数のメッセージを受信した場合において、データ転送に
おけるパケット間隔ジッタが最小であるデータ受信装置
からのメッセージを選択して、該メッセージに格納され
たクロック差データに従った転送レート変更処理を実行
することを特徴とする。
サーバおよびスレーブサーバの各々がデータ受信装置に
対して異なるデータを送信し、データ受信装置において
各サーバからの受信データの同期再生処理を実行するシ
ステムにおける受信データ処理方法であり、各サーバか
らの受信パケットのタイムスタンプに基づいて、マスタ
ーサーバとスレーブサーバ間のクロック差を算出するタ
イムスタンプ比較ステップと、前記タイムスタンプ比較
ステップにおいて算出したクロック差データを格納した
メッセージを生成する転送レート変更メッセージ生成ス
テップと、前記転送レート変更メッセージ生成ステップ
において生成した転送レート変更メッセージをスレーブ
サーバに対して送信する送信ステップと、を有すること
を特徴とする受信データ処理方法にある。
実施態様において、前記タイムスタンプ比較ステップ
は、各サーバからの受信パケットのタイムスタンプと、
該データ受信装置のシステムクロックに基づいて計測し
たパケット受信間隔とに基づいて、該データ受信装置の
システムクロックと、各サーバのシステムクロックとの
差異を算出するステップを含み、前記転送レート変更メ
ッセージ生成ステップは、前記タイムスタンプ比較ステ
ップにおける算出値に基づいて算出されるマスターサー
バとスレーブサーバ間のシステムクロック差を示すデー
タをデータ転送レート変更用データとして格納した転送
レート変更メッセージを生成するステップを含むことを
特徴とする。
実施態様において、前記タイムスタンプ比較ステップ
は、マスターサーバからの受信パケットのタイムスタン
プと、データ受信装置のシステムクロックに基づいて計
測したパケット受信間隔とに基づいて、データ受信装置
のシステムクロックと、マスターサーバのシステムクロ
ックとの差異を算出するステップを含み、前記受信デー
タ処理方法は、さらに、前記タイムスタンプ比較ステッ
プにおける算出値に基づいてマスターサーバからの受信
データの再生サンプリングレートを設定するサンプリン
グレート設定ステップを含むことを特徴とする。
実施態様において、前記タイムスタンプ比較ステップ
は、前記マスターサーバからの受信パケットのタイムス
タンプと、該データ受信装置のシステムクロックに基づ
いて計測したパケット受信間隔とに基づいて、該データ
受信装置のシステムクロックと、マスターサーバのシス
テムクロックとの差異Aを算出するとともに、前記スレ
ーブサーバからの受信パケットのタイムスタンプと、該
データ受信装置のシステムクロックに基づいて計測した
パケット受信間隔とに基づいて、該データ受信装置のシ
ステムクロックと、スレーブサーバのシステムクロック
との差異Bを算出するステップを含み、前記受信データ
処理方法は、さらに、前記差異Aに基づいてマスターサ
ーバからの受信データの再生サンプリングレートを設定
するとともに、前記差異Aと、前記差異Bとに基づい
て、スレーブサーバからの受信データの再生サンプリン
グレートを、マスターサーバのシステムクロックに同期
したレートとして設定するサンプリングレート設定ステ
ップを有することを特徴とする。
実施態様において、前記転送レート変更メッセージ生成
ステップは、マスターサーバとスレーブサーバ間のクロ
ック差データと、前記データ受信装置が再生実行中のア
プリケーション識別データとを含むメッセージを生成す
ることを特徴とする。
実施態様において、前記転送レート変更メッセージ生成
ステップは、転送レート変更メッセージを、制御プロト
コルとしてのRTCPフォーマットに従って生成するこ
とを特徴とする。
サーバおよびスレーブサーバの各々がデータ受信装置に
対して異なるデータを送信し、データ受信装置において
各サーバからの受信データの同期再生処理を実行するシ
ステム中のスレーブサーバにおけるデータ送信処理を実
行するコンピュータ・プログラムであって、データ受信
装置から、マスターサーバとスレーブサーバ間のクロッ
ク差データを格納したメッセージを受信するステップ
と、該受信メッセージに基づいて、データ転送レートを
前記マスターサーバのシステムクロックに同期させる転
送レート変更処理を実行するステップと、を具備するこ
とを特徴とするコンピュータ・プログラムにある。
サーバおよびスレーブサーバの各々がデータ受信装置に
対して異なるデータを送信し、データ受信装置において
各サーバからの受信データの同期再生処理を実行するシ
ステムにおける受信データ処理を実行するコンピュータ
・プログラムであって、各サーバからの受信パケットの
タイムスタンプに基づいて、マスターサーバとスレーブ
サーバ間のクロック差を算出するタイムスタンプ比較ス
テップと、前記タイムスタンプ比較ステップにおいて算
出したクロック差データを格納したメッセージを生成す
る転送レート変更メッセージ生成ステップと、前記転送
レート変更メッセージ生成ステップにおいて生成した転
送レート変更メッセージをスレーブサーバに対して送信
する送信ステップと、を具備することを特徴とするコン
ピュータ・プログラムにある。
は、例えば、様々なプログラム・コードを実行可能な汎
用コンピュータ・システムに対して、コンピュータ可読
な形式で提供する記憶媒体、通信媒体、例えば、CDや
FD、MOなどの記録媒体、あるいは、ネットワークな
どの通信媒体によって提供可能なコンピュータ・プログ
ラムである。このようなプログラムをコンピュータ可読
な形式で提供することにより、コンピュータ・システム
上でプログラムに応じた処理が実現される。
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。なお、本明細
書においてシステムとは、複数の装置の論理的集合構成
であり、各構成の装置が同一筐体内にあるものには限ら
ない。
要]まず、図1を参照して、本発明のシステム概要及び
データ送受信処理の概要について説明する。
ターメディアの送信を実行するマスターサーバ200、
スレーブメディアの送信を実行するスレーブサーバ30
0は、それぞれ異なるメディア、例えば画像メディア
と、音声メディア等、異なるデータを送信するサーバで
あり、データ受信端末400、500に対してそれぞれ
のメディア・データをパケット通信網100を介して送
信する。データ受信端末400、500では、マスター
サーバ200、スレーブサーバ300から受信するメデ
ィア(データ)を受信し、同期再生を実現する。
方式により実行され、マスターサーバ200、スレーブ
サーバ300からデータ受信端末400、500に対す
るデータ転送処理と並列してデータ受信端末400、5
00におけるデータ再生処理が実行される。
は1つ存在し、マスターサーバに並列に異なるメディア
を送信するサーバがスレーブサーバになる。本実施例で
はスレーブサーバは1台であるが、2台以上のスレーブ
サーバを持つ構成としてもよい。
それぞれ異なるサーバから送信し、受信端末において、
音声と動画を合わせて再生するシステム例を想定する
と、音声をストリーミング配信するサーバをマスターサ
ーバ、動画をストリーミング配信するサーバをスレーブ
サーバとする。あるいはその逆としてもよい。
400、500の2つの端末のみを示しているが、1以
上の任意数の受信端末が存在可能であり、任意数の端末
において、マスターサーバ200、スレーブサーバ30
0からのデータ受信処理を行うものとする。また、複数
のメディア、例えば画像、音声等の様々なメデイアの中
から、どのメディアをマスターメディアとするかは、す
べての受信者側において一意なものとして予め定められ
ているものとする。例えば音声と動画を2つのメディア
としてそれぞれ異なるサーバから送信するシステム例
で、音声をストリーミング配信するサーバをマスターサ
ーバとした設定においては、すべてのデータ受信端末に
おいて、音声メディアをマスターメディアとして扱い、
動画をストリーミング配信するサーバをマスターサーバ
とした設定においては、すべてのデータ受信端末におい
て、動画メディアをマスターメディアとして扱う。
200、スレーブサーバ300、受信端末400,50
0の各々は、それぞれ独自のシステムクロック250,
350,450,550を有し、これらの各システムク
ロック250,350,450,550の各々は同期せ
ずに動作しているものとする。
マスターメディアの送信処理を実行する図1におけるマ
スターサーバ200の構成および処理について説明す
る。
するブロック図を示す。マスターサーバ200は、メデ
ィア供給部201、パケット生成部202、バッファ2
03、転送レート調節部204、データ送信部205、
システムクロック250、サンプリングレート設定部2
07、データ受信部208を有する。
送信すべきマスターメディアをパケット生成部に供給す
る。メディアは、例えばビデオカメラによって取得され
た画像、音声データ等である。なお、メディアは、C
D,DVD等の記憶媒体から入力されるデータ、あるい
は外部ネットワーク、衛星等から受信するデータ等であ
ってもよい。なお、ここでは省略してあるが、これらの
データは、符号化、例えばMPEG圧縮処理等による符
号化がなされて、パケット生成部202に供給され、パ
ケット生成部202において、符号化データをペイロー
ドとして格納したパケットが生成される。
は、例えば、リアルタイム・トランスポート・プロトコ
ル:RTP(Real-time Transport Protocol)に従った
データ・パケット(以下パケットと称する)である。
201から供給されるデータ(例えば符号化データ)を
ペイロードデータとし、RTPヘッダを付加しパケット
化する。RTPパケット構成を図3に示す。RTPヘッ
ダには、バージョン番号(v)、パディング(P)、拡
張ヘッダ(X)の有無、送信元数(Counter)、
マーカ情報(M:marker bit)、ペイロード
タイプ(Payload type)、シーケンス番
号、タイムスタンプ、同期ソース(送信元)識別子(S
SRC)および貢献ソース(送信元)識別子(CSR
C)の各フィールドが設けられている。データ受信側に
おいて、RTPヘッダに付与されたタイムスタンプによ
りRTPパケットの展開時に処理時間の制御が実行さ
れ、リアルタイム画像、または音声の再生制御を行うこ
とが可能となる。なお、例えば動画像データの符号化デ
ータを格納したRTPパケットにおいては、1つの画像
フレームに属する複数のRTPパケットに共通のタイム
スタンプが設定される。
テムクロック250の制御の下にサンプリングレート設
定部207の設定するサンプリングレートに基づいて各
パケット(例えばRTPパケット)に設定する。例え
ば、システムクロック250が90KHzクロックのク
ロックであるとき、動画像データについて、30fps
(フレーム/秒)のレートでサンプリングして符号化デ
ータをRTPパケットに格納して送信すると仮定する
と、RTPパケットのタイムスタンプの値は、90K/
30=3000ずつカウントアップされ、第nフレーム
の符号化データを格納したパケットに設定されるタイム
スタンプが12000であるとき、n+1フレームのデ
ータを格納したパケットのタイムスタンプは15000
として設定する。
にIPヘッダが付与される。図4にIPパケットの構成
中のIPヘッダの詳細を示す。IPv4、IPv6等の
バージョンを示すバージョン、ヘッダ長、さらに、優先
度情報を格納したTOS(Type of Service)フィール
ド、パケットの長さ、パケットの識別子、IP層でのデ
ータ分割(フラグメント)に関する制御情報としてのフ
ラグ、分割(フラグメント)されたデータの場所を示す
断片オフセット、データの破棄までの時間情報を示すT
TL(Time to Live)、上位層で利用されるプロトコル
(4:IP,TCP:7,UDP:17…)ヘッダのチ
ェックサム、送信元IPアドレス、宛て先IPアドレス
を有する。
パケットは、バッファ203に格納された後、システム
クロック250のクロック供給を受ける転送レート調節
部204において、転送レートが制御され、データ送信
部205を介してインターネット等のパケット通信網1
00に送出される。
受信端末からの制御パケット、例えば応答確認としての
ACKパケット、再送要求等のパケット、あるいはセッ
ション開始要求を受信するためのデータ受信部208を
有する。
に示す。転送レート調節部204は、システムクロック
250のクロック供給を受け、クロック供給に応じてカ
ウンタ値を増加させるカウンタ211、カウンタ211
のカウンタ値に応じてバッファ203に格納されたパケ
ットをデータ送信部に渡すデータ出力制御部212を有
する。データ出力制御部212は、カウンタ211のカ
ウンタ値が、あらかじめ定められたカウンタ値:Vaに
達したとき、バッファからパケットを順次取り出して、
データ送信部205に出力する処理を実行する。
6に示す。ステップS101においてカウンタ値=0に
リセットし、ステップS102においてカウンタ211
をシステムクロックからのクロック供給に従ってインク
リメントする。ステップS103において、カウンタ値
と、予め定めた閾値:Vaと比較を実行して、カウンタ
値=Vaとなったことを条件として、ステップS104
において、データ(パケット)をバッファ203から取
り出して、データ送信部205へ出力し、ステップS1
05において、さらにバッファ203に送信対象の蓄積
データ(パケット)があるか否かを判定し、ある場合
は、ステップS101以下の処理を繰り返し実行し、デ
ータが無い場合は、処理を終了する。この処理により、
転送レートが一定に保たれる。
図7に示すフローチャートに従って説明する。まず、マ
スターサーバは、ステップS201において、データ受
信端末からのセッション開始要求を待機する。データ受
信端末からのセッション開始要求を受信(S202でY
es)すると、ステップS203へ進み、メディア供給
部201から送信するメディア(データまたは符号化デ
ータ)をペイロードとしたパケットをパケット生成部に
おいて生成する。
テムクロック250のクロック供給の下にサンプリング
レート設定部207の設定したサンプリングレートに基
づくタイムスタンプがパケットヘッダに設定される(図
3参照)。
たデータをバッファ203に蓄積する。バッファ203
に蓄積されたデータは、ステップS205において、図
6のフローを参照して説明したように、クロック250
のクロック供給に従って増分されるカウンタ211のカ
ウンタ値が所定値:Vaになる毎に順次、データ送信部
に出力され、ステップS206において、データ送信部
205からパケット通信網に出力される。
すべきデータの有無を判定し、有りの場合は、ステップ
S204以下を繰り返し、送信すべきデータが無しと判
定された時点で、ステップS207においてデータ終了
を示すEOS(End of Stream)パケットを送信し、処
理を終了する。
スレーブメディアの送信処理を実行する図1におけるス
レーブサーバ300の構成および処理について説明す
る。
するブロック図を示す。スレーブサーバ300は、メデ
ィア供給部301、パケット生成部302、バッファ3
03、転送レート調節部304、データ送信部305、
システムクロック350、サンプリングレート設定部3
07、データ受信部309、さらに、転送レート変更メ
ッセージ格納部308を有する。
送信すべきデータをパケット生成部に供給する。メディ
アは、例えばビデオカメラによって取得された画像、音
声データ等である。ただし、スレーブサーバ300の送
信するメディアは、上述のマスターサーバ200の送信
するマスターメディアとは異なるメディアであり、デー
タ受信端末400,500において、マスターメディア
に併せて再生されるスレーブメディアである。なお、メ
ディアは、CD,DVD等の記憶媒体から入力されるデ
ータ、あるいは外部ネットワーク、衛星等から受信する
データ等であってもよい。なお、ここでは省略してある
が、これらのデータは、符号化、例えばMPEG圧縮処
理等による符号化がなされて、パケット生成部302に
供給され、パケット生成部302において、符号化デー
タをペイロードとして格納したパケットが生成される。
は、上述のマスターサーバと同様、例えば、リアルタイ
ム・トランスポート・プロトコル:RTP(Real-time
Transport Protocol)に従ったデータ・パケット(以下
パケットと称する)が適用可能である。
パケットは、バッファ303に格納された後、システム
クロック350のクロック供給を受ける転送レート調節
部304において、転送レートが制御され、データ送信
部305を介してインターネット等のパケット通信網3
00に送出される。
ート調節部304において、転送レート変更メッセージ
格納部308に格納された転送レート変更メッセージに
基づく出力レート変更処理を実行する。転送レート変更
メッセージは、データ受信端末からの制御パケットとし
てデータ受信部309を介して受信するメッセージであ
る。データ受信部309は、データ受信応答確認として
のACKパケット、再送要求等のパケット、あるいはセ
ッション開始要求パケット等の他に、上述の転送レート
変更メッセージを受信し、受信した転送レート変更メッ
セージを転送レート変更メッセージ格納部308に格納
する。
ーバ200からのマスターメディアと、スレーブサーバ
300からのスレーブメディアの双方を受信し、同期再
生を実行する受信端末400,500が生成してスレー
ブサーバ300に対して送信する制御用のメッセージ格
納パケットであり、例えばRFC1889 で規定されているR
TCP(Real-time Transport Control Protocol)に従
って生成される。
に送信する転送レート変更メッセージパケットの構成例
を図9に示す。図9に示すように、転送レート変更メッ
セージパケットは、バージョン番号(v)、パディング
(P)、ペイロードの種類としてのコマンド(comm
and)が設定され、ペイロードタイプ(Payloa
d type)として転送レート変更メッセージである
ことを示すタイプデータ=204、メッセージ長、パケ
ット送信元、すなわちデータ受信端末の同期ソース識別
子、受信中のデータを識別するための識別しとしてのア
プリケーションの名前、および転送レート変更用データ
(例えば32ビット)が格納される。
ットの例では、転送レート変更用データとして、[10
3/100]が格納されている。これは、スレーブサー
バからデータ受信端末に対するデータ送信レートを[1
03/100]に変更することを要求するメッセージで
あることを示す。この転送レート変更メッセージパケッ
トのデータ受信端末における生成処理については、後段
で説明する。
9に示すような転送レート変更メッセージパケットを受
信すると、転送レート変更メッセージを転送レート変更
メッセージ格納部308に格納する。転送レート変更メ
ッセージが転送レート変更メッセージ格納部308に格
納されると、転送レート調節部304は、格納された転
送レート変更メッセージに基づいて出力レートを変更す
る。
0に示す。転送レート調節部304は、システムクロッ
ク350のクロック供給を受け、クロック供給に応じて
カウンタ値を増加させるカウンタ311、カウンタ値に
応じてバッファ203に格納されたパケットをデータ送
信部に渡すデータ出力制御部212を有する。さらに、
スレープサーバにおいては、転送レート変更メッセージ
格納部308に格納された転送レート変更メッセージに
従ってカウンタ311のカウンタ値を補正して補正した
カウンタ値をデータ出力制御部212に渡すカウンタ補
正部313を有する。
ッセージ格納部308に格納された転送レート変更メッ
セージに、図9に示すように、転送レート変更用データ
として、[103/100]が格納されている場合、カ
ウンタ311のカウンタ値Cに転送レート変更用データ
[103/100]の逆数:100/103を乗じて補
正したカウンタ値C’を生成してデータ出力制御部31
2に渡す。すなわち、 補正カウンタ値C’=(100/103)×実カウンタ
値C として、補正処理を実行し、補正値C’をデータ出力制
御部212に渡す。
値C’に基づいて、補正カウンタ値C’が、あらかじめ
定められたカウンタ値:Vaに達したとき、バッファか
らパケットを順次取り出して、データ送信部305に出
力する処理を実行する。
ト変更メッセージに基づく補正処理を実行する場合の転
送レート調節部304の処理フローを図11に示す。ス
テップS301においてカウンタ値=0にリセットし、
ステップS302においてカウンタ211をシステムク
ロックからのクロック供給に従ってインクリメントす
る。ステップS303において、カウンタのカウンタ値
をデータ受信端末から受信した転送レート変更メッセー
ジに従って変更補正する。
ンタ値と、予め定めた閾値:Vaと比較を実行して、補
正カウンタ値=Vaとなったことを条件として、ステッ
プS305において、データ(パケット)をバッファ3
03から取り出して、データ送信部305へ出力し、ス
テップS306において、さらにバッファ303に送信
対象の蓄積データ(パケット)があるか否かを判定し、
ある場合は、ステップS301以下の処理を繰り返し実
行し、データが無い場合は、処理を終了する。この処理
により、補正された転送レートによってスレーブメディ
アの送信処理が実行される。
図12に示すフローチャートに従って説明する。スレー
ブサーバは、ステップS401において、データ受信端
末からのセッション開始要求を待機する。データ受信端
末からのセッション開始要求を受信(S402でYes)
すると、ステップS403へ進み、メディア供給部30
1から送信するメディア(データまたは符号化データ)
をペイロードとしたパケットをパケット生成部において
生成する。
テムクロック350の供給の下にサンプリングレート設
定部307の設定したサンプリングレートに基づくタイ
ムスタンプがパケットヘッダに設定される(図3参
照)。
たデータをバッファ303に蓄積する。ステップS40
5では、転送レート変更メッセージ格納部308に転送
レート変更メッセージが格納されているか否かを判定
し、無い場合は、ステップS406に進み、クロック2
50のクロック供給に従って増分される転送レート調節
部304のカウンタ311の実カウンタ値に基づいて、
カウンタ値が所定値:Vaになる毎に順次、データ送信
部に出力され、ステップS407において、データ送信
部305からパケット通信網に出力される。
08に転送レート変更メッセージが格納されている場合
は、ステップS411に進み、クロック250のクロッ
ク供給に従って増分される転送レート調節部304のカ
ウンタ311の実カウンタ値:Cに対して、上述した転
送レート変更メッセージに基づく補正を実行して補正カ
ウンタ値:C’を算出する。ステップS412では、補
正カウンタ値:C’が所定値:Vaになる毎に順次、デ
ータ送信部に出力され、ステップS407において、デ
ータ送信部305からパケット通信網に出力される。
すべきデータの有無を判定し、有りの場合は、ステップ
S405以下を繰り返し、送信すべきデータが無しと判
定された時点で、ステップS409においてデータ終了
を示すEOS(End of Stream)パケットを送信し、処
理を終了する。
受信端末からの転送レート変更メッセージがある場合
は、転送レート調節部において、実カウンタ値:Cに対
して転送レート変更メッセージに基づく補正を実行して
補正カウンタ値:C’を算出し、補正カウンタ値:C’
に基づいて転送レートを決定する構成であり、データ受
信端末の要求に応じた転送レートによるデータ送信が可
能となる。
次にマスターサーバからマスターメディアを受信し、ス
レーブサーバからスレーブメディアを受信して、受信し
た複数のメデイアの同期再生処理を実行するデータ受信
端末装置の構成および処理について説明する。
するブロック図を示す。なお、図13においては、マス
ターサーバからの受信データ処理部と、スレーブサーバ
からの受信データ処理部とを区別して示してあるが、こ
れは、理解を容易にするために区別して記載したもので
あり、同一機能を実行する複数の処理部は、単一の処理
部として構成して両受信データの処理を実行する構成と
してもよい。
てデータ再生処理について説明する。データ受信端末4
00は、マスターサーバ200からのマスターメディア
格納パケットをデータ受信部411において受信すると
ともに、スレーブサーバ300からのスレーブメディア
格納パケットをデータ受信部421において受信する。
それぞれの受信パケットは、それぞれのバッファ41
2,422に格納される。
ィア格納パケットは、タイムスタンプ比較部413にお
いて、各パケットに設定されたタイムスタンプ情報が取
り出され、マスターサーバ200から受信する各パケッ
トのパケット受信間隔と、各パケットに設定されたタイ
ムスタンプとの差が比較される。パケット受信間隔は、
データ受信端末のシステムクロック450から供給され
るクロック情報に従って計測される。
定されるタイムスタンプは、マスターサーバ200のシ
ステムクロック250に基づいて設定されるタイムスタ
ンプであり、設定されたタイムスタンプとパケット受信
間隔とが対応するべきであるが、データ受信端末400
のシステムクロック450は、マスターサーバ200の
システムクロック250との同期がとれていないもので
あり、マスターサーバ200のシステムクロック250
に基づいて設定される各パケットのタイムスタンプの差
と、データ受信端末400のシステムクロック450に
よって計測されるパケット受信間隔にはずれが発生す
る。このずれは、データ受信端末400のシステムクロ
ック450と、マスターサーバ200のシステムクロッ
ク250との差に相当する。
末400のシステムクロック450と、マスターサーバ
200のシステムクロック250との差を考慮してデー
タ再生を実行する。このクロック差を考慮しないで、デ
ータ再生を実行すると、例えばデータ受信速度より早い
再生を実行すると、バッファ412のデータの不足、す
なわちバッファのアンダーランが発生し、データ受信速
度より遅い再生を実行すると、バッファ412のデータ
溢れ、すなわちバッファのオーバーフローが発生するこ
とになる。
されたデータ受信端末400のシステムクロック450
と、マスターサーバ200のシステムクロック250と
の差分を示す情報は、マスターメディアの再生に関する
サンプリングレートの設定を実行するサンプリングレー
ト設定部414、およびスレーブメディアの再生に関す
るサンプリングレートの設定を実行するサンプリングレ
ート設定部424の双方に出力され、それぞれのメデイ
アに関するサンプリングレート設定処理が実行される。
ディア双方のデータ再生は、タイムスタンプ比較部41
3において算出されたデータ受信端末400のシステム
クロック450と、マスターサーバ200のシステムク
ロック250との差分に基づくデータ出力時刻調節処理
によって実行されることになる。
プリングレート設定処理について説明する。図14に示
す例は、マスターサーバが10mm秒毎に1つのデータ
処理単位(例えば画像フレーム)のパケットを生成する
サンプリングレートでタイムスタンプをパケットに付加
して受信者にデータを転送している場合の処理例であ
る。横軸が時間(t)であり、各処理単位パケットに
は、マスターサーバ200のシステムクロック250に
基づいて設定されたタイムスタンプ[10〜40]が設
定されている。マスターサーバは、付加するタイムスタ
ンプを1mm秒毎に1づつインクリメントしており、図
に示す最初の処理単位パケットには、10のタイムスタ
ンプが設定され、後続の処理単位パケットには、10m
m秒後に出力されるので、10+10=20のタイムス
タンプが設定される。以下、30、40とタイムスタン
プが設定されたパケットが送信される。
タ受信端末400では、これらのパケットの到着間隔
と、そのパケットに付加されているタイムスタンプをタ
イムスタンプ比較部413で比較する。図に示す例で
は、本来、データ受信端末はタイムスタンプ[40]の
設定されたパケットは、タイムスタンプ[10]の設定
されたパケット受信から、30mm秒後に受け取るはず
である。しかし、データ受信端末400のシステムクロ
ック450の供給クロックに基づいてタイムスタンプ比
較部413における測定結果として、タイムスタンプ
[10]の設定パケットからタイムスタンプ[40]の
設定パケットの到着間隔が35mm秒として計測された
とする。
クロック450がマスターサーバ200のシステムクロ
ック250に対して、(到着時刻間隔/タイムスタンプ
の差)だけ、すなわち、35/30だけ早いことに起因
するものであると判定される。
タ受信端末400のシステムクロック450に基づいて
マスターサーバから受信するマスターメディアを再生す
ると、データ受信端末400のクロック差に起因して、
マスターサーバ200のパケット転送レートよりも早い
スピードで再生することになり、データ受信端末400
のマスターメディアのバッファ412がアンダーランし
てしまう。
タ受信端末400における再生時のサンプリングレート
を変更することが必要となる。そこで、データ受信端末
400のサンプリングレート設定部414は、データ受
信端末400のシステムクロック450と、マスターサ
ーバ200のシステムクロック250との差に基づい
て、再生時のサンプリングレートを変更する。この場合
は、サンプリングレートを35/30に変更する処理を
実行する。
て出力時刻調節部415が各パケットの出力処理部41
6に対する出力タイミングを決定し出力することで、マ
スターサーバ200のシステムクロック250に同期し
たマスターメディア再生処理が実行される。
変更したサンプリングレートに基づいて順次入力される
パケットに格納された符号化データの復号を実行した
後、ディスプレイ、スピーカ等の出力装置に出力する。
ーバ200への制御パケット、例えば応答確認としての
ACKパケット、再送要求等のパケット、あるいはセッ
ション開始要求を送信するためのデータ送信部417を
有する。
バッファ422に格納されたスレーブメディアを格納し
たパケットの出力時刻調節は、サンプリングレート設定
部424の設定するサンプリングレートに基づいて行わ
れる。
プリングレート設定処理について説明する。図15に示
す例は、スレーブサーバが20mm秒毎に1つのデータ
処理単位(例えば画像フレーム)のパケットを生成する
サンプリングレートでタイムスタンプをパケットに付加
して受信者にデータを転送している場合の処理例であ
る。横軸が時間(t)であり、各処理単位パケットに
は、スレーブサーバ300のシステムクロック350に
基づいて設定されたタイムスタンプ[30〜90]が設
定されている。スレーブサーバは、付加するタイムスタ
ンプを1mm秒毎に1づつインクリメントしており、図
に示す最初の処理単位パケットには、30のタイムスタ
ンプが設定され、後続の処理単位パケットには、20m
m秒後に出力されるので、30+20=50のタイムス
タンプが設定される。以下、70、90とタイムスタン
プが設定されたパケットが送信される。
タ受信端末400では、これらのパケットの到着間隔
と、そのパケットに付加されているタイムスタンプをタ
イムスタンプ比較部423で比較する。図に示す例で
は、本来、データ受信端末はタイムスタンプ[90]の
設定されたパケットは、タイムスタンプ[30]の設定
されたパケット受信から、60mm秒後に受け取るはず
である。しかし、データ受信端末400のシステムクロ
ック450の供給クロックに基づいてタイムスタンプ比
較部423における測定結果として、タイムスタンプ
[30]の設定パケットからタイムスタンプ[90]の
設定パケットの到着間隔が80mm秒として計測された
とする。
クロック450がスレーブサーバ300のシステムクロ
ック350に対して、(到着時刻間隔/タイムスタンプ
の差)だけ、すなわち、80/60だけ早いことに起因
するものであると判定される。
タ受信端末400のシステムクロック450に基づいて
マスターサーバから受信するマスターメディアを再生す
ると、データ受信端末400のクロック差に起因して、
スレーブサーバ300のパケット転送レートよりも早い
スピードで再生することになり、データ受信端末400
のスレーブメディアのバッファ422がアンダーランし
てしまう。
タ受信端末400における再生時のサンプリングレート
を変更することが必要となる。そこで、データ受信端末
400のサンプリングレート設定部424は、データ受
信端末400のシステムクロック450と、スレーブサ
ーバ300のシステムクロック350との差に基づい
て、再生時のサンプリングレートを変更することが必要
となる。この場合は、サンプリングレートを80/60
に変更する処理を実行することで、スレーブサーバ30
0のシステムクロック350に同期した再生が可能とな
る。
ら受信するマスターメディアをマスターサーバのシステ
ムクロックに同期させて再生し、スレーブサーバから受
信するスレーブメディアをスレーブサーバのシステムク
ロックに同期させて再生することになる。しかし、マス
ターサーバのシステムクロックと、スレーブメディアを
スレーブサーバのシステムクロックとは同期しておら
ず、マスターメディアとスレーブメディアの同期した再
生は不可能となる。
ィアの同期した再生を行うため、スレーブメディアの再
生をマスターサーバのシステムクロックを基準として再
生を行う。サンプリングレート設定部424は、データ
受信端末400のシステムクロック450と、スレーブ
サーバ300のシステムクロック350との差に基づく
サンプリングレート変更用データとしての[80/6
0]と、受信端末400のシステムクロック450と、
マスターサーバ200のシステムクロック250との差
に基づくサンプリングレート変更用データとしての[3
5/30]との両データを用いて、スレーブメディアの
サンプリングレートを[(35/30)/(80/6
0)]を設定する処理を実行する。
/(80/60)]に基づいて出力時刻調節部425が
スレーブメディアを格納したパケットを保持したバッフ
ァ422から順次、パケットを出力処理部426に出力
する。出力処理部426は、バッファ422から変更し
たサンプリングレートに基づいて順次入力されるパケッ
トに格納された符号化データの復号を実行した後、ディ
スプレイ、スピーカ等の出力装置に出力する。この処理
により、マスターサーバ200のシステムクロック25
0に同期したスレーブメディア再生処理が実行される。
ーブメディアの双方ともマスターサーバ200のシステ
ムクロック250に同期した再生が行なわれ、異なるサ
ーバから送信される異なるメディアの同期再生が実現さ
れる。
スターメディアの再生は、マスターサーバ200のシス
テムクロック250に基づいて再生されるので、マスタ
ーメディアを格納したバッファ412には、オーバーフ
ロー、アンダーフローの問題は生じないが、スレーブメ
ディアを格納したバッファ422には、オーバーフロ
ー、アンダーフローの問題が生じることになる。なぜな
ら、受信端末の再生サンプリングレートは、スレーブサ
ーバ300のシステムクロック350に基づくサンプリ
ングレートと一致していないからである。
変更メッセージ生成部428は、マスターサーバ200
のシステムクロック250と、スレーブサーバ300の
システムクロック350との差に基づく転送レート変更
用データを格納した転送レート変更メッセージを生成し
て、データ送信部427を介してスレーブサーバに送信
する。
400のシステムクロック450と、マスターサーバ2
00のシステムクロック250との差が35/30、デ
ータ受信端末400のシステムクロック450と、スレ
ーブサーバ300のシステムクロック350との差が8
0/60、である場合、マスターサーバ200のシステ
ムクロック250と、スレーブサーバ300のシステム
クロック350との差は、(35/30)/(80/6
0)=0.875となる。
は、この[0.875]を転送レート変更用データとし
て格納し、その他、再生処理に係るアプリケーション情
報等、必要情報を格納し、先に図9を参照して説明した
フォーマットを持つ転送レート変更メッセージを生成し
て、データ送信部427を介してスレーブサーバに送信
する。
送レート変更メッセージを受信すると、転送レート変更
メッセージに格納された転送レート変更用データを取り
出して、図8、図10に示す転送レート調節部304の
カウンタ補正部313においてカウンタ値を補正して、
補正カウンタ値C’に基づくデータ転送を開始する。こ
の処理は、先に図11のフローを参照して説明した通り
である。
に、[0.875]を転送レート変更用データとして格
納した転送レート変更メッセージを受信した場合、転送
レート調節部304のカウンタ補正部313におけるカ
ウンタ値の補正は、実際のカウンタ値:Cに対して補正
カウンタ値:C’を下記式に従って設定する。 補正カウンタ値C’=(1/0.875)C
ーブサーバ300のデータ出力制御部312は、補正カ
ウンタ値C’に基づいて、補正カウンタ値C’が、あら
かじめ定められたカウンタ値:Vaに達したとき、バッ
ファからパケットを順次取り出して、データ送信部30
5に出力する処理を実行する。
転送レートは、マスターサーバ200のデータ転送レー
トに同期することとなり、その結果、マスターサーバ2
00のデータ転送レートに従ってデータ再生処理を実行
しているデータ受信端末400では、マスターサーバ2
00から受信するマスターメディア格納パケットを一時
記憶するバッファ412、スレーブサーバ300から受
信するスレーブメディア格納パケットを一時記憶するバ
ッファ422にバッファオーバーフロー、あるいはアン
ダーフローの問題が発生することがない。
マスターメディアおよびスレーブメディアのサンプリン
グレート設定処理および、転送レート変更メッセージの
生成、送信処理についてまとめたフローを示す。処理フ
ローの各ステップについて説明する。
処理を予め定めた時間間隔毎に行う。バッファオーバー
フローや、アンダーフローは、データ送信側と再生側の
非同期状態が所定時間継続した場合に発生する問題であ
るからであり、例えば5分間隔にタイムスタンプの比較
処理を実行する。ステップS501は、このタイムスタ
ンプ比較時間を設定したタイマの更新処理ステップであ
り、ステップS502のタイムスタンプ比較時間に達す
るまで、タイマの更新を行う。
プの比較処理間隔、例えば5分に達したとき、ステップ
S503に進む。ステップS503では、マスターサー
バから受信するパケットのタイムスタンプと、受信端末
のシステムクロックで計測したパケット間隔との差を算
出する。
で算出したマスターサーバから受信するパケットのタイ
ムスタンプと、受信端末のシステムクロックで計測した
パケット間隔との差に基づいて、マスターメディアのサ
ンプリングレートを設定する。マスターメディアの再生
は、この設定されたサンプリングレートに基づいて実行
される。
ーバから受信するパケットのタイムスタンプと、受信端
末のシステムクロックで計測したパケット間隔との差を
算出する。
で算出したスレーブサーバから受信するパケットのタイ
ムスタンプと、受信端末のシステムクロックで計測した
パケット間隔との差、および、ステップS503で算出
したマスターサーバから受信するパケットのタイムスタ
ンプと、受信端末のシステムクロックで計測したパケッ
ト間隔との差に基づいて、スレーブメディアのサンプリ
ングレートを設定する。スレーブメディアの再生は、こ
の設定されたサンプリングレートに基づいて実行され
る。この処理により、マスターメディアとスレーブメデ
ィアの同期再生が可能となる。
ーバと、スレープサーバの各システムクロックの差を算
出する。これは、ステップS503で算出したマスター
サーバから受信するパケットのタイムスタンプと、受信
端末のシステムクロックで計測したパケット間隔との差
と、ステップS505で算出したスレーブサーバから受
信するパケットのタイムスタンプと、受信端末のシステ
ムクロックで計測したパケット間隔との差とに基づいて
算出する。算出した値は、転送レート変更メッセージに
格納する転送レート変更用データとする。
で算出した転送レート変更用データを格納した転送レー
ト変更メッセージを生成し、ステップS509におい
て、生成した転送レート変更メッセージをスレーブサー
バに対して送信する。
転送レート変更メッセージに従って、スレーブサーバの
データ転送レートが、マスターサーバのデータ転送レー
トに同期するよう変更され、その結果、マスターサーバ
のデータ転送レートに従ってデータ再生処理を実行して
いるデータ受信端末は、マスターメディア格納パケット
を記憶するバッファ、スレーブメディア格納パケットを
記憶するバッファについてのオーバーフロー、あるいは
アンダーフローを発生させることなく、安定した同期再
生処理を実行することが可能となる。
サーバに対する処理のみを示しているが、1つのマスタ
ーサーバに対して複数のスレーブサーバがある場合も、
各スレーブサーバに対して、転送レート変更メッセージ
を送信することにより、各スレーブサーバは、1つのマ
スターサーバのシステムクロックに同期したデータ送信
処理を実行することが可能となり、1つのマスターサー
バと複数のスレーブサーバからそれぞれ1つのマスター
メディアと、複数のスレーブメディアを受信する受信端
末では、マスターメディア格納パケットを記憶するバッ
ファ、複数の異なるスレーブメディア格納パケットを記
憶する複数のバッファについてのオーバーフロー、ある
いはアンダーフローを発生させることなく、安定した同
期再生処理を実行することが可能となる。
ッセージ受信時の処理]図1に示すマスターサーバ20
0、およびスレーブサーバ300が複数の受信端末に対
して、それぞれマスターメディア、スレーブメディアの
送信処理を実行している場合、スレーブサーバ300
は、複数の受信端末から異なる転送レート変更用データ
を格納した複数の転送レート変更メッセージを受信する
場合がある。
る転送レート変更用データを格納した複数の転送レート
変更メッセージから最適な唯一の転送レート変更用デー
タを格納した転送レート変更メッセージを選択して、選
択したメッセージに従った転送レート変更処理、すなわ
ち転送レート変更用データに基づくカウンタ値の補正を
行う必要がある。
ついて説明する。データ送信サーバであるスレーブサー
バと、各データ受信端末の間では、データの受信状態を
確認する制御パケットが転送される。例えばRTCP
(Real-time Transport Control Protocol)に従って生
成されるRTCPレシーバレポート(RTCP Receive
r Report)で各受信端末からスレーブサーバに対して送
信される。
CP Receiver Report)のフォーマットを示す。RTC
Pレシーバレポート(RTCP Receiver Report)は、
バージョン番号(v)、パディング(P)、ペイロード
タイプ(Payload type)、メッセージ長、
同期ソース(送信元)識別子(SSRC)、さらに、各
受信端末において計測したパケット喪失率、累積喪失パ
ケット数、最大受信シーケンス番号、パケット間隔のゆ
らぎを示すパケット間隔ジッタ、最新送信レポート時
刻、送信レポート経過時間の各項目が格納される。
レシーバレポートを各受信端末から受信する。スレーブ
サーバは、受信した複数のRTCPレシーバレポート中
から最小のパケット間隔ジッタ値を持つレポートを選択
し、そのレポートの送信元の受信者からの転送レート変
更メッセージを最適メッセージ、すなわち信頼度の高い
メッセージとして選択し、その転送レート変更メッセー
ジに格納された転送レート変更用データに基づいて転送
レートの変更処理を実行する。
の受信端末が、パケット毎のネットワーク遅延のばらつ
きが少ない受信端末であるとの判断に基づく処理であ
り、パケット毎の受信間隔のばらつきの少ない受信状況
において計測された転送レート変更用データを信頼度の
高いデータとして取り扱うものである。
よびスレーブサーバが複数の受信端末に対して、それぞ
れマスターメディア、スレーブメディアの送信処理を実
行している場合において、スレーブサーバが、複数の受
信端末から異なる転送レート変更用データを格納した複
数の転送レート変更メッセージを受信しても、その中か
ら最も信頼度の高い転送レート変更用データを選択し
て、転送レートの変更処理を実行することが可能とな
る。
で述べた一連の処理は、ハードウェア、またはソフトウ
ェア、あるいは両者の複合構成によって実行することが
可能である。ソフトウェアによる処理を実行する場合
は、処理シーケンスを記録したプログラムを、専用のハ
ードウェアに組み込まれたデータ処理装置内のメモリに
インストールして実行させるか、あるいは、各種処理が
実行可能な汎用コンピュータにプログラムをインストー
ルして実行させることが可能である。一連の処理をソフ
トウェアによって行う場合には、そのソフトウェアを構
成するプログラムが、例えば汎用のコンピュータやマイ
クロコンピュータ等にインストールされる。
理を実行するデータ送信装置としてのマスターサーバ、
スレーブサーバ、およびデータ受信端末装置のシステム
構成例を示す。本発明のシステムで送受信されるデータ
の一例は、符号化データであり、データ送信装置ではエ
ンコード(符号化)処理が実行され、データ受信装置で
はデコード(復号)処理が実行される。符号化されたデ
ータはパケットとしてネットワークを介して送受信す
る。そのため、データ送信側では、パケット生成(パケ
タイズ処理)を実行し、データ受信側ではパケット展開
(デパケタイズ処理)を実行する。
C)850は、エンコード(符号化)処理、デコード
(復号)処理を実行するとともにパケット生成、展開処
理を実行するコーデック851、通信ネットワークとの
インタフェースとして機能するネットワークインタフェ
ース852、マウス837、キーボード836等の入力
機器との入出力インタフェース853、ビデオカメラ8
33、マイク834、スピーカ835等のAVデータ入
出力機器からのデータ入出力を行うAVインタフェース
854、ディスプレイ832に対するデータ出力インタ
フェースとしてのディスプレイ・インタフェース85
5、各データ入出力インタフェース、コーデック85
1、ネットワークインタフェース852間のデータ転送
制御、その他各種プログラム制御を実行するCPU85
6、CPU856により制御実行される各種プログラム
の格納、データの格納、CPU856のワークエリアと
して機能するRAM、ROMからなるメモリ857、デ
ータ格納、プログラム格納用の記憶媒体としてのHDD
858を有し、それぞれPCIバス859に接続され、
相互のデータ送受信が可能な構成を持つ。
に、例えばビデオカメラ833からの画像データ、マイ
ク834からの音声データを入力し、符号化処理、パケ
ット生成処理(パケタイズ)を実行し、最終的に符号化
データをペイロードとしたパケットを生成する。生成さ
れたパケットは、PCIバス859上に出力され、ネッ
トワークインタフェース852を介してネットワークに
出力され、パケットのヘッダに設定された宛先アドレス
に配信される。
格納されたソフトウェアエンコードプログラムに従って
CPU856の制御により、ビデオカメラ833からの
画像データ、マイク834からの音声データを符号化し
てネットワークインタフェース852を介してネットワ
ークに出力する処理も実行する構成としてもよい。
ット化されたデータは、ネットワークインタフェース8
52を介して、バス856上に出力されて、コーデック
851に入力される。コーデック851では入力データ
のパケット展開処理(デパケタイズ)を実行し、ペイロ
ードとして格納された符号化データを抽出後、復号処理
を実行して、ディスプレイ832、スピーカ835にお
いて再生、出力する。
等のデータは、カメラ他の入力機器、例えばスキャナ等
のデータ入力装置、あるいはフロッピー(登録商標)デ
ィスク、CD−ROM(Compact Disc Read Only Memor
y),MO(Magneto optical)ディスク,DVD(Digital
Versatile Disc)、磁気ディスク、半導体メモリなどの
リムーバブル記録媒体から入力可能である。
ラムに限らず、ハードディスクに格納されているプログ
ラム、衛星若しくはネットワークから転送され、受信さ
れてインストールされたプログラム等を、RAM(Rando
m Access Memory)等のメモリにロードして実行すること
も可能である。
は、1つのコンピュータにより処理されるものであって
も良いし、複数のコンピュータによって分散処理される
ものであっても良い。さらに、プログラムは、遠方のコ
ンピュータに転送されて実行されるものであっても良
い。
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
れば、それぞれ異なるシステムクロックに基づくサンプ
リングレートに従って画像、音声等、異なるメディアを
送信する複数サーバからの送信メディアをデータ受信装
置において受信して再生する構成において、データ受信
端末装置が、1つのマスターサーバのクロックとその他
のスレーブサーバのクロック差を各サーバから受信する
パケットのタイムスタンプに基づいて算出し、算出した
値を転送レート変更用データとして格納した転送レート
変更メッセージを生成して、スレーブサーバに送信し、
スレーブサーバにおいて、転送レート変更メッセージに
従って、転送レートを変更する構成としたので、データ
受信端末は、マスターメディア格納パケットを記憶する
バッファ、スレーブメディア格納パケットを記憶するバ
ッファについてのオーバーフロー、あるいはアンダーフ
ローを発生させることなく、安定した同期再生処理を実
行することが可能となる。
スターサーバに対して複数のスレーブサーバがあり、様
々なメディアを配信する構成においても、各スレーブサ
ーバに対して、転送レート変更メッセージを送信するこ
とにより、各スレーブサーバは、1つのマスターサーバ
のシステムクロックに同期したデータ送信処理を実行す
ることが可能となり、1つのマスターサーバと複数のス
レーブサーバからそれぞれ1つのマスターメディアと、
複数のスレーブメディアを受信する受信端末では、マス
ターメディア格納パケットを記憶するバッファ、および
複数の異なるスレーブメディア格納パケットを記憶する
複数のバッファについてのオーバーフロー、あるいはア
ンダーフローを発生させることなく、安定した同期再生
処理を実行することが可能となる。
図である。
の構成を示す図である。
るRTPパケットフォーマットを示す図である。
るIPパケットヘッダフォーマットを示す図である。
サーバの転送レート調節部の構成を示す図である。
サーバの転送レート調節部の処理を説明するフローを示
す図である。
サーバの処理を説明するフロー図である。
の構成を示す図である。
の受信する転送レート変更メッセージパケットのフォー
マットを示す図である。
ブサーバの転送レート調節部の構成を示す図である。
ブサーバの転送レート調節部の処理を説明するフローを
示す図である。
ブサーバの処理を説明するフロー図である。
末装置の構成を示す図である。
末装置におけるサンプリングレート設定処理について説
明する図である。
末装置におけるサンプリングレート設定処理について説
明する図である。
末装置における処理について説明するフロー図である。
末装置からスレーブサーバに対して送信されるRTCP
レシーバレポートのフォーマットを示す図である。
置のシステム構成例を示す図である。
Claims (36)
- 【請求項1】各々が異なるデータを送信するデータ送信
装置としての複数のサーバと、該複数のサーバからの送
信データを受信するデータ受信装置とからなるデータ通
信システムであり、 前記複数のサーバは、 1つのサーバをマスターサーバとし、他のサーバをスレ
ーブサーバとした設定であるとともに、各サーバは各々
のシステムクロックに基づいて設定する転送レートに従
ったタイムスタンプ付与パケットの送信処理を実行する
構成を有し、 前記データ受信装置は、 各サーバからの受信パケットのタイムスタンプに基づい
て、マスターサーバとスレーブサーバ間のクロック差を
算出し、該クロック差データを格納したメッセージのス
レーブサーバに対する送信処理を実行する構成を有し、 前記スレーブサーバは、 前記メッセージに基づいて、データ転送レートを前記マ
スターサーバのシステムクロックに同期させる転送レー
ト変更処理を実行する構成を有することを特徴とするデ
ータ通信システム。 - 【請求項2】前記データ受信装置は、 各サーバからの受信パケットのタイムスタンプと、該デ
ータ受信装置のシステムクロックに基づいて計測したパ
ケット受信間隔とに基づいて、該データ受信装置のシス
テムクロックと、各サーバのシステムクロックとの差異
を算出するとともに、該算出値に基づいてマスターサー
バとスレーブサーバ間のシステムクロック差を算出し、
該サーバ間システムクロック差を示すデータをデータ転
送レート変更用データとして格納した転送レート変更メ
ッセージをスレーブサーバに送信する構成を有し、 前記スレーブサーバは、 前記転送レート変更メッセージに格納されたデータ転送
レート変更用データに基づいて、データ転送レートを前
記マスターサーバのシステムクロックに同期させる転送
レート変更処理を実行する構成を有することを特徴とす
る請求項1に記載のデータ通信システム。 - 【請求項3】前記データ受信装置は、 マスターサーバからの受信パケットのタイムスタンプ
と、該データ受信装置のシステムクロックに基づいて計
測したパケット受信間隔とに基づいて、該データ受信装
置のシステムクロックと、マスターサーバのシステムク
ロックとの差異を算出するとともに、該算出値に基づい
てマスターサーバからの受信データの再生サンプリング
レートを設定する処理を実行する構成を有することを特
徴とする請求項1に記載のデータ通信システム。 - 【請求項4】前記データ受信装置は、 前記マスターサーバからの受信パケットのタイムスタン
プと、該データ受信装置のシステムクロックに基づいて
計測したパケット受信間隔とに基づいて、該データ受信
装置のシステムクロックと、マスターサーバのシステム
クロックとの差異Aを算出し、前記差異Aに基づいてマ
スターサーバからの受信データの再生サンプリングレー
トを設定するとともに、 前記スレーブサーバからの受信パケットのタイムスタン
プと、該データ受信装置のシステムクロックに基づいて
計測したパケット受信間隔とに基づいて、該データ受信
装置のシステムクロックと、スレーブサーバのシステム
クロックとの差異Bを算出し、該差異Bと、前記差異A
とに基づいて、スレーブサーバからの受信データの再生
サンプリングレートを、マスターサーバのシステムクロ
ックに同期したレートとして設定する処理を実行する構
成を有することを特徴とする請求項1に記載のデータ通
信システム。 - 【請求項5】前記スレーブサーバは、 複数のデータ受信装置から異なるクロック差データを格
納した複数のメッセージを受信した場合において、 データ転送におけるパケット間隔ジッタが最小であるデ
ータ受信装置からのメッセージを選択して、該メッセー
ジに格納されたクロック差データに従った転送レート変
更処理を実行する構成であることを特徴とする請求項1
に記載のデータ通信システム。 - 【請求項6】前記データ受信装置から前記スレーブサー
バに対するメッセージは、マスターサーバとスレーブサ
ーバ間のクロック差データと、前記データ受信装置が再
生実行中のアプリケーション識別データとを含む構成で
あることを特徴とする請求項1に記載のデータ通信シス
テム。 - 【請求項7】前記複数のサーバがデータ受信装置に対し
て送信するデータは、データ転送プロトコルとしてのR
TPに従ったフォーマットを有し、前記データ受信装置
から前記スレーブサーバに対するメッセージは、制御プ
ロトコルとしてのRTCPに従ったフォーマットを有す
ることを特徴とする請求項1に記載のデータ通信システ
ム。 - 【請求項8】前記複数のサーバ中、少なくとも1つのサ
ーバは、動画像データのデータ受信装置に対する送信処
理を実行し、前記複数のサーバ中、少なくとも他の1つ
のサーバは、音声データの該データ受信装置に対する送
信処理を実行する構成であり、 前記データ受信装置は、各サーバから受信する動画像デ
ータおよび音声データの同期再生処理を実行する構成で
あることを特徴とする請求項1に記載のデータ通信シス
テム。 - 【請求項9】マスターサーバおよびスレーブサーバの各
々がデータ受信装置に対して異なるデータを送信し、デ
ータ受信装置において各サーバからの受信データの同期
再生処理を実行するシステムにおけるスレーブサーバと
してのデータ送信装置であり、 該データ送信装置は、 データ受信装置から、マスターサーバとスレーブサーバ
間のクロック差データを格納したメッセージを受信し、
該受信メッセージに基づいて、データ転送レートを前記
マスターサーバのシステムクロックに同期させる転送レ
ート変更処理を実行する構成を有することを特徴とする
データ送信装置。 - 【請求項10】前記データ送信装置は、 システムクロックからの供給クロックに基づいて動作す
るカウンタと、 前記メッセージに基づく前記カウンタの補正値を算出す
るカウンタ補正部とを有し、 前記カウンタ補正部の補正カウンタ値に基づいてデータ
転送制御を実行することにより転送レート変更処理を実
行する構成であることを特徴とする請求項9に記載のデ
ータ送信装置。 - 【請求項11】前記データ送信装置は、 複数のデータ受信装置から異なるクロック差データを格
納した複数のメッセージを受信した場合において、 データ転送におけるパケット間隔ジッタが最小であるデ
ータ受信装置からのメッセージを選択して、該メッセー
ジに格納されたクロック差データに従った転送レート変
更処理を実行する構成であることを特徴とする請求項9
に記載のデータ送信装置。 - 【請求項12】マスターサーバおよびスレーブサーバの
各々がデータ受信装置に対して異なるデータを送信し、
データ受信装置において各サーバからの受信データの同
期再生処理を実行するシステムにおけるデータ受信装置
において、 各サーバからの受信パケットのタイムスタンプに基づい
て、マスターサーバとスレーブサーバ間のクロック差を
算出するタイムスタンプ比較部と、 前記タイムスタンプ比較部において算出したクロック差
データを格納したメッセージを生成する転送レート変更
メッセージ生成部と、 前記転送レート変更メッセージ生成部において生成した
転送レート変更メッセージをスレーブサーバに対して送
信する送信部と、 を有することを特徴とするデータ受信装置。 - 【請求項13】前記タイムスタンプ比較部は、 各サーバからの受信パケットのタイムスタンプと、該デ
ータ受信装置のシステムクロックに基づいて計測したパ
ケット受信間隔とに基づいて、該データ受信装置のシス
テムクロックと、各サーバのシステムクロックとの差異
を算出する構成であり、 前記転送レート変更メッセージ生成部は、 前記タイムスタンプ比較部の算出値に基づいて算出され
るマスターサーバとスレーブサーバ間のシステムクロッ
ク差を示すデータをデータ転送レート変更用データとし
て格納した転送レート変更メッセージを生成する構成で
あることを特徴とする請求項12に記載のデータ受信装
置。 - 【請求項14】前記タイムスタンプ比較部は、 マスターサーバからの受信パケットのタイムスタンプ
と、該データ受信装置のシステムクロックに基づいて計
測したパケット受信間隔とに基づいて、該データ受信装
置のシステムクロックと、マスターサーバのシステムク
ロックとの差異を算出する構成であり、 前記データ受信装置は、さらに、 前記タイムスタンプ比較部の算出値に基づいてマスター
サーバからの受信データの再生サンプリングレートを設
定するサンプリングレート設定部を有することを特徴と
する請求項12に記載のデータ受信装置。 - 【請求項15】前記タイムスタンプ比較部は、 前記マスターサーバからの受信パケットのタイムスタン
プと、該データ受信装置のシステムクロックに基づいて
計測したパケット受信間隔とに基づいて、該データ受信
装置のシステムクロックと、マスターサーバのシステム
クロックとの差異Aを算出するとともに、 前記スレーブサーバからの受信パケットのタイムスタン
プと、該データ受信装置のシステムクロックに基づいて
計測したパケット受信間隔とに基づいて、該データ受信
装置のシステムクロックと、スレーブサーバのシステム
クロックとの差異Bを算出する構成を有し、 前記データ受信装置は、さらに、 前記差異Aに基づいてマスターサーバからの受信データ
の再生サンプリングレートを設定するとともに、前記差
異Aと、前記差異Bとに基づいて、スレーブサーバから
の受信データの再生サンプリングレートを、マスターサ
ーバのシステムクロックに同期したレートとして設定す
るサンプリングレート設定部を有することを特徴とする
請求項12に記載のデータ受信装置。 - 【請求項16】前記転送レート変更メッセージ生成部
は、 マスターサーバとスレーブサーバ間のクロック差データ
と、前記データ受信装置が再生実行中のアプリケーショ
ン識別データとを含む構成であることを特徴とする請求
項12に記載のデータ受信装置。 - 【請求項17】前記転送レート変更メッセージ生成部
は、 転送レート変更メッセージを、制御プロトコルとしての
RTCPフォーマットに従って生成する構成であること
を特徴とする請求項12に記載のデータ受信装置。 - 【請求項18】各々が異なるデータを送信するデータ送
信装置としての複数のサーバと、該複数のサーバからの
送信データを受信するデータ受信装置とからなるシステ
ムにおけるデータ通信方法であり、 前記複数のサーバにおいて、 1つのサーバをマスターサーバとし、他のサーバをスレ
ーブサーバとした設定であるとともに、各サーバは各々
のシステムクロックに基づいて設定する転送レートに従
ったタイムスタンプ付与パケットの送信処理を実行し、 前記データ受信装置において、 各サーバからの受信パケットのタイムスタンプに基づい
て、マスターサーバとスレーブサーバ間のクロック差を
算出し、該クロック差データを格納したメッセージのス
レーブサーバに対する送信処理を実行し、 前記スレーブサーバにおいて、 前記メッセージに基づいて、データ転送レートを前記マ
スターサーバのシステムクロックに同期させる転送レー
ト変更処理を実行することを特徴とするデータ通信方
法。 - 【請求項19】前記データ通信方法において、 前記データ受信装置は、 各サーバからの受信パケットのタイムスタンプと、該デ
ータ受信装置のシステムクロックに基づいて計測したパ
ケット受信間隔とに基づいて、該データ受信装置のシス
テムクロックと、各サーバのシステムクロックとの差異
を算出するとともに、該算出値に基づいてマスターサー
バとスレーブサーバ間のシステムクロック差を算出し、
該サーバ間システムクロック差を示すデータをデータ転
送レート変更用データとして格納した転送レート変更メ
ッセージをスレーブサーバに送信し、 前記スレーブサーバは、 前記転送レート変更メッセージに格納されたデータ転送
レート変更用データに基づいて、データ転送レートを前
記マスターサーバのシステムクロックに同期させる転送
レート変更処理を実行することを特徴とする請求項18
に記載のデータ通信方法。 - 【請求項20】前記データ通信方法において、 前記データ受信装置は、 マスターサーバからの受信パケットのタイムスタンプ
と、該データ受信装置のシステムクロックに基づいて計
測したパケット受信間隔とに基づいて、該データ受信装
置のシステムクロックと、マスターサーバのシステムク
ロックとの差異を算出するとともに、該算出値に基づい
てマスターサーバからの受信データの再生サンプリング
レートを設定する処理を実行することを特徴とする請求
項18に記載のデータ通信方法。 - 【請求項21】前記データ通信方法において、 前記データ受信装置は、 前記マスターサーバからの受信パケットのタイムスタン
プと、該データ受信装置のシステムクロックに基づいて
計測したパケット受信間隔とに基づいて、該データ受信
装置のシステムクロックと、マスターサーバのシステム
クロックとの差異Aを算出し、前記差異Aに基づいてマ
スターサーバからの受信データの再生サンプリングレー
トを設定するとともに、 前記スレーブサーバからの受信パケットのタイムスタン
プと、該データ受信装置のシステムクロックに基づいて
計測したパケット受信間隔とに基づいて、該データ受信
装置のシステムクロックと、スレーブサーバのシステム
クロックとの差異Bを算出し、該差異Bと、前記差異A
とに基づいて、スレーブサーバからの受信データの再生
サンプリングレートを、マスターサーバのシステムクロ
ックに同期したレートとして設定する処理を実行するこ
とを特徴とする請求項18に記載のデータ通信方法。 - 【請求項22】前記スレーブサーバは、 複数のデータ受信装置から異なるクロック差データを格
納した複数のメッセージを受信した場合において、 データ転送におけるパケット間隔ジッタが最小であるデ
ータ受信装置からのメッセージを選択して、該メッセー
ジに格納されたクロック差データに従った転送レート変
更処理を実行することを特徴とする請求項18に記載の
データ通信方法。 - 【請求項23】前記データ受信装置から前記スレーブサ
ーバに対するメッセージは、マスターサーバとスレーブ
サーバ間のクロック差データと、前記データ受信装置が
再生実行中のアプリケーション識別データとを含むこと
を特徴とする請求項18に記載のデータ通信方法。 - 【請求項24】前記複数のサーバがデータ受信装置に対
して送信するデータは、データ転送プロトコルとしての
RTPに従ったフォーマットを有し、前記データ受信装
置から前記スレーブサーバに対するメッセージは、制御
プロトコルとしてのRTCPに従ったフォーマットを有
することを特徴とする請求項18に記載のデータ通信方
法。 - 【請求項25】前記複数のサーバ中、少なくとも1つの
サーバは、動画像データのデータ受信装置に対する送信
処理を実行し、前記複数のサーバ中、少なくとも他の1
つのサーバは、音声データの該データ受信装置に対する
送信処理を実行し、 前記データ受信装置は、各サーバから受信する動画像デ
ータおよび音声データの同期再生処理を実行することを
特徴とする請求項18に記載のデータ通信方法。 - 【請求項26】マスターサーバおよびスレーブサーバの
各々がデータ受信装置に対して異なるデータを送信し、
データ受信装置において各サーバからの受信データの同
期再生処理を実行するシステム中のスレーブサーバにお
けるデータ送信方法であり、 データ受信装置から、マスターサーバとスレーブサーバ
間のクロック差データを格納したメッセージを受信し、
該受信メッセージに基づいて、データ転送レートを前記
マスターサーバのシステムクロックに同期させる転送レ
ート変更処理を実行することを特徴とするデータ送信方
法。 - 【請求項27】前記スレーブサーバは、 システムクロックからの供給クロックに基づいて動作す
るカウンタと、 前記メッセージに基づく前記カウンタの補正値を算出す
るカウンタ補正部とを有し、 前記データ送信方法は、 前記カウンタ補正部の補正カウンタ値に基づいてデータ
転送制御を実行することにより転送レート変更処理を実
行するステップを含むことを特徴とする請求項26に記
載のデータ送信方法。 - 【請求項28】前記データ送信方法において、 複数のデータ受信装置から異なるクロック差データを格
納した複数のメッセージを受信した場合において、 データ転送におけるパケット間隔ジッタが最小であるデ
ータ受信装置からのメッセージを選択して、該メッセー
ジに格納されたクロック差データに従った転送レート変
更処理を実行することを特徴とする請求項26に記載の
データ送信方法。 - 【請求項29】マスターサーバおよびスレーブサーバの
各々がデータ受信装置に対して異なるデータを送信し、
データ受信装置において各サーバからの受信データの同
期再生処理を実行するシステムにおける受信データ処理
方法であり、 各サーバからの受信パケットのタイムスタンプに基づい
て、マスターサーバとスレーブサーバ間のクロック差を
算出するタイムスタンプ比較ステップと、 前記タイムスタンプ比較ステップにおいて算出したクロ
ック差データを格納したメッセージを生成する転送レー
ト変更メッセージ生成ステップと、 前記転送レート変更メッセージ生成ステップにおいて生
成した転送レート変更メッセージをスレーブサーバに対
して送信する送信ステップと、 を有することを特徴とする受信データ処理方法。 - 【請求項30】前記タイムスタンプ比較ステップは、 各サーバからの受信パケットのタイムスタンプと、該デ
ータ受信装置のシステムクロックに基づいて計測したパ
ケット受信間隔とに基づいて、該データ受信装置のシス
テムクロックと、各サーバのシステムクロックとの差異
を算出するステップを含み、 前記転送レート変更メッセージ生成ステップは、 前記タイムスタンプ比較ステップにおける算出値に基づ
いて算出されるマスターサーバとスレーブサーバ間のシ
ステムクロック差を示すデータをデータ転送レート変更
用データとして格納した転送レート変更メッセージを生
成するステップを含むことを特徴とする請求項29に記
載の受信データ処理方法。 - 【請求項31】前記タイムスタンプ比較ステップは、 マスターサーバからの受信パケットのタイムスタンプ
と、データ受信装置のシステムクロックに基づいて計測
したパケット受信間隔とに基づいて、データ受信装置の
システムクロックと、マスターサーバのシステムクロッ
クとの差異を算出するステップを含み、 前記受信データ処理方法は、さらに、 前記タイムスタンプ比較ステップにおける算出値に基づ
いてマスターサーバからの受信データの再生サンプリン
グレートを設定するサンプリングレート設定ステップを
含むことを特徴とする請求項29に記載の受信データ処
理方法。 - 【請求項32】前記タイムスタンプ比較ステップは、 前記マスターサーバからの受信パケットのタイムスタン
プと、該データ受信装置のシステムクロックに基づいて
計測したパケット受信間隔とに基づいて、該データ受信
装置のシステムクロックと、マスターサーバのシステム
クロックとの差異Aを算出するとともに、 前記スレーブサーバからの受信パケットのタイムスタン
プと、該データ受信装置のシステムクロックに基づいて
計測したパケット受信間隔とに基づいて、該データ受信
装置のシステムクロックと、スレーブサーバのシステム
クロックとの差異Bを算出するステップを含み、 前記受信データ処理方法は、さらに、 前記差異Aに基づいてマスターサーバからの受信データ
の再生サンプリングレートを設定するとともに、前記差
異Aと、前記差異Bとに基づいて、スレーブサーバから
の受信データの再生サンプリングレートを、マスターサ
ーバのシステムクロックに同期したレートとして設定す
るサンプリングレート設定ステップを有することを特徴
とする請求項29に記載の受信データ処理方法。 - 【請求項33】前記転送レート変更メッセージ生成ステ
ップは、 マスターサーバとスレーブサーバ間のクロック差データ
と、前記データ受信装置が再生実行中のアプリケーショ
ン識別データとを含むメッセージを生成することを特徴
とする請求項29に記載の受信データ処理方法。 - 【請求項34】前記転送レート変更メッセージ生成ステ
ップは、 転送レート変更メッセージを、制御プロトコルとしての
RTCPフォーマットに従って生成することを特徴とす
る請求項29に記載の受信データ処理方法。 - 【請求項35】マスターサーバおよびスレーブサーバの
各々がデータ受信装置に対して異なるデータを送信し、
データ受信装置において各サーバからの受信データの同
期再生処理を実行するシステム中のスレーブサーバにお
けるデータ送信処理を実行するコンピュータ・プログラ
ムであって、 データ受信装置から、マスターサーバとスレーブサーバ
間のクロック差データを格納したメッセージを受信する
ステップと、 該受信メッセージに基づいて、データ転送レートを前記
マスターサーバのシステムクロックに同期させる転送レ
ート変更処理を実行するステップと、 を具備することを特徴とするコンピュータ・プログラ
ム。 - 【請求項36】マスターサーバおよびスレーブサーバの
各々がデータ受信装置に対して異なるデータを送信し、
データ受信装置において各サーバからの受信データの同
期再生処理を実行するシステムにおける受信データ処理
を実行するコンピュータ・プログラムであって、 各サーバからの受信パケットのタイムスタンプに基づい
て、マスターサーバとスレーブサーバ間のクロック差を
算出するタイムスタンプ比較ステップと、 前記タイムスタンプ比較ステップにおいて算出したクロ
ック差データを格納したメッセージを生成する転送レー
ト変更メッセージ生成ステップと、 前記転送レート変更メッセージ生成ステップにおいて生
成した転送レート変更メッセージをスレーブサーバに対
して送信する送信ステップと、 を具備することを特徴とするコンピュータ・プログラ
ム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001375222A JP4042396B2 (ja) | 2001-12-10 | 2001-12-10 | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001375222A JP4042396B2 (ja) | 2001-12-10 | 2001-12-10 | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003179662A true JP2003179662A (ja) | 2003-06-27 |
JP2003179662A5 JP2003179662A5 (ja) | 2005-07-21 |
JP4042396B2 JP4042396B2 (ja) | 2008-02-06 |
Family
ID=19183633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001375222A Expired - Fee Related JP4042396B2 (ja) | 2001-12-10 | 2001-12-10 | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4042396B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002082905A (ja) * | 2000-06-21 | 2002-03-22 | Dr Johannes Heidenhain Gmbh | 位置測定システムと処理ユニットとの間でシリアルデータ伝送するための方法と装置 |
JP2006107317A (ja) * | 2004-10-08 | 2006-04-20 | Canon Inc | データ転送システム及びデータ転送方法 |
JP2008193178A (ja) * | 2007-01-31 | 2008-08-21 | Hewlett-Packard Development Co Lp | データストリーミング方法 |
JP2009237470A (ja) * | 2008-03-28 | 2009-10-15 | Yamaha Corp | 電子音楽制作・再生装置およびその制御方法を実現するためのプログラム |
US7725610B2 (en) | 2004-05-13 | 2010-05-25 | Canon Kabushiki Kaisha | Data processing apparatus that transmits and receives moving image data to and from an external device through a transmission path |
JP4865717B2 (ja) * | 2004-08-30 | 2012-02-01 | ハーモニック インコーポレイテッド | 確率的なネットワーク上のメッセージの同期化 |
KR20160023437A (ko) * | 2014-08-22 | 2016-03-03 | 주식회사 문화방송 | 시간 동기화 시스템 및 그 방법 |
KR101730313B1 (ko) | 2015-07-08 | 2017-05-11 | 미쓰비시덴키 가부시키가이샤 | 네트워크 시스템, 타임 마스터국, 및 타임 슬레이브국 |
KR20180066372A (ko) * | 2016-12-08 | 2018-06-19 | 현대오트론 주식회사 | 차량용 게이트웨이의 주기 메시지 송수신 방법 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11652860B2 (en) * | 2020-09-01 | 2023-05-16 | Yahoo Assets Llc | Synchronization of streaming content using live edge offsets |
-
2001
- 2001-12-10 JP JP2001375222A patent/JP4042396B2/ja not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002082905A (ja) * | 2000-06-21 | 2002-03-22 | Dr Johannes Heidenhain Gmbh | 位置測定システムと処理ユニットとの間でシリアルデータ伝送するための方法と装置 |
US7725610B2 (en) | 2004-05-13 | 2010-05-25 | Canon Kabushiki Kaisha | Data processing apparatus that transmits and receives moving image data to and from an external device through a transmission path |
JP4865717B2 (ja) * | 2004-08-30 | 2012-02-01 | ハーモニック インコーポレイテッド | 確率的なネットワーク上のメッセージの同期化 |
JP2006107317A (ja) * | 2004-10-08 | 2006-04-20 | Canon Inc | データ転送システム及びデータ転送方法 |
JP4537169B2 (ja) * | 2004-10-08 | 2010-09-01 | キヤノン株式会社 | ホスト装置及びその制御方法 |
US8924579B2 (en) | 2007-01-31 | 2014-12-30 | Hewlett-Packard Development Company, L.P. | Data streaming method |
JP2008193178A (ja) * | 2007-01-31 | 2008-08-21 | Hewlett-Packard Development Co Lp | データストリーミング方法 |
JP2009237470A (ja) * | 2008-03-28 | 2009-10-15 | Yamaha Corp | 電子音楽制作・再生装置およびその制御方法を実現するためのプログラム |
KR20160023437A (ko) * | 2014-08-22 | 2016-03-03 | 주식회사 문화방송 | 시간 동기화 시스템 및 그 방법 |
KR101644619B1 (ko) | 2014-08-22 | 2016-08-01 | 주식회사 문화방송 | 시간 동기화 시스템 및 그 방법 |
KR101730313B1 (ko) | 2015-07-08 | 2017-05-11 | 미쓰비시덴키 가부시키가이샤 | 네트워크 시스템, 타임 마스터국, 및 타임 슬레이브국 |
KR20180066372A (ko) * | 2016-12-08 | 2018-06-19 | 현대오트론 주식회사 | 차량용 게이트웨이의 주기 메시지 송수신 방법 |
KR101907438B1 (ko) * | 2016-12-08 | 2018-10-15 | 현대오트론 주식회사 | 차량용 게이트웨이의 주기 메시지 송수신 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP4042396B2 (ja) | 2008-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10264070B2 (en) | System and method for synchronizing media presentation at multiple recipients | |
KR101548619B1 (ko) | 상호연결 네트워크에서의 관련 데이터 스트림 동기화 | |
JP3912091B2 (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
US7606928B2 (en) | Method and device for controlling receiver buffer fullness level in multimedia streaming | |
CN106686438B (zh) | 一种跨设备的音频图像同步播放的方法、装置及系统 | |
US7673063B2 (en) | Methods for streaming media data | |
US8208460B2 (en) | Method and system for in-band signaling of multiple media streams | |
JP2003304511A (ja) | 通信端末、サーバ装置、中継装置、放送通信システム、放送通信方法及びプログラム | |
EP1715612B1 (en) | Transmitting apparatus, relaying apparatus, receiving apparatus and network system including these apparatus | |
JP3922047B2 (ja) | データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム | |
JP4042396B2 (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
JP3906678B2 (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
JP5082715B2 (ja) | 受信装置、受信方法およびコンピュータプログラム | |
JP2002152307A (ja) | データ受信装置、データ送信装置、データ通信システム、データ受信方法、データ送信方法、データ通信方法、並びにプログラム記憶媒体 | |
JP4876427B2 (ja) | 通信システム、送信装置、送信方法、受信装置、受信方法、およびプログラム | |
JP2005136545A (ja) | 送信装置および方法、プログラム格納媒体、並びにプログラム | |
JP4506222B2 (ja) | 通信システム、送信装置および方法、並びにプログラム | |
JP2005136547A (ja) | 通信システム、受信装置および方法、送信装置および方法、記録媒体、並びにプログラム | |
JP2006067410A (ja) | 送信装置および方法、プログラム、並びに送受信システム | |
JP2001320407A (ja) | データ通信装置、データ通信用拡張ボード及びデータ通信方法 | |
JP2005012780A (ja) | 画像伝送方法および画像伝送装置 | |
JP2005027209A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20061003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071105 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |