JP2002135299A - パケット通信システム - Google Patents

パケット通信システム

Info

Publication number
JP2002135299A
JP2002135299A JP2000323849A JP2000323849A JP2002135299A JP 2002135299 A JP2002135299 A JP 2002135299A JP 2000323849 A JP2000323849 A JP 2000323849A JP 2000323849 A JP2000323849 A JP 2000323849A JP 2002135299 A JP2002135299 A JP 2002135299A
Authority
JP
Japan
Prior art keywords
clock
packet
value
data output
moving average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000323849A
Other languages
English (en)
Other versions
JP3837693B2 (ja
Inventor
Hideaki Watanabe
英明 渡辺
Akira Nakagawa
章 中川
Takashi Hamano
崇 浜野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2000323849A priority Critical patent/JP3837693B2/ja
Publication of JP2002135299A publication Critical patent/JP2002135299A/ja
Application granted granted Critical
Publication of JP3837693B2 publication Critical patent/JP3837693B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

(57)【要約】 【課題】 送受信間でクロック同期をとってパケットの
受信処理を行うパケット通信システムに関し、1mse
c単位程度の精度でクロック同期を可能とする。 【解決手段】 送信側端末装置2から送信側クロック値
を付加したパケットを送信し、パケット通信網3を介し
てそのパケットを受信する受信側端末装置1に、送信側
クロック値tSn とデータ出力用クロック値tRとの差
分を算出するクロック差分算出手段5と、クロック値の
差分の移動平均値を算出する移動平均値算出手段6と、
クロック値の差分を基に移動平均値の信頼度を判定する
信頼度判定手段7と、信頼度が高い時の移動平均値を基
にデータ出力用クロック値tRを補正してデータ出力部
9からのデータ出力タイミングを制御するデータ出力ク
ロック生成手段8とを設ける。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、送信側端末装置と
受信側端末装置との間でパケット通信網を介してパケッ
トを伝送し、受信側端末装置は、送信側端末装置のクロ
ック信号に同期化させた受信側クロック信号により、受
信したパケットを処理するパケット通信システムに関す
る。
【0002】
【従来の技術】近年のインターネット/イントラネット
の普及により、AV(Audio Video)データ等のリア
ルタイムメディアを伝送するアプリケーションが増加し
ている。IP(Internet Protocol )ネットワークで
データ伝送を行う際のプロトコルとしては、一般的に
は、TCP(Transmission Control Protocol )又
はUDP(User Datagram Protocol )が用いられ
る。TCPを用いた場合、信頼性の高いデータの伝送が
可能となる反面、再送制御が行われる為に、リアルタイ
ム性に欠ける欠点がある。そこで、リアルタイムにAV
データ等を伝送するアプリケーションについては、TC
PではなくUDPが用いられる。又TV放送のように同
報通信を実現するには、マルチキャストを行うことにな
るが、TCPはマルチキャストをサポートしていない
為、UDPを用いることになる。
【0003】又ネットワークを介してAVデータを伝送
する場合、送信側でAVデータをサンプリングするクロ
ック信号と、受信側で受信したデータを出力するクロッ
ク信号との同期をとる必要がある。このような送受信間
のクロック信号の同期をとらないと、受信側のバッファ
に、アンダーフローやオーバーフローが生じる問題があ
る。例えば、伝送データがビデオデータの場合、アンダ
ーフロー時に同一のフレームを複数回表示したり、又オ
ーバーフローの場合、或るフレームを表示しないように
して、フレームレートの調整を行う必要が生じる。従っ
て、再生画面の動きが不自然となって、表示品質が低下
する。又オーディオの場合は、オーバーフロー時にPC
Mデータを間引いたり、或いはアンダーフロー時にPC
Mデータを繰り返して再生することによって、一応は調
整できるが、その場合の再生音はノイズとなり、再生音
質が劣化する。従って、送信側クロック信号に対して受
信側クロック信号を同期化する必要がある。
【0004】送信側と受信側とを同期網を介して接続し
た場合は、送受信側のそれぞれのクロック信号を同期網
のクロック信号に同期させることにより、送受信間のク
ロック同期をとることができる。しかし、非同期網の場
合や、送受信端末装置を網クロック信号に同期できない
場合は、送受信間のクロック同期の実現は容易ではな
い。通常TCP/IPベースの通信では、送受信側の端
末装置が網クロックに同期することを想定していないも
のである。従って、送受信間のクロック同期をとる手段
として、例えば、受信側で、或る程度の受信データをバ
ッファリングしてから出力を開始し、データ出力中の受
信バッファ量を監視し、オーバーフロー傾向であれば、
受信側のデータ出力クロック速度を速くし、アンダーフ
ロー傾向であれば、データ出力クロック速度を遅くする
ことにより、受信側クロック信号を送信側クロック信号
に追従制御する手段が知られている。
【0005】しかし、UDPを用いた通信に於いては、
伝送遅延が一定あることが保証されていないと共に、ネ
ットワークの輻輳によりパケットの廃棄が生じる可能性
が大きいものである。従って、前述のような受信バッフ
ァ量を所定範囲内に維持する手段では、パケットの伝送
遅延の揺らぎやパケットの廃棄により、受信バッファ量
の増減の変化が大きくなり、送受信間のクロック差の調
整が不可能となる問題がある。
【0006】又送受信間のクロック同期の他の手段とし
て、送信側端末装置からの送信パケットに、送信データ
をサンプリングした時の送信側クロック信号をカウンタ
とした値を時刻情報として付加して送信し、受信側端末
装置は、受信側クロック信号をカウントした時刻情報を
用い、受信したパケットに付加された時刻情報による送
信パケット間隔と、受信側端末装置により生成した時刻
情報による受信パケット処理間隔とにより、送信側クロ
ック信号に受信側クロック信号を同期化させる手段も知
られている。
【0007】図9はパケット通信システムの説明図であ
り、送信側端末装置51と受信側端末装置52とをパケ
ット通信網53に接続し、送信側端末装置51に於いて
生成したパケットをパケット通信網53を介して受信側
端末装置52宛に送出する。送信側端末装置51は、デ
ータサンプリング部54に於いて入力データを送信側ク
ロック発生部55からのクロック信号によってサンプリ
ングし、その時のクロック信号をカウントしたクロック
値と共にデータ処理部56に転送し、パケット化部57
に於いてパケット化すると共に、クロック値を時刻情報
としてヘッダ情報に付加して送信する。
【0008】このパケットをパケット通信網53を介し
て受信した受信側端末装置52は、パケット受信部58
により受信して、パケットに付加されたクロック値を抽
出し、データ出力部59にデータを転送し、クロック値
を受信側クロック発生部60に転送する。このクロック
値を用いて例えば送信パケット間隔を判定し、又パケッ
ト受信処理の為の受信側クロック信号をカウントしたク
ロック値を用いて受信パケット処理間隔を判定して、送
信パケット間隔と受信パケット処理間隔とに対応して、
データ出力部59から受信データとして送出する。
【0009】図10は従来例のクロック同期の説明図で
あり、受信側端末装置に於ける時間軸t上の受信パケッ
トを示し、送信側に於いて、送信側クロック信号のカウ
ント値による時刻情報tSnを付加したパケットnの次
に、時刻情報tSn+1を付加したパケットn+1を送
信し、受信側に於いて、パケットnを、受信側クロック
信号のカウント値による時刻tRnで受信し、パケット
n+1を時刻tRn+1で受信した場合、それぞれの差
分dSn=tSn+1−tSn、dRn=dRn+1を
求める。即ち、送信パケット間隔と受信パケット間隔と
を求める。そして、dRn>dSnの場合は、受信側ク
ロック速度が送信側クロック速度に比較して速く、反対
に、dRn<dSnの場合は、受信側クロック速度が送
信側クロック速度に比較して遅いと判定することができ
る。これにより、パケット廃棄が発生しても、送信側ク
ロック速度と受信側クロック速度との差分を得ることが
できるから、受信側クロック信号を送信側クロック信号
に同期化するように制御することができる。
【0010】しかし、パケット伝送の遅延揺らぎ及び送
信側に於ける入力データをサンプリングしてパケット化
して送信するまでの揺らぎの影響により、前述のような
差分dSn,dRnの比較では精度の高いクロック同期
化は困難である。即ち、送信パケット間隔が一定であっ
ても、受信パケット間隔は揺らぎが大きいと変化するこ
とになる。そこで、統計的処理を施すことにより、パケ
ットの遅延揺らぎの影響を除くことが知られている。即
ち、連続するN個の前述の差分dRn,dSnの平均値
AdR(n,N),AdS(n,N)とを、 AdR(n,N)=(1/N)Σ(n+N-1) (j=n) dRj AdS(n,N)=(1/N)Σ(n+N-1) (j=n) dSj として求める。なお、Σ(n+N-1) (j=n) は、j=nから
n+N−1まで累算することを示す。
【0011】この平均値AdR(n,N),AdS
(n,N)を比較することにより、受信側クロック速度
が送信側クロック速度に対して速いか遅いかを判定し
て、受信側クロック速度を送信側クロック速度に一致す
るように、即ち、クロック同期化を行うことができる。
又このN個の平均値を求める区間をスライドさせて移動
平均値として求めることにより、パケット受信が継続す
る限り、送信側クロック信号に受信側クロック信号を同
期化することができる。更に、移動平均値を求めたN個
の差分dSnの分散値を求め、この分散値に対応して移
動平均観測窓を伸縮制御して、クロック同期化の精度を
高めることも知られている(例えば、特開平5−143
99号公報参照)。
【0012】
【発明が解決しようとする課題】前述の従来例に於ける
パケットの送受信間隔に相当するdSn,dRnの測定
に於いて、受信側クロックについてはmsec単位以下
の短い時間単位で測定する必要がある。例えば、NTS
C方式のビデオデータをパケット化して伝送する場合、
フレーム単位で測定することになるから、その場合のd
Sn,dRnは、約33msec(正確には、1001
/30msec)となる。例えば、送受信間で1%のク
ロック速度の誤差があると仮定すると、その誤差は約3
33μsecとなる。従って、マイクロ秒単位で受信タ
イミングの測定が可能なクロック信号を必要とするもの
である。
【0013】しかし、受信側端末装置を通常のパーソナ
ルコンピュータ(PC)やワークステーション(WS)
により構成してビデオ再生を行うアプリケーションが各
種存在するが、その殆どは、オペレーションシステム
(OS)が提供する時刻情報取得API(Application
Programming Interface)を利用して、再生ビデオ
フレーム出力間隔を計測している。この時刻情報取得A
PIにより取得可能な時刻情報は、PCやWSのクロッ
ク信号に同期してカウントするハードウェアによるカウ
ント値であり、PCやWS上で提供されている時刻情報
取得APIでは、一般的に最小でも1msec単位の時
刻情報しか取得できない。
【0014】従って、PCやWSで動作するソフトウェ
アにより、ビデオの受信側端末装置を実現する場合に、
マイクロ秒単位で時刻情報を取得することは容易でな
く、前述のような手段により、送信側クロック信号に受
信側クロック信号を同期化することは困難となる。な
お、送信側と受信側とのクロック信号の誤差を計測可能
となるように、図10のdRnを測定するパケット間隔
を大きくすることも理屈上は可能であるが、システム毎
にパケット間隔の調整等が必要となり、実用上の問題が
ある。
【0015】又PCやWSのビデオ再生アプリケーショ
ンプログラムは、OSにより提供される時刻情報取得A
PIを用いて取得した時刻情報に従って、所定のフレー
ム表示間隔を実現することが前述のように可能である
が、実際のPCやWCに於ける時刻情報生成のクロック
信号の速度調整が不可能の構成が一般的である。又PC
やWSに於けるOSでもハードウェアでも時刻情報を生
成する為のクロック信号の速度調整手段は用意されてい
ないものである。従って、PC等を受信側端末装置とし
て用いた時、送信側クロック信号に受信側クロック信号
を同期化させることは実用上不可能に近いものであっ
た。
【0016】本発明は、時刻情報がmsec単位で取得
できる受信側端末装置に於いても、送受信間のクロック
同期を可能とすることを目的とする。
【0017】
【課題を解決するための手段】本発明のパケット通信シ
ステムは、図1を参照して説明すると、送信側端末装置
2から、データをパケット化する時の時刻情報としてサ
ンプリングクロック信号を基に形成した送信側クロック
値をパケットに付加して送信し、このパケットをパケッ
ト通信網3等を介して受信した受信側端末装置1は、送
信側クロック値を基にクロック同期をとってデータを出
力するデータ出力部9を有するパケット通信システムに
於いて、受信側端末装置1は、受信したパケットに付加
されている送信側クロック値tSn と、受信側クロック
信号を基に形成したデータ出力用クロック値tRとの差
分を算出するクロック差分算出手段5と、このクロック
差分算出手段5からの差分を所定の期間について移動平
均値を算出する移動平均値算出手段6と、この移動平均
値算出手段6からの移動平均値の信頼度を判定する信頼
度判定手段7と、この信頼度判定手段7による信頼度の
高い移動平均値を基に、データ出力部9に加えるデータ
出力用クロック値を補正するデータ出力クロック生成手
段8とを備えている。
【0018】又信頼度判定手段7は、移動平均値算出手
段6により移動平均値を求めたクロック値の差分の分散
を求め、この分散が小さい時に信頼度が高いと判定して
データ出力クロック生成手段8によるデータ出力用クロ
ック値の補正を行わせる構成を有し、又データ出力クロ
ック生成手段8は、係数を乗算してデータ出力用クロッ
ク値を出力し、信頼度判定手段7からの信頼度の高い時
のクロック補正により係数を更新する手段を備えること
ができる。
【0019】又受信側端末装置1は、送信側端末装置2
からのパケットに付加した送信側クロック値が有効か無
効かを示すフラグ情報を検出する手段と、この手段によ
り検出したフラグが有効を示す時のみ、パケットに付加
された送信側クロック値を基に前記データ出力用クロッ
ク値の補正を行う手段とを備えることができる。又受信
したパケットの属性情報を検出し、この属性情報に従っ
てパケットに付加された送信側クロック値を基にデータ
出力用クロック値の補正を行うか否かを判定する手段を
備えることができる。
【0020】
【発明の実施の形態】図1は本発明の原理説明図であ
り、1は受信側端末装置、2は送信側端末装置、3はパ
ケット通信網、4はパケット受信手段、5はクロック差
分算出手段、6は移動平均値算出手段、7は信頼度判定
手段、8はデータ出力クロック生成手段、9はデータ出
力部を示す。
【0021】送信側端末装置2からは、前述のように、
時刻情報を付加したパケットを送出するもので、この時
刻情報は、データのサンプリングに用いたクロック信
号、又はこのクロック信号に同期した他のクロック信号
をカウントアップした値をクロック値としたものであ
る。このパケットをパケット通信網2を介して受信した
受信側端末装置1は、パケット受信手段4によりパケッ
トを分解してデータと送信側クロック値とに分離し、こ
の送信側クロック値をクロック差分算出手段5に転送
し、データ出力クロック生成手段8からのデータ出力用
クロック値と送信側クロック値との差分を算出する。又
パケット受信手段4に於いて分離したデータとクロック
値とをデータ出力部9に転送し、データ出力部9からデ
ータ出力用のクロック値に従ってビデオデータの場合は
図示を省略した表示装置へ転送し、音声データのみの場
合は図示を省略したスピーカ等を含む音声装置へ転送す
る。
【0022】例えば、パケットnに付加された送信側ク
ロック値をtSn 、最初の受信パケットをパケット0と
し、最初の受信パケットのデータを出力した時のデータ
出力用クロック値をtR0 とすると、パケットnのデー
タを出力する時のクロック値tRn は、 tRn =(tSn −tS0 )+tR0 …(1) となる。即ち、データ出力部9は、クロック値tRがt
n を超えた時点で受信パケットnのデータを出力する
ように、データ出力タイミングを管理することになる。
【0023】前述のように、パケット受信手段4で受信
したパケットから送信側クロック値tSn を抽出してク
ロック差分算出手段5に転送し、このクロック差分算出
手段5に於いてデータ出力用クロック値との差分を求め
る。そして、移動平均値算出手段6に於いて所定期間内
の差分値の移動平均値を求める。又信頼度判定手段7に
於いて移動平均値の基になったクロック値差分の信頼度
を判定し、この信頼度情報と、移動平均値算出手段6か
らのクロック値差分平均値とをデータ出力クロック生成
手段8に転送し、信頼度が高い場合のみ、クロック値差
分平均値によりデータ出力部9に加えるデータ出力用ク
ロック値の補正を行うものである。
【0024】図2は本発明の実施の形態の要部説明図で
あり、11は受信側端末装置、14はパケット受信部、
15はクロック差分計算部、16は移動平均計算部、1
7は信頼度判定部、18は受信側クロック生成部、19
はビデオデコーダ、20はビデオレンダラを示す。
【0025】同図に於いて、図1と類似した名称の機能
部分は同一の機能を有するものであり、又図1のデータ
出力部9として、ビデオデータを出力する場合に於ける
復号化処理等を行うビデオデコーダ19と、画像処理を
行ったビデオデータを、図示を省略した表示装置へ出力
するビデオレンダラ20とを含む場合を示す。又図1の
データ出力クロック生成手段8に相当する受信側クロッ
ク生成部18は、信頼度判定部17からの情報に従って
受信クロック信号を補正して、ビデオレンダラ20から
のデータを出力するタイミングを示すデータ出力用のク
ロック値tRを出力する。この受信側クロック生成部1
8は、PCやWS上のアプリケーションプログラムに於
いては、OSが提供する時刻情報取得APIによって実
現することができる。
【0026】例えば、マイクロソフト社のPC/WS用
のOSとして知られているMicrosoft Win
dows Operating System NT
(商標)のアプリケーションプログラムから、time
GetTime()というAPIにより、最高1mse
c単位までの時刻情報の取得が可能である。この取得可
能の時刻情報(受信側クロック値)をtrとし、受信側
クロック生成部18は、実際にビデオのフレーム表示間
隔を管理する為に使用するデータ出力用のクロック値t
Rを生成する。
【0027】この場合、受信側端末装置11の基本クロ
ック信号は一定速度であり、その基本クロック信号を例
えば分周してカウントし、そのカウント値をデータ出力
用クロック値tRとし、分周比を制御することにより、
又はオフセット値を加算することにより、データ出力用
クロック値tRを補正することができる。例えば、係数
Crを乗算することによりデータ出力用クロック値tR
を出力し、この係数Crを更新することにより、クロッ
ク補正を行うことができる。
【0028】例えば、受信側クロック生成部18は、係
数Crを乗算してデータ出力用クロック値を出力する場
合、次式で定義されるデータ出力用のクロック値tRを
出力する。 tR=Cr(tr−tr0 )+tS0 …(2) ここで、tr0 は最初の再生可能なデータが格納された
パケットを受信した時の時刻情報(受信側クロック値)
trであり、tS0 は最初の再生可能のデータが格納さ
れたパケットに付加されている送信側クロック値を示
す。又Crは、時刻情報(受信側クロック値)trの速
度を基準にしてデータ出力用のクロック値tRの速度を
指定する為の係数であり、この係数Crの初期値は1.
0とする。そして、この係数Crを更新することによっ
て、データ出力用クロック値tRの補正を行うことがで
きる。即ち、クロック補正を行うことができる。なお、
実際の装置では、受信したデータが表示可能となるまで
に、何らかの処理時間がかかるから、クロック値tRを
遅延させる必要があるが、簡略化の為の遅延についての
説明は省略する。
【0029】又ビデオレンダラ20は、ビデオデコーダ
19に於いて復号されたビデオフレームデータと、送信
側クロック値tSn と、受信側クロック生成部18から
のデータ出力用クロック値tRとを基に、図示を省略し
た表示装置にデータを出力する。その場合、tR=tS
n となった時点でデータを出力する。即ち、送受信間の
クロック同期をとってデータを出力することになる。
【0030】そして、パケットを継続して長時間受信し
ている場合、送信側クロック速度(送信側クロック値)
と受信側クロック速度(データ出力用クロック値)との
ずれにより、データを表示すべきタイミングで出力する
ことができなくなる。そこで、クロック差分計算部15
に於いて、受信パケットnに付加されている送信側クロ
ック値tSn と、このパケットn受信時のデータ出力用
のクロック値tRn との差分dSRn =tSn −tRn
を計算する。又移動平均計算部16は、クロック値の差
分dSRn について、過去の所定の期間内のN個(j=
n−(N−1)〜j=n)の平均値AdSR(n,N)
=(1/N)Σn j=n-(N-1) dSRj を計算する。
【0031】この移動平均値AdSRの計算は、クロッ
ク補正を施す周期で行うものであり、クロック値の差分
dSRn の移動平均値AdSRが増加している場合は、
送信側クロック速度に比較してデータ出力用クロック速
度が遅く、反対に、移動平均値AdSRが減少している
場合は、送信側クロック速度に比較してデータ出力用ク
ロック速度が速いことを示すから、それに従ってクロッ
ク補正を施すことができる。このクロック補正を施す前
に、求めた移動平均値AdSRが信頼できるものである
か否かを信頼度判定部17に於いて判定する。
【0032】具体的には、信頼度判定部17に於いて、
差分dSRn の真値に対して、算出されたこの差分dS
n の平均値の分布が中心極限定理により正規分布に従
うと仮定し、求めた移動平均値AdSRと、この移動平
均値AdSRの計算に用いた差分dSRn の分散を用い
て評価する。即ち、次の(3)〜(5)式により標準偏
差σを求める。
【数1】
【0033】そして、予め想定した危険率によって決定
される係数αを用い、 AdSR−ασ<0<AdSR+ασ の場合は移動平均値AdSRの信頼度が低く、 AdSR−ασ>0又はAdSR+ασ<0 の場合は移動平均値AdSRの信頼度が高いと判定す
る。この信頼度が高いと判定した場合のみ、受信側クロ
ック生成部18に於けるクロック補正を行わせるもので
ある。
【0034】この場合の信頼度が高い移動平均値をAd
SRa 、その時の受信側クロック値をtra 、データ出
力用クロック値をtRa 、更新された係数をCra とす
ると、この更新された係数Cra は、 Cra =(AdSRa +tRa −tR0 )/(tra −tr0 ) …(6) となる。又da =AdSRa +tRa とすると、補正さ
れたデータ出力用クロック値tRは、 tR=Cra (tr−tra )+da …(7) となる。
【0035】図3は新たに算出した移動平均値AdSR
n が、補正不要な(信頼度が低い)範囲内の場合を示
す。従って、クロック補正の次の周期に於いて算出した
移動平均値AdSRn+1 についても同様にクロック補正
の要否を判定することになる。又図4は新たに算出した
移動平均値AdSRn が、補正が必要な(信頼度が高
い)範囲に存在する場合を示す。この場合にクロック補
正を行う。なお、図3,図4に於ける0は、クロック補
正を行った時の移動平均値をクロック補正の次の周期の
基準とする値を示す。
【0036】又(7)式により補正されたデータ出力用
クロック値tRについて、送信側クロック値に追従する
様子を図5に示す。即ち、横軸を受信側クロック値t
r、縦軸を送信側クロック値及びデータ出力用クロック
値とし、受信側クロック値がtr0 の時の送信側クロッ
ク値をtS0 、データ出力用クロック値をtR0 とし、
tS0 =tR0 として、受信側クロック値trの増加、
即ち、時間の経過に従って点線で示す送信側クロック値
tSが増加し、又実線で示すデータ出力用クロック値t
Rが係数Crを初期値1.0として増加する状態を示
す。
【0037】そして、受信側クロック値がtra に於け
る送信側クロック値tSa と、データ出力用クロック値
tRa との差分と、移動平均値AdSRa とを求め、且
つ分散σを求め、AdSRa −ασ>0となった時に、
クロック補正を行うと共に、係数Crの補正を行う。即
ち、(6)式に従って係数Cra を求め、且つda =t
a +AdSRa として、tR=Cra (tr−t
a )+da に従ったデータ出力用クロックtRとする
クロック補正を行う。即ち、実線矢印で示すようにda
を加算し、且つ係数Crの更新を行うことにより、誤差
分が小さくなるようにクロック補正する。この更新した
係数Cra により、データ出力用クロック値tRは、送
信側クロック値tSと同一又は近似した速度(傾斜)と
なる。これにより、クロック補正を頻繁に行うことな
く、送受信間クロック同期をとることができる。又この
場合、N個の差分の移動平均値を求める場合のNを小さ
くした場合でも、誤差分が累積して大きくなった時にク
ロック補正が行われることになるが、このNを或る程度
大きくすることにより、精度の高いクロック補正処理が
可能となる。
【0038】又NTSCビデオデータをパケット化して
伝送する場合、ビデオフレーム間隔は約33msecで
あるから、送信側クロック値と、データ出力用クロック
値との誤差を33msec以下で調整できれば、送信側
に対する受信側の誤差が1フレーム時間以下の状態を実
現できることになる。PC(パソコン)やWS(ワーク
ステーション)に於ける測定可能の時刻は1msec程
度あることから、クロック差分計算部15に於けるクロ
ック値の差分dSRn =tSn −tRn は1msec単
位程度で求めることができれば、充分にクロック補正が
可能となる。
【0039】通常は、送信側端末装置のデータサンプリ
ングクロック信号と受信側端末装置のデータ出力用クロ
ック信号との誤差は、元々大きくないので、送受信間ク
ロック差を厳密に管理しなくても充分な場合がある。例
えば、フレームレートが5fps(フレーム/秒)程度
のビデオデータを伝送するアプリケーションの場合、フ
レーム間隔は200msec程度となり、この場合は、
数10msec程度の誤差を許容できることになる。こ
のようなアプリケーションに於いては、係数Crの更新
を行わない簡略化した手段でクロック補正が可能であ
る。
【0040】そこで、データ出力用クロック値tRを、 tR=(tr−tr0 )+tS0 …(8) とし、前述の場合と同様に、送受信間クロック誤差の移
動平均値を求め、信頼度を判定し、信頼度の高い移動平
均値AdSRa が得られた時に、 tR=(tr−tra )+da …(9) としてデータ出力用クロック値tRを補正することがで
きる。即ち、係数Crについては初期値の1.0のまま
とし、クロック補正時に:da =AdSRa +tRa
加算する。
【0041】前述のクロック補正手段によるデータ出力
用クロック値の追従の様子を図6に示す。即ち、tr0
に於けるtS0 =tR0 とし、受信側クロック値tra
に於ける移動平均値AdSRa の信頼度が高く、クロッ
ク補正を行うものである。この場合、係数Crの補正を
行わないので、点線で示す送信側クロック値tSと、実
線で示すデータ出力用クロック値tRとの特性(傾斜)
は異なる場合が一般的となり、移動平均値AdSRと標
準偏差σとを用いて信頼度の判定を行い、実線矢印で示
すようにクロック補正を行うことになる。
【0042】又送信側クロック値は、送信データをサン
プリングする処理と送信処理とを同時に並行的に行われ
ることを前提とした場合を示すが、実際のシステムに於
いては、記録媒体に一旦蓄積した後に、パケット通信網
を介して受信側端末装置へ伝送する場合がある。図7は
前述のようなシステムに適用した場合を示す。同図に於
いて、31は送信側端末装置、32は送信データ作成装
置、33は磁気ディスク装置や光磁気ディスク装置等の
記録メディア、34はデータサンプリング部、35はデ
ータ処理部、36はサンプリングクロック生成部、37
はパケット化部、38はパケット送信部、39は送信側
クロック生成部を示す。
【0043】送信データ作成装置32は、入力データを
データサンプリング部34に於いてサンプリングクロッ
ク生成部36からのサンプリングクロック信号によりサ
ンプリングし、サンプリングしたデータとクロック信号
をカウントしたクロック値とをデータ処理部35に転送
する。データ処理部35はクロック値を付加したデータ
をパケット化部37に転送し、パケット化部37はヘッ
ダ情報にクロック値を付加してデータをパケット化し、
記録メディア33に転送して記録する。
【0044】又送信側端末装置31は、パケット送信部
38により記録メディア33から読出したパケットに付
加されているクロック値と、送信側クロック生成部39
からのクロック値とを基に、前述の送信側クロック値と
データ出力用クロック値とを基に同期化を行う場合と同
様にして、パケット送信部38から図示を省略したパケ
ット通信網を介して受信側端末装置へ送信する。
【0045】例えば、パケット送信部38は、記録メデ
ィア33から読出して送信するパケットのクロック値が
tP0 で、そのパケットを送信した時の送信側クロック
生成部39によるクロック値がtS0 であったとする
と、次の送信パケットのクロック値がtP1 で、そのパ
ケットの送信タイミングを示すクロック値tS1 を、t
1 =(tP1 −tP0 )+tS0 により求め、送信側
クロック生成部39のクロック値がtS1 を超えた時
に、そのパケットを送信する。以後同様にして、パケッ
トに付加されたクロック値と、送信側クロック生成部3
9によるクロック値とを比較して、送信タイミングを決
定することができる。
【0046】前述の図7に示す実施の形態に於いては、
送信データ作成装置32に於いてパケット化し、記録メ
ディア33に一旦蓄積して送信側端末装置31からパケ
ット送信を行う場合を示すが、送信側端末装置31にパ
ケット化部37を設け、送信データ作成装置32はデー
タ処理部35から記録メディア33にクロック値を付加
したデータを記憶し、その記録メディア33から読出し
たデータを、送信側端末装置31に設けたパケット化部
によりパケット化して送信する構成とすることも可能で
ある。その場合、記録メディア33には、データと共に
時刻情報を記録しておき、送信側端末装置31のパケッ
ト化部に於いて送信パケットを生成して時刻情報を付加
し、その時刻情報に従ったタイミングで送信することに
なる。
【0047】又送信側端末装置に於いて、パケットに付
加した送信側クロック値と送信クロックとの同期を維持
できない場合がある。例えば、図7に於いて、記録メデ
ィア33を複数の送信側端末装置からアクセスしてデー
タを読出して送信するシステムに於いては、記録メディ
ア33に対するアクセスが輻輳して、データの読出しが
送信タイミングに間に合わない場合が生じる。このよう
な状況が頻繁に発生すると、受信側では、パケットの伝
送遅延の揺らぎが大きいように観測される。その場合
は、クロック値の差分とその移動平均値と分散とを用い
た信頼度の判定に於いて、信頼度が低いと判定される問
題が生じる。
【0048】これを回避する為に、パケットの送信側
に、パケットに付加した送信側クロック値が有効か無効
かを示すフラグ情報を付加して送信し、受信側端末装置
は、このフラグ情報を検出する手段を例えばパケット受
信部14(図2参照)に設け、このフラグ情報が有効を
示す時のみクロック補正を行う構成とすることができ
る。具体的には、フラグ情報として同期フラグ情報を用
い、正常な送信タイミングでパケットを送信している場
合は、同期がとれていることを示す同期フラグ情報と
し、データの読出しが送信タイミングに間に合わないよ
うな場合は、同期がとれていないことを示す同期フラグ
情報をそれぞれパケットに付加して伝送する。従って、
受信側端末装置に於いては、この同期フラグ情報を検出
して、同期がとれていないことを示す時は、このパケッ
トに付加された送信側クロック値を利用しないようにす
る。即ち、クロック補正を行わないようにすることがで
きる。
【0049】又パケット通信システムに於いては、ルー
タ等のパケットを中継転送する装置を設けたシステムも
知られている。このルータ等のパケット中継装置は、受
信バッファ等を含み、パケット中継処理による伝送遅延
の揺らぎが発生する場合が一般的である。例えば、図8
に示すように、受信側端末装置41と送信側端末装置4
2との間で、ネットワークA,Bとルータ等のパケット
中継装置43とを介してパケットの送受信を行うシステ
ムに於いて、受信側端末装置41は、例えば、図2に示
す構成とし、又送信側端末装置42は、例えば、図9に
示す構成とすることができる。又パケット中継装置43
は、受信バッファを備え、且つパケットのヘッダ情報に
従ってパケットの中継処理を行う構成を有するものであ
る。
【0050】このようなシステムに於いて、パケット中
継装置43を、受信側端末装置41に対して新たな送信
端末装置と見做してクロック同期をとる方式(a)と、
パケット中継装置の伝送遅延時間r2を一定に維持する
方式(b)との何れかを適用することができる。なお、
r1〜r4はネットワークA,パケット中継装置43,
ネットワークB及び送信側端末装置42と受信側端末装
置41との間のそれぞれの伝送遅延時間を示す。
【0051】パケット中継装置43を新たな送信端末装
置と見做す方式(a)の場合、パケット中継装置43
に、図7に於ける送信端末装置31の機能を設けること
ができる。その場合、パケット中継装置43を送信端末
装置と見做す方式(a)の場合、パケット中継装置43
に図7に示す送信端末装置31の機能を設けることがで
きる。即ち、送信端末装置42が図7に於ける記録メデ
ィア33に対応し、パケット中継装置43が図7に於け
る送信側端末装置31に対応した構成と見做すことがで
きる。
【0052】従って、パケットに付加された送信側クロ
ック値を基に、パケット中継装置43から送出するタイ
ミングを制御し、且つ同期フラグ情報を用いて、同期が
とれている状態か、又はとれていない状態かを受信側端
末装置41に通知することができる。なお、送信側端末
装置42とパケット中継装置43との間では、パケット
中継装置43の受信バッファのオーバーフローやアンダ
ーフローを回避する為に、クロック同期をとる必要があ
る。その為に、中継するパケットストリーム毎にクロッ
ク同期処理の機能を必要とすることになる。
【0053】又伝送遅延時間r2を一定に維持する方式
(b)の場合は、受信バッファを用いて、送信側端末装
置42から受信したパケットを伝送遅延時間r2後に受
信側端末装置41へ送出するように処理するものである
が、複数のパケットストリームについて処理することか
ら、この伝送遅延時間r2を一定に維持できない場合が
生じる。その時は、前述の同期フラグ情報を用いて同期
がとれていないことを受信側端末装置41に通知する。
従って、受信側端末装置41は、同期がとれていること
を示す同期フラグ情報を検出した時に、パケットに付加
された送信側クロック値を基に、送信側端末装置42と
の間のクロック同期をとり、同期がとれていないことを
示す同期フラグ情報が付加されている場合は、そのパケ
ットに付加された送信側クロック値を無視する処理を行
うものである。
【0054】又パケットに属性情報を付加して送信し、
受信側端末装置は、この属性情報をパケット受信部14
(図2参照)に於いて抽出する。例えば、送信側端末装
置がビデオデータと共に、これに同期したオーディオデ
ータを送信する場合に、受信側では、この属性情報が例
えば、オーディオデータかビデオデータかの何れか一方
の場合に、パケットに付加された送信側クロック値を抽
出してデータ出力用クロック値の補正処理にも利用し、
他方の場合は、パケットに付加された送信側クロック値
をデータ出力タイミングを測る目的のみに利用する。こ
れにより、例えば、送信側でソフトウェアにより圧縮符
号化を施してデータを送信する等に於いて、入力データ
の内容や符号化方式上の理由により、処理時間のばらつ
きが大きい状況であって、且つオーディオかビデオかの
何れかの送信処理時間の方がばらつきの少ないことが判
っている場合に、ばらつきの少ない方のデータに付随す
る送信側クロック値のみを利用することで、送受信間ク
ロック差検出の確度を向上させることができる。
【0055】(付記1)送信側端末装置からデータをパ
ケット化する時の時刻情報としてサンプリングクロック
信号を基に形成した送信側クロック値をパケットに付加
して送信し、該パケットを受信した受信側端末装置は、
前記送信側クロック値を基にクロック同期をとってデー
タを出力するデータ出力部を有するパケット通信システ
ムに於いて、前記受信側端末装置は、受信したパケット
に付加されている前記送信側クロック値と、受信側クロ
ック信号を基に形成したデータ出力用クロック値との差
分を算出するクロック差分算出手段と、該クロック差分
算出手段からの差分を所定の期間について移動平均値を
算出する移動平均値算出手段と、該移動平均値算出手段
からの移動平均値の信頼度を判定する信頼度判定手段
と、該信頼度判定手段による信頼度の高い前記移動平均
値を基に前記データ出力部に加えるデータ出力用クロッ
ク値を補正するデータ出力クロック生成手段とを備えた
ことを特徴とするパケット通信システム。
【0056】(付記2)前記信頼度判定手段は、前記移
動平均値算出手段により移動平均値を求めた前記差分の
分散を求めて、該分散が小さい時に信頼度が高いと判定
して前記データ出力クロック生成手段によるデータ出力
用クロック値の補正を行わせる構成を有することを特徴
とする付記1記載のパケット通信システム。 (付記3)前記データ出力クロック生成手段は、係数を
乗算して前記データ出力部に加えるデータ出力用クロッ
ク値を出力し、且つ前記信頼度判定手段からの信頼度の
高い時のクロック補正により前記係数を更新する手段を
備えたことを特徴とする付記1又は2記載のパケット通
信システム。 (付記4)前記受信側端末装置は、前記送信側端末装置
からのパケットに付加した送信側クロック値が有効か無
効かを示すフラグ情報を検出する手段と、該手段により
検出したフラグが有効を示す時のみ、該パケットに付加
された前記送信側クロック値を基に前記データ出力用ク
ロック値の補正を行う手段とを備えたことを特徴とする
付記1乃至3の何れかに記載のパケット通信システム。
【0057】(付記5)送信側クロック値を付加したパ
ケットを記録メディアに記憶した後に該パケットを読出
して送信するパケット通信システムに於いて、前記記録
メディアから前記パケットを読出して送信する送信側端
末装置は、前記パケットに付加された送信側クロック値
と、該送信側端末装置のパケット送信時のクロック値と
を対応させた送信タイミングで前記パケットを送信し、
且つ該パケットの送信タイミングが所定のタイミングか
らずれている時に、該パケットの同期がとれていないこ
とを示すフラグ情報を付加して送信する手段を備えてい
ることを特徴とするパケット通信システム。 (付記6)送信側端末装置からの送信側クロック値を付
加したパケットを中継送出するパケット中継装置を介し
て受信側端末装置へ伝送するパケット通信システムに於
いて、前記パケット中継装置は、前記送信側クロック値
に同期するようにデータ出力用クロック値を補正すると
共に、所定のタイミングでパケットを送出できない時
に、該パケットの送信側クロック値の無効を示すフラグ
情報を付加して送出する構成を備えたことを特徴とする
パケット通信システム。 (付記7)送信側端末装置からの送信側クロック値を付
加したパケットを中継送出するパケット中継装置を介し
て受信側端末装置へ伝送するパケット通信システムに於
いて、前記パケット中継装置は、受信したパケットを一
定の遅延後の送信タイミングで送出し、該送信タイミン
グがずれた時に、該パケットの送信側クロック値の無効
を示すフラグ情報を付加して送出する構成を備えたこと
を特徴とするパケット通信システム。 (付記8)前記受信側端末装置は、受信したパケットの
属性情報を検出して、該属性情報に従って該パケットに
付加された送信側クロック値を基に前記データ出力用ク
ロック値の補正を行うか否かを判定する手段を備えたこ
とを特徴とする付記1乃至3の何れかに記載のパケット
通信システム。
【0058】
【発明の効果】以上説明したように、本発明は、PC
(パソコン)やWS(ワークステーション)等のよう
に、1msec単位程度の時刻情報の取得が可能のハー
ドウェア及びOS(オペレーションシステム)で動作す
るソフトウェアによってパケットを受信するシステムに
於いて、ビデオデータ等をパケット化して伝送する場合
でも、サンプリングして形成したパケットに付加された
送信側クロック値を基に、データ出力用クロック値を補
正して、送受信間のクロック同期をとることにより、所
定のタイミングでデータを受信出力することができる。
従って、受信側端末装置の受信バッファのオーバーフロ
ーやアンダーフローを生じさせることなく、所定のタイ
ミングでデータを出力することができるから、受信デー
タの品質を維持できる利点がある。又同期フラグ情報等
の送信側クロック値の有効,無効を示すフラグ情報を用
いることにより、送信側で正常のタイミングでパケット
を送出できない時に、受信側へ通知することができるか
ら、有効なクロック補正のみが可能となる。
【図面の簡単な説明】
【図1】本発明の原理説明図である。
【図2】本発明の実施の形態の要部説明図である。
【図3】クロック補正の要否の説明図である。
【図4】クロック補正の要否の説明図である。
【図5】本発明の実施の形態のデータ出力用クロック値
の補正説明図である。
【図6】本発明の実施の形態のデータ出力用クロック値
の簡略化補正説明図である。
【図7】本発明の他の実施の形態の要部説明図である。
【図8】本発明の更に他の実施の形態の要部説明図であ
る。
【図9】パケット通信システムの説明図である。
【図10】従来例のクロック同期の説明図である。
【符号の説明】
1 受信側端末装置 2 送信側端末装置 3 パケット通信網 4 パケット受信手段 5 クロック差分算出手段 6 移動平均値算出手段 7 信頼度判定手段 8 データ出力クロック生成手段 9 データ出力部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 浜野 崇 神奈川県川崎市中原区上小田中4丁目1番 1号 富士通株式会社内 Fターム(参考) 5K030 GA12 HA08 HB02 LD18 MB08

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 送信側端末装置からデータをパケット化
    する時の時刻情報としてサンプリングクロック信号を基
    に形成した送信側クロック値をパケットに付加して送信
    し、該パケットを受信した受信側端末装置は、前記送信
    側クロック値を基にクロック同期をとってデータを出力
    するデータ出力部を有するパケット通信システムに於い
    て、 前記受信側端末装置は、受信したパケットに付加されて
    いる前記送信側クロック値と、受信側クロック信号を基
    に形成したデータ出力用クロック値との差分を算出する
    クロック差分算出手段と、 該クロック差分算出手段からの差分値の所定の期間につ
    いての移動平均値を算出する移動平均値算出手段と、 該移動平均値算出手段からの移動平均値の信頼度を判定
    する信頼度判定手段と、 該信頼度判定手段による信頼度の高い前記移動平均値を
    基に前記データ出力部に加えるデータ出力用クロック値
    を補正するデータ出力クロック生成手段とを備えたこと
    を特徴とするパケット通信システム。
  2. 【請求項2】 前記信頼度判定手段は、前記移動平均値
    算出手段により移動平均値を求めた前記差分の分散を求
    めて、該分散と前記移動平均値とを比較し、前記移動平
    均値の信頼度が高いと判定した場合に前記データ出力ク
    ロック生成手段によるデータ出力用クロック値の補正を
    行わせる構成を有することを特徴とする請求項1記載の
    パケット通信システム。
  3. 【請求項3】 前記データ出力クロック生成手段は、係
    数を乗算して前記データ出力部に加えるデータ出力用ク
    ロック値を出力し、且つ前記信頼度判定手段からの信頼
    度の高い時のクロック補正により前記係数を更新する手
    段を備えたことを特徴とする請求項1又は2記載のパケ
    ット通信システム。
  4. 【請求項4】 前記受信側端末装置は、前記送信側端末
    装置からのパケットに付加した送信側クロック値が有効
    か無効かを示すフラグ情報を検出する手段と、該手段に
    より検出したフラグが有効を示す時のみ、該パケットに
    付加された前記送信側クロック値を基に前記データ出力
    用クロック値の補正を行う手段とを備えたことを特徴と
    する請求項1乃至3の何れか1項記載のパケット通信シ
    ステム。
  5. 【請求項5】 前記受信側端末装置は、受信したパケッ
    トの属性情報を検出して、該属性情報に従って該パケッ
    トに付加された送信側クロック値を基に前記データ出力
    用クロック値の補正を行うか否かを判定する手段を備え
    たことを特徴とする請求項1乃至3の何れか1項記載の
    パケット通信システム。
JP2000323849A 2000-10-24 2000-10-24 パケット通信システム Expired - Fee Related JP3837693B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000323849A JP3837693B2 (ja) 2000-10-24 2000-10-24 パケット通信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000323849A JP3837693B2 (ja) 2000-10-24 2000-10-24 パケット通信システム

Publications (2)

Publication Number Publication Date
JP2002135299A true JP2002135299A (ja) 2002-05-10
JP3837693B2 JP3837693B2 (ja) 2006-10-25

Family

ID=18801465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000323849A Expired - Fee Related JP3837693B2 (ja) 2000-10-24 2000-10-24 パケット通信システム

Country Status (1)

Country Link
JP (1) JP3837693B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100475435B1 (ko) * 2002-09-27 2005-03-10 삼성전자주식회사 교환기 프로세서의 클럭 보정 방법
JP2010187164A (ja) * 2009-02-12 2010-08-26 Nippon Telegr & Teleph Corp <Ntt> 基準クロック周波数調整方法および中継装置
JP2011120146A (ja) * 2009-12-07 2011-06-16 Mitsubishi Electric Corp メディア受信装置
JP2013201702A (ja) * 2012-03-26 2013-10-03 Sumitomo Electric Ind Ltd ストリーム処理装置、ストリーム処理方法およびストリーム処理プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100475435B1 (ko) * 2002-09-27 2005-03-10 삼성전자주식회사 교환기 프로세서의 클럭 보정 방법
JP2010187164A (ja) * 2009-02-12 2010-08-26 Nippon Telegr & Teleph Corp <Ntt> 基準クロック周波数調整方法および中継装置
JP2011120146A (ja) * 2009-12-07 2011-06-16 Mitsubishi Electric Corp メディア受信装置
JP2013201702A (ja) * 2012-03-26 2013-10-03 Sumitomo Electric Ind Ltd ストリーム処理装置、ストリーム処理方法およびストリーム処理プログラム

Also Published As

Publication number Publication date
JP3837693B2 (ja) 2006-10-25

Similar Documents

Publication Publication Date Title
US7680153B2 (en) Method and device for stream synchronization of real-time multimedia transport over packet network
US5864678A (en) System for detecting and reporting data flow imbalance between computers using grab rate outflow rate arrival rate and play rate
US7162315B2 (en) Digital audio compensation
US7724780B2 (en) Synchronization of one or more source RTP streams at multiple receiver destinations
CN106686438B (zh) 一种跨设备的音频图像同步播放的方法、装置及系统
EP0987894B1 (en) A dejittering and clock recovery technique for real-time audio/visual network applications
KR100564057B1 (ko) 엔코딩시스템및방법,디코딩시스템및방법,엔코딩데이타기록장치및방법과,엔코딩데이타전송장치및방법
CN113286184B (zh) 一种在不同设备上分别播放音频与视频的唇音同步方法
EP1229690A1 (en) Data stream processing device and method, and program storage medium
US20130091528A1 (en) Video reproduction system, receive terminal, home gateway device, and quality control system
JPWO2005088888A1 (ja) データ受信装置及びデータ受信方法
JPH09275420A (ja) パケット伝送方法
KR20050085344A (ko) 신호 동기화 방법 및 시스템
KR100916505B1 (ko) 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치
WO2023071598A1 (zh) 音视频同步监控方法、装置、电子设备及存储介质
WO2005002100A1 (en) High accuracy network clock synchronization
JP3837693B2 (ja) パケット通信システム
JP4042396B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP3499818B2 (ja) タイムスタンプのオフセット調整方法及びそれを用いたパケット伝送装置
JP2000332831A (ja) 通信装置、通信方法、および記録媒体
JP4425115B2 (ja) クロック同期装置およびプログラム
US7274863B2 (en) Data stream processing device and method and program storage medium
JP3906678B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2008028599A (ja) マルチメディアデータの再生方法及びこの方法を実施するための主通信機及び従通信機ならびにプログラム
US20070208872A1 (en) System and method for processing streaming data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060720

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130811

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees