JP2002374319A - 受信装置及び受信再生方法 - Google Patents

受信装置及び受信再生方法

Info

Publication number
JP2002374319A
JP2002374319A JP2001182931A JP2001182931A JP2002374319A JP 2002374319 A JP2002374319 A JP 2002374319A JP 2001182931 A JP2001182931 A JP 2001182931A JP 2001182931 A JP2001182931 A JP 2001182931A JP 2002374319 A JP2002374319 A JP 2002374319A
Authority
JP
Japan
Prior art keywords
packet
receiving
sampling frequency
reception
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001182931A
Other languages
English (en)
Other versions
JP4623867B2 (ja
Inventor
Satoshi Tsuchiya
敏 土屋
Ryosuke Okamoto
亮介 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toa Corp
Original Assignee
Toa Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toa Corp filed Critical Toa Corp
Priority to JP2001182931A priority Critical patent/JP4623867B2/ja
Publication of JP2002374319A publication Critical patent/JP2002374319A/ja
Application granted granted Critical
Publication of JP4623867B2 publication Critical patent/JP4623867B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Abstract

(57)【要約】 【課題】 ストリーミング再生方式を用いたディジタル
データ通信において、受信バッファのオーバーフローや
アンダーフローを防止する。 【解決手段】 送信装置は、送信側サンプリング周波数
fsで、時刻T1からT2の間に、100個のパケットP1〜
P100をサンプリングする。パケットP1と最後のパケッ
トP100とのパケット送信間隔ΔTs=T1−T2となる。
受信装置は、受信側サンプリング周波数frで動作し、
パケットP1〜P100のパケット受信間隔ΔTr=T4−T3
とする。パケットP1とP100とでのパケット送信間隔Δ
Ts及びパケット受信間隔ΔTrの差を検出し、この差
が少なくなるように受信側サンプリング周波数frを補
正する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えばビルの構内
放送設備などに用いられるディジタルデータ通信システ
ムに関する。
【0002】本発明において、パケット送信時間とは、
送信側サンプリング周波数fsによるクロックに基づい
て計測されたパケットの送信時間を言う。また、パケッ
ト受信時間とは、受信側サンプリング周波数frによる
クロックで計測されたパケットの受信時間を言う。
【0003】
【従来の技術】LANなどのネットワーク上でのディジ
タルデータ通信システムでは、テキストや静止画像だけ
でなく、音声や動画像などのデータをパケット化して通
信を行う。この通信システムで音声や動画像の通信を行
う場合、受信側は、送信側におけるパケットの送信間隔
Δtと同じ時間間隔Δtでパケットを受信し、連続した
データを出力することが要求される。しかし、ネットワ
ークのトラフィックの状況によっては、パケットの伝送
時間に揺らぎが生じる、衝突によりパケットが欠落した
り順番通り到着しない、などの不具合が生じる。これら
の不具合は、再生された音声や画像の品質の劣化原因と
なる。
【0004】音声や動画像をリアルタイムに伝送するデ
ィジタル通信及び再生方式の1つに、データの最後まで
の受信を待たずに再生する「ストリーミング再生方式」
がある。ストリーミング再生方式では、送信装置側及び
受信装置にそれぞれ送信バッファ及び受信バッファが設
けられる。この方式における送信装置及び受信装置の処
理は、次のようになる。
【0005】例えば音声通信の場合、送信装置に入力さ
れたアナログ音声信号は、アナログ/ディジタル変換器
(ADC)によりディジタル音声データに変換され、送
信バッファに蓄積される。通信システムによっては、ネ
ットワーク回線の帯域を有効利用するために、ディジタ
ル音声データをさらに符号化して圧縮音声符号化情報と
する。送信バッファに蓄積されたディジタル音声データ
や圧縮音声符号化情報(以下、まとめてディジタル音声
データという)は、パケットに組み立てられ、パケット
単位でネットワークを介して受信装置に送信される。
【0006】受信装置は、パケットを受信して分解し、
ディジタル音声データを受信バッファに蓄積する。受信
バッファのデータ蓄積量が一定以上になると、ディジタ
ル音声データが受信バッファから読み出され、ディジタ
ル/アナログ変換器(DAC)でアナログ音声データに
変換され、出力される。通信システムによっては、受信
バッファに蓄積された圧縮音声符号化情報を伸長し、デ
ィジタル音声データを生成する復号化処理を行う。
【0007】また、前記ストリーミング再生方式に加
え、TCP/IPに準拠するデータ通信システムにおい
ては、RTP(Real-time Transport Protocol)が前記不
具合を解決するために利用されている。RTPを用いる
通信システムでは、パケットに時間情報やシーケンシャ
ル番号を付加し、これらの情報に基づいてデータの再生
を行う。前記時間情報には、送信装置でのパケット送信
時間を示すタイムスタンプが含まれている。受信装置
は、タイムスタンプ及びシーケンシャル番号を参照する
ことにより、パケットを送信された順に再生することが
できる。
【0008】
【発明が解決しようとする課題】前記ストリーミング再
生方式やRTPを採用したデータ通信システムは、受信
側で再生されるデータの品質向上にある程度の効果を奏
しているものの、十分ではない。そのため、再生中に受
信バッファのデータ蓄積量がゼロになってしまい、再生
が停止する「アンダーフロー」が発生する場合がある。
逆に、受信したパケットを受信バッファに吸収しきれな
い「オーバーフロー」が発生する場合もある。オーバー
フローが生じると、受信したパケットは破棄されてしま
う。アンダーフローが生じると音切れが生じ、オーバー
フローが生じると音声データが不連続となりノイズの発
生を招き、いずれも音声品質が劣化してしまう。
【0009】アンダーフローやオーバーフローを完全に
取り除くことができない一要因として、送信側及び受信
側でのサンプリング周波数の誤差が考えられる。例えば
音声データ通信の場合、送信装置に入力されたアナログ
音声データは、ADCにより一定のサンプリング周波数
fsでサンプリングされ、アナログデータからディジタ
ルデータに変換される。受信装置では、前記送信装置と
は逆に、受信したデータがDACにより一定のサンプリ
ング周波数frでサンプリングされ、ディジタルデータ
からアナログデータに変換される。
【0010】送信装置のサンプリング周波数fsと受信
装置のサンプリング周波数frとは同一でなければなら
ない。ところが、送信装置及び受信装置においてサンプ
リング周波数を発生させる発振器が設計上は同一であっ
ても、実際に発生する周波数fsとfrとにはわずかな誤
差が存在する。この誤差のために、同一時間内でのデー
タ数が送信側と受信側とで異なってしまい、結果として
受信バッファのアンダーフローやオーバーフローが生じ
てしまう。
【0011】本発明は、RTPを用いたディジタルデー
タ通信において、再生されるデータの品質を高める技術
を提供することを目的とする。
【0012】
【課題を解決するための手段】前記課題を解決するため
に、本願第1発明は、送信側サンプリング周波数fsの
送信装置に通信網を介して接続された受信装置であっ
て、受信手段と、受信バッファと、検出手段と、周波数
生成手段と、時間生成手段と、変換手段と、補正手段
と、を備える受信装置を提供する。
【0013】受信手段は、前記通信網を介し、ディジタ
ルデータ及びパケット送信時間を含む第1及び第2パケ
ットを前記送信装置から順次受信する。受信バッファ
は、前記ディジタルデータを一時的に蓄積する。検出手
段は、前記受信バッファのデータ蓄積量を検出し、検出
結果として検出信号を出力する。周波数生成手段は、受
信側サンプリング周波数frを生成する。時間生成手段
は、前記受信側サンプリング周波数frに基づいて、前
記第1パケット及び前記第2パケットそれぞれのパケッ
ト受信時間を生成する。変換手段は、前記検出信号に基
づいて、前記受信バッファに蓄積されているディジタル
データを取り出し、前記受信側サンプリング周波数fr
に従ってアナログデータに変換する。補正手段は、前記
第1パケット及び前記第2パケットそれぞれのパケット
送信時間及びパケット受信時間に基づいて前記送信側サ
ンプリング周波数fsと前記受信側サンプリング周波数
frとの差を検出し、検出結果に基づいて両者の差が縮
まるように前記受信側サンプリング周波数frを補正す
る。
【0014】送信装置は、連続する2個のパケットP
1、P2を、時刻T1、T2でサンプリングしてA/D変換
する。両パケットのパケット送信時間の差ΔTs=T2−T
1を、パケット送信間隔と呼ぶ。両パケットの受信装置
は、時刻T3、T4で両パケットを受信し、D/A変換す
る。両パケットのパケット受信時間の差ΔTr=T4−T3
を、パケット受信間隔と呼ぶ。
【0015】仮にfs<frとすれば、パケット送信間隔
1/fsとパケット受信間隔1/frとの差は、N*(1
/fs−1/fr)=(ΔTs−ΔTr)となる(Nは正数
であり、1パケット中に含まれるディジタルデータのサ
ンプル数)。この差を元に、受信側サンプリング周波数
frを補正し、送信側サンプリング周波数fsとの誤差を
減少させる。送信側及び受信側でのサンプリング周波数
の誤差に起因するアンダーフローやオーバーフローを抑
制し、再生されるデータの品質を高めることができる。
【0016】本願第2発明は、前記第1発明において、
前記補正手段が、前記第1パケット及び前記第2パケッ
トのパケット送信間隔とパケット受信間隔との差をさら
に検出することにより、前記受信側サンプリング周波数
frを補正する受信装置を提供する。
【0017】この発明は、前記第1発明と同様の作用効
果を奏する。本願第3発明は、送信側サンプリング周波
数fsの送信装置に通信網を介して接続された受信装置
であって、受信手段と、受信バッファと、検出手段と、
周波数生成手段と、時間生成手段と、変換手段と、補正
手段と、を備える受信装置を提供する。
【0018】受信手段は、前記通信網を介し、ディジタ
ルデータ、パケット送信時間及び通し番号を含むm個
(m≧2)のパケットを前記送信装置から受信する。受
信バッファは、前記ディジタルデータを一時的に蓄積す
る。検出手段は、前記受信バッファのデータ蓄積量を検
出し、検出結果として検出信号を出力する。周波数生成
手段は、受信側サンプリング周波数frを生成する。時
間生成手段は、前記受信側サンプリング周波数frに基
づいて、受信するパケットのパケット受信時間を生成す
る。変換手段は、前記検出信号に基づいて、前記受信バ
ッファに蓄積されているディジタルデータを取り出し、
前記サンプリング周波数frに従ってアナログデータに
変換する。補正手段は、前記通し番号順にn個(n≧
2)のパケットからなるパケット群を順次生成し、新た
なパケット群が生成されるたびに、前記パケット群に含
まれる前記n個のパケットのうち最初のパケットP1及
び最後のパケットPnのパケット送信時間とパケット受
信時間とに基づいて、前記送信側サンプリング周波数f
sと前記受信側サンプリング周波数frとの差を検出し、
検出結果に基づいて両者の差が縮まるように前記受信側
サンプリング周波数frを補正する。
【0019】受信側及び送信側サンプリング周波数fr
及びfsとの差は実際には非常にわずかなので、例えば
100個毎に周波数frを補正すると良い。例えば、1
00個目のパケットP100及び200個目のパケットP2
00が時刻T1及びT2でサンプリングされたとすると、両パ
ケットのパケット送信間隔ΔTs=T2−T1となる。ま
た、パケットP100及びパケットP200が時刻T3及びT4で
受信されたとすると、両パケットのパケット受信間隔Δ
Tr=T4−T3となる。両者の差(ΔTs−ΔTr)を検出
し、受信側サンプリング周波数frを補正する。
【0020】本願第4発明は、前記第3発明において、
前記補正手段が、前記パケットP1及び前記パケットPn
のサンプリング間隔と逆サンプリング間隔との差をさら
に検出することにより、前記受信側サンプリング周波数
frを補正する受信装置を提供する。
【0021】この発明は、前記第3発明と同様の作用効
果を有する。本願第5発明は、前記第1〜4発明のいず
れかにおいて、前記周波数生成手段としてVCO(Volta
ge Control Oscillator)を用い、前記補正手段が前記V
COへの印加電圧をさらに調整することにより、前記受
信側サンプリング周波数frを補正する受信装置を提供
する。
【0022】本願第6発明は、送信側サンプリング周波
数fsの送信装置に通信網を介して接続された受信装置
に用いられる受信再生方法であって、下記(A)〜
(G)ステップを含む受信再生方法を提供する。 (A)前記通信網を介し、ディジタルデータ及びパケッ
ト送信時間を含む第1パケット及び第2パケットを前記
送信装置から順次受信する受信ステップ、(B)前記デ
ィジタルデータを受信バッファに一時的に蓄積する蓄積
ステップ、(C)前記受信バッファのデータ蓄積量を検
出し、検出結果として検出信号を出力する検出ステッ
プ、(D)受信側サンプリング周波数frを生成するた
めの周波数生成ステップ、(E)前記受信側サンプリン
グ周波数frに基づいて、前記第1パケット及び前記第
2パケットの受信時間を生成するための時間生成ステッ
プ、(F)前記検出信号に基づいて、前記受信バッファ
に蓄積されているディジタルデータを取り出し、前記受
信側サンプリング周波数frに従ってアナログデータに
変換する変換ステップ、(G)前記第1パケット及び前
記第2パケットのパケット送信時間及びパケット受信時
間に基づいて前記送信側サンプリング周波数fsと前記
受信側サンプリング周波数frとの差を検出し、検出結
果に基づいて両者の差が縮まるように前記受信側サンプ
リング周波数frを補正する補正ステップ。
【0023】前記第1発明と同様の作用効果を有する。
本願第7発明は、送信側サンプリング周波数fsの送信
装置に通信網を介して接続された受信装置に用いられる
受信再生プログラムであって、前記(A)〜(G)ステ
ップを実行するためのプログラムをコンピュータに実行
させるための受信再生プログラムを提供する。また、こ
のプログラムを記録したコンピュータ読み取り可能な記
録媒体は、本願第8発明に含まれる。
【0024】本願第9発明は、音声入力手段と、音声送
信手段と、音声受信手段と、音声出力手段とを含む放送
システムを提供する。音声入力手段とは、マイクロホン
やCDプレーヤなどの音声再生機器などのアナログ音声を
入力するための手段である。
【0025】音声送信手段は、前記音声入力手段に接続
され、入力された音声を送信側サンプリング周波数fs
に基づいてサンプリングすることによりディジタル音声
データに変換し、前記ディジタル音声データとパケット
送信時間とを含む第1パケット及び第2パケットを伝送
路に出力する。音声受信手段は、前記音声送信手段と前
記伝送路を介して接続され、前記ディジタル音声データ
を受信側サンプリング周波数frに基づいてアナログ音
声データに変換する。音声出力手段は、前記音声受信手
段に接続され、前記アナログ音声データを出力する。
【0026】前記音声受信手段は、下記のA〜C手段を
備えている。 A:前記第1パケット及び第2パケットを順次受信する
パケット受信手段、 B:前記受信側サンプリング周波数frに基づいて、前
記第1パケット及び前記第2パケットそれぞれのパケッ
ト受信時間を生成する時間生成手段、 C:前記第1パケット及び前記第2パケットそれぞれの
パケット送信時間及びパケット受信時間に基づいて前記
送信側サンプリング周波数fsと前記受信側サンプリン
グ周波数frとの差を検出し、検出結果に基づいて両者
の差が縮まるように前記受信側サンプリング周波数fr
を補正する補正手段。
【0027】この放送システムは、前記第1発明と同様
の作用効果を奏する。
【0028】
【発明の実施の形態】<発明の概要>本発明は、パケッ
ト送信時間をディジタルデータと共に送受信するディジ
タル通信システムの受信装置を提供する。本発明に係る
受信装置は、送信装置とのサンプリング周波数の差を検
出し、その差を減少させる。具体的には、受信装置は、
通常の受信処理及び再生処理に加え、補正処理を実行す
る。
【0029】補正処理では、パケットP1及びPn(n
≧2)のパケット送信間隔ΔTsとパケット受信間隔Δ
Trとの差を検出する。検出された差から受信側サンプ
リング周波数frを補正し、送信側サンプリング周波数
fsとの差を減縮させる。
【0030】図1は、本発明の概要を示す概念説明図で
ある。送信装置は、サンプリング周波数fsで動作し、
時刻T1〜T2の間に、100個のパケットP1〜P100を生
成する。パケットP1とパケットP100とのパケット送信
時間のずれΔTd=T2−T1を、パケット送信間隔とい
う。
【0031】受信装置は、サンプリング周波数frで動
作し、パケットP1〜P100は時刻T3からT4の間で受信さ
れる。パケットP1とパケットP100との受信時間のずれ
ΔTr=T4−T3を、パケット受信間隔という。
【0032】補正処理では、パケットP1及びP100のパ
ケット送信間隔ΔTsとパケット受信間隔ΔTrとの差
を検出し、この差が少なくなるように受信側サンプリン
グ周波数frを補正する。以上の処理を、100個のパ
ケット単位で繰り返す。
【0033】これにより、送信装置と受信装置とのサン
プリング周波数の誤差による受信バッファのオーバーフ
ローやアンダーフローを防止し、再生されるデータの品
質を高めることができる。
【0034】<第1実施形態例>次に、本発明の受信装
置を適用した音声通信システムについて、実施形態例を
挙げて詳細に説明する。
【0035】[構成]図2は、第1実施形態例に係る音
声通信システムの構成を示すブロック図である。音声通
信システム10は、送信装置1と受信装置2とがLAN
などのネットワーク3により接続されて構成されてい
る。なお、図1では、ネットワーク3に接続されている
送信装置1及び受信装置2はそれぞれ1つしか示されて
いないが、通常は複数の送信装置及び受信装置がネット
ワーク3に接続される。また、送信装置1と受信装置2
とは、一体に構成されていても良い。
【0036】送信装置1は、入力部11、増幅器12、
ADC13、入力バッファ14、符号化部15、送信バ
ッファ16、送信部17、VCO18及びTSカウンタ
19を有している。マイクなどの入力部11に入力され
た音声は、アナログ音声信号に変換される。このアナロ
グ音声信号は、増幅器12により増幅され、VCO18
が発生するサンプリング周波数fsに基づいてADC1
3によりディジタル音声データに変換され、入力バッフ
ァ14に蓄積される。符号化部15は、入力バッファ1
4に蓄積されているディジタル音声データを圧縮音声符
号化情報に符号化し、送信バッファ16に蓄積する。な
お、VCO18は、印加電圧により発生するサンプリン
グ周波数fsを変化させることができる。
【0037】送信部17は、送信バッファ16のデータ
をパケットに組み立て、一定の時間間隔でネットワーク
3に送出する。このパケットには、RTPヘッダが含ま
れている。RTPヘッダには、タイムスタンプ及びシー
ケンス番号が含まれている。タイムスタンプは、TSカ
ウンタ19がサンプリング周波数fsに基づいて生成さ
れ、パケットの最初のサンプルを生成した時間を表す。
シーケンス番号は、パケットの順番を示す。パケットの
構成については後述する。なお、ディジタル音声データ
を符号化しない場合、符号化部15を省略することがで
きる。
【0038】受信装置2は、受信部21、受信バッファ
22、復号化部23、出力バッファ24、DAC25、
増幅部26、出力部27、VCO28、TSカウンタ2
9及び補正部210を有している。ネットワーク3に送
出されたパケットは、受信部21により受信され、分解
されて受信バッファ22に格納される。受信バッファ2
2に蓄積された圧縮音声符号化情報は、復号化部23に
より復号化及び伸長され、ディジタル音声データにな
る。このディジタル音声データは、出力バッファ25に
格納され、DAC25によりサンプリング周波数frで
アナログ音声信号に変換される。サンプリング周波数f
rは、VCO28により生成される。アナログ音声信号
は、増幅部26により増幅され、スピーカなどの出力部
27から空気中に拡声される。送信装置1側の符号化部
15が省略される場合、受信装置2の復号化部23を省
略することができる。スピーカなどの出力部27は、受
信装置2と独立に設けてもよい。
【0039】TSカウンタ29は、サンプリング周波数
frに基づいてタイムスタンプを生成し、補正部210
に渡す。後述するように、タイムスタンプの値そのもの
ではなく値の差が補正処理に用いられるので、タイムス
タンプの初期値は任意で良い。タイムスタンプフォーマ
ットは前述と同様である。補正部210は、n個(nは
自然数)のパケットを受信するたびに、n個のパケット
の中で最初のパケットP1と最後のパケットPnとのパケ
ット送信間隔ΔTsと、パケット受信間隔ΔTrとの誤差
を検出する。さらに、検出された誤差に基づいて、受信
側サンプリング周波数frを送信側サンプリング周波数
fsに近づけるよう補正する。
【0040】[パケット構成]図3に、送受信されるパ
ケットの構成例を示す。パケットには、IPヘッダ、U
DPヘッダ、RTPヘッダ及び音声ディジタルデータが
含まれている。IPヘッダには、送信元のIPアドレ
ス、送信先のIPアドレスなどが記述されている。UD
Pヘッダには、送信元ポート番号、送信先ポート番号、
メッセージ長などが記述されている。なお、IPパケッ
トのデータ部にUDPパケットではなくTCPパケット
を用いることもでき、その場合にはUDPヘッダに代え
てTCPヘッダが用いられる。RTPヘッダには、下記
の情報が含まれている。
【0041】a)バージョン b)パディング c)CSRC:CSRC識別子を何個含んでいるかを示
す。
【0042】d)ペイロードタイプ e)シーケンス番号:パケットの順番を示す。 f)タイムスタンプ:パケットの先頭のデータをサンプ
リングした時間を表す。
【0043】g)SSRC:送信装置の識別子 h)CSRC:元の送信者の識別子リスト。 [処理]次に、前記構成を有する受信装置2が行う処理
の流れについて詳細に説明する。受信装置2は、受信処
理、再生処理及び補正処理の3つの処理を独立に実行す
る。以下、これらの処理について、図面を参照しつつ具
体的に説明する。
【0044】(1)受信処理 図4(a)は、受信装置2が行う受信処理の流れの一例
を示すフローチャートである。受信装置2は、送信装置
1から通信の開始を示すコマンドを受信することによ
り、以下の処理を開始する。
【0045】ステップS1:受信部21は、通信の終了
を示すコマンドを送信装置1から受信するまで、以下の
ステップS2〜S5までの処理を行う。通信の終了を示
すコマンドを受信すると、処理を終了する。
【0046】ステップS2:受信部21は、パケットを
待機しており、パケットを受信すると、ステップS3に
移行する。 ステップS3、S4、S5:受信部21は、受信バッフ
ァ22に新たなデータを書き込む空きメモリがあるか否
かを判断する(S3)。空きメモリがあれば、受信した
パケットを受信バッファ22に格納する(S4)。空き
メモリがない場合、ステップS5に移行し、受け取った
パケットを破棄する(S5)。
【0047】以上の処理により、受信バッファ22に次
々にデータを蓄積する。 (2)再生処理 図4(b)は、受信装置2が行う再生処理の流れの一例
を示すフローチャートである。受信装置2は、送信装置
1から通信の開始を示すコマンドを受信することによ
り、以下の処理を開始する。
【0048】ステップS11:復号化部23は、再生開
始条件が満たされたか否かを判断し、満たされた場合は
音声の再生処理を行う。再生開始条件の一例としては、
「受信バッファ22に蓄積されるデータ量≧しきい値D
1」が挙げられる。しきい値D1としては、ネットワーク
負荷や再生速度を考慮した上で、通信システムに適合す
る経験値を求める。
【0049】ステップS12:復号化部23は、受信バ
ッファ22にデータがあるか否かを判断する。すなわ
ち、復号化部23は、受信バッファ22のアンダーフロ
ーが起きるまで以下のステップS13、S14及びS1
5を繰り返し、音声の再生を行う。受信バッファ22の
アンダーフローが発生すると、後述するステップS16
に移行する。
【0050】ステップS13、S14、S15:復号化
部23は、受信バッファ22から圧縮音声符号化情報を
1ブロック分ずつ読み出す(S13)。ついで、1ブロ
ックに含まれているサンプリングデータを、順次伸長及
び復号化し、出力バッファ24に格納する(S14)。
出力バッファ24に格納されたディジタル音声データ
は、DAC25によりサンプリング周波数frでアナロ
グ音声信号に変換され、増幅部26により増幅されて出
力部27から空気中に拡声される。1ブロックに含まれ
るサンプリングデータを全てアナログデータに変換して
出力するまで、再生を行う(S15)。1ブロック分の
データの再生が終了すると、前記ステップS12に戻
る。
【0051】ステップS16:受信バッファ22にデー
タがなくなった場合、復号化部23は、通信終了のコマ
ンドを送信装置1から受信したか否かを判断する。“Y
es”と判断すると処理を終了する。“No”と判断し
た場合は、すなわちアンダーフローが生じている場合
は、ステップS11に戻り再生開始条件が満足されるの
を待機する。
【0052】この処理では、再生開始条件が満たされる
と再生処理を開始し、受信バッファに蓄積データがある
限り再生処理を繰り返す。 (3)補正処理 図3は、補正処理の流れの一例を示すフローチャートで
ある。この処理では、補正部210は、100個のパケ
ットからなるパケット群G1、G2、G3・・・を、シー
ケンス番号順に生成する。そして、パケット群を生成す
るたびに、パケット群の最初と最後のパケットのパケッ
ト送信間隔ΔTs及びパケット受信間隔ΔTrの差を求
め、受信側サンプリング周波数frを補正する。以下の
処理においては、次の変数を用いる。
【0053】SNe:パケット群の最後のパケットのシ
ーケンシャル番号 SN0:パケット群の最初のパケットのシーケンシャル
番号 SNm:通信開始後m番目のパケットPm(mは自然数)
のシーケンシャル番号 STSe:パケット群の最後のパケットの送信側タイム
スタンプ STS0:パケット群の最初のパケットの送信側タイム
スタンプ STSm:パケットPmの送信側タイムスタンプ RTSe:パケット群の最後のパケットの受信側タイム
スタンプ RTS0:パケット群の最初のパケットの受信側タイム
スタンプ RTSm:パケットPmの受信側タイムスタンプ なお、説明を容易にするため、パケットは順次受信され
ると仮定する。受信装置2は、送信装置1から通信の開
始を示すコマンドを受信することにより、以下の処理を
開始する。
【0054】ステップS21:補正部210は、通信の
終了を示すコマンドを送信装置1から受信するまで、以
下のステップS22〜S212の処理を行う。通信の終
了を示すコマンドを受信すると、処理を終了する。
【0055】ステップS22:補正部210は、パケッ
トを待機しており、パケットを受信すると、ステップS
23に移行する。 ステップS23:補正部210は、受信したパケットP
mの受信側タイムスタンプRTSmを、TSカウンタ29
から取得する。
【0056】ステップS24:補正部210は、受信し
たパケットPmのシーケンシャル番号SNmをRTPヘッ
ダから取得し、SNe=SNmとする。通信開始時(m=
1)であれば、SNe=SN1となる。
【0057】ステップS25:補正部210は、受信し
たパケットPmの送信側タイムスタンプSTSmをRTP
ヘッダから取得し、STSe=STSmとする。通信開始
時(m=1)であれば、STSe=STS1となる。
【0058】ステップS26:補正部210は、通信開
始後、最初のパケットの受信であるか否かを判断し、
“Yes”と判断するとステップS27に移行する。
“No”と判断すると、後述するステップS210に移
行する。
【0059】ステップS27、S28、S29:通信を
開始後最初のパケットP1を受信すると、補正部210
は、SN0、STS0及びRTS0に初期値を設定する。
すなわち、SN0=SN1、STS0=STS1、RTS0
=RTS1とする(S27、S28、S29)。ここ
で、受信側タイムスタンプRTS1は、TSカウンタ2
9から取得可能である。その後、ステップS21に戻
り、通信終了まで次のパケットの受信を待機する。
【0060】ステップS210:補正部210は、通信
開始後2番目以降のパケットを受信する毎に、シーケン
シャル番号順に100個のパケットからなる新たなパケ
ット群Gn(n=1,2,3・・・)を生成できるか否
かを判断する。新たなパケット群Gnを生成するたびに
ステップS211〜S212の処理を行う。新たなパケ
ット群を生成できない場合、ステップS21に戻り、次
のパケットの受信を待機する。なお、1つのパケット群
に含まれるパケット数は、パケット送信間隔ΔTsとパ
ケット受信間隔ΔTrとの差を検出しやすい範囲で、適
宜変更可能である。
【0061】ステップS211:補正部210は、VC
O28に印加する電圧値Vcを補正する。例えば、新た
な電圧値Vcは、以下のようにして算出することができ
る。 Vc(V)=Vcp+D・Vmax/2F ここで、Vcp:補正前の電圧値 Vmax:VCO制御電圧の上限 F:VCO制御電圧の振幅(+方向及び−方向) D=A・(ΔTs−ΔTr)/ΔTr ΔTs=STSe−STS0 ΔTr=RTSe−RTS0 A:変換係数 である。
【0062】ステップS212:補正部210は、前記
ステップS211で算出した電圧値Vcを、VCO28
に出力する。これにより、新たな電圧Vcに基づいて受
信側サンプリング周波数frが生成される。図6は、上
記の式に基づいてサンプリング周波数の誤差が修正され
る関係を示す。図中上向き矢印は電圧や周波数の上昇
を、下向き矢印は下降を示す。すなわち、fs<frであ
れば、Vcを上昇させてfrの値を減少させる。fs>f
rであれば、Vcを減少させてfrを上昇させる。
【0063】補正部210は、サンプリング周波数fr
の補正後、ステップS27〜S29の処理を行う。すな
わち、次のパケット群Gn+1のSN0、STS0及びRT
S0として、現在のパケット群GnのSNe、STSe及び
RTSeを設定する。例えば、パケットP1〜P100から
なるパケット群G1を生成した場合、次のパケット群G
2について、SN0=SN100、STS0=STS100、R
TS0=RTS100とする。その後、前記ステップS21
に戻り、通信終了まで前述の処理を繰り返す。
【0064】以上の処理により、補正部210は、この
例では100個のパケットからなるパケット群をシーケ
ンス番号順に生成する。そして、新たなパケット群を生
成する毎に、最初と最後のパケットのパケット送信間隔
とパケット受信間隔との誤差を検出し、受信側サンプリ
ング周波数を補正する。
【0065】<その他の実施形態例> (A)前述の実施形態例では、音声通信システムについ
て説明したが、本発明に係る受信装置は、音声通信だけ
でなく、動画像通信にも好ましく用いられる。また、静
止画像、テキストデータなどの受信装置としても好適で
ある。
【0066】(B)コンピュータに前述の処理を実行さ
せるプログラム及びそのプログラムを記録したコンピュ
ータ読み取り可能な記録媒体は、本発明に含まれる。こ
こで記録媒体としては、コンピュータが読み書き可能な
フロッピー(登録商標)ディスク、ハードディスク、半
導体メモリ、CD-ROM、DVD、光磁気ディスク(M
O)、その他のものが挙げられる。
【0067】
【発明の効果】本発明を用いれば、ストリーム再生方式
を採用した通信システムの受信装置で再生される音声の
品質を高めることを期待できる。
【図面の簡単な説明】
【図1】本発明の概念説明図。
【図2】第1実施形態例に係る通信システムの構成を示
すブロック図。
【図3】第1実施形態例におけるパケット構成の一例を
示す説明図。
【図4】第1実施形態例における受信処理及び再生処
理。 (a)受信処理の流れを示すフローチャート。 (b)再生処理の流れを示すフローチャート。
【図5】第1実施形態例における補正処理の流れを示す
フローチャート。
【図6】サンプリング周波数fs、frとVCOへの印加
電圧との関係を示す説明図。
【符号の説明】
1;送信装置 2;受信装置 3;ネットワーク 22;受信バッファ 28;VCO(受信側) 29;TSカウンタ(受信側) 210;補正部

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】送信側サンプリング周波数fsの送信装置
    に通信網を介して接続された受信装置であって、 前記通信網を介し、ディジタルデータ及びパケット送信
    時間を含む第1及び第2パケットを前記送信装置から順
    次受信する受信手段と、 前記ディジタルデータを一時的に蓄積する受信バッファ
    と、 前記受信バッファのデータ蓄積量を検出し、検出結果と
    して検出信号を出力する検出手段と、 受信側サンプリング周波数frを生成する周波数生成手
    段と、 前記受信側サンプリング周波数frに基づいて、前記第
    1パケット及び前記第2パケットそれぞれのパケット受
    信時間を生成する時間生成手段と、 前記検出信号に基づいて、前記受信バッファに蓄積され
    ているディジタルデータを取り出し、前記受信側サンプ
    リング周波数frに従ってアナログデータに変換する変
    換手段と、 前記第1パケット及び前記第2パケットそれぞれのパケ
    ット送信時間及びパケット受信時間に基づいて前記送信
    側サンプリング周波数fsと前記受信側サンプリング周
    波数frとの差を検出し、検出結果に基づいて両者の差
    が縮まるように前記受信側サンプリング周波数frを補
    正する補正手段と、 を備える受信装置。
  2. 【請求項2】前記補正手段は、前記第1パケット及び前
    記第2パケットのパケット送信間隔とパケット受信間隔
    との差をさらに検出することにより、前記受信側サンプ
    リング周波数frを補正する、請求項1に記載の受信装
    置。
  3. 【請求項3】送信側サンプリング周波数fsの送信装置
    に通信網を介して接続された受信装置であって、 前記通信網を介し、ディジタルデータ、パケット送信時
    間及び通し番号を含むm個(m≧2)のパケットを前記
    送信装置から受信する受信手段と、 前記ディジタルデータを一時的に蓄積する受信バッファ
    と、 前記受信バッファのデータ蓄積量を検出し、検出結果と
    して検出信号を出力する検出手段と、 受信側サンプリング周波数frを生成する周波数生成手
    段と、 前記受信側サンプリング周波数frに基づいて、受信す
    るパケットのパケット受信時間を生成する時間生成手段
    と、 前記検出信号に基づいて、前記受信バッファに蓄積され
    ているディジタルデータを取り出し、前記サンプリング
    周波数frに従ってアナログデータに変換する変換手段
    と、 前記通し番号順にn個(n≧2)のパケットからなるパ
    ケット群を順次生成し、新たなパケット群が生成される
    たびに、前記パケット群に含まれる前記n個のパケット
    のうち最初のパケットP1及び最後のパケットPnのパケ
    ット送信時間とパケット受信時間とに基づいて、前記送
    信側サンプリング周波数fsと前記受信側サンプリング
    周波数frとの差を検出し、検出結果に基づいて両者の
    差が縮まるように前記受信側サンプリング周波数frを
    補正する補正手段と、 を備える受信装置。
  4. 【請求項4】前記補正手段は、前記パケットP1及び前
    記パケットPnのパケット送信間隔とパケット受信間隔
    との差をさらに検出することにより、前記受信側サンプ
    リング周波数frを補正する、請求項3に記載の受信装
    置。
  5. 【請求項5】前記周波数生成手段としてVCO(Voltage
    Control Oscillator)を用い、 前記補正手段は前記VCOへの印加電圧をさらに調整す
    ることにより、前記受信側サンプリング周波数frを補
    正する、請求項1〜4のいずれかのいずれかに記載の受
    信装置。
  6. 【請求項6】送信側サンプリング周波数fsの送信装置
    に通信網を介して接続された受信装置に用いられる受信
    再生方法であって、 前記通信網を介し、ディジタルデータ及びパケット送信
    時間を含む第1パケット及び第2パケットを前記送信装
    置から順次受信する受信ステップと、 前記ディジタルデータを受信バッファに一時的に蓄積す
    る蓄積ステップと、 前記受信バッファのデータ蓄積量を検出し、検出結果と
    して検出信号を出力する検出ステップと、 受信側サンプリング周波数frを生成するための周波数
    生成ステップと、 前記受信側サンプリング周波数frに基づいて、前記第
    1パケット及び前記第2パケットのパケット受信時間を
    生成するための時間生成ステップと、 前記検出信号に基づいて、前記受信バッファに蓄積され
    ているディジタルデータを取り出し、前記受信側サンプ
    リング周波数frに従ってアナログデータに変換する変
    換ステップと、 前記第1パケット及び前記第2パケットのパケット送信
    時間及びパケット受信時間に基づいて前記送信側サンプ
    リング周波数fsと前記受信側サンプリング周波数frと
    の差を検出し、検出結果に基づいて両者の差が縮まるよ
    うに前記受信側サンプリング周波数frを補正する補正
    ステップと、 を含む受信再生方法。
  7. 【請求項7】送信側サンプリング周波数fsの送信装置
    に通信網を介して接続された受信装置に用いられる受信
    再生プログラムであって、 前記通信網を介し、ディジタルデータ及びパケット送信
    時間を含む第1パケット及び第2パケットを前記送信装
    置から順次受信する受信手段、 前記ディジタルデータを一時的に蓄積する受信バッフ
    ァ、 前記受信バッファのデータ蓄積量を検出し、検出結果と
    して検出信号を出力する検出手段、 受信側サンプリング周波数frを生成するための周波数
    生成手段、 前記受信側サンプリング周波数frに基づいて、前記第
    1パケット及び前記第2パケットのパケット受信時間を
    生成するための時間生成手段、 前記検出信号に基づいて、前記受信バッファに蓄積され
    ているディジタルデータを取り出し、前記受信側サンプ
    リング周波数frに従ってアナログデータに変換する変
    換手段、及び前記第1パケット及び前記第2パケットの
    パケット送信時間及びパケット受信時間に基づいて前記
    送信側サンプリング周波数fsと前記受信側サンプリン
    グ周波数frとの差を検出し、検出結果に基づいて両者
    の差が縮まるように前記受信側サンプリング周波数fr
    を補正する補正手段、 としてコンピュータを機能させるための受信再生プログ
    ラム。
  8. 【請求項8】送信側サンプリング周波数fsの送信装置
    に通信網を介して接続された受信装置に用いられる受信
    再生プログラムを記録した、コンピュータ読み取り可能
    な記録媒体であって、 前記通信網を介し、ディジタルデータ及びパケット送信
    時間を含む第1パケット及び第2パケットを前記送信装
    置から順次受信する受信ステップと、 前記ディジタルデータを受信バッファに一時的に蓄積す
    る蓄積ステップと、 前記受信バッファのデータ蓄積量を検出し、検出結果と
    して検出信号を出力する検出ステップと、 受信側サンプリング周波数frを生成するための周波数
    生成ステップと、 前記受信側サンプリング周波数frに基づいて、前記第
    1パケット及び前記第2パケットのパケット受信時間を
    生成するための時間生成ステップと、 前記検出信号に基づいて、前記受信バッファに蓄積され
    ているディジタルデータを取り出し、前記受信側サンプ
    リング周波数frに従ってアナログデータに変換する変
    換ステップと、 前記第1パケット及び前記第2パケットのパケット送信
    時間及びパケット受信時間に基づいて前記送信側サンプ
    リング周波数fsと前記受信側サンプリング周波数frと
    の差を検出し、検出結果に基づいて両者の差が縮まるよ
    うに前記受信側サンプリング周波数frを補正する補正
    ステップと、 を実行するための受信再生プログラムを記録した、コン
    ピュータ読み取り可能な記録媒体。
  9. 【請求項9】放送システムであって、 音声入力手段と、 前記音声入力手段に接続され、入力された音声を送信側
    サンプリング周波数fsに基づいてサンプリングするこ
    とによりディジタル音声データに変換し、前記ディジタ
    ル音声データとパケット送信時間とを含む第1パケット
    及び第2パケットを順次伝送路に出力する音声送信手段
    と、 前記音声送信手段と前記伝送路を介して接続され、前記
    ディジタル音声データを受信側サンプリング周波数fr
    に基づいてアナログ音声データに変換する音声受信手段
    と、 前記音声受信手段に接続され、前記アナログ音声データ
    を出力する音声出力手段とを含み、 前記音声受信手段は、 前記第1パケット及び第2パケットを順次受信するパケ
    ット受信手段と、 前記受信側サンプリング周波数frに基づいて、前記第
    1パケット及び前記第2パケットそれぞれのパケット受
    信時間を生成する時間生成手段と、 前記第1パケット及び前記第2パケットそれぞれのパケ
    ット送信時間及びパケット受信時間に基づいて前記送信
    側サンプリング周波数fsと前記受信側サンプリング周
    波数frとの差を検出し、検出結果に基づいて両者の差
    が縮まるように前記受信側サンプリング周波数frを補
    正する補正手段と、 を備えている放送システム。
JP2001182931A 2001-06-18 2001-06-18 受信装置及び受信再生方法 Expired - Fee Related JP4623867B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001182931A JP4623867B2 (ja) 2001-06-18 2001-06-18 受信装置及び受信再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001182931A JP4623867B2 (ja) 2001-06-18 2001-06-18 受信装置及び受信再生方法

Publications (2)

Publication Number Publication Date
JP2002374319A true JP2002374319A (ja) 2002-12-26
JP4623867B2 JP4623867B2 (ja) 2011-02-02

Family

ID=19022943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001182931A Expired - Fee Related JP4623867B2 (ja) 2001-06-18 2001-06-18 受信装置及び受信再生方法

Country Status (1)

Country Link
JP (1) JP4623867B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153546A (ja) * 2002-10-30 2004-05-27 Toa Corp クロック信号調整装置
JP2007082045A (ja) * 2005-09-16 2007-03-29 Toa Corp 通信装置、その通信方法、通信プログラム及び通信プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008022432A (ja) * 2006-07-14 2008-01-31 Nec Access Technica Ltd 信号送受信装置および通信同期制御方法
JP2010505362A (ja) * 2006-09-29 2010-02-18 アギア システムズ インコーポレーテッド パケット・ネットワークを介した単方向のタイミング・メッセージ・トランスポートのための方法および装置
FR2975850A1 (fr) * 2011-05-23 2012-11-30 Streamcore System Procede et dispositif de recherche d'une frequence d'echantillonnage d'un flux de donnees
JP2020529147A (ja) * 2017-07-11 2020-10-01 インスティテュート フューア ランドファンクテクニック ゲーエムベーハー Aes67互換オーディオ情報信号からオーディオパラメータ値を導出する方法および装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04322532A (ja) * 1991-04-22 1992-11-12 Matsushita Electric Ind Co Ltd クロック再生回路
JPH1093540A (ja) * 1996-09-18 1998-04-10 Hitachi Denshi Ltd データ伝送方式
JPH114433A (ja) * 1997-06-13 1999-01-06 Matsushita Electric Ind Co Ltd 画像受信装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04322532A (ja) * 1991-04-22 1992-11-12 Matsushita Electric Ind Co Ltd クロック再生回路
JPH1093540A (ja) * 1996-09-18 1998-04-10 Hitachi Denshi Ltd データ伝送方式
JPH114433A (ja) * 1997-06-13 1999-01-06 Matsushita Electric Ind Co Ltd 画像受信装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153546A (ja) * 2002-10-30 2004-05-27 Toa Corp クロック信号調整装置
JP2007082045A (ja) * 2005-09-16 2007-03-29 Toa Corp 通信装置、その通信方法、通信プログラム及び通信プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4597826B2 (ja) * 2005-09-16 2010-12-15 ティーオーエー株式会社 通信装置、その通信方法、通信プログラム及び通信プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008022432A (ja) * 2006-07-14 2008-01-31 Nec Access Technica Ltd 信号送受信装置および通信同期制御方法
JP2010505362A (ja) * 2006-09-29 2010-02-18 アギア システムズ インコーポレーテッド パケット・ネットワークを介した単方向のタイミング・メッセージ・トランスポートのための方法および装置
FR2975850A1 (fr) * 2011-05-23 2012-11-30 Streamcore System Procede et dispositif de recherche d'une frequence d'echantillonnage d'un flux de donnees
JP2020529147A (ja) * 2017-07-11 2020-10-01 インスティテュート フューア ランドファンクテクニック ゲーエムベーハー Aes67互換オーディオ情報信号からオーディオパラメータ値を導出する方法および装置
JP7010976B2 (ja) 2017-07-11 2022-01-26 インスティテュート フューア ランドファンクテクニック ゲーエムベーハー Aes67互換オーディオ情報信号からオーディオパラメータ値を導出する方法および装置

Also Published As

Publication number Publication date
JP4623867B2 (ja) 2011-02-02

Similar Documents

Publication Publication Date Title
US7061863B2 (en) Data communication system, data receiving terminal and data sending terminal
JP4944243B2 (ja) わかりやすさに影響を及ぼすことなくセンテンス内のトークスパートの再生タイミングを変更するための方法および装置
WO2006009087A1 (ja) ストリームデータ受信再生装置およびストリームデータ受信再生方法
WO2002047087A1 (fr) Systeme et procede de reproduction, dispositif et procede de transmission de donnees
JP4623867B2 (ja) 受信装置及び受信再生方法
JP2006050488A (ja) 通信端末装置およびバッファ制御方法
JP4597826B2 (ja) 通信装置、その通信方法、通信プログラム及び通信プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3397191B2 (ja) 遅延ゆらぎ吸収装置、遅延ゆらぎ吸収方法
JP4148968B2 (ja) 通信システム
JP2002330180A (ja) 受信装置及び受信再生方法
JP4192766B2 (ja) 受信装置および方法、記録媒体、並びにプログラム
JP4376165B2 (ja) 受信装置,クロック調整方法および放送システム
JP4299731B2 (ja) 受信装置及び受信再生方法
JP3419607B2 (ja) クロック再生装置
JP4299475B2 (ja) 受信装置及び受信再生方法
JP2002281077A (ja) 信号受信装置及び信号受信方法
JP5149404B2 (ja) 映像受信装置
JP2006135657A (ja) データ受信装置及びデータ受信方法
JP4730797B2 (ja) 受信装置及び受信再生方法
JPH1173729A (ja) 記録再生装置
JP2003163691A (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JPH04357735A (ja) 音声パケット通信装置
JP3053443B2 (ja) 音声パケット制御方式
JP4338083B2 (ja) ディジタル音声再生装置
JP4919420B2 (ja) 伝送システム、送信装置、受信装置及びクロック制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091013

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101102

R150 Certificate of patent or registration of utility model

Ref document number: 4623867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141112

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees