JP2002330180A - 受信装置及び受信再生方法 - Google Patents
受信装置及び受信再生方法Info
- Publication number
- JP2002330180A JP2002330180A JP2001132451A JP2001132451A JP2002330180A JP 2002330180 A JP2002330180 A JP 2002330180A JP 2001132451 A JP2001132451 A JP 2001132451A JP 2001132451 A JP2001132451 A JP 2001132451A JP 2002330180 A JP2002330180 A JP 2002330180A
- Authority
- JP
- Japan
- Prior art keywords
- data
- digital data
- reproduction
- speed control
- reproduction speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Small-Scale Networks (AREA)
- Communication Control (AREA)
Abstract
データ通信において、受信バッファのオーバーフローや
アンダーフローを防止する。 【解決手段】 受信バッファ22のデータ蓄積量の変化
に応じて再生速度を変化させる。具体的には、再生速度
判断部28が受信バッファ22のデータ蓄積量の変化を
監視し、再生速度制御部210がデータ蓄積量の変化に
応じた再生速度により再生を行う。想定時間間隔よりも
短時間内にデータを受信した場合には再生速度が増加
し、受信バッファ22のオーバーフローを防止する。逆
にデータの受信が遅延した場合には再生速度が減少し、
受信バッファ22のアンダーフローを防止する。
Description
放送設備などに用いられるディジタルデータ通信システ
ムに関する。
タルデータ通信システムでは、音声や画像、テキストな
どのデータをパケット化して通信を行う。この通信シス
テムで音声や動画像の通信を行う場合、送信側における
パケットの送信間隔と同じ間隔で、受信側においてパケ
ットを受信し、連続したデータを出力することが要求さ
れる。しかし、ネットワークのトラフィックの状況によ
っては、パケットの伝送時間に揺らぎが生じたりパケッ
トが欠落したりして、再生された音声や画像の品質が劣
化する原因となる。
ィジタル通信及び再生方式の1つに、データの最後まで
の受信を待たずに再生する「ストリーミング再生方式」
がある。ストリーミング再生方式では、送信装置側及び
受信装置にそれぞれ送信バッファ及び受信バッファが設
けられる。この方式における送信装置及び受信装置の処
理は、次のようになる。
れたアナログ音声信号は、アナログ/ディジタル変換器
(ADC)によりディジタル音声データに変換され、送
信バッファに蓄積される。通信システムによっては、ネ
ットワーク回線の帯域を有効利用するために、ディジタ
ル音声データをさらに符号化して圧縮音声符号化情報と
する。送信バッファに蓄積されたディジタル音声データ
や圧縮音声符号化情報(以下、まとめてディジタル音声
データという)は、パケットに組み立てられ、パケット
単位でネットワークを介して受信装置に送信される。
ディジタル音声データを受信バッファに蓄積する。受信
バッファのデータ蓄積量が一定以上になると、ディジタ
ル音声データが受信バッファから読み出され、ディジタ
ル/アナログ変換器(DAC)でアナログ音声データに
変換され、出力される。通信システムによっては、受信
バッファに蓄積された圧縮音声符号化情報を伸長し、デ
ィジタル音声データを生成する復号化処理を行う。
再生方式における送信バッファや受信バッファは、パケ
ットの伝送時間の揺らぎを吸収する上である程度の効果
を奏しているものの、十分ではない。
受信バッファのデータ蓄積量がゼロになってしまい、再
生が停止する場合がある。これを受信バッファの「アン
ダーフロー」という。逆に、想定した受信間隔よりも短
時間でパケットを受信し、受信バッファの記憶量をオー
バーする場合がある。これを受信バッファの「オーバー
フロー」という。この場合、一般的には受信バッファで
吸収できないパケットは破棄されてしまう。オーバーフ
ローが生じると音声データが不連続となり、ノイズの発
生を招き、音声品質が劣化してしまう。
より、受信バッファにアンダーフロー及びオーバーフロ
ーが発生する様子を示している。受信バッファは、4つ
のパケットを蓄積可能である。送信装置は、一定間隔で
パケットP1,P2,P3,P4,P5,P6・・・を
送出する。受信バッファにデータが残っている状態で、
受信装置がパケットP1を受信する。その後、想定時間
よりも短い時間内にパケットP2,P3,P4を受信す
ると、再生速度が追いつかないため、パケットP4を受
信バッファに蓄積した時点T1でオーバーフローが発生す
る。しかし、パケットP4を受信後、次のパケットP5
が遅延したため、再生中に受信バッファが空になり、時
刻T2でアンダーフローが発生する。
れるストリーミング再生方式において、再生されるデー
タの品質を高める技術を提供することを目的とする。
に、本願第1発明は、受信手段と、受信バッファと、検
出手段と、記憶手段と、再生速度決定手段と、再生速度
制御手段と、変換手段と、を備える受信装置を提供す
る。
網を介してディジタルデータを含むパケットを受信す
る。受信バッファは、前記ディジタルデータを一時的に
蓄積する。検出手段は、前記受信バッファのデータ蓄積
量を検出し、検出結果として検出信号を出力する。記憶
手段は、複数の再生速度段階と、前記再生速度段階のそ
れぞれに応じた再生速度制御処理とを記憶する。再生速
度決定手段は、前記受信バッファのデータ蓄積量の変化
を監視し、前記変化に応じて前記記憶手段に記憶された
いずれかの再生速度段階を選択する。再生速度制御手段
は、前記検出信号に基づいて、前記受信バッファに蓄積
されているディジタルデータを取り出し、選択された前
記再生速度段階に応じた再生速度制御処理を前記記憶手
段から読み出して前記ディジタルデータに施す。変換手
段は、前記再生速度制御処理後のディジタルデータを、
出力するためのアナログデータに変換する。
ータ、ディジタル画像データ、テキストデータなどであ
る。また、ディジタル音声データの圧縮音声符号、ディ
ジタル画像データの圧縮画像符号なども、ディジタルデ
ータに含まれる。記憶手段には、例えば再生速度倍率が
一定の範囲でかつ一定量の刻みで記憶され、各倍率に応
じた再生速度制御処理が記憶される。
うな処理である。再生速度倍率が2倍の場合、ディジタ
ル音声データを間引き、ディジタル音声データに含まれ
るサンプルデータの量を1/2にして再生する。再生速
度倍率が0.5倍の場合、サンプルデータを作成して挿
入子、サンプルデータの量を2倍にして再生する。再生
速度倍率が1であれば、受信バッファから読み出すディ
ジタルデータ中のサンプルデータを、そのまま再生す
る。
のデータ量が変化する度に、変化前のデータ量と変化後
のデータ量とを比較し、いずれかの再生速度倍率を選択
する。受信バッファのデータ量が増加している場合には
再生速度倍率を増加させ、受信バッファのデータ量が減
少している場合には再生速度倍率を減少させることによ
り、受信バッファのオーバーフローやアンダーフローを
防ぐことができる。
記ディジタルデータがディジタル音声データを含んでい
る受信装置を提供する。本願第3発明は、本願第2発明
において、前記再生速度制御手段が、前記取り出したデ
ィジタルデータの音量が所定値を超えているか否かをさ
らに判断し、超えていない場合に前記再生速度制御処理
を前記ディジタルデータに施す受信装置を提供する。
の調整を行うことにより、データの削除や追加による音
の不自然さを聴覚的に目立たなくすることができる。本
願第4発明は、前記第1発明において、前記記憶手段に
記憶されている複数の再生速度段階は、受信バッファの
データ蓄積量が増加している場合に対応する第1段階
と、受信バッファのデータ蓄積量が減少している場合に
対応する第2段階と、受信バッファのデータ蓄積量が変
化していない場合に対応する第3段階とを含んでいる受
信装置を提供する。この装置においては、前記第1段階
に対応する第1再生速度制御処理は、前記パケットに含
まれるディジタルデータの一部を破棄する処理であり、
前記第2段階に対応する第2再生速度制御処理は、前記
パケットに含まれるディジタルデータにさらにディジタ
ルデータを挿入する処理であり、前記第3段階に対応す
る第3再生速度制御処理は、前記パケットに含まれるデ
ィジタルデータを変更しない処理である。
前記第1再生速度制御処理は、破棄しようとする第1デ
ィジタルデータの直前の第2ディジタルデータと前記第
1ディジタルデータとの差が所定値以内か否かを判断
し、前記判断の結果に従って前記第1ディジタルデータ
を破棄するか否かを決定する処理をさらに含んでいる受
信装置を提供する。
ジタルデータとの差が小さい場合のみ第1ディジタルデ
ータを破棄することにより、不自然な再生結果となるこ
とを防止する。
信再生方法を提供する。 (A)通信網に接続され、前記通信網を介してディジタ
ルデータを含むパケットを受信する受信ステップ、
(B)前記ディジタルデータを受信バッファに一時的に
蓄積する蓄積ステップ、(C)前記受信バッファのデー
タ蓄積量を検出し、検出結果として検出信号を出力する
検出ステップ、(D)複数の再生速度段階と、前記再生
速度段階のそれぞれに応じた再生速度制御処理とを記憶
する記憶ステップ、(E)前記受信バッファのデータ蓄
積量の変化を監視し、前記変化に応じて前記記憶ステッ
プで記憶されたいずれかの再生速度段階を選択する再生
速度決定ステップ、(F)前記検出信号に基づいて、前
記受信バッファに蓄積されているディジタルデータを取
り出し、選択された前記再生速度段階に応じた再生速度
制御処理を、前記記憶ステップで記憶された再生速度制
御処理から読み出して前記ディジタルデータに施す再生
速度制御ステップ、(G)前記再生速度制御処理後のデ
ィジタルデータを、アナログデータに変換する変換ステ
ップ。
テップをコンピュータに実行させるための受信再生プロ
グラムを提供する。また、このプログラムを記録したコ
ンピュータ読み取り可能な記録媒体も本願第8発明に含
まれる。
ーミング再生方式を適用したディジタル通信システムに
用いられる受信装置を提供する。本発明に係る受信装置
は、受信バッファのデータ蓄積量の変化に応じ、データ
の再生速度に緩急をつける。具体的には、受信装置は、
通常の受信処理及び再生処理に加え、再生速度決定処理
及び再生速度制御処理を実行する。
ータ蓄積量が変化する度に、変化に応じた再生速度を決
定する。具体的には、データ量が増えていれば再生速度
を増加させる。データ量が減少していれば再生速度を減
少させる。データ量に変化がなければ再生速度は通常の
ままとする。
度に従い、再生速度の制御を行う。再生速度が高い場合
にはデータを間引きして再生するデータ量を減らし、再
生速度が低い場合は新たなデータを作成してデータ量を
増やす。ただし、再生速度の制御は、音声データであれ
ば音量が小さい場合にのみ行い、再生時のノイズや音切
れを目立たなくする。動画像データであれば映像の時間
的変化が小さい場合にのみ、再生速度の制御を行う。
ける受信バッファのオーバーフローやアンダーフローを
防止し、再生されるデータの品質を高めることができ
る。 <第1実施形態例>次に、本発明の受信装置を適用した
音声通信システムについて、実施形態例を挙げて詳細に
説明する。
信システムの構成を示すブロック図である。通信システ
ム10は、送信装置1と受信装置2とがLANなどのネ
ットワーク3により接続されて構成されている。送信装
置1には、マイク、プレーヤ、音声メモリ装置などの入
力部11と、増幅器12とが接続されている。受信装置
2には、増幅部26と、スピーカなどの出力部27とが
接続されている。なお、図1では、ネットワーク3に接
続されている送信装置1及び受信装置2はそれぞれ1つ
しか示されていないが、通常は複数の送信装置及び受信
装置がネットワーク3に接続される。また、送信装置1
と受信装置2とは、一体に構成されていても良い。
14、符号化部15、送信バッファ16及び送信部17
を有している。入力部11に入力された音声は、入力部
11によりアナログ音声信号に変換される。このアナロ
グ音声信号は、増幅器12により増幅され、送信装置1
に入力される。入力されたアナログ音声信号は、ADC
13によりディジタル音声データに変換され、入力バッ
ファ14に蓄積される。符号化部15は、入力バッファ
14に蓄積されているディジタル音声データを圧縮音声
符号化情報に符号化し、送信バッファ16に蓄積する。
送信部17は、送信バッファ16のデータをパケットに
組み立て、一定の時間間隔でネットワーク3に送出す
る。なお、ディジタル音声データを符号化しない場合、
符号化部15を省略することができる。また、入力部1
1や増幅器12を、送信装置1に内蔵させても良い。
22、復号化部23、出力バッファ24、DAC25、
再生速度判断部28、速度バッファ29及び再生速度制
御部210を有している。ネットワーク3に送出された
パケットは、受信部21により受信され、分解されて受
信バッファ22に格納される。本例では、受信バッファ
22は、4パケット分の圧縮音声符号化情報を4ブロッ
クまで蓄積可能である。1ブロックは1パケットに含ま
れるディジタルデータ部分に相当する。受信バッファ2
2に蓄積された圧縮音声符号化情報は、復号化部23に
よりディジタル音声データに伸長される。このディジタ
ル音声データは、出力バッファ25に格納され、DAC
25によりアナログ音声信号に変換されて出力される。
出力されたアナログ音声信号は、増幅部26により増幅
され、出力部27から空気中に拡声される。送信装置1
側の符号化部15が省略される場合、受信装置2の復号
化部23を省略することができる。スピーカなどの出力
部27や増幅器26を、受信装置2に内蔵させてもよ
い。
理を行う。すなわち、受信バッファ22内のデータ蓄積
量の変化を監視し、変化に応じた再生速度を決定する。
本実施形態例では、再生速度を再生速度倍率で表し、再
生速度倍率を0.5〜2倍の範囲で決定する。さらに、
再生速度判断部28は、決定した再生速度倍率を、速度
バッファ29に書き込む。再生速度決定処理の詳細につ
いては後述する。
9に書き込まれている再生速度倍率に応じ、前記再生速
度制御処理を実行する。再生速度制御処理の詳細につい
ては後述する。
2が行う処理の流れについて詳細に説明する。受信装置
2が行う処理は、受信処理と再生処理とに大別される。
この2つの処理の中で、再生速度決定処理及び再生速度
制御処理が起動される。以下、これらの処理について、
図面を参照しつつ具体的に説明する。
を示すフローチャートである。受信装置2は、後述する
再生処理と受信処理とを独立に実行する。
待機しており、パケットを受信すると、ステップS2に
移行する。 ステップS2、S3、S4:受信部21は、受信バッフ
ァ22に新たなデータを書き込む空きメモリがあるか否
かを判断する(S2)。空きメモリがあれば、パケット
を受信バッファ22に格納する(S3)。空きメモリが
ない場合、ステップS4に移行し、受け取ったパケット
を破棄する(S4)。
処理を起動させる。この処理では、再生速度判断部28
が、受信バッファ22に新たなデータが格納される前後
でのデータ蓄積量の変化を基に、再生速度倍率を決定す
る。決定された再生速度倍率は速度バッファ29に書き
込まれる。
ータを蓄積する度に、再生速度倍率を決定する。 (2)再生処理 図2(b)は、受信装置2が行う再生処理の流れの一例
を示すフローチャートである。
始条件が満たされたか否かを判断し、満たされた場合は
音声の再生処理を行う。ここで、再生開始条件とは、
「受信バッファ22に蓄積されるデータ量≧しきい値D
1」である。しきい値D1は、実使用で想定されるネット
ワーク負荷や許容される再生開始までの遅延時間を考慮
した上で、通信システムに適合する値を実験的に求める
ことにより定められる。
る再生速度制御処理を起動させる。この処理では、再生
速度制御部210が、速度バッファ29に記憶されてい
る再生速度倍率に従い、受信バッファ22に蓄積されて
いる圧縮音声符号化情報から音声を再生出力する。
ャートである。この処理では、再生速度判断部28は、
受信バッファ22のデータ蓄積量の変化の前後から、再
生速度倍率を決定する。受信バッファ22のデータ量が
変化した場合、すなわちデータが格納された場合(前記
受信処理S5)またはデータが読み出された場合(後述
する再生速度制御処理S129)、以下の処理が開始さ
れる。
は、変化後のデータ蓄積量を受信バッファ22から読み
取る(S101)。また、変化前のデータ蓄積量を、デ
ータ量バッファ(図示せず)から読み出す(S10
1)。このデータ量バッファは、変化前のデータ蓄積量
を一時的に格納するためのメモリである。
生速度判断部28は、変化の前後におけるデータ蓄積量
を比較する(S102、S103)。 ステップS104、S105:再生速度判断部28は、
データ蓄積量が増加している場合(S102)、再生速
度倍率を一定量増加させる(S103)。逆に、データ
蓄積量が減少した場合(S103)、再生速度倍率を一
定量減少させる(S105)。データの蓄積量が変化し
ていない場合は、再生速度倍率をそのままにしておく。
再生速度倍率の上限は2倍とし、下限は0.5倍とす
る。この範囲であれば、再生された音声が聴覚上聞きや
すいからである。再生速度倍率の増減幅は、受信バッフ
ァ22のアンダーフローやオーバーフローを防止可能な
値を実験的に求めることが好ましい。
は、変化後のデータ蓄積量を、前記データ量バッファに
格納する。以上の処理により、再生速度判断部28は、
受信バッファ22のデータ蓄積量の増加または減少に応
じ、再生速度を変化させる。
ャートである。この処理では、再生速度倍率に従った再
生速度で音声を再生する。前記再生処理において再生開
始条件が満たされた場合、以下の処理が開始される。
は、再生速度倍率を“1”にリセットする。本実施形態
例では、再生中か否かに関わらず再生速度決定処理が行
われる。そのため、受信バッファ22のデータ蓄積量が
少なくて再生中断中にデータ蓄積量が増加する一方とな
ると、データ蓄積量に比して再生速度倍率が高くなり過
ぎる場合があるためである。
バッファ22のデータ蓄積量がゼロになるまで以下の処
理による音声の再生を行う。ゼロになると本処理を終了
する。その後、再び再生開始条件が満たされるまで再生
の開始を待機する(前記S11)。
は、受信バッファ22から再生するためのブロックを1
つ読み出す。以下、このブロックを現ブロックと呼ぶ。
復号化部23は、現ブロック中の圧縮音声符号化情報を
伸長してディジタル音声データとし、これを再生速度制
御部210に渡す。1つのブロックから得られるディジ
タル音声データには、アナログ音声信号をサンプリング
して得られる複数の音声サンプルデータが含まれてい
る。ディジタル音声データを圧縮音声符号化しない通信
システムにおいては、再生速度制御部210は、1ブロ
ック分のディジタル音声データを、受信バッファ22か
ら読み出す。以下、ステップS114〜126では、受
信バッファ22から読み出した現ブロックの再生を行
う。
は、現ブロックの直前のブロックの音量成分値を音量バ
ッファ(図示せず)から読み出し、これがしきい値Vを
超えていないか否かを判断する(S114)。この音量
バッファとは、直前のブロックの音量成分値を一時的に
記憶するためのメモリ領域である。しきい値Vは、再生
する音声の種類や再生すべき音声以外の雑音音量成分な
どを考慮した値が設定される。
は、音量成分値の差がしきい値Vを超えている場合、現
ブロックをそのまま再生する。すなわち、現ブロックか
ら得られたディジタル音声データのサンプルデータをそ
のまま出力バッファ24に格納する。出力バッファ24
に格納されたディジタルデータは、アナログ信号に変換
され、出力される。音量が大きいため、ディジタルデー
タの破棄や挿入を行わずにそのまま再生するのである。
は、前記音量成分値がしきい値Vを超えない場合、ステ
ップS116〜S125において再生速度の制御を行
う。まず、再生速度制御部210は、現ブロックに含ま
れるサンプルデータから1つのサンプルデータを順次抽
出する。抽出したサンプルデータを現サンプルデータと
いう。
御部210は、速度バッファ29を参照し、再生速度倍
率を読み出す。再生速度制御部210は、再生速度倍率
が1を超えているか否かを判断し、再生速度倍率が1を
超えている場合(S117)、次式で表される確率で抽
選を行う(S118)。当選した場合はステップS11
9へ移行する。落選した場合は後述するステップS12
4へ移行し、現サンプルデータを再生する。
は、サンプルバッファ(図示せず)から直前のサンプル
データを読み出す。このサンプルバッファは、直前のサ
ンプルデータを記憶するためのメモリ領域である。再生
速度制御部210は、現サンプルデータと直前のサンプ
ルデータとの差がしきい値Sを超えていないか否かを判
断する(S119)。サンプルデータの差がしきい値S
を超えていなければ、現サンプルデータを破棄する(S
120)。これにより再生速度が増加する。連続するサ
ンプルデータの差が小さいので、サンプルデータを破棄
しても再生された音声の品質に及ぼす影響が小さいと考
えられるからである。逆に、サンプルデータの差がしき
い値S以下の場合、現サンプルデータを破棄することな
く出力バッファ24に格納し、再生させる(後述するス
テップS124)。
率が1より小さい場合(S121)、再生速度制御部2
10は下式で示される確率で抽選を行う(S122)。
当選した場合はステップS123へ移行し、落選した場
合はステップS124へ移行して現サンプルデータを再
生する。
制御部210は、現サンプルデータと直前サンプルデー
タとに基づいて新たなサンプルデータを作成し、現サン
プルデータの前に挿入する。新たなサンプルデータは、
現サンプルデータと直前サンプルデータとの平均値とな
るよう作成される。
は、ステップS118またはS122の抽選で落選した
場合、現サンプルデータを出力バッファ24に格納し、
これを再生させる。ステップS123で新たなサンプル
データを挿入した場合、新たなサンプルデータ及び現サ
ンプルデータを出力バッファ24に格納し、これらを再
生させる。
は、現サンプルデータをサンプルバッファに格納し、直
前のサンプルデータとして記憶させる。 ステップS126:再生速度制御部210は、現ブロッ
クに含まれる全てのサンプルデータの再生が終了したか
否かを判断する。“No”と判断するとステップS11
6に戻り、前述の処理を繰り返して現ブロックを再生す
る。“Yes”と判断すると、ステップS127に移行
する。
は、ディジタル音声データから得られる現ブロックの音
量成分値を算出し、音量バッファに格納する。さらに、
再生速度制御処理部210は、受信バッファ22から現
ブロックを削除する。
は、再生速度決定処理サブルーチンを起動させる。これ
により、再生速度判断部28は再生速度決定処理を実行
し、受信バッファ22のデータ蓄積量の変化に応じた再
生速度倍率を決定する。その後再びステップS112に
戻り、受信バッファ22が空になるまで再生を続行す
る。
は、音量が小さい場合、データの削除または挿入による
再生速度の制御を行う。なかでもデータの削除は連続す
る音の差が小さい場合に行う。データの削除や挿入を目
立たないように行うことで、再生される音声の品質を高
めることができる。
に係る受信装置を用いた通信システムについて説明す
る。本実施形態例の受信装置は、再生中であれば再生速
度を変化させるが、再生停止中は再生速度を変化させな
い点が第1実施形態例の受信装置と異なっている。
信システムの構成を示すブロック図である。図5中、図
1と同様の符号で示したブロックは、第1実施形態例と
同様の機能を有している。受信装置2は、第1実施形態
例と同様の構成に加え、再生フラグバッファ211及び
直前データ再生フラグバッファ212をさらに有してい
る。また、速度バッファ29に代えて、高速再生フラグ
バッファ213及び低速再生フラグバッファ214を有
している。
セットされている場合は再生中である。直前データ再生
フラグバッファ212に直前データ再生フラグがセット
されている場合は、1つ前のサンプルデータが再生され
たことを示している。高速再生フラグバッファ213に
は、受信バッファ22の蓄積量が増大している場合にフ
ラグがセットされる。低速再生フラグバッファ214に
は、受信バッファ22の蓄積量が減少している場合にフ
ラグがセットされる。
2が行う処理について説明する。第1実施形態例と同
様、受信処理、再生処理、再生速度決定処理、再生速度
制御処理について、順次説明する。 (1)受信処理 図6(a)は、受信装置2が行う受信処理の流れの一例
を示すフローチャートである。
を待機しており、パケットを受信すると、ステップS2
2に移行する。 ステップS22、S23、S24:受信部21は、受信
バッファ22に新たなデータを書き込む空きメモリがあ
るか否かを判断する(S22)。空きメモリがない場
合、受信したパケットを破棄する(S23)。空きメモ
リがあれば、パケットを受信バッファ22に格納する
(S24)。
グバッファ21を参照し、再生中か否かを判断する。再
生フラグがリセットされている、すなわち再生停止中の
場合、前記ステップS21に戻り、次のパケットの受信
を待機する。再生フラグがセットされている、すなわち
再生中の場合、ステップS26に移行して再生速度を決
定する。再生中の場合のみ再生速度を決定するのは、再
生停止中は受信バッファのデータ蓄積量が増加する一方
なので、実際の蓄積量に比して再生速度が増加しすぎる
おそれがあるからである。
決定処理サブルーチンを起動する。これにより、受信バ
ッファのデータ蓄積量に応じた再生速度が決定される。 以上の処理により、受信バッファ22にデータを蓄積
し、再生中の場合にのみ受信バッファのデータ蓄積量に
応じた再生速度を決定する。
を示すフローチャートである。
始条件が満たされたか否かを判断し、満たされた場合は
音声の再生処理を行う。ここで、再生開始条件とは、
「受信バッファ22に蓄積されるデータ量≧しきい値D
1」である。しきい値D1は、第1実施形態例と同様にし
て定められる。
ラグバッファ211に再生フラグをセットする。 ステップS33:復号化部23は、後述する再生速度制
御処理サブルーチンを起動し、再生を開始する。すなわ
ち、受信バッファ22のデータ蓄積量に応じた速度で音
声の再生を行う。
ラグバッファ211の再生フラグをリセットする。 以上の処理により、再生開始条件を満足する場合に再生
を行う。再生中か否かは、再生フラグバッファのフラグ
により示される。
ャートである。本実施形態例では、再生速度判断部28
は、受信バッファ22のデータ蓄積量の変化の前後か
ら、高速再生フラグ及び低速再生フラグをセットまたは
リセットする。前記受信処理または後述する再生速度制
御処理で本処理が起動された場合、以下の処理が開始さ
れる。
は、変化後のデータ蓄積量を受信バッファ22から読み
取る(S201)。また、変化前のデータ蓄積量を、デ
ータ量バッファ(図示せず)から読み出す(S20
1)。このデータ量バッファは、変化前のデータ蓄積量
を一時的に格納するためのメモリである。
生速度判断部28は、変化の前後におけるデータ蓄積量
を比較する(S202、S203)。 ステップS204〜S209:データ蓄積量が増加して
いる場合、再生速度判断部28は、高速再生フラグをセ
ットし、低速再生フラグをリセットする(S204、S
205)。逆に、データ蓄積量が減少している場合は、
低速再生フラグをセットし、高速再生フラグをリセット
する(S206、S207)、データの蓄積量が変化し
ていない場合は高速再生フラグ及び低速再生フラグとも
にリセットする(S208、S209)。
は、変化後のデータ蓄積量を前記データ量バッファに格
納し、処理を終了する。以上の処理により、再生速度判
断部28は、受信バッファ22のデータ蓄積量の増加ま
たは減少に応じ、再生速度フラグを変化させる。
ャートである。本実施形態例では、速度バッファ29に
セットされたフラグに従った速度で音声を再生する。前
記再生処理においてステップS33に移行すると、以下
の処理が開始される。
バッファ22にデータがあるか否かを判断し、データ蓄
積量がゼロになるまで以下の処理を行う。ゼロになると
再生フラグをリセットし、本処理を終了する。その後、
再び再生開始条件が満たされるのを待機する(前記再生
処理S34)。
は、受信バッファ22から再生するためのブロック(以
下、単に現ブロックという)を1つ読み出す。 ステップS213:復号化部23は、現ブロック中の圧
縮音声符号化情報を伸長してサンプルデータや音量成分
値を含むディジタル音声データとし、これを再生速度制
御部210に渡す。再生速度制御部210は、音量バッ
ファ(図示せず)から直前のブロックの音量成分値を読
み出し、これがしきい値Vを超えていないか否かを判断
する。音量バッファ、しきい値Vの値については、第1
実施形態例と同様である。
は、直前ブロックの音量成分値がしきい値Vを超えてい
る、つまり音量が大きい場合、現ブロックをそのまま再
生する。音量の差が大きいため、ディジタルデータの破
棄や挿入を行わずにそのまま再生するのである。
は、前記音量成分値がしきい値Vを超えない場合、ステ
ップS215〜S225のようにして再生速度の制御を
行う。まず、再生速度制御部210は、現ブロックに含
まれるサンプルデータから順次1つのサンプルデータを
抽出する。抽出したサンプルデータを現サンプルデータ
という。
S219、S220:再生速度制御部210は、高速再
生フラグバッファ213及び低速再生フラグバッファ2
14を参照する。高速再生フラグだけがセットされてい
る場合(S216)、再生速度制御部210は、サンプ
ルバッファから直前のサンプルデータを読み出す。そし
て、現サンプルデータと直前のサンプルデータとの差が
しきい値Sを超えていないか否かを判断する(S21
7)。サンプルバッファは第1実施形態例と同様であ
る。
いる場合、直前データフラグバッファ212を参照し、
直前データ再生フラグがセットされているか否かを判断
する(S218)。“Yes”と判断すると、このフラ
グをリセットし、現サンプルデータを破棄することによ
り再生速度を増加させる(S219、S220)。連続
するサンプルデータの差が小さいので、サンプルデータ
を破棄しても再生された音声の品質に及ぼす影響が小さ
いと考えられるからである。なお、直前データ再生フラ
グをステップS219でリセットするのは、サンプルデ
ータが連続して破棄されるのを防止するためである。
下の場合、現サンプルデータを破棄することなく出力バ
ッファ24に格納し、再生させる(後述するステップS
223)。
ラグだけがセットされている場合(S221)、再生速
度制御部210は、新たなサンプルデータを作成し、現
サンプルデータの前に挿入する(S222)。
は、受信バッファのデータ蓄積量が増加しているが連続
音の差が大きい場合(S217)、現サンプルデータを
出力バッファ24に格納し、これを再生させる。高速再
生フラグ及び低速再生フラグの両方がリセットされてい
る場合も同様である。また、データ蓄積量が減少してい
るため新たなサンプルデータを挿入した場合(S22
2)、新たなサンプルデータ及び現サンプルデータを出
力バッファ24に格納し、これらを再生させる。
は、現サンプルデータをサンプルバッファに格納し、直
前のサンプルデータとして記憶させる。 ステップS225:再生速度制御部210は、直前デー
タ再生フラグをセットする。現サンプルデータが再生さ
れたので、その次のサンプルデータを破棄可能にするた
めである。
は、現ブロックに含まれる全てのサンプルデータの再生
が終了したか否かを判断する。“No”と判断するとス
テップS215に戻り、前述の処理を繰り返して現ブロ
ックを再生する。“Yes”と判断すると、ステップS
227に移行する。
は、ディジタル音声データから得られる現ブロックの音
量成分値を、音量バッファに格納する。さらに、再生速
度制御処理部210は、受信バッファ22から現ブロッ
クを削除する。
は、再生速度決定処理サブルーチンを起動させる。これ
により、再生速度判断部28は、受信バッファ22のデ
ータ蓄積量の変化に応じた速度フラグを決定する。その
後再びステップS211に戻り、受信バッファ22が空
になるまで再生を続行する。
みデータを削除または挿入し、受信バッファのデータ蓄
積量の変化に応じて再生速度に緩急をつけ、再生される
音声の品質を高めることができる。
との関係を示すグラフ]次に、前記実施形態例に述べた
再生速度の制御により、オーバーフローやアンダーフロ
ーを防止する模式例について、グラフを用いて説明す
る。図9は、再生速度と受信バッファ22のデータ蓄積
量との関係を示すグラフである。横軸は時間、縦軸は受
信バッファのデータ蓄積量を示す。実線は再生速度を変
化させた場合、点線は再生速度が一定の場合である。実
線上の黒丸は、パケットを受信バッファ22に格納した
ことを示す。実線上の×印は、1ブロック分の再生が終
了したことを示す。データ蓄積量の減少速度が実線と点
線とで異なるのは、再生速度を調整しているからであ
る。データ蓄積量の減少を示す実線の傾きが×印を境に
小さくなっているは、再生速度が減少しているからであ
る。
P4,P5,P6は、一定の時間間隔で送出されてい
る。受信バッファ22にデータが残っている状態で、受
信装置2はパケットP1を受信し、その後パケットP
2,P3,P4を想定時間よりも早く受信する。また、
パケットP4を受信した後、パケットP5及びP6を想
定時間よりも遅く受信する。なお、再生される音声の音
量成分は、常に小さいと仮定する。
後(時刻T1、T2、T3、T4)はデータ蓄積量が増加するの
で、再生速度が増加する。しかし、次のパケットが到着
する前に1ブロックの再生が終了した場合(時刻T5、T
6)、データ蓄積量が減少したと判断され、再生速度が
減少する。これにより、受信バッファ22のオーバーフ
ローが防止されている。また、パケットP4の受信後、
1ブロック再生するたびに再生速度が減少する。これに
より、受信バッファ22のアンダーフローが防止されて
いる。
て説明したが、本発明に係る受信装置は、音声通信だけ
でなく、動画像通信にも好ましく用いられる。また、静
止画像、テキストデータなどの受信装置としても好適で
ある。
せるプログラム及びそのプログラムを記録したコンピュ
ータ読み取り可能な記録媒体は、本発明に含まれる。こ
こで記録媒体としては、コンピュータが読み書き可能な
フロッピー(登録商標)ディスク、ハードディスク、半
導体メモリ、CD-ROM、DVD、光磁気ディスク(M
O)、その他のものが挙げられる。
を採用した通信システムの受信装置側で再生される音声
の品質を高めることを期待できる。
すブロック図。
理。 (a)受信処理の流れを示すフローチャート。 (b)再生処理の流れを示すフローチャート。
れを示すフローチャート。
れを示すフローチャート。
すブロック図。
理。 (a)受信処理の流れを示すフローチャート。 (b)再生処理の流れを示すフローチャート。
れを示すフローチャート。
れを示すフローチャート。
タ蓄積量との関係を示すグラフ。
量との関係を示すグラフ。
Claims (8)
- 【請求項1】通信網に接続され、前記通信網を介してデ
ィジタルデータを含むパケットを受信する受信手段と、 前記ディジタルデータを一時的に蓄積する受信バッファ
と、 前記受信バッファのデータ蓄積量を検出し、検出結果と
して検出信号を出力する検出手段と、 複数の再生速度段階と、前記再生速度段階のそれぞれに
応じた再生速度制御処理とを記憶する記憶手段と、 前記受信バッファのデータ蓄積量の変化を監視し、前記
変化に応じて前記記憶手段に記憶されたいずれかの再生
速度段階を選択する再生速度決定手段と、 前記検出信号に基づいて、前記受信バッファに蓄積され
ているディジタルデータを取り出し、選択された前記再
生速度段階に応じた再生速度制御処理を前記記憶手段か
ら読み出して前記ディジタルデータに施す再生速度制御
手段と、 前記再生速度制御処理後のディジタルデータを、出力す
るためのアナログデータに変換する変換手段と、 を備える受信装置。 - 【請求項2】前記ディジタルデータはディジタル音声デ
ータを含んでいる、請求項1の受信装置。 - 【請求項3】前記再生速度制御手段は、前記取り出した
ディジタルデータの音量が所定値を超えているか否かを
さらに判断し、超えていない場合に前記再生速度制御処
理を前記ディジタルデータに施す、請求項2に記載の受
信装置。 - 【請求項4】前記記憶手段に記憶されている複数の再生
速度段階は、受信バッファのデータ蓄積量が増加してい
る場合に対応する第1段階と、受信バッファのデータ蓄
積量が減少している場合に対応する第2段階と、受信バ
ッファのデータ蓄積量が変化していない場合に対応する
第3段階とを含み、 前記第1段階に対応する第1再生速度制御処理は、前記
パケットに含まれるディジタルデータの一部を破棄する
処理であり、前記第2段階に対応する第2再生速度制御
処理は、前記パケットに含まれるディジタルデータにさ
らにディジタルデータを挿入する処理であり、前記第3
段階に対応する第3再生速度制御処理は、前記パケット
に含まれるディジタルデータを変更しない処理である、 請求項1に記載の受信装置。 - 【請求項5】前記第1再生速度制御処理は、破棄しよう
とする第1ディジタルデータの直前の第2ディジタルデ
ータと前記第1ディジタルデータとの差が所定値以内か
否かを判断し、前記判断の結果に従って前記第1ディジ
タルデータを破棄するか否かを決定する処理をさらに含
む、請求項4に記載の受信装置。 - 【請求項6】通信網に接続され、前記通信網を介してデ
ィジタルデータを含むパケットを受信する受信ステップ
と、 前記ディジタルデータを受信バッファに一時的に蓄積す
る蓄積ステップと、 前記受信バッファのデータ蓄積量を検出し、検出結果と
して検出信号を出力する検出ステップと、 複数の再生速度段階と、前記再生速度段階のそれぞれに
応じた再生速度制御処理とを記憶する記憶ステップと、 前記受信バッファのデータ蓄積量の変化を監視し、前記
変化に応じて前記記憶ステップで記憶されたいずれかの
再生速度段階を選択する再生速度決定ステップと、 前記検出信号に基づいて、前記受信バッファに蓄積され
ているディジタルデータを取り出し、選択された前記再
生速度段階に応じた再生速度制御処理を、前記記憶ステ
ップで記憶された再生速度制御処理から読み出して前記
ディジタルデータに施す再生速度制御ステップと、 前記再生速度制御処理後のディジタルデータを、アナロ
グデータに変換する変換ステップと、 を含む受信再生方法。 - 【請求項7】通信網に接続され、前記通信網を介してデ
ィジタルデータを含むパケットを受信する受信ステップ
と、 前記ディジタルデータを受信バッファに一時的に蓄積す
る蓄積ステップと、 前記受信バッファのデータ蓄積量を検出し、検出結果と
して検出信号を出力する検出ステップと、 複数の再生速度段階と、前記再生速度段階のそれぞれに
応じた再生速度制御処理とを記憶する記憶ステップと、 前記受信バッファのデータ蓄積量の変化を監視し、前記
変化に応じて前記記憶ステップで記憶されたいずれかの
再生速度段階を選択する再生速度決定ステップと、 前記検出信号に基づいて、前記受信バッファに蓄積され
ているディジタルデータを取り出し、選択された前記再
生速度段階に応じた再生速度制御処理を、前記記憶ステ
ップで記憶された再生速度制御処理から読み出して前記
ディジタルデータに施す再生速度制御ステップと、 前記再生速度制御処理後のディジタルデータを、アナロ
グデータに変換する変換ステップと、 をコンピュータに実行させるための受信再生プログラ
ム。 - 【請求項8】通信網に接続され、前記通信網を介してデ
ィジタルデータを含むパケットを受信する受信ステップ
と、 前記ディジタルデータを受信バッファに一時的に蓄積す
る蓄積ステップと、 前記受信バッファのデータ蓄積量を検出し、検出結果と
して検出信号を出力する検出ステップと、 複数の再生速度段階と、前記再生速度段階のそれぞれに
応じた再生速度制御処理とを記憶する記憶ステップと、 前記受信バッファのデータ蓄積量の変化を監視し、前記
変化に応じて前記記憶ステップで記憶されたいずれかの
再生速度段階を選択する再生速度決定ステップと、 前記検出信号に基づいて、前記受信バッファに蓄積され
ているディジタルデータを取り出し、選択された前記再
生速度段階に応じた再生速度制御処理を、前記記憶ステ
ップで記憶された再生速度制御処理から読み出して前記
ディジタルデータに施す再生速度制御ステップと、 前記再生速度制御処理後のディジタルデータを、アナロ
グデータに変換する変換ステップと、 を実行する受信再生プログラムを記録した、コンピュー
タ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001132451A JP4350916B2 (ja) | 2001-04-27 | 2001-04-27 | 受信装置及び受信再生方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001132451A JP4350916B2 (ja) | 2001-04-27 | 2001-04-27 | 受信装置及び受信再生方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002330180A true JP2002330180A (ja) | 2002-11-15 |
JP4350916B2 JP4350916B2 (ja) | 2009-10-28 |
Family
ID=18980461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001132451A Expired - Fee Related JP4350916B2 (ja) | 2001-04-27 | 2001-04-27 | 受信装置及び受信再生方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4350916B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004354677A (ja) * | 2003-05-29 | 2004-12-16 | Pioneer Electronic Corp | 情報処理装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、再生装置 |
JP2005321548A (ja) * | 2004-05-07 | 2005-11-17 | Sony Corp | 音声ストリーム再生装置及び音声ストリーム再生方法 |
WO2006009087A1 (ja) | 2004-07-20 | 2006-01-26 | Matsushita Electric Industrial Co., Ltd. | ストリームデータ受信再生装置およびストリームデータ受信再生方法 |
WO2006011426A1 (ja) * | 2004-07-30 | 2006-02-02 | Sharp Kabushiki Kaisha | 受信装置、受信プログラム、および受信プログラムを記録した記録媒体 |
JP2008005392A (ja) * | 2006-06-26 | 2008-01-10 | Kddi Corp | 通信端末装置およびバッファ制御方法 |
JP2008292961A (ja) * | 2007-05-28 | 2008-12-04 | Panasonic Electric Works Co Ltd | 音声伝送システム |
JP2009162918A (ja) * | 2007-12-28 | 2009-07-23 | Toshiba Microelectronics Corp | 復号再生装置及び方法並びに受信装置 |
JP2009207105A (ja) * | 2008-01-30 | 2009-09-10 | Onkyo Corp | ストリーム再生装置、ストリーミングシステム及びストリーム再生プログラム |
JP2009258608A (ja) * | 2008-03-21 | 2009-11-05 | Onkyo Corp | ストリーム再生装置およびそのプログラム |
WO2010100895A1 (ja) * | 2009-03-06 | 2010-09-10 | パナソニック株式会社 | 音声再生装置及び映像音声再生装置 |
-
2001
- 2001-04-27 JP JP2001132451A patent/JP4350916B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004354677A (ja) * | 2003-05-29 | 2004-12-16 | Pioneer Electronic Corp | 情報処理装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、再生装置 |
JP4534582B2 (ja) * | 2004-05-07 | 2010-09-01 | ソニー株式会社 | 音声ストリーム再生装置及び音声ストリーム再生方法 |
JP2005321548A (ja) * | 2004-05-07 | 2005-11-17 | Sony Corp | 音声ストリーム再生装置及び音声ストリーム再生方法 |
WO2006009087A1 (ja) | 2004-07-20 | 2006-01-26 | Matsushita Electric Industrial Co., Ltd. | ストリームデータ受信再生装置およびストリームデータ受信再生方法 |
JPWO2006009087A1 (ja) * | 2004-07-20 | 2008-05-01 | 松下電器産業株式会社 | ストリームデータ受信再生装置およびストリームデータ受信再生方法 |
US8718452B2 (en) | 2004-07-20 | 2014-05-06 | Panasonic Corporation | Stream data reception/reproduction device and stream data reception/reproduction method |
JP4744444B2 (ja) * | 2004-07-20 | 2011-08-10 | パナソニック株式会社 | ストリームデータ受信再生装置、通信システムおよびストリームデータ受信再生方法 |
WO2006011426A1 (ja) * | 2004-07-30 | 2006-02-02 | Sharp Kabushiki Kaisha | 受信装置、受信プログラム、および受信プログラムを記録した記録媒体 |
JP2008005392A (ja) * | 2006-06-26 | 2008-01-10 | Kddi Corp | 通信端末装置およびバッファ制御方法 |
JP2008292961A (ja) * | 2007-05-28 | 2008-12-04 | Panasonic Electric Works Co Ltd | 音声伝送システム |
JP2009162918A (ja) * | 2007-12-28 | 2009-07-23 | Toshiba Microelectronics Corp | 復号再生装置及び方法並びに受信装置 |
JP2009207105A (ja) * | 2008-01-30 | 2009-09-10 | Onkyo Corp | ストリーム再生装置、ストリーミングシステム及びストリーム再生プログラム |
JP2009258608A (ja) * | 2008-03-21 | 2009-11-05 | Onkyo Corp | ストリーム再生装置およびそのプログラム |
JP4600698B2 (ja) * | 2008-03-21 | 2010-12-15 | オンキヨー株式会社 | ストリーム再生装置およびそのプログラム |
WO2010100895A1 (ja) * | 2009-03-06 | 2010-09-10 | パナソニック株式会社 | 音声再生装置及び映像音声再生装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4350916B2 (ja) | 2009-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4146489B2 (ja) | 音声パケット再生方法、音声パケット再生装置、音声パケット再生プログラム、記録媒体 | |
US5802068A (en) | Multiplexing apparatus of a plurality of data having different bit rates | |
US7228059B2 (en) | Audio reproducing apparatus and audio reproduction control method for use in the same | |
JP4630876B2 (ja) | 話速変換方法及び話速変換装置 | |
JP4350916B2 (ja) | 受信装置及び受信再生方法 | |
JP2005519537A (ja) | トリック・モードで再生中の音声データの削除および消音 | |
KR100490403B1 (ko) | 오디오 스트림의 버퍼링 제어 방법 및 그 장치 | |
JP2978752B2 (ja) | Atm無音圧縮方式 | |
JP4376165B2 (ja) | 受信装置,クロック調整方法および放送システム | |
US5896099A (en) | Audio decoder with buffer fullness control | |
KR102510865B1 (ko) | 신호 처리 장치 및 신호 처리 방법, 및 프로그램 | |
JP4623867B2 (ja) | 受信装置及び受信再生方法 | |
JP3416403B2 (ja) | Mpegオーディオデコーダ | |
JP4561301B2 (ja) | 音声の再生及び停止を制御する音声再生装置及びプログラム | |
JP2002330181A (ja) | 受信装置及び受信再生方法 | |
JP2004266724A (ja) | リアルタイム音声用バッファ制御装置 | |
JP4299731B2 (ja) | 受信装置及び受信再生方法 | |
JP4338083B2 (ja) | ディジタル音声再生装置 | |
JP3986147B2 (ja) | 音響信号処理装置及びオーディオ高速再生方法 | |
JP4730797B2 (ja) | 受信装置及び受信再生方法 | |
JP2007318283A (ja) | パケット通信システム、データ受信機器 | |
JP4053449B2 (ja) | 再生速度変換装置 | |
JP4900299B2 (ja) | ストリーム再生装置、ストリーミングシステム及びストリーム再生プログラム | |
JPH0927827A (ja) | 音声伝送方式および音声送信端末と音声受信端末および音声記録端末と音声再生端末 | |
JP2008099046A (ja) | 音声再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090707 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090723 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4350916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140731 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |