JP2001016584A - ビデオ伝送方法および装置 - Google Patents
ビデオ伝送方法および装置Info
- Publication number
- JP2001016584A JP2001016584A JP18521199A JP18521199A JP2001016584A JP 2001016584 A JP2001016584 A JP 2001016584A JP 18521199 A JP18521199 A JP 18521199A JP 18521199 A JP18521199 A JP 18521199A JP 2001016584 A JP2001016584 A JP 2001016584A
- Authority
- JP
- Japan
- Prior art keywords
- video
- error correction
- transmission
- quality
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Error Detection And Correction (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
正情報を適応的に付加することができるビデオ伝送方法
および装置を提供することにある。 【解決手段】 網品質監視部9は受信部5で受信された
ビデオ信号に基づいて伝送路bの品質を判定する。該品
質の判定結果は制御部4に送られる。該制御部4は、該
品質に基づいて、ストリーム変換部1と可変FEC部2
を制御し、ビデオビットレートの増減と、誤り訂正強度
の強弱を制御する。
Description
よび装置に関し、特に、伝送誤りが発生する可能性の大
きな伝送路、例えば車両などの移動体にビデオ信号を配
信する伝送路に用いて好適なビデオ伝送方法および装置
に関する。
信号(以下、ビデオ信号と呼ぶ)を配信することが実施
されており、例えば車両中でテレビ放送を見ることがで
きるようになっている。移動体は、周知のように、電波
の届かない建物の陰に入ったり、種々の物体から発生あ
るいは反射された電波、すなわちノイズを受けたりする
ので、移動体にビデオ信号を誤りなく配信するのは非常
に困難である。そこで、従来は、伝送路における誤りを
訂正するために、強力な誤り訂正符号を固定的に適用し
て伝送し、受信側では、それをリアルタイムで復号し、
再生・表示するようにしている。
るビデオ信号に強力な誤り訂正符号を付加すると、誤り
の少ない伝送をすることができるが、強力な誤り訂正能
力をもつ符号は、元の情報レートに対する付加ビットの
割合が大きくなるため、データサイズが増加する。移動
体にビデオ信号を配信する伝送路の品質は刻一刻変化
し、該品質が良い場合には強力な誤り訂正情報は無駄に
なるという問題があった。また、利用可能なビットレー
トに制約がある伝送路の場合には、誤り訂正符号の増加
分だけ、ビデオ情報を削減しなくてはならず、画質が劣
化するという問題があった。
題点を除去し、伝送品質が変化する伝送路に対して、誤
り訂正情報を適応的に付加することができるビデオ伝送
方法および装置を提供することにある。
ために、本発明は、受信側で受信されたビデオ信号に基
づいて伝送路の品質を判定し、送信側において、該判定
された伝送路の品質に従ってビデオビットレートの増減
と、誤り訂正強度の強弱を制御するようにした点に第1
の特徴がある。
を伝送するビデオ伝送装置において、ビデオビットレー
トの増減を行うストリーム変換部と、該ストリーム変換
部から出力された信号に誤り訂正符号化を可変的に施す
可変誤り訂正符号化部と、伝送路の品質に応じて、前記
ビデオビットレートの増減に関する制御信号を前記スト
リーム変換部に送り、かつ前記誤り訂正符号の強弱に関
する制御信号を前記可変誤り訂正符号化部に送る制御部
とを具備し、前記伝送路の品質に応じて、ビデオビット
レートの増減と誤り訂正符号の強弱を、適応的に制御す
るようにした点に第2の特徴がある。
路の品質をリアルタイムに判定し、その判定結果を送信
側に通知し、送信側はリアルタイムに、ビデオビットレ
ートの増減と、誤り訂正強度の強弱を制御することがで
きるようになる。したがって、伝送品質が変化する伝送
路に対して、誤り訂正情報を適応的に付加することがで
きるようになる。
を詳細に説明する。図1は、本発明の一実施形態の概略
の構成を示すブロック図である。本実施形態のビデオ伝
送装置は、送信側と受信側とから構成されている。送信
側は、伝送されるビデオデータのビットレートを削減す
るストリーム変換部1と、該ストリーム変換部1からの
出力に誤り訂正符号化を施す可変誤り訂正符号化部であ
る可変FEC(Forward Error Correction)部2と、該
誤り訂正符号化を施されたビデオデータをパケット化し
た後受信側へ伝送する送信部3と、前記ストリーム変換
部1と可変FEC部2の動作を制御する制御部4から構
成されている。
パケットを受信する受信部5と、前記誤り訂正符号化を
復号化するFEC復号部6と、該誤り訂正符号化が復号
化されたビデオデータを復号化するビデオ復号部7と、
該ビデオ復号部7の出力を表示するビデオ表示部8と、
前記受信部5の受信データを監視して網品質を判定する
網品質監視部9とから構成されている。
ストリーム変換部1は、符号化済み動画像データa、例
えばMPEG−1データを、図示されていないネットワ
ークから、あるいはローカルハードディスク10から読
込み、ビットレートの削減を行う。該ビットレートの削
減は、例えば本出願人による出願である特開平10−2
24794号公報に記されている方法を用いることがで
きる。
を参照して、簡単に説明する。図2は、前記ストリーム
変換部1の一具体例を示すブロック図である。I,P,
B分離部11は、符号化済み動画像データaを、そのピ
クチャヘッダに基づいてI,P,Bピクチャに分離す
る。該I,P,B分離部11で分離されたI,P,Bピ
クチャは、それぞれ第1、2、3のヘッダ・低周波・高
周波分離部12、13、14に入力する。第1のヘッダ
・低周波・高周波分離部12は、Iピクチャのピクチャ
ヘッダ、マクロブロックヘッダおよびDCTデータの低
周波成分と、該DCTデータの高周波成分とに分離す
る。前記ヘッダおよび低周波成分は第1の選択部15に
入り、前記高周波成分は第2の選択部16に入る。第2
のヘッダ・低周波・高周波分離部13は、Pピクチャの
ピクチャヘッダ、マクロブロックヘッダ、動ベクトルお
よびDCTデータの低周波成分と、該DCTデータの高
周波成分とに分離する。そして、前者は第3の選択部1
7に入り、後者は第4の選択部18に入る。さらに、第
3のヘッダ・低周波・高周波分離部14は、Bピクチャ
のピクチャヘッダ、マクロブロックヘッダ、動ベクトル
およびDCTデータの低周波成分と、該DCTデータの
高周波成分とに分離する。そして、前者は第5の選択部
19に入り、後者は第6の選択部20に入る。前記第1
〜6の選択部15〜20は、前記制御部4からの制御信
号により制御され、選択的に動作をさせられる。
て、前記符号化済み動画像データaを復号して、前記制
御部4からの制御信号により、該制御信号に応じたビッ
トレートで再符号化するものも用いることができる。
換されたデータは、可変FEC部2に入力する。該可変
FEC部2では、制御部4からの指示に従って強度を変
更した誤り訂正符号化を施す。該誤り訂正符号化として
は、例えば、インタリーブ付きリードソロモン(Reed So
lomon)符号を用いることができる。インタリーブ付きリ
ードソロモン符号は、図3に示されているように、イン
タリーブの段数をn段とした場合、データの書込みとリ
ードソロモンの誤り訂正符号の適用を横方向に行い、送
信データの読出しを縦方向(段方向)にするものであ
る。伝送途中のエラーは、一般的にバースト状に発生す
る性質を有しており、連続して数個以上のエラーが発生
すると正しいデータに復元することができないので、イ
ンタリーブの段数を大きくし、チェックビット長とリー
ドソロモン符号の符号長を長くすることにより、誤り耐
性を強化することができる。該リードソロモン符号を、
他の誤り訂正符号、例えばBCH(Bose-Chaudhuri-Hoch
quenghem) 符号に置き換えても良いことは勿論である。
正符号化を施された送信データに対して、図4に示され
ているようなパケット化を行う。該パケットは、シーケ
ンス番号、制御パラメータ、ビデオフレームポインタお
よびビデオデータから構成されている。前記シーケンス
番号は、パケット毎に1ずつ増えていく値であり、前記
制御パラメータは、前記ストリーム変換部1と可変FE
C部2が従っている制御を示すパラメータである。ま
た、ビデオフレームポインタは送信開始から数えて何番
目のビデオフレームであるかを示すポインタである。
路bを経て送られてきたパケットを受信し、受信したパ
ケットをFEC復号部6と網品質監視部9とに送る。該
網品質監視部9は、パケットヘッダ中のシーケンス番号
を監視しており、シーケンス番号が不連続になっている
場合には、伝送路上のエラーのためにパケット損失が発
生していると判定し、このシーケンス番号の不連続の度
合いに応じて、伝送路品質状態、または網品質状態の値
を決定する。該網品質監視部9によって決定された網品
質状態の値は、制御部4に送られる。
って、前記ストリーム変換部1と可変FEC部2の制御
を行う。例えば、網品質状態を0から5までの整数の値
(5が最も良く、0が最も悪い)で表現すると、該網品
質状態の値に対応した制御値を予め定めておいて、該制
御値をストリーム変換部1と可変FEC部2に指示す
る。
示した構成の場合には、網品質状態の値が5の時には、
前記第1〜6の選択部15〜20を全て有効にして、ビ
デオデータをそのまま全て伝送する。網品質状態の値が
4の時には、前記第1〜5の選択部15〜19を有効に
し、第6の選択部20だけを無効(不作動)にして、B
ピクチャの高次係数のビデオデータのみを廃棄する。ま
た、網品質状態の値が3の時には、前記第1〜4の選択
部15〜18を有効にし、第5、6の選択部19、20
を無効にして、Bピクチャを廃棄する。
状態の値が5の時には、誤り訂正符号化(FEC)を施
さずに、データを送信部3に出力する。網品質状態の値
が4の時には、インタリーブ無しで、RS(255,2
42)のリードソロモン符号を適用する。また、網品質
状態の値が3の時には、インタリーブ5段で、RS(2
55,237)のリードソロモン符号を適用する。ここ
に、RS(255,242)の、「255」は(元のデ
ータ+訂正付加ビット長)を示し、「242」は(元の
データのビット長)を示す。したがって、RS(25
5,242)の付加ビット長は13ビットであることが
分かる。前記RS(255,237)も、同様の内容を
意味している。この場合の付加ビット長は18ビットと
なる。
たパケットは、該FEC復号部6にてFEC復号され
る。該FEC復号部6は、パケットヘッダ中の制御パラ
メータを参照して、FEC復号方法を判断し、復号を行
う。この復号は、縦方向に受信データをn段分ずつ順次
書込み、横方向に誤り訂正復号および復号後のデータ読
出しを行う。ビデオ復号部7は、該FEC復号されたデ
ータをビデオ信号に復号する。この時、パケットヘッダ
中の制御パラメータを参照して、ビデオ復号方法を判断
し、復号を行う。ビデオ表示部8は、復号されたビデオ
信号をモニタに表示する。
路の品質状態に応じて、ビットレートの削減と誤り訂正
の強さを適応的に変えることができるようになる。
は、受信部5で受信されたパケットのシーケンス番号の
不連続の度合いに応じて、網品質状態の値を決定した
が、FEC復号部6で得られるエラーレートに基づい
て、該網品質状態の値を決定するようにしてもよい。
によれば、伝送路の品質を判定し、該判定された伝送路
の品質に従ってビデオビットレートの増減と、誤り訂正
強度の強弱を制御するようにしたので、伝送品質が変化
する伝送路に対して、誤り訂正情報を適応的に付加する
ことができるようになる。このため、付加される誤り訂
正情報量を最小限に抑えることができ、スループットの
向上を図ることができるようになる。
チャおよびPピクチャと、DCT低周波成分およびDC
T高周波成分とを組み合わせて削除するようにしたの
で、MPEGで圧縮されたビデオ信号の伝送に適した装
置を提供することができるようになる。
ック図である。
ロック図である。
ある。
部、4…制御部、5…受信部、6…FEC復号部、7…
ビデオ復号部、8…ビデオ表示部、9…網品質監視部、
10…ローカルハードディスク。
Claims (7)
- 【請求項1】 ビデオ信号の伝送方法において、 受信側で受信されたビデオ信号に基づいて伝送路の品質
を判定し、送信側において、該判定された伝送路の品質
に従ってビデオビットレートの増減と、誤り訂正強度の
強弱を制御するようにしたことを特徴とするビデオ伝送
方法。 - 【請求項2】 請求項1に記載のビデオ信号の伝送方法
において、 前記ビデオ信号はパケット化されて伝送路上を伝送さ
れ、受信側は該パケットのシーケンス番号の連続性を監
視することにより、該伝送路の品質を判定するようにし
たことを特徴とするビデオ信号の伝送方法。 - 【請求項3】 符号化されたビデオ信号を伝送するビデ
オ伝送装置において、 ビデオビットレートの増減を行
うストリーム変換部と、 該ストリーム変換部から出力された信号に誤り訂正符号
化を可変的に施す可変誤り訂正符号化部と、 伝送路の品質に応じて、前記ビデオビットレートの増減
に関する制御信号を前記ストリーム変換部に送り、かつ
前記誤り訂正符号の強弱に関する制御信号を前記可変誤
り訂正符号化部に送る制御部とを具備し、 前記伝送路の品質に応じて、ビデオビットレートの増減
と誤り訂正符号の強弱を、適応的に制御するようにした
ことを特徴とするビデオ伝送装置。 - 【請求項4】 請求項3に記載のビデオ信号の伝送方法
において、 前記ストリーム変換部は、ビデオ信号の再符号化により
ビデオビットレートを増減するようにしたことを特徴と
するビデオ伝送装置。 - 【請求項5】 請求項3に記載のビデオ信号の伝送方法
において、 前記ストリーム変換部は、MPEGで圧縮されたビット
ストリームを入力とし、BピクチャおよびPピクチャ
と、DCT低周波成分およびDCT高周波成分とを組み
合わせて削除することにより、ビットレートの増減を行
うようにしたことを特徴とするビデオ伝送装置。 - 【請求項6】 請求項3に記載のビデオ信号の伝送方法
において、 前記可変誤り訂正符号化部は、インタリーブの段数およ
び誤り訂正符号の符号長を変化させることにより、誤り
訂正符号の強弱を制御するようにしたことを特徴とする
ビデオ伝送装置。 - 【請求項7】 符号化されたビデオ信号を伝送するビデ
オ伝送装置において、 パケット化されたビデオデータ
を受信する受信部と、 該受信部で受信されたパケットを監視することにより、
該伝送路の品質を判定し、判定結果を送信側に通知する
伝送路の品質監視部とを具備したことを特徴とするビデ
オ伝送装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18521199A JP3722265B2 (ja) | 1999-06-30 | 1999-06-30 | ビデオ伝送方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18521199A JP3722265B2 (ja) | 1999-06-30 | 1999-06-30 | ビデオ伝送方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001016584A true JP2001016584A (ja) | 2001-01-19 |
JP3722265B2 JP3722265B2 (ja) | 2005-11-30 |
Family
ID=16166826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18521199A Expired - Fee Related JP3722265B2 (ja) | 1999-06-30 | 1999-06-30 | ビデオ伝送方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3722265B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006103724A1 (ja) * | 2005-03-25 | 2006-10-05 | Fujitsu Limited | パケットの配信帯域制御方法、配信装置及び映像配信システム |
JP2007074413A (ja) * | 2005-09-07 | 2007-03-22 | Kddi Corp | コンテンツ配信装置およびコンテンツ受信装置、ならびにコンテンツ配信システム、コンピュータプログラム |
JP2007214656A (ja) * | 2006-02-07 | 2007-08-23 | Nec Corp | データ送信装置及びデータ受信装置並びにデータ送信方法及びデータ受信方法 |
US7301928B2 (en) | 2004-06-09 | 2007-11-27 | Hitachi Kokusai Electric Inc. | Wireless packet transfer apparatus and method |
JP2008502212A (ja) * | 2004-06-01 | 2008-01-24 | クゥアルコム・インコーポレイテッド | 配信されたソース符号化技術に基づいたサイドチャネルを利用して予測的なビデオコデックのロバスト性を高める方法、装置、及びシステム |
JP2008516565A (ja) * | 2004-10-12 | 2008-05-15 | ドロップレット テクノロジー インコーポレイテッド | モバイルイメージングアプリケーション、装置、アーキテクチャ及びサービスプラットホームアーキテクチャ |
JP2008527862A (ja) * | 2005-01-06 | 2008-07-24 | テラヨン コミュニケーションズ システムズ, インコーポレイテッド | Fecフィードバックを使用する適応型情報配送システム |
JP2008537646A (ja) * | 2005-01-14 | 2008-09-18 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | チャンネル位相フィードバックに基づく時空間トレリス符号の使用方法および装置 |
JP2010141659A (ja) * | 2008-12-12 | 2010-06-24 | Sony Corp | 情報処理装置および方法 |
JP2016119557A (ja) * | 2014-12-19 | 2016-06-30 | 日本放送協会 | 映像送信装置及びプログラム |
JP2019501566A (ja) * | 2016-03-11 | 2019-01-17 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | ビデオデータ冗長制御方法および装置 |
-
1999
- 1999-06-30 JP JP18521199A patent/JP3722265B2/ja not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008502212A (ja) * | 2004-06-01 | 2008-01-24 | クゥアルコム・インコーポレイテッド | 配信されたソース符号化技術に基づいたサイドチャネルを利用して予測的なビデオコデックのロバスト性を高める方法、装置、及びシステム |
JP4660545B2 (ja) * | 2004-06-01 | 2011-03-30 | クゥアルコム・インコーポレイテッド | 配信されたソース符号化技術に基づいたサイドチャネルを利用して予測的なビデオコデックのロバスト性を高める方法、装置、及びシステム |
US7301928B2 (en) | 2004-06-09 | 2007-11-27 | Hitachi Kokusai Electric Inc. | Wireless packet transfer apparatus and method |
JP2008516565A (ja) * | 2004-10-12 | 2008-05-15 | ドロップレット テクノロジー インコーポレイテッド | モバイルイメージングアプリケーション、装置、アーキテクチャ及びサービスプラットホームアーキテクチャ |
JP2008527862A (ja) * | 2005-01-06 | 2008-07-24 | テラヨン コミュニケーションズ システムズ, インコーポレイテッド | Fecフィードバックを使用する適応型情報配送システム |
JP2008537646A (ja) * | 2005-01-14 | 2008-09-18 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | チャンネル位相フィードバックに基づく時空間トレリス符号の使用方法および装置 |
US8472310B2 (en) | 2005-03-25 | 2013-06-25 | Fujitsu Limited | Packet distribution band controlling method, distributing apparatus, and video distributing system |
WO2006103724A1 (ja) * | 2005-03-25 | 2006-10-05 | Fujitsu Limited | パケットの配信帯域制御方法、配信装置及び映像配信システム |
JP4579109B2 (ja) * | 2005-09-07 | 2010-11-10 | Kddi株式会社 | コンテンツ配信装置およびコンテンツ受信装置、ならびにコンテンツ配信システム、コンピュータプログラム |
JP2007074413A (ja) * | 2005-09-07 | 2007-03-22 | Kddi Corp | コンテンツ配信装置およびコンテンツ受信装置、ならびにコンテンツ配信システム、コンピュータプログラム |
US7941731B2 (en) | 2006-02-07 | 2011-05-10 | Nec Corporation | Data sending device, data receiving device, data sending method, and data receiving method |
JP4577574B2 (ja) * | 2006-02-07 | 2010-11-10 | 日本電気株式会社 | データ送信装置及びデータ受信装置並びにデータ送信方法及びデータ受信方法 |
JP2007214656A (ja) * | 2006-02-07 | 2007-08-23 | Nec Corp | データ送信装置及びデータ受信装置並びにデータ送信方法及びデータ受信方法 |
JP2010141659A (ja) * | 2008-12-12 | 2010-06-24 | Sony Corp | 情報処理装置および方法 |
US8311122B2 (en) | 2008-12-12 | 2012-11-13 | Sony Corporation | Information processing apparatus and method |
JP2016119557A (ja) * | 2014-12-19 | 2016-06-30 | 日本放送協会 | 映像送信装置及びプログラム |
JP2019501566A (ja) * | 2016-03-11 | 2019-01-17 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | ビデオデータ冗長制御方法および装置 |
US10735029B2 (en) | 2016-03-11 | 2020-08-04 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for encoding packets using video data redundancy control information |
Also Published As
Publication number | Publication date |
---|---|
JP3722265B2 (ja) | 2005-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7487423B2 (en) | Decoding method, medium, and apparatus | |
KR100939951B1 (ko) | 인 밴드 에러 패턴을 사용한 에러 복원 | |
JPH07322248A (ja) | 動画像データの伝送方法および伝送装置 | |
JP2000134620A (ja) | 圧縮符号化されたビデオ信号を復号化する方法 | |
JP2000134619A (ja) | エンコ―ド方法及びエンコ―ダ | |
JP2004507147A5 (ja) | コード化情報の送信における、受信情報に対する時間遅れを低減する方法 | |
KR20080086764A (ko) | 패킷 기반의 영상 프레임 전송 방법 및 장치 | |
JP2008529346A (ja) | Crcパリティコードを利用したビデオエラー検出技術 | |
EP1312222A1 (en) | Video coding | |
US8098727B2 (en) | Method and decoding device for decoding coded user data | |
US8458569B2 (en) | Apparatus and method for improving error correction capability using stuffing byte | |
JP2001016584A (ja) | ビデオ伝送方法および装置 | |
WO1999004569A1 (en) | Progressive image signal transmitter, progressive image signal receiver and, medium | |
JP2002009635A (ja) | ソースデコーダにおいて、エラー低減および/または隠蔽するためのチャネルエラーフラグを生成する方法および装置 | |
CN110708569B (zh) | 一种视频处理方法、装置、电子设备及存储介质 | |
JP4572755B2 (ja) | 復号化装置,復号化方法及びデジタル音声通信システム | |
US20040258163A1 (en) | Video communication system and video coding method | |
EP2200025A1 (en) | Bandwidth scalable codec and control method thereof | |
JP5474896B2 (ja) | Crcパリティコードを利用したビデオエラー検出技術 | |
KR101703133B1 (ko) | 실시간 소스-채널 복합부호화 방법 및 그 장치 | |
JP2010239433A (ja) | 映像符号化装置、方法及びプログラム | |
JP2009272684A (ja) | 映像通信装置 | |
JP2001339368A (ja) | 誤り補償回路及び誤り補償機能を備えた復号装置 | |
JP3807110B2 (ja) | 画像符号化装置 | |
JP2001016585A (ja) | ビデオ蓄積再生方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050907 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |