JP2006246133A - デジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法 - Google Patents

デジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法 Download PDF

Info

Publication number
JP2006246133A
JP2006246133A JP2005060371A JP2005060371A JP2006246133A JP 2006246133 A JP2006246133 A JP 2006246133A JP 2005060371 A JP2005060371 A JP 2005060371A JP 2005060371 A JP2005060371 A JP 2005060371A JP 2006246133 A JP2006246133 A JP 2006246133A
Authority
JP
Japan
Prior art keywords
stream packet
packet
unit
multiplexing
digital broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005060371A
Other languages
English (en)
Other versions
JP4559878B2 (ja
Inventor
Toshihiko Takesute
敏彦 武捨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005060371A priority Critical patent/JP4559878B2/ja
Publication of JP2006246133A publication Critical patent/JP2006246133A/ja
Application granted granted Critical
Publication of JP4559878B2 publication Critical patent/JP4559878B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Communication Control (AREA)

Abstract

【課題】ESからPES、PESからTSパケットを生成した後に多重する際に生じる多重化レートの変動を抑制し得るデジタル放送信号送出装置を提供する。
【解決手段】多重制御部15において、ES符号化部12から取得したESレート情報から求めたESのデータ量、つまり本来TS多重部11により送出されるべくESのデータ量と、実際に送出TSに多重すべくESのデータ量との差を一定時間毎に求め、この差が基準値を超える場合に映像用のTSパケットの多重処理を停止し、差が基準値を超えなくなってから映像用のTSパケットを送出TSに多重するようにしている。
【選択図】図1

Description

この発明は、例えばベースバンド映像信号からMPEG2規定のESを生成し、このESからTSパケットを生成して送出するデジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法に関する。
周知のように、MPEG2のPESにはPESヘッダ部とPESパケットデータ部がある。PESヘッダ部には、PESパケットの開始コードの他、PTS(Presentation Time Stamp)やDTS(Decoding Time Stamp)の時刻管理情報などが含まれ、ESの情報から算出されるデータが存在する。一方、PESパケットデータ部にはESそのものが存在する。
また、MPEG2のTSにはTSヘッダ部とアダプテーションフィールド部とペイロード部がある。TSヘッダ部には、TSの先頭部を示す同期バイトの他、TSヘッダ部に続くデータの内容などが含まれる。アダプテーションフィールド部にはシステムの時間情報を示すPCR(Program Clock Reference)などが含まれる。ペイロード部にはPESそのものが存在する。
デジタル放送送出設備においては、映像符号化装置にてESレートを指定することにより、ベースバンド映像信号から指定された符号量のESを生成し、このESからPESを生成し、PESからTSパケットを生成する。そして、多重化装置にてTSパケットを他のTSパケットに多重して送出することになる。しかし、多重化装置では、映像のパケットのみを換算したTSレート(多重化レート)が変動してしまうことがある。
そこで、従来では、生成されたESのデータ量からバッファ占有量を計算し、このバッファ占有量から基準符号量を超えないように映像パケットを多重することで多重化レートの変動を抑える手法が提案されている(例えば、特許文献1)。
特開2002−199356号公報。
ところが、上記手法では、生成されたESデータ量をバッファに格納して、このESから直接バッファ占有量を求めているものであり、ESからPES、PESからTSパケットを生成した後、多重処理を行う装置には適用できない。上記TSレートの変動は、PES化におけるオーバーヘッド量が一意に定まらないことが原因となっている。
従って、ESからPES、PESからTSパケットを生成する装置にあっても、多重化レートの変動を抑えるようにした何らかの手法が強く望まれている。
そこで、この発明の目的は、ESからPES、PESからTSパケットを生成した後に多重する際に生じる多重化レートの変動を抑制し得るデジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法を提供することにある。
この発明は、上記目的を達成するために、以下のように構成される。
符号化部にてベースバンド映像信号をヘッダ領域及びデータ領域を有する放送用に規格化された第1のストリームパケットに圧縮符号化し、多重化部にて第1のストリームパケットを当該第1のストリームパケットとは異なる第2のストリームパケットと多重化し送出信号として送出するデジタル放送信号送出装置であって、符号化部の符号化レート情報を取得する取得手段と、多重化部で送出信号に多重すべく第1のストリームパケットのデータ領域のデータ量を所定時間毎に求める第1の演算手段と、取得手段で取得された符号化レート情報から求めた所定時間毎のデータ量と、第1の演算手段で求められた所定時間毎のデータ量との差を求める第2の演算手段と、この第2の演算手段で求められた差が基準値を超えるか否かを判定し、基準値を超える場合に、第1のストリームパケットの送出信号に対する多重処理を停止するように多重化部を制御する制御手段とを備えるようにしたものである。
特に、符号化部が、ベースバンド映像信号からMPEG2(Moving Picture Experts Group 2)規定のES(Elementary Stream)を生成し、このESからPES(Packetized Elementary Stream)、このPESからTS(Transport Stream)パケットを生成するとき、取得手段は、符号化部のESレート情報を取得し、第1の演算手段は、送出信号に多重すべくESのデータ量を所定時間毎に求め、第2の演算手段は、取得手段で取得されたESレート情報から求めた所定時間毎のESのデータ量と、第1の演算手段で求められた所定時間毎のESのデータ量との差を求めることを特徴とする。
この構成によれば、取得したESレート情報から求めたESのデータ量、つまり本来多重化部により送出されるべくESのデータ量と、実際に送出信号に多重すべくESのデータ量との差を所定時間毎に求め、この差が基準値を超える場合に映像パケットの多重処理を停止し、差が基準値を超えなくなってから映像パケットを送出信号に多重するようにしているので、PES化におけるオーバーヘッド量が一意に定まらないことによる多重化レートの変動を抑制できる。
取得手段は、符号化部との通信により符号化レート情報を取得することを特徴とする。
この構成によれば、符号化部で指定される符号化レートを常に確実に取得することができる。
取得手段は、符号化レート情報を記憶した記録媒体を備えるとき、この記録媒体から符号化レート情報を読み出すことを特徴とする。
この構成によれば、1度符号化レート情報を記録媒体に記録しておけばよく、これにより記録媒体に記憶された符号化レート情報を用いて多重化レートの変動抑制処理を簡単手順で行うことができる。
以上詳述したようにこの発明によれば、ESからPES、PESからTSパケットを生成した後に多重する際に生じる多重化レートの変動を抑制し得るデジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法を提供することができる。
以下、この発明の実施形態について図面を参照して詳細に説明する。
(第1の実施形態)
図1は、この発明の第1の実施形態となるデジタル放送信号送出装置の構成を示すもので、11はTS多重部である。なお、ここでは説明を簡単にするため、TS多重部11の入力チャンネル(系統)数を4チャンネルとし、各チャンネル入力は全てTSパケットであるものとする。
この第1の実施形態では、TS多重部11の第1入力チャンネルにES符号化部12、PES化部13及びTSパケット化部14を設けている。ES符号化部12は、ベースバンド映像信号をES(Elementary Stream)に圧縮符号化するもので、多重制御部15からの要求に応じてESレート情報を多重制御部15に出力する。
PES化部13は、ES符号化部12から出力されるESからPES(Packetized Elementary Stream)を生成し、このPESをTSパケット化部14に出力する。TSパケット化部14は、PESからTSパケットを生成し、このTSパケットをTS多重部11に出力する。TS多重部11は、入力されたTSパケットと、第2入力チャンネルから入力された音声用のTSパケットと、第3入力チャンネルから入力されたデータ用のTSパケットと、第4入力チャンネルから入力されたPSI(Program Specific information)とを送出TSに多重する。
多重制御部15は、TS多重部11を制御するもので、ES符号化部12からESレート情報を取込んで、このESレート情報から一定時間毎(8μS)のESのデータ量を求めると共に、TS多重部11で多重される一定時間毎のESのデータ量を求め、これらデータ量の差が基準値を超える場合に、映像用のTSパケットの送出TSに対する多重処理を停止するようにTS多重部11を制御する。
次に、上記構成における処理動作について説明する。
上記構成において、ベースバンド映像信号は、ES符号化部12によって、ESに圧縮符号化され、PES化部13によってPESヘッダ部が付加されてPESに生成され、TSパケット化部14によってTSヘッダ部、アダプテーションフィールド部等が付加されてTSパケットに生成されてTS多重部11に供給される。
ところで、TS多重部11において、TSパケットは、図2に示すように、指定されたESレートに従って送出TSに多重されるが、PES化時のオーバーヘッド量により、実際には図2中Bに示すように推移することになり、場合によっては平均多重量(図2中A)を超えてしまうことがある。
そこで、本第1の実施形態では、多重制御部15において、図3に示す制御処理を実行する。
多重制御部15は、ES符号化部12からESレート情報を取得し(ステップST3a)、このESレート情報から一定時間(8μS)毎のESのデータ量Aの累積和を求め(ステップST3b)、実際に多重化される一定時間(8μS)毎のESのデータ量Bの累積和を求め(ステップST3c)、これらESのデータ量Aとデータ量Bとの差を求める(ステップST3d)。
例えば、ESレートが15Mbpsの場合、8μS毎に多重すべき平均多重量は、
15000000[bps]×0.000008[s]/8[bit]=15[バイト]
となる。
続いて、多重制御部15は、上記差が基準値(例えば0)を超えるか否かの判断を行い(ステップST3e)、差が基準値を超える場合(Yes)、次の映像用のTSパケットの多重処理を停止するようにTS多重部11を制御し(ステップST3f)、上記ステップST3bの処理に移行する。8μSが過ぎれば、さらにESのデータ量から15バイトが引かれるので、いずれは引いた結果の値が基準値以下になり、映像用のTSパケットが多重されることになる(ステップST3g)。
以上のように上記第1の実施形態では、多重制御部15において、ES符号化部12から取得したESレート情報から求めたESのデータ量、つまり本来TS多重部11により送出されるべくESのデータ量と、実際に送出TSに多重すべくESのデータ量との差を一定時間毎に求め、この差が基準値を超える場合に映像用のTSパケットの多重処理を停止し、差が基準値を超えなくなってから映像用のTSパケットを送出TSに多重するようにしている。従って、PES化におけるオーバーヘッド量が一意に定まらないことによるTSレートの変動を抑制できる。
また、上記第1の実施形態では、多重制御部15において、ES符号化部12との通信によりESレート情報を取得するようにしているので、ES符号化部12で指定されるESレート情報を常に確実に取得することができる。
(第2の実施形態)
図4は、この発明の第2の実施形態となるデジタル放送信号送出装置の構成を示すもので、21はTS多重部である。なお、図4において、上記図1と同一部分には同一符号を付して詳細な説明を省略する。また、ここでは説明を簡単にするため、TS多重部21の入力チャンネル(系統)数を4チャンネルとし、各チャンネル入力は全てTSパケットであるものとする。
TS多重部21には、記憶部211が設けられている。この記憶部211には、図5に示すように、1映像フレーム期間(33.3mS)に送出TSとして出力すべき映像用のTSパケット、音声用のTSパケット、データ用のTSパケットの組み合わせ手順を示す指示情報と、ES符号化部12のESレート情報とが記憶されている。
TS多重部21は、記憶部211に記憶されている指示情報に従って、映像用のTSパケット、音声用のTSパケット、データ用のTSパケットを送出TSに多重して送出するとともに、記憶部211に記憶されているESレート情報から一定時間毎(8μS)のESのデータ量を求めると共に、多重すべく一定時間毎のESのデータ量を求め、これらデータ量の差が基準値を超える場合に、映像用のTSパケットの送出TSに対する多重処理を停止する。これにより、適切なレート管理を行うことができる。
次に、上記構成における動作について説明する。
例えば、TSレートが20Mbpsである場合、1映像フレーム期間に出力すべきTSパケット数は、
20000000[bps]/8[bit]/188[バイト]/(30/1.001)[s]=443.7…[パケット]
となる。端数は切り捨てて443パケットとし、この443パケットに対して、予め何番目のパケットでは何を多重するかをTS多重部21に予め指定しておく。
映像のESレートが15Mbpsの場合、1映像フレーム期間に出力すべきTSパケット数は、
(15000000[bps]/8[bit]/(30/1.001)[s]+19[バイト])/184[バイト]=340.1…[パケット]
となる。端数は切り上げて、さらにPES化のオーバーヘッドを考慮して+1し、342パケットを映像用のパケットとする。
443パケットのうち342パケットを映像用のパケットとしておくが、PES化のオーバーヘッドは変動するため、そのまま342パケット全てに映像を多重してしまうと、ESレートが高くなりすぎる可能性が非常に高い。
そこで、本第2の実施形態では、上記第1の実施形態と同様に、記憶部211に記憶されたESレート情報から求めたESのデータ量と、実際に送出TSに多重すべくESのデータ量との差を一定時間毎に求め、この差が基準値を超える場合に映像用のTSパケットの多重処理を停止し、差が基準値を超えなくなってから映像用のTSパケットを送出TSに多重するようにしている。
このように上記第2の実施形態であれば、上記第1の実施形態と同様に、ESレートを適切に管理することができ、さらに記憶部211に記憶された指示情報及びESレート情報を用いてTSレートの変動抑制処理を簡単な手順で行うことができる。
(その他の実施形態)
この発明は、上記各実施形態に限定されるものではない。例えば上記第1の実施形態では、多重制御部15によりES符号化部12からESレート情報を取得する例について説明した。しかしこれに限ることなく、TS多重部11に記憶部を設けておいて、この記憶部に予めESレート情報を記憶しておくようにしてもよい。このようにすれば、TS多重部11内でTSレートの変動抑制処理を簡単に実行できる。
また、上記第2の実施形態では、TS多重部21に記憶部211を設けてこの記憶部211内に指示情報及びESレート情報を記憶しておく例について説明した。しかしこれに限ることなく、第1の実施形態のように多重制御部により指示情報及びESレート情報に従った多重処理を実行させるようにしてもよい。
また、上記第1の実施形態では、TS多重部11に対し多重制御部15を設けるようにしたが、多重制御部15の機能をTS多重部11に持たせるようにしたもよい。
その他、デジタル放送信号送出装置の構成、TSパケットの多重方法等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
この発明の第1の実施形態となるデジタル放送信号送出装置の構成を示すブロック図。 同第1の実施形態において、ESレートから求めた平均多重データ量と実際に多重されるESのデータ量との関係を示す特性図。 同第1の実施形態における多重制御部の処理手順を示すフローチャート。 この発明の第2の実施形態となるデジタル放送信号送出装置の構成を示すブロック図。 同第2の実施形態におけるTSパケットの組み合わせの一例を示す図。
符号の説明
11,21…TS多重部、12…ES符号化部、13…PES化部、14…TSパケット化部、15…多重制御部、211…記憶部。

Claims (7)

  1. 符号化部にてベースバンド映像信号をヘッダ領域及びデータ領域を有する放送用に規格化された第1のストリームパケットに圧縮符号化し、多重化部にて前記第1のストリームパケットを当該第1のストリームパケットとは異なる第2のストリームパケットと多重化し送出信号として送出するデジタル放送信号送出装置であって、
    前記符号化部の符号化レート情報を取得する取得手段と、
    前記多重化部で前記送出信号に多重すべく第1のストリームパケットのデータ領域のデータ量を所定時間毎に求める第1の演算手段と、
    前記取得手段で取得された前記符号化レート情報から求めた所定時間毎のデータ量と、前記第1の演算手段で求められた所定時間毎のデータ量との差を求める第2の演算手段と、
    この第2の演算手段で求められた差が基準値を超えるか否かを判定し、基準値を超える場合に、前記第1のストリームパケットの前記送出信号に対する多重処理を停止するように前記多重化部を制御する制御手段とを具備したことを特徴とするデジタル放送信号送出装置。
  2. 前記符号化部が、前記ベースバンド映像信号からMPEG2(Moving Picture Experts Group 2)規定のES(Elementary Stream)を生成し、このESからPES(Packetized Elementary Stream)、このPESからTS(Transport Stream)パケットを生成するとき、
    前記取得手段は、前記符号化部のESレート情報を取得し、
    前記第1の演算手段は、前記送出信号に多重すべくESのデータ量を所定時間毎に求め、
    前記第2の演算手段は、前記取得手段で取得された前記ESレート情報から求めた所定時間毎のESのデータ量と、前記第1の演算手段で求められた所定時間毎のESのデータ量との差を求めることを特徴とする請求項1記載のデジタル放送信号送出装置。
  3. 前記取得手段は、前記符号化部との通信により前記符号化レート情報を取得することを特徴とする請求項1記載のデジタル放送信号送出装置。
  4. 前記取得手段は、前記符号化レート情報を記憶した記録媒体を備えるとき、この記録媒体から前記符号化レート情報を読み出すことを特徴とする請求項1記載のデジタル放送信号送出装置。
  5. さらに、1映像フレーム期間に前記送出信号として出力すべき第1のストリームパケット、第2のストリームパケットの並び替え手順を示す指示情報を発生する指示情報発生手段を備え、
    前記制御手段は、前記指示情報取得手段で得られた前記指示情報に基づいて前記多重化部から前記第1のストリームパケット及び第2のストリームパケットを送出信号に多重するとともに、前記第2の演算手段で求められた差が基準値以上である場合に、前記1映像フレーム期間における第1のストリームパケットの前記送出信号に対する多重処理を停止するように前記多重化部を制御することを特徴とする請求項1記載のデジタル放送信号送出装置。
  6. 前記指示情報発生手段は、前記指示情報が記憶された記録媒体を備えることを特徴とする請求項5記載のデジタル放送信号送出装置。
  7. 符号化部にてベースバンド映像信号をヘッダ領域及びデータ領域を有する放送用に規格化された第1のストリームパケットに圧縮符号化し、多重化部にて前記第1のストリームパケットを当該第1のストリームパケットとは異なる第2のストリームパケットと多重化し送出信号として送出するデジタル放送信号送出装置の制御方法であって、
    前記符号化部の符号化レート情報を取得し、
    前記多重化部で前記送出信号に多重すべく第1のストリームパケットのデータ領域のデータ量を所定時間毎に求め、
    前記符号化レート情報から求めた所定時間毎のデータ量と、前記第1のストリームパケットの所定時間毎のデータ量との差を求め、
    この求められた差が基準値を超えるか否かを判定し、基準値を超える場合に、前記第1のストリームパケットの前記送出信号に対する多重処理を停止するようにしたことを特徴とするデジタル放送信号送出装置の制御方法。
JP2005060371A 2005-03-04 2005-03-04 デジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法 Expired - Fee Related JP4559878B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005060371A JP4559878B2 (ja) 2005-03-04 2005-03-04 デジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005060371A JP4559878B2 (ja) 2005-03-04 2005-03-04 デジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法

Publications (2)

Publication Number Publication Date
JP2006246133A true JP2006246133A (ja) 2006-09-14
JP4559878B2 JP4559878B2 (ja) 2010-10-13

Family

ID=37052056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005060371A Expired - Fee Related JP4559878B2 (ja) 2005-03-04 2005-03-04 デジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法

Country Status (1)

Country Link
JP (1) JP4559878B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999034543A1 (en) * 1997-12-31 1999-07-08 Sony Corporation Coded data output device and method
JPH11234634A (ja) * 1998-02-13 1999-08-27 Sony Corp データ送出装置およびデータ多重化装置
JPH11340935A (ja) * 1998-05-28 1999-12-10 Sony Corp データ多重化装置及び方法
JP2002199356A (ja) * 2000-12-26 2002-07-12 Nec Microsystems Ltd Ps多重化システム及びps多重化方法
JP2005101860A (ja) * 2003-09-24 2005-04-14 Matsushita Electric Ind Co Ltd メディア情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999034543A1 (en) * 1997-12-31 1999-07-08 Sony Corporation Coded data output device and method
JPH11234634A (ja) * 1998-02-13 1999-08-27 Sony Corp データ送出装置およびデータ多重化装置
JPH11340935A (ja) * 1998-05-28 1999-12-10 Sony Corp データ多重化装置及び方法
JP2002199356A (ja) * 2000-12-26 2002-07-12 Nec Microsystems Ltd Ps多重化システム及びps多重化方法
JP2005101860A (ja) * 2003-09-24 2005-04-14 Matsushita Electric Ind Co Ltd メディア情報処理方法

Also Published As

Publication number Publication date
JP4559878B2 (ja) 2010-10-13

Similar Documents

Publication Publication Date Title
CN110099289B (zh) 数据发送方法、数据再现方法、数据发送装置及数据再现装置
US8335262B2 (en) Dynamic rate adjustment to splice compressed video streams
US7379497B2 (en) Encoded data outputting apparatus and method
US20100232453A1 (en) Information processing apparatus and multiplexing method
JP5064305B2 (ja) ビットレート変換装置及び変換方法
US7333711B2 (en) Data distribution apparatus and method, and data distribution system
US7729383B2 (en) Multiplexer and multiplexing method
JP4559878B2 (ja) デジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法
US7269839B2 (en) Data distribution apparatus and method, and data distribution system
CN113747209A (zh) 多路ts流节目的重组方法及装置
JPH11340936A (ja) データ多重化方法及び装置
JP2000049726A (ja) 多重化装置及び方法
EP1615439A2 (en) Network receiving apparatus and network transmitting apparatus
JP2011239009A (ja) 伝送装置
JP2012160798A (ja) 映像受信装置
KR100918561B1 (ko) 패딩 제거 기법을 이용한 전송 스트림 다중화 장치 및 방법
JP2002152047A (ja) マルチプログラム圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体
JPH11340935A (ja) データ多重化装置及び方法
KR0180174B1 (ko) Mpeg2 pat의 역패킷화기
JP2006014079A (ja) ディジタル信号処理装置及びディジタル信号処理方法
JP5559005B2 (ja) 伝送装置
JP4542924B2 (ja) デジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法
JP2005142612A (ja) 画像符号化装置及び画像符号化方法
JP2003108193A (ja) リアルタイムmpeg2用のエンコーダおよびエンコーダにおける多重化制御方法
JP2018137654A (ja) 通信装置、通信プログラム、および、通信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100723

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees