JP2003061090A - 低レート映像符号化における量子化制御方法 - Google Patents

低レート映像符号化における量子化制御方法

Info

Publication number
JP2003061090A
JP2003061090A JP2001250539A JP2001250539A JP2003061090A JP 2003061090 A JP2003061090 A JP 2003061090A JP 2001250539 A JP2001250539 A JP 2001250539A JP 2001250539 A JP2001250539 A JP 2001250539A JP 2003061090 A JP2003061090 A JP 2003061090A
Authority
JP
Japan
Prior art keywords
edge
quantization
macroblock
control method
mquant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001250539A
Other languages
English (en)
Other versions
JP4392782B2 (ja
Inventor
Koichi Takagi
幸一 高木
Masahiro Wada
正裕 和田
Shuichi Matsumoto
修一 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2001250539A priority Critical patent/JP4392782B2/ja
Publication of JP2003061090A publication Critical patent/JP2003061090A/ja
Application granted granted Critical
Publication of JP4392782B2 publication Critical patent/JP4392782B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 ビットレートで映像伝送した場合に、画像の
品質の向上を図ることのできる量子化制御方法を提供す
ることにある。 【解決手段】 原画像から抽出されたマクロブロックM
Bのアクティビティを求め(ステップS2)、正規化ア
クティビティNactを求める(ステップS3)。次に、該
マクロブロックMBはエッジを含むか否かの判断がなさ
れ(ステップS5)、含む場合には正規化アクティビテ
ィNactに重みw(w<1)が乗じられる(ステップS
6)。一方、含まない場合には、レート制御を考慮に入
れて、正規化アクティビティNactに(1−P×w)/
(1−P)が乗じられる(ステップS7)。ここに、P
は原画像のエッジを含むマクロブロックの割合である。
続いて、エッジ部を考慮に入れた量子化スケールコード
mquantが求められる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は低レート映像符号化
における量子化制御方法に関し、特に低ビットレートで
映像伝送する際に、画像の画質を全体的に向上させるこ
とのできる量子化制御方法に関する。
【0002】
【従来の技術】従来の視覚特性を考慮した適応量子化制
御の一例として、例えば、特開平6−6784号公報に
記されているものがある。
【0003】この従来技術は、画像の動き量が同じであ
れば、エッジ成分が少ない場合には、視覚の解像度が良
い(視覚特性から細かい点が目立ちやすい)から、画質
をより細かに表すように量子化制御し、逆にエッジ成分
が多い場合には、視覚の解像度が悪くなるから、画質が
粗くなる方向に量子化制御をするものである。
【0004】
【発明が解決しようとする課題】しかしながら、前記し
た従来技術では、低ビットレートで映像伝送する場合に
は、画像全体の品質が劣化してしまうという課題があっ
た。
【0005】本発明の目的は、前記した従来技術の課題
を解消し、低ビットレートで映像伝送した場合に、画像
の品質の向上を図ることのできる低レート映像符号化に
おける量子化制御方法を提供することにある。
【0006】
【課題を解決するための手段】前記した目的を達成する
ために、本発明は、低レート映像符号化における量子化
制御方法において、原画像から抽出されたマクロブロッ
クがエッジを含むか否かを判定し、該エッジを含む場合
には、該マクロブロックの正規化アクティビティNactに
重みw(w<1)を乗算し、量子化スケールコードmqua
ntを求めるようにした点に特徴がある。
【0007】この特徴によれば、画像のエッジ部におい
て画質の向上が確認でき、該エッジ部以外の平坦部にお
いて、画質の変化が認められないので、全体的な画質の
向上が確認できた。
【0008】
【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図1は、本発明の一実施形態の概略
の構成を示すブロック図である。以下では、MPEG−
2、TM5を例にして説明するが、本発明はこれに限定
されるものではない。
【0009】入力画像データaが入力されてくると、マ
クロブロック抽出部1は、該入力画像データ(原画)a
から例えば16×16画素のマクロブロックを抽出し、
減算器2とエッジ検出部14に送出する。減算器2は、
該マクロブロックと、動き補償部11からの動き補償さ
れた前フレームのブロックデータとを入力とし、フレー
ム間差分信号(予測誤差信号)を生成する。該予測誤差
信号は、直交変換部3に供給されて、例えばDCT等の
直交変換をされる。なお、Iピクチャモードの時には、
スイッチング部12が接点cに接続され、それ以外の時
には接点bに接続される。直交変換部3で得られた直交
変換係数は、量子化部4でビットレートを低減され、可
変長符号化部5と逆量子化部7に送られる。
【0010】可変長符号化部5は、量子化部4の出力に
対して、平均的な符号長が短くなるように符号割当てを
行い、その出力をバッファメモリ6に供給する。バッフ
ァメモリ6は、可変長符号化部5の出力を低ビットレー
ト化して伝送路に送出する。また、バッファメモリ6の
データ占有量に係わる信号dを量子化制御部15に出力
する。該量子化制御部15は、該信号dに基づいてレー
ト制御を行うための量子化スケールコードQ を周知
の方法により算出する。
【0011】一方、逆量子化部7は、量子化部4の出力
を逆量子化して逆直交変換部8に供給し、該逆直交変換
部8は、逆量子化部7の出力を逆直交変換して加算器9
に送出する。
【0012】加算器9は、動き補償部11からの動き補
償された前フレームのブロックデータと逆直交変換部8
からの復号差分データとを加算し、フレームメモリ10
に送出する。フレームメモリ10には、入力されたブロ
ックデータを1フレーム遅延させて、前フレームデータ
として、動き補償部11と動きベクトル検出部13に与
えられる。動きベクトル検出部13は、入力画像データ
aのマクロブロックと前フレームデータとからブロック
の動きベクトルを検出し、動き補償部11に出力する。
動き補償部11は、フレームメモリ10からのブロック
データが供給されており、該ブロックデータを動きベク
トルによって動き補償することにより、動き補償された
前フレームブロックデータを作成して、減算器2に供給
される。
【0013】エッジ検出部14には、マクロブロック入
力部1からのマクロブロックが入力されており、該マク
ロブロックのデータから該ブロックのエッジ成分の大き
さを検出し、該エッジ成分の大きさが予め定められた閾
値より大きければエッジ成分を含み、小さければエッジ
成分を含まないと判定する。該エッジ検出部14は周知
であるので、説明を省略する。該エッジの判定信号は、
量子化制御部15に送られる。該量子化制御部15は、
前記量子化スケールコードQ と、前記エッジ検出部
14からのエッジ検出信号を基に、量子化スケールコー
ドmquant を求め、量子化部4に出力する。量子化部
4は、該量子化スケールコードmquantに従って、量子
化を行う。
【0014】次に、本発明の要部である、前記量子化制
御部15の機能と動作を、図2のフローチャートを参照
して説明する。なお、本発明は、低ビットレートの映像
伝送に適用すると好適である。一般に、HDTVの伝送
には、40〜50Mビット/秒のビットレート伝送が使
用されているが、本発明では例えば10Mビット/秒程
度の低ビットレート伝送を想定することができる。
【0015】ステップS1では、ある置数j=1と置か
れる。ステップS2では、量子化制御部15は、j番目
のマクロブロックMBのアクティビティactを求め
る。該アクティビティactは、次式から求められる。 act=1+min[varsblk] ここに、varsblkは、ブロックsblkの原画aの輝度
信号ブロック内画素値の分散である。sblkはsblk=1,
2,・・・,8であり、原画のフレームおよびフィールド
の8×8画素ブロックの各4個、すなわち合計8個に対
応している。
【0016】ステップS3では、該アクティビティact
の値が0.5〜2を取る正規化アクティビティNact
を求める。ステップS4では、視覚特性を考慮した
量子化スケールコードmquant を、次式から求める。 mquant=Q ×Nact
【0017】次に、ステップS5では、前記エッジ検出
部14から出力される判定信号により、j番目のマクロ
ブロックMBはエッジを含むか否かの判断がなされる。
この判断が肯定の時には、ステップS6に進んで、前記
正規化アクティビティNactに重みw(<1)を乗算す
る。一方、前記判断が否定の時には、すなわちj番目の
マクロブロックMBがエッジを含まない時には、ステッ
プS6の処置を勘案したレート制御をするために、前記
正規化アクティビティNactに、(1−P×w)/(1
−P)を乗算する。ここに、Pは、符号化対象画面がエ
ッジを含むマクロブロックMBの割合であり、該符号化
対象画面の全マクロブロック数をM、その内のエッジを
含むマクロブロック数をmとすると、P=m/Mとな
る。
【0018】次いで、ステップS8では、エッジ部を考
慮に入れた量子化スケールコードmquant ’が、次式
により求められる。 mquant ’=Q ×Nact
【0019】ステップS9では、j=Mが成立するか否
かの判断がなされ、この判断が否定の時にはステップS
10に進んで、jに1が加算され、前記ステップS2の
処理に戻る。以上の処理が繰り返し行われ、ステップS
9の判断が肯定になると、処理を終了する。なお、前記
ステップS1〜S4は公知のレート制御の処理である。
また、前記ステップS4は説明を分かりやすくするため
に挿入したが、該ステップS4は省略されてもよい。
【0020】本発明者は、w=0.9と0.5の2通り
で試行したところ、w=0.9の場合はTM5の場合と
大した差がでないことを確認した。これは、一般的に低
ビットレートでは、非線形量子化モードが使われるた
め、分散が大きい所では多少アクティビティに重みwを
かけても、mquantとしては結局同じ値を出力してしまう
ことになると考えられる。一方、w=0.5の場合は、
TM5と差が生じ、主観的にエッジ部において画質の向
上が確認できた。また、画像の平坦部等の部分では、殆
ど変化が確認できなかったので、全体的な画質の向上が
確認できた。
【0021】
【発明の効果】以上の説明から明らかなように、本発明
によれば、低ビットレートの映像伝送において、原画像
から抽出されたマクロブロックにエッジが存在する場合
には、該マクロブロックのアクティビティに重みw(w
<1)を乗算して量子化スケールコードmquantを求める
ようにしたので、エッジ部分の画質を向上することがで
き、また全体的に画質を向上することができるようにな
る。
【図面の簡単な説明】
【図1】 本発明の一実施形態の概略の構成を示すブロ
ック図である。
【図2】 図1の量子化制御部の動作を示すブロック図
である。
【符号の説明】
1・・・マクロブロック抽出部、2・・・減算器、3・・・直交
変換部、4・・・量子化部、5・・・符号化部、6・・・バッフ
ァメモリ、14・・・エッジ検出部、15・・・量子化制御
部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 松本 修一 埼玉県上福岡市大原二丁目1番15号 株式 会社ケイディーディーアイ研究所内 Fターム(参考) 5C059 KK01 MA00 MA05 MA14 MA23 MC11 MC38 ME01 NN01 NN21 PP05 PP06 PP07 SS06 SS21 TA46 TB07 TC02 TC10 TD04 TD08 TD12 UA02 UA33 5J064 AA01 BA09 BA16 BB01 BB03 BC01 BC16 BD02

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 原画像から抽出されたマクロブロックが
    エッジを含むか否かを判定し、該エッジを含む場合に
    は、該マクロブロックの正規化アクティビティNactに重
    みw(w<1)を乗算し、量子化スケールコードmquant
    を求めるようにしたことを特徴とする低レート映像符号
    化における量子化制御方法。
  2. 【請求項2】 前記量子化スケールコードmquantは、バ
    ッファメモリのデータ占有量を用いたレート制御で得ら
    れた量子化スケールコードをQとするとき、次式により
    求められることを特徴とする請求項1に記載の低レート
    映像符号化における量子化制御方法。 mquant=Q×Nact×w
  3. 【請求項3】 前記マクロブロックがエッジを含まない
    場合には、原画像がエッジを含むマクロブロックの割合
    をPとするとき、量子化スケールコードmquantを次式に
    より求めることを特徴とする請求項1に記載の低レート
    映像符号化における量子化制御方法。 mquant=Q×Nact×(1−P×w)/(1−P)
JP2001250539A 2001-08-21 2001-08-21 低レート映像符号化における量子化制御方法 Expired - Fee Related JP4392782B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001250539A JP4392782B2 (ja) 2001-08-21 2001-08-21 低レート映像符号化における量子化制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001250539A JP4392782B2 (ja) 2001-08-21 2001-08-21 低レート映像符号化における量子化制御方法

Publications (2)

Publication Number Publication Date
JP2003061090A true JP2003061090A (ja) 2003-02-28
JP4392782B2 JP4392782B2 (ja) 2010-01-06

Family

ID=19079335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001250539A Expired - Fee Related JP4392782B2 (ja) 2001-08-21 2001-08-21 低レート映像符号化における量子化制御方法

Country Status (1)

Country Link
JP (1) JP4392782B2 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100678843B1 (ko) 2005-03-22 2007-02-05 엘지전자 주식회사 엠펙비디오 인코더의 인트라 프레임 양자화 시스템 및 방법
JP2007235291A (ja) * 2006-02-28 2007-09-13 Victor Co Of Japan Ltd 適応量子化装置及び適応量子化プログラム
CN100397422C (zh) * 2005-05-17 2008-06-25 凌阳科技股份有限公司 影像方块内物体边缘侦测及决定量化缩放参数的方法
JP2009200871A (ja) * 2008-02-22 2009-09-03 Canon Inc 符号化装置
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US7801383B2 (en) 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8184694B2 (en) 2006-05-05 2012-05-22 Microsoft Corporation Harmonic quantizer scale
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8218624B2 (en) 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8363719B2 (en) 2007-10-29 2013-01-29 Canon Kabushiki Kaisha Encoding apparatus, method of controlling thereof, and computer program
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
CN108141592A (zh) * 2015-09-18 2018-06-08 西斯维尔科技有限公司 用于编码和解码数字图像或视频流的方法和装置
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218624B2 (en) 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US10659793B2 (en) 2003-07-18 2020-05-19 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US10063863B2 (en) 2003-07-18 2018-08-28 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US9313509B2 (en) 2003-07-18 2016-04-12 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7801383B2 (en) 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
KR100678843B1 (ko) 2005-03-22 2007-02-05 엘지전자 주식회사 엠펙비디오 인코더의 인트라 프레임 양자화 시스템 및 방법
CN100397422C (zh) * 2005-05-17 2008-06-25 凌阳科技股份有限公司 影像方块内物体边缘侦测及决定量化缩放参数的方法
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
JP2007235291A (ja) * 2006-02-28 2007-09-13 Victor Co Of Japan Ltd 適応量子化装置及び適応量子化プログラム
JP4529919B2 (ja) * 2006-02-28 2010-08-25 日本ビクター株式会社 適応量子化装置及び適応量子化プログラム
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US8249145B2 (en) 2006-04-07 2012-08-21 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8767822B2 (en) 2006-04-07 2014-07-01 Microsoft Corporation Quantization adjustment based on texture level
US8184694B2 (en) 2006-05-05 2012-05-22 Microsoft Corporation Harmonic quantizer scale
US9967561B2 (en) 2006-05-05 2018-05-08 Microsoft Technology Licensing, Llc Flexible quantization
US8588298B2 (en) 2006-05-05 2013-11-19 Microsoft Corporation Harmonic quantizer scale
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8576908B2 (en) 2007-03-30 2013-11-05 Microsoft Corporation Regions of interest for quality adjustments
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8363719B2 (en) 2007-10-29 2013-01-29 Canon Kabushiki Kaisha Encoding apparatus, method of controlling thereof, and computer program
JP2009200871A (ja) * 2008-02-22 2009-09-03 Canon Inc 符号化装置
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US9571840B2 (en) 2008-06-03 2017-02-14 Microsoft Technology Licensing, Llc Adaptive quantization for enhancement layer video coding
US9185418B2 (en) 2008-06-03 2015-11-10 Microsoft Technology Licensing, Llc Adaptive quantization for enhancement layer video coding
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US10306227B2 (en) 2008-06-03 2019-05-28 Microsoft Technology Licensing, Llc Adaptive quantization for enhancement layer video coding
CN108141592A (zh) * 2015-09-18 2018-06-08 西斯维尔科技有限公司 用于编码和解码数字图像或视频流的方法和装置

Also Published As

Publication number Publication date
JP4392782B2 (ja) 2010-01-06

Similar Documents

Publication Publication Date Title
JP2003061090A (ja) 低レート映像符号化における量子化制御方法
JP3748717B2 (ja) 動画像符号化装置
US6366705B1 (en) Perceptual preprocessing techniques to reduce complexity of video coders
US6360017B1 (en) Perceptual-based spatio-temporal segmentation for motion estimation
JP3043599B2 (ja) ニューラルネットワークを用いた量子化ステップサイズ制御装置
JP3960451B2 (ja) シーン特性検出型動画像符号化装置
JPH08181992A (ja) 動画像符号化装置および領域抽出装置
EP1012778A1 (en) Apparatus and method for macroblock based rate control in a coding system
US20040202247A1 (en) Method and apparatus for moving picture compression rate control using bit allocation with initial quantization step size estimation at picture level
JPH0630396A (ja) 動画像符号化復号化装置
US5508745A (en) Apparatus for controlling a quantization level to be modified by a motion vector
EP1641269A1 (en) Image encoding device and image encoding method
KR20070034869A (ko) 동영상 부호화기의 비트율 제어 장치 및 방법
US20040233984A1 (en) Apparatus for variable bit rate control in video compression and target bit allocator thereof
JP4586340B2 (ja) 符号化装置、および、符号化方法、並びに、プログラム
JP3738511B2 (ja) 動画像符号化方式
JP2002058032A (ja) 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置
JP2005303555A (ja) 動画像符号化装置および動画像符号化方法
KR20010104058A (ko) 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기
JP2003061099A (ja) 符号化装置における動き検出方法
JP3144573B2 (ja) 映像信号伝送装置
KR100778473B1 (ko) 비트율 제어 방법
JPH05227513A (ja) 映像信号伝送装置
JPH07236138A (ja) 動画像符号化装置
JP4359273B2 (ja) 符号化モード選択方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090715

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091007

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091008

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131023

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151023

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees