JP2006519575A - 画像のピクセルを選択的に平滑化してブリードスルーを低減する方法 - Google Patents

画像のピクセルを選択的に平滑化してブリードスルーを低減する方法 Download PDF

Info

Publication number
JP2006519575A
JP2006519575A JP2006508887A JP2006508887A JP2006519575A JP 2006519575 A JP2006519575 A JP 2006519575A JP 2006508887 A JP2006508887 A JP 2006508887A JP 2006508887 A JP2006508887 A JP 2006508887A JP 2006519575 A JP2006519575 A JP 2006519575A
Authority
JP
Japan
Prior art keywords
pixel
intensity
bleed
weighted average
smoothed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006508887A
Other languages
English (en)
Other versions
JP4499095B2 (ja
Inventor
マウラー,ロン・ピー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2006519575A publication Critical patent/JP2006519575A/ja
Application granted granted Critical
Publication of JP4499095B2 publication Critical patent/JP4499095B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4095Correction of errors due to scanning a two-sided document, i.e. show-through correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

デジタル画像のピクセル群を処理してブリードスルーを低減する。この処理は、群の各ピクセルの上限を生成するステップ(110)と、群の各ピクセルの上限と元のピクセル強度との重み付き平均をとるステップ(120)とを含む。

Description

[背景]
ブリードスルー(bleed-through:にじみ出し)は、両面文書の走査画像に固有の一種のノイズまたは歪みである。両面印刷の文書の片面が走査されるとき、文書の反対の面にある特徴または記録まで取り込まれてしまうことがある。取り込まれた特徴は、走査デジタル画像にアーチファクトとして現れ、反対の面からのテキスト文字および他の暗い特徴の偽像あるいは影として出現する。ブリードスルーは、走査される画像または文書の下にある文書によっても発生する場合もある。こういった下にある文書からの暗い特徴が走査中ににじみ出る場合がある。
ブリードスルーはデジタル画像の見た目の品質を低下させ得る。ブリードスルーはまた、デジタル画像の圧縮率を低下させ得る。圧縮率が低下すると、デジタル画像を記憶し伝送するコストが増大する。
[概要]
本発明の一態様によれば、デジタル画像のピクセル群を処理してブリードスルーを低減する。この処理は、群の各ピクセル毎に上限を生成するステップと、群の各ピクセルの上限と元のピクセル強度との重み付き平均をとるステップとを含む。
本発明の他の態様および利点は、本発明の原理を例示する添付の図面と併せて解釈される、以下に記載される詳細な説明から明らかになるであろう。
[詳細な説明]
走査グレースケール画像を処理する方法を示す図1を参照する。この方法は、グレースケール画像に対して選択的な平滑化を行うことを含む。選択的な平滑化はピクセル単位で行われる。対象ピクセル毎に、局所ピクセル近傍に対して平滑化されたピクセル強度が生成され(110)、平滑化されたピクセル強度を使用して元のピクセルを選択的に変更する(120)。この変更された強度を出力画像に使用する。選択的な平滑化は、画質のブリードスルー以外の側面(たとえば、局所背景に対する前景特徴の鮮鋭さおよびコントラスト)を保持しながら、出力画像のブリードスルーを大幅に低減する。選択的な平滑化はまた、背景および前景内部の区画のノイズも低減する。
図1aは、平滑化されたピクセル強度を生成する例示的な方法を示す。対象ピクセルの上限および下限を生成し(112)、上限と下限の重み付き平均をとる(114)。上限は、対象ピクセルと同じか、それよりも高い強度を有することが保証されるとともに、所定の近傍の最大強度を超えないことが保証される。所定の近傍は局所であることができる。下限は、対象ピクセルと同じか、それよりも低い強度を有することが保証されるとともに、所定の近傍の最小強度を下回らないことが保証される。上限および下限は、局所近傍の最大強度値および最小強度値をとることによって見つけることができる。しかし、上限および下限はこれに限定されない。一例として、上限は、元のピクセル強度(I)を所定強度(T)分を超えて逸脱することが許されない。極大値(M)を求め、強度(I+T)を使用して極大値(M)を制限する。したがって、上限(U)は、M<I+Tの場合にU=Mであり、その他の場合にU=I+Tである。同様に、極小値(m)を求め、強度(I−T)を使用して極小値(m)を制限する。したがって、下限(L)はm>I−Tの場合にL=mであり、その他の場合にL=I−Tとすることができる。
重み付き平均(G)は、
G=αU+(1−α)L=L+α(U−L);(0≦α≦1)
として算出することができる。ただし、αは局所明化重み(local lightening weight)である。局所明化重み(α)は、対象ピクセルでのブリードスルーの潜在的な可視度によって求められる。局所明化重み(α)はILの非減少関数であり、ILは局所近傍から導出される局所強度値である。局所強度ILは、たとえば、IL=(U+L)/2、またはIL=(U+2I+L)/4、またはIL=Iであることができる。局所明化重み(α)は0〜1の範囲全体に広がる。暗ピクセル(I→黒)または暗い近傍にあるピクセルの場合、α→0である。明ピクセル(I→白)または明るい近傍にあるピクセルの場合、α→1である。
局所明化重み(α)の例示的なプロファイルを図2に示す。重みα=0は、IL<T0の場合に発生し(ただし、T0は暗い特徴のしきい値を表す)、IL>T1の場合にα=1が発生する(ただし、T1は明るい背景のしきい値に対応する)。局所明化重み(α)はT0〜T1までのILの値に対して減少しない。
別の例として、局所明化重み(α)を硬判定による選択(hard selection)から求めることができる。IL=0とあるしきい値との間では局所明化重みα=0であり、そのしきい値を超える場合にα=1である。
ブリードスルーが可視である可能性が高い場合に高い重みが上限に割り当てられ、ブリードスルーが可視である可能性が低い場合に低い重みが上下限に割り当てられる。ブリードスルーは、暗い背景よりも明るい背景にある場合にその影響がより強いため、より目に付きやすく(かつより邪魔になり)、圧縮率により大きく影響する。ブリードスルーは暗めの階調でも発生し得るが、通常、知覚されないか、または殆ど知覚されない。
ブリードスルーは常に、ピクセルの局所ルミナンスを(ランダムノイズと異なり)本来その局所ルミナンスが持つべき値よりも低くするという測光特性を有する。ブリードスルーは、局所近傍に対するルミナンスの窪みとして(すなわち、わずかに暗く)現れる。幾何学的な点で言えば、ブリードスルーは通常、幅の狭いテキスト文字の画または黒いグラフィックラインに対応する。したがって、上限に高い重みを割り当てることにより、明るい近傍におけるブリードスルーを局所近傍と同様のレベルまで明化し、それによって出力画像でのブリードスルーの可視性を大幅に低減させる。
下限に高い値を割り当てることは異なる影響を有する。これは、暗い前景におけるノイズ(ブリードスルー以外)を平滑化させるとともに、暗い前景をわずかに暗化させ、それによって真正のテキストおよびラインアートを強調する。
局所明化重みのプロファイルは、上限および下限に関して対称である必要はない。プロファイルは上限に向けてバイアスすることができる。係るバイアスにより明るめの背景が優先される。たとえば、IL<T0の場合にα=0であり、その後、短い範囲にわたって局所明化重みはα=1に急激に上昇する。
平滑化はエッジをぼやけさせる傾向がある。このため、各ピクセル毎に、平滑化されたピクセル強度を選択的に使用して元のピクセル強度を変更する。たとえば、平滑化されたピクセル強度は、保持すべき特定の特徴(エッジ)の一部であるピクセルの元の強度の変更に使用されない。しかし、エッジから離れたピクセルの強度は平滑化された強度で変更(たとえば置換)して、ブリードスルーを低減するとともに、背景区画および前景内部の区画を平滑化する。
走査画像のエッジおよび他の細部は、各対象ピクセルの局所コントラストを調べることによって保持することができる。ブリードスルーは、実際に走査されたページ上の真正のテキストまたは暗い特徴よりもはるかに低いコントラストを有する傾向がある。たとえば、典型的なテキストには、背景に対してその最大ページコントラストの半分以上のコントラスト(8ビット表現で〜150グレーレベル)があり得るが、ブリードスルーには通常、最大ページコントラストのわずかに数パーセントのコントラスト(8ビット表現で5〜20グレーレベル)しかない。したがって、ブリードスルーは、物理モデルにある特別な属性を有する、元の視覚的意図の特別な種類のノイズまたは歪みとみなすことができる。
走査画像のエッジおよび他の細部は、以下の重み付き平均をとることによって保持することができる。
R=βG+(1−β)I=I+β(G−I);(0≦β≦1)
式中、Rは出力画像のピクセル強度であり、βは平滑化重みである。平滑化重み(β)は、対象ピクセルの局所近傍に対するコントラスト(D)の関数である。局所コントラスト(D)はD=U−Lとして算出することができる。平滑化重みは、0≦D<Tbの場合にβ=1であり、ここでTbはしきい値である。しきい値Tbは、対象ピクセルが、これを上回ればおそらくブリードスルーの一部ではないというコントラストである。平滑化重みはD>Teの場合にβ=0であり、ここでTeは、ピクセルがおそらくエッジであるというコントラストであり、Te>Tbである。したがって、β=0(平滑化なし)では、元のピクセル強度を出力画像に使用させ(すなわち、R=I)、それによりエッジを出力画像に残すことに役立つ。これとは対照的に、β=1(完全な平滑化)では、平滑化されたピクセル強度を出力画像において使用させる(すなわち、R=G)。平滑化重みは、Tb〜Teの間はDの非増大関数である。Tb≦D≦TeであるDの値では、ピクセルがエッジの一部であるか、それともブリードスルーの一部であるかが不確かである。したがって、これら2つのしきい値TeおよびTbの間の遷移を平滑にして、硬判定による分類のアーチファクトを回避すべきである。
以下の局所コントラスト(D)の区画的線形関数を平滑化重み(β)に使用することができる。
β(D)=min{1,max[0,(D−Tb)/(Te−Tb)]}
この関数を図3に示す。
ブリードスルーと真正の特徴の相対的なコントラストを知ることで、しきい値TeおよびTbの正確性、ひいては出力画像の品質を増大させることができる。たとえば、これらしきい値は、同じ設定(たとえば、同じスキャナ解像度、同じ前処理)での走査画像の局所コントラストの統計を基にすることができる。
上記例では、平滑化されたピクセル強度(G)は、上限と下限の第1の重み付き平均として算出され、出力ピクセル強度(R)は平滑化されたピクセル強度と元のピクセル強度との第2の重み付き平均として算出される。これに代えて、出力ピクセル(R)は、上限、(オプションとして)下限、および元のピクセル強度の重み付き平均として単一ステップで算出することができる。
図1に示すように、処理方法は、上限および下限を生成する前にデジタル画像のノイズを低減すること(105)をさらに含むことができる。ノイズを低減することで、上限および下限の正確性が高まる。たとえば、特に強い場合があるハーフトーン化ノイズを除去することが望ましい。ハーフトーン化ノイズは、譲受人の米国特許出願第 号(代理人整理番号200309933−1)に記載の逆ハーフトーン化処理を利用して低減することができる。
方法についてグレースケール画像と併せて上述したが、方法はグレースケール画像に限定されない。この方法はカラーデジタル画像に適用することも可能である。通常、選択的平滑化をカラー画像のルミナンスチャネルのみに行うだけで十分である。これは、ブリードスルーは通常、黒または暗い特徴を含み、こういった暗い特徴はクロミナンスに対してごくわずかな影響しか有さないためである。
例示的な局所近傍を図4に示す。例示的な局所近傍は、破線で示す枠で区切られている。好ましくは、近傍は対象ピクセルを中心として対称であるべきである(図4中の対象ピクセルを「X」で示す)。7×7ピクセルアレイを示すが、局所近傍は任意の特定のサイズまたは形状に限定されない。
これまで、走査画像の品質のブリードスルー以外の側面を保持しながらブリードスルーを低減する方法を開示してきた。ブリードスルーは、局所背景の階調を基本的に変更することなく低減される。したがって、階調忠実度は損なわれず、ブリードスルーを、非白背景でも白背景と同様に効率的に低減する。さらなる利点として、低コントラスト領域(背景および前景内部の区画)がブリードスルーを含まない場合であっても、低コントラスト領域でのノイズが平滑化される。ブリードスルーは通常、圧縮に相当量のビットを必要とする空間情報を多く含むため、ブリードスルーを低減することによって画像の圧縮率も向上する。背景および前景内部の区画のノイズを平滑化することにより、さらに、画像の圧縮性が向上する。
この方法は任意の特定の用途に限定されない。ブリードスルーの選択的な低減は、圧縮ならびに文字認識(OCR)およびページ区切り等の用途の前処理として有用である。
本発明による方法は、上限および下限の使用に限定されない。本発明は、ピクセルの下限を求めることなく実施することも可能である。たとえば、対象ピクセルを上限のみに関して平滑化してもよく、これによってブリードスルーは低減するが、暗い前景特徴の平滑化および暗化は行われない。処理は、整数演算および予め算出されるルックアップテーブル項のみを使用して行うことができる。したがって、処理は非常に効率的にリアルタイムで行うことができる。
処理は任意の特定の種類の画像に限定されず、テキストおよび他のコンピュータ生成特徴のみを含む画像、自然の特徴のみを含む画像、および自然の特徴およびコンピュータ生成特徴を含む複合文書に適用することが可能である。
本発明は上で説明し図示した特定の実施形態に限定されない。その代わりに、本発明は添付の特許請求の範囲に従って解釈される。
本発明の一実施形態によるデジタル画像処理方法の図である。(a)平滑化されたピクセル強度を生成する例示的な方法の図である。 図1の方法の例示的な重みプロファイルの図である。 図1の方法の例示的な重みプロファイルの図である。 図1の方法の例示的なピクセル近傍の図である。 図1の方法を行う機械を備えたデジタル撮像システムの図である。
符号の説明
512 取り込み装置
514 プロセッサ
516 メモリ

Claims (10)

  1. ある群ピクセルの中の各ピクセルの上限を生成するステップ(110)と、
    前記群の各ピクセルの前記上限と元のピクセル強度との重み付き平均をとるステップ(120)と
    を含む、ピクセル群を含む走査画像のブリードスルーを低減する方法。
  2. 前記群の各ピクセルの下限を生成するステップ(112)をさらに含み、該下限は前記重み付き平均に含められる(114)請求項1に記載のブリードスルーを低減する方法。
  3. 各ピクセルの前記上限および前記下限が局所ピクセル近傍に基づく請求項2に記載のブリードスルーを低減する方法。
  4. 前記重み付き平均が、平滑化されたピクセル強度をもたらすために前記上限と前記下限の第1の重み付き平均をとる第1のステップと、
    前記平滑化されたピクセル強度と前記元のピクセル強度との、出力ピクセルをもたらす第2の重み付き平均をとる第2のステップと、
    を含む請求項2に記載のブリードスルーを低減する方法。
  5. 前記走査画像内の特定の特徴が、前記出力ピクセルの強度を前記平滑化された強度に向けて押し進めないことによって保持される請求項4に記載のブリードスルーを低減する方法。
  6. 前記第1の重み付き平均が、G=αU+(1−α)L(ただし0≦α≦1)として生成され、式中のGは前記平滑化されたピクセル強度であり、Uは上限であり、Lは下限であり、αは局所強度の関数である局所明化重みである請求項4に記載のブリードスルーを低減する方法。
  7. 前記第2の重み付き平均が、R=βG+(1−β)I(ただし0≦β≦1)としてとられ、式中のGは前記平滑化されたピクセル強度であり、Iは元のピクセル強度であり、βは平滑化重みであり、Rは出力ピクセルである請求項4に記載のブリードスルーを低減する方法。
  8. 前記重み付き平均が明領域においてピクセル強度の窪みを平滑化する請求項1に記載のブリードスルーを低減する方法。
  9. 前記重み付き平均が暗領域において暗い前景ピクセル強度を暗化し平滑化する請求項2記載のブリードスルーを低減する方法。
  10. 前記デジタル画像がカラー画像であり、該カラー画像のルミナンスチャネルのみが、前記平滑化されたピクセル強度を生成するとともに、前記元のピクセル強度を選択的に使用することによって処理される請求項1記載のブリードスルーを低減する方法。
JP2006508887A 2003-02-28 2004-02-27 画像のピクセルを選択的に平滑化してブリードスルーを低減する方法 Expired - Fee Related JP4499095B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/376,888 US7636492B2 (en) 2003-02-28 2003-02-28 Selective smoothing including bleed-through reduction
PCT/US2004/005932 WO2004080061A1 (en) 2003-02-28 2004-02-27 Selective smoothing of pixels in an image to reduce bleed-through

Publications (2)

Publication Number Publication Date
JP2006519575A true JP2006519575A (ja) 2006-08-24
JP4499095B2 JP4499095B2 (ja) 2010-07-07

Family

ID=32908024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006508887A Expired - Fee Related JP4499095B2 (ja) 2003-02-28 2004-02-27 画像のピクセルを選択的に平滑化してブリードスルーを低減する方法

Country Status (5)

Country Link
US (1) US7636492B2 (ja)
EP (1) EP1597912A1 (ja)
JP (1) JP4499095B2 (ja)
TW (1) TWI319164B (ja)
WO (1) WO2004080061A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7116446B2 (en) * 2003-02-28 2006-10-03 Hewlett-Packard Development Company, L.P. Restoration and enhancement of scanned document images
TWI356393B (en) 2005-04-04 2012-01-11 Samsung Electronics Co Ltd Display systems having pre-subpixel rendered image
US7697783B2 (en) * 2005-07-26 2010-04-13 Sony Corporation Coding device, coding method, decoding device, decoding method, and programs of same
JP4544311B2 (ja) * 2008-01-24 2010-09-15 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
KR101457741B1 (ko) 2008-03-20 2014-11-03 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 썸네일 기반의 이미지 품질 검사
US8503733B2 (en) * 2009-11-16 2013-08-06 Xerox Corporation Show-through measurement system and method for inks on media
JP6338469B2 (ja) * 2014-06-23 2018-06-06 キヤノン株式会社 画像処理装置および画像処理方法
CN104036469B (zh) * 2014-06-27 2017-02-15 天津大学 一种文档扫描图像透字效应消除方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0563979A (ja) * 1991-06-30 1993-03-12 Ricoh Co Ltd 画像処理装置
JPH0630308A (ja) * 1992-07-13 1994-02-04 Matsushita Electric Ind Co Ltd 画像データ処理装置
WO2002028087A1 (en) * 2000-09-29 2002-04-04 Hewlett-Packard Company Method for enhancing compressibility and visual quality of scanned document images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4860118A (en) 1987-02-25 1989-08-22 Canon Kabushiki Kaisha Image signal processing apparatus with edge emphasis and variable magnification
US5337162A (en) 1991-06-30 1994-08-09 Ricoh Company, Ltd. Image processing apparatus for preventing occurrence of moire in output image
US6101283A (en) * 1998-06-24 2000-08-08 Xerox Corporation Show-through correction for two-sided, multi-page documents
US6227725B1 (en) 1998-08-18 2001-05-08 Seiko Epson Corporation Text enhancement for color and gray-scale documents
JP2001320584A (ja) * 2000-05-08 2001-11-16 Ricoh Co Ltd 画像処理装置及び画像形成装置
US6496560B1 (en) * 2001-11-21 2002-12-17 Koninklijke Philips Electronics, N.V. Motion correction for perfusion measurements
US7050650B2 (en) * 2002-02-28 2006-05-23 Hewlett-Packard Development Company, L.P. User selected background noise removal for scanned document images
US7174049B2 (en) * 2002-12-11 2007-02-06 Seiko Epson Corporation Image upscaling by joint optimization of low and mid-level image variables

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0563979A (ja) * 1991-06-30 1993-03-12 Ricoh Co Ltd 画像処理装置
JPH0630308A (ja) * 1992-07-13 1994-02-04 Matsushita Electric Ind Co Ltd 画像データ処理装置
WO2002028087A1 (en) * 2000-09-29 2002-04-04 Hewlett-Packard Company Method for enhancing compressibility and visual quality of scanned document images

Also Published As

Publication number Publication date
US20040169891A1 (en) 2004-09-02
JP4499095B2 (ja) 2010-07-07
EP1597912A1 (en) 2005-11-23
US7636492B2 (en) 2009-12-22
TWI319164B (en) 2010-01-01
TW200416621A (en) 2004-09-01
WO2004080061A1 (en) 2004-09-16

Similar Documents

Publication Publication Date Title
US7116446B2 (en) Restoration and enhancement of scanned document images
JP4112362B2 (ja) カラー印刷用のスキャンした文書イメージを強調するシステム及び方法
JP4423298B2 (ja) デジタル画像におけるテキスト状エッジの強調
JP4902837B2 (ja) モノクロ画像への変換方法
US8050511B2 (en) High dynamic range images from low dynamic range images
EP1742178B1 (en) Contrast enhancement of images
JP3902265B2 (ja) コントラスト改良方法
JPH08251432A (ja) 実時間画像強調技法
US20060104533A1 (en) High dynamic range images from low dynamic range images
US7586653B2 (en) Method and system for enhancing an image using luminance scaling
JPH07222006A (ja) 画像コントラスト改良方法
JP2005519406A (ja) スキャンされた文書画像のユーザ選択式背景雑音除去
US7295346B2 (en) Methods and apparatus for antialiasing using selective implementation of logical and averaging filter operations
US7724981B2 (en) Adaptive contrast control systems and methods
JP2007311836A (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4499095B2 (ja) 画像のピクセルを選択的に平滑化してブリードスルーを低減する方法
JP2006148292A (ja) 画像処理装置
JPH0951431A (ja) 画像処理装置
Kwon et al. Text-enhanced error diffusion using multiplicative parameters and error scaling factor
JP3116936B2 (ja) 画像コントラスト強調方法と画像コントラスト処理装置
JP6834701B2 (ja) 画像処理装置、および、コンピュータプログラム
JP7224616B2 (ja) 画像処理装置
JP6794901B2 (ja) 画像処理装置、および、コンピュータプログラム
KR100321299B1 (ko) 고역 통과 필터링에 기반한 적응형 오차 확산 방법
JP2004282532A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090526

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100402

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100414

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4499095

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees