JP2010193070A - 画像処理装置及び方法並びにプログラム - Google Patents
画像処理装置及び方法並びにプログラム Download PDFInfo
- Publication number
- JP2010193070A JP2010193070A JP2009034085A JP2009034085A JP2010193070A JP 2010193070 A JP2010193070 A JP 2010193070A JP 2009034085 A JP2009034085 A JP 2009034085A JP 2009034085 A JP2009034085 A JP 2009034085A JP 2010193070 A JP2010193070 A JP 2010193070A
- Authority
- JP
- Japan
- Prior art keywords
- color
- sub
- isolated point
- target pixel
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims description 51
- 238000012937 correction Methods 0.000 claims abstract description 87
- 238000004364 calculation method Methods 0.000 claims abstract description 54
- 238000003708 edge detection Methods 0.000 claims abstract description 34
- 230000002093 peripheral effect Effects 0.000 claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 15
- 239000003086 colorant Substances 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 238000002955 isolation Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【解決手段】出現頻度の最も多い色信号である主色信号を用いてエッジを検出する主色エッジ検出部108と、主色信号以外の色信号である副色信号について、注目画素及び注目画素と同色の周辺画素から、注目画素の孤立点度合に関する副色パラメータ値を算出する副色パラメータ算出部104と、副色パラメータ値とエッジの情報に基づいて、注目画素の補正を行う副色孤立点補正部111とを備える画像処理装置を提供する。
【選択図】図1
Description
例えば、単板Bayer型の色フィルタから入力された映像信号の場合、出現頻度の低い赤色、青色については、2画素おきに同色の画素が配列されることとなる。従って、赤色、青色については、2画素隣という離れた位置の画素を用いて欠陥検出をすることとなり、欠陥画素の検出を精度良く行えなかった。
本発明の第一の態様は、他の色信号とは出現頻度の異なる色信号を含む複数の色信号からなる入力画像信号に対して画像処理を行う画像処理装置であって、前記入力画像信号または出現頻度の最も多い色信号である主色信号を用いてエッジを検出するエッジ検出手段と、前記主色信号以外の色信号である副色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する副色パラメータ値を算出する副色パラメータ算出手段と、前記副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの情報に基づいて、前記注目画素の補正を行う副色孤立点補正手段とを備えることを特徴とする画像処理装置である。
図1は、本発明の第1の実施形態に係る画像処理装置の一構成例を示したブロック図である。図1において、入力部101はバッファ102に接続されている。バッファ102は主色パラメータ算出部103及び副色パラメータ算出部104に接続されている。主色パラメータ算出部103は主色孤立点判定部105に接続されている。主色孤立点判定部105は、主色孤立点補正部106及び主色孤立点バッファ107に接続されている。主色孤立点補正部106は、主色エッジ検出部108及び主色孤立点補正バッファ109に接続されている。主色孤立点バッファ107は、出力部114に接続されている。主色孤立点補正バッファ109は、出力部114に接続されている。主色エッジ検出部108は副色孤立点判定部110に接続されている。
また、主色パラメータ値の算出方法については、上記例に限定されない。例えば、主色パラメータ算出手段103は、周辺画素の平均値を算出し、前記平均値と注目画素との差の絶対値を注目画素の主色パラメータ値としてもよい。
具体的には、主色エッジ検出部108は、図3に示す斜め方向のラプラシアンフィルタを用い、主色信号に該ラプラシアンフィルタをかけることにより各画素でのエッジ強度を算出する。
副色パラメータ値の算出については、上記主色パラメータ算出部103と同様であるが、副色の場合は、主色と画素の配列が異なるため、上記周辺画素の選定方法が異なる。具体的には、副色の場合、周辺画素は、注目画素と上下左右斜めに1画素置いた8画素とする。例えば、赤色画像信号を例に挙げて説明すると、図2において、注目画素をR33とした場合、R11、R13、R15、R31、R35、R51、R53、R55が周辺画素として選定される。なお、青色画像信号についても同様の手法により選定される。
まず、撮像部(図示略)によって取得された画像信号が入力部101を介してバッファ102に格納される。バッファ102に格納された画像信号のうち、主色である緑色画像信号については、主色パラメータ算出部103により主色パラメータ値が画素毎に算出され、この主色パラメータ値に基づく孤立点の判定が主色孤立点判定部105により行われる。主色孤立点判定部105による判定結果及び各画素の情報は、主色孤立点バッファ107及び主色孤立点補正部106に出力される。主色孤立点バッファ107では、この判定結果及び画素の情報が一時的に格納された後、出力部114に出力される。
出力部114では、孤立点補正が行われた緑色画像信号及び赤色画像信号並びに青色画像信号が合成され、孤立点補正後のBayer配列の画像信号が生成される。
次に、本発明の第2の実施形態に係る画像信号処理装置について図を参照して説明する。
第1の実施形態では、孤立点であると判定された画素に対してのみ孤立点補正を行っていたが、本実施形態は孤立点の度合いを算出し、その孤立点の度合いに応じた重み付けにより注目画素の画素値と周辺画素の画素値とを混合することで注目画素の補正を行う。以下、本実施形態に係る画像処理装置について、第1の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
次に、本発明の第3の実施形態に係る画像信号処理装置について図を参照して説明する。
第1の実施形態では入力画像信号はBayer配列の赤(R)、緑(G)、青(B)色の単板画像を使用したが、本実施形態では入力画像信号は画素配列の緑(G)が全画素、赤(R)と青(B)が交互に発生する2板式の画素配列を使用する点で異なる。以下、上述第1の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
まず、注目画素と同色の周辺画素を選択する。主色信号は緑(G)色信号となる。図13では注目画素をG33とする。周辺画素の選択は、注目画素と上下左右斜めに隣接する8画素とする。図13では、G22、G23、G24、G32、G34、G42、G43、G44が選定される。
まず、注目画素の同色の周辺画素を選択する。図14では注目画素をR33とする。周辺画素の選択は、注目画素と上下左右斜めに1画素置いた8画素とする。図14では、R11、R13、R15、R31、R35、R51、R53、R55が周辺画素となる。
具体的には、主色エッジ検出部108は、図15に示す斜め方向のラプラシアンフィルタを用い、主色信号に該ラプラシアンフィルタをかけることにより各画素でのエッジ強度を算出する。
102 バッファ
103 主色パラメータ算出部
104 副色パラメータ算出部
105 主色孤立点判定部
106、106´ 主色孤立点補正部
108 主色エッジ検出部
110 副色孤立点判定部
111、111´ 副色孤立点補正部
114 出力部
115 制御部
116 外部I/F部
117 副色孤立点度合算出部
Claims (16)
- 他の色信号とは出現頻度の異なる色信号を含む複数の色信号からなる入力画像信号または該入力画像信号に含まれる出現頻度の最も多い色信号である主色信号を用いてエッジを検出するエッジ検出手段と、
前記主色信号以外の色信号である副色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する副色パラメータ値を算出する副色パラメータ算出手段と、
該副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの情報とに基づいて、前記注目画素の補正を行う副色孤立点補正手段と
を備えることを特徴とする画像処理装置。 - 前記副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの情報とを用いて、前記注目画素が孤立点か否かを判定する副色孤立点判定手段を備え、
前記副色孤立点補正手段が、前記副色孤立点判定手段によって孤立点と判定された前記注目画素を補正することを特徴とする請求項1に記載の画像処理装置。 - 前記副色孤立点判定手段は、前記副色パラメータ算出手段によって算出された前記副色パラメータ値が既定の閾値以上であり、かつ、前記エッジ検出手段によって検出されたエッジの強度が既定の閾値以下である場合に、前記注目画素を孤立点と判定することを特徴とする請求項2に記載の画像処理装置。
- 前記副色孤立点補正手段が、前記副色パラメータ算出手段によって算出された副色パラメータ値に応じたメディアンフィルタを作成し、作成したメディアンフィルタを用いて前記注目画素の補正を行うことを特徴とする請求項1から請求項3のいずれかに記載の画像処理装置。
- 前記副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの情報とを用いて、前記注目画素の孤立点度合を算出する副色孤立点度合算出手段を備え、
前記副色孤立点補正手段は、前記副色孤立点度合算出手段によって算出された孤立点度合に応じて前記注目画素を補正することを特徴とする請求項1に記載の画像処理装置。 - 前記副色孤立点度合算出手段が、前記副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの強度との積を前記孤立点度合として算出することを特徴とする請求項5に記載の画像処理装置。
- 前記副色孤立点補正手段が、前記副色孤立点度合算出手段によって算出された孤立点度合に応じた重み付けにより、前記注目画素の画素値と前記周辺画素の画素値とを混合することで前記注目画素の補正を行うことを特徴とする請求項5または請求項6に記載の画像処理装置。
- 前記副色パラメータ算出手段が、
前記注目画素と各前記周辺画素との画素値の差分の絶対値を算出し、
該絶対値のうち、値の小さい方から前記周辺画素の半分の個数の前記差分の絶対値を選定し、
選定した前記差分の絶対値を積算することにより前記副色パラメータ値を算出することを特徴とする請求項1から請求項7のいずれかに記載の画像処理装置。 - 前記副色パラメータ算出手段が、前記注目画素の画素値と前記周辺画素の平均画素値との差分を前記副色パラメータ値として算出することを特徴とする請求項1から請求項7のいずれかに記載の画像処理装置。
- 前記主色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する主色パラメータ値を算出する主色パラメータ算出手段と、
前記主色パラメータ算出手段によって算出された主色パラメータ値に応じて前記注目画素の補正を行う主色孤立点補正手段と
を備えることを特徴とする請求項1から請求項9のいずれかに記載の画像処理装置。 - 前記エッジ検出手段が、前記主色孤立点補正手段によって補正された前記主色信号を用いてエッジ検出を行う請求項10に記載の画像処理装置。
- 前記主色パラメータ算出手段が、
注目画素と各前記周辺画素との画素値の差分の絶対値を算出し、
該絶対値のうち、値の小さい方から前記周辺画素の半分の個数の絶対値を選定し、
選定した前記絶対値を積算することにより前記主色パラメータ値を算出する請求項10または請求項11に記載の画像処理装置。 - 前記主色パラメータ算出手段が、前記注目画素の画素値と前記周辺画素の平均画素値との差分を前記主色パラメータ値として算出する請求項10または請求項11に記載の画像処理装置。
- 他の色信号とは出現頻度の異なる色信号を含む複数の色信号からなる入力画像信号または該入力画像信号に含まれる出現頻度の最も多い色信号である主色信号を用いてエッジを検出するエッジ検出過程と、
前記主色信号以外の色信号である副色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する副色パラメータ値を算出する副色パラメータ算出過程と、
前記副色パラメータ算出過程において算出された副色パラメータ値と前記エッジ検出過程において検出されたエッジの情報に基づいて、前記注目画素の補正を行う副色孤立点補正過程と
を有することを特徴とする画像処理方法。 - 他の色信号とは出現頻度の異なる色信号を含む複数の色信号からなる入力画像信号または該入力画像信号に含まれる出現頻度の最も多い色信号である主色信号を用いてエッジを検出するエッジ検出処理と、
前記主色信号以外の色信号である副色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する副色パラメータ値を算出する副色パラメータ算出処理と、
前記副色パラメータ算出処理において算出した副色パラメータ値と前記エッジ検出処理において検出したエッジの情報に基づいて、前記注目画素の補正を行う副色孤立点補正処理と
をコンピュータに実行させるための画像処理プログラム。 - 撮像部と、
前記撮像部によって取得された画像信号を入力画像信号として画像処理を行う請求項1から請求項13のいずれかに記載の画像処理装置と
を有することを特徴とする撮像システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009034085A JP5259449B2 (ja) | 2009-02-17 | 2009-02-17 | 画像処理装置及び方法並びにプログラム |
US12/704,152 US8379975B2 (en) | 2009-02-17 | 2010-02-11 | Image processing device and method, and program recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009034085A JP5259449B2 (ja) | 2009-02-17 | 2009-02-17 | 画像処理装置及び方法並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010193070A true JP2010193070A (ja) | 2010-09-02 |
JP5259449B2 JP5259449B2 (ja) | 2013-08-07 |
Family
ID=42631010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009034085A Expired - Fee Related JP5259449B2 (ja) | 2009-02-17 | 2009-02-17 | 画像処理装置及び方法並びにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8379975B2 (ja) |
JP (1) | JP5259449B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013190896A1 (ja) * | 2012-06-19 | 2013-12-27 | オリンパス株式会社 | 画像処理装置、内視鏡装置、孤立点ノイズ補正方法及び画像処理プログラム |
JP2016063307A (ja) * | 2014-09-16 | 2016-04-25 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009188822A (ja) * | 2008-02-07 | 2009-08-20 | Olympus Corp | 画像処理装置及び画像処理プログラム |
JP5259449B2 (ja) * | 2009-02-17 | 2013-08-07 | オリンパス株式会社 | 画像処理装置及び方法並びにプログラム |
JP5655355B2 (ja) * | 2009-11-02 | 2015-01-21 | ソニー株式会社 | 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム |
JP5198510B2 (ja) * | 2010-06-29 | 2013-05-15 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US9495735B2 (en) | 2011-05-31 | 2016-11-15 | Steelcase Inc. | Document unbending systems and methods |
US9569695B2 (en) | 2012-04-24 | 2017-02-14 | Stmicroelectronics S.R.L. | Adaptive search window control for visual search |
US10440299B2 (en) | 2015-09-04 | 2019-10-08 | Apple Inc. | Correcting pixel defects based on defect history in an image processing pipeline |
WO2017172842A1 (en) * | 2016-03-28 | 2017-10-05 | Nurulize, Inc. | System and method for rendering points without gaps |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005318383A (ja) * | 2004-04-30 | 2005-11-10 | Canon Inc | 欠陥画素補正装置及び欠陥画素補正処理方法 |
JP2008278324A (ja) * | 2007-05-01 | 2008-11-13 | Sharp Corp | 固体撮像素子の欠陥画素補正装置、固体撮像素子の欠陥画素補正方法、制御プログラム、可読記録媒体、撮像装置および電子情報機器 |
JP2008278243A (ja) * | 2007-04-27 | 2008-11-13 | Toshiba Corp | 撮像装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6738510B2 (en) * | 2000-02-22 | 2004-05-18 | Olympus Optical Co., Ltd. | Image processing apparatus |
JP4308473B2 (ja) * | 2000-04-12 | 2009-08-05 | 株式会社リコー | 画像信号処理方法及び画像信号処理装置、並びに画像信号処理システム |
JP2001307079A (ja) | 2000-04-26 | 2001-11-02 | Seiko Epson Corp | 画像処理装置、画像処理方法および記録媒体 |
JP2002010274A (ja) | 2000-06-20 | 2002-01-11 | Olympus Optical Co Ltd | カラー画像処理装置 |
US7844127B2 (en) * | 2007-03-30 | 2010-11-30 | Eastman Kodak Company | Edge mapping using panchromatic pixels |
US7856150B2 (en) * | 2007-04-10 | 2010-12-21 | Arcsoft, Inc. | Denoise method on image pyramid |
US8120679B2 (en) * | 2008-08-01 | 2012-02-21 | Nikon Corporation | Image processing method |
JP5259449B2 (ja) * | 2009-02-17 | 2013-08-07 | オリンパス株式会社 | 画像処理装置及び方法並びにプログラム |
-
2009
- 2009-02-17 JP JP2009034085A patent/JP5259449B2/ja not_active Expired - Fee Related
-
2010
- 2010-02-11 US US12/704,152 patent/US8379975B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005318383A (ja) * | 2004-04-30 | 2005-11-10 | Canon Inc | 欠陥画素補正装置及び欠陥画素補正処理方法 |
JP2008278243A (ja) * | 2007-04-27 | 2008-11-13 | Toshiba Corp | 撮像装置 |
JP2008278324A (ja) * | 2007-05-01 | 2008-11-13 | Sharp Corp | 固体撮像素子の欠陥画素補正装置、固体撮像素子の欠陥画素補正方法、制御プログラム、可読記録媒体、撮像装置および電子情報機器 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013190896A1 (ja) * | 2012-06-19 | 2013-12-27 | オリンパス株式会社 | 画像処理装置、内視鏡装置、孤立点ノイズ補正方法及び画像処理プログラム |
JP2014003462A (ja) * | 2012-06-19 | 2014-01-09 | Olympus Corp | 画像処理装置、内視鏡装置及び孤立点ノイズ補正方法 |
US9367902B2 (en) | 2012-06-19 | 2016-06-14 | Olympus Coporation | Image processing device, endoscope apparatus, isolated point noise correction method, and information storage device |
JP2016063307A (ja) * | 2014-09-16 | 2016-04-25 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20100215266A1 (en) | 2010-08-26 |
JP5259449B2 (ja) | 2013-08-07 |
US8379975B2 (en) | 2013-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5259449B2 (ja) | 画像処理装置及び方法並びにプログラム | |
US8537234B2 (en) | Image restoration with enhanced filtering | |
JP4385282B2 (ja) | 画像処理装置および画像処理方法 | |
JP4709084B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5054858B1 (ja) | カラー撮像装置 | |
WO2011108290A2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN101080023B (zh) | 成像装置 | |
US20050041116A1 (en) | Image processing apparatus and image processing program | |
US9030579B2 (en) | Image processing apparatus and control method that corrects a signal level of a defective pixel | |
JPWO2007020930A1 (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム | |
JP2004112736A (ja) | 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ | |
JP2008289090A (ja) | 撮像信号処理装置 | |
JP2011071616A (ja) | 画像処理装置 | |
CN101060635A (zh) | 用于插补色值的方法和装置 | |
JP2013017142A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2008311874A (ja) | 画像処理装置、画像処理プログラム、画像処理方法 | |
JP2008258909A (ja) | 信号処理回路 | |
JP5425343B2 (ja) | 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム | |
JP2010219683A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4702912B2 (ja) | 信号処理方法及び信号処理装置 | |
JP2009200635A (ja) | 画像処理装置及びその方法並びにプログラム | |
JP4380399B2 (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム | |
JP5035585B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP2011109572A (ja) | 画像処理装置および電子カメラ | |
JP2003134523A (ja) | 撮像装置及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130424 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160502 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5259449 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |