JP2009152804A - 画像処理装置及びその制御方法及びレンズ交換式一眼レフデジタルカメラ及びプログラム - Google Patents
画像処理装置及びその制御方法及びレンズ交換式一眼レフデジタルカメラ及びプログラム Download PDFInfo
- Publication number
- JP2009152804A JP2009152804A JP2007327989A JP2007327989A JP2009152804A JP 2009152804 A JP2009152804 A JP 2009152804A JP 2007327989 A JP2007327989 A JP 2007327989A JP 2007327989 A JP2007327989 A JP 2007327989A JP 2009152804 A JP2009152804 A JP 2009152804A
- Authority
- JP
- Japan
- Prior art keywords
- information
- lens
- image
- foreign matter
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 105
- 230000011514 reflex Effects 0.000 title claims description 9
- 230000004075 alteration Effects 0.000 claims abstract description 115
- 238000003384 imaging method Methods 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 claims description 100
- 230000008569 process Effects 0.000 claims description 84
- 238000003860 storage Methods 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 27
- 210000001747 pupil Anatomy 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 239000000428 dust Substances 0.000 abstract description 216
- 230000008439 repair process Effects 0.000 description 35
- 230000003287 optical effect Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 17
- 230000007547 defect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 241000224489 Amoeba Species 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000010813 municipal solid waste Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003670 easy-to-clean Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Abstract
【解決手段】撮像部から得られる異物検出用の画像信号に基づいて抽出された、撮像画面内における異物の位置情報を、この画像信号を取得したときの第1の撮影レンズの情報と、被写体を撮影したときの第2の撮影レンズの情報と、第2の撮影レンズの収差情報に基づいて、当該位置情報を変換する。第2の撮影レンズで撮影したときの撮像画面内における異物の位置情報となるように変換したのち、被写体画像が画像処理により収差補正された後の撮影画面内における異物の位置情報となるように変換する。
【選択図】図1
Description
(撮像装置の構成)
図1は、本発明の実施形態に係る撮像装置としてのレンズ交換式一眼レフデジタルカメラ(以下単にカメラ)の回路構成を示すブロック図である。
また、カメラ本体100の背面には、撮影された画像や各種設定画面などを表示するLCDモニタ装置417、LCDモニタ装置417をオン/オフするためのモニタスイッチ121、十字配置スイッチ116、およびメニューボタン124が設けられている。
本実施例におけるレンズ収差補正処理の一例として、歪曲収差補正処理について説明する。
ステップS1805では、ステップS1801で得た歪曲収差補正ルックアップテーブルをスプライン補間して、ステップS1804で求めたルックアップテーブルサイズfsに応じた歪曲収差補正ルックアップテーブルに変換する。ここで、歪曲収差補正ルックアップテーブルの入力値は出力画像(歪曲収差補正後の画像)の中心からのピクセル単位の距離であり、出力値は入力画像(歪曲収差補正前の画像)の中心からのピクセル単位の距離である。このとき、ピクセル単位の距離をミリ単位の距離に変換するためには、ステップS1802で求めた画素ピッチを用いる。
図8は、本実施形態に係るカメラの異物検出モードにおけるゴミ検出処理(ゴミによって画像不良が生じている画素位置の検出処理)を説明するフローチャートである。当該処理は、マイクロコンピュータ402がメモリ428に記憶されたゴミ検出処理プログラムを実行することにより実施される。
具体的には、検出用画像撮影時のレンズ情報として、検出用画像撮影時における実際の絞り値(F値)と、そのときのレンズ瞳位置を格納する。続く記憶領域に検出したゴミ領域の数(整数値)を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰返して格納する。ゴミ領域のパラメータは、ゴミの半径(例えば2バイト)、有効画像領域における中心のx座標(例えば2バイト)、おなじく中心のy座標(例えば2バイト)の3つの数値のセットである。
次に、図10から図12を用いて、ステップS27で行うゴミ領域取得ルーチンの詳細について説明する。
次に、スレッショルド値を超えない画素をゴミ画素とし(ステップS61)、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域di(i=0,1,…,n)とする(ステップS62)。図12に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Xmaxおよび最小値Xmin、垂直方向の座標の最大値Ymaxおよび最小値Yminを求め、ゴミ領域diのサイズを表す半径riを次式によって算出する(ステップS63)。
Xmax、Xmin、Ymax、Yminとriの関係を、図12に示す。
次に、図13に示すフローチャートを用いて、図8のステップS24で行われる撮像処理ルーチンの詳細について説明する。当該処理はマイクロコンピュータ402がメモリ428に記憶された撮像処理プログラムを実行することにより実施される。
撮影画像に対して、レンズ収差補正処理とゴミ除去処理の両方を施すとき、順序として、まずレンズ収差補正処理を行ってから次にゴミ除去処理を行う場合と、その逆の場合がある。まずゴミ除去処理を行ってから次にレンズ収差補正処理を行う場合であれば、収差補正処理の影響を考慮することなくゴミ補正データを用いることができる。従って、歪曲収差補正処理を行う前にゴミ除去処理を施す方が、処理としては簡単である。しかし、撮影を行う撮像装置と、撮影された画像データをユーザが加工/鑑賞する画像処理装置は別物である場合が多く、それぞれの装置でどのような画像処理を担うかの役割分担の問題がある。また、ゴミ除去処理の対象となる領域が、被写体像との関係で、必ずしも適切に補正できる領域であるとは限らないという問題がある。例えば、コントラストの差が激しい被写体に跨って存在するゴミを補正処理しようとした場合、処理によってコントラストの差を無くしてしまう恐れがある。つまり、ゴミ除去処理を行いたくない場合があり、このような判断が必要となる処理は、処理が複雑で時間がかかるため、できるだけ後段で行うほうが有利である。
ここで、ra’は変換後の半径であり、raは変換前の半径である。da’は上述の中心座標A(Xa,Ya)の変換後の像高であり、daは変換前の像高である。αは、実験的に定められる、余裕量を見越した定数である。このような変換式を用いることにより、歪曲収差の型および座標位置に応じて、適切に半径を変換することが可能となる。
次に、ゴミの除去(異物除去処理)を行うための処理の流れについて説明する。ゴミの除去を行うための処理は、カメラ本体ではなく、別途用意した画像処理装置上で行うものとする。また、ここでは簡単のため、まずレンズ収差補正を行わない場合について説明する。レンズ収差補正を行ってからゴミ除去処理を行う場合の説明は後述する。
このような実装にすることで、編集履歴を完全に破棄して元画像を復元したり、直前の編集処理を取り消したりすることができる。
リペア処理は、指定された領域内の孤立領域を検出し、この孤立領域を補間する処理である。リペア処理は、GUIで指定された中心座標と半径で表現される領域に対し、後述する補間ルーチンを適用することで実現する。
Ri’=(Ri×f1/f2+3)× 2
ここでの単位はピクセルであり、Ri’についての「+3」はマージン量である。2倍しているのは、平均輝度を用いてゴミ領域を検出するため、ゴミ領域外の領域が必要であるからである。
ここで、リペア処理、および自動リペア処理で実行する補間ルーチンについて説明する。
(i)リペア処理対象領域に含まれる画素の平均輝度Yaveと最高輝度Ymaxを用いて次式で求められるスレッショルド値T2より暗い領域。
(ii)上記の中心座標P、半径Rで表される円と接しない領域。
(iii)(i)で選択された輝度の低い画素によって構成される孤立領域に対し、図10中のステップS63と同様の方法で算出した半径値がl1画素以上、l2画素未満である領域。
(iv)円の中心座標Pを含む領域。
(1)ゴミ検出用画像撮影時のレンズ(第1の撮影レンズ)と、通常撮影時(被写体を撮影する時)のレンズ(第2の撮影レンズ)の瞳位置の違いに基づく変換処理(図18のステップS94の変換処理)。
(2)レンズ収差補正による座標変換に基づく変換処理(例えば、上述の順変換処理用の歪曲収差補正ルックアップテーブルを用いて行う変換処理)。
実施例1では、ステップEまでをカメラ本体で行い、ステップFを画像処理装置で行う。このように構成すると、画像処理装置を用いて行う撮影後の鑑賞や印刷指示の段階で、画像処理装置の処理負担が軽く、多くの撮影画像を同時に扱いたい場合などに有利である。
実施例2では、ステップCとステップDを逆順とした上で、ステップA、B、Dをカメラ本体で行い、ステップC、E、Fを画像処理装置で行う。
実施例3では、ステップAとステップBをカメラ本体で行い、ステップC〜Fを画像処理装置で行う。
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
Claims (11)
- 撮像手段から得られる異物検出用の画像信号に基づいて抽出された、撮像画面内における異物の位置情報と、および前記画像信号を取得する際に用いた第1の撮影レンズのレンズ情報とを異物情報として取得する異物情報取得手段と、
被写体撮影時の第2の撮影レンズのレンズ情報を取得するレンズ情報取得手段と、
少なくとも前記第2の撮影レンズの収差情報を含む収差情報を記憶する記憶手段と、
前記異物の位置情報を、前記第1の撮影レンズのレンズ情報と前記第2の撮影レンズのレンズ情報に基づいて、前記第2の撮影レンズで撮影したときの撮像画面内における異物の位置情報に変換する第1の変換手段と、
前記第1の変換手段で変換された前記異物の位置情報を更に、前記第2の撮影レンズのレンズ情報と前記収差情報に基づいて、前記被写体撮影時に撮影された被写体画像が画像処理により収差補正された後の撮像画面内における異物の位置情報に変換する第2の変換手段と、
を備えることを特徴とする画像処理装置。 - 撮像手段から得られる異物検出用の画像信号に基づいて抽出された、撮像画面内における異物の位置および大きさ情報と、および前記画像信号を取得する際に用いた第1の撮影レンズのレンズ情報とを異物情報として取得する異物情報取得手段と、
被写体撮影時の第2の撮影レンズのレンズ情報を取得するレンズ情報取得手段と、
少なくとも前記第2の撮影レンズの収差情報を含む収差情報を記憶する記憶手段と、
前記異物の位置および大きさ情報を、前記第1の撮影レンズのレンズ情報と前記第2の撮影レンズのレンズ情報に基づいて、前記第2の撮影レンズで撮影したときの撮像画面内における異物の位置および大きさ情報に変換する第1の変換手段と、
前記第1の変換手段で変換された前記異物の位置および大きさ情報を更に、前記第2の撮影レンズのレンズ情報と前記収差情報に基づいて、前記被写体撮影時に撮影された被写体画像が画像処理により収差補正された後の撮像画面内における異物の位置および大きさ情報に変換する第2の変換手段と、
を備えることを特徴とする画像処理装置。 - 前記第1の撮影レンズのレンズ情報および前記第2の撮影レンズのレンズ情報は、少なくとも前記画像信号取得時もしくは前記被写体撮影時の絞り値と瞳位置の情報を含むことを特徴とする請求項1または2に記載の画像処理装置。
- 収差補正された被写体画像に対して、前記第2の変換手段によって変換された異物情報に基づいて、異物除去処理を行う異物除去処理手段を更に備えることを特徴とする請求項1ないし3のいずれか1項に記載の画像処理装置。
- 前記記憶手段に記憶されている収差情報に基づいて、前記被写体撮影時に撮影された被写体画像の収差を補正する収差補正処理手段を更に備えることを特徴とする請求項4に記載の画像処理装置。
- 請求項1ないし3のいずれか1項に記載の画像処理装置と、
異物検出モードにおいて前記異物検出用の画像信号を取得し、当該画像信号から撮像画面内における異物の位置情報を抽出する抽出手段と、
を備えることを特徴とするレンズ交換式一眼レフデジタルカメラ。 - 前記記憶手段に記憶されている収差情報に基づいて、前記被写体撮影時に撮影された被写体画像の収差を補正する収差補正処理手段を更に備えることを特徴とする請求項6に記載のレンズ交換式一眼レフデジタルカメラ。
- 前記画像処理手段により収差補正された被写体画像に対して、前記第2の変換手段によって変換された異物情報に基づいて、異物除去処理を行う異物除去処理手段を更に備えることを特徴とする請求項7に記載のレンズ交換式一眼レフデジタルカメラ。
- 撮像手段から得られる異物検出用の画像信号に基づいて抽出された、撮像画面内における異物の位置情報と、および前記画像信号を取得する際に用いた第1の撮影レンズのレンズ情報とを異物情報として取得する異物情報取得工程と、
被写体撮影時の第2の撮影レンズのレンズ情報を取得するレンズ情報取得工程と、
前記異物の位置情報を、前記第1の撮影レンズのレンズ情報と前記第2の撮影レンズのレンズ情報に基づいて、前記第2の撮影レンズで撮影したときの撮像画面内における異物の位置情報に変換する第1の変換工程と、
前記第1の変換工程で変換された前記異物の位置情報を更に、前記第2の撮影レンズのレンズ情報と、少なくとも前記第2の撮影レンズの収差情報を含む収差情報を記憶する記憶手段に記憶された前記収差情報に基づいて、前記被写体撮影時に撮影された被写体画像が画像処理により収差補正された後の撮像画面内における異物の位置情報に変換する第2の変換工程と、
を備えることを特徴とする画像処理装置の制御方法。 - 撮像手段から得られる異物検出用の画像信号に基づいて抽出された、撮像画面内における異物の位置および大きさ情報と、および前記画像信号を取得する際に用いた第1の撮影レンズのレンズ情報とを異物情報として取得する異物情報取得工程と、
被写体撮影時の第2の撮影レンズのレンズ情報を取得するレンズ情報取得工程と、
前記異物の位置および大きさ情報を、前記第1の撮影レンズのレンズ情報と前記第2の撮影レンズのレンズ情報に基づいて、前記第2の撮影レンズで撮影したときの撮像画面内における異物の位置および大きさ情報に変換する第1の変換工程と、
前記第1の変換工程で変換された前記異物の位置および大きさ情報を更に、前記第2の撮影レンズのレンズ情報と、少なくとも前記第2の撮影レンズの収差情報を含む収差情報を記憶する記憶手段に記憶された前記収差情報に基づいて、前記被写体撮影時に撮影された被写体画像が画像処理により収差補正された後の撮像画面内における異物の位置および大きさ情報に変換する第2の変換工程と、
を備えることを特徴とする画像処理装置の制御方法。 - 請求項9または10に記載の制御方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007327989A JP4960852B2 (ja) | 2007-12-19 | 2007-12-19 | 画像処理装置及びその制御方法及びレンズ交換式一眼レフデジタルカメラ及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007327989A JP4960852B2 (ja) | 2007-12-19 | 2007-12-19 | 画像処理装置及びその制御方法及びレンズ交換式一眼レフデジタルカメラ及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009152804A true JP2009152804A (ja) | 2009-07-09 |
JP4960852B2 JP4960852B2 (ja) | 2012-06-27 |
Family
ID=40921436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007327989A Expired - Fee Related JP4960852B2 (ja) | 2007-12-19 | 2007-12-19 | 画像処理装置及びその制御方法及びレンズ交換式一眼レフデジタルカメラ及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4960852B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009302657A (ja) * | 2008-06-10 | 2009-12-24 | Canon Inc | 画像処理装置、制御方法、及びプログラム |
KR20110034958A (ko) * | 2009-09-29 | 2011-04-06 | 삼성전자주식회사 | 디지털 촬영 장치 및 촬영 방법 |
JPWO2013136416A1 (ja) * | 2012-03-12 | 2015-08-03 | 富士機械製造株式会社 | 産業用機械及びカメラユニット |
WO2018168506A1 (ja) * | 2017-03-13 | 2018-09-20 | Necソリューションイノベータ株式会社 | 画像変換支援装置、画像変換装置、画像変換支援方法、及びコンピュータ読み取り可能な記録媒体 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000184247A (ja) * | 1998-12-21 | 2000-06-30 | Olympus Optical Co Ltd | レンズ交換式デジタルカメラ |
JP2003189169A (ja) * | 2001-09-27 | 2003-07-04 | Fuji Photo Film Co Ltd | 画像処理装置 |
JP2004222231A (ja) * | 2002-12-27 | 2004-08-05 | Nikon Corp | 画像処理装置および画像処理プログラム |
JP2007189467A (ja) * | 2006-01-12 | 2007-07-26 | Canon Inc | 画像処理装置及び画像処理方法及びプログラム |
JP2007215151A (ja) * | 2006-01-12 | 2007-08-23 | Canon Inc | 撮像装置及びその制御方法及びプログラム |
-
2007
- 2007-12-19 JP JP2007327989A patent/JP4960852B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000184247A (ja) * | 1998-12-21 | 2000-06-30 | Olympus Optical Co Ltd | レンズ交換式デジタルカメラ |
JP2003189169A (ja) * | 2001-09-27 | 2003-07-04 | Fuji Photo Film Co Ltd | 画像処理装置 |
JP2004222231A (ja) * | 2002-12-27 | 2004-08-05 | Nikon Corp | 画像処理装置および画像処理プログラム |
JP2007189467A (ja) * | 2006-01-12 | 2007-07-26 | Canon Inc | 画像処理装置及び画像処理方法及びプログラム |
JP2007215151A (ja) * | 2006-01-12 | 2007-08-23 | Canon Inc | 撮像装置及びその制御方法及びプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009302657A (ja) * | 2008-06-10 | 2009-12-24 | Canon Inc | 画像処理装置、制御方法、及びプログラム |
KR20110034958A (ko) * | 2009-09-29 | 2011-04-06 | 삼성전자주식회사 | 디지털 촬영 장치 및 촬영 방법 |
KR101599885B1 (ko) | 2009-09-29 | 2016-03-04 | 삼성전자주식회사 | 디지털 촬영 장치 및 촬영 방법 |
JPWO2013136416A1 (ja) * | 2012-03-12 | 2015-08-03 | 富士機械製造株式会社 | 産業用機械及びカメラユニット |
WO2018168506A1 (ja) * | 2017-03-13 | 2018-09-20 | Necソリューションイノベータ株式会社 | 画像変換支援装置、画像変換装置、画像変換支援方法、及びコンピュータ読み取り可能な記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP4960852B2 (ja) | 2012-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4799462B2 (ja) | 画像処理装置及びその制御方法及びプログラム及び記憶媒体及び撮像装置 | |
JP4590355B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
US7991241B2 (en) | Image processing apparatus, control method therefor, and program | |
US8711241B2 (en) | Image capturing apparatus, control method thereof, and program | |
JP4771539B2 (ja) | 画像処理装置及びその制御方法及びプログラム | |
JP4771540B2 (ja) | 画像処理装置及びその制御方法及び画像処理方法及びプログラム | |
US7619666B2 (en) | Image processing apparatus, control method therefor, and program correcting image data based on foreign substance information and inhibiting such correction | |
US8576306B2 (en) | Image sensing apparatus, image processing apparatus, control method, and computer-readable medium | |
JP4960852B2 (ja) | 画像処理装置及びその制御方法及びレンズ交換式一眼レフデジタルカメラ及びプログラム | |
JP4827778B2 (ja) | 画像処理装置及び画像処理方法及びプログラム及び記憶媒体 | |
JP2010098698A (ja) | 撮像装置及びその制御方法及びプログラム | |
JP2008244868A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP2008042348A (ja) | 画像処理装置及び画像処理方法及び撮像装置及びプログラム | |
JP5094571B2 (ja) | 撮像装置及びその制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120224 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120323 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150330 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4960852 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |