JP2013062587A - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理方法、画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP2013062587A JP2013062587A JP2011198286A JP2011198286A JP2013062587A JP 2013062587 A JP2013062587 A JP 2013062587A JP 2011198286 A JP2011198286 A JP 2011198286A JP 2011198286 A JP2011198286 A JP 2011198286A JP 2013062587 A JP2013062587 A JP 2013062587A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- optical system
- generated
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 125
- 238000012545 processing Methods 0.000 title claims abstract description 64
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims abstract description 167
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000006870 function Effects 0.000 claims abstract description 40
- 238000012546 transfer Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims description 31
- 238000011084 recovery Methods 0.000 claims description 29
- 210000001747 pupil Anatomy 0.000 claims description 11
- 230000004075 alteration Effects 0.000 abstract description 45
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 abstract description 5
- 230000007246 mechanism Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 206010010071 Coma Diseases 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 206010073261 Ovarian theca cell tumour Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 208000001644 thecoma Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
Abstract
【解決手段】画像処理方法は、撮影光学系101からの光を光学素子アレイ101cを通して撮像素子102に導く撮像装置を用いて生成された第1の画像から第2の画像を生成する。該方法は、第1の画像および該第1の画像を生成した際の撮像装置における撮影条件に関する情報を得るステップS11,S12と、撮影条件に関する情報と撮影光学系および光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタS12を得るステップと、画像回復フィルタを用いて第1の画像に対して画像回復処理を行うステップS13と、画像回復処理が行われた第1の画像から第2の画像を生成するステップS14とを有する。
【選択図】図1
Description
撮影光学系に収差がある場合、例えば図1中の点Aを通った光線の撮像素子102上での到達位置が本来の位置からずれることになる。図4(a)は、撮影光学系に収差が存在しない場合を示しており、撮影光学系からの光線はそれぞれが本来到達すべき撮像素子102上の位置(画素)に到達している。一方、図4(b)は、撮影光学系にコマ収差が存在する場合を示しており、撮影光学系からの光線はそれぞれが本来到達すべき位置に到達せず、非対称で複雑なずれを有する。他の収差についても同様に、撮影光学系からの光線を本来到達すべき位置からずれた位置に到達させる。
入力画像は、撮像装置において光学系(本実施例では、撮影光学系およびマイクロレンズアレイ等の光学素子アレイ)により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像である。このデジタル画像は、レンズや光学フィルタ等の光学素子を含む光学系の収差を含む光学伝達関数(OTF)により劣化した画像である。撮像素子は、CMOSやCCD等の光電変換素子により構成される。撮影光学系は、曲率を有するミラー(反射面)を含んでもよい。また、光学系は、撮像装置に対して着脱(交換)が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いてデジタル画像(入力画像)を生成する信号処理回路により撮像系が構成される。
点像分布関数(PSF)をフーリエ変換して得られる光学伝達関数(Optical Transfer Function:OTF)は、収差の周波数成分情報であり、複素数で表される。光学伝達関数(OTF)の絶対値、すなわち振幅成分をMTF(Modulation Transfer Function)といい、位相成分をPTF(Phase Transfer Function)という。MTFおよびPTFはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Re(OTF)およびIm(OTF)はそれぞれ、OTFの実部および虚部を表す。
PTF=tan−1(Im(OTF)/Re(OTF))
このように、光学系の光学伝達関数(OTF)は、画像の振幅成分と位相成分に劣化を与えるため、結像位置での像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
光学伝達関数(OTF)の振幅(MTF)の劣化と位相(PTF)の劣化を補正する方法として、光学系の光学伝達関数(OTF)の情報を用いて補正するものが知られている。この方法は画像回復や画像復元と呼ばれており、以下、本明細書では、この光学系の光学伝達関数(OTF)の情報を用いて画像の劣化を補正する処理を、画像回復処理(または回復処理)と記す。
g(x,y)=h(x,y)*f(x,y)
この式をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。Hは点像分布関数(PSF)hをフーリエ変換したものであり、光学伝達関数(OTF)に相当する。G,Fはそれぞれ、g,fをフーリエ変換したものである。(u,v)は2次元周波数面での座標、すなわち周波数を示す。
G(u,v)=H(u,v)・F(u,v)
撮像装置により生成された劣化画像から元の画像を得るためには、以下のように、上記式の両辺をHで除算すればよい。
G(u,v)/H(u,v)=F(u,v)
F(u,v)、すなわちG(u,v)/H(u,v)を逆フーリエ変換して実面に戻すことで、元の画像f(x,y)に相当する回復画像が得られる。
g(x,y)*R(x,y)=f(x,y)
R(x,y)が画像回復フィルタである。入力画像が2次元であるとき、一般に画像回復フィルタも該2次元画像の各画素に対応したタップ(セル)を有する2次元フィルタとなる。また、一般に画像回復フィルタのタップ数(セル数)が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、撮影光学系の収差の特性等に応じて実現可能なタップ数を設定する。
G(u,v)=H(u,v)・F(u,v)+N(u,v)
G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v)
この点については、例えば、式(1)に示すウィナーフィルタのように画像信号とノイズ信号の強度比(SNR)に応じて回復度合いを制御する方法が知られている。
図1は、主レンズ群101bおよび開口絞り101aにより構成される撮影光学系101の結像位置に、マイクロレンズアレイ101cを配置し、その後方(被写体側とは反対側)に撮像素子102を配置した構成を示す。撮像素子102は、マイクロレンズアレイ101cに関して撮影光学系101の射出瞳と共役な位置に配置されている。先にも説明したように、マイクロレンズアレイ101cは、例えば点Aのような被写体空間のある1点を通る光線群と、点Aの近傍の点を通る光線とが撮像素子102上で混ざらないようにするセパレータの役割を有する。
102 撮像素子
101c マイクロレンズアレイ
Claims (6)
- 撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第1の画像から第2の画像を生成する画像処理方法であって、
前記第1の画像および該第1の画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
前記撮影条件に関する情報と前記撮影光学系および前記光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、
前記画像回復フィルタを用いて前記第1の画像に対して画像回復処理を行うステップと、
前記画像回復処理が行われた前記第1の画像から前記第2の画像を生成するステップとを有することを特徴とする画像処理方法。 - 前記撮像装置において、
前記光学素子アレイは、前記撮影光学系の結像位置に配置されており、
前記撮像素子は、前記光学素子アレイに関して前記撮影光学系の射出瞳と共役な位置に配置されており、
前記第1の画像は、前記射出瞳の像が前記撮像素子によって光電変換されることにより生成された画像であることを特徴とする請求項1に記載の画像処理方法。 - 前記撮像装置において、
前記光学素子アレイは、前記撮影光学系の結像位置から離れた位置に配置され、該結像位置と共役な位置に配置された前記撮像素子上に前記撮影光学系からの光を結像させ、
前記第1の画像は、前記撮影光学系の空中像が前記撮像素子によって光電変換されることにより生成された画像であることを特徴とする請求項1に記載の画像処理方法。 - 撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第1の画像から第2の画像を生成する画像処理装置であって、
前記第1の画像および該第1の画像を生成した際の前記撮像装置における撮影条件に関する情報を得る入力部と、
前記撮影条件に関する情報と前記撮影光学系および前記光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るフィルタ取得部と、
前記画像回復フィルタを用いて前記第1の画像に対して画像回復処理を行う処理部と、
前記画像回復処理が行われた前記第1の画像から前記第2の画像を生成する画像生成部とを有することを特徴とする画像処理装置。 - 撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置であって、
請求項4に記載の画像処理装置を有することを特徴とする撮像装置。 - コンピュータに、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第1の画像から第2の画像を生成させる画像処理プログラムであって、
前記第1の画像および該第1の画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
前記撮影条件に関する情報と前記撮影光学系および前記光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、
前記画像回復フィルタを用いて前記第1の画像に対して画像回復処理を行うステップと、
前記画像回復処理が行われた前記第1の画像から前記第2の画像を生成するステップとを有することを特徴とする画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011198286A JP5791437B2 (ja) | 2011-09-12 | 2011-09-12 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
PCT/JP2012/005667 WO2013038628A1 (en) | 2011-09-12 | 2012-09-06 | Image processing method, image processing apparatus and image pickup apparatus |
US14/006,491 US9197792B2 (en) | 2011-09-12 | 2012-09-06 | Image processing method, image processing apparatus and image pickup apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011198286A JP5791437B2 (ja) | 2011-09-12 | 2011-09-12 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013062587A true JP2013062587A (ja) | 2013-04-04 |
JP5791437B2 JP5791437B2 (ja) | 2015-10-07 |
Family
ID=47882881
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011198286A Expired - Fee Related JP5791437B2 (ja) | 2011-09-12 | 2011-09-12 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9197792B2 (ja) |
JP (1) | JP5791437B2 (ja) |
WO (1) | WO2013038628A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015197511A (ja) * | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | 距離検出装置、撮像装置、距離検出方法及び視差量検出装置 |
WO2016009707A1 (ja) * | 2014-07-16 | 2016-01-21 | ソニー株式会社 | 複眼撮像装置 |
US9911183B2 (en) | 2014-08-01 | 2018-03-06 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium |
WO2018150925A1 (ja) * | 2017-02-14 | 2018-08-23 | キヤノン株式会社 | 焦点検出装置、焦点検出方法、および焦点検出プログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104469161B (zh) * | 2014-12-22 | 2017-11-03 | 联想(北京)有限公司 | 图像处理方法以及电子设备 |
AU2014370001A1 (en) * | 2013-12-23 | 2016-07-07 | University Of Delaware | 3-D light field camera and photography method |
JP6486182B2 (ja) * | 2015-04-22 | 2019-03-20 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP6509031B2 (ja) * | 2015-05-14 | 2019-05-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及び撮像装置 |
CN106610521B (zh) | 2015-10-22 | 2019-11-19 | 中强光电股份有限公司 | 取像装置以及影像拍摄方法 |
CN111856770B (zh) * | 2019-04-26 | 2022-07-19 | 曹毓 | 一种偏振成像设备 |
KR20210124807A (ko) * | 2020-04-07 | 2021-10-15 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
CN111443480A (zh) * | 2020-05-20 | 2020-07-24 | 重庆工商大学 | 钠导星上行激光光场预校正系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001197354A (ja) * | 2000-01-13 | 2001-07-19 | Minolta Co Ltd | デジタル撮像装置および画像復元方法 |
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2011151627A (ja) * | 2010-01-21 | 2011-08-04 | Canon Inc | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009105717A (ja) | 2007-10-24 | 2009-05-14 | Sharp Corp | 撮像装置 |
-
2011
- 2011-09-12 JP JP2011198286A patent/JP5791437B2/ja not_active Expired - Fee Related
-
2012
- 2012-09-06 WO PCT/JP2012/005667 patent/WO2013038628A1/en active Application Filing
- 2012-09-06 US US14/006,491 patent/US9197792B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001197354A (ja) * | 2000-01-13 | 2001-07-19 | Minolta Co Ltd | デジタル撮像装置および画像復元方法 |
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2011151627A (ja) * | 2010-01-21 | 2011-08-04 | Canon Inc | 画像処理装置、画像処理方法、及びプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015197511A (ja) * | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | 距離検出装置、撮像装置、距離検出方法及び視差量検出装置 |
WO2016009707A1 (ja) * | 2014-07-16 | 2016-01-21 | ソニー株式会社 | 複眼撮像装置 |
JPWO2016009707A1 (ja) * | 2014-07-16 | 2017-04-27 | ソニー株式会社 | 複眼撮像装置 |
US10911738B2 (en) | 2014-07-16 | 2021-02-02 | Sony Corporation | Compound-eye imaging device |
US9911183B2 (en) | 2014-08-01 | 2018-03-06 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium |
WO2018150925A1 (ja) * | 2017-02-14 | 2018-08-23 | キヤノン株式会社 | 焦点検出装置、焦点検出方法、および焦点検出プログラム |
US11184521B2 (en) | 2017-02-14 | 2021-11-23 | Canon Kabushiki Kaisha | Focus detection apparatus, focus detection method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
US9197792B2 (en) | 2015-11-24 |
WO2013038628A1 (en) | 2013-03-21 |
JP5791437B2 (ja) | 2015-10-07 |
US20140028869A1 (en) | 2014-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5791437B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5409589B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP5409829B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム | |
JP6091176B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP5868076B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5264968B2 (ja) | 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム | |
JP5528173B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US10192296B2 (en) | Image pickup apparatus, camera system, and image processing apparatus that restore an image with a filter corresponding to an image pickup plane position | |
US9911183B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium | |
JP2014027570A (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP2011215707A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP5344648B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5501069B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP5653464B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
US8861852B2 (en) | Image processing method for image restoration, image processing apparatus and image pickup apparatus | |
JP5425135B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP2019036115A (ja) | 画像処理方法、画像処理装置、撮像装置、および、プログラム | |
JP5425136B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5645981B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP5409588B2 (ja) | 焦点調節方法、焦点調節プログラムおよび撮像装置 | |
JP2017050662A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US20240135508A1 (en) | Image processing method, image processing apparatus, image processing system, imaging apparatus, and storage medium | |
US20240144536A1 (en) | Image processing device, image processing method, and storage medium | |
JP5197839B2 (ja) | 画像処理方法、画像処理装置、撮像装置、及びプログラム | |
JP2016092676A (ja) | 画像処理装置、撮像装置、カメラシステムおよび画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140328 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140328 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140910 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150313 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150804 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5791437 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |