JP2017130848A - 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体 - Google Patents
撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2017130848A JP2017130848A JP2016010094A JP2016010094A JP2017130848A JP 2017130848 A JP2017130848 A JP 2017130848A JP 2016010094 A JP2016010094 A JP 2016010094A JP 2016010094 A JP2016010094 A JP 2016010094A JP 2017130848 A JP2017130848 A JP 2017130848A
- Authority
- JP
- Japan
- Prior art keywords
- image
- restoration
- imaging
- restored
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 126
- 238000011156 evaluation Methods 0.000 claims abstract description 42
- 230000003287 optical effect Effects 0.000 claims abstract description 26
- 238000003860 storage Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 39
- 230000007717 exclusion Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 28
- 238000004364 calculation method Methods 0.000 description 13
- 238000001228 spectrum Methods 0.000 description 6
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration by non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Abstract
Description
図1は本発明の実施形態1に係る撮像装置100の概略構成を示すブロック図である。なお、以下の説明では、光学系110へ光線が入射する側を「前」(図中では左)、光学系110から光線が出射する側を「後」(図中では右)ということとする。
距離b pts sharpness value is 1.161603
距離c pts sharpness value is 1.183418
また、Artifactの判明結果の一例を次に示す。閾値T未満であれば1(Artifactなし)、閾値T以上であれば0(Artifact発生)である。
距離b 1
距離c 0
これらの結果、Artifactが発生したものを除外して、鮮明度が最高のものを選択する。つまり、最も高く評価された画像は次の通りである。
図10(a)、(b)は画像Artifact評価の原理の説明図であって、図10(a)が通常Artifactなしの復元画像における画像輝度値のヒストグラム、図10(b)がArtifactありの復元画像における画像輝度値のヒストグラムである。
(変換前の輝度最大値−変換前の輝度最小値)
次に、「強いエッジ抽出」(図12を参照して後述)を実行する(ステップS112)。
被写体が同じではない場合、例えば、風景と人物画像の比較ができない。
同じ画像内容があっても、明るさが異なる場合には比較ができない。
同じ画像内容であっても、ノイズレベルが異なる場合には比較ができない。
上述した実施形態1では、画像全体に対して強いエッジ点を自動的に抽出して鮮明度計算を行っていた。実施形態2では、コード画像や瞳検出画像などのように対象物が事前にわかっている画像に対して、その部分画像の評価を行うようにした。
上述した実施形態1や実施形態2では、モノクロ画像に対して処理を行っていたが、実施形態3はカラー画像を処理対象としている。例えば、RGB画像であれば、RGBチャンネル別に処理した高精度復元画像を合成することによって、RGB画像に対しても同様の効果を奏することができる。
上述した各実施形態では、複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像の画像評価を行っていた。実施形態4では、復元前のボケ画像に基づく評価を先に行って復元フィルタを選択するようにした。
110 光学系
112a 第1レンズ
112b 第2レンズ
112c 第3レンズ
113 絞り
115 光拡散板
120 撮像素子
130 A/Dコンバーター
140 画像処理部
141 RAW画像メモリ
142 コンボリューション演算部
150 画像復元処理部
150A 画像復元処理部
150B 画像復元処理部
150C 画像復元処理部
151 デコンボリューション演算部
152 画像バッファメモリ
153 復元フィルタ処理部
153B 復元フィルタ処理部
153C 復元フィルタ処理部
154 復元フィルタ格納メモリ
154C 復元フィルタ格納メモリ
155 画像評価部
155B 画像評価部
155C 画像評価部
156 中間候補画像バッファメモリ
157 画像領域指定
158 被写体エッジ指定
159 復元画像バッファメモリ
159C 復元フィルタバッファ
160 復元画像出力部
171 RGB画像分解部
172 RGB画像合成部
Claims (9)
- 1枚以上のレンズまたは前記レンズおよび光学素子を有する光学系と、
この光学系より後方に配置された撮像素子と、
この撮像素子で取得された画像データに対して画像処理および復元処理を行う画像復元処理部と、
この画像復元処理部によって復元された画像を出力する復元画像出力部と
を備え、
前記画像復元処理部は、
複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタを格納する復元フィルタ格納部と、
前記画像データから前記複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像を得る復元フィルタ処理部と、
前記複数の中間候補画像の画質をそれぞれ評価して最良の中間候補画像を復元処理結果として出力する画像評価部と
を備えることを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記画像復元処理部は、
前記復元フィルタ処理部が対象とする画像領域を指定する画像領域指定部と、
前記画像評価部が対象から除外すべき領域を指定する除外領域指定部と
をさらに備えることを特徴とする撮像装置。 - 請求項1または請求項2に記載の撮像装置において、
前記画像復元処理部は、色信号毎に復元した色信号別復元画像を合成することを特徴とする撮像装置。 - 1枚以上のレンズまたは前記レンズおよび光学素子を有する光学系と、
この光学系より後方に配置された撮像素子と、
この撮像素子で取得された画像データに対して画像処理および復元処理を行う画像復元処理部と、
この画像復元処理部によって復元された画像を出力する復元画像出力部と
を備え、
前記画像復元処理部は、
複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度を格納する復元フィルタ格納部と、
前記画像データの画質を評価して得られた画像鮮明度に基づき、最も近い画像鮮明度に対応する復元フィルタを前記復元フィルタ格納部から選択する画像評価部と、
選択された復元フィルタを用いて復元画像を得る復元フィルタ処理部と
を備えることを特徴とする撮像装置。 - 請求項1〜4のいずれか1項に記載の撮像装置において、
前記画像復元処理部は、拡散されて前記撮像素子に入射した点像関数のパターンから作成されたWienerフィルタまたはFIRフィルタを有することを特徴とする撮像装置。 - 被写体を撮像する撮像工程と、
この撮像工程で取得された画像データに対して画像処理および復元処理を行う画像復元処理工程と
を含み、
前記画像復元処理工程は、
複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタを格納する復元フィルタ格納工程と、
前記画像データから前記複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像を得る復元フィルタ処理工程と、
前記複数の中間候補画像の画質をそれぞれ評価して最良の中間候補画像を復元処理結果として出力する画像評価工程と
を含むことを特徴とする撮像方法。 - 被写体を撮像する撮像工程と、
この撮像工程で取得された画像データに対して画像処理および復元処理を行う画像復元処理工程と
を含み、
前記画像復元処理工程は、
複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度を格納する復元フィルタ格納工程と、
前記画像データの画質を評価して得られた画像鮮明度に基づき、最も近い画像鮮明度に対応する復元フィルタを選択する画像評価工程と、
選択された復元フィルタを用いて復元画像を得る復元フィルタ処理工程と
を含むことを特徴とする撮像方法。 - 請求項6または請求項7に記載の撮像方法をコンピュータに実行させる撮像プログラム。
- 請求項8に記載の撮像プログラムを記録した記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016010094A JP6578960B2 (ja) | 2016-01-21 | 2016-01-21 | 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体 |
EP16204384.8A EP3209014B1 (en) | 2016-01-21 | 2016-12-15 | Image shooting apparatus, image shooting method, image shooting program, and recording medium that records the image shooting program |
CN201611175006.8A CN106993111B (zh) | 2016-01-21 | 2016-12-16 | 摄像装置、摄像方法及记录介质 |
US15/384,324 US10217194B2 (en) | 2016-01-21 | 2016-12-20 | Image shooting apparatus that extends depth of field by recovering blurred image and an image shooting method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016010094A JP6578960B2 (ja) | 2016-01-21 | 2016-01-21 | 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017130848A true JP2017130848A (ja) | 2017-07-27 |
JP6578960B2 JP6578960B2 (ja) | 2019-09-25 |
Family
ID=57914634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016010094A Active JP6578960B2 (ja) | 2016-01-21 | 2016-01-21 | 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10217194B2 (ja) |
EP (1) | EP3209014B1 (ja) |
JP (1) | JP6578960B2 (ja) |
CN (1) | CN106993111B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110191287B (zh) * | 2019-06-28 | 2021-05-11 | Oppo广东移动通信有限公司 | 对焦方法和装置、电子设备、计算机可读存储介质 |
CN110691180A (zh) * | 2019-08-13 | 2020-01-14 | 中国人民解放军国防科技大学 | 一种可抑制激光后向反射的光电成像系统 |
JP2022051094A (ja) * | 2020-09-18 | 2022-03-31 | 株式会社Screenホールディングス | 画像処理方法、画像処理装置および撮像装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100215219A1 (en) * | 2009-02-20 | 2010-08-26 | Industrial Technology Research Institute | Method and apparatus for extracting scenery depth information |
JP2011135563A (ja) * | 2009-11-30 | 2011-07-07 | Canon Inc | 撮像装置および画像処理方法 |
JP2011215707A (ja) * | 2010-03-31 | 2011-10-27 | Canon Inc | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2013162369A (ja) * | 2012-02-07 | 2013-08-19 | Sharp Corp | 撮像装置 |
JP2013186355A (ja) * | 2012-03-09 | 2013-09-19 | Casio Comput Co Ltd | 自動合焦装置、自動合焦方法及びプログラム |
WO2015015935A1 (ja) * | 2013-07-29 | 2015-02-05 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
WO2015064264A1 (ja) * | 2013-10-31 | 2015-05-07 | 富士フイルム株式会社 | 画像処理装置、撮像装置、パラメータ生成方法、画像処理方法及びプログラム |
WO2015090611A1 (en) * | 2013-12-20 | 2015-06-25 | Sony Corporation | Apparatus and optical system including an optical element |
US20150317776A1 (en) * | 2013-02-15 | 2015-11-05 | Fujifilm Corporation | Image processing device and image capture device |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4749985B2 (ja) * | 2006-09-28 | 2011-08-17 | 京セラ株式会社 | 撮像装置、並びにその製造装置および製造方法 |
JP5409112B2 (ja) * | 2009-05-21 | 2014-02-05 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP5197784B2 (ja) | 2011-03-22 | 2013-05-15 | 京セラ株式会社 | 撮像装置 |
JP5868076B2 (ja) * | 2011-08-31 | 2016-02-24 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US9142012B2 (en) * | 2012-05-31 | 2015-09-22 | Apple Inc. | Systems and methods for chroma noise reduction |
US9014504B2 (en) * | 2012-05-31 | 2015-04-21 | Apple Inc. | Systems and methods for highlight recovery in an image signal processor |
US9332239B2 (en) * | 2012-05-31 | 2016-05-03 | Apple Inc. | Systems and methods for RGB image processing |
WO2014155754A1 (ja) * | 2013-03-28 | 2014-10-02 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体 |
CN105165003B (zh) * | 2013-04-26 | 2018-06-22 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法及程序 |
JP6236908B2 (ja) * | 2013-06-21 | 2017-11-29 | 株式会社リコー | 撮像装置、撮像システムおよび撮像方法 |
JP6042030B2 (ja) * | 2014-03-28 | 2016-12-14 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法、及びプログラム |
JP6512893B2 (ja) * | 2015-03-26 | 2019-05-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム |
-
2016
- 2016-01-21 JP JP2016010094A patent/JP6578960B2/ja active Active
- 2016-12-15 EP EP16204384.8A patent/EP3209014B1/en active Active
- 2016-12-16 CN CN201611175006.8A patent/CN106993111B/zh active Active
- 2016-12-20 US US15/384,324 patent/US10217194B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100215219A1 (en) * | 2009-02-20 | 2010-08-26 | Industrial Technology Research Institute | Method and apparatus for extracting scenery depth information |
JP2011135563A (ja) * | 2009-11-30 | 2011-07-07 | Canon Inc | 撮像装置および画像処理方法 |
JP2011215707A (ja) * | 2010-03-31 | 2011-10-27 | Canon Inc | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2013162369A (ja) * | 2012-02-07 | 2013-08-19 | Sharp Corp | 撮像装置 |
JP2013186355A (ja) * | 2012-03-09 | 2013-09-19 | Casio Comput Co Ltd | 自動合焦装置、自動合焦方法及びプログラム |
US20150317776A1 (en) * | 2013-02-15 | 2015-11-05 | Fujifilm Corporation | Image processing device and image capture device |
WO2015015935A1 (ja) * | 2013-07-29 | 2015-02-05 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
WO2015064264A1 (ja) * | 2013-10-31 | 2015-05-07 | 富士フイルム株式会社 | 画像処理装置、撮像装置、パラメータ生成方法、画像処理方法及びプログラム |
WO2015090611A1 (en) * | 2013-12-20 | 2015-06-25 | Sony Corporation | Apparatus and optical system including an optical element |
Also Published As
Publication number | Publication date |
---|---|
EP3209014B1 (en) | 2020-01-29 |
EP3209014A1 (en) | 2017-08-23 |
CN106993111B (zh) | 2019-12-10 |
US20170213325A1 (en) | 2017-07-27 |
CN106993111A (zh) | 2017-07-28 |
JP6578960B2 (ja) | 2019-09-25 |
US10217194B2 (en) | 2019-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6327922B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5198192B2 (ja) | 映像復元装置および方法 | |
US10282822B2 (en) | Digital correction of optical system aberrations | |
CN102209245B (zh) | 图像处理装置、图像拾取装置和图像处理方法 | |
EP3093818B1 (en) | Image processing apparatus that performs image restoration processing, method of controlling the same, and storage medium | |
JP5968073B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
JP5374119B2 (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
CN102082912A (zh) | 图像拍摄装置及图像处理方法 | |
KR101341101B1 (ko) | 영상 복원 장치 및 복원 방법 | |
JP2014138290A (ja) | 撮像装置及び撮像方法 | |
WO2012086127A1 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP6578960B2 (ja) | 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体 | |
JP5159715B2 (ja) | 画像処理装置 | |
JP2008042227A (ja) | 撮像装置 | |
JP6436840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
US20170061587A1 (en) | Image processing apparatus, image capturing apparatus, and storage medium | |
JP6486076B2 (ja) | 画像処理装置および画像処理方法 | |
JP2017118293A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2017126952A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6331363B2 (ja) | 被写体特定装置、撮像装置およびプログラム | |
JP6452389B2 (ja) | 画像処理装置および画像処理方法 | |
Konevsky | Method of Correction of Longitudinal Chromatic Aberrations | |
JP2018125041A (ja) | 被写体特定装置およびプログラム | |
JP2017116606A (ja) | 焦点調節装置、撮像装置およびプログラム | |
JP2017224906A (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190812 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6578960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |