JP6468907B2 - 画像処理装置及び画像処理方法及びプログラム - Google Patents
画像処理装置及び画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6468907B2 JP6468907B2 JP2015062511A JP2015062511A JP6468907B2 JP 6468907 B2 JP6468907 B2 JP 6468907B2 JP 2015062511 A JP2015062511 A JP 2015062511A JP 2015062511 A JP2015062511 A JP 2015062511A JP 6468907 B2 JP6468907 B2 JP 6468907B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- blood vessel
- image processing
- wall
- confocal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
- A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/1005—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring distances inside the eye, e.g. thickness of the cornea
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/1025—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Description
眼部の画像を取得する画像取得手段と、
前記取得された画像に基づいて血管の壁を構成する膜候補点を取得する血管特徴取得手段と、
前記膜候補点に基づいて前記血管の壁を構成する細胞を特定する細胞特定手段と、
前記特定された細胞の位置に基づいて前記血管の壁の計測位置を特定する計測位置特定手段と、
を備えることを特徴とする。
眼部の画像を取得する画像取得工程と、
前記取得された画像に基づいて血管の壁を構成する膜候補点を取得する血管特徴取得工程と、
前記膜候補点に基づいて前記血管の壁を構成する細胞を特定する細胞特定工程と、
前記特定された細胞の位置に基づいて前記血管の計測位置を特定する計測位置特定工程と、
を備えることを特徴とする。
本実施形態に係る画像処理装置では、共焦点画像と非共焦点画像を同時に取得するSLO装置を用いて網膜血管壁を撮影した画像を用いる。当該画像に対し、該壁の走行に沿った輝度プロファイルにおける極値を検出する。そして、得られた極値に基づいて血管壁を構成する細胞を検出して、その分布を自動計測している。
図2は、本実施形態に係る画像処理装置10を含むシステムの全体構成図である。図2に示すように画像処理装置10は、SLO像撮像装置20やデータサーバ40及び時相データ取得装置50と、ローカル・エリア・ネットワーク(LAN)30を介して接続されている。LAN30は、光ファイバ、USBやIEEE1394等で構成される。なおこれらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよい。あるいは、画像処理装置10と直接接続されている構成であってもよい。
非共焦点画像Dnと標記する場合は、Rチャンネル画像Dnr及びLチャンネル画像Dnlの両方を指している。
画像取得部110は、SLO像撮像装置20に対して、低倍率画像及び高倍率画像の取得を要求する。低倍率画像としては図6(g)に示すような広画角画像Dlを、高倍率画像としては同図中の領域Pt1に示すような視神経乳頭部の円環領域での共焦点画像Dcj、及び2つの非共焦点画像Dnrk及びDnlkが対応する。また、これらの画像に対応する固視標位置Fl及びFcnの取得も要求する。
位置合わせ手段として機能する位置合わせ部131は、取得された画像のフレーム間位置合わせを行う。次に、位置合わせ部131は、各フレームの輝度値やノイズ、基準フレームとの間の変位量に基づいて例外フレームを判定する。具体的には、まず広画角画像Dl及び共焦点画像Dcにおけるフレーム間位置合わせを行う。その後、該フレーム間位置合わせのパラメータ値を、各々非共焦点画像Dnr及びDnlに対しても適用する。
具体的には位置合わせ部131によって、以下の手順でフレーム間位置合わせが実行される。
血管特徴取得手段として機能する血管特徴取得部132、及び細胞特定手段として機能する細胞特定部133が、以下の手順で血管壁を構成する細胞を特定する。即ち、該細胞特定手段は、血管特徴取得部132によって取得された血管における任意の壁を構成する膜候補点に基づいて、該血管の壁を構成する細胞を特定する。
i)S520でフレーム間位置合わせ済みの非共焦点画像を平滑化する。
ii)モルフォロジーフィルタを適用して網膜動脈の中心線を検出する。該動脈中心線上の各位置で、該動脈中心線に垂直な線分上での輝度プロファイルを生成する。次に、該輝度プロファイルに関して、該線分の中心から左側及び右側に向かって極大値を3点ずつ検出して血管中心線に近い方から順に血管壁の内膜・中膜・外膜候補とする。ただし、検出された極大点が3点よりも少ない場合には、該輝度プロファイルでは膜候補点は取得しないものとする。さらに、該中膜候補点を壁の走行方向に補間することで、血管壁走行に沿った曲線を生成する。
iii)段階ii)で生成した曲線に沿って輝度プロファイルを生成し、フーリエ変換して周波数領域で低域通過フィルタを適用することにより高周波ノイズを除去する。
iv)段階iii)で生成した、血管壁の走行に沿って生成された輝度プロファイル上で極大値検出を行い、血管壁を構成する細胞の位置を特定する。即ち、取得した膜候補点の列に沿って生成した輝度プロファイルに基づいて細胞の特定を行う。この輝度プロファイルは、血管壁領域内で血管の中心線に並行な曲線に沿って生成することも可能である。
計測部135は、S530で特定された血管壁を構成する細胞の位置に基づいて細胞間の相対距離を算出し、該相対距離に基づいて膜厚の計測位置を特定する。該特定された計測位置で中膜厚や中膜・外膜の複合膜厚、壁厚を計測する。
具体的な計測処理についてはS750〜S770で詳述する。
表示制御部136が、取得された画像や検出された血管壁を構成する細胞の位置、計測結果(血管壁を構成する細胞の密度や膜厚、壁厚)をモニタ305に表示する。本実施形態では、以下の項目i)乃至iv)の各項目を表示している。即ち、
i)・非共焦点動画像(図8(a)のI1)
・脈波の特定の位相に対応するフレームを選択して重ね合わせ処理した画像(図8(a)のI2)
・血管の内腔を抽出した画像の並置表示(図8(a)のI3)
ii)壁を構成する細胞の検出位置のマップ
iii)血管壁の走行に沿って計測された細胞密度や壁厚、膜厚を示すグラフ(図8(a)のG1)
iv)小領域ごとに算出した血管壁を構成する細胞の分布(細胞密度や細胞面積)を示すマップ(図8(b))
をモニタ305に表示している。なお、項目iv)については算出した値とカラーバーを対応付けた上で、カラー表示することが好ましい。
指示取得部140は、S510で取得した画像やS540で計測した結果のデータ、すなわち非共焦点画像Dnkにおける血管壁を構成する細胞の位置や膜厚、壁厚、血管壁を構成する細胞の密度等の値をデータサーバ40へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード306やマウス307を介して操作者により入力される。保存が指示された場合はS570へ、保存が指示されなかった場合はS580へと処理を進める。
画像処理部130は検査日時、披検眼を同定する情報と、S560で決定した保存対象の画像や計測結果に関するデータとを関連付けてデータサーバ40へ送信する。
指示取得部140は、画像処理装置10による高倍率非共焦点画像Dnkに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード306やマウス307を介して操作者により入力される。処理終了の指示を取得した場合は、処理を終了する。一方、処理継続の指示を取得した場合にはS510に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理を)行う。
細胞特定部133が血管壁を構成する細胞を特定するために、まず非共焦点画像に対してエッジ保存平滑化処理を行う。任意の公知のエッジ保存平滑化処理を適用可能であるが、本実施形態では非共焦点画像Dnr+Dnlに対して中央値フィルタを適用する。
細胞特定部133がS710で生成した平滑化画像に対し、モルフォロジーフィルタを適用して網膜動脈の中心線を検出する。本実施形態ではトップハットフィルタを適用し、血柱反射に相当する幅の狭い高輝度領域を検出する。さらに該高輝度領域を細線化処理して血管中心線を検出する。なお、血管中心線の検出方法はこれに限らず任意の公知の検出方法を用いてよい。
細胞特定部133は、S720で生成した膜候補点列を補間して曲線を生成し、該曲線(図6(h)のPr2)に沿った輝度プロファイル(図6(j))を生成する。
細胞特定部133が、S730において生成した補正済輝度プロファイル上の輝度値を探索して極大値(図6(k)ではLmm1、Lmm2、Lmm3)を検出する。得られた極大値に基づいて、血管走行方向に沿った細胞位置を特定する。
計測位置特定部134は、計測位置の適合度を算出する。本実施形態では、S740で特定した細胞位置に基づいて、該細胞位置を補間して得られる曲線上の各位置で該細胞位置間の距離を1とした場合の相対距離Phを算出する。これは、一定間隔で分布する細胞中心位置間を1周期とした場合の相対位相値に相当する。具体的には、細胞の中心を0とし、細胞の端部が0.5、隣接する細胞の中心が1となる。このような細胞位置間の相対距離Phの算出を、細胞が検出された全ての膜に対して行う。
Cf=|(細胞間の相対距離Ph−0.5)|×2.0
とする。なお、計測位置の適合度については上式Cfに限定されず、細胞中心に近いほど高く、細胞の末端に近いほど低くなる評価値であれば任意の式を用いて算出してよい。
計測位置特定部134は、S750で算出された計測位置の適合度Cfに基づいて計測位置を特定する。即ち、計測位置特定部134は、本実施形態において、特定された細胞の位置に基づいて血管の壁もしくは膜に関する計測位置を特定する計測位置特定手段として機能する。
i) 各種の膜に対して計測位置の適合度Cfを算出する。
ii) i)で算出した膜ごとの計測位置の適合度Cfを細胞サイズ比に基づいて重み付けした値の和が所定範囲となる複数の位置を計測位置として特定する。
ω1・Cfm+ω2・Cfa=0.6・Cfm+0.2・Cfa
(Cfmは中膜、Cfaは外膜に対する計測位置の適合度)
として算出できる。該複合膜厚計測における計測位置の適合度に基づいて、図6(m)では白点線部の位置が計測位置として決定される。
計測部135は、S760で特定された計測位置において、血管の壁に関する計測値として、血管における各膜厚、複数の膜の厚さの合算からなる複合膜厚、該複数の膜によって構成される血管の壁厚を計測する。なお、これらの計測項目は、ここに例示したものの少なくとも一つであってもよい。
a) (中膜+外膜の複合膜厚)/(内膜の膜厚)
即ち、変性・肥厚しやすい中膜+外膜の複合膜厚を相対的に変化しにくい内膜における細胞密度で規格化する。
b) 血管走行方向から見て左側の壁、右側の壁の(同じ種類の)膜厚の比を指標とする。
上述の実施形態では画像取得部110に共焦点データ取得部111と非共焦点データ取得部112を両方とも含む場合について説明した。しかし、非共焦点データを2種以上取得可能な構成であれば、画像取得部110に共焦点データ取得部111を含まなくてもよい。
132 血管特徴取得部
133 細胞特定部
134 計測位置特定部
Claims (10)
- 眼部の画像を取得する画像取得手段と、
前記取得された画像に基づいて血管の壁を構成する膜候補点を取得する血管特徴取得手段と、
前記取得された膜候補点に基づいて前記血管の壁を構成する細胞を特定する細胞特定手段と、
前記特定された細胞の位置に基づいて前記血管の壁に関する計測位置を特定する計測位置特定手段と、
を備えることを特徴とする画像処理装置。 - 前記計測位置特定手段は、1以上の膜において特定された細胞の内の所定の位置からの距離に基づいて前記計測位置を特定することを特徴とする請求項1に記載の画像処理装置。
- 前記特定された計測位置において、前記血管の壁に関する計測値として前記血管における膜厚、複合膜厚、及び壁厚の少なくとも一つを算出する計測手段を更に備えることを特徴とする請求項1又は2に記載の画像処理装置。
- 前記計測手段は、前記血管における異なる種類の膜に対して計測した膜厚同士を演算することにより得られる規格値、又は同じ種類の膜に関して計測した複数の膜厚に関する指標値同士を演算することにより得られる指標値、を算出することを特徴とする請求項3に記載の画像処理装置。
- 前記計測位置特定手段は、前記血管における膜にて前記特定された細胞の間の距離が所定の範囲の値でない位置においては前記特定された細胞の内の所定の位置からの距離に関する値は用いず、前記膜とは異なる他の膜において特定された細胞の内の所定の位置からの距離に基づいて、もしくは前記血管の壁の走行に沿って所定の間隔で前記計測位置を特定することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 前記画像取得手段が取得した前記眼部の広画角画像と複数の高倍率画像との位置合わせを行う位置合わせ手段を更に備え、
前記血管特徴取得手段は前記位置合わせされた複数の高倍率画像に基づいて前記膜候補点を取得することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。 - 前記複数の高倍率画像は共焦点画像と非共焦点画像とを含み、
前記位置合わせ手段は、前記広画角画像と前記共焦点画像との位置合わせを行った際に用いたパラメータ値を用いて前記広画角画像と前記非共焦点画像との位置合わせを行うことを特徴とする請求項6に記載の画像処理装置。 - コンピュータを、請求項1乃至7の何れか1項に記載の画像処理装置の各手段として動作させることを特徴とするプログラム。
- 眼部の画像を取得する画像取得工程と、
前記取得された画像に基づいて血管の壁を構成する膜候補点を取得する血管特徴取得工程と、
前記取得された膜候補点に基づいて前記血管の壁を構成する細胞を特定する細胞特定工程と、
前記特定された細胞の位置に基づいて前記血管の壁に関する計測位置を特定する計測位置特定工程と、
を含むことを特徴とする画像処理方法。 - 請求項9に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015062511A JP6468907B2 (ja) | 2015-03-25 | 2015-03-25 | 画像処理装置及び画像処理方法及びプログラム |
PCT/JP2016/060285 WO2016153074A1 (en) | 2015-03-25 | 2016-03-23 | Image processing apparatus, image processing method, and program therefor |
US15/541,755 US20180000338A1 (en) | 2015-03-25 | 2016-03-23 | Image processing apparatus, image processing method, and program therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015062511A JP6468907B2 (ja) | 2015-03-25 | 2015-03-25 | 画像処理装置及び画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016179145A JP2016179145A (ja) | 2016-10-13 |
JP2016179145A5 JP2016179145A5 (ja) | 2018-05-10 |
JP6468907B2 true JP6468907B2 (ja) | 2019-02-13 |
Family
ID=55806736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015062511A Active JP6468907B2 (ja) | 2015-03-25 | 2015-03-25 | 画像処理装置及び画像処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180000338A1 (ja) |
JP (1) | JP6468907B2 (ja) |
WO (1) | WO2016153074A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107680683A (zh) * | 2017-10-09 | 2018-02-09 | 上海睦清视觉科技有限公司 | 一种ai眼部健康评估方法 |
US10973406B2 (en) | 2018-03-06 | 2021-04-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer readable medium |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5501226A (en) * | 1994-10-19 | 1996-03-26 | Carl Zeiss, Inc. | Short coherence length, doppler velocimetry system |
EP2104920B1 (en) * | 2007-01-11 | 2015-03-04 | Intellectual Property MVM B.V. | The measurement of functional microcirculatory geometry and velocity distributions using automated image analysis |
JP4914517B2 (ja) * | 2009-10-08 | 2012-04-11 | 富士フイルム株式会社 | 構造物検出装置および方法ならびにプログラム |
US20110103655A1 (en) * | 2009-11-03 | 2011-05-05 | Young Warren G | Fundus information processing apparatus and fundus information processing method |
JP2013166295A (ja) * | 2012-02-15 | 2013-08-29 | Bridgestone Corp | タイヤ成形用ゴム部材の貼付装置 |
JP2013169296A (ja) * | 2012-02-20 | 2013-09-02 | Canon Inc | 画像処理装置及び画像処理方法 |
JP6198410B2 (ja) * | 2013-02-28 | 2017-09-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6200168B2 (ja) * | 2013-02-28 | 2017-09-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6092659B2 (ja) * | 2013-02-28 | 2017-03-08 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
WO2015093518A1 (ja) * | 2013-12-18 | 2015-06-25 | コニカミノルタ株式会社 | 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法 |
CN106463002A (zh) * | 2014-06-03 | 2017-02-22 | 株式会社日立制作所 | 图像处理装置以及立体视觉显示方法 |
US10130250B2 (en) * | 2015-11-02 | 2018-11-20 | Nidek Co., Ltd. | OCT data processing apparatus and OCT data processing program |
-
2015
- 2015-03-25 JP JP2015062511A patent/JP6468907B2/ja active Active
-
2016
- 2016-03-23 WO PCT/JP2016/060285 patent/WO2016153074A1/en active Application Filing
- 2016-03-23 US US15/541,755 patent/US20180000338A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20180000338A1 (en) | 2018-01-04 |
JP2016179145A (ja) | 2016-10-13 |
WO2016153074A1 (en) | 2016-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9320424B2 (en) | Image display apparatus, image display method and imaging system | |
JP5818458B2 (ja) | 画像処理装置、撮影システム、画像処理方法及びプログラム | |
JP5822485B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、slo装置、およびプログラム | |
JP6101048B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2016054787A (ja) | 画像処理装置及び画像処理装置の作動方法 | |
JP2017056245A (ja) | 画像処理装置及び画像処理方法 | |
JP6516597B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6468907B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
US10383514B2 (en) | Ophthalmologic imaging apparatus, operation method thereof, and computer program | |
JP6470604B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP6590513B2 (ja) | 情報処理装置、その作動方法、及びコンピュータプログラム | |
US10123688B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
JP6611593B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US10264960B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
JP6001149B2 (ja) | 画像処理装置、撮影システム、画像処理方法及びプログラム | |
JP6711617B2 (ja) | 画像形成装置、画像形成方法及びそのプログラム | |
JP6420859B2 (ja) | 画像表示装置及び画像表示方法、撮影システム | |
JP2024003982A (ja) | 画像処理方法、画像処理装置、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180322 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190115 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6468907 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |