JP2012187229A - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP2012187229A
JP2012187229A JP2011052290A JP2011052290A JP2012187229A JP 2012187229 A JP2012187229 A JP 2012187229A JP 2011052290 A JP2011052290 A JP 2011052290A JP 2011052290 A JP2011052290 A JP 2011052290A JP 2012187229 A JP2012187229 A JP 2012187229A
Authority
JP
Japan
Prior art keywords
image
fundus
eye
examined
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011052290A
Other languages
English (en)
Other versions
JP5917004B2 (ja
JP2012187229A5 (ja
Inventor
Tomoyuki Makihira
朋之 牧平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011052290A priority Critical patent/JP5917004B2/ja
Priority to US13/400,990 priority patent/US8992018B2/en
Priority to KR20120021603A priority patent/KR101481997B1/ko
Priority to EP12158358.7A priority patent/EP2497413B1/en
Priority to CN201210063802.8A priority patent/CN102670169B/zh
Publication of JP2012187229A publication Critical patent/JP2012187229A/ja
Publication of JP2012187229A5 publication Critical patent/JP2012187229A5/ja
Priority to US14/631,880 priority patent/US9687148B2/en
Application granted granted Critical
Publication of JP5917004B2 publication Critical patent/JP5917004B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/0209Low-coherence interferometers
    • G01B9/02091Tomographic interferometers, e.g. based on optical coherence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4795Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】複数の眼底断層画像取得と一の眼底画像とを関連付けて表示可能な眼科装置を提供する。
【解決手段】被検眼の眼底画像をを撮像する眼底撮像部と、
前記被検眼の断層画像を撮像する断層画像撮像部と、断層画像を得るために前記被検眼の眼底の所望位置を走査する為の走査手段と、
前記眼底画像撮像部により取得された眼底画像における複数の特徴点より位置の特徴点と新たな眼底画像の特徴点をについてのパターンマッチングを実施して眼底の動き量を計測する計測手段を有した制御手段とを有し、断層画像の撮像は計測手段におけるパターンマッチングの終了に応じて実行される撮像装置
【選択図】図5

Description

本発明は、撮像装置及び撮像方法に関するものである。特に、眼底の移動量をリアルタイムに眼底断層像撮像に反映させ、所望の眼底断層像を取得する撮像装置及び撮像方法に関するものである。
近年、眼底断層像が取得できるOCT(Optical Coherence Tomography)装置が注目されている。他の装置では観察できない眼底の内部構造が非侵襲で診断できる事が注目要因の一つである。高速に撮像可能で実績のあるFD−OCT(Fourier Domain)が市場の中心である。OCT装置には眼底カメラやSLO(Scanning Laser Ophthalmoscopy)が同一装置内に装備され、眼底のどこのエリアをOCTスキャンするか表示する事で所望の位置付近のOCT画像を取得することができる。
一方、早期診断、早期治療から微小の腫瘍や異常を検出する為に、OCT画像の高画質化が求められている。高画質化を達成するために、眼底の移動、即ち、眼杞憂運動に伴う眼底位置の変化にOCTビームを追従する装置(特許文献1)に関する技術が公開されている。
また、上述のSLO装置を有するOCT装置に関して、SLO画像取得とOCT画像取得を交互に撮像する技術(特許文献2)、が公開されている。
特許文献1では、OCT装置に眼底の移動を検出する為の装置を付加させている。その装置は眼底の視神経乳頭を追尾し、リアルタイムでOCTスキャナを制御する事で、所望の個所のOCT画像を取得している。
また、特許文献2では、SLO画像取得とOCT画像取得を交互に撮像する事で被験者の負荷を抑えSLO画像とOCT画像を取得している。
特表2004−512125 特開2008−29467
FD-OCTが高速化を実現した事により眼底の移動情報を取得する時間よりも、OCT画像を取得する時間の方が速くなる場合がある。図3を用い説明する。眼底の所望位置にOCTビームOを移動し、測定を開始すると、位置情報を算出する為のSLO画像301〜304を取得している間に複数のOCT画像311〜322が取得される。この場合、全てのOCT画像に対応する位置情報が得られないという課題があった。
特許文献1のように、高速に追尾する事で上述の課題は解決されるが、追尾専用の特殊な装置を付加させる事が必須となり、装置の大型化、更には、追尾用のスキャナ等高価な部品が必要となる。また、追尾を行うターゲットを設定する等、初期に行う操作が増え、撮像時間が増える、等の問題があった。
また、特許文献2では、SLO画像とOCT画像を交互に取得する為、撮像の時間がかかりリアルタイムトラッキングを行った際、遅れ時間が長くなり、眼底位置との誤差が大きい等の問題があった。
本発明の目的は、眼底画像の取得レートが断層画像の取得レートより遅くても、より適切なリアルタイムトラッキングを行うことができることにある。
上述の課題を解決する為、本発明に係る撮像装置は、被検眼の眼底画像から抽出された複数の特徴画像を用いたマッチングにより前記被検眼の動きを計測する撮像装置であって、前記被検眼の断層画像を取得する断層画像取得手段において、前記断層画像を得るための測定光を走査する為の走査手段と、前記被検眼の眼底画像を取得する眼底画像取得手段と、前記眼底画像撮像手段により取得された前記眼底画像において、前記複数の特徴画像のうち少なくとも1つの特徴画像を用いたマッチングを行うことにより、前記被検眼の動きを計測する計測手段と、前記計測手段により計測された前記少なくとも1つの特徴画像のマッチングにより得られた前記被検眼の動きに基づいて、前記断層画像を得るために前記走査手段を制御する制御手段と、を有し、前記計測手段は前記眼底画像取得手段による前記眼底画像の取得中に前記計測を行う事を特徴とする。
また、本発明に係る撮像方法は、被検眼の眼底画像から抽出された複数の特徴点を用いたパターンマッチングにより前記被検眼の動きを計測する撮像方法であって、前記被検眼の眼底画像を取得する眼底画像取得工程と、前記眼底画像撮像工程により取得された眼底画像において、前記複数の特徴点を用いたパターンマッチングを行うことにより、前記被検眼の動きを計測する計測工程と、前記計測工程により計測された前記被検眼の動きに基づいて、前記被検眼の断層画像を撮像する断層画像取得工程と、を有し、前記断層画像取得工程は、前記計測工程によって前記複数の特徴点における一の特徴点に基づいた動きの計測に応じて行われる事を特徴とする。
本発明によれば、位置検出から位置補正までの遅れ時間が短いより適切なリアルタイムトラッキングが行うことができる。
本発明の実施例1における装置の機能体系の概略図である。 本発明の実施例1における眼科装置の概略図 本発明の従来例におけるSLO画像とOCT画像の概略図である。 本発明の実施例1における眼底画像とテンプレートの概略図である。 本発明の実施例1におけるSLO画像とOCT画像の概略図である。 本発明の実施例2における眼底画像とテンプレートの概略図である。 本発明の実施例2におけるSLO画像とOCT画像の概略図である。 本発明の実施例1における処理フローの概略図である。 本発明の実施例1における処理Aの概略図である。 本発明の実施例1における処理Bの概略図である。 本発明の実施例1における処理Cの概略図である。
[実施例1]
以下、本発明の実施例1について説明する。
本実施例では、眼底画像取得にSLOを用い、SLOで取得した画像(SLO画像)から複数の特徴点(特徴画像とも呼ぶ。)を抽出し、特徴点を検出する度に眼底の移動量の計測を行う。その結果を、リアルタイムにOCT装置のスキャナにフィードバックし、OCT画像を取得する事で、OCTビームのスキャン領域を眼底の所望位置に制御する。SLO画像全体を取得した後、複数の特徴点から眼底画像の相対的な回転と倍率を算出し、OCTビームの走査にフィードバックする構成について述べる。
(OCT撮像部構成)
本発明における断層画像取得手段としてのOCT撮像部の光学構成に関して、図1を用いて説明する。
光源として、低コヒーレント光源101を用いる。光源101はSLD光源(Super Luminescent Diode)や、ASE光源(Amplified Spontaneous Emission)が好適に用いることができる。低コヒーレント光としては、850nm近傍および1050nm近傍の波長が眼底撮影には好適に用いられる。本実施例では、中心波長840nm、波長半値幅45nmのSLD光源を用いる。低コヒーレント光源101から出射される低コヒーレント光がファイバを経由して、ファイバカプラ102に入り、測定光(OCTビーム)と参照光に分けられる。ここではファイバを用いた干渉計構成を記載しているが、空間光光学系でビームスプリッタを用いた構成としてもかまわない。
測定光は、ファイバ103を介して、ファイバコリメータ104から平行光として出射される。平行光は、OCTスキャナ(Y)105、リレーレンズ106、107を経由し、さらにOCTスキャナ(X)108を通り、ダイクロイックビームスプリッタ109を透過しスキャンレンズ110、ダイクロイックミラー111、そして、接眼レンズ112を通り被検眼eを照射する。ここで、本発明における走査手段を構成するOCTスキャナ(X)108および(Y)105は、ガルバノスキャナを用いている。被検眼eにおける測定光は、網膜で反射し、同一光路を通りファイバカプラ102に戻る。参照光は、ファイバカプラ102からファイバコリメータ113に導かれ、平行光となり出射される。出射された参照光は、分散補正ガラス114を通り、光路長可変ステージ115上の参照ミラー116により反射される。参照ミラー116により反射された参照光は、同一の光路をたどり、ファイバカプラ102に戻る。
ファイバカプラ102で戻ってきた測定光および参照光が合波され、ファイバコリメータ117に導かれる。ここでは合波された光を干渉光と呼ぶ。ファイバコリメータ117、透過型グレーティング118、レンズ119、ラインセンサ120によって、分光器が構成されている。干渉光は、分光器によって、波長毎の強度情報となって計測される。ラインセンサ120によって計測された波長毎の強度情報は、不図示のPCに転送され、被検眼eの断層画像として生成される。
(SLO撮像部構成)
次に、本発明における眼底画像取得手段である、眼底画像を取得するSLO撮像部の光学構成に関して、同じく図1を用いて説明する。レーザ光源130は、半導体レーザやSLD光源が好適に用いることができる。用いる波長は、OCT撮像部の低コヒーレント光源101の波長とダイクロイックビームスプリッタ109によって、使用波長同士が分離できる光源であれば制約はないが、眼底観察像の画質を考慮した場合、700nm〜1000nmの近赤外の波長域が好適に用いられる。本実施例においては、波長760nmの半導体レーザを用いる。レーザ光源130から出射されたレーザ(SLOビーム)はファイバ131を介して、ファイバコリメータ132から平行光となって出射され、穴空きミラー133、レンズ134を介し、SLOスキャナ(Y)135に導かれる。そして、レンズ136、137を介し、SLOスキャナ(X)138を介し、ダイクロイックビームスプリッタ109で反射し、被検眼eに入射する。ダイクロイックビームスプリッタ109は、OCTビームを透過し、SLOビームを反射するように構成しておく。OCT撮像部と同様、SLO撮像部のスキャナはガルバノスキャナを用いている。被検眼eに入射したSLOビームは、被検眼eの眼底に照射される。このビームが、被検眼eの眼底で反射あるいは散乱され、同一光路をたどり、リングミラー133まで戻る。リングミラー133の位置は、被検眼eの瞳孔位置と共役になっており、眼底に照射されているビームが後方散乱した光のうち、瞳孔周辺部を通った光が、リングミラー133によって反射され、レンズ139によりAPD(アバランシェホトダイオード)140上に結像する。APD140の強度情報に基づき,不図示のPCにより眼底の平面画像(眼底画像)を生成する。
(内部固視灯)
本実施例では、固視を安定させる為、被検眼eに注視させる内部固視灯を有している。OCT撮像部、SLO撮像部同様、図1を用い説明する。内部固視灯150は複数の発光ダイオード(LD)がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置を、PCの制御により撮像したい部位に合わせて変更する。発光ダイオードは500nmの波長で、内部固視灯150から出射されたビームは、レンズ151とダイクロイックミラー111を経由し、被検眼eに照射され、これを注視させることにより所望の位置の断層画像を撮像することができる。ダイクロイックミラー111は、スキャンレンズ110と接眼レンズ112の間に位置し、固視灯(500nm程度)の光と、OCTビーム,SLOビーム(700nm以上)を波長分離する。
(ユニット構成と制御)
図2に本実施例で用いられる機能体系を示す。その機能体系は、システム全体を制御するCPU201と、主要構成であるSLO撮像部、OCT撮像部を制御する各々の制御部202、203、固視灯制御部208、SLO画像及びOCT画像を取得する各々のAPD204(140)、ラインセンサ205(120)、システム状態を表示する表示部206、眼底画像や撮像条件等を記録する記録部207、により構成されている。眼底の撮像時には、固視灯制御部208により内部固視灯150の点灯位置を制御し、被検眼に注視させ、CPU201より制御部202、203に各々の撮像条件が指令され、各々のスキャナが駆動し、眼底が撮像される。眼底が撮像された後、APD204、ラインセンサ205からCPU201に画像が送られ、画像処理(SLO画像、OCT画像の生成)された後、表示部206で表示され、同時又はその後、記録部207に保存される。
(追尾制御)
上述の装置を用い、SLO画像から被検眼の眼底の動き量を算出し、OCT撮像部のX,Yスキャナにフィードバックする。被検眼の眼底をモニタしている間、SLO撮像部を用い、被験者の眼底画像を取得し、眼底画像から複数の特徴点を抽出し、記録部に記録する。特徴点を抽出し、記録した後に、新たに取得しているSLO画像の中に記録されている特徴点の有無を確認し、検出した際には、抽出した特徴点と検出した特徴点の座標からX,Yのシフト量を算出する。シフト量を算出後、算出した数値からOCT撮像部のスキャナに印可する電圧を決定し、OCT撮像部のX,Yガルバノスキャナ108、105を駆動させる。以上の処理を、フロー図8に沿って説明する。先ず、眼底画像を取得する眼底画像取得工程として、眼底画像をSLO装置により取得する(ステップ802)。取得したSLO画像から特徴点(以下、テンプレート)を抽出する(ステップ803)。抽出したテンプレート画像と座標をPCのメモリに保存する(ステップ4)。OCT装置の走査(スキャン)基準位置を記録する(ステップ805)。OCTの撮像を開始する(ステップ806)。同時にSLO画像を取得する(ステップ807)。処理Aにより、眼底の移動量をOCTスキャナにフィードバックし、リアルタイムトラッキングを行う(ステップ808)。OCTの撮像が終了するまで、上述のステップ807〜809を繰り返す。以上の制御をCPU201(図2)で行う。
処理Aに関して、図9を用い説明する。SLO信号から眼底画像を構成(ステップ902)している間に、テンプレートT1と一致するi番目のテンプレートTiの画像を探索し、パターンマッチングする(903)。マッチングしたテンプレートの座標を保存する(ステップ904)。マッチングしたテンプレート座標と抽出したテンプレート画像の座標から、眼底の移動量(Δx、Δy)を算出する(ステップ905)。これらの工程は、本発明における取得済みの眼底画像において複数の特徴点を用いたパターンマッチングを行って被検眼の動きを計測する計測工程にあたる。また、これら操作は、CPU201において、取得された眼底画像中の複数の特徴点の中から一つ特徴点を選択し、当該特徴点を用いたパターンマッチングの実行により被検眼の動きを計測する計測手段として機能する領域により実施される。なお、マッチングの操作は所謂画像パターンを用いたものに限定されず、従って当該操作はマッチングと称呼されることが好ましい。処理Bで、算出した眼底の移動量をOCT撮像部のX,Yガルバノスキャナ108、105にフィードバックする(ステップ906)。T2〜T4においても以上の処理を行う(ステップ907、ステップ903〜907)。処理Cにおいて、眼底画像の全てのテンプレートT1〜T4情報を得た後、T1〜T4の座標と移動量から、眼底の回転・倍率変化を算出する再計算を実施する。なお、再計算の実施上、特徴点の抽出或いは指定は、少なくとも1つの特徴点に、より好ましくは2つ以上の特徴点に対して為されることが好ましい。以上の、計測手段によって計測された被検眼の動きに基づいた断層画像を得るための走査手段の制御は、CPU201における制御手段として機能する領域により実行される。また、抽出等された特徴点による被検眼の動きの計測は、該特徴点の抽出された順番に応じて為されることが好ましい。
処理Bに関して、図10を用い説明する。OCTのスキャン位置を読み出し(ステップ1002)、眼底の移動量(Δx、Δy)からOCTスキャナに投入する電力を決定し(ステップ1003)、OPUより投入電力をOCT制御へ転送し(ステップ1004)、OCTスキャナX,Yを駆動させる(ステップ1005)。スキャン位置を記録し(ステップ1006)、各情報をディスプレイに表示する(ステップ1007)。
処理Cに関して、図11を用い説明する。各テンプレートの座標を読み出し(ステップ1102)、各座標を用いアフィン変換する事で、眼底の回転量・倍率変化を算出する(ステップ1103)。更に、OCTスキャナの位置データを読み出し(ステップ1104)、回転量からOCTスキャナに投入する電力を決定する(ステップ1105)。CPUより、投入電力をOCT制御へ転送し(ステップ1106)、スキャナ移動確認後(ステップ1107)、各情報を保存(ステップ1108)、表示(ステップ1109)する。
(具体例)
以上の装置を用い、OCT撮像部は6×2mm(x、z)の画像を60Hzで取得し、SLO撮像部は8×6mm(x、y)の画像を20Hzで取得する。以下、眼軸方向をz方向、眼底平面に対し、水平方向をx、鉛直方向をyとする。各撮像部で取得された画像を図3に示す。OCT撮像部とSLO撮像部は同一CPUにより制御されている。SLO画像が1枚取得される時間にOCT画像は3枚取得される。
図4に示すように、SLO画像Sを取得し、SLO画像Sから特徴点となるテンプレートT1、T2、T3、T4を4点抽出する。本実施例では血管の交叉部を特徴点として抽出している。抽出したテンプレート情報は、記録部207に記録される。ここで、テンプレート情報とは、SLO画像の原点(例えば、走査開始位置や中心位置)に対する座標位置、大きさ、画像情報(特徴量)などである。そして、SLO画像Sに太線Oで示した黄斑から視神経乳頭のエッジ部まで(太線O)のOCT画像を取得する。
次に、追尾の制御に関して、図4、5を用い説明する。OCT撮像部による撮像が開始されると同時に、SLO撮像部を動作させ、SLOビームを走査することによりSLO画像S−1を取得しながら、SLO画像S−1の一部から走査開始位置に最も近いテンプレートT1と一致するT1−1を取得する。初期のSLO画像SのT1座標と画像S−1のT1−1座標の差分から眼底の移動量(Δx、Δy)を算出する。算出された移動量をOCT撮像部のx、yスキャナにリアルタイムにフィードバックする。フィードバックする事でOCTビームは眼底の同一箇所を走査可能となる。同様の制御を走査開始位置に近い順に各テンプレートT2〜T4まで行い、SLO画像取得中も平均80Hz程度のフィードバックでOCT撮像部は所望の位置をスキャンできる。SLO画像S−1の全体を取得した後、SLO画像SのT1〜T4とSLO画像S−1のT1−1〜T4−1を用い、アフィン変換を用いて演算を実行する事で、Δx、Δy、回転、倍率を算出し、OCT撮像部のガルバノスキャナに反映する事でシフト以外の項目に関しても補正が可能となる。以上の処理をSLO画像S−2〜S−4にも順次適応する。OCT撮像部のスキャン位置は眼底に対し、同じ位置をスキャン可能となり、図5のO−1〜O−12の様に同じ位置のOCT画像を取得できる。
なお、テンプレートT1によるパターンマッチング処理は、1走査分のSLO画像が取得されたときに開始されてもよく、記憶されているテンプレートT1の座標を含む位置のSLO画像が取得されたときに開始してもよい。
また、OCT撮像部のスキャナは、眼底の動きに合わせて補正を行うが、SLO撮像部のスキャナは、動きに合わせた補正は行われない。
すなわち、本発明においては、SLO撮像部により得られた眼底像を取得し、更に該眼底画像において複数の特徴点を抽出した上で、更なるSLO画像における特徴点とのパターンマッチングを行うこととしている。また、更に一の特徴点についての動きの計測の実施に応じて断層画像取得のための測定光の走査を行うこととしている。
以上のように、眼底の同一箇所をOCTビームでスキャンして、同じ位置の断層画像を複数枚取得することができる。また、この様に取得した複数枚の眼底断層像を画像処理による位置合わせすることなく重ね合せる事ができ、微小な血管やその異常、浮腫、腫瘍や治療の痕が観測できる。
本実施例では、テンプレートを4カ所抽出し、追尾制御を行ったが、2カ所以上であれば、同様の効果が得られる。
また、本発明によれば、眼底画像から抽出された複数の特徴点の位置情報に基づき、テンプレートマッチング処理の開始を制御することとなる。
[実施例2]
本実施例では、内部固視灯、SLO撮像部、OCT撮像部を有し、OCT撮像部の眼底断層像の取得レートと、SLO撮像部のSLO画像取得レートを比較し、OCT画像の取得レートに応じて、SLO画像からテンプレートを抽出する個数を決定し、各テンプレートに基づいてOCT画像の取得位置を補正する事で、追尾速度とOCT撮像部の撮像速度をリンクさせる事で、最適な追尾を行う例について、記述する。装置構成は実施例1と同様である為、説明を割愛する。
本実施例では、OCT撮像部は6×2mmの画像を40Hzで取得し、SLO撮像部は8×6mmの画像を20Hzで取得できる構成である。SLO撮像部がSLO画像を1枚取得している間に、OCT画像は2枚取得できるので、特徴点であるテンプレートを2箇所抽出する。抽出した画像を図6に示す。取得したSLO画像S´からテンプレートT1´、T2´を抽出し、抽出したテンプレート情報を記録部207に記録する。また、OCT撮影エリアO´は黄斑から視神経乳頭のエッジまでのスキャン範囲である。
OCT撮像部による撮像が開始される前に、図6、7に示すように、S1´画像の一部を取得している際、SLO画像S´から抽出されたテンプレートT1´と一致する箇所を探索する。SLO画像S1´の一部からテンプレートT1´と一致するT1´−1を取得した際、初期のSLO画像S´のT1´座標と画像S1´のT1´−1座標の差分から眼底の移動量(Δx、Δy)を算出する。算出された移動量をOCT撮像部のX,Yスキャナにリアルタイムにフィードバックする。フィードバックと同時にOCT撮像部によるOCT画像の撮像を行う。同様の制御をテンプレートT2´にも行う。テンプレート毎に、SLO画像取得中もリアルタイムにフィードバックしでOCT画像と同期する事で、OCTビームは所望の位置を撮像速度の40Hz程度でスキャンできる。上述の制御を行う事で、図7の様に、各算出結果を各OCT画像の撮像に適応させる事が出来、テンプレートT1´−1に対応するOCT画像はO´−1で、テンプレートT2´−1に対応するOCT画像O´−2を取得する。SLO画像S1´の全体が撮像された後、SLO画像S´とSLO画像S1´のテンプレートから眼底の回転量を算出する。算出された回転量分をOCTガルバノスキャナにフィードバックする。
同様の処理をSLO画像S2´〜S4´まで行い、OCT撮像部の画像取得レートと同期して40Hz程度で追尾が可能となる。
以上のように、眼底の同一箇所をOCTビームでスキャンして、同じ位置の断層画像を複数枚取得することができる。また、この様に取得した複数枚の眼底断層像を画像処理による位置合わせを行うことなく重ね合せる事ができ、微小な血管、浮腫、や腫瘍が観測できる。
本実施例では、OCT画像の取得レートがSLO画像の取得レートの2倍であったので、テンプレートを2カ所抽出したが、取得レートが数倍の時は数カ所のテンプレートを抽出すればよい。
すなわち、OCT画像の取得レートはSLO画像の取得レートの整数倍であることが好ましく、従って、当初抽出される特徴点の数は、この整数倍の値を等しい数に設定されることが好ましい。
(その他)
実施例1、2では、内部固視灯を用いたが、外部固視灯を用いてもよい。外部固視灯を用いた時は内部固視灯を用いた時よりも固視が安定しない。
また、眼底撮像装置はSLOだけでなく、LSLO(Line Scanning Laser Ophthalmoscopy)でもよい。この場合、SLOスキャナ(X)が不要となることは言うまでもない。
更に、各実施例では、位置情報をリアルタイムに反映させていたが、OCT画像を取得後に反映しても良い。
テンプレートが3カ所以上検出された際は、同一眼底画像撮像中においても、アフィン変換等を用い、回転・倍率等を算出し、OCT装置にフィードバックしても良い。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
101:OCT光源
120:ラインカメラ
130:SLO光源
e:被検眼
201:CPU
S:SLO画像
O:OCT画像
T:テンプレート画像

Claims (11)

  1. 被検眼の眼底画像から抽出された複数の特徴画像を用いたマッチングにより前記被検眼の動きを計測する撮像装置であって、
    前記被検眼の断層画像を取得する断層画像取得手段において、前記断層画像を得るための測定光を走査する為の走査手段と、
    前記被検眼の眼底画像を取得する眼底画像取得手段と、
    前記眼底画像撮像手段により取得された前記眼底画像において、前記複数の特徴画像のうち少なくとも1つの特徴画像を用いたマッチングを行うことにより、前記被検眼の動きを計測する計測手段と、
    前記計測手段により計測された前記少なくとも1つの特徴画像のマッチングにより得られた前記被検眼の動きに基づいて前記断層画像を得るために前記走査手段を制御する制御手段と、を有し、
    前記計測手段は前記眼底画像取得手段による前記眼底画像の取得中に前記計測を行う事を特徴とする撮像装置。
  2. 前記計測手段が、前記複数の特徴画像のうち抽出された特徴画像の順番に従って前記被検眼の動きを計測し、
    前記制御手段が、前記被検眼の動きに基づいて前記走査手段を制御することを特徴とする請求項1に記載の撮像装置。
  3. 前記計測手段は、2以上の特徴点の情報を用い、眼底の動きを再計算する事を特徴とする請求項1又は2に記載の撮像装置。
  4. 前記断層画像の取得レートが、前記眼底画像の取得レートの整数倍であることを特徴とする請求項1乃至3の何れか1項記載の撮像装置。
  5. 前記特徴点の数が、前記整数倍と等しくなるように設定される事を特徴とする請求項4記載の撮像装置。
  6. 前記眼底画像取得手段が、SLO又はLSLOである事を特徴とする請求項1乃至5の何れか1項に記載の撮像装置。
  7. 前記断層画像取得手段が、OCTである事を特徴とする請求項1乃至6の何れか1項に記載の撮像装置。
  8. 前記再計算により、眼底の回転又は前記眼底画像の倍率を算出する事を特徴とする請求項3に記載の撮像装置。
  9. 前記計測手段は、前記眼底画像取得手段により1走査分の画像、又は、前記特徴点の位置に対応する走査画像が取得されたときに処理を開始することを特徴とする請求項1乃至8の何れか1項に記載の撮像装置。
  10. 前記眼底画像取得手段により取得された眼底画像は、前記動きにより補正されないことを特徴とする請求項1乃至9の何れか1項に記載の撮像装置。
  11. 被検眼の眼底画像から抽出された複数の特徴点を用いたパターンマッチングにより前記被検眼の動きを計測する撮像方法であって、
    前記被検眼の前記眼底画像を取得する眼底画像取得工程と、
    前記眼底画像撮像工程により取得された前記眼底画像において、前記複数の特徴点を用いたパターンマッチングを行うことにより、前記被検眼の動きを計測する計測工程と、
    前記計測工程により計測された前記被検眼の動きに基づいて、前記被検眼の断層画像を撮像する断層画像取得工程と、を有し、
    前記断層画像取得工程は、前記計測工程によって前記複数の特徴点における一の特徴点に基づいた動きの計測に応じて行われる事を特徴とする撮像方法。
JP2011052290A 2011-03-10 2011-03-10 撮像装置及び撮像装置の制御方法 Expired - Fee Related JP5917004B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2011052290A JP5917004B2 (ja) 2011-03-10 2011-03-10 撮像装置及び撮像装置の制御方法
US13/400,990 US8992018B2 (en) 2011-03-10 2012-02-21 Photographing apparatus and photographing method
KR20120021603A KR101481997B1 (ko) 2011-03-10 2012-03-02 촬상장치 및 촬상방법
EP12158358.7A EP2497413B1 (en) 2011-03-10 2012-03-07 Ophthalmic photographing apparatus, method and program
CN201210063802.8A CN102670169B (zh) 2011-03-10 2012-03-12 摄像设备及其控制方法
US14/631,880 US9687148B2 (en) 2011-03-10 2015-02-26 Photographing apparatus and photographing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011052290A JP5917004B2 (ja) 2011-03-10 2011-03-10 撮像装置及び撮像装置の制御方法

Publications (3)

Publication Number Publication Date
JP2012187229A true JP2012187229A (ja) 2012-10-04
JP2012187229A5 JP2012187229A5 (ja) 2014-11-06
JP5917004B2 JP5917004B2 (ja) 2016-05-11

Family

ID=45936722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011052290A Expired - Fee Related JP5917004B2 (ja) 2011-03-10 2011-03-10 撮像装置及び撮像装置の制御方法

Country Status (5)

Country Link
US (2) US8992018B2 (ja)
EP (1) EP2497413B1 (ja)
JP (1) JP5917004B2 (ja)
KR (1) KR101481997B1 (ja)
CN (1) CN102670169B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014147504A (ja) * 2013-01-31 2014-08-21 Canon Inc 光干渉断層撮像装置およびその制御方法
JP2014147503A (ja) * 2013-01-31 2014-08-21 Canon Inc 光干渉断層撮像装置およびその制御方法
JP2014209980A (ja) * 2013-04-17 2014-11-13 キヤノン株式会社 眼底撮像装置及び撮像方法
JP2015080726A (ja) * 2013-10-23 2015-04-27 キヤノン株式会社 光干渉断層撮影における網膜運動追跡
WO2016170815A1 (ja) * 2015-04-20 2016-10-27 株式会社トプコン 眼科手術用顕微鏡
JP2018126548A (ja) * 2018-04-04 2018-08-16 株式会社トプコン 眼科手術装置
US10285585B2 (en) 2014-05-02 2019-05-14 Kabushiki Kaisha Topcon Ophthalmic surgical apparatus and attachment for ophthalmic surgery
JP2019171220A (ja) * 2019-07-23 2019-10-10 株式会社トプコン 眼科撮影装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096785B (zh) 2010-03-12 2015-09-30 佳能株式会社 眼科设备及其控制方法
JP5818409B2 (ja) 2010-06-17 2015-11-18 キヤノン株式会社 眼底撮像装置及びその制御方法
JP5917004B2 (ja) * 2011-03-10 2016-05-11 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP5913999B2 (ja) * 2012-01-16 2016-05-11 キヤノン株式会社 眼科撮像装置およびその制御方法
JP5374598B2 (ja) * 2012-01-26 2013-12-25 キヤノン株式会社 光断層撮像装置
JP5997457B2 (ja) 2012-02-21 2016-09-28 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP5955020B2 (ja) 2012-02-21 2016-07-20 キヤノン株式会社 眼底撮像装置及び方法
JP6025349B2 (ja) 2012-03-08 2016-11-16 キヤノン株式会社 画像処理装置、光干渉断層撮像装置、画像処理方法および光干渉断層撮像方法
CN103040440B (zh) * 2012-11-21 2015-05-13 温州医学院 一种同步测量眼睛客观调节和生物学参数的装置及方法
CN102934986B (zh) * 2012-12-04 2014-08-27 天津迈达医学科技股份有限公司 基于gpu平台的眼科频域oct系统和处理方法
JP6108827B2 (ja) 2012-12-28 2017-04-05 キヤノン株式会社 眼科装置および位置合わせ方法
JP6227337B2 (ja) * 2013-01-24 2017-11-08 株式会社日立エルジーデータストレージ 光計測装置
JP6322042B2 (ja) 2014-04-28 2018-05-09 キヤノン株式会社 眼科撮影装置、その制御方法、およびプログラム
JP2016112267A (ja) * 2014-12-16 2016-06-23 キヤノン株式会社 眼科装置、画像生成方法およびプログラム
JP6552200B2 (ja) 2015-01-09 2019-07-31 キヤノン株式会社 光断層撮像装置、その制御方法、及びプログラム
CN104997482B (zh) * 2015-08-04 2016-08-24 深圳市莫廷影像技术有限公司 一种直线高清扫描随访实现方法及装置
KR101746763B1 (ko) * 2016-02-01 2017-06-14 한국과학기술원 망막 또는 맥락막 내 혈관조영 광가간섭 단층촬영 장치 및 이를 이용한 질병 진단방법
AU2017382218B2 (en) 2016-12-21 2023-05-11 Acucela Inc. Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications
JP7243023B2 (ja) * 2018-03-06 2023-03-22 株式会社ニデック Oct装置
WO2019246412A1 (en) 2018-06-20 2019-12-26 Acucela Inc. Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications
CN110051320B (zh) * 2019-04-25 2020-11-20 南京博视医疗科技有限公司 一种线扫描成像系统的眼底目标运动量的计算方法
WO2021134087A1 (en) 2019-12-26 2021-07-01 Acucela Inc. Optical coherence tomography patient alignment system for home based ophthalmic applications
US10959613B1 (en) 2020-08-04 2021-03-30 Acucela Inc. Scan pattern and signal processing for optical coherence tomography
WO2022035809A1 (en) 2020-08-14 2022-02-17 Acucela Inc. System and method for optical coherence tomography a-scan decurving
US11393094B2 (en) 2020-09-11 2022-07-19 Acucela Inc. Artificial intelligence for evaluation of optical coherence tomography images
AU2021352417A1 (en) 2020-09-30 2023-04-06 Acucela Inc. Myopia prediction, diagnosis, planning, and monitoring device
US11497396B2 (en) 2021-03-24 2022-11-15 Acucela Inc. Axial length measurement monitor
CN114343566B (zh) * 2021-11-30 2022-11-01 图湃(北京)医疗科技有限公司 一种辅助oct进行扫描的方法、pc终端、存储介质及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004159767A (ja) * 2002-11-11 2004-06-10 Topcon Corp 眼底画像処理方法及びこれを用いた眼底画像処理装置
JP2010012109A (ja) * 2008-07-04 2010-01-21 Nidek Co Ltd 眼底撮影装置
JP2011135933A (ja) * 2009-12-25 2011-07-14 Nidek Co Ltd 網膜機能計測装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6325512B1 (en) 2000-10-31 2001-12-04 Carl Zeiss, Inc. Retinal tracking assisted optical coherence tomography
US7805009B2 (en) 2005-04-06 2010-09-28 Carl Zeiss Meditec, Inc. Method and apparatus for measuring motion of a subject using a series of partial images from an imaging system
JP4822969B2 (ja) 2006-07-27 2011-11-24 株式会社ニデック 眼科撮影装置
US8223143B2 (en) * 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
JP2010142428A (ja) * 2008-12-18 2010-07-01 Canon Inc 撮影装置及び撮影方法、プログラム、記録媒体
JP5570125B2 (ja) * 2009-01-22 2014-08-13 キヤノン株式会社 光断層撮像装置
EP2233065B8 (en) 2009-03-23 2015-11-25 Nidek Co., Ltd. Ophthalmic observation apparatus
JP5144579B2 (ja) 2009-04-02 2013-02-13 株式会社トプコン 眼科観察装置
JP5437755B2 (ja) * 2009-04-15 2014-03-12 株式会社トプコン 眼底観察装置
JP5355220B2 (ja) * 2009-05-22 2013-11-27 キヤノン株式会社 眼底撮影装置
JP5743425B2 (ja) 2010-04-30 2015-07-01 キヤノン株式会社 眼科装置及び眼科装置の制御方法
JP5297415B2 (ja) 2010-04-30 2013-09-25 キヤノン株式会社 眼科装置及び眼科方法
JP5820154B2 (ja) 2010-07-05 2015-11-24 キヤノン株式会社 眼科装置、眼科システム及び記憶媒体
JP5635898B2 (ja) 2010-12-17 2014-12-03 キヤノン株式会社 眼底撮像装置及びその制御方法
JP5917004B2 (ja) * 2011-03-10 2016-05-11 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US8950863B2 (en) 2011-03-10 2015-02-10 Canon Kabushiki Kaisha Image photographing apparatus and image photographing method
JP5901124B2 (ja) 2011-03-10 2016-04-06 キヤノン株式会社 撮像装置およびその制御方法
US9161690B2 (en) 2011-03-10 2015-10-20 Canon Kabushiki Kaisha Ophthalmologic apparatus and control method of the same
JP5721478B2 (ja) 2011-03-10 2015-05-20 キヤノン株式会社 撮像装置及び撮像装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004159767A (ja) * 2002-11-11 2004-06-10 Topcon Corp 眼底画像処理方法及びこれを用いた眼底画像処理装置
JP2010012109A (ja) * 2008-07-04 2010-01-21 Nidek Co Ltd 眼底撮影装置
JP2011135933A (ja) * 2009-12-25 2011-07-14 Nidek Co Ltd 網膜機能計測装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014147504A (ja) * 2013-01-31 2014-08-21 Canon Inc 光干渉断層撮像装置およびその制御方法
JP2014147503A (ja) * 2013-01-31 2014-08-21 Canon Inc 光干渉断層撮像装置およびその制御方法
US9730581B2 (en) 2013-01-31 2017-08-15 Canon Kabushiki Kaisha Optical coherence tomographic imaging apparatus and method for controlling the same
JP2014209980A (ja) * 2013-04-17 2014-11-13 キヤノン株式会社 眼底撮像装置及び撮像方法
JP2015080726A (ja) * 2013-10-23 2015-04-27 キヤノン株式会社 光干渉断層撮影における網膜運動追跡
US10285585B2 (en) 2014-05-02 2019-05-14 Kabushiki Kaisha Topcon Ophthalmic surgical apparatus and attachment for ophthalmic surgery
WO2016170815A1 (ja) * 2015-04-20 2016-10-27 株式会社トプコン 眼科手術用顕微鏡
JP2018126548A (ja) * 2018-04-04 2018-08-16 株式会社トプコン 眼科手術装置
JP2019171220A (ja) * 2019-07-23 2019-10-10 株式会社トプコン 眼科撮影装置

Also Published As

Publication number Publication date
EP2497413A1 (en) 2012-09-12
CN102670169B (zh) 2015-04-01
KR20120103455A (ko) 2012-09-19
CN102670169A (zh) 2012-09-19
US9687148B2 (en) 2017-06-27
JP5917004B2 (ja) 2016-05-11
US20120229761A1 (en) 2012-09-13
US20150173612A1 (en) 2015-06-25
EP2497413B1 (en) 2017-08-23
US8992018B2 (en) 2015-03-31
KR101481997B1 (ko) 2015-01-14

Similar Documents

Publication Publication Date Title
JP5917004B2 (ja) 撮像装置及び撮像装置の制御方法
JP5635898B2 (ja) 眼底撮像装置及びその制御方法
JP6574559B2 (ja) 方法、光干渉断層撮影装置、システム、プログラムおよび記憶媒体
JP5955020B2 (ja) 眼底撮像装置及び方法
JP6025349B2 (ja) 画像処理装置、光干渉断層撮像装置、画像処理方法および光干渉断層撮像方法
JP5901124B2 (ja) 撮像装置およびその制御方法
JP5721478B2 (ja) 撮像装置及び撮像装置の制御方法
JP2012196439A (ja) 撮像装置及び撮像方法
JP6184232B2 (ja) 画像処理装置及び画像処理方法
JP6202924B2 (ja) 撮影装置及び撮影方法
JP2012135550A (ja) レーザ治療用眼科装置
US9517007B2 (en) Image processing apparatus, image processing method, and storage medium
JP6624641B2 (ja) 眼科装置
JP2016198279A (ja) Oct信号処理装置、およびoct信号処理プログラム
JP6606846B2 (ja) Oct信号処理装置、およびoct信号処理プログラム
JP6544071B2 (ja) 光コヒーレンストモグラフィ装置、および光コヒーレンストモグラフィ制御プログラム
JP5649679B2 (ja) 光干渉断層撮像装置、光干渉断層撮像装置の制御方法、およびプログラム
JP6437055B2 (ja) 画像処理装置及び画像処理方法
JP2019195381A (ja) 眼科撮影装置及び眼科撮影プログラム
JP2012176162A (ja) 眼底観察装置
JP2016077454A (ja) 眼科装置

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120730

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120731

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120831

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20130701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160406

R151 Written notification of patent or utility model registration

Ref document number: 5917004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees