JP2013034855A - 撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム - Google Patents

撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム Download PDF

Info

Publication number
JP2013034855A
JP2013034855A JP2012150544A JP2012150544A JP2013034855A JP 2013034855 A JP2013034855 A JP 2013034855A JP 2012150544 A JP2012150544 A JP 2012150544A JP 2012150544 A JP2012150544 A JP 2012150544A JP 2013034855 A JP2013034855 A JP 2013034855A
Authority
JP
Japan
Prior art keywords
imaging
eye
image
examined
fundus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012150544A
Other languages
English (en)
Other versions
JP6057567B2 (ja
JP2013034855A5 (ja
Inventor
Takashi Naba
孝 那波
Yukio Sakakawa
幸雄 坂川
Hiroki Uchida
弘樹 内田
Shigeaki Ono
重秋 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012150544A priority Critical patent/JP6057567B2/ja
Publication of JP2013034855A publication Critical patent/JP2013034855A/ja
Publication of JP2013034855A5 publication Critical patent/JP2013034855A5/ja
Application granted granted Critical
Publication of JP6057567B2 publication Critical patent/JP6057567B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】例えばOCT撮影処理のための光量低下を最低限にとどめ、眼底像の劣化を防ぐ。
【解決手段】CPUは、第1の撮像手段により所定の領域で撮像された被検眼の眼底像から特徴点を抽出し(S401)、特徴点を含む、所定の領域より小さい領域を設定する(S403)。そしてCPUは、設定した領域で第1の撮像手段によって被検眼の眼底像を撮像させ、撮像された被検眼の眼底像に基づいて特徴点の位置のずれを検出する(S405)。そしてCPUは、検出した特徴点の位置のずれに基づいて、第2の撮像手段による被検眼の眼底像の撮像位置を補正する(S409)。
【選択図】図4

Description

本発明は、被検眼の眼底像を撮像するための技術に関するものである。
現在、光学機器を用いた眼科用機器として、様々なものが使用されている。例えば、眼を観察する光学機器として、前眼部撮影機、眼底カメラ、共焦点レーザ走査検眼鏡(Scanning Laser Ophthalmoscope:SLO)、等の機器が使用されている。中でも、光干渉断層撮像装置(以下、OCT装置と称す)は、試料の断層像を高解像度に得る装置であり、眼科用機器として網膜の専門外来では必要不可欠な装置になりつつある。なお、OCTは、Optical Coherence Tomographyの略称である。
OCT装置は、低コヒーレント光をサンプルに照射し、そのサンプルからの反射光の干渉系を用いることにより、高感度に眼を測定する装置である。また、OCT装置は低コヒーレント光をサンプル上にスキャンすることで、断層像を高解像度に得ることができる。そのため、被検眼の眼底における網膜の断層像を高解像度に撮像することも可能であることから、網膜の眼科診断等において広く利用されている。
網膜の眼科診断においては、Bスキャンと呼ばれる、OCT装置によって取得された網膜の断層像が一般的に用いられている。この像はAスキャンと呼ばれる網膜の深さ方向(Z方向)のスキャンをX方向に複数回行うことで得られる。Bスキャンでも従来の眼底カメラ等の画像と比較しても網膜内部の状態が観察できるため、特に黄斑変性、黄斑円孔等の網膜内部の病変の観察には画期的である。
Bスキャンは1回のスキャンのみで得られる像であるが、同じ場所を複数回スキャンし、重ね合わせることにより、ノイズの少ない鮮明な像を得ることができる。しかし、人間の目は、固視微動と呼ばれる眼球の動きがあるため、幾何学的に同じ場所をスキャンしても、対象物である網膜が移動してしまうため、多くのスキャンを重ね合わせることは難しかった。
また、特許文献1に開示されるように、BスキャンをY方向に複数枚撮影し、3次元の網膜像を取得する装置が開発されている。網膜像を3次元で取得することにより、病変の広がり、網膜内の各層の観察、特に、緑内障の原因である視神経細胞層の観察等に威力を発揮する。しかし、この場合でも眼球の動きがあるため、3次元の網膜像が歪んでしまうということがある。このため、トラッキングと呼ばれる技術が開発されてきた。この技術は、網膜の断層像を撮影するとともに眼底像を撮影し、眼底像の血管の分岐点等の特徴点に注目し、その特徴点の動きを網膜の動きと判断し、OCT装置のスキャン位置を変更するものである。
眼底像を用いて精度良く眼球の動きを計測するには、眼底像から特徴点を抽出し、処理対象とする画像において特徴点を探索及び検出した後、特徴点の動き量を算出する工程を高速に処理する必要がある。眼底像の特徴点としては、黄斑や視神経乳頭(以下、乳頭と称す)等が用いられる。患眼等では黄斑や乳頭が不完全な場合が少なくないため、眼底像の特徴点として血管が用いられることもある。なお、血管の特徴点の抽出方法として、特許文献2に開示される方法が知られている。
眼底像の撮影装置には、一括で全エリアの眼底像を取得する眼底カメラと、ビームを走査することで眼底像を取得する走査検眼鏡とがある。走査検眼鏡には、眼底にレーザスポットを照射し、レーザを走査するSLOと、眼底に線状のレーザを照射し、線レーザを走査するLSLOとがある。走査検眼鏡は眼底カメラと比較して撮影時間はかかるが、高画質(高分解能、高輝度)であると考えられている。なお、LSLOについては、特許文献3、4にその詳細な構成が開示されている。一般に、眼球の動きを計測するには、特徴点を検出する必要があるため、高画質で連続撮像が可能な走査検眼鏡が用いられている。なお、LSLOは、Line−Scaning Laser Opthalmologyの略称である。
特開2009−42197号公報 特開2001−70247号公報 特開平1−106012号公報 特表2005−529669号公報
しかしながら、上記のように、トラッキングのためにOCT装置による撮影と走査検眼鏡による撮影とを同時に行うと、OCT装置の撮影用の光と走査検眼鏡の撮影用の光とを同時に観察対象の眼に入射させるため、眼に対する入射光量が大きくなる。他方、眼に入射できる光量はISO(国際標準化機構)等で上限が決められているため、OCT装置の撮影用の光量を低くする必要があり、このことがS/N比を悪化させる等、画像劣化を招く原因となっていた。
そこで、本発明の目的は、例えばOCT撮影処理のための光量低下を最低限にとどめ、眼底像の劣化を防ぐことにある。
本発明の撮像制御装置は、第1の撮像手段に被検眼の眼底像を撮像させるとともに第2の撮像手段に前記被検眼の断層像を撮像させる撮像制御装置であって、前記第1の撮像手段に前記眼底像よりも小さい領域に限定して前記被検眼の眼底を撮像させる制御手段と、前記制御に応じて得られた前記領域の画像に基づいて、前記被検眼の眼底の位置ずれを検出する検出手段と、前記検出された位置ずれに基づいて、前記第2の撮像手段による前記断層像の撮像位置を補正する補正手段と、を有することを特徴とする。
本発明によれば、例えばOCT撮影処理のための光量低下を最低限にとどめ、眼底像の劣化を防ぐことができる。
本発明の実施形態に係る眼底像撮影装置の構成を示す図である。 OCTユニットの構成を示す図である。 制御装置の構成を示す図である。 制御部の処理を示すフローチャートである。 血管の分岐点を示す図である。 標準的な人の眼の動きを示す図である。
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
図1は、本発明の実施形態に係る眼底像撮影装置(眼科撮像装置)の構成を示す図である。先ず、図1を参照しながら、眼底観察の一手法であるSLO(Scanning Laser Ophthalmoscope、走査型レーザ検眼鏡)について説明する。図1において、101はレーザ光源であり、半導体レーザやSLD(Super Luminescent Diode)光源を用いることができる。ここでレーザ光源の波長としては、眼底観察として被検者の眩しさの軽減と分解能維持のために、700nm〜1000nmの近赤外の波長域を用いることが好適である。本実施形態においては、波長780nmの半導体レーザを用いるものとし、制御電圧により光量を変化させることができるものとする。
レーザ光源101から出射されたレーザ光は、コリメータレンズ102により平行光になり、中央に穴の開いた穴あきミラー103の穴を通り、SLO−Xスキャナ104及びSLO−Yスキャナ105を通る。さらに上記レーザ光はビームスプリッタ106及び接眼レンズ107を通り、被検眼108に入射する。以下、本実施形態における座標は、眼軸方向をZ、眼底像に対して水平方向をX、垂直方向をYとする。
被検眼108に入射したビームは、被検眼108の眼底に点状のビームとして照射される。このビームが被検眼108の眼底で反射又は散乱され、同一光路をたどり、穴あきミラー103まで戻る。この反射又は散乱された光は、穴あきミラー103によって反射され、レンズ109を介してアバランシェ・フォトダイオード(以下、APDと称す)110に受光され、眼底の点の反射散乱強度に比例した信号が得られる。さらに、SLO−Xスキャナ104及びSLO−Yスキャナ105でラスタスキャンを行うことにより、眼底の2次元像を得ることができる。なお、APD110は、第1の撮像手段の適用例となる構成である。
次に、図2を参照しながら、図1に示すOCTユニット115について説明する。OCT(Optical Coherence Tomography)は光干渉断層撮像装置を意味する。図2は、OCTユニット115の構成を示す図である。OCTユニット115は、低コヒーレンス光を参照光と観察光とに分割し、被検眼108を経由した観察光と参照物体を経由した参照光とを重畳させて干渉光を生成して、これを分光した信号を出力する。分光された信号は後述するCPU301に入力される。CPU301は、当該分光された信号を解析して、眼底の断層像や3次元像を形成する。なお、OCTユニット115は、第2の撮像手段の適用例となる構成である。
図2において、低コヒーレンス光源201は、低コヒーレンス光を出力する広帯域光源により構成され、本実施形態においては、広帯域光源として、SLD(Super Luminescent Diode)を用いている。低コヒーレンス光は、近赤外領域の波長の光を含み、且つ、数十マイクロメートル程度のコヒーレンス長を有する光であり、例えば約800nm〜900nmの範囲に含まれる波長を有する。
低コヒーレンス光源201から出力された低コヒーレンス光は、光ファイバ202を介して光カプラ203に導かれる。光ファイバ202は、通常シングルモードファイバで構成される。光カプラ203は、低コヒーレンス光を参照光と観察光とに分割する。光カプラ203により生成された参照光は、光ファイバ204により導光されてコリメータレンズ205により平行光とされた後に、参照光と観察光との分散の特性を合わせるための分散補償手段としてのガラスブロック206を経由し、参照ミラー207にて反射される。反射された参照光は同じ光路を通り、光ファイバ204に入射される。
また、参照ミラー207は、参照光の進行方向に可動させることができる。これにより、被検眼108の眼軸長や接眼レンズ107と被検眼108との距離等を調整し、参照光と観察光との距離を合わせることが可能となる。
一方、光カプラ203により生成された観察光は、光ファイバ208を介して、図1に示すOCT−Xスキャナ113及びOCT−Yスキャナ112を介して接眼レンズ107に送られ、被検眼108の網膜で反射、散乱された信号光となり、光ファイバ208に再入力される。光ファイバ208を介して光カプラ203に導入された信号光は参照光と干渉し、光ファイバ209を介してコリメータレンズ210で平行光とされた後、回折格子211で分光され、レンズ212により1次元センサ213に結像される。1次元センサ213としては、CCDセンサやCMOSセンサ等を用いることができる。これにより、1次元センサ213からは干渉光を分光した信号を得ることができる。
次に、図1を参照しながら、本実施形態に係る眼底像撮影装置のスキャン機構について説明する。OCTユニット115からの観察光は、コリメータレンズ114で平行光になり、OCT−Xスキャナ113及びOCT−Yスキャナ112を通る。次に観察光は、ミラー111及びビームスプリッタ106で反射され、接眼レンズ107を通って被検眼108に入射する。被検眼108に入射した観察光は眼底で反射散乱され、同一光路をたどり、OCTユニット115まで戻る。
次に、図3を参照しながら、図1に示す眼底像撮影装置を制御する制御装置について説明する。本制御装置は、撮像制御装置の適用例となる構成である。図3は、制御装置の構成を示す図である。図3において、CPU(中央演算装置)301は、表示装置302、主記憶装置303(RAM)及びプログラム記憶装置304(ROM)に接続されている。またCPU301は、OCTユニット115の出力である1次元センサ213のデータを入力する1次元センサインタフェース306、SLO手法の出力であるAPD110のデータを入力するAPDインタフェース307、及び、SLO手法の光源(レーザ光源101)の強度をコントロールする電圧を生成するSLO光源用D/Aコンバータ314に接続されている。
さらに、CPU301は、スキャナコントロールとしてのSLOスキャナ制御回路308及びOCTスキャナ制御回路311に接続されている。SLOスキャナ制御回路308は、SLOスキャナドライバ(X)309によりSLO−Xスキャナ104を制御するとともに、SLOスキャナドライバ(Y)310によりSLO−Yスキャナ105を制御する。またSLOスキャナ制御回路308は、CPU301からの指令により、Y方向のスキャン中心位置、Y方向のスキャン幅、及び、スキャンスピードを制御する。またCPU301は、SLOスキャナ制御回路308からの出力に基づいて、レーザ光のスキャン位置を識別することができる。
OCTスキャナ制御回路311は、OCTスキャナドライバ(X)312によりOCT−Xスキャナ113を制御するとともに、OCTスキャナドライバ(Y)313によりOCT−Yスキャナ112を制御する。またOCTスキャナ制御回路311は、CPU301からの指令により、X方向及びY方向のスキャン中心位置、X方向及びY方向のスキャン幅、並びに、スキャンスピードを制御する。またCPU301は、OCTスキャナ制御回路311からの出力に基づいて、観測光のスキャン位置を識別することができる。なお、CPU301は、プログラム記憶装置304に格納される図4に示す処理を実現するためのプログラムを読み出して実行することにより、以下に説明するように眼底像撮影装置を機能させるものである。
次に、SLO撮影処理について説明する。CPU301は、SLO光源用D/Aコンバータ314に対して既定の値を設定するとともに、SLOスキャナ制御回路308に対して既定のY方向のスキャン中心位置、Y方向のスキャン幅、及び、スキャンスピードを設定し、眼底上をレーザ光でスキャンさせる。このとき、APD110からは、網膜の反射、散乱強度に比例した信号が出力される。APD110から出力された信号は、APDインタフェース307を介してCPU301に入力される。CPU301は、レーザ光のスキャン位置にAPD110からの出力信号を重ねることにより眼底像を得ることができ、表示装置302に眼底像を表示させる。
次に、OCT撮影処理について説明する。CPU301は、OCTスキャナ制御回路311に対し、X方向及びY方向のスキャン中心位置、X方向及びY方向のスキャン幅、スキャンスピード、並びに、主走査方向を設定し、OCTユニット115からの観測光で網膜上をスキャンさせる。このとき、OCTユニット115の1次元センサ213の出力は、1次元センサインタフェース306を介してCPU301に入力される。CPU301は、主記憶装置303上において周波数及び波数変換FFT等の処理を行い、網膜の深さ方向を得る。そしてCPU301は、網膜の深さ方向と観測光のスキャン位置とから3次元の網膜像を得ることができ、表示装置302に3次元の網膜像を表示させる。
次に、図4のフローチャートを参照しながら、図3に示す制御部の処理について説明する。ステップS401において、CPU301は、SLO撮影処理によって眼底像を撮影する。即ち、CPU301は、SLO光源用D/Aコンバータ314に対して既定の値を設定するとともに、SLOスキャナ制御回路308に対して既定のY方向のスキャン中心位置、Y方向のスキャン幅、及び、スキャンスピードを設定し、眼底像を撮影させる。図5は、SLO撮影処理により得られる眼底像の例を示す図である。図5に示す眼底像において、スキャン幅はX方向及びY方向ともに約7mmである。検者は、このような所定の領域で撮像された眼底像を用いて眼底の撮影場所を設定する。
次に、CPU301は目の特徴点を抽出する。特徴点の数は、X方向及びY方向だけトラッキングを行う場合は1点のみでよいが、複数点用いた方が精度も上がり、回転等の補正も行うことができる。ここでは、2点の特徴点を用いてX方向及びY方向のトラッキングを行う場合について説明する。図5の例では、血管の分岐点501、502を特徴点としている。特徴点の抽出方法については、上述したように特許文献2に開示されているため、説明は省略する。
トラッキングのためには、これらの特徴点が含まれる、領域503をスキャンすればよいが、目の固視微動と呼ばれる動きのため、これより大きくスキャンする必要がある。図6は、標準的な人の眼の動きを示す図である。図6に示すように、例えば15秒以上撮影に時間がかかる場合は、X方向及びY方向に±1.4mmのスキャン領域を増やす必要がある。この領域を示したものが領域504であり、CPU301は領域504をスキャン領域として決定する。また、眼底像の撮影時のスキャン領域に比べ、トラッキング時のスキャン領域の面積の方が小さくなるため、同じフレームレートでスキャンすると、トラッキング時のスキャンスピードを遅くすることができる。このため、眼底像の撮影時とトラッキング時とで同じ明るさで照明するためには、眼底像の撮影時のスキャン領域の面積とトラッキング時のスキャン領域の面積との比に応じて、トラッキング時の光量を小さくすることができる。
ステップS402において、CPU301は、OCT撮影処理を開始する。以降、トラッキングのためのSLO撮影処理と、OCT撮影処理とが同時に行われる。先ずトラッキングのためのSLO撮影処理について説明する。
ステップS403において、CPU301は、SLOスキャナ制御回路308に対して、Y方向のスキャン中心位置及びY方向のスキャン幅を、ステップS401で求めたスキャン領域504に応じて変更する。またCPU301は、光量もスキャン領域504の面積に比例して小さく設定する。ステップS404において、CPU301は、スキャン領域504を1フレームスキャンする。ステップS405において、CPU301は、前回の特徴点の位置のずれをパターンマッチング法等により検出し、通信(ステップS411)により、OCT撮影処理にその値を補正値として通知する。ステップS406において、CPU301は、SLO撮影処理が終了したか否かを判定する。SLO撮影処理が終了していない場合、処理はステップS404に戻る。一方、SLO撮影処理が終了した場合、処理は終了する。
ここで、ステップS403における撮影範囲の変更処理は、OCT撮影処理の開始に応じて行うこととしたが、実施形態はこれに限られない。別の例では、OCT撮影処理における、フォーカス調整が終了した後やコヒーレンスゲート位置の調整が終了する後にSLO撮影範囲を変更することができる。
また、SLOのフォーカスが適切に設定されたことに応じて直ちにSLOの撮影範囲を変更することとしてもよい。この場合には、数フレームに一度は撮影範囲を広げるようCPU301がSLOスキャナ制御回路308を制御し、得られた撮影範囲の広い画像を表示装置302に表示させる。これにより、検査者に対して眼底の光軸に垂直な平面画像を適切に参照させることができる。
また別の例では、SLO撮影が開始され、OCTの撮影範囲を決定することや、撮影位置の中心等を特定してOCTの撮影位置を決定することに応じてSLOの撮影範囲を変更してもよい。これにより、SLOによる観察とOCTによる精度の良い撮影とを両立させることができる。更に別の例では、撮影ボタンが押下された後SLOの撮影範囲を変更しトラッキングを精度良く実行した上でOCT撮影を実行させることにより、検査者はより高フレームレートでSLO画像を確認することができる。
次に、OCT撮影処理について説明する、ステップS407において、CPU301は、OCTスキャナ制御回路311に対し、X方向及びY方向のスキャン中心位置、X方向及びY方向のスキャン幅、並びに、主走査方向を設定する。ステップS408において、CPU301は、主走査方向に1ライン分のデータを取得する。ステップS409において、CPU301は、通信(ステップS411)により送信されてきた補正値をOCT撮影処理におけるスキャン中心位置にフィードバックする。ステップS410において、CPU301は、OCT撮影処理が終了したか否かを判定する。OCT撮影処理が終了していない場合、処理はステップS408に戻る。一方、OCT撮影処理が終了した場合、処理は終了する。なお、OCT撮影処理が終了すると、次のステップS406における判定でSLO撮影処理も終了したと判定される。以上のように、本実施形態においては、SLO撮影処理によって検出された眼底の動きをOCT撮影処理にフィードバックすることにより、眼底の動きを補正したOCT撮影処理を行うことが可能となる。
上述した実施形態では、一定のフレームレートを前提として、トラッキング時のSLO撮影処理における光量をスキャン領域の面積に比例させて下げた。但し、OCT撮影処理時の光量に余裕がある場合、光量を落とさず、フレームレートを上げるようにしてもよい。これにより、より精密なトラッキングを実現させることができる。また、この2つの中間、つまりフレームレートを少し上げ、光量をその分下げるという制御を行ってもよい。このように撮像時のフレームレートや光量を制御する処理は、第1の制御手段の処理例である。
例えば、ステップS405において検出された特徴点のずれが大きい場合(眼の動きが大きい場合)、フレームレートを上げて光量をその分下げる。反対に、ステップS405において検出された特徴点のずれが小さい場合(眼の動きが小さい場合)、フレームレートを下げて光量をその分上げる。また、眼の動きの大きさと、眼の反射率と、SLO撮影処理における光量と、トラッキング時のフレームレートと、最終的に得られる画質の評価値とをテーブルにおいて対応付けてもよい。このテーブルを参照することにより、例えば、眼の動きが大きい場合には、トラッキングの精度を優先するためにフレームレートを上げることにいって画質を向上させた。一方、眼の反射率が低い場合には、SLO撮影時の光量を優先するために光量を増やすことによって画質を向上させることができる。このように眼の反射率が低い場合に光量を増やす制御は、第2の制御手段の処理例である。
また、上述した実施形態では、特徴点に血管の分岐点を用いたが、赤外光でも若干被検者に見えてしまうため、固視が安定しない可能性がある。この対策として、視神経乳頭を特徴点に用いると被検者には見えないため、固視が安定させることができる。
さらに上述した実施形態では、特徴点を用いてパターンマッチングを行い位置ずれの検出が行われているが、これに限らず、CPU301は画像の画素値の類似度を用いたパターンマッチングを用いることとしてもよい。特徴点を用いた位置ずれ検出処理は処理速度が速く、処理能力の低い場合や比較的SLO動画像撮影のフレームレートが高い場合に用いて好適である。一方で、画像の類似度を用いた位置ずれ検出処理は精度が高く、処理能力が高くフレームレートが比較的低い場合に用いて好適である。
さらに、上述した実施形態では、分解能の高い3次元の眼底像を取得する場合等、数秒撮影に必要な場合があり、その間、眼底像の表示が更新されない。その対策として、複数回のトラッキングのためのSLO撮影処理に1度、ステップS401における眼底像を取得するためのSLO撮影処理を行うと、この点を改善することができる。具体的には、CPU301はSLOスキャナ制御回路308に対して、数フレームに一度SLOの撮影範囲をトラッキング開始前の撮影範囲へと広げて撮影させるよう制御する。またCPU301は、撮影範囲が広げられて撮影されたSLO画像により、表示装置302に表示済みのSLO画像を更新する。ここで、撮影範囲の変更に起因してSLOのフレームレートは一定とはならないが、少なくともSLO撮影の繰り返しレートの平均値よりは小さい繰り返しレートで表示装置302における眼底画像の表示がされることとなる。これにより観察用の眼底像が適宜撮影され表示されることとなるため、トラッキングの精度を向上させつつ眼底の状態をリアルタイムに表示することができる。なお、表示装置302は、表示部の適用例となる構成であり、少なくともSLO撮影の繰り返しレートの平均値より小さい繰り返しレートで表示装置302において眼底画像を表示する処理は、表示制御手段の処理例である。
さらに、上述した実施形態では、トラッキング時の撮像領域を観察用の眼底像の撮像領域よりも小さくする制御と、トラッキング時の光量を観察用の眼底像撮影時の光量よりも下げる制御とを行っているが、これらのいずれか一方を行うようにしてもよい。例えば、CPU301が撮像領域を小さく設定し光量を変えないように制御することで、トラッキング用のSLO画像のSNを高く保つことができる。また、CPU301が光量のみを低下させ撮像領域を変えないように制御することで、位置ずれ検出に用いる画像領域を大きくすることができる。
さらに、撮像領域を小さくする設定と光量を下げる設定とをそれぞれ実行させるか否かを不図示の操作部を介したユーザの入力に応じてCPU301が判定し、それぞれ実行させることができる。これにより、ユーザの必要に応じてトラッキング精度と画像のSNとを制御させ、ユーザの望む画像を取得することができる。
さらに、別の実施形態として、OCTの本撮影前に予め撮影されたSLO画像やOCT画像がある場合、CPU301でこれらの画像の画質をSN比等の指標を用いて算出し、重ね合わせやノイズ除去処理等を考慮して本撮影のOCT画像の画質が十分であるか否かを判定する。判定の結果、十分な画質が確保できる場合には、トラッキングに用いるSLO画像の撮像領域を小さくする設定や光量を下げる設定を行わないこととする。これによりトラッキングの精度が維持されるため、画質の良い画像を得ることができる。
このように、上述した実施形態においては、トラッキングのための光量を下げることができるため、OCT撮影処理のための光量低下を最低限にとどめ、眼底像の劣化を防ぐことができる。また同時にトラッキングレートも上げることができるため、トラッキングの精度を上げることも可能となる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
301:CPU、302:表示装置、303:主記憶装置、304:プログラム記憶装置、306:一次元センサインタフェース、307:APDインタフェース、308:SLO光源用D/Aコンバータ、309:SLOスキャナドライバ(X)、310:SLOスキャナドライバ(Y)、311:OCTスキャナ制御回路、312:OCTスキャナドライバ(X)、313:OCTスキャナドライバ(Y)

Claims (18)

  1. 第1の撮像手段に被検眼の眼底像を撮像させるとともに第2の撮像手段に前記被検眼の断層像を撮像させる撮像制御装置であって、
    前記第1の撮像手段に前記眼底像よりも小さい領域に限定して前記被検眼の眼底を撮像させる制御手段と、
    前記制御に応じて得られた前記領域の画像に基づいて、前記被検眼の眼底の位置ずれを検出する検出手段と、
    前記検出された位置ずれに基づいて、前記第2の撮像手段による前記断層像の撮像位置を補正する補正手段と、
    を有することを特徴とする撮像制御装置。
  2. 第1の撮像手段により所定の領域で撮像された被検眼の眼底像から特徴点を抽出する抽出手段と、
    前記特徴点を含む、前記所定の領域より小さい領域を設定する設定手段とを更に有し、
    前記検出手段は、前記設定手段により設定された領域で前記第1の撮像手段によって前記被検眼の眼底像を撮像させ、撮像された前記被検眼の眼底像に基づいて前記特徴点の位置のずれを検出し、
    前記検出手段により検出された前記特徴点の位置のずれに基づいて、第2の撮像手段による前記被検眼の眼底像の撮像位置を補正する補正手段を更に有することを特徴とする請求項1に記載の撮像制御装置。
  3. 前記制御手段は、前記第1の撮像手段に前記眼底像よりも小さい領域に限定するとともに前記眼底像の撮影に用いた光量よりも低い光量で前記被検眼の眼底を撮像させることを特徴とする請求項1又は2に記載の撮像制御装置。
  4. 第1の撮像手段に被検眼の眼底像を撮像させるとともに第2の撮像手段に前記被検眼の断層像を撮像させる撮像制御装置であって、
    前記第1の撮像手段に前記眼底像の撮影に用いた光量よりも低い光量で前記被検眼の眼底を撮像させる制御手段と、
    前記低い光量で撮像し得られた前記被検眼の画像に基づいて、前記被検眼の眼底の位置ずれを検出する検出手段と、
    前記検出された位置ずれに基づいて、前記第2の撮像手段による前記断層像の撮像位置を補正する補正手段と、
    を有することを特徴とする撮像制御装置。
  5. 第1の撮像手段により所定の光量で撮像された被検眼の眼底像から特徴点を抽出する抽出手段と、
    前記所定の光量より低い光量を設定する設定手段とを更に有し、
    前記検出手段は、前記設定手段により設定された光量で前記第1の撮像手段によって前記被検眼の眼底像を撮像させ、撮像された前記被検眼の眼底像に基づいて前記特徴点の位置のずれを検出することを特徴とする請求項4に記載の撮像制御装置。
  6. 前記検出手段により検出された前記特徴点の位置のずれに応じて、前記第1の撮像手段による撮像時のフレームレート及び光量のうちの少なくとも何れか一方を制御する第1の制御手段を更に有することを特徴とする請求項2又は5に記載の撮像制御装置。
  7. 前記被検眼の反射率に応じて、前記第1の撮像手段による撮像時の光量を制御する第2の制御手段を更に有することを特徴とする請求項1乃至6の何れか1項に記載の撮像制御装置。
  8. 前記検出手段は、前記被検眼の視神経乳頭の位置を、前記特徴点の位置として検出することを特徴とする請求項2又は5に記載の撮像制御装置。
  9. 前記検出手段によって前記特徴点の位置を検出するための複数回の撮影処理のうちの一部の撮影処理を、前記所定の領域で前記被検眼の眼底像を撮影するための撮影処理とすることを特徴とする請求項2又は5に記載の撮像制御装置。
  10. 前記第1の撮像手段は、走査型レーザ検眼鏡であることを特徴とする請求項1乃至9の何れか1項に記載の撮像制御装置。
  11. 前記第2の撮像手段は、光干渉断層撮像装置であることを特徴とする請求項1乃至10の何れか1項に記載の撮像制御装置。
  12. 第1の撮像手段に被検眼の画像を撮像させ第2の撮像手段に前記被検眼の断層像を撮像させる撮像制御装置であって、
    前記第1の撮像手段に被検眼の画像を撮像させるとともに、指示に応じて前記第1の撮像手段に前記画像よりも小さい範囲に限定して前記被検眼の眼底を撮像させる制御手段と、
    前記小さい範囲を撮像して得られる画像に基づいて前記被検眼の動きを検出する検出手段と、
    前記検出された動きに基づいて前記第2の撮像手段による前記断層像の撮像位置を決定する決定手段と、
    を有することを特徴とする撮像制御装置。
  13. 被検眼の眼底像を撮像する第1の撮像手段と、
    前記被検眼の断層像を撮像する第2の撮像手段と、
    指示に応じて前記第1の撮像手段に前記被検眼の眼底像を繰り返し撮像させる制御手段と、
    前記撮像により得られた眼底像に基づいて前記第2の撮像手段の撮像位置を設定する設定手段と、
    前記眼底像を撮像する繰り返しレートの平均値よりも小さい繰り返しレートで、前記撮像された眼底像を表示部に表示させる表示制御手段と、
    を有することを特徴とする撮像制御装置。
  14. 請求項1乃至13の何れか1項に記載の撮像制御装置と、
    前記第1の撮像手段と、
    前記第2の撮像手段と、
    を有することを特徴とする眼科撮像装置。
  15. 第1の撮像手段に被検眼の眼底像を撮像させるとともに第2の撮像手段に前記被検眼の断層像を撮像させる撮像制御装置によって実行される撮像制御方法であって、
    前記第1の撮像手段に前記眼底像よりも小さい領域に限定して前記被検眼の眼底を撮像させる制御ステップと、
    前記制御に応じて得られた前記領域の画像に基づいて、前記被検眼の眼底の位置ずれを検出する検出ステップと、
    前記検出された位置ずれに基づいて、前記第2の撮像手段による前記断層像の撮像位置を補正する補正ステップと、
    を有することを特徴とする撮像制御方法。
  16. 第1の撮像手段に被検眼の眼底像を撮像させるとともに第2の撮像手段に前記被検眼の断層像を撮像させる撮像制御装置によって実行される撮像制御方法であって、
    前記第1の撮像手段に前記眼底像の撮影に用いた光量よりも低い光量で前記被検眼の眼底を撮像させる制御ステップと、
    前記低い光量で撮像し得られた前記被検眼の画像に基づいて、前記被検眼の眼底の位置ずれを検出する検出ステップと、
    前記検出された位置ずれに基づいて、前記第2の撮像手段による前記断層像の撮像位置を補正する補正ステップと、
    を有することを特徴とする撮像制御方法。
  17. 第1の撮像手段に被検眼の眼底像を撮像させるとともに第2の撮像手段に前記被検眼の断層像を撮像させる撮像制御装置によって実行される撮像制御方法をコンピュータに実行させるためのプログラムであって、
    前記第1の撮像手段に前記眼底像よりも小さい領域に限定して前記被検眼の眼底を撮像させる制御ステップと、
    前記制御に応じて得られた前記領域の画像に基づいて、前記被検眼の眼底の位置ずれを検出する検出ステップと、
    前記検出された位置ずれに基づいて、前記第2の撮像手段による前記断層像の撮像位置を補正する補正ステップと、
    をコンピュータに実行させるためのプログラム。
  18. 第1の撮像手段に被検眼の眼底像を撮像させるとともに第2の撮像手段に前記被検眼の断層像を撮像させる撮像制御装置によって実行される撮像制御方法をコンピュータに実行させるためのプログラムであって、
    前記第1の撮像手段に前記眼底像の撮影に用いた光量よりも低い光量で前記被検眼の眼底を撮像させる制御ステップと、
    前記低い光量で撮像し得られた前記被検眼の画像に基づいて、前記被検眼の眼底の位置ずれを検出する検出ステップと、
    前記検出された位置ずれに基づいて、前記第2の撮像手段による前記断層像の撮像位置を補正する補正ステップと、
    をコンピュータに実行させるためのプログラム。
JP2012150544A 2011-07-14 2012-07-04 撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム Expired - Fee Related JP6057567B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012150544A JP6057567B2 (ja) 2011-07-14 2012-07-04 撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011155870 2011-07-14
JP2011155870 2011-07-14
JP2012150544A JP6057567B2 (ja) 2011-07-14 2012-07-04 撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2013034855A true JP2013034855A (ja) 2013-02-21
JP2013034855A5 JP2013034855A5 (ja) 2015-08-20
JP6057567B2 JP6057567B2 (ja) 2017-01-11

Family

ID=47518756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012150544A Expired - Fee Related JP6057567B2 (ja) 2011-07-14 2012-07-04 撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム

Country Status (2)

Country Link
US (1) US9119562B2 (ja)
JP (1) JP6057567B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013169352A (ja) * 2012-02-21 2013-09-02 Canon Inc 眼底撮像装置及び方法
JP2015226766A (ja) * 2014-05-23 2015-12-17 ジーエヌ オトメトリックス エー/エスGN Otometrics A/S 眼球運動を測定する頭部装着可能装置
JP2017006456A (ja) * 2015-06-24 2017-01-12 株式会社トーメーコーポレーション 光干渉断層計およびその制御方法
JP2019202062A (ja) * 2018-05-25 2019-11-28 キヤノン株式会社 眼底撮影装置およびその制御方法
JP2022184979A (ja) * 2017-08-14 2022-12-13 オプトス ピーエルシー 眼科装置
JP7574519B2 (ja) 2022-09-20 2024-10-29 オプトス ピーエルシー 眼科装置及び眼科装置の作動方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8348429B2 (en) 2008-03-27 2013-01-08 Doheny Eye Institute Optical coherence tomography device, method, and system
US11839430B2 (en) 2008-03-27 2023-12-12 Doheny Eye Institute Optical coherence tomography-based ophthalmic testing methods, devices and systems
WO2010009447A2 (en) 2008-07-18 2010-01-21 Doheny Eye Institute Optical coherence tomography - based ophthalmic testing methods, devices and systems
WO2017048873A1 (en) 2015-09-17 2017-03-23 Envision Diagnostics, Inc. Medical interfaces and other medical devices, systems, and methods for performing eye exams
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
CN105828700B (zh) * 2013-12-09 2018-07-06 Smi创新传感技术有限公司 操作眼睛跟踪装置的方法和提供主动照明控制用于改进的眼睛跟踪稳定性的眼睛跟踪装置
US9211064B2 (en) 2014-02-11 2015-12-15 Welch Allyn, Inc. Fundus imaging system
US9237847B2 (en) 2014-02-11 2016-01-19 Welch Allyn, Inc. Ophthalmoscope device
US9989762B2 (en) * 2014-03-19 2018-06-05 Perceptoscope Optically composited augmented reality pedestal viewer
US10799115B2 (en) 2015-02-27 2020-10-13 Welch Allyn, Inc. Through focus retinal image capturing
US11045088B2 (en) 2015-02-27 2021-06-29 Welch Allyn, Inc. Through focus retinal image capturing
JP6765786B2 (ja) * 2015-05-01 2020-10-07 キヤノン株式会社 撮像装置、撮像装置の作動方法、情報処理装置、及び情報処理装置の作動方法
US10136804B2 (en) 2015-07-24 2018-11-27 Welch Allyn, Inc. Automatic fundus image capture system
US10506165B2 (en) 2015-10-29 2019-12-10 Welch Allyn, Inc. Concussion screening system
US10772495B2 (en) 2015-11-02 2020-09-15 Welch Allyn, Inc. Retinal image capturing
US10413179B2 (en) 2016-01-07 2019-09-17 Welch Allyn, Inc. Infrared fundus imaging system
JP6728699B2 (ja) * 2016-01-15 2020-07-22 富士通株式会社 生体認証装置、生体認証方法および生体認証プログラム
EP3448234A4 (en) 2016-04-30 2019-05-01 Envision Diagnostics, Inc. MEDICAL DEVICES, SYSTEMS AND METHODS FOR OPERATING OCULAR EXAMINATIONS AND OCULOMETRY
WO2017190071A1 (en) * 2016-04-30 2017-11-02 Envision Diagnostics, Inc. Medical devices, systems, and methods for performing eye exams using displays comprising mems scanning mirrors
US9943225B1 (en) * 2016-09-23 2018-04-17 International Business Machines Corporation Early prediction of age related macular degeneration by image reconstruction
US10602926B2 (en) 2016-09-29 2020-03-31 Welch Allyn, Inc. Through focus retinal image capturing
US10285589B2 (en) 2016-09-30 2019-05-14 Welch Allyn, Inc. Fundus image capture system
AU2017382218B2 (en) 2016-12-21 2023-05-11 Acucela Inc. Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications
ES2868675T3 (es) 2017-08-14 2021-10-21 Optos Plc Seguimiento de la posición de la retina
US11096574B2 (en) 2018-05-24 2021-08-24 Welch Allyn, Inc. Retinal image capturing
WO2019246412A1 (en) 2018-06-20 2019-12-26 Acucela Inc. Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications
US11730363B2 (en) 2019-12-26 2023-08-22 Acucela Inc. Optical coherence tomography patient alignment system for home based ophthalmic applications
US10959613B1 (en) 2020-08-04 2021-03-30 Acucela Inc. Scan pattern and signal processing for optical coherence tomography
WO2022035809A1 (en) 2020-08-14 2022-02-17 Acucela Inc. System and method for optical coherence tomography a-scan decurving
US11393094B2 (en) 2020-09-11 2022-07-19 Acucela Inc. Artificial intelligence for evaluation of optical coherence tomography images
CN116322471A (zh) 2020-09-30 2023-06-23 奥克塞拉有限公司 近视预测、诊断、计划和监测设备
US11497396B2 (en) 2021-03-24 2022-11-15 Acucela Inc. Axial length measurement monitor

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1075931A (ja) * 1996-09-03 1998-03-24 Canon Inc 眼底検査装置
JPH10234687A (ja) * 1997-02-27 1998-09-08 Canon Inc 眼底血流計
JPH10272101A (ja) * 1997-03-31 1998-10-13 Canon Inc 眼科機器
JP2011056069A (ja) * 2009-09-10 2011-03-24 Canon Inc テンプレート画像の評価方法及び生体運動検出装置
JP2011110290A (ja) * 2009-11-27 2011-06-09 Nidek Co Ltd 眼底撮影装置
US20110205490A1 (en) * 2010-02-25 2011-08-25 Nidek Co., Ltd. Optical tomographic image photographing apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4768874A (en) 1987-09-10 1988-09-06 Eye Research Institute Of Retina Foundation Scanning optical apparatus and method
JP2001070247A (ja) 1999-09-07 2001-03-21 Takku Kk 眼底画像における血管交叉部の検出方法
US6758564B2 (en) 2002-06-14 2004-07-06 Physical Sciences, Inc. Line-scan laser ophthalmoscope
JP4819478B2 (ja) * 2005-10-31 2011-11-24 株式会社ニデック 眼科撮影装置
JP5117787B2 (ja) 2007-08-13 2013-01-16 株式会社トプコン 光画像計測装置
JP5635898B2 (ja) 2010-12-17 2014-12-03 キヤノン株式会社 眼底撮像装置及びその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1075931A (ja) * 1996-09-03 1998-03-24 Canon Inc 眼底検査装置
JPH10234687A (ja) * 1997-02-27 1998-09-08 Canon Inc 眼底血流計
JPH10272101A (ja) * 1997-03-31 1998-10-13 Canon Inc 眼科機器
JP2011056069A (ja) * 2009-09-10 2011-03-24 Canon Inc テンプレート画像の評価方法及び生体運動検出装置
JP2011110290A (ja) * 2009-11-27 2011-06-09 Nidek Co Ltd 眼底撮影装置
US20110205490A1 (en) * 2010-02-25 2011-08-25 Nidek Co., Ltd. Optical tomographic image photographing apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013169352A (ja) * 2012-02-21 2013-09-02 Canon Inc 眼底撮像装置及び方法
JP2015226766A (ja) * 2014-05-23 2015-12-17 ジーエヌ オトメトリックス エー/エスGN Otometrics A/S 眼球運動を測定する頭部装着可能装置
JP2017006456A (ja) * 2015-06-24 2017-01-12 株式会社トーメーコーポレーション 光干渉断層計およびその制御方法
JP2022184979A (ja) * 2017-08-14 2022-12-13 オプトス ピーエルシー 眼科装置
JP2019202062A (ja) * 2018-05-25 2019-11-28 キヤノン株式会社 眼底撮影装置およびその制御方法
JP7123628B2 (ja) 2018-05-25 2022-08-23 キヤノン株式会社 眼底撮影装置およびその制御方法
JP7574519B2 (ja) 2022-09-20 2024-10-29 オプトス ピーエルシー 眼科装置及び眼科装置の作動方法

Also Published As

Publication number Publication date
JP6057567B2 (ja) 2017-01-11
US9119562B2 (en) 2015-09-01
US20130016320A1 (en) 2013-01-17

Similar Documents

Publication Publication Date Title
JP6057567B2 (ja) 撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム
JP5901124B2 (ja) 撮像装置およびその制御方法
KR101506526B1 (ko) 안과장치 및 그 제어방법
JP6354979B2 (ja) 眼底撮影装置
JP6062688B2 (ja) 眼科装置、眼科装置の制御方法、およびプログラム
US9033500B2 (en) Optical coherence tomography and method thereof
JP6606881B2 (ja) Oct信号処理装置、oct信号処理プログラム、およびoct装置
US10786153B2 (en) Ophthalmologic imaging apparatus
JP2009103688A (ja) 光干渉断層撮像装置
JP6349878B2 (ja) 眼科撮影装置、眼科撮影方法、及び眼科撮影プログラム
US11826102B2 (en) Ophthalmic device, control method therefor, and recording medium
JP2018019771A (ja) 光コヒーレンストモグラフィ装置、および光コヒーレンストモグラフィ制御プログラム
JP2017158836A (ja) 眼科装置および撮像方法
US20210153737A1 (en) Ophthalmic apparatus, method of controlling the same, method of ophthalmic optical coherence tomography, and recording medium
JP5990932B2 (ja) 眼光断層画像撮像装置
JP5975650B2 (ja) 画像形成方法及び装置
JP5987355B2 (ja) 眼光断層画像撮像装置
JP2014217744A (ja) 眼科装置及びその制御方法、並びに、プログラム
JP2018114121A (ja) 情報処理装置、情報処理方法及びプログラム
JP2019088957A (ja) Oct解析処理装置、及びoctデータ処理プログラム
JP6761519B2 (ja) 眼科撮影装置
JP2018171326A (ja) 断層画像撮影装置、および断層画像撮影プログラム
WO2023008385A1 (ja) 前眼部解析装置、前眼部解析方法、およびプログラム
JP7231366B2 (ja) 眼科装置および眼科装置の制御方法
JP7013201B2 (ja) 光干渉断層撮影装置、画像処理装置及びその方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161206

R151 Written notification of patent or utility model registration

Ref document number: 6057567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees