JP2016140360A - 眼科撮影装置 - Google Patents

眼科撮影装置 Download PDF

Info

Publication number
JP2016140360A
JP2016140360A JP2015015651A JP2015015651A JP2016140360A JP 2016140360 A JP2016140360 A JP 2016140360A JP 2015015651 A JP2015015651 A JP 2015015651A JP 2015015651 A JP2015015651 A JP 2015015651A JP 2016140360 A JP2016140360 A JP 2016140360A
Authority
JP
Japan
Prior art keywords
image
scan
scanning line
cross
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015015651A
Other languages
English (en)
Other versions
JP6585897B2 (ja
Inventor
亮太 石合
Ryota Ishiai
亮太 石合
正喜 中野
Masaki Nakano
正喜 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2015015651A priority Critical patent/JP6585897B2/ja
Publication of JP2016140360A publication Critical patent/JP2016140360A/ja
Application granted granted Critical
Publication of JP6585897B2 publication Critical patent/JP6585897B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

【課題】光コヒーレンストモグラフィの計測範囲のずれを検出するための新規な技術を提供する。
【解決手段】実施形態の眼科撮影装置は、光コヒーレンストモグラフィを用いて被検眼を走査することにより断面像を取得する。この眼科撮影装置は、データ取得部と、特定部と、表示制御部とを含む。データ取得部は、被検眼における第1走査線に沿う第1走査と、第1走査線と向きが異なる第2走査線に沿う第2走査とを実行してデータを取得する。特定部は、第1走査により取得されたデータに基づく断面像を解析して被検眼の注目部位の画像領域を特定し、第2走査により取得されたデータに基づく断面像を解析して注目部位の画像領域を特定する。表示制御部は、特定部により特定された画像領域の当該断面像における位置に基づいて表示手段に情報を表示させる。
【選択図】図3

Description

この発明は、眼科撮影装置に関する。
眼科分野では、被検眼を撮影するための様々な装置が用いられる。近年では、眼底や前眼部の断面像や3次元画像を取得可能な光干渉断層計(OCT)が注目を集めている。
OCTを行う際には、被検眼の注目部位が計測範囲(スキャン範囲)に含まれている必要がある。そのために、被検眼の注目部位がフレーム内に描出されるようにOCTの計測範囲を調整する技術が用いられる。たとえば特許文献1には、2次元の計測範囲の中央部及び対向する端部の位置の断面像を取得し、取得された複数の断面像を隣り合わせて並べて表示し、断面像に含まれる網膜層がフレームの上端又は下端にかかる断面像を他の断面像と異なる態様で表示するよう構成された装置が開示されている。この装置によれば、計測範囲の奥行き方向における網膜層のずれを検出して報知することが可能である。
なお、特許文献1に開示された技術では、矩形状の計測範囲の中央部を通るライン(中央ライン)と、この計測範囲の対向する2辺に相当し且つ中央ラインに平行な2つのラインとからなる3つのラインに沿う3つの断面像を取得している。また、円形状の計測範囲の中心を通るラインに沿う断面像と、この計測範囲の周縁に相当するサークルに沿う断面像とを取得する技術が特許文献1に開示されている。
特許第5543536号
被検眼の注目部位とOCTの計測範囲との位置の調整は、奥行き方向だけでなく、2次元的または3次元的に行われることが望ましい。しかし、特許文献1に開示された技術では、奥行き方向以外の方向における網膜層のずれを検出することができない。また、特許文献1に開示された技術では、断面像に沿う方向への被検眼の傾きに起因するずれを検出することはできるが、それ以外の方向への傾きに起因するずれを高精度で検出することは困難である。
この発明の目的は、OCTの計測範囲のずれを検出するための新規な技術を提供することにある。
実施形態の眼科撮影装置は、光コヒーレンストモグラフィを用いて被検眼を走査することにより断面像を取得する眼科撮影装置であって、前記被検眼における第1走査線に沿う第1走査と、前記第1走査線と向きが異なる第2走査線に沿う第2走査とを実行してデータを取得するデータ取得部と、前記第1走査により取得されたデータに基づく断面像を解析して前記被検眼の注目部位の画像領域を特定し、前記第2走査により取得されたデータに基づく断面像を解析して前記注目部位の画像領域を特定する特定部と、前記特定部により特定された前記画像領域の当該断面像における位置に基づいて表示手段に情報を表示させる表示制御部とを備える。
この発明によれば、OCTの計測範囲のずれを検出するための新規な技術が提供される。
実施形態に係る眼科撮影装置の構成の一例を表す概略図である。 実施形態に係る眼科撮影装置の構成の一例を表す概略図である。 実施形態に係る眼科撮影装置の構成の一例を表す概略図である。 実施形態に係る眼科撮影装置の動作の一例を説明するための概略図である。 実施形態に係る眼科撮影装置の動作の一例を説明するための概略図である。 実施形態に係る眼科撮影装置の動作の一例を説明するための概略図である。 実施形態に係る眼科撮影装置の動作の一例を説明するための概略図である。 実施形態に係る眼科撮影装置の動作の一例を説明するための概略図である。 実施形態に係る眼科撮影装置の動作の一例を説明するための概略図である。 実施形態に係る眼科撮影装置の使用形態の一例を表すフローチャートである。 実施形態に係る眼科撮影装置の動作の一例を説明するための概略図である。 実施形態に係る眼科撮影装置の動作の一例を説明するための概略図である。
この発明の実施形態の一例について、図面を参照しながら詳細に説明する。この発明に係る眼科撮影装置は、被検眼の光コヒーレンストモグラフィ(OCT)を実行する。このOCTは、たとえば眼底や前眼部など、被検眼の任意の部位に対して実行される。
この明細書では、OCTによって取得される画像をOCT画像と総称することがある。また、この明細書において引用された文献の記載内容を、以下の実施形態の内容として援用することが可能である。
以下の実施形態では、フーリエドメインタイプのOCTを実行可能な眼科撮影装置について説明する。特に、実施形態に係る眼科撮影装置は、スウェプトソースタイプのOCTの手法を適用可能である。なお、スウェプトソースタイプ以外のタイプ、たとえばスペクトラルドメインタイプのOCTを実行可能な眼科撮影装置に対して、この発明に係る構成を適用することも可能である。また、以下の実施形態ではOCT装置と眼底カメラとを組み合わせた装置について説明するが、眼底カメラ以外のモダリティ、たとえばSLO(Scanning Laser Ophthalmoscope)、スリットランプ、眼科手術用顕微鏡などに、実施形態に係る構成を有するOCT装置を組み合わせることも可能である。また、実施形態に係る構成を、単体のOCT装置に組み込むことも可能である。
実質的に一定の断面を繰り返しOCTスキャンして当該断面の動画像をリアルタイムで表示する技術は、ライブスキャンと呼ばれる。ライブスキャンは、計測範囲の調整だけでなく、被検眼の動きの観察やスキャン位置の設定など様々な目的で利用される。
[構成]
図1に示すように、眼科撮影装置1は、眼底カメラユニット2、OCTユニット100および演算制御ユニット200を含んで構成される。眼底カメラユニット2は、従来の眼底カメラとほぼ同様の光学系と、OCTを実行するための光学系とを有する。OCTユニット100には、OCTを実行するための光学系が設けられている。演算制御ユニット200は、各種の演算処理や制御処理等を実行するコンピュータを具備している。
〔眼底カメラユニット〕
図1に示す眼底カメラユニット2には、被検眼Eの眼底Efの表面形態を表す2次元画像(眼底像)を取得するための光学系が設けられている。眼底像には、観察画像や撮影画像などが含まれる。観察画像は、たとえば、近赤外光を用いて所定のフレームレートで形成されるモノクロの動画像である。撮影画像は、たとえば、可視光をフラッシュ発光して得られるカラー画像、または近赤外光若しくは可視光を照明光として用いたモノクロの静止画像であってもよい。眼底カメラユニット2は、これら以外の画像、たとえばフルオレセイン蛍光画像やインドシアニングリーン蛍光画像や自発蛍光画像などを取得可能に構成されていてもよい。
眼底カメラユニット2には、被検者の顔を支持するための顎受けや額当てが設けられている。さらに、眼底カメラユニット2には、照明光学系10と撮影光学系30が設けられている。照明光学系10は眼底Efに照明光を照射する。撮影光学系30は、この照明光の眼底反射光を撮像装置(CCDイメージセンサ(単にCCDと呼ぶことがある)35、38)に導く。また、撮影光学系30は、OCTユニット100からの測定光を被検眼Eに導くとともに、被検眼Eを経由した測定光をOCTユニット100に導く。
照明光学系10の観察光源11は、たとえばハロゲンランプまたはLED(Light Emitting Diode)により構成される。観察光源11から出力された光(観察照明光)は、曲面状の反射面を有する反射ミラー12により反射され、集光レンズ13を経由し、可視カットフィルタ14を透過して近赤外光となる。さらに、観察照明光は、撮影光源15の近傍にて一旦集束し、ミラー16により反射され、リレーレンズ17、18、絞り19およびリレーレンズ20を経由する。そして、観察照明光は、孔開きミラー21の周辺部(孔部の周囲の領域)にて反射され、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて眼底Efを照明する。
観察照明光の眼底反射光は、対物レンズ22により屈折され、ダイクロイックミラー46を透過し、孔開きミラー21の中心領域に形成された孔部を通過し、ダイクロイックミラー55を透過し、合焦レンズ31を経由し、ミラー32により反射される。さらに、この眼底反射光は、ハーフミラー33Aを透過し、ダイクロイックミラー33により反射され、集光レンズ34によりCCDイメージセンサ35の受光面に結像される。CCDイメージセンサ35は、たとえば所定のフレームレートで眼底反射光を検出する。表示装置3には、CCDイメージセンサ35により検出された眼底反射光に基づく画像(観察画像)が表示される。なお、撮影光学系30のピントが前眼部に合わせられている場合、被検眼Eの前眼部の観察画像が表示される。
撮影光源15は、たとえばキセノンランプまたはLEDにより構成される。撮影光源15から出力された光(撮影照明光)は、観察照明光と同様の経路を通って眼底Efに照射される。撮影照明光の眼底反射光は、観察照明光のそれと同様の経路を通ってダイクロイックミラー33まで導かれ、ダイクロイックミラー33を透過し、ミラー36により反射され、集光レンズ37によりCCDイメージセンサ38の受光面に結像される。表示装置3には、CCDイメージセンサ38により検出された眼底反射光に基づく画像(撮影画像)が表示される。なお、観察画像を表示する表示装置3と撮影画像を表示する表示装置3は、同一のものであってもよいし、異なるものであってもよい。また、被検眼Eを赤外光で照明して同様の撮影を行う場合には、赤外の撮影画像が表示される。また、撮影光源としてLEDを用いることも可能である。
LCD(Liquid Crystal Display)39は、固視標や視力測定用指標を表示する。固視標は被検眼Eを固視させるための指標であり、眼底撮影時やOCT時などに使用される。
LCD39から出力された光は、その一部がハーフミラー33Aにて反射され、ミラー32に反射され、合焦レンズ31およびダイクロイックミラー55を経由し、孔開きミラー21の孔部を通過し、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて眼底Efに投影される。
LCD39の画面上における固視標の表示位置を変更することにより、被検眼Eの固視位置を変更できる。被検眼Eの固視位置としては、たとえば従来の眼底カメラと同様に、眼底Efの黄斑を中心とする画像を取得するための位置や、視神経乳頭を中心とする画像を取得するための位置や、黄斑と視神経乳頭との間の眼底中心を中心とする画像を取得するための位置などがある。また、固視標の表示位置を任意に変更することも可能である。
さらに、眼底カメラユニット2には、従来の眼底カメラと同様にアライメント光学系50とフォーカス光学系60が設けられている。アライメント光学系50は、被検眼Eに対する装置光学系の位置合わせ(アライメント)を行うための指標(アライメント指標)を生成する。フォーカス光学系60は、被検眼Eに対してフォーカス(ピント)を合わせるための指標(スプリット指標)を生成する。
アライメント光学系50のLED51から出力された光(アライメント光)は、絞り52、53およびリレーレンズ54を経由してダイクロイックミラー55により反射され、孔開きミラー21の孔部を通過し、ダイクロイックミラー46を透過し、対物レンズ22により被検眼Eの角膜に投影される。
アライメント光の角膜反射光は、対物レンズ22、ダイクロイックミラー46および上記孔部を経由し、その一部がダイクロイックミラー55を透過し、合焦レンズ31を通過し、ミラー32により反射され、ハーフミラー33Aを透過し、ダイクロイックミラー33に反射され、集光レンズ34によりCCDイメージセンサ35の受光面に投影される。CCDイメージセンサ35による受光像(アライメント指標)は、観察画像とともに表示装置3に表示される。ユーザは、従来の眼底カメラと同様の操作を行ってアライメントを実施する。また、演算制御ユニット200がアライメント指標の位置を解析して光学系を移動させることによりアライメントを行ってもよい(オートアライメント機能)。
フォーカス調整を行う際には、照明光学系10の光路上に反射棒67の反射面が斜設される。フォーカス光学系60のLED61から出力された光(フォーカス光)は、リレーレンズ62を通過し、スプリット指標板63により2つの光束に分離され、二孔絞り64を通過し、ミラー65に反射され、集光レンズ66により反射棒67の反射面に一旦結像されて反射される。さらに、フォーカス光は、リレーレンズ20を経由し、孔開きミラー21に反射され、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて眼底Efに投影される。
フォーカス光の眼底反射光は、アライメント光の角膜反射光と同様の経路を通ってCCDイメージセンサ35により検出される。CCDイメージセンサ35による受光像(スプリット指標)は、観察画像とともに表示装置3に表示される。演算制御ユニット200は、従来と同様に、スプリット指標の位置を解析して合焦レンズ31およびフォーカス光学系60を移動させてピント合わせを行う(オートフォーカス機能)。また、スプリット指標を視認しつつ手動でピント合わせを行ってもよい。
ダイクロイックミラー46は、眼底撮影用の光路からOCT用の光路を分岐させている。ダイクロイックミラー46は、OCTに用いられる波長帯の光を反射し、眼底撮影用の光を透過させる。このOCT用の光路には、OCTユニット100側から順に、コリメータレンズユニット40と、光路長変更部41と、バリアブルクロスシリンダーレンズ(以下、VCCレンズ)47と、光スキャナ42と、合焦レンズ43と、ミラー44と、リレーレンズ45とが設けられている。
光路長変更部41は、図1に示す矢印の方向に移動可能とされ、OCT用の光路の光路長を変更する。この光路長の変更は、被検眼Eの眼軸長に応じた光路長の補正や、干渉状態の調整などに利用される。光路長変更部41は、たとえばコーナーキューブと、これを移動する機構とを含んで構成される。
光スキャナ42は、被検眼Eの瞳孔と光学的に共役な位置に配置されている。光スキャナ42は、OCT用の光路を通過する光(測定光LS)の進行方向を変更する。それにより、被検眼Eを測定光LSで走査することができる。光スキャナ42は、たとえば、測定光LSをx方向に走査するガルバノミラーと、y方向に走査するガルバノミラーと、これらを独立に駆動する機構とを含んで構成される。それにより、測定光LSをxy平面上の任意の方向に走査することができる。
〔OCTユニット〕
OCTユニット100の構成の一例を図2に示す。OCTユニット100には、被検眼EのOCT画像を取得するための光学系が設けられている。この光学系は、従来のスウェプトソースタイプのOCT装置と同様の構成を有する。すなわち、この光学系は、波長走査型(波長掃引型)光源からの光を測定光と参照光とに分割し、被検眼Eからの測定光の戻り光と参照光路を経由した参照光とを干渉させて干渉光を生成し、この干渉光を検出する干渉光学系である。干渉光学系による干渉光の検出結果(検出信号)は、干渉光のスペクトルを示す信号であり、演算制御ユニット200に送られる。
光源ユニット101は、一般的なスウェプトソースタイプのOCT装置と同様に、出射光の波長を走査(掃引)可能な波長走査型(波長掃引型)光源を含んで構成される。光源ユニット101は、人眼では視認できない近赤外の波長帯において、出力波長を時間的に変化させる。
光源ユニット101から出力された光L0は、光ファイバ102により偏波コントローラ103に導かれてその偏光状態が調整される。偏波コントローラ103は、たとえばループ状にされた光ファイバ102に対して外部から応力を与えることで、光ファイバ102内を導かれる光L0の偏光状態を調整する。
偏波コントローラ103により偏光状態が調整された光L0は、光ファイバ104によりファイバカプラ105に導かれて測定光LSと参照光LRとに分割される。
参照光LRは、光ファイバ110によりコリメータ111に導かれて平行光束となる。平行光束となった参照光LRは、光路長補正部材112および分散補償部材113を経由し、コーナーキューブ114に導かれる。光路長補正部材112は、参照光LRの光路長(光学距離)と測定光LSの光路長とを合わせるための遅延手段として作用する。分散補償部材113は、参照光LRと測定光LSとの間の分散特性を合わせるための分散補償手段として作用する。
コーナーキューブ114は、コリメータ111により平行光束となった参照光LRの進行方向を逆方向に折り返す。コーナーキューブ114に入射する参照光LRの光路と、コーナーキューブ114から出射する参照光LRの光路とは平行である。また、コーナーキューブ114は、参照光LRの入射光路および出射光路に沿う方向に移動可能とされている。この移動により参照光LRの光路の長さが変更される。
なお、図1および図2に示す構成においては、測定光LSの光路(測定光路、測定アーム)の長さを変更するための光路長変更部41と、参照光LRの光路(参照光路、参照アーム)の長さを変更するためのコーナーキューブ114の双方が設けられているが、これらのうちのいずれか一方が設けられていてもよい。また、これら以外の光学部材を用いて、測定光路長と参照光路長との差を変更することも可能である。
コーナーキューブ114を経由した参照光LRは、分散補償部材113および光路長補正部材112を経由し、コリメータ116によって平行光束から集束光束に変換されて光ファイバ117に入射し、偏波コントローラ118に導かれて参照光LRの偏光状態が調整される。
偏波コントローラ118は、たとえば、偏波コントローラ103と同様の構成を有する。偏波コントローラ118により偏光状態が調整された参照光LRは、光ファイバ119によりアッテネータ120に導かれて、演算制御ユニット200の制御の下で光量が調整される。アッテネータ120により光量が調整された参照光LRは、光ファイバ121によりファイバカプラ122に導かれる。
一方、ファイバカプラ105により生成された測定光LSは、光ファイバ127により導かれ、コリメータレンズユニット40により平行光束とされる。平行光束にされた測定光LSは、光路長変更部41、光スキャナ42、合焦レンズ43、ミラー44、およびリレーレンズ45を経由してダイクロイックミラー46に到達する。そして、測定光LSは、ダイクロイックミラー46により反射され、対物レンズ22により屈折されて被検眼Eに照射される。測定光LSは、被検眼Eの様々な深さ位置において散乱(反射を含む)される。このような後方散乱光を含む測定光LSの戻り光は、往路と同じ経路を逆向きに進行してファイバカプラ105に導かれ、光ファイバ128を経由してファイバカプラ122に到達する。
ファイバカプラ122は、光ファイバ128を介して入射された測定光LSと、光ファイバ121を介して入射された参照光LRとを合成して(干渉させて)干渉光を生成する。ファイバカプラ122は、所定の分岐比(たとえば1:1)で、測定光LSと参照光LRとの干渉光を分岐することにより、一対の干渉光LCを生成する。ファイバカプラ122から出射した一対の干渉光LCは、それぞれ光ファイバ123、124により検出器125に導かれる。
検出器125は、たとえば一対の干渉光LCをそれぞれ検出する一対のフォトディテクタを有し、これらによる検出結果の差分を出力するバランスドフォトダイオード(Balanced Photo Diode)である。検出器125は、その検出結果(検出信号)を演算制御ユニット200に送る。演算制御ユニット200は、たとえば一連の波長走査毎に(Aライン毎に)、検出器125により得られた検出結果に基づくスペクトル分布にフーリエ変換等を施すことにより、各Aラインにおける反射強度プロファイルを形成する。さらに、演算制御ユニット200は、各Aラインプロファイルを画像化することにより画像データを形成する。
この実施形態ではマイケルソン型の干渉光学系を採用しているが、たとえばマッハツェンダー型など任意のタイプの干渉光学系を採用することが可能である。
〔演算制御ユニット〕
演算制御ユニット200の構成について説明する。演算制御ユニット200は、検出器125から入力される検出信号を解析して被検眼EのOCT画像を形成する。そのための演算処理は、従来のスウェプトソースタイプのOCT装置と同様である。
また、演算制御ユニット200は、眼底カメラユニット2、表示装置3およびOCTユニット100の各部を制御する。たとえば演算制御ユニット200は、被検眼EのOCT画像を表示装置3に表示させる。
また、眼底カメラユニット2の制御として、演算制御ユニット200は、観察光源11、撮影光源15およびLED51、61の動作制御、LCD39の動作制御、合焦レンズ31、43の移動制御、反射棒67の移動制御、フォーカス光学系60の移動制御、光路長変更部41の移動制御、光スキャナ42の動作制御などを行う。
また、OCTユニット100の制御として、演算制御ユニット200は、光源ユニット101の動作制御、コーナーキューブ114の移動制御、検出器125の動作制御、アッテネータ120の動作制御、偏波コントローラ103、118の動作制御などを行う。
演算制御ユニット200は、たとえば、従来のコンピュータと同様に、マイクロプロセッサ、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクドライブ、通信インターフェイスなどを含んで構成される。ハードディスクドライブ等の記憶装置には、眼科撮影装置1を制御するためのコンピュータプログラムが記憶されている。演算制御ユニット200は、各種の回路基板、たとえばOCT画像を形成するための回路基板を備えていてもよい。また、演算制御ユニット200は、キーボードやマウス等の操作デバイス(入力デバイス)や、LCD等の表示デバイスを備えていてもよい。
眼底カメラユニット2、表示装置3、OCTユニット100および演算制御ユニット200は、一体的に(つまり単一の筺体内に)構成されていてもよいし、2つ以上の筐体に別れて構成されていてもよい。
〔制御系〕
眼科撮影装置1の制御系の構成について図3を参照しつつ説明する。なお、図3においては、眼科撮影装置1のいくつかの構成要素が省略されており、この実施形態を説明するために特に必要な構成要素が選択的に示されている。
(制御部)
眼科撮影装置1の制御系は、制御部210を中心に構成される。制御部210は、たとえば、マイクロプロセッサ、RAM、ROM、ハードディスクドライブ、通信インターフェイス等を含んで構成される。制御部210には、主制御部211と記憶部212が設けられている。
(主制御部)
主制御部211は前述の各種制御を行う。特に、図3に示すように、主制御部211は、眼底カメラユニット2のCCDイメージセンサ35および38、撮影合焦駆動部31A、光路長変更部41、光スキャナ42およびOCT合焦駆動部43A、並びに、OCTユニット100の光源ユニット101、参照駆動部114Aおよび検出器125を制御する。
撮影合焦駆動部31Aは、合焦レンズ31を光軸方向に移動させる。それにより、撮影光学系30の合焦位置が変更される。なお、主制御部211は、図示しない光学系駆動部を制御して、眼底カメラユニット2に設けられた光学系を3次元的に移動させることができる。この制御は、アライメントやトラッキングにおいて用いられる。トラッキングとは、被検眼Eの運動に合わせて装置光学系を移動させるものである。トラッキングを行う場合には、事前にアライメントとピント合わせが実行される。トラッキングは、被検眼Eを動画撮影して得られる画像に基づき被検眼Eの位置や向きに合わせて装置光学系をリアルタイムで移動させることにより、アライメントとピントが合った好適な位置関係を維持する機能である。
OCT合焦駆動部43Aは、測定光路の光軸に沿って合焦レンズ43を移動させる。それにより、測定光LSの合焦位置が変更される。測定光LSの合焦位置は、測定光LSのビームウェストの深さ位置(z位置)に相当する。
参照駆動部114Aは、参照光路に設けられたコーナーキューブ114を移動させる。それにより、参照光路の長さが変更される。なお、前述したように、光路長変更部41と、コーナーキューブ114および参照駆動部114Aとのいずれか一方のみが設けられた構成であってもよい。
図3に示すように、主制御部211には、条件制御部2111と、表示制御部2112とが設けられている。
(条件制御部)
条件制御部2111は、OCTに関する条件の制御を行う。OCTに関する条件としては、測定光LSのスキャンに関する条件(スキャン条件)や、測定光LSのフォーカスに関する条件(フォーカス条件)、測定光LSと参照光LRとの干渉状態に関する条件(干渉条件)などがある。スキャン条件には、光スキャナ42の制御に関するスキャンパターンやスキャン間隔などがある。スキャンパターンは、スキャンの形状を表す条件であり、その具体例として、線分状のラインスキャン、円形状のサークルスキャン、ラスタースキャン(3次元スキャン)などがある。フォーカス条件には、合焦レンズ43(OCT合焦駆動部43A)等の制御に関する測定光LSの合焦位置などがある。干渉条件は、合焦レンズ43(OCT合焦駆動部43A)やコーナーキューブ114(参照駆動部114A)や偏波コントローラ118やアッテネータ120の制御に関する。条件制御部2111は、設定された条件に基づいて制御を実行する。なお、OCTに関する条件はこれらに限定されず、たとえば被検眼Eのディオプタに応じた視度補正などがある。
(表示制御部)
表示制御部2112は、各種の情報を表示部241に表示させる。表示制御部2112が実行する処理については後述する。
(記憶部)
記憶部212は、各種のデータを記憶する。記憶部212に記憶されるデータとしては、たとえば、OCT画像の画像データ、眼底像の画像データ、被検眼情報などがある。被検眼情報は、患者IDや氏名などの被検者に関する情報や、左眼/右眼の識別情報などの被検眼に関する情報を含む。また、記憶部212には、眼科撮影装置1を動作させるための各種プログラムやデータが記憶されている。
(画像形成部)
画像形成部220は、検出器125からの検出信号に基づいて、眼底Efの断面像の画像データを形成する。すなわち、画像形成部220は、干渉光学系による干渉光LCの検出結果に基づいて被検眼Eの画像データを形成する。この処理には、従来のスウェプトソースタイプのOCTと同様に、ノイズ除去(ノイズ低減)、フィルタ処理、FFT(Fast Fourier Transform)などの処理が含まれている。このようにして取得される画像データは、複数のAライン(被検眼E内における各測定光LSの経路)における反射強度プロファイルを画像化することにより形成された一群の画像データを含むデータセットである。
画質を向上させるために、同じパターンでのスキャンを複数回繰り返して収集された複数のデータセットを重ね合わせる(加算平均する)ことができる。
画像形成部220は、たとえば、前述の回路基板を含んで構成される。なお、この明細書では、「画像データ」と、それに基づく「画像」とを同一視することがある。また、被検眼Eの部位とその画像とを同一視することもある。
(データ処理部)
データ処理部230は、画像形成部220により形成されたOCT画像に対して各種のデータ処理(画像処理)や解析処理を施す。たとえば、データ処理部230は、画像の輝度補正や分散補正等の補正処理を実行する。また、データ処理部230は、眼底カメラユニット2により得られた画像(眼底像、前眼部像等)に対して各種の画像処理や解析処理を施す。
データ処理部230は、断面像の間の画素を補間する補間処理などの公知の画像処理を実行することにより、被検眼Eのボリュームデータ(ボクセルデータ)を形成することができる。ボリュームデータに基づく画像を表示させる場合、データ処理部230は、このボリュームデータに対してレンダリング処理を施して、特定の視線方向から見たときの擬似的な3次元画像を形成する。
データ処理部230は、眼底像とOCT画像との位置合わせを行うことができる。眼底像とOCT画像とが並行して取得される場合には、双方の光学系が同軸であることから、(ほぼ)同時に取得された眼底像とOCT画像とを、撮影光学系30の光軸を基準として位置合わせすることができる。また、眼底像とOCT画像との取得タイミングに関わらず、OCT画像のうち眼底Efの相当する画像領域の少なくとも一部をxy平面に投影して得られる正面画像と、眼底像との位置合わせをすることにより、そのOCT画像とその眼底像とを位置合わせすることも可能である。この位置合わせ手法は、眼底像取得用の光学系とOCT用の光学系とが同軸でない場合においても適用可能である。また、双方の光学系が同軸でない場合であっても、双方の光学系の相対的な位置関係が既知であれば、この相対位置関係を参照して同軸の場合と同様の位置合わせを実行することが可能である。
(注目領域特定部)
データ処理部230には注目領域特定部231が設けられている。注目領域特定部231は、OCTスキャンにより取得されたデータに基づき形成された断面像を解析することで、被検眼Eの注目部位に相当する画像領域(注目領域)を特定する。
解析される断面像は、画像形成部220またはデータ処理部230により形成された画像である。たとえば、解析される断面像は、画像形成部220により形成された、OCTスキャンの走査線に沿う断面像(Bスキャン像)であってよい。或いは、解析される断面像は、画像形成部220により形成された複数の断面像に基づく3次元画像にMPR処理(多断面再構成)を施すことにより得られる任意断面を表す2次元断面像であってよい。さらなる例として、解析される断面像は、データ処理部230により形成される3次元画像またはその一部でもよい。また、解析される断面像は、静止画像でもよいし、動画像のフレームでもよい。動画像のフレームが解析される場合、全てのフレームを解析してもよいし、逐次に取得されるフレームを間引きして解析を行ってもよい。
被検眼Eの注目部位の種別は、あらかじめ指定される。本実施形態では、眼底Efの任意の注目部位が指定される。具体例として、視神経乳頭、黄斑、中心窩、血管、網膜、脈絡膜、強膜、硝子体、病変部などがある。なお、注目部位は、例示されたいずれかの部位の全体または一部であってよく、また、例示された2以上の部位の組み合わせの少なくとも一部であってよい。たとえば、注目部位は、網膜の全層でもよいし、網膜を構成する1以上の層組織でもよい。また、例示された部位以外の部位の少なくとも一部を注目部位として指定することも可能である。
注目領域特定部231が実行する処理について説明する。注目領域特定部231は、断面像における画素値および/または画素位置に基づく画像解析を実行する。このような画像解析においては、2値化、エッジ検出、閾値処理、パターン認識、スムージング、フィルタリング、ラベリング等の公知の技術が適用される。また、このような2以上の画像処理の組み合わせからなるアルゴリズムが適用される。
(位置判定部)
データ処理部230にはさらに位置判定部232が設けられている。位置判定部232は、注目領域特定部231により特定された注目領域の断面像における位置を判定する。たとえば、位置判定部232は、注目領域が断面像の縁部にかかるか否か判定する(つまり、注目領域が断面像の縁部と交差または接触するか否か判定する)。具体的には、位置判定部232は、注目領域が断面像の上縁および/または下縁にかかるか否か判定する。この処理は、たとえば特許文献1(特許第5543536号)と同様にして実行される。また、位置判定部232は、注目領域が断面像の左縁および/または右縁にかかるか否か判定することができる。この処理も同様にして実行される。
位置判定部232は、注目領域が断面像の縁部と交差または接触する位置を求めることができる。また、位置判定部232は、注目領域が断面像の縁部と交差する程度を求めることができる。この交差の程度は、たとえば、注目領域が一の縁部と交差する位置が隣接する縁部からどの程度離れているかを表す。具体例として、注目領域が上縁と交差する場合、その交差位置と左縁(または右縁)との間の距離、或いはこの距離の程度を表す指標が求められる。
以上のように機能するデータ処理部230は、たとえば、マイクロプロセッサ、RAM、ROM、ハードディスクドライブ、回路基板等を含んで構成される。ハードディスクドライブ等の記憶装置には、上記機能をマイクロプロセッサに実行させるコンピュータプログラムがあらかじめ格納されている。
(ユーザインターフェイス)
ユーザインターフェイス240には、表示部241と操作部242とが含まれる。表示部241は、前述した演算制御ユニット200の表示デバイスや表示装置3を含んで構成される。操作部242は、前述した演算制御ユニット200の操作デバイスを含んで構成される。操作部242には、眼科撮影装置1の筐体や外部に設けられた各種のボタンやキーが含まれていてもよい。また、表示部241は、眼底カメラユニット2の筺体に設けられたタッチパネルなどの各種表示デバイスを含んでいてもよい。
なお、表示部241と操作部242は、それぞれ個別のデバイスとして構成される必要はない。たとえばタッチパネルのように、表示機能と操作機能とが一体化されたデバイスを用いることも可能である。その場合、操作部242は、このタッチパネルとコンピュータプログラムとを含んで構成される。操作部242に対する操作内容は、電気信号として制御部210に入力される。また、表示部241に表示されたグラフィカルユーザインターフェイス(GUI)と、操作部242とを用いて、操作や情報入力を行うようにしてもよい。
[動作]
眼科撮影装置1の動作に関するいくつかの例を説明する。
(スキャンパターンに関する動作例)
本実施形態で適用されるOCTスキャンは、たとえばライブスキャンである。ライブスキャンは、トラッキングと並行して実行されてよい。ライブスキャンでは、同じスキャンパターンでのOCTスキャンを繰り返し実行する。このとき、被検眼Eに対して固視標が提示される。それにより、実質的に一定の断面が繰り返しOCTスキャンされ、それにより得られる当該断面の動画像をリアルタイムで表示することができる。このようなライブスキャンによって逐次に取得されるフレームの少なくとも一部が、前述の画像解析に供される。
以下の動作例では、2つの走査線(第1走査線L1および第2走査線L2)からなるスキャンパターンが適用される。スキャン時には、第1走査線L1に沿う第1走査と、第2走査線L2に沿う第2走査とが交互に実行される。なお、「第1走査と第2走査とを交互に実行する」とは、1回の第1走査と1回の第2走査とを交互に実行する場合だけでなく、1回以上の第1走査と1回以上の第2走査とを交互に実行する場合も含む概念である。また、3以上の走査線からなるスキャンパターンが適用される場合、第1〜第3走査線を所定の順序で巡回的に実行する動作もこの概念に含まれる。
スキャンパターンの典型的な例を図4A〜図4Eに示す。それぞれの矢印はスキャンの向きを示している。また、それぞれの矢印の長さはスキャンの長さを示している。なお、以下に例示するようなスキャンパターンが適用される眼底Efの位置の設定は、たとえば次のいずれかの手法により実行される:当該スキャンパターンが適用される眼底Efの位置が設定される;他のスキャンパターンが適用される眼底Efの位置が設定され、その結果を利用して当該スキャンパターンの適用位置が設定される(たとえば、3次元スキャンが適用される3次元計測領域の位置が設定され、この3次元計測領域の一部が当該スキャンパターンの適用位置として設定される);固視位置の設定の結果を利用して当該スキャンパターンの適用位置が設定される。
図4Aに示すスキャンパターンは、水平方向(x方向)に延びる線分状の第1走査線L1と、垂直方向(y方向)に延びる線分状の第2走査線L2とからなる。第1走査線L1と第2走査線L2は、互いの中央位置で直交している。すなわち、図4Aに示すスキャンパターンは、互いの中央位置にて直交する2つの線分状の走査線からなる十字型のスキャンパターンである。第1走査線L1と第2走査線L2との交差位置は、たとえば眼底Efの注目部位(黄斑(中心窩)、視神経乳頭等)に配置される。
図4Bに示すスキャンパターンは、水平方向に延びる線分状の第1走査線L1と、垂直方向に延びる線分状の第2走査線L2とからなる。第1走査線L1と第2走査線L2は、互いの中央位置以外の位置で直交している。一般に、第1走査線と第2走査線との交差位置は任意に設定可能である。
図4Cに示すスキャンパターンは、水平方向に延びる線分状の第1走査線L1と、垂直方向に延びる線分状の第2走査線L2とからなる。第1走査線L1と第2走査線L2は、互いに垂直であるが、交差はしていない。一般に、第1走査線と第2走査線との相対位置は任意に設定可能である。
図4Dに示すスキャンパターンは、斜め方向に延びる線分状の第1走査線L1と、垂直方向に延びる線分状の第2走査線L2とからなる。第1走査線L1と第2走査線L2は、互いに垂直以外の角度で交差している。一般に、第1走査線と第2走査線との相対角度は任意である。特に、第1走査線と第2走査線とが交差する場合、それらの交差角度は任意に設定可能である。
図4Eに示すスキャンパターンは、水平方向に延びる線分状の第1走査線L1と、垂直方向に延びる線分状の第2走査線L2とからなる。第1走査線L1と第2走査線L2は、互いの中央位置で直交している。第1走査線L1は第2走査線L2より短い。一般に、第1走査線の長さおよび第2走査線の長さは任意に設定可能である。
(表示に関する動作例)
情報の表示に関する一例を図5に示す。本例では、図4Aに示すスキャンパターンが適用される場合について説明するが、他のスキャンパターンが適用される場合にも同様の表示処理を実行することが可能である。
図5に示す表示画面300は、表示制御部2112により表示部241に表示される。表示画面300には、第1断面像表示領域301と、第2断面像表示領域302と、正面画像表示領域303とが設けられている。
正面画像表示領域303には、眼底Efの観察画像Hが表示される。観察画像Hは、赤外動画像である。正面画像表示領域303にはさらに、第1走査線L1を表す画像(第1走査線画像)と、第2走査線L2を表す画像(第2走査線画像)とが表示される。第1走査線画像および第2走査線画像は、図5においてそれぞれ第1走査線L1および第2走査線L2と同じ符号で示されている。前述したように、本例では図4Aに示す第1走査線L1および第2走査線L2からなるスキャンパターンが適用される。よって、図5に示す第1走査線画像L1および第2走査線画像L2は、互いの中央位置にて直交する2つの線分状の走査線である。第1走査線画像L1および第2走査線画像L2はそれぞれ矢印状の画像であり、それぞれ第1走査線L1および第2走査線L2におけるスキャンの方向を表している。また、本例では、第1走査線画像L1および第2走査線画像L2は観察画像H上に表示される。符号Rは、第1走査線画像L1および第2走査線画像L2により張られる2次元領域の外縁を示す。外縁Rは、ラスタースキャン(3次元スキャン)の対象となる3次元計測領域の範囲を示すものとも言える。外縁Rは表示されてもよいし、表示されなくてもよい。
第1断面像表示領域301には、第1走査線L1を繰り返し走査することにより得られる動画像(第1動画像)G1が表示される。第2断面像表示領域302には、第2走査線L2を繰り返し走査することにより得られる動画像(第2動画像)G2が表示される。前述したように、本例では、第1走査線L1に沿う第1走査と、第2走査線L2に沿う第2走査とが交互に実行される。
表示制御部2112は、このような交互スキャンにおいて反復的に実行される第1走査により得られるデータから画像形成部220が逐次に形成する断面像を所定のフレームレート(たとえば、第1走査の反復レートに等しい、またはその整数倍)で第1断面像表示領域301に表示させることにより、第1動画像G1を表示させる。同様に、表示制御部2112は、交互スキャンにおいて反復的に実行される第2走査により得られるデータから画像形成部220が逐次に形成する断面像を所定のフレームレート(たとえば、第2走査の反復レートに等しい、またはその整数倍)で第2断面像表示領域302に表示させることにより、第2動画像G2を表示させる。
第1断面像表示領域301は、第1走査線L1(第1走査線画像L1)に対応する向きに配置されている。本例では、第1断面像表示領域301は矩形であり、その上辺および下辺の向きと第1走査線画像L1の向きとが一致している。つまり、図5において、第1走査線画像L1は左右方向に延びる線分(矢印)であり、第1断面像表示領域301の上辺および下辺は左右方向に延びている。なお、観察画像Hにおいて、左右方向がx方向に相当し、上下方向がy方向に相当する。また、第1断面像表示領域301において、上辺および下辺の向き(左右方向)がx方向に相当し、左辺および右辺(上下方向)がz方向に相当する。よって、観察画像H上に表示される第1走査線画像L1の向き(x方向)と、第1断面像表示領域301に表示される第1動画像G1の断面の向き(x方向)とが一致している。
同様に、第2断面像表示領域302は、第1走査線L2(第1走査線画像L2)に対応する向きに配置されている。本例では、第2断面像表示領域302は矩形であり、その左辺および右辺の向きと第2走査線画像L2の向きとが一致している。つまり、図5において、第2走査線画像L2は上下方向に延びる線分(矢印)であり、第2断面像表示領域302の左辺および右辺は上下方向に延びている。なお、上記のように、観察画像Hにおいて、左右方向がx方向に相当し、上下方向がy方向に相当する。また、第2断面像表示領域302において、左辺および右辺の向き(上下方向)がy方向に相当し、上辺および下辺(左右方向)がz方向に相当する。よって、観察画像H上に表示される第2走査線画像L2の向き(y方向)と、第2断面像表示領域302に表示される第2動画像G2の断面の向き(y方向)とが一致している。
また、第1走査線L1(第1走査線画像L1)と第1動画像G1との対応を表す情報(第1対応情報)と、第2走査線(第2走査線画像L2)と第2動画像G2との対応を表す情報(第2対応情報)とを表示させることができる。本例においては、第1および第2対応情報として表示色が用いられる。具体的には、表示制御部2112は、第1走査線画像L1と第1動画像G1の枠(第1断面像表示領域301の枠)とを第1色で表示させ、且つ、第2走査線画像L2と第2動画像G2の枠(第2断面像表示領域302の枠)とを第1色と異なる第2色で表示させる。
第1断面像表示領域301の左側には測定光LSの合焦位置を表すマーカ304が設けられている。測定光LSの合焦位置は、合焦レンズ43の位置に対応する。合焦レンズ43は、OCT合焦駆動部43Aによって移動される。表示制御部2112は、現在の合焦レンズ43の位置(つまり、OCT合焦駆動部43Aに対する制御状態)に基づいてマーカ304を表示させる。なお、合焦位置はz方向に変化し、第1断面像表示領域301の左辺に沿う方向(上下方向)がz方向に相当する。よって、マーカ304の位置は、左辺に沿って変化する。
さらに、ユーザは、マーカ304を移動させることができる。そのための操作は、表示部241がタッチパネルの場合には所望の位置をタッチするタッチ操作により行われる。また、表示部241がタッチパネルでない場合には、ユーザは操作部242を操作する。この操作は、たとえば、所望の位置をクリックする操作、または、マーカ304をドラッグする操作である。マーカ304が移動されると、主制御部211は、移動後のマーカ304の位置に基づいてOCT合焦駆動部43Aを制御することで、移動後のマーカ304の位置に対応する位置に合焦レンズ43を移動する。
なお、表示画面300に設けられる領域は図5に示すものに限定されない。典型的な例として、被検者や被検眼Eに関する情報が表示される領域や、被検眼Eの前眼部像が表示される領域(前眼部像表示領域)や、各種のソフトウェアキーなどが表示画面300に設けられていてよい。
前眼部像の表示およびそれに伴い実行される処理に関する例を説明する。本例に係る眼科撮影装置は、被検眼Eの前眼部の映像を取得するための一対のビデオカメラを備える。一対のビデオカメラは、前眼部を異なる方向から同時に撮影する。表示制御部2112は、第1のビデオカメラにより得られる映像の上半分の画像領域(上半領域)と、第2のビデオカメラにより得られる映像の下半分の画像領域(下半領域)とを上下に並べて前眼部像表示領域に表示させる。制御部210(またはデータ処理部230)は、上半領域および下半領域をそれぞれ解析することで特定部位(瞳孔、虹彩等)の画像(特定部位画像)を検出し、上半領域中の特定部位画像と下半領域中の特定部位画像との変位を算出し、この変位をキャンセルするように光学系(OCT用光学系、眼底カメラ用光学系)を移動する。これにより、被検眼Eに対する光学系のアライメントを行うことができる。さらに、一対のビデオカメラにより逐次に取得されるフレームに基づいて上記処理をリアルタイムで繰り返し実行することで、被検眼Eの動きに光学系を追従させるトラッキングを実行しつつ、眼底EfのOCTや撮影や観察を行うことが可能である。
(使用形態)
眼科撮影装置1の使用形態について説明する。図6は、使用形態の例を示す。本例では、眼底Efの3次元スキャンを行うために、図4Aに示すスキャンパターンでライブスキャンが実行される。
なお、OCT計測のための準備動作は既に実行されたとする。準備動作としては、眼底Efの観察、アライメント、フォーカシング、OCTに関する条件の設定などがある。また、任意のタイミングでトラッキングを開始してもよい。
(S1:3次元スキャンの計測範囲の設定)
本例ではまず、3次元スキャン(ラスタースキャン)が適用される眼底Efの計測範囲が設定される。後段のOCTにおいて、条件制御部2111は、設定された計測範囲に基づいて光スキャナ42等を制御する。計測範囲の設定は、手動または自動で実行される。
計測範囲が手動で実行される場合、たとえば、図5に示す表示画面300の正面画像表示領域303に、眼底Efの観察画像(リアルタイム動画像)が表示される。この観察画像上には、3次元スキャンの計測範囲を示す画像(たとえば枠Rを表す画像)が表示される。ユーザは、操作部242を用いることで、観察画像上の所望の位置に枠Rを移動することができる。このとき、観察画像(つまり眼底Ef)と枠R(つまり計測範囲)との相対位置を変更可能であればよい。たとえば、固視位置を調整することで、この相対位置を変更することが可能である。
計測範囲が自動で設定される場合、たとえば、データ処理部230が、眼底Efの画像(観察画像、撮影画像、OCT画像等)を解析し、眼底Efの所定部位に相当する画像位置を特定する。この処理は、注目領域を特定する処理と同様に実行できる。さらに、データ処理部230は、特定された画像位置に基づき計測範囲を設定する。典型的な例として、単一の画像位置が特定された場合、この画像位置が中央に配置されるように計測範囲が設定される。他の例として、2以上の画像位置が特定された場合、全ての画像位置を含むように計測範囲が設定される。
ステップS1の終了時に表示部241に表示されている画面の例を図7Aに示す。図7Aに示す表示画面300は図5と同じレイアウトを有する(同じ符号で示す)。ステップS1の終了時には、第1断面像表示領域301および第2断面像表示領域302には画像は表示されていないが、正面画像表示領域303に観察画像Hが表示されている。さらに、観察画像H上には、ステップS1で設定された計測範囲を表す枠Rと、ステップS2のライブスキャンで適用される走査パターンを表す第1走査線画像L1および第2走査線画像L2とが表示されている。なお、本例では、図4Aに示すスキャンパターンが適用される。第1走査線画像L1および第2走査線画像L2は、互いの中央位置で直交する2本のラインであり、その交差位置が計測範囲の中心に一致している。また、第1走査線画像L1はx方向に延びるラインであり、第2走査線画像L2はy方向に延びるラインである。
(S2:ライブスキャンの開始)
ステップS1の終了後、(所定のトリガーを受けて)主制御部211は、図4Aに示すスキャンパターンでのライブスキャンを開始する。
ライブスキャンが開始されると、表示制御部2112は、既に表示されている観察画像Hとともに、第1走査線画像L1が示す断面の動画像(第1動画像G1)を第1断面像表示領域301に表示させ、且つ、第2走査線画像L2が示す断面の動画像(第2動画像G2)を第2断面像表示領域302に表示させる(図7Bを参照)。
(S3:断面像中の注目領域の特定)
ライブスキャンが開始されると、主制御部211は、逐次に取得される第1動画像G1のフレームおよび第2動画像G2のフレームをデータ処理部230に送る。或いは、主制御部211は、逐次に取得されるフレームのうちいくつかを選択してデータ処理部230に送る。
注目領域特定部231は、第1動画像のフレームを解析することにより、既定の注目部位に相当する画像領域(注目領域)を特定する。同様に、注目領域特定部231は、第2動画像のフレームを解析することにより、既定の注目部位に相当する画像領域(注目領域)を特定する。本例では、たとえば網膜の全層が注目領域として特定される。この処理は、たとえば、内境界膜を特定する処理と、網膜色素上皮層を特定する処理とを含む。図7Bに示す第1動画像G1および第2動画像G2は、網膜の複数の層組織を表している。
(S4:注目領域の位置の判定)
位置判定部232は、ステップS3で第1動画像G1のフレームを解析して特定された注目領域がこのフレームの縁部(たとえば上縁および/または下縁)にかかるか否か判定する。同様に、位置判定部232は、ステップS3で第2動画像G2のフレームを解析して特定された注目領域がこのフレームの縁部(たとえば上縁および/または下縁)にかかるか否か判定する。これら判定結果は、解析されたフレームに関連付けられて制御部210に送られる。たとえば、第1動画像G1のフレーム中の注目領域がこのフレームの縁部にかかると判定された場合、このフレーム(または第1動画像G1)にフラグが付与される。
(S5:情報表示の制御)
表示制御部2112は、ステップS4で得られた判定結果に基づいて、情報表示に関する制御を行う。すなわち、表示制御部2112は、注目領域がフレームの枠にかかると判定された断面像(動画像)と、注目領域がフレームの枠にかからないと判定された断面像(動画像)とを異なる態様で表示させる。
この表示態様の相違の例として、表示サイズの相違、枠の態様の相違、断面像に付加される情報の相違などがある。表示サイズの相違の例として、注目領域がフレームの枠にかかると判定された断面像を相対的に大きく表示させ、注目領域がフレームの枠にかからないと判定された断面像を相対的に小さく表示させることができる。枠の態様の相違の例として、注目領域がフレームの枠にかかると判定された断面像と、注目領域がフレームの枠にかからないと判定された断面像とを、異なる色または太さの枠内に表示させることができる。断面像に付加される情報の相違の例として、注目領域がフレームの枠にかかると判定された断面像の近傍に、その判定結果(注目領域が枠にかかること、エラーであること、枠にかかる位置、枠にかかる程度等)を表す情報を表示させることができる。また、注目領域がフレームの枠にかからないと判定された断面像の近傍に、その判定結果(枠にかからないこと、適正であること等)を表す情報を表示させることができる。また、注目領域がフレームの枠にかかると判定された断面像のみを選択的に表示させることができる。
(S6:計測範囲の調整)
ステップS5で表示された情報を参照し、ユーザは、計測範囲の調整を行うことができる。注目領域がフレームの枠の上縁および/または下縁にかかっている場合、ユーザは、操作部242を用いて、注目領域が上縁および下縁の双方(または一方)にかからなくなるように、計測範囲を奥行き方向(深さ方向、z方向)に調整することができる。奥行き方向における調整は、測定光LSの光路長および/または参照光LRの光路長を調整することにより実行される。
注目領域がフレームの枠の左縁および/または右縁にかかっている場合、ユーザは、操作部242を用いて、注目領域が左縁および右縁の双方(または一方)にかからなくなるように、計測範囲を水平方向(x方向および/またはy方向)に調整することができる。水平方向における調整は、たとえば、観察画像H上に表示されている枠Rを移動させることにより(つまり、光スキャナ42の動作範囲を変更することにより)実行される。或いは、固視位置を調整することにより、または光学系(眼底カメラユニット2)の位置を調整することにより、水平方向における調整を行うことも可能である。
計測範囲の調整を自動で行うことも可能である。その場合、位置判定部232が、注目領域と縁部との交差位置または交差の程度を求め、主制御部211が、求められた交差位置または交差の程度に基づいて、光路長の調整、光スキャナ42の動作範囲の調整、固視位置の調整、光学系の位置の調整などを実行する。
計測範囲の調整を自動で行うための他の例として、逐次に特定される注目領域と縁部との位置関係をモニタしつつ、所定の条件を満足するように(たとえば、少なくともいずれかの縁部に注目領域がかからないように)、上記のいずれかの調整を実行するように構成することが可能である。この処理において、位置判定部232により逐次に取得される交差位置に基づいて調整方向を決定したり、交差位置または交差の程度に基づいて調整量を決定したりすることが可能である。
(S7:ライブスキャンの終了)
ステップS6における計測範囲の調整の終了後、主制御部211は、(所定のトリガーを受けて)ライブスキャンのための制御を終了する。
(S8:3次元スキャンの実行)
ライブスキャンの終了後、主制御部211は、(所定のトリガーを受けて)眼底Efの3次元スキャンを実行させる。
(S9:3次元画像の形成)
画像形成部220は、ステップS8で収集されたデータに基づいて、ラスタースキャンを構成する複数の走査線に沿う複数の断面像(Bスキャン像)を形成する。さらに、データ処理部230は、画像形成部220により形成された複数の断面像に基づいて3次元画像を形成する。
(S10:3次元画像の表示)
データ処理部230は、ステップS9で形成された3次元画像をレンダリングする。表示制御部2112は、このレンダリングにより形成された画像データに基づく画像(3次元画像)を表示する。なお、MPR処理等により形成された断面像を表示させることもできる。
(その他の動作例)
本実施形態により実行可能な他の動作例を説明する。
前述したスキャン位置の変更は、たとえば次のようにして実行することができる。スキャン位置の変更は、手動または自動で行われる。手動操作の場合、ユーザは、観察画像H上の所望の位置をタッチする。或いは、ユーザは、操作部242を用いて所望の位置をタッチし、または、操作部242を用いて第1および第2走査線画像L1およびL2をドラッグする。一方、自動制御の場合、条件制御部2111(またはデータ処理部230)は、観察画像Hを解析して特定部位(黄斑、中心窩、視神経乳頭、血管、病変部なと)の位置を特定し、この特定部位を通過するようにスキャン位置を設定する。このとき、たとえば、第1および第2走査線L1およびL2の交差位置を上記解析により特定部位に一致させるように、スキャン値が設定される。
スキャン位置の変更には、平行移動および回転移動の少なくとも一方が含まれる。このような移動において、第1走査線L1と第2走査線L2との相対位置は維持される。たとえば、図4Aに示すスキャンパターンが適用される場合、平行移動および/または回転移動の前後において、第1走査線L1(第1走査線画像L1)および第2走査線L2(第2走査線画像L2)は、互いの中央位置において直交する。
このようなスキャン位置の移動制御は、条件制御部2111が、スキャン位置の変更内容(移動方向および移動量)に応じて第1走査線L1と第2走査線L2とを同じ方向に同じ量(同じ距離)だけ移動させるように、光スキャナ42を制御するための設定を変更することにより実行される。
第1動画像G1および第2動画像G2の一方または双方に対し、OCTの条件の変更入力を行えるように構成されていてよい。OCTの条件の例として、前述した合焦位置の変更(たとえばマーカ304を用いる制御)がある。
他の例として、測定光LSの光路長および/または参照光LRの光路長がある。測定光LSの光路長の変更は、光路長変更部41を制御することにより行われる。参照光LRの光路長の変更は、コーナーキューブ114(参照駆動部114A)を制御することにより行われる。測定光LSおよび/または参照光LRの光路長が変更されると、測定光LSと参照光LRとの間の光路長差が変化し、その結果、第1動画像L1および第2動画像G2のフレームにおける眼底組織の描出位置がz方向に移動する。このような描出位置の変更入力は、たとえば、動画像上の所望の位置をタッチすることにより、またはマーカ304と同様のマーカを用いることにより行われる。或いは、条件制御部2111(またはデータ処理部230)が、眼底Efの特定部位(眼底表面、所定の層組織など)を特定し、この特定部位をフレームの所定のz位置に配置させるように制御を行うように構成することも可能である。なお、OCTの条件は以上に例示したものには限定されない。
上記の例では、2つの走査線(L1およびL2)に沿う2つの動画像(G1およびG2)がリアルタイムで表示される。しかし、3つ以上の走査線に沿う3つ以上の動画像を取得するように構成することも可能である。この場合、並行して取得される全ての動画像を並べて表示させることもできるが、表示スペースを考慮して一部の動画像を選択的に表示させるように構成することが可能である。この場合、3つ以上の走査線が巡回的にスキャンされる。さらに、表示制御部2112は、3つ以上の走査線により逐次に取得されるデータに基づく3つ以上の動画像のうちの2以上の動画像を並べて表示させる。
ユーザは、表示させる動画像を選択することができる。この選択操作は、たとえば、観察画像上に表示された3つ以上の走査線画像のうち所望のものを指定することにより実行される。また、いくつかの動画像が選択されたことに対応し、この動画像にあらかじめ対応付けられた他の動画像を自動で選択し、これら動画像を並べて表示させるように構成することができる。対応する動画像は、たとえば、先に選択された動画像の走査線に直交する走査線における動画像である。
[作用・効果]
この実施形態に係る眼科撮影装置のいくつかの作用および効果について説明する。
実施形態の眼科撮影装置は、OCTを用いて被検眼を走査することにより断面像を取得する。さらに、眼科撮影装置は、データ取得部と、特定部と、表示制御部とを含む。
データ取得部は、被検眼における第1走査線(L1)に沿う第1走査と、第1走査線(L1)と向きが異なる第2走査線(L2)に沿う第2走査とを実行してデータを取得する。データ取得部は、OCT用の光学系を含む。上記実施形態において、OCT用の光学系は、OCTユニット100に含まれる光学系と、眼底カメラユニット2のうち測定光LSの経路に配置された光学系とを含む。さらに、データ取得部は、OCT用の光学系により取得されたデータを処理する構成要素を含んでいてよい。上記実施形態において、この構成要素は、少なくとも画像形成部200を含む。
特定部は、第1走査により取得されたデータに基づく断面像(第1動画像G1またはそのフレーム)を解析して被検眼の注目部位の画像領域を特定する。さらに、特定部は、第2走査により取得されたデータに基づく断面像(第2動画像G2またはそのフレーム)を解析して注目部位の画像領域を特定する。上記実施形態において、特定部は、注目領域特定部231を含む。
表示制御部(2112)は、特定部により特定された画像領域の当該断面像における位置に基づいて表示手段に情報を表示させる。上記実施形態において、この情報表示の制御は、図6のステップS5に相当する。
表示手段は、眼科撮影装置に設けられていてもよいし(表示部241)、眼科撮影装置に接続された表示デバイスであってもよい。
このような実施形態によれば、向きが異なる複数の断面を表す複数の断面像における注目領域の描出位置に基づいて情報を表示することができる。したがって、奥行き方向における描出位置のずれしか検出できない特許文献1に開示された技術とは異なり、2次元的または3次元的なずれを検出してユーザに報知することが可能である。
また、特許文献1に開示された技術では、平行な3つの断面像を取得して位置ずれを検出しているので、これら断面に沿う方向(全て同じ方向である)における位置ずれしか高精度で検出することができない。それに対し、本実施形態によれば、向きが異なる複数の断面像を解析するよう構成されているので、複数の方向における位置ずれを高精度で検出することが可能である。
上記実施形態において、データ取得部は、第1走査と第2走査とを交互に実行することができる。さらに、表示制御部は、第1走査により逐次に取得されるデータに基づく第1動画像(G1)と、第2走査により逐次に取得されるデータに基づく第2動画像(G2)とを表示手段に表示させることができる。
このような構成によれば、向きが異なる複数の断面像を同時に観察することが可能である。すなわち、向きが異なる複数の断面が複数の動画像にどのように描出されているかを同時に把握することができる。したがって、OCTによる計測範囲の3次元的なずれを容易に把握することが可能である。よって、実施形態の眼科撮影装置によれば、たとえば、動画像の観察の後に実行されるOCT(たとえば3次元スキャン)による計測範囲を容易に最適化することが可能である。
上記実施形態において、表示制御部は、第1走査線に対応する向きの第1動画像と、第2走査線に対応する向きの第2動画像とを並べて表示させることが可能である。
このような構成によれば、走査線の向きに対応する向きで動画像を表示させることにより、複数の走査線と複数の動画像との対応関係を容易に把握できるとともに、動画像に描出されている組織断面がどのような向きであるかを容易に認識することが可能である。
上記実施形態において、データ取得部によるデータの取得と、表示制御部による動画像の表示とを並行して実行することができる。それにより、第1走査線に沿う断面を表す第1動画像と、第2走査線に沿う断面を表す第2動画像とをリアルタイムで観察することが可能である。
上記実施形態において、表示制御部は、特定部により特定された注目領域が当該断面像の縁部にかかる断面像を、他の断面像(注目領域が縁部にかからない断面像)と異なる態様で表示させることが可能である。特に、表示制御部は、特定部により特定された注目領域が当該断面像の上縁および下縁の少なくとも一方にかかる断面像を、他の断面像と異なる態様で表示させることが可能である。その具体例は、図6のステップS5に示されている。
このような構成によれば、ユーザは、注目領域が適切に描出されている断面像と、適切に表示されていない断面像とを容易に判別することができる。それにより、ユーザは、注目領域が適切に計測されている方向と、適切に計測されていない方向とを容易に把握することが可能である。
上記実施形態において、第1走査線および第2走査線は、被検眼の3次元の計測範囲において設定されてよい。さらに、表示制御部は、この3次元の計測範囲の全体のOCTを行う前に、特定部による特定結果に基づく情報の表示を行うことができる。その具体例として、上記実施形態では、3次元スキャンの計測範囲内に十字型のスキャンパターンを設定し(ステップS1およびS2)、この十字型のスキャンパターンでライブスキャンを実行し(ステップS2)、このライブスキャンで得られたデータに基づいて計測範囲を調整し(ステップS3〜S6)、3次元スキャンを実行している(ステップS8)。
このような構成によれば、向きが異なる複数の断面像を用いて計測範囲の調整を行った後に、3次元スキャンを実行することが可能である。したがって、被検眼の注目部位の3次元スキャンを適切に行うことができる。
第1走査線および第2走査線を含むスキャンパターンは任意に設定可能である。たとえば次のような態様のスキャンパターンを適用可能である。第1の態様として、第1走査線(L1)と第2走査線(L2)とが交差しているスキャンパターンを適用することができる(たとえば図4A、図4B、図4D、図4Eを参照)。第1の態様において、第1走査線(L1)と第2走査線(L2)は互いの中央位置で交差していてよい(たとえば図4A、図4Eを参照)。第2の態様として、第1走査線(L1)および第2走査線(L2)のそれぞれは線分状であり、第1走査線(L1)と第2走査線(L2)とが互いに垂直であってよい(たとえば図4A、図4B、図4C、図4Eを参照)。
計測対象に応じてスキャンパターンを設定することができる。たとえば、計測モードや解析モードや固視位置などの条件と、スキャンパターンとをあらかじめ関連付けておき、設定された条件に対応するスキャンパターンを選択的に適用することが可能である。また、スキャンパターンのサイズを任意に変更可能に構成してもよい。
実施形態の眼科撮影装置は、被検眼を撮影して正面画像を取得する撮影部を備えていてよい。上記実施形態において、撮影部は、眼底カメラユニット2に格納された眼底撮影用の光学系を含み、特に、観察画像(赤外動画像)を取得するための光学系を含む。表示制御部(2112)は、撮影部により取得された正面画像(H)を第1動画像(G1)および第2動画像(G2)と並べて表示させる。さらに、表示制御部(2112)は、第1走査線(L1)を表す第1走査線画像(L1)と、第2走査線(L2)を表す第2走査線画像(L2)とを正面画像(H)とともに表示させる。
このような構成によれば、第1走査線および第2走査線が被検眼のどの部位に設定されているか容易に把握することができる。つまり、被検眼のどの部位をスキャンするか容易に把握することができる。さらに、このような情報を第1動画像および第2動画像に並べて表示させることで、被検眼のどの部位が実際にスキャンされているか把握しつつ、そのスキャンにより得られる複数の動画像を観察することが可能である。
実施形態において、表示制御部(2112)は、第1走査線(L1)と第1動画像(G1)との対応を表す第1対応情報と、第2走査線(L2)と第2動画像(G2)との対応を表す第2対応情報とを表示させることができる。第1対応情報および第2対応情報の例として表示色がある。たとえば、第1対応情報として、第1走査線画像(L1)と第1動画像(G1)の枠とを第1色で表示させ、且つ、第2対応情報として第2走査線画像(L2)と第2動画像(G2)の枠とを第1色と異なる第2色で表示させることができる。
このような構成によれば、2つ(以上)の走査線と2つ(以上)の動画像との対応関係を容易に認識することが可能である。特に、表示色を用いて走査線と動画像とを対応付けることで、それらの対応関係を直感的に把握することができる。
以上に説明した構成は、この発明を好適に実施するための一例に過ぎない。よって、この発明の要旨の範囲内における任意の変形(省略、置換、付加等)を適宜に施すことが可能である。適用される構成は、たとえば目的に応じて選択される。また、適用される構成に応じ、当業者にとって自明の作用効果や、本明細書において説明された作用効果が得られる。
1 眼科撮影装置
2 眼底カメラユニット
100 OCTユニット
200 演算制御ユニット
210 制御部
211 主制御部
2111 条件制御部
2112 表示制御部
220 画像形成部
230 データ処理部
231 注目領域特定部
232 位置判定部
240 ユーザインターフェイス
241 表示部
242 操作部
E 被検眼

Claims (9)

  1. 光コヒーレンストモグラフィを用いて被検眼を走査することにより断面像を取得する眼科撮影装置であって、
    前記被検眼における第1走査線に沿う第1走査と、前記第1走査線と向きが異なる第2走査線に沿う第2走査とを実行してデータを取得するデータ取得部と、
    前記第1走査により取得されたデータに基づく断面像を解析して前記被検眼の注目部位の画像領域を特定し、前記第2走査により取得されたデータに基づく断面像を解析して前記注目部位の画像領域を特定する特定部と、
    前記特定部により特定された前記画像領域の当該断面像における位置に基づいて表示手段に情報を表示させる表示制御部と
    を備える眼科撮影装置。
  2. 前記データ取得部は、前記第1走査と前記第2走査とを交互に実行し、
    前記表示制御部は、前記第1走査により逐次に取得されるデータに基づく第1動画像と、前記第2走査により逐次に取得されるデータに基づく第2動画像とを前記表示手段に表示させる
    ことを特徴とする請求項1に記載の眼科撮影装置。
  3. 前記表示制御部は、前記第1走査線に対応する向きの前記第1動画像と、前記第2走査線に対応する向きの前記第2動画像とを並べて表示させることを特徴とする請求項2に記載の眼科撮影装置。
  4. 前記表示制御部は、前記特定部により特定された前記画像領域が当該断面像の縁部にかかる断面像を他の断面像と異なる態様で表示させることを特徴とする請求項1〜請求項3のいずれか一項に記載の眼科撮影装置。
  5. 前記表示制御部は、前記画像領域が当該断面像の上縁および下縁の少なくとも一方にかかる断面像を他の断面像と異なる態様で表示させることを特徴とする請求項4に記載の眼科撮影装置。
  6. 前記第1走査線および前記第2走査線は、前記被検眼の3次元の計測範囲において設定され、
    前記表示制御部は、前記3次元の計測範囲の全体の光コヒーレンストモグラフィを行う前に、前記特定部による特定結果に基づく情報の表示を行う
    ことを特徴とする請求項1〜請求項5のいずれか一項に記載の眼科撮影装置。
  7. 前記第1走査線と前記第2走査線とが交差していることを特徴とする請求項1〜請求項6のいずれか一項に記載の眼科撮影装置。
  8. 前記第1走査線と前記第2走査線とが互いの中央位置で交差していることを特徴とする請求項7に記載の眼科撮影装置。
  9. 前記第1走査線および前記第2走査線のそれぞれは線分状であり、前記第1走査線と前記第2走査線とが互いに垂直であることを特徴とする請求項1〜請求項8のいずれか一項に記載の眼科撮影装置。
JP2015015651A 2015-01-29 2015-01-29 眼科撮影装置 Active JP6585897B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015015651A JP6585897B2 (ja) 2015-01-29 2015-01-29 眼科撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015015651A JP6585897B2 (ja) 2015-01-29 2015-01-29 眼科撮影装置

Publications (2)

Publication Number Publication Date
JP2016140360A true JP2016140360A (ja) 2016-08-08
JP6585897B2 JP6585897B2 (ja) 2019-10-02

Family

ID=56568015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015015651A Active JP6585897B2 (ja) 2015-01-29 2015-01-29 眼科撮影装置

Country Status (1)

Country Link
JP (1) JP6585897B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110916611A (zh) * 2018-09-18 2020-03-27 株式会社拓普康 眼科装置及其控制方法、程序和存储介质
CN111163684A (zh) * 2017-08-14 2020-05-15 奥普托斯股份有限公司 眼科设备
JP2021183280A (ja) * 2017-02-28 2021-12-02 キヤノン株式会社 撮像装置、撮像装置の作動方法およびプログラム
US11291367B2 (en) * 2017-04-28 2022-04-05 Nikon Corporation Ophthalmic imaging optical system, ophthalmic imaging apparatus, optometric image acquisition method, and optometric imaging system
JP2022087264A (ja) * 2018-03-14 2022-06-09 株式会社トプコン 眼科システム、眼科情報処理装置、プログラム、及び記録媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023111014A1 (en) * 2021-12-15 2023-06-22 Carl Zeiss Meditec, Inc. System and method for assisting a subject with alignment to an ophthalmologic device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011092290A (ja) * 2009-10-27 2011-05-12 Topcon Corp 眼科観察装置
JP2011212203A (ja) * 2010-03-31 2011-10-27 Canon Inc 撮像装置及び撮像方法
JP5543536B2 (ja) * 2012-07-13 2014-07-09 キヤノン株式会社 断層像撮像装置および断層撮像方法、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011092290A (ja) * 2009-10-27 2011-05-12 Topcon Corp 眼科観察装置
JP2011212203A (ja) * 2010-03-31 2011-10-27 Canon Inc 撮像装置及び撮像方法
JP5543536B2 (ja) * 2012-07-13 2014-07-09 キヤノン株式会社 断層像撮像装置および断層撮像方法、プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021183280A (ja) * 2017-02-28 2021-12-02 キヤノン株式会社 撮像装置、撮像装置の作動方法およびプログラム
US11291367B2 (en) * 2017-04-28 2022-04-05 Nikon Corporation Ophthalmic imaging optical system, ophthalmic imaging apparatus, optometric image acquisition method, and optometric imaging system
CN111163684A (zh) * 2017-08-14 2020-05-15 奥普托斯股份有限公司 眼科设备
JP2020530368A (ja) * 2017-08-14 2020-10-22 オプトス ピーエルシー 眼科装置
US11617509B2 (en) 2017-08-14 2023-04-04 Optos Plc Ophthalmic device
JP7395803B2 (ja) 2017-08-14 2023-12-12 オプトス ピーエルシー 眼科装置
JP2022087264A (ja) * 2018-03-14 2022-06-09 株式会社トプコン 眼科システム、眼科情報処理装置、プログラム、及び記録媒体
JP7237219B2 (ja) 2018-03-14 2023-03-10 株式会社トプコン 眼科システム、眼科情報処理装置、プログラム、及び記録媒体
CN110916611A (zh) * 2018-09-18 2020-03-27 株式会社拓普康 眼科装置及其控制方法、程序和存储介质
CN110916611B (zh) * 2018-09-18 2022-07-19 株式会社拓普康 眼科装置及其控制方法、程序和存储介质

Also Published As

Publication number Publication date
JP6585897B2 (ja) 2019-10-02

Similar Documents

Publication Publication Date Title
JP6560423B2 (ja) 眼科装置
JP6321430B2 (ja) 眼科装置
JP6112846B2 (ja) 眼科装置
JP6412707B2 (ja) 眼科装置
JP6585897B2 (ja) 眼科撮影装置
JP6899632B2 (ja) 眼科撮影装置
JP2016041221A (ja) 眼科撮影装置およびその制御方法
JP6619202B2 (ja) 眼科撮影装置
WO2017149928A1 (ja) 眼科撮影装置
JP2023076659A (ja) 眼科装置
WO2016084419A1 (ja) 眼科撮影装置
WO2018135175A1 (ja) 眼科装置
JP2023080218A (ja) 眼科装置
JP6452977B2 (ja) 眼科撮影装置及びその制御方法
JP6619203B2 (ja) 眼科撮影装置
JP6942627B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP2016101298A (ja) 眼科撮影装置
JP2018158153A (ja) 眼科撮影装置
JP6761519B2 (ja) 眼科撮影装置
JP2019177181A (ja) 眼科撮影装置
JP6954831B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
WO2016039188A1 (ja) 眼底解析装置及び眼底観察装置
JP6959158B2 (ja) 眼科装置
JP2019171168A (ja) 眼科撮影装置
JP5718154B2 (ja) 干渉光計測装置

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20150210

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20161226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190906

R150 Certificate of patent or registration of utility model

Ref document number: 6585897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250