JP2019103732A - 眼科装置、制御方法及びプログラム - Google Patents
眼科装置、制御方法及びプログラム Download PDFInfo
- Publication number
- JP2019103732A JP2019103732A JP2017239565A JP2017239565A JP2019103732A JP 2019103732 A JP2019103732 A JP 2019103732A JP 2017239565 A JP2017239565 A JP 2017239565A JP 2017239565 A JP2017239565 A JP 2017239565A JP 2019103732 A JP2019103732 A JP 2019103732A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- octa
- frame
- fundus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
【課題】モーションコントラストの動画像を適切に表示することを目的とする。【解決手段】眼科装置であって、被検眼の眼底の撮像画像のモーションコントラストの第1の動画像と、第1の動画像を構成するフレームと画質が異なるフレームで構成された第2の動画像と、を生成する生成手段と、第1の動画像及び第2の動画像のうち少なくとも一方を表示手段に表示させる表示制御手段とを有する。【選択図】図13
Description
本発明は、被検眼の眼底の撮像画像を処理する眼科装置、制御方法及びプログラムに関する。
従来、被検眼の断層画像を撮影する眼科装置として、光干渉断層撮像装置(Optical Coherence Tomography、以下OCTと記す)がある。近年では、OCT技術を利用し、造影剤を必要としない血管造影法が提案されており、OCT Angiography(以下、OCTAと記す)と呼ばれている。OCTAは、時間の異なる同一位置の複数のOCT信号からモーションコントラストの2次元画像である。OCTAにおいて、移動物体の分布等を観察することができる。特許文献1には、別の位置のOCT信号取得中に、前の位置で取得した信号のモーションコントラスト画像生成の信号処理を行い、モーションコントラストの画像を迅速に取得する装置が開示されている。
上述のように、モーションコントラストの静止画の表示に関する技術は知られているが、モーションコントラストの動画像の表示においても、適切に表示することが望まれている。
本発明はこのような問題点に鑑みなされたもので、モーションコントラストの動画像を適切に表示することを目的とする。
そこで、本発明は、眼科装置であって、被検眼の眼底の撮像画像のモーションコントラストの第1の動画像と、前記第1の動画像を構成するフレームと画質が異なるフレームで構成された第2の動画像と、を生成する生成手段と、前記第1の動画像及び前記第2の動画像のうち少なくとも一方を表示手段に表示させる表示制御手段とを有することを特徴とする。
本発明によれば、モーションコントラストの動画像を適切に表示することができる。
以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、第1の実施形態に係る眼科撮像システムを示す図である。眼科撮像システム100は、撮像光学系を有する撮像装置110と、制御装置120と、表示装置130と、を有している。制御装置120は、眼科装置の一例である。撮像装置110は、被検眼を撮像することで被検眼の情報を取得する。制御装置120は、撮像装置110及び表示装置130に通信可能に接続され、これらを制御する。制御装置120は、撮像装置110で取得された被検眼の撮像信号から画像の生成と保存を行い、保存された画像を表示装置130に表示させる。表示装置130は、制御装置120に接続され、制御装置120から送られる各種画像や被検者の情報等を表示することができる。表示装置130はさらに操作者からの操作入力情報を取得し、制御装置120へ送る。制御装置120は、任意の汎用コンピュータである。また、制御装置120は、眼科装置に専用のコンピュータでもよい。表示装置130は、任意のディスプレイである。本実施形態では、撮像装置110、制御装置120、及び表示装置130は別個に構成されているが、これらは一体的に構成されてもよい。
(第1の実施形態)
図1は、第1の実施形態に係る眼科撮像システムを示す図である。眼科撮像システム100は、撮像光学系を有する撮像装置110と、制御装置120と、表示装置130と、を有している。制御装置120は、眼科装置の一例である。撮像装置110は、被検眼を撮像することで被検眼の情報を取得する。制御装置120は、撮像装置110及び表示装置130に通信可能に接続され、これらを制御する。制御装置120は、撮像装置110で取得された被検眼の撮像信号から画像の生成と保存を行い、保存された画像を表示装置130に表示させる。表示装置130は、制御装置120に接続され、制御装置120から送られる各種画像や被検者の情報等を表示することができる。表示装置130はさらに操作者からの操作入力情報を取得し、制御装置120へ送る。制御装置120は、任意の汎用コンピュータである。また、制御装置120は、眼科装置に専用のコンピュータでもよい。表示装置130は、任意のディスプレイである。本実施形態では、撮像装置110、制御装置120、及び表示装置130は別個に構成されているが、これらは一体的に構成されてもよい。
図2は、撮像装置110の光学構成の模式図である。被検眼Erに対向して対物レンズ211が設置され、その光軸上に第1ダイクロイックミラー212及び第2ダイクロイックミラー213が配置されている。これらのダイクロイックミラーによって、波長帯域毎にOCT光学系の光路L1、被検眼Erの固視を促す為の固視灯用と眼底表面画像を撮像するためのSLO光学系の光路L2と前眼部観察用の光路L3とに、光路が分岐される。
SLO光学系と固視灯用の光路L2はSLOXYスキャナ214、レンズ215,216、ミラー217、第3ダイクロイックミラー218、SLOフォトダイオード220、SLO光源221、固視灯219を有している。ミラー217は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、SLO光源221による照明光と、被検眼からの戻り光とを分離する。第3ダイクロイックミラー218は、SLO光源221及び固視灯219への光路へと波長帯域毎に分離する。SLOXYスキャナ214は、SLO光源221と固視灯219から発せられた光を被検眼Er上で走査するものであり、X方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施形態では、Xスキャナは高速走査を行う必要があるためポリゴンミラーによって、Yスキャナはガルバノミラーによって構成されている。
レンズ215は、SLO光学系及び固視灯の焦点合わせのため、不図示のモータによって駆動される。SLO光源221は、780nm付近の波長の光を発生する。SLOフォトダイオード220は、被検眼からの戻り光を検出する。固視灯219は可視光を発生して被検者の固視を促すものである。SLO光源221から発せられた光は、第3ダイクロイックミラー218で反射され、ミラー217を通過し、レンズ215,216を通り、SLOXYスキャナ214によって、被検眼Erの眼底上で走査される。被検眼Erからの戻り光は、投影光と同じ経路を戻った後、ミラー217によって反射され、SLOフォトダイオード220へと導かれる。固視灯219は、第3ダイクロイックミラー218、ミラー217を透過し、レンズ215,216を通り、SLOXYスキャナ214によって、被検眼Erの眼底上で走査される。このとき、SLO走査手段の動きに合わせて固視灯219を点滅させることによって、被検眼Erの眼底上の任意の位置に任意の形状の指標が投影でき、被検者の固視を促す。
前眼部観察用の光路L3上には、レンズ222、スプリットプリズム223、レンズ224、及び前眼部観察用のCCD225が配置されている。スプリットプリズム223は、被検眼Erの瞳孔と共役な位置に配置されており、被検眼Erと撮像装置110のZ方向(前後方向)の距離が、前眼部のスプリット像として検出されることができる。
CCD225は、不図示の前眼部観察用光源の波長、具体的には970nm付近に感度を持つものである。CCD225は、検出した光に基づく出力信号を制御装置120に送る。制御装置120は、CCD225から受け取った信号に基づいて、被検眼Erの前眼部画像を生成することができる。
被検眼Erの画像データを撮像する為のOCT光学系の光路L1上には、XYスキャナ226、フォーカスレンズ227,228が配置されている。OCT走査手段としてのXYスキャナ226は、OCT光源229からの光を被検眼Erの眼底上で走査するためのものである。XYスキャナ226は、1枚のミラーとして図示してあるが、XY2軸方向の走査を行う2枚のガルバノミラーである。本実施形態では、該XYスキャナ226は測定光を被検査物上で走査する走査手段に対応する。
レンズ227は、ファイバー230から出射するOCT光源229からの光を、被検眼Erの眼底に焦点合わせするためのものであり、不図示のモータによって駆動される。この焦点合わせによって、被検眼Erからの戻り光は同時にファイバー230の先端に、スポット状に結像されて入射されることとなる。
更に、OCT光学系は、光カプラー234、OCT光源229、光ファイバー230、231,232,233、レンズ235、分散補償用ガラス236、参照ミラー237、及び分光器238を有している。光ファイバー231を介してOCT光源229から出射された光は、測定光と参照光に光カプラー234にて分割される。測定光は光ファイバー230から射出され、OCT光学系の光路L1から対物レンズ211までの光学部材を通じて被検眼Erに向けて導かれる。この被検眼Erに向けて出射された測定光は被検眼Erにて反射散乱し、同じ光路を通じて再び光カプラー234に達する。一方、参照光は、光ファイバー232を通じて、レンズ235及び分散補償用ガラス236を介して参照ミラー237に向けて出射される。参照ミラー237から反射した参照光は、同じ光路を通じて再び光カプラー234に達する。
このようにして光カプラー234に達した測定光と参照光とは合波され干渉光となる。ここで、測定光の光路長と参照光の光路長とがほぼ同一となったときに干渉を生じる。参照ミラー237は、不図示のモータ及び駆動機構によって光軸方向に位置の調整可能に保持され、被検眼Erによって変わる測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー233を介して分光器238に導かれる。
分光器238は、レンズ239,241、回折格子240、及びラインセンサー242から構成される。光ファイバー233から出射された干渉光はレンズ239を介して平行光となった後、回折格子240で分光され、レンズ241によってラインセンサー242上に結像される。ラインセンサー242は受光データを制御装置120へ送信する。
撮像装置110は、被験者に対して左右の位置情報を検知するため、不図示の左右位置検知も備えている。左右位置検知により、対物レンズ211が被験者の左眼か右眼かの前にいるかが検知できる。本実施形態では、スイッチによる検知を構成する。スイッチが切っているときに右眼の前に対物レンズ211がいると判断する。スイッチが切っていない時に、左眼の前に対物レンズ211がいると判断する。スイッチの切り替え位置は、移動範囲の真ん中にある。なお、スイッチによる左右位置検知に限ることなく、例えば、磁石をリードリレーや、フォトインタラプタとスリットなど、その他の構成でもよい。制御装置120は、左右位置検知の情報を取得する。
本実施形態では干渉系としてマイケルソン干渉系を用いたが、マッハツェンダー干渉系を用いてもよい。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉系を、光量差が比較的小さい場合にはマイケルソン干渉系を用いることが望ましい。また、撮像装置110の構成は、実施形態に限定されるものではない。本実施形態の制御装置120は、フーリエドメイン方式(FD:Fourier Domain)のOCT装置のうち、スペクトラルドメイン方式(SD:Spectral Domain)のOCT装置である。ただし、撮像装置110は、他の方式のOCT装置でもよい。制御装置120は、特に、波長掃引光源を用いたスウェプトソース方式(SS:Swept Source)のOCT装置であってもよい。また、撮像装置110は、眼底表面画像を撮像するためにSLO光学系を用いるものとするが、これに限定されるものではない。他の例としては、撮像装置110は、CCDカメラを用いてもよい。また、撮像装置110は、固視灯を被検眼に投影するために走査型にかえて、2DのLCDパネルを用いてもよい。
次に、制御装置120について説明する。図3は、制御装置120のハードウェア構成図である。制御装置120は、CPU301と、ROM302と、RAM303と、HDD304と、操作部305と、通信部306とを有している。CPU301は、ROM302に記憶された制御プログラムを読み出して各種処理を実行する。RAM303は、CPU301の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD304は、各種データや各種プログラム等を記憶する。操作部305は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部306は、ネットワークを介して撮像装置110等の外部装置との通信処理を行う。
なお、後述する制御装置120の機能や処理は、CPU301がROM302又はHDD304に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、CPU301は、ROM302等に替えて、SDカード等の記録媒体に格納されているプログラムを読み出してもよい。また、他の例としては、制御装置120の機能や処理の少なくとも一部は、例えば複数のCPU、RAM、ROM、及びストレージを協働させることにより実現してもよい。また、他の例としては、制御装置120の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。
図4は、制御装置120の機能構成図である。制御装置120は、信号処理部401、画像記憶部402、撮影制御部403、画像処理部404、GUI制御部405、眼底追尾部406及びOCTA生成部407を有している。撮影制御部403は、制御装置120の各種構成要素を制御し、各種画像信号を取得する。撮影制御部403は、被検眼の断層画像信号を取得するために、XYスキャナ226に走査制御信号を送り、測定光にて被検眼Erの眼底上をX方向、Y方向に走査するよう制御する。さらに、撮影制御部403は、フォーカスレンズ227及び参照ミラー237の位置制御も行う。撮影制御部403は、被検眼の眼底観察画像(SLO画像)を取得するために、撮影制御部403は、SLOXYスキャナ214に走査制御信号を送り、SLO測定光にて被検眼Erの眼底上をX方向、Y方向に走査するよう制御する。さらに、撮影制御部403は、フォーカスレンズ215の位置制御も行う。撮影制御部403は、固視灯219の点灯制御も行う。撮影制御部403は、撮像装置110のSLOフォトダイオード220、前眼部観察用CCD225、及び干渉信号撮影用のラインセンサー242からの各種出力信号を取得する。撮影制御部403は、撮像装置110内の左右位置検知の情報を取得する。
信号処理部401は、撮影制御部403が取得した撮影信号の処理を行い、前眼部観察画像や、眼底観察画像(SLO画像)、干渉信号から断層像を再構成する。信号処理部401は、撮影制御部403が取得した、SLOXYスキャナ214を用いて被検眼Erの眼底をX方向及びY方向に走査した際にSLOフォトダイオード220から出力された信号に基づいて、眼底正面画像(SLO画像)を生成する。同様に、信号処理部401は、撮影制御部403が取得した、CCD225からの信号に基づいて被検眼Eの前眼部画像を生成する。信号処理部401は、撮像装置110のXYスキャナ226で測定光の走査を行った際の走査位置及び時間を、撮像装置110又は撮影制御部403から取得する。
次に、眼底正面画像を生成する方法について説明する。本実施形態では、眼底正面画像としてSLO画像を用いる。撮影制御部403は、SLO光源221を点灯し、さらにSLOXYスキャナ214に走査制御信号を送り、被検眼Erの眼底をX方向、Y方向にSLO測定光を走査するよう制御する。さらに、撮影制御部403は、フォーカスレンズ215の位置制御もする。信号処理部401は、SLOフォトダイオード220から得られる信号情報を走査信号に基づいて得られた輝度値を並べて、XY方向の眼底正面画像を生成する。ここでは、眼底を走査するSLO走査光学系を制御しながらインタレース方式を用いた眼底正面画像を用いる。
次に、断層画像の生成する方法について説明する。信号処理部401は、撮影制御部403が取得した、ラインセンサー242からの干渉信号をフーリエ変換し、得られるデータを輝度又は濃度情報に変換することによって被検眼の深さ方向(Z方向)の画像を生成する。これにより、信号処理部401は、被検眼Eの眼底Erのある一点における深さ方向(Z方向)の断層画像を取得する。このようなスキャン方式をAスキャンと呼び、得られる断層画像をAスキャン画像と呼ぶ。
XYスキャナ226によって測定光を眼底Erの所定の横断方向に走査しながら、このようなAスキャンを繰り返し行うことにより、複数のAスキャン画像を取得することができる。例えば、制御装置120は、測定光をX方向に走査すればXZ面における断層画像が得られ、Y方向に走査すればYZ面における断層画像が得られる。このように被検眼Eの眼底Erを所定の横断方向に走査する方式をBスキャンと呼び、得られる断層画像をBスキャン画像と呼ぶ。また、BスキャンのXZ面或いはYZ面に対し、それに直行する方向に走査する方式をCスキャンと呼び、得られるXYZの3次元の断層画像をCスキャン画像と呼ぶ。
画像処理部404は、信号処理部401が再構成した前眼部観察画像や、眼底観察画像、断層像の各種画像処理を行う。画像処理部404は、信号処理部401が再構成した画像、または画像記憶部402に記憶されている画像に対して、主に画像解析処理、セグメンテーション処理、位置合わせ処理、平均画像作成処理、正面(Enface)画像生成処理等を行う。
画像処理部404は、信号処理部401から、干渉信号に基づいて生成されたフーリエ変換後の信号やこれに何らかの信号処理を施した信号等の処理をすることもできる。以下、断層画像における各画素位置に対応する上記フーリエ変換後の信号やこれに何らかの信号処理を施した信号を断層データと称する。断層データには、例えば、フーリエ変換後に得られたデータを輝度や濃度情報に変換した後のデータ等も含まれる。画像処理部404が行う画像解析として、画像ノイズまたはコントラスト不足などの画像評価が挙げられる。
画像処理部404はさらに、被検眼の網膜の断層像から、網膜を構成する各層や、部位、領域の認識を行う。画像処理部404は、網膜の断層像から層構造をセグメンテーションする。本実施形態では6層を検出することが可能である。すなわち、画像処理部404が行う処理は断層像データから層を検出する工程の一例に相当する。なお、検出する層の数は6層に限定されるものではない。ここで、6層の内訳は、以下の通りである。
(1)神経線維層(NFL)
(2)神経節細胞層(GCL)+内網状層(IPL)を合わせた層
(3)内顆粒層(INL)+外網状層(OPL)を合わせた層
(4)外顆粒層(ONL)+外境界膜(ELM)を合わせた層
(5)Ellipsoid Zone(EZ)+Interdigitation Zone(IZ)+網膜色素上皮(RPE)を合わせた層
(6)脈絡膜(Choroid)
(1)神経線維層(NFL)
(2)神経節細胞層(GCL)+内網状層(IPL)を合わせた層
(3)内顆粒層(INL)+外網状層(OPL)を合わせた層
(4)外顆粒層(ONL)+外境界膜(ELM)を合わせた層
(5)Ellipsoid Zone(EZ)+Interdigitation Zone(IZ)+網膜色素上皮(RPE)を合わせた層
(6)脈絡膜(Choroid)
画像処理部404が行う網膜のセグメンテーション処理について以下に説明する。画像処理部404は、処理の対象となる断層像に対して、メディアンフィルタとSobelフィルタをそれぞれ適用して画像を作成する(以下、それぞれメディアン画像、Sobel画像ともいう)。次に、画像処理部404は、作成したメディアン画像とSobel画像から、Aスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Sobel画像では勾配のプロファイルとなる。そして、画像処理部404は、Sobel画像から作成したプロファイル内のピークを検出する。画像処理部404は、検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を抽出する。
なお、本実施形態では、断層像の輝度値に基づいてセグメンテーション処理に行う例を説明したが、例えば網膜の各層の偏光特性に基づいてセグメンテーション処理を行ってもよい。この場合は、網膜断層像から偏光特性情報を抽出し、抽出された情報に基づいてセグメンテーションを行う、またはその他の方法でもよい。画像処理部404は、断層像の層の形状から、網膜の部位の認識も行う。ここでは、部位として、黄斑(中心窩)や、乳頭部を例としてあげられる。画像処理部404は、断層像の層の形状から、異常の抽出も行う。ここでは、異常として白斑やドルーゼン、浮腫等を例としてあげられる。
画像処理部404は、複数の画像の位置合わせ処理を行う。具体的には、まず画像処理部404はm画像のうち、任意の1枚をテンプレートとして選択する。テンプレートとして選択する画像は、互いに全ての組み合わせで相関を計算し、画像別に相関係数の和を求め、その和が最大となる画像とする。次に、画像処理部404は、テンプレートで画像毎に照合し位置ずれ量(δX、δY、δθ)を求める。具体的には、画像処理部404は、テンプレート画像の位置と角度を変えながら類似度を表す指標であるNormalized Cross−Correlation(NCC)を計算し、この値が最大となるときの画像位置の差を位置ずれ量として求める。次に画像処理部404は、位置ずれ量(δX、δY、δθ)に応じて位置補正をテンプレート以外のm−1画像に適用し、m画像の位置合わせを行う。
なお、類似度を表す指標は、テンプレートと画像の特徴の類似性を表す尺度であれば種々変更が可能である。例えば以下に示す指標を用いてもよい。
・Sum of Abusolute Difference(SAD)
・Sum of Squared Difference(SSD)
・Zero−means Normalized Cross−Correlation(ZNCC)
・Phase Only Correlation(POC)
・Rotation Invariant Phase Only Correlation(RIPOC)
・Sum of Abusolute Difference(SAD)
・Sum of Squared Difference(SSD)
・Zero−means Normalized Cross−Correlation(ZNCC)
・Phase Only Correlation(POC)
・Rotation Invariant Phase Only Correlation(RIPOC)
画像処理部404は、複数の画像から平均画像生成を行う。具体的には、まず画像処理部404は、複数の画像の位置合わせを行い、画像から対応する画素毎の加算平均処理を行い、平均化された画像を生成する。画像処理部404は、例えば複数枚のOCT断層像を平均化することで、ノイズを低減し、鮮明なOCT断層像を生成することができる。なお、OCT断層像の平均化に関しては、ノイズ低減を達成できるような平均化であればよく、加算平均(算術平均)の他に、中央値演算や最頻値演算に基づく平均化を行ってもよい。
画像処理部404は、信号処理部401や画像処理部404で生成された3次元のOCT断層像データに対し、深さ方向に積算した正面画像(Enface)画像を生成する。この時、Enface画像の生成にあたり、積算する画像深さ領域は任意に設定してよい。画像処理部404は、例えば、生成された輝度画像の平均化画像を元にセグメンテーション処理によって眼底網膜の層境界を抽出し、所望の層を含むようにEnface画像を生成してもよい。画像処理部404は、OCTA生成部407が生成する3次元OCTA(モーションコントラスト)画像から、同様に正面(Enface)画像の作成も行う。ここで、モーションコントラストとは、被験体組織のうち流れのある組織(例えば血液)と流れのない組織の間の対比と定義する。モーションコントラストを表現する特徴量を単にモーションコントラスト(又はモーションコントラスト特徴量、モーションコントラスト値)と定義する。モーションコントラストについては後述する。
画像記憶部402は、信号処理部401が再構成した前眼部観察画像、眼底観察画像、断層像を記憶する。さらに、画像記憶部402は、画像処理部404が生成したモーションコントラスト画像など、各種の画像処理結果を記憶する。画像記憶部402は、撮影制御部403で取得した各種情報や信号処理部401によって生成されたSLO画像、前眼部画像、2次元又は3次元の断層データ(断層画像を含む)を記憶する。画像記憶部402はまた、被検眼の撮影に使われた撮影パラメータ等を記憶する。さらに、画像記憶部402は、制御装置120の各構成要素を構成するプログラム等を記憶する。
GUI制御部405は、表示装置130と接続され、画像記憶部402に保存されている前眼部観察画像や、眼底観察画像、断層像、モーションコントラスト画像を表示装置130へ送る。GUI制御部405は、表示装置130から、操作者の指示(入力信号)の取得を行う。GUI制御部405は、画像記憶部402に記憶された前眼部画像、SLO画像、断層データ、モーションコントラスト画像、及び被検者の情報等を表示装置130に表示させる表示制御部として機能する。OCTA生成部407は、モーションコントラスト用の断層像の撮影制御と、断層像の画像処理を行い、モーションコントラスト画像(OCTA画像)の生成を行う。
眼底追尾部406は、撮像装置110が撮影した眼底正面画像から被検眼Erの眼底の運動を解析して、眼底の運動量である変位情報を算出する。眼底追尾部406は、2つの異なる時間に撮影された眼底正面画像1(参照眼底正面画像)と眼底正面画像2(対象眼底正面画像)を用いて、次の処理を行う。すなわち、眼底追尾部406は、眼底正面画像1のROI1(注目領域1)を設定して、ROI1の位置を記録する。ここでは、眼底正面画像1内に、血管など、強いコントラストなどの画像特徴量を含む領域とする。次に、眼底追尾部406は、眼底正面画像2上でROI1と一番高い相関のある領域ROI2を探索する。そして、眼底追尾部406は、ROI1の位置とROI2の位置の相対差分を眼底正面画像が移動した分、つまり変位情報、とする。
図5は、追尾処理の説明図である。図5に示す眼底正面画像(参照眼底正面画像)501と眼底正面画像(対象眼底正面画像)502は、異なる時間に撮られた同じ被検眼の眼底正面画像である。眼底正面画像501のROI503が設定されて、眼底正面画像502上で探索した結果、最も相関の高いROI504が検索されたとする。また、眼底像の座標系でROI503の位置が(x1,y1)、ROI504の位置が(x2,y2)とする。この場合、2つの画像変位(dx,dy)として(x2−x1,y2−y1)が得られる。なお、ここではコントラストや、相関関数を用いた処理を説明したが、その手法に限らず、その他、オプティカルフロー手法のように画像の移動量を算出できる手法であればよい。さらに、平行移動の算出だけに限らず、例えば、眼底正面画像1から2つ以上のROIを設定して、それぞれの移動量の算出結果から眼底の回転量も算出してもよい。
図6は、制御装置120により生成される眼底画像を説明する図である。図6において、600は被検眼Erの眼底正面画像、610は撮像装置110により得られる網膜の断層画像の例を示す。Aスキャンの奥行き方向はZ方向であり、Aスキャンにより得られたデータ配列を620で示している。断層画像610を再構成するため、撮像装置110はXYスキャナ226のガルバノミラーを主走査方向(ここでは水平方向)に移動しながら、制御装置120がAスキャンのデータ255を一本ずつ再構成して1枚の断層画像610を構成する。断層画像610はBスキャン画像と呼ばれ、網膜に対する奥行き方向とそれに直交する方向の2次元の断面である。すなわち、断層画像610は、図6に示すX軸及びZ軸で規定される平面に相当する面内の画像である。また、点線601は断層画像610の眼底での撮影位置を示している。被検眼の眼底正面画像600は、前述した眼底正面画像生成手法により、画像生成部121が生成する。ただし、本実施形態で適用できる眼底正面画像の撮像及び再構成方法は、ここで説明している方法に限らない。例えば、眼底カメラ等その他の方法でもよい。
図7は、制御装置120による、OCTA画像生成処理を示すフローチャートである。OCTAデータの生成処理は、撮像装置110を制御し、光干渉断層信号を取得する処理(S710)と、取得した光断層像信号から断層画像を生成し、断層画像を用いてOCTA正面画像を生成する処理の2つの処理(S720)に大別される。光干渉断層信号取得処理(S710)は、後述のS711〜S716の処理を含み、OCTA正面画像生成処理(S720)は、後述のS721〜S726の処理を含む。以下、各処理について説明する。OCTアンギオグラフィーでは血流によるOCT干渉信号の時間変化を計測するため、同じ場所(または略同じ場所)で複数回の計測が必要となる。本実施形態では、撮像装置110は同じ場所でのBスキャンをm回繰り返しつつ、n箇所のyポジションに移動するスキャンを行う。本実施形態では、同一位置で繰り返して撮影されたBスキャンデータをOCTクラスタと称する。
S711において撮影制御部403は、撮像装置110に対して指示するOCTA画像の撮影条件を設定する。本実施形態においては個々のOCTA撮影に関する撮影条件としては、以下に示すa〜fが挙げられる。
a. OCTA Bスキャン数(Ymax)
b. OCTA Bスキャン中のOCTA Aスキャン数
c. 主走査方向
d. 走査間隔
e. 走査位置
f. OCTクラスタあたりのOCT Bスキャン数(繰り返しOCT撮影Bスキャン数(m))
ただし、これに限らず、例えば1BスキャンあたりのAスキャン数のように、任意の公知の撮影パラメータを指示してもよい。さらに、撮影制御部403は、GUI制御部405が取得する、操作者の指示による撮影パラメータを用いてもよい。最初の走査位置は、Yn=Y1とする。
a. OCTA Bスキャン数(Ymax)
b. OCTA Bスキャン中のOCTA Aスキャン数
c. 主走査方向
d. 走査間隔
e. 走査位置
f. OCTクラスタあたりのOCT Bスキャン数(繰り返しOCT撮影Bスキャン数(m))
ただし、これに限らず、例えば1BスキャンあたりのAスキャン数のように、任意の公知の撮影パラメータを指示してもよい。さらに、撮影制御部403は、GUI制御部405が取得する、操作者の指示による撮影パラメータを用いてもよい。最初の走査位置は、Yn=Y1とする。
次に、S712において、撮影制御部403は、1OCTクラスタ分のOCT撮影を行うよう制御する。具体的には、撮影制御部403は、撮像装置110を制御して、設定されたm回分、走査位置Ynを繰り返し測定光で走査するよう制御する。OCTAでは同一断面つまり同一位置のBスキャンをm回繰り返し行い、その撮影間における被検体の時間的な変化を検出する。本実施形態においては、m=6とし、同一位置のBスキャンを6回繰り返す。つまり、1OCTクラスタあたりに、6Bスキャンが存在する。なお、Bスキャンを繰り返す数であるmは6に限られず、所望の構成に応じて任意の数に設定されることができる。さらに、本実施形態では、撮影制御部403は、1OCTクラスタ分のOCT撮影を行う際に、バックグラウンド信号も取得する。
次に、S713において、信号処理部401は、1OCTクラスタ分の断層像生成を行う。具体的には、信号処理部401は、撮影制御部403によって撮像装置110から取得した、走査位置Ynにおけるm回分のBスキャンのデータに基づいて、走査位置Ynにおけるm枚の断層画像を生成する。より詳しくは、信号処理部401は、各Bスキャンのデータに対して、ノイズ低減のためのバックグラウンド信号の減算及びフーリエ変換を行い、断層画像における各画素位置に対応する断層データを生成し、断層データを用いて断層画像を生成する。なお、断層画像の生成処理は、既知の任意の処理手法によって行われてもよい。
次に、S714において、信号処理部401は、信号処理部401によって生成された操作位置Ynのm枚の断層画像のデータ(OCTクラスタ)を画像記憶部402に保存する。次に、S715において撮影制御部403は、副走査を走査位置Y1から走査位置Ymaxまで行ったかを判断する。本実施形態では、Ymax=Y300とする。すなわち、OCTクラスタの数も300とする。操作位置Ymaxまで行った場合は(S715でYES)、干渉信号取得処理は終了する。撮影制御部403は、副走査を終了していないと判断した場合には(S715でNO)、処理をS716へ進める。S716において、撮影制御部403は、撮像装置110のXYスキャナ226を次の走査位置、つまりYn=Yn+1とし、その後処理をS712へ進める。
副走査を終了することで、300(Ymax)ライン×6回の断層像画像データが保存されたことになる。なお、副走査が終了し、処理がS721へ移行することで、被検眼Eの撮影処理が終了し、以下、被検眼Eの撮影処理で取得した断層画像データに基づいてOCTA画像の撮影処理が継続される。なお、同一位置のBスキャンを撮影するために、撮影中に眼底トラッキングを行ってもよい。
続いて、OCTA生成処理について説明する。OCTA生成処理においては、OCT断層像のモーションコントラストを計算する。S721において、OCTA生成部407は、走査位置Yjのインデックスjを1に設定する。次に、S722において、OCTA生成部407は、走査位置Yjに対応するOCTクラスタの断層画像(断層データ)を、画像記憶部402から取得する。そして、OCTA生成部407は、そのOCTクラスタの断層画像を用いて、OCTA断層画像(OCTAデータ)を生成する。S722における処理については図8を参照しつつ後述する。
次に、S723において、OCTA生成部407は、インデックスjが最大値maxに達したか否かを判断する。OCTA生成部407は、インデックスjが最大値maxに達していないと判断すると(S723でNO)、処理をS724へ進める。OCTA生成部407は、インデックスjが最大値maxに達したと判断すると(S723でYES)、処理をS725へ進める。S724において、OCTA生成部407は、インデックスjを1増やし、その後処理をS722へ進める。
S725において、OCTA生成部407は、各走査位置に対応するモーションコントラストデータ(OCTAデータ、またはOCTA断層像データ)を各ラインの画素値として用いて、モーションコントラスト画像であるOCTA画像を生成する。隣接する複数の操作位置のOCTA断層像データは、3DOCTAデータになる。次に、S726において、OCTA生成部407は、OCTA生成部407が生成したOCTA画像のデータを画像記憶部402に保存する。以上で、OCTAデータの生成処理が完了する。
図8は、OCTAデータ生成処理における詳細な処理を示すフローチャートである。なお、以下において、OCTクラスタを構成する繰り返しBスキャンのOCT断層像を、フレームと称する。S801において、画像処理部404は、OCTクラスタを構成する繰り返しBスキャンのmフレームの位置合わせを行う。具体的には、OCTA生成部407がOCTクラスタを画像処理部404へ送り、画像処理部404は、OCTクラスタの位置合わせ処理を行う。そして、画像処理部404は、位置合わせ処理されたOCTクラスタをOCTA生成部407に送る。
次に、S802において、OCTA生成部407は、S801で計算した位置合わせされた断層画像の輝度値を平均化し、平均化輝度画像を生成する。次に、S803において、画像処理部404は、モーションコントラストを計算する。画像処理部404は、S802にてOCTA生成部407が出力したmフレームの断層像画像から同じ位置のピクセル毎に信号強度(輝度)の分散値を計算し、その分散値をモーションコントラストとする。すなわち、画像処理部404は、算出された複数の断層画像間の対応する画素データを用いてモーションコントラストを算出する。
なお、分散値以外に、標準偏差、差分値、非相関値および相関値の何れを用いることとしてもよい。また、信号強度ではなく位相を用いることとしてもよい。モーションコントラストの求め方は種々あり、モーションコントラストの特徴量の種類は同一Y位置での複数Bスキャン像の各ピクセルの輝度値の変化を表す指標であれば適用が可能である。また、モーションコントラストには、mフレームの断層画像から同じ位置のピクセル毎の分散値の変わりに、各断層画像の同ピクセル毎の平均値で正規化した変動係数を用いることも可能である。
次に、S804において、OCTA生成部407は、S803で出力したモーションコントラストの閾値処理をする。OCTA生成部407は、S802で出力した断層平均化画像から、ノイズフロアでランダムノイズのみが表示されているエリアを抽出し、標準偏差σを計算し、ノイズフロアの平均輝度+2σを閾値として設定する。OCTA生成部407は、各輝度が、上記閾値以下の領域に対応したモーションコントラストの値を0に設定する。S804の閾値処理により、ランダムノイズによる輝度変化に由来するモーションコントラストを除去することでノイズを軽減することができる。なお、本実施形態では閾値をノイズフロアの平均輝度+2σとして設定したが、閾値はこれに限るものではない。
なお、他の例としては、OCTAデータ生成処理に、網膜表層の血管が影として深層に現れるプロジェクションアーティファクト等の情報アーティファクトの削除、削減処理を加えてもよい。より詳しくは、表層の血管による深層の影の領域を特定し、影の領域の信号強度を調整する、等の処理が挙げられる。
次に、図9を参照しつつ、被検眼Erの観察の流れを説明する。図9は、観察時に表示装置130が表示する観察画面900を示す図である。観察画面900には、前眼部動画像910、眼底正面画像901、断層動画像902,903,904,905、高画質OCTA動画像913が表示されている。観察画面900にはまた、フォーカス調整スライダー908、参照ミラー位置調整スライダー907、測定開始ボタン906が表示されている。点線909は、眼底正面画像901上の断層動画像902〜905のスキャン位置を示す。
操作者が前眼部動画像910を観察しながら対物レンズ211の正面に被検眼Erを位置させたあと、SLOXYスキャナ214のXY方向の走査により眼底正面画像が生成され、XYスキャナ226のXY方向の走査により断層画像が生成される。操作者は、眼底正面画像901、断層動画像902〜905を観察しながら不図示のマウスやマウスカーソルを用いてフォーカス調整スライダー908や参照ミラー位置調整スライダー907を操作する。これにより、断層画像のフォーカスや、参照ミラー237の位置等が調整され、断層画像と眼底正面画像は適宜更新される。さらに、眼底正面画像901中のスキャンライン909は断層画像の取得時に走査される走査位置を示したものであり、眼底正面画像901に重畳されている。操作者はこのスキャンライン909をマウスやタッチパネル等の図示なき走査位置変更手段を操作し、所望の走査位置を設定する。
眼底正面画像901中の固視灯の位置を示す固視灯指標912は、固視灯の位置を示したものであり、眼底正面画像901に重畳されている。操作者はこの固視灯指標912をマウスやタッチパネル等の図示なき固視灯位置変更手段を操作し、表示装置130はその情報を取得し、撮影制御部403に送り、撮影制御部403は所望の位置に固視灯指標を投影する。表示装置130はその他のマウス操作、例えば測定開始ボタン906の押下も検知し、撮影制御部403へその情報を送る。
本実施形態ではフォーカス調整スライダー908で断層像撮影のフォーカスと眼底正面撮影のフォーカスの両方の制御入力をすることとしたがこれに限定されるものではない。例えば断層像撮影のフォーカスと眼底正面撮影のフォーカスにそれぞれ、独立したフォーカス調整スライダーを備えてもよい。また、本実施形態では操作者の操作入力のためマウスを用いて説明したが、それに限らず、たとえばジョイスティック、タッチパネル、トラックボール、タッチペンなど、その他の操作入力装置を用いてもよい。
図10は、制御装置120による眼底撮影時の画像表示処理を示すフローチャートである。制御装置120は、被検眼の眼底の撮像画像のモーションコントラスト画像を生成し、生成したモーションコントラスト画像に基づいて、より画質の高いモーションコントラストの動画像を生成し、これを表示する。S1001において、撮影制御部403は、撮影準備を行う。具体的には、撮影制御部403は、ユーザ操作に応じて撮影パラメータを決定する。そして、撮影制御部403は、撮影パラメータに応じてSLO光学部のSLOフォーカスや、OCT光学部のOCTフォーカス、参照ミラー位置、撮影位置や撮影範囲、固視灯の点灯位置等、撮像のための制御を行う。さらに撮影制御部403は、操作による制御情報などを画像記憶部402に保存する。次に、S1002において、眼底追尾部406は、OCT撮影の眼底トラッキングを行う。具体的には、眼底追尾部406は、SLO対象画像と、画像記憶部402に記憶されているSLO参照画像の位置ずれを算出し、被検眼Erの眼底移動量を測定する。そして、撮影制御部403は、被検眼Erの眼底移動量に基づいて、OCT走査手段のXYスキャナ226の位置補正制御を行う。
次に、S1003において、撮影制御部403は、S1001において得られた撮影パラメータに応じて、OCTAの撮影を行うよう制御する。本実施形態では、撮影制御部403は、第1の動画像としてのOCTAを撮影するために間引き撮影を行うよう制御する。本実施形態の撮影制御部403は、インタレース撮影を行うよう制御する。すなわち、撮影制御部403は、表示するOCTA画像の奇数Bスキャンと偶数Bスキャンの撮影を別々に行うよう制御する。なお、撮影は、撮影スピードを重視すべく、画質を落とした撮影とすればよく、そのための具体的な処理は間引き撮影に限定されるものではない。撮影の他の例としては、受光時間を短くする、撮影スピードを落とす、といった撮影が挙げられる。
次に、S1004において、OCTA生成部407は、S1003において撮影されたOCTA撮影データに基づいて、OCTA3次元データを生成する。ここで、生成されるOCTA画像を、後に生成されるOCTA画像と区別すべく、低画質OCTA3次元データと称する。具体的には、奇数Bスキャンが行われた場合には、OCTA生成部407は、奇数Bスキャンにより得られたデータに基づいて、奇数の低画質OCTA3次元データを生成する。また、偶数Bスキャンが行われた場合には、OCTA生成部407は、偶数Bスキャンにより得られたデータに基づいて、偶数の低画質OCTA3次元データを生成する。
次に、S1005において、画像処理部404は、S1004において生成された低画質OCTA3次元データを中間OCTA3次元データとし、この中間OCTA3次元データが有効か否かを被検眼Erの状態に基づいて判定する。画像処理部404は、中間OCTA3次元データが有効と判定した場合には(S1005でYES)、処理をS1006へ進める。画像処理部404は、中間OCTA3次元データが無効と判定した場合には(1005でNO)、処理をS1008へ進める。
画像処理部404は、眼底の固視微動が閾値を超えた場合や、瞬きが起きた場合には、中間OCTA3次元データは無効と判定する。固視微動情報は、眼底追尾処理から得られる。閾値は例えば25マイクロメートルとする。なお、閾値は予め定められているものとする。閾値は、第2のOCTA動画像の合成に影響が少ない値であればよく、実施形態に限定されるものではない。また、画像処理部404は、前眼部観察画像を用いて、瞬き検出処理を行う。瞬き検出処理として、前眼部観察画像に瞳の検出をする。瞳(黒い丸い領域)が短期間で前眼部観察画像からなくなった場合は、瞬きが起きたと判断する。なお、本実施形態では瞳検出により瞬き検出に限ることなく、例えば、一時的に前眼部観察が全面的に白くなった(瞼が写っている)場合でも判断してもよい。
S1006において、画像処理部404は、OCTA生成部407の制御の下、中間OCTAフレームを用いて、低画質OCTA3次元データに比べて画質の高いOCDTA3次元データを生成する。以下、S1006において生成されるOCTA3次元データを高画質OCTA3次元データと称する。具体的には、画像処理部404は、直前に実行されたS1004において生成された中間OCTA3次元データと、この中間OCTA3次元データの直前に生成され、画像記憶部402に保存されている中間OCTA3次元データとを合成する。より具体的には、画像処理部404は、t回目に得られた中間OCTAフレームとしての奇数OCTA断層像と、t−1回目に得られた中間OCTAフレームとしての偶数OCTA断層像とを合成し、インタレースOCTA3次元データを合成する。ここで、t回目とは、S1006の処理の繰り返し回数である。
次に、S1007において、画像処理部404は、直前に実行されたS1004において生成された中間OCTA3次元データ(t回目に得られた中間OCTA3次元データ)を画像記憶部402に保存する。画像処理部404は、S1007の処理の後、処理をS1010へ進める。一方、S1008において、画像処理部404は、中間OCTA3次元データを削除する。次に、S1009において、画像処理部404は、画像記憶部402に保存されている最新の中間OCTA3次元データを、便宜的に、高画質OCTA3次元データとして設定する。画像処理部404は、その後処理をS1010へ進める。
S1010において、画像処理部404は、高画質OCTA3次元データから、OCTA正面画像を生成する。以下、S1010において生成されたOCTA正面画像を高画質OCTAフレームと称する。次に、S1011において、GUI制御部405は、高画質OCTフレームを表示装置130に表示するよう制御する。これにより、図9に示す観察画面900に高画質OCTフレームで構成される高画質OCTA動画像913が表示される。なお、高画質OCTA動画像913と同時に表示される眼底正面画像901は、OCTA正面画像とは異なる動画像である。本実施形態においては、眼底正面画像901は、輝度画像である。このように、GUI制御部405は、眼底正面画像901、眼底の断層動画像902〜905及び被検眼の前眼部動画像910の少なくとも一つと同時に、被検眼の眼底のモーションコントラストの動画像を表示するよう制御する。ここで、眼底正面画像901は、眼底の眼底動画像で、眼底のモーションコントラストの動画像と異なる眼底動画像の一例である。また、本処理は、表示制御処理の一例である。
次に、S1012において、GUI制御部405は、ユーザ操作に基づいて、画像表示処理を継続するか否かを判定する。GUI制御部405は、画像表示処理を継続すると判定した場合には(S1012でYES)、処理をS1001へ進める。GUI制御部405は、画像表示処理を継続しないと判定した場合には(S1012でNO)、処理をS1013へ進める。S1013において、画像処理部404は、眼底表面画像、断層像データ、及びOCTAデータを、画像記憶部402に保存する。なお、各画像の保存先は、画像記憶部402に限定されるものではなく、他の例としては、制御装置120と別に設けられた外部記憶装置であってもよい。以上で、画像表示処理を終了する。
上述のように、撮像装置110においては、偶数OCTAフレーム、奇数OCTAフレーム、偶数OCTAフレーム、というように奇数OCTAフレームと、偶数OCTAフレームが交互に撮影される。ここで、偶数OCTAフレームとは、インタレース撮影の偶数BスキャンによるOCTAフレーム、奇数OCTAフレームとは、奇数BスキャンによるOCTAフレームである。これに対し、制御装置120は、各OCTAデータが得られる度に、得られたOCTAデータと、その直前に得られたOCTAデータの2つのOCTAデータの組み合わせから、1つの高画質OCTAフレームを生成し、これを表示する。そして、S1001〜S10010の処理を繰り返すことにより、高画質OCTAフレームが連続して表示されることになり、高画質OCTA動画像の再生表示が実現する。
第1の実施形態の制御装置120は、上述のように、中間OCTAフレームとしての低画質OCTAフレームが生成されるのと同じフレームレートで、低画質OCTAフレームに比べて、より高画質な、高画質OCTAフレームを生成することができる。さらに、制御装置120は、高画質OCTAフレームの更新を高速化することができる。すなわち、制御装置120は、高画質OCTAフレームで構成される高画質OCTA動画像の更新レートを高くすることができる。このように、制御装置120は、モーションコントラストの動画像を適切に表示することができる。
第1の実施形態の第1の変形例としては、制御装置120は、3以上の低画質OCTA3次元データを合成して、高画質OCTA3次元データを生成してもよい。例えば、奇数OCTA3次元データと、偶数OCTA3次元データの計2つの3次元データが得られた時点で、これら2つのOCTA3次元データから、高画質OCTA3次元データを生成する。そして、続いて、奇数OCTA3次元データが得られると、計3つのOCTA3次元データから高画質OCTA3次元データを生成する。このように、制御装置120は、中間OCTA3次元データが得られる度に、既に得られている複数の中間OCTA3次元データに基づいて、高画質OCTA3次元データを生成してもよい。
第2の変形例について説明する。制御装置120は、低画質OCTA3次元データに基づいて、低画質OCTA3次元データから得られる低画質OCTAフレームに比べて高画質な、高画質OCTAフレームを生成すればよく、そのための具体的な処理は実施形態に限定されるものではない。例えば、制御装置120は、ノイズを減らし、シグナルを増加するために、複数の低画質OCTA3次元データの平均値を計算し、これを高画質OCTA3次元データとしてもよい。さらにこの場合、制御装置120は、撮像装置110のラインセンサー242のサンプリングを高速化(露光時間を短くする)するよう制御してもよい。
第3の変形例としては、制御装置120は、高画質OCTAフレームを生成する際に、2つの低画質OCTA3次元データそれぞれから2つのOCTA正面画像(低画質OCTAフレームと称する)を生成してもよい。そして、制御装置120は、2つの低画質OCDTA正面画像を合成することで高画質OCTAフレームを生成してもよい。
第4の変形例としては、制御装置120は、S1010において、高画質OCTA3次元データのうち深さ方向(Z方向)の一部の範囲の3次元データのみを積算することで、画質OCTAフレームを生成してもよい。この場合、一部の範囲には、OCTA正面画像に対応する網膜層が含まれるものとする。OCTA正面画像に対応する網膜層については、セグメンテーション処理の結果に応じて特定することができる。これにより、処理負荷を軽減することができる。
第5の変形例について説明する。制御装置120は、S1006において、高画質OCTAフレームに対応した深さ方向の一部の範囲の中間OCTA3次元データに基づいて、一部の範囲のOCTA3次元データを生成し、これを高画質OCTA3次元データとしてもよい。この場合、制御装置120は、一部の範囲の3次元データを用いてその後の処理を行う。これにより、処理負荷を軽減することができる。同様に、制御装置120は、S1004において、高画質OCTAフレームに対応した深さ方向の一部の範囲の低画質OCTA3次元データを生成してもよい。
第6の変形例としては、制御装置120は、S1005において有効無効を判定するための具体的な処理は実施形態に限定されるものではない。他の例としては、制御装置120は、撮影条件が変更になった場合に、中間OCTA3次元データが無効であると判定してもよい。ここで、撮影条件は、撮影位置や範囲、固視灯位置など、撮影部位が変更になる撮影パラメータを含むものとする。より具体的には、制御装置120は、操作者の入力情報を取得し、取得された入力情報に基づいて撮影条件の変更指示を受け付けた場合に、中間OCTA3次元データが無効であると判定してもよい。
また、第1の変形例において説明したように、既に得られた複数の中間OCTA3次元データを順次蓄積していく場合には、高画質OCTAフレーム毎に、高画質OCTAフレームを生成する際に利用する複数の低画質OCTAフレームを決定してもよい。すなわち、蓄積をリセットするタイミングを、撮影条件の変更、被検眼Erの状態に基づいて決定してもよい。
また、既に得られた複数の中間OCTA3次元データを順次蓄積していく場合には、制御装置120は、SNRに基づいて、蓄積をリセットするタイミングを決定してもよい。例えば、制御装置120は、S1004の処理の後にS1006、S1007を実行することで高画質OCTA3次元データを生成する。そして、制御装置120は、高画質OCTA3次元データのSNRが予め設定した閾値以上となった場合に、蓄積をリセットする。なお、SNRは、血管が存在することが既知の領域の信号と、血管が存在しないことが予め既知の領域の信号とにより求めることができる。また他の例としては、SNRは、画像のヒストグラムにおける分布に基づいて求めることができる。なお、高画質OCTAフレームを生成する際に利用する複数の低画質OCTAフレームを決定する処理は、フレーム決定処理の一例である。
第7の変形例としては、制御装置120は、既に高画質OCTAフレームの生成に利用された中間OCTA3次元データを画像記憶部402から削除することとしてもよい。
(第2の実施形態)
第2の実施形態に係る制御装置120は、第1の実施形態の第1の変形例において説明したように、既に得られた3以上の中間OCTA3次元データを順次蓄積し、これらに基づいて、1つの高画質OCTA3次元データを生成する。さらに、予め定められた更新条件に従い、高画質OCTAフレームの表示の更新を制御する。以下、第2の実施形態に係る眼科撮像システム100について、第1の実施形態に係る眼科撮像システム100と異なる点を主に説明する。
第2の実施形態に係る制御装置120は、第1の実施形態の第1の変形例において説明したように、既に得られた3以上の中間OCTA3次元データを順次蓄積し、これらに基づいて、1つの高画質OCTA3次元データを生成する。さらに、予め定められた更新条件に従い、高画質OCTAフレームの表示の更新を制御する。以下、第2の実施形態に係る眼科撮像システム100について、第1の実施形態に係る眼科撮像システム100と異なる点を主に説明する。
図11は、第2の実施形態に係る制御装置120による画像表示処理を示すフローチャートである。なお、図11に示す画像表示処理の各処理のうち、図10を参照しつつ説明した第1の実施形態に係る画像表示処理の各処理と同一の処理には、同一の番号を付している。S1004の処理の後、S1101において、画像処理部404は、更新条件に従い、高画質OCTAフレームの表示を更新するか否かを判定する。ここで、更新条件は、以下に示す3つの条件の何れかに該当する場合に表示を更新することを示す情報である。なお、更新条件は、実施形態に限定されるものではない。
(1) 高画質OCTA3次元データのSNRが閾値未満の場合
(2) 高画質OCTA3次元データのSNRが閾値以上でかつ固視微動が閾値以上の場合
(3) 高画質OCTA3次元データのSNRが閾値以上でかつ撮影条件が変更された場合
(1) 高画質OCTA3次元データのSNRが閾値未満の場合
(2) 高画質OCTA3次元データのSNRが閾値以上でかつ固視微動が閾値以上の場合
(3) 高画質OCTA3次元データのSNRが閾値以上でかつ撮影条件が変更された場合
画像処理部404は、更新を行うと判定した場合には(S1101でYES)、処理をS1105へ進める。画像処理部404は、更新を行わないと判定した場合には(S1101でNO)、処理をS1102へ進める。S1102において、画像処理部404は、直前に実行されたS1004において生成された中間OCTA3次元データ(t回目に得られた中間OCTA3次元データ)を画像記憶部402に保存する。画像処理部404は、S1102の処理の後、処理をS1012へ進める。
また、第2の実施形態においては、S1006において、画像処理部404は、画像記憶部402に保持されている2または3以上の中間OCTAフレームを用いて、高画質OCTA3次元データを生成する。なお、第2の実施形態に係る眼科撮像システム100のこれ以外の構成及び処理は、第1の実施形態に係る眼科撮像システム100の構成及び処理と同様である。
以上のように、第2の実施形態に係る眼科撮像システム100においては、制御装置120は、高画質OCTAフレームの更新タイミングを制限する。これにより、高画質OCTAフレームの画質を維持しつつ、処理負荷を軽減することができる。なお、更新タイミングにより、高画質OCTAフレームの合成に利用される、複数の低画質OCTAフレームが決定され、本処理は、フレーム決定処理の一例である。
(第3の実施形態)
第3の実施形態に係る眼科撮像システム100は、高画質OCTA動画像を表示し、さらに低画質OCTA3次元データからもOCTA正面画像を生成し、これを動画像として表示装置130に表示するよう制御する。以下、第3の実施形態に係る眼科撮像システム100について、他の実施形態に係る眼科撮像システム100と異なる点を主に説明する。以下、低画質OCTA3次元データから生成されるOCTA正面画像を低画質OCTAフレームと称し、低画質OCTAフレームで構成される動画像を低画質OCTA動画像と称する。図12は、第3の実施形態に係る観察画面1200を示す図である。観察画面1200においては、第1の実施形態において図9に示した観察画面900に表示される内容に加えて、低画質OCTA動画像1201が表示される。これにより、ユーザは、画質の異なる2つの動画像を同時に確認することができる。
第3の実施形態に係る眼科撮像システム100は、高画質OCTA動画像を表示し、さらに低画質OCTA3次元データからもOCTA正面画像を生成し、これを動画像として表示装置130に表示するよう制御する。以下、第3の実施形態に係る眼科撮像システム100について、他の実施形態に係る眼科撮像システム100と異なる点を主に説明する。以下、低画質OCTA3次元データから生成されるOCTA正面画像を低画質OCTAフレームと称し、低画質OCTAフレームで構成される動画像を低画質OCTA動画像と称する。図12は、第3の実施形態に係る観察画面1200を示す図である。観察画面1200においては、第1の実施形態において図9に示した観察画面900に表示される内容に加えて、低画質OCTA動画像1201が表示される。これにより、ユーザは、画質の異なる2つの動画像を同時に確認することができる。
図13は、第3の実施形態に係る制御装置120による画像表示処理を示すフローチャートである。図13に示す画像表示処理の各処理のうち、図10を参照しつつ説明した第1の実施形態に係る画像表示処理の各処理と同一の処理には、同一の番号を付している。S1004の処理の後、S1301において、画像処理部404は、S1004において生成した低画質OCTA3次元データから、OCTA正面画像(低画質OCTAフレーム)を生成する。次に、S1302において、GUI制御部405は、低画質OCTAフレームを表示装置130に表示するよう制御する。GUI制御部405は、その後処理をS1005へ進める。なお、第3の実施形態に係る眼科撮像システム100のこれ以外の構成及び処理は、他の実施形態に係る眼科撮像システム100の構成及び処理と同様である。
以上のように、第3の実施形態に係る眼科撮像システム100において、制御装置120は、画質の異なる2つの動画像を同時に表示するよう制御する。これにより、操作者は、画質の異なる2つの動画像を同時に確認することができる。
第3の実施形態の第1の変形例としては、GUI制御部405は、低画質OCTA動画像上でのユーザ操作に応じて領域の指定を受け付けた場合には、指定された領域を表示範囲として高画質OCTA動画像を表示するよう制御してもよい。例えば、図12に示す観察画面1200の低画質OCTA動画像1201において、ユーザ操作により注目領域として低画質OCTA動画像1201の一部の領域(XY平面内の一部の領域)が選択されたとする。この場合、GUI制御部405は、領域の指定を受け付け、指定された領域を示す枠画像を低画質OCTA動画像1201に重畳表示する。そして、画像処理部404は、指定された領域の高画質OCTAフレームを生成し、高画質OCTAフレームで構成される高画質OCTA動画像を表示するよう制御する。なお、領域が制限された、高画質OCTAフレームを生成するための処理は特に限定されるものではない。本処理は、表示範囲決定処理の一例である。
さらに、この場合、画像処理部404は、高画質OCTAフレームから一部を抽出し、拡大することで高画質OCTAフレームを生成してもよい。また、他の例としては、画像処理部404は、指定された領域のみの高画質OCTA3次元データを生成し、この3次元データから、高画質OCTAフレームを生成してもよい。また、他の例としては、画像処理部404は、低画質OCTA3次元データの一部を抽出し、抽出した一部の3次元データから、高画質OCTAフレームを生成してもよい。
第2の変形例としては、制御装置120は、ユーザ操作に応じて、高画質OCTA動画像と、低画質OCTA動画像のうち少なくとも一方を、選択的に表示装置130に表示するよう制御してもよい。例えば、制御装置120は、高画質OCTA動画像の表示指示を受け付けた場合には、高画質OCTA動画像のみ表示するよう制御する。また、制御装置120は、低画質OCTA動画像の表示指示を受け付けた場合には、低画質OCTA動画像のみ表示するよう制御する。
(第4の実施形態)
第4の実施形態に係る制御装置120は、第3の実施形態に係る制御装置120と同様に、画質の異なる2つの動画像を同時に表示するよう制御し、さらに、2つの動画像として異なる層の画像を表示するように制御する。ここで、以下、第4の実施形態に係る眼科撮像システム100について、第3の実施形態に係る眼科撮像システム100と異なる点を主に説明する。
第4の実施形態に係る制御装置120は、第3の実施形態に係る制御装置120と同様に、画質の異なる2つの動画像を同時に表示するよう制御し、さらに、2つの動画像として異なる層の画像を表示するように制御する。ここで、以下、第4の実施形態に係る眼科撮像システム100について、第3の実施形態に係る眼科撮像システム100と異なる点を主に説明する。
第4の実施形態に係る制御装置120による画像表示処理について、第3の実施形態に係る画像表示処理と異なる点を図13を参照しつつ説明する。S1001において、GUI制御部405は、ユーザ操作に応じて撮影パラメータを決定し、撮影準備のための制御を行うのに加え、ユーザ操作に応じて、高画質OCTA動画像及び低画質OCTA動画像として表示する網膜層の指示を取得する。ここで、網膜層の指示は、深度範囲の指示の一例である。具体的には、観察画面1200に不図示のプルダウンメニューが表示され、プルダウンメニューに表示される網膜層の名前を操作者が選択し、GUI制御部405はその選択情報を検出する。S1301において、画像処理部404は、低画質OCTA3次元データから、指定された網膜層の低画質OCTAフレームを生成する。また、S1010において、画像処理部404は、高画質OCTA3次元データから、指定された網膜層の高画質OCTAフレームを生成する。なお、S1301及びS1010の処理は、深度範囲を決定する深度範囲決定処理と、動画像を生成する生成処理の一例である。なお、第4の実施形態に係る眼科撮像システム100のこれ以外の構成及び処理は、他の実施形態に係る眼科撮像システム100の構成及び処理と同様である。
以上のように、第3の実施形態に係る眼科撮像システム100において、制御装置120は、異なる網膜層の2つの動画像を同時に表示するよう制御する。これにより、操作者は、異なる網膜層の2つの動画像を同時に確認することができる。
第4の実施形態の第1の変形例としては、2つの動画像として表示する異なる2つの網膜層は予め設定されていてもよい。例えば、画像処理部404は、セグメンテーション処理により網膜表層の領域(NFL+GCL+IP)を特定し、この層領域の低画質OCTAフレームを生成する。また、画像処理部404は、セグメンテーション処理により、網膜深層の領域(INL+OPL+ONL)を特定し、この層領域の高画質OCTAフレームを生成する。
表層には太い血管が多く、深層には細い血管が多いことがわかっている。これに対し、表層を低画質OCTAフレーム、深層を高画質OCTAフレームとして表示することで、各層を適切に表示することができる。なお、各動画像に対して予め設定される層は実施形態に限定されるものではない。
なお、他の例としては、画像処理部404は、血管の画像を検出することで、太い血管が多い層領域の高画質OCTAフレームを生成し、細い血管が多い層領域の低画質OCAフレームを生成してもよい。また、他の例としては、画像処理部404は、低画質OCTA3次元データにおいて、画像処理により血管を検出し、血管の検出結果に応じて、2つの層を決定することとしてもよい。
(その他の実施形態)
本件は上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、種々の変形、変更して実施することができる。例えば、上記の実施形態では、被検査物が眼の場合について述べているが、眼以外の皮膚や臓器等の被検査物に本発明を適用することも可能である。この場合、本発明は眼科装置以外の、例えば内視鏡等の医療機器としての態様を有する。従って、本発明は眼科装置に例示される眼科装置として把握され、被検眼は被検査物の一態様として把握されることが望ましい。
本件は上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、種々の変形、変更して実施することができる。例えば、上記の実施形態では、被検査物が眼の場合について述べているが、眼以外の皮膚や臓器等の被検査物に本発明を適用することも可能である。この場合、本発明は眼科装置以外の、例えば内視鏡等の医療機器としての態様を有する。従って、本発明は眼科装置に例示される眼科装置として把握され、被検眼は被検査物の一態様として把握されることが望ましい。
またコンピュータが読み出したプログラムコードを実行することにより、コンピュータ上で稼動しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。さらに記録媒体から読み出したプログラムコードが、コンピュータ付属の機能拡張カードや機能拡張ユニット内のメモリに書込まれ、前記拡張カードや拡張ユニット内の演算装置が実際の処理の一部か全部を行い、前述の実施形態の機能が実現される場合も含む。
なお、上述した本実施の形態における記述は、本発明に係る好適な眼科装置に例示される眼科装置の一例であり、本発明はこれに限定されるものではない。
110 撮像装置
120 眼科装置
130 表示装置
120 眼科装置
130 表示装置
Claims (19)
- 被検眼の眼底の撮像画像のモーションコントラストの第1の動画像と、前記第1の動画像を構成するフレームと画質が異なるフレームで構成された第2の動画像と、を生成する生成手段と、
前記第1の動画像及び前記第2の動画像のうち少なくとも一方を表示手段に表示させる表示制御手段と
を有することを特徴とする眼科装置。 - 前記表示制御手段は、前記第1の動画像及び前記第2の動画像を前記表示手段に同時に表示させることを特徴とする請求項1に記載の眼科装置。
- 前記表示制御手段は、前記第1の動画像及び前記第2の動画像を前記表示手段に並べて表示させることを特徴とする請求項2に記載の眼科装置。
- 前記表示制御手段は、ユーザ操作に応じて、前記第1の動画像及び前記第2の動画像の一方を前記表示手段に選択的に表示させることを特徴とする請求項1に記載の眼科装置。
- 前記生成手段は、前記第1の動画像を構成する複数のフレームを用いて、前記第2の動画像の1つのフレームを生成することを特徴とする請求項1乃至4の何れか1項に記載の眼科装置。
- 第2の動画像のフレーム毎に、前記第2の動画像の1つのフレームの生成に利用する複数のフレームを決定するフレーム決定手段をさらに有し、
前記生成手段は、前記フレーム決定手段により決定された複数のフレームから前記第2の動画像の1つのフレームを生成することを特徴とする請求項5に記載の眼科装置。 - 前記フレーム決定手段は、前記眼底の動きに基づいて、前記第2の動画像のフレームを生成する際に利用する前記第1の動画像の複数のフレームを決定することを特徴とする請求項6に記載の眼科装置。
- 前記フレーム決定手段は、前記眼底の撮像に関するパラメータの変更に基づいて、前記第2の動画像のフレームを生成する際に利用する前記第1の動画像の複数のフレームを決定し、
前記生成手段は、前記フレーム決定手段により決定された複数のフレームから前記第2の動画像の1つのフレームを生成することを特徴とする請求項6に記載の眼科装置。 - 前記フレーム決定手段は、前記生成手段により生成された前記2の動画像の第1のフレームの画質に基づいて、前記第1のフレームより後の第2のフレームを生成する際に利用する前記第1の動画像の複数のフレームを決定することを特徴とする請求項6に記載の眼科装置。
- 前記第1の動画像を構成するフレームは、前記第2の動画像を構成するフレームよりも画質が低いことを特徴とする請求項1乃至9の何れか1項に記載の眼科装置。
- 前記第1の動画像は、前記第2の動画像と異なる深度範囲の動画像であることを特徴とする請求項1乃至10の何れか1項に記載の眼科装置。
- ユーザ操作に応じて、前記第1の動画像及の深度範囲及び前記第2の動画像の深度範囲を決定する深度範囲決定手段をさらに有することを特徴とする請求項11に記載の眼科装置。
- 予め定められた層に基づいて、前記第1の動画像の深度範囲及び前記第2の動画像の深度範囲を決定する深度範囲決定手段をさらに有することを特徴とする請求項11に記載の眼科装置。
- 前記第1の動画像の深度範囲を、前記第1の動画像の血管の画像に基づいて決定し、さらに前記第2の動画像の深度範囲を、前記第2の動画像の血管の画像に基づいて決定する深度範囲決定手段をさらに有することを特徴とする請求項11に記載の眼科装置。
- 前記第2の動画像として表示される、第2の動画像の表示範囲を、前記第1の動画像上でユーザ操作に応じて指定された範囲に基づいて決定する表示範囲決定手段をさらに有し、
前記表示制御手段は、前記表示範囲決定手段により決定された表示範囲の前記第2の動画像を表示するよう制御することを特徴とする請求項2に記載の眼科装置。 - 前記第2の動画像は、前記眼底の正面画像であり、
前記生成手段は、前記被検眼の眼底の撮像画像のモーションコントラストの3次元の画像における、前記正面画像に対応した層を含む、前記3次元の画像の一部の画像に基づいて、前記第2の動画像を生成することを特徴とする請求項1乃至15の何れか1項に記載の眼科装置。 - 被検眼の眼底のモーションコントラストの動画像と異なる眼底動画像と、前記眼底の断層動画像と、前記被検眼の前眼部動画像と、のうち少なくとも一つと同時に、前記被検眼の眼底のモーションコントラストの動画像を表示手段に表示させる表示制御手段を有することを特徴とする眼科装置。
- 眼科装置が実行する制御方法であって、
被検眼の眼底の撮像画像のモーションコントラストの第1の動画像と、前記第1の動画像を構成するフレームと画質が異なるフレームで構成された第2の動画像と、を生成する生成ステップと、
前記第1の動画像及び前記第2の動画像のうち少なくとも一方を表示手段に表示させる表示制御ステップと
を含むことを特徴とする制御方法。 - コンピュータを、請求項1乃至17の何れか1項に記載の眼科装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017239565A JP2019103732A (ja) | 2017-12-14 | 2017-12-14 | 眼科装置、制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017239565A JP2019103732A (ja) | 2017-12-14 | 2017-12-14 | 眼科装置、制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019103732A true JP2019103732A (ja) | 2019-06-27 |
Family
ID=67060674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017239565A Pending JP2019103732A (ja) | 2017-12-14 | 2017-12-14 | 眼科装置、制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019103732A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022196427A1 (ja) * | 2021-03-15 | 2022-09-22 | 株式会社吉田製作所 | Oct装置、その制御方法およびoct装置制御プログラム |
-
2017
- 2017-12-14 JP JP2017239565A patent/JP2019103732A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022196427A1 (ja) * | 2021-03-15 | 2022-09-22 | 株式会社吉田製作所 | Oct装置、その制御方法およびoct装置制御プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6624945B2 (ja) | 画像形成方法及び装置 | |
JP6767762B2 (ja) | 情報処理装置、情報処理装置の制御方法、及び該制御方法の実行プログラム | |
JP6632267B2 (ja) | 眼科装置、表示制御方法およびプログラム | |
JP6598502B2 (ja) | 画像生成装置、画像生成方法およびプログラム | |
JP6584126B2 (ja) | 画像生成装置、画像生成方法およびプログラム | |
KR20180075458A (ko) | 인터랙티브 제어장치 | |
JP6702764B2 (ja) | 光干渉断層データの処理方法、該方法を実行するためのプログラム、及び処理装置 | |
JP6652281B2 (ja) | 光断層撮像装置、その制御方法、及びプログラム | |
CN112420166B (zh) | 信息处理装置 | |
WO2016120933A1 (en) | Tomographic imaging apparatus, tomographic imaging method, image processing apparatus, image processing method, and program | |
WO2015016290A1 (en) | Image processing apparatus and image processing method | |
JP2018068748A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2020039430A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6849776B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2020054812A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019103732A (ja) | 眼科装置、制御方法及びプログラム | |
EP3354191B1 (en) | Information processing apparatus, information processing method, and program | |
JP6646021B2 (ja) | 眼科画像処理装置 | |
JP6976778B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2017079886A (ja) | 血流計測装置 | |
JP6166509B2 (ja) | 撮像装置及び撮像方法 | |
JP2018191761A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2019063146A (ja) | 画像処理装置、眼科撮影装置、画像処理方法、及びプログラム | |
JP7204345B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6839310B2 (ja) | 光断層撮像装置、その制御方法、及びプログラム |