JP2021083919A - 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム - Google Patents

医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2021083919A
JP2021083919A JP2019216516A JP2019216516A JP2021083919A JP 2021083919 A JP2021083919 A JP 2021083919A JP 2019216516 A JP2019216516 A JP 2019216516A JP 2019216516 A JP2019216516 A JP 2019216516A JP 2021083919 A JP2021083919 A JP 2021083919A
Authority
JP
Japan
Prior art keywords
data
image
tomographic
tomographic image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019216516A
Other languages
English (en)
Other versions
JP2021083919A5 (ja
JP7419042B2 (ja
Inventor
好彦 岩瀬
Yoshihiko Iwase
好彦 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019216516A priority Critical patent/JP7419042B2/ja
Priority to PCT/JP2020/043963 priority patent/WO2021106987A1/ja
Priority to CN202080081569.9A priority patent/CN114760906A/zh
Publication of JP2021083919A publication Critical patent/JP2021083919A/ja
Priority to US17/824,038 priority patent/US12087001B2/en
Publication of JP2021083919A5 publication Critical patent/JP2021083919A5/ja
Application granted granted Critical
Publication of JP7419042B2 publication Critical patent/JP7419042B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】 放射状のスキャンにより得た複数のデータ間の位置ずれを低減することができる、医用画像処理装置を提供する。【解決手段】 被検眼上で測定光を放射状に走査して得られた、被検眼の複数箇所にそれぞれ対応する複数の断層画像、及び各断層画像に対応する撮影パラメータを取得する取得部と、撮影パラメータを用いて、撮影パラメータに対応する断層画像の形状を補正する補正部と、形状が補正された複数の断層画像を互いに位置合わせする位置合わせ部とを備える、医用画像処理装置。【選択図】図5

Description

本発明は、医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラムに関する。
光干渉断層撮影法(OCT:Optical Coherence Tomography)を用いたOCT装置などの眼部の断層画像撮影装置を用いることで、網膜層内部の状態を三次元的に観察することが可能である。断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。OCTの形態として、例えば、高速に画像を取得する方法として、広帯域光源を用い、分光器でインターフェログラムを取得する、SD−OCT(Spectral Domain OCT)が知られている。また、光源として高速波長掃引光源を用いることで、単一チャネル光検出器でスペクトル干渉を計測する方法としてSS−OCT(Swept Source OCT)が知られている。
そして、近年では、造影剤を用いない血管造影法としてOCTを用いた血管造影法(OCTA:OCT Angiography)が提案されている。OCTAでは、OCTを用いて取得した三次元のモーションコントラスト画像を二次元平面に投影することで、血管画像(以下、OCTA画像又はモーションコントラスト正面画像という。)を生成することができる。ここで、モーションコントラスト画像とは、測定対象の同一断面をOCTで繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータである。モーションコントラスト画像は、例えば、複素OCT信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得ることができる。
OCT装置で測定対象のデータを取得する場合、被検眼が動くことによりデータに動きのアーティファクトが発生する。そのため、OCT装置によって計測時間の短縮を図りつつ三次元データを取得するために、被検眼を放射状に走査(スキャン)して断層画像を取得する方法が、特許文献1に開示されている。
特開2008−209166号公報 特開2012−148003号公報 特開2012−147976号公報 特開2018−175258号公報
網膜を放射状にスキャンすると、全方向から網膜をスキャンした二次元断層画像を取得することができる。そのため、水平方向や垂直方向のスキャンと比較すると、放射状のスキャンでは網膜の全体的な形状を把握することができる。
しかしながら、放射状にスキャンした複数の二次元断層画像は異なる時間において取得されるため、隣接する断層画像間では撮影位置にずれが生じてしまう。そのため、隣接する断層画像間で対比して確認を行う場合等には位置合わせを行うことが望まれる。そこで、本発明の一実施形態では、放射状のスキャンにより得た複数のデータ間の位置ずれを低減することができる、医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラムを提供する。
本発明の一実施態様に係る医用画像処理装置は、被検眼上で測定光を放射状に走査して得られた、被検眼の複数箇所にそれぞれ対応する複数の断層画像、及び各断層画像に対応する撮影パラメータを取得する取得部と、撮影パラメータを用いて、撮影パラメータに対応する断層画像の形状を補正する補正部と、形状が補正された複数の断層画像を互いに位置合わせする位置合わせ部とを備える。
本発明の一実施形態によれば、放射状のスキャンにより得た複数のデータ間の位置ずれを低減することができる。
一実施形態に係る光干渉断層撮影装置の概略的な構成の一例を示す。 実施例1に係る信号処理部の概略的な構成の一例を示す。 眼部の構造と断層画像と眼底画像を説明するための図である。 実施例1に係る処理の流れの一例を示すフロー図である。 実施例1に係る走査状態の一例を説明するための図である。 実施例1に係る位置合わせの一例を説明するための図である。 実施例1に係る走査状態におけるデータの取り扱いの一例を説明するための図である。 実施例1に係る走査状態におけるデータ生成の一例を説明するための図である。 実施例1に係る三次元データから任意の断面を切り出した断層画像の一例を説明するための図である。 実施例1に係る機械学習モデルを説明するための図である。 実施例1に係る学習データを説明するための図である。 実施例1に係るユーザーインターフェースの一例を示す。 実施例1に係るユーザーインターフェースの一例を示す。 実施例2に係る走査状態の一例を説明するための図である。 実施例3乃至5に係る信号処理部の概略的な構成の一例を示す。 実施例3に係る処理の流れの一例を示すフロー図である。 実施例4に係る被検眼に入射する測定光と断層画像データの一例を示す。 実施例4に係る処理の流れの一例を示すフロー図である。 実施例4に係る実形状補正処理を説明するための図である。 実施例5に係る処理の流れの一例を示すフロー図である。 実施例5に係るユーザーインターフェースの一例を示す。 実施例5に係るユーザーインターフェースの一例を示す。
以下、本発明を実施するための例示的な実施形態及び実施例を、図面を参照して詳細に説明する。ただし、以下の実施形態及び実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量や結合重み付け係数を自ら生成する深層学習(ディープラーニング)も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例及び変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。さらに、正解データとは、学習データ(教師データ)の出力データのことをいう。
なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ(学習データ)を用いてトレーニング(学習)を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
ここで、本発明の一実施形態に係る、被検体を撮影する光干渉断層撮影装置(OCT装置)について説明する。本実施形態に係るOCT装置は、第1の波長帯域の光を被検体に照射する照射部を有する。ここで、第1の波長帯域は、例えば、400nm〜700nmである。また、照射部は、例えば、対物レンズを含む照明光学系である。
また、OCT装置は、照射手段により照射した光に関する被検体からの戻り光に基づいて、被検体の平面画像を取得する平面画像取得部を有する。さらに、OCT装置は、例えば、第1の波長帯域の光を照射した被検体からの戻り光を、撮像光学系を介して結像することで、該被検体の撮像を行う撮像部を有する。平面画像取得部は、撮像部の出力信号に基づいて、該被検体の平面画像を取得することができる。
また、OCT装置は、第1の波長帯域よりも長い第2の波長帯域を掃引させながらレーザ光を射出する光源を有する。ここで、第2の波長帯域は、例えば、980nm〜1100nmである。また、光源は、例えば、SS−OCTの波長掃引光源である。
さらに、OCT装置は、照射手段により光源から射出されたレーザ光に基づく測定光を照射した被検体からの戻り光と、該測定光に対応する参照光とを合波した光に基づいて、該被検体の断層画像を取得する断層画像取得部を有する。断層画像取得部は、SS−OCTに係る断層画像を取得することができる。以下、OCT装置についてSS−OCT装置を例として説明するが、OCT装置はこれに限らない。例えば、SD−OCT(Spectral domain OCT)、PS−OCT(Polarization Sensitive OCT)、AO−OCT(Adaptive Optics OCT)など撮影方式の異なるOCT装置であってもよい。
なお、本発明に係るOCT装置は、被検眼、皮膚、又は内臓等の被検体について測定を行う装置に適用することができる。また、被検体が被検眼の眼底である場合、平面画像は眼底画像のことである。また、本発明に係るOCT装置としては、例えば、眼科装置や内視鏡等であり、その一例として眼科装置について、図面を用いて詳細に説明する。
(実施例1)
以下、図1乃至図11Bを参照して、本発明の実施例1に係るOCT装置について説明する。図1は、本実施例におけるOCT装置の概略的な構成例を示す。OCT装置には、OCT光学系(SS−OCT光学系)100、SLO(Scanning Laser Ophthalmoscope:走査型検眼鏡)光学系140、前眼部撮像部160、内部固視灯170、及び制御装置200が設けられている。
<OCT光学系の構成>
まず、図1を参照して、OCT光学系100の構成について説明する。OCT光学系100には、光源101、偏光コントローラ103、ファイバカプラ104,106、及びPM(Power Meter)131が設けられている。また、OCT光学系100には、コリメータ117、Xスキャナ107、レンズ108,109、Yスキャナ110、ファイバカプラ126、及び差動検出器(balanced receiver)129が設けられている。さらに、OCT光学系100には、コリメータ120−a,120−b、分散補償ガラス121、コヒーレンスゲートステージ122、及びミラー123−a,123−bが設けられている。
光源101は、可変波長光源であり、例えば、中心波長1040nm、バンド幅100nmの光を出射する。光源101から出射される光の波長は、制御装置200の制御部191によって制御される。より具体的には、制御部191による制御に基づいて、光源101から出射される光の波長が掃引される。このため、制御部191は、光源101から出射される光の波長の掃引を制御する制御手段の一例として機能する。なお、光源101から射出される光の波長は、一定の周期で掃引されることができ、フーリエ変換する際の計算上の制約から、波数(波長の逆数)が等間隔になるように掃引されることができる。
光源101から出射された光は、ファイバ102及び偏光コントローラ103を介して、ファイバカプラ104に導かれる。ファイバカプラ104は、入射した光を分割して、光量を測定するためのPM131に接続されるファイバ130と、OCT測定するための光学系に接続されるファイバ105に出射する。光源101から出射された光は、ファイバ130を介し、PM131に入射する。PM131は、入射した光の光量(パワー)を測定する。
ファイバ105に入射した光はファイバカプラ106に導かれる。ファイバカプラ106は、入射した光を、測定光(OCT測定光とも言う)と参照光に分割し、測定光をファイバ118に出射し、参照光をファイバ119に出射する。
偏光コントローラ103は、光源101から出射された光の偏光の状態を調整するものであり、当該偏光状態を直線偏光に調整する。ファイバカプラ104の分割比は、99:1であり、ファイバカプラ106の分割比は、90(参照光):10(測定光)である。なお、分割比はこれらの値に限定されるものではなく、他の値とすることも可能である。
ファイバカプラ106で分割された測定光は、ファイバ118を介してコリメータ117から平行光として出射される。コリメータ117から出射された測定光は、眼底Efにおいて測定光を水平方向(紙面上下方向)にスキャンするガルバノミラーから構成されるXスキャナ107、及びレンズ108を介して、レンズ109に到達する。さらに、レンズ109を通った測定光は、眼底Efにおいて測定光を垂直方向(紙面奥行き方向)にスキャンするガルバノミラーから構成されるYスキャナ110を介し、ダイクロイックミラー111に到達する。また、ダイクロイックミラー111は、例えば950nm〜1100nmの光を反射し、それ以外の光を透過する特性を有する。
ここで、Xスキャナ107及びYスキャナ110は、制御装置200の駆動制御部180により制御され、眼底Ef上の所望の範囲の領域を測定光により走査することができる走査部を構成する。なお、Xスキャナ107及びYスキャナ110は、他の任意の偏向ミラーを用いて構成されてもよい。
ダイクロイックミラー111により反射された測定光は、レンズ112を介し、ステージ116上に乗ったフォーカスレンズ114に到達する。フォーカスレンズ114を通った測定光は、被検眼の前眼部Eaを介し、測定光を眼底Efの網膜層に到達する。フォーカスレンズ114は、駆動制御部180により制御されるステージ116によって図中矢印で示される光軸方向に移動され、測定光を眼底Efの網膜層にフォーカスすることができる。ここで、光源101から被検眼までの間に配置された光学系は、光源101から出射された光を被検眼に導く照明光学系の一例として機能する。眼底Efに到達した測定光は、各網膜層で反射・散乱され、上述の光学経路を介してファイバカプラ106に戻る。眼底Efからの測定光の戻り光は、ファイバカプラ106からファイバ125を介し、ファイバカプラ126に到達する。
一方、ファイバカプラ106で分割された参照光は、ファイバ119を介してコリメータ120−aから平行光として出射される。コリメータ120−aから出射された参照光は、分散補償ガラス121を介し、コヒーレンスゲートステージ122上のミラー123−a,123−bで反射される。ミラー123−a,123−bによって反射された参照光は、コリメータ120−b及びファイバ124を介し、ファイバカプラ126に到達する。コヒーレンスゲートステージ122は、駆動制御部180によって制御され、図中矢印で示される光軸方向に移動することができる。駆動制御部180は、コヒーレンスゲートステージ122を移動させることで、参照光の光路長を変更することができ、被検眼によって異なる測定光の光路長に合わせて参照光の光路長を調整することができる。
ファイバカプラ126に到達した測定光と参照光とは合波されて干渉光となり、ファイバ127,128を経由し、光検出器である差動検出器129に入射する。差動検出器129は、干渉光を検出し、電気信号である干渉信号を出力する。ここで、被検眼から差動検出器129までの間に配置される光学系は、制御部191によって制御された掃引光に基づく測定光の被検眼からの戻り光を撮像手段に導く撮像光学系の一例として機能する。差動検出器129から出力された干渉信号は制御装置200の信号処理部190で解析される。なお、光検出器は差動検出器に限定されるものではなく、他の検出器を用いることとしてもよい。信号処理部190は、差動検出器129から出力された干渉信号に基づいて、被検眼の断層画像を生成することができる。
また、本実施例では、ファイバカプラ126において測定光と参照光とが干渉する構成となっているが、これに限定されるものではない。例えば、ミラー123−aを、参照光をファイバ119へ反射するように配置し、ファイバカプラ106において測定光と参照光とを干渉させることとしてもよい。この場合には、ファイバカプラ106が光検出器に接続され、ミラー123−b、コリメータ120−b、ファイバ124、及びファイバカプラ126は不要となる。なお、この際には光サーキュレータを用いることもできる。
<SLO光学系の構成>
次に、SLO光学系140の構成について説明する。SLO光学系140は、被検眼の眼底画像を取得する眼底画像取得部の一例として機能する。SLO光学系140には、光源141、偏光コントローラ145、コリメータ143、穴あきミラー144、レンズ155、Xスキャナ146、レンズ147,148、Yスキャナ149、レンズ150、及びAPD(アバランシェフォトダイオード)152が設けられている。
光源141は、例えば半導体レーザであり、本実施例では、例えば、中心波長780nmの光を出射する。光源141から出射されたSLO測定光は、ファイバ142を介し、偏光コントローラ145で直線偏光に調整され、コリメータ143から平行光として出射される。出射されたSLO測定光は、穴あきミラー144の穴あき部を通過し、レンズ155に到達する。レンズ155を通ったSLO測定光は、Xスキャナ146、レンズ147,148、及びガルバノミラーから構成されるYスキャナ149を介し、ダイクロイックミラー154に到達する。なお、偏光コントローラ145を設けないこととしてもよい。ダイクロイックミラー154は、例えば760nm〜800nmを反射し、それ以外の光を透過する特性を有する。
ここで、Xスキャナ146は、眼底EfにおいてSLO測定光を水平方向にスキャンするガルバノミラーから構成され、Yスキャナ149は眼底EfにおいてSLO測定光を垂直方向にスキャンするガルバノミラーから構成される。Xスキャナ146及びYスキャナ149は、駆動制御部180により制御され、眼底Ef上における所望の範囲をSLO測定光により走査できる。なお、Xスキャナ146及びYスキャナ149は、他の任意の偏向ミラーを用いて構成されてもよく、例えば、Xスキャナ146はポリゴンミラー等によって構成されてもよい。
ダイクロイックミラー154にて反射された直線偏光のSLO測定光は、ダイクロイックミラー111を透過後、OCT光学系100におけるOCT測定光と同様の光路を経由し、眼底Efに到達する。
眼底Efに照射されたSLO測定光は、眼底Efで反射・散乱され、上述の光学経路を辿り、穴あきミラー144に到達し、穴あきミラー144によって反射される。ここで、穴あきミラー144の位置は、被検眼の瞳孔位置と共役となっており、眼底Efに照射されたSLO測定光が反射・散乱された光のうち、瞳孔周辺部を通った光が、穴あきミラー144によって反射される。穴あきミラー144で反射された光は、レンズ150を介し、APD152に到達し、APD152によって受光される。APD152は、受光したSLO測定光の戻り光を電気信号に変換して、信号処理部190に出力する。信号処理部190は、APD152からの出力に基づいて、被検眼の正面画像である眼底画像を生成することができる。
<前眼部撮像部の構成>
次に前眼部撮像部160の構成について説明する。前眼部撮像部160には、レンズ162,163,164、及び前眼部カメラ165が設けられている。前眼部撮像部160で撮影を行う場合には、例えば、波長850nmの照明光を発するLED115−a,115−bを含む照明光源115が前眼部Eaに照明光を照射する。前眼部Eaで反射され光は、フォーカスレンズ114、レンズ112、ダイクロイックミラー111,154を介し、ダイクロイックミラー161に到達する。ダイクロイックミラー161は、例えば820nm〜900nmの光を反射し、それ以外の光を透過する特性を有する。なお、照明光源115は駆動制御部180によって制御されてよい。
ダイクロイックミラー161で反射された光は、レンズ162,163,164を介し、前眼部カメラ165に到達し、前眼部カメラ165で受光される。前眼部カメラ165は、受光された光を電気信号に変換し、信号処理部190に出力する。信号処理部190は、前眼部カメラ165からの出力に基づいて、被検眼の前眼部画像を生成することができる。
<内部固視灯の構成について>
次に、内部固視灯170について説明する。内部固視灯170には、固視灯表示部171、及びレンズ172が設けられている。固視灯表示部171としては、例えば複数の発光ダイオード(LD)がマトリックス状に配置されたものを用いることができる。発光ダイオードの点灯位置は、駆動制御部180の制御により撮像したい部位に合わせて変更される。固視灯表示部171からの光は、レンズ172を介し、被検眼に導かれる。固視灯表示部171から出射される光は例えば520nmの波長を有する。また、固視灯としては、駆動制御部180の制御により所望のパターンが表示されることができる。
内部固視灯170を点灯して被検眼に注視させた状態で、前眼部撮像部160により観察される被検眼の前眼部画像を用いて、装置のアライメントを行うことができる。なお、アライメントは、制御装置200によって前眼部画像を解析して自動的に行ってもよいし、前眼部画像を操作者に提示して手動で行ってもよい。アライメント完了後に、OCT光学系100及びSLO光学系140を用いた眼底の撮像が行うことができる。
<制御装置の構成について>
次に、制御装置200(医用画像処理装置)について説明する。制御装置200には、駆動制御部180、信号処理部190、制御部191、及び表示部192が設けられている。駆動制御部180は、上述の通り、OCT光学系100、SLO光学系140、前眼部撮像部160、及び内部固視灯170におけるXスキャナ107等の構成要素を制御する。
信号処理部190は、差動検出器129、APD152、及び前眼部カメラ165からそれぞれ出力される信号に基づき、画像の生成、生成された画像の解析、解析結果の可視化情報の生成等を行う。なお、画像の生成処理等の詳細については、後述する。
制御部191は、OCT装置全体を制御するとともに、信号処理部190で生成された画像等を表示部192の表示画面に表示させる。なお、信号処理部190で生成された画像データは、制御部191に有線で送信されてもよいし、無線で送信されてもよい。
表示部192は、例えば、液晶等のディスプレイ等の任意のモニタにより構成することができ、表示装置の一例として機能する。表示部192は、制御部191の制御の下、後述するように種々の情報を表示する。なお、制御部191からの画像データは、表示部192に有線で送信されてもよいし、無線で送信されてもよい。また、表示部192や制御部191等は、制御装置200に含まれているが、制御装置200とは別に設けられてもよい。なお、制御装置200は、OCT装置の専用のコンピュータとして構成されてもよいし、一般的なコンピュータを用いて構成されてもよい。また、駆動制御部180、信号処理部190、及び制御部191は、制御装置200のCPUによって実行されるソフトウェアモジュールによって構成されてもよいし、ASIC等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
また、制御部191と表示部192とを一体的に構成してもよく、例えば、ユーザが持ち運び可能な装置であるタブレットコンピュータとして構成してもよい。この場合、表示部192にタッチパネル機能を搭載させ、タッチパネル上で画像の表示位置の移動、拡大縮小、表示される画像の変更等を操作可能なように構成することができる。なお、制御部191と表示部192とが一体的に構成された場合でなくとも、表示部192にタッチパネル機能を搭載させてもよく、指示装置としてタッチパネルを用いることとしてもよい。また、制御装置200には不図示の指示装置が接続されてよく、例えば、マウスやキーボード等が接続されてよい。
次に、図2を参照して、信号処理部190における画像生成及び画像解析について説明する。図2は、信号処理部190の概略的な構成例を示す。信号処理部190には、再構成部1901、位置合わせ部1902、データ統合部1903、データ生成部1904、及び検出部1905が設けられている。
信号処理部190における再構成部1901は、差動検出器129から出力された干渉信号に対して、波数変換、高速フーリエ変換(FFT)、及び絶対値変換(振幅の取得)等を含む一般的な再構成処理を行うことで、断層画像を生成する。なお、再構成処理の方法はこれに限られず、公知の任意の方法を用いてよい。
ここで、図3(a)乃至図3(c)を参照して、OCT光学系100を用いて撮像され、再構成部1901で生成される断層画像と、SLO光学系140を用いて撮像され、信号処理部190で生成される眼底画像と、眼の構造について説明する。図3(a)は、眼球の模式図を示す。図3(a)には、角膜C、水晶体CL、硝子体V、黄斑部M(黄斑の中心部は中心窩を表す)、視神経乳頭部Dが示されている。以下においては、OCT光学系100を用いて、主に、硝子体、黄斑部、視神経乳頭部を含む網膜の後極部を撮影する場合について説明を行う。なお、説明を省略するが、OCT光学系100を用いて、角膜、水晶体の前眼部を撮影することも可能である。
図3(b)は、OCT光学系100を用いて網膜を撮影した場合の断層画像の一例を示す。図3(b)において、ASはAスキャンというOCT断層画像における画像取得の単位を表し、1つのAスキャンにより、眼底のある一点における深さ方向の断層画像が取得できる。眼底の一横断方向について測定光を走査しながら、このAスキャンを繰り返すことで、一回のBスキャンを構成する。このため、1回のBスキャンを行うことで、Aスキャンにより得られたAスキャン画像が複数集まった一つのBスキャン画像を得ることができる。ここで、Bスキャン画像のことを二次元の断層画像(あるいは断層像)と呼ぶ。
図3(b)には、硝子体V、黄斑部M、及び視神経乳頭部Dが示されている。また、図3(b)には、内境界膜(ILM)と神経線維層(NFL)との境界L1、神経線維層と神経節細胞層(GCL)との境界L2、視細胞内節外節接合部(ISOS)L3、網膜色素上皮層(RPE)L4、ブルッフ膜(BM)L5、及び脈絡膜L6が示されている。なお、図3(b)に示す断層画像の例では、横軸(OCTの走査方向(Bスキャン方向))をx軸、縦軸(深さ方向)をz軸としている。
図3(c)は、SLO光学系140を用いて取得した眼底画像の一例を示す。SLO光学系140は、眼部の眼底画像を撮影するための光学系である。なお、SLO光学系140は、SLO装置として設けられてもよい。なお、眼底画像を取得するための装置として、眼底カメラ等を設けてもよい。
図3(c)には、黄斑部M及び視神経乳頭部Dが示されており、図3(c)における太い曲線は網膜の血管を表している。眼底画像では、横軸をx軸、縦軸をy軸とする。なお、OCT光学系100とSLO光学系140に関する装置構成は、一体型でもよいし別体型でもよい。
次に、図4(a)及び図4(b)を参照して、本実施例に係る制御装置200の処理手順を示す。図4(a)は、本実施例に係る一連の動作処理の流れを示すフローチャートであり、図4(b)は、本実施例に係る三次元データ生成処理の流れを示すフローチャートである。本実施例に係る一連の動作処理が開始されると、処理はステップS401に移行する。
<ステップS401>
ステップS401では、制御装置200は、被検眼を同定する情報として被検者識別番号を外部から取得する。なお、被検者識別番号は、不図示の入力部を介して操作者によって入力されてよい。制御装置200は、被検者識別番号に基づいて、不図示の外部記憶部が保持している当該被検眼に関する情報を取得して不図示の記憶部に記憶する。なお、記憶部は、制御装置200に設けられた任意のメモリや記憶媒体であってよい。
<ステップS402>
ステップS402では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者によるスキャン開始の指示に応じて行われてよい。制御装置200は、スキャン開始の指示が入力されると、駆動制御部180によりXスキャナ107及びYスキャナ110の動作を制御し、OCT光学系100を用いて被検眼のスキャンを行う。
Xスキャナ107及びYスキャナ110の向きをそれぞれ変更すると、装置座標系における水平方向(X)及び垂直方向(Y)のそれぞれの方向に測定光を走査することができる。このため、Xスキャナ107及びYスキャナ110の向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することができ、眼底平面上の任意の方向に測定光を走査することができる。
制御装置200の制御部191は、撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、制御部191は、内部固視灯170の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、及びフォーカスに関するパラメータを少なくとも設定する。駆動制御部180は、設定された撮影パラメータに基づいて、固視灯表示部171の発光ダイオードを制御して、黄斑部や視神経乳頭部など所望の箇所で撮影を行うように内部固視灯170の位置を制御する。なお、内部固視灯170の位置は非図示のユーザーインターフェースを用いて操作者が指示できるものとし、制御部191は操作者の指示に応じて、内部固視灯170に位置を設定することができる。
また、本実施例に係る制御部191は、スキャンパターンとして放射状スキャンのスキャンパターンを設定する。また、制御部191は、撮影パラメータとして、放射状スキャンに係る走査線の数や位置、走査の順番を設定することもできる。なお、制御部191は、操作者の指示に応じてこれら撮影パラメータを設定してもよいし、所定の撮影モード毎に設定された撮影パラメータを自動で設定してもよい。これら撮影パラメータの調整終了後、操作者が非図示の撮影開始を選択する等の指示を行うことで、制御装置200は被検眼の撮影を開始する。
ここで、図5(a)乃至図5(d)を参照して、本実施例における放射状スキャンについて説明する。図5(a)乃至図5(d)は、放射状スキャンの走査線の一例を示している。矢印は走査する方向を示している。なお、走査する方向は図に示した方向ではなく逆向きでもよい。
図5(a)には、説明の都合により12本の走査線を示すが、放射状スキャンから三次元データを構築することを目的とする場合、図5(b)に示すように、密に走査線を設定した方がよく、走査線数nを例えば90本以上とすることができる。走査線数nが90の場合、360度の円形領域を2度の間隔で走査することを意味している。走査線数nが12の場合だと、15度間隔であるため、nを増やすことで高密度に撮影することができる。
さらに、放射状スキャンを実行する順番は図5(a)に示すように隣接する走査線の順番である必要はなく、任意の順番であってよく、例えば、図5(c)や図5(d)に示すような順番でもよい。図5(c)に示す例は、90度間隔で順番にスキャンを行う例であり、図5(d)に示す例は、隣接する走査線との時間差を最小となるようにスキャンを行う例である。例えば、図5(a)に示す例では、1回目の走査と12回目の走査では、走査線は隣接するものの、走査線について走査を行う時間は間に11回の走査を含むため、比較的大きくなる。これに対し、図5(c)に示す例では、隣接する走査線について走査が行われる時間間隔は、最大でも2回の走査にかかる時間で済むことになる。隣接する走査線に関する時間間隔を短くすることで、隣接する走査線について走査を行って取得した隣接する断層画像間の位置ずれを低減することができる。なお、放射状スキャンにおける走査線の順番を変えることで、例えば血流速度が速い人等について血流計測をより適切に対応できる等の利点が期待できる。
<ステップS403>
ステップS403では、再構成部1901が差動検出器129から出力された干渉信号に対して、上述した再構成処理を行うことで、断層画像を生成する。まず、再構成部1901は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は、例えば検出した複数のAスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、再構成部1901は、有限区間でフーリエ変換した場合にトレードオフの関係となる、深さ分解能とダイナミックレンジとを最適化するために、所望の窓関数処理を行う。次に、再構成部1901は、FFT処理を行うことによって、断層画像を生成する。なお、上述のように再構成処理はこれに限られず、公知の任意の方法により行われてよい。
<ステップS404>
ステップS404では、三次元データの生成を行う。以下、図4(b)のフローチャート及び図6(a)乃至図11を参照して、三次元データの生成に関して詳細に説明する。三次元データの生成処理が開始されると、処理はステップS441に移行する。
<ステップS441>
ステップS441では、断層画像の位置合わせを行うために、検出部1905が網膜の境界線を検出する。位置合わせを行うための層として、例えば、図3(b)に示したILMとNFLの境界L1と、視細胞内節外節接合部L3を検出する。検出部1905は、処理対象とする断層画像に対して、メディアンフィルタとSobelフィルタをそれぞれ適用して画像を作成する(以下、メディアン画像、Sobel画像とする)。次に、作成したメディアン画像とSobel画像から、Aスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Sobel画像では勾配のプロファイルとなる。そして、Sobel画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界線を検出する。なお、境界線の検出方法はこれに限られず、公知の任意の方法を用いてよい。例えば、検出部1905は、機械学習モデルに関する学習済モデルを用いて断層画像から境界線を検出してもよい。この場合、学習済モデルに関する学習データとしては、例えば、断層画像を入力データとし、該断層画像について医師等が境界線のラベルを付したラベル画像を出力データとしてもよい。
<ステップS442>
ステップS442では、位置合わせ部1902が隣接する断層画像の位置合わせを行う。高密度な放射状スキャンを撮影している間に眼は動いている。XY面内の移動に関しては、リアルタイムにトラッキングを行いながら撮影を行うため、撮影時にほとんど位置合わせができている。しかしながら、深さ方向に関しては、リアルタイムトラッキングをしていないため、断層画像同士のデータ間で位置合わせを行う必要がある。そのため、ここでは放射状スキャンによって得られた断層画像のデータ間の位置合わせに関して、図6(a)乃至図6(c)を用いて説明する。
図6(a)は、位置合わせに用いる境界線の例を示している。本実施例においては、位置合わせに、内境界膜(ILM)と神経線維層(NFL)の境界L1の線(以下、単に境界線L1という)を用いる場合について説明する。なお、本実施例においては、位置合わせに用いる境界線として境界線L1を使用する例について説明を行うが、境界線の種類はこれに限らない。他の境界線でもよいし、複数の境界線を組み合わせてもよい。
図6(a)において、基準データをIndexc、対象データをIndexc−1としている。なお、本実施例では、最初の基準データは放射状スキャンの1回目のスキャンに関する断層画像に関する境界線L1のデータ(画像)とする。また、対象データは基準データに対して円周方向で隣接する断層画像(基準データの走査線に隣接する走査線に対応する断層画像)に関する境界線L1のデータ(画像)としている。ただし、最初の基準データは1回目のスキャンの断層画像のデータに限られず、任意に設定されてよい。
図6(b)は、位置合わせ処理を説明するための図である。図6(b)は、基準データの境界線L1と位置合わせ対象のデータの境界線L1’とを同時に示している。まず、位置合わせ部1902は、基準データ及び対象データを所定数の領域に分割する。本実施例では、境界線L1に関する基準データ及び対象データのそれぞれについて縦方向に12分割する。ここで、分割されたそれぞれの領域を領域Area0〜Area11とする。なお、図6(b)では、簡略化のため、画像中心部に分割領域を描画していないが、実際には画像全体を領域分割している。
なお、領域の分割数は12に限られず任意に設定されてよい。また、領域の分割数は横方向の画像サイズに応じて変更してもよいし、共通して検出した境界線の横幅のサイズに応じて変更してもよい。本実施例では簡単のため、基準データと対象データにおける横方向の境界線のサイズを同じとしているが、実際には、網膜層が断層画像の上方向にずれ(z軸で0の方向)、網膜層の一部領域が画像から欠損する場合がある。その場合には、画像全体では境界線が検出できない。そのため、境界線同士の位置合わせにおいては、基準データの境界線L1と位置合わせ対象の境界線L1’について、境界線が検出できている範囲を分割して位置合わせしてもよい。
次に、位置合わせ部1902は、領域Area0〜Area11のそれぞれについて、境界線L1と境界線L1’との深さ方向(Z方向)の位置の差を求める。図6(b)における上下方向の矢印Difference1は、境界線L1と境界線L1’との深さ方向の差を表す。位置合わせ部1902は、各領域におけるAスキャン画像に対応するデータ毎に、境界線L1と境界線L1’との深さ方向の位置の差を求め、各領域における当該差を平均し、各領域の差の代表値D1〜D11とする。
次に、位置合わせ部1902は、各領域で求めた代表値D0〜D11を小さい順にソートする。位置合わせ部1902は、ソートした代表値を小さい順から8個選択し、選択した8個の代表値を用いて平均値と分散値を算出する。なお、本実施例では、選択数は8個としたが、選択数はこれに限定されない。選択数は分割数よりも小さければよい。
ここで、位置合わせ部1902は、平均値と分散値の計算は、ソートした代表値について、選択する組み合わせを代表値が大きい方へ一つずつずらして、繰り返し計算する。言い換えると、位置合わせ部1902は、ソートした代表値の1番目に小さい値から8番目に小さい値までについて平均値と分散値を計算したら、次に、2番目に小さい値から9番目に小さい値までについて平均値と分散値を算出する。位置合わせ部1902は、この処理を、5番目に小さい数から12番目に小さい数までについての平均値と分散値の算出まで行う。本実施例では、12個に分割した領域のうち8個の代表値を用いて計算を行うため、全部で5種類の平均値と分散値が求まる。
位置合わせ部1902は、求めた5種類の分散値の中で最小となる分散値を算出した際の8個の差分の代表値を用いて深さ方向のシフト値を求める。これについて、図6(c)と数1を用いて説明する。図6(c)は、横軸は走査方向における分割領域の中心位置(座標)を示し、縦軸は差分の代表値を示すグラフである。図6(c)において、黒丸は分散値が最小となった組み合わせに関する代表値の例であり、黒三角は分散値が最小となった組み合わせとして選択されなかった代表値の例を示している。
位置合わせ部1902は、数1に示す式に基づいて、分散値が最小となった組み合わせに関する代表値(図6(c)における黒丸)を用いて、基準データの境界線L1と対象データの境界線L1’間における各Aスキャンの深さ方向のシフト値を算出する。
Figure 2021083919
ここで、数1に示す式においてDは深さ方向のシフト値であり、xは走査方向における位置(座標)、すなわちAスキャン位置である。
また、数1におけるaとbに関して、下記の数2と数3に示す。
Figure 2021083919
Figure 2021083919
数2及び数3において、iは選択された代表値を特定する番号であり、xiは走査方向における選択された代表値に対応する分割領域の中心位置(座標)、Diは選択された代表値である。なお、nは選択した代表値の数であり、本実施例においてnは8となる。
位置合わせ部1902は、算出したシフト値を用いて、対象データに対応する断層画像をシフトさせ、基準データに対応する断層画像とこれに隣接する断層画像の位置合わせを行う。本実施例のように、位置合わせ時に領域を分割し、分割した領域の差分値の組み合わせにおいて最もバラつきが小さくなる値を用いることで、境界線の検出に誤りがあったとしても、境界線の検出の誤りを含む領域の値はシフト値の算出に使用しない。そのため、安定して深さ方向のシフト値を算出することができる。なお、各領域の深さ方向の代表値として平均値を用いたが中央値でもよく、代表的な任意の種類の値を用いることができればよい。さらに、バラつきを示す値として分散値を算出したが、標準偏差を算出してもよく、当該値は値のバラつきを評価できる指標であればよい。
この処理に関して、位置合わせ部1902は、基準データと対象データを変えながら全ての隣接する断層画像のデータに関して位置合わせを行う。本実施例では、最初の基準データを、最初に撮影したデータ(例えば、図5(a)の走査線1に対応するデータ)から検出した境界線のデータとする。また、対象データを、基準データの円周方向で隣のデータ(図5(a)の走査線2に対応するデータ)から検出した境界線のデータとする。そして、これらの基準データ及び対象データに対応する断層画像の位置合わせが終了したら、次に、先ほど対象データとしたデータ(図5(a)の走査線2に対応するデータ)を基準データとして、さらにその隣のデータ(図5(a)の走査線3に対応するデータ)を対象データとして位置合わせを行う。この処理を放射状スキャンの1周分、全ての断層画像のデータに対して行う。
なお、図5(a)に示す放射状スキャンにおいて、最初と最後のスキャンが隣接する境界線データ(図5(a)の走査線1及び12に対応するデータ)で位置合わせを行う場合、撮影時の走査方向が逆向きである。そのため、これらの二次元の断層画像で位置合わせを行う場合、画像の左右を反転して位置合わせを行うことができる。
また、1周分の複数の断層画像について位置合わせをした結果、最初と最後のスキャンに対応する断層画像間で位置ずれが生じる場合がある。この場合には、最初と最後のスキャンに対応するデータ間に生じた位置ずれ量(シフト値)を逆方向に戻すことで全体的に補正を行うことができる。例えば、最初と最後のスキャンに対応するデータ間に生じた位置ずれ量が+5ピクセルで、放射状スキャンの枚数が100枚だとした場合、1枚ずつ位置ずれ量を+0.05ピクセル補正する。例えば、走査線100の位置ずれ量が+5ピクセル、走査線99の位置ずれ量が+4.95ピクセル、走査線98の位置ずれ量が+4.9ピクセル、というように補正量を走査線ごとに算出する。そして、隣接する断層画像同士の間で求めた位置ずれ量と、補正量とを統合して、それぞれの断層画像の位置ずれ量を求める。位置合わせ部1902は、このように算出したそれぞれの断層画像の位置ずれ量に基づいて、それぞれの断層画像をシフトさせて、断層画像同士の位置合わせを実行することもできる。
本実施例では、深さ方向の位置合わせを行う方法の一例について示したが、この方法に限らない。例えば、放射状スキャンの場合、断層画像の中心付近で全ての断層画像が交差する。そのため、断層画像の中心のAスキャンデータ(あるいは中心付近の複数のAスキャンデータを含む)を用いて深さ方向の位置合わせを行うようにしてもよい。この場合、最初に撮影した断層画像の位置を基準にして位置を合わせるようにしてもよいし、複数の断層画像の中で、網膜の位置が一番下だが画像内には網膜が入っている断層画像を基準に位置合わせを行うようにしてもよい。さらには、上述したように境界線のデータを用いて深さ方向だけではなく横方向にも移動させて最も境界線の位置が合う場所を検出してもよいし、断層画像の画像特徴を用いて断層画像面内の横方向と深さ方向の位置合わせをしてもよい。画像特徴を用いた位置合わせでは、例えば、画像にROI(関心領域)を設定し、隣接する断層画像間のROI同士の類似度による位置合わせを行ってもよい。この際、ROIとしては画像全体よりは小さいが網膜層を含むような領域を設定する。あるいは、画像から特徴点を検出して特徴点同士の位置合わせとしてもよい。さらには、二次元の断層画像を深さ方向に投影することで1次元の画像を生成し、1次元の画像とSLO画像との画像特徴による位置合わせをするようにしてもよい。なお、これらの位置合わせ方法は一例であり、公知の任意の方法により、断層画像の位置合わせを行ってよい。
<ステップS443>
ステップS443では、データ統合部1903が放射状にスキャンして取得し、位置合わせを行った断層画像を三次元空間に配置するとともに、複数の断層画像に関するデータの統合を行う。当該処理に関して、図7(a)乃至(c)を参照して説明する。
図7(a)は、放射状にスキャンした複数の断層画像702を、三次元空間701に配置した例を示す。複数の断層画像702は、ステップS442において位置合わせを行っているので、データ統合部1903は、三次元空間において、走査線毎に対応する位置合わせ済みの断層画像を配置する。なお、データ統合部1903は、ステップS442で算出した位置合わせパラメータに基づいて断層画像の位置ずれ補正を行うように、三次元空間に走査線毎に対応する位置合わせ前の断層画像を配置してもよい。
放射状スキャンを行う場合、スキャンの中心位置では走査線が密になるためAスキャンが密になり、周辺では走査線が疎になるためAスキャンは疎になる。Aスキャンが密になると、走査線に対応する断層画像が互いに交差することとなり、断層画像が交差する位置では、Aスキャンデータを重複して取得することとなる。そのため、データ統合部1903はAスキャンが密になるスキャンの中心付近において、重複したAスキャンデータの統合処理を行う。当該処理に関して、図7(b)及び図7(c)を参照して説明する。
図7(b)及び図7(c)は、放射状スキャンにおいてXY面の中心の領域を一部拡大した例であり、図7(b)は4回スキャン、図7(c)は6回スキャンの場合を示している。図7(b)及び図7(c)において、黒い四角712はスキャンした位置、白い四角704はスキャンしていない位置、斜線の四角705は複数回スキャンした位置を示している。図7(c)に示すように、スキャン回数(走査線数)が増えることにより、複数回Aスキャンを行う領域が大きくなる。言い換えると、被検眼のより正確な形状に対応する三次元データを構築するためにスキャン本数を増やすと、中心部ではスキャン密度が高くなり、スキャンデータが重複していくこととなる。
そこで、データ統合部1903は、図7(b)及び図7(c)で示す斜線の四角705の領域におけるAスキャンデータの統合処理を行って代表値を定め、当該代表値を対応する斜線領域の四角705の領域のAスキャンデータとすることができる。例えば、データ統合部1903は、斜線領域の四角705の領域における複数のAスキャンデータを統合し、当該領域の代表値とすることができる。統合方法は、対応する領域において取得した全てのAスキャンデータを用いて平均値、重み付け平均値、中央値、最大値、又は最小値等を算出する統計的な計算によりデータを統合する方法を用いてよい。あるいは、取得したAスキャンデータそれぞれで相関値を計算し、相関値の高いAスキャンデータだけを用いて平均値、重み付け平均値、中央値、最大値、又は最小値等を算出する統計的な計算によりデータ統合をしてもよい。
また、データ統合部1903は、データの統合処理として、複数のAスキャンデータの中から1つのAスキャンデータを選択して、代表値を定めてもよい。選択方法として、最初に取得したAスキャンデータ、中間に取得したAスキャンデータ、又は最後に取得したAスキャンデータなど、取得したタイミングに応じてAスキャンデータを選択してよい。あるいは、取得したAスキャンデータそれぞれで相関値を計算し、最も相関値の平均値が高いAスキャンデータ、又は最も相関値のばらつきが低いAスキャンデータなど、計算を行った結果に応じてAスキャンデータを選択してもよい。
なお、データ統合部1903は、データの統合を行うAスキャン位置を、撮影パラメータに含まれる走査線の数や角度間隔、撮影範囲、及び1Bスキャンに含まれるAスキャン数等に応じて定めてよい。例えば、データの統合を行うAスキャン位置を上述の撮影パラメータを対応付けたテーブルを用意し、データ統合部1903は、当該テーブルを参照して、当該Aスキャン位置を定めることができる。なお、制御装置200が、各走査線を特定する番号を各走査線に対応する断層画像と関連付けて記憶しておき、データ統合部1903は、当該番号と撮影パラメータに基づいて、データの統合を行うAスキャン位置を定めてもよい。
<ステップS444>
ステップS444では、データ統合部1903が放射状にスキャンして取得した断層画像を三次元空間に配置・統合したデータに基づいて、データ生成部1904が三次元データの構築を行う。当該処理に関して、図8(a)乃至図8(c)を参照して説明する。図8(a)は図7(a)で示した実際に放射状にスキャンして取得した断層画像を配置した後に、スキャンをしていない残りの空間に対して推定断層画像803(推定Aスキャンデータ)を生成した例である。図8(b)は、スキャンして取得した断層画像702と推定断層画像803から生成された三次元データ804を示す。図8(c)は、図8(a)の放射状スキャンにおいてxy面の中心の領域を一部拡大した例であり、ひし形のパターンの四角813は、図8(a)における推定断層画像803の位置を示している。なお、図8(c)における、ひし形のパターンの四角814は、ひし形のパターンの四角813を含む面において、撮影したAスキャンデータが存在する位置を示している。
ここで、データ生成部1904が補間処理によって推定断層画像803を生成処理について説明する。データ生成部1904は、推定断層画像803について、Aスキャンデータが存在しない位置813に関しては補間処理によってAスキャンデータを推定する。補間処理によって画像を推定・生成する場合、データ生成部1904は、例えば、円周方向に沿ってAスキャンデータの補間を行う。
具体的には、データ生成部1904は、Aスキャンデータを推定する箇所における中心からの距離や角度を用いて、当該箇所の両隣の放射状にスキャンして取得した断層画像の重みづけ平均を算出して、Aスキャンデータを推定する。具体的には、データ生成部1904は、Aスキャンデータを推定する箇所の中心から当該両隣の断層画像までの円周方向における距離に応じて、両隣の断層画像の重み付け平均を算出することで、推定Aスキャンデータを生成することができる。ここで、両隣の断層画像に関する重み付けについては、Aスキャンデータを推定する箇所から断層画像までの円周方向における距離が近いほど当該断層画像のデータの比重が大きくなるような重み付けを行う。また、重みづけ平均に用いる断層画像中のデータは、例えば、当該断層画像において、Aスキャンデータを指定する箇所に最も近い位置のAスキャンデータを用いてもよいし、当該箇所に近い複数の位置のAスキャンデータの平均値や中央値等であってもよい。当該補間処理を繰り返し行うことで、データ生成部1904は三次元データ804の構築を行うことができる。
図9(a)乃至図9(c)に、放射状にスキャンした断層画像から構築した三次元データから任意の断面を切り出した断層画像の一例を示す。図9(a)は、ステップS404の三次元データ生成処理によって生成された三次元データ804と、図9(b)及び図9(c)に示す断層画像の断面位置900を示している。
図9(b)は、三次元データ804の断面位置900の断層画像を示す。図9(b)において、断層画像901は、ステップS442において位置合わせ処理を行ったデータを用いて構築した三次元データから生成した画像の一例である。また、断層画像902は、ステップS442の位置合わせ処理を行わずに構築した三次元データから生成した画像の一例である。図9(b)の断層画像902に示すように、位置合わせ処理を行わずに三次元データを構築した場合、当該三次元データから任意断面の断層画像を生成すると網膜の構造が歪んでしまう。これに対し、断層画像901に示すように、位置合わせ処理を行ったデータを用いて構築した三次元データから任意断面の断層画像を生成すると、網膜の構造のゆがみを低減することができる。
なお、図9(c)は、データ生成部1904が補間処理を行う前の三次元データから生成した断層画像であり、放射状に128回スキャンして取得した断層画像の一例を示す。断層画像911は断層画像901、断層画像912は断層画像902にそれぞれ対応している。図9(c)に示すように、放射状スキャンでは、中心部に近いほどAスキャンデータが密に取得され、周辺部ほど疎になることが分かる。
また、データ生成部1904は、補間処理によって生成した推定断層画像を機械学習モデルにより、自然な(実際的な)断層画像に推定する処理を行うこともできる。本実施例では、データ生成部1904は、予め学習を行った学習済モデルを用いて、補間処理によって生成した推定断層画像から自然な断層画像を生成する。ここで、本実施例に係るデータ生成部1904が、機械学習の一つである深層学習(ディープラーニング)を用いて、自然な断層画像を生成する例を、図10A及び図10Bを参照して説明する。
図10Aは、データ生成部1904における深層学習モデルの構成の一例として、U−net型の畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を示している。図10Aで示す構成1010は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、構成1010に含まれる層の種類としては、図10Aに示すように、畳み込み(Convolution)層、ダウンサンプリング(Downsampling)層、アップサンプリング(Upsampling)層、及び合成(Merger)層がある。
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的な処理として、例えば、Max Pooling処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的な処理としては、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
このような構成では、入力された画像1001を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力された画像1001を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で推論画像1002に成形される。
なお、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、学習データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
また、上述したようなパラメータを変更するという方法だけでなく、CNNの構成を変更することによって、CNNがより良い特性を得られる場合がある。より良い特性とは、例えば、処理の精度が高かったり、処理の時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
なお、本変形例で用いるCNNの構成1010は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するU−net型の機械学習モデルである。U−net型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報(空間情報)を、デコーダーとして構成される複数の階層において、同次元の階層(互いに対応する階層)で用いることができるように(例えば、スキップコネクションを用いて)構成される。
なお、図示はしないが、CNNの構成の変更例として、例えば、畳み込み層の後にバッチ正規化(Batch Normalization)層や、正規化線形関数(Rectifier Linear Unit)を用いた活性化層を組み込む等をしてもよい。
ここで、本実施例に係る機械学習モデルについての学習データについて説明する。本実施例では、補間処理によって生成した三次元データに含まれる断層画像を入力データとし、実際に密に走査を行って取得した三次元データに含まれる断層画像と出力データとし、これらを学習データのペアとする。当該学習データに関して、図10Bを参照して説明する。なお、学習済モデルに関しては、予め学習が行われた機械学習モデルであってよく、学習処理は予め実施例に係るOCT装置や他の装置等を用いて行われてよい。
図10Bにおいて、三次元データ1011はラスタスキャンで撮影した三次元データを示している。ラスタスキャンで撮影した三次元データから補間データを生成する際に、隣接する断層画像同士で位置合わせができている必要がある。なお、学習データの用意(作成)に関しては、例えば、位置合わせ部1902を用いてラスタスキャンで撮影した隣接する断層画像の位置合わせを行ってもよいし、他の画像処理装置等で位置合わせを行ってもよい。
三次元データ1012は、位置合わせを行った三次元データ1011において、放射状スキャンに対応するAスキャン位置のデータを残し、放射状スキャンの位置にないデータを除去した三次元データの例を示している。このため、三次元データ1012の任意断面の断層画像を生成すると、図9(c)で示した断層画像911のようになっている。
三次元データ1013は、三次元データ1012から補間処理によって生成した三次元データの例である。また、三次元データ1014は、三次元データ1011において、三次元データ1013に対応するデータを抽出したものである。ここで、三次元データ1013及び三次元データ1014は三次元データ1011を基にして生成されているため、三次元データ1013と三次元データ1014の2つのデータ間での位置合わせ処理は不要である。本実施例に係る機械学習モデルは、このように生成した三次元データ1013における補間データを含む断層画像を入力データとし、三次元データ1014の対応する断層画像を出力データとした学習データを学習する。これにより、学習済モデルは、補間処理によって推定した断層画像から、実際に撮影した断層画像を推定・生成することができる。
なお、補間処理によって推定する断層画像としては、上記の放射状スキャンに展開したものに限られない。例えば、1000Aスキャンの断層画像を500Aスキャンに間引いた後に補間処理で推論した1000Aスキャンの断層画像と、元々の1000Aスキャンの断層画像とをペアで学習するようにしてもよい。
さらに、三次元データ1012,1013,1014の生成方法は上記方法に限られない。例えば、三次元データ1011から放射状スキャンによる撮影範囲に対応する三次元データ1014を抽出し、三次元データ1014から所定の放射状スキャンに対応するAスキャン位置のデータを残し、三次元データ1012を作成してもよい。
データ生成部1904は、補間処理により推定した三次元データにおける、補間データを含む断層画像について、学習済モデルを用いて当該断層画像から生成した断層画像と置き換えることで、より自然な三次元データを構築することができる。なお、学習データの入力データを三次元データ1013とし、出力データを三次元データ1014として、学習を行った学習済モデルを用いてもよい。この場合、データ生成部1904は、学習済モデルを用いて、補間処理により推定した三次元データからより自然な(実際的な)三次元データを構築することができる。データ生成部1904により三次元データの構築が終了したらステップS405に進む。
<ステップS405>
ステップS405では、放射状スキャンで取得した断層画像から生成した三次元データを制御部191が表示部192に表示させる。本実施例における表示画面の一例を図11A及び図11Bに示す。基本的な画面の説明は、図11Aを参照して行う。図11Aには、表示画面1100が示されており、表示画面1100には、患者タブ1101、撮影タブ1102、レポートタブ1103、及び設定タブ1104が設けられている。レポートタブ1103における斜線は、レポート画面のアクティブ状態を表している。本実施例においては、撮影処理終了後に画像確認のため、レポート画面を表示する例について説明する。
レポート画面には、患者情報表示部1105、検査ソートタブ1106、検査リスト1107、及び検査リスト1108が設けられている。検査リスト1108の黒枠は選択されている検査を表し、選択されている検査データが画面に表示される。図11(a)に示される検査リスト1107には、眼底画像と断層画像のサムネイルが表示されている。また、レポート画面には、ビューモードのタブ1150,1151が設けられており、タブ1150に関するレポート画面では断層画像を表示し、タブ1151に関するレポート画面では三次元データを表示する。
ここでは、タブ1150に関するレポート画面について説明する。当該レポート画面には、SLO光学系140を用いて取得した眼底画像1110、放射状スキャンで取得した断層画像から生成した三次元データを用いて生成した正面画像(En−Face画像)1115、第1の断層画像1121、及び第2の断層画像1122が表示されている。なお、En−Face画像については後述する。
眼底画像1110上には、第1及び第2の断層画像1121,1122の走査位置1111,1112が示されており、走査位置1111,1112は、放射状にスキャンした一つの断面位置と、それに直交する断面位置を示している。第1及び第2の断層画像1121,1122には、指標1131,1132が示されており、指標1131,1132は断層画像の向きと位置を示している。また、第1及び第2の断層画像1121,1122には、縦横比1141,1142が表示されており、これは断層画像の縦横比を示している。具体的には、縦横比1141,1142は、図11Aで示す断層画像において基準となる長さ(例えば、200μm)を縦横それぞれの線で示している。
なお、制御部191は、第1の断層画像1121及び第2の断層画像1122について、不図示のユーザーインターフェースを用いて画像を切り替えて表示できるものとする。例えば、制御部191は、操作者が入力部のマウスホイールを回転させることで、眼底画像1110上に表示する断層画像の走査位置1111が時計回り又は反時計回りに変化させ、当該走査位置に対応する断層画像を連続的に切り替えて表示させることができる。この場合、第1及び第2の断層画像1121,1122は、直交の位置関係を保ったまま連動して画像が切り替えられてもよいし、それぞれの画像が独立して切り替わるようにしてもよい。
次に、図11Bを参照して、放射状スキャンにより取得した断層画像に基づいて構築した三次元データから任意の断層画像を表示する場合について説明する。図11Bは、三次元データから任意の断面を表示するために、チェックボックス1116にチェックが入っている状態の表示画面1100を示す。第1の断層画像1121は、放射状にスキャンした一つの断面の画像の例であり、第3の断層画像1123は、構築した三次元データから水平方向にスキャンした断面に相当する画像の例である。
走査位置1113は第3の断層画像1123に対応するスキャンの位置を眼底画像1110上に示しており、指標1133は第3の断層画像1123の向きと位置を示している。縦横比1143は、表示している断層画像の縦横比を示している。なお、第3の断層画像1123も同様に、不図示のユーザーインターフェースを用いて切り替えて表示できるものとする。例えば、マウスホイールを回転させることで、眼底画像1110上に表示する断層画像の位置(走査位置1113)が上下に移動して、隣接する断層画像を連続的に切り替えて表示できる。この場合、第1及び第3の断層画像1121,1123はそれぞれが独立して切り替わってよい。
図示しないが、第3の断層画像1123に対応するスキャン位置に関する任意の断面は、水平方向に限らず、垂直方向でもよいし、斜め方向であってもよい。さらに、操作者が指定した任意の直線、又は任意の曲面等であってもよい。例えば、操作者がマウス操作やタッチパネル操作により、眼底画像1110上に任意の点を指定する。眼底画像1110上の点はXY座標の点であるため、データ生成部1904は、指定された点を結ぶ直線又は曲線上に位置する複数のAスキャンデータを集めて1枚のBスキャンを生成する。制御部191は、データ生成部1904が生成したBスキャン画像を、第3の断層画像1123として表示部192に表示させる。なお、第3の断層画像1123を表示する領域は、第1の断層画像1121を表示している領域でもよい。
以上で述べた構成によれば、本実施例に係るOCT装置は、高密度で放射状にスキャンした複数の断層画像から三次元データを生成して、任意の断面の画像を表示することができる。それにより、1度の撮影データで網膜全体の状態を容易に把握することができる。
上記のように、本実施例に係るOCT装置は、信号処理部190と、位置合わせ部1902と、データ生成部1904とを備える。信号処理部190は、被検眼上で測定光を放射状に走査して得られた、被検眼の複数箇所にそれぞれ対応する複数の断層画像を取得する取得部の一例として機能する。位置合わせ部1902は、取得した複数の断層画像を、少なくとも断層画像における深さ方向において互いに位置合わせする。データ生成部1904は、位置合わせを行った複数の断層画像を用いて、三次元データを生成する。なお、本実施例において断層画像は輝度の断層画像であり、信号処理部190は、再構成部1901によって断層画像を生成して取得してもよいし、制御装置200の外部のサーバ等の外部装置から断層画像を取得してもよい。また、信号処理部190は、外部装置から干渉信号を取得し、再構成部1901によって、取得した干渉信号から断層画像を生成し取得してもよい。
また、OCT装置は、データ統合部1903を更に備える。データ統合部1903は、三次元空間において、位置合わせを行った複数の断層画像のうち少なくとも二つの断層画像が交わる位置の画素値を、該少なくとも二つ断層画像の該位置の画素値を統合した値を用いて定める。特に、データ統合部1903は、画素値を統合した値として、少なくとも二つの断層画像が交わる位置における少なくとも二つの断層画像の画素値の統計値又は該画素値のうちの1つの画素値を用いる。データ生成部1904は、複数の断層画像及びデータ統合部1903によって定められた画素値を用いて三次元データを生成する。また、データ生成部1904は、三次元データにおける、複数の断層画像に対応する複数箇所間のデータを、位置合わせを行った複数の断層画像のうちの二つを用いた補間処理により生成する。
このような構成を有する、本実施例に係るOCT装置では、放射状のスキャンにより得た複数のデータ間の位置ずれを低減することができる。また、複数の二次元の断層画像を用いて三次元データを生成する場合にも、隣接する断層画像間での位置ずれが低減されるため、データ間の位置ずれが低減された三次元データを生成することができる。それにより、1度の撮影データで網膜全体の状態を容易に把握することができる。また、放射状のスキャンにより同一箇所について重複して取得されたデータを統合して用いることで、取得したデータを効率よく利用することができる。さらに、補間処理により複数箇所間のデータを補間することで、1度の撮影データで網膜全体の厚みや状態、網膜の形状を精度良く把握することができる。
なお、本実施例に係るステップS442の位置合わせ処理では、基準データと対象データを変えながら処理を行った。しかしながら、位置合わせ処理はこれに限られない。例えば、放射状スキャンのうちの1つのスキャンに対応するデータ(断層画像)をテンプレートとして選択して、テンプレートを基準データとして、他のデータの位置を基準データに合わせてもよい。また、例えば、放射状スキャンのうちの所定のスキャン、例えば90°毎の4つのスキャンに対応するデータ(断層画像)をテンプレートとし、当該スキャンの前後45°に含まれるスキャンに対応するデータを、テンプレートに対して位置合わせしてもよい。
また、本実施例では、Aスキャン毎に位置合わせを行ったが、位置合わせは所定のAスキャンをまとめた短冊状の領域毎に行ってもよい。この場合、シフト値の算出やデータの位置の移動は、当該領域毎に行われてよい。なお、シフト値はAスキャン毎に算出したものについて、当該領域の平均値等の統計値を算出し、算出した統計値を当該領域のシフト値としてもよいし、当該領域に含まれる所定のAスキャンのシフト値を領域全体のシフト値としてもよい。また、シフト値の算出は、全てのAスキャンについて行わなくてもよく、例えば、1Bスキャンに含まれるAスキャンのうち、離散的に定められたいくつかのAスキャンについてのみシフト値の算出を行い、他のAスキャンについてはシフト値の補間値を用いてもよい。
さらに、断層画像毎に位置合わせを行ってもよい。この場合、位置合わせは各データ(断層画像)の中心のAスキャンのデータ等の代表的なAスキャンのデータのみを対比して行われてもよい。また、Aスキャン毎や所定のAスキャンをまとめた領域毎に算出したシフト値の平均値等の統計値を算出し、算出した統計値を当該データ全体のシフト量としてもよい。
また、シフト値を算出する際に対比するデータはAスキャンの全体のデータに限られない。例えば、Aスキャンに含まれる深さ方向における所定の領域の画像のデータを対比してよい。なお、基準データと対象データのうち一方は、Aスキャンデータのデータ全体を用いてもよい。同様に、複数のAスキャンをまとめた短冊状の領域のデータのうち、深さ方向における所定の領域のデータを対比してもよい。
さらに、放射状スキャンの位置合わせは、複数の断層画像についてまとめて行ってもよい。例えば、所定のスキャン回数分の断層画像毎にまとめて位置合わせを行ってもよいし、所定の角度に含まれるスキャンに対応する断層画像毎にまとめて位置合わせを行ってもよい。なお、位置合わせをまとめて行う断層画像の単位は、放射状スキャンに含まれる走査線の数に応じて動的に定められてもよいし、操作者の指示に応じて決められてもよいし、予め設定されてもよい。なお、この場合、シフト値の算出も、当該断層画像の単位ごとに行ってよい。この場合、シフト値は、当該単位に含まれる断層画像毎のシフト値の平均値等の統計値であってもよいし、当該単位に含まれる所定の断層画像のシフト値であってもよい。
またさらに、本実施例では、1組の基準データと対象データに対するシフト値を算出した都度、基準データと対象データの位置を合せたが、データの位置を合せるタイミングはこれに限られない。放射状スキャンに含まれる全てのデータについてシフト量を算出した後、一括してデータの位置を合せてもよい。この場合には、各走査線に対応するデータについて、当該データまでの基準データと対象データとの対比で求めたシフト値を累積したシフト値分だけ移動させて位置合わせを行ってよい。
なお、本実施例では、シフト値を算出する際に、最初と最後のスキャンに対応するデータ間に生じたシフト値を逆方向に戻すことで全体的に補正を行うこととした。しかしながら、当該処理は行わなくてもよい。また、当該処理はAスキャン毎でなく、複数のAスキャンをまとめた短冊状の領域毎に行ってもよいし、各走査線に対応する断層画像毎に行ってもよい。さらに、複数の走査線に対応する複数の断層画像毎に行ってもよい。
また、本実施例では、学習済モデルを用いて、放射状スキャンによる走査方向とz軸で構成される面における断層画像について、自然な(実際的な)断層画像を生成する例について説明した。しかしながら、学習済モデルを用いて生成される画像はこれに限らない。例えば、データ生成部1904が、学習済モデルを用いて、xy面における正面画像(En−Face画像)から自然な正面画像を生成してもよい。この場合には、データ生成部1904は、補間処理により生成した三次元データから生成したEn−Face画像を学習済モデルに入力し、より自然なEn−Face画像を生成する。この場合の学習データとしては、図10Bに示す、三次元データ1013から生成したEn−Face画像を入力データとし、三次元データ1014の対応する深度範囲のデータから生成したEn−Face画像を出力データとすればよい。
ここで、En−Face画像とは、三次元データの任意の深度範囲におけるデータを二次元平面(xy平面)に投影した画像をいう。ここで、En−Face画像を生成する深度範囲は、被検眼の断層画像に含まれる任意の2つの層境界で定義されることができる。また、深度範囲は操作者によってオフセット指示されることで定義されてもよい。さらに、深度範囲はある層境界を基準として浅い方向又は深い方向に所定の画素分を含む範囲として定義されてもよい。また、En−Face画像は、三次元データにおけるxy面の1断面画像などであってよい。なお、深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。ここで、代表値は、深度範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。データ生成部1904は、三次元データの少なくとも一部のデータを二次元平面に投影して正面画像であるEn−Face画像を生成することができる。
なお、本実施例では、データ生成部1904が、学習済モデルを用いてより自然な断層画像やEn−Face画像を生成するとしたが、信号処理部190が当該処理を行ってもよいし、当該処理を行うための構成要素を設けてもよい。また、学習済モデルを用いてより自然な画像を生成する処理は、必ずしも行う必要はなく、例えば、操作者の指示に応じて行うように構成されてもよい。なお、En−Face画像は、深度範囲が異なると画像中の特徴が異なることがあるため、所定の深度範囲毎に学習済モデルを用意してもよい。
(実施例2)
実施例1においては、駆動制御部180がXスキャナ107及びYスキャナ110を制御して、放射状に走査する例について説明した。本実施例では、放射状の走査に加えて、円形状に走査することで、より精度良く三次元データを生成する例について説明する。
以下、図12(a)乃至(c)を参照して、本実施例に係るOCT装置について実施例1に係るOCT装置との違いを中心に説明する。なお、本実施例に係るOCT装置の各構成要素は、実施例1に係るOCT装置の各構成要素と同様であるため、同じ参照符号を用いて説明を省略する。
図12(a)乃至(c)は、放射状スキャンと円形スキャンとを組み合わせた走査線の一例を示している。図中、矢印は走査する方向を示している。なお、走査する方向は図に示した方向ではなく逆向きでもよい。図12(a)には、説明の都合により12本の放射状の走査線と1本の円形の走査線を示す。
なお、放射状スキャンから三次元データを構築することを目的とする場合、図12(b)に示すように、密に走査線を設定した方が良く、放射状の走査線数nを例えば90本以上とすることができる。さらに、円形スキャンを位置合わせに用いるだけではなく、三次元データ構築に用いる場合、円形状の走査線数mを例えば2以上とすることもできる。
放射状スキャンと円形スキャンを組み合わせる場合、放射状スキャンを実行した後に円形スキャンを実行してもよいし、円形スキャンを実行した後に放射状スキャンを実行してもよい。あるいは、放射状スキャンを行っている途中で円形スキャンを行ってもよく、異なるスキャンパターンを実行するタイミングは一意に限定されない。
本実施例に係る三次元データ生成処理は、実施例1に係る三次元データ生成処理と比較して、位置合わせ部1902の位置合わせ処理、及びデータ統合部1903によるAスキャンデータの統合処理が異なる。そのため、本実施例ではこれらの処理に関して説明する。
本実施例では、ステップS422に係る位置合わせ処理において、まず、データ統合部1903が、円形スキャンで取得したAスキャンデータと放射状スキャンで取得したAスキャンデータを三次元空間上に配置する。その後、位置合わせ部1902は、円形スキャンを基にして放射状スキャンの位置合わせを行う。当該位置合わせ処理に関して図12(c)を参照して説明する。図12(c)は、円形スキャンと放射状スキャンにおいてXY面の一部の領域を拡大した例を示している。図12(c)において、斜線の四角1201は円形スキャンの位置、黒い四角1202は放射状スキャンの位置、白い四角1203はスキャンしていない位置、点線の円1204は円形スキャンと放射状スキャンが接する箇所を示している。
位置合わせ部1902は、円形スキャンと放射状スキャンが接する箇所(円1204)を基準に、Aスキャンデータの位置合わせを行う。当該箇所において求められた位置合わせパラメータを断層画像全体の位置合わせパラメータ(シフト値)とすることができる。円形スキャンは短い時間に連続する面を撮影しているため、1枚の画像内での位置ずれがほとんど見られない。そのため、本実施例では、位置合わせ部1902は、複数の放射状スキャンについて円形スキャンのデータを基にして位置合わせを行う。本実施例に係る位置合わせ部1902による位置合わせは、検出部1905が検出した境界線データに基づいて行われてもよいし、画像特徴量に基づいて行われてもよい。円1204に示すように、円形スキャンと放射状スキャンとが接する箇所(Aスキャン位置)が複数ある場合には、複数箇所のデータを平均したものと位置合わせを行ってもよいし、いずれか一つのデータを用いて位置合わせをしてもよい。具体的には、図12(c)の例では、黒い四角1202の端と接する斜線の四角1201の2つの画素位置(Aスキャン位置)のデータを平均したものと、黒い四角1202の端のデータを位置合わせしてよい。
また、1走査線に対応する放射状スキャンは、両端部で円形スキャンと接する。両端部の位置合わせ結果を用いて放射状スキャンの位置合わせを行う際に、位置合わせ部1902は、両端部の位置合わせパラメータの平均値を用いてもよいし、接する部分のAスキャンデータの類似度が高い方の結果を用いてもよい。あるいは、両端部の位置合わせパラメータに差が出る場合には、位置合わせ部1902は、放射状スキャンで取得した画像を両端部のパラメータ(深さ方向の位置)が合うように滑らかに画像を変形させて位置合わせをしてもよい。例えば、両端部の位置合わせパラメータの差分を1走査に含まれるAスキャン数で割って求めた値だけ、各Aスキャンデータを画像の一方の端部から累積的に(徐々に)深さ方向に移動させて、画像を変形させることができる。
本実施例では、円形スキャンを基にして放射状スキャンの位置合わせを行う例について説明したがこれに限らない。例えば、実施例1と同様に、放射状スキャンの位置合わせを先に行った後に、円形スキャンに対して放射状スキャンの位置合わせを実行するようにしてもよい。
次に、データ統合部1903による、ステップS443に係るデータの配置・統合処理について説明する。データ統合部1903は、Aスキャンが密になる中心付近と、円形スキャンと放射状スキャンとが重複する周辺箇所において、重複したAスキャンデータの統合処理を行うとともに、三次元空間において、走査線毎に対応する位置合わせ済みの断層画像を配置する。なお、データ統合部1903は、ステップS442で算出した位置合わせパラメータに基づいて断層画像の位置ずれ補正を行うように、三次元空間に走査線毎に対応する位置合わせ前の断層画像を配置してもよい。ここで、中心付近に関しては実施例1に係る処理と同様であるためここでは説明を省略する。
データ統合部1903は、円形スキャンと放射状スキャンとが重複する周辺箇所におけるデータの統合処理として、例えば、円形スキャンで取得したAスキャンデータを選択して、データの統合処理を行う箇所の代表値とする。これは、上述したように円形スキャンは短い時間に連続する面を撮影しているため、1枚の画像内での位置ずれがほとんど見られないためである。また、位置合わせ部1902により位置合わせ処理が完了しているため、データ統合部1903は、円形スキャンと放射状スキャンとが重複する周辺箇所におけるデータの統合処理として、円形スキャンのAスキャンデータと放射状スキャンのAスキャンデータとを統合して代表値を定めてもよい。統合方法として、データ統合部1903は、重複するAスキャンデータを用いて平均値、重み付け平均値、中央値、最大値、又は最小値等を算出する統計的な計算によりデータ統合をしてもよい。また、データ統合部1903は、重複するAスキャンデータそれぞれで相関値を計算し、相関値の高いAスキャンデータだけを用いて平均値、重み付け平均値、中央値、最大値、又は最小値等を算出する統計的な計算によりデータ統合を行ってもよい。
ここでは、複数の走査線を含む放射状スキャンに対応するデータと、1つの円形スキャンに対応するデータを用いた位置合わせとデータ統合について説明した。しかしながら、放射状スキャンと円形スキャンを組み合わせたスキャンに関する位置合わせ方法は、これに限られない。図12(b)に示したように、複数の放射状スキャンと複数の円形スキャンとを組み合わせてもよい。複数の円形スキャンを行う場合、放射状スキャンの範囲と重複する領域内で、それぞれの円形の直径サイズを変更することができる。
次に、本実施例に係るデータ生成部1904が補間処理によって推定断層画像(推定Aスキャンデータ)を生成する例について説明する。実施例1では、放射状スキャンだけを用いて、推定断層画像を生成する例について示したが、ここでは放射状スキャンと円形スキャンとを用いた例について説明する。特に、データ生成部1904が、円形スキャン(斜線の四角1201)の内側にあるAスキャンデータが存在しない位置(白い四角1203)に関して、補間によってAスキャンデータの推定する例について説明する。
当該位置に関する推定断層画像を補間処理によって生成する場合、データ生成部1904は、例えば、円周方向と法線方向に沿ってデータの補間を行う。より具体的には、データ生成部1904は、Aスキャンデータを推定する箇所における中心からの距離と角度を用いて、当該箇所の両隣(円周方向)の放射状スキャンの断層画像、及び円周方向と直交する法線方向にある円形スキャンの断層画像の重みづけ平均を算出して、Aスキャンデータを推定する。具体的には、データ生成部1904は、Aスキャンデータを推定する箇所から当該特定した両隣の断層画像までの円周方向における距離、及び当該特定した円形スキャンの断層画像までの法線方向の距離に応じて重みづけ平均を算出することで、推定Aスキャンデータを生成することができる。ここで、重み付けについては、Aスキャンデータを推定する箇所からの距離が近いほど当該断層画像のデータの比重が大きくなるような重み付けを行う。また、重みづけ平均に用いる断層画像中のデータは、例えば、当該断層画像において、Aスキャンデータを指定する箇所に最も近い位置のAスキャンデータを用いてもよいし、当該箇所に近い複数の位置のAスキャンデータの平均値や中央値等であってもよい。これらの補間処理を繰り返し行うことで、データ生成部1904は三次元データの構築を行うことができる。なお、以降の処理は、実施例1と同様であるため説明を省略する。
上記のように、本実施例に係る信号処理部190は、被検眼上で測定光を円形状に走査して得られた、被検眼の少なくとも一箇所に対応する断層画像を更に取得する。また、位置合わせ部1902は、測定光を円形状に走査して得られた断層画像を基準として、測定光を放射状に走査して得られた複数の断層画像を位置合わせする。
以上で述べた構成によれば、本実施例に係るOCT装置では、放射状のスキャンにより得られた複数の断層画像について、短い時間に連続する面を撮影する円形状のスキャンにより得られた断層画像を基準として位置合わせを行う。このため、放射状スキャンにより得られた複数の断層画像をより精度良く位置合わせを行うことができる。このため、位置合わせ後の断層画像から三次元データを生成することで、より正確な三次元データを生成することができる。これにより、1度の撮影データで網膜全体の厚みや状態、網膜の形状をより精度良く取得することができる。
(実施例3)
実施例1及び2においては、駆動制御部180がXスキャナ107及びYスキャナ110を制御して、放射状及び円形状に走査して断層画像を取得する例について説明した。本実施例では、これらの走査により断層画像を取得するとともに、モーションコントラスト画像を生成する。以下、図13乃至図14(b)を参照して、本実施例に係るOCT装置について、実施例1に係るOCT装置との違いを中心について説明する。本実施例に係るOCT装置の各構成要素は、信号処理部190において、モーションコントラスト画像生成部1906が更に設けられている点を除いて、実施例1に係るOCT装置の各構成要素と同様であるため、同じ参照符号を用いて説明を省略する。
図13は、実施例3乃至5に係る信号処理部190の構成の概略的な構成例を示している。本実施例に係る信号処理部190には、再構成部1901、位置合わせ部1902、データ統合部1903、データ生成部1904、及び検出部1905に加えて、モーションコントラスト画像生成部1906が設けられている。なお、図13には、その他に画像補正部1907及び解析部1908が示されているが、これらについては、実施例4及び5において説明する。
モーションコントラスト画像生成部1906は、生成された断層画像に基づいてモーションコントラストデータを生成し、断層画像に対応するモーションコントラスト画像を生成する。モーションコントラスト画像とは、上述のように、測定対象の同一断面をOCTで繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータである。モーションコントラスト画像は、例えば、複素OCT信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得ることができる。本実施例に係るモーションコントラストデータの生成方法は後述する。
次に、図14(a)及び図14(b)を参照して、本実施例に係る一連の動作処理及び三次元データ生成処理について説明する。図14(a)は、本実施例に係る一連の動作処理の流れを示すフローチャートであり、図14(b)は、本実施例に係る三次元データ生成処理の流れを示すフローチャートである。本実施例では、簡単のため、実施例1と同様に放射状スキャンを行う場合について説明する。ただし、実施例2のように円形スキャンを組み合わせてもよい。本実施例に係る一連の動作処理に関して、ステップS401の被検眼情報取得処理、ステップS403の断層画像生成処理、及びステップS406の終了判断処理は実施例1に係るそれぞれの処理と同様であるため説明を省略する。以下、本実施例に係るステップS1402の撮影処理、ステップS1403のモーションコントラスト画像生成処理、ステップS1404の三次元データ生成処理、及びステップS1405の表示処理について説明する。
ステップS401において被検眼情報が取得されると、処理はステップS1402に移行する。ステップS1402では、断層画像からモーションコントラスト画像を生成するために、駆動制御部180が、Xスキャナ107及びYスキャナ110を制御して放射状に走査する際に、同一走査線を複数回(少なくとも2回以上)繰り返し走査する。
ステップS403において、再構成部1901は、同一走査線を繰り返し走査することで取得した干渉信号に基づいて、各走査線について複数の断層画像を生成する。なお、再構成部1901は、三次元データの生成に用いる断層画像を生成する場合には、同一の走査線について生成した複数の断層画像を加算平均した断層画像を生成してもよい。また、複数の断層画像のうちの1つの断層画像を三次元データの生成に用いる断層画像としてもよい。複数の断層画像が生成されたら、処理はステップS1403に移行する。
ステップS1403では、モーションコントラスト画像生成部1906が、同一走査線について生成された複数の断層画像に基づいて、モーションコントラスト画像(モーションコントラストの断面画像)の生成を行う。モーションコントラスト画像生成部1906は、まず被検眼の同一範囲(同一走査線)で撮影された複数の断層画像間の位置ずれを補正する。位置ずれの補正方法は任意の方法であってよい。例えば、モーションコントラスト画像生成部1906は、同一範囲をM回撮影し、同一箇所に相当する断層画像同士について、眼底形状等の特徴等を利用して位置合わせを行う。具体的には、M個の断層画像のうちの1つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の断層画像との類似度を求め、テンプレートとの位置ずれ量を求める。その後、モーションコントラスト画像生成部1906は、求めた位置ずれ量に基づいて、各断層画像を補正する。
次にモーションコントラスト画像生成部1906は、各断層画像に関する撮影時間が互いに連続する2つの断層画像間で数4に示す式により脱相関値M(x,z)を求める。なお、脱相関値を求める際に用いる2つの断層画像は、所定の撮影時間内に撮影された断層画像であればよく、撮影時間が互いに連続していなくてもよい。
Figure 2021083919
ここで、A(x,z)は断層画像Aの位置(x,z)における輝度、B(x,z)は断層画像Bの同一位置(x,z)における輝度を示している。なお、位置座標xは走査方向(断層画像の横方向)の位置を示し、位置座標zは深さ方向(断層画像の縦方向)の位置を示しており、位置座標xはx軸方向の位置に限られない。
脱相関値M(x,z)は0〜1の値となり、2つの輝度の差が大きいほどM(x,z)の値は大きくなる。モーションコントラスト画像生成部1906は、同一位置で繰り返し取得したMが3以上の場合には、同一位置(x,z)において複数の脱相関値M(x,z)を求めることができる。モーションコントラスト画像生成部1906は、求めた複数の脱相関値M(x,z)の最大値演算や平均演算などの統計的な処理を行うことで、最終的なモーションコントラスト画像を生成することができる。なお、繰り返し回数Mが2の場合、最大値演算や平均演算などの統計的な処理は行わず、二つの断層画像A,Bの脱相関値M(x,z)が、位置(x,z)におけるモーションコントラストデータの値となる。モーションコントラスト画像生成部1906は、断層画像の各画素位置についてモーションコントラストデータを生成し、モーションコントラストデータを対応する画素位置に配置することで、断層画像に対応するモーションコントラスト画像を生成することができる。
数4に示したモーションコントラストデータの計算式はノイズの影響を受けやすい傾向がある。例えば、複数の断層画像の無信号部分にノイズがあり、互いに値が異なる場合には、脱相関値が高くなり、モーションコントラスト画像にもノイズが重畳してしまう。これを避けるために、モーションコントラスト画像生成部1906は、前処理として、所定の閾値を下回る断層画像のデータはノイズとみなして、ゼロに置き換えることもできる。これにより、モーションコントラスト画像生成部1906は、生成されたモーションコントラストデータに基づいて、ノイズの影響を低減したモーションコントラスト画像を生成することができる。
ステップS1404では、信号処理部190は、断層画像による輝度の三次元データと、モーションコントラストの三次元データを生成する。当該三次元データの生成処理に関して、図14(b)のフローチャートを参照して説明する。図14(b)のフローチャートにおいて、ステップS1441は実施例1のステップS441と同様であるため、説明を省略する。ステップS1441において、検出部1905が網膜の境界線を検出したら処理はステップS1442に移行する。
ステップS1442では、位置合わせ部1902が隣接する断層画像の位置合わせを行う。なお、位置合わせ部1902は、ステップS1442の位置合わせについて、実施例1で説明した位置合わせを行い、放射状スキャンにおいて隣接する走査線に対応する断層画像の位置合わせパラメータを算出する。また、モーションコントラスト画像は、断層画像から生成されるため、断層画像を用いて求めた位置合わせパラメータを適用可能である。
ステップS1443では、データ統合部1903が放射状にスキャンして取得した断層画像を三次元空間に配置するとともに、複数の断層画像からデータの統合を行う。ステップS1443のデータ配置・統合は、実施例1で説明した処理と同様に行われてよい。なお、データ統合部1903は、モーションコントラスト画像に関しても同様に、各Aスキャンにおいて断層画像において処理をした統合処理と同じ処理を適用することができる。
ステップS1444では、データ統合部1903が放射状にスキャンして取得した断層画像、及びモーションコントラスト画像を三次元空間に配置・統合したデータに基づいて、データ生成部1904が三次元データの構築を行う。ステップS1444における三次元データの構築は、実施例1で説明した処理と同様の処理で行われてよい。なお、データ生成部1904は、モーションコントラスト画像に関しても同様に、補間処理によって推定モーションコントラスト画像を生成することができる。また、データ生成部1904は、実施例1で説明した処理と同様に、学習済モデルを用いて、補間により生成したモーションコントラスト画像から自然なモーションコントラスト画像を生成する処理を行ってもよい。
なお、モーションコントラスト画像から自然なモーションコントラスト画像を生成するための学習済モデルに関する学習データは、実施例1で説明した学習データについてモーションコントラスト画像を用いて生成したものを用いることができる。
ステップS1405では、放射状スキャンで取得した断層画像と、モーションコントラスト画像から生成した三次元データを制御部191が表示部192に表示させる。表示部192に表示させる画像は、図11(a)で説明した例と同様に、放射状にスキャンした断層画像やモーションコントラスト画像とすることができる。なお、モーションコントラスト画像は、そのまま表示することも可能だが、閾値以上の値を断層画像に重畳して表示することができる。
また、図11(b)で説明した例と同様に、制御部191は、放射状スキャンから構築した三次元データから任意の断層画像やモーションコントラスト画像を表示部192に表示させることができる。なお、任意の位置のモーションコントラスト画像に関しても同様に、閾値以上の値を断層画像に重畳して表示することができる。
また、モーションコントラスト画像を撮影している場合、モーションコントラストデータを二次元平面に投影したモーションコントラスト正面画像であるOCTA画像も生成し、表示することが可能である。OCTA画像の生成に関して、データ生成部1904は、モーションコントラスト画像の三次元データにおける、指定された深度範囲上端と深度範囲下端との範囲に対応するモーションコントラスト画像を二次元平面上に投影し、OCTA画像を生成することができる。
具体的には、モーションコントラスト画像の三次元データのうち、指定された深度範囲上端と深度範囲下端の間の範囲に対応するモーションコントラスト画像に基づいて、その範囲内のモーションコントラスト画像を平均値投影(AIP)又は最大値投影(MIP)などの処理を行う。これにより、データ生成部1904は、モーションコントラスト画像の正面画像であるOCTA画像を生成することができる。なお、OCTA画像を生成する際の投影方法は平均値や最大値に限らない。データ生成部1904は、最小値、中央値、分散、標準偏差、又は総和などの値を用いてOCTA画像を生成してもよい。
制御部191は、データ生成部1904が生成したOCTA画像を表示部192に表示させる。OCTA画像は、眼底画像1110に重畳して表示してもよいし、En−Face画像1115と切り替えて表示してもよい。
上記のように、本実施例に係るOCT装置は、複数の断層画像を用いてモーションコントラスト画像を生成するモーションコントラスト画像生成部1906を更に備える。また、信号処理部190は、複数箇所について所定時間内に同一箇所を走査して得られた断層画像群を取得し、モーションコントラスト画像生成部1906は、得られた断層画像群を用いてモーションコントラスト画像を生成する。さらに、位置合わせ部1902は、複数の断層画像に対応する複数のモーションコントラスト画像を互いに位置合わせし、データ生成部1904は、位置合わせを行った複数のモーションコントラスト画像を用いて三次元データを生成する。また、データ生成部1904は、モーションコントラストデータを用いて生成した三次元データからモーションコントラスト正面画像であるOCTA画像を生成する。なお、信号処理部190は、制御装置200の外部のサーバ等の外部装置からモーションコントラスト画像を取得してもよい。
以上で述べた構成によれば、本実施例では、高密度で放射状に走査して得た複数の断層画像とモーションコントラスト画像を生成し、モーションコントラスト画像の位置ずれを低減することができる。また、位置合わせを行ったモーションコントラスト画像から三次元データを生成して、任意の断面を表示することもできる。それにより、1度の撮影データで網膜全体の状態や血管の状態を容易に把握することができる。
また、上記の方法では二つの値の脱相関値を演算することによってモーションコントラストデータを取得したが、二つの値の差分に基づいてモーションコントラストデータを求めてもよいし、二つの値の比に基づいてモーションコントラストデータを求めてもよい。また、断層画像の画素値(輝度値)の分散値に基づいてモーションコントラストデータを求めてもよい。さらに、上記では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラストデータを得ているが、複数の脱相関値や差分、比の最大値や中央値等を最終的なモーションコントラストデータとしてもよい。
また、本実施例では、実施例1と同様に放射状スキャンにより得たモーションコントラストデータについての位置合わせ等について説明した。これに対し、実施例2と同様に、放射状スキャンと円形状スキャンにより得たモーションコントラストデータについての位置合わせ等は、各処理を実施例2と同様に行えばよい。なお、モーションコントラストデータの生成処理やOCTA画像の生成処理については、本実施例で説明したものを適用できる。
(実施例4)
実施例1乃至3においては、駆動制御部180がXスキャナ107及びYスキャナ110を制御して、放射状、さらには円形状に走査して断層画像やモーションコントラスト画像を取得する例について説明した。ここで、一般的なOCT装置によって取得した断層画像は空間的な形状を正しく表示していない。これに関して、図15を参照して説明する。
図15は、一般的なOCT装置によって取得した断層画像の表示について説明するための図である。一般的に断層画像はスキャンミラーの角度に対応したデータを平行に並べて生成される。図15において、点Pはピボットポイントを示し、光線は常に瞳孔の中央部の点Pを通る。ここで、ピボットポイントは、測定光が被検眼に入射する入射点に対応する点であり、測定光の走査部(スキャンミラー)と共役な点である。図15において、撮影データ1501はスキャンミラーの角度に対応したデータの一例を示しており、画像データ1502は、撮影データ1501を平行に並べて表示する例である。すなわち、一般的なOCT装置で撮影した断層画像は、略扇状である撮影データ1501を画像データ1502のように平行に並べて表示している。そのため、画像データ1502は、被検眼の実形状に対してスキャン歪みがある。
さらに、一般的なOCT装置では断層画像を表示する際に、走査する範囲(撮影範囲)が異なっている場合でも、断層画像のアスペクト比を同じにして表示している。例えば、画像データ1502に関して、幅Wが20mmで深さHが5mm、及び幅Wが15mmで深さHが5mmの2種類の異なる範囲を走査した断層画像があった場合でも、これら断層画像は表示画面に設定されている画面領域に同じアスペクト比で表示される。実形状に近い断層画像を表示するには、横方向(s)と縦方向(z)のピクセルサイズを1:1にする必要がある。ここで、断層画像の横方向に関するsは走査方向に沿った方向を示す。
図11A及び図11Bで示す例では、縦横比1141,1142,1143に示したように断層画像の縦横比は1:1ではなく、横方向よりも深さ方向を引き延ばして表示している。これは、撮影時の走査範囲(s)の方が、深さ範囲(z)よりも広く撮影できることが多く、1:1の縦横比で断層画像を画面上に表示しようとする場合、網膜内層が薄く表示されてしまうためである。そのため、実形状よりも網膜内層の構造に注目するために、一般的なOCT装置で取得され表示される断層画像には、実形状に対してアスペクト比歪みがある。
そのため、本実施例では、OCT装置により取得した断層画像及びモーションコントラスト画像に対して補正処理を実行して、実形状に近い三次元の断層画像及び実形状に近い三次元のモーションコントラスト画像を含む三次元データを生成し、表示する。以下、図13、及び図16乃至図17(b)を参照して、本実施例に係るOCT装置について、実施例3に係るOCT装置との違いを中心について説明する。本実施例に係るOCT装置の各構成要素は、信号処理部190において、画像補正部1907が更に設けられている点を除いて、実施例3に係るOCT装置の各構成要素と同様であるため、同じ参照符号を用いて説明を省略する。
図13は、実施例3乃至5に係る信号処理部190の構成の概略的な構成例を示している。本実施例に係る信号処理部190には、再構成部1901、位置合わせ部1902、データ統合部1903、データ生成部1904、検出部1905、及びモーションコントラスト画像生成部1906に加えて、画像補正部1907が設けられている。なお、図13には、その他に解析部1908が示されているが、これについては、実施例5において説明する。
画像補正部1907は、断層画像及びモーションコントラスト画像について、実形状補正処理を行う。ここで、実形状補正処理とは、上述した被検眼の実形状に対するスキャン歪みを補正する処理をいう。
次に、図16乃至図17(b)を参照して、本実施例に係る一連の動作処理について説明する。本実施例に係る一連の動作処理は、モーションコントラスト生成処理の後に実形状補正処理を行う点と、実形状補正後の画像を表示する点以外、実施例3に係る一連の動作処理と同様である。そのため、実施例3の処理と同様の処理については同じ参照符号を用いて説明を省略する。ステップS1403において、モーションコントラスト画像生成部1906がモーションコントラスト画像を生成したら、処理はステップS1604に移行する。
ステップS1604では、画像補正部1907が、生成された断層画像及びモーションコントラスト画像について、実形状補正処理を行う。画像補正部1907は、実形状補正処理として、公知の任意の方法を用いてよい。画像補正部1907は、例えば、特許文献2乃至4に記載されるような実形状補正方法を用いてよい。以下、これらの実形状補正処理のいくつかの例について説明する。
(実形状補正)
上述のように、断層画像に示される眼底の形状と実際の眼球における眼底Efの形状は異なる。具体的には、通常の断層画像はスキャンミラーの角度に対応したデータを平行に並べて生成されるが、実際には、これらの画像データはスキャンの中心(ピボットポイント)を中心とする極座標上に表されるべき画像データである。
そこで、1つ目の実形状補正処理の例では、二次元座標でデータを並べて生成された断層画像に含まれるデータを、ピボットポイントを中心とする極座標上に並び替えることで、断層画像を補正する。特に、被検眼の光学的な情報(屈折要素の屈折率及び入射角に対する走査角の関係等)と光路長とを用いて断層画像を補正することにより、実形状に近い被検眼の断層画像を生成する。より具体的には、ピボットポイントから網膜層までの光学的距離を被検眼内の屈折要素の屈折率で除した値、及び眼底Efにおける測定光の網膜到達点(照射位置)とピボットポイントとを結ぶ線分と測定光軸との成す角度を求める。その後、求めた値及び角度をパラメータとして、ピボットポイントを原点とする極座標を用いて断層画像を補正する。なお、以下において、Bスキャン画像上の点の明るさ(画素値)は、スキャンミラーの角度θiと、網膜と参照光学系の光路長との差分であるhjをパラメータとしてImage(θi,hj)で表すものとする。
以下、1つ目の実形状補正処理の例について、図17(a)を参照して説明する。当該例では、ピボットポイントP1からコヒーレンスゲート位置Cgまでの距離をRmxLとし、コヒーレンスゲート位置Cgから網膜Reまでの距離をhjとし、これらを硝子体の屈折率Nvitで除することで、被検眼中のそれぞれの実距離(RmxL’,hj’)を算出する。この場合、被検眼の眼軸長に対応するピボットポイントP1から網膜面Reまでの距離pvlは、pvl=RmxL’−hj’として算出することができる。
また、眼底Efにおける測定光の網膜到達点とピボットポイントP1とを結ぶ線分と測定光軸との成す角度θi’を算出する。ピボットポイントP1が被検眼の後側主平面と一致している場合には、角度θi’は、θi’=asin{(sinθi)/Nvit}とすることができる。
一方で、ピボットポイントP1が後側主平面と異なる場合には、ピボットポイントP1と後側主平面の距離δpvを用いて角度θi’を算出する。この場合、眼の焦点距離をfeye、角膜頂点から前側主点までの距離をol、角膜頂点からピボットの結像位置(スキャンミラー共役位置)までの距離をinpvとすると、δpv=(1/feye−1/(ol−ipv))^(−1)×Nvitとできる。なお、ピボットの結像位置はピボットポイントに対応する。
コヒーレンスゲート面上の測定光の到達位置と被検眼の後側主点Rfとを結ぶ線分と、虹彩面とピボットポイントP1を通過する光とは、光軸(眼軸)が網膜Reと交わる点を通り光軸に垂直な面上で交わる。このため、ピボットポイントP1と後側主点Rfとの距離をδpvとすると、角度θi’は、θi’=atan((δpv+pvl)×tan(refθi)/pvl)と表すことができる。ここで、refθi=asin(sin(θi)/Nvit)である。
このようにして算出した、距離RmxL’,hj’及び角度θi’を用いることで、直交するx,z座標に関する実形状を表す画像データをImage(x,z)と表すことができる。ここで、x=(RmxL’−hj’)×sin(θi’)であり、z=RmxL’−{(RmxL’−hj’)×cos(θi’)}である。
当該処理により、被検眼の実形状に近い断層画像を生成することができる。なお、上記処理において、被検眼の眼軸長に対応するピボットポイントから網膜面までの距離を参照光の光路長に基づいて求めるとしたが、眼軸長を別個の装置によって求めてもよい。
また、2つめの実形状補正の例では、被検眼の角膜表面と対物レンズ表面との距離であるワーキングディスタンスに基づいて、Bスキャン画像におけるAスキャン画像毎の深度方向の位置を補正する。ワーキングディスタンスが距離gだけ変化すると、網膜から見た測定光の回転中心(ピボットポイント)から網膜までの距離f(g)及び走査角θ(g)が変化する。ここで、距離gはワーキングディスタンスの設計値からの距離を示す。一方で、走査範囲Wはほぼ変わらないため、網膜から見た走査角θ(g)は、以下の式のような関係を有する。
Figure 2021083919
ここで、被検眼についてBスキャンを行う場合、コヒーレンスゲート位置の軌跡は扇形の弧を描く。そのため、Bスキャンにおけるj番目のAスキャンを行った場合、当該Aスキャンに対応するコヒーレンスゲート位置をz軸上に投影すると、z軸上のコヒーレンスゲート位置に対してz軸方向において変化量d(g)が生じることとなる。この場合、変化量d(g)は、以下の式により算出することができる。
Figure 2021083919
ここで、スキャナは、ワーキングディスタンスが設計値から距離gだけ異なる場合の走査角θ(g)を用いて、θ(g)/(N−1)ずつ回転するものとする。また、jはN−1を満たす整数、Nは主走査方向のAスキャン数である。
このようにして求めたd(g)に対し、被検眼内の屈折要素の屈折率nを乗算した後、ピクセル分解能で除することで、各Aスキャン位置におけるz軸方向の補正値を算出することができる。
また、被検眼に対し、測定光のアライメント偏芯が生じている場合には、アライメント偏芯に起因して網膜に対する測定光の入射角度及び測定光の光路長変化が生じる。このような場合に関して、断層画像のひずみを軽減する3つめの実形状補正処理の例について説明する。当該例では、まず、アライメント偏芯量δxを取得する。アライメント偏芯量δxは、既知の任意の方法で求めることができる。例えば、前眼部画像に現れる角膜輝点に基づいてアライメント偏芯量δxを求めてもよいし、前眼部画像における被検眼の虹彩の模様に基づいてアライメント偏芯量δxを求めてもよい。また、電動ステージの移動量に基づいてアライメント偏芯量δxを求めてよい。
そして、アライメント偏芯量δx、及び被検眼の眼軸長に対応するピボットポイントから網膜面までの距離pvlを用いて、アライメント偏芯に起因する網膜に対する測定光の入射角度変化量δθを求める。ここで、入射角度変化量δθは、δθ≒δx/pvlとして求めることができる。
また、被検眼への測定光の入射角θiをスキャンミラーの角度の情報から求め、アライメント偏芯量δx及び入射角θiから、アライメント偏芯に起因する測定光の光路長変化量δzを求める。ここで、光路長変化量δzは、δz=δx×sinθiとして求めることができる。
このようにして求めた入射角度変化量δθ及び光路長変化量δzに基づいて、断層画像について実形状補正を行うことができる。より具体的には、光路長変化量δzに基づいて、各Aスキャン位置に対応する画素位置を、深さ方向に移動させることができる。また、入射角度変化量δθに基づいて、各Aスキャン位置に対応する画素位置を回転させることができる。これにより、アライメント偏芯に起因して生じる光路長変化量δz及び入射角度変化量δθに基づく断層画像のひずみを軽減することができる。また、このようなアライメント偏芯の補正を行った断層画像について、1つ目の例で述べた実形状補正処理を行うこともできる。
これらの処理により、画像補正部1907は、断層画像について、実形状に関するスキャン歪みを補正することができる。特に、2つ目の例では被検眼と対物レンズのワーキングディスタンスの違いによる断層画像の形状の違いを補正でき、3つ目の例では、被検眼とアライメント偏芯に起因する断層画像の歪みを補正することができる。また、モーションコントラスト画像についても、同様の処理により、実形状補正処理を行うことができる。
なお、上述の例では、x軸方向のスキャンにより得られた断層画像に関する実形状補正の方法を説明した。これに対し、ラジアルスキャンを行う場合には、上述のように走査方向に応じて、Xスキャナ107及びYスキャナ110によりx軸方向及びy軸方向に測定光を偏向してスキャンを行う。そのため、走査角度θに関して、x軸方向の走査角度及びy軸方向の走査角度を考慮した合成角度を用いて同様の処理を行うことで、実形状補正処理を行うことができる。なお、Xスキャナ107とYスキャナ110の構成・配置によっては、それぞれによる測定光のピボットポイントが互いに異なる場合がある。そのため、x軸方向の走査角度及びy軸方向の走査角度を考慮した合成角度を用いて実形状補正処理を行う場合には、Xスキャナ107とYスキャナ110に関するピボットポイントのうちより角膜側(装置側)のピボットポイントを基準に処理を行うことができる。なお、ピボットポイントの位置は、装置構成から求められてもよいし、実測値に応じて求められてもよい。
また、Xスキャナ107及びYスキャナ110によりx軸方向のみ又はy軸方向にのみ測定光を偏向する走査に関しては、上述の実形状補正の方法をそのまま適用すればよい。ただし、y軸方向にのみ測定光を偏向する走査に関しては、上述のように、Yスキャナ110によるピボットポイントの位置を考慮して補正を行うことができる。
実形状補正処理が終了すると、処理はステップS1404に移行する。ステップS1404では、実施例3と同様にデータ生成部1904等により三次元データを生成する。この際、実形状補正後の断層画像やモーションコントラスト画像に基づいて処理が行われることにより、被検眼の実形状に近い三次元データを生成することができる。なお、データ生成部1904が、上述した学習済モデルを用いた処理を行う場合には、学習データとして実形状補正を行った断層画像から構成された三次元データに含まれる断層画像を用いる。これにより、実形状補正後の断層画像を用いた三次元データを学習済モデルに入力し、実形状に近いより自然な三次元データを生成することができる。
三次元データ生成処理が終了すると、処理はステップS1605に移行する。ステップS1605では、生成された三次元データ等を用いて、制御部191が表示部192に断層画像等を表示させる。上記のように、三次元データは被検眼の実形状に近いデータとなっているため、制御部191は、三次元データを任意に切り出した断層画像やモーションコントラスト画像に関して、被検眼の実形状に近い画像を、表示部192に表示させることができる。これにより、操作者は、スキャン歪みが低減された画像を確認することができる。
また、制御部191は、断層画像やモーションコントラスト画像に関する縦横のアスペクト比を1:1として、これら画像を表示させることができる。これにより、操作者は、アスペクト比歪みが低減された画像を確認することができる。なお、制御部191は、画面例を図示しないが、図11に示した表示画面1100と同様の画面に断層画像やモーションコントラスト画像を表示することができる。
図17(b)には、上記処理により、スキャン歪みとアスペクト比歪みが低減された断層画像の一例を示す。図17(b)には、一般的なOCT装置で表示される断層画像1711、及び断層画像1711に対してピクセルの縦横比(アスペクト比)を1:1に補正した断層画像1712が示されている。また、図17(b)には、断層画像1711に対してアスペクト比歪みとスキャン歪みを低減した断層画像1713が示されている。このような画像を提示することで、操作者は、被検眼の実形状に近い被検眼の画像を確認することができる。
上記のように、本実施例に係るOCT装置は、画像補正部1907を更に備える。信号処理部190と、被検眼上で測定光を放射状に走査して得られた、被検眼の複数箇所にそれぞれ対応する複数の断層画像、及び各断層画像に対応する撮影パラメータを取得する。画像補正部1907は、取得した撮影パラメータを用いて、当該撮影パラメータに対応する断層画像の形状を補正する。また、位置合わせ部1902は、形状が補正された複数の断層画像を互いに位置合わせする。本実施例において、撮影パラメータは、測定光の走査情報、被検眼と対物レンズとの距離、及び測定光の光軸に対する被検眼の偏芯量の少なくとも1つを含む。ここで、測定光の走査情報としては、放射状スキャンの走査線の位置や長さ、走査部の角度等を含んでよい。また、撮影パラメータについては、制御部191で設定された撮影パラメータを取得してもよいし、制御装置200の外部装置から取得してもよいし、OCT装置と被検眼との間の実測値として取得してもよい。
例えば、画像補正部1907は、測定光の走査情報、測定光を走査する走査部と共役である被検眼内の位置、及び被検眼内の屈折要素の屈折率を用いて、断層画像の形状を補正する。また、画像補正部1907は、被検眼と対物レンズとの距離及び測定光の光軸に対する被検眼の偏芯量の少なくとも一方を用いて、断層画像の形状を補正してもよい。
以上で述べた構成によれば、本実施例に係るOCT装置では、高密度で放射状に走査した複数の断層画像に対して実形状補正処理を行うことで、実形状に近い複数の断層画像について位置ずれを低減することができる。また、位置ずれが低減された複数の断層画像を用いて三次元データを生成して、任意の断面を表示することができる。これにより、操作者は、網膜全体の状態を実形状に近い画像として把握することができる。このため、1度の撮影データで網膜全体の厚みや状態、網膜の形状をより精度良く把握することができる。
なお、画像補正部1907がモーションコントラスト画像について形状を補正し、位置合わせ部1902が複数のモーションコントラスト画像について位置合わせを行ってもよい。この場合には、実形状に近い複数のモーションコントラスト画像について位置ずれを低減することができ、位置ずれが低減された複数のモーションコントラスト画像を用いて三次元データを生成して、任意の断面を表示することができる。これにより、操作者は、血管の状態等を実形状に近い画像として把握することができる。
なお、本実施例では、画像補正部1907が実形状補正処理を行った断層画像及びモーションコントラスト画像に対して、三次元データ生成処理を行う例について説明したがこれに限らない。三次元データ生成を行った後に、画像補正部1907が断層画像、及びモーションコントラスト画像に対して実形状補正処理を行う構成とすることも可能である。
また、上述の実形状補正処理の方法では、二次元の断層画像又はモーションコントラスト画像について実形状補正を行うことについて説明したが、三次元データについて同様の実形状補正処理を行ってもよい。なお、三次元画像上の点の明るさ(画素値)は、Xスキャナ107の走査角度θxi、Yスキャナ110の走査角度θyi、網膜と参照光学系の光路長との差分であるhkをパラメータとしてImage(θxi,θyi,hk)で表すものとする。この場合には、実形状補正処理(ステップS1604)は、三次元データ生成処理(ステップS1404)の後に行われることができる。
ここで、Xスキャナ107に関するピボットポイントからコヒーレンスゲート位置までの距離をRmxl、Yスキャナ110に関するピボットポイントからコヒーレンスゲート位置までの距離をRmylとする。この場合、上記二次元の断層画像等に対する処理と同様の原理により、直交するx,y,z座標に関する実形状を表す画像データをImage(x,y,z)と表すことができる。ここで、x=(RmxL’−hk’)×cos(θyj’)×sin(θxi’)であり、y=(RmyL’−hk)×cos(θxi’)×sin(θyj’)であり、z=RmxL’−{(RmxL’−hk’)×cos(θxi’)×(θyj’)}である。
なお、本実施例では、実施例3との違いを中心と説明したが、本実施例に係る実形状補正処理は、実施例1及び2に係るOCT装置にも適用することができる。また、本実施例では、実形状補正によるスキャン歪みの補正と、表示時のアスペクト比歪みの補正の両方を行う構成としたが、片方のみを行う構成としてもよい。
(実施例5)
実施例1乃至4においては、放射状、さらには円形状に走査して断層画像及びモーションコントラスト画像を取得し、画像補正部1907が実形状補正処理を行った断層画像及びモーションコントラスト画像から三次元データを生成する例について説明した。本実施例では、これら断層画像又はモーションコントラスト画像に対して解析処理を実行する例について説明する。
以下、図13、図18乃至図19Bを参照して、本実施例に係るOCT装置について、実施例4に係るOCT装置との違いを中心について説明する。本実施例に係るOCT装置の各構成要素は、信号処理部190において、解析部1908が更に設けられている点を除いて、実施例4に係るOCT装置の各構成要素と同様であるため、同じ参照符号を用いて説明を省略する。
図13は、実施例3乃至5に係る信号処理部190の構成の概略的な構成例を示している。本実施例に係る信号処理部190には、再構成部1901、位置合わせ部1902、データ統合部1903、データ生成部1904、検出部1905、モーションコントラスト画像生成部1906、及び画像補正部1907に加えて、解析部1908が設けられている。
解析部1908は、断層画像やモーションコントラスト画像、三次元データについて画像解析処理を行う。解析部1908は、例えば、断層画像や三次元の断層画像から、境界線の曲率や網膜の厚み等を計測したり、モーションコントラスト画像や三次元のモーションコントラスト画像から、血管密度や血管形状等を計測したりすることができる。
次に、図18乃至図19Bを参照して、本実施例に係る一連の動作処理について説明する。本実施例に係る一連の動作処理は、三次元データ生成処理後に解析処理を行う点と、解析結果等を表示する点以外、実施例4に係る一連の動作処理と同様である。そのため、実施例4の処理と同様の処理については同じ参照符号を用いて説明を省略する。ステップS1404において、データ生成部1904が三次元データを生成したら、処理はステップS1805に移行する。
ステップS1805では、予め定められていた設定や操作者の指示に応じて、解析部1908が、断層画像やモーションコントラスト画像、三次元データについて画像解析処理を行う。上述のように、解析部1908は、例えば、境界線の曲率や網膜の厚み、血管密度、血管形状等について解析を行うことができる。なお、解析方法は、公知の任意の方法であってよい。
一例として、解析部1908が、断層画像を用いて網膜の曲率を計測する場合について説明を行う。断層画像において、横軸をx座標、縦軸をz座標とし、形状解析の対象となる層(RPE)の境界線の曲率を計算する。ここで、横軸をx座標としたが、当該座標はx軸に沿ったものに限られず、単に断層画像の横方向の座標を示すものである。曲率κは境界線の各点において、数5の式に従って求めることができる。曲率κの符号で上に凸か下に凸かが分かり、数値の大きさで形状の曲がり具合が分かる。例えば、上に凸を+、下に凸を−とした場合、各断層画像において、曲率の符号が−領域、+領域、−領域となる場合はW形状となる。
Figure 2021083919
なお、ここでは、断層画像の境界線で曲率を計算する場合を示した。しかしながら、曲率計算はこれに限らず、三次元データから形状解析の対象となる層の境界線の三次元の曲率を計算するようにしてもよい。
また、解析部1908は、解析対象の形状解析後、解析結果に基づいて解析マップとして曲率マップを作成することができる。曲率マップでは、例えば、単位面積当たりの曲率が大きい箇所の色を濃く、単位面積当たりの曲率が小さい箇所の色は薄く表現することができる。なお、曲率マップに設定する色は、曲率値0を基準に正負で色を変えることができる。このため、網膜形状が滑らかなのか、上に凸形状か下に凸形状なのかが曲率マップを見ることで把握することができる。なお、解析マップにおいて、解析結果を色で表現するだけではなく、解析結果の数値を表示させることもできる。
ステップS1806では、制御部191が、断層画像やモーションコントラスト画像、三次元データ、解析結果となる各種マップ画像等を表示部192に表示させる。これに関して、図19A及び図19Bに本実施例に係る表示画面1900の一例を示す。なお、図19A及び図19Bにおいて、図11A及び図11Bに示す項目と同様の項目については同じ参照符号を用いて説明を省略する。
図19Aに示す表示画面1900には、解析マップ1915、チェックボックス1916,1917、断層画像1921,1922、及び縦横比1941,1942が示されている。チェックボックス1916は、画像補正部1907による、スキャン歪みを低減するための実形状補正処理の適用有無を選択するための選択手段の表示である。また、チェックボックス1917は、制御部191による、アスペクト比歪み補正処理の適用有無を選択するための選択手段の表示である。なお、表示上の選択手段はチェックボックスである必要はなく、右クリックメニュー表示やリスト選択など、任意のものでよい。
断層画像1921,1922はそれぞれ、実形状補正処理及びアスペクト比補正処理を適用した場合の断層画像である。また、断層画像1921,1922には、モーションコントラスト画像1951,1952が重畳表示されている。画像補正部1907は、チェックボックス1916が選択された場合、図に示すように、断層画像及びモーションコントラスト画像の両方に実形状補正処理を行ってよい。縦横比1941,1942は表示している断層画像の縦横比を示しており、断層画像1921,1922ではアスペクト比歪みを補正しているため、縦横比は1:1である。なお、断層画像毎に補正処理の適用の有無を選択するための選択手段が設けられてもよい。
解析マップ1915は、解析部1908によって生成された、解析結果を示すマップ画像である。マップ画像は、例えば、上述した曲率マップや、層厚マップ、血管密度マップ等であってよい。なお、解析マップ1915は、チェックボックス1916(RealShape)のチェック有無によって値や色の変化はする。一方で、チェックボックス1917(RealScale)のチェック有無によって値や色の変化はない。これは、アスペクト比歪みは断層画像の表示の問題であり、一般的なOCT装置において解析値を計算する場合、計算上ではアスペクト比に関係ない数値で計算を行っているためである。これに対し、実形状補正処理の有無に応じて断層画像に表れる組織の形状が変化するため、チェックボックス1916のチェックの有無に応じて解析結果が変わる。そのため、例えば、網膜の形に関する解析を行う場合には、より正確な解析結果を得るために、実形状補正処理を行うことができる。なお、解析処理に関しては、曲率だけではなく、網膜厚み、血管密度、及び血管形状等を、実形状補正処理したデータに対してそれぞれ解析することが可能である。
図19Bに示す表示画面1900は、三次元データを表示する表示画面の一例である。図19Bに示す表示画面1900では、実形状補正処理及びアスペクト比補正処理を適用した三次元のボリュームデータ1925が示されている。図19Bにおいては、例えば、RPE層のみを表示する場合の例を示している。なお、表示している三次元データに対して、上述した曲率値を色で表現してもよい。すなわち、解析マップ1915を二次元平面ではなく、三次元のボリュームデータ1925の形と色を同時に表現してもよい。
上記のように、本実施例に係るOCT装置は、位置合わせを行った断層画像について画像解析を行う解析部1908を更に備える。このような構成によれば、本実施例に係るOCT装置は、高密度で放射状に走査した複数の断層画像とモーションコントラスト画像に対して補正処理を行い、補正を行ったデータに対して解析を実行することができる。それにより、操作者は網膜全体の状態や血管の状態を実形状に近い数値として定量的に把握することができる。
断層画像やモーションコントラスト画像について実形状補正を行う場合には、眼底形状のより詳細な解析を行うことができる。被検眼の実形状に近い形状の断層画像やモーションコントラスト画像を生成することで、例えば画像診断等における網膜層の曲率半径及び層厚等の解析をより適切に行うことができる。
なお、本実施例では、実施例4との違いを中心と説明したが、本実施例に係る実形状補正処理は、実施例1乃至3に係るOCT装置にも適用することができる。また、本実施例では、実形状補正処理を行った画像について解析処理を行う構成としたが、解析処理を行う対象はこれに限られない。解析部1908は、実形状補正処理を行っていない断層画像やモーションコントラスト画像、三次元データについて解析処理を行ってもよい。この場合でも、操作者は網膜全体の状態や血管の状態を定量的に把握することができる。
(変形例1)
上述した様々な実施例において、測定光を放射状に走査して得た断層画像、又は放射状と円形状に走査して得た断層画像から三次元データを生成する例について説明した。これに対して、測定光を水平方向や垂直方向に走査(ラスタスキャン)した断層画像と、測定光を放射状又は円形状に走査して得た断層画像とを組み合わせて、正確な三次元データを生成してもよい。この場合、測定光を水平方向や垂直方向に走査して得た断層画像に対して、交差する位置で、別の走査により得た断層画像を用いて位置合わせを行うことができる。なお、位置合わせ処理やデータ統合処理、主走査と副走査方向でのAスキャン間隔が等方でない場合の画像補間処理等は上述した実施例で説明した処理と同様に行うことが可能である。
(変形例2)
上述した様々な実施例において、測定光を放射状に走査して得た断層画像、又は放射状と円形状に走査して得た断層画像から三次元データを生成する例について説明した。これに対して、必ずしも三次元データを生成して表示する必要はなく、表示するデータは、密に撮影した放射状スキャンの画像としてもよい。言い換えると、上述した実施例においてチェックボックス1116を設けない構成としてもよい。ただし、表示をしないだけで、解析などのために内部では三次元データを生成してもよい。生成した三次元データは必ずしも保存する必要はなく、実行の度に生成してもよい。
(変形例3)
上述した様々な実施例において、機械学習を用いて、補間で生成した断層画像から実際に撮影したような断層画像を生成する例について示した。これに対して、機械学習モデルを用いて、三次元データに関する補間処理自体を行ってもよい。例えば、敵対的生成ネットワーク(GAN:Generative Adversarial Networks)を用いて画像を生成することができる。GANは、生成器(Generator)と識別器(Discriminator)という二つのニューラルネットワークで構成される。生成器は訓練データと同じようなデータを生成しようとし、識別器はデータが訓練データから来たものか、それとも生成モデルから来たものかを識別する。この場合、図9(b)の断層画像911で示したような放射状スキャンデータから構築した三次元データの任意断面位置の断層画像を入力した際に、実際に撮影したような断層画像を生成する生成モデルとなるように学習を行う。それにより、データ生成部1904は、補間処理を自身では行わずに、学習済モデルを用いて、放射状スキャンにより得た複数の断層画像から直接三次元データを生成してもよい。
また、上述したCNNに関して、学習データの入力データを実際に撮影して得た三次元データのうちの所定の放射状スキャンに対応するデータとし、出力データを実際に撮影して得た三次元データ全体としてもよい。この場合にも、学習済モデルを用いて、三次元データに関する補間処理自体を行うことができる。なお、この場合、学習データに関しては、放射状スキャンの撮影範囲外(円柱範囲の外)のデータは削除することができる。
(変形例4)
上述した様々な実施例において、複数の異なる時刻に撮影した放射状スキャンの断層画像やモーションコントラス画像を用いて重ね合わせ処理を実行してもよい。例えば、複数の異なる時刻に同一の箇所について撮影した放射状スキャンの断層画像について位置合わせを行う。異なる時間に撮影した複数データの位置合わせの方法としては、上述した方法のいずれかの方法を用いて放射状スキャンから三次元データを生成する。複数の三次元データにおいて特徴的なXY面のデータを用いて位置合わせを行う。XY面内の位置合わせにおいては、XYのシフトだけではなく回転や歪みを考慮して位置合わせを行ってもよい。さらに深度方向Zにおいても位置合わせを行う。深度方向Zにおいては、Bスキャン単位やAスキャン単位で位置合わせを行ってもよい。その後、重ね合わせ処理することで、ノイズが低減された三次元データを生成することができる。なお、重ね合わせ処理については、例えば加算平均処理を用いてよい。
(変形例5)
上述した様々な実施例において、位置合わせ済みの三次元データを3Dプリンタで印刷できるような形式で出力できるようにしてもよい。例えば、位置合わせ済み、又は位置合わせ後に実形状補正処理済みの断層画像やモーションコントラスト画像をRAW形式で出力したり、サーフェスレンダリング後の形式で出力したり、STL(Standard Triangulated Language、又はStereolithography)形式で出力することで、3Dプリンタで印刷することが可能である。
(変形例6)
なお、実施例2においては、放射状にスキャンして得た断層画像を、円形状にスキャンして得た断層画像を基準として位置合わせ処理を行った。ここで、断層画像の位置合わせについて、基準となる断層画像を、放射状にスキャンして得た断層画像(第1の断層画像)と円形状にスキャンして得た断層画像(第2の断層画像)とで切り替えることができるように位置合わせ部1902を構成してもよい。この場合、位置合わせ部1902は、操作者の指示に応じてこれらの位置合わせ処理を切り替えてよい。
このような構成では、放射状にスキャンして得た断層画像を基準とした位置合わせ処理を行う場合には、他の放射状の走査線との交差位置が位置合わせの基準となることが想定されるため、断層画像の中央部分のデータの位置合わせの精度が高くなると考えられる。このため、撮影範囲の中心を黄斑部等とする場合には、検査を行いたい対象(黄斑部等)の付近のデータが精度良く位置合わせされるため、黄斑部等の対象をより正確に確認できることが期待できる。
一方で、円形状にスキャンして得た断層画像を基準として位置合わせ処理を行う場合には、円形状の走査線との交差位置が位置合わせの基準となることが想定されるため、断層画像の周縁部(端部)のデータの位置合わせの精度が高くなると考えられる。このため、例えば、黄斑部周辺の血管等のデータが精度良く位置合わせされるため、血管等の対象をより正確に確認できることが期待できる。
上記のように、本変形例に係る信号処理部190は、被検眼上で測定光を放射状に走査して得られた、被検眼の複数箇所にそれぞれ対応する複数の第1の断層画像を取得する。また信号処理部190は、被検眼上で前記測定光を円形状に走査して得られた、被検眼の少なくとも一箇所に対応する第2の断層画像を取得する。また、位置合わせ部1902は、複数の第1の断層画像及び第2の断層画像を、少なくとも断層画像における深さ方向において互いに位置合わせする。特に、位置合わせ部1902は、複数の第1の断層画像を基準とした位置合わせと、第2の断層画像を基準とした位置合わせとを操作者の指示に応じて切り替える。当該構成により、位置合わせ部1902が位置合わせ処理を切り替えて行えることで、検査を行いたい対象に応じて、より正確な三次元データを生成することができることが期待できる。
(変形例7)
上述した様々な実施例では、撮影して得た断層画像やモーションコントラスト画像以外の位置については補間処理によりデータを生成した。これに対し、例えば、Xスキャナ107及びYスキャナ110による測定光の帰線期間にも干渉信号を取得し、これに基づく断層画像等をデータ生成部1904が補間用のデータとして用いてもよい。ここで、帰線期間とは、測定光を所望の走査線に沿って走査した後に、次の走査線の開始位置まで測定光を移動させるために各スキャナの角度を変更する期間をいう。なお、当該帰線期間に得た断層画像について間引いたものを補間用のデータとして用いてもよい。
上述した様々な実施例では、位置合わせ断層画像やモーションコントラスト画像、三次元データ、En−Face画像、OCTA画像、解析結果を表示部192に表示させる構成とした。これに対し、これらデータや解析結果を、外部装置に送信するように制御装置200を構成してもよい。
また、上述した様々な実施例では、OCT光学系100として、SS−OCT光学系を用いる。ただし、上述のように、他の形式のOCT光学系を用いてもよい。例えば、OCTとして、SLDを光源として用いて、分光器を用いて干渉光に関する撮像を行うSD−OCTを用いてもよい。また、ライン光を用いたLine−OCT(あるいはSS−Line−OCT)に対して本発明を適用することもできる。また、エリア光を用いたFull Field−OCT(あるいはSS−Full Field−OCT)にも本発明を適用することもできる。さらに、波面補償光学系を用いた波面補償OCT(AO−OCT)、又は偏光位相差や偏光解消に関する情報を可視化するための偏光OCT(PS−OCT)にも本発明を適用することができる。
ここで、SD−OCTに関する光学系を用いる場合には、撮像に用いる分光器は、回折格子によって干渉光を空間で分光するため、ラインセンサの隣接する画素間で干渉光のクロストークが発生し易い。深さ位置Z=Z0に位置する反射面からの干渉光は、波数kに対してZ0/πの周波数で振動する。このため、反射面の深さ位置Z0が大きくなる(すなわちコヒーレンスゲート位置から遠く離れる)に従って、干渉光の振動周波数は高くなり、ラインセンサの隣接する画素間での干渉光のクロストークの影響が大きくなる。これによって、SD−OCTでは、より深い位置を撮像しようとすると、感度低下が顕著となる。一方、分光器を用いないSS−OCTは、SD−OCTよりも、深い位置での断層画像の撮像が有利となる。また、SD−OCTで用いる分光器では、回折格子による干渉光の損失がある。
一方、SS−OCTでは、分光器を用いず干渉光を例えば差動検出する構成とすることで感度向上が容易である。よって、SS−OCTは、SD−OCTと同等の感度で高速化が可能であり、この高速性を活かして、広画角の断層画像を取得することが可能である。
上述した様々な実施例及び変形例では、分割手段としてカプラーを使用した光ファイバ光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、OCT装置の構成は、上記の構成に限られず、OCT装置に含まれる構成の一部をこれらとは別体の構成としてもよい。なお、干渉系としてマッハツェンダー干渉系を用いたが、マイケルソン干渉系を用いてもよい。
なお、上述した様々な実施例及び変形例では、制御装置200がOCT装置に含まれる構成としたが、OCT装置と別個に設けられてもよい。また、制御装置200がOCT装置と別個に設けられる場合には、これらは有線又は無線で接続されてよく、例えば、インターネット等の任意のネットワークを介して接続されてもよい。
また、上述した様々な実施例及び変形例では、フォーカスレンズ114はOCT光学系100とSLO光学系140とで共通に用いられているが、これに限定されるものではなく、それぞれの光学系に別々にフォーカスレンズを備えることとしてもよい。また、フォーカスレンズ114の駆動制御部180による制御は、光源101が用いる波長と光源141が用いる波長との違いに基づいてフォーカスレンズを駆動することとしてもよい。例えば、OCT光学系100とSLO140光学系とに共通でフォーカスレンズが設けられている場合、駆動制御部180は、SLO光学系140を用いた撮影とOCT光学系100を用いた撮影とが切り替えられると、波長の違いに応じてフォーカスレンズ114を移動させてよい。また、フォーカスレンズがOCT光学系100及びSLO光学系140のそれぞれの光学系に設けられている場合、一方の光学系のフォーカスレンズが調整されると駆動制御部180は波長の違いに応じて他方の光学系のフォーカスレンズを移動させてもよい。
また、上述した様々な実施例及び変形例で用いられる機械学習モデルは、例えば、カプセルネットワーク(CapsNet:Capsule Network)でもよい。ここで、一般的なニューラルネットワークでは、各ユニット(各ニューロン)はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係(相対位置)に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット(各カプセル)は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
また、上述した様々な実施例及び変形例で説明したGUI等の表示態様は、上述のものに限られず、所望の構成に応じて任意に変更されてよい。例えば、表示画面1100等について、OCTA正面画像、断層画像、及び深度範囲を表示すると記載したが、断層画像上に、モーションコントラストデータを表示してもよい。この場合、どの深度にモーションコントラスト値が分布しているのかを合わせて確認することができる。また、画像の表示等に色を用いるなどしてもよい。
また、上述した様々な実施例及び変形例では、制御装置200は、OCT光学系100を用いて干渉信号や再構成部1901で生成された断層画像、信号処理部190で生成された眼底正面画像等を取得した。しかしながら、制御装置200がこれらの信号や画像を取得する構成はこれに限られない。例えば、制御装置200は、制御装置200とLAN、WAN、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号やデータを取得してもよい。また、制御装置200は、これら信号やデータを取得する際に、併せて、スキャンパターンや走査線の数等を含む撮影パラメータ等も取得してよい。
なお、上述した様々な実施例及び変形例に係る学習済モデルは制御装置200に設けられることができる。学習済モデルは、例えば、CPUや、MPU、GPU、FPGA等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ASIC等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御装置200と接続される別のサーバの装置等に設けられてもよい。この場合には、制御装置200は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。また、学習済モデルの学習データは、実際の撮影を行う眼科装置自体を用いて得たデータに限られず、所望の構成に応じて、同型の眼科装置を用いて得たデータや、同種の眼科装置を用いて得たデータ等であってもよい。
なお、GPUは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、GPUで処理を行うことが有効である。そこで、学習部(不図示)の一例である制御装置200による処理には、CPUに加えてGPUを用いることもできる。具体的には、学習モデルを含む学習プログラムを実行する場合に、CPUとGPUが協働して演算を行うことで学習を行う。なお、学習部の処理は、CPU又はGPUのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部(推定部)も、学習部と同様にGPUを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
(その他の実施例)
本発明は、上述の実施例及び変形例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、一つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
プロセッサー又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。
以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
190:信号処理部(取得部)、200:制御装置(医用画像処理装置)、1902:位置合わせ部、1906:画像補正部(補正部)

Claims (23)

  1. 被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の断層画像、及び各断層画像に対応する撮影パラメータを取得する取得部と、
    前記撮影パラメータを用いて、前記撮影パラメータに対応する断層画像の形状を補正する補正部と、
    前記形状が補正された複数の断層画像を互いに位置合わせする位置合わせ部と、
    を備える、医用画像処理装置。
  2. 前記位置合わせ部は、前記形状が補正された複数の断層画像を、少なくとも前記断層画像における深さ方向において互いに位置合わせする、請求項1に記載の医用画像処理装置。
  3. 前記位置合わせを行った複数の断層画像を用いて、三次元データを生成するデータ生成部を更に備える、請求項1又は2に記載の医用画像処理装置。
  4. 三次元空間において、前記位置合わせを行った複数の断層画像のうち少なくとも二つの断層画像が交わる位置の画素値を、該少なくとも二つ断層画像の該位置の画素値を統合した値を用いて定めるデータ統合部を更に備え、
    前記データ生成部は、前記位置合わせを行った複数の断層画像及び前記データ統合部が定めた前記画素値を用いて三次元データを生成する、請求項3に記載の医用画像処理装置。
  5. 前記データ統合部は、前記画素値を統合した値として、前記位置における前記少なくとも二つの断層画像の画素値の統計値又は該画素値のうちの1つの画素値を用いる、請求項4に記載の医用画像処理装置。
  6. 前記データ生成部は、前記三次元データにおける前記複数箇所間のデータを、前記位置合わせを行った複数の断層画像のうちの二つを用いた補間処理により生成する、請求項3乃至5のいずれか一項に記載の医用画像処理装置。
  7. 前記データ生成部は、被検眼を撮影して得た三次元データを学習データとして学習を行った学習済みモデルを用いて、前記位置合わせを行った複数の断層画像から前記三次元データを生成する、請求項3乃至5のいずれか一項に記載の医用画像処理装置。
  8. 前記データ生成部は、前記三次元データの少なくとも一部のデータを二次元平面に投影した正面画像を生成する、請求項2乃至7のいずれか一項に記載の医用画像処理装置。
  9. 前記断層画像は、輝度の断層画像又はモーションコントラストの断層画像であり、
    前記正面画像は、En−Face画像又はモーションコントラスト正面画像である、請求項8に記載の医用画像処理装置。
  10. 前記撮影パラメータは、前記測定光の走査情報、前記被検眼と対物レンズとの距離、及び前記測定光の光軸に対する前記被検眼の偏芯量の少なくとも1つを含む、請求項1乃至9のいずれか一項に記載の医用画像処理装置。
  11. 前記補正部は、前記測定光の走査情報、前記測定光を走査する走査部と共役である前記被検眼内の位置、及び前記被検眼内の屈折要素の屈折率を用いて、前記断層画像の形状を補正する、請求項10に記載の医用画像処理装置。
  12. 前記補正部は、前記被検眼と前記対物レンズとの距離及び前記測定光の光軸に対する前記被検眼の偏芯量の少なくとも一方を用いて、前記断層画像の形状を補正する、請求項10又は11に記載の医用画像処理装置。
  13. 被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の断層画像を取得する取得部と、
    前記複数の断層画像を、少なくとも前記断層画像における深さ方向において互いに位置合わせする位置合わせ部と、
    前記位置合わせを行った複数の断層画像を用いて、三次元データを生成するデータ生成部と、
    を備える、医用画像処理装置。
  14. 前記取得部は、前記被検眼上で前記測定光を円形状に走査して得られた、前記被検眼の少なくとも一箇所に対応する断層画像を更に取得し、
    前記位置合わせ部は、前記測定光を円形状に走査して得られた断層画像を基準として、前記複数の断層画像を位置合わせする、請求項1乃至13のいずれか一項に記載の医用画像処理装置。
  15. 複数の断層画像を用いてモーションコントラスト画像を生成する画像生成部を更に備え、
    前記取得部は、前記複数箇所について所定時間内に同一箇所を走査して得られた断層画像群を取得し、
    前記画像生成部は、前記断層画像群を用いてモーションコントラスト画像を生成する、請求項1乃至14のいずれか一項に記載の医用画像処理装置。
  16. 前記位置合わせ部は、前記複数の断層画像に対応する複数のモーションコントラスト画像を互いに位置合わせし、
    該医用画像処理装置は、前記位置合わせを行った複数のモーションコントラスト画像を用いて、三次元データを生成するデータ生成部を更に備える、請求項15に記載の医用画像処理装置。
  17. 前記位置合わせを行った断層画像について画像解析を行う解析部を更に備える、請求項1乃至16のいずれか一項に記載の医用画像処理装置。
  18. 被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の第1の断層画像、及び前記被検眼上で前記測定光を円形状に走査して得られた、前記被検眼の少なくとも一箇所に対応する第2の断層画像を取得する取得部と、
    前記複数の第1の断層画像及び前記第2の断層画像を、少なくとも断層画像における深さ方向において互いに位置合わせする位置合わせ部と、
    を備え、
    前記位置合わせ部は、前記複数の第1の断層画像を基準とした位置合わせと、前記第2の断層画像を基準とした位置合わせとを操作者の指示に応じて切り替える、医用画像処理装置。
  19. 請求項1乃至18のいずれか一項に記載の医用画像処理装置と、
    測定光を走査する走査部を含む光学系と、
    を備える、光干渉断層撮影装置。
  20. 被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の断層画像、及び各断層画像に対応する撮影パラメータを取得することと、
    前記撮影パラメータを用いて、前記撮影パラメータに対応する断層画像の形状を補正することと、
    前記形状が補正された複数の断層画像を互いに位置合わせすることと、
    を含む、医用画像処理方法。
  21. 被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の断層画像を取得することと、
    前記複数の断層画像を、少なくとも前記断層画像における深さ方向において互いに位置合わせすることと、
    前記位置合わせを行った複数の断層画像を用いて、三次元データを生成することと、
    を含む、医用画像処理方法。
  22. 被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の第1の断層画像、及び前記被検眼上で前記測定光を円形状に走査して得られた、前記被検眼の少なくとも一箇所に対応する第2の断層画像を取得することと、
    前記複数の第1の断層画像及び前記第2の断層画像を、少なくとも断層画像における深さ方向において互いに位置合わせすることと、
    を含み、
    前記位置合わせすることは、前記複数の第1の断層画像を基準とした位置合わせと、前記第2の断層画像を基準とした位置合わせとを操作者の指示に応じて切り替えることを含む、医用画像処理方法。
  23. コンピュータによって実行されると、該コンピュータに請求項20乃至22のいずれか一項に記載の医用画像処理方法を実行させるプログラム。
JP2019216516A 2019-11-29 2019-11-29 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム Active JP7419042B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019216516A JP7419042B2 (ja) 2019-11-29 2019-11-29 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム
PCT/JP2020/043963 WO2021106987A1 (ja) 2019-11-29 2020-11-26 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム
CN202080081569.9A CN114760906A (zh) 2019-11-29 2020-11-26 医用图像处理装置、光学相干断层摄影装置、医用图像处理方法和程序
US17/824,038 US12087001B2 (en) 2019-11-29 2022-05-25 Medical image processing apparatus, optical coherence tomography apparatus, medical image processing method, and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019216516A JP7419042B2 (ja) 2019-11-29 2019-11-29 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2021083919A true JP2021083919A (ja) 2021-06-03
JP2021083919A5 JP2021083919A5 (ja) 2022-12-06
JP7419042B2 JP7419042B2 (ja) 2024-01-22

Family

ID=76086358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019216516A Active JP7419042B2 (ja) 2019-11-29 2019-11-29 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US12087001B2 (ja)
JP (1) JP7419042B2 (ja)
CN (1) CN114760906A (ja)
WO (1) WO2021106987A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181729A1 (ja) * 2021-02-25 2022-09-01 株式会社ニコン 画像処理方法、画像処理装置、及び画像処理プログラム
WO2023140469A1 (ko) * 2022-01-18 2023-07-27 가톨릭대학교 산학협력단 병적 근시 진단 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114343565B (zh) * 2021-11-30 2022-10-11 图湃(北京)医疗科技有限公司 一种光学相干层析视网膜图像校正方法及装置
CN116309194B (zh) * 2023-05-24 2023-08-08 广东麦特维逊医学研究发展有限公司 Oct图像畸变校正方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018175258A (ja) * 2017-04-10 2018-11-15 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
JP2019187551A (ja) * 2018-04-19 2019-10-31 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2021062077A (ja) * 2019-10-15 2021-04-22 株式会社トーメーコーポレーション 眼科装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4921201B2 (ja) 2007-02-23 2012-04-25 株式会社トプコン 光画像計測装置及び光画像計測装置を制御するプログラム
JP5436076B2 (ja) 2009-07-14 2014-03-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP5582772B2 (ja) 2009-12-08 2014-09-03 キヤノン株式会社 画像処理装置及び画像処理方法
JP5025715B2 (ja) 2009-12-08 2012-09-12 キヤノン株式会社 断層画像撮影装置、画像処理装置、画像処理システム、画像処理装置の制御方法及びプログラム
JP5733960B2 (ja) 2010-11-26 2015-06-10 キヤノン株式会社 撮像方法および撮像装置
JP5794664B2 (ja) 2011-01-20 2015-10-14 キヤノン株式会社 断層画像生成装置及び断層画像生成方法
JP5782262B2 (ja) 2011-01-20 2015-09-24 キヤノン株式会社 断層画像補正方法および断層画像補正装置
JP5836634B2 (ja) 2011-05-10 2015-12-24 キヤノン株式会社 画像処理装置及び方法
JP5847510B2 (ja) * 2011-09-20 2016-01-20 キヤノン株式会社 画像処理装置及び画像処理方法
JP6105852B2 (ja) 2012-04-04 2017-03-29 キヤノン株式会社 画像処理装置及びその方法、プログラム
JP6598466B2 (ja) 2015-01-30 2019-10-30 キヤノン株式会社 断層撮像装置、断層撮像方法、およびプログラム
US10973406B2 (en) 2018-03-06 2021-04-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer readable medium
JP7229881B2 (ja) * 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
US11819275B2 (en) 2020-12-16 2023-11-21 Canon Kabushiki Kaisha Optical coherence tomography apparatus, control method for optical coherence tomography apparatus, and computer-readable storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018175258A (ja) * 2017-04-10 2018-11-15 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
JP2019187551A (ja) * 2018-04-19 2019-10-31 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2021062077A (ja) * 2019-10-15 2021-04-22 株式会社トーメーコーポレーション 眼科装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田中優ほか: "放射状断面画像からの眼底ボリュームデータの高精度再構成手法", MIRU 2007 画像の認識・理解シンポジウム論文集, JPN6023037183, July 2007 (2007-07-01), JP, pages 487 - 492, ISSN: 0005149315 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181729A1 (ja) * 2021-02-25 2022-09-01 株式会社ニコン 画像処理方法、画像処理装置、及び画像処理プログラム
WO2023140469A1 (ko) * 2022-01-18 2023-07-27 가톨릭대학교 산학협력단 병적 근시 진단 장치 및 방법

Also Published As

Publication number Publication date
WO2021106987A1 (ja) 2021-06-03
US12087001B2 (en) 2024-09-10
US20220335633A1 (en) 2022-10-20
JP7419042B2 (ja) 2024-01-22
CN114760906A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2021106987A1 (ja) 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム
US8096658B2 (en) Fundus oculi observation device and program for controlling the same
US10561311B2 (en) Ophthalmic imaging apparatus and ophthalmic information processing apparatus
JP6143422B2 (ja) 画像処理装置及びその方法
JP6898724B2 (ja) 画像処理方法、画像処理装置およびプログラム
CN113543695B (zh) 图像处理装置和图像处理方法
JP2022040372A (ja) 眼科装置
JP2021037239A (ja) 領域分類方法
US10321819B2 (en) Ophthalmic imaging apparatus
JP2022189963A (ja) 眼科装置
WO2021100694A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7378557B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
US20220273170A1 (en) Method of processing ophthalmic data, ophthalmic data processing apparatus, and ophthalmic examination apparatus
JP2020032072A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020039667A (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP7410481B2 (ja) 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体
JP7286283B2 (ja) 眼科装置
JP6860884B2 (ja) 画像処理装置、眼底撮像システム、画像処理方法、およびプログラム
JP2019208845A (ja) 画像処理装置、画像処理方法及びプログラム
JP7325675B2 (ja) 眼科撮影装置
JP7355331B2 (ja) 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体
US20240350003A1 (en) Ophthalmic imaging apparatus, controlling method of the same, and recording medium
US20210204809A1 (en) Ophthalmic imaging apparatus, controlling method of the same, and recording medium
WO2024004455A1 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240110

R151 Written notification of patent or utility model registration

Ref document number: 7419042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151