JP2022074224A - 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム - Google Patents

眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2022074224A
JP2022074224A JP2020184091A JP2020184091A JP2022074224A JP 2022074224 A JP2022074224 A JP 2022074224A JP 2020184091 A JP2020184091 A JP 2020184091A JP 2020184091 A JP2020184091 A JP 2020184091A JP 2022074224 A JP2022074224 A JP 2022074224A
Authority
JP
Japan
Prior art keywords
image
region
information processing
fundus
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020184091A
Other languages
English (en)
Inventor
徹 中澤
Toru Nakazawa
宗子 面高
Kazuko Omodaka
秀夫 横田
Hideo Yokota
光州 安
Guang Zhou An
勉 木川
Tsutomu Kikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Topcon Corp
RIKEN Institute of Physical and Chemical Research
Original Assignee
Tohoku University NUC
Topcon Corp
RIKEN Institute of Physical and Chemical Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC, Topcon Corp, RIKEN Institute of Physical and Chemical Research filed Critical Tohoku University NUC
Priority to JP2020184091A priority Critical patent/JP2022074224A/ja
Priority to PCT/JP2021/040330 priority patent/WO2022097621A1/ja
Publication of JP2022074224A publication Critical patent/JP2022074224A/ja
Priority to US18/142,043 priority patent/US20230263391A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】乳頭出血領域を高い再現性で高精度に検出するための新たな技術を提供する。【解決手段】眼科情報処理装置は、判定器と、検出器とを含む。判定器は、乳頭出血の有無を示すラベルが付された複数の眼底の正面画像を第1教師データとする機械学習により得られた乳頭出血判定モデルを用いて、被検眼の眼底の正面画像に対して乳頭出血の有無を判定する。検出器は、眼底の正面画像と当該正面画像に描出された乳頭出血領域を表す乳頭出血領域画像とを一対とする複数対の画像群を第2教師データとする機械学習により得られた乳頭出血領域検出モデルを用いて、判定器により乳頭出血があると判定された正面画像に描出された乳頭出血領域を検出する。【選択図】図5

Description

この発明は、眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムに関する。
緑内障は、失明原因の上位を占める疾患である。緑内障に起因した視神経障害及び視野障害は、基本的に、進行性であり、且つ、非可逆的であり、患者の自覚なしに徐々に進行する。従って、緑内障の早期発見と早期治療による障害の進行の阻止又は抑制は、非常に重要である。
このような緑内障の進行の危険因子の1つに、乳頭出血がある。例えば、医師は、眼底カメラを用いて取得された眼底画像を観察して乳頭出血の有無を判定する。このような医師には、十分な経験と知識を活かして乳頭出血の有無を高精度に判定することが求められる。
例えば、特許文献1には、カラーの眼底画像における画素値の違いを利用して、眼底血管、出血部、及び視神経乳頭領域を抽出する手法が開示されている。
特開2008-73280号公報
眼底画像は、被検眼に応じて、全体の色合いや部位及び血管の画素値が異なる。従って、従来の手法のように画素値の違いだけを利用しても、出血部等を高精度に抽出することが困難である場合が多いと考えられる。その上、出血部の位置が視神経乳頭領域内にあるか否かなど、出血部の位置を高精度に特定することは、より一層困難になると考えられる。出血部を高精度に検出することができなければ、医師は乳頭出血の有無を高い再現性で高精度に判定することができない。
本発明は、このような事情を鑑みてなされたものであり、その目的の1つは、乳頭出血領域を高い再現性で高精度に検出するための新たな技術を提供することにある。
実施形態の第1態様は、乳頭出血の有無を示すラベルが付された複数の眼底の正面画像を第1教師データとする機械学習により得られた乳頭出血判定モデルを用いて、被検眼の眼底の正面画像に対して乳頭出血の有無を判定する判定器と、眼底の正面画像と当該正面画像に描出された乳頭出血領域を表す乳頭出血領域画像とを一対とする複数対の画像群を第2教師データとする機械学習により得られた乳頭出血領域検出モデルを用いて、前記判定器により前記乳頭出血があると判定された前記正面画像に描出された乳頭出血領域を検出する検出器と、を含む、眼科情報処理装置である。
実施形態の第2態様では、第1態様において、前記第2教師データは、前記第1教師データに含まれる正面画像を含む。
実施形態の第3態様は、第1態様又は第2態様において、前記第1教師データを用いて教師あり機械学習を実行することにより前記乳頭出血判定モデルを生成する第1学習部を含む。
実施形態の第4態様は、第1態様~第3態様のいずれかにおいて、前記第2教師データを用いて教師あり機械学習を実行することにより前記乳頭出血領域検出モデルを生成する第2学習部を含む。
実施形態の第5態様では、第1態様~第4態様のいずれかにおいて、前記眼底の正面画像は、カラーの正面画像である。
実施形態の第6態様は、第1態様~第5態様のいずれかにおいて、前記被検眼の眼底の正面画像を解析することにより、前記被検眼の眼底の正面画像における前記乳頭出血領域の位置を表す位置情報、前記乳頭出血領域の形状を表す形状情報、及び前記乳頭出血領域の発生状況を表す発生情報の少なくとも1つを生成する解析部を含む。
実施形態の第7態様では、第6態様において、前記位置情報は、基準位置に対する前記乳頭出血領域の代表位置の方向を示す情報を含む。
実施形態の第8態様では、第6態様又は第7態様において、前記位置情報は、前記乳頭出血領域の代表位置が視神経乳頭領域内か視神経乳頭領域外かを示す情報を含む。
実施形態の第9態様では、第8態様において、前記位置情報は、前記代表位置が視神経乳頭辺縁部内か視神経乳頭辺縁部外かを示す情報を含む。
実施形態の第10態様では、第6態様~第9態様のいずれかにおいて、前記形状情報は、前記乳頭出血領域の楕円率、及び前記乳頭出血領域の面積の少なくとも1つを含む。
実施形態の第11態様では、第6態様~第10態様のいずれかにおいて、前記発生情報は、前記乳頭出血領域の発生頻度、及び前記乳頭出血領域の発生間隔の少なくとも1つを含む。
実施形態の第12態様は、第6態様~第11態様のいずれかにおいて、前記被検眼のOCTデータと前記検出器により検出された前記乳頭出血領域が描出された前記被検眼の正面画像との位置合わせを行う位置合わせ部を含み、前記解析部は、前記位置合わせ部により前記正面画像と位置合わせが行われた前記OCTデータを用いて、前記位置情報、前記形状情報、及び前記発生情報の少なくとも1つを生成する。
実施形態の第13態様は、前記被検眼の眼底を撮影する撮影部と、第1態様~第12態様のいずれかに記載の眼科情報処理装置と、を含む、眼科装置である。
実施形態の第14態様は、前記被検眼の眼底を撮影する撮影部と、前記被検眼に対して光コヒーレンストモグラフィを実行することにより前記OCTデータを取得するOCT部と、第12態様に記載の眼科情報処理装置と、を含む、眼科装置である。
実施形態の第15態様は、乳頭出血の有無を示すラベルが付された複数の眼底の正面画像を第1教師データとする機械学習により得られた乳頭出血判定モデルを用いて、被検眼の眼底の正面画像に対して乳頭出血の有無を判定する判定ステップと、眼底の正面画像と当該正面画像に描出された乳頭出血領域を表す乳頭出血領域画像とを一対とする複数対の画像群を第2教師データとする機械学習により得られた乳頭出血領域検出モデルを用いて、前記判定ステップにおいて前記乳頭出血があると判定された前記正面画像に描出された乳頭出血領域を検出する検出ステップと、を含む、眼科情報処理方法である。
実施形態の第16態様では、第15態様において、前記第2教師データは、前記第1教師データに含まれる正面画像を含む。
実施形態の第17態様は、第15態様又は第16態様において、前記第1教師データを用いて教師あり機械学習を実行することにより前記乳頭出血判定モデルを生成する第1学習ステップを含む。
実施形態の第18態様は、第15態様~第17態様のいずれかにおいて、前記第2教師データを用いて教師あり機械学習を実行することにより前記乳頭出血領域検出モデルを生成する第2学習ステップを含む。
実施形態の第19態様では、第15態様~第18態様のいずれかにおいて、前記眼底の正面画像は、カラーの正面画像である。
実施形態の第20態様は、第15態様~第19態様のいずれかにおいて、前記被検眼の眼底の正面画像を解析することにより、前記被検眼の眼底の正面画像における前記乳頭出血領域の位置を表す位置情報、前記乳頭出血領域の形状を表す形状情報、及び前記乳頭出血領域の発生状況を表す発生情報の少なくとも1つを生成する解析ステップを含む。
実施形態の第21態様では、第20態様において、前記位置情報は、基準位置に対する前記乳頭出血領域の代表位置の方向を示す情報を含む。
実施形態の第22態様では、第20態様又は第21態様において、前記位置情報は、前記乳頭出血領域の代表位置が視神経乳頭領域内か視神経乳頭領域外かを示す情報を含む。
実施形態の第23態様では、第22態様において、前記位置情報は、前記代表位置が視神経乳頭辺縁部内か視神経乳頭辺縁部外かを示す情報を含む。
実施形態の第24態様では、第20態様~第23態様のいずれかにおいて、前記形状情報は、前記乳頭出血領域の楕円率、及び前記乳頭出血領域の面積の少なくとも1つを含む。
実施形態の第25態様では、第20態様~第24態様のいずれかにおいて、前記発生情報は、前記乳頭出血領域の発生頻度、及び前記乳頭出血領域の発生間隔の少なくとも1つを含む。
実施形態の第26態様は、第20態様~第25態様のいずれかにおいて、前記被検眼のOCTデータと前記検出ステップにおいて検出された前記乳頭出血領域が描出された前記被検眼の正面画像との位置合わせを行う位置合わせステップを含み、前記解析ステップは、前記位置合わせステップにおいて前記正面画像と位置合わせが行われた前記OCTデータを用いて、前記位置情報、前記形状情報、及び前記発生情報の少なくとも1つを生成する。
実施形態の第27態様は、コンピュータに、第15態様~第26態様のいずれかに記載の眼科情報処理方法の各ステップを実行させるプログラムである。
なお、上記した複数の態様に係る構成を任意に組み合わせることが可能である。
本発明によれば、乳頭出血領域を高い再現性で高精度に検出するための新たな技術を提供することができる。
第1実施形態に係る眼科装置の構成の一例を表す概略図である。 第1実施形態に係る眼科装置の構成の一例を表す概略図である。 第1実施形態に係る眼科装置の構成の一例を表す概略図である。 第1実施形態に係る眼科装置の構成の一例を表す概略図である。 第1実施形態に係る眼科装置の動作の一例を説明するための概略図である。 第1実施形態に係る眼科装置の構成の一例を示す概略図である。 第1実施形態に係る眼科装置の動作を説明するための概略図である。 第1実施形態に係る眼科装置の構成の一例を示す概略図である。 第1実施形態に係る眼科装置の動作を説明するための概略図である。 第1実施形態に係る眼科装置の動作を説明するための概略図である。 第1実施形態に係る眼科装置の動作を説明するための概略図である。 第1実施形態に係る眼科装置の動作例を表すフローチャートである。 第1実施形態に係る眼科装置の動作を説明するための概略図である。 第2実施形態に係る眼科システムの第1構成例を表す概略図である。 第2実施形態に係る眼科システムの第2構成例を表す概略図である。 第2実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。 第2実施形態の第1変形例に係る眼科システムの構成の一例を表す概略図である。 第2実施形態の第2変形例に係る眼科システムの構成の一例を表す概略図である。
この発明に係る眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムの実施形態の例について、図面を参照しながら詳細に説明する。なお、この明細書において引用された文献の記載内容や任意の公知技術を、以下の実施形態に援用することが可能である。
実施形態に係る眼科情報処理装置は、学習済みモデルを用いて被検眼の眼底画像に対して乳頭出血の有無を判定し、別の学習済みモデルを用いて、乳頭出血があると判定された眼底画像に描出された乳頭出血領域を検出する。乳頭出血の有無の判定に用いられる学習済みモデルは、乳頭出血の有無を示すラベルが付された複数の眼底画像を第1教師データとする機械学習により得られた乳頭出血判定モデルである。乳頭出血領域の検出に用いられる学習済みモデルは、眼底画像と当該眼底画像に描出された乳頭出血領域を表す乳頭出血領域画像とを一対とする複数対の画像群を第2教師データとする機械学習により得られた乳頭出血領域検出モデルである。眼底画像は、眼底カメラ等により眼底を撮影することにより得られたカラーの眼底の正面画像であることが望ましい。
これにより、乳頭出血領域が存在する眼底画像のみを用いて機械学習を行うことにより乳頭出血領域検出モデルを生成することで、乳頭出血領域検出モデルの学習パラメータが乳頭出血領域の検出に特化して更新される。その結果、乳頭出血領域の検出精度を向上させることができる。従って、1つの学習済みモデルを用いて被検眼の眼底画像における乳頭出血領域を検出する場合と比較して、より高い再現性で高精度に眼底画像における乳頭出血領域を検出することが可能になる。
いくつかの実施形態では、眼科情報処理装置は、眼底画像を解析することにより、高い再現性で高精度に検出された乳頭出血領域の解析結果を生成する。解析結果は、乳頭出血領域の位置を表す位置情報、乳頭出血領域の形状を表す形状情報、及び乳頭出血領域の発生状況を表す発生情報の少なくとも1つを含む。
いくつかの実施形態では、眼科情報処理装置は、乳頭出血領域が検出された眼底画像と被検眼のOCT(Optical Coherence Tomography)データとの位置合わせを行うことにより、OCTデータを規定するOCT座標系の位置情報を用いて位置情報及び形状情報を生成する。これにより、再現性の高いOCTデータを規定するOCT座標系にマッピングされた眼底画像から乳頭出血領域の位置情報及び形状情報を高精度に求めることができるようになる。
いくつかの実施形態では、被検眼の眼底画像を取得するための眼底カメラの機能と、被検眼のOCTデータを取得するためのOCT計測を実行可能なOCT装置(光干渉断層計)の機能とを備えた眼科装置が、実施形態に係る眼科情報処理装置の機能を有する。
いくつかの実施形態では、眼底カメラの機能を備えた眼科装置が、実施形態に係る眼科処理装置の機能を有する。この場合、眼科装置は、外部に設けられたOCT装置からOCTデータを取得する。
いくつかの実施形態では、OCT装置の機能を備えた眼科装置が、実施形態に係る眼科処理装置の機能を有する。この場合、眼科装置は、外部に設けられた眼底カメラから眼底画像を取得する。
いくつかの実施形態では、眼科処理装置は、外部に設けられた眼底カメラから眼底画像を取得し、外部に設けられたOCT装置からOCTデータを取得する。
いくつかの実施形態では、眼科処理装置は、眼底カメラの機能とOCT装置の機能とを有する眼科装置から眼底画像及びOCTデータを取得する。
いくつかの実施形態では、眼底画像は、OCTデータにより形成されたCスキャン画像、プロジェクション画像、又はen-face画像、走査型レーザー検眼装置(Scanning Laser Ophthalmoscope:SLO)、スリットランプ検眼鏡、又は手術用顕微鏡等の眼科装置により取得された画像である。眼底画像がCスキャン画像、プロジェクション画像、又はen-face画像である場合、眼底画像とOCTデータとの位置合わせを行わなくてもよい。
実施形態に係る眼科情報処理方法は、実施形態に係る眼科情報処理装置においてプロセッサ(コンピュータ)により実行される処理を実現するための1以上のステップを含む。実施形態に係るプログラムは、プロセッサに実施形態に係る眼科情報処理方法の各ステップを実行させる。実施形態に係る記録媒体は、実施形態に係るプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体(記憶媒体)である。
本明細書において「プロセッサ」は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路を意味する。プロセッサは、例えば、記憶回路や記憶装置に格納されているプログラムを読み出し実行することで、実施形態に係る機能を実現する。
この明細書では、OCTによって取得される画像をOCT画像と総称することがある。また、OCT画像を形成するための計測動作をOCT計測と呼ぶことがある。また、乳頭出血を単にDH(Disc Hemorrhage)と呼ぶことがある。
[第1実施形態]
第1実施形態に係る眼科装置は、眼底カメラの機能と、OCT装置の機能と、実施形態に係る眼科処理装置の機能とを備える。眼科装置は、更に、眼科測定装置、及び眼科治療装置の少なくとも1つの機能を備えてもよい。いくつかの実施形態では、眼科測定装置は、眼屈折検査装置、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、視野計、及びマイクロペリメータの少なくとも1つを含む。いくつかの実施形態では、眼科治療装置は、レーザー治療装置、手術装置、及び手術用顕微鏡の少なくとも1つを含む。
<構成>
〔光学系〕
図1に、第1実施形態に係る眼科装置の構成例を示す。
第1実施形態に係る眼科装置1は、眼底カメラユニット2、OCTユニット100及び演算制御ユニット200を含む。眼底カメラユニット2には、被検眼Eの正面画像を取得するための光学系及び機構が設けられている。OCTユニット100には、OCTを実行するための光学系及び機構の一部が設けられている。OCTを実行するための光学系及び機構の他の一部は、眼底カメラユニット2に設けられている。演算制御ユニット200は、各種の演算及び制御を実行する1以上のプロセッサを含む。これらに加え、被検者の顔を支持するための部材(顎受け、額当て等)、又はOCTの対象部位を切り替えるためのレンズユニット(例えば、前眼部OCT用アタッチメント)等の任意の要素やユニットが眼科装置1に設けられてもよい。いくつかの実施形態では、レンズユニットが手動で被検眼Eと後述の対物レンズ22との間に挿脱されるように構成される。いくつかの実施形態では、後述の制御部210からの制御を受け、レンズユニットが被検眼Eと後述の対物レンズ22との間に自動で挿脱されるように構成される。
[眼底カメラユニット]
眼底カメラユニット2には、被検眼Eの眼底Efを撮影するための光学系が設けられている。取得される眼底Efの画像(眼底画像、眼底写真等と呼ばれる)は、観察画像、キャプチャ画像等の正面画像である。観察画像は、近赤外光を用いた動画撮影により得られる。キャプチャ画像は、フラッシュ光を用いた静止画像(例えば、カラー画像)である。更に、眼底カメラユニット2は、被検眼Eの前眼部Eaを撮影して正面画像(前眼部画像)を取得することができる。
眼底カメラユニット2は、照明光学系10と撮影光学系30とを含む。照明光学系10は被検眼Eに照明光を照射する。撮影光学系30は、被検眼Eからの照明光の戻り光を検出する。OCTユニット100からの測定光は、眼底カメラユニット2内の光路を通じて被検眼Eに導かれ、その戻り光は、同じ光路を通じてOCTユニット100に導かれる。
照明光学系10の観察光源11から出力された光(観察照明光)は、曲面状の反射面を有する反射ミラー12により反射され、集光レンズ13を経由し、可視カットフィルタ14を透過して近赤外光となる。更に、観察照明光は、撮影光源15の近傍にて一旦集束し、ミラー16により反射され、リレーレンズ17、18、絞り19及びリレーレンズ20を経由する。そして、観察照明光は、孔開きミラー21の周辺部(孔部の周囲の領域)にて反射され、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて被検眼E(眼底Ef又は前眼部Ea)を照明する。被検眼Eからの観察照明光の戻り光は、対物レンズ22により屈折され、ダイクロイックミラー46を透過し、孔開きミラー21の中心領域に形成された孔部を通過し、ダイクロイックミラー55を透過する。ダイクロイックミラー55を透過した戻り光は、撮影合焦レンズ31を経由し、ミラー32により反射される。更に、この戻り光は、ハーフミラー33Aを透過し、ダイクロイックミラー33により反射され、集光レンズ34によりイメージセンサ35の受光面に結像される。イメージセンサ35は、所定のフレームレートで戻り光を検出する。なお、撮影光学系30のフォーカスは、眼底Ef又は前眼部Eaに合致するように調整される。
撮影光源15から出力された光(撮影照明光)は、観察照明光と同様の経路を通って眼底Efに照射される。被検眼Eからの撮影照明光の戻り光は、観察照明光の戻り光と同じ経路を通ってダイクロイックミラー33まで導かれ、ダイクロイックミラー33を透過し、ミラー36により反射され、集光レンズ37によりイメージセンサ38の受光面に結像される。
LCD(Liquid Crystal Display)39は固視標や視力測定用視標を表示する。LCD39から出力された光束は、その一部がハーフミラー33Aにて反射され、ミラー32に反射され、撮影合焦レンズ31及びダイクロイックミラー55を経由し、孔開きミラー21の孔部を通過する。孔開きミラー21の孔部を通過した光束は、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて眼底Efに投射される。
LCD39の画面上における固視標の表示位置を変更することにより、被検眼Eの固視位置を変更できる。固視位置の例として、黄斑を中心とする画像を取得するための固視位置や、視神経乳頭を中心とする画像を取得するための固視位置や、黄斑と視神経乳頭との間の眼底中心を中心とする画像を取得するための固視位置や、黄斑から大きく離れた部位(眼底周辺部)の画像を取得するための固視位置などがある。いくつかの実施形態に係る眼科装置1は、このような固視位置の少なくとも1つを指定するためのGUI(Graphical User Interface)等を含む。いくつかの実施形態に係る眼科装置1は、固視位置(固視標の表示位置)をマニュアルで移動するためのGUI等を含む。
移動可能な固視標を被検眼Eに呈示するための構成はLCD等の表示装置には限定されない。例えば、光源アレイ(発光ダイオード(LED)アレイ等)における複数の光源を選択的に点灯させることにより、移動可能な固視標を生成することができる。また、移動可能な1以上の光源により、移動可能な固視標を生成することができる。
また、眼科装置1には、1以上の外部固視光源が設けられてもよい。1以上の外部固視光源の1つは、被検眼Eの僚眼に固視光を投射することが可能である。僚眼における固視光の投射位置は、変更可能である。僚眼に対する固視光の投射位置を変更することにより、被検眼Eの固視位置を変更することができる。外部固視光源による固視位置は、LCD39を用いた被検眼Eの固視位置と同様であってよい。例えば、複数の外部固視光源を選択的に点灯させることにより、移動可能な固視標を生成することができる。また、移動可能な1以上の外部固視光源により、移動可能な固視標を生成することができる。
アライメント光学系50は、被検眼Eに対する光学系のアライメントに用いられるアライメント視標を生成する。LED51から出力されたアライメント光は、絞り52及び53並びにリレーレンズ54を経由し、ダイクロイックミラー55により反射され、孔開きミラー21の孔部を通過する。孔開きミラー21の孔部を通過した光は、ダイクロイックミラー46を透過し、対物レンズ22により被検眼Eに投射される。アライメント光の角膜反射光は、観察照明光の戻り光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(アライメント視標像)に基づいてマニュアルアライメントやオートアライメントを実行できる。
フォーカス光学系60は、被検眼Eに対するフォーカス調整に用いられるスプリット視標を生成する。フォーカス光学系60は、撮影光学系30の光路(撮影光路)に沿った撮影合焦レンズ31の移動に連動して、照明光学系10の光路(照明光路)に沿って移動される。反射棒67は、照明光路に対して挿脱可能である。フォーカス調整を行う際には、反射棒67の反射面が照明光路に傾斜配置される。LED61から出力されたフォーカス光は、リレーレンズ62を通過し、スプリット視標板63により2つの光束に分離され、二孔絞り64を通過し、ミラー65により反射され、集光レンズ66により反射棒67の反射面に一旦結像されて反射される。更に、フォーカス光は、リレーレンズ20を経由し、孔開きミラー21に反射され、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて眼底Efに投射される。フォーカス光の眼底反射光は、アライメント光の角膜反射光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(スプリット視標像)に基づいてマニュアルフォーカスやオートフォーカスを実行できる。
ダイクロイックミラー46は、撮影用光路とOCT用光路(干渉光学系の光路)とを合成する。ダイクロイックミラー46は、撮影用光路(撮影光学系30)の光軸とOCT用光路(干渉光学系)の光軸とが略同軸になるように双方の光学系を結合する。ダイクロイックミラー46は、OCTに用いられる波長帯の光を反射し、眼底撮影用の光を透過させる。OCT用光路(測定光の光路)には、OCTユニット100側からダイクロイックミラー46側に向かって順に、コリメータレンズユニット40、光路長変更部41、光スキャナー42、OCT合焦レンズ43、ミラー44、及びリレーレンズ45が設けられている。
光路長変更部41は、図1に示す矢印の方向に移動可能とされ、OCT用光路の長さを変更する。この光路長の変更は、眼軸長に応じた光路長補正や、干渉状態の調整などに利用される。光路長変更部41は、コーナーキューブと、これを移動する機構とを含む。
光スキャナー42は、被検眼Eの瞳孔と光学的に共役な位置に配置される。光スキャナー42は、OCT用光路を通過する測定光LSを偏向する。光スキャナー42は、測定光LSを1次元的又は2次元的に偏向することが可能である。
1次元的に偏向する場合、光スキャナー42は、所定の偏向方向に所定の偏向角度範囲で測定光LSを偏向するガルバノスキャナーを含む。2次元的に偏向する場合、光スキャナー42は、第1ガルバノスキャナーと、第2ガルバノスキャナーとを含む。第1ガルバノスキャナーは、干渉光学系(OCT光学系)の光軸に直交する水平方向に撮影部位(眼底Ef又は前眼部Ea)をスキャンするように測定光LSを偏向する。第2ガルバノスキャナーは、干渉光学系の光軸に直交する垂直方向に撮影部位をスキャンするように、第1ガルバノスキャナーにより偏向された測定光LSを偏向する。光スキャナー42による測定光LSの走査態様としては、例えば、水平スキャン、垂直スキャン、十字スキャン、放射スキャン、円スキャン、同心円スキャン、螺旋スキャンなどがある。
OCT合焦レンズ43は、OCT用の光学系のフォーカス調整を行うために、測定光LSの光路に沿って移動される。OCT合焦レンズ43は、被検眼Eの眼底Ef又はその近傍に測定光LSの焦点位置を配置するための第1レンズ位置と、被検眼Eに照射される測定光LSを平行光束にするための第2レンズ位置とを含む移動範囲で移動可能である。撮影合焦レンズ31の移動、フォーカス光学系60の移動、及びOCT合焦レンズ43の移動を連係的に制御することができる。
[OCTユニット]
OCTユニット100の構成の一例を図2に示す。OCTユニット100には、被検眼EのOCT画像を取得するための光学系が設けられている。この光学系は、波長掃引型(波長走査型)光源からの光を測定光と参照光とに分割し、被検眼Eからの測定光の戻り光と参照光路を経由した参照光とを干渉させて干渉光を生成し、この干渉光を検出する干渉光学系である。干渉光学系による干渉光の検出結果(検出信号)は、干渉光のスペクトルを示す干渉信号であり、演算制御ユニット200に送られる。
光源ユニット101は、一般的なスウェプトソースタイプの眼科装置と同様に、出射光の波長を掃引(走査)可能な波長掃引型(波長走査型)光源を含んで構成される。波長掃引型光源は、共振器を含むレーザー光源を含んで構成される。光源ユニット101は、人眼では視認できない近赤外の波長帯において、出力波長を時間的に変化させる。
光源ユニット101から出力された光L0は、光ファイバ102により偏波コントローラ103に導かれてその偏波状態が調整される。偏波コントローラ103は、例えばループ状にされた光ファイバ102に対して外部から応力を与えることで、光ファイバ102内を導かれる光L0の偏波状態を調整する。
偏波コントローラ103により偏波状態が調整された光L0は、光ファイバ104によりファイバカプラ105に導かれて測定光LSと参照光LRとに分割される。
参照光LRは、光ファイバ110によりコリメータ111に導かれて平行光束に変換され、光路長補正部材112及び分散補償部材113を経由し、光路長変更部114に導かれる。光路長補正部材112は、参照光LRの光路長と測定光LSの光路長とを合わせるよう作用する。分散補償部材113は、参照光LRと測定光LSとの間の分散特性を合わせるよう作用する。光路長変更部114は、例えば、コーナーキューブと、コーナーキューブを移動する移動機構とを含み、移動機構によるコーナーキューブを参照光LRの入射方向に移動可能である。それにより参照光LRの光路長が変更される。
光路長変更部114を経由した参照光LRは、分散補償部材113及び光路長補正部材112を経由し、コリメータ116によって平行光束から集束光束に変換され、光ファイバ117に入射する。光ファイバ117に入射した参照光LRは、偏波コントローラ118に導かれてその偏波状態が調整され、光ファイバ119によりアッテネータ120に導かれて光量が調整され、光ファイバ121によりファイバカプラ122に導かれる。
一方、ファイバカプラ105により生成された測定光LSは、光ファイバ127により導かれてコリメータレンズユニット40により平行光束に変換され、光路長変更部41、光スキャナー42、OCT合焦レンズ43、ミラー44及びリレーレンズ45を経由する。リレーレンズ45を経由した測定光LSは、ダイクロイックミラー46により反射され、対物レンズ22により屈折されて被検眼Eに入射する。測定光LSは、被検眼Eの様々な深さ位置において散乱・反射される。被検眼Eからの測定光LSの戻り光は、往路と同じ経路を逆向きに進行してファイバカプラ105に導かれ、光ファイバ128を経由してファイバカプラ122に到達する。
ファイバカプラ122は、光ファイバ128を介して入射された測定光LSと、光ファイバ121を介して入射された参照光LRとを合成して(干渉させて)干渉光を生成する。ファイバカプラ122は、所定の分岐比(例えば1:1)で干渉光を分岐することにより、一対の干渉光LCを生成する。一対の干渉光LCは、それぞれ光ファイバ123及び124を通じて検出器125に導かれる。
検出器125は、例えば一対の干渉光LCをそれぞれ検出する一対のフォトディテクタを有し、これらによる検出結果の差分を出力するバランスドフォトダイオード(Balanced Photo Diode)である。検出器125は、その検出結果(干渉信号)をDAQ(Data Acquisition System)130に送る。DAQ130には、光源ユニット101からクロックKCが供給される。クロックKCは、光源ユニット101において、波長掃引型光源により所定の波長範囲内で掃引(走査)される各波長の出力タイミングに同期して生成される。光源ユニット101は、例えば、各出力波長の光L0を分岐することにより得られた2つの分岐光の一方を光学的に遅延させた後、これらの合成光を検出した結果に基づいてクロックKCを生成する。DAQ130は、クロックKCに基づき、検出器125の検出結果をサンプリングする。DAQ130は、サンプリングされた検出器125の検出結果を演算制御ユニット200に送る。演算制御ユニット200は、例えば一連の波長走査毎に(Aライン毎に)、検出器125により得られた検出結果に基づくスペクトル分布にフーリエ変換等を施すことにより、各Aラインにおける反射強度プロファイルを形成する。更に、演算制御ユニット200は、各Aラインの反射強度プロファイルを画像化することにより画像データを形成する。
なお、図1及び図2に示す構成においては、測定光LSの光路(測定光路、測定アーム)の長さを変更するための光路長変更部41と、参照光LRの光路(参照光路、参照アーム)の長さを変更するための光路長変更部114の双方が設けられている。しかしながら、光路長変更部41及び114の一方だけが設けられていてもよい。また、これら以外の光学部材を用いて、参照光路長と測定光路長との差を変更することも可能である。
[演算制御ユニット]
演算制御ユニット200は、DAQ130から入力される検出信号を解析して被検眼EのOCT画像を形成する。そのための演算処理は、従来のスウェプトソースタイプのOCT装置と同様である。
また、演算制御ユニット200は、眼底カメラユニット2、表示装置3、及びOCTユニット100の各部を制御する。
眼底カメラユニット2の制御として、演算制御ユニット200は、観察光源11、撮影光源15、及びLED51、61の動作制御、LCD39の動作制御、撮影合焦レンズ31の移動制御、OCT合焦レンズ43の移動制御、反射棒67の移動制御、フォーカス光学系60の移動制御、光路長変更部41の移動制御、光スキャナー42の動作制御などを行う。
表示装置3の制御として、演算制御ユニット200は、被検眼EのOCT画像を表示装置3に表示させる。
OCTユニット100の制御として、演算制御ユニット200は、光源ユニット101の動作制御、光路長変更部114の移動制御、アッテネータ120の動作制御、偏波コントローラ103、118の動作制御、検出器125の動作制御、DAQ130の動作制御などを行う。
演算制御ユニット200は、例えば、従来のコンピュータと同様に、プロセッサ、RAM、ROM、ハードディスクドライブ、通信インターフェイスなどを含んで構成される。ハードディスクドライブ等の記憶装置には、眼科装置1を制御するためのコンピュータプログラムが記憶されている。演算制御ユニット200は、各種の回路基板、例えばOCT画像を形成するための回路基板を備えていてもよい。また、演算制御ユニット200は、キーボードやマウス等の操作デバイス(入力デバイス)や、LCD等の表示デバイスを備えていてもよい。
眼底カメラユニット2、表示装置3、OCTユニット100、及び演算制御ユニット200は、一体的に(つまり単一の筺体内に)構成されていてもよいし、2つ以上の筐体に別れて構成されていてもよい。
〔制御系〕
図3に、眼科装置1の制御系の構成例を示す。図3において、眼科装置1に含まれる構成要素の一部が省略されている。
演算制御ユニット200は、制御部210を含み、眼底カメラユニット2、表示装置3、及びOCTユニット100の各部を制御する。
(制御部)
制御部210は、各種の制御を実行する。制御部210は、主制御部211と記憶部212とを含む。
(主制御部)
主制御部211は、プロセッサを含み、眼科装置1の各部を制御する。例えば、主制御部211は、眼底カメラユニット2の合焦駆動部31A及び43A、イメージセンサ35及び38、LCD39、光路長変更部41、光スキャナー42、及び光学系の移動(移動機構150)などを制御する。更に、主制御部211は、OCTユニット100の光源ユニット101、光路長変更部114、アッテネータ120、偏波コントローラ103及び118、検出器125、DAQ130などを制御する。
例えば、主制御部211は、手動又は自動で設定された固視位置に対応するLCD39の画面上の位置に固視標を表示する。また、主制御部211は、LCD39に表示されている固視標の表示位置を(連続的に又は段階的に)変更することができる。それにより、固視標を移動することができる(つまり、固視位置を変更することができる)。固視標の表示位置や移動態様は、マニュアルで又は自動的に設定される。マニュアルでの設定は、例えばGUIを用いて行われる。自動的な設定は、例えば、データ処理部300により行われる。
合焦駆動部31Aは、撮影光学系30の光軸方向に撮影合焦レンズ31を移動させるとともに、照明光学系10の光軸方向にフォーカス光学系60を移動させる。それにより、撮影光学系30の合焦位置が変更される。いくつかの実施形態では、合焦駆動部31Aは、撮影合焦レンズ31を移動させる機構と、フォーカス光学系60を移動させる機構とを個別に有する。合焦駆動部31Aは、フォーカス調整を行うときなどに制御される。
合焦駆動部43Aは、測定光路の光軸方向にOCT合焦レンズ43を移動させる。それにより、測定光LSの合焦位置が変更される。例えば、OCT合焦レンズ43を第1レンズ位置に移動させることにより、測定光LSの合焦位置を眼底Ef又はその近傍に配置することができる。例えば、OCT合焦レンズ43を第2レンズ位置に移動させることにより、測定光LSの合焦位置を遠点位置に配置して測定光LSを平行光束にすることができる。測定光LSの合焦位置は、測定光LSのビームウェストの深さ位置(z位置)に相当する。
移動機構150は、例えば、少なくとも眼底カメラユニット2(光学系)を3次元的に移動する。典型的な例において、移動機構150は、少なくとも眼底カメラユニット2をx方向(左右方向)に移動するための機構と、y方向(上下方向)に移動するための機構と、z方向(奥行き方向、前後方向)に移動するための機構とを含む。x方向に移動するための機構は、例えば、x方向に移動可能なxステージと、xステージを移動するx移動機構とを含む。y方向に移動するための機構は、例えば、例えば、y方向に移動可能なyステージと、yステージを移動するy移動機構とを含む。z方向に移動するための機構は、例えば、z方向に移動可能なzステージと、zステージを移動するz移動機構とを含む。各移動機構は、パルスモータ等のアクチュエータを含み、主制御部211からの制御を受けて動作する。
移動機構150に対する制御は、アライメントやトラッキングにおいて用いられる。トラッキングとは、被検眼Eの眼球運動に合わせて装置光学系を移動させるものである。トラッキングを行う場合には、事前にアライメントとフォーカス調整が実行される。トラッキングは、装置光学系の位置を眼球運動に追従させることにより、アライメントとピントが合った好適な位置関係を維持する機能である。いくつかの実施形態では、参照光の光路長(よって、測定光の光路と参照光の光路との間の光路長差)を変更するために移動機構150の制御を行うように構成される。
マニュアルアライメントの場合、光学系に対する被検眼Eの変位がキャンセルされるようにユーザが後述のユーザインターフェイス240に対して操作することにより光学系と被検眼Eとを相対移動させる。例えば、主制御部211は、ユーザインターフェイス240に対する操作内容に対応した制御信号を移動機構150に出力することにより移動機構150を制御して光学系と被検眼Eとを相対移動させる。
オートアライメントの場合、光学系に対する被検眼Eの変位がキャンセルされるように主制御部211が移動機構150を制御することにより光学系と被検眼Eとを相対移動させる。いくつかの実施形態では、主制御部211は、光学系の光軸が被検眼Eの軸に略一致し、かつ、被検眼Eに対する光学系の距離が所定の作動距離になるように制御信号を移動機構150に出力することにより移動機構150を制御して光学系と被検眼Eとを相対移動させる。ここで、作動距離とは、対物レンズ22のワーキングディスタンスとも呼ばれる既定値であり、光学系を用いた測定時(撮影時)における被検眼Eと光学系との間の距離に相当する。
主制御部211は、眼底カメラユニット2等を制御することにより眼底撮影及び前眼部撮影を制御する。また、主制御部211は、眼底カメラユニット2及びOCTユニット100等を制御することによりOCT計測を制御する。主制御部211は、OCT計測を行う前に複数の予備的な動作を実行可能である。予備的な動作としては、アライメント、フォーカス粗調整、偏波調整、フォーカス微調整などがある。複数の予備的な動作は、所定の順序で実行される。いくつかの実施形態では、複数の予備的な動作は、上記の順序で実行される。
なお、予備的な動作の種別や順序はこれに限定されるものではなく、任意である。例えば、被検眼Eが小瞳孔眼であるか否か判定するための予備動作(小瞳孔判定)を予備的な動作に加えることができる。小瞳孔判定は、例えば、フォーカス粗調整と光路長差調整との間に実行される。いくつかの実施形態では、小瞳孔判定は、以下の一連の処理を含む:被検眼Eの正面画像(前眼部画像)の取得する処理;瞳孔に相当する画像領域を特定する処理;特定された瞳孔領域のサイズ(径、周長など)を求める処理;求められたサイズに基づき小瞳孔眼か否か判定する処理(閾値処理);小瞳孔眼であると判定された場合に絞り19を制御する処理。いくつかの実施形態では、瞳孔サイズを求めるために瞳孔領域を円近似又は楕円近似する処理を更に含む。
フォーカス粗調整は、スプリット視標を用いたフォーカス調整である。なお、あらかじめ取得された眼屈折力と撮影合焦レンズ31の位置とを関連付けた情報と、被検眼Eの屈折力の測定値とに基づいて撮影合焦レンズ31の位置を決定することにより、フォーカス粗調整を行うこともできる。
フォーカス微調整は、OCT計測の干渉感度に基づいて行われる。例えば、被検眼EのOCT計測により取得された干渉信号の干渉強度(干渉感度)をモニタすることにより、干渉強度が最大となるようなOCT合焦レンズ43の位置を求め、その位置にOCT合焦レンズ43を移動させることにより、フォーカス微調整を実行することができる。
光路長差調整においては、被検眼Eにおける所定の位置が深さ方向の計測範囲の基準位置になるように制御される。この制御は、光路長変更部41、114の少なくとも一方に対して行われる。それにより、測定光路と参照光路との間の光路長差が調整される。光路長差調整により基準位置を設定しておくことで、波長掃引速度の変更を行うだけで深さ方向の所望の計測範囲に対して精度よくOCT計測を行うことができるようになる。
偏波調整においては、測定光LSと参照光LRとの干渉効率を最適化するために参照光LRの偏波状態が調整される。
(記憶部)
記憶部212は、各種のデータを記憶する。記憶部212に記憶されるデータとしては、例えば、OCT画像の画像データ、眼底画像の画像データ、前眼部画像の画像データ、被検眼情報などがある。被検眼情報は、患者IDや氏名などの被検者に関する情報や、左眼/右眼の識別情報などの被検眼に関する情報を含む。
また、記憶部212には、眼科装置1を動作させるための各種プログラムやデータが記憶されている。
制御部210は、画像形成部230と、データ処理部300とを制御することが可能である。
(画像形成部)
画像形成部230は、検出器125からの検出信号をDAQ130でサンプリングすることにより得られたサンプリングデータに基づいて、被検眼EのOCT画像(画像データ)を形成する。画像形成部230により形成されるOCT画像には、Aスキャン(Aモード)画像、Bスキャン(Bモード)画像(断層像)、Cスキャン(Cモード)画像などがある。この処理には、従来のスウェプトソースタイプのOCTと同様に、ノイズ除去(ノイズ低減)、フィルタ処理、分散補償、FFT(Fast Fourier Transform)などの処理が含まれている。他のタイプのOCT装置の場合、画像形成部230は、そのタイプに応じた公知の処理を実行する。
画像形成部230は、例えば、前述の回路基板を含んで構成される。なお、この明細書では、「画像データ」と、それに基づく「画像」とを同一視することがある。
(データ処理部)
データ処理部300は、被検眼Eの撮影やOCT計測により取得されたデータを処理する。例えば、データ処理部300は、画像形成部230により形成された画像に対して各種の画像処理や解析処理を施す。具体的には、データ処理部300は、画像の輝度補正等の各種補正処理を実行する。また、データ処理部300は、眼底カメラユニット2により得られた画像(眼底画像、前眼部画像等)に対して各種の画像処理や解析処理を施すことが可能である。
データ処理部300は、断層像の間の画素を補間する補間処理などの公知の画像処理を実行して、眼底Ef又は前眼部Eaの3次元画像の画像データを形成する。なお、3次元画像の画像データとは、3次元座標系により画素の位置が定義された画像データを意味する。3次元画像の画像データとしては、3次元的に配列されたボクセルからなる画像データがある。この画像データは、ボリュームデータ或いはボクセルデータなどと呼ばれる。ボリュームデータに基づく画像を表示させる場合、データ処理部300は、このボリュームデータに対してレンダリング処理(ボリュームレンダリングやMIP(Maximum Intensity Projection:最大値投影)など)を施して、特定の視線方向から見たときの擬似的な3次元画像の画像データを形成する。表示部240A等の表示デバイスには、この擬似的な3次元画像が表示される。
また、3次元画像の画像データとして、複数の断層像のスタックデータを形成することも可能である。スタックデータは、複数のスキャンラインに沿って得られた複数の断層像を、スキャンラインの位置関係に基づいて3次元的に配列させることで得られる画像データである。すなわち、スタックデータは、元々個別の2次元座標系により定義されていた複数の断層像を、1つの3次元座標系により表現する(つまり1つの3次元空間に埋め込む)ことにより得られる画像データである。
データ処理部300は、取得された3次元データセット(ボリュームデータ、スタックデータ等)に各種のレンダリングを施すことで、任意断面におけるBモード画像(縦断面像、軸方向断面像)、任意断面におけるCモード画像(横断面像、水平断面像)、プロジェクション画像、シャドウグラムなどを形成することができる。Bモード画像やCモード画像のような任意断面の画像は、指定された断面上の画素(ピクセル、ボクセル)を3次元データセットから選択することにより形成される。プロジェクション画像は、3次元データセットを所定方向(z方向、深さ方向、軸方向)に投影することによって形成される。シャドウグラムは、3次元データセットの一部(たとえば特定層に相当する部分データ)を所定方向に投影することによって形成される。Cモード画像、プロジェクション画像、シャドウグラムのような、被検眼の正面側を視点とする画像を正面画像(en-face画像)と呼ぶ。
データ処理部300は、OCTにより時系列に収集されたデータ(例えば、Bスキャン画像データ)に基づいて、網膜血管や脈絡膜血管が強調されたBモード画像や正面画像(血管強調画像、アンギオグラム)を構築することができる。例えば、被検眼Eの略同一部位を反復的にスキャンすることにより、時系列のOCTデータを収集することができる。
いくつかの実施形態では、データ処理部300は、略同一部位に対するBスキャンにより得られた時系列のBスキャン画像を比較し、信号強度の変化部分の画素値を変化分に対応した画素値に変換することにより当該変化部分が強調された強調画像を構築する。更に、データ処理部300は、構築された複数の強調画像から所望の部位における所定の厚さ分の情報を抽出してen-face画像として構築することでOCTA像を形成する。
データ処理部300により生成された画像(例えば、3次元画像、Bモード画像、Cモード画像、プロジェクション画像、シャドウグラム、OCTA像)もまたOCT画像に含まれる。
更に、データ処理部300は、OCT計測により得られた干渉光の検出結果を解析してフォーカス微調整制御における測定光LSのフォーカス状態を判定する。例えば、主制御部211は、合焦駆動部43Aを所定のアルゴリズムに従って制御しつつ、反復的なOCT計測を行う。データ処理部300は、OCT計測により繰り返し取得される干渉光LCの検出結果を解析することで、OCT画像の画質に関する所定の評価値を算出する。データ処理部300は、算出された評価値が閾値以下であるか否か判定する。いくつかの実施形態では、フォーカス微調整は、算出される評価値が閾値以下になるまで継続される。すなわち、評価値が閾値以下であるとき測定光LSのフォーカス状態が適正であると判断され、フォーカス微調整は、測定光LSのフォーカス状態が適正であると判断されるまで継続される。
いくつかの実施形態では、主制御部211は、上記のような反復的なOCT計測を行って干渉信号を取得しつつ、逐次に取得される干渉信号の強度(干渉強度、干渉感度)をモニタする。更に、このモニタ処理を行いながら、OCT合焦レンズ43を移動させることにより、干渉強度が最大となるようなOCT合焦レンズ43の位置を探索する。このようなフォーカス微調整によれば、干渉強度が最適化されるような位置にOCT合焦レンズ43を導くことができる。
また、データ処理部300は、OCT計測により得られた干渉光の検出結果を解析して、測定光LS及び参照光LRの少なくとも一方の偏波状態を判定する。例えば、主制御部211は、偏波コントローラ103、118の少なくとも一方を所定のアルゴリズムに従って制御しつつ、反復的なOCT計測を行う。いくつかの実施形態では、主制御部211は、アッテネータ120を制御して、参照光LRの減衰量を変更する。データ処理部300は、OCT計測により繰り返し取得される干渉光LCの検出結果を解析することで、OCT画像の画質に関する所定の評価値を算出する。データ処理部300は、算出された評価値が閾値以下であるか否か判定する。この閾値はあらかじめ設定される。偏波調整は、算出される評価値が閾値以下になるまで継続される。すなわち、評価値が閾値以下であるとき測定光LSの偏波状態が適正であると判断され、偏波調整は、測定光LSの偏波状態が適正であると判断されるまで継続される。
いくつかの実施形態では、主制御部211は、偏波調整においても干渉強度をモニタすることが可能である。
実施形態に係るデータ処理部300は、画像形成部230又はデータ処理部300によって形成された画像が所定の解析エラー要因を含む解析エラー画像であるか否かを判定する。それにより、一定の判定基準で再撮影(再取得、再計測)の要否を自動で判定することが可能である。
図4~図11に、実施形態に係るデータ処理部300の説明図を示す。図4は、実施形態に係るデータ処理部300の構成例のブロック図を表す。図5は、図4のデータ処理部300の動作を説明するための概略図を表す。図6は、図5の乳頭出血(DH)判定モデル311の構成例を表す。図7は、図4の第1学習部410によるDH判定モデル311に対する機械学習を説明するための概略図を表す。図8は、図5の乳頭出血(DH)領域検出モデル321の構成例を表す。図9は、図4の第2学習部420によるDH領域検出モデル321に対する機械学習を説明するための概略図を表す。図10及び図11は、図5の解析部360の動作を説明するための概略図を表す。
データ処理部300は、上記のデータ処理に加えて、眼底カメラユニット2を用いて取得された被検眼Eの眼底画像(例えば、上記のキャプチャ画像)における乳頭出血(DH)領域を検出し、検出されたDH領域に対する解析情報を生成することが可能である。このようなデータ処理部300は、判定器310と、検出器320と、プロジェクション画像形成部340と、位置合わせ部350と、解析部360と、学習部400とを含む。データ処理部300には、学習部400が含まれなくてもよい。
図5に示すように、判定器310は、機械学習により得られたDH判定モデル311を用いて、眼底カメラユニット2を用いて取得された眼底画像IMG0に対してDHの有無を判定する。検出器320は、機械学習により得られたDH領域検出モデル321を用いて、判定器310によりDHがあると判定された眼底画像IMG0におけるDH領域を検出する。プロジェクション画像形成部340は、眼底画像IMG0が取得された被検眼Eに対してOCTユニット100を用いて実行されたOCT計測により得られたOCTデータに基づいてプロジェクション画像を形成する。位置合わせ部350は、DH領域が検出された眼底画像IMG0と、OCTデータとしてのプロジェクション画像との位置合わせを行う。
解析部360は、位置合わせ部350によりプロジェクション画像(すなわち、OCT座標系で規定されたOCTデータ)との位置合わせが行われた眼底画像を解析することにより、DH領域の位置情報、形状情報及び発生情報を生成する。このような解析部360は、位置情報生成部361と、形状情報生成部362と、発生情報生成部363とを含む。位置情報生成部361は、DH領域の位置情報を生成する。形状情報生成部362は、DH領域の形状情報を生成する。発生情報生成部363は、DH領域の発生情報を生成する。
学習部400は、機械学習を実行することによりDH判定モデル311及びDH領域検出モデル321を生成する。学習部400は、第1学習部410と、第2学習部420とを含む。第1学習部410は、機械学習を実行することによりDH判定モデル311を生成する。第2学習部420は、機械学習を実行することによりDH領域検出モデル321を生成する。
(判定器)
判定器310は、事前に機械学習により得られた学習済みモデルであるDH判定モデル311を用いて、眼底画像IMG0に対してDHの有無を判定する。
実施形態に係る学習済みモデルは、CPU及びメモリを備えるコンピュータ(プロセッサ)において用いられる。判定器310の機能は、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network:以下、CNN)により実現される。すなわち、CPUがメモリに記憶された学習済みモデルからの指令に従って、後述の特徴量抽出部312の畳み込み層314に入力された眼底画像の画素値に対し、CNNにおける学習済みの重み付け係数と応答関数等に基づく演算を行い、後述の分類器313から判定結果(分類結果)を出力するように動作する。このような構成を有する判定器310は、眼底画像の解像度を段階的に落としつつ局所的な相関パターンを抽出し、抽出された相関パターンに基づいて判定結果を出力することができる。
図6に示すように、DH判定モデル311(判定器310)は、特徴量抽出部312と、分類器313とを含む。特徴量抽出部312は、入力された眼底画像IMG0に対して、所定の画像領域ごとに特徴量の抽出とダウンサンプリング(フィルタリング)とを繰り返して当該眼底画像の特徴量を抽出する。分類器313は、特徴量抽出部312により抽出された特徴量に基づいてDHの有無を示す出力情報を生成し、生成された出力情報に基づいて眼底画像IMG0にDHがあるか否かを示す情報Out1(DHあり/DH無し)を出力する。
特徴量抽出部312は、畳み込み層(Convolution Layer)とプーリング層(Pooling Layer)とを含むユニットが多段接続された複数のユニットを含む。各ユニットでは、畳み込み層の出力にプーリング層の入力が接続される。最初の段の畳み込み層の入力には、眼底画像において対応する画素の画素値が入力される。後段の畳み込み層の入力は、前段のプーリング層の出力に接続される。
図6では、特徴量抽出部312は、2段に接続された2つのユニットを含む。すなわち、特徴量抽出部312は、畳み込み層314とプーリング層315とを含むユニットの後段に、畳み込み層316とプーリング層317とを含むユニットが接続される。プーリング層315の出力は、畳み込み層316の入力に接続される。
分類器313は、全結合層(Fully Connected Layer)318、319を含み、全結合層318の出力は全結合層319の入力に接続される。
特徴量抽出部312及び分類器313において、接続された2つの層のニューロン間では学習済みの重み付け係数(学習パラメータ)が割り当てられる。重み付け係数は、機械学習を実行することにより更新される。各ニューロンは、入力される1以上のニューロンからの重み付け係数を加味した演算結果に対し、応答関数を用いて演算を行い、得られた演算結果を次の段のニューロンに出力する。
図7に示すように、第1学習部410は、既存の初期モデルに対して、DHの有無を示すラベルが付された眼底画像LIMGを教師データとして公知の機械学習を行うことにより、初期モデルに対して重み付け係数が更新されたDH判定モデル311を生成する。既存の重み付け係数は、DHの有無を示すラベルが付された眼底画像LIMGを教師データとする機械学習により更新される。教師データは、眼底画像と当該眼底画像にDHが描出されているか否かを示すラベル情報とを一対とする複数対のデータであってよい。DHの有無は、眼底画像毎に、事前に医師による判断結果に基づいて決定され、眼底画像のラベルとして付される。第1学習部410は、生成されたDH判定モデル311に対して、更に別の教師データを用いた機械学習を実行することで、DH判定モデル311を更に学習させることが可能である。
すなわち、第1学習部410は、複数の眼底画像LIMGを訓練データとして公知の教師あり学習(supervised learning)(機械学習)を実行することで被検眼Eの眼底画像にDHが描出されているか否かを判定(分類)するための学習済みモデルであるDH判定モデル311を生成する。機械学習は、教師なし学習(unsupervised learning)、又は強化学習(reinforecement learning)であってよい。いくつかの実施形態では、転移学習(transfer lerning)によって重み付け係数の更新が行われる。
DH判定モデル311(特徴量抽出部312)は、VGG16、VGG19、InceptionV3、ResNet18、ResNet50、Xception、DenseNet201等の公知の層構造を有していてよい。分類器313は、Random Forestやサポートベクターマシン(Support Vector Machined:SVM)等の公知の構成を有していてよい。例えば、第1実施形態に係るDH判定モデル311は、DenseNet201により構築される。
(検出器)
検出器320は、事前に機械学習により得られた学習済みモデルであるDH領域検出モデル321を用いて、判定器310によりDHがあると判定された眼底画像IMG0におけるDH領域を検出する。
実施形態に係る学習済みモデルは、CPU及びメモリを備えるコンピュータ(プロセッサ)において用いられる。検出器320の機能は、例えば、CNNにより実現される。すなわち、CPUがメモリに記憶された学習済みモデルからの指令に従って、後述の特徴量抽出部322の畳み込み層324に入力された眼底画像の画素値に対し、CNNにおける学習済みの重み付け係数と応答関数等に基づく演算を行い、後述の復元部323から、検出されたDH領域が描出された画像を出力するように動作する。このような構成を有する検出器320は、畳み込み動作によって眼底画像の解像度を段階的に落としつつ局所的な相関パターンを抽出し、抽出された相関パターンから逆畳み込み動作により眼底画像に対応した検出画像を出力することができる。
図8に示すように、DH領域検出モデル321(検出器320)は、特徴量抽出部322と、復元部323とを含む。特徴量抽出部322は、入力された眼底画像IMG0に対して、所定の画像領域ごとに特徴量の抽出とダウンサンプリング(フィルタリング)とを繰り返して当該眼底画像の特徴量を抽出する。復元部323は、特徴量抽出部322により抽出された特徴量に対して、所定の画像領域ごとに特徴量に対応した画像の復元を繰り返して当該特徴量に対応した検出画像Out2(図5を参照)を出力する。検出画像Out2には、検出されたDH領域が描出される。図8では、検出画像Out2は、DH領域DH0が描出された出力画像(DH領域検出画像)DIMGである。
特徴量抽出部322は、特徴量抽出部312と同様に、畳み込み層とプーリング層とを含むユニットが多段接続された複数のユニットを含む。各ユニットでは、畳み込み層の出力にプーリング層の入力が接続される。最初の段の畳み込み層の入力には、眼底画像において対応する画素の画素値が入力される。後段の畳み込み層の入力は、前段のプーリング層の出力に接続される。
図8では、特徴量抽出部322は、2段に接続された2つのユニットを含む。すなわち、特徴量抽出部322は、畳み込み層324とプーリング層325とを含むユニットの後段に、畳み込み層326とプーリング層327とを含むユニットが接続される。プーリング層325の出力は、畳み込み層326の入力に接続される。
復元部323は、逆畳み込み層とプーリング層とを含むユニットが1以上の段数で接続された1以上のユニットを含む。各ユニットでは、逆畳み込み層の出力にプーリング層の入力が接続される。最初の段の逆畳み込み層の入力には、特徴量抽出部322のプーリング層の出力が接続される。後段の逆畳み込み層の入力は、前段のプーリング層の出力に接続される。
図8では、復元部323は、特徴量抽出部322のプーリング層327に対応した逆畳み込み層328と、1つのユニットとを含む。すなわち、復元部323は、プーリング層327に対応した逆畳み込み層328の後段に、プーリング層329と逆畳み込み層330とを含むユニットが接続される。プーリング層329の出力は、逆畳み込み層330の入力に接続される。
DH判定モデル311と同様に、特徴量抽出部322及び復元部323において、接続された2つの層のニューロン間では学習済みの重み付け係数(学習パラメータ)が割り当てられる。各ニューロンは、入力される1以上のニューロンからの重み付け係数を加味した演算結果に対し、応答関数を用いて演算を行い、得られた演算結果を次の段のニューロンに出力する。
図9に示すように、第2学習部420は、既存の初期モデルに対して、眼底画像IMG1と当該眼底画像IMG1に描出されたDH領域を表すDH領域画像TG1とを一対とする複数対の画像群を教師データと公知の機械学習を行うことにより、初期モデルに対して重み付け係数が更新されたDH領域検出モデル321を生成する。既存の重み付け係数は、複数対の画像群を教師データとする機械学習により更新される。DH領域画像は、眼底画像毎に、事前に医師による判断結果に基づいて生成される。例えば、医師が操作部240Bを用いて眼底画像IMG1におけるDH領域の境界を指定することでDH領域画像TG1が生成される。第2学習部420は、生成されたDH領域検出モデル321に対して、更に別の教師データを用いた機械学習を実行することで、DH領域検出モデル321を更に学習させることが可能である。
すなわち、第2学習部420は、複数対の画像群(眼底画像IMG1、DH領域画像TG1)を訓練データとして公知の教師あり学習(機械学習)を実行することで眼底画像におけるDH領域を検出するための学習済みモデルであるDH領域検出モデル321を生成する。機械学習は、教師なし学習、又は強化学習であってよい。いくつかの実施形態では、転移学習によって重み付け係数の更新が行われる。
ここで、第2学習部420がDH領域検出モデル321の学習に用いる教師データ(第2教師データ)は、第1学習部410がDH判定モデル311の学習に用いる教師データ(第1教師データ)の少なくとも一部を含む。すなわち、第2学習部420がDH領域検出モデル321の学習に用いる教師データは、第1学習部410がDH判定モデル311の学習に用いる教師データに含まれる眼底画像を含む。これにより、1つの学習済みモデルを用いてDH領域を検出する場合と比較して、教師データの量を増やすことなく、後述のようにDH領域の検出精度を向上させることができる。
DH領域検出モデル321(検出器320)は、VGG16、VGG19、InceptionV3、ResNet18、ResNet50、Xception、U-Net、ResUnet、ResUnet++等の公知の層構造を有していてよい。例えば、第1実施形態に係るDH領域検出モデル321は、ResUnet++(Debesh Jha etc., “ResUnet++:An Advanced Architecture for Medical Image Segmentation”, 21st IEEE International Symposium on Multimedia, 2019年12月)により構築される。
(プロジェクション画像形成部)
プロジェクション画像形成部340は、上記のように被検眼Eの眼底Efのプロジェクション画像を形成する。例えば、プロジェクション画像形成部340は、被検眼Eの眼底Efのボリュームデータをz方向に投影することにより眼底Efのプロジェクション画像を形成する。
(位置合わせ部)
位置合わせ部350は、DH領域が検出された眼底画像と、プロジェクション画像形成部340によって形成されたプロジェクション画像との位置合わせを行う。位置合わせ部350により位置合わせが行われる眼底画像は、検出器320によって検出されたDH領域が描出された眼底画像である。これにより、位置合わせ部350により位置合わせが行われた眼底画像における各画素の位置をOCT座標系の位置と対応付けることが可能になる。
いくつかの実施形態では、位置合わせ部350は、プロジェクション画像におけるOCTユニット100(干渉光学系)の光軸に相当する位置と眼底画像における眼底カメラユニット2(撮影光学系)の光軸に相当する位置とが一致するように位置合わせを行う。
いくつかの実施形態では、位置合わせ部350は、プロジェクション画像における特徴部位を特定すると共に眼底画像における特徴部位を特定し、両画像における特徴部位の位置が一致するように位置合わせを行う。この場合、例えば、眼底画像における視神経乳頭に相当する領域をプロジェクション画像における視神経乳頭に相当する領域に一致するように自動又は手動で補正するようにしてもよい。OCTデータにより眼底の断層構造から特徴部位を高精度に特定することが可能になるため、眼底画像だけでは判別が困難な視神経乳頭に相当する領域の境界を高精度に検出することが可能になる。
いくつかの実施形態では、位置合わせ部350は、眼底画像とプロジェクション画像との位置合わせの際に、眼底画像及びプロジェクション画像の少なくとも一方をアフィン変換する。例えば、プロジェクション画像は、座標系と共にアフィン変換される。
OCT計測により得られるOCTデータは、再現性が高く、且つ、視神経乳頭の位置や形状を高精度に特定することが可能なデータである。その結果、後述の解析部360によるDH領域の解析結果もまた、高い再現性で、高精度に取得することが可能である。
(解析部)
解析部360は、位置合わせ部350によりプロジェクション画像との位置合わせが行われた眼底画像を解析することにより、DH領域の位置情報、形状情報及び発生情報を生成する。具体的には、解析部360は、プロジェクション画像において定義される座標系の位置情報を用いて、解析対象の眼底画像において検出された上記のDH領域の位置情報等を生成する。ここで、解析対象は、プロジェクション画像との位置合わせによって視神経乳頭に相当する領域等が補正された眼底画像であってよい。
解析部360は、DH領域の位置情報、形状情報及び発生情報の統計情報を生成することが可能である。統計情報には、複数の被検眼を対象とした統計情報、同一の被検眼(又は被検者)を対象とした統計情報などがある。統計情報の例には、ヒストグラムなどがある。
また、解析部360は、DH領域の検出日又は医師によって推定されたDH領域の発生日に関連付けて、DH領域の位置情報、形状情報及び発生情報、又はこれらの統計情報を時系列に管理することが可能である。
位置情報生成部361は、眼底画像における基準位置を基準としてDH領域の位置又は方向などを表す位置情報を生成する。例えば、基準位置は、眼底画像又はプロジェクション画像を解析することにより特定される。基準位置の例として、視神経乳頭の中心、視神経乳頭の重心などがある。
いくつかの実施形態では、位置情報は、視神経乳頭の中心を基準として、検出されたDH領域の代表位置を示す情報(視神経乳頭の中心を基準としたDH領域の相対位置を示す情報)を含む。DH領域の代表位置の例として、DH領域の中心位置、重心位置、基準位置から最も近いDH領域内の位置、基準位置から最も遠いDH領域内の位置などがある。
いくつかの実施形態では、位置情報は、視神経乳頭の中心を基準として、検出されたDH領域の代表位置の方向(視神経乳頭の中心を通る基準方向に対する角度)を示す情報を含む。
いくつかの実施形態では、位置情報は、検出されたDH領域の代表位置が視神経乳頭領域内であるか視神経乳頭領域外であるかを示す情報を含む。いくつかの実施形態では、位置情報は、検出されたDH領域の代表位置が視神経乳頭領域内の視神経乳頭辺縁部(リム)内か視神経乳頭辺縁部外かを示す情報を含む。
位置情報生成部361は、上記の複数の位置情報の少なくとも1つを生成することが可能である。
形状情報生成部362は、眼底画像において検出されたDH領域の形状を表す形状情報を生成する。このとき、形状情報生成部362は、OCT座標系におけるDH領域の形状と、OCT座標系における1画素当たりのサイズ情報(ピクセルスペーシング)とを用いて、眼底画像におけるDH領域の形状情報を定量的に生成することが可能である。
いくつかの実施形態では、形状情報は、DH領域の楕円率、面積などを示す情報を含む。例えば、DH領域を楕円近似し、特定された楕円の短軸と長軸との比を算出することで楕円率が求められる。例えば、DH領域の境界を特定し、特定された境界内の画素数をカウントし、OCT座標系における1画素当たりのサイズ情報を用いることで、DH領域の面積が定量的に求められる。
形状情報生成部362は、上記の複数の形状情報の少なくとも1つを生成することが可能である。
発生情報生成部363は、検出されたDH領域の発生情報を生成する。例えば、発生情報生成部363(解析部360)は、複数の被検眼又は解析対象の被検眼について過去に発生したDH領域の検出日又は医師によって推定されたDH領域の発生日に基づいて、DH領域の発生情報を生成する。
いくつかの実施形態では、発生情報は、DH領域の発生頻度、及びDH領域の発生間隔の少なくとも1つを含む。
発生頻度には、複数の被検眼又は同一の被検眼におけるDH領域の発生頻度、複数の被検眼又は同一の被検眼におけるDH領域の発生位置毎の頻度などがある。発生位置毎の頻度には、基準位置を基準に放射状に分割されたブロック毎の頻度などがある。この場合、発生情報は、上記の位置情報に基づいてDH領域の発生位置毎に、又は上記の位置情報に基づき特定された、基準位置を基準に放射状に分割されたブロック毎に求められる。
発生間隔は、今回のDH領域の検出日又は医師によって推定された今回のDH領域の発生部と、過去に直近で記録されたDH領域の検出日又は医師によって推定されたDH領域の発生日との間隔により求められる。
図10に、第1実施形態に係る位置情報生成部361により生成される位置情報の一例を模式的に示す。図10は、複数の被検眼におけるDH領域の位置のヒストグラムを表す。図10では、視神経乳頭を中心にT(耳側)の方向が0度であり、N(鼻側)の方向が180度である。
図10に示すように、視神経乳頭の中心を基準にT(耳側)の方向にDH領域が発生しやすいことが把握できる。図10では、複数の被検眼に対するDH領域の位置のヒストグラムを表すが、位置情報生成部361は、同一の被検眼に対するDH領域の位置のヒストグラムを図10に示すように生成してもよい。
図11に、第1実施形態に係る形状情報生成部362により生成される形状情報の一例を模式的に示す。図11は、複数の被検眼におけるDH領域の面積のヒストグラムを表す。図11では、縦軸が頻度を表し、横軸が面積[mm]を表す。
図11に示すように、DH領域の面積の分布を把握することができる。図11では、複数の被検眼に対するDH領域の面積のヒストグラムを表すが、形状情報生成部362は、同一の被検眼に対するDH領域の面積のヒストグラムを図11に示すように生成してもよい。
いくつかの実施形態では、解析部360は、検出器320によりDH領域が検出された眼底画像とOCT計測により公知の手法で得られた眼底Efの所定の層領域の層厚マップとの位置合わせを行い、眼底画像と層厚マップとを重ね合わせた合成画像を生成する。所定の層領域には、神経節細胞層(GCL)、網膜神経線維層(RNFL)、視神経乳頭周囲網膜神経線維層(cpRNFL)、GCC(=NFL+GCL+IPL(内網状層))などがある。この場合、制御部210(主制御部211)は、生成された合成画像を後述の表示部240Aに表示させることが可能である。
いくつかの実施形態では、解析部360は、検出器320により検出されたDH領域の色に基づいてDH領域の発生時期(又は発生日)を推測する。例えば、解析部360は、DH領域の基準色を基準に、検出されたDH領域の色に基づいてDH領域の発生時期を推測する。DH領域の色は、主に、眼底画像における赤色成分を抽出することで特定される。いくつかの実施形態では、解析部360は、前回と今回検出されたDH領域の色(例えば、赤色成分の画素値)の違いに基づいてDH領域の発生間隔を推測する。いくつかの実施形態では、解析部360は、前回の検査日に検出されたDH領域の色とDH領域の発生間隔とに基づいて、DH領域の発生時期を推測する。
以上のように機能するデータ処理部300は、例えば、前述のプロセッサ、RAM、ROM、ハードディスクドライブ、回路基板等を含んで構成される。ハードディスクドライブ等の記憶装置には、上記機能をプロセッサに実行させるコンピュータプログラムがあらかじめ格納されている。
(ユーザインターフェイス)
図3に示すように、ユーザインターフェイス240には、表示部240Aと操作部240Bとが含まれる。表示部240Aは、前述した演算制御ユニット200の表示デバイスや表示装置3を含んで構成される。操作部240Bは、前述した演算制御ユニット200の操作デバイスを含んで構成される。操作部240Bには、眼科装置1の筐体や外部に設けられた各種のボタンやキーが含まれていてもよい。例えば眼底カメラユニット2が従来の眼底カメラと同様の筺体を有する場合、操作部240Bは、この筺体に設けられたジョイスティックや操作パネル等を含んでいてもよい。また、表示部240Aは、眼底カメラユニット2の筺体に設けられたタッチパネルなどの各種表示デバイスを含んでいてもよい。
なお、表示部240Aと操作部240Bは、それぞれ個別のデバイスとして構成される必要はない。例えばタッチパネルのように、表示機能と操作機能とが一体化されたデバイスを用いることも可能である。その場合、操作部240Bは、このタッチパネルとコンピュータプログラムとを含んで構成される。操作部240Bに対する操作内容は、電気信号として制御部210に入力される。また、表示部240Aに表示されたグラフィカルユーザインターフェイス(GUI)と、操作部240Bとを用いて、操作や情報入力を行うようにしてもよい。
データ処理部300は、実施形態に係る「眼科情報処理装置」の一例である。プロジェクション画像は、実施形態に係る「OCTデータ」の一例である。眼底カメラユニット2(撮影光学系30)は、実施形態に係る「撮影部」の一例である。OCTユニット100、画像形成部230(及び/又はデータ処理部300)は、実施形態に係る「OCT部」の一例である。
[動作]
第1実施形態に係る眼科装置1の動作について説明する。
図12に、第1実施形態に係る眼科装置1の動作例を示す。図12は、第1実施形態に係る眼科装置1の動作例のフローチャートを表す。記憶部212には、図12に示す処理を実現するためのコンピュータプログラムが記憶されている。主制御部211は、このコンピュータプログラムに従って動作することにより、図12に示す処理を実行する。
以下では、被検眼Eと光学系とのアライメントが既に完了しているものとする。また、DH判定モデル311は、第1学習部410により既に機械学習が行われ、DH領域検出モデル321は、第2学習部420により既に機械学習が行われているものとする。
(S1:カラー眼底画像を取得)
まず、主制御部211(制御部210)は、眼底カメラユニット2(撮影光学系30)を制御して被検眼Eの眼底Efを撮影させる。これにより、主制御部211は、被検眼Eのカラー眼底画像を取得できる。
(S2:DHの有無を判定)
次に、主制御部211は、判定器310を制御して、ステップS1において取得されたカラー眼底画像にDHがあるか否かを判定させる。
判定器310は、上記のように、DH判定モデル311を用いてカラー眼底画像に対してDHがあるか否かを判定する(分類する)。
(S3:DHあり?)
ステップS2においてカラー眼底画像にDHがあると判定されたとき(S3:Y)、眼科装置1の動作はステップS4に移行する。
ステップS2においてカラー眼底画像にDHがないと判定されたとき(S3:N)、眼科装置1の動作は終了である(エンド)。
(S4:DH領域を検出)
ステップS2においてカラー眼底画像にDHがあると判定されたとき(S3:Y)、主制御部211は、検出器320を制御して、ステップS2においてDHがあると判定されたカラー眼底画像におけるDH領域を検出させる。
検出器320は、上記のように、DH領域検出モデル321を用いて、ステップS2においてDHがあると判定されたカラー眼底画像におけるDH領域を検出する。
(S5:位置合わせ)
続いて、主制御部211は、位置合わせ部350を制御して、ステップS4においてDH領域が検出された眼底画像と被検眼Eに対してOCT計測を実行することにより得られたOCTデータに基づいて形成されたプロジェクション画像との位置合わせを実行させる。
いくつかの実施形態では、ステップS4において眼底画像にDH領域が検出された後に、主制御部211は、OCTユニット100を制御してOCT計測を実行させ、画像形成部230を制御してOCT画像を形成させ、プロジェクション画像形成部340を制御してプロジェクション画像を形成させる。
いくつかの実施形態では、あらかじめ被検眼Eに対してOCT計測が実行され、プロジェクション画像形成部340により被検眼Eのプロジェクション画像が形成される。
(S6:位置情報を生成)
続いて、主制御部211は、位置情報生成部361を制御して、ステップS5において位置合わせが行われた眼底画像におけるDH領域の位置情報を生成させる。
例えば、位置情報生成部361は、視神経乳頭の中心とDH領域の代表位置との相対位置を求める。例えば、位置情報生成部361は、視神経乳頭の中心を基準としてDH領域の代表位置の方向を求め、図10に示すような位置情報を生成する。
(S7:形状情報を生成)
続いて、主制御部211は、形状情報生成部362を制御して、ステップS5において位置合わせが行われた眼底画像におけるDH領域の形状情報を生成させる。
例えば、形状情報生成部362は、上記のように、DH領域の面積を求め、図11に示すような形状情報を生成する。
(S8:発生情報を生成)
続いて、主制御部211は、発生情報生成部363を制御して、ステップS4において検出されたDH領域の発生情報を生成させる。
例えば、発生情報生成部363は、上記のように、DH領域の発生頻度、及びDH領域の発生間隔を含む発生情報を生成する。
以上で、眼科装置1の動作は終了である。
ここで、第1実施形態に係る眼科装置1によるDH領域の検出精度について説明する。
図13に、第1実施形態に係る眼科装置1によるDH領域の検出精度の説明図を示す。図13は、第1実施形態の比較例と対比することにより第1実施形態に係る眼科装置1によるDH領域の検出精度を模式的に表したものである。第1実施形態の比較例では、1つの学習済みモデル(ResUnet++)を機械学習で生成し、生成された学習済みモデルを用いて眼底画像からDH領域が直接に検出される。
図13では、DH領域の検出精度を表す指標としてmIOU(mean Intersection Over Union)が用いられている。mIOUは、画像毎に算出されたIOUの平均値に相当する。ここで、IOUは、式(1)で表されるように、入力画像である眼底画像と出力画像である検出画像(DH領域検出画像)とにおけるpositive領域のピクセル数(P)とtrue領域のピクセル数(T)との和に対するture positive領域のピクセル数(TP)の割合を表す。すなわち、IOUは、1に近いほど検出精度が高いことを示す指標である。
Figure 2022074224000002
この実施形態では、positive領域は、検出画像(出力画像)においてDH領域であると検出された領域に相当する。true領域は、眼底画像における真のDH領域に相当する。true positive領域は検出画像において検出されたDH領域と眼底画像における真のDH領域とが一致する領域(正解の領域)に相当する。
図13は、DHありの画像146枚とDHなしの画像146枚について、比較例に係る構成によるmIOU(146×2枚のIOUの平均値)と、第1実施形態に係る構成によるmIOUとを表す。すなわち、比較例では上記のように1つの学習済みモデルを用いてDH領域を検出する場合、mIOU=0.573である。これに対して、第1実施形態におけるDH判定モデル311とDH領域検出モデル321とを用いてDH領域を検出する場合、mIOU=0.611である。
従って、図13は、比較例と比較して第1実施形態に係る構成によれば、DH領域を高精度に検出することができることを表す。
以上のように、第1実施形態によれば、1つの学習済みモデルを用いて眼底画像からDH領域を検出する場合に比べて、DH領域を高い再現性で高精度に検出することが可能になる。また、DH領域が検出された眼底画像とプロジェクション画像との位置合わせを行い、OCTデータを用いてDH領域の位置情報、形状情報、及び発生情報を生成するようにしたので、検出されたDH領域を定量的に高精度に評価することが可能になる。
[第2実施形態]
第1実施形態では、実施形態に係る眼科情報処理装置が適用された眼科装置により眼底画像におけるDH領域を検出する場合について説明したが、実施形態に係る構成はこれに限定されるものではない。
第2実施形態では、実施形態に係る眼科情報処理装置は、外部に設けられた1以上の装置により取得された眼底画像又はOCTデータ(プロジェクション画像)に対して上記のDH領域の検出処理を実行することができる。以下、第1実施形態との相違点を中心に、第2実施形態について説明する。
図14に、第2実施形態に係る眼科システムの第1構成例のブロック図を示す。
第1構成例に係る眼科システム500は、眼科装置510~510(Nは2以上の整数)と、眼科情報処理装置520とを含む。眼科情報処理装置520は、ネットワーク530を介して、眼科装置510~510に接続されている。ネットワーク530は、有線又は無線のネットワーク(LAN、WAN)であってよい。
眼科情報処理装置520は、眼科装置510~510のいずれかと通信可能である。
いくつかの実施形態では、眼科装置510~510のいずれかは、眼科情報処理装置520に対してリクエストを送信し、当該リクエストが承認された眼科装置は、眼科情報処理装置520に対してデータを送信する。送信されたデータには、被検眼Eの眼底画像の画像データと、被検眼Eの上記のOCTデータ又はプロジェクション画像の画像データが含まれる。
いくつかの実施形態では、眼科情報処理装置520は、眼科装置510~510のいずれかに対してリクエストを送信し、当該リクエストを承認した眼科装置からのデータを受信する。受信されたデータには、被検眼Eの眼底画像の画像データと、被検眼Eの上記のOCTデータ又はプロジェクション画像の画像データが含まれる。
図15に、第2実施形態に係る眼科システムの第2構成例のブロック図を示す。
第2構成例に係る眼科システム500は、眼科装置510と、眼科情報処理装置520とを含む。眼科情報処理装置520は、所定の通信路を介して眼科装置510と接続されている。いくつかの実施形態では、眼科情報処理装置520は、ネットワークを介して眼科装置510とピアツーピア接続される。
眼科情報処理装置520は、眼科装置510と通信可能である。
いくつかの実施形態では、眼科装置510は、眼科情報処理装置520に対してリクエストを送信し、当該リクエストが承認された眼科装置510は、眼科情報処理装置520に対してデータを送信する。送信されたデータには、被検眼Eの眼底画像の画像データと、被検眼Eの上記のOCTデータ又はプロジェクション画像の画像データが含まれる。
いくつかの実施形態では、眼科情報処理装置520は、眼科装置510に対してリクエストを送信し、当該リクエストを承認した眼科装置510からのデータを受信する。受信されたデータには、被検眼Eの眼底画像の画像データと、被検眼Eの上記のOCTデータ又はプロジェクション画像の画像データが含まれる。
眼科装置510~510、及び眼科装置510は、図1~図3に示す眼科装置1とほぼ同様の構成を有している。第2実施形態では、図1~図3に示す眼科装置1の機能のうち、データ処理部300の機能の一部が眼科情報処理装置520により実現される。
図16に、第2実施形態に係る眼科情報処理装置520の構成例のブロック図を示す。図16において、図4と同様の部分には同一符号を付し、適宜説明を省略する。
眼科情報処理装置520は、通信部521と、判定器310と、検出器320と、プロジェクション画像形成部340と、解析部360と、学習部400と、制御部522とを含む。眼科情報処理装置520には、学習部400が含まれなくてもよい。
通信部521は、眼科装置510~510又は眼科装置510との通信インターフェイス処理を行う。すなわち、通信部521は、眼科装置510~510又は眼科装置510との間で所定の通信プロトコルに従って通信を行い、眼科装置510~510又は眼科装置510から眼底画像の画像データと、被検眼Eの上記のOCTデータ又はプロジェクション画像の画像データを含む通信データを受信する。通信部521は、受信された通信データに含まれる画像データを受信することで、眼科装置により得られた被検眼の眼底画像及びOCTデータを取得する。
制御部522は、制御部210と同様に、プロセッサを含み、眼科情報処理装置520の各部を制御する。制御部522は、制御部210と同様に、主制御部と、記憶部とを含む。
また、制御部522は、表示制御部として、眼科情報処理装置520の外部に接続された表示部540の表示制御を行うことができる。表示部540は、表示部240Aと同様の機能を有する。
眼科情報処理装置520の動作は、外部から眼底画像及びプロジェクション画像(OCTデータ)を取得する点を除いて、図12に示すフローと同様であるため、詳細な説明を省略する。すなわち、眼科情報処理装置520は、眼科装置510~510又は眼科装置510から取得した眼底画像に対して、第1実施形態と同様に、DHの有無を判定し、DHがあると判定された眼底画像に対してDH領域を検出する。更に、眼科情報処理装置520は、眼科装置510~510又は眼科装置510から取得したOCTデータを用いて眼底画像との位置合わせを行い、上記のDH領域の位置情報等の解析結果を求める。
第2実施形態に係る眼科システム500の構成は、図14及び図15に示す構成に限定されるものではない。
図17に、第2実施形態の第1変形例に係る眼科システムの構成例を示す。
第2実施形態の第1変形例に係る眼科システム500aは、眼科情報処理装置520と、眼底カメラ550と、OCT装置560とを含む。眼科情報処理装置520は、眼底カメラ550及びOCT装置560のそれぞれと通信可能である。
眼底カメラ550は、第1実施形態に係る眼科装置1の眼底カメラユニット2の機能(すなわち、眼底画像を取得する機能)を有する。OCT装置560は、第1実施形態に係る眼科装置1のOCTユニット100と画像形成部230とデータ処理部300の一部の機能(すなわち、OCTデータを取得し、OCT画像を形成する機能)を有する。
眼科情報処理装置520は、眼底カメラ550から被検眼Eの眼底画像の画像データを取得し、OCT装置560から被検眼EのOCTデータ(又はプロジェクション画像の画像データ)を取得する。眼科情報処理装置520は、眼底カメラ550から取得した眼底画像に対して、第1実施形態と同様に、DHの有無を判定し、DHがあると判定された眼底画像に対してDH領域を検出する。更に、眼科情報処理装置520は、OCT装置560から取得したOCTデータを用いて眼底画像との位置合わせを行い、上記のDH領域の位置情報等の解析結果を求める。
図18に、第2実施形態の第2変形例に係る眼科システムの構成例を示す。
第2実施形態の第2変形例に係る眼科システム500bは、眼底カメラ550と、OCT装置560とを含み、OCT装置560は、眼科情報処理部561を含む。OCT装置560は、眼底カメラ550と通信可能である。
眼底カメラ550は、第1実施形態に係る眼科装置1の眼底カメラユニット2の機能(すなわち、眼底画像を取得する機能)を有する。OCT装置560は、第1実施形態に係る眼科装置1のOCTユニット100と画像形成部230とデータ処理部300の一部の機能(すなわち、OCTデータを取得し、OCT画像を形成する機能)を有する。眼科情報処理部561は、眼科情報処理装置520の機能を有する。
眼科情報処理部561は、眼底カメラ550から被検眼Eの眼底画像の画像データを取得し、OCT装置560において取得された被検眼EのOCTデータ(又はプロジェクション画像の画像データ)を用いて上記の解析部360による解析処理を実行する。眼科情報処理部561は、眼底カメラ550から取得した眼底画像に対して、第1実施形態と同様に、DHの有無を判定し、DHがあると判定された眼底画像に対してDH領域を検出する。更に、眼科情報処理部561は、OCT装置560において取得されたOCTデータを用いて眼底画像との位置合わせを行い、上記のDH領域の位置情報等の解析結果を求める。
[作用]
実施形態に係る眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムについて説明する。
実施形態に係る眼科情報処理装置(データ処理部300、眼科情報処理装置520、眼科情報処理部561)は、判定器(310)と、検出器(320)とを含む。判定器は、乳頭出血の有無を示すラベルが付された複数の眼底の正面画像(LIMG)を第1教師データとする機械学習により得られた乳頭出血判定モデル(311)を用いて、被検眼(E)の眼底(Ef)の正面画像(眼底画像IMG0)に対して乳頭出血の有無を判定する。検出器は、眼底の正面画像(IMG1)と当該正面画像に描出された乳頭出血領域を表す乳頭出血領域画像(TG1)とを一対とする複数対の画像群を第2教師データとする機械学習により得られた乳頭出血領域検出モデル(322)を用いて、判定器により乳頭出血があると判定された正面画像に描出された乳頭出血領域を検出する。
このような態様によれば、判定器により被検眼の眼底の正面画像に対して乳頭出血の有無を判定し、検出器により乳頭出血があると判定された正面画像に対して正面画像における乳頭出血領域が検出される。このとき、検出器における乳頭出血領域検出モデルは、乳頭出血領域が存在する眼底画像のみを用いて機械学習することで、学習パラメータが乳頭出血領域の検出に特化して更新される。その結果、乳頭出血領域の検出精度を向上させることができる。従って、1つの学習済みモデルを用いて被検眼の眼底画像における乳頭出血領域を検出する場合と比較して、より高い再現性で高精度に眼底画像における乳頭出血領域を検出することが可能になる。
実施形態に係る眼科情報処理装置では、第2教師データは、第1教師データに含まれる正面画像を含む。
このような態様によれば、判定器の乳頭出血判定モデル及び検出器の乳頭出血領域検出モデルのそれぞれを同じ正面画像を用いて機械学習させるようにしたので、教師データの量を増やすことなく、より高い再現性で高精度に眼底画像における乳頭出血領域を検出することが可能になる。
実施形態に係る眼科情報処理装置は、第1教師データを用いて教師あり機械学習を実行することにより乳頭出血判定モデルを生成する第1学習部(410)を含む。
このような態様によれば、第1学習部により乳頭出血判定モデルを学習させるようにしたので、乳頭出血の有無の判定精度を向上させることが可能な眼科情報処理装置を提供することができるようになる。
実施形態に係る眼科情報処理装置は、第2教師データを用いて教師あり機械学習を実行することにより乳頭出血領域検出モデルを生成する第2学習部(420)を含む。
このような態様によれば、第2学習部により乳頭出血領域検出モデルを学習させるようにしたので、乳頭出血領域の検出精度を向上させることが可能な眼科情報処理装置を提供することができるようになる。
実施形態に係る眼科情報処理装置では、眼底の正面画像は、カラーの正面画像である。
このような態様によれば、情報量がより多い正面画像を用いることで、判定器による判定精度及び検出器による検出精度のより一層の向上を図ることができるようになる。
実施形態に係る眼科情報処理装置は、被検眼の眼底の正面画像を解析することにより、被検眼の眼底の正面画像における乳頭出血領域の位置を表す位置情報、乳頭出血領域の形状を表す形状情報、及び乳頭出血領域の発生状況を表す発生情報の少なくとも1つを生成する解析部(360)を含む。
このような態様によれば、より高い再現性で高精度に検出された乳頭出血領域を解析するようにしたので、被検眼の眼底画像における乳頭出血領域を高い再現性で高精度な解析結果を得ることができるようになる。
実施形態に係る眼科情報処理装置では、位置情報は、基準位置に対する乳頭出血領域の代表位置の方向を示す情報を含む。
このような態様によれば、眼底における基準位置に対する乳頭出血領域の発生位置の方向を把握し易くなる。それにより、基準位置に対する乳頭出血領域の発生方向に応じて推測される今後の疾患の症状の特定や今後の治療方針の決定に寄与することができるようになる。
実施形態に係る眼科情報処理装置では、位置情報は、乳頭出血領域の代表位置が視神経乳頭領域内か視神経乳頭領域外かを示す情報を含む。
このような態様によれば、乳頭出血領域が視神経乳頭領域内か視神経乳頭領域外かを把握し易くなる。それにより、乳頭出血領域が視神経乳頭領域内か否かに応じて推測される今後の疾患の症状の特定や今後の治療方針の決定に寄与することができるようになる。
実施形態に係る眼科情報処理装置では、位置情報は、代表位置が視神経乳頭辺縁部内か視神経乳頭辺縁部外かを示す情報を含む。
このような態様によれば、乳頭出血領域が視神経乳頭辺縁部内か視神経乳頭辺縁部外かを把握し易くなる。それにより、乳頭出血領域が視神経乳頭辺縁部内か否かに応じて推測される今後の疾患の症状の特定や今後の治療方針の決定に寄与することができるようになる。
実施形態に係る眼科情報処理装置では、形状情報は、乳頭出血領域の楕円率、及び乳頭出血領域の面積の少なくとも1つを含む。
このような態様によれば、乳頭出血領域の形状やサイズを把握し易くなる。それにより、乳頭出血領域の形状やサイズに応じて推測される今後の疾患の症状の特定や今後の治療方針の決定に寄与することができるようになる。
実施形態に係る眼科情報処理装置では、発生情報は、乳頭出血領域の発生頻度、及び乳頭出血領域の発生間隔の少なくとも1つを含む。
このような態様によれば、乳頭出血領域の発生状況を把握し易くなる。それにより、乳頭出血領域の発生状況に応じて推測される今後の疾患の症状の特定や今後の治療方針の決定に寄与することができるようになる。
実施形態に係る眼科情報処理装置は、被検眼のOCTデータと検出器により検出された乳頭出血領域が描出された被検眼の正面画像との位置合わせを行う位置合わせ部(350)を含み、解析部は、位置合わせ部により正面画像と位置合わせが行われたOCTデータを用いて、位置情報、形状情報、及び発生情報の少なくとも1つを生成する。
このような態様によれば、正面画像における乳頭出血領域をOCTデータと位置合わせを行うようにしたので、高い再現性で高精度に取得されたOCTデータを規定するOCT座標系において乳頭出血領域を特定することが可能になる。それにより、乳頭出血領域の解析結果を定量的に高い再現性で高精度に求めることが可能になる。
実施形態に係る眼科装置(1)は、被検眼の眼底を撮影する撮影部(撮影光学系30)と、上記のいずれかに記載の眼科情報処理装置と、を含む。
このような態様によれば、被検眼の正面画像を取得し、取得された正面画像における乳頭出血領域をより高い再現性で高精度に検出することが可能な眼科装置を提供することができるようになる。
実施形態に係る眼科装置(1)は、被検眼の眼底を撮影する撮影部(撮影光学系30)と、被検眼に対して光コヒーレンストモグラフィを実行することによりOCTデータを取得するOCT部(OCTユニット100、画像形成部230、データ処理部300の一部)と、上記に記載の眼科情報処理装置と、を含む。
このような態様によれば、被検眼の正面画像とOCTデータとを取得し、取得された正面画像における乳頭出血領域をより高い再現性で高精度に検出することが可能な眼科装置を提供することができるようになる。また、取得されたOCTデータを用いて、検出された乳頭出血領域の解析結果を定量的に高い再現性で高精度に求めることが可能になる。
実施形態に係る眼科情報処理方法は、判定ステップと、検出ステップとを含む。判定ステップは、乳頭出血の有無を示すラベルが付された複数の眼底の正面画像(LIMG)を第1教師データとする機械学習により得られた乳頭出血判定モデル(311)を用いて、被検眼(E)の眼底(Ef)の正面画像に対して乳頭出血の有無を判定する。検出ステップは、眼底の正面画像(IMG1)と当該正面画像に描出された乳頭出血領域を表す乳頭出血領域画像(TG1)とを一対とする複数対の画像群を第2教師データとする機械学習により得られた乳頭出血領域検出モデル(322)を用いて、判定ステップにおいて乳頭出血があると判定された正面画像に描出された乳頭出血領域を検出する。
このような態様によれば、判定ステップにおいて被検眼の眼底の正面画像に対して乳頭出血の有無を判定し、検出ステップにおいて乳頭出血があると判定された正面画像に対して正面画像における乳頭出血領域が検出される。このとき、検出ステップにおける乳頭出血領域検出モデルは、乳頭出血領域が存在する眼底画像のみを用いて機械学習することで、学習パラメータが乳頭出血領域の検出に特化して更新される。その結果、乳頭出血領域の検出精度を向上させることができる。従って、1つの学習済みモデルを用いて被検眼の眼底画像における乳頭出血領域を検出する場合と比較して、より高い再現性で高精度に眼底画像における乳頭出血領域を検出することが可能になる。
実施形態に係る眼科情報処理方法では、第2教師データは、第1教師データに含まれる正面画像を含む。
このような態様によれば、判定ステップにおける乳頭出血判定モデル及び検出ステップにおける乳頭出血領域検出モデルのそれぞれを同じ正面画像を用いて機械学習させるようにしたので、教師データの量を増やすことなく、より高い再現性で高精度に眼底画像における乳頭出血領域を検出することが可能になる。
実施形態に係る眼科情報処理方法は、第1教師データを用いて教師あり機械学習を実行することにより乳頭出血判定モデルを生成する第1学習ステップを含む。
このような態様によれば、第1学習ステップにおいて乳頭出血判定モデルを学習させるようにしたので、乳頭出血の有無の判定精度を向上させることが可能な眼科情報処理方法を提供することができるようになる。
実施形態に係る眼科情報処理方法は、第2教師データを用いて教師あり機械学習を実行することにより乳頭出血領域検出モデルを生成する第2学習ステップを含む。
このような態様によれば、第2学習ステップにおいて乳頭出血領域検出モデルを学習させるようにしたので、乳頭出血領域の検出精度を向上させることが可能な眼科情報処理方法を提供することができるようになる。
実施形態に係る眼科情報処理方法では、眼底の正面画像は、カラーの正面画像である。
このような態様によれば、情報量がより多い正面画像を用いることで、判定ステップにおける判定精度及び検出ステップにおける検出精度のより一層の向上を図ることができるようになる。
実施形態に係る眼科情報処理方法は、被検眼の眼底の正面画像を解析することにより、被検眼の眼底の正面画像における乳頭出血領域の位置を表す位置情報、乳頭出血領域の形状を表す形状情報、及び乳頭出血領域の発生状況を表す発生情報の少なくとも1つを生成する解析ステップを含む。
このような態様によれば、より高い再現性で高精度に検出された乳頭出血領域を解析するようにしたので、被検眼の眼底画像における乳頭出血領域を高い再現性で高精度な解析結果を得ることができるようになる。
実施形態に係る眼科情報処理方法では、位置情報は、基準位置に対する乳頭出血領域の代表位置の方向を示す情報を含む。
このような態様によれば、眼底における基準位置に対する乳頭出血領域の発生位置の方向を把握し易くなる。それにより、基準位置に対する乳頭出血領域の発生方向に応じて推測される今後の疾患の症状の特定や今後の治療方針の決定に寄与することができるようになる。
実施形態に係る眼科情報処理方法では、位置情報は、乳頭出血領域の代表位置が視神経乳頭領域内か視神経乳頭領域外かを示す情報を含む。
このような態様によれば、乳頭出血領域が視神経乳頭領域内か視神経乳頭領域外かを把握し易くなる。それにより、乳頭出血領域が視神経乳頭領域内か否かに応じて推測される今後の疾患の症状の特定や今後の治療方針の決定に寄与することができるようになる。
実施形態に係る眼科情報処理方法では、位置情報は、代表位置が視神経乳頭辺縁部内か視神経乳頭辺縁部外かを示す情報を含む。
このような態様によれば、乳頭出血領域が視神経乳頭辺縁部内か視神経乳頭辺縁部外かを把握し易くなる。それにより、乳頭出血領域が視神経乳頭辺縁部内か否かに応じて推測される今後の疾患の症状の特定や今後の治療方針の決定に寄与することができるようになる。
実施形態に係る眼科情報処理方法では、形状情報は、乳頭出血領域の楕円率、及び乳頭出血領域の面積の少なくとも1つを含む。
このような態様によれば、乳頭出血領域の形状やサイズを把握し易くなる。それにより、乳頭出血領域の形状やサイズに応じて推測される今後の疾患の症状の特定や今後の治療方針の決定に寄与することができるようになる。
実施形態に係る眼科情報処理方法では、発生情報は、乳頭出血領域の発生頻度、及び乳頭出血領域の発生間隔の少なくとも1つを含む。
このような態様によれば、乳頭出血領域の発生状況を把握し易くなる。それにより、乳頭出血領域の発生状況に応じて推測される今後の疾患の症状の特定や今後の治療方針の決定に寄与することができるようになる。
実施形態に係る眼科情報処理は、被検眼のOCTデータと検出ステップにおいて検出された乳頭出血領域が描出された被検眼の正面画像との位置合わせを行う位置合わせステップを含み、解析ステップは、位置合わせステップにおいて正面画像と位置合わせが行われたOCTデータを用いて、位置情報、形状情報、及び発生情報の少なくとも1つを生成する。
このような態様によれば、正面画像における乳頭出血領域をOCTデータと位置合わせを行うようにしたので、高い再現性で高精度に取得されたOCTデータを規定するOCT座標系において乳頭出血領域を特定することが可能になる。それにより、乳頭出血領域の解析結果を定量的に高い再現性で高精度に求めることが可能になる。
実施形態に係るプログラムは、コンピュータに、上記のいずれかに記載の眼科情報処理方法の各ステップを実行させる。
このような態様によれば、判定ステップにおいて被検眼の眼底の正面画像に対して乳頭出血の有無を判定し、検出ステップにおいて乳頭出血があると判定された正面画像に対して正面画像における乳頭出血領域が検出される。このとき、検出ステップにおける乳頭出血領域検出モデルは、乳頭出血領域が存在する眼底画像のみを用いて機械学習することで、学習パラメータが乳頭出血領域の検出に特化して更新される。その結果、乳頭出血領域の検出精度を向上させることができる。従って、1つの学習済みモデルを用いて被検眼の眼底画像における乳頭出血領域を検出する場合と比較して、より高い再現性で高精度に眼底画像における乳頭出血領域を検出することが可能になる。
<その他>
以上に示された実施形態は、この発明を実施するための一例に過ぎない。この発明を実施しようとする者は、この発明の要旨の範囲内において任意の変形、省略、追加等を施すことが可能である。
いくつかの実施形態では、上記の眼科装置の制御方法をコンピュータに実行させるためのプログラムが提供される。このようなプログラムを、コンピュータによって読み取り可能な任意の非一時的な記録媒体に記憶させることができる。この記録媒体としては、たとえば、半導体メモリ、光ディスク、光磁気ディスク(CD-ROM/DVD-RAM/DVD-ROM/MO等)、磁気記憶媒体(ハードディスク/フロッピー(登録商標)ディスク/ZIP等)などを用いることが可能である。また、インターネットやLAN等のネットワークを通じてこのプログラムを送受信することも可能である。
1、510、510~510 眼科装置
100 OCTユニット
210 制御部
211 主制御部
230 画像形成部
300 データ処理部
310 判定器
320 検出器
340 プロジェクション画像形成部
350 位置合わせ部
360 解析部
361 位置情報生成部
362 形状情報生成部
363 発生情報生成部
400 学習部
410 第1学習部
420 第2学習部
500、500a、500b 眼科システム
520 眼科情報処理装置
561 眼科情報処理部
E 被検眼
Ef 眼底

Claims (27)

  1. 乳頭出血の有無を示すラベルが付された複数の眼底の正面画像を第1教師データとする機械学習により得られた乳頭出血判定モデルを用いて、被検眼の眼底の正面画像に対して乳頭出血の有無を判定する判定器と、
    眼底の正面画像と当該正面画像に描出された乳頭出血領域を表す乳頭出血領域画像とを一対とする複数対の画像群を第2教師データとする機械学習により得られた乳頭出血領域検出モデルを用いて、前記判定器により前記乳頭出血があると判定された前記正面画像に描出された乳頭出血領域を検出する検出器と、
    を含む、眼科情報処理装置。
  2. 前記第2教師データは、前記第1教師データに含まれる正面画像を含む
    ことを特徴とする請求項1に記載の眼科情報処理装置。
  3. 前記第1教師データを用いて教師あり機械学習を実行することにより前記乳頭出血判定モデルを生成する第1学習部を含む
    ことを特徴とする請求項1又は請求項2に記載の眼科情報処理装置。
  4. 前記第2教師データを用いて教師あり機械学習を実行することにより前記乳頭出血領域検出モデルを生成する第2学習部を含む
    ことを特徴とする請求項1~請求項3のいずれか一項に記載の眼科情報処理装置。
  5. 前記眼底の正面画像は、カラーの正面画像である
    ことを特徴とする請求項1~請求項4のいずれか一項に記載の眼科情報処理装置。
  6. 前記被検眼の眼底の正面画像を解析することにより、前記被検眼の眼底の正面画像における前記乳頭出血領域の位置を表す位置情報、前記乳頭出血領域の形状を表す形状情報、及び前記乳頭出血領域の発生状況を表す発生情報の少なくとも1つを生成する解析部を含む
    ことを特徴とする請求項1~請求項5のいずれか一項に記載の眼科情報処理装置。
  7. 前記位置情報は、基準位置に対する前記乳頭出血領域の代表位置の方向を示す情報を含む
    ことを特徴とする請求項6に記載の眼科情報処理装置。
  8. 前記位置情報は、前記乳頭出血領域の代表位置が視神経乳頭領域内か視神経乳頭領域外かを示す情報を含む
    ことを特徴とする請求項6又は請求項7に記載の眼科情報処理装置。
  9. 前記位置情報は、前記代表位置が視神経乳頭辺縁部内か視神経乳頭辺縁部外かを示す情報を含む
    ことを特徴とする請求項8に記載の眼科情報処理装置。
  10. 前記形状情報は、前記乳頭出血領域の楕円率、及び前記乳頭出血領域の面積の少なくとも1つを含む
    ことを特徴とする請求項6~請求項9のいずれか一項に記載の眼科情報処理装置。
  11. 前記発生情報は、前記乳頭出血領域の発生頻度、及び前記乳頭出血領域の発生間隔の少なくとも1つを含む
    ことを特徴とする請求項6~請求項10のいずれか一項に記載の眼科情報処理装置。
  12. 前記被検眼のOCTデータと前記検出器により検出された前記乳頭出血領域が描出された前記被検眼の正面画像との位置合わせを行う位置合わせ部を含み、
    前記解析部は、前記位置合わせ部により前記正面画像と位置合わせが行われた前記OCTデータを用いて、前記位置情報、前記形状情報、及び前記発生情報の少なくとも1つを生成する
    ことを特徴とする請求項6~請求項11のいずれか一項に記載の眼科情報処理装置。
  13. 前記被検眼の眼底を撮影する撮影部と、
    請求項1~請求項12のいずれか一項に記載の眼科情報処理装置と、
    を含む、眼科装置。
  14. 前記被検眼の眼底を撮影する撮影部と、
    前記被検眼に対して光コヒーレンストモグラフィを実行することにより前記OCTデータを取得するOCT部と、
    請求項12に記載の眼科情報処理装置と、
    を含む、眼科装置。
  15. 乳頭出血の有無を示すラベルが付された複数の眼底の正面画像を第1教師データとする機械学習により得られた乳頭出血判定モデルを用いて、被検眼の眼底の正面画像に対して乳頭出血の有無を判定する判定ステップと、
    眼底の正面画像と当該正面画像に描出された乳頭出血領域を表す乳頭出血領域画像とを一対とする複数対の画像群を第2教師データとする機械学習により得られた乳頭出血領域検出モデルを用いて、前記判定ステップにおいて前記乳頭出血があると判定された前記正面画像に描出された乳頭出血領域を検出する検出ステップと、
    を含む、眼科情報処理方法。
  16. 前記第2教師データは、前記第1教師データに含まれる正面画像を含む
    ことを特徴とする請求項15に記載の眼科情報処理方法。
  17. 前記第1教師データを用いて教師あり機械学習を実行することにより前記乳頭出血判定モデルを生成する第1学習ステップを含む
    ことを特徴とする請求項15又は請求項16に記載の眼科情報処理方法。
  18. 前記第2教師データを用いて教師あり機械学習を実行することにより前記乳頭出血領域検出モデルを生成する第2学習ステップを含む
    ことを特徴とする請求項15~請求項17のいずれか一項に記載の眼科情報処理方法。
  19. 前記眼底の正面画像は、カラーの正面画像である
    ことを特徴とする請求項15~請求項18のいずれか一項に記載の眼科情報処理方法。
  20. 前記被検眼の眼底の正面画像を解析することにより、前記被検眼の眼底の正面画像における前記乳頭出血領域の位置を表す位置情報、前記乳頭出血領域の形状を表す形状情報、及び前記乳頭出血領域の発生状況を表す発生情報の少なくとも1つを生成する解析ステップを含む
    ことを特徴とする請求項15~請求項19のいずれか一項に記載の眼科情報処理方法。
  21. 前記位置情報は、基準位置に対する前記乳頭出血領域の代表位置の方向を示す情報を含む
    ことを特徴とする請求項20に記載の眼科情報処理方法。
  22. 前記位置情報は、前記乳頭出血領域の代表位置が視神経乳頭領域内か視神経乳頭領域外かを示す情報を含む
    ことを特徴とする請求項20又は請求項21に記載の眼科情報処理方法。
  23. 前記位置情報は、前記代表位置が視神経乳頭辺縁部内か視神経乳頭辺縁部外かを示す情報を含む
    ことを特徴とする請求項22に記載の眼科情報処理方法。
  24. 前記形状情報は、前記乳頭出血領域の楕円率、及び前記乳頭出血領域の面積の少なくとも1つを含む
    ことを特徴とする請求項20~請求項23のいずれか一項に記載の眼科情報処理方法。
  25. 前記発生情報は、前記乳頭出血領域の発生頻度、及び前記乳頭出血領域の発生間隔の少なくとも1つを含む
    ことを特徴とする請求項20~請求項24のいずれか一項に記載の眼科情報処理方法。
  26. 前記被検眼のOCTデータと前記検出ステップにおいて検出された前記乳頭出血領域が描出された前記被検眼の正面画像との位置合わせを行う位置合わせステップを含み、
    前記解析ステップは、前記位置合わせステップにおいて前記正面画像と位置合わせが行われた前記OCTデータを用いて、前記位置情報、前記形状情報、及び前記発生情報の少なくとも1つを生成する
    ことを特徴とする請求項20~請求項25のいずれか一項に記載の眼科情報処理方法。
  27. コンピュータに、請求項15~請求項26のいずれか一項に記載の眼科情報処理方法の各ステップを実行させることを特徴とするプログラム。
JP2020184091A 2020-11-04 2020-11-04 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム Pending JP2022074224A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020184091A JP2022074224A (ja) 2020-11-04 2020-11-04 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
PCT/JP2021/040330 WO2022097621A1 (ja) 2020-11-04 2021-11-02 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
US18/142,043 US20230263391A1 (en) 2020-11-04 2023-05-02 Ophthalmic information processing apparatus, ophthalmic apparatus, ophthalmic information processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020184091A JP2022074224A (ja) 2020-11-04 2020-11-04 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2022074224A true JP2022074224A (ja) 2022-05-18

Family

ID=81457176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020184091A Pending JP2022074224A (ja) 2020-11-04 2020-11-04 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230263391A1 (ja)
JP (1) JP2022074224A (ja)
WO (1) WO2022097621A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120157820A1 (en) * 2009-08-24 2012-06-21 Zhou Zhang Method and system for detecting disc haemorrhages
JP2013022028A (ja) * 2011-07-14 2013-02-04 Advance Co Ltd 循環系診断システム
JP7339270B2 (ja) * 2018-09-14 2023-09-05 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
CN111383775B (zh) * 2018-12-27 2023-05-16 福州依影健康科技有限公司 一种基于眼底筛查的会员用户匿名交流方法及存储设备
CN111179258A (zh) * 2019-12-31 2020-05-19 中山大学中山眼科中心 一种识别视网膜出血图像的人工智能方法及系统

Also Published As

Publication number Publication date
US20230263391A1 (en) 2023-08-24
WO2022097621A1 (ja) 2022-05-12

Similar Documents

Publication Publication Date Title
US9918634B2 (en) Systems and methods for improved ophthalmic imaging
JP6685151B2 (ja) 眼科装置
EP2786700B1 (en) Ophthalmologic apparatus
JP6580448B2 (ja) 眼科撮影装置及び眼科情報処理装置
JP6899632B2 (ja) 眼科撮影装置
JP7348374B2 (ja) 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム
JP7106728B2 (ja) 眼科装置
JP2022040372A (ja) 眼科装置
JP2022189963A (ja) 眼科装置
US20230337908A1 (en) Ophthalmic information processing apparatus, ophthalmic apparatus, ophthalmic information processing method, and recording medium
JP2020039430A (ja) 画像処理装置、画像処理方法及びプログラム
JP6736734B2 (ja) 眼科撮影装置及び眼科情報処理装置
JP6637743B2 (ja) 眼科装置
WO2020158282A1 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
WO2021149430A1 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
WO2022097621A1 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
WO2019150862A1 (ja) 血流計測装置
WO2021014744A1 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
WO2024004455A1 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
JP2022075732A (ja) 眼科装置、及び眼科情報処理プログラム
JP2020174928A (ja) 眼科装置、及びその制御方法
CN116829049A (zh) 眼科信息处理装置、眼科装置、眼科信息处理方法以及程序

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241001