JP2021145805A - 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム - Google Patents

眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2021145805A
JP2021145805A JP2020047157A JP2020047157A JP2021145805A JP 2021145805 A JP2021145805 A JP 2021145805A JP 2020047157 A JP2020047157 A JP 2020047157A JP 2020047157 A JP2020047157 A JP 2020047157A JP 2021145805 A JP2021145805 A JP 2021145805A
Authority
JP
Japan
Prior art keywords
image
information processing
eye
ophthalmic
disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020047157A
Other languages
English (en)
Inventor
光州 安
Guang Zhou An
光州 安
正博 秋葉
Masahiro Akiba
正博 秋葉
徹 中澤
Toru Nakazawa
徹 中澤
宗子 面高
Kazuko Omodaka
宗子 面高
秀夫 横田
Hideo Yokota
秀夫 横田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Topcon Corp
RIKEN Institute of Physical and Chemical Research
Original Assignee
Tohoku University NUC
Topcon Corp
RIKEN Institute of Physical and Chemical Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC, Topcon Corp, RIKEN Institute of Physical and Chemical Research filed Critical Tohoku University NUC
Priority to JP2020047157A priority Critical patent/JP2021145805A/ja
Publication of JP2021145805A publication Critical patent/JP2021145805A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】被検眼の疾患に対して適切な治療を早期に施すための新たな技術を提供する。【解決手段】眼科情報処理装置は、取得部と、疾患推定部とを含む。取得部は、互いに断面方向が異なる被検眼の複数の画像を取得する。疾患推定部は、複数の画像の種別毎に機械学習により得られた複数の学習済みモデルを用いて、複数の画像から被検眼が疾患を伴う眼であるか否かを推定するための推定情報を出力する。【選択図】図3

Description

本発明は、眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムに関する。
近年、深層学習を代表とする機械学習の手法の急速な進歩により、様々な分野で人工知能技術の実用化が進んでいる。特に、医療分野においては、深層学習により診断画像における疾患部位又は組織の態様等の検出精度が向上し、正確、且つ、高精度な医療診断を迅速に行うことができるようになっている。
例えば、特許文献1には、過去の時系列の複数の眼底像における特徴点を教師データとして機械学習し、得られた学習済みモデルを用いて、新たに取得された時系列の複数の眼底像から緑内障の診断を行う手法が開示されている。例えば、特許文献2には、ニューラルネットワークを用いて、視神経乳頭の形状に応じた緑内障の病態分類を行う手法が開示されている。
国際公開第2018/211688号 特開2019−5319号公報
例えば、緑内障、加齢黄斑変性、又は糖尿病網膜症等の眼底疾患は、スクリーニング等により早期に発見できた場合であっても、適切な治療を施さなければ症状が進行する疾患である。この場合、疾患の病態を適切に把握することで、疾患に対して適切な治療を施すことができる。
このように、高精度、且つ、早期に眼底疾患を発見しつつ、発見された眼底疾患の病態を高精度に特定することが求められる。これは、眼底疾患だけではなく被検眼の疾患全般についても同様である。
本発明は、このような事情を鑑みてなされたものであり、その目的は、被検眼の疾患に対して適切な治療を早期に施すための新たな技術を提供することにある。
いくつかの実施形態の第1態様は、互いに断面方向が異なる被検眼の複数の画像を取得する取得部と、前記複数の画像の種別毎に機械学習により得られた複数の学習済みモデルを用いて、前記複数の画像から前記被検眼が疾患を伴う眼であるか否かを推定するための推定情報を出力する疾患推定部と、を含む、眼科情報処理装置である。
いくつかの実施形態の第2態様では、第1態様において、前記疾患推定部は、前記複数の画像の種別毎に前記複数の学習済みモデルのそれぞれを用いて、特徴量又は前記被検眼が疾患を伴う眼である確信度を表す確信度情報を出力する複数の推定器と、機械学習により得られた分類モデルを用いて、前記複数の推定器から出力された複数の特徴量又は複数の確信度情報から前記推定情報を出力する分類器と、を含む。
いくつかの実施形態の第3態様では、第1態様又は第2態様において、前記複数の画像は、前記被検眼の眼底の断層像又は正面画像を含み、前記疾患は、眼底疾患である。
いくつかの実施形態の第4態様では、第3態様において、前記複数の画像は、視神経乳頭と中心窩とを結ぶ線に交差する断面方向のBスキャン画像を含む。
いくつかの実施形態の第5態様では、第3態様又は第4態様において、前記複数の画像は、視神経乳頭を通過する第1断面方向のBスキャン画像、視神経乳頭を通過し前記第1断面方向に交差する第2断面方向のBスキャン画像、及び中心窩を通過するBスキャン画像を含む。
いくつかの実施形態の第6態様では、第3態様〜第5態様のいずれかにおいて、前記正面画像は、内境界膜に相当する層領域から深層の層領域を投影したen−face画像、及びプロジェクション画像の少なくとも1つを含む。
いくつかの実施形態の第7態様では、第3態様〜第6態様のいずれかにおいて、前記眼底疾患は、緑内障、加齢黄斑変性、及び糖尿網網膜症のうち少なくとも1つを含む。
いくつかの実施形態の第8態様は、第1態様〜第7態様のいずれかにおいて、前記複数の学習済みモデルにより得られた特徴量を用いて教師あり機械学習により得られた分類用学習済みモデルを用いて、前記複数の画像から前記疾患の病態の分類結果を推定するための分類情報を出力する病態推定部を含む。
いくつかの実施形態の第9態様では、第8態様において、前記疾患は、緑内障を含み、前記分類情報は、視神経乳頭形状の複数の類型の分類結果を推定するための情報である。
いくつかの実施形態の第10態様は、第8態様又は第9態様において、前記複数の学習済みモデルにより得られた特徴量を用いて教師あり機械学習により前記分類用学習済みモデルを生成する第1学習部を含む。
いくつかの実施形態の第11態様は、第1態様〜第10態様のいずれかにおいて、前記複数の画像の種別毎に、教師あり機械学習により前記複数の学習済みモデルを生成する第2学習部を含む。
いくつかの実施形態の第12態様は、第1態様〜第11態様のいずれかにおいて、前記被検眼の3次元OCTデータに基づいて、前記複数の画像の少なくとも1つを生成する画像生成部を含む。
いくつかの実施形態の第13態様は、前記被検眼に対して光コヒーレンストモグラフィを実行するOCT部と、前記OCT部により取得された前記3次元データに基づいて前記複数の画像の少なくとも1つを生成する画像生成部と、第1態様〜第11態様のいずれかの眼科情報処理装置と、を含む、眼科装置である。
いくつかの実施形態の第14態様は、前記被検眼に対して光コヒーレンストモグラフィを実行するOCT部と、第12態様の眼科情報処理装置と、を含む、眼科装置である。
いくつかの実施形態の第15態様は、互いに断面方向が異なる被検眼の複数の画像を取得する取得ステップと、前記複数の画像の種別毎に機械学習により得られた複数の学習済みモデルを用いて、前記複数の画像から前記被検眼が疾患を伴う眼であるか否かを推定するための推定情報を出力する疾患推定ステップと、を含む、眼科情報処理方法である。
いくつかの実施形態の第16態様では、第15態様において、前記疾患推定ステップは、前記複数の画像の種別毎に前記複数の学習済みモデルのそれぞれを用いて、特徴量又は前記被検眼が疾患を伴う眼である確信度を表す確信度情報を出力する複数の推定ステップと、機械学習により得られた分類モデルを用いて、前記複数の推定ステップにおいて出力された複数の特徴量又は複数の確信度情報から前記推定情報を出力する分類ステップと、を含む。
いくつかの実施形態の第17態様では、第15態様又は第16態様において、前記複数の画像は、前記被検眼の眼底の断層像又は正面画像を含み、前記疾患は、眼底疾患である。
いくつかの実施形態の第18態様では、第17態様において、前記複数の画像は、視神経乳頭と中心窩とを結ぶ線に交差する断面方向のBスキャン画像を含む。
いくつかの実施形態の第19態様では、第17態様又は第18態様において、前記複数の画像は、視神経乳頭を通過する第1断面方向のBスキャン画像、視神経乳頭を通過し前記第1断面方向に交差する第2断面方向のBスキャン画像、及び中心窩を通過するBスキャン画像を含む。
いくつかの実施形態の第20態様では、第17態様〜第19態様のいずれかにおいて、前記正面画像は、内境界膜に相当する層領域から深層の層領域を投影したen−face画像、及びプロジェクション画像の少なくとも1つを含む。
いくつかの実施形態の第21態様では、第17態様〜第20態様のいずれかにおいて、前記眼底疾患は、緑内障、加齢黄斑変性、及び糖尿網網膜症のうち少なくとも1つを含む。
いくつかの実施形態の第22態様は、第15態様〜第21態様のいずれかにおいて、前記複数の学習済みモデルにより得られた特徴量を用いて教師あり機械学習により得られた分類用学習済みモデルを用いて、前記複数の画像から前記疾患の病態の分類結果を推定するための分類情報を出力する病態推定ステップを含む。
いくつかの実施形態の第23態様では、第22態様において、前記疾患は、緑内障を含み、前記分類情報は、視神経乳頭形状の複数の類型の分類結果を推定するための情報である。
いくつかの実施形態の第24態様は、第22態様又は第23態様において、前記複数の学習済みモデルにより得られた特徴量を用いて教師あり機械学習により前記分類用学習済みモデルを生成する第1学習ステップを含む。
いくつかの実施形態の第25態様は、第15態様〜第24態様のいずれかにおいて、前記複数の画像の種別毎に、教師あり機械学習により前記複数の学習済みモデルを生成する第2学習ステップを含む。
いくつかの実施形態の第26態様は、第15態様〜第25態様のいずれかにおいて、前記被検眼の3次元OCTデータに基づいて、前記複数の画像の少なくとも1つを生成する画像生成ステップを含む。
いくつかの実施形態の第27態様は、コンピュータに、第15態様〜第26態様のいずれかの眼科情報処理方法の各ステップを実行させるプログラムである。
なお、上記した複数の態様に係る構成を任意に組み合わせることが可能である。
本発明に係るいくつかの実施形態によれば、被検眼の疾患に対して適切な治療を早期に施すための新たな技術を提供することができる。
実施形態に係る眼科システムの構成の一例を表す概略図である。 実施形態に係る眼科装置の構成の一例を表す概略図である。 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。 実施形態に係る眼科情報処理装置の動作フローの一例を表す概略図である。 実施形態に係る眼科情報処理装置の動作フローの一例を表す概略図である。 実施形態の比較例に係る眼科情報処理装置の動作説明図を表す概略図である。 実施形態に係る眼科情報処理装置の動作説明図を表す概略図である。 実施形態の変形例に係る眼科装置の構成の一例を表す概略図である。
この発明のいくつかの実施形態に係る眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムの例について、図面を参照しながら詳細に説明する。なお、この明細書で引用する文献に記載された事項や任意の公知技術を実施形態に援用することができる。
実施形態に係る眼科情報処理装置は、眼科装置により光コヒーレンストモグラフィ(Optical Coherence Tomography:OCT)を用いて取得された被検眼の3次元OCTデータに対して所定の解析処理や所定の表示処理を施すことが可能である。いくつかの実施形態に係る眼科装置は、OCTを実行するためのOCT装置の機能だけではなく、眼底カメラ、走査型レーザー検眼鏡、スリットランプ顕微鏡、及び手術用顕微鏡の少なくとも1つの機能を備える。更に、いくつかの実施形態に係る眼科装置は、被検眼の光学的な特性を測定する機能を備える。被検眼の光学的な特性を測定する機能を備えた眼科装置には、レフラクトメーター、ケラトメーター、眼圧計、ウェーブフロントアナライザー、スペキュラーマイクロスコープ、視野計などがある。いくつかの実施形態に係る眼科装置は、レーザー治療に用いられるレーザー治療装置の機能を備える。
眼科情報処理装置は、取得された被検眼の3次元OCTデータから互いに断面方向が異なる複数の画像(断層像又は正面画像)を生成し、生成された複数の画像から被検眼が疾患を伴う眼であるか否かを推定するための推定情報を出力する。更に、眼科情報処理装置は、生成された複数の画像(又はその特徴量)から疾患の病態の分類結果を推定するための分類情報を出力する。
以下、実施形態に係る眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムが眼底疾患に適用される場合について説明する。しかしながら、実施形態に係る眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムの適用分野は眼底疾患に限定されることなく、被検眼の疾患全般に適用することが可能である。
眼底疾患には、緑内障、加齢黄斑変性、糖尿病網膜症などがある。
眼底疾患が緑内障である場合、例えば、特許文献2に開示されているようにニコレラ(Nicolela)らによる分類(ニコレラ分類)に従って病態を分類するために、視神経乳頭の形状に基づく分類結果を推定するための分類情報が出力される。
眼底疾患が加齢黄斑変性である場合、例えば、萎縮型又は滲出型であるかを分類するために、網膜色素上皮層の形態(例えば、脈絡膜新生血管の形態)に基づく分類結果を推定するための分類情報が出力される。
眼底疾患が糖尿病網膜症である場合、例えば、単純糖尿病網膜症、前増殖糖尿病網膜症、又は増殖糖尿病網膜症であるかを分類するために、毛細血管瘤、出血、白斑、新生血管、出血領域の形態や分布に基づく分類結果を推定するための分類情報が出力される。
このように、眼底疾患に関する推定情報だけでなく、眼底疾患の病態分類に関する分類情報を医師等に提供できるようにすることで、眼底疾患に適切な治療法を早期に決定することが可能になる。それにより、眼底疾患の治癒の可能性を高めることが可能になる。
例えば、眼底疾患が緑内障であると判断される症例の場合、薬物療法、レーザー治療、手術等のうち、疾患の病態に応じた適切な治療法を選択することができる。
例えば、眼底疾患が加齢黄斑変性であると判断される症例の場合、滲出型の加齢黄斑変性に対して、薬物量、光線力学的療法、レーザー凝固、手術等のうち、疾患の病態に応じた適切な治療法を選択することができる。
例えば、眼底疾患が糖尿病網膜症であると判断される症例の場合、網膜光凝固術、及び硝子体手術等のうち、疾患の病態に応じた適切な治療法を選択することができる。
実施形態に係る眼科情報処理装置は、3次元OCTデータから生成された複数の画像のそれぞれについて機械学習によって得られた学習済みモデルを用いて、被検眼が眼底疾患を伴う眼であるか否かを推定すると共に、眼底疾患の病態分類を行うことが可能である。
実施形態に係る眼科システムは、眼科情報処理装置を含む。実施形態に係る眼科情報処理方法は、眼科情報処理装置により実行される。実施形態に係るプログラムは、眼科情報処理方法の各ステップをコンピュータに実行させる。
以下では、眼底疾患として緑内障を例に説明するが、他の眼底疾患についても以下の実施形態を適用することが可能である。
[眼科システム]
図1に、実施形態に係る眼科システムの構成例のブロック図を示す。実施形態に係る眼科システム1は、眼科装置10と、眼科情報処理装置(眼科画像処理装置、眼科解析装置)100と、操作装置180と、表示装置190とを含む。
眼科装置10は、被検眼に対してOCTを実行し、被検眼の3次元のOCTデータを収集する。この実施形態では、眼科装置10は、被検眼の眼底をOCTスキャンすることにより眼底のOCTデータを収集する。眼科装置10は、取得された眼底のOCTデータから眼底の画像を取得することが可能である。眼底の画像には、眼底の断層像及び正面画像が含まれる。眼底の断層像には、Bスキャン画像などがある。眼底の正面画像には、Cスキャン画像、en−face画像、シャドウグラム、又はプロジェクション画像などがある。眼科装置10は、取得された被検眼のOCTデータ又は取得された画像のデータを眼科情報処理装置100に送信する。
いくつかの実施形態では、眼科装置10と眼科情報処理装置100とは、データ通信ネットワークを介して接続される。いくつかの実施形態に係る眼科情報処理装置100は、データ通信ネットワークを介して選択的に接続された複数の眼科装置10の1つから上記のデータを受信する。
眼科情報処理装置100は、3次元OCTデータから生成された複数の画像のそれぞれについて、機械学習によって得られた個別推定モデル(学習済みモデル)を用いて被検眼が緑内障眼であるか否かを推定するための第1推定情報を生成する。眼科情報処理装置100は、機械学習によって得られた分類モデル(学習済みモデル)を用いて、複数の画像のそれぞれについて生成された複数の第1推定情報から、被検眼が緑内障眼であるか否かを推定するための第2推定情報を生成する。更に、眼科情報処理装置100は、機械学習によって得られた病態推定モデル(学習済みモデル)を用いて、上記の複数の画像(又はその特徴量)から病態の分類結果を推定するための分類情報を出力する。病態推定モデルは、上記の複数の個別推定モデル(又は複数の個別推定モデル及び分類モデル)の特徴量を用いて機械学習を実行することにより得られる。それにより、自然画像等から機械学習を行って病態推定モデルを生成する場合に比べて、より少ない訓練データを用いた機械学習により得られた病態推定モデルを用いて、高精度な分類情報を取得することが可能になる。
以下、3次元OCTデータから5種類の画像を生成する場合について説明する。5種類の画像は、視神経乳頭の中心(又はその付近)を通過する水平方向のBスキャン画像、視神経乳頭の中心(又はその付近)を通過する垂直方向のBスキャン画像、中心窩(又はその付近)を通過する垂直方向のBスキャン画像、プロジェクション画像、及びen−face画像である。しかしながら、実施形態に係る構成は、3次元OCTデータから生成される画像の種別や種別数に限定されるものではない。例えば、3次元OCTデータから、視神経乳頭と中心窩とを結ぶ線に交差する断面方向のBスキャン画像を含む複数の画像を生成し、生成された複数の画像に基づいて上記の推定情報又は分類情報を取得するようにしてもよい。
いくつかの実施形態では、眼科情報処理装置100は、上記の学習済みモデルを構築し、構築された学習済みモデルを用いて推定情報又は分類情報を出力する。いくつかの実施形態では、眼科情報処理装置100は、外部で構築された学習済みモデルを用いて推定情報又は分類情報を出力する。いくつかの実施形態では、眼科情報処理装置100は、上記の学習済みモデルを構築し、構築された学習済みモデルを外部の装置に出力する。
操作装置180及び表示装置190は、ユーザインターフェイス部として情報の表示、情報の入力、操作指示の入力など、眼科情報処理装置100とそのユーザとの間で情報をやりとりするための機能を提供する。操作装置180は、レバー、ボタン、キー、ポインティングデバイス等の操作デバイスを含む。いくつかの実施形態に係る操作装置180は、音で情報を入力するためのマイクロフォンを含む。表示装置190は、フラットパネルディスプレイ等の表示デバイスを含む。いくつかの実施形態では、操作装置180及び表示装置190の機能は、タッチパネルディスプレイのような入力機能を有するデバイスと表示機能を有するデバイスとが一体化されたデバイスにより実現される。いくつかの実施形態では、操作装置180及び表示装置190は、情報の入出力を行うためのグラフィカルユーザインターフェイス(GUI)を含む。
[眼科装置]
図2に、実施形態に係る眼科装置10の構成例のブロック図を示す。
眼科装置10には、被検眼のOCTデータを取得するための光学系が設けられている。眼科装置10は、スウェプトソースOCTを実行する機能を備えているが、実施形態はこれに限定されない。例えば、OCTの種別はスウェプトソースOCTには限定されず、スペクトラルドメインOCT等であってもよい。スウェプトソースOCTは、波長掃引型(波長走査型)光源からの光を測定光と参照光とに分割し、被測定物体を経由した測定光の戻り光を参照光と干渉させて干渉光を生成し、この干渉光をバランスドフォトダイオード等で検出し、波長の掃引及び測定光のスキャンに応じて収集された検出データにフーリエ変換等を施して画像を形成する手法である。スペクトラルドメインOCTは、低コヒーレンス光源からの光を測定光と参照光とに分割し、被測定物体を経由した測定光の戻り光を参照光と干渉させて干渉光を生成し、この干渉光のスペクトル分布を分光器で検出し、検出されたスペクトル分布にフーリエ変換等を施して画像を形成する手法である。
眼科装置10は、制御部11と、OCT部12と、OCTデータ処理部13と、通信部14とを含む。
制御部11は、眼科装置10の各部を制御する。特に、制御部11は、OCT部12、OCTデータ処理部13、及び通信部14を制御する。
OCT部12は、OCTを用いて被検眼をスキャンすることにより被検眼の3次元のOCTデータを収集する。OCT部12は、干渉光学系12Aと、スキャン光学系12Bとを含む。
干渉光学系12Aは、光源(波長掃引型光源)からの光を測定光と参照光とに分割し、被検眼を経由した測定光の戻り光を参照光路を経由した参照光と干渉させて干渉光を生成し、生成された干渉光を検出する。干渉光学系12Aは、ファイバーカプラと、バランスドフォトダイオード等の受光器とを少なくとも含む。ファイバーカプラは、光源からの光を測定光と参照光とに分割し、被検眼を経由した測定光の戻り光と参照光路を経由した参照光と干渉させて干渉光を生成する。受光器は、ファイバーカプラにより生成された干渉光を検出する。干渉光学系12Aは、光源を含んでよい。
スキャン光学系12Bは、制御部11からの制御を受け、干渉光学系12Aにより生成された測定光を偏向することにより被検眼の眼底における測定光の入射位置を変更する。スキャン光学系12Bは、例えば、被検眼の瞳孔と光学的に略共役な位置に配置された光スキャナを含む。光スキャナは、例えば、測定光を水平方向に偏向する第1ガルバノミラーと、測定光を垂直方向に偏向する第2ガルバノミラーと、これらを独立に駆動する機構とを含んで構成される。例えば、第2ガルバノミラーは、第1ガルバノミラーにより偏向された測定光を更に偏向するように構成される。それにより、測定光を眼底平面上の任意の方向にスキャンすることができる。
干渉光学系12Aによる干渉光の検出結果(検出信号)は、干渉光のスペクトルを示す干渉信号である。
OCTデータ処理部13は、制御部11からの制御を受け、OCT部12により収集された被検眼のデータに基づいて眼底の3次元のデータ(画像データ)を形成する。
例えば、OCTデータ処理部13は、Aライン毎に反射強度プロファイルを形成し、形成された複数の反射強度プロファイルをBスキャン方向(Aスキャン方向(例えば、z方向)の交差方向、例えばx方向)とAスキャン方向及びBスキャン方向に交差する方向(例えば、y方向)とに配列することで3次元のOCTデータ(スキャンデータ)を形成する。
また、例えば、OCTデータ処理部13は、Aラインにおける反射強度プロファイルを画像化することで、被検眼EのAスキャン画像を形成することが可能である。OCTデータ処理部13は、Aライン毎に形成された複数のAスキャン画像をBスキャン方向とAスキャン方向及びBスキャン方向に交差する方向とに配列することで3次元画像を形成することが可能である。
OCTデータ処理部13が実行する処理には、ノイズ除去(ノイズ低減)、フィルタ処理、FFT(Fast Fourier Transform)などの処理が含まれている。このようにして取得される画像データは、複数のAライン(被検眼内における各測定光の経路)における反射強度プロファイルを画像化することにより形成された一群の画像データを含むデータセットである。画質を向上させるために、同じパターンでのスキャンを複数回繰り返して収集された複数のデータセットを重ね合わせる(加算平均する)ことができる。
いくつかの実施形態では、OCTデータ処理部13は、画像に対して各種のデータ処理(画像処理)や解析処理を施す。例えば、OCTデータ処理部13は、画像の輝度補正や分散補正等の補正処理を実行する。OCTデータ処理部13は、断層像の間の画素を補間する補間処理などの公知の画像処理を実行することにより、被検眼のボリュームデータ(ボクセルデータ)を形成することができる。ボリュームデータに基づく画像を表示させる場合、OCTデータ処理部13は、このボリュームデータに対してレンダリング処理を施して、特定の視線方向から見たときの擬似的な3次元画像を形成する。
制御部11及びOCTデータ処理部13のそれぞれは、プロセッサを含む。プロセッサは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路を含む。OCTデータ処理部13の機能は、データ処理プロセッサにより実現される。いくつかの実施形態では、制御部11及びOCTデータ処理部13の双方の機能が1つのプロセッサにより実現される。
プロセッサは、例えば、記憶回路や記憶装置に格納されているプログラムを読み出し実行することで、実施形態に係る機能を実現する。記憶回路や記憶装置の少なくとも一部がプロセッサに含まれていてよい。また、記憶回路や記憶装置の少なくとも一部がプロセッサの外部に設けられていてよい。
記憶装置等は、各種のデータを記憶する。記憶装置等に記憶されるデータとしては、OCT部12により取得されたデータ(測定データ、撮影データ等)や、被検者及び被検眼に関する情報などがある。記憶装置等には、眼科装置10の各部を動作させるための各種のコンピュータプログラムやデータが記憶されていてよい。
通信部14は、制御部11からの制御を受け、眼科情報処理装置100との間で情報の送信又は受信を行うための通信インターフェース処理を実行する。
いくつかの実施形態に係る眼科装置10は、OCTデータ処理部13により形成された被検眼のデータを眼科情報処理装置100に送信する。
いくつかの実施形態に係る眼科装置10には、被検眼の眼底の画像を取得するための眼底カメラ、走査型レーザー検眼鏡、スリットランプ顕微鏡が設けられる。いくつかの実施形態では、眼底カメラにより取得される眼底画像は、フルオレセイン蛍光眼底造影画像又は眼底自発蛍光検査画像である。
[眼科情報処理装置]
図3〜図6に、実施形態に係る眼科情報処理装置100の構成例のブロック図を示す。図3は、眼科情報処理装置100の機能ブロック図を表す。図4は、図3の解析部200の機能ブロック図を表す。図5は、図3の推定モデル構築部210の機能ブロック図を表す。図6は、図3の推定部220の機能ブロック図を表す。
眼科情報処理装置100は、制御部110と、データ処理部130と、通信部140とを含む。いくつかの実施形態では、眼科情報処理装置100は、眼科装置10のOCTデータ処理部13と同様の機能を有する画像形成部を含む。
制御部110は、眼科情報処理装置100の各部を制御する。特に、制御部110は、データ処理部130と、通信部140とを制御する。制御部110は、主制御部111と、記憶部112とを含む。
制御部110は、操作装置180に対するユーザの操作内容に対応した操作指示信号に基づいて、眼科システム1の各部を制御する。
制御部110、及びデータ処理部130のそれぞれは、プロセッサを含む。データ処理部130の機能は、データ処理プロセッサにより実現される。いくつかの実施形態では、制御部110、及びデータ処理部130の機能が1つのプロセッサにより実現される。
記憶部112は、各種のデータを記憶する。記憶部112に記憶されるデータとしては、眼科装置10により取得されたデータ(測定データ、撮影データ等)、データ処理部130によるデータ処理結果、被検者及び被検眼に関する情報などがある。記憶部112には、眼科情報処理装置100の各部を動作させるための各種のコンピュータプログラムやデータが記憶されていてよい。
通信部140は、制御部110からの制御を受け、眼科情報処理装置100の通信部14との間で情報の送信又は受信を行うための通信インターフェース処理を実行する。
データ処理部130は、眼科装置10からの3次元のOCTデータに各種のレンダリングを施すことで、指定された任意の断面方向の画像を生成することが可能である。この実施形態では、データ処理部130は、互いに断面方向が異なる複数の画像を生成する。複数の画像には、Bスキャン画像、Cスキャン画像、en−face画像、プロジェクション画像、シャドウグラムなどが含まれる。Bスキャン画像やCスキャン画像のような任意断面の画像は、指定された断面上の画素(ピクセル、ボクセル)を3次元のOCTデータ(画像データ)から選択することにより形成される。en−face画像は、3次元のOCTデータ(画像データ)の一部を平坦化(フラットニング)することにより形成される。プロジェクション画像は、3次元のOCTデータを所定方向(z方向、深さ方向、Aスキャン方向)に投影することによって形成される。シャドウグラムは、3次元のOCTデータの一部(例えば特定層に相当する部分データ)を所定方向に投影することによって形成される。
いくつかの実施形態では、ユーザが操作装置180に対する操作を行うことで、断面位置及び断面方向の少なくとも1つが指定される。ユーザは、3次元のOCTデータから生成された眼底の正面画像、又は図示しない眼底カメラを用いて取得された眼底像を参照しつつ、断面位置及び断面方向の少なくとも1つを操作装置180を用いて指定することが可能である。
いくつかの実施形態では、データ処理部130は、OCTデータを解析することにより断面位置及び断面方向の少なくとも1つを特定する。この場合、データ処理部130は、公知の解析処理により特徴領域を特定し、特定された特徴領域を通過するように断面位置及び断面方向の少なくとも1つを特定することが可能である。或いは、データ処理部130は、公知の解析処理により特徴領域を特定し、特定された特徴領域を回避するように断面位置及び断面方向の少なくとも1つを特定することが可能である。
データ処理部130は、形成された被検眼の画像に対して所定のデータ処理を施す。データ処理部130は、OCTデータ処理部13と同様に、形成された画像に対して各種のデータ処理(画像処理)や解析処理を施すことが可能である。例えば、データ処理部130は、画像の輝度補正や分散補正等の補正処理を実行する。データ処理部130は、断層像の間の画素を補間する補間処理などの公知の画像処理を実行することにより、被検眼のボリュームデータ(ボクセルデータ)を形成することができる。ボリュームデータに基づく画像を表示させる場合、データ処理部130は、このボリュームデータに対してレンダリング処理を施して、特定の視線方向から見たときの擬似的な3次元画像を形成する。
なお、データ処理部130に代えて、眼科装置10におけるOCTデータ処理部13が上記の画像群を生成するようにしてもよい。この場合、眼科情報処理装置100は、眼科装置10から上記の画像群を取得する。
また、データ処理部130は、3次元OCTデータから生成された複数の画像から被検眼が緑内障眼であるか否かを推定するための疾患推定モデルを生成する。更に、データ処理部130は、複数の画像又は複数の各画像の特徴量から病態の分類結果を推定するための病態推定モデルを生成する。
データ処理部130は、上記の疾患推定モデル及び病態推定モデルを用いて、被検眼の複数の画像から被検眼が緑内障眼であるか否かを推定するための推定情報と、緑内障の病態の分類結果を推定するための分類情報とを出力する。
このようなデータ処理部130は、解析部200と、推定モデル構築部210と、推定部220とを含む。
解析部200は、眼底の画像データ(又は眼科装置10により取得された眼底の画像データ)に対して所定の解析処理を施す。解析処理には、所望の断面位置における所望の断面方向の断層像の生成処理などがある。いくつかの実施形態に係る解析処理には、視神経乳頭、中心窩等の所定部位の特定処理が含まれる。
図4に示すように、解析部200は、画像生成部201を含む。画像生成部201は、眼科装置10により取得された3次元のOCTデータから互いに断面方向が異なる複数の画像を生成する。複数の画像として、Bスキャン画像、Cスキャン画像、en−face画像、プロジェクション画像、シャドウグラムなどがある。
画像生成部201は、3次元のOCTデータから、ユーザにより断面位置及び断面方向が指定された少なくとも1つの画像を生成することが可能である。また、画像生成部201は、解析部200における解析処理において特定された所定部位を通過するように断面位置及び断面方向が指定された少なくとも1つの画像を生成することが可能である。更に、画像生成部201は、解析部200における解析処理において特定された所定部位を回避するように断面位置及び断面方向が指定された少なくとも1つの画像を生成することが可能である。
この実施形態では、画像生成部201は、被検眼の3次元のOCTデータから互いに断面方向が異なる5種類の画像を生成する。5種類の画像として、視神経乳頭の中心(又はその付近)を通過する水平方向のBスキャン画像、視神経乳頭の中心(又はその付近)を通過する垂直方向のBスキャン画像、中心窩(又はその付近)を通過する垂直方向のBスキャン画像、プロジェクション画像、及びen−face画像がある。プロジェクション画像は、深さ方向における全層の積算画像である。en−face画像は、網膜の最上層(例えば、内境界膜)から深さ方向における所定の深さ分(例えば、50マイクロメートル)の積算画像である。すなわち、en−face画像は、例えば、内境界膜に相当する層領域から深層の層領域を投影した画像である。
推定モデル構築部210は、上記のように、被検眼が緑内障眼であるか否かを推定するための疾患推定モデル(上記の推定モデル及び分類モデル)と、病態の分類結果を推定するための病態推定モデルとを構築する。
推定モデル構築部210は、図5に示すように、疾患推定学習部211と、病態推定学習部212とを含む。推定部220は、図6に示すように、疾患推定部221と、病態推定部222とを含む。
図7に、実施形態に係る眼科情報処理装置100の動作を説明するための模式図を示す。図7は、推定モデル構築部210と推定部220との関係を模式的に表す。図7では、疾患推定部221及び病態推定部222と、疾患推定学習部211及び病態推定学習部212との関係が図示されている。図7において、図5又は図6と同様の部分には同一符号を付し、適宜説明を省略する。
疾患推定学習部211は、3次元OCTデータから生成された複数の画像のそれぞれについて、被検眼が緑内障眼であるか否かを推定するための複数の個別推定モデルを生成する。疾患推定学習部211は、複数の画像のそれぞれについて、教師あり機械学習(supervised machine learning)を実行することにより複数の個別推定モデルを生成する。いくつかの実施形態では、疾患推定学習部211は、転移学習(transfer learning)によって複数の個別推定モデルを生成する。
上記のように3次元OCTデータから5種類の画像が生成される場合、疾患推定学習部211は、画像の種別毎に、個別推定モデルを生成する。
例えば、視神経乳頭の中心(又はその付近)を通過する水平方向のBスキャン画像IMG1について、疾患推定学習部211は、推定対象の被検眼を除く他の複数の被検眼のBスキャン画像IMG1を訓練データTR1とし、各Bスキャン画像についての医師等による緑内障であるか否かの判断結果を表すラベルを教師データSD1として教師あり機械学習を実行することでBスキャン画像IMG1用の個別推定モデルを生成する。Bスキャン画像IMG1用の個別推定モデルの機能は、図7に示す第1推定器301により実現される。
例えば、視神経乳頭の中心(又はその付近)を通過する垂直方向のBスキャン画像IMG2について、疾患推定学習部211は、推定対象の被検眼を除く他の複数の被検眼のBスキャン画像IMG2を訓練データTR1とし、各Bスキャン画像についての医師等による緑内障であるか否かの判断結果を表すラベルを教師データSD1として教師あり機械学習を実行することでBスキャン画像IMG2用の個別推定モデルを生成する。Bスキャン画像IMG2用の個別推定モデルの機能は、図7に示す第2推定器302により実現される。
例えば、中心窩(又はその付近)を通過する垂直方向のBスキャン画像IMG3について、疾患推定学習部211は、推定対象の被検眼を除く他の複数の被検眼のBスキャン画像IMG3を訓練データTR1とし、各Bスキャン画像についての医師等による緑内障であるか否かの判断結果を表すラベルを教師データSD1として教師あり機械学習を実行することでBスキャン画像IMG3用の個別推定モデルを生成する。Bスキャン画像IMG3用の個別推定モデルの機能は、図7に示す第3推定器303により実現される。
例えば、プロジェクション画像IMG4について、疾患推定学習部211は、推定対象の被検眼を除く他の複数の被検眼のプロジェクション画像IMG4を訓練データTR1とし、各プロジェクション画像についての医師等による緑内障であるか否かの判断結果を表すラベルを教師データSD1として教師あり機械学習を実行することでプロジェクション画像IMG4用の個別推定モデルを生成する。プロジェクション画像IMG4用の個別推定モデルの機能は、図7に示す第4推定器304により実現される。
例えば、en−face画像IMG5について、疾患推定学習部211は、推定対象の被検眼を除く他の複数の被検眼のen−face画像IMG5を訓練データTR1とし、各en−face画像についての医師等による緑内障であるか否かの判断結果を表すラベルを教師データSD1として教師あり機械学習を実行することでen−face画像IMG5用の個別推定モデルを生成する。en−face画像IMG5用の個別推定モデルの機能は、図7に示す第5推定器305により実現される。
また、疾患推定学習部211は、生成された複数の個別推定モデルから出力された複数の推定情報から被検眼が緑内障眼であるか否かを推定するための分類モデルを生成する。疾患推定学習部211は、教師なし機械学習(unsupervised machine learning)又は教師あり機械学習を実行することにより分類モデルを生成する。
例えば、疾患推定学習部211は、推定対象の被検眼を除く他の複数の被検眼の画像群IMG1〜IMG5を訓練データTR1として教師なし機械学習又は教師あり機械学習を実行することにより、分類モデルを生成する。教師あり機械学習を実行する場合には、訓練用の被検眼が緑内障眼であるか否かを示すラベルが教師データSR1として用いられる。この分類モデルの機能は、図7に示す分類器306により実現される。
画像IMG1〜IMG5用の複数の個別推定モデルと分類モデルとにより、疾患推定モデルが構成される。すなわち、推定部220は、疾患推定学習部211により生成された疾患推定モデルを用いて、被検眼の複数の画像(被検眼のOCTデータから生成された複数の画像)から被検眼が緑内障眼であるか否かを推定するための推定情報を出力する。いくつかの実施形態では、推定情報は、被検眼が緑内障眼であるか否かを表す情報を含む。いくつかの実施形態では、推定情報は、被検眼が緑内障眼である確信度(例えば、緑内障であると推定される確率)を表す情報(確信度情報)を含む。
上記の複数の個別推定モデルのそれぞれは、同様の構成を有してよい。
図8に、実施形態に係る第1推定器301の構成例のブロック図を示す。第2推定器302〜第5推定器305のそれぞれは、図8と同様の構成を有してよい。
第1推定器301の機能は、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)により実現される。すなわち、コンピュータがメモリに記憶された個別推定モデル(学習済みモデル)からの指令に従って、入力層である特徴量抽出器310の畳み込み層311に入力された画像IMG1の画素値に対し、畳み込みニューラルネットワークにおける学習済みの重み付け係数と応答関数等に基づく演算を行い、出力層である分類器320から判定結果を出力するように動作する。このような構成を有する第1推定器301は、画像の解像度を段階的に落としつつ局所的な相関パターンを抽出し、抽出された相関パターンに基づいて判定結果を出力することができる。
第1推定器301は、特徴量抽出器310と、分類器320とを含む。特徴量抽出器310は、入力された画像IMG1に対して、所定の画像領域ごとに特徴量の抽出とダウンサンプリング(フィルタリング)とを繰り返して当該判定画像の特徴量を抽出する。分類器320は、特徴量抽出器310により抽出された特徴量に基づいて、被検眼が緑内障眼であるか否かを推定するための推定情報(例えば、確信度)を出力する。
特徴量抽出器310は、畳み込み層(Convolution Layer)とプーリング層(Pooling Layer)とを含むユニットが多段接続された複数のユニットを含む。各ユニットでは、畳み込み層の出力にプーリング層の入力が接続される。最初の段の畳み込み層の入力には、画像IMG1において対応する画素の画素値が入力される。後段の畳み込み層の入力は、前段のプーリング層の出力に接続される。
図8では、特徴量抽出器310は、2段に接続された2つのユニットを含む。すなわち、特徴量抽出器310は、畳み込み層311とプーリング層312とを含むユニットの後段に、畳み込み層313とプーリング層314とを含むユニットが接続される。プーリング層312の出力は、畳み込み層313の入力に接続される。
分類器320は、全結合層(Fully Connected Layer)321、322を含み、全結合層321の出力は全結合層322の入力に接続される。
特徴量抽出器310及び分類器320において、接続された2つの層のニューロン間では学習済みの重み付け係数が割り当てられる。各ニューロンは、入力される1以上のニューロンからの重み付け係数を加味した演算結果に対し、応答関数を用いて演算を行い、得られた演算結果を次の段のニューロンに出力する。
重み付け係数は、過去に取得された2以上の被検眼の画像IMG1(視神経乳頭の中心(又はその付近)を通過する水平方向のBスキャン画像)を訓練データとし、各画像について医師等により付されたラベルを教師データとして公知の機械学習を行うことにより更新される。既存の重み付け係数は、過去に取得された2以上の画像を訓練データとする機械学習により更新される。いくつかの実施形態では、転移学習によって重み付け係数の更新が行われる。
第1推定器301は、VGG16、VGG19、InceptionV3、ResNet18、ResNet50等の公知の層構造を有していてよい。分類器320は、Random Forestやサポートベクターマシン(Support Vector Machine:SVM)等の公知の構成を有していてよい。
疾患推定部221における分類器306は、例えば、過去に取得された2以上の被検眼の画像IMG1〜IMG5を訓練データとし、各画像について医師等により付されたラベルを教師データとして公知の機械学習を行うことにより生成される。分類器306は、第1推定器301〜第5推定器305からの複数の推定情報に基づいて、被検眼が緑内障眼であるか否かを表す情報OUT、又は被検眼が緑内障眼である確信度を表す確信度情報OUTを出力する。いくつかの実施形態では、分類器306は、第1推定器301〜第5推定器305のそれぞれの所定の層から抽出された複数の特徴量に基づいて、被検眼が緑内障眼であるか否かを表す情報OUT、又は被検眼が緑内障眼である確信度を表す確信度情報OUTを出力する。分類器306は、図8に示す分類器320と同様に、Random Forestやサポートベクターマシン等の公知の構成を有していてよい。
病態推定学習部212は、画像生成部201により生成された複数の画像から緑内障の分類結果を推定するための病態推定モデルを生成する。病態推定学習部212は、教師あり機械学習を実行することにより病態推定モデルを生成する。いくつかの実施形態では、分類モデルから出力された推定情報から被検眼が緑内障眼であると判断される場合に、病態推定学習部212は、緑内障の病態の分類結果を推定するための分類情報を生成する。
例えば、画像生成部201により生成された5種類の画像IMG1〜IMG5を訓練データTR2とし、医師等による緑内障であるか否かの判断結果を表すラベルを教師データSD2として教師あり機械学習を実行することで病態分類推定モデル401を生成する。
このとき、病態推定学習部212は、疾患推定学習部211により得られた画像IMG1〜IMG5用の個別推定モデルの特徴量(重み付け係数等)を用いた機械学習により病態分類推定モデル401を生成する。いくつかの実施形態では、病態推定学習部212は、画像IMG1〜IMG5用の個別推定モデル及び分類モデルの特徴量(重み付け係数等)を用いた機械学習により病態分類推定モデル401を生成する。
病態推定部222は、病態推定学習部212により生成された病態推定学習モデルを用いて、被検眼の5種類の画像IMG1〜IMG5から緑内障の病態を分類するための分類情報OUTa〜OUTdを出力する。いくつかの実施形態では、分類情報は、緑内障の病態の複数の類型のうち、分類されたいずれか1つの類型を表す情報を含む。いくつかの実施形態では、分類情報は、緑内障の病態の複数の類型のそれぞれの確信度(例えば、各類型であると推定される確率)を表す情報を含む。例えば、分類情報OUTaは、被検眼が発症する緑内障が局所虚血型(FI)である確信度を表す確信度情報である。分類情報OUTbは、被検眼が発症する緑内障が近視型(MY)である確信度を表す確信度情報である。分類情報OUTcは、被検眼が発症する緑内障が加齢性硬化型(SS)である確信度を表す確信度情報である。分類情報OUTdは、被検眼が発症する緑内障が全体的拡大型(GE)である確信度を表す確信度情報である。
この実施形態では、病態推定部222は、ニコレラ分類に従った分類情報を出力する。
ニコレラ分類では、視神経乳頭の形状に応じた4つの類型(局所虚血型、近視型、加齢性硬化型、全体的拡大型)が定められている。局所虚血型(Focal Ischemia:FI)は、リムの一部にノッチが存在し、視神経線維層の局所的な欠損が見られる類型である。局所虚血型は、女性に多く、片頭痛や発作を伴うことが多い。近視型(Myopic:MY)は、視神経乳頭が傾斜しており、耳側に陥凹を伴う三日月型の乳頭周囲網脈絡膜萎縮(PPA)が見られる類型である。近視型は、若年層に多く、近視を伴うことが多い。加齢性硬化型(Senile Sclerotic:SS)は、視神経乳頭が円形であり、陥凹が浅く、乳頭の周辺にハロ(Halo)が見られる類型である。加齢性硬化型は、高齢者に多く、心血管障害を伴うことが多い。全体的拡大型(Generalized Enlargement:GE)は、大きく深い円形の陥凹を呈する類型である。全体的拡大型は、眼圧が高い被検眼に多い。
被検眼が緑内障眼である場合、病態推定部222は、ニコレラ分類の複数の類型のうち被検眼に発症した緑内障の病態として分類された類型を表す分類情報を出力することが可能である。また、病態推定部222は、ニコレラ分類の複数の類型のそれぞれの確信度を表す分類情報を出力することが可能である。
眼科装置10、又は眼科装置10からOCTデータの受信処理を行う通信部140は、実施形態に係る「取得部」の一例である。5種類の画像として、視神経乳頭の中心(又はその付近)を通過する水平方向のBスキャン画像、視神経乳頭の中心(又はその付近)を通過する垂直方向のBスキャン画像、中心窩(又はその付近)を通過する垂直方向のBスキャン画像、プロジェクション画像、及びen−face画像は、実施形態に係る「複数の画像」の一例である。Bスキャン画像IMG1用の個別推定モデル、Bスキャン画像IMG2用の個別推定モデル、Bスキャン画像IMG3用の個別推定モデル、プロジェクション画像IMG4用の個別推定モデル、及びen−face画像IMG5用の個別推定モデルは、実施形態に係る「複数の学習済みモデル」の一例である。Bスキャン画像は、実施形態に係る「断層像」の一例である。プロジェクション画像又はen−face画像は、実施形態に係る「正面画像」の一例である。疾患推定学習部211は、実施形態に係る「第2学習部」の一例である。病態推定学習部212は、実施形態に係る「第1学習部」の一例である。水平方向は、実施形態に係る「第1断面方向」の一例である。垂直方向は、実施形態に係る「第2断面方向」の一例である。
[動作例]
いくつかの実施形態に係る眼科情報処理装置100の動作例について説明する。
図9及び図10に、実施形態に係る眼科情報処理装置100の動作例のフロー図を示す。図9は、疾患推定及び病態推定を行うための学習済みモデルの生成処理の一例のフロー図を表す。図10は、図9に示す生成処理により生成された学習済みモデルを用いた疾患推定処理及び病態推定処理の一例のフロー図を表す。記憶部112には、図9及び図10に示す処理を実現するためのコンピュータプログラムが記憶されている。制御部110(主制御部111)は、このコンピュータプログラムに従って動作することにより、図9及び図10に示す処理を実行することが可能である。
図9では、眼科装置10において、事前に複数の被検眼の眼底に対してOCTが実行され、複数の3次元OCTデータが取得されているものとする。
(S1:3次元OCTデータから訓練データ群を作成)
まず、主制御部111は、通信部140を制御して、眼科装置10において取得された複数の被検眼に対する複数の3次元OCTデータを取得させる。
続いて、主制御部111は、画像生成部201を制御して、複数の3次元OCTデータのそれぞれから、訓練データ群として上記の5種類の画像を生成させる。すなわち、画像生成部201は、3次元OCTデータから、視神経乳頭の中心(又はその付近)を通過する水平方向のBスキャン画像、視神経乳頭の中心(又はその付近)を通過する垂直方向のBスキャン画像、中心窩(又はその付近)を通過する垂直方向のBスキャン画像、プロジェクション画像、及びen−face画像を生成する。医師等は、生成された画像を読影し、当該被検眼が緑内障眼であるか否かを示すラベルを付す。主制御部111は、読影された画像とラベルとを関連付けて記憶部112に保存する。
(S2:疾患推定モデルを生成)
次に、主制御部111は、疾患推定学習部211を制御して、上記の5種類の画像の1つについて、当該画像用の個別推定モデル(疾患推定モデル)を生成させる。疾患推定学習部211は、上記のように教師あり機械学習を実行することにより個別推定モデルを生成する。
(S3:次?)
続いて、主制御部111は、次の画像について、個別推定モデルの生成処理を行うか否かを判定する。例えば、主制御部111は、あらかじめ決められた画像の種別数、又はステップS1において生成された画像の種別数をカウントすることにより、次の画像について個別推定モデルの生成処理を行うか否かを判定する。
次の画像について個別推定モデルの生成処理を行うと判定されたとき(ステップS3:Y)、眼科情報処理装置100の動作はステップS2に移行する。次の画像について個別推定モデルの生成処理を行うと判定されなかったとき(ステップS3:N)、眼科情報処理装置100の動作はステップS4に移行する。
(S4:病態推定モデルを生成)
ステップS3において、次の画像について個別推定モデルの生成処理を行うと判定されなかったとき(ステップS3:N)、主制御部111は、病態推定学習部212を制御して、上記の5種類の画像に基づいて緑内障の病態の分類結果を推定するための病態分類推定モデル401を生成させる。病態推定学習部212は、上記のように病態分類推定モデル401を生成する。
以上で、眼科情報処理装置100の動作は終了である(エンド)。
図10に示すように、眼科情報処理装置100は、図9に示すフローに従って生成された学習済みモデルを用いて、被検眼が緑内障眼であるか否かを推定するための推定情報、及び緑内障の病態の分類結果を推定するための分類情報を生成する。
図10では、眼科装置10において、事前に推定対象である被検眼の眼底に対してOCTが実行され、3次元OCTデータが取得されているものとする。
(S11:3次元OCTデータから画像群を作成)
まず、主制御部111は、通信部140を制御して、眼科装置10において取得された推定対象である被検眼の3次元OCTデータを取得させる。
続いて、主制御部111は、画像生成部201を制御して、3次元OCTデータから画像群として上記の5種類の画像を生成させる。すなわち、画像生成部201は、3次元OCTデータから、視神経乳頭の中心(又はその付近)を通過する水平方向のBスキャン画像、視神経乳頭の中心(又はその付近)を通過する垂直方向のBスキャン画像、中心窩(又はその付近)を通過する垂直方向のBスキャン画像、プロジェクション画像、及びen−face画像を生成する。
(S12:疾患推定、病態推定)
次に、主制御部111は、疾患推定部221を制御して、ステップS11において生成された5種類の画像群に対し、図9のステップS2〜ステップS3を繰り返すことで生成された疾患推定モデル(各画像用の個別推定モデル)を用いて、被検眼が緑内障眼であるか否かを推定するための推定情報を出力させる。
また、主制御部111は、病態推定部222を制御して、ステップS11において生成された5種類の画像群に対し、図9のステップS4において生成された病態推定モデルを用いて、緑内障の病態の分類結果を推定するための分類情報を出力させる。
いくつかの実施形態では、主制御部111は、疾患推定部221と病態推定部222とを並列に動作させて、推定情報と分類情報とを同時に出力させる。
以上で、眼科情報処理装置100の動作は終了である(エンド)。
ここで、実施形態に係る眼科情報処理装置100による緑内障の判定精度を評価するために、実施形態の比較例と対比する。実施形態の比較例に係る眼科情報処理装置は、実施形態と同様の5種類の画像を入力データとする5入力の畳み込みニューラルネットワークを含み、公知の教師あり機械学習を行うことにより、被検眼の眼底の5種類の画像から被検眼が緑内障眼であるか否かを判定するように構成されている。
図11に、実施形態の比較例に係る眼科情報処理装置により得られた受信者動作特性曲線下面積(Area Under Receiver Operating Characteristic curve:AUROC)の一例を示す。
図11では、正常眼のOCTデータが143例、緑内障眼のOCTデータが672例を用いて、5分割の交差検証で評価を行った結果がAUROCとして表されている。図11では、AUC(Area Under Curve)が0.950±0.023である。
図12に、実施形態に係る眼科情報処理装置100により得られたAUROCの一例を示す。
図12では、比較例と同様のOCTデータ(正常眼:143例、緑内障眼:672例)を用いて、5分割の交差検証で評価を行った結果がAUROCとして表されている。図12では、AUCが0.983±0.009である。
以上のように、単純に畳み込みニューラルネットワークを用いて緑内障眼であるか否かを判定する場合に比べて、実施形態に係る構成によれば判定精度を向上させることが可能になる。
<変形例>
実施形態に係る構成は、上記の構成に限定されるものではない。
いくつかの実施形態に係る眼科装置は、眼科装置10の機能に加えて、眼科情報処理装置100の機能、操作装置180の機能、及び表示装置190の機能の少なくとも1つを備える。
以下、いくつかの実施形態の変形例に係る眼科装置について、上記の実施形態に係る眼科装置との相違点を中心に説明する。
図13に、実施形態の変形例に係る眼科装置10aの構成例のブロック図を示す。図13において、図2と同様の部分には同一符号を付し、適宜説明を省略する。
本変形例に係る眼科装置10aの構成が上記の実施形態に係る眼科装置10の構成と異なる点は、眼科装置10aが、眼科情報処理装置100の機能と、操作装置180の機能と、表示装置190の機能とを備えている点である。眼科装置10aは、制御部11aと、OCT部12と、OCTデータ処理部13と、眼科情報処理部15aと、操作部16aと、表示部17aとを含む。
制御部11aは、眼科装置10aの各部を制御する。特に、制御部11aは、OCT部12と、OCTデータ処理部13と、眼科情報処理部15aと、操作部16aと、表示部17aとを制御する。
眼科情報処理部15aは、眼科情報処理装置100と同様の構成を有し、眼科情報処理装置100と同様の機能を備えている。操作部16aは、操作装置180と同様の構成を有し、操作装置180と同様の機能を備えている。表示部17aは、表示装置190と同様の構成を有し、表示装置190と同様の機能を備えている。
本変形例によれば、コンパクトな構成で、被検眼が緑内障眼(疾患眼)であるか否かを推定するための推定情報、緑内障の病態の分類結果を推定するための分類情報を、より少ない訓練データを用いた機械学習により高精度に取得することが可能になる。それにより、被検眼の疾患に対して適切な治療を早期に施すための新たな技術を提供することができる。
<効果>
以下、いくつかの実施形態に係る眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムについて説明する。
いくつかの実施形態に係る眼科情報処理装置(眼科情報処理装置100、眼科情報処理部15a)は、取得部(眼科装置10、又は眼科装置10からOCTデータの受診処理を行う通信部140)と、疾患推定部(221)とを含む。取得部は、互いに断面方向が異なる被検眼の複数の画像を取得する。疾患推定部は、複数の画像の種別毎に機械学習により得られた複数の学習済みモデルを用いて、複数の画像から被検眼が疾患を伴う眼であるか否かを推定するための推定情報を出力する。
このような構成によれば、互いに異なる複数の断面方向の画像のそれぞれについて、機械学習により得られた学習済みモデルを用いて被検眼が疾患を伴う眼であるか否かを推定するための推定情報を取得するようにしたので、高精度、且つ、早期に疾患を発見することができる。それにより、被検眼の疾患に対して適切な治療を早期に施すことができるようになる。
いくつかの実施形態では、疾患推定部は、複数の画像の種別毎に複数の学習済みモデルのそれぞれを用いて、特徴量又は被検眼が疾患を伴う眼である確信度を表す確信度情報を出力する複数の推定器(第1推定器301〜第5推定器305)と、機械学習により得られた分類モデルを用いて、複数の推定器から出力された複数の特徴量又は複数の確信度情報から推定情報を出力する分類器(306)と、を含む。
このような構成によれば、機械学習により得られた学習済みモデルを用いて複数の画像の種別毎に特徴量又は確信度情報を出力し、機械学習により得られた分類モデルを用いて複数の特徴量又は複数の確信度情報から推定情報を出力するようにしたので、高精度、且つ、早期に疾患を発見することができる。それにより、被検眼の疾患に対して適切な治療を早期に施すことができるようになる。
いくつかの実施形態では、複数の画像は、被検眼の眼底の断層像又は正面画像を含み、疾患は、眼底疾患である。
このような構成によれば、高精度、且つ、早期に眼底疾患を発見することができる。それにより、被検眼の眼底疾患に対して適切な治療を早期に施すことができるようになる。
いくつかの実施形態では、複数の画像は、視神経乳頭と中心窩とを結ぶ線に交差する断面方向のBスキャン画像を含む。
このような構成によれば、視神経乳頭と中心窩とを結ぶ線に交差する断面方向のBスキャン画像を含む複数の画像を用いて推定情報を取得するようにしたので、視神経乳頭と中心窩とを結ぶ線に交差する断面の形態に影響を及ぼす疾患を高精度、且つ、早期に発見することができる。
いくつかの実施形態では、複数の画像は、視神経乳頭を通過する第1断面方向(水平方向)のBスキャン画像、視神経乳頭を通過し第1断面方向に交差する第2断面方向(垂直方向)のBスキャン画像、及び中心窩を通過するBスキャン画像を含む。
このような構成によれば、視神経乳頭又は中心窩の断面の形態に影響を及ぼす疾患を高精度、且つ、早期に発見することができる。
いくつかの実施形態では、正面画像は、内境界膜に相当する層領域から深層の層領域を投影したen−face画像、及びプロジェクション画像の少なくとも1つを含む。
このような構成によれば、被検眼の正面の形態に影響を及ぼす疾患を高精度、且つ、早期に発見することができる。
いくつかの実施形態では、眼底疾患は、緑内障、加齢黄斑変性、及び糖尿網網膜症のうち少なくとも1つを含む。
このような構成によれば、高精度、且つ、早期に緑内障、疾患を発見することができる。それにより、被検眼の疾患に対して適切な治療を早期に施すことができるようになる。
いくつかの実施形態は、複数の学習済みモデルにより得られた特徴量を用いて教師あり機械学習により得られた分類用学習済みモデル(病態分類推定モデル401)を用いて、複数の画像から疾患の病態の分類結果を推定するための分類情報を出力する病態推定部(222)を含む。
このような構成によれば、疾患の病態の分類結果を高精度に推定することができるようになる。それにより、被検眼の疾患に対して適切な治療を早期に施すことが可能になる。また、自然画像等から機械学習を実行して得られた学習済みモデルを用いる場合に比べて、より少ない訓練データを用いた機械学習で高精度な分類情報を取得することが可能になる。
いくつかの実施形態では、疾患は、緑内障を含み、分類情報は、視神経乳頭形状の複数の類型の分類結果を推定するための情報である。
このような構成によれば、緑内障の病態の分類結果を高精度に推定することができるようになる。それにより、被検眼が発症した緑内障に対して適切な治療を早期に施すことが可能になる。
いくつかの実施形態は、複数の学習済みモデルにより得られた特徴量を用いて教師あり機械学習により分類用学習済みモデルを生成する第1学習部(病態推定学習部212)を含む。
このような構成によれば、自然画像等から機械学習を実行して得られた学習済みモデルを用いる場合に比べて、より少ない訓練データを用いた機械学習で、被検眼が発症した疾患の病態の分類結果を高精度に推定するための分類用学習済みモデルを生成することが可能な眼科情報処理装置を提供することができるようになる。
いくつかの実施形態は、複数の画像の種別毎に、教師あり機械学習により複数の学習済みモデルを生成する第2学習部(疾患推定学習部211)を含む。
このような構成によれば、被検眼の疾患を高精度、且つ、早期に発見するための学習済みモデルを生成することが可能な眼科情報処理装置を提供することができるようになる。
いくつかの実施形態は、被検眼の3次元OCTデータに基づいて、複数の画像の少なくとも1つを生成する画像生成部(201)を含む。
このような構成によれば、被検眼の3次元OCTデータを取得することにより、被検眼の疾患を高精度、且つ、早期に発見することが可能な眼科情報処理装置を提供することができるようになる。
いくつかの実施形態に係る眼科装置(10、10a)は、被検眼に対して光コヒーレンストモグラフィを実行するOCT部(12)と、OCT部により取得された3次元データに基づいて複数の画像の少なくとも1つを生成する画像生成部(201)と、上記のいずれか一項に記載の眼科情報処理装置(100、眼科情報処理部15a)と、を含む。
このような構成によれば、被検眼に対して光コヒーレンストモグラフィを実行し、得られたOCTデータから被検眼の疾患を高精度、且つ、早期に発見することが可能な眼科装置を提供することができるようになる。
いくつかの実施形態に係る眼科装置(10、10a)は、被検眼に対して光コヒーレンストモグラフィを実行するOCT部(12)と、上記に記載の眼科情報処理装置(100、眼科情報処理部15a)と、を含む。
このような構成によれば、被検眼に対して光コヒーレンストモグラフィを実行し、得られたOCTデータから被検眼の疾患を高精度、且つ、早期に発見することが可能な眼科装置を提供することができるようになる。
いくつかの実施形態に係る眼科情報処理方法は、互いに断面方向が異なる被検眼の複数の画像を取得する取得ステップと、複数の画像の種別毎に機械学習により得られた複数の学習済みモデルを用いて、複数の画像から被検眼が疾患を伴う眼であるか否かを推定するための推定情報を出力する疾患推定ステップと、を含む。
このような方法によれば、互いに異なる複数の断面方向の画像のそれぞれについて、機械学習により得られた学習済みモデルを用いて被検眼が疾患を伴う眼であるか否かを推定するための推定情報を取得するようにしたので、高精度、且つ、早期に疾患を発見することができる。それにより、被検眼の疾患に対して適切な治療を早期に施すことができるようになる。
いくつかの実施形態では、複数の画像の種別毎に複数の学習済みモデルのそれぞれを用いて、特徴量又は被検眼が疾患を伴う眼である確信度を表す確信度情報を出力する複数の推定ステップと、機械学習により得られた分類モデルを用いて、複数の推定ステップにおいて出力された複数の特徴量又は複数の確信度情報から推定情報を出力する分類ステップと、を含む。
このような方法によれば、機械学習により得られた学習済みモデルを用いて複数の画像の種別毎に特徴量又は確信度情報を出力し、機械学習により得られた分類モデルを用いて複数の特徴量又は複数の確信度情報から推定情報を出力するようにしたので、高精度、且つ、早期に疾患を発見することができる。それにより、被検眼の疾患に対して適切な治療を早期に施すことができるようになる。
いくつかの実施形態では、複数の画像は、被検眼の眼底の断層像又は正面画像を含み、疾患は、眼底疾患である。
このような方法によれば、高精度、且つ、早期に眼底疾患を発見することができる。それにより、被検眼の眼底疾患に対して適切な治療を早期に施すことができるようになる。
いくつかの実施形態では、複数の画像は、視神経乳頭と中心窩とを結ぶ線に交差する断面方向のBスキャン画像を含む。
このような方法によれば、視神経乳頭と中心窩とを結ぶ線に交差する断面方向のBスキャン画像を含む複数の画像を用いて推定情報を取得するようにしたので、視神経乳頭と中心窩とを結ぶ線に交差する断面の形態に影響を及ぼす疾患を高精度、且つ、早期に発見することができる。
いくつかの実施形態では、複数の画像は、視神経乳頭を通過する第1断面方向のBスキャン画像、視神経乳頭を通過し第1断面方向に交差する第2断面方向のBスキャン画像、及び中心窩を通過するBスキャン画像を含む。
このような方法によれば、視神経乳頭又は中心窩の断面の形態に影響を及ぼす疾患を高精度、且つ、早期に発見することができる。
いくつかの実施形態では、正面画像は、内境界膜に相当する層領域から深層の層領域を投影したen−face画像、及びプロジェクション画像の少なくとも1つを含む。
このような方法によれば、被検眼の正面の形態に影響を及ぼす疾患を高精度、且つ、早期に発見することができる。
いくつかの実施形態では、眼底疾患は、緑内障、加齢黄斑変性、及び糖尿網網膜症のうち少なくとも1つを含む。
このような方法によれば、高精度、且つ、早期に緑内障、疾患を発見することができる。それにより、被検眼の疾患に対して適切な治療を早期に施すことができるようになる。
いくつかの実施形態は、複数の学習済みモデルにより得られた特徴量を用いて教師あり機械学習により得られた分類用学習済みモデル(病態分類推定モデル401)を用いて、複数の画像から疾患の病態の分類結果を推定するための分類情報を出力する病態推定ステップを含む。
このような方法によれば、疾患の病態の分類結果を高精度に推定することができるようになる。それにより、被検眼の疾患に対して適切な治療を早期に施すことが可能になる。また、自然画像等から機械学習を実行して得られた学習済みモデルを用いる場合に比べて、より少ない訓練データを用いた機械学習で高精度な分類情報を取得することが可能になる。
いくつかの実施形態では、疾患は、緑内障を含み、分類情報は、視神経乳頭形状の複数の類型の分類結果を推定するための情報である。
このような方法によれば、緑内障の病態の分類結果を高精度に推定することができるようになる。それにより、被検眼が発症した緑内障に対して適切な治療を早期に施すことが可能になる。
いくつかの実施形態は、複数の学習済みモデルにより得られた特徴量を用いて教師あり機械学習により分類用学習済みモデルを生成する第1学習ステップを含む。
このような方法によれば、自然画像等から機械学習を実行して得られた学習済みモデルを用いる場合に比べて、より少ない訓練データを用いた機械学習で、被検眼が発症した疾患の病態の分類結果を高精度に推定するための分類用学習済みモデルを生成することが可能な眼科情報処理方法を提供することができるようになる。
いくつかの実施形態は、複数の画像の種別毎に、教師あり機械学習により複数の学習済みモデルを生成する第2学習ステップを含む。
このような方法によれば、被検眼の疾患を高精度、且つ、早期に発見するための学習済みモデルを生成することが可能な眼科情報処理方法を提供することができるようになる。
いくつかの実施形態は、被検眼の3次元OCTデータに基づいて、複数の画像の少なくとも1つを生成する画像生成ステップを含む。
このような方法によれば、被検眼の3次元OCTデータを取得することにより、被検眼の疾患を高精度、且つ、早期に発見することが可能な眼科情報処理方法を提供することができるようになる。
いくつかの実施形態に係るプログラムは、コンピュータに、上記のいずれかに記載の眼科情報処理方法の各ステップを実行させる。
このようなプログラムによれば、互いに異なる複数の断面方向の画像のそれぞれについて、機械学習により得られた学習済みモデルを用いて被検眼が疾患を伴う眼であるか否かを推定するための推定情報を取得するようにしたので、高精度、且つ、早期に疾患を発見することができる。それにより、被検眼の疾患に対して適切な治療を早期に施すことができるようになる。
いくつかの実施形態に係る眼科情報理方法を実現するためのプログラムを、コンピュータによって読み取り可能な非一時的な(non−transitory)任意の記録媒体に記憶させることができる。記録媒体は、磁気、光、光磁気、半導体などを利用した電子媒体であってよい。典型的には、記録媒体は、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ、ソリッドステートドライブなどである。
また、インターネットやLAN等のネットワークを通じてコンピュータプログラムを送受信することも可能である。
以上に説明した態様は、この発明を実施するための例に過ぎない。この発明を実施しようとする者は、この発明の要旨の範囲内における任意の変形(省略、置換、付加等)を施すことが可能である。
1 眼科システム
10、10a 眼科装置
11、11a、110 制御部
12 OCT部
12A 干渉光学系
12B スキャン光学系
14、140 通信部
15a 眼科情報処理部
16a 操作部
17a 表示部
100 眼科情報処理装置
111 主制御部
112 記憶部
130 データ処理部
180 操作装置
190 表示装置
200 解析部
201 画像生成部
210 推定モデル構築部
211 疾患推定学習部
212 病態推定学習部
220 推定部
221 疾患推定部
222 病態推定部

Claims (27)

  1. 互いに断面方向が異なる被検眼の複数の画像を取得する取得部と、
    前記複数の画像の種別毎に機械学習により得られた複数の学習済みモデルを用いて、前記複数の画像から前記被検眼が疾患を伴う眼であるか否かを推定するための推定情報を出力する疾患推定部と、
    を含む、眼科情報処理装置。
  2. 前記疾患推定部は、
    前記複数の画像の種別毎に前記複数の学習済みモデルのそれぞれを用いて、特徴量又は前記被検眼が疾患を伴う眼である確信度を表す確信度情報を出力する複数の推定器と、
    機械学習により得られた分類モデルを用いて、前記複数の推定器から出力された複数の特徴量又は複数の確信度情報から前記推定情報を出力する分類器と、
    を含む
    ことを特徴とする請求項1に記載の眼科情報処理装置。
  3. 前記複数の画像は、前記被検眼の眼底の断層像又は正面画像を含み、
    前記疾患は、眼底疾患である
    ことを特徴とする請求項1又は請求項2に記載の眼科情報処理装置。
  4. 前記複数の画像は、視神経乳頭と中心窩とを結ぶ線に交差する断面方向のBスキャン画像を含む
    ことを特徴とする請求項3に記載の眼科情報処理装置。
  5. 前記複数の画像は、視神経乳頭を通過する第1断面方向のBスキャン画像、視神経乳頭を通過し前記第1断面方向に交差する第2断面方向のBスキャン画像、及び中心窩を通過するBスキャン画像を含む
    ことを特徴とする請求項3又は請求項4に記載の眼科情報処理装置。
  6. 前記正面画像は、内境界膜に相当する層領域から深層の層領域を投影したen−face画像、及びプロジェクション画像の少なくとも1つを含む
    ことを特徴とする請求項3〜請求項5のいずれか一項に記載の眼科情報処理装置。
  7. 前記眼底疾患は、緑内障、加齢黄斑変性、及び糖尿網網膜症のうち少なくとも1つを含む
    ことを特徴とする請求項3〜請求項6のいずれか一項に記載の眼科情報処理装置。
  8. 前記複数の学習済みモデルにより得られた特徴量を用いて教師あり機械学習により得られた分類用学習済みモデルを用いて、前記複数の画像から前記疾患の病態の分類結果を推定するための分類情報を出力する病態推定部を含む
    ことを特徴とする請求項1〜請求項7のいずれか一項に記載の眼科情報処理装置。
  9. 前記疾患は、緑内障を含み、
    前記分類情報は、視神経乳頭形状の複数の類型の分類結果を推定するための情報である
    ことを特徴とする請求項8に記載の眼科情報処理装置。
  10. 前記複数の学習済みモデルにより得られた特徴量を用いて教師あり機械学習により前記分類用学習済みモデルを生成する第1学習部を含む
    ことを特徴とする請求項8又は請求項9に記載の眼科情報処理装置。
  11. 前記複数の画像の種別毎に、教師あり機械学習により前記複数の学習済みモデルを生成する第2学習部を含む
    ことを特徴とする請求項1〜請求項10のいずれか一項に記載の眼科情報処理装置。
  12. 前記被検眼の3次元OCTデータに基づいて、前記複数の画像の少なくとも1つを生成する画像生成部を含む
    ことを特徴とする請求項1〜請求項11のいずれか一項に記載の眼科情報処理装置。
  13. 前記被検眼に対して光コヒーレンストモグラフィを実行するOCT部と、
    前記OCT部により取得された前記3次元データに基づいて前記複数の画像の少なくとも1つを生成する画像生成部と、
    請求項1〜請求項11のいずれか一項に記載の眼科情報処理装置と、
    を含む、眼科装置。
  14. 前記被検眼に対して光コヒーレンストモグラフィを実行するOCT部と、
    請求項12に記載の眼科情報処理装置と、
    を含む、眼科装置。
  15. 互いに断面方向が異なる被検眼の複数の画像を取得する取得ステップと、
    前記複数の画像の種別毎に機械学習により得られた複数の学習済みモデルを用いて、前記複数の画像から前記被検眼が疾患を伴う眼であるか否かを推定するための推定情報を出力する疾患推定ステップと、
    を含む、眼科情報処理方法。
  16. 前記疾患推定ステップは、
    前記複数の画像の種別毎に前記複数の学習済みモデルのそれぞれを用いて、特徴量又は前記被検眼が疾患を伴う眼である確信度を表す確信度情報を出力する複数の推定ステップと、
    機械学習により得られた分類モデルを用いて、前記複数の推定ステップにおいて出力された複数の特徴量又は複数の確信度情報から前記推定情報を出力する分類ステップと、
    を含む
    ことを特徴とする請求項15に記載の眼科情報処理方法。
  17. 前記複数の画像は、前記被検眼の眼底の断層像又は正面画像を含み、
    前記疾患は、眼底疾患である
    ことを特徴とする請求項15又は請求項16に記載の眼科情報処理方法。
  18. 前記複数の画像は、視神経乳頭と中心窩とを結ぶ線に交差する断面方向のBスキャン画像を含む
    ことを特徴とする請求項17に記載の眼科情報処理方法。
  19. 前記複数の画像は、視神経乳頭を通過する第1断面方向のBスキャン画像、視神経乳頭を通過し前記第1断面方向に交差する第2断面方向のBスキャン画像、及び中心窩を通過するBスキャン画像を含む
    ことを特徴とする請求項17又は請求項18に記載の眼科情報処理方法。
  20. 前記正面画像は、内境界膜に相当する層領域から深層の層領域を投影したen−face画像、及びプロジェクション画像の少なくとも1つを含む
    ことを特徴とする請求項17〜請求項19のいずれか一項に記載の眼科情報処理方法。
  21. 前記眼底疾患は、緑内障、加齢黄斑変性、及び糖尿網網膜症のうち少なくとも1つを含む
    ことを特徴とする請求項17〜請求項20のいずれか一項に記載の眼科情報処理方法。
  22. 前記複数の学習済みモデルにより得られた特徴量を用いて教師あり機械学習により得られた分類用学習済みモデルを用いて、前記複数の画像から前記疾患の病態の分類結果を推定するための分類情報を出力する病態推定ステップを含む
    ことを特徴とする請求項15〜請求項21のいずれか一項に記載の眼科情報処理方法。
  23. 前記疾患は、緑内障を含み、
    前記分類情報は、視神経乳頭形状の複数の類型の分類結果を推定するための情報である
    ことを特徴とする請求項22に記載の眼科情報処理方法。
  24. 前記複数の学習済みモデルにより得られた特徴量を用いて教師あり機械学習により前記分類用学習済みモデルを生成する第1学習ステップを含む
    ことを特徴とする請求項22又は請求項23に記載の眼科情報処理方法。
  25. 前記複数の画像の種別毎に、教師あり機械学習により前記複数の学習済みモデルを生成する第2学習ステップを含む
    ことを特徴とする請求項15〜請求項24のいずれか一項に記載の眼科情報処理方法。
  26. 前記被検眼の3次元OCTデータに基づいて、前記複数の画像の少なくとも1つを生成する画像生成ステップを含む
    ことを特徴とする請求項15〜請求項25のいずれか一項に記載の眼科情報処理方法。
  27. コンピュータに、請求項15〜請求項26のいずれか一項に記載の眼科情報処理方法の各ステップを実行させることを特徴とするプログラム。
JP2020047157A 2020-03-18 2020-03-18 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム Pending JP2021145805A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020047157A JP2021145805A (ja) 2020-03-18 2020-03-18 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020047157A JP2021145805A (ja) 2020-03-18 2020-03-18 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2021145805A true JP2021145805A (ja) 2021-09-27

Family

ID=77849822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020047157A Pending JP2021145805A (ja) 2020-03-18 2020-03-18 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2021145805A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097620A1 (ja) * 2020-11-04 2022-05-12 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097620A1 (ja) * 2020-11-04 2022-05-12 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US11935241B2 (en) Image processing apparatus, image processing method and computer-readable medium for improving image quality
US20210304363A1 (en) Image processing apparatus, image processing method and computer-readable medium
JP7078948B2 (ja) 眼科情報処理システム、眼科情報処理方法、プログラム、及び記録媒体
US20220400943A1 (en) Machine learning methods for creating structure-derived visual field priors
US20210183019A1 (en) Image processing apparatus, image processing method and computer-readable medium
TWI746287B (zh) 影像處理系統及影像處理方法
WO2020137678A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7348374B2 (ja) 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム
JP2019054992A (ja) 眼科装置及びプログラム
JP2018046959A (ja) 眼科撮影装置
WO2020050308A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20230267610A1 (en) Ophthalmic information processing apparatus, ophthalmic apparatus, ophthalmic information processing method, and recording medium
JP7096116B2 (ja) 血流計測装置
JP2021145805A (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
WO2022145129A1 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
JP7457315B2 (ja) 情報処理装置、推論モデル生成方法、情報処理方法、及びプログラム
JP2020058615A (ja) 画像処理装置、学習済モデル、画像処理方法およびプログラム
JP7111874B2 (ja) 眼科撮影装置
WO2019102740A1 (ja) 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム
WO2022097621A1 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
JP6910935B2 (ja) 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム
JP6976147B2 (ja) 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム
JP7386949B2 (ja) 眼科情報処理装置
JP2022127783A (ja) 血流解析装置、眼科装置、血流解析方法、及びプログラム
JP2022068457A (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200624

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240305