JP2020121012A - 眼科情報処理装置、学習済モデル、学習装置、眼科情報処理方法、及びプログラム - Google Patents

Abstract

【課題】 患者の過去の視野検査結果等を用いなくても現在等の視野を推定することができる眼科情報処理装置を提供する。【解決手段】 被検眼の網膜の三次元構造情報及び正面画像の少なくとも一方を取得する取得部と、学習済モデルを用いて、三次元構造情報及び正面画像の少なくとも一方から被検眼の推定視野情報を生成する生成部とを備える、眼科情報処理装置。【選択図】 図４

Description

本発明は、眼科情報処理装置、学習済モデル、学習装置、眼科情報処理方法及びプログラムに関する。

眼科分野において、被検者の視野異常・視野欠損を計測するための装置として視野計が普及している。視野計に関して、特許文献１はニューラルネットワークを構成する多層神経回路及びバックプロパゲーション法の学習を用いて、過去の視野計検査結果や付随データ（眼圧値・病歴・眼底所見）から現在・将来の視野異常パターンを類推する手法を開示している。また、特許文献２は過去の視野検査結果を用いたベイズ推定により、現在・将来の視野検査結果を推定する手法を開示している。

特開平５−２７７０６６号公報 特開２０１４−１６６２５０号公報

検査が容易で検査時間の短い、眼底カメラやＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ：光干渉断層撮像）装置を用いた検査に比べて、視野検査は検査時間が長いために、視野検査は健康診断などの定期検査で行われないことが多い。そのため、患者によっては、過去の視野検査結果が無い場合や、視野検査の間隔が空き過ぎている場合があり、現在の視野を推定するには過去の検査情報が不十分なときがある。

そこで、本発明は、患者の過去の視野検査結果等を用いなくても現在等の視野を推定することができる眼科情報処理装置、学習済モデル、学習装置、眼科情報処理方法及びプログラムを提供することを目的の一つとする。

本発明の一実施態様に係る眼科情報処理装置は、被検眼の網膜の三次元構造情報及び正面画像の少なくとも一方を取得する取得部と、学習済モデルを用いて、前記三次元構造情報及び前記正面画像の少なくとも一方から前記被検眼の推定視野情報を生成する生成部とを備える。

本発明の他の実施態様に係る眼科情報処理方法は、被検眼の網膜の三次元構造情報及び正面画像の少なくとも一方を取得する工程と、学習済モデルを用いて、前記三次元構造情報及び前記正面画像の少なくとも一方から前記被検眼の推定視野情報を生成する工程とを含む。

本発明によれば、患者の過去の視野検査結果等を用いなくても現在等の視野を推定することができる。

実施例１に係る眼科情報処理システムの構成を概略的に示す。 三次元構造情報の構成の一例を示す。 実施例１に係る制御部のブロック図である。 実施例１に係る表示画面の一例を示す。 実施例１に係る推定視野情報の表示処理のフローチャートである。 実施例１に係る学習データの説明図である。 実施例１に係る機械学習モデルの説明図である。 実施例１の変形例に係る制御部のブロック図である。 実施例１の変形例に係る視野検査推奨処理のフローチャートである。 実施例２に係る表示画面の一例を示す。 実施例２に係る推定視野情報の表示処理のフローチャートである。 実施例２に係る学習データの説明図である。 実施例３に係る表示画面の一例を示す。 実施例３に係る推定視野情報の表示処理のフローチャートである。 実施例４に係る推定視野情報の表示処理のフローチャートである。 実施例５に係る学習データの説明図である。 実施例６に係る表示画面の一例を示す。

以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、各図面において説明上重要ではない構成要素、部材、処理の一部は省略して表示する場合がある。

なお、本明細書における学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。

＜実施例１＞
（本体構成）
以下、図１乃至７を参照して、実施例１に係る、眼科画像及び／又は眼科情報を処理する眼科情報処理装置について説明する。図１は、本実施例による眼科情報処理装置を含む眼科情報処理システムの概略的な全体構成を示す。眼科情報処理システムには、撮影光学系１００、制御部３００（情報処理装置）、入力部１５０、及び表示部１６０が設けられている。

撮影光学系１００は、被検眼の眼科情報を取得するための眼科装置である。本実施例では、撮影光学系１００は、被検眼の前眼部像やＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｏｔｈａｌｍｏｓｃｏｐｅ：走査型検眼鏡）眼底像、断層像に関するデータを取得することができるＯＣＴ装置である。撮影光学系１００は、電動ステージ等によってベース部分より上部がｘｙｚ方向に移動可能である。ここで、以下、ｚ方向は被検眼Ｅに対する深さ方向を示し、ｘ方向及びｙ方向はそれぞれｚ方向に直交する方向を示す。なお、図に示されるｘ及びｙ方向は一例であって、これに限定されるものではない。

制御部３００は、撮影光学系１００、入力部１５０、及び表示部１６０に接続される。制御部３００は、撮影光学系１００による撮影を制御し、前眼部像やＳＬＯ眼底像、断層像に関するデータを受け取り、必要に応じてデータの解析・再構成、並びに前眼部画像やＳＬＯ画像、断層画像の生成及び記憶を行う。なお、被検眼の断層像に関するデータやＳＬＯ眼底像に関するデータ等の眼科情報から断層画像やＳＬＯ画像等の眼科画像を生成する手法は公知の任意の手法を採用してよい。制御部３００は、汎用のコンピュータを用いて構成されることができるが、眼科情報処理システムや撮影光学系１００の専用コンピュータとして構成されてもよい。

入力部１５０は、制御部３００への指示を行うための入力装置であり、例えば、キーボードやマウス、タッチパネル等から構成されることができる。表示部１６０は、制御部３００から送られる各種情報や各種画像、入力部１５０の操作に従ったマウスカーソル等を表示する。表示部１６０は任意のモニターを用いて構成されることができる。なお、本実施例においては、撮影光学系１００、制御部３００、入力部１５０、及び表示部１６０はそれぞれ別個に構成されているが、これらは一部又は全部が一体として構成されてもよい。また、制御部３００には不図示の他の撮影装置や記憶装置等が接続されてもよい。

（光学撮影系の撮影データ構造）
図２を参照して、本実施例における撮影光学系１００を用いて取得される三次元構造情報２００について説明する。撮影光学系１００は、被検眼Ｅの中の１点に対する深さ方向（ｚ方向）の構造情報を任意の方向（ｘｙ方向）に連続して取得し、二次元の構造情報を取得する。制御部３００は、撮影光学系１００から取得した二次元の構造情報を用いて断層画像２０−１を生成・取得する。

ここで、１点の深さ方向の断層情報を取得することをＡスキャン、二次元の構造情報を取得することをＢスキャンと呼ぶ。Ｂスキャン方向と交差する（又は直交する）方向（ｘｙ方向）に連続してＢスキャンを行うことで、連続した複数の二次元の構造情報を取得することができる。制御部３００は、連続した複数の二次元の構造情報を用いて断層画像２０−１〜２０−ｎを生成・取得することで、被検眼の任意の三次元構造情報２００を取得することができる。

なお、三次元構造情報とは、ＯＣＴ装置を用いて取得された情報であってよい。より具体的には、三次元構造情報は、複数の二次元の構造情報自体によって構成された三次元情報であってもよいし、複数の二次元の構造情報から生成された複数の二次元の断層画像によって構成された三次元画像であってもよい。また、三次元構造情報には、複数の二次元の構造情報によって構成された三次元情報や三次元画像から算出された、網膜厚の数値データや網膜厚のマップ画像等が含まれることができる。

ここで、三次元情報や三次元画像から網膜厚等の層構造情報を算出する処理として、セグメンテーション処理を用いることができる。セグメンテーション処理は、公知の任意の処理を採用してよい。一例では、まず、処理の対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用してメディアン画像及びＳｏｂｅｌ画像を生成する。次に、生成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャンに対応する断層情報毎にプロファイルを生成する。ここで、生成されるプロファイルは、メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。その後、Ｓｏｂｅｌ画像から生成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を検出することができる。

また、三次元構造情報には、網膜厚等の層構造情報と正常眼データベースにおける層構造情報との差異情報や、各画素位置における当該差異情報に基づいてｘｙ平面に投影処理が行われたマップ画像が含まれることができる。ここで、差異情報とは、例えば、三次元構造情報を取得した被検眼Ｅの網膜厚と正常眼データベースにおける網膜厚（平均網膜厚）との差異情報や、各層厚情報に関する差異情報が含まれてよい。

（制御部の構成）
次に、図３を参照して、制御部３００の構成について説明する。図３は、制御部３００のブロック図である。制御部３００には、取得部３１０、記憶部３２０、選択部３３０、生成部３４０、及び表示制御部３５０が設けられている。

取得部３１０は、撮影光学系１００を用いて取得された三次元構造情報２００を取得する。なお、取得部３１０は、三次元構造情報２００を撮影光学系１００から直接取得する以外にも、記憶部３２０に記憶された三次元構造情報２００を取得したり、制御部３００に接続される不図示の記憶装置から取得したりすることもできる。この場合、操作者は、入力部１５０を使って、取得すべき任意の三次元構造情報２００を指定することができる。

記憶部３２０は、事前にディープラーニングなどの機械学習により生成した、三次元構造情報２００から推定視野情報を生成するための学習済モデルを記憶している。本実施例では、記憶部３２０は、入力データの形式や出力データの形式に応じた複数の学習済モデルそれぞれを記憶している。また、記憶部３２０は、患者に関する情報や、前眼部画像、眼底画像、断層画像、及び三次元構造情報等の各種情報や、制御部３００によって実行される各種プログラム等を記憶することができる。なお、記憶部３２０は、一つの記憶媒体や記憶装置によって構成されてもよいし、複数の記憶媒体や記憶装置によって構成されてもよい。

選択部３３０は、記憶部３２０が記憶する複数の学習済モデルのうちから、生成部３４０への入力データの形式や要求された出力データの形式に応じて、適切な学習済モデルを選択する。生成部３４０は、選択部３３０によって選択された学習済モデルを用いて、取得部３１０で取得した三次元構造情報２００から推定視野情報を生成する。表示制御部３５０は、生成部３４０によって生成された推定視野情報を表示部１６０に表示させる。

ここで、記憶部３２０以外の各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、他の任意のハードウェアと任意のソフトウェアとの組み合わせにより構成されてもよい。

（表示画面）
図４は、本実施例に係る推定視野情報を表示する表示画面の一例を示す。表示画面４００には、検査リスト４１０、眼底画像表示領域４２０、断層画像表示領域４３０、マップ画像表示領域４４０、視野推定ボタン４５０、及び推定視野表示領域４６０が示されている。

検査リスト４１０には、撮影光学系１００を用いて取得された三次元構造情報２００等の検査情報が撮影単位で並べて表示され、１つの三次元構造情報２００や眼底画像等を１つの検査４１１として表示する。本実施例においては、ＯＣＴ装置や眼底カメラを用いて取得された検査情報が並べて表示される。操作者は、入力部１５０を用いて、検査リスト４１０から表示させたい検査４１１を選択することができる。表示制御部３５０は、操作者の選択・指示に応じて、選択された検査４１１の詳細内容を画面に表示させることができる。以下では、ＯＣＴ装置を用いて取得された検査情報が選択される場合について説明する。

眼底画像表示領域４２０には、撮影光学系１００を用いて取得された被検眼Ｅの眼底の正面画像が表示される。眼底画像表示領域４２０の正面画像上には、撮影光学系１００を用いて取得した三次元構造情報２００の取得範囲（撮影範囲）を示す撮影範囲情報４２１が表示される。撮影範囲情報４２１内には、断層画像表示領域４３０で表示する断層画像の位置を示す断層表示位置情報４２２が表示される。

なお、制御部３００は、眼底の正面画像として、撮影光学系１００以外の撮影光学系で撮影された眼底の正面画像を用いてもよい。この場合には、眼底の正面画像に対して撮影光学系１００の三次元構造情報２００の撮影範囲を、操作者の指示に応じて又は眼底の正面画像と三次元構造情報の位置関係から自動的に割り当てて表示させてもよい。さらに、表示制御部３５０は、三次元構造情報２００から眼底の正面画像を疑似的に再構成した画像（Ｅｎ−Ｆａｃｅ画像）を表示してもよい。その場合、眼底の正面画像全体が、三次元構造情報２００の撮影範囲となる。なお、Ｅｎ−Ｆａｃｅ画像の生成手法は公知の任意の手法を採用してよく、例えば、三次元構造情報２００のうち、深さ方向の所定の範囲の情報をｘｙ方向の二次元平面に投影することで生成してよい。

断層画像表示領域４３０には、断層表示位置情報４２２で示されている位置の断層画像が表示される。操作者は、入力部１５０を用いて、断層表示位置情報４２２を動かすことができる。表示制御部３５０は、操作者による指示に応じて、断層画像表示領域４３０に表示される断層画像を断層表示位置情報４２２で示されている位置の断層画像に変更する。

マップ画像表示領域４４０には、三次元構造情報２００の深さ方向に関する特定の情報を色やグレースケールによって二次元画像として表現するマップ画像が表示される。表示されるマップ画像は、例えば、網膜の三次元構造情報２００から計測した網膜の厚みを表現したマップ画像や、網膜層構造を解析し特定の層の厚みを表現したマップ画像等であってよい。また、表示されるマップ画像は、網膜の三次元構造情報２００から計測した各層厚に対する、予め用意されていた正常眼データベースとの偏差・優位差等の差異情報を表現したマップ画像でもあってよい。表示制御部３５０は、操作者が入力部１５０を用いて表示させたいマップ画像を選択することで、マップ画像表示領域４４０に選択したマップ画像を表示させることができる。

視野推定ボタン４５０は、現在表示されている三次元構造情報２００からの推定視野情報の生成及び表示を指示するボタンである。推定視野情報の生成に関しては後述する。

推定視野表示領域４６０には、生成部３４０によって生成された推定視野情報が表示される。本実施例に係る表示画面４００の推定視野表示領域４６０には、生成された推定視野情報の一例である推定視野画像が表示されている。推定視野画像では、被検眼Ｅによる感度の低下を色によって示しており、色が濃いほど被検眼Ｅによる感度の低下が大きいことを示し、最も濃い領域は視野欠損が生じている領域を示す。

（推定視野情報の表示フロー）
次に、図５を参照して本実施例に係る推定視野情報の表示フローについて説明する。図５は、本実施例に係る制御部３００が三次元構造情報２００に基づいて視野の推定を行い、推定視野情報を表示するまでの動作のフローチャートである。

ステップＳ５０１では、操作者が検査リスト４１０に並べられている撮影光学系１００を用いた検査の中から、視野の推定処理に用いる検査を選択する。取得部３１０は、操作者の選択に応じた三次元構造情報２００を含む検査情報を記憶部３２０から取得する。また、取得部３１０は、操作者の選択に応じた三次元構造情報２００を含む検査情報を制御部３００に接続される不図示の記憶装置から取得してもよい。なお、撮影光学系１００を用いた検査（撮影）後に操作者の選択を介さずに視野の推定処理を行う場合には、取得部３１０は、撮影光学系１００による検査で取得された三次元構造情報２００を含む検査情報を撮影光学系１００から取得する。

ステップＳ５０２では、操作者が入力部１５０を用いて視野推定ボタン４５０を押下する。視野推定ボタン４５０が押下されると、選択部３３０が、ステップＳ５０１で取得された三次元構造情報２００や所望される視野推定処理の内容・設定に応じて適切な学習済モデルを選択する。

例えば、取得部３１０が検査情報の三次元構造情報２００として上述した三次元情報や三次元画像を取得した場合には、選択部３３０は、入力として当該三次元情報や三次元画像を用いる学習済モデルを選択する。また、例えば、取得部３１０が上述した三次元情報や三次元画像から算出された網膜厚の数値データや網膜厚のマップ画像を取得した場合には、選択部３３０は、入力として当該数値データやマップ画像を用いる学習済モデルを選択する。なお、取得部３１０が検査情報として三次元情報や三次元画像を取得した場合であっても、選択部３３０が、操作者による指示や設定に応じて、入力として当該数値データやマップ画像を用いる学習済モデルを選択してもよい。この場合には、制御部３００において三次元情報や三次元画像から算出された網膜厚の数値データや網膜厚のマップ画像を、後述する視野推定処理の入力として用いることができる。

さらに、生成すべき推定視野情報は、各視野位置における感度を色（モノクロームを含む）で表現した推定視野画像であってもよいし、各視野位置における感度を数値で表現した数値情報であってもよい。そのため、選択部３３０は、操作者による指示や設定に応じて、出力として推定視野画像を出力する学習済モデルや、出力として推定視野に関する数値情報を出力する学習済モデルを選択することができる。

なお、出力に関しては、視野の検査範囲や検査間隔を規定した検査プログラムの種類に応じた出力を設定することができる。このような検査プログラムの例としては、視野の中心３０度を６度間隔７６点で計測するプログラムや、視野の中心１０度の２度間隔６８点で計測するプログラムなどがある。そのため、選択部３３０は、操作者による指示や設定に応じて、所望の検査プログラムの種類に基づく推定視野画像や推定視野に関する数値情報を出力する学習済モデルを選択することができる。なお、選択部３３０は、操作者による指示や設定に応じた視野の検査範囲や検査間隔に基づいて、学習済モデルを選択してもよい。

なお、これらの入力や出力に関する操作者の指示は、表示制御部３５０によって表示部１６０に表示された選択肢を操作者が入力部１５０を選択することで行われてよい。また、これらの入力や出力に関する設定は、検査に先立って予め行われていてもよい。

なお、所望される視野推定処理に適当な学習済モデルが複数存在する場合、表示制御部３５０が当該複数の学習済モデルを表示部１６０に表示させ、操作者にどの学習済モデルを用いるかを選択させてもよい。また、利用可能な学習済モデルを全て表示部１６０に表示させて、操作者に所望の学習済モデルを選択させ、操作者の選択に応じて、選択部３３０が学習済モデルを選択してもよい。

ステップＳ５０３では、生成部３４０が、選択部３３０によって選択された学習済モデルを用いて、三次元構造情報２００から推定視野情報を生成する。より具体的には、生成部３４０は、取得部３１０によって取得された三次元構造情報２００を選択された学習済モデルに入力する。学習済モデルは、学習の傾向に従い、入力された三次元構造情報２００から推定視野画像や推定視野に関する数値情報を生成し、出力する。生成部３４０は、学習済モデルの出力から推定視野情報を生成する。この際、生成部３４０は、学習済モデルからの出力をそのまま推定視野情報としてもよいし、学習済モデルからの出力の画像サイズ等に調整を行ったり、学習済モデルからの出力に学習済モデルの識別情報等を加えたりして推定視野情報を生成してもよい。

ステップＳ５０４では、表示制御部３５０が、生成部３４０によって生成された推定視野情報を、表示部１６０に表示される表示画面４００の推定視野表示領域４６０上に表示させる。

（教師データ）
次に、図６及び７を参照して、学習済モデルの機械学習アルゴリズムについて説明する。学習済モデルの教師データは、１つ以上の入力データと出力データとのペア群で構成される。本実施例では、機械学習モデルの教師データとして、同じ日に同じ患者で取得された三次元構造情報２００と視野計を用いた検査による視野情報のペア群を用いる。なお、以下において、三次元構造情報の例として、複数の二次元の断層画像を含む三次元断層画像を用いて、教師データについて説明する。

本実施例に係る教師データについて、具体的には、図６に示されるような撮影光学系１００で黄斑を中心に撮影を行い取得された網膜の三次元構造情報６００を入力データとし、視野検査で計測された視野画像６１０を出力データとして用いる。ここで、視野画像６１０は動的視野の画像又は静的視野の画像のどちらでもよい。

なお、適切な教師データとして用意するため、三次元構造情報６００はノイズ低減処理が行われた情報であってもよい。ノイズ低減処理に関しては、公知の任意の手法によって行われてよい。また、視野検査は受動検査であり、１回の検査で適切な視野を検出できない可能性がある。そのため、複数回視野検査を実施して複数の視野画像を取得し、それらについて平均化、足し合わせ、又は多数決をとることで生成したより正確な視野画像６１０を出力データとしてもよい。

なお、本実施例に係る教師データの入力データに関して、三次元構造情報６００は、上述のように、三次元画像であってもよいし、三次元情報であってもよい。また、入力データは、三次元画像や三次元情報のデータ全体に限定されず、これらから特定の情報を抽出するために加工したデータでもよい。例えば、三次元情報や三次元画像から網膜における各位置の特定の層厚を算出し、二次元の数値データやマップ画像に変換したものやこれらと正常眼データベースにおける情報との差異情報などを入力データとしてもよい。

また、出力データは視野画像に限られず、各視野位置における感度を数値で表現した数値情報であってもよい。なお、数値情報に関しても、複数回視野検査を実施した結果を平均化、足し合わせ、又は多数決をとることで生成したより正確な数値情報を出力データとしてもよい。さらに、出力データに関する視野情報は、任意の視野検査プログラムや視野の検査範囲、検査間隔等で計測されたものであってよい。

なお、学習に際しては、同じ種類の入力データ及び同じ種類の出力データによるペア群によって教師データを構成して学習を行うことができる。例えば、あるモデルに関しては、三次元画像を入力データとし、視野画像を出力データとし、別のモデルに関しては、マップ画像を入力データとし、感度を数値で表現した数値情報を出力データとすることができる。このように、学習済モデルに関しては、所望の種類の入力データ及び出力データの組み合わせにより構成した教師データ毎に別々の学習済モデルを用意することができる。なお、出力データに関しては、同じ視野検査プログラムや同じ検査範囲、同じ検査間隔等で計測されたものを同じ種類の出力データとして扱うこともできる。

学習済モデルは、上述のように教師データを用いた学習の傾向に従って出力データを生成するため、特徴について似た傾向を有する教師データを用いて学習を行うことで、出力データに対する学習の傾向の再現性を高めることができる。このため、例えば、同じ種類の教師データを用いて学習を行うことで、学習済モデルはより精度の良い推定視野情報を生成することができる。

ここで、図６を参照して、入力データと出力データの対応関係について説明する。入力データとなる黄斑を中心に撮影し取得された三次元構造情報６００は、網膜正面画像６０１に対して黄斑を中心とした網膜撮影領域６０２に位置する情報に対応する。この網膜撮影領域６０２に対して、出力データとなる視野画像６１０の位置が対応付けられる。

網膜と視野との関係として、まず黄斑と視野の中心が対応関係にあり、黄斑を中心に上下が逆となっている。また、網膜における黄斑から離れるほど外側の視野が対応付けられるが、網膜正面画像６０１上の同じ面積の領域が視野画像６１０上でそれぞれ同じ面積になるとは限らない。一般に、網膜上の黄斑に近い領域ほど視野画像上の面積は広くなる。例えば、網膜正面画像６０１上の黄斑に近い領域６２０Ａと離れている領域６３０Ａは、それぞれ、視野画像６１０上の違う面積の視野領域６２０Ｂ及び視野領域６３０Ｂに対応する。

そのため、教師データの入力データと出力データに関しては、それぞれのデータに関する領域の位置関係が互いに対応するように中心位置等を指定することができる。例えば、各三次元構造情報６００における黄斑の中心位置を入力データの中心位置として指定することができる。そして、三次元構造情報６００の黄斑の中心位置と視野画像６１０の中心を対応付けて指定することができる。この場合、入力データ同士の中心位置が略同一となるとともに、入力データと出力データの位置関係の対応付けが適切に行われることができ、学習済モデルがより精度の良い推定視野情報を生成することができる。なお、入力データを出力データの位置関係と合わせるために、上下反転や回転、部分的な拡縮などの加工を行い対応付けたものを入力データとして扱ってもよい。

（学習済モデルの構成）
次に、本実施例での機械学習の学習、及び視野の推定処理に用いる機械学習モデルの例として、ディープラーニング、特に畳み込みニューラルネットワーク（ＣＮＮ）を用いた機械学習モデルについて図７を参照して説明する。図７は、ＣＮＮを用いた機械学習モデルの構成例を示す。

図７に示すように、本実施例に係るＣＮＮは、入力値群を加工して出力する処理を担う複数の層群によって構成される。本構成７００には、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎ Ｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐ Ｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層が含まれる。

畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタ数、ストライド値、及びダイレーション値などのパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、フィルタのカーネルサイズを、入力画像の次元数に応じて変更する構成にしてもよい。

ダウンサンプリング層は、Ｍａｘ Ｐｏｏｌｉｎｇ処理など、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。アップサンプリング層は、線形補間処理など、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。

合成層は、ある層の出力値群や画像を構成する画素値群などの値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。

なお、ＣＮＮを構成する層群やノード群に対するパラメータの設定が異なると、出力データに再現可能な、教師データからトレーニングされた傾向の程度が異なる場合があるため、注意する必要がある。多くの場合、実施する際の形態に応じて適切なパラメータが異なるため、必要に応じてパラメータの設定を変更してもよい。

また、ＣＮＮの構成を変更することによって、高画質化の精度向上や、処理時間短縮などの、より良い特性を得られる場合がある。ＣＮＮの構成の変更例としては、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込むなどがある。

本実施例では、このような構成を有するＣＮＮを用いた機械学習モデルについて上述の教師データを用いて学習を行った学習済モデルにより視野推定処理を行う。学習済モデルにデータを入力すると、機械学習モデルの設計に従ったデータが出力される。本実施例では、生成部３４０が、選択部３３０によって選択された学習済モデルに三次元構造情報を入力することで、学習済モデルから学習に応じた推定視野情報が出力される。

上記のように、本実施例に係る制御部３００は、被検眼Ｅの網膜の三次元構造情報を取得する取得部３１０と、学習済モデルを用いて、三次元構造情報から被検眼Ｅの推定視野情報を生成する生成部３４０とを備える。また、制御部３００は、推定視野情報を表示部１６０に表示させる表示制御部３５０を備える。

このような構成により、本実施例による制御部３００は、過去の視野検査を用いずに当日の検査データから視野の推定を行うことができる。より具体的には、制御部３００は、網膜を撮影して取得された三次元構造情報から推定視野を生成して表示することで、視野検査のデータがない状態でも、視野異常の可能性のある視野領域を提示することができる。

また、本実施例による制御部３００は、三次元構造情報を用いて、複数の学習済モデルのうちから生成部３４０が用いる学習済モデルを選択する選択部３３０を更に備える。特に、選択部３３０は、三次元構造情報の種類に基づいて、生成部３４０が用いる学習済モデルを選択する。このため、制御部３００は、三次元構造情報の種類に応じてより適切な推定視野情報を生成することができる。

なお、本実施例では、操作者による操作によって視野の推定処理を開始したが、操作者が三次元構造情報を選択し、選択された三次元構造情報が表示された段階で自動的に視野の推定処理を開始し、推定視野表示領域４６０に推定視野情報を表示してもよい。また、三次元構造情報を取得した撮影日と同一日に視野検査が実施されていた場合は、表示制御部３５０は、推定視野情報と視野検査結果を並べて表示部１６０に表示させてもよい。

さらに、表示制御部３５０は、推定視野情報とともに、学習済モデルを用いて生成した推定視野情報であることを表示部１６０に表示させてもよい。また、表示制御部３５０は、推定視野情報とともに、学習済モデルに関する識別情報や教師データの内容について表示部１６０に表示させてもよい。これらの場合には、操作者は、表示されている視野情報が学習済モデルを用いて生成された推定視野情報であることを明確に把握することができ、操作者による誤診断を抑制することができる。

また、本実施例では、選択部３３０が複数の学習済モデルから適切な学習済モデルを選択し、生成部３４０が選択された学習済モデルを用いて、三次元構造情報から推定視野情報を生成した。これに対し、学習済モデルを１つのみ用意し、生成部３４０が当該学習済モデルのみを用いるように、制御部３００を構成してもよい。この場合には、選択部３３０は省くことができる。また、用意される学習済モデルは、異なる種類の入力データ及び出力データからなる教師データを用いて網羅的に学習を行った学習済モデルとすることができる。なお、複数の学習済モデルを用いる場合には、出力データの種類毎に教師データを用意してもよく、この場合、教師データの入力データは異なる種類の入力データを網羅的に含んでもよい。

なお、本実施例では、撮影光学系１００についてＯＣＴ装置を例に説明した。ここで、ＯＣＴ装置は、ＴＤ−ＯＣＴ装置、ＳＤ−ＯＣＴ装置、又はＳＳ−ＯＣＴ装置のいずれの種類のＯＣＴ装置であってもよい。また、補償光学系を含んだＡＯ−ＯＣＴ装置や血管像を撮影するＯＣＴＡ装置、偏光変化を計測するＰＳ−ＯＣＴ装置等であってもよい。

また、本実施例では、取得部３１０は、三次元構造情報２００を撮影光学系１００から取得する構成について述べたが、取得部３１０は、記憶部３２０や制御部３００に接続される不図示の内部又は外部の記憶装置から三次元構造情報２００を取得してもよい。

なお、検査リスト４１０における検査４１１には複数の三次元構造情報が含まれていてもよい。この場合、取得部３１０は、操作者の指示に応じて、複数の三次元構造情報から、視野の推定に用いる三次元構造情報を選択して取得することができる。この場合、選択部３３０は、選択された各三次元構造情報の種類に応じて学習済モデルを選択し、生成部３４０は、各三次元構造情報について選択されたそれぞれの学習済モデルを用いて、それぞれの推定視野情報を生成する。なお、選択された複数の三次元構造情報の種類が同一である場合には、選択部３３０は同一の学習済モデルを選択することができる。

表示制御部３５０は、生成された複数の推定視野情報を並べて、又は操作者の指示に応じて切り替えて表示部１６０に表示させることができる。また、推定視野情報が同種の情報である場合、生成部３４０は、複数の推定視野情報を合成して１つの推定視野情報を生成してもよい。具体的には、生成部３４０は、生成された複数の推定視野情報について、各視野位置での情報の平均値、最大値、最小値、又は中央値等を当該視野位置での代表値として採用し、複数の推定視野情報を合成した１つの推定視野情報を生成してもよい。この場合、表示制御部３５０は、生成された１つの推定視野情報を表示部１６０に表示させることができる。

また、生成部３４０は、複数の三次元構造情報が同種の情報である場合には、複数の三次元構造情報を１つの入力データに合成してもよい。具体的には、生成部３４０は、複数の三次元構造情報について、各位置での数値の平均値、最大値、最小値、又は中央値等を当該位置での代表値として採用し、複数の三次元構造情報を合成した１つの三次元構造情報を生成してもよい。この場合、生成部３４０は、合成した１つの三次元構造情報を学習済モデルに入力し、推定視野情報を生成することができる。

また、予め２つ以上の三次元構造情報を入力データとし、１つの視野情報を出力データとした教師データを用いて学習を行った学習済モデルを用意してもよい。この場合には、選択部３３０が、操作者によって選択された三次元構造情報の個数に対応する個数の三次元構造情報を教師データの入力データとした学習済モデルを選択することができる。生成部３４０は、当該学習済モデルを用いて１つの推定視野情報を生成することができる。

＜実施例１の変形例＞
ここで、図８及び９を参照して、実施例１の変形例について説明する。実施例１では、生成部３４０が生成した推定視野情報を表示制御部３５０が表示部１６０に表示する構成とした。これに対し、本変形例では、生成された推定視野情報を所定の閾値と比較し、比較結果に応じて、視野計を用いた視野検査の実施の推奨や当該検査の検査範囲、検査間隔、及び／又は検査プログラム等の推奨を行う。以下、実施例１との違いを中心に本変形例について説明する。

（制御部の構成）
図８は、本変形例に係る制御部８００のブロック図である。なお、実施例１に係る制御部３００の構成要素と同様の構成要素について、同一の参照符号を用いて説明を省略する。

本実施例に係る制御部８００には、取得部３１０、記憶部３２０、選択部３３０、生成部３４０及び表示制御部３５０に加えて、比較部８６０が設けられている。比較部８６０は、生成部３４０によって生成された推定視野情報について、所定の閾値と比較を行い、比較結果を表示制御部３５０に送る。表示制御部３５０は、比較部８６０による比較結果に応じて、視野計を用いた視野検査の実施の推奨や当該検査の検査範囲、検査間隔、及び／又は検査プログラム等の推奨に関する表示を表示部１６０に表示させる。

（推奨検査の表示フロー）
図９は、本実施例に係る視野検査推奨処理（検査支援処理）のフローチャートである。なお、ステップＳ９０１乃至ステップＳ９０３は、実施例１に係るステップＳ５０１乃至Ｓ５０３と同様であるため、説明を省略する。

ステップＳ９０３において、生成部３４０によって推定視野情報が生成されると、処理はステップＳ９０４に移行する。ステップＳ９０４では、比較部８６０が、推定視野情報を所定の閾値と比較する。例えば、比較部８６０は、推定視野情報である視野画像又は各視野位置における感度を数値で表現した数値情報について、各視野位置における感度情報（画素値又は数値）を所定の閾値と比較する。比較部８６０は、所定の閾値よりも感度が低下している視野位置の割合が所定の割合よりも多い場合には、視野計を用いた視野検査の推奨情報を表示制御部３５０に送る。

なお、感度情報に関する閾値及び視野位置の割合に関する閾値は任意であってよい。例えば、比較部８６０は、感度情報に関する閾値が６０％、視野位置の割合に関する閾値が３０％等であってよい。なお、これらの閾値については、複数のレベル（条件）を設けることもできる。この場合、比較部８６０は、閾値の各レベルに応じて、出力する推奨情報を変更することができる。例えば、より高いレベルの閾値と比較し、被検眼Ｅの感度がより低下していると考えられる場合には、視野計を用いた視野検査の実施を推奨する推奨情報ではなく、視野計を用いた視野検査が必要であることを警告する推奨情報を出力してもよい。また、比較部８６０は、各レベルの閾値との比較結果に応じた検査範囲、検査間隔、及び／又は検査プログラム等を推奨情報に加えてもよい。

また、比較部８６０は、所定の閾値よりも感度が低下している視野位置の割合が所定の割合よりも少ない場合には、視野計を用いた視野検査の必要はないと推定されることを示す情報を表示制御部３５０に送る。なお、所定の閾値よりも感度が低下している視野位置の割合が所定の割合よりも少ない場合に、表示制御部３５０に何も出力しないように比較部８６０を構成してもよい。

ステップＳ９０５では、表示制御部３５０が、比較部８６０から受け取った推奨情報に基づいて、視野計を用いた視野検査の実施の推奨や当該検査の検査範囲、検査間隔、及び／又は検査プログラム等の推奨に関する表示を表示部１６０に表示させる。また、表示制御部３５０は、比較部８６０から視野検査が必要でないと推定されることを示す情報を受け取った場合又は何も受け取らなかった場合には、視野検査が必要でないと推定されることを表示することができる。さらに、表示制御部３５０は、これらの表示とともに、表示部１６０に推定視野情報を表示させることもできる。なお、各表示の形式は任意であってよい。

上記のように、本変形例に係る制御部８００は、推定視野情報を閾値と比較する比較部８６０と、比較部８６０による比較結果に応じて、表示部１６０に視野計を用いた視野検査の実施を推奨する表示を表示させる表示制御部３５０とを備える。

このような構成により、本変形例に係る制御部８００は、過去の視野検査を用いずに当日の検査データから視野の推定を行い、視野計を用いた視野検査の必要性について操作者に通知することができる。このため、制御部８００は、比較的検査時間が短い検査の結果から、検査時間が長い視野計を用いた視野検査を行う必要があるか否かの判断に役立つ情報を提供することができ、操作者による診断の支援を行うことができる。このため、操作者は、視野計を用いた視野検査の実施について効率的に判断を行うことができ、患者の負担を減らすことができる。

また、表示制御部３５０は、比較部８６０による比較結果に応じて、視野検査の実施の推奨とともに該視野検査の検査範囲、検査間隔、及び検査プログラムのうちの少なくとも１つに関する推奨情報を表示部１６０に表示させる。これにより、操作者は、視野計を用いた視野検査の実施についてより効率的に判断を行うことができ、患者の負担を減らすことができる。

＜実施例２＞
実施例２では、推定視野を生成する入力データとして、三次元構造情報ではなく、眼底カメラやＳＬＯなどの撮影光学系を使用して撮影された網膜の正面画像（網膜正面画像）を用いた場合の例について説明する。なお、本実施例では、撮影光学系１００として、網膜正面画像を撮影する撮影光学系を用いる。また、教師データの入力データとして網膜正面画像を用いて学習した学習済モデルが用いられる。

以下、本実施例に係る制御部に関して、実施例１に係る制御部３００との違いを中心として説明する。なお、本実施例に係る制御部の各構成要素は実施例１に係る制御部３００の構成要素と同様であるため、同一の参照符号を用いて説明を省略する。

本実施例では、取得部３１０は、撮影光学系１００で撮影された眼底画像などの網膜正面画像を取得する。選択部３３０は、取得部３１０によって取得された網膜正面画像の内容及び／又は操作者の指示や設定に応じて学習済モデルを選択する。生成部３４０は、選択部３３０によって選択された学習済モデルを用いて、取得部３１０によって取得された網膜正面画像から推定視野情報を生成する。なお、取得部３１０は、網膜正面画像を記憶部３２０や制御部３００に接続される不図示の記憶装置から取得することもできる。

（表示画面）
図１０は本実施例に係る推定視野を表示する表示画面の一例を示す。表示画面１０００には、検査リスト１０１０、眼底画像リスト１０２０、選択画像表示領域１０３０、視野推定ボタン１０４０、及び推定視野表示領域１０５０が示されている。

検査リスト１０１０には、撮影光学系１００で撮影して取得された網膜正面画像等の検査情報が撮影単位で並べて表示され、１枚以上の網膜正面画像や１つの三次元構造情報等を１つの検査１０１１として表示する。本実施例においては、ＯＣＴ装置や眼底カメラで撮影された検査が並べられる。操作者は検査リスト１０１０から表示したい検査１０１１を選択することにより、選択された検査１０１１の詳細内容を画面に表示することができる。以下では、眼底カメラを用いて取得された検査情報が選択される場合について説明する。

眼底画像リスト１０２０には、選択された検査１０１１で撮影された網膜正面画像のサムネイルがリスト表示される。表示される網膜正面画像のサムネイルは撮影された順番や撮影モード順で並べられている。ここで、撮影モードには、例えば、カラー眼底撮影、特殊光を用いた網膜自発蛍光撮影、コバルト撮影、及びレッドフリー撮影等の各撮影に対応するモードが含まれる。操作者は、入力部１５０を用いて、眼底画像リスト１０２０から観察画像１０２１を選択することができる。

選択画像表示領域１０３０には、操作者が眼底画像リスト１０２０から選択した観察画像１０２１が表示される。選択画像表示領域１０３０においては、操作者の操作に応じて選択画像表示領域１０３０に表示された網膜正面画像の拡大・縮小、及び輝度コントラストの変更などを行うことができる。

視野推定ボタン１０４０は、現在選択されている観察画像１０２１からの推定視野情報の生成及び表示を指示するボタンである。推定視野情報の生成に関しては後述する。推定視野表示領域１０５０は、生成された推定視野を表示する領域であり、実施例１に係る推定視野表示領域４６０と同様のものである。

（推定視野情報の表示フロー）
次に、図１１を参照して本実施例に係る推定視野情報の表示フローについて説明する。図１１は、本実施例に係る制御部３００が網膜正面画像に基づいて視野の推定を行い、推定視野情報を表示するまでの動作のフローチャートである。

ステップＳ１１０１では、操作者が検査リスト１０１０に並べられている撮影光学系１００（眼底カメラ）の検査の中から、視野の推定処理に用いる検査を選択する。取得部３１０は、操作者の選択に応じた網膜正面画像を含む検査情報を記憶部３２０から取得する。さらに、操作者は眼底画像リスト１０２０内に表示された網膜正面画像のサムネイルの中から観察画像１０２１を選択する。取得部３１０は、視野の推定に用いる網膜正面画像として選択された観察画像１０２１の網膜正面画像を取得する。ここで、取得部３１０は、網膜正面画像を含む検査情報や選択された網膜正面画像を制御部３００に接続される不図示の記憶装置から取得してもよい。

なお、撮影光学系１００を用いた検査（撮影）後に操作者の選択を介さずに視野の推定処理を行う場合には、取得部３１０は、撮影光学系１００による検査で取得された網膜正面画像を含む検査情報を撮影光学系１００から取得する。また、取得部３１０は、取得した検査情報に複数の網膜正面画像が含まれる場合には、操作者の指示又は予め設定された条件に応じて、複数の網膜正面画像から視野の推定に用いる網膜正面画像を選択し取得することができる。なお、予め設定された条件には、例えば、特定の撮影モードで取得された網膜正面画像を視野の推定に用いる網膜正面画像として選択する等の条件が含まれてよい。また、条件は複数設定されてもよく、それぞれの条件について任意の優先順位が設けられてもよい。

ステップＳ１１０２では、操作者が入力部１５０を用いて視野推定ボタン１０４０を押下する。視野推定ボタン１０４０が押下されると、選択部３３０が、ステップＳ１１０１で取得された網膜正面画像や所望される視野推定処理の内容・設定に応じて適切な学習済モデルを選択する。

具体的には、選択部３３０は、取得部３１０によって視野推定に用いられる網膜正面画像として取得された網膜正面画像の撮影モードに対応する推論モデルを選択する。例えば、取得部３１０によって取得された網膜正面画像がカラー眼底撮影の撮影モードで取得されたものであった場合には、選択部３３０は、入力としてカラー眼底撮影で取得された網膜正面画像を用いる学習済モデルを選択する。同様に、選択部３３０は、例えば、特殊光を用いた網膜自発蛍光撮影やコバルト撮影、レッドフリー撮影等の撮影モードで取得された網膜正面画像の撮影モードに応じた網膜正面画像を入力とする学習済モデルを選択する。

なお、出力に関しては、実施例１と同様に、選択部３３０は、操作者による指示や設定に応じて、出力として推定視野画像を出力する学習済モデルや、出力として推定視野に関する数値情報を出力する学習済モデルを選択することができる。また、選択部３３０は、操作者による指示や設定に応じて、所望の検査プログラムの種類に基づく推定視野画像や推定視野に関する数値情報を出力する学習済モデルを選択することができる。なお、選択部３３０は、操作者による指示や設定に応じた視野の検査範囲や検査間隔に基づいて、学習済モデルを選択してもよい。

なお、これらの出力に関する操作者の指示は、操作者が入力部１５０を用いて表示制御部３５０によって表示部１６０に表示された選択肢を選択することで行われてよい。また、これらの出力に関する設定は、検査に先立って予め行われていてもよい。

なお、所望される視野推定処理に適当な学習済モデルが複数存在する場合、表示制御部３５０が当該複数の学習済モデルを表示部１６０に表示させ、操作者にどの学習済モデルを用いるかを選択させてもよい。また、利用可能な学習済モデルを全て表示部１６０に表示させて、操作者に所望の学習済モデルを選択させ、操作者の選択に応じて、選択部３３０が学習済モデルを選択してもよい。

ステップＳ１１０３では、生成部３４０が、選択部３３０によって選択された学習済モデルを用いて、網膜正面画像から推定視野情報を生成する。より具体的には、生成部３４０は、取得部３１０によって取得された、視野の推定に用いる網膜正面画像を学習済モデルに入力する。学習済モデルは、学習の傾向に従い、入力された網膜正面画像から推定視野画像や推定視野に関する数値情報を生成し、出力する。生成部３４０は、学習済モデルの出力から推定視野情報を生成する。この際、生成部３４０は、学習済モデルからの出力をそのまま推定視野情報としてもよいし、学習済モデルからの出力の画像サイズ等に調整を行ったり、学習済モデルからの出力に学習済モデルの識別情報等を加えたりして推定視野情報を生成してもよい。

ステップＳ１１０４では、表示制御部３５０が、生成部３４０によって生成された推定視野情報を、表示部１６０に表示される表示画面１０００の推定視野表示領域１０５０上に表示させる。

（教師データ）
次に、図１２を参照して、本実施例に係る機械学習モデルの教師データについて説明する。本実施例では、眼底カメラやＳＬＯ装置で撮影された網膜正面画像１２００を入力データとし、実施例１と同様に視野計を用いた検査による視野情報を出力データとする。ここで、入力データとなる網膜正面画像と出力データとなる視野情報は同じ日に同じ患者で取得されたものとする。なお、網膜正面画像１２００は、公知の任意のノイズ低減処理が行われた画像であってもよい。また、視野情報は、実施例１に係る出力データとして用いられる視野情報と同様のものであってよい。以下、実施例１と同様に、出力データの視野情報として、視野画像１２１０を用いた場合について説明する。

入力データと出力データの対応関係は実施例１と同様であり、網膜正面画像１２００の黄斑と視野画像１２１０の中心が対応関係にあり、黄斑を中心に両画像の対応関係は上下が逆となっている。また、網膜正面画像１２００の領域は黄斑から離れるほど外側の視野に対応付けられるが、実施例１と同様に、網膜正面画像１２００上の同じ面積の２つの領域が視野画像１２１０上で同じ面積の２つの領域で対応付けられるとは限らない。例えば、網膜正面画像１２００上の黄斑に近い領域１２２０Ａと離れている領域１２３０Ａは、それぞれ、視野画像１２１０上の違う面積の視野領域１２２０Ｂ及び視野領域１２３０Ｂに対応する。

そのため、実施例１と同様に、教師データの入力データと出力データに関して、それぞれのデータに関する領域の位置関係が互いに対応するように中心位置等を指定することができる。例えば、各網膜正面画像１２００における黄斑の中心位置を入力データの中心位置として指定することができる。そして、網膜正面画像１２００の黄斑の中心位置と視野画像１２１０の中心を対応付けて指定することができる。

なお、学習に際しては、実施例１と同様に、同じ種類の入力データ及び同じ種類の出力データによるペア群によって教師データを構成して学習を行うことができる。例えば、あるモデルに関しては、カラー撮影モードの網膜正面画像を入力データとし、視野画像を出力データとし、別のモデルに関しては、コバルト撮影モードの網膜正面画像を入力データとし、感度を数値で表現した数値情報を出力データとすることができる。このように、学習済モデルに関しては、所望の種類の入力データ及び出力データの組み合わせにより構成した教師データ毎に別々の学習済モデルを用意することができる。

学習済モデルは、上述のように教師データを用いた学習の傾向に従って出力データを生成するため、特徴について似た傾向を有する教師データを用いて学習を行うことで、出力データに対する学習の傾向の再現性を高めることができる。このため、例えば、同じ種類の教師データを用いて学習を行うことで、学習済モデルはより精度の良い推定視野情報を生成することができる。なお、学習済モデルのＣＮＮの構成に関しては、実施例１と同様であるため、説明を省略する。

上記のように、本実施例による制御部３００は、被検眼Ｅの網膜正面画像を取得する取得部３１０と、学習済モデルを用いて、網膜正面画像から被検眼Ｅの推定視野情報を生成する生成部３４０とを備える。また、制御部３００は、推定視野情報を表示部１６０に表示させる表示制御部３５０を更に備える。

このような構成により、本実施例による制御部３００は、過去の視野検査を用いずに当日の検査データから視野の推定を行うことができる。より具体的には、制御部３００は、眼底カメラやＳＬＯ装置等で撮影した網膜正面画像から推定視野情報を生成して表示することで、視野検査のデータがない状態でも、視野異常の可能性のある視野領域を提示することができる。

また、本実施例による制御部３００は、網膜正面画像を用いて、複数の学習済モデルのうちから生成部３４０が用いる学習済モデルを選択する選択部３３０を更に備える。特に、選択部３３０は、網膜正面画像の撮影モードに基づいて、生成部３４０が用いる学習済モデルを選択する。このため、制御部３００は、網膜正面画像の撮影モードに応じてより適切な推定視野情報を生成することができる。

なお、本実施例において、実施例１と同様に、操作者が眼底画像リスト１０２０から網膜正面画像を選択し、選択された網膜正面画像が表示された段階で自動的に視野の推定処理を開始し、推定視野表示領域１０５０に推定視野情報を表示してもよい。また、網膜正面画像を取得した撮影日と同一日に視野検査が実施されていた場合は、表示制御部３５０は、推定視野情報と視野検査結果を並べて表示部１６０に表示させてもよい。

さらに、操作者が眼底画像リスト１０２０から網膜正面画像を選択する際に、２枚以上の網膜正面画像を選択してもよい。この場合、選択部３３０は、選択された各網膜正面画像の撮影モードに応じて学習済モデルを選択し、生成部３４０は、各網膜正面画像について選択されたそれぞれの学習済モデルを用いて、それぞれの推定視野情報を生成する。なお、選択された複数の網膜正面画像の撮影モードが同一である場合には、選択部３３０は同一の学習済モデルを選択することができる。

表示制御部３５０は、生成された複数の推定視野情報を並べて、又は操作者の指示に応じて切り替えて表示部１６０に表示させることができる。また、推定視野情報が同種の情報である場合、生成部３４０は、複数の推定視野情報を合成して１つの推定視野情報を生成してもよい。具体的には、生成部３４０は、生成された複数の推定視野情報について、各視野位置での情報の平均値、最大値、最小値、又は中央値等を当該視野位置での代表値として採用し、複数の推定視野情報を合成した１つの推定視野情報を生成してもよい。この場合、表示制御部３５０は、生成された１つの推定視野情報を表示部１６０に表示させることができる。

また、予め複数枚の網膜正面画像を入力データとし、１つの視野情報を出力データとした教師データを用いて学習を行った学習済モデルを用意してもよい。この場合には、選択部３３０が、操作者によって選択された網膜正面画像の枚数に対応する枚数の網膜正面画像を教師データの入力データとした学習済モデルを選択し、生成部３４０が当該学習済モデルを用いて１つの推定視野データを生成することができる。

また、操作者によって選択された網膜正面画像が同一の撮影モードによる網膜正面画像である場合には、生成部３４０は、複数の網膜正面画像を１枚の網膜正面画像に合成してから学習済モデルに入力してもよい。具体的には、生成部３４０は、複数の網膜正面画像について、各画素位置での画素値の平均値、最大値、最小値、又は中央値等を当該画素位置での代表値として採用し、複数の網膜正面画像を合成した１つの網膜正面画像を生成してもよい。この場合、生成部３４０は、合成した１つの網膜正面画像を学習済モデルに入力し、推定視野情報を生成することができる。

さらに、表示制御部３５０は、実施例１と同様に、推定視野情報とともに、学習済モデルを用いて生成した推定視野情報であることや、学習済モデルに関する識別情報や教師データの内容について表示部１６０に表示させてもよい。

また、本実施例では、選択部３３０が複数の学習済モデルから適切な学習済モデルを選択し、生成部３４０が選択された学習済モデルを用いて、網膜正面画像から推定視野情報を生成した。これに対し、学習済モデルを１つのみ用意し、生成部３４０が当該学習済モデルのみを用いるように、制御部３００を構成してもよい。この場合には、選択部３３０は省くことができる。また、用意される学習済モデルは、異なる種類の入力データ及び出力データからなる教師データを用いて網羅的に学習を行った学習済モデルとすることもできる。なお、複数の学習済モデルを用いる場合には、出力データの種類毎に教師データを用意してもよく、この場合、教師データの入力データは異なる種類の入力データを網羅的に含んでもよい。

なお、本実施例では、撮影光学系１００について眼底カメラやＳＬＯ装置を例に説明した。ここで、ＳＬＯ装置は、補償光学系を含んだＡＯ−ＳＬＯ装置等であってもよい。また、本実施例では、取得部３１０は、網膜正面画像を撮影光学系１００から取得する構成について述べたが、取得部３１０は、記憶部３２０や制御部３００に接続される不図示の記憶装置から網膜正面画像を取得してもよい。

また、本実施例に関しても、実施例１の変形例と同様に、生成部３４０によって生成された推定視野情報を所定の閾値と比較する比較部を設け、比較結果に応じて、視野計を用いた視野検査の実施の推奨等を行ってもよい。

＜実施例３＞
実施例３では、推定視野情報を生成するための入力として、三次元構造情報と網膜正面画像の両方を用いる構成について説明する。なお、本実施例では、撮影光学系１００として、三次元構造情報及び網膜正面画像を撮影するＯＣＴ装置を用いる。また、撮影光学系１００として、三次元構造情報を取得するためのＯＣＴ装置及び網膜正面画像を撮影するための眼底カメラ等の両方を設けてもよい。

以下、本実施例に係る制御部に関して、実施例１及び２に係る制御部３００との違いを中心として説明する。なお、本実施例に係る制御部の各構成要素は実施例１に係る制御部３００の構成要素と同様であるため、同一の参照符号を用いて説明を省略する。

本実施例では、取得部３１０は、撮影光学系１００で被検眼Ｅを撮影し取得された三次元構造情報及び眼底画像などの網膜正面画像を取得する。選択部３３０は、取得部３１０によって取得された三次元構造情報及び網膜正面画像の内容、並びに／又は操作者の指示や設定に応じて学習済モデルを選択する。生成部３４０は、取得部３１０によって取得された三次元構造情報及び網膜正面画像を、選択部３３０によって選択された学習済モデルに入力し、推定視野情報を生成する。なお、取得部３１０は、三次元構造情報及び網膜正面画像を記憶部３２０や制御部３００に接続される不図示の記憶装置から取得することもできる。

（入力データの選択画面）
次に、視野の推定に用いる入力データとして、１つ以上の三次元構造情報及び網膜正面画像を選択するための画面について図１３を参照して説明する。図１３は、入力データの選択画面の一例を示す。

本実施例では、図４又は図１０の各表示画面４００，１０００上の視野推定ボタン４５０，１０４０が押下されると、選択画面１３００が表示される。なお、視野推定ボタンが表示される表示画面や選択画面は、表示画面４００，１０００や選択画面１３００のレイアウトに限定されず、所望の構成に従って任意に設計されてよい。

選択画面１３００には、三次元構造情報リスト１３１０と網膜正面画像リスト１３２０が示され、これらのリストには視野の推定に用いる入力データの候補となる１つ以上の三次元構造情報及び網膜正面画像がそれぞれ表示される。なお、操作者によって選択される検査情報に三次元構造情報及び網膜正面画像がそれぞれ１つだけ含まれる場合には、選択画面１３００が表示されなくてもよい。なお、表示される入力データの候補は、同一患者且つ同一日で取得されたものとすることができる。

操作者は、入力部１５０を用いて、選択画面１３００から視野の推定に用いる入力データを選択する。具体的には、操作者は、入力部１５０を用いて、三次元構造情報リスト１３１０と網膜正面画像リスト１３２０の中から、視野推定の入力データとする三次元構造情報１３１１及び網膜正面画像１３２１を選択する。最後に操作者は入力部１５０を用いてＯＫボタン１３３０を押下することで、選択した三次元構造情報１３１１及び網膜正面画像１３２１を入力データとして確定する。

（推定視野情報の表示フロー）
次に、図１４を参照して、本実施例に係る推定視野情報の表示フローについて説明する。図１４は、本実施例に係る制御部３００が選択された三次元構造情報と網膜正面画像に基づいて視野の推定を行い、推定視野情報を表示するまでの動作のフローチャートである。

ステップＳ１４０１では、操作者が選択画面１３００から、視野の推定に用いる入力データとなる三次元構造情報及び網膜正面画像を選択し、取得部３１０は操作者によって選択された三次元構造情報及び網膜正面画像を取得する。

なお、取得部３１０は、視野の推定に用いる入力データの候補について複数の三次元構造情報及び網膜正面画像が含まれる場合に、予め設定された条件に応じて、視野の推定に用いる三次元構造情報及び網膜正面画像を選択し取得してもよい。なお、予め設定された条件には、例えば、三次元構造情報に関する特定の種類の情報（三次元情報又は三次元画像等）を選択したり、特定の撮影モードで取得された網膜正面画像を選択したりする等の条件が含まれてよい。また、条件は複数設定されてもよく、それぞれの条件について任意の優先順位が設けられてもよい。

ステップＳ１４０２では、選択部３３０が、ステップＳ１４０１で取得された三次元構造情報及び網膜正面画像や所望される視野推定処理の内容・設定に応じて適切な学習済モデルを選択する。例えば、選択部３３０は、三次元構造情報の種類（三次元情報又は三次元画像等）及び網膜正面画像の撮影モードに対応する学習済モデルを選択する。具体的には、取得部３１０が取得した入力データが三次元断層画像及びコバルト撮影モードによる網膜正面画像だった場合、選択部３３０は、入力として三次元断層画像及びコバルト撮影モードによる網膜正面画像を用いる学習済モデルを選択する。なお、学習済モデルを選択する際のそれぞれの基準・条件は、実施例１及び２において説明したものと同様であってよいため、より詳細な説明を省略する。

また、所望される視野推定処理に適当な学習済モデルが複数存在する場合、表示制御部３５０が当該複数の学習済モデルを表示部１６０に表示させ、操作者にどの学習済モデルを用いるかを選択させてもよい。さらに、利用可能な学習済モデルを全て表示部１６０に表示させて、操作者に所望の学習済モデルを選択させ、操作者の選択に応じて、選択部３３０が学習済モデルを選択してもよい。

ステップＳ１４０３では、生成部３４０が、選択部３３０によって選択された学習済モデルを用いて、三次元構造情報及び網膜正面画像から推定視野情報を生成する。より具体的には、生成部３４０は、取得部３１０によって取得された、視野の推定に用いる三次元構造情報及び網膜正面画像を学習済モデルに入力する。学習済モデルは、学習の傾向に従い、入力された三次元構造情報及び網膜正面画像から推定視野画像や推定視野に関する数値情報を生成し、出力する。生成部３４０は、学習済モデルの出力から推定視野情報を生成する。この際、生成部３４０は、学習済モデルからの出力をそのまま推定視野情報としてもよいし、学習済モデルからの出力の画像サイズ等に調整を行ったり、学習済モデルからの出力に学習済モデルの識別情報等を加えたりして推定視野情報を生成してもよい。

ステップＳ１４０４では、表示制御部３５０が、生成部３４０によって生成された推定視野情報を、表示部１６０に表示される表示画面の推定視野表示領域上に表示させる。

（教師データ）
本実施例の機械学習モデルの教師データは、三次元構造情報と網膜正面画像の両方を入力データとし、視野計を用いた検査による視野情報を出力データとする。ここで、入力データとなる三次元構造情報及び網膜正面画像と、出力データとなる視野情報とは、同じ日に同じ患者で取得されたものとする。なお、教師データに関する三次元構造情報、網膜正面画像、及び視野情報については、実施例１及び２において説明したものと同様であるため、説明を省略する。また、三次元構造情報と視野情報及び網膜正面画像と視野情報の対応関係については実施例１及び２において説明したものと同様である。

なお、三次元構造情報と網膜正面画像について、同じ範囲の情報となるようにトリミング等を行ってもよい。ただし、双方について黄斑の中心を中心位置として指定する場合等、三次元構造情報と網膜正面画像の対応関係が指定できるものである場合には、対応関係を指定し、そのままの範囲の情報として用いてもよい。

ここで、学習に際しては、同じ種類の入力データ及び同じ種類の出力データによるペア群によって教師データを構成して学習を行うことができる。例えば、あるモデルに関しては、三次元構造情報に関する三次元情報及びカラー撮影モードの網膜正面画像を入力データとし、視野画像を出力データとすることができる。また、別のモデルに関しては、三次元構造情報に関するマップ画像及びレッドフリー撮影モードの網膜正面画像を入力データとし、感度を数値で表現した数値情報を出力データとすることができる。このように、学習済モデルに関しては、所望の種類の入力データ及び出力データの組み合わせにより構成した教師データ毎に別々の学習済モデルを用意することができる。

学習済モデルは、上述のように教師データを用いた学習の傾向に従って出力データを生成するため、特徴について似た傾向を有する教師データを用いて学習を行うことで、出力データに対する学習の傾向の再現性を高めることができる。このため、例えば、同じ種類の教師データを用いて学習を行うことで、学習済モデルはより精度の良い推定視野情報を生成することができる。なお、学習済モデルのＣＮＮの構成に関しては、実施例１と同様であるため、説明を省略する。

上記のように、本実施例による制御部３００は、被検眼Ｅの網膜の三次元構造情報及び網膜正面画像を取得する取得部３１０と、学習済モデルを用いて、三次元構造情報及び網膜正面画像から被検眼Ｅの推定視野情報を生成する生成部３４０とを備える。また、制御部３００は、推定視野情報を表示部１６０に表示させる表示制御部３５０を更に備える。

このような構成により、本実施例による制御部３００は、過去の視野検査を用いずに当日の検査データから視野の推定を行うことができる。より具体的には、制御部３００は三次元構造情報及び網膜正面画像から推定視野情報を生成して表示することで、視野検査のデータがない状態でも、取得された複数の検査情報を用いて、推定視野情報を提示することができる。特に、複数の検査情報を用いることで、より精度の良い推定視野情報を生成、提示できることが期待できる。

また、本実施例による制御部３００は、三次元構造情報及び網膜正面画像を用いて、複数の学習済モデルのうちから生成部３４０が用いる学習済モデルを選択する選択部３３０を更に備える。特に、選択部３３０は、三次元構造情報の種類及び網膜正面画像の撮影モードに基づいて、生成部３４０が用いる学習済モデルを選択する。このため、制御部３００は、三次元構造情報の種類及び網膜正面画像の撮影モードに応じてより適切な推定視野情報を生成することができる。

なお、三次元構造情報及び網膜正面画像を取得した撮影日と同一日に視野検査が実施されていた場合は、表示制御部３５０は、推定視野情報と視野検査結果を並べて表示部１６０に表示させてもよい。

さらに、操作者が選択画面１３００から三次元構造情報及び網膜正面画像を選択する際に、２つ以上の三次元構造情報及び網膜正面画像を選択してもよい。なお、三次元構造情報及び網膜正面画像のうち一方のみが２つ以上であってもよい。これら場合、選択部３３０は、選択された三次元構造情報の種類及び網膜正面画像の撮影モードの各組み合わせに応じて学習済モデルを選択することができる。生成部３４０は、選択された複数の三次元構造情報及び網膜正面画像の各組み合わせについてそれぞれ対応する学習済モデルを用いて、それぞれの推定視野情報を生成する。なお、選択された複数の三次元構造情報の種類及び網膜正面画像の撮影モードが同一である場合には、選択部３３０は同一の学習済モデルを選択することができる。

表示制御部３５０は、生成された複数の推定視野情報を並べて、又は操作者の指示に応じて切り替えて表示部１６０に表示させることができる。また、推定視野情報が同種の情報である場合、生成部３４０は、複数の推定視野情報を合成して１つの推定視野情報を生成してもよい。具体的には、生成部３４０は、生成された複数の推定視野情報について、各視野位置での情報の平均値、最大値、最小値、又は中央値等を当該視野位置での代表値として採用し、複数の推定視野情報を合成した１つの推定視野情報を生成してもよい。この場合、表示制御部３５０は、生成された１つの推定視野情報を表示部１６０に表示させることができる。

また、予め２つ以上の三次元構造情報及び網膜正面画像を入力データとし、１つの視野情報を出力データとした教師データを用いて学習を行った学習済モデルを用意してもよい。この場合には、選択部３３０が、操作者によって選択された三次元構造情報及び網膜正面画像のそれぞれの個数に対応する個数の三次元構造情報及び網膜正面画像を教師データの入力データとした学習済モデルを選択することができる。生成部３４０は、当該学習済モデルを用いて１つの推定視野データを生成することができる。

また、操作者によって選択された三次元構造情報及び網膜正面画像が同一の種類の三次元構造情報及び同一の撮影モードによる網膜正面画像である場合には、生成部３４０は、それぞれの入力データを１つの情報及び画像に合成してもよい。具体的には、生成部３４０は、複数の三次元構造情報について、各位置での数値の平均値、最大値、最小値、又は中央値等を当該位置での代表値として採用し、複数の三次元構造情報を合成した１つの三次元構造情報を生成してもよい。また、生成部３４０は、複数の網膜正面画像について、各画素位置での画素値の平均値、最大値、最小値、又は中央値等を当該画素位置での代表値として採用し、複数の網膜正面画像を合成した１つの網膜正面画像を生成してもよい。この場合、生成部３４０は、合成したそれぞれ１つの三次元構造情報及び網膜正面画像を学習済モデルに入力し、推定視野情報を生成することができる。

なお、本実施例では、選択した三次元構造情報及び網膜正面画像を組み合わせたものを学習済モデルへの入力データとしたが、それに限らない。三次元構造情報を入力データとして学習を行った学習済モデル、網膜正面画像を入力データとして学習済モデルを用意し、選択部３３０は、選択された三次元構造情報及び網膜正面画像のそれぞれについて対応する学習済モデルを選択してもよい。この場合、生成部３４０は、三次元構造情報及び網膜正面画像のそれぞれを、選択部３３０で選択された対応する学習済モデルに入力して複数の推定視野情報を生成し、それらを合成することで１つの推定視野情報を生成してもよい。この場合、学習済モデルを入力データの組み合わせ分用意する必要をなくすことができる。

さらに、表示制御部３５０は、実施例１と同様に、推定視野情報とともに、学習済モデルを用いて生成した推定視野情報であることや、学習済モデルに関する識別情報や教師データの内容について表示部１６０に表示させてもよい。

また、本実施例では、選択部３３０が複数の学習済モデルから適切な学習済モデルを選択し、生成部３４０が選択された学習済モデルを用いて、三次元構造情報及び網膜正面画像から推定視野情報を生成した。これに対し、学習済モデルを１つのみ用意し、生成部３４０が当該学習済モデルのみを用いるように、制御部３００を構成してもよい。この場合には、選択部３３０は省くことができる。また、用意される学習済モデルは、異なる種類の入力データ及び出力データからなる教師データを用いて網羅的に学習を行った学習済モデルとすることもできる。なお、複数の学習済モデルを用いる場合には、出力データの種類毎に教師データを用意してもよく、この場合、教師データの入力データは異なる種類の入力データを網羅的に含んでもよい。

本実施例では、選択画面１３００で三次元構造情報リスト１３１０と網膜正面画像リスト１３２０の中から、視野推定処理の入力データとする三次元構造情報１３１１及び網膜正面画像１３２１を選択した。これに対し、実施例１又は実施例２に係る表示画面４００，１０００で三次元構造情報又は網膜正面画像が選択された後に選択画面１３００を表示する場合には、選択された三次元構造情報又は網膜正面画像が必ず入力データとして選択されてもよい。この場合には、選択画面１３００において、当該選択された三次元構造情報又は網膜正面画像を常に選択状態にするか、非表示にすることができる。

なお、本実施例における撮影光学系１００は、実施例１及び２と同様に、公知の任意のＯＣＴ装置やＳＬＯ装置を用いることができる。

また、本実施例に関しても、実施例１の変形例と同様に、生成部３４０によって生成された推定視野情報を所定の閾値と比較する比較部を設け、比較結果に応じて、視野計を用いた視野検査の実施の推奨等を行ってもよい。

本実施例では、入力データとして三次元構造情報及び網膜正面画像が用いられる構成としたが、三次元構造情報及び網膜正面画像のいずれか一方のみも入力データとして用いることができるように制御部３００を構成してもよい。この場合には、実施例１及び２において説明した教師データで学習を行った学習済モデルを用意する。

また、選択部３３０は、取得部３１０で取得された入力データ（三次元構造情報、網膜正面画像、又は三次元構造情報及び網膜正面画像）及び操作者の指示・設定に応じて適切な学習済モデルを選択する。例えば、選択部３３０は、入力データが三次元構造情報及び網膜正面画像だった場合、三次元構造情報及び網膜正面画像を入力とする学習済モデルを選択し、入力データが三次元構造情報だった場合、三次元構造情報を入力とする学習済モデルを選択する。なお、入力データ（三次元構造情報、網膜正面画像、又は三次元構造情報及び網膜正面画像）毎の学習済モデルは、本実施例並びに実施例１及び２で説明したように、三次元構造情報の種類や網膜正面画像の撮影モード等の条件毎に更に細分化して用意されてよい。この場合には、本実施例並びに実施例１及び２で説明したように、選択部３３０が入力データの条件毎に適切な学習済モデルを選択することができる。

＜実施例４＞
本実施例では、推定視野情報を生成するための情報として、三次元構造情報と網膜正面画像の両方に加えて、眼軸長情報を用いる構成について説明する。三次元構造情報や網膜正面画像に含まれる視野異常となる要素は眼軸長によって視野異常の判定が異なる場合がある。例えば、眼軸長が標準より長い人は網膜層構造の各層が薄くなり、正常な眼軸長の人で視野異常がみられる層厚でも正常な視野となる場合がある。これに対し、本実施例では、視野を推定するための入力に眼軸長の情報を含めることで、眼軸長に応じて適切な推定視野情報を生成することができる。

以下、本実施例に係る制御部に関して、実施例３に係る制御部３００との違いを中心として説明する。なお、本実施例に係る制御部の各構成要素は実施例３に係る制御部３００の構成要素と同様であるため、同一の参照符号を用いて説明を省略する。

本実施例では、取得部３１０は、撮影光学系１００で被検眼Ｅを撮影し取得された三次元構造情報及び眼底画像などの網膜正面画像に加えて被検眼Ｅの眼軸長情報を取得する。なお、眼軸長情報は公知の任意の手法で測定されてよく、例えば、取得部３１０は、眼軸長を測定する装置から眼軸長情報を取得してもよいし、既に測定された眼軸長情報を記憶部３２０や制御部３００に接続される他の記憶装置から取得してもよい。また、取得部３１０は、操作者によって入力部１５０を介して入力された眼軸長情報を取得してもよいし、被検眼Ｅの三次元構造情報等から眼軸長情報を算出し、取得してもよい。なお、三次元構造情報等からの眼軸長情報の算出は公知の任意の手法によって行われてよい。また、取得部３１０は、三次元構造情報及び網膜正面画像を記憶部３２０や制御部３００に接続される不図示の記憶装置から取得することもできる。

選択部３３０は、取得部３１０によって取得された三次元構造情報及び網膜正面画像の内容、眼軸長情報、並びに／又は操作者の指示や設定に応じて学習済モデルを選択する。生成部３４０は、選択部３３０によって選択された学習済モデルを用いて、取得部３１０によって取得された三次元構造情報及び網膜正面画像から推定視野情報を生成する。

（推定視野情報の表示フロー）
図１５を参照して、本実施例に係る眼軸長情報を用いた推定視野情報の表示フローについて説明する。図１５は、本実施例に係る制御部３００が選択された三次元構造情報、網膜正面画像、及び眼軸長情報に基づいて視野の推定を行い、推定視野情報を表示するまでの動作のフローチャートである。

ステップＳ１５０１は、実施例３に係るステップＳ１４０１と同様であり、取得部３１０は操作者の指示又は予め設定された条件に基づいて、視野の推定に用いる被検眼Ｅの三次元構造情報及び網膜正面画像を取得する。

ステップＳ１５０２では、取得部３１０が被検眼Ｅの眼軸長情報を取得する。取得部３１０は、眼軸長を測定する装置から眼軸長情報を取得する。なお、取得部３１０は、既に測定された眼軸長情報を記憶部３２０や制御部３００に接続される他の記憶装置から取得してもよいし、操作者によって入力された眼軸長情報を取得してもよいし、三次元構造情報から算出して取得してもよい。また、取得部３１０は、記憶部３２０や他の記憶装置に記憶された正常眼軸長の値を取得してもよい。なお、操作者に入力を求める場合には、正常眼軸長と長眼軸長の２択としたり、眼軸長値の範囲群で複数に分けた選択肢を提示したり、眼軸長の数値を直接入力させてもよい。

ステップＳ１５０３では、選択部３３０が、ステップＳ１５０１で取得された三次元構造情報及び網膜正面画像、並びにステップＳ１５０２で取得された眼軸長情報、その他所望される視野推定処理の内容・設定に応じて適切な学習済モデルを選択する。例えば、選択部３３０は、視野の推定に用いる三次元構造情報の種類及び網膜正面画像の撮影モード、並びに眼軸長情報に対応する学習済モデルを選択する。

より具体的には、選択部３３０は、例えば、取得した眼軸長情報が長眼軸長だった場合、長眼軸長のデータだけで学習を行った学習済モデルを選択する。なお、学習済モデルを選択するための基準となる三次元構造情報及び網膜正面画像や所望される視野推定処理の内容・設定に関しては、実施例３におけるステップＳ１４０２において説明したものと同様であってよいため、説明を省略する。

また、所望される視野推定処理に適当な学習済モデルが複数存在する場合、表示制御部３５０が当該複数の学習済モデルを表示部１６０に表示させ、操作者にどの学習済モデルを用いるかを選択させてもよい。さらに、利用可能な学習済モデルを全て表示部１６０に表示させて、操作者に所望の学習済モデルを選択させ、操作者の選択に応じて、選択部３３０が学習済モデルを選択してもよい。

ステップＳ１５０４では、生成部３４０が、選択部３３０によって選択された学習済モデルを用いて、三次元構造情報と網膜正面画像から推定視野情報を生成する。当該処理は、実施例３のステップＳ１４０３と同様であるため説明を省略する。

ステップＳ１５０５では、表示制御部３５０が、生成部３４０によって生成された推定視野情報を、表示部１６０に表示される表示画面の推定視野表示領域上に表示させる。

（教師データ）
本実施例に係る教師データの入力データ及び出力データは、実施例３に係る教師データの入力データ及び出力データと同様である。ただし、本実施例では、教師データを眼軸長情報のカテゴリ別に分けて学習を行う。例えば、教師データを正常眼軸長と長眼軸長に分けそれぞれの教師データで学習を行うことで、正常眼軸長用の学習済モデルと長眼軸長用の学習済モデルをそれぞれ生成することができる。

上記のように、本実施例に係る取得部３１０は、被検眼Ｅの眼軸長情報を更に取得し、選択部３３０は、三次元構造情報及び網膜正面画像の少なくとも一方並びに眼軸長情報を用いて生成部３４０が用いる学習済モデルを選択する。

このような構成によれば、本実施例による制御部３００は、過去の視野検査を用いずに当日の検査データから視野の推定を行うことができる。また、眼軸長情報に応じてより正確な推定視野情報を生成して表示することができる。

本実施例では、教師データを眼軸長情報のカテゴリ別に分けて学習を行ったが、機械学習モデルの学習はこれに限らない。教師データの入力データとして三次元構造情報及び網膜正面画像に加えて眼軸長情報を用いてもよい。これにより、教師データを眼軸長情報のカテゴリで分割することなく学習済モデルを生成することができる。

この場合には、選択部３３０は、実施例３と同様に、三次元構造情報及び網膜正面画像や所望される視野推定処理の内容・設定に応じて適切な学習済モデルを選択する。また、生成部３４０は、選択された学習済モデルに、三次元構造情報及び網膜正面画像に加えて、眼軸長情報を入力し、学習済モデルの出力に基づいて推定視野情報を生成する。そのため、この場合にも、本実施例と同様に、眼軸長情報に応じてより正確な推定視野情報を生成して表示することができる。

また、本実施例では眼軸長情報に応じた学習済モデルを選択した。これに対して、視野を推定する被検眼Ｅの眼軸長情報を用いて、入力データである三次元構造情報や網膜正面画像を補正し、補正後の入力データを正常眼軸長用の学習済モデルに入力してもよい。例えば、生成部３４０は、三次元構造情報内の各層厚情報を、眼軸長情報に基づいて正常眼軸長での各層厚情報となるように補正し、学習済モデルに入力する。これにより、生成部３４０は、被検眼Ｅが長眼軸長を有しても、被検眼Ｅの三次元構造情報を正常眼軸長の３次元構造情報に補正して視野の推定ができる。同様に、生成部３４０は、網膜正面画像を眼軸長情報に基づいて正常眼軸長の網膜正面画像となるように補正し、学習済モデルに入力することができる。これにより、生成部３４０は、被検眼Ｅが長眼軸長を有しても、被検眼Ｅの網膜正面画像を正常眼軸長の網膜正面画像に補正して視野の推定ができる。

この場合には、これにより、教師データを眼軸長情報のカテゴリで分割することなく学習済モデルを生成することができ、生成部３４０は眼軸長情報を用いずに適切な学習済モデルを選択する。また、この場合には、教師データの入力データに眼軸長情報を含める必要をなくすことができ、生成部３４０は三次元構造情報及び網膜正面画像から視野推定情報を生成することができる。

また、本実施例では、実施例３のように、推定視野情報を生成するための情報として、三次元構造情報と網膜正面画像の両方を用いる構成に加えて、当該入力として眼軸長情報を用いることとした。しかしながら、推定視野情報を生成するための情報に眼軸長の情報を含む構成はこれに限られない。例えば、実施例３で説明したように三次元構造情報及び網膜正面画像の両方又はいずれかを入力とする構成や、実施例１及び２に係る構成にも適用することができる。

さらに、本実施例に関しても、実施例１の変形例と同様に、生成部３４０によって生成された推定視野情報を所定の閾値と比較する比較部を設け、比較結果に応じて、視野計を用いた視野検査の実施の推奨等を行ってもよい。

＜実施例５＞
本実施例では、視野異常の個人差を考慮して推定視野情報を生成し、表示する構成について説明する。入力となる三次元構造情報や網膜正面画像上の変化に対する視野異常は、人によって狭い場合と広い場合とで個人差が生じる場合がある。本実施例は、操作者に視野異常の個人差を考慮した推定視野情報を提示することができる。

なお、本実施例の構成や表示画面は実施例１乃至４及び変形例１の全てに適用できるが、ここでは実施例１の三次元構造情報を入力データとした場合について説明する。以下、本実施例に係る制御部に関して、実施例１に係る制御部３００との違いを中心として説明する。なお、本実施例に係る制御部の各構成要素は実施例１に係る制御部３００の構成要素と同様であるため、同一の参照符号を用いて説明を省略する。

本実施例では、三次元構造情報上での変化に対する視野異常の変化量について３つのカテゴリに分け、カテゴリ毎に学習済モデルを用意する。選択部３３０は、三次元構造情報や所望される視野推定処理の内容・設定に応じて、カテゴリ毎に適切な学習済モデルを選択する。このため、本実施例では、選択部３３０によって、三次元構造情報や所望される視野推定処理の内容・設定に応じた少なくとも３つの学習済モデルが選択される。なお、三次元構造情報上での変化に対する視野異常の変化量についてのカテゴリは３つに限られず、所望の構成に応じて任意の数に設定されてよい。学習済モデルは設定されたカテゴリ毎に用意されることができる。

生成部３４０は、選択部３３０によって選択された学習済モデルのそれぞれに三次元構造情報を入力し、それぞれの出力に基づく推定視野情報を生成する。表示制御部３５０は、生成されたカテゴリ毎の視野推定情報を表示部１６０に表示させる。

本実施例に係る推定視野情報の表示フローは実施例１に係る表示フローと同様であるため、説明を省略する。

（教師データ）
図１６を参照して、本実施例における機械学習モデルの教師データの選定について説明する。図１６は、本実施例の教師データに係る三次元構造情報１６００と、視野画像１６１０，１６１１の一例を示す。本実施例に係る教師データは、実施例１と同様に、三次元構造情報を入力データとし、視野計を用いた検査による視野情報を出力データとする。以下、三次元画像を入力データとし、視野画像を出力データとした例について説明する。なお、他の三次元構造情報や視野情報についても以下の説明と同様の処理により教師データを用意することができる。また、図１６において、入力データとなる黄斑を中心に撮影し取得された三次元構造情報１６００は、網膜正面画像１６０１に対して黄斑を中心とした網膜撮影領域１６０２に位置する情報に対応する。

入力データとなる三次元構造情報１６００の変化に対する出力データとなる視野画像１６１０の変化量には個人差が生じる場合がある。例えば、同じ領域で三次元構造情報の変化がみられる２つの三次元構造情報１６００に関して、片方に対応する視野画像では視野異常が著しく起きており、もう片方に対応する視野画像では視野異常が少ないという場合がある。

また、同じ領域に対応する視野異常の有無や大小だけでなく、三次元構造情報１６００と視野画像１６１０間で対応する領域も異なる場合がある。例えば、三次元構造情報における黄斑に近い領域１６２０Ａに対して、対応する視野領域が広い視野領域１６２０Ｂの人と狭い視野領域１６２０Ｃの人がいる。この場合、眼の三次元構造上で視野異常につながる異常が発生した場合、対応する視野領域が広い人の場合の方が広い範囲で視野異常が発生する。なお、図１６において、三次元構造情報における黄斑から遠い領域１６３０Ａに対応する視野領域１６３０Ｂ，１６３０Ｃは同じ範囲としているが、これら領域も、個人差によって互いに範囲が異なる場合がある。

そのため、標準的な視野を学習するためには、個人特有な異常を取り除くことが必要になる。そこで、三次元構造情報と視野画像に関して詳しい人によって学習データを予め選定することで、標準的な推定視野のための第１の教師データを用意することができる。

また、標準的な推定視野のために使用した教師データ以外のデータの中で、三次元構造情報１６００の変化に対応する視野異常が少ないものと視野異常が大きいもので分ける。これにより、視野異常が少ない（良好視野の）第２の教師データ群と視野異常が大きい（不良視野の）第３の教師データ群を用意することができる。

これら３つの教師データ群を用いてそれぞれ学習を行うことで、第１の学習済モデル（標準視野モデル）群、第２の学習済モデル（良好視野モデル）群、第３の学習済モデル（不良視野モデル）群の３つ学習済モデル群を用意することができる。ここで、第１の学習済モデルは標準の推定視野情報を生成し、第２の学習済モデルは変化量の少ない推定視野情報を生成し、第３の学習済モデルは変化量の大きい推定視野情報を生成する。なお、それぞれの学習済モデル群には、実施例１に係る複数の学習済モデルと同様に、三次元構造情報や所望される視野推定処理の内容・設定に応じた少なくとも１つの学習済モデルが含まれる。

生成部３４０は、当該第１乃至第３の学習済モデルを用いて、三次元構造情報からそれぞれの推定視野情報を生成することで、視野異常の個人差を考慮した推定視野情報を生成することができる。

（カテゴリ毎の推定視野情報の表示）
次に、図１７を参照して、第１の学習済モデル、第２の学習済モデル、及び第３の学習済モデルの３つを用いて生成した推定視野情報を操作者に提示する方法について説明する。図１７は、良好視野、標準視野、及び不良視野の３つの推定視野情報を表示する表示画面１７００を示す。表示画面１７００には、実施例１と同様に、検査リスト１７１０、眼底画像表示領域１７２０、断層画像表示領域１７３０、マップ画像表示領域１７４０、視野推定ボタン１７５０、及び推定視野の表示領域１７６０Ａ〜Ｃが示されている。

なお、実施例１と同様に、眼底画像表示領域１７２０の正面画像上には、撮影光学系１００を用いて取得した三次元構造情報の取得範囲（撮影範囲）を示す撮影範囲情報１７２１が表示される。撮影範囲情報１７２１内には、断層画像表示領域１７３０で表示する断層画像の位置を示す断層表示位置情報１７２２が表示される。

まず、操作者は、検査リスト１７１０から表示したい三次元構造情報を持つ検査１７１１を選択する。表示制御部３５０は、操作者によって検査１７１１が選択されると、選択された検査１７１１の眼底画像、断層画像、及びマップ画像を眼底画像表示領域１７２０、断層画像表示領域１７３０、及びマップ画像表示領域１７４０上に表示させる。

次に、操作者が入力部１５０を用いて視野推定ボタン１７５０を押下することで、実施例１と同様に、推定視野情報が生成され、表示制御部３５０は生成された推定視野情報を推定視野の表示領域１７６０Ａ〜Ｃに表示させる。この際に、生成部３４０は、選択部３３０によって選択された、各カテゴリ（標準視野、良好視野、及び不良視野）の学習済モデル（第１〜第３の学習済モデル）を用いて、それぞれの推定視野情報を生成する。本実施例では、表示制御部３５０は、第２の学習済モデルを用いて生成された推定視野情報を良好視野の表示領域１７６０Ａ上に表示させる。また、表示制御部３５０は、第１の学習済モデルで生成された推定視野情報を標準視野の表示領域１７６０Ｂ上に表示させる。同様に、表示制御部３５０は、第３の学習済モデルを用いて生成された推定視野情報を不良視野の表示領域１７６０Ｃに表示させる。

上記のように、本実施例に係る学習済モデルは、網膜の三次元構造情報及び網膜正面画像の少なくとも一方に対する視野の変化に応じてカテゴリ分けされたそれぞれの教師データを用いて学習した複数の学習済モデルを含む。また、生成部３４０は、網膜の三次元構造情報及び網膜正面画像の少なくとも一方に対する視野の変化に応じてカテゴリ分けされたそれぞれの教師データを用いて学習した複数の学習済モデルを用いて、推定視野情報を生成する。

このような構成により、本実施例による制御部３００は、過去の視野検査を用いずに当日の検査データから視野の推定を行うことができる。また、制御部３００は、視野異常の個人差を考慮した推定視野情報を生成し、表示することができる。特に、本実施例では、選択した三次元構造情報から標準推定視野に加えて、視野異常が少ない場合を示す良好推定視野と視野異常が大きい場合を示す不良推定視野を表示することで、視野異常の個人差を考慮した推定視野情報を操作者に示すことができる。

なお、本実施例では、それぞれの推定視野情報を並べて表示したがそれに限らない。例えば、１つの推定視野領域上に各推定視野情報を異なる色で重ねて表示してもよいし、各推定視野情報を操作者の指示に応じて切り替えて表示してもよい。異なる色で重ねて表示する場合には、例えば、不良推定視野、標準推定視野、良好推定視野の順に、それぞれ異なる色で重ねて表示することができる。

また、本実施例に関しても、実施例１の変形例と同様に、生成部３４０によって生成された推定視野情報を所定の閾値と比較する比較部を設け、比較結果に応じて、視野計を用いた視野検査の実施の推奨等を行ってもよい。この場合、生成される複数の推定視野情報のそれぞれについて比較、推奨を行ってもよいし、複数の推定視野情報のうちの特定の推定視野情報（標準推定視野、良好推定視野、不良推定視野）についてのみ比較、推奨を行ってよい。

なお、上記実施例及び変形例では学習済モデルは、記憶部３２０に記憶され、例えば、ＣＰＵ等のプロセッサーによって実行されるソフトウェアモジュール等で構成される。これに対し、学習済モデルは、制御部３００に接続される他の記憶装置に記憶され、制御部３００のＣＰＵ等によって読み出すことで実行されてもよい。また、学習済モデルは、制御部３００と接続される別のサーバ等に設けられてもよい。この場合には、制御部３００は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて推定視野情報の生成を行うことができる。

また、本明細書においては、学習を行った学習済モデルをソフトウェアモジュール等で構成する実施例や変形例について説明した。これに対し、学習済モデルとして、上記実施例や変形例において説明した教師データ（学習データ）を用いて学習を行う学習装置を用いてもよい。例えば、制御部は、三次元構造情報の種類及び正面画像の撮影モードの少なくとも一方に基づいて学習データを分け、該分けられた学習データ毎に学習を行った学習装置を用いることができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、実施例を参照して本発明について説明したが、本発明は上記実施例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

３００：制御部（眼科情報処理装置）、３１０：取得部、３４０：生成部、Ｅ：被検眼

Claims (19)

1. 被検眼の網膜の三次元構造情報及び正面画像の少なくとも一方を取得する取得部と、
   学習済モデルを用いて、前記三次元構造情報及び前記正面画像の少なくとも一方から前記被検眼の推定視野情報を生成する生成部と、
   を備える、眼科情報処理装置。
2. 前記学習済モデルは、被検眼の網膜の三次元構造情報及び正面画像の少なくとも一方と、該被検眼についての視野計による視野情報とを学習データとする学習を行って得た学習済モデルである、請求項１に記載の眼科情報処理装置。
3. 前記推定視野情報を閾値と比較する比較部と、
   前記比較部による比較結果に応じて、表示部に視野計を用いた視野検査の実施を推奨する表示を表示させる表示制御部と、
   を更に備える、請求項１又は２に記載の眼科情報処理装置。
4. 前記表示制御部は、前記比較結果に応じて、前記視野検査の実施とともに該視野検査の検査範囲、検査間隔、及び検査プログラムのうちの少なくとも１つに関する推奨情報を前記表示部に表示させる、請求項３に記載の眼科情報処理装置。
5. 前記表示制御部は、前記推定視野情報を前記表示部に表示させる、請求項３又は４に記載の眼科情報処理装置。
6. 前記推定視野情報を表示部に表示させる表示制御部を更に備える、請求項１又は２に記載の眼科情報処理装置。
7. 前記三次元構造情報及び前記正面画像の少なくとも一方を用いて、複数の学習済モデルのうちから前記生成部が用いる前記学習済モデルを選択する選択部を更に備える、請求項１乃至６のいずれか一項に記載の眼科情報処理装置。
8. 前記選択部は、前記三次元構造情報の種類及び前記正面画像の撮影モードの少なくとも一方に基づいて、前記生成部が用いる前記学習済モデルを選択する、請求項７に記載の眼科情報処理装置。
9. 前記取得部は、前記被検眼の眼軸長情報を更に取得し、
   前記生成部は、前記学習済モデルを用いて、前記三次元構造情報及び前記正面画像の少なくとも一方並びに前記眼軸長情報から前記推定視野情報を生成する、請求項１乃至８のいずれか一項に記載の眼科情報処理装置。
10. 前記取得部は、前記被検眼の眼軸長情報を更に取得し、
    前記選択部は、前記三次元構造情報及び前記正面画像の少なくとも一方、並びに前記眼軸長情報を用いて前記生成部が用いる前記学習済モデルを選択する、請求項７又は８に記載の眼科情報処理装置。
11. 前記学習済モデルは、網膜の三次元構造情報及び正面画像の少なくとも一方に対する視野の変化に応じてカテゴリ分けされたそれぞれの学習データを用いて学習を行った複数の学習済モデルを含み、
    前記生成部は、前記それぞれの学習データを用いて学習を行った複数の学習済モデルを用いて、前記推定視野情報を生成する、請求項１乃至１０のいずれか一項に記載の眼科情報処理装置。
12. 前記三次元構造情報は、ＯＣＴ装置を用いて取得された情報を含む、請求項１乃至１１のいずれか一項に記載の眼科情報処理装置。
13. 前記三次元構造情報は、前記被検眼の層構造情報、該層構造情報と正常眼データベースの差異情報、及び該差異情報を平面に投影したマップ画像の少なくとも１つを含む、請求項１２に記載の眼科情報処理装置。
14. 前記学習済モデルは、ディープラーニングを用いた学習済モデルである、請求項１乃至１３のいずれか一項に記載の眼科情報処理装置。
15. 被検眼の網膜の三次元構造情報及び正面画像の少なくとも一方と、該被検眼についての視野計による視野情報とを学習データとする学習を行って得た、学習済モデル。
16. 被検眼の網膜の三次元構造情報及び正面画像の少なくとも一方と、該被検眼についての視野計による視野情報とを学習データとする学習を行う、学習装置。
17. 前記三次元構造情報の種類及び前記正面画像の撮影モードの少なくとも一方に基づいて前記学習データを分け、該分けられた学習データ毎に学習を行う、請求項１６に記載の学習装置。
18. 被検眼の網膜の三次元構造情報及び正面画像の少なくとも一方を取得する工程と、
    学習済モデルを用いて、前記三次元構造情報及び前記正面画像の少なくとも一方から前記被検眼の推定視野情報を生成する工程と、
    を含む、眼科情報処理方法。
19. プロセッサーによって実行されると、該プロセッサーに請求項１８に記載の眼科情報処理方法の各工程を実行させる、プログラム。

Images