JP2021119973A - 撮影装置、撮影方法、及びプログラム - Google Patents

撮影装置、撮影方法、及びプログラム Download PDF

Info

Publication number
JP2021119973A
JP2021119973A JP2020070476A JP2020070476A JP2021119973A JP 2021119973 A JP2021119973 A JP 2021119973A JP 2020070476 A JP2020070476 A JP 2020070476A JP 2020070476 A JP2020070476 A JP 2020070476A JP 2021119973 A JP2021119973 A JP 2021119973A
Authority
JP
Japan
Prior art keywords
image
eye
movement
fundus
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020070476A
Other languages
English (en)
Inventor
航 坂川
Wataru Sakagawa
航 坂川
律也 富田
Ritsuya Tomita
律也 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2021119973A publication Critical patent/JP2021119973A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】眼球等の被検体の動きの影響を低減した撮影を行うことができる撮影装置を提供する。【解決手段】被検体の動きを示す情報を含む学習データを学習して得た学習済モデルを用いて、被検体の動きを示す情報から、被検体の医用画像を取得する際の被検体の動きを予測する予測部と、予測された動きを用いて、当該医用画像を取得する取得位置を制御する制御部とを備える、撮影装置。【選択図】図７

Description

本発明は、撮影装置、撮影方法、及びプログラムに関する。
光干渉断層撮影法（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を用いたＯＣＴ装置は、被検眼の眼底の断層画像を取得することができる装置である。ＯＣＴ装置を用いることで、他の装置では観察できない眼底の内部構造が非侵襲で診断できる。ＯＣＴ装置には、眼底カメラや走査型レーザ検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）等の眼底撮影装置が装備され、眼底撮影装置によって得られた画像を用いて、眼底のどのエリアをＯＣＴスキャンするかを指定することで所望の位置付近のＯＣＴ画像を取得することができる。
一方、早期診断や早期治療において微小の腫瘍や異常を検出するために、眼球の動きを考慮して、ＯＣＴ画像（断層画像）の撮影タイミングと位置の制御を正確に行う必要がある。特許文献１は、眼球の動きを考慮したＯＣＴ撮影に関する技術を開示している。
特許文献１に開示される技術では、ＯＣＴ装置に眼底の移動を検出するための装置を付加している。特許文献１に記載されたＯＣＴ装置では、眼底の移動を検出するための装置により眼底の視神経乳頭を追尾し、追尾量をリアルタイムでＯＣＴスキャナに伝えることで、所望位置付近のＯＣＴ画像を取得している。
特表２００４−５１２１２５号公報
特許文献１に開示される構成では、眼底撮影装置や眼底断層撮影装置の他に、眼球の追尾専用の特殊な装置を付加させることが必須となり、装置の大型化、さらには、眼球の追尾用のスキャナ等高価な部品が必要となる。また、眼球の追尾を行うターゲット（視神経乳頭）を設定する等の初期に行う操作が増え、撮影時間が増える等の問題があった。さらに、高性能な追尾装置を用いても、検出、算出、及び補正というプロセスの間にも眼球は動くため、必ずタイムラグが生じていた。
そこで、本発明の一実施形態では、眼球等の被検体の動きの影響を低減した撮影を行うことができる撮影装置、撮影方法、及びプログラムを提供することを目的の一つとする。
本発明の一実施態様に係る撮影装置は、被検体の動きを示す情報を含む学習データを学習して得た学習済モデルを用いて、被検体の動きを示す情報から、被検体の医用画像を取得する際の被検体の動きを予測する予測部と、前記予測された動きを用いて、前記医用画像を取得する取得位置を制御する制御部とを備える。
本発明の一実施形態によれば、眼球等の被検体の動きの影響を低減した撮影を行うことができる。
実施例１に係るＯＣＴ装置の測定光学系の概略的な構成を示す。 実施例１に係るＯＣＴ装置の機能概略図である。 実施例１に係る眼底の動きを検出した際の眼底正面画像の概略図である。 実施例１に係るテンプレートの座標をグラフ化した概略図である。 実施例１に係る学習済モデルの一例の概略図である。 実施例１に係る学習済モデルの別例の概略図である。 実施例１に係る一連の動作のフローチャートである。 実施例１に係る眼底正面画像と、補正した撮影位置で取得した断層画像の概略図である。 変形例２に係る学習済モデルの一例の概略図である。
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、以下において、眼軸方向をＺ、眼底平面水平方向をＸ、眼底平面垂直方向をＹと記述する。
なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例及び変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。また、正解データとは、学習データ（教師データ）の出力データのことをいう。
なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
（実施例１）
以下、図１乃至図８を参照して、本発明の実施例１に係る眼科撮影装置について説明する。ここで、本実施例に係る眼科撮影装置として、特に、眼球の動きを予測した制御を行うことで、所望の眼底断層画像を取得することができるＯＣＴ装置の例について説明する。
本実施例に係るＯＣＴ装置では、ＳＬＯ撮影部により眼底正面画像（ＳＬＯ画像）を取得し、ＳＬＯ画像から眼底平面方向の動き量を計測し、計測データとして計測された被検眼の動き量から以降の被検眼の動きを予測する。その後、予測した被検眼の動きを用いて算出した結果をＯＣＴ撮影部のＯＣＴスキャナに反映させることで所望の位置のＯＣＴ画像を取得する。特に、本実施例に係るＯＣＴ装置では、予め被検眼の動きを学習させた学習済モデルを用いて被検眼の動きの予測を行う。
（ＳＬＯ撮影部の構成）
まず、図１を参照して、本実施例に係るＯＣＴ装置における、眼底画像を取得するＳＬＯ撮影部の光学構成について説明する。図１は、本実施例に係るＯＣＴ装置の測定光学系１００の概略的な構成を示す。ＳＬＯ撮影部には、レーザ光源１３０、ファイバ１３１、ファイバコリメータ１３２、穴空きミラー１３３、フォーカスレンズ１３４、ＳＬＯスキャナ１３５，１３８、レンズ１３６，１３７、及びダイクロイックビームスプリッタ１０９が設けられている。また、ＳＬＯ撮影部には、スキャンレンズ１１０、ダイクロイックミラー１１１、及び接眼レンズ１１２が設けられている。なお、本実施例では、ダイクロイックビームスプリッタ１０９、スキャンレンズ１１０、ダイクロイックミラー１１１、及び接眼レンズ１１２は、後述するＯＣＴ撮影部や内部固視灯と共通して用いている。しかしながら、これらの構成要素は、所望の構成に応じて、各撮影部等でそれぞれ別の構成要素を用いてもよい。
レーザ光源１３０は、半導体レーザやＳＬＤ光源（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）等を用いることができる。用いる波長は、後述するＯＣＴ撮影部の低コヒーレント光源１０１の波長とダイクロイックビームスプリッタ１０９によって、使用波長同士が分離できる光源であれば制約はない。ただし、眼底観察像の画質を考慮して、７００ｎｍ〜１０００ｎｍの近赤外の波長域の光源を好適に用いることができる。本実施例においては、波長７６０ｎｍの半導体レーザを用いる。
レーザ光源１３０から出射されたレーザ（ＳＬＯビーム）は、ファイバ１３１を介して、ファイバコリメータ１３２に入射する。ファイバコリメータ１３２から平行光となって出射された光は、穴空きミラー１３３、フォーカスステージ（不図示）上に設置されたフォーカスレンズ１３４を介し、ＳＬＯスキャナ１３５に導かれる。そして、ＳＬＯスキャナ１３５によって偏向された光は、レンズ１３６、１３７を介し、ＳＬＯスキャナ１３８に導かれる。
ここで、ＳＬＯスキャナ１３５は、光をＹ方向（眼底平面において鉛直方向）に偏向し、ＳＬＯスキャナ１３８は、光をＸ方向（眼底平面において水平方向）に偏向することができる。このため、ＳＬＯスキャナ１３５，１３８は、ＳＬＯビームを被検眼の眼底上で２次元方向に走査するためのＳＬＯ走査部を構成することができる。なお、ＳＬＯスキャナ１３５，１３８は、所望の構成に応じて、ポリゴンスキャナや共振スキャナ、ガルバノスキャナ等の任意の偏向手段により構成されてよい。
ＳＬＯスキャナ１３８によって偏向された光は、ダイクロイックビームスプリッタ１０９で反射し、スキャンレンズ１１０、ダイクロイックミラー１１１、及び接眼レンズ１１２を介して被検眼Ｅに入射する。ダイクロイックビームスプリッタ１０９は、後述するＯＣＴビームを透過し、ＳＬＯビームを反射するように構成することができる。また、ダイクロイックミラー１１１は、スキャンレンズ１１０と接眼レンズ１１２の間に位置し、固視灯（５００ｎｍ程度）の光と、ＯＣＴビーム及びＳＬＯビーム（７００ｎｍ以上）を波長分離する。
被検眼Ｅに入射したＳＬＯビームは、被検眼Ｅの眼底に照射される。ＳＬＯビームは、被検眼Ｅの眼底で反射あるいは散乱され、同一光路を辿り、穴空きミラー１３３まで戻る。穴空きミラー１３３の位置は、被検眼Ｅの瞳孔位置と共役な位置になっている。これにより、眼底に照射されたＳＬＯビームが後方散乱した光のうち、瞳孔周辺部を通った光が、穴空きミラー１３３によって反射され、レンズ１３９によりＡＰＤ（アバランシェホトダイオード）１４０上に結像する。ＡＰＤ１４０は、検出した光に基づく光の強度情報を制御装置２００（図２参照）に出力する。制御装置２００は、ＡＰＤ１４０から出力された光の強度情報を用いて眼底の平面画像（ＳＬＯ画像）を生成することができる。
（ＯＣＴ撮影部構成）
次に、図１を参照して、本実施例に係るＯＣＴ装置のＯＣＴ撮影部について説明する。本実施例に係るＯＣＴ撮影部には、低コヒーレント光源１０１、ファイバカプラ１０２、ファイバ１０３−１〜４、ファイバコリメータ１０４、ＯＣＴフォーカスレンズ１２１、ＯＣＴスキャナ１０５，１０８、リレーレンズ１０６，１０７が設けられている。また、ＯＣＴ撮影部には、ファイバコリメータ１１３、分散補償ガラス１１４、光路長可変ステージ１１６上に保持される参照ミラー１１５、及び分光器が設けられている。さらに、上述のように、ＯＣＴ撮影部には、ＳＬＯ撮影部と共通する構成要素として、ダイクロイックビームスプリッタ１０９、スキャンレンズ１１０、ダイクロイックミラー１１１、及び接眼レンズ１１２が設けられている。
ＯＣＴ光源として用いられる低コヒーレント光源１０１としては、ＳＬＤ光源や、ＡＳＥ（Ａｍｐｌｉｆｉｅｄ Ｓｐｏｎｔａｎｅｏｕｓ Ｅｍｉｓｓｉｏｎ）光源を用いることができる。低コヒーレント光としては、８５０ｎｍ近傍及び１０５０ｎｍ近傍の波長が眼底撮影に好適に用いられることができる。本実施例では、中心波長８４０ｎｍ、波長半値幅４５ｎｍのＳＬＤ光源を用いる。低コヒーレント光源１０１から出射される低コヒーレント光は、ファイバ１０３−１を経由してファイバカプラ１０２に入り、測定光（ＯＣＴビーム）と参照光に分けられる。ここでは、ファイバやファイバカプラを用いた干渉計の構成を記載しているが、ビームスプリッタ等を用いた空間光光学系の構成としてもよい。
測定光は、ファイバ１０３−２を介して、ファイバコリメータ１０４から平行光として出射される。平行光は、不図示のフォーカスステージ上のＯＣＴフォーカスレンズ１２１を介し、ＯＣＴスキャナ１０５に導かれる。ＯＣＴスキャナ１０５で偏向された光は、リレーレンズ１０６，１０７を経由し、ＯＣＴスキャナ１０８に導かれる。
ここで、ＯＣＴスキャナ１０５は、光をＹ方向に偏向し、ＯＣＴスキャナ１０８は、光をＸ方向に偏向することができる。このため、ＯＣＴスキャナ１０５，１０８は、測定光を被検眼の眼底上で２次元方向に走査するためのＯＣＴ走査部を構成することができる。なお、ＯＣＴスキャナ１０５，１０８は、所望の構成に応じて、ガルバノスキャナ等の任意の偏向手段により構成されてよい。また、１枚で２次元方向に光を偏向することができるＭＥＭＳミラー等を用いてＯＣＴ走査部が構成されてもよい。
ＯＣＴスキャナ１０８により偏向された光は、ダイクロイックビームスプリッタ１０９を透過し、スキャンレンズ１１０、ダイクロイックミラー１１１、及び接眼レンズ１１２を通り、被検眼Ｅを照射される。被検眼Ｅに照射された測定光は、網膜で反射され、同一光路を通りファイバカプラ１０２に戻る。
一方、参照光は、ファイバカプラ１０２からファイバ１０３−３を介してファイバコリメータ１１３に導かれ、ファイバコリメータ１１３から平行光として出射される。ファイバコリメータ１１３から出射された参照光は、分散補償ガラス１１４を通り、光路長可変ステージ１１６上の参照ミラー１１５により反射される。参照ミラー１１５により反射された参照光は、同一の光路を辿り、ファイバカプラ１０２に戻る。なお、分散補償ガラス１１４は、測定光と参照光の分散を合わせるために光路中に挿入されている。
ファイバカプラ１０２において、戻ってきた測定光及び参照光が合波され、ファイバ１０３−４を介して分光器に導かれる。ここで、合波された光を干渉光と呼ぶ。ここで、測定光と参照光は、測定光の光路長と参照光の光路長とがほぼ同一となったときに干渉を生じる。後述する制御装置２００は、不図示のモータ等を制御し、参照ミラー１１５を光軸方向に移動させることで、被検眼Ｅによって変わる測定光の光路長に参照光の光路長を合わせることができる。
分光器には、ファイバコリメータ１１７、透過型グレーティング１１８、レンズ１１９、及びラインセンサ１２０が設けられている。ファイバ１０３−４を通った干渉光は、ファイバコリメータ１１７に導かれ、ファイバコリメータ１１７から平行光として出射される。ファイバコリメータ１１７から出射された干渉光は、透過型グレーティング１１８によって分光され、レンズ１１９によってラインセンサ１２０に結像される。
干渉光は、ラインセンサ１２０によって、波長毎の強度情報として計測される。ラインセンサ１２０によって計測された波長毎の強度情報は、ＯＣＴ装置の測定光学系１００に接続された制御装置２００に転送される。制御装置２００は、受け取った波長毎の強度信号を用いて被検眼Ｅの断層画像（ＯＣＴ画像）を生成することができる。なお、本実施例では、スペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ：Ｓｐｅｃｔｒａｌ Ｄｏａｍｉｎ ＯＣＴ）を用いているが、波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ：Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）やタイムドメインＯＣＴ（ＴＤ−ＯＣＴ：Ｔｉｍｅ ｄｏｍａｉｎ ＯＣＴ）などの他の任意のＯＣＴを用いてもよい。
（内部固視灯）
本実施例に係るＯＣＴ装置の測定光学系１００には、被検眼Ｅの固視を安定させるために、被検眼Ｅを注視させる内部固視灯１５０が設けられている。ここで、図１を参照して、内部固視灯１５０に関する構成について説明する。
内部固視灯１５０は、複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。制御装置２００は、発光ダイオードの点灯位置を撮影したい部位に合わせて変更するように内部固視灯１５０を制御する。内部固視灯１５０に用いられる発光ダイオードは、約５００ｎｍの波長の光を発する。内部固視灯１５０から出射されたビームは、レンズ１５１とダイクロイックミラー１１１を経由して被検眼Ｅに照射される。被検者に内部固視灯から照射される光を注視させることにより、被検眼Ｅの固視を安定させ、被検眼Ｅの所望の位置の断層画像を撮影することができる。
（機能構成）
次に、図２を参照して、本実施例に係るＯＣＴ装置の機能構成について説明する。図２は、本実施例に係るＯＣＴ装置の機能概略図である。本実施例に係るＯＣＴ装置には、上述したＳＬＯ撮影部、ＯＣＴ撮影部、及び内部固視灯１５０を含む測定光学系１００と、制御装置２００と、入力部４０と、表示部５０が設けられている。制御装置２００には、取得部２１１、画像処理部２１２、演算部２１３、記憶部２１４、表示制御部２１５、及び駆動制御部２１６が設けられている。なお、制御装置２００は、プロセッサーやメモリ等を含む一般的なコンピュータを用いて構成することができるが、ＯＣＴ装置の専用のコンピュータとして構成されてもよい。なお、制御装置２００は、ＯＣＴ装置の内蔵（内部）のコンピュータであってもよいし、ＯＣＴ装置が通信可能に接続された別体（外部）のコンピュータであってもよい。また、制御装置２００は、例えば、パーソナルコンピュータであってもよく、デスクトップＰＣや、ノート型ＰＣ、タブレット型ＰＣ（携帯型の情報端末）が用いられてもよい。このとき、制御装置２００と測定光学系１００の間の通信接続は、有線通信による接続であってもよいし、無線通信による接続であってもよい。なお、プロセッサーは、例えば、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等であってもよい。
取得部２１１は、ＡＰＤ１４０やラインセンサ１２０等から信号を取得したり、不図示の外部装置や画像処理部２１２から各種画像や情報を取得したりすることができる。なお、取得部２１１は、これらデータを無線通信により取得してもよい。画像処理部２１２は、取得部２１１によって取得された信号に基づいて眼底正面画像や断層画像を生成したり、各種画像に対して画像処理を行ったりすることができる。
演算部２１３は、システム全体を制御することができる。特に、演算部２１３は、後述する学習済モデルを用いて、被検眼Ｅの眼底正面画像又は眼底正面画像から算出された移動量等の被検眼の動きを示す情報から被検眼Ｅの動きを予測し、ＯＣＴ走査部を制御するための走査パラメータを算出することができる。
記憶部２１４は、眼底正面画像や断層画像、患者情報、撮影条件等の情報、ソフトウェアを実現するためのプログラム等を記憶することができる。表示制御部２１５は、表示部５０による表示を制御することができる。駆動制御部２１６は、測定光学系１００におけるＳＬＯ撮影部やＯＣＴ撮影部、内部固視灯１５０を制御することができる。例えば、駆動制御部２１６は、操作者によって入力された走査パラメータを含む撮影パラメータを用いて、ＳＬＯ走査部やＯＣＴ走査部を制御することで、被検眼Ｅの撮影位置を設定し、被検眼Ｅの所望の位置の撮影を行うことができる。
より具体的には、被検眼Ｅの眼底の撮影時に、まず、駆動制御部２１６により内部固視灯１５０の点灯位置を制御し、被検者に内部固視灯１５０の表示を注視させる。また、駆動制御部２１６は、操作者によって入力された撮影パラメータに基づいて、ＯＣＴスキャナ１０５，１０８及びＳＬＯスキャナ１３５，１３８の駆動を制御し、眼底上でＯＣＴの測定光やＳＬＯビームを走査する。眼底から戻った測定光及びＳＬＯビームはそれぞれラインセンサ１２０及びＡＰＤ１４０に到達し、ラインセンサ１２０及びＡＰＤ１４０の出力信号が制御装置２００に送られる。制御装置２００の取得部２１１は、ラインセンサ１２０及びＡＰＤ１４０からの出力信号を取得し、画像処理部２１２がこれらの信号を用いて断層画像及び眼底正面画像を生成する。表示制御部２１５は、生成された断層画像や眼底正面画像を表示部５０に表示させることができる。また、記憶部２１４は、生成された断層画像や眼底正面画像を記憶することができる。
なお、撮影前に設定される撮影パラメータとしては、被検眼Ｅの左右、断層撮影をどの範囲で行うか、断層画像を何回撮影するか、スキャンパターン、Ｂスキャン画像に含まれるＡスキャン画像の数などを設定することができる。スキャンパターンとしては、例えばラスタスキャンや、ラジアルスキャン、クロススキャン、サークルスキャン、リサージュスキャン（リサージュ曲線に沿った走査）等を設定することができる。さらに、撮影パラメータとして、視神経乳頭、黄斑、又は血管等の注目部位に撮影範囲を設定してもよい。なお、眼底正面画像の撮影範囲は、操作者によって入力されてもよいし、操作者によって入力された断層画像の撮影範囲に応じて自動的に設定されてもよい。
また、撮影パラメータとしては、撮影モードを含んでもよい。撮影モードとしては、例えば、網膜撮影モード、ＯＣＴＡ（ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ）撮影モード、前眼部撮影モード、硝子体撮影モード、黄斑部撮影モード、及び視神経乳頭部撮影モード等が含まれてよい。なお、ＯＣＴＡ撮影モードでは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように、駆動制御部２１６がＯＣＴスキャナ１０５，１０８を制御する。ＯＣＴＡ撮影モードでも、スキャンパターンとして、例えばラスタスキャンや、ラジアルスキャン、クロススキャン、サークルスキャン、リサージュスキャン等を設定することができる。
制御装置２００の記憶部２１４以外の各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。なお、プロセッサーは、例えば、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等であってもよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。記憶部２１４は、例えば、ハードディスク等の光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。また、測定光学系１００と制御装置２００は、任意のケーブル等を用いて有線で接続されてもよいし、無線で接続されてもよい。
入力部４０は、制御装置２００に接続され、例えば、キーボードやマウス、トラックボール、タッチパネル等の任意の入力装置によって構成されることができる。表示部５０は、任意のディスプレイを用いて構成することができ、表示制御部２１５による制御に基づいて、患者情報を含む各種情報や断層画像や眼底正面画像等の各種画像等を表示することができる。
なお、上述したＯＣＴ装置の構成は一例であり、所望の構成に応じて変更されてよい。さらに、ＯＣＴ装置の一部の構成を別個の装置として構成してもよいし、一体的な装置として構成してもよい。例えば、表示部５０をタッチパネル式のディスプレイとして入力部４０と一体的に構成してもよい。
本実施例に係るＯＣＴ装置では、検出した被検眼Ｅの動きを示す情報を用いて以後の被検眼Ｅの動きを予測し、ＯＣＴ撮影部のガルバノスキャナを予測された被検眼Ｅの動きに基づいて制御することで、所望の位置の断層画像を得ることができる。ここで、本実施例における被検眼Ｅの動きの予測とは、次に断層画像の撮影を開始するときの被検眼Ｅの移動後の位置を予測することである。なお、被検眼Ｅの動きを予測する時間間隔は、眼底正面画像を用いたテンプレートマッチングの周期等に応じて決めることができる。
（被検眼の動きの検出処理）
ここで、上述したＯＣＴ装置を用いて、被検眼Ｅの動きを検出する処理について、具体例を示す。本実施例では、被検眼Ｅの眼底正面画像を取得し、眼底正面画像から特徴点を抽出し、次に取得した眼底正面画像に対して上述した特徴点と一致する画像をパターンマッチングにより検出し、特徴点に関する座標の変化から被検眼Ｅの眼底の動きを検出する。なお、パターンマッチングは、特徴点の画像（特徴画像）に関するテンプレートマッチングにより行われてよい。また、パターンマッチング等を含む被検眼Ｅの動きの検出処理は、本実施例では演算部２１３によって行われてよく、演算部２１３は被検眼Ｅの動きを検出する動き検出部として機能することができる。
以下、図３を参照して、被検眼Ｅの眼底の動きの検出方法についてより詳細に説明する。図３は、眼底の動きを検出した際の眼底正面画像の概略図である。本実施例に係る眼底の動きの検出処理では、まず、図３に示すように、ＳＬＯ撮影部を用いて被検眼Ｅの眼底正面画像３００を取得し、演算部２１３が眼底正面画像３００から特徴点Ｔ（以下、テンプレート画像）を抽出する。演算部２１３は、抽出した特徴点Ｔの情報（画像、座標、及び取得時間等）を記憶部２１４に記憶させる。
次に、演算部２１３は、新たに取得した眼底正面画像３０１に対して、テンプレート画像を用いたパターンマッチングを実行し、特徴点Ｔに一致する領域を検出する。演算部２１３は、特徴点Ｔと一致する領域の画像Ｍ１（マッチング画像）を検出した後、マッチング画像Ｍ１の位置情報を記憶部２１４に記憶させる。
演算部２１３は、以上の処理を図３に示すように、順次取得される各眼底正面画像３０２，３０３に適応する。具体的には、演算部２１３は、新たに取得した眼底正面画像３０２，３０３の各々に対してテンプレート画像を用いたパターンマッチングを実行してマッチング画像Ｍ２，Ｍ３を検出し、マッチング画像Ｍ２，Ｍ３の位置情報を記憶部２１４に記憶させる。同様の工程を繰り返し行うことで、順次被検眼Ｅの動きを検出することができる。
なお、ここでは特徴点を抽出してテンプレートマッチングを行っているが、テンプレートマッチングの方法は他の方法でもよい。例えば、眼底正面画像３０１の中央の固定領域をテンプレート画像とし、予め撮影開始時に取得した眼底正面画像３００から、位置をずらしながらマッチング画像を順に切り出し、テンプレート画像との比較を行ってもよい。この場合には、特徴点の抽出処理を行う必要がないため、処理をより高速化できる可能性がある。一方、この方法ではテンプレート画像に含まれる被検眼Ｅの特徴が少ない可能性があるため、コントラスト強調などの事前処理を行ってテンプレートマッチングの精度を向上させることもできる。なお、テンプレートマッチングは、類似度（強度の相関）や位相限定相関等を用いた手法であってもよい。また、眼底正面画像３０１の中央の固定領域をテンプレート画像とする場合において、眼底正面画像３００を取得するタイミングは、本撮影の開始前のタイミングであればよい。そのため、この場合の眼底正面画像３００を取得するタイミングは、例えば、アライメント調整時やフォーカス調整時であってもよい。特に、この場合の眼底正面画像３００を取得するタイミングは、アライメント調整及びフォーカス調整後であって本撮影の開始前のタイミングとすることができる。
また、被検眼の動きの検出処理は、基準画像に対して各画像の位置ずれ量を取得することで行われてもよいし、各画像に対して基準画像の位置ずれ量を取得することで行われてもよい。この場合、基準画像としては、予め撮影開始時に取得した複数の眼底正面画像３００のうち画質等が他よりも良い画像を選択してよい。また、当該複数の眼底正面画像３００のうち画質等が閾値以上である少なくとも１つの画像を選択してもよい。なお、画質等が閾値以上である画像が複数ある場合には、選択された複数の画像を加算平均した画像を基準画像として選択してもよい。位置ずれ量の取得の手法としては、特徴点のテンプレートマッチングを行ってもよいし、画像の中央等の所定の部分領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を用いたテンプレートマッチングを行ってもよい。また、テンプレートマッチングは、類似度（強度の相関）や位相限定相関等を用いた手法であってもよい。なお、基準画像を選択するための複数の眼底正面画像を取得するタイミングは、本撮影の開始前のタイミングであればよい。そのため、この場合複数の眼底正面画像を取得するタイミングは、例えば、アライメント調整時やフォーカス調整時であってもよい。特に、この場合の複数の眼底正面画像を取得するタイミングは、アライメント調整及びフォーカス調整後であって本撮影の開始前のタイミングとすることができる。
ここで、図４（ａ）にＸ軸方向の眼底の動きと時間の関係の一例を示し、図４（ｂ）にＹ軸方向の眼底の動きと時間の関係の一例を示す。図４（ａ）及び図４（ｂ）に示すように、人眼は固視を行っている間でも不随意に眼球運動を行っており、このような眼球運動を固視微動という。固視微動には、大きく遅い運動であるドリフト、小さく速い運動であるトレモア、及び大きく速い運動であるマイクロサッカードがある。図４（ａ）及び図４（ｂ）には、一例として、ドリフト４０１，４１１、トレモア４０２，４１２、及びマイクロサッカード４０３，４１３が示されている。なお、図４（ａ）には、さらに、固視灯に注視するタイミングでの眼底の位置４０５，４０６，４０７が示されている。
本実施例では、上述した処理を行うことで、このような固視微動等の被検眼Ｅの眼底の動きを検出する。従来では、検出した被検眼Ｅの動きを被検眼Ｅの撮影位置の設定にフィードバックすることで、被検眼Ｅの動きを追尾していたため、絶えず動く被検眼Ｅの撮影の際にはタイムラグが生じていた。これに対し、本実施例では、学習済モデルを用いて、上述のように検出した被検眼Ｅの動きを示す情報から、被検眼の画像を撮影（取得）する際の被検眼Ｅの動きを予測し、撮影位置を設定することで、タイムラグを低減し、より正確な撮影を行うことができる。
（被検眼の動きの予測処理）
次に本発明の学習済モデルを用いた被検眼Ｅの動きの予測処理について説明する。まず、図５（ａ）乃至図６（ｂ）を参照して本実施例に係る学習済モデルについて説明する。上述したように、本開示において、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な学習データを用いてトレーニングしたモデルである。ここで、学習データは、実際に学習済モデルに入力されるデータに対応する入力データと、学習済モデルによって出力されるデータに対応する出力データとのペアからなる。
本実施例では、学習済モデルとして、時系列情報を扱うニューラルネットワークである再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いる。図５（ａ）は、機械学習モデルであるＲＮＮの構造を示す。図５（ａ）に示すＲＮＮ５２は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘｔ５１を入力し、データｈｔ５３を出力する。ＲＮＮ６２はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図５（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘｔ５１にはＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ５２より出力されるデータｈｔ５３には入力データに対応するＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。
しかしながら、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、長短期記憶（ＬＳＴＭ：Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）が用いられることがある。ＬＳＴＭは、ＲＮＮの一種であり、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。より長期の情報に基づいた予測を行う場合はＬＳＴＭを用いることもできる。ここで、図６（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ６４において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃｔ−１と出力データｈｔ−１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。
次に、図６（ｂ）にＬＳＴＭ６４の詳細を示す。図６（ｂ）においては、忘却ゲートネットワークＦＧ、入力ゲートネットワークＩＧ、及び出力ゲートネットワークＯＧが示され、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。また、図６（ｂ）においては、セル更新候補ネットワークＣＵが示され、セル更新候補ネットワークＣＵは活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。
次に、本実施例に係る学習データについて説明する。本実施例に係る学習データでは、入力データとして被検眼の動きを示す情報の一種である眼底の移動量を用いる。眼底の移動量は（Ｘ，Ｙ，θ）で表される。ここで、Ｘ及びＹはそれぞれＸ方向移動量及びＹ方向移動量を示し、θは回転量を示す。なお、眼底の移動量は、極座標（ｒ，θ）など、他の方法で表してもよいし、回転方向の変化は小さいため省略してもよい。
また、本実施例に係る学習データの出力データには、入力データから一定時間後の眼底の移動量（Ｘ’，Ｙ’，θ’）を用いる。入力データと出力データの時間差は、眼底正面画像のテンプレートマッチングの周期等に基づいて予め設定することができる。入力データと出力データの時間差は、例えば、眼底正面画像の取得にかかる時間と、取得した眼底正面画像を用いた被検眼Ｅの動きの検出にかかる時間と、学習済モデルを用いた被検眼Ｅの動きの予測にかかる時間の合計として設定することができる。ただし、入力データと出力データの時間差の定め方はこれに限られず、所望の構成に応じて変更してよい。例えば、ＯＣＴスキャナによる走査周期が長い場合等には、ＯＣＴスキャナによる走査周期も考慮して、入力データと出力データの時間差を設定してもよい。本実施例では、簡易的に、２フレーム分の眼底正面画像の取得時間を入力データと出力データの時間差とする。
学習データとしては、任意の患者について実際に測定を行って得た経時的な眼底の移動量を用いてよい。なお、学習データは、正常眼及び患眼についての眼底の移動量を網羅的に用いて生成してもよいし、病気毎の眼底の移動量を用いて生成してもよい。また、患者毎の眼底の移動量を用いて生成してもよい。経時的な眼底の移動量のセットは、実際の測定の間に検出した移動量のセットであってもよいし、学習データの生成用に設定された時間内で検出した移動量のセットであってもよい。
このような学習データを学習して得た学習済モデルを用いることで、検出した被検眼Ｅの動きを示す情報から、被検眼の断層画像を取得する際の眼底の移動量を予測することができる。なお、固視微動に関して、ドリフトとトレモアは周期的に生じる運動であることが知られている。このため、ドリフトやトレモアを含む眼底の移動に関する移動量を学習データとして用いることで、学習済モデルはこれらの眼球運動について精度の高い予測を行うことができると期待できる。また、マイクロサッカードは非周期的に生じる運動であることが知られているが、経時的な入力データを用いて予測を行うことで、入力データにおける特徴からマイクロサッカードの予兆を抽出できることが期待できる。そのため、マイクロサッカードを含む眼底の移動に関する移動量を学習データとして用いることで、学習済モデルはマイクロサッカードについても精度の高い予測を行うことができると期待できる。
次に、図７を参照して、本実施例の撮影に係る一連の動作フローについて説明する。図７は、本実施例に係る一連の動作のフローチャートである。本実施例に係る撮影処理が開始されると、まず、ステップＳ７０１において、制御装置２００は、被検眼Ｅの眼底正面画像（ＳＬＯ画像）を取得する。具体的には、制御装置２００は、駆動制御部２１６によりＳＬＯスキャナ１３５，１３８等の駆動を制御して被検眼Ｅの眼底上でＳＬＯビームを走査し、ＡＰＤ１４０からの出力に基づいて被検眼Ｅの眼底正面画像を取得する。
ステップＳ７０２では、演算部２１３が、取得した眼底正面画像(テンプレート画像)を記憶部２１４へ記憶させる。ここで、テンプレート画像としては、特徴部分を含む眼底正面画像全体を記憶部２１４に記憶させてもよいし、特徴部分を含む一部の領域の画像を記憶部２１４に記憶させてもよい。ステップＳ７０３では、制御装置２００は、駆動制御部２１６によりＯＣＴスキャナ１０５，１０８等の駆動を制御して被検眼Ｅの眼底上でＯＣＴビームを走査し、ラインセンサ１２０からの出力に基づいて断層画像の取得を開始する。
ステップＳ７０４では、制御装置２００は新しい眼底正面画像を取得する。ステップＳ７０５において、演算部２１３は取得した新しい眼底正面画像に対して、記憶部２１４に記憶されたテンプレート画像を用いて前述のテンプレートマッチングを行い、眼底の移動量を算出する。次にステップＳ７０６において、演算部２１３は、学習済モデルを用いて、算出した眼底の移動量から眼底の予測移動量を取得する。ここで、予測移動量は、次の断層画像を撮影する時刻での眼底の移動量に相当する。具体的には、演算部２１３は、ステップＳ７０５で算出した眼底の移動量を学習済モデルに入力し、学習済モデルから出力される予測移動量を取得する。
ステップＳ７０７では、演算部２１３は、取得した予測移動量を用いて、ＯＣＴスキャナ１０５，１０８による走査位置を補正する。駆動制御部２１６は、補正された走査位置に基づいてＯＣＴスキャナ１０５，１０８の駆動を制御して、ＯＣＴ撮影部による撮影を実行する。
ステップＳ７０８において、演算部２１３は予定した全ての断層画像を取得完了したか否かを判定する。演算部２１３は、全ての断層画像の取得が完了していなければ、処理をステップＳ７０４に戻し、撮影を継続する。一方で、全ての断層画像の取得が完了していれば、処理はステップＳ７０９に移行し、演算部２１３はＯＣＴスキャナによる走査を終了し、撮影を終了する。
ここで、学習済モデルを用いて眼底の動きを予測し、ＯＣＴスキャナの位置を補正して断層画像を取得する際の概略的な結果を図８に示す。図８には、時間の変化に応じた、眼底正面画像８０１〜８０４、断層画像８１１〜８１４、走査位置Ｓ１〜Ｓ４、及びテンプレート画像に対応する位置Ｔ１〜Ｔ４が示されている。ここでは、走査位置Ｓ１〜Ｓ４は被検眼Ｅの眼底の略同一箇所を走査する走査位置としている。図８に示されるように、眼底の予測した動きに合わせて、ＯＣＴ撮影部のスキャナを駆動させることで、眼底に対する走査位置Ｓ１〜Ｓ４は変化せず、断層画像８１１〜８１４も安定して同様の画像を取得することができる。
なお、図８に示す例では、眼底正面画像と断層画像のフレームレートの関係を、１枚の眼底正面画像に対して２枚の断層画像を取得する関係としており、眼底正面画像の更新レートと２枚の断層画像の取得に係る時間を同期させている。ただし、眼底正面画像と断層画像のフレームレートの関係は、当該関係に限られず、一方の１枚の画像に対して他方の画像が整数倍の枚数取得されるような関係であればよい。例えば、眼底正面画像１枚に対して、１枚の断層画像や３枚の断層画像が取得されるようなフレームレートの関係としてもよい。
被検眼の動きに応じた走査位置の補正（トラッキング処理）に関しては、例えば主走査の途中に走査位置の補正が行われてしまうと、１枚の断層画像（Ｂスキャン画像）において位置ずれが生じてしまう。これに対して、上記のようなフレームレートの関係とすることで、通常のＯＣＴ撮影モードでは、眼底正面画像を用いた断層画像の走査位置の補正を、１の主走査と次の主走査との間に行うことができる。これは、本実施例のように、学習済モデルの入力データと出力データの時間差を眼底正面画像の取得時間の整数倍に基づいて定めている場合にも有効である。このため、上記のようなフレームレートの関係とすることで、本実施例に係るＯＣＴ装置でも、通常のＯＣＴ撮影モードにおいて、眼底正面画像を用いた被検眼の動きの予測に基づく断層画像の走査位置の補正を、１の主走査と次の主走査との間に行うことができる。
上記のように、本実施例に係るＯＣＴ装置では、演算部２１３が、被検眼（被検体）の動きを予測する予測部、及び予測された動きを用いて、被検眼の画像を取得する取得位置を制御する制御部の一例として機能する。予測部は、被検眼の動きを示す情報を含む学習データを学習して得た学習済モデルを用いて、被検眼の動きを示す情報から被検眼の医用画像を取得する際の被検眼の動きを予測する。
本実施例に係るＯＣＴ装置では、被検眼の動きを示す情報を学習させた学習済モデルを用いることで、ＯＣＴ走査位置（医用画像の取得位置）を補正する時刻の眼底の移動量を予測することができる。このため、眼底の移動による影響を抑制し所望の眼底位置の断層画像を得ることができる。
なお、本実施例では、被検眼の動きを示す情報として、被検眼の移動量を用いる。被検眼の移動量は、被検眼の複数の眼底正面画像に対するパターンマッチングにより取得される。また、本実施例では、学習済モデルの入力は被検眼眼底の移動量とし、学習済モデルの出力は被検眼眼底の予測移動量とした。
さらに、本実施例では、学習済モデルとして、時系列の情報を処理する機械学習モデルである再帰型ニューラルネットワーク又は長短期記憶を用いた機械学習モデルを用いた。また、学習データとしては、被検眼の動きを示す情報として、被検眼のドリフト、トレモア、及びマイクロサッカードを示す情報を含めた。このため、本実施例に係る学習済モデルは、被検眼の動きを示す時系列の情報から時間変化に応じた特徴を抽出し、被検眼の固視微動に対するより正確な予測移動量を取得することができる。
なお、本実施例では、眼底の移動量を学習データの入力データ及び出力データとしているが、別のパラメータを入力データに加えてもよい。例えば、撮影開始からの経過時間ｔを入力データに加えてもよい。撮影時間が長くなると被検者の負担が増え、固視が不安定になる傾向があるため、経過時間ｔも入力データの特徴量に加えることで、被検眼の動きの予測精度が向上することが期待できる。
また、ＯＣＴスキャナ１０５，１０８を用いた走査位置を学習データの入力データに加えてもよい。ＯＣＴ光源の波長に可視領域がある場合、被検眼の固視はＯＣＴスキャナ１０５，１０８による走査位置に誘導されてしまう可能性があるため、走査位置は入力データとして有用である可能性がある。
また、眼底正面画像から被検眼の瞬きを判定し、瞬きの有無や、最後の瞬きからの経過時間を学習データの入力データに加えてもよい。さらに、被検者の年齢や性別、視力、疾患情報などの被検者情報や、撮影する画像の種類に応じた撮影モード、固視灯位置、右眼／左眼情報、スキャンパターン、走査範囲などの撮影条件を学習データの入力データに加えてもよい。その他、眼底の移動量の予測に有用なデータであれば入力データに加えてよい。なお、これらの場合には、学習済モデルへの入力は、学習データの入力データと対応する種類のデータを用いればよい。なお、ＳＬＯ撮影部による走査範囲等が異なると眼底正面画像の取得周期が異なることがある。このため、学習データとしては、例えばＳＬＯ撮影部等による眼底正面画像の取得周期に応じた異なる時間間隔の入力データ及び出力データを用いてよい。なお、被検眼の瞬きの判定・検出は、公知の任意の方法により行われてよい。例えば、眼底正面画像の輝度の合計値や平均値が閾値以下である場合に被検眼の瞬きが生じたと判定してよい。また、瞬きが生じた場合の眼底正面画像と瞬きが生じていない場合の眼底正面画像を入力データとし、瞬きの有無の情報を出力データとした学習データを用いて学習を行った学習済モデルを用いて、眼底正面画像から瞬きの有無を判定してもよい。
なお、被検眼の動きを予測する機械学習モデルの学習データの入力データに最後の瞬きからの経過時間を加える場合には、学習データの出力データに、所定時間経過後の瞬きの有無のラベルを加えることができる。この場合、学習済モデルは、入力された最後の瞬きからの経過時間から、例えば、走査位置を補正すべき時間等の所定時間経過後の時間における瞬きを予測することができる。なお、瞬きを予測する学習済モデルは、被検眼の動きを予測する学習済モデルとは別に準備されてもよい。なお、瞬きを予測する学習済モデルの学習データの入力データとしては、最後の瞬きからの経過時間の他に、例えば、前眼画像等を用いてもよい。
さらに、学習データの入力データ及び出力データに用いる眼底の移動量は、一定時間の移動を平均化したものを用いてもよい。平均化に用いるデータに関する一定時間の移動は、被検眼の動きの予測に影響のない程度の比較的短い時間内の移動とすることができる。学習データの入力データ及び出力データに用いる眼底の移動量を平均化することで、テンプレートマッチングの誤検出や被検眼Ｅの細かい動きに影響を抑制し、例えば、ドリフト等の比較的大きな動きについて安定した出力データを得ることができる。このため、学習データの入力データ及び出力データとして平均化したデータを用いることで、例えばドリフト等の比較的大きな動きの特徴量に関する大局的な学習の効率が向上することが期待できる。
また、入力データと出力データの時間間隔は上記のように、ＯＣＴスキャナによる走査周期も考慮して設定してもよい。例えば、ＯＣＴスキャナの駆動開始が、ＳＬＯスキャナの駆動開始よりも所定時間遅れる場合には、当該遅れ分の時間を入力データと出力データの時間間隔に加えてもよい。また、ＳＬＯスキャナの駆動とＯＣＴスキャナの駆動のタイミングが毎フレーム変化する場合には、学習済モデルの入力として、ＳＬＯスキャナの駆動とＯＣＴスキャナの駆動のタイミングのずれも加えてもよい。
この場合、例えば、演算部２１３が、最新の眼底正面画像を取得した際の時刻とＯＣＴスキャナによる走査開始時刻からタイミングのずれを算出し、当該ずれを学習済モデルへの入力に用いてよい。また、この場合には、学習データの入力データとして、被検眼Ｅの移動を示す情報と、入力データ及び出力データとして用いる被検眼Ｅの移動を示す情報を取得した際の時間間隔を用いてよい。学習データとしては、当該時間間隔が一定のデータだけでなく、様々な時間間隔のデータを用いてよい。
また、本実施例では、学習済モデルを１種類のみ用いる構成としているが、学習済モデルを複数用いてもよい。例えば、前述した被検者情報や撮影条件毎に学習を行った複数の学習済モデルや、病気毎の学習データを用いて学習を行った複数の学習済モデル等を用いるように制御装置２００を構成してもよい。この場合、演算部２１３は、撮影の前に入力される被検者情報や撮影条件、病名等に応じて、被検眼Ｅの動きを予測するために用いる学習済モデルを選択してよい。この場合、演算部２１３は、被検者情報や撮影条件、病名等に応じて、被検眼の動きの予測に用いる学習済モデルを選択する選択部の一例として機能する。なお、ＳＬＯ撮影部による走査範囲等が異なると眼底正面画像の取得周期が異なることがある。このため、撮影条件等に応じた複数の学習済モデルを用意する際には、撮影条件等に応じて学習データに関する時間間隔を設定してよい。
さらに、瞬きが生じた場合に用いるように別の学習済モデルを用意してもよい。例えば、演算部２１３が、眼底正面画像から被検眼Ｅの瞬きを検出した場合に、被検眼の移動の予測に用いる学習済モデルを瞬き用の学習済モデルに切り替えて用いてもよい。瞬きが生じている場合には、瞬きを検出した際の眼底正面画像を用いて被検眼の移動を検出することが難しい。そのため、このような場合には、瞬きが生じた際の眼底正面画像よりも前、例えばその直前に取得した眼底正面画像と、その更に前の眼底正面画像とを用いて算出した被検眼の移動量を用いて、被検眼の移動の予測を行う。
この場合には、入力データと出力データとの間の時間間隔がより長くなる。そのため、例えば、瞬き用の学習済モデルに関する学習データとしては、入力データと出力データの時間間隔が、瞬きが生じていない、通常時用の学習済モデルに関する学習データの入力データと出力データの時間間隔より長いデータを用いてよい。例えば、通常時の用の学習データの入力データと出力データの時間間隔が眼底正面画像の２フレーム分であった場合、瞬き用の学習済モデルの学習データに関する時間間隔は３フレーム分であってよい。なお、瞬きが生じた際に用いる被検眼の移動を示す情報は、最新の眼底正面画像よりも前の画像を用いて得た情報であればよく、直前の情報に限られない。また、学習データに関する時間間隔は、瞬きが生じた際に用いる被検眼の移動を示す情報に応じて任意に設定されてよい。
なお、本実施例では、学習済モデルについてＲＮＮやＬＳＴＭを用いていることから、学習済モデルに経時的な（時系列の）入力データを順次入力することで、時間変化に応じた出力データを取得することができる。このため、最初にＯＣＴスキャナの走査位置を補正する際には、先に眼底正面画像を取得し、当該先の眼底正面画像に基づく移動量を入力しておき、学習済モデルに前の時刻での状態を保持させておいてもよい。
さらに、本実施例では、学習データの入力データに関する被検眼Ｅの動きを示す情報として、眼底の移動量を用いたが、眼底正面画像そのものを用いてもよい。この場合、画像データの処理に適した畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｕｅｒａｌ Ｎｅｔｗｏｒｋ）等の機械学習モデルを用いてもよい。また、ＣＮＮとＬＳＴＭ等を組み合わせ、ＣＮＮの出力をＬＳＴＭ等の入力とした機械学習モデルを用いてもよい。さらに、ＣＮＮで時系列データを精度よく処理するため、連続する複数フレームの眼底正面画像を並べたものを１枚の画像として統合し、統合した画像を学習データの入力データとしてもよい。この場合も、学習済モデルへの入力は、学習データの入力データと対応する種類のデータを用いればよい。なお、出力データは、上述した出力データと同様のものであってよい。また、画像の統合を行わずに、連続する複数フレームの眼底正面画像を学習データの入力データとして用いてもよい。この場合にも、学習済モデルへの入力は、上述した入力データと同様のものであってよく、一度の入力に連続する複数の眼底正面画像を用いるものとすればよい。
また、眼底の動きの予測が外れた場合であっても所望の位置が撮影できるように、眼底の動きの予測が外れた撮影位置について再走査（再撮影・再取得）を行う処理を追加してもよい。例えば、演算部２１３は、予測した被検眼の動き（移動量）と実際に検出した被検眼の動き移動量とを比較し、その差が閾値を超えた場合、その間の走査を再度行う（再撮影・再取得する）ように、駆動制御部２１６を制御してもよい。また、演算部２１３は、眼底正面画像から被検眼の瞬きを検出し、被検眼が瞬きした際の撮影位置を再走査するように駆動制御部２１６を制御してもよい。このように再走査を行うことで、より正確な位置の断層画像を得ることができる。ただし、再走査を行うと検査時間が長くなり被検者の負担が増加するため、再走査の回数の上限を設けるなどの制限を付けてもよい。なお、再走査を行うタイミングは、再走査が必要と判断された後直ぐであってもよいし、設定された撮影領域を走査し終わった後であってもよい。
ここで、ＯＣＴＡ撮影モードにおける再走査について補足する。ＯＣＴＡ撮影モードでは、上述のように被検眼の同一領域（同一位置）において測定光を複数回走査する。ここで、同一走査線に対応する被検眼の同一領域を複数回走査することをクラスタ（群）走査と呼び、クラスタ走査に含まれる複数の走査の集合を走査群という。ＯＣＴＡ撮影では、同一領域に関する干渉信号間の相関を用いてデータを算出する関係から、一走査群の走査（一クラスタ走査）にかけられる時間Δｔは一定に保つことが望まれる。これは、例えば、時間Δｔが大きくなることに伴うフォーカス状態の変化、瞳孔や睫毛による光束のけられ、角膜、水晶体、硝子体の混濁による干渉信号の損失など、様々な影響により相関が低下するためである。
そのため、ＯＣＴＡ撮影モードでは、再走査をクラスタ走査毎に行うようにすることができる。この場合には、一クラスタ走査にかけられる時間Δｔを一定に保つことができ、上述した相関の低下を抑制することができる。なお、ＯＣＴＡ撮影モードにおいても、被検者の負担を考慮して、再走査の回数の上限を設けるなどの制限を付けてもよい。
また、本実施例では、通常のＯＣＴ撮影モードにおいて、眼底正面画像を用いた被検眼の動きの予測に基づく断層画像の走査位置の補正を行うタイミングを、１の主走査と次の主走査との間とすることについて述べた。これに対して、ＯＣＴＡ撮影モードでは、上述のように一クラスタ走査にかけられる時間Δｔを一定に保つことが望まれる。このため、ＯＣＴＡ撮影モードでは、１の走査群（１のクラスタ走査）と次の走査群（次のクラスタ走査）との間に、走査位置の補正を行うことができる。この場合には、１枚の断層画像において位置ずれが生じてしまうことを抑制できるとともに、一クラスタ走査にかけられる時間Δｔを一定に保つことができ、ＯＣＴＡ画像の画質に悪影響を及ぼすことなく被検眼の移動に応じた走査位置の補正を行うことができる。
さらに、本実施例では、眼底正面画像と断層画像とのフレームレートの関係を、一方の１枚の画像に対して他方の画像が整数倍の枚数の画像が取得されるような関係（以下、整数倍の関係と称する。）とすることについて述べた。しかしながら、眼底正面画像と断層画像とのフレームレートの関係は、当該整数倍の関係になっていなくてもよい。この場合、通常のＯＣＴ撮影モードにおいて、主走査中に被検眼の移動が予測された際には、演算部２１３又は駆動制御部２１６は、当該主走査中には走査位置の補正を行わず、次の主走査まで走査位置の補正のタイミングを遅延させるように走査制御してもよい。この場合にも、１枚の断層画像において位置ずれが生じてしまうことを抑制できる。
また、ＯＣＴＡ撮影モードでは、被検眼の移動が予測された際の主走査を含む走査群（クラスタ走査）中には走査位置の補正は行わず、次の走査群の最初の主走査まで走査位置の補正のタイミングを遅延させるように走査制御してもよい。この場合には、１枚の断層画像において位置ずれが生じてしまうことを抑制できるとともに、一クラスタ走査にかけられる時間Δｔを一定に保つことができ、ＯＣＴＡ画像の画質に悪影響を及ぼすことなく被検眼の移動に応じた走査位置の補正を行うことができる。
なお、眼底正面画像と断層画像とのフレームレートの関係を上述した整数倍の関係としない場合、演算部２１３又は駆動制御部２１６は、撮影（本撮影）の開始時のみ眼底正面画像と断層画像の取得の同期を取り、後は独立して走査制御してもよい。この場合において再走査を行う際には、再撮影を行うべき走査について撮影の開始からの経過時間と断層画像のフレームレートから、再走査を行うべき位置を算出することができる。
また、本実施例では、被検眼の動きの移動量を算出する際に用いる眼底正面画像として、ＳＬＯ撮影部を用いて撮影された眼底正面画像を用いた。しかしながら、眼底正面画像としては、例えば、眼底カメラ等を用いて撮影された眼底正面画像を用いてもよい。また、眼底正面画像はＬＳＬＯ（Ｌｉｎｅ−ＳＬＯ）等の他の装置を用いて取得しても同様の効果がある。また、被検眼の動きを示す情報を取得するための他の方法としては、高速で眼底の動き（眼球の動きでもよい）を検出する装置（プルキニエ、強膜反射、又はサーチコイル等の他の方法を用いた装置）を用いてもよい。さらに、被検眼の動きを示す情報を取得するための画像として前眼画像を用いてもよい。また、本実施例では、固視灯に内部固視灯を用いたが、外部固視灯を用いてもよい。
また、本実施例では、被検眼の動きの予測移動量に基づいてＯＣＴスキャナ１０５，１０８を制御して断層画像を撮影した。これに対して、被検眼の動きの予測移動量に基づいて、ＳＬＯスキャナ１３５，１３８を制御して眼底正面画像を撮影してもよい。すなわち、制御装置２００は、被検眼の動きの予測に用いる眼底正面画像を撮影した走査手段（ＳＬＯスキャナ１３５，１３８）について、被検眼の動きの予測移動量に基づいて眼底正面画像の取得位置を補正する制御を行ってもよい。この場合、眼底の動きに影響を受けない安定した眼底正面画像を取得できる。また、このような処理は、ＳＬＯ装置に適用してもよい。また、被検眼Ｅの動きの予測移動量に基づく撮影位置の修正処理は、ＯＣＴ撮影部及びＳＬＯ撮影部の両方に適用させてもよい。
このため、被検眼の動きの予測移動量に基づいて制御された取得位置で取得される画像は、測定光を照射した被検眼からの戻り光を用いて取得された画像であってよい。ここで、測定光とは、ＯＣＴビームであってもよいし、ＳＬＯビームであってもよい。このため、画像の取得位置の制御は、被検眼において測定光を走査する走査手段（ＯＣＴスキャナ１０５，１０８やＳＬＯスキャナ１３５，１３８等）の制御であってよい。また、画像の取得位置の制御は、被検眼に測定光を照射し且つ被検眼からの戻り光を検出するための測定光学系１００の少なくとも一部を含む光学ヘッドの駆動制御であってもよい。この場合、光学ヘッドの駆動制御は、ステージ部（基台部）に対する光学ヘッド自体のＸＹＺ方向の移動を含んでもよい。なお、測定光学系１００の少なくとも一部は、例えば、ファイバ１０３−２の一部から被検眼側の各光学部材を含み、ファイバ１０３−２の一部からＯＣＴ光学系側の各光学部材は据え置き型の別の筐体に含まれてもよい。また、測定光学系１００の少なくとも一部は、例えば、ファイバ１０３−４の一部から被検眼側の各光学部材を含み、ファイバ１０３−４の一部からラインセンサ１２０までの各光学部材は据え置き型の別の筐体やステージ部（基台部）に含まれてもよい。また、画像の取得位置の制御は、被検者の額や顎を押し当てるための顔受け部の駆動制御であってもよい。この場合、顔受け部の駆動制御は、光学ヘッドに対する顔受け部自体のＸＹＺ方向の移動を含んでもよい。また、画像の取得位置の制御は、光学ヘッドの駆動制御と顔受け部の駆動制御との両方であってもよいし、光学ヘッドの駆動制御がＸＹＺ方向のうち一部の移動を含み、顔受け部の駆動制御がＸＹＺのうち残りの移動を含んでもよい。このように、これらの駆動制御は、光学ヘッドと被検眼との位置関係を変更する光学部材の駆動制御であれば、何でもよい。
本実施例では、被検眼の動きの検出処理を眼底正面画像の取得毎に行い、眼底の移動量を算出し、学習済モデルを用いて、算出した眼底の移動量から眼底の動きを予測した。これに対し、眼底正面画像であるＳＬＯ画像に関し、１枚の画像の取得中の矩形画像を抽出した順番、又は、ライン画像を取得した順番に被検眼の動きの検出処理を行い、眼底の移動量を算出し、算出した眼底の移動量から眼底の動きの予測を順次行ってもよい。この場合、演算部２１３は、予測により得た予測移動量に関して、走査位置（医用画像の取得位置）の次回の補正タイミングに対応する予測移動量を用いて、当該走査位置を補正することができる。
なお、断層画像の取得タイミングを、固視灯に注視するタイミング（図４（ａ）に示す位置４０５，４０６，４０７のタイミング）に合わせることで、誤差の少ない計測ができると期待できる。また、断層画像の撮影タイミングはマイクロサッカード（図４（ａ）に示すマイクロサッカード４０３等）の終了後としてもよい。マイクロサッカードは周期的な運動ではないので、マイクロサッカードの終了後に撮影を行うことで正確に所望の位置でのＯＣＴ画像が取得できると期待できる。
なお、本実施例では、学習済モデルを用いて被検眼の動きを予測し、予測した被検眼の動きに基づいて走査位置を補正する構成（学習済モデルを用いたトラッキング処理）について述べた。これに対し、ＯＣＴ装置は、当該学習済モデルを用いたトラッキング処理と、従来のように実際に検出した被検眼の動きに応じたトラッキング処理とを、操作者からの指示に応じて切り替え可能に構成されてもよい。例えば、演算部２１３は、操作者の指示に応じて、学習済モデルを用いて予測した動きを用いた取得位置の制御と、実際に検出した被検眼の動きを示す情報を用いた取得位置の制御とを切り替え可能であってよい。なお、検出した被検眼の動きに応じたトラッキング処理としては、公知の任意の方法を用いてよい。例えば、上述したパターンマッチング処理で検出した被検眼の移動量を用いて、次の主走査や走査群の走査位置を補正するものであってよい。
また、ＯＣＴ装置は、プレビュー画面におけるライブ動画像については検出した被検眼の動きに応じたトラッキング処理下で画像を取得し、撮影による静止画像については学習済モデルを用いたトラッキング処理下で画像を取得するように構成されてもよい。例えば、演算部２１３は、実際に検出した被検眼の動きを示す情報を用いて被検眼のライブ動画像の取得位置を制御し、学習済モデルを用いて予測した被検眼の動きを用いて被検眼の静止画像の取得位置を制御してもよい。また、ＯＣＴ装置は、ライブ動画像の撮影と静止画像の撮影とで、それぞれ独立して、学習済モデルを用いたトラッキング処理と検出した被検眼の動きに応じたトラッキング処理とを設定できるように構成されてもよい。さらに、ＯＣＴ装置は、これらトラッキング処理の機能自体をオン・オフ設定可能に構成されてもよい。なお、ライブ動画像について学習済モデルを用いたトラッキング処理を行う場合には、ライブ動画像を表示するＧＵＩ上の眼底正面画像の動画像上において、学習済モデルを用いて予測された被検眼の動きに基づいて断層画像の位置を示すラインを移動させてもよい。
また、トラッキング処理は、眼底における測定光の走査位置を補正するための走査手段の制御である眼底トラッキング処理と、前眼における測定光の照射位置を補正するための光学ヘッドの駆動制御である前眼部トラッキング処理とのうち一方の処理が実行されてもよいし、両方の処理が実行されてもよい。このとき、前眼部トラッキング処理は、撮影時には実行されずに、撮影前の各種調整時には実行されてもよいし、撮影前の各種調整時だけでなく、撮影時にも実行されてもよいし、撮影前の各種調整時には実行されずに、撮影時には実行されてもよい。また、これらの実行要否は、（プレビュー画面等において）操作者の指示に応じて変更可能に構成されてもよい。また、眼底トラッキング処理の実行のタイミングや実行要否の設定は、前眼部トラッキング処理の実行タイミングや実行要否の設定と同様に構成されてもよい。なお、前眼部トラッキング処理は、アライメント処理が完了した後に実行されてもよい。また、眼底トラッキング処理は、フォーカス調整が完了した後に実行されてもよい。ここで、操作者からの指示に応じて撮影のやり直し（再撮影）や後述するリスキャンの終了が選択（撮影キャンセルボタンが押下）された場合に、前眼部トラッキング処理と眼底トラッキング処理とのうち少なくとも一方の処理のオン・オフ設定が変更されてもよいし、維持されてもよい。このとき、例えば、操作者からの指示に応じて撮影のやり直しや後述するリスキャンの終了が選択された場合には、少なくとも一方の処理のオン設定が維持されてもよい。これにより、例えば、操作者は少なくとも一方の処理のオン設定をやり直す必要がないため、操作者の利便性が向上する。
また、上述の実施例においては眼底の動きについて述べた。しかしながら、被検眼の動きの検出や予測移動量に応じた走査位置の補正は、眼底を対象とするものに限定されず、例えば前眼を対象として適用することもできる。また、動きの検出や予測移動量に応じた走査位置の補正は、被検眼の測定に適用されるものに限られない。例えば、被検者の顔、体、心臓、その他の臓器や部位の測定について、上述の構成により、顔や体の動き、心臓の動き（心拍）等の検出や予測移動量に応じた走査位置の補正を行ってもよい。なお、これらの場合、学習データも測定対象に応じたものであればよい。
（変形例１）
被検眼の動きには個人差がある。そのため、被検眼の動きを予測するための学習済モデル（動き予測用の学習済モデル）を被検者毎に調整（チューニング）する学習を行い、その被検者専用の学習済モデルを生成してもよい。例えば、被検者の過去の検査において取得された被検体の動きを示す情報を用いて、被検眼の動きを予測するための汎用的な学習済モデルの転移学習を行い、その被検者専用の学習済モデルを生成することができる。被検者専用の学習済モデルを被検者のＩＤと紐付けて記憶部２１４やサーバ等の外部装置に記憶させておくことで、制御装置２００は、被検者の現在の検査を行う際に、被検者のＩＤに基づいて被検者専用の学習済モデルを特定し、利用することができる。
被検者専用の学習済モデルを用いることで、被検者毎の被検眼の動きの予測の精度を向上させることができ、医用画像の取得位置の補正の精度を向上させることができる。なお、被検者専用の学習済モデルについては、左右眼それぞれについて対応する学習データを用いて、左右眼それぞれについての学習済モデルを生成してもよい。この場合、被検者のＩＤだけでなく、左右眼のそれぞれのＩＤ等に学習済モデルを紐付けて記憶部２１４やサーバ等の外部装置に記憶させておくことで、被検者の現在の検査を行う際に、被検者の左右眼のそれぞれに対応する学習済モデルを利用することができる。また、被検眼の動きを予測するための汎用的な学習済モデルについて、左右眼それぞれに対応する学習データを用いて、左右眼それぞれに対応する汎用的な学習済モデルを生成してもよい。
（変形例２）
なお、制御装置２００は、撮影により取得した画像、例えば、演算部２１３による予測された被検眼の動きを用いた取得位置の制御下で取得された画像等を用いて様々な画像処理を行ってよい。例えば、制御装置２００は、撮影により取得した画像について、高画質化用の学習済モデル（高画質化モデル）を用いて画質を改善した高画質画像を生成してもよい。ここで、画質の改善とは、ノイズの低減や、撮影対象を観察しやすい色や階調への変換、解像度や空間分解能の向上、及び解像度の低下を抑えた画像サイズの拡大等を含む。
高画質化用の機械学習モデルとしては、例えばＣＮＮ等を用いることができる。また、高画質化モデルの学習データとしては、前眼画像や眼底正面画像等の各種画像を入力データとし、入力された画像に対応する、例えば高画質化処理を施した高画質な画像を出力データとする。ここで、高画質化処理とは、空間的に同じ位置を複数回撮影した画像について位置合わせを行い、それら位置合わせ済みの画像を加算平均処理することが挙げられる。なお、高画質化処理は加算平均処理に限られず、例えば、平滑化フィルタを用いた処理や最大事後確率推定処理（ＭＡＰ推定処理）、階調変換処理等であってもよい。また、高画質化処理された画像としては、例えば、ノイズ除去とエッジ強調などのフィルタ処理を行った画像でもよいし、低輝度な画像から高輝度な画像とするようなコントラストが調整された画像を用いてもよい。さらに、高画質化モデルに係る学習データの出力データは、高画質な画像であればよいため、入力データである断層画像を撮影した際のＯＣＴ装置よりも高性能なＯＣＴ装置を用いて撮影された画像や、高負荷な設定により撮影された画像であってもよい。
ただし、適切に高画質化処理が行われていない画像を学習データの出力データとして用いて機械学習を行うと、当該学習データを用いて学習した学習済モデルを用いて得た画像も適切に高画質化処理が行われていない画像となってしまう可能性がある。そのため、そのような画像を含むペアを教師データから取り除くことで、学習済モデルを用いて適切でない画像が生成される可能性を低減させることができる。
制御装置２００は、このような高画質化モデルを用いて高画質化処理を行うことで、精度良く高画質化された画像をより高速に取得することができる。
なお、高画質化モデルは、入力データである各種画像の種類毎に用意されてもよい。例えば、前眼画像用の高画質化モデルや、眼底正面画像用の高画質化モデル、断層画像用の高画質化モデル、ＯＣＴＡ正面画像用の高画質化モデル等が用意されてよい。また、ＯＣＴＡ正面画像やＥｎ−Ｆａｃｅ画像については、画像を生成するための深度範囲毎に高画質化モデルが用意されてもよい。例えば、表層用の高画質化モデルや深層用の高画質化モデル等が用意されてよい。さらに、高画質化モデルは、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）毎の画像について学習を行ったものでもよいし、撮影部位に関わらず学習を行ったものであってもよい。
このとき、例えば、眼底ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像を高画質化し、さらに、前眼ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼ＯＣＴＡ正面画像を高画質化してもよい。また、高画質化モデルは、撮影部位を関わらず学習を行ったものであってもよい。ここで、例えば、眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像は、撮影対象である血管の分布の様子が互いに比較的類似していることがある。このように、撮影対象の様子が互いに比較的類似しているような複数の種類の医用画像では、互いの特徴量が比較的類似していることがある。そこで、例えば、眼底ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像を高画質化するだけでなく、前眼ＯＣＴＡ正面画像も高画質化可能に構成されてもよい。また、例えば、前眼ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼ＯＣＴＡ正面画像を高画質化するだけでなく、眼底ＯＣＴＡ正面画像も高画質化可能に構成されてもよい。すなわち、眼底ＯＣＴＡ正面画像と前眼ＯＣＴＡ正面画像との少なくとも一つの種類の正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像と前眼ＯＣＴＡ正面画像との少なくとも一つの種類の正面画像を高画質化可能に構成されてもよい。
ここで、眼底撮影可能なＯＣＴ装置において、前眼も撮影可能である場合を考える。このとき、ＯＣＴＡのＥｎ−Ｆａｃｅ画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴＡ正面画像が適用され、また、前眼部撮影モードにおいては前眼ＯＣＴＡ正面画像が適用されてもよい。このとき、高画質化ボタンが押下されると、例えば、眼底撮影モードにおいては、ＯＣＴＡのＥｎ−Ｆａｃｅ画像の表示領域において、低画質の眼底ＯＣＴＡ正面画像と高画質の眼底ＯＣＴＡ正面画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。また、高画質化ボタンが押下されると、例えば、前眼部撮影モードにおいては、ＯＣＴＡのＥｎ−Ｆａｃｅ画像の表示領域において、低画質の前眼ＯＣＴＡ正面画像と高画質の前眼ＯＣＴＡ正面画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。
なお、眼底撮影可能なＯＣＴ装置において、前眼も撮影可能とする場合に、前眼アダプタが装着可能に構成されてもよい。また、前眼アダプタを用いずに、ＯＣＴ装置の光学系が被検眼の眼軸長程度の距離、移動可能に構成されてもよい。このとき、ＯＣＴ装置のフォーカス位置が前眼に結像する程度、正視側に大きく変更可能に構成されてもよい。
また、断層画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴ断層画像が適用され、また、前眼部撮影モードにおいては前眼ＯＣＴ断層画像が適用されてもよい。また、上述した眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像の高画質化処理は、例えば、眼底ＯＣＴ断層画像及び前眼ＯＣＴ断層画像の高画質化処理として適用することも可能である。このとき、高画質化ボタンが押下されると、例えば、眼底撮影モードにおいては、断層画像の表示領域において、低画質の眼底ＯＣＴ断層画像と高画質の眼底ＯＣＴ断層画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。また、高画質化ボタンが押下されると、例えば、前眼部撮影モードにおいては、断層画像の表示領域において、低画質の前眼ＯＣＴ断層画像と高画質の前眼ＯＣＴ断層画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。
また、断層画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴＡ断層画像が適用され、また、前眼部撮影モードにおいては前眼ＯＣＴＡ断層画像が適用されてもよい。また、上述した眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像の高画質化処理は、例えば、眼底ＯＣＴＡ断層画像及び前眼ＯＣＴＡ断層画像の高画質化処理として適用することも可能である。このとき、例えば、眼底撮影モードにおいては、断層画像の表示領域において、眼底ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置の眼底ＯＣＴ断層画像に重畳して表示されるように構成されてもよい。また、例えば、前眼部撮影モードにおいては、断層画像の表示領域において、前眼ＯＣＴＡ断層画像における血管領域を示す情報が、対応する位置の前眼ＯＣＴ断層画像に重畳して表示されてもよい。
このように、例えば、複数の種類の医用画像の特徴量（撮影対象の様子）が互いに比較的類似していると考えられるような場合には、複数の種類の医用画像の少なくとも一つの種類の医用画像を学習データとして学習して得た高画質化モデルを用いて、複数の種類の医用画像の少なくとも一つの種類の医用画像を高画質化可能に構成されてもよい。これにより、例えば、共通の学習済モデル（共通の高画質化モデル）を用いて、複数の種類の医用画像の高画質化を実行可能に構成することができる。
なお、眼底撮影モードの表示画面と前眼部撮影モードの表示画面とは、同じ表示レイアウトであってもよいし、それぞれの撮影モードに対応する表示レイアウトであってもよい。眼底撮影モードと前眼部撮影モードとで、撮影条件や解析条件等の種々の条件が同じであってもよいし、異なっていてもよい。
ここで、高画質化処理の対象画像は、例えば、（複数の深度範囲に対応する）複数のＯＣＴＡ正面画像（ＯＣＴＡのＥｎ−Ｆａｃｅ画像、モーションコントラストのＥｎ−Ｆａｃｅ画像）であってもよい。また、高画質化処理の対象画像は、例えば、１つの深度範囲に対応する１つのＯＣＴＡ正面画像であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像の代わりに、例えば、輝度の正面画像（輝度のＥｎ−Ｆａｃｅ画像）、あるいはＢスキャン画像であるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像だけでなく、例えば、輝度の正面画像及びＢスキャン画像であるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）等の種々の医用画像であってもよい。すなわち、高画質化処理の対象画像は、例えば、表示部５０の表示画面上に表示されている種々の医用画像の少なくとも１つであればよい。このとき、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いてＯＣＴＡ正面画像を高画質化処理するだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いてＯＣＴ断層画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴＡ正面画像の表示に変更されるだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。このとき、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてＯＣＴＡ正面画像上で移動可能に構成されてもよい。また、高画質化ボタンの表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応するＯＣＴ断層画像を高画質化処理して得た高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。
また、ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置のＢスキャン画像であるＯＣＴ断層画像に重畳して表示されてもよい。このとき、例えば、ＯＣＴ断層画像が高画質化されると、対応する位置のＯＣＴＡ断層画像が高画質化されてもよい。そして、高画質化して得たＯＣＴＡ断層画像における血管領域を示す情報が、高画質化して得たＯＣＴ断層画像に重畳して表示されてもよい。なお、血管領域を示す情報は、色等の識別可能な情報であれば何でもよい。また、血管領域を示す情報の重畳表示と非表示とが検者からの指示に応じて変更可能に構成されてもよい。また、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像上で移動されると、ラインの位置に応じてＯＣＴ断層画像の表示が更新されてもよい。このとき、対応する位置のＯＣＴＡ断層画像も更新されるため、ＯＣＴＡ断層画像から得られる血管領域を示す情報の重畳表示が更新されてもよい。これにより、例えば、任意の位置において、血管領域と注目領域との位置関係を容易に確認しながら、血管領域の３次元の分布や状態を効果的に確認することができる。また、ＯＣＴＡ断層画像の高画質化は、高画質化用の学習済モデルを用いる代わりに、対応する位置で取得した複数のＯＣＴＡ断層画像の加算平均処理等による高画質化処理であってもよい。また、ＯＣＴ断層画像は、ＯＣＴボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴ断層画像であってもよい。また、ＯＣＴＡ断層画像は、ＯＣＴＡボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴＡ断層画像であってもよい。なお、任意の位置は、少なくとも１つの任意の位置であればよく、また、検者からの指示に応じて変更可能に構成されてもよい。このとき、複数の位置に対応する複数の疑似断層画像が再構成されるように構成されてもよい。
なお、表示される断層画像（例えば、ＯＣＴ断層画像あるいはＯＣＴＡ断層画像）は、１つだけ表示されてもよいし、複数表示されてもよい。複数の断層画像が表示される場合には、それぞれ異なる副走査方向の位置で取得された断層画像が表示されてもよいし、例えばクロススキャン等により得られた複数の断層画像を高画質化して表示する場合には、異なる走査方向の画像がそれぞれ表示されてもよい。また、例えばラジアルスキャン等により得られた複数の断層画像を高画質化して表示する場合には、一部選択された複数の断層画像（例えば基準ラインに対して互いに対称な位置の２つの断層画像）がそれぞれ表示されてもよい。さらに、経過観察用の表示画面（フォローアップ用の表示画面）に複数の断層画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。このとき、表示される複数の断層画像は、被検眼の所定部位の異なる日時に得た複数の断層画像であってもよいし、同一検査日の異なる時間に得た複数の断層画像であってもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいて断層画像に高画質化処理を実行してもよい。
同様に、ＳＬＯ画像を高画質化して表示する場合には、例えば、同一の表示画面に表示されるＳＬＯ画像を高画質化して表示してもよい。さらに、輝度の正面画像を高画質化して表示する場合には、例えば、同一の表示画面に表示される輝度の正面画像を高画質化して表示してよい。さらに、経過観察用の表示画面に複数のＳＬＯ画像や輝度の正面画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいてＳＬＯ画像や輝度の正面画像に高画質化処理を実行してもよい。なお、断層画像、ＳＬＯ画像、及び輝度の正面画像の表示は例示であり、これらの画像は所望の構成に応じて任意の態様で表示されてよい。また、ＯＣＴＡ正面画像、断層画像、ＳＬＯ画像、及び輝度の正面画像の少なくとも２つ以上が、一度の指示で高画質化され表示されてもよい。
このような構成により、高画質化処理して得た高画質画像を表示制御部２１５が表示部５０に表示させることができる。なお、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つの条件が選択されている場合には、表示画面が遷移されても、選択された条件が維持されるように構成されてもよい。なお、各種高画質画像や上記ライン、血管領域を示す情報等の表示の制御は、表示制御部２１５によって行われてよい。
また、高画質化モデルは、表示制御部２１５によって表示部５０に表示されるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に用いられてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。例えば、アライメント処理に用いる前眼画像について、前眼画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。同様に各種画像における所定領域の検出処理について用いられる各種画像について、それぞれの画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。
このとき、例えば、検者からの指示に応じて高画質化ボタンが押下された場合には、異なる種類の複数のライブ動画像（例えば、前眼画像、眼底正面画像、断層画像）の表示を（同時に）、それぞれ高画質化処理されることにより得た高画質動画像の表示に変更されるように構成されてもよい。このとき、高画質動画像の表示は、各フレームを高画質化処理して得た高画質画像の連続表示であってもよい。また、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて前眼画像を高画質化処理するだけでなく、眼底正面画像に対応する高画質化モデルを用いて眼底正面画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて生成された高画質な前眼画像の表示に変更されるだけでなく、眼底正面画像に対応する高画質化モデルを用いて生成された高画質な眼底正面画像の表示に変更されるように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、眼底正面画像に対応する高画質化モデルを用いて眼底正面画像を高画質化処理するだけでなく、断層画像に対応する高画質化モデルを用いて断層画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、眼底正面画像に対応する高画質化モデルを用いて生成された高画質な眼底正面画像の表示に変更されるだけでなく、断層画像に対応する高画質化モデルを用いて生成された高画質な断層画像の表示に変更されるように構成されてもよい。このとき、断層画像の位置を示すラインが眼底正面画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じて眼底正面画像上で移動可能に構成されてもよい。また、高画質化ボタンの表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応する断層画像を高画質化処理して得た高画質な断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。
これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、プレビュー画面を確認しながら操作者がアライメント位置を修正する場合に、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。また、制御装置２００は、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーチファクト領域等の部分領域が再度撮影（リスキャン）されるように、上述した走査手段を駆動制御してもよい。なお、被検眼の動き等の状態によっては、１回のリスキャンでは上手く撮影できない場合があるため、所定の回数のリスキャンが繰り返されるように駆動制御されてもよい。このとき、所定の回数のリスキャンの途中でも、操作者からの指示に応じて（例えば、撮影キャンセルボタンの押下後に）リスキャンが終了されるように構成されてもよい。このとき、操作者からの指示に応じてリスキャンが終了されるまでの撮影データが保存されるように構成されてもよい。なお、例えば、撮影キャンセルボタンの押下後に確認ダイアログが表示され、撮影データの保存か、撮影データの破棄かを、操作者からの指示に応じて選択可能に構成されてもよい。また、例えば、撮影キャンセルボタンの押下後には、（現在のリスキャンは完了するまで実行されるが）次のリスキャンは実行されずに、確認ダイアログにおける操作者からの指示（入力）があるまで待機するように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。
ここで、オートアライメント中では、被検眼Ｅの網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン画像）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。
また、スキャンパターン等が異なる撮影モード毎に異なる高画質化モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化モデルが用いられてもよい。
なお、高画質化モデルによる高画質化処理の実行（又は高画質化処理して得た高画質画像の表示）の要否の判断は、表示画面に設けられる高画質化ボタンについて、操作者の指示に応じて行われてもよいし、予め記憶部２１４に記憶されている設定に応じて行われてもよい。なお、学習済モデル（高画質化モデル）を用いた高画質化処理である旨を高画質化ボタンのアクティブ状態等で表示してもよいし、その旨をメッセージとして表示画面に表示させてもよい。また、高画質化処理の実行は、眼科装置の前回の起動時における実行状態を維持してもよいし、被検者毎に前回の検査時の実行状態を維持してもよい。
また、高画質化モデル等の種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部２１４に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部２１４に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン画像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化エンジンにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成されてもよい。
なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されても良いし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン画像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン画像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
また、高画質化モデルは、検者からの指示に応じて設定（変更）された割合の値を学習データとする追加学習により更新されてもよい。例えば、入力画像が比較的暗いときに、高画質画像に対する入力画像の割合を検者が高く設定する傾向にあれば、学習済モデルはそのような傾向となるように追加学習することになる。これにより、例えば、検者の好みに合った合成の割合を得ることができる学習済モデルとしてカスタマイズすることができる。このとき、設定（変更）された割合の値を追加学習の学習データとして用いるか否かを、検者からの指示に応じて決定するためのボタンが表示画面に表示されていてもよい。また、学習済モデルを用いて決定された割合をデフォルトの値とし、その後、検者からの指示に応じて割合の値をデフォルトの値から変更可能となるように構成されてもよい。また、高画質化モデルは、高画質化モデルを用いて生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。
（変形例３）
また、制御装置２００は、撮影により取得した画像について、画像セグメンテーション用の学習済モデルを用いてラベル画像を生成し、画像セグメンテーション処理を行ってもよい。ここでラベル画像とは、当該断層画像について画素毎に領域のラベルが付されたラベル画像をいう。具体的には、取得された画像に描出されている領域群のうち、任意の領域を特定可能な画素値（以下、ラベル値）群によって分けている画像のことである。ここで、特定される任意の領域には関心領域や関心体積（ＶＯＩ：Ｖｏｌｕｍｅ Ｏｆ Ｉｎｔｅｒｅｓｔ）等が含まれる。
画像から任意のラベル値を持つ画素の座標群を特定すると、画像中において対応する網膜層等の領域を描出している画素の座標群を特定できる。具体的には、例えば、網膜を構成する神経節細胞層を示すラベル値が１である場合、画像の画素群のうち画素値が１である座標群を特定し、画像から該座標群に対応する画素群を抽出する。これにより、当該画像における神経節細胞層の領域を特定できる。
なお、画像セグメンテーション処理には、ラベル画像に対する縮小又は拡大処理を実施する処理が含まれてもよい。このとき、ラベル画像の縮小又は拡大に用いる画像補完処理手法は、未定義のラベル値や対応する座標に存在しないはずのラベル値を誤って生成しないような、最近傍法等を使うものとする。
画像セグメンテーション処理とは、画像に描出された臓器や病変といった、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）やＶＯＩと呼ばれる領域を、画像診断や画像解析に利用するために特定する処理のことである。例えば、画像セグメンテーション処理によれば、後眼部を撮影対象としたＯＣＴの撮影によって取得された画像から、網膜を構成する層群の領域群を特定することができる。なお、画像に特定すべき領域が描出されていなければ特定される領域の数は０である。また、画像に特定すべき複数の領域群が描出されていれば、特定される領域の数は複数であってもよいし、又は、該領域群を含むように囲む領域１つであってもよい。
特定された領域群は、その他の処理において利用可能な情報として出力される。具体的には、例えば、特定された領域群のそれぞれを構成する画素群の座標群を数値データ群として出力することができる。また、例えば、特定された領域群のそれぞれを含む矩形領域や楕円領域、長方体領域、楕円体領域等を示す座標群を数値データ群として出力することもできる。さらに、例えば、特定された領域群の境界にあたる直線や曲線、平面、又は曲面等を示す座標群を数値データ群として出力することもできる。また、例えば、特定された領域群を示すラベル画像を出力することもできる。
ここで、画像セグメンテーション用の機械学習モデルとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）を用いることができる。ここで、図９を参照して、本変形例に係る機械学習モデルを、ＣＮＮで構成する例について説明する。図９は、画像セグメンテーション用の学習済モデルの構成９００の一例を示している。当該学習済モデルの例では、例えば、断層画像Ｉｍ９０１が入力されると、特定された領域群を示すラベル画像Ｉｍ９０２を出力することができる。
図９に示す機械学習モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該機械学習モデルの構成９００に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
なお、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、より精度の高いアライメント位置の情報を出力したり、処理時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
なお、本実施例で用いるＣＮＮの構成９００は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ−ｎｅｔ型の機械学習モデルである。Ｕ−ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等をしてもよい。ＣＮＮのこれらのステップを通して、撮影画像の特徴を抽出することができる。
なお、本変形例に係る機械学習モデルとしては、例えば、図９で示したようなＣＮＮ（Ｕ−ｎｅｔ型の機械学習モデル）、ＣＮＮとＬＳＴＭを組み合わせたモデル、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることができる。また、所望の構成に応じて、物体認識を行う機械学習モデル等を用いることもできる。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルを用いることもできる。領域単位で物体認識を行う機械学習モデルとしては、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。
また、画像セグメンテーション用の機械学習モデルの学習データは、ＯＣＴにより取得された断層画像を入力データとし、当該断層画像について画素毎に領域のラベルが付されたラベル画像を出力データとする。ラベル画像としては、例えば、内境界膜（ＩＬＭ）、神経線維層（ＮＦＬ）、神経節細胞層（ＧＣＬ）、視細胞内節外節接合部（ＩＳＯＳ）、網膜色素上皮層（ＲＰＥ）、ブルッフ膜（ＢＭ）、及び脈絡膜等のラベルが付されたラベル画像を用いることができる。なお、その他の領域として、例えば、硝子体、強膜、外網状層（ＯＰＬ）、外顆粒層（ＯＮＬ）、内網状層（ＩＰＬ）、内顆粒層（ＩＮＬ）、角膜、前房、虹彩、及び水晶体等のラベルが付された画像を用いてもよい。
また、画像セグメンテーション用の機械学習モデルの入力データは断層画像に限られない。前眼画像や眼底正面画像、ＯＣＴＡ画像等であってもよい。この場合、学習データは、各種画像を入力データとし、各種画像の画素毎に領域名等がラベル付けされたラベル画像を出力データとすることができる。例えば、学習データの入力データが眼底正面画像である場合には、出力データは、視神経乳頭の周辺部、Ｄｉｓｃ、及びＣｕｐ等のラベルが付された画像であってよい。
なお、出力データとして用いられるラベル画像は、医師等により断層画像において各領域にラベルが付された画像であってもよいし、ルールベースの領域検出処理により各領域にラベルが付された画像であってもよい。ただし、適切にラベル付けが行われていないラベル画像を学習データの出力データとして用いて機械学習を行うと、当該学習データを用いて学習した学習済モデルを用いて得た画像も適切にラベル付けが行われていないラベル画像となってしまう可能性がある。そのため、そのようなラベル画像を含むペアを学習データから取り除くことで、学習済モデルを用いて適切でないラベル画像が生成される可能性を低減させることができる。ここで、ルールベースの領域検出処理とは、例えば網膜の形状の規則性等の既知の規則性を利用した検出処理をいう。
制御装置２００は、このような画像セグメンテーション用の学習済モデルを用いて、画像セグメンテーション処理を行うことで、各種画像について特定の領域を高速に精度良く検出することが期待できる。なお、画像セグメンテーション用の学習済モデルは、変形例３で述べた所定領域検出用の学習済モデルとして用いられてもよい。
なお、画像セグメンテーション用の学習済モデルも、入力データである各種画像の種類毎に用意されてもよい。また、ＯＣＴＡ正面画像やＥｎ−Ｆａｃｅ画像については、画像を生成するための深度範囲毎に学習済モデルが用意されてもよい。さらに、画像セグメンテーション用の学習済モデルも、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）毎の画像について学習を行ったものでもよいし、撮影部位を関わらず学習を行ったものであってもよい。
また、画像セグメンテーション用の学習済モデルについては、操作者の指示に応じて手動で修正されたデータを学習データとして追加学習が行われてもよい。また、追加学習の要否の判断やサーバにデータを送信するか否かの判断も同様の方法で行われてよい。これらの場合にも、各処理の精度を向上させたり、検者の好みの傾向に応じた処理を行えたりすることが期待できる。
さらに、制御装置２００は、学習済モデルを用いて、被検眼Ｅの部分領域（例えば、注目部位、アーチファクト領域、異常部位等）を検出する場合には、検出した部分領域毎に所定の画像処理を施すこともできる。例として、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの部分領域を検出する場合について述べる。この場合には、検出された少なくとも２つの部分領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は部分領域毎の疾病等をより適切に診断することができる。なお、検出された部分領域毎に異なる画像処理のパラメータを用いる構成については、学習済モデルを用いずに被検眼Ｅの部分領域を検出して求めた被検眼Ｅの部分領域について同様に適用されてもよい。
（変形例４）
上述した様々な実施例及び変形例における表示制御部２１５は、断層画像撮影後に表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、毛細血管領域、動脈領域、静脈領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、表示制御部２１５は、上述したような様々なアーチファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示部５０に表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、及びシュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、標準データベースを用いて得た標準値や標準範囲と、解析結果とを比較して得た比較結果が表示されてもよい。
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。
また、画像解析を行うための学習データは、画像セグメンテーション処理用の学習済モデルを用いて生成されたラベル画像と、当該ラベル画像を用いた医用画像の解析結果とを含んだものでもよい。この場合、制御装置２００は、例えば、解析結果生成用の学習済モデルを用いて、画像セグメンテーション処理の結果から、断層画像の解析結果を生成する、解析結果生成部の一例として機能することができる。さらに、学習済モデルは、後述のＥｎ−Ｆａｃｅ画像及びモーションコントラスト正面画像（ＯＣＴＡのＥｎ−Ｆａｃｅ画像）のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。
また、高画質化モデルを用いて生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。この場合、学習データに含まれる入力データとしては、高画質化用の学習済モデルを用いて生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。なお、学習データは、学習済モデルを用いて高画質化された画像について、手動又は自動で少なくとも一部に修正が施された画像であってもよい。
また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、操作者からの指示に応じて、解析結果生成用の学習済モデルを用いて得た解析結果が表示されるように構成されてもよい。
また、上述した実施例及び変形例における表示制御部２１５は、表示画面のレポート画面において、糖尿病網膜症や、緑内障、加齢黄斑変性症等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位等の位置を画像上に表示されてもよいし、異常部位の状態等を文字等によって表示されてもよい。さらに、異常部位等の分類結果（例えば、カーティン分類）を診断結果として表示させてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。また、診断結果は、被検者の今後の診療方針等に関する情報であってもよい。また、診断結果は、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、及び診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報であってもよい。このとき、例えば、検者からの指示に応じて入力された診断名等の診断結果よりも確からしい診断結果を医用支援情報として表示させてもよい。また、複数の種類の医用画像が用いられた場合には、例えば、診断結果の根拠となり得る種類の医用画像が識別可能に表示されてもよい。また、診断結果の根拠としては、学習済モデルが抽出した特徴量を可視化したマップで、例えば、特徴量をカラーで示したカラーマップ（ヒートマップ）であってもよい。このとき、例えば、ヒートマップを入力データとした医用画像に重畳表示させてもよい。
なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。
また、学習データは、画像セグメンテーション処理用の学習済モデルを用いて生成されたラベル画像と、当該ラベル画像を用いた医用画像の診断結果とを含んだものでもよい。この場合、制御装置２００は、例えば、診断結果生成用の学習済モデルを用いて、画像セグメンテーション処理の結果から、断層画像の診断結果を生成する、診断結果生成部の一例として機能することができる。
さらに、高画質化用の学習済モデルを用いて生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。この場合、学習データに含まれる入力データとしては、高画質化用の学習済モデルを用いて生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。なお、学習データは、学習済モデルを用いて高画質化された画像について、手動又は自動で少なくとも一部に修正が施された画像であってもよい。
また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルを用いて得た診断結果が表示されるように構成されてもよい。
また、例えば、緑内障の診断結果を得たい場合には、視神経乳頭を含む医用画像（断層画像や、カラー眼底正面画像、輝度正面画像、ＯＣＴＡ正面画像等）や解析マップ（ＯＣＴデータから得た層厚マップや、ＯＣＴＡデータから得た血管密度マップ等）を入力データとしてもよい。このとき、これらのうちの１つの情報を入力データとしてもよいし、複数の種類の情報を入力データとしてもよい。また、例えば、複数の種類の情報を入力データが、輝度正面画像及びＯＣＴＡ正面画像である場合には、少なくとも一部が共通であるＯＣＴデータを用いて得た共通の深度範囲の正面画像であってもよいし、互いに異なる深度範囲の正面画像であってもよい。また、例えば、緑内障の診断結果を得たい場合には、視神経乳頭の周辺をサークルスキャンして得た断層画像やＯＣＴＡ断層画像を入力データとしてもよい。また、例えば、緑内障の診断結果を得たい場合には、視神経乳頭をクロススキャンして得た複数の断層画像や複数のＯＣＴＡ断層画像を入力データとしてもよい。また、例えば、緑内障の診断結果は、緑内障の種類や状態（程度）であってもよい。このとき、例えば、緑内障の診断結果は、緑内障の前視野緑内障（ＰＰＧ：Ｐｒｅｐｅｒｉｍｅｔｒｉｃ Ｇｌａｕｃｏｍａ）、前期、中期、後期等であってもよい。また、緑内障の診断結果は、視野欠損等の視野異常の疑いは低いが、視神経乳頭陥凹の拡大や視神経線維の欠損等の網膜に関する形態的な変化（異常）の疑いが高い状態、緑内障の疑いが低い状態等であってもよい。
なお、入力データとして用いる情報毎又は情報の種類毎に学習済モデルを用意し、学習済モデルを用いて、診断結果を取得してもよい。この場合、各学習済モデルから出力された情報に統計的な処理を行い、最終的な診断結果を決定してもよい。例えば、各学習済モデルから出力された情報の割合を各種類の情報毎に加算し、他の情報よりも割合の合計が高い情報を最終的な診断結果として決定してもよい。なお、統計的な処理は合計の算出に限られず、平均値や中央値の算出等であってもよい。また、例えば、各学習済モデルから出力された情報のうち、他の情報よりも割合の高い情報（最も割合の高い情報）を用いて診断結果を決定してもよい。同様に、各学習済モデルから出力された情報のうち、閾値以上である割合の情報を用いて診断結果を決定してもよい。
また、操作者の指示（選択）に応じて、決定された診断結果の良否の判定（承認）が可能に構成されてもよい。また、操作者の指示（選択）に応じて、各学習済モデルから出力された情報から診断結果を決定してもよい。このとき、例えば、表示制御部２１５が、各学習済モデルから出力された情報及びその割合を並べて表示部５０に表示させてもよい。そして、操作者が、例えば、他の情報よりも割合の高い情報を選択することにより、選択された情報を診断結果として決定するように構成されてもよい。さらに、各学習済モデルから出力された情報から、機械学習モデルを用いて、診断結果を決定してもよい。この場合には、機械学習アルゴリズムとして、診断結果生成に用いられた機械学習アルゴリズムとは異なる種類の機械学習アルゴリズムであってもよく、例えば、サポートベクターマシン、アダブースト、ベイジアンネットワーク、又はランダムフォレスト等を用いてよい。
なお、上述した種々の学習済モデルの学習は、教師あり学習（ラベル付きの学習データで学習）だけでなく、半教師あり学習であってもよい。半教師あり学習は、例えば、複数の識別器（分類器）がそれぞれ教師あり学習を行った後、ラベルのない学習データを識別（分類）し、識別結果（分類結果）の信頼度に応じて（例えば、確からしさが閾値以上の識別結果を）自動的にラベル付け（アノテーション）し、ラベル付けされた学習データで学習を行う手法である。半教師あり学習は、例えば、共訓練（Ｃｏ−Ｔｒａｉｎｉｎｇ、あるいはＭｕｌｔｉｖｉｅｗ）であってもよい。このとき、診断結果生成用の学習済モデルは、例えば、正常な被検体の医用画像を識別する第１の識別器と、特定の病変を含む医用画像を識別する第２の識別器とを用いて半教師あり学習（例えば、共訓練）して得た学習済モデルであってもよい。なお、診断目的に限らず、例えば撮影支援等を目的としてもよい。この場合、第２の識別器は、例えば、注目部位やアーチファクト領域等の部分領域を含む医用画像を識別するものであってもよい。
また、上述した様々な実施例及び変形例に係る表示制御部２１５は、表示画面のレポート画面において、上述したような注目部位、アーチファクト領域、及び異常部位等の部分領域の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
また、異常部位を検出する場合には、制御装置２００は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｋｓ）や変分オートエンコーダー（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ−Ｅｎｃｏｄｅｒ）を用いてもよい。例えば、医用画像の生成を学習して得た生成器と、生成器が生成した新たな医用画像と本物の医用画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。
ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された医用画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな医用画像を生成する。その後、入力された医用画像と生成された新たな医用画像との差分を異常部位として抽出（検出）することができる。また、ＶＡＥを用いる場合には、例えば、入力された医用画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな医用画像を生成する。その後、入力された医用画像と生成された新たな医用画像像との差分を異常部位として抽出することができる。
さらに、制御装置２００は、畳み込みオートエンコーダー（ＣＡＥ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ−Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ医用画像を学習させる。これにより、推定時に異常部位がある医用画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない医用画像が出力される。その後、ＣＡＥに入力された医用画像とＣＡＥから出力された医用画像の差分を異常部位として抽出することができる。
これらの場合、制御装置２００は、敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダーに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、制御装置２００は、高速に精度よく異常部位を検出することが期待できる。例えば、異常部位の検出精度の向上のために異常部位を含む医用画像を学習データとして数多く集めることが難しい場合であっても、比較的に数多く集め易い正常な被検体の医用画像を学習データとして用いることができる。このため、例えば、異常部位を精度よく検出するための学習を効率的に行うことができる。ここで、オートエンコーダーには、ＶＡＥやＣＡＥ等が含まれる。また、敵対的生成ネットワークの生成部の少なくとも一部がＶＡＥで構成されてもよい。これにより、例えば、同じようなデータを生成してしまう現象を低減しつつ、比較的鮮明な画像を生成することができる。例えば、制御装置２００は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダーに入力された医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部２１５は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダーに入力された医用画像との差に関する情報を、異常部位に関する情報として表示部５０に表示させることができる。
また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。
また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元ＯＣＴ画像（三次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタスキャン）断層画像とをセットとする入力データ等も考えられる。
なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、処理の結果を向上することができる。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、操作者は、撮影直後であっても精度の良い結果を確認することができる。
また、例えば、特定の物体が認識されると、認識された物体を囲う枠がライブ動画像に重畳表示させるように構成されてもよい。このとき、物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、例えば、物体を囲う枠の色が変更される等のように強調表示されてもよい。これにより、検者は、物体をライブ動画上で容易に識別することができる。
なお、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。また、例えば、結果の精度が低い医用画像については、検者が該医用画像上に、学習済モデルが抽出した特徴量を可視化したマップ（ヒートマップ）を確認しながらラベル付け（アノテーション）した画像を入力データとして追加学習するように構成されてもよい。例えば、学習済モデルにおける結果を出力する直前等のレイヤー上のヒートマップにおいて、注目すべき箇所が検者の意図と異なる場合には、検者が注目すべきと考える箇所にラベル付け（アノテーション）した医用画像を追加学習してもよい。これにより、例えば、学習済モデルは、医用画像上の部分領域であって、学習済モデルの出力結果に対して比較的影響が大きな部分領域の特徴量を、他の領域よりも優先して（重みを付けて）追加学習することができる。
ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワークを用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダー（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。また、学習には、各ユニット（各ニューロン、あるいは各ノード）をランダムに不活性化する手法（ドロップアウト）が用いられてもよい。また、学習には、多階層のニューラルネットワークの各層に伝わったデータを、活性化関数（例えばＲｅＬｕ関数）が適用される前に、正規化する手法（バッチ正規化）が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。
なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である制御装置２００による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
また、上述した物体認識や、セグメンテーション、高画質化等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ−ｎｅｔ型の機械学習モデルが適用可能である。Ｕ−ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
また、上述した物体認識や、セグメンテーション、高画質化等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。
また、機械学習モデルは、例えば、カプセルネットワーク（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン、あるいは各ノード）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
（変形例５）
上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した種々の学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。
なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。ここで、断層画像や眼底正面画像のライブ動画像としては、演算部２１３による予測された被検眼の動きを用いた取得位置の制御下で取得された画像を用いることができる。このようなプレビュー画像が表示される場合、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように制御装置２００を構成してもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層等に関する値（例えば、コントラスト値あるいは強度値）が閾値を超える（あるいはピーク値になる）ように、ＯＣＴフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層が深さ方向における所定の位置になるように、ＯＣＴのコヒーレンスゲート調整が行われるように構成されてもよい。
これらの場合には、制御装置２００は、学習済モデルを用いて、動画像について高画質化処理を行って、高画質な動画像を生成することができる。また、駆動制御部２１６は、高画質な動画像が表示された状態で、セグメンテーション処理等により得た注目部位等の部分領域が表示領域における所定の位置になるように、参照ミラー１１５等の撮影範囲を変更するための光学部材を駆動制御することができる。このような場合には、駆動制御部２１６は、精度の高い情報に基づいて、所望される領域が表示領域の所定の位置になるように自動的にアライメント処理を行うことができる。なお、撮影範囲を変更する光学部材としては、例えばコヒーレンスゲート位置を調整する光学部材であってよく、具体的には参照ミラー１１５であってよい。また、コヒーレンスゲート位置は、測定光路長及び参照光路長の光路長差を変更する光学部材によって調整されることができ、当該光学部材は、例えば、不図示の測定光の光路長を変更するためのミラー等であってもよい。なお、撮影範囲を変更する光学部材は、例えばステージ部（不図示）であってもよい。また、駆動制御部２１６は、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーチファクト領域等の部分領域が再度撮影（リスキャン）されるように、上述した走査部を駆動制御してもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各種調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。なお、ＯＣＴフォーカス調整や、アライメント調整、コヒーレンスゲート調整等の各種調整や撮影開始、再度撮影等は、演算部２１３による予測された被検眼の動きを用いた取得位置の制御下で行われてよい。
上述のように、アライメント調整やＯＣＴフォーカス調整等の各種調整は学習済モデルを用いて行われてもよい。このような場合には、学習済モデルを用いて各種調整を行う場合には、それぞれの調整を高速に精度良く行えることが期待できる。
例えば、アライメント調整は、学習済モデルを用いて前眼画像のライブ動画像の少なくとも１つのフレームにおける所定領域を検出し、所定領域が前眼画像における所定のアライメント範囲に入るように、光学ヘッドを配置すべきＸＹ方向の位置を求めてもよい。また、Ｚ方向の位置に関しては、前眼画像のライブ動画像の少なくとも１つのフレームにおける所定領域のコントラストが最大になるように、光学ヘッドを配置すべきＺ方向の位置を求めてよい。
前眼画像から所定領域を検出するために用いられる機械学習モデルとしては、ピクセル単位で前眼画像をセグメンテーション処理する機械学習モデルと、ＲＯＩ単位で物体認識（検出）を行う機械学習モデルがある。前眼画像から所定領域を検出するためにこれら機械学習モデルのいずれを用いてもよく、例えば、ＣＮＮを用いることができる。なお、他の例としては、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。
これらの機械学習モデルに関する学習データとしては、前眼画像を入力データとし、前眼画像の上述の所定領域について、ラベル付け（アノテーション）して得た画像を出力データとすることができる。なお、学習データの出力データについては、前眼画像について医療従事者がラベル付けを行った画像でもよいし、任意のラベル付けアルゴリズムに基づいて生成された画像やそれを医療従事者が修正した画像等であってもよい。
なお、このような機械学習モデルは強化学習によって学習を行ってもよい。この場合には、例えば、前眼画像についてラベル付けを行い、理想的なラベルが付された画像をできるだけ早く得た結果に対して与えられる報酬が最大となるように学習を行うことができる。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
ＯＣＴフォーカス調整は、学習済モデルを用いてライブ動画像である眼底正面画像の動画像の少なくとも１つのフレームにおける所定領域を検出し、所定領域のコントラストが最大になるように、ＯＣＴフォーカスレンズ１２１の移動量を求めてもよい。ここで、検出される所定領域には、血管領域、視神経乳頭部、黄斑部、異常部位（病変領域）等が含まれてよい。
眼底正面画像から所定領域を検出するために用いる機械学習モデルとしては、ピクセル単位で眼底正面画像をセグメンテーション処理する機械学習モデルと、ＲＯＩ単位で物体認識（検出）を行う機械学習モデルがある。眼底正面画像から所定領域を検出するためにこれら機械学習モデルのいずれを用いてもよい。なお、これらの機械学習モデルの種類としては、前眼画像から所定領域を検出するために用いられる機械学習モデルと同様の種類の機械学習モデルを用いることができる。
これらに関する学習データとしては、眼底正面画像を入力データとし、眼底正面画像の上述の所定領域について、ラベル付け（アノテーション）して得た画像を出力データとすることができる。なお、学習データの出力データについては、眼底正面画像について医療従事者がラベル付けを行った画像でもよいし、任意のラベル付けアルゴリズムに基づいて生成された画像やそれを医療従事者が修正した画像等であってもよい。
なお、このような機械学習モデルは強化学習によって学習を行ってもよい。この場合には、例えば、眼底正面画像についてラベル付けを行い、理想的なラベルが付された画像をできるだけ早く得た結果に対して与えられる報酬が最大となるように学習を行うことができる。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
また、異常部位を検出する場合には、上述したようにＧＡＮやＶＡＥ、ＣＡＥ等を用いてもよい。この場合の処理は、上述した異常部位を検出する処理と同様であってよい。なお、異常部位が複数検出された場合等には、操作者の指示に応じて、検出された複数の領域のうちのいずれに基づいてＯＣＴフォーカス調整を行うかを選択してもよい。また、異常部位を検出した場合には、例えば、検出した異常部位の領域について、眼底正面画像上に当該領域を示すＲＯＩを重畳表示してもよい。
また、ＯＣＴフォーカス調整に関しては、学習済モデルを用いて、眼底正面画像からＯＣＴフォーカスレンズ１２１の移動量を求めてもよい。この場合の機械学習モデルは、例えばＣＮＮ等であってよい。この場合の学習データとしては、眼底正面画像を入力データとし、眼底正面画像の上述の所定領域について、コントラストが最大となるＯＣＴフォーカスレンズ１２１の移動量（ベクトル）を出力データとすることができる。なお、学習データの出力データについては、眼底正面画像について医療従事者が操作して行ったフォーカス調整時の移動量でもよいし、眼底正面画像について公知のアルゴリズムに基づいて行われたフォーカス調整時の移動量やそれを医療従事者が修正したもの等であってもよい。
なお、このような機械学習モデルも強化学習によって学習を行ってもよい。この場合には、例えば、ＯＣＴフォーカスレンズ１２１の駆動方向においてランダムな方向と量でランダムな位置にＯＣＴフォーカスレンズ１２１をずらしながら眼底正面画像を取得し、眼底正面画像の評価を行う。そして、評価値の差を算出し、その差を報酬として最大の報酬が得られるようにニューラルネットワークの誤差逆伝播法による学習を行う。なお、強化学習の目標としては、例えば、報酬が最大となる位置に最短時間で到達することを設定してよい。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
コヒーレンスゲート調整は、学習済モデルを用いてライブ動画像である断層画像の動画像の少なくとも１つのフレームにおける所定領域を検出し、断層画像において所定の深度位置に当該所定領域の像が位置する際の参照ミラー１１５の位置を求めてもよい。ここで、所定領域としては、ＲＰＥ層等の網膜層の他に、例えば、硝子体領域や、硝子体ポケット領域、脈絡膜領域、強膜領域、異常部位（病変領域）等が含まれてよい。
断層画像から所定領域を検出するために用いる機械学習モデルとしては、ピクセル単位で断層画像をセグメンテーション処理する機械学習モデルと、関心領域単位で物体認識（検出）を行う機械学習モデルがある。断層画像から所定領域を検出するためにこれら機械学習モデルのいずれを用いてもよい。なお、これらの機械学習モデルの種類としては、前眼画像や眼底正面画像から所定領域を検出するために用いられる機械学習モデルと同様の種類の機械学習モデルを用いることができる。
これらに関する学習データとしては、断層画像を入力データとし、断層画像の上述の所定領域について、ラベル付けして得た画像を出力データとすることができる。なお、学習データの出力データについては、断層画像について医療従事者がラベル付けを行った画像でもよいし、任意のラベル付けアルゴリズムに基づいて生成された画像やそれを医療従事者が修正した画像等であってもよい。なお、ＣＧ調整処理では、一般に、参照ミラー１１５を随時移動させて被検眼の複数の位置を走査して複数の断層画像を得る。このため、複数の断層画像を一組の入力データとして用いてもよい。
なお、このような機械学習モデルは強化学習によって学習を行ってもよい。この場合には、例えば、断層画像についてラベル付けを行い、理想的なラベルが付された画像をできるだけ早く得た結果に対して与えられる報酬が最大となるように学習を行うことができる。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
また、異常部位を検出する場合には、上述したようにＧＡＮやＶＡＥ、ＣＡＥ等を用いてもよい。この場合の処理は、上述した異常部位を検出する処理と同様であってよい。なお、異常部位が複数検出された場合等には、操作者の指示に応じて、検出された複数の領域のうちのいずれに基づいてコヒーレンスゲート調整を行うかを選択してもよい。また、異常部位を検出した場合には、例えば、検出した異常部位の領域について、断層画像上に当該領域を示すＲＯＩを重畳表示してもよい。
また、コヒーレンスゲート調整に関しては、学習済モデルを用いて、断層画像から参照ミラー１１５の移動量を求めてもよい。この場合の機械学習モデルはＣＮＮ等であってよい。この場合の学習データとしては、前眼画像を入力データとし、前眼画像の上述の所定領域の像が断層画像において所定の深度位置に位置する際の参照ミラー１１５の位置への移動量（ベクトル）を出力データとすることができる。なお、学習データの出力データについては、断層画像について医療従事者が操作して行ったコヒーレンスゲート調整時の移動量でもよいし、断層画像について公知のアルゴリズムに基づいて行われたコヒーレンスゲート調整時の移動量やそれを医療従事者が修正したもの等であってもよい。
なお、このような機械学習モデルも強化学習によって学習を行ってもよい。この場合には、例えば、参照ミラー１１５の駆動方向においてランダムな方向と量でランダムな位置に参照ミラー１１５をずらしながら断層画像を取得し、断層画像の評価を行う。そして、評価値の差を算出し、その差を報酬として最大の報酬が得られるようにニューラルネットワークの誤差逆伝播法による学習を行う。なお、強化学習の目標としては、例えば、報酬が最大となる位置に最短時間で到達することを設定してよい。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。なお、コヒーレンスゲートの調整は、参照ミラー１１５を移動させて行われる構成に限られず、測定光路長及び参照光路長の光路長差を変更する光学部材を移動させて行われてよい。
また、上述した種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部２１４に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部２１４に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成してもよい。
なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。
また、例えば、スキャンパターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化用の学習済モデルが用いられてもよい。
（変形例６）
上述した実施例及び変形例においては、各種学習済モデルが追加学習の実行中である場合、追加学習の実行中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習の実行中の学習済モデルに対する学習データ以外の医用画像の入力を禁止するように構成されることがよい。また、追加学習の実行前の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習の実行中には、予備の学習済モデルに対する学習データ以外の医用画像の入力が実行可能なように構成されることがよい。そして、追加学習が完了した後に、追加学習の実行後の学習済モデルを評価し、問題がなければ、予備の学習済モデルから追加学習の実行後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。
なお、追加学習の実行後の学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。また、追加学習の実行後の学習済モデルの評価としては、例えば、追加学習の実行後の学習済モデルと追加学習の実行前の学習済モデル（予備の学習済モデル）とをそれぞれ用いて同一の画像から得た複数の高画質画像を比較、あるいは該複数の高画質画像の解析結果を比較してもよい。このとき、例えば、該複数の高画質画像の比較結果（追加学習による変化の一例）、あるいは該複数の高画質画像の解析結果の比較結果（追加学習による変化の一例）が所定の範囲であるか否かを判定し、判定結果が表示されてもよい。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（例えば、前眼部、後眼部等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、制御装置２００は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、制御装置２００は、選択された学習済モデルに対して追加学習を実行する制御手段を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
なお、選択手段及び制御手段は、制御装置２００のＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減することが有用である。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わないものとする。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。
また、上述したような一致性の確認によるデータの保護は、追加学習用の学習データに限らず、医用画像を含むデータに適用可能である。また、複数の施設のサーバの間の医用画像を含むデータの取引が分散型のネットワークにより管理されるように画像管理システムが構成されてもよい。また、取引履歴と、前のブロックのハッシュ値とが一緒に記録された複数のブロックを時系列につなぐように画像管理システムが構成されてもよい。なお、一致性の確認等を行うための技術としては、量子ゲート方式等の量子コンピュータを用いても計算が困難な暗号（例えば、格子暗号、量子鍵配送による量子暗号等）が用いられてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムであってもよい。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。また、画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。
なお、各種学習済モデルについて、追加学習を行う際には、ＧＰＵを用いて高速に処理を行うことができる。ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができるため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵで処理を行うことが有効である。なお、追加学習の処理は、ＧＰＵとＣＰＵ等が協働して行ってもよい。
（変形例７）
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル（音声認識エンジン、音声認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル（文字認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル（ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。
また、検者からの指示は、表示部５０における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部５０における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部５０に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、撮影パラメータの自動設定を行うか否かの実行命令及び当該命令用のボタンをアクティブ状態に変更するための実行命令等を正解データとする学習データであってもよい。なお、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス又はタッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、ＲＮＮを用いることができる。また、ＬＳＴＭやＱＲＮＮを用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。このとき、自然言語処理に関する技術としては、例えば、入力される文章毎に出力されるモデルが適用されてもよい。また、上述した種々の学習済モデルは、検者からの指示に限らず、検者に対する出力に適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。
また、自然言語処理に関する技術としては、文書データを教師なし学習により事前学習して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、事前学習して得た学習済モデルをさらに目的に応じて転移学習（あるいはファインチューニング）して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、例えば、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）が適用されてもよい。また、自然言語処理に関する技術としては、文章内の特定の単語を左右両方の文脈から予測することで、文脈（特徴量）を自ら抽出（表現）可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、入力される時系列データにおける２つのシーケンス（センテンス）の関係性（連続性）を判断可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、隠れ層にＴｒａｎｓｆｏｒｍｅｒのＥｎｃｏｄｅｒが用いられ、ベクトルのシーケンスが入力、出力されるモデルが適用されてもよい。
ここで、本変形例が適用可能な検者からの指示は、上述した様々な実施例及び変形例に記載のような種々の画像や解析結果の表示の変更、Ｅｎ−Ｆａｃｅ画像の生成のための深度範囲の選択、追加学習用の学習データとして用いるか否かの選択、学習済モデルの選択、種々の学習済モデルを用いて得た結果の出力（表示や送信等）や保存等、に関する少なくとも１つの指示であれば何でもよい。また、本変形例が適用可能な検者からの指示は、撮影後の指示だけでなく、撮影前の指示であってもよく、例えば、種々の調整に関する指示、種々の撮影条件の設定に関する指示、撮影開始に関する指示であってもよい。また、本変形例が適用可能な検者からの指示は、表示画面の変更（画面遷移）に関する指示であってもよい。
なお、機械学習モデルとしては、ＣＮＮ等の画像に関する機械学習モデルとＲＮＮ等の時系列データに関する機械学習モデルとを組み合わせた機械学習モデルであってもよい。このような機械学習モデルでは、例えば、画像に関する特徴量と時系列データに関する特徴量との関係性を学習することができる。機械学習モデルの入力層側がＣＮＮで、出力層側がＲＮＮである場合には、例えば、医用画像を入力データとし、該医用画像に関する文章（例えば、病変の有無、病変の種類、次の検査のレコメンド等）を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、医用画像に関する医療情報が自動的に文章で説明されるため、医療経験が浅い検者であっても、医用画像に関する医療情報を容易に把握することができる。また、機械学習モデルの入力層側がＲＮＮで、出力層側がＣＮＮである場合には、例えば、病変、所見、診断等の医療に関する文章を入力データとし、該医療に関する文章に対応する医用画像を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、検者が確認したい症例に関係する医用画像を容易に検索することができる。
また、検者からの指示や検者に対する出力には、文字や音声等の文章を任意の言語に機械翻訳する機械翻訳エンジン（機械翻訳モデル、機械翻訳用の学習済モデル）が用いられてもよい。なお、任意の言語は、検者からの指示に応じて選択可能に構成されてもよい。また、任意の言語は、言語の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、自動選択された言語の種類を検者からの指示に応じて修正可能に構成されてもよい。機械翻訳エンジンには、例えば、上述した自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。例えば、機械翻訳エンジンに入力された文章が機械翻訳された後に、機械翻訳された文章を文字認識エンジン等に入力するように構成されてもよい。また、例えば、上述した種々の学習済モデルから出力された文章を機械翻訳エンジンに入力し、機械翻訳エンジンから出力された文章が出力されるように構成されてもよい。
また、上述した種々の学習済モデルが組み合わせて用いられてもよい。例えば、検者からの指示に対応する文字が文字認識エンジンに入力され、入力された文字から得た音声を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された文字が文字認識エンジンに入力され、入力された文字から得た音声が出力されるように構成されてもよい。また、例えば、検者からの指示に対応する音声が音声認識エンジンに入力され、入力された音声から得た文字を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された音声が音声認識エンジンに入力され、入力された音声から得た文字が表示部５０に表示されるように構成されてもよい。このとき、検者に対する出力として文字による出力か音声による出力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示として文字による入力か音声による入力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示による選択によって、上述した種々の構成が採用されるようにしてもよい。
（変形例８）
本撮影により取得された画像に関するラベル画像や高画質画像等は、操作者からの指示に応じて記憶部２１４に保存されてもよい。このとき、例えば、高画質画像を保存するための操作者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、又は最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、操作者からの指示に応じて編集可能な状態で表示されてもよい。なお、同様に、ラベル画像等についても、学習済モデルを用いた処理により生成された画像である情報を含むファイル名が表示されてもよい。
また、レポート画面等の種々の表示画面において、表示部５０に高画質画像を表示させる際に、表示されている画像が高画質化モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、操作者は、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。例えば、画像セグメンテーション処理用の学習済モデルを用いたセグメンテーション結果の解析結果を表示する際にも、画像セグメンテーション用の学習済モデルを用いた結果に基づいた解析結果であることを示す表示が、解析結果とともに表示されてもよい。
このとき、レポート画面等の表示画面は、操作者からの指示に応じて、画像データとして記憶部２１４に保存されてもよい。例えば、高画質画像等と、これらの画像が学習済モデルを用いた処理により生成された画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部２１４に保存されてもよい。
また、高画質化モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部５０に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、例えば画像セグメンテーション処理等上述した種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部５０に表示されてもよい。
また、学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。なお、高画質化モデルを用いた処理だけでなく、例えば画像セグメンテーション処理等の上述した種々の学習済モデルを用いた処理により得た画像についても、同様に処理してよい。
また、レポート画面の初期表示画面として、高画質化処理ボタン等がアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、当該ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ−Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されてもよい。なお、当該ボタンが画像セグメンテーション処理の切り替えを表す場合に関しても、同様に処理されてよい。
（変形例９）
上述した実施例及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、所定領域検出結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、所定領域検出結果、セグメンテーション結果）が生成されるように構成されてもよい。
また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、所定領域検出結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第１の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルを用いて処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、所定領域検出結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。
なお、共通の画像が、第１の種類の学習済モデルと第２の種類の学習済モデルとに入力されることで、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を実行するように構成されてもよい。このとき、例えば、検者からの指示に応じて、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を一括して（連動して）実行するように構成されてもよい。また、入力させる画像の種類（例えば、高画質画像、物体認識結果、セグメンテーション結果、類似症例画像）、生成（あるいは表示）させる処理結果の種類（例えば、高画質画像、診断結果、解析結果、物体認識結果、セグメンテーション結果、類似症例画像）、入力の種類や出力の種類（例えば、文字、音声、言語）等をそれぞれ検者からの指示に応じて選択可能に構成されてもよい。また、入力の種類は、入力の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、出力の種類は、入力の種類と対応する（例えば、同じ種類になる）ように自動選択可能に構成されてもよい。また、自動選択された種類を検者からの指示に応じて修正可能に構成されてもよい。このとき、選択された種類に応じて少なくとも１つの学習済モデルが選択されるように構成されてもよい。このとき、複数の学習済モデルが選択された場合には、選択された種類に応じて複数の学習済モデルの組み合わせ方（例えば、データを入力させる順番等）が決定されてもよい。なお、例えば、入力させる画像の種類と、生成（あるいは表示）させる処理結果の種類とが、異なるように選択可能に構成されてもよいし、同じである場合には異なるように選択することを促す情報を検者に対して出力するように構成されてもよい。また、各学習済モデルはどの場所で実行されてもよい。例えば、複数の学習済モデルのうちの一部がクラウドサーバで用いられ、他はフォグサーバやエッジサーバ等の別のサーバで用いられるように構成されてもよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。これらにより、例えば、硝子体、白内障、緑内障、角膜屈折矯正、外眼等の手術や、レーザ光凝固等の治療が、遠隔であってもリアルタイムに支援することができる。このとき、例えば、これらの手術や治療に関する装置により得た種々の医用画像の少なくとも１つを無線により受信したフォグサーバやエッジサーバ等が種々の学習済モデルの少なくとも１つを用いて得た情報を手術や治療に関する装置に無線で送信するように構成されてもよい。また、例えば、手術や治療に関する装置に無線で受信した情報が、上述したような光学系や光学部材の移動量（ベクトル）であってもよく、この場合、手術や治療に関する装置が自動制御されるように構成されてもよい。また、例えば、検者による操作の支援を目的として、検者の許可を伴う自動制御（半自動制御）として構成されてもよい。
また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。また、上述したような種々の学習済モデルの処理による物体認識結果やセグメンテーション結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の医用画像が、既に機械学習等によって該複数の医用画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、医用画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検索モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、制御装置２００は、（高画質化用の学習済モデルとは異なる）類似症例画像検索用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する類似症例画像の検索を行うことができる。また、例えば、表示制御部２１５は、種々の医用画像から類似症例画像検索用の学習済モデルを用いて得た類似症例画像を表示部５０に表示させることができる。このとき、類似症例画像は、例えば、学習済モデルに入力された医用画像の特徴量と類似する特徴量の画像である。また、類似症例画像は、例えば、学習済モデルに入力された医用画像において異常部位等の部分領域が含まれる場合には、異常部位等の部分領域の特徴量と類似する特徴量の画像である。このため、例えば、類似症例画像を精度よく検索するための学習を効率的に行うことができるだけでなく、医用画像において異常部位が含まれる場合には、検者は異常部位の診断を効率よく行うことができる。また、複数の類似症例画像が検索されてもよく、特徴量が類似する順番が識別可能に複数の類似症例画像が表示されてもよい。また、複数の類似症例画像のうち、検者からの指示に応じて選択された画像と該画像との特徴量とを含む学習データを用いて、類似症例画像検索用の学習済モデルが追加学習されるように構成されてもよい。
また、各種学習済モデルの学習データは、実際の撮影を行う眼科装置自体を用いて得たデータに限られず、所望の構成に応じて、同型の眼科装置を用いて得たデータや、同種の眼科装置を用いて得たデータ等であってもよい。
なお、上述した実施例及び変形例に係る各種学習済モデルは制御装置２００に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御装置２００と接続される別のサーバの装置等に設けられてもよい。この場合には、制御装置２００は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。
（変形例１０）
上述した様々な実施例及び変形例による制御装置２００によって処理される医用画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、医用画像処理装置又は医用画像処理方法によって作成された画像を含むことができる。
さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（３次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ−Ｆａｃｅ画像を含む。Ｅｎ−Ｆａｃｅ画像は、３次元のＯＣＴＡデータ（３次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ−Ｆａｃｅ画像（モーションコントラスト正面画像）であってもよい。また、３次元のＯＣＴデータや３次元のモーションコントラストデータは、３次元の医用画像データの一例である。
ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ−Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。なお、略同一位置を測定光が複数回走査されるように走査手段を制御する際に、一つの走査（一つのＢスキャン）と次の走査（次のＢスキャン）との時間間隔（タイムインターバル）が変更（決定）されるように構成されてもよい。これにより、例えば、血管の状態によって血流速度が異なる場合があっても、血管領域を精度よく可視化することができる。このとき、例えば、検者からの指示に応じて、上記時間間隔が変更可能に構成されてもよい。また、例えば、検者からの指示に応じて、予め設定されている複数の時間間隔に対応する複数のモーションコントラスト画像から、いずれかのモーションコントラスト画像が選択可能に構成されてもよい。また、例えば、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータとを対応づけて記憶部２１４に記憶可能に構成されてもよい。また、例えば、表示制御部２１５、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータに対応するモーションコントラスト画像とを表示部５０に表示させてもよい。また、例えば、上記時間間隔が自動的に決定、あるいは上記時間間隔の少なくとも１つの候補が決定されるように構成されてもよい。このとき、例えば、機械学習モデルを用いて、モーションコントラスト画像から、上記時間間隔が決定（出力）されるように構成されてもよい。このような機械学習モデルは、例えば、複数の時間間隔に対応する複数のモーションコントラスト画像を入力データとし、該複数の時間間隔から所望のモーションコントラスト画像を取得した際の時間間隔までの差を正解データとする学習データを学習することにより得ることができる。
また、Ｅｎ−Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（３次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影又は積算して生成される。Ｅｎ−Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを２次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を２次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ−Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ−Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。なお、上述の各実施例や変形例に係る構成を、これら撮影装置に適用することができる。この場合、上述の予測すべき被検眼の動きに対応する被検体の動きとしては、例えば、顔や体の動き、心臓の動き（心拍）等であってよい。
なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ−ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ−ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置を含んでよい。また、ＯＣＴ装置は、ライン光を用いたＬｉｎｅ−ＯＣＴ装置（あるいはＳＳ−Ｌｉｎｅ−ＯＣＴ装置）を含んでよい。また、ＯＣＴ装置は、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ−ＯＣＴ装置（あるいはＳＳ−Ｆｕｌｌ Ｆｉｅｌｄ−ＯＣＴ装置）を含んでよい。また、ＯＣＴ装置は、Ｄｏｐｐｌｅｒ−ＯＣＴ装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ−ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ−ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ−ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ−ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、病理顕微鏡ＳＬＯ装置や病理顕微鏡ＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ハンドヘルド型のＳＬＯ装置やハンドヘルド型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、カテーテルＳＬＯ装置やカテーテルＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ヘッドマウント型のＳＬＯ装置やヘッドマウント型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、双眼鏡型のＳＬＯ装置や双眼鏡型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置は、光学変倍可能な構成によって、撮影画角を変更可能なものであってもよい。また、ＳＬＯ装置は、ＲＧＢの各光源を用いて、１つの受光素子で時分割に受光する構成又は複数の受光素子で同時に受光する構成によって、カラー画像や蛍光画像を取得可能なものであってもよい。
また、上述の実施例及び変形例では、制御装置２００はＯＣＴ装置の一部として構成されているが、制御装置２００はＯＣＴ装置と別体として構成されてもよい。この場合、制御装置２００は、ＯＣＴ装置の測定光学系１００等とインターネット等を介して接続されてもよい。また、ＯＣＴ装置の構成は、上記の構成に限られず、ＯＣＴ装置に含まれる構成の一部を、例えばＳＬＯ撮影部等をＯＣＴ装置と別体の構成としてもよい。
また、上記実施例及び変形例では、分割手段としてカプラーを使用した光ファイバ光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、測定光学系１００の構成は、上記の構成に限られず、測定光学系１００に含まれる構成の一部をこれらとは別体の構成としてもよい。
さらに、上記実施例及び変形例では、ＯＣＴ装置の干渉光学系としてマイケルソン型干渉計の構成を用いているが、干渉光学系の構成はこれに限られない。例えば、ＯＣＴ装置の干渉光学系はマッハツェンダー干渉計の構成を有していてもよい。
また、上記実施例及び変形例では、取得部２１１は、ＯＣＴ撮影部やＳＬＯ撮影部で取得された信号等を用いて各種画像等を取得した。しかしながら、取得部２１１がこれらの信号や画像を取得する構成はこれに限られない。例えば、取得部２１１は、制御装置２００とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されたＯＣＴ装置のＯＣＴ撮影部やＳＬＯ部等からこれらの信号を取得してもよい。
なお、上述の実施例及び変形例に係る被検眼の動きの予測移動量を取得するための学習済モデルでは、時系列のデータを用いて学習を行っているため、入力される連続する時系列のデータ値間の傾きを特徴量の一部として抽出し、推定処理に用いているものと考えられる。音声認識用や文字認識用、ジェスチャー認識用等の学習済モデルでも同様に、入力される連続する時系列のデータ値間の傾きを特徴量の一部として抽出し、推定処理に用いているものと考えられる。このような学習済モデルは、具体的な数値の時間的な変化による影響を推定処理に用いることで、精度のよい推定を行うことができると期待される。また、上述の変形例に係る、高画質化用、セグメンテーション処理用、画像解析用、診断結果生成用の学習済モデルでも、断層画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推定処理に用いているものと考えらえる。
（その他の実施例）
本発明は、上述の実施例及び変形例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
２１３：演算部（予測部、制御部）、Ｅ：被検眼

Claims (25)

  1. 被検体の動きを示す情報を含む学習データを学習して得た学習済モデルを用いて、被検体の動きを示す情報から、被検体の医用画像を取得する際の被検体の動きを予測する予測部と、
    前記予測された動きを用いて、前記医用画像を取得する取得位置を制御する制御部と、
    を備える、撮影装置。
  2. 被検体の動きを示す情報は、被検眼の眼底正面画像又は被検眼の移動量を含み、
    前記学習済モデルの入力は、被検眼の眼底正面画像又は被検眼の移動量を含み、
    前記学習済モデルの出力は、被検眼の予測移動量である、請求項１に記載の撮影装置。
  3. 前記移動量は、被検眼の複数の眼底正面画像に対するパターンマッチングにより取得される、請求項２に記載の撮影装置。
  4. 前記学習データは、被検体の動きを示す情報として、被検眼のドリフト及びトレモアの少なくとも一方を示す情報を含む、請求項１乃至３のいずれか一項に記載の撮影装置。
  5. 前記学習データは、被検体の動きを示す情報として、被検眼のマイクロサッカードを示す情報を含む、請求項１乃至４のいずれか一項に記載の撮影装置。
  6. 前記学習済モデルは、時系列の情報を処理する機械学習モデルである、請求項１乃至５のいずれか一項に記載の撮影装置。
  7. 前記学習済モデルは、再帰型ニューラルネットワーク又は長短期記憶を用いた機械学習モデルである、請求項６に記載の撮影装置。
  8. 前記制御部は、前記予測された動きと実際の被検体の動きとの差が閾値を超えた場合、再取得を行うように前記取得位置を制御する、請求項１乃至７のいずれか一項に記載の撮影装置。
  9. 前記医用画像は、測定光を照射した被検体からの戻り光を用いて取得され、
    前記医用画像の取得位置の制御は、被検体において前記測定光を走査する走査手段の制御である、請求項１乃至８のいずれか一項に記載の撮影装置。
  10. 前記医用画像は、測定光を照射した被検体からの戻り光を用いて取得され、
    前記医用画像の取得位置の制御は、被検体に前記測定光を照射し且つ被検体からの戻り光を検出するための光学系を含む光学ヘッドと被検体との位置関係を変更する光学部材の駆動制御である、請求項１乃至８のいずれか一項に記載の撮影装置。
  11. 前記医用画像は、被検眼の断層画像又は眼底正面画像を含む、請求項１乃至１０のいずれか一項に記載の撮影装置。
  12. 被検体のライブ動画像を表示部に表示させ、前記取得位置の制御下において取得された医用画像を表示部に表示させる表示制御部を更に備える、請求項１乃至１１のいずれか一項に記載の撮影装置。
  13. 前記表示制御部は、被検体の医用画像を含む学習データを学習して得た学習済モデルを用いて生成された高画質画像であって、前記取得位置の制御下において取得された医用画像又は前記ライブ動画像を入力して得た高画質画像を前記表示部に表示させる、請求項１２に記載の撮影装置。
  14. 前記表示制御部は、前記高画質画像として生成された眼底正面画像であって、前記高画質画像として生成された断層画像の位置を示すラインが重畳表示された眼底正面画像を前記ライブ動画像として前記表示部に表示させ、該眼底正面画像上の該ラインの位置に対応する該断層画像を前記ライブ動画像として前記表示部に表示させる、請求項１３に記載の撮影装置。
  15. 前記表示制御部は、前記高画質画像として生成された断層画像であって、前記ラインの位置に対応する断層画像における血管領域を示す情報を、前記ラインの位置に対応する前記断層画像に重畳表示させる、請求項１４に記載の撮影装置。
  16. 前記表示制御部は、被検体の医用画像を含む学習データを学習して得た解析結果生成用の学習済モデルを用いて生成された解析結果であって、前記取得位置の制御下において取得された医用画像又は前記ライブ動画像を入力して得た解析結果を前記表示部に表示させる、請求項１２乃至１５のいずれか一項に記載の撮影装置。
  17. 前記表示制御部は、被検体の医用画像を含む学習データを学習して得た診断結果生成用の学習済モデルを用いて生成された診断結果であって、前記取得位置の制御下において取得された医用画像又は前記ライブ動画像を入力して得た診断結果を前記表示部に表示させる、請求項１２乃至１６のいずれか一項に記載の撮影装置。
  18. 前記表示制御部は、敵対的生成ネットワーク又はオートエンコーダーを用いて生成された画像であって、前記取得位置の制御下において取得された医用画像又は前記ライブ動画像を入力して得た画像と、該敵対的生成ネットワーク又はオートエンコーダーに入力された画像との差に関する情報を、異常部位に関する情報として前記表示部に表示させる、請求項１２乃至１７のいずれか一項に記載の撮影装置。
  19. 前記表示制御部は、被検体の医用画像を含む学習データを学習して得た類似症例画像検索用の学習済モデルを用いて検索された類似症例画像であって、前記取得位置の制御下において取得された医用画像又は前記ライブ動画像を入力して得た類似症例画像を前記表示部に表示させる、請求項１２乃至１８のいずれか一項に記載の撮影装置。
  20. 前記表示制御部は、被検体の医用画像を含む学習データを学習して得た物体認識用の学習済モデル又はセグメンテーション用の学習済モデルを用いて生成された物体認識結果又はセグメンテーション結果であって、前記取得位置の制御下において取得された医用画像又は前記ライブ動画像を入力して得た物体認識結果又はセグメンテーション結果を、前記表示部に表示させる、請求項１２乃至１９のいずれか一項に記載の撮影装置。
  21. 前記取得位置の制御下における前記医用画像を取得するための操作者の指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうち少なくとも１つの学習済モデルを用いて得た情報である、請求項１乃至２０のいずれか一項に記載の撮影装置。
  22. 前記制御部は、操作者の指示に応じて、前記予測した動きを用いた前記取得位置の制御と、実際に検出した被検眼の動きを示す情報を用いた前記取得位置の制御とを切り替え可能である、請求項１乃至２１のいずれか一項に記載の撮影装置。
  23. 前記制御部は、実際に検出した被検眼の動きを示す情報を用いて被検眼のライブ動画像の取得位置を制御し、前記予測した動きを用いて被検眼の静止画像の取得位置を制御する、請求項１乃至２１のいずれか一項に記載の撮影装置。
  24. 被検体の動きを示す情報を含む学習データを学習して得た学習済モデルを用いて、被検体の動きを示す情報から、被検体の医用画像を取得する際の被検体の動きを予測することと、
    前記予測された動きを用いて、前記医用画像を取得する取得位置を制御することと、
    を含む、撮影方法。
  25. コンピュータによって実行されると、該コンピュータに請求項２４に記載された撮影方法を実行させる、プログラム。
JP2020070476A 2020-01-30 2020-04-09 撮影装置、撮影方法、及びプログラム Pending JP2021119973A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020014173 2020-01-30
JP2020014173 2020-01-30

Publications (1)

Publication Number Publication Date
JP2021119973A true JP2021119973A (ja) 2021-08-19

Family

ID=77269663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020070476A Pending JP2021119973A (ja) 2020-01-30 2020-04-09 撮影装置、撮影方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2021119973A (ja)

Similar Documents

Publication Publication Date Title
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7229881B2 (ja) 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
WO2021039339A1 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP7269413B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
JP7341874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021039748A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP7413147B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2021029231A1 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
US11887288B2 (en) Image processing apparatus, image processing method, and storage medium
US20220005584A1 (en) Information processing apparatus, information processing method, and storage medium
WO2019021512A1 (ja) 眼科システム及び眼科情報処理装置
JP2022155690A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7332463B2 (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP2021037239A (ja) 領域分類方法
JP7362403B2 (ja) 画像処理装置および画像処理方法
WO2020138128A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7194136B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP7344847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021164535A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021086560A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7406901B2 (ja) 情報処理装置及び情報処理方法
JP2021119973A (ja) 撮影装置、撮影方法、及びプログラム
JP2021069667A (ja) 画像処理装置、画像処理方法及びプログラム
JP2022121202A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220630