JP2021097989A - 眼科装置、眼科装置の制御方法、及びプログラム - Google Patents

眼科装置、眼科装置の制御方法、及びプログラム Download PDF

Info

Publication number
JP2021097989A
JP2021097989A JP2020046233A JP2020046233A JP2021097989A JP 2021097989 A JP2021097989 A JP 2021097989A JP 2020046233 A JP2020046233 A JP 2020046233A JP 2020046233 A JP2020046233 A JP 2020046233A JP 2021097989 A JP2021097989 A JP 2021097989A
Authority
JP
Japan
Prior art keywords
image
eye
optical head
inspected
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020046233A
Other languages
English (en)
Other versions
JP7194136B2 (ja
JP2021097989A5 (ja
Inventor
小野　光洋
Mitsuhiro Ono
光洋 小野
律也 富田
Ritsuya Tomita
律也 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to PCT/JP2020/029310 priority Critical patent/WO2021029231A1/ja
Publication of JP2021097989A publication Critical patent/JP2021097989A/ja
Priority to US17/588,367 priority patent/US20220151483A1/en
Publication of JP2021097989A5 publication Critical patent/JP2021097989A5/ja
Priority to JP2022194733A priority patent/JP7478216B2/ja
Application granted granted Critical
Publication of JP7194136B2 publication Critical patent/JP7194136B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

【課題】被検眼の眼底に関する画像の撮影を行う際に、アライメント位置等の装置に関する各種の調整操作の煩雑さを軽減することできる眼科装置を提供する。【解決手段】光学ヘッド部と、前眼部の画像に基づいて、被検眼及び光学ヘッド部の少なくとも一方に関する第１の位置の情報を取得する第１情報取得部と、被検眼及び光学ヘッド部の少なくとも一方に関する位置の情報を学習した学習済モデルを用いて、前眼部の画像から、当該少なくとも一方に関する第２の位置の情報を取得する第２情報取得部と、被検者の顔を支持する支持部及び光学ヘッド部の駆動を制御する駆動制御部とを備え、第１の位置の情報の取得後に、第２の位置の情報を取得可能であり、駆動制御部は、第１の位置の情報に基づいて、被検眼及び光学ヘッド部の少なくとも一方を第１の位置へ移動させ、第２の位置の情報に基づいて、当該少なくとも一方を第２の位置へ移動させる眼科装置。【選択図】図６

Description

本発明は、眼科装置、眼科装置の制御方法、及びプログラムに関する。
近年、低コヒーレンス光による干渉を利用して断層画像を取得する光干渉断層撮影法（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を用いる装置（ＯＣＴ装置）が実用化されている。このＯＣＴ装置は、被検査物に入射する光の波長程度の分解能で断層画像を取得できるため、被検査物の断層画像を高分解能で得ることができる。
ＯＣＴ装置は、特に、眼底に位置する網膜の断層画像を得るための眼科装置として有用である。さらに、他の眼科装置として眼底カメラ（眼底の２次元画像を撮影するための装置）や、走査型レーザー検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）、リフラクトメータ（眼屈折力測定装置）等も有用な装置である。また、これらの複合装置も有用な装置である。
このような眼科装置においては、検査すべき被検眼を撮影するために装置の撮影部（主には測定光学系）を被検眼へ精度よくアライメントすることが重要である。特許文献１においては、被検眼角膜にアライメント指標を投影し、その反射光を分割して撮像素子で撮像し、分割されたアライメント指標像の位置から装置と被検眼との相対位置を検出し、アライメントを行う眼科装置が記載されている。
特開２０１０−１６２４２４号公報
Stein DM, Ishikawa H, Hariprasad R, Wollstein G, Noecker RJ, Fujimoto JG, Shuman JS, "A new quality assessment parameter for optical coherence tomography", British Journal of Ophthalmology 2006;90:P186-190
ここで、白内障などにより部分的に濁りがある被検眼の場合、濁りにより測定光束が散乱し、断層を明るく撮影できない場合がある。このような被検眼については、測定光側の光軸をずらすことで断層が明るく撮影できる場合があることが知られている。しかしながら、濁りのある被検眼に対して、断層等を明るく撮影できるように測定光の光軸をずらして、被検眼に対する装置のアライメント等の装置に関する各種の調整操作は、これらの調整操作に精通している操作者でないと難しいという問題がある。
本発明の一実施態様は、上記問題に鑑み、被検眼の眼底に関する画像の撮影を行う際に、アライメント位置等の装置に関する各種の調整操作の煩雑さを軽減することできる眼科装置、眼科装置の制御方法、及びプログラムを提供することを目的とする。
本発明の一実施態様に係る眼科装置は、被検眼を撮影する光学ヘッド部と、前記光学ヘッド部を用いて取得された前眼部の画像に基づいて、被検眼及び前記光学ヘッド部の少なくとも一方に関する第１の位置の情報を取得する第１情報取得部と、被検眼及び光学ヘッド部の少なくとも一方に関する位置の情報を学習して得た学習済モデルを用いて、前記光学ヘッド部を用いて取得された前眼部の画像から、被検眼及び前記光学ヘッド部の少なくとも一方に関する第２の位置であって、前記第１の位置とは異なる第２の位置の情報を取得する第２情報取得部と、被検者の顔を支持する支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御する駆動制御部とを備え、前記第１情報取得部によって前記第１の位置の情報を取得した後に、前記第２情報取得部によって前記第２の位置の情報を取得可能に構成され、前記駆動制御部は、前記取得した第１の位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御して、被検眼及び前記光学ヘッド部の少なくとも一方を前記第１の位置へ移動させ、前記取得した第２の位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御して、被検眼及び前記光学ヘッド部の少なくとも一方を前記第２の位置へ移動させる。
本発明の一実施態様によれば、被検眼の眼底に関する画像の撮影を行う際に、アライメント位置等の装置に関する各種の調整操作の煩雑さを軽減することできる。
実施例１に係るＯＣＴ装置の概略的な構成例を示す。 実施例１に係る撮影部の光学構成の一例を示す。 眼底に照射される測定光の光束について説明するための図である。 前眼画像、眼底正面画像、及び断層画像の表示の一例を示す。 実施例１に係る制御部の一例を示すブロック図である。 画像撮影についての一連の処理を示すフローチャートである。 イメージスプリットプリズムを有するプリズム付レンズの一例を示す。 赤外線ＣＣＤを用いて撮影された前眼画像の例を示す。 ニューラルネットワークモデルの概略図である。 Ｕ−ｎｅｔ型のＣＮＮについて説明するための図である。 学習時の前眼画像について説明するための図である。 濁りを有する被検眼と観察用光束について説明するための図である。 ＲＮＮについて説明するための図である。 ＬＳＴＭについて説明するための図である。 ＣＮＮとＬＳＴＭの組み合わせについて説明するための図である。 変形例５に係る第２アライメント処理を示すフローチャートである。
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
なお、以下において、眼底に関する画像とは、眼底の断面画像である断層画像及び３次元の断層画像、眼底の２次元画像である眼底正面画像、リング像を含む画像、並びに後述するＥｎ−Ｆａｃｅ画像やＯＣＴＡ正面画像、ＯＣＴＡ断層画像等の眼底の情報を含む画像をいう。また、以下において、前眼部の画像とは、前眼部の２次元の正面画像（前眼画像）や、光を被検眼に照射し、眼底からの反射光により照明された瞳孔領域の画像である徹照画像を含む画像をいう。被検眼に関する画像とは、上述した眼底に関する画像及び前眼部の画像を含む画像をいう。
さらに、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例及び変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。また、正解データとは、学習データ（教師データ）の出力データのことをいう。
なお、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングすることで得られた（学習を行った）モデルである。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加学習を行うこともできる。追加学習は、装置が使用先に設置された後も行われることができる。
（実施例１）
以下、図１乃至１５を参照して、本発明の実施例１に係る眼科装置の一例として眼科撮影装置について説明する。本実施例に係る眼科撮影装置は、被検眼の眼底を撮影する眼科撮影装置であって、特に被検眼の眼底の２次元画像である眼底正面画像及び断層画像を取得するために用いられるものに関する。本実施例では、眼科撮影装置の例として、学習済モデルを用いて、前眼画像から、被検眼に対する装置のアライメントを行う光干渉断層撮影装置（ＯＣＴ装置）について説明する。
（装置の概略構成）
本実施例に係るＯＣＴ装置の概略構成について、図１を用いて説明する。図１は、ＯＣＴ装置１の概略的な構成例の側面図である。ＯＣＴ装置１には、撮影部１０、制御部２０、表示部４０、及び入力部５０が設けられている。撮影部１０には、光学ヘッド部１００、ステージ部１５０、後述の分光器を内蔵するベース部１９０、及び顔受け部１６０（支持部）が設けられている。
光学ヘッド部１００は、被検眼に光を照射し且つ被検眼からの戻り光を検出し、前眼画像、眼底正面画像及び断層画像を撮影するための測定光学系を含む。ステージ部１５０は、不図示のモータを用いて光学ヘッド部１００を図中ｘｙｚ方向に移動可能な移動部である。顔受け部１６０は、被検者の顎と額とを固定することで、被検者の眼（被検眼）の固定を促すことができる顎台である。
制御部２０は、撮影部１０、表示部４０、及び入力部５０に接続されており、これらを制御することができる。制御部２０は、例えば、ステージ部１５０の移動を制御し、被検眼に対する光学ヘッド部１００の位置合わせ（アライメント）を行うことができる。また、制御部２０は、撮影部１０により取得されたデータに基づいて、前眼画像や、眼底正面画像、断層画像等の生成を行うこともできる。制御部２０は、プロセッサーやメモリを含む一般的なコンピュータを用いて構成することができるが、ＯＣＴ装置１の専用のコンピュータとして構成されてもよい。なお、制御部２０は、撮影部１０が通信可能に接続された別体（外部）のコンピュータだけでなく、撮影部１０の内蔵（内部）のコンピュータであってもよい。また、制御部２０は、例えば、パーソナルコンピュータであってもよく、デスクトップＰＣや、ノート型ＰＣ、タブレット型ＰＣ（携帯型の情報端末）が用いられてもよい。このとき、これらの間の通信接続は、有線通信による接続であってもよいし、無線通信による接続であってもよい。
表示部４０は任意のモニタにより構成され、制御部２０の制御に従って、被検者情報などの各種情報や各種画像、入力部５０の操作に従ったマウスカーソル等を表示する。入力部５０は、制御部２０への指示を行う入力装置であり、具体的にはキーボードやマウスを含む。なお、表示部４０がタッチパネル式のディスプレイであってもよく、この場合には表示部４０は入力部５０として兼用される。
なお、本実施例においては、撮影部１０、制御部２０、表示部４０、及び入力部５０はそれぞれ別個に構成されているが、これらは一部又は全部が一体として構成されてもよい。また、制御部２０には不図示の他の撮影装置や記憶装置等が接続されてもよい。
（測定光学系及び分光器の構成）
次に、図２を参照して、本実施例の測定光学系及び分光器の構成例について説明する。図２は、撮影部１０の光学構成の一例を示す。まず、光学ヘッド部１００の内部の構成について説明する。
光学ヘッド部１００では、被検眼Ｅに対向して対物レンズ１０１−１が配置され、その光軸上に第１の光路分離手段として第１ダイクロイックミラー１０２が配置される。対物レンズ１０１−１からの光路は、第１ダイクロイックミラー１０２によって、ＯＣＴ光学系の測定光路Ｌ１並びに眼底観察及び固視灯用の光路Ｌ２に至る光路と、前眼の観察光路Ｌ３とに光線の波長帯域毎に分岐される。また、第１ダイクロイックミラー１０２の反射方向には第２ダイクロイックミラー１０３が配置される。第１ダイクロイックミラー１０２の反射方向における光路は、第２ダイクロイックミラー１０３によって、ＯＣＴ光学系の測定光路Ｌ１と、眼底観察及び固視灯用の光路Ｌ２とに光線の波長帯域毎に分岐される。
なお、本実施例に係る構成では、第１ダイクロイックミラー１０２の透過方向に前眼の観察光路Ｌ３、反射方向にＯＣＴ光学系の測定光路Ｌ１並びに眼底観察及び固視灯用の光路Ｌ２に至る光路が配置される。また、第２ダイクロイックミラー１０３の透過方向にＯＣＴ光学系の測定光路Ｌ１、反射方向に眼底観察及び固視灯用の光路Ｌ２が配置される。しかしながら、各ダイクロイックミラーの透過方向及び反射方向に設けられる光路は互いに逆であってもよい。
眼底観察及び内部固視灯用の光路Ｌ２は、さらに第３の光路分離手段である第３ダイクロイックミラー１０４によって眼底観察用のＣＣＤ１０５への光路と及び固視灯１０６への光路に光線の波長帯域毎に分岐される。
眼底観察及び内部固視灯用の光路Ｌ２には、第２ダイクロイックミラー１０３から順に、レンズ１０１−２，１０８，１０７、及び第３ダイクロイックミラー１０４が配置される。また、第３ダイクロイックミラー１０４の透過方向に固視灯１０６、反射方向に眼底観察用のＣＣＤ１０５が配置されている。なお、第３ダイクロイックミラー１０４の透過方向にＣＣＤ１０５、反射方向に固視灯１０６が配置されてもよい。
レンズ１０７はフォーカスレンズであり、固視灯及び眼底観察用の光路Ｌ２に関する合焦調整のために用いられる。レンズ１０７は、制御部２０によって制御される不図示のモータ等によって、図中矢印で示される光軸方向に駆動されることができる。
ＣＣＤ１０５は、不図示の眼底観察用照明光の波長、具体的には７８０ｎｍ付近に感度を有する。一方、固視灯１０６は、可視光を発生して被検者の固視を促すものである。制御部２０は、ＣＣＤ１０５から出力される信号に基づいて、被検眼Ｅの眼底の２次元画像である眼底正面画像を生成することができる。
前眼の観察光路Ｌ３には、第１ダイクロイックミラー１０２から順に、レンズ１０９、プリズム付レンズ１１０、レンズ１１１、及前眼観察用の赤外線ＣＣＤ１１２が設けられている。プリズム付レンズ１１０は、被検眼Ｅの前眼部と共役な位置で前眼部像の光束を複数に分割するイメージスプリットプリズムを有する分割手段の一例である。ここで、プリズム付レンズ１１０は、被検眼側からの第１面にイメージスプリットプリズム機能があり、第２面にレンズ機能を有する。なお、プリズム付レンズ１１０は、図中矢印で示されているように前眼の観察光路Ｌ３上から挿抜可能なように設けられている。
レンズ１１１は、前眼部像をリレーするリレー光学系の一例である。赤外線ＣＣＤ１１２は、結像部としてのレンズ１１１で結像された前眼部像を撮像する。赤外線ＣＣＤ１１２は、不図示の前眼観察用照明光の波長、具体的には９７０ｎｍ付近に感度を有する。制御部２０は、赤外線ＣＣＤ１１２から出力される信号に基づいて、被検眼Ｅの前眼部の２次元の正面画像である前眼画像を生成することができる。
ＯＣＴ光学系の測定光路Ｌ１は、ＯＣＴ光学系を構成する光学部材が配置されており、被検眼Ｅの眼底の断層像を撮像するための構成を有している。より具体的には、ＯＣＴ光学系は、断層画像を形成するための干渉信号を得るために用いられる。
測定光路Ｌ１には、第２ダイクロイックミラー１０３から順に、レンズ１０１−３、ミラー１１３、光を被検眼Ｅの眼底上で走査するためのＸスキャナ１１４−１及びＹスキャナ１１４−２、並びにレンズ１１５，１１６が配置されている。
Ｘスキャナ１１４−１及びＹスキャナ１１４−２は、ＯＣＴの測定光の走査手段の一例であり、測定光を被検眼Ｅの眼底上で走査するために配置されている。Ｘスキャナ１１４−１は測定光をｘ方向に走査するために用いられ、Ｙスキャナ１１４−２は測定光をｙ方向に走査するために用いられる。本実施例では、Ｘスキャナ１１４−１及びＹスキャナ１１４−２は、ガルバノミラーによって構成されるが、Ｘスキャナ１１４−１及びＹスキャナ１１４−２は所望の構成に応じて任意の偏向手段を用いて構成されてよい。また、測定光の走査手段は、例えばＭＥＭＳミラー等の一枚のミラーで２次元方向に光を偏向できる偏向手段により構成されてもよい。
レンズ１１５は、フォーカスレンズであり、光カプラー１１７に接続されている光ファイバー１１７−２から出射する光源１１８からの光を眼底上に合焦調整するために用いられる。レンズ１１５は、制御部２０によって制御される不図示のモータ等によって、図中矢印で示される光軸方向に駆動されることができる。この合焦調整によって、眼底からの光は同時に光ファイバー１１７−２先端にスポット状に結像されて入射されることとなる。
次に、光源１１８からの光路、参照光学系、及び分光器の構成について説明する。光源１１８は代表的な低コヒーレント光源であるＳＬＤ（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）である。本実施例では、光源１１８として中心波長は８５５ｎｍ、波長バンド幅は約１００ｎｍであるＳＬＤを用いた。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。また、光源の種類は、ここではＳＬＤを選択したが、低コヒーレント光が出射できればよく、ＡＳＥ（Ａｍｐｌｉｆｉｅｄ Ｓｐｏｎｔａｎｅｏｕｓ Ｅｍｉｓｓｉｏｎ）等も用いることができる。中心波長は眼を測定することを鑑みて、近赤外光を用いることができる。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長とすることができる。双方の理由から、本実施例では中心波長を８５５ｎｍとした。
光源１１８は、光ファイバー１１７−１を介して光カプラー１１７に接続される。光カプラー１１７には、シングルモードの光ファイバー１１７−１〜４が接続されて一体化されている。光源１１８から出射された光は光カプラー１１７にて測定光及び参照光に分割され、測定光は光ファイバー１１７−２を介して測定光路Ｌ１に、参照光は光ファイバー１１７−３を介して参照光学系に導かれる。測定光は測定光路Ｌ１を通じ、被検眼Ｅの眼底に照射され、網膜による反射や散乱により同じ光路を通じて光カプラー１１７に到達する。
一方、光カプラー１１７で分割され、光ファイバー１１７−３により導かれた参照光は、参照光学系に出射される。参照光学系には、光ファイバー１１７−３の出射端部より順に、レンズ１２１、分散補償ガラス１２０、及びミラー１１９（参照ミラー）が配置されている。
光ファイバー１１７−３の出射端より出射された参照光は、レンズ１２１及び分散補償ガラス１２０を介してミラー１１９に到達し反射される。分散補償ガラス１２０は、測定光と参照光の分散を合わせるために光路中に挿入されている。ミラー１１９により反射された参照光は同じ光路を戻り、光カプラー１１７に到達する。ミラー１１９は、制御部２０により制御される不図示のモータ等によって、図中矢印で示される光軸方向に駆動されることができる。
被検眼Ｅから戻った測定光の戻り光とミラー１１９から反射された参照光とは、光カプラー１１７によって合波され干渉光となる。ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。そのため、前述のモータ等によりミラー１１９を光軸方向に移動させ、被検眼Ｅによって変わる測定光の光路長に対して、参照光の光路長を合わせることができる。干渉光は光ファイバー１１７−４を介して分光器１８０に導かれる。
分光器１８０には、干渉光を検出する検出部の一例である。分光器１８０には、レンズ１８１，１８３、回折格子１８２、及びラインセンサ１８４が設けられている。光ファイバー１１７−４から出射された干渉光は、レンズ１８１を介して略平行光となった後、回折格子１８２で分光され、レンズ１８３によってラインセンサ１８４に結像される。
検出器であるラインセンサ１８４によって取得された干渉信号における輝度分布に関する情報は、制御部２０に出力信号として出力される。制御部２０は、ラインセンサ１８４から出力された干渉信号に基づいて断層画像を生成することができる。
本実施例では、測定光路Ｌ１に配置される各部材で構成される測定光学系、参照光学系及び分光器光学系により、マイケルソン干渉計が構成される。これに対し、干渉計としてマッハツェンダー干渉計を用いてもよい。例えば、測定光と参照光との光量差に応じて光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることができる。
（断層画像の撮影方法）
次に、図３を参照して、ＯＣＴ装置１を用いた断層画像の撮影方法について説明する。眼底に照射される測定光の光束について説明するための図である。ＯＣＴ装置１の制御部２０は、Ｘスキャナ１１４−１及びＹスキャナ１１４−２を制御することで、被検眼Ｅの眼底Ｅｆにおける所望部位の断層画像を撮影することができる。
図３は、被検眼Ｅに測定光３０１を照射し、眼底Ｅｆについてｘ方向にスキャンを行っている様子を示している。断層画像の撮影では、まず、眼底Ｅｆ上で測定光をｘ方向に走査し、眼底Ｅｆにおけるｘ方向の撮像範囲から所定の撮像本数の情報をラインセンサ１８４で取得する。
ここで、被検眼Ｅの一点から断層の情報を取得することをＡスキャンという。また、ｘ方向のある位置で得られるラインセンサ１８４上の輝度分布を高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）し、得られた線状の輝度分布を濃度又はカラー情報に変換したものをＡスキャン画像と呼ぶ。さらに、この複数のＡスキャン画像を並べた２次元の画像をＢスキャン画像（断層画像）と呼ぶ。
また、１つのＢスキャン画像を構築するための複数のＡスキャン画像を撮影した後、ｙ方向のスキャン位置を移動させて再びｘ方向のスキャンを行うことにより、複数のＢスキャン画像を得ることができる。複数のＢスキャン画像をｙ方向に並べることで、３次元の断層画像を構築することができる。制御部２０が、複数のＢスキャン画像、又は複数のＢスキャン画像から構築した３次元の断層画像を表示部４０に表示させることで、検者はこれら画像を被検眼Ｅの診断に用いることができる。
図４は、表示部４０に表示された前眼画像４０１、眼底正面画像４０２、及び断層画像であるＢスキャン画像４０３の一例を示す。前眼画像４０１は、赤外線ＣＣＤ１１２の出力を処理して生成された画像であり、眼底正面画像４０２はＣＣＤ１０５の出力を処理して生成された画像であり、Ｂスキャン画像４０３はラインセンサ１８４の出力を前述のように処理して生成した画像である。
（制御部の構成）
次に、図５を参照して、制御部２０の構成について説明する。図５は、制御部２０の構成の一例を示すブロック図である。制御部２０には、取得部２１、駆動制御部２２、画像生成部２３、第１アライメント部２４（第１情報取得部）、第２アライメント部２５（第２情報取得部）、評価部２６、記憶部２７、及び表示制御部２８が設けられている。
取得部２１は、ＣＣＤ１０５、赤外線ＣＣＤ１１２、及びラインセンサ１８４から出力される各種信号を取得することができる。また、取得部２１は、入力部５０を介した操作者からの指示を取得することができる。さらに、取得部２１は、記憶部２７に記憶されている被検者情報等の各種情報や断層画像等の各種画像を取得することができる。
駆動制御部２２は、撮影部１０内の各種構成要素の駆動を制御する。具体的には、駆動制御部２２は、例えば、ステージ部１５０、レンズ１０７、プリズム付レンズ１１０、Ｘスキャナ１１４−１、Ｙスキャナ１１４−２、レンズ１１５、及びミラー１１９の駆動を制御することができる。また、駆動制御部２２は、不図示の眼底照明用照明光源や前眼観察用照明光源、固視灯１０６、及び光源１１８の点灯や消灯の制御を行うこともできる。さらに、駆動制御部２２は、顔受け部１６０の駆動も制御することができる。
画像生成部２３は、取得部２１が取得したＣＣＤ１０５の出力信号に基づいて眼底正面画像を生成し、赤外線ＣＣＤ１１２の出力信号に基づいて前眼画像を生成し、ラインセンサ１８４から出力された干渉信号に基づいて断層画像を生成することができる。なお、被検眼Ｅの断層に関するデータや眼底に関するデータ等の眼科情報から断層画像や眼底正面画像等の眼科医用画像を生成する方法は、公知の任意の方法を採用してよい。
第１アライメント部２４は、画像生成部２３によって生成された前眼画像に基づいて、被検眼Ｅに対して光学ヘッド部１００をｘｙｚ方向において配置すべき位置（第１アライメント位置）の情報を求める第１アライメント処理を行うことができる。なお、第１アライメント位置の情報とは、光学ヘッド部１００の座標系における光学ヘッド部１００を配置すべきｘｙｚ座標における座標であってもよいし、第１アライメント位置への光学ヘッド部１００の移動量（ベクトル）であってもよい。
また、第１アライメント部２４（第１情報取得部）は、眼底フォーカスの調整を行うことができる。本実施例では、第１アライメント部２４は、画像生成部２３によって生成された眼底正面画像に基づいて、レンズ１０７，１１５を配置すべき位置の情報を取得することができる。なお、位置の情報には、位置の座標や当該位置への移動量が含まれてよい。
さらに、第１アライメント部２４は、コヒーレンスゲート（ＣＧ：ＣｏｈｅｒｅｎｃｅＧａｔｅ）の調整を行うことができる。本実施例では、第１アライメント部２４は、画像生成部２３によって生成された断層画像に基づいて、ミラー１１９を配置すべき位置の情報を取得することができる。なお、位置の情報には、位置の座標や当該位置への移動量が含まれてよい。
第２アライメント部２５（第２情報取得部）は、後述する学習済モデルを用いて、画像生成部２３によって生成された前眼画像から、被検眼Ｅに対して光学ヘッド部１００を配置すべき位置（第２アライメント位置）の情報を求めることができる。ここで、学習済モデルは学習の傾向に従って出力データを生成する。そのため、第２アライメント部２５は、学習済モデルを用いることで、第１アライメント位置とは異なる、学習済モデルの学習の傾向の応じた第２アライメント位置を求めることができる。なお、第２アライメント位置の情報とは、光学ヘッド部１００の座標系における光学ヘッド部１００を配置すべきｘｙｚ座標における座標であってもよいし、第２アライメント位置への光学ヘッド部１００の移動量（ベクトル）であってもよい。
評価部２６は、画像生成部２３によって生成された断層画像の画質評価を行うことができる。本実施例では、断層画像の評価指標として、Ｑインデックス値を用いる。Ｑインデックス値の計算方法については非特許文献１に記載されている。なお、本実施例では、画質の評価指標としてＱインデックス値を用いたが、ＳＮ比やコントラスト値などを画像評価指標として用いてもよい。
記憶部２７は、生成された各種情報や各種画像を記憶することができる。また、記憶部２７は、被検者の識別情報等を記憶する被検者情報記憶部を兼ねる。さらに、記憶部２７は、撮影用のプログラムなどを記憶することができる。
表示制御部２８は、被検者情報を含む各種情報や断層画像等の各種画像、撮影用画面等を表示部４０に表示させることができる。また、表示制御部２８は、検者によって入力された情報等を表示部４０に表示させることができる。
制御部２０の記憶部２７以外の各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。なお、プロセッサーは、例えば、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等であってもよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。記憶部２７は、例えば、ハードディスク等の光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
（断層画像の撮影フロー）
次に、図６を参照して、本実施例に係る画像撮影のフローをステップ順に説明する。図６は、本実施例に係る画像撮影の一連の処理を示すフローチャートである。まず、操作者が、例えば表示部４０に表示された撮影開始ボタンを押すと、制御部２０により撮影用プログラムが実行されて、表示制御部２８は、表示部４０に撮影用画面を表示させる。また、駆動制御部２２が、同時にＸスキャナ１１４−１及びＹスキャナ１１４−２を動作させる。
画像撮影が開始されると、ステップＳ６０１において、表示制御部２８は、表示部４０に患者情報入力画面を表示する。操作者（検者）は、患者情報入力画面において、患者の選択、又は初診であれば患者情報の入力を行う。
ステップＳ６０２では、表示制御部２８は、表示部４０に検査パラメータ選択画面を表示させる。検者は、検査パラメータ選択画面において、検査パラメータとして被検眼Ｅの左右、断層撮影をどの範囲で行うか、断層画像を何回撮影するか、Ｂスキャン画像に含まれるＡスキャン画像の数などを設定することができる。また、検者は、スキャンパターンとして、ラスタスキャンや、ラジアルスキャン、クロススキャン、サークルスキャン、リサージュスキャン（リサージュ曲線に沿った走査）等を設定することができる。なお、検査パラメータ選択画面では、視神経乳頭、黄斑、又は血管等の注目部位に撮影範囲を設定してもよい。この場合、駆動制御部２２は、当該設定に応じてＸスキャナ１１４−１及びＹスキャナ１１４−２や固視灯１０６を制御することができる。
ステップＳ６０３において、駆動制御部２２は、ステージ部１５０を制御して光学ヘッド部１００を初期アライメント位置へ移動させる。このとき、表示部４０には図４に例示される断層画像撮影用の画面が表示される。このステップにおいては前眼画像４０１と眼底正面画像４０２を表示する。なお、初期アライメント位置は記憶部２７に記憶されていてよい。
次に、ステップＳ６０４においては、第１アライメント部２４が第１アライメント処理を実施し、駆動制御部２２が第１アライメント処理によって求められた位置の情報に基づいて、光学ヘッド部１００を移動させる。ここで、図７及び８を参照して、本実施例に係る第１アライメント処理の動作原理について説明する。図７は、被検眼Ｅの前眼部と共役な位置に光束を分割するイメージスプリットプリズムを有するプリズム付レンズ１１０の一例の詳細図である。図８は、赤外線ＣＣＤ１１２を用いて撮影された前眼画像の例を示す。
プリズム付レンズ１１０には、図７に示されるように、フレネルプリズム１１０−１，１１０−２が設けられている。なお、プリズム付レンズ１１０は、フレネルプリズム１１０−１，１１０−２が被検眼Ｅの前眼部と共役となる位置に配置されている。また、プリズム付レンズ１１０におけるフレネルプリズム１１０−１，１１０−２の反対面（赤外線ＣＣＤ１１２側の面）は球面であり、プリズム付レンズ１１０は、被検眼Ｅの前眼部に対し、フィールドレンズの役目を果している。このため、プリズム付レンズ１１０の背後に配置されたレンズ１１１を小型化することが可能である。
ここで、光学ヘッド部１００と被検眼Ｅとの位置関係、つまりアライメント位置が第１のアライメント処理に関して理想位置にある場合について述べる。この場合には、被検眼Ｅの前眼部からの光束は、プリズム付レンズ１１０のフレネルプリズム１１０−１，１１０−２上に一度結像し、プリズム効果により、イメージスプリットされる。しかしながら、赤外線ＣＣＤ１１２の撮影面もフレネルプリズム１１０−１，１１０−２と共役なため、赤外線ＣＣＤ１１２を用いて撮影された前眼画像は、図８の前眼画像８０１のようになる。前眼画像８０１では、前眼部像は画像の中心にあり、瞳孔像も上半分と下半分も合致している。
これに対し、アライメント位置がｘｙｚ方向の全てにおいて理想位置にない場合には、前眼画像８０２のようになる。前眼画像８０２では、前眼部像が画像の中心からずれた位置にあり、且つ瞳孔像の上半分と下半分もずれている。また、アライメント位置がｘｙ方向では理想位置にあり、ｚ方向が遠い場合には前眼画像８０３のように、ｚ方向が近い場合は前眼画像８０４のようになる。前眼画像８０３及び前眼画像８０４では、前眼部像は画像の中心にあるものの、瞳孔像の上半部と下半分がずれており、ずれの方向が前眼画像８０３と前眼画像８０４とで反対方向となっている。
上述のように、本実施例では前眼の観察光路Ｌ３における被検眼Ｅの前眼部と略共役な位置に、プリズム付レンズ１１０が設けられている。このため、第１アライメント部２４は、赤外線ＣＣＤ１１２を用いて撮影された前眼画像から被検眼Ｅの瞳孔位置を検出することで、光学ヘッド部１００と被検眼Ｅとのアライメント位置関係を知ることができる。駆動制御部２２は、第１アライメント部２４によって求められた位置に光学ヘッド部１００を移動させることで、被検眼Ｅに対して光学ヘッド部１００を位置合わせすることができる。
ここで、図６（ｂ）を参照して、ステップＳ６０４における本実施例に係る第１アライメント処理の詳細について説明する。ステップＳ６０４における第１アライメント処理が実行されると、ステップＳ６４１において、取得部２１は赤外線ＣＣＤ１１２から出力信号を取得し、画像生成部２３が前眼画像を生成・取得する。
ステップＳ６４２では、第１アライメント部２４は、取得された前眼画像を解析して瞳孔領域を抽出する。その後、第１アライメント部２４は、抽出された瞳孔領域における瞳孔像の重心位置を赤外線ＣＣＤ１１２の撮影面上の位置として定量化する。
また、第１アライメント部２４は、ステップＳ６４３において、抽出した瞳孔領域における瞳孔像の分割量を定量化する。より具体的には、第１アライメント部２４は、撮影された前眼部画像を２値化し、２値化された画像から像構造が分割された位置としての直線成分を抽出する。そして、第１アライメント部２４は、抽出した直線成分から等距離離れた位置の分離された瞳孔像の端部の位置をそれぞれ抽出し、瞳孔像の端部の位置のずれの程度を定量化する。
ステップＳ６４４では、第１アライメント部２４が、ステップＳ６４２において求めた瞳孔重心位置、及びステップＳ６４３において求めた分割量に基づき、被検眼Ｅに対して光学ヘッド部１００を配置すべき位置（第１アライメント位置）の情報を求める。本実施例では、第１アライメント部２４は、第１アライメント位置の情報として、第１アライメント位置への光学ヘッド部１００のｘｙｚ方向の移動量を求める。ステップＳ６４５では、駆動制御部２２が、求められた移動量に基づいて、ステージ部１５０を制御して光学ヘッド部１００を移動させる。光学ヘッド部１００がステップＳ６４３で求められた位置に移動すると、処理はステップＳ６０５に移行する。
なお、上述の被検眼Ｅに対して光学ヘッド部１００をｘｙｚ方向において配置すべき位置の情報を取得する方法は一例である。第１アライメント部２４は、他の公知の任意の方法により被検眼Ｅに対して光学ヘッド部１００をｘｙｚ方向において配置すべき位置の情報を求めてもよい。
例えば、第１アライメント部２４は、輝点像を投影し撮影した前眼画像を解析し、輝点を含む所定領域を検出し、所定領域が前眼画像における所定のアライメント範囲に入るように、光学ヘッド部１００を配置すべきｘｙ方向の位置を求めてもよい。なお、当該所定領域は輝点を含む領域に限られず、他の指標を投影した領域であってもよいし、上記のように瞳孔像が現れている領域であってもよい。また、第１アライメント部２４は、前眼画像における所定領域のコントラストが最大になるように、光学ヘッド部１００を配置すべきｚ方向の位置を求めてもよい。なお、当該所定領域については、上述の所定領域と同様のものであってよい。
また、第１アライメント部２４は、ラフアライメントとファインアライメントの２段階等の複数段階の構成で光学ヘッド部１００を配置すべき位置の情報を求めてもよい。例えば、第１アライメント部２４は、スプリット指標像に基づいて、光学ヘッド部１００を配置すべきｚ方向の位置を求め、その後、前眼画像の所定領域のコントラストが最大になる光学ヘッド部１００を配置すべきより正確なｚ方向の位置を求めてもよい。
次にステップＳ６０５において、第１アライメント部２４は、第１アライメント位置に配置された光学ヘッド部１００を用いて取得された眼底正面画像に基づいてフォーカス調整を実施する。より具体的には、取得部２１が第１アライメント位置に配置された光学ヘッド部１００のＣＣＤ１０５からの出力信号を取得し、画像生成部２３が当該出力信号に基づいて眼底正面画像を生成する。第１アライメント部２４は、眼底正面画像における輝度が最も高くなるレンズ１０７の位置の情報を取得する。ここで、眼底観察用の光学系におけるレンズ１０７とＯＣＴ光学系におけるレンズ１１５が連動されている場合には、第１アライメント部２４は、位置の情報を取得したレンズ１０７と連動させて、ＯＣＴ光学系のレンズ１１５を配置すべき位置の情報を取得することができる。また、眼底観察用の光学系におけるレンズ１０７とＯＣＴ光学系におけるレンズ１１５の対応関係が分かっている場合には、第１アライメント部２４は、レンズ１０７の位置に基づいて、ＯＣＴ光学系のレンズ１１５を配置すべき位置を求めることができる。第１アライメント部２４によってレンズ１０７，１１５を配置すべき位置を取得したら、駆動制御部２２が、第１アライメント部２４によって求められた位置にレンズ１０７，１１５を移動させる。
なお、第１アライメント部２４は、画像生成部２３によって生成された断層画像に基づいて、レンズ１１５を配置すべき位置の情報を求めてもよい。この場合、第１アライメント部２４は、断層画像の輝度が最も高くなるレンズ１１５の位置を求めることができる。このため、第１アライメント部２４は、眼底正面画像に基づいてレンズ１０７を配置すべき位置を求め、断層画像に基づいてレンズ１１５を配置すべき位置を求めてもよい。
また、第１アライメント部２４は、ラフフォーカス調整とファインフォーカス調整の２段階構成等の複数段階でフォーカスを調整してもよい。例えば、第１アライメント部２４は、眼底正面画像に基づいて、レンズ１０７と連動させるレンズ１１５を配置すべき位置を求め、その後、断層画像に基づいて、レンズ１１５の配置すべきより正確な位置を求めてもよい。
なお、上述の眼底フォーカスの調整方法は一例である。第１アライメント部２４は、他の公知の任意の方法により被検眼Ｅに対してレンズ１０７，１１５を配置すべき位置の情報を求めてもよい。例えば、第１アライメント部２４は、眼底正面画像や断層画像における所定領域を検出し、当該所定領域のコントラストが最大となるレンズ１０７，１１５の位置を求めてもよい。所定領域としては、例えば、血管領域や、視神経乳頭部、黄斑部、異常部位（病変領域）等が含まれてよい。なお、所定領域は操作者の指示に応じて定められてもよい。
なお、異常部位を検出する場合には、ルールベースの検出処理を行ってよい。ここで、ルールベースの処理とは既知の規則性、例えば網膜の形状の規則性等の既知の規則性を利用した処理をいう。また、異常部位を検出した場合には、表示制御部２８は、例えば、検出した異常部位の領域について、表示部４０に表示される眼底正面画像上に当該領域を示す関心領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を重畳表示させてもよい。
ステップＳ６０６では、第１アライメント部２４は、第１アライメント位置に配置された光学ヘッド部１００を用いて取得された断層画像に基づいてＣＧ調整を実施する。より具体的には、取得部２１がラインセンサ１８４から出力された干渉信号を取得し、画像生成部２３が当該干渉信号に基づいて断層画像を生成する。第１アライメント部２４は、断層画像における所定領域（例えば、ＲＰＥ層等の所定の網膜層等）を検出し、断層画像において所定の深度位置に当該所定領域の像が位置する際のミラー１１９の位置の情報を取得することができる。ここで、所定領域としては、ＲＰＥ層等の網膜層の他に、例えば、硝子体領域や、硝子体ポケット領域、脈絡膜領域、強膜領域、異常部位（病変領域）等が含まれてよい。なお、所定領域は操作者の指示に応じて定められてもよい。第１アライメント部２４によってミラー１１９を配置すべき位置を取得したら、駆動制御部２２が、第１アライメント部２４によって求められた位置にミラー１１９を移動させる。
なお、異常部位を検出する場合には、ルールベースの検出処理を行ってよい。また、異常部位を検出した場合には、表示制御部２８は、例えば、検出した異常部位の領域について、表示部４０に表示される断層画像上に当該領域を示す関心領域を重畳表示してもよい。
なお、上述のコヒーレンスゲート位置の調整方法は一例である。例えば、第１アライメント部２４は、断層画像のＳＮ比や輝度値（合計輝度値等）が所定の閾値以上又は最大となる位置を、ミラー１１９を配置すべき位置の情報として求めることができる。また、第１アライメント部２４は、ミラー１１９を配置すべき位置の情報として、当該取得した位置から所定量だけオフセットさせた位置を求めることもできる。
ステップＳ６０７では、評価部２６が、第１アライメント位置に配置され、フォーカス調整及びＣＧ調整が行われた光学ヘッド部１００を用いて取得された断層画像の評価を行う。より具体的には、取得部２１が、フォーカス調整及びＣＧ調整が行われた後にラインセンサ１８４から出力された干渉信号を取得し、画像生成部２３が当該干渉信号に基づいて断層画像を生成する。評価部２６は、断層画像の画質についての第１評価値としてＱインデックス値を求める。
ステップＳ６０８では、評価部２６は、ステップＳ６０７で得られた第１評価値が閾値以上であるか否かを判断する。評価部２６が、第１評価値が閾値以上であると判断した場合、必要十分な画質が得られたものとして、アライメント処理を終了し、処理はステップＳ６１５へ移行する。ステップＳ６１５では、アライメントが行われた光学ヘッド部１００を用いて本撮影が行われる。ここで、本撮影とは、被検眼の眼底に関する測定に係る撮影であり、準備段階での撮影と区別するために本撮影という。なお、この際、表示制御部２８は、第２アライメント処理を行わない旨を表示部４０に表示させてもよい。
一方、ステップＳ６０８において、評価部２６が、第１評価値が閾値よりも低いと判断した場合、処理はステップＳ６０９へ移行する。ステップＳ６０９では、第２アライメント部２５が第２アライメント処理を実施する。
ここで、図６（ｃ）を参照して、ステップＳ６０９における第２アライメント処理の詳細について説明する。第２アライメント処理が開始されると、まずステップＳ６９１において、前眼画像を取得する。具体的には、取得部２１が、第１アライメント位置に配置され、フォーカス調整及びＣＧ調整が行われた光学ヘッド部１００の赤外線ＣＣＤ１１２から出力信号を取得し、画像生成部２３が前眼画像を生成・取得する。
ステップＳ６９２では、第２アライメント部２５は、後述する学習済モデルを用いて、前眼画像から、被検眼Ｅに対して光学ヘッド部１００を配置すべき位置（第２アライメント位置）の情報を求める。具体的には、第２アライメント部２５は、前眼画像を学習済モデルに入力し、学習済モデルからの出力（推論結果）に基づいて、第２アライメント位置を求める。なお、本実施例では、第２アライメント部２５は、第２アライメント位置の情報として、第２アライメント位置への光学ヘッド部１００のｘｙｚ方向の移動量を求める。
ステップＳ６９３では、駆動制御部２２が、求められた移動量に基づいて、ステージ部１５０を制御して光学ヘッド部１００を移動させる。光学ヘッド部１００がステップＳ６９２で求められた位置に移動すると、処理はステップＳ６１０に移行する。
ステップＳ６１０では、評価部２６が、第２アライメント位置に配置された光学ヘッド部１００を用いて取得された断層画像の評価を行う。より具体的には、取得部２１が、光学ヘッド部１００が第２アライメント位置に配置された後にラインセンサ１８４から出力された干渉信号を取得し、画像生成部２３が当該干渉信号に基づいて断層画像を生成する。評価部２６は、ステップＳ６０７と同様に、断層画像の画質についての第２評価値としてＱインデックス値を求める。
ステップＳ６１１において、評価部２６は、ステップＳ６０７で得られた第１評価値と、ステップＳ６１０で得られた第２評価値を比較する。評価部２６が、第２評価値が第１の評価値以上であると判断した場合には、処理はステップＳ６１５へ移行する。ステップＳ６１５では、第２アライメント位置へ位置合わせされた光学ヘッド部１００を用いて本撮影が行われる。
一方、ステップＳ６１１において、評価部２６が、第２評価値が第１評価値より低いと判断した場合には処理はステップＳ６１２に移行する。ステップＳ６１２では、駆動制御部２２が、ステージ部１５０を制御して、ステップＳ６０４で求められた第１アライメント位置へ光学ヘッド部１００を移動させる。その後、ステップＳ６１５において、第１アライメント位置へ位置合わせされた光学ヘッド部１００を用いて本撮影が行われる。
上記のように処理を行うことで、光学ヘッド部１００は被検眼Ｅに対してより適切な位置にアライメントされる。なお、ステップＳ６９３及びステップＳ６１２における光学ヘッド部１００の移動の後にも、フォーカス調整処理及びＣＧ調整処理が行われてもよい。
また、ステップＳ６１５における本撮影は、操作者の指示に応じて行われてもよい。この場合、操作者からの本撮影の指示が行われるまで、処理は所定の時間間隔毎にステップＳ６０４〜Ｓ６１２の間で繰り返されてよい。また、本撮影の指示が行われるまで、表示制御部２８は、随時取得される前眼画像、眼底正面画像、及び断層画像を動画像として表示部４０に表示させてもよい。以下、このような表示画面をプレビュー画面という。
なお、測定中の被検者の動きに追従して光学ヘッド部１００を動かすトラッキング処理が行われてもよい。この場合には、上述のように、断層画像の評価値の高いアライメント処理を用いてアライメントを実行し続けることにより、被検者が動いた場合においても、適切なアライメント位置に光学ヘッド部１００を動かし続けることができる。
（学習済モデルの構成）
ここで、前述の第２アライメント処理に用いる学習済モデルについて詳細に説明する。本実施例に係る第２アライメント処理では、前眼画像からのアライメント位置の認識処理を、深層学習（ディープラーニング）による機械学習プロセスで学習したニューラルネットワークで実装する。
図９は、本実施例に係るニューラルネットワークモデル概略図の一例を示している。図９に示すモデル概略図では、入力された前眼画像の２次元ピクセル列データである画像情報に対して、予め学習した眼形状を認識し、光学ヘッド部１００の座標系において適切なアライメント位置からのずれ量を出力するよう設計されている。なお、ずれ量としては、３次元位置の情報Δｘ、Δｙ、及びΔｚが出力される。出力されるずれ量等のアライメント情報は、機械学習プロセス（深層学習）での学習内容に基づくものであり、本実施例に係るニューラルネットワークは、前眼画像情報に含まれる眼の外観形状と光学ヘッド部１００の位置との相関を表す特徴量を学習している。
以上の基本仕様に係るニューラルネットワークにおいては、例えば入力層の直近をいわゆる畳み込み層とプーリング層の組み合わせである畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で構成することで柔軟なパターンの認識を行うことができる。また例えば、出力層の直近を最適値演算に適した全結合層（特に図示せず）で構成することもできる。
本実施例に係るニューラルネットの学習手法としては、いわゆる教師あり学習と強化学習のいずれによっても行うことが可能である。教師あり学習を行う場合には、前眼画像を入力データとし、被検眼と光学ヘッド部を手動で位置合わせを行い手動での位置合わせ結果（移動量）を出力データとして用いればよい。
以下、図１１（ａ）乃至（ｃ）を参照して、本実施例に係る学習済モデルの学習データについて説明する。図１１（ａ）乃至（ｃ）は、学習時の前眼画像について説明するための図である。図１１（ａ）乃至（ｃ）には、被検眼Ｅに部分的な混濁１１０１がある場合の前眼画像が示されている。
図１１（ａ）は、前述の第１アライメント処理によって、光学ヘッド部１００が被検眼Ｅに対して第１アライメント処理での理想位置に近い位置に配置された場合の前眼画像を示している。図１１（ａ）に示されている前眼画像では、光学ヘッド部１００は被検眼Ｅに対して理想位置に近い位置に配置されているが、被検眼Ｅには混濁１１０１があるため、当該位置において撮影を行っても、混濁１１０１によって測定光等の光束が散乱されてしまう。そのため、このような位置で本撮影を行う場合には、混濁１１０１に起因して、適切な眼底正面画像や断層画像を撮影することができない。
そこで、本実施例では、第２アライメント処理により、被検眼Ｅの混濁を避けるように測定光等の光束の光軸をずらして光学ヘッド部１００を被検眼Ｅに対してアライメントできるように、機械学習モデルの学習を行う。そのため、本実施例では、学習済モデルに関する学習データとして、前眼画像を入力データとし、被検眼の混濁を避けるように被検眼に対して光学ヘッド部を位置合わせした際のｘｙｚ方向の移動量を出力データとする。
ここで、図１１（ｂ）は、図１１（ａ）に示される前眼画像を取得したアライメント位置から、実際に操作者が混濁１１０１を避けるように光学ヘッド部１００を操作しアライメントを実施した場合の前眼画像を示す。この場合には、学習データの入力データを、図１１（ａ）に示す第１アライメント処理後の前眼画像とし、出力データを、当該第１アライメント位置から図１１（ｂ）に示す前眼画像を取得した際のアライメント位置への光学ヘッド部１００の移動量とする。
また、第１アライメント位置からｘｙｚ方向それぞれの方向へ光学ヘッドを複数回ずらしながらそれぞれの位置で断層画像を撮影し、最も断層画像の評価値が高くなった際の光学ヘッド部１００の移動量を教師データの出力データとしてもよい。この場合の光学ヘッド部１００の移動量は、第１アライメント位置から最も断層画像の評価値が高くなった際の光学ヘッド部１００の位置への移動量である。なお、入力データは、上述と同様に図１１（ａ）に示す第１アライメント処理後の前眼画像であってよい。
なお、学習データについて、被検眼Ｅを撮影した際のデータを用いる場合について説明したが、眼の模型を用いて学習データを生成することもできる。この場合には、より効率よく多数の学習データを生成することができる。また、学習データについて混濁の形状が様々な被検眼Ｅ又は眼の模型について用意し学習することで、学習済モデルは様々な混濁の形状を有する被検眼Ｅについて、混濁を避けるように光学ヘッド部１００を移動すべき移動量を出力できる。このように学習データを多数用意し、ニューラルネットを学習させることで、第２アライメント部２５は、学習済モデルを用いて、より適切な第２アライメント位置の情報を取得することができる。
なお、ここまで、測定光の光軸をずらして被検眼に対する装置のアライメントを行うべき場合に関し、被検眼に混濁がある場合について述べた。しかしながら、測定光の光軸をずらして被検眼に対する装置のアライメントを行うべき場合はこれに限られない。例えば、患眼等では角膜に対して瞳孔が偏心している場合も少なくない。アライメント指標を投影する方法では、そのような被検眼の角膜に投影されたアライメント指標像を基に位置合わせを行うと、装置光軸と被検眼瞳孔が一致せず、瞳孔径が小さい場合には、測定光束が瞳孔によってけられてしまう場合もあることがわかった。また、装置と被検眼との位置関係が大きくずれると、アライメント指標の角膜反射光を検出できなくなってしまうこともある。そのため、これらの場合にも、被検眼に対する装置のアライメント操作等の装置に関する各種調整操作には、これらの調整操作にある程度精通していることが求められる。
そのため、第２アライメント部２５が用いる学習済モデルの学習データに関して、例えば、角膜に対して瞳孔が偏心している被検眼Ｅについても、学習データを用意することができる。この場合には、学習データの入力データは前眼画像とし、出力データは瞳孔の偏心に合わせて光学ヘッド部１００をアライメントした際の移動量としてよい。このような学習データの作成にも眼の模型を用いることができる。
また、学習データとしては、健常眼に対して適切にアライメントを行った際のアライメント位置の情報を含んでもよい。この場合には、学習データの入力データは健常眼の前眼画像とし、出力データは光学ヘッド部１００を適切にアライメントした際の移動量としてよい。このような学習データを用いて学習を行った学習済モデルを用いる場合、第２アライメント部２５は、混濁や瞳孔の偏心がない被検眼Ｅについても適切なアライメント位置の情報を得ることができる。このような学習データの作成にも眼の模型を用いることができる。
なお、これらのような学習データを用いて、各ニューラルネットワークの入力層と出力層の間の関係性が成立するように、各ノード同士をつなぐ各エッジの重み係数を調整する、バックプロパゲーション法（誤差逆伝播法）により学習を行うことができる。具体的には、まず、学習モデルの入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、学習データとの誤差を得る。なお、損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差を計算するようにしてもよい。次に、得られた誤差に基づいて、その誤差が小さくなるように、誤差逆伝播法を用いて、ニューラルネットワークのノード間の結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。なお、このような誤差逆伝播法の他にも、いわゆる積層オートエンコーダ、ドロップアウト、ノイズ付加、及びスパース正則化などの公知の多様な学習手法を併用して処理精度を向上させてもよい。
このような学習データを用いて学習を行った学習済モデルにデータを入力すると、学習済モデルの設計に従ったデータが出力される。例えば、学習データを用いてトレーニングされた傾向に従って、入力されたデータに対応する可能性の高いデータが出力される。本実施例では、上述した学習データを用いて学習を行った学習済モデルに前眼画像１００１を入力すると、光学ヘッド部１００を被検眼Ｅに対して適切にアライメントを行うための移動量（位置合わせ結果１００３）が出力される。特に、第２アライメント部２５は、このような学習済モデルを用いることで、混濁や瞳孔の偏心がある被検眼Ｅに対しても適切なアライメントを行うための移動量等の第２アライメント位置の情報を取得することができる。
ここで、学習済モデルから出力されるデータについてより詳細に説明する。例えば、前述したＣＮＮを用いた機械学習モデルによれば、入力された前眼画像が、学習時に入力された複数の前眼画像各々に対応する複数の移動量のどの値と対応するかの可能性が、各々の値について例えば確率として出力される。このため、学習済モデルからの出力は、入力された前眼画像に対応する学習時に出力データとされた移動量、及びその移動量の各々に対応する値（確率）となる。
第２アライメント部２５は、学習済モデルから出力された確率等を参照して、入力された前眼画像に対応する可能性の高い移動量を、出力すべき値として決定する。例えば、第２アライメント部２５は、取得された前眼画像を学習済モデルに入力し、学習済モデルから出力された複数の移動量のうち他よりも高い確率を有する移動量を出力すべき移動量として決定する。
なお、学習済モデルから出力された複数の移動量から、第２アライメント部２５が出力すべき移動量を決定する方法はこれに限られない。例えば、表示制御部２８が学習済モデルから出力された複数の移動量及びその確率を表示部４０に表示させ、操作者が当該表示に応じて、第２アライメント部２５が出力すべき移動量を選択してもよい。この場合、第２アライメント部２５は、操作者の指示に応じて、出力すべき移動量を決定することができる。
また、当該学習済モデルから出力された複数の移動量から、別の機械学習モデルを用いて、第２アライメント部２５が出力すべき移動量を決定してもよい。この場合には、機械学習アルゴリズムは、第２アライメント位置の情報の取得に用いられた機械学習アルゴリズムとは異なる種類の機械学習アルゴリズムであってもよく、例えば、サポートベクターマシン、アダブースト、ベイジアンネットワーク、又はランダムフォレスト等を用いてよい。
なお、ここでは、第２アライメント部２５が出力する第２アライメント位置の情報として移動量を例に説明した。これに対し、第２アライメント位置の情報が光学ヘッド部１００を配置すべきｘｙｚ座標系における座標である場合にも、学習済モデルから出力される複数の座標（位置）から、同様の処理により出力すべき値を決定してよい。
また、強化学習を行う場合の学習方法では、前述の第１アライメント処理を実施した後に、ｘｙｚ方向におけるランダムな方向と量でランダムな位置に配置された光学ヘッド部１００をずらしながら断層画像の撮影を行い、断層画像の評価を行う。なお、断層画像の評価には前述したＱインデックス等の評価指標を用いてよい。その後、光学ヘッド部１００を再度ランダムに動かし、断層画像を取得し、断層画像の評価を行う。そして、評価値の差を算出し、その差を報酬として、最大の報酬が得られるようにニューラルネットワークの誤差逆伝播法による学習を行う。なお、強化学習の目標としては、例えば、報酬が最大となる位置に最短時間で到達することを設定してよい。
例えば、図１１（ａ）は第１アライメント処理を実施した後の前眼画像を示し、図１１（ｂ）はランダムな方向として、第１アライメント位置から右下に動いた場合の前眼画像の例を示す。強化学習の一例では、まず、このアライメント位置で断層画像を撮影し、断層画像の評価値Ｅｂを得る。次に、ランダムな方向として下方へ光学ヘッド部１００を移動して、図１１（ｃ）に示す前眼画像が取得される位置へ移動し、再度断層画像を取得し評価値Ｅｃを得る。この評価値の差Ｅｃ−Ｅｂを報酬とする。
作業位置のランダム性を逐次調整しながらこのような学習作業を繰り返すことで、学習モデルは、前眼画像とそれに対応する適切なアライメント位置への光学ヘッド部１００の移動距離を出力するための特徴量を学習できる。このような強化学習は、いわゆる公知のＱ学習アルゴリズムを用いればよく、ここではその詳細な説明を省略する。なお、強化学習のアルゴリズムとしては、Ｓａｒａｓ、モンテカルロ法、又はバンディットアルゴリズム等を用いてもよい。
また、強化学習においても、眼の模型を用いて学習が行われてもよい。さらに、強化学習においては、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
なお、処理アルゴリズムは、図示したニューラルネットワークを用いた深層学習（ディープラーニング）によるもの以外にも、例えばサポートベクターマシンやベイジアンネットワーク等を利用した他の処理アルゴリズムを適用してもよい。
また、機械学習に基づく第２アライメント処理の学習時及び推論時のいずれについても、前述のプリズム付レンズ１１０を光路上から挿抜しておいてよい。ただし、学習データの生成のために、手動でアライメント調整を行う場合には、プリズム付レンズ１１０を抜いていると検者がアライメントを行い難くなる。このため、手動でアライメントを行う際にはプリズム付レンズ１１０を光路中に挿入することとしてもよい。例えば、学習データの入力データを、プリズム付レンズ１１０を光路上から抜いた前眼画像とし、出力データを、光路中にプリズム付レンズ１１０が挿入された状態の手動でのアライメント位置の情報とすることができる。この場合には、プリズム付レンズのない前眼画像と手動でのアライメント位置の情報との学習を両立できる。
ここで、学習済モデルを用いたアライメント処理の利点について説明する。当該利点としては、例えば、白内障による水晶体の部分的な混濁を避けるオートアライメント処理が挙げられる。当該オートアライメント処理について、図１２を参照して説明する。図１２は、濁りを有する被検眼と観察用光束について説明するための図である。図１２には、白内障等による水晶体中のたんぱく質の変性等による部分的な濁り１２０３が示されている。
ここで、ステップＳ６０４において、被検眼Ｅに対して光学ヘッド部１００が第１アライメント位置に配置された状態での光束が光束１２０１である。図１２は、部分的な濁り１２０３が特に光路中央部にある例を示し、この場合には、断層撮影用の測定光の光束１２０１は、濁り１２０３により散乱されてほとんどが眼底Ｅｆに到達しない。そのため、このような状態で撮影された断層画像のプレビュー画像は非常に暗くなると同時に、断層画像のＱインデックス値も低くなる。
このような被検眼Ｅの場合、熟練した検者は、濁り１２０１を避けるように、被検眼Ｅに対して光学ヘッド部１００をアライメントして撮影を行っている。この濁り１２０１を避けるようなアライメントを行った場合の光束を１２０２に示す。この場合、光学ヘッド部１００は、濁り１２０３を避けて断層画像の撮影用の測定光の光束１２０２を眼底Ｅｆに導くことができる。混濁を避けるために、被検眼Ｅに対して光学ヘッド部１００のアライメントをずらして撮影するこのような手技を、学習済モデルを用いて実現することで、混濁に強いオートアライメント処理を行うことができる。
上記のように、本実施例に係るＯＣＴ装置１は、被検眼Ｅに光を照射し且つ被検眼からの戻り光を検出するための光学系を含む光学ヘッド部１００と、第１アライメント部２４と、第２アライメント部２５とを備える。第１アライメント部２４は、光学ヘッド部１００を用いて取得された前眼部の画像に基づいて、被検眼Ｅに対して光学ヘッド部１００を配置する第１アライメント位置（第１の位置）の情報を取得する。第２アライメント部２５は、被検眼Ｅに対する光学ヘッド部１００に関する位置の情報を学習して得た学習済モデルを用いて、光学ヘッド部１００を用いて取得された前眼部の画像から、被検眼に対して光学ヘッド部１００を配置する、第１アライメント位置とは異なる第２アライメント位置（第２の位置）の情報を取得する。また、ＯＣＴ装置１は、第１アライメント部２４によって第１アライメント位置の情報を取得した後に、第２アライメント部２５によって第２アライメント位置の情報を取得可能に構成される。なお、第１の位置及び第２の位置の情報は、被検眼Ｅに対して光学ヘッド部１００を配置（位置合わせ）すべき第１アライメント位置及び第２アライメント位置の情報に限られず、被検眼Ｅに対する光学ヘッド部１００に関する位置の情報であってよい。ここで、被検眼Ｅに対する光学ヘッド部１００に関する位置の情報は、被検眼Ｅに対する光学ヘッド部１００の現在（前眼部の画像の取得時）の位置の情報であってもよい。
なお、学習済モデルは、光学ヘッド部１００からの光束の光軸を被検眼Ｅの瞳孔の重心からずらした光学ヘッド部１００の位置の情報を学習して得た機械学習モデルである。また、ＯＣＴ装置１は、光学ヘッド部１００を用いて取得された眼底Ｅｆに関する画像を評価する評価部２６を更に備える。第２アライメント部２５は、第１アライメント位置において取得された眼底Ｅｆに関する画像の評価値が閾値よりも低い場合に、第２アライメント位置の情報を取得する。なお、第１アライメント位置において取得された眼底Ｅｆに関する画像の評価値が閾値以上である場合には、第２アライメント部２５によって第２の位置の情報を求めない。また、ＯＣＴ装置１では、第１アライメント位置において取得された眼底Ｅｆに関する画像の評価値と、第２アライメント位置において取得された眼底Ｅｆに関する画像の評価値とのうち、より高い評価値を有する眼底Ｅｆに関する画像を取得した位置において、被検眼Ｅの眼底Ｅｆに関する測定を行う。
また、ＯＣＴ装置１は、光学ヘッド部１００の駆動を制御する駆動制御部２２を更に備える。駆動制御部２２は、第１アライメント部２４が取得した第１の位置の情報に基づいて、光学ヘッド部１００の第１の位置への駆動を制御する。また、駆動制御部２２は、第１アライメント部２４が取得した第２の位置の情報に基づいて、光学ヘッド部１００の前記第２の位置への駆動を制御する。
このような構成により、本実施例に係る第２アライメント部２５は、学習済モデルを用いて第２アライメント処理を行うことで、機械学習プロセス（例えば深層学習）での学習内容に基づいて画像から適切なアライメント位置を認識することができる。これにより、ＯＣＴ装置１は、特に濁りを避けた位置や瞳孔の偏心に対応する位置で継続的にオートアライメントができるため、比較的撮影時間の長い断層撮影においても、得られる画像について良好な状態を保ちながら撮影ができる。そのため、特に角膜形状の異常がある疾患眼や白内障などの疾患眼等について、アライメント位置の調整操作の煩雑さを軽減することができる。また、良好な断層画像が撮影できる位置へのオートアライメントを継続的に行うことができるため撮影が簡便であり、検査時間が短くなるため、被検者の負担を減少させることができる。
なお、混濁を避ける位置や瞳孔の偏心に対応する位置を見出す第２アライメント処理は、学習済モデルのネットワークの処理負荷のため、従来行われてきたステップＳ６０４のような第１アライメント処理と比較して処理に時間がかかる。そのため、本実施例では、第１アライメント処理後に断層画像を評価し、評価結果に応じて学習済モデルを用いた第２アライメント処理を必要とする場合にのみ、第２アライメント処理を実行するように構成した。このため、第２アライメント処理を必要としない被検眼Ｅについては、処理に係る時間が長くなることを抑制することができる。
その他の構成としては、患者の疾患に応じて第１アライメント処理と第２アライメント処理を選択するように構成してもよい。また、評価値の高かったアライメント処理を患者ＩＤ（識別情報）とともに記録しておくことで、２回目以降の撮影では、患者に最適なアライメント手法を選択的に実施できるように構成してもよい。
さらに、患者の疾病情報などを取得し、白内障など混濁の認められる可能性の高い患者等については、第１アライメント処理をスキップし、第２アライメント処理である学習済モデルを用いたアライメント処理を実施するように構成してもよい。言い換えると、ＯＣＴ装置１では、被検眼Ｅが所定の疾患眼である場合には、第１アライメント部２４によって第１アライメント位置の情報を求めずに、第２アライメント部２５によって第２アライメント位置の情報を求めてよい。ここで、所定の疾患眼は、白内障の眼、瞳孔偏心が生じている眼、及び瞳孔縮小が生じている眼のうちのすくなくとも１つを含んでよい。この場合には、第１アライメント処理をスキップすることで、検査時間を短くし、被検者の負担を減少させることができる。なお、この場合には、第２アライメント処理を、フォーカス調整処理及びＣＧ調整処理の前に行うこととなる。
ここで、これら第１アライメント処理を先に行わずに、第２アライメント処理を行う構成について述べる。この場合、第２アライメント処理に用いる学習済モデルの学習データとして、第１アライメント処理後の前眼画像やこれに対応する光学ヘッド部の移動量だけでなく、初期アライメント位置で取得された前眼画像やこれに対応する光学ヘッド部の移動量を用いる。これにより、第２アライメント部２５は、第１アライメント処理を行わずに第２アライメント処理を行う際に、初期アライメント位置における光学ヘッド部１００で取得された前眼画像から、第２アライメント位置の情報を取得することができる。
なお、プレビュー画面に表示される前眼画像の動画像について、第１アライメント処理及び第２アライメント処理を行う場合には、これらの処理は動画像の１フレーム毎に行われてもよいし、動画像の所定のフレーム数毎に行われてもよい。
また、動画像について第１アライメント処理及び第２アライメント処理を行う場合には、操作者の指示に応じてこれらの処理を終了してもよいし、自動的にこれらの処理を終了してもよい。動画像についての第１及び第２アライメント処理を自動的に終了する場合には、例えば、第１及び第２アライメント位置で取得された断層画像のＱインデックス値が閾値以上になった際に各処理を終了してよい。また、例えば、所定のフレーム数の画像に関する複数のアライメント位置のうち、その位置で取得された断層画像のＱインデックス値が最も高いアライメント位置を最終的な第１又は第２アライメント位置として、各処理を終了してもよい。なお、これらの処理を自動で終了する場合には、処理を終了した時点で求められている第１アライメント位置及び第２アライメント位置についての断層画像のＱインデックス値を、ステップＳ６１１と同様に比較してもよい。
なお、動画像について、第１アライメント処理及び第２アライメント処理を行う場合において、所定の時間、各アライメント位置での断層画像のＱインデックス値が上昇しない場合には、Ｑインデックス値が閾値未満であっても、処理を終了させてもよい。なお、この場合、表示制御部２８は、Ｑインデックス値が閾値未満であるが、所定時間が経過したため処理を終了させた旨を表示部４０に表示させてもよい。
また、プレビュー画面に表示される眼底正面画像や断層画像について、フォーカス調整処理やＣＧ調整処理を行う場合にも、操作者の指示に応じてこれらの処理を終了してもよいし、自動的にこれらの処理を終了してもよい。なお、自動的にこれらの処理を終了する場合の処理としては、上述の前眼画像について第１及び第２アライメント処理を自動的に終了する場合と同様の処理がなされてよい。
なお、第１アライメント処理を先に行わずに、第２アライメント処理を行う構成についても前眼画像の動画像について第２アライメント処理を行うことができる。この場合、第２アライメント処理に用いる学習済モデルの学習データとして、第２アライメント位置で取得された前眼画像やこれに対応する光学ヘッド部の移動量も用いる。これにより、第２アライメント部２５は、第１アライメント処理を行わずに第２アライメント処理を行う際に、前の前眼画像に対する第２アライメント位置における光学ヘッド部１００で取得された前眼画像から、第２アライメント位置の情報を取得できる。
なお、ステップＳ６１５における本撮影では、断層画像や眼底正面画像とともに、又はこれらに代えて、Ｅｎ−Ｆａｃｅ画像やＯＣＴＡ正面画像等の画像が撮影されてもよい。ここで、Ｅｎ−Ｆａｃｅ画像とは、光干渉を用いて得たボリュームデータ（三次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影又は積算して生成される正面画像をいう。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ−Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ−Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。
また、ＯＣＴＡ正面画像とは、複数のボリュームデータ間のモーションコントラストデータについて、上述の深度範囲に対応するデータを二次元平面に投影又は積算して生成したモーションコントラスト正面画像のことをいう。ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、複数の２次元の断層画像間のモーションコントラストデータで生成される断層画像はＯＣＴＡ断層画像とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。
ここで、上述したプレビュー画面において、眼底正面画像に代えて、所定の深度範囲に対応するＥｎ−Ｆａｃｅ画像やＯＣＴＡ正面画像が動画像として表示されてもよい。また、プレビュー画面において、断層画像に代えてＯＣＴＡ断層画像が動画像として表示されてもよい。
なお、Ｅｎ−Ｆａｃｅ画像やＯＣＴＡ正面画像の生成に関する所定の深度範囲については、層のセグメンテーション処理の結果に応じた深度範囲がデフォルトの深度範囲として設定されてよい。ただし、当該深度範囲は、例えばプレビュー画面に表示される深度範囲の表示態様をドラッグしたり、深度範囲を数値等で指定したりする等のユーザの指示に応じて、変更されてよい。深度範囲がユーザの指示に応じて変更された場合には、表示されるＥｎ−Ｆａｃｅ画像やＯＣＴＡ正面画像が更新される。なお、層のセグメンテーション処理は、公知の画像セグメンテーション処理により行われてもよいし、後述する画像セグメンテーション処理用の学習済モデルを用いて行われてもよい。
また、Ｅｎ−Ｆａｃｅ画像やＯＣＴＡ正面画像の生成に関する所定の深度範囲については、フォーカス調整処理（ステップＳ６０５）やＣＧ調整処理（ステップＳ６０６）において操作者によって指定された所定領域に対応する深度範囲が設定されてもよい。この場合には、操作者による所定領域の指定に応じて、Ｅｎ−Ｆａｃｅ画像やＯＣＴＡ正面画像の生成に関する深度範囲を変更し、表示されるＥｎ−Ｆａｃｅ画像やＯＣＴＡ正面画像が更新される。
なお、本実施例では、第２アライメント処理を行うか否かの判断（ステップＳ６０８）及び当該判断のための断層画像評価（ステップＳ６０７）は、第１アライメント処理（ステップＳ６０５）の後に行われた。しかしながら、第２アライメント処理を行うか否かの判断及び当該判断のための断層画像評価は、第１アライメント位置での本撮影の後に行われてもよい。この場合、ＣＧ調整処理（ステップＳ６０６）後に本撮影処理が行われてよい。また、第２アライメント処理を行うか否かの判断及び当該判断のための断層画像評価は、本撮影の前後のタイミングの両方で行われてもよい。
さらに、本実施例では、第２アライメント処理を行うか否かの判断は、断層画像評価（ステップＳ６０７）に基づいて自動的に行われたが、操作者の指示に応じて行われてもよい。この場合、例えば、表示制御部２８が、ＣＧ調整処理（ステップＳ６０６）後に撮影された断層画像を表示部４０に表示させ、制御部２０は第２アライメント処理を行うか否かについて操作者の指示を受け付けてもよい。また、例えば、表示制御部２８が、当該断層画像とともに、又は当該断層画像に代えて、断層画像評価（ステップＳ６０７）で求めた評価値を表示部４０に表示させ、制御部２０は第２アライメント処理を行うか否かについて操作者の指示を受け付けてもよい。
なお、本実施例では、評価部２６が、アライメント位置として第１アライメント位置と第２アライメント位置のいずれを採用するかの判断として、各アライメント位置での断層画像の評価値に基づいて判断を行った（ステップＳ６１０）。これに対して、制御部２０は、当該判断を操作者の指示に応じて行ってもよい。この場合、例えば、表示制御部２８が、各アライメント位置での断層画像を表示部４０に表示させ、制御部２０は第１アライメント位置と第２アライメント位置のいずれを採用するかについて操作者の指示を受け付けてもよい。また、例えば、表示制御部２８が、当該断層画像とともに、又は当該断層画像に代えて、各断層画像の評価値を表示部４０に表示させ、制御部２０は第１アライメント位置と第２アライメント位置のいずれを採用するかについて操作者の指示を受け付けてもよい。
なお、本実施例では、検査パラメータの選択後、自動的に光学ヘッド部１００を初期アライメント位置へ移動し（ステップＳ６０３）し、その後自動的に第１アライメント処理（ステップＳ６０４）を開始した。これに対し、第１アライメント処理は、光学ヘッド部１００の初期アライメント位置への移動後に操作者の指示に応じて開始されてもよい。同様に、フォーカス調整処理は、第１アライメント処理の後、自動的に開始されてもよいし、操作者の指示に応じて開始されてもよい。同様に、ＣＧ調整処理（Ｓ６０６）も、フォーカス調整処理後、自動的に開始されてもよいし、操作者の指示に応じて開始されてもよい。また、本実施例では、ＣＧ調整処理（Ｓ６０６）は、フォーカス調整処理（Ｓ６０５）後に行われているが、フォーカス調整処理の前に行われてもよいし、フォーカス調整処理と並行して行われてもよい。
なお、本実施例では、第１アライメント処理において、プリズム付レンズ１１０を用いて得たスプリット像に基づいて、ｚ方向の第１アライメント位置の情報を取得した。これに対して、プリズム付レンズ１１０を用いない場合には、第１アライメント部２４は、前眼画像のボケ量に基づいてｚ方向の第１アライメント位置の情報を取得することもできる。また、第１アライメント部２４は、光軸外に設けられた複数のカメラを用いて得た複数の前眼画像を用いて、第１アライメント処理を行ってもよい。この場合には、第１アライメント部２４は、複数の前眼画像に基づいて、被検眼Ｅに対する光学ヘッド部１００の奥行方向の位置を把握することができる。
また、本実施例では、被検眼Ｅと光学ヘッド部１００のアライメント処理として、被検眼Ｅに対して光学ヘッド部１００を移動させた。これに対して、被検眼Ｅと光学ヘッド部１００のアライメント処理は、光学ヘッド部１００に対して被検眼Ｅを移動させることで行われてもよい。この場合、第１アライメント部２４が取得する第１アライメント位置の情報、及び第２アライメント部２５が取得する第２アライメント位置の情報は、光学ヘッド部１００に対する被検眼Ｅの位置の情報となる。ここで、被検眼Ｅの第１アライメント位置の情報及び第２アライメント位置の情報は、被検眼Ｅを位置合わせすべきｘｙｚ座標系における座標であってもよいし、被検眼Ｅの移動量であってもよい。また、上述した第１の位置及び第２の位置の情報は、光学ヘッド部１００に対して被検眼Ｅを位置合わせすべき第１アライメント位置及び第２アライメント位置の情報に限られず、光学ヘッド部１００に対する被検眼Ｅに関する情報であってよい。ここで、光学ヘッド部１００に対する被検眼Ｅに関する情報は、光学ヘッド部１００に対する被検眼Ｅの現在（前眼部の画像の取得時）の位置の情報であってもよい。
光学ヘッド部１００に対して被検眼Ｅを移動させて、被検眼Ｅと光学ヘッド部１００のアライメント処理を行う場合には、例えば、被検者の額や顎を押し当てるための顔受け部１６０を光学ヘッド部１００に対して移動させることでアライメント処理を行ってよい。この場合、駆動制御部２２による顔受け部１６０の駆動制御は、光学ヘッド部１００に対する顔受け部１６０自体のｘｙｚ方向の移動を含んでもよい。この場合、第１アライメント位置や第２アライメント位置は、被検者の顔を支持する顔受け部１６０（支持部）のｘｙｚ座標系における座標（位置）であってもよい。そのため、第１アライメント位置の情報や第２アライメント位置の情報に対応する被検眼Ｅの位置の情報は、顔受け部１６０を配置すべきｘｙｚ座標系における座標やｘｙｚ方向の移動量であってもよい。
また、この場合、第２アライメント部２５が用いる学習済モデルの学習データは、前眼画像を入力とし、被検眼Ｅの混濁を避けるように光学ヘッド部に対して被検眼を位置合わせした際の顔受け部１６０のｘｙｚ方向の移動量を出力データとすることができる。その他、学習データの生成方法等は、光学ヘッド部１００に対して被検眼Ｅを位置合わせした際のｘｙｚ方向の移動量であること以外は、上記の学習データの情報と同様であってよい。
また、アライメント処理は、光学ヘッド部１００の駆動制御と顔受け部１６０の駆動制御との両方であってもよいし、光学ヘッド部１００の駆動制御がｘｙｚ方向のうち一部の移動を含み、顔受け部１６０の駆動制御がｘｙｚのうち残りの移動を含んでもよい。このように、これらの駆動制御は、光学ヘッド部１００と被検眼Ｅとの位置関係を変更する光学部材の駆動制御であれば、何でもよい。なお、第２アライメント位置の取得に用いる学習データは、第２アライメント処理に用いる駆動制御に対応する学習データであればよく、例えば、学習データの出力データとして光学ヘッド部１００の移動量及び顔受け部の移動量の両方を用いたものであってもよい。また、後述する各変形例においても同様に、アライメント処理は光学ヘッド部１００の駆動制御と顔受け部１６０の駆動制御の少なくとも一方により行われてよい。この場合も、第２アライメント処理に用いる学習済モデルの学習データは、第２アライメント処理に用いる駆動制御に対応する学習データであればよい。
なお、光学ヘッド部１００の駆動制御は、ステージ部（基台部）に対する光学ヘッド部１００自体のｘｙｚ方向の移動を含んでもよい。また、光学ヘッド部１００に含まれる測定光学系の少なくとも一部は、例えば、光ファイバー１１７−２の一部から被検眼Ｅ側の各光学部材を含み、光ファイバー１１７−２の一部からＯＣＴ光学系側の各光学部材は据え置き型の別の筐体に含まれてもよい。また、測定光学系の少なくとも一部は、例えば、光ファイバー１１７−４の一部から被検眼Ｅ側の各光学部材を含み、光ファイバー１１７−４の一部からラインセンサ１８４までの各光学部材は据え置き型の別の筐体やステージ部（基台部）に含まれてもよい。
さらに、本実施例では、眼底観察用の光学系におけるレンズ１０７とＯＣＴ光学系におけるレンズ１１５を用いて、フォーカス調整処理を行った。これに対して、ミラーの移動等によって測定光の光路長を変更するバダル光学系と呼ばれる構成を用いてフォーカス調整処理を行ってもよい。バダル光学系は、例えば、光を略９０°偏向させるように配置された２枚のミラーを電動ステージに搭載し、電動ステージを測定光の光軸方向に移動させることで、測定光の光路長を調整できるように構成されてよい。
なお、バダル光学系は、眼底観察用の光学系及びＯＣＴ光学系の共通光路に配置されてもよいし、別々に配置されてもよい。また、眼底観察用の光学系及びＯＣＴ光学系の一方の光学系にはフォーカスレンズを配置し、他方の光学系にバダル光学系を配置してもよい。さらに、眼底観察用の光学系及びＯＣＴ光学系の共通光路にバダル光学系を配置し、かつ、眼底観察用の光学系及びＯＣＴ光学系の共通光路の少なくとも一方にフォーカスレンズを配置してもよい。なお、バダル光学系の構成は上述の構成に限られず、ミラーの移動等によって測定光の光路長を変更できる構成であればよい。
また、以下において、フォーカスレンズ及びバダル光学系を含む、フォーカス調整処理に用いる光学系をフォーカス光学系と呼ぶ。なお、後述する各変形例においても、フォーカス調整処理は、フォーカスレンズに代えて又は加えてバダル光学系を用いて行われてもよい。
（変形例１）
実施例１では、第２アライメント部２５が用いる学習済モデルの学習データについて、前眼画像を入力データとした。これに対し、被検眼Ｅの混濁をより確認しやすい画像である徹照画像を学習データの入力データとしてもよい。
徹照画像とは、光を被検眼Ｅに照射し、眼底Ｅｆからの反射光により照明された瞳孔領域の画像をいう。徹照画像は、例えば、光学ヘッド部１００において、プリズム付レンズ１１０を光路から外し、不図示の徹照観察用光源を点灯し、被検眼Ｅからの反射光を赤外線ＣＣＤ１１２で受光し、出力信号に応じて画像生成部２３によって生成されてよい。なお、当該徹照画像を撮影するための構成は例示であり、所望の構成に応じて任意に設計されてよい。
徹照画像では、被検眼Ｅの混濁部分が影として現れ、その部分が低輝度となる。そのため、徹照画像を用いることで被検眼Ｅの混濁部分が把握しやすくなる。そこで、変形例１では、第２アライメント部２５が用いる学習済モデルの学習データについて、徹照画像を学習データの入力データとして用いる。なお、出力データは、実施例１と同様に、被検眼Ｅの混濁を避けるように被検眼Ｅに対して光学ヘッド部１００を位置合わせした際のｘｙｚ方向の移動量（ベクトル）を出力データとしてよい。
また、第２アライメント部２５が用いる学習済モデルについて、強化学習を行う場合でも、入力データとして、徹照画像を用いること以外は、実施例１に係る学習方法と同様であってよい。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
このような学習を行った学習済モデルを用いる場合には、図６に示す一連の処理のステップＳ６９１において、取得部２１及び画像生成部２３によって、前眼画像に代えて徹照画像が取得される。また、ステップＳ６９２において、第２アライメント部２５は、ステップＳ６９１で取得された徹照画像を入力データとし、学習済モデルを用いて徹照画像から第２アライメント位置の情報を取得する。
このような構成であっても、実施例１と同様の効果を奏することができる。また、徹照画像では、前眼画像に比べて混濁部分をより明瞭に撮影することができる。そのため、学習済モデルは徹照画像を入力とすることで、混濁部分の特徴量をより正確に抽出し、処理することができると考えられる。このことから、入力データとして徹照画像を用いることで、より精度良く第２アライメント処理を行うことができることが期待できる。
なお、第２アライメント部２５が用いる学習済モデルの入力データは、前眼画像及び徹照画像の両方であってもよい。この場合、学習データは、前眼画像及び徹照画像を入力データとし、出力データは被検眼Ｅの混濁を避けるように被検眼Ｅに対して光学ヘッド部１００を位置合わせした際のｘｙｚ方向の移動量を出力データとしてよい。また、強化学習を行ってもよい。強化学習を行う場合は、入力データとして、前眼画像及び徹照画像を用いること以外は、実施例１に係る学習方法と同様であってよい。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
なお、本変形例で用いる徹照画像は、前眼画像と同様に、動画像であってもよい。
（変形例２）
実施例１では、画像認識のための機械学習モデルとしてＣＮＮを使用したが、画像データを再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等を用いて解析してもよい。例えば、上述したプレビュー画面では、前眼画像、眼底正面画像及び断層画像が動画として随時更新される。このため、ＲＮＮのように時系列情報を扱うニューラルネットワークを用いることで、画像の変化の傾きも特徴量として用いることができる。
ここで、本実施例に係る機械学習モデルの他の例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図１３（ａ）及び（ｂ）を参照して説明する。また、ＲＮＮの一種である、Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図１４（ａ）及び（ｂ）を参照して説明する。
図１３（ａ）は、機械学習モデルであるＲＮＮの構成を示す。図１３（ａ）に示すＲＮＮ１３０２は、ネットワークにループ構造を持ち、時刻ｔにおける前眼画像の画像情報ｘｔ１３０１が入力されると、データｈｔ１３０３を出力する。ＲＮＮ１３０２はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であり、時系列情報を扱うことができる。
図１３（ｂ）には、時刻ｔにおけるパラメータベクトルの入出力の一例を示す。画像情報ｘｔ１３０１には前眼画像に関するＮ個の２次元ピクセル列データのパラメータ（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）に関するデータが含まれることができる。また、ＲＮＮ１３０２より出力されるデータｈｔ１３０３には入力データに対応するＮ個の推定値（例えば、Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）が含まれることができる。この場合、第２アライメント部２５は、出力されるＮ個の推定値に基づいて第２アライメント位置へのずれ量等を求めてよい。
しかしながら、ＲＮＮでは誤差逆伝播時に長期時間の情報を扱うことができない。そのため、長期時間の情報を扱う機械学習モデルとしてＬＳＴＭを用いてもよい。ＬＳＴＭは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図１４（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ１４０２において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃｔ−１と出力データｈｔ−１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。
次に、図１４（ｂ）にＬＳＴＭ１４０２の詳細を示す。図１４（ｂ）には、忘却ゲートネットワークＦＧ、入力ゲートネットワークＩＧ、及び出力ゲートネットワークＯＧが示され、これらのそれぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決めるものであり、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。また、図１４（ｂ）には、活性化関数ｔａｎｈ層であるセル更新候補ネットワークＣＵが示されている。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
また、ＣＮＮとＬＳＴＭとを組み合わせて使用することもできる。図１５は、ＣＮＮとＬＳＴＭを組み合わせた構造の概略図である。この場合、入力の前眼画像はＣＮＮで演算され、出力の特徴量がＬＳＴＭへと入力される。なお、この場合、ＣＮＮの学習データとしては、前眼画像を入力データとし、所望の種類の特徴量を出力データとすることができる。また、ＬＳＴＭの学習データとしては、当該所望の種類の特徴量を入力データとし、第１アライメント位置からのずれ量等の第２アライメント位置の情報を出力データとすることができる。
なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。また、ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルはニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等の機械学習モデルを用いてもよい。
（変形例３）
実施例１では、第１アライメント処理（ステップＳ６０４）、フォーカス調整処理（ステップＳ６０５）、及びＣＧ調整処理（ステップＳ６０６）において、第１アライメント部２４が画像を解析して処理を行った。これに対して、第１アライメント部２４は、各種学習済モデルを用いてこれらの処理を行ってもよい。そこで、変形例３では、第１アライメント部２４が、各種学習済モデルを用いて第１アライメント処理（ステップＳ６０４）、フォーカス調整処理（ステップＳ６０５）、及びＣＧ調整処理（ステップＳ６０６）を行う構成について説明する。
まず、第１アライメント処理に関して、第１アライメント部２４は学習済モデルを用いて前眼画像における所定領域を検出し、所定領域が前眼画像における所定のアライメント範囲に入るように、光学ヘッド部１００を配置すべきｘｙ方向の位置を求めてもよい。また、ｚ方向の位置に関しては、前眼画像における所定領域のコントラストが最大になるように、光学ヘッド部１００を配置すべきｚ方向の位置を求めてよい。ここで、検出される所定領域は、瞳孔領域や輝点等の指標が投影された領域であってよい。また、当該所定領域は、瞳孔領域における混濁領域であってもよい。この場合、第１アライメント部２４は、例えば混濁領域外の領域のうち瞳孔領域の中心領域に近い領域が所定のアライメント範囲に入るように、光学ヘッド部１００を配置すべきｘｙ方向の位置を求めてもよい。
ここで、第１アライメント部２４が、前眼画像から所定領域を検出するために用いる機械学習モデルについて説明する。前眼画像から所定領域を検出するために用いられる機械学習モデルとしては、ピクセル単位で前眼画像をセグメンテーション処理する機械学習モデルと、ＲＯＩ単位で物体認識（検出）を行う機械学習モデルがある。第１アライメント部２４が、前眼画像から所定領域を検出するためにこれら機械学習モデルのいずれを用いてもよい。
前眼画像をセグメンテーション処理する機械学習モデルとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）を用いることができる。
ここで、図１０を参照して、本変形例に係る機械学習モデルを、ＣＮＮで構成する例について説明する。図１０は、前眼画像における所定領域を検出するために、第１アライメント部２４が用いる学習済モデルの構成１００２の一例を示している。なお、本変形例に係る機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。
図１０に示す機械学習モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該機械学習モデルの構成１００２に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
なお、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、より精度の高いアライメント位置の情報を出力したり、処理時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
なお、本実施例で用いるＣＮＮの構成１００２は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ−ｎｅｔ型の機械学習モデルである。Ｕ−ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等をしてもよい。ＣＮＮのこれらのステップを通して、撮影画像の特徴を抽出することができる。
これらの機械学習モデルに関する学習データとしては、前眼画像を入力データとし、前眼画像の上述の所定領域について、ラベル付け（アノテーション）して得た画像を出力データとすることができる。なお、学習データの出力データについては、前眼画像について医療従事者がラベル付けを行った画像でもよいし、任意のラベル付けアルゴリズムに基づいて生成された画像やそれを医療従事者が修正した画像等であってもよい。
なお、このような機械学習モデルは強化学習によって学習を行ってもよい。この場合には、例えば、前眼画像についてラベル付けを行い、理想的なラベルが付された画像をできるだけ早く得た結果に対して与えられる報酬が最大となるように学習を行うことができる。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
このような学習済モデルを用いて、前眼画像から所定領域を検出する場合には、所定領域を高速に精度良く検出することが期待できる。
次に、フォーカス調整処理に関して、第１アライメント部２４は学習済モデルを用いて眼底正面画像における所定領域を検出し、所定領域のコントラストが最大になるように、レンズ１０７，１１５の移動量を求めてもよい。ここで、検出される所定領域には、血管領域、視神経乳頭部、黄斑部、異常部位（病変領域）等が含まれてよい。
ここで、第１アライメント部２４が、眼底正面画像から所定領域を検出するために用いる機械学習モデルについて説明する。眼底正面画像から所定領域を検出するために用いる機械学習モデルとしては、ピクセル単位で眼底正面画像をセグメンテーション処理する機械学習モデルと、ＲＯＩ単位で物体認識（検出）を行う機械学習モデルがある。第１アライメント部２４が、眼底正面画像から所定領域を検出するためにこれら機械学習モデルのいずれを用いてもよい。なお、これらの機械学習モデルの種類としては、前眼画像から所定領域を検出するために用いられる機械学習モデルと同様の種類の機械学習モデルを用いることができる。
これらに関する学習データとしては、眼底正面画像を入力データとし、眼底正面画像の上述の所定領域について、ラベル付け（アノテーション）して得た画像を出力データとすることができる。なお、学習データの出力データについては、眼底正面画像について医療従事者がラベル付けを行った画像でもよいし、任意のラベル付けアルゴリズムに基づいて生成された画像やそれを医療従事者が修正した画像等であってもよい。
なお、このような機械学習モデルは強化学習によって学習を行ってもよい。この場合には、例えば、眼底正面画像についてラベル付けを行い、理想的なラベルが付された画像をできるだけ早く得た結果に対して与えられる報酬が最大となるように学習を行うことができる。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
また、異常部位を検出する場合には、第１アライメント部２４は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｋｓ）や変分オートエンコーダ―（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ−Ｅｎｃｏｄｅｒ）を用いてもよい。例えば、眼底正面画像の生成を学習して得た生成器と、生成器が生成した新たな眼底正面画像と本物の眼底正面画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。
ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された眼底正面画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな眼底正面画像を生成する。その後、入力された眼底正面画像と生成された新たな眼底正面画像との差分を異常部位として抽出（検出）することができる。また、ＶＡＥを用いる場合には、例えば、入力された眼底正面画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな眼底正面画像を生成する。その後、入力された眼底正面画像と生成された新たな眼底正面画像との差分を異常部位として抽出することができる。
なお、異常部位が複数検出された場合等には、操作者の指示に応じて、検出された複数の領域のうちのいずれに基づいてフォーカス調整を行うかを選択してもよい。また、異常部位を検出した場合には、例えば、検出した異常部位の領域について、眼底正面画像上に当該領域を示すＲＯＩを重畳表示してもよい。
このような学習済モデルを用いて所定領域を検出する場合には、眼底正面画像から所定領域を高速に精度良く検出することが期待できる。なお、フォーカス調整に用いる画像は上述の眼底正面画像に限られない。例えば、２次元センサを用いて撮影した赤外眼底正面画像や、ＳＬＯ装置を用いて撮影した眼底正面画像、Ｅｎ−Ｆａｃｅ画像やＯＣＴＡ正面画像等を用いてもよい。そのため、フォーカス調整処理において、所定領域を検出するために用いられる機械学習モデルの学習データについては、フォーカス調整処理に用いられるこれらの画像に対応する画像であってよい。
また、フォーカス調整処理に関して、第１アライメント部２４は、学習済モデルを用いて、眼底正面画像からレンズ１０７，１１５の移動量を求めてもよい。この場合の機械学習モデルは、例えばＣＮＮ等であってよい。この場合の学習データとしては、眼底正面画像を入力データとし、眼底正面画像の上述の所定領域について、コントラストが最大となるレンズ１０７，１１５の移動量（ベクトル）を出力データとすることができる。なお、学習データの出力データについては、眼底正面画像について医療従事者が操作して行ったフォーカス調整時の移動量でもよいし、眼底正面画像について公知のアルゴリズムに基づいて行われたフォーカス調整時の移動量やそれを医療従事者が修正したもの等であってもよい。
なお、このような機械学習モデルも強化学習によって学習を行ってもよい。この場合には、例えば、レンズ１０７の駆動方向においてランダムな方向と量でランダムな位置に配置されたレンズ１０７をずらしながら眼底正面画像を取得し、眼底正面画像の評価を行う。そして、評価値の差を算出し、その差を票集として最大の報酬が得られるようにニューラルネットワークの誤差逆伝播法による学習を行う。なお、強化学習の目標としては、例えば、報酬が最大となる位置に最短時間で到達することを設定してよい。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
このような学習済モデルを用いれば、眼底正面画像から、レンズ１０７，１１５を適切なフォーカス位置に移動するための移動量を高速に求めることができる。
次に、ＣＧ調整処理に関して、第１アライメント部２４は学習済モデルを用いて断層画像における所定領域を検出し、断層画像において所定の深度位置に当該所定領域の像が位置する際のミラー１１９の位置を求めてもよい。ここで、所定領域としては、ＲＰＥ層等の網膜層の他に、例えば、硝子体領域や、硝子体ポケット領域、脈絡膜領域、強膜領域、異常部位（病変領域）等が含まれてよい。
第１アライメント部２４が、断層画像から所定領域を検出するために用いる機械学習モデルについて説明する。断層画像から所定領域を検出するために用いる機械学習モデルとしては、ピクセル単位で断層画像をセグメンテーション処理する機械学習モデルと、関心領域単位で物体認識（検出）を行う機械学習モデルがある。第１アライメント部２４が、断層画像から所定領域を検出するためにこれら機械学習モデルのいずれを用いてもよい。なお、これらの機械学習モデルの種類としては、断層画像から所定領域を検出するために用いられる機械学習モデルと同様の種類の機械学習モデルを用いることができる。
これらに関する学習データとしては、断層画像を入力データとし、断層画像の上述の所定領域について、ラベル付けして得た画像を出力データとすることができる。なお、学習データの出力データについては、断層画像について医療従事者がラベル付けを行った画像でもよいし、任意のラベル付けアルゴリズムに基づいて生成された画像やそれを医療従事者が修正した画像等であってもよい。なお、ＣＧ調整処理では、一般に、ミラー１１９を随時移動させて被検眼の複数の位置を走査して複数の断層画像を得る。このため、複数の断層画像を一組の入力データとして用いてもよい。
なお、このような機械学習モデルは強化学習によって学習を行ってもよい。この場合には、例えば、断層画像についてラベル付けを行い、理想的なラベルが付された画像をできるだけ早く得た結果に対して与えられる報酬が最大となるように学習を行うことができる。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
また、異常部位を検出する場合には、第１アライメント部２４は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｋｓ）や変分オートエンコーダ―（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ−ｅｎｃｏｄｅｒ）を用いてもよい。例えば、断層画像の生成を学習して得た生成器と、生成器が生成した新たな断層画像と本物の断層画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。
ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された断層画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出することができる。また、ＶＡＥを用いる場合には、例えば、入力された断層画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出することができる。
なお、異常部位が複数検出された場合等には、操作者の指示に応じて、検出された複数の領域のうちのいずれに基づいてＣＧ調整を行うかを選択してもよい。また、異常部位を検出した場合には、例えば、検出した異常部位の領域について、断層画像上に当該領域を示すＲＯＩを重畳表示してもよい。
このような学習済モデルを用いて所定領域を検出する場合には、断層画像から所定領域を高速に精度良く検出することが期待できる。
また、ＣＧ調整処理に関して、第１アライメント部２４は、学習済モデルを用いて、断層画像からミラー１１９の移動量を求めてもよい。この場合の機械学習モデルはＣＮＮ等であってよい。この場合の学習データとしては、前眼画像を入力データとし、前眼画像の上述の所定領域の像が断層画像において所定の深度位置に位置する際のミラー１１９の位置への移動量（ベクトル）を出力データとすることができる。なお、学習データの出力データについては、断層画像について医療従事者が操作して行ったＣＧ調整時の移動量でもよいし、断層画像について公知のアルゴリズムに基づいて行われたＣＧ調整時の移動量やそれを医療従事者が修正したもの等であってもよい。
なお、このような機械学習モデルも強化学習によって学習を行ってもよい。この場合には、例えば、ミラー１１９の駆動方向においてランダムな方向と量でランダムな位置に配置されたミラー１１９をずらしながら断層画像を取得し、断層画像の評価を行う。そして、評価値の差を算出し、その差を報酬として最大の報酬が得られるようにニューラルネットワークの誤差逆伝播法による学習を行う。なお、強化学習の目標としては、例えば、報酬が最大となる位置に最短時間で到達することを設定してよい。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
このような学習済モデルを用いれば、断層画像から、ミラー１１９を適切なＣＧ位置に移動するための移動量を高速に求めることができる。なお、実施例１及び本変形例では、ＣＧ調整処理を行う際に、ミラー１１９を移動させることでＣＧ位置を調整した。しかしながら、ＣＧ位置の調整方法はこれに限られない。ＣＧ位置は、測定光路と参照光路の光路長差を調整することで変更することができる。このため、ＣＧ調整処理は、ミラー１１９以外の参照光路の光路長を変更する機構や測定光の光路長を変更する機構を用いて行われてもよい。この場合、ＣＧ調整処理に用いられる学習済モデルの出力データは、ＣＧ調整処理に用いられる機構による光路長の変更量（ＣＧを配置する位置の情報）であればよい。
なお、本変形例や実施例１では、所定領域の検出を第１アライメント部２４が行う構成としたが、所定領域を検出する検出部を第１アライメント部２４とは別に設けてもよい。このような検出部も、ＣＰＵやＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール、又はＡＳＩＣ等の特定の機能を果たす回路等によって構成されてよい。
なお、プレビュー画像に表示される前眼画像、眼底正面画像、及び断層画像の動画像について、第１アライメント処理、フォーカス調整処理、及びＣＧ調整処理を行う場合には、上記各処理は動画像の１フレーム毎に行われてよい。また、これらの処理は、動画像の所定のフレーム数毎に行われてもよい。このため、上述の各種学習済モデルを用いた所定の領域を検出処理についても、同様に、動画像の１フレーム毎に行われてもよいし、所定のフレーム数毎に行われてもよい。
また、各種画像における異常部位の検出については、例えば、本撮影で得た、眼底正面画像や断層画像等の各種画像について行われてもよい。この場合の検出方法は、実施例１で述べたルールベースの方法であってもよいし、学習済モデルを用いた方法であってもよい。この場合、表示制御部２８は、検出された異常部位について、各種画像に重畳表示させてもよい。これにより、検者に対して再撮影の判断を促したり、検者による診断を支援したりすることができる。なお、表示制御部２８は、検出された異常部位を各種画像に重畳表示させる際に、異常部位に対応する追加の撮影を促すメッセージを表示部４０に表示させてもよい。例えば、血管領域に異常部位が検出された場合には、表示制御部２８は、ＯＣＴＡの撮影や蛍光撮影を追加で行うことを促すメッセージを表示部４０に表示させることができる。
なお、本変形例に係る第１アライメント処理も、光学ヘッド部１００の移動により行われる構成に限られず、光学ヘッド部１００の駆動制御と顔受け部１６０の駆動制御の少なくとも一方により行われてよい。この場合も、第１アライメント処理に用いる学習済モデルの学習データは、第１アライメント処理に用いる駆動制御に対応する学習データであればよい。また、本変形例に係るフォーカス調整処理も、フォーカスレンズを用いて行う構成に限られず、バダル光学系等のフォーカス光学系を用いて行ってもよい。
（変形例４）
実施例１では、第１アライメント部２４が、第１アライメント処理、フォーカス調整処理、及びＣＧ調整処理を行った後、第２アライメント部２５が学習済モデルを用いて第２アライメント処理を行った。これに対し、第２アライメント部２５が、学習済モデルを用いて、第２アライメント処理、フォーカス調整処理、及びＣＧ調整処理を行ってもよい。変形例４では、第２アライメント部２５が、学習済モデルを用いて、第２アライメント処理、フォーカス調整処理、及びＣＧ調整処理を行う構成について説明する。
この場合、用いる機械学習モデルは、例えば、ＣＮＮやＣＮＮとＬＳＴＭを組み合わせたモデルであってよい。また、学習データは、前眼画像、眼底正面画像、及び断層画像を入力データとし、光学ヘッド部１００、レンズ１０７，１１５、及びミラー１１９の移動量を出力データとする。より具体的には、学習データの出力データは、被検眼Ｅの混濁を避けるように被検眼Ｅに対して光学ヘッド部１００を位置合わせした際のｘｙｚ方向の移動量、眼底正面画像の上述の所定領域について、コントラストが最大となるレンズ１０７，１１５の移動量、及び前眼画像の上述の所定領域の像が断層画像において所定の深度位置に位置する際のミラー１１９の位置への移動量を含む。なお、これらの移動量はベクトルで表されてよい。
なお、このような機械学習モデルは強化学習によって学習を行ってもよい。この場合には、例えば、ランダムな方向と量でランダムな位置に配置された光学ヘッド部１００、レンズ１０７、及びミラー１１９を、それぞれずらしながら断層画像を取得し、断層画像の評価を行う。そして、評価値の差を算出し、その差を報酬として最大の報酬が得られるようにニューラルネットワークの誤差逆伝播法による学習を行う。なお、強化学習の目標としては、例えば、報酬が最大となる位置に最短時間で到達することを設定してよい。また、この場合も、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行う転移学習が行われてもよい。
このような学習済モデルを用いれば、本変形例に係る第２アライメント部２５は、前眼画像、眼底正面画像、及び断層画像から、第２アライメント処理、フォーカス調整処理、及びＣＧ調整処理を並行して行うことができる。そのため、より高速に、本撮影までの準備処理を行うことができ、検査時間が短くなるため、被検者の負担を減少させることができる。
なお、上記では、学習データの出力データとして、被検眼Ｅの混濁を避けるように被検眼Ｅに対して光学ヘッド部１００を位置合わせした際のｘｙｚ方向の移動量を含むことを述べた。学習データの出力データは、これに加えて、被検眼の瞳孔の偏心に合致するように被検眼Ｅに対して光学ヘッド部１００を位置合わせした際のｘｙｚ方向の移動量を含んでもよい。また、同様に、学習データの出力データとして、健常眼について瞳孔の重心に光学ヘッド部１００の光軸を位置合わせした際のｘｙｚ方向の移動量を含んでもよい。これにより、当該学習データを用いて学習を行った学習済モデルを用いることで、瞳孔の偏心が生じている眼や健常眼についても適切なアライメント処理を行うことができる。
また、第２アライメント部２５が用いる学習済モデルは、例えば、前眼画像、眼底正面画像、及び断層画像をそれぞれ入力するための３つの入力チャンネルを備え、各入力チャンネルから入力された画像から特徴量を抽出し、それぞれの特徴量について互いの関係性を踏まえて処理することで、適切な各移動量を出力できるものと考えらえる。機械学習モデルに関しては、例えば、カラー画像を入力データとする機械学習モデルでは、ＲＧＢそれぞれについて入力チャンネルを備え、各入力チャンネルから入力された画像のそれぞれの特徴量について互いの関係性を踏まえて処理することが知られている。このため、本変形例に係る学習済モデルも、このような処理と同様の処理を行うことができるものと考えられる。
なお、本変形例では、機械学習モデルの入力データとして、前眼画像、眼底正面画像、及び断層画像を用いた。これに対して、機械学習モデルの入力データとして、前眼画像又は眼底正面画像と断層画像の２つの種類の画像、又は断層画像のみを用いてもよい。この場合でも、学習済モデルを用いれば、学習データや強化学習の内容に従って、適切な第２アライメント処理、フォーカス調整処理、及びＣＧ調整処理を行えることが期待できる。
なお、本変形例に係る学習済モデルを用いた、フォーカス調整処理及びＣＧ調整処理を含んだ第２アライメント処理（以下、統合アライメント処理）は、第１アライメント処理を行わずに実行されてもよい。この場合、眼科装置は第１アライメント部２４を備えなくてもよい。また、本変形例に係る統合アライメント処理は、実施例１と同様に、動画像を入力データとしてもよい。プレビュー画面に表示される前眼画像、眼底正面画像、及び断層画像の動画像について、統合アライメント処理を行う場合には、当該処理は動画像の１フレーム毎に行われてもよいし、動画像の所定のフレーム数毎に行われてもよい。
上記のように、本変形例に係る眼科装置は、被検眼Ｅに光を照射し且つ被検眼からの戻り光を検出するための光学系を含む光学ヘッド部１００と、第２アライメント部２５（情報取得部）を備える。第２アライメント部２５は、被検眼Ｅに対する光学ヘッド部１００の位置を示す情報を学習して得た学習済モデルを用いて、光学ヘッド部１００を用いて取得された断層画像から、被検眼Ｅに対して光学ヘッド部１００を配置する位置の情報を取得する。また、第２アライメント部２５が用いる学習済モデルは、光学ヘッド部１００からの光束の光軸を被検眼Ｅの瞳孔の重心からずらした光学ヘッド部１００の位置の情報を学習して得た機械学習モデルである。
また、本変形例に係る眼科装置は、光断層撮影装置であり、第２アライメント部２５は、被検眼Ｅに対する光学ヘッド部１００の位置を示す情報、レンズ１０７の位置を示す情報、及びミラー１１９の位置を示す情報を学習して得た学習済モデルを用いて、光学ヘッド部１００を用いて取得された断層画像から、被検眼Ｅに対して光学ヘッド部１００、レンズ１０７，１１５及びミラー１１９を配置する位置の情報を取得する。さらに、第２アライメント部２５は、学習済モデルを用いて、光学ヘッド部１００を用いて取得された断層画像と、眼底正面画像及び前眼画像のうちの少なくとも一方とに基づいて、被検眼Ｅに対して光学ヘッド部１００、レンズ１０７，１１５及びミラー１１９を配置する位置の情報を取得することができる。
また、本変形例に係る眼科装置は、光学ヘッド部１００の駆動を制御する駆動制御部２２を更に備える。駆動制御部２２は、第２アライメント部２５が取得した光学ヘッド部１００を配置する位置の情報に基づいて、光学ヘッド部１００の該位置への駆動を制御する。また、駆動制御部２２は、光学ヘッド部１００、レンズ１０７、及びミラー１１９の配置を調整する調整部の一例として機能する。このため、駆動制御部２２は、第２アライメント部が取得した光学ヘッド部１００、レンズ１０７、及びミラー１１９を配置する位置の情報に基づいて、光学ヘッド部１００、レンズ１０７、及びミラー１１９の配置を調整することができる。
本変形例に係る眼科装置では、第２アライメント部２５は、学習済モデルを用いて、前眼画像、眼底正面画像、及び断層画像から、第２アライメント処理、フォーカス調整処理、及びＣＧ調整処理を並行して行うことができる。そのため、より高速に、本撮影までの準備処理を行うことができ、検査時間が短くなるため、被検者の負担を減少させることができる。また、第２アライメント部２５は、実施例１の第２アライメント処理と同様な第２アライメント処理を行うことができるため、本変形例に係る眼科装置は、実施例１で述べた効果と同様の効果を奏することができる。
なお、上述のように、ＣＧ調整処理は、ミラー１１９以外の参照光路の光路長を変更する機構や測定光の光路長を変更する機構を用いて行われてもよい。この場合、ＣＧ調整処理に関する学習済モデルの出力データは、ＣＧ調整処理に用いられる機構による光路長の変更量（ＣＧを配置する位置の情報）であればよい。
また、動画像について統合アライメント処理を行う場合には、操作者の指示に応じて処理を終了してもよいし、自動的に処理を終了してもよい。動画像についての統合アライメントを自動的に終了する場合には、例えば、統合アライメント処理で調整されたアライメント位置（フォーカス位置及びＣＧ位置も含む）で取得された断層画像のＱインデックス値が閾値以上になった際に各処理を終了してよい。また、例えば、所定のフレーム数の画像に基づく複数のアライメント位置のうち、その位置で取得された断層画像のＱインデックス値が最も高いアライメント位置を最終的なアライメント位置として、処理を終了してもよい。さらに、動画像についての統合アライメントを自動的に終了する場合には、表示制御部２８は、統合アライメント処理の終了を表示部４０に表示させ、本撮影の実行を促すメッセージを表示部４０に表示させてもよい。なお、当該処理を自動で終了する場合には、処理を終了した時点で求められているアライメント位置についての断層画像のＱインデックス値を、ステップＳ６１１と同様に第１アライメント位置についての断層画像のＱインデックス値と比較してもよい。
また、動画像について、統合アライメント処理を行う場合において、所定の時間、各アライメント位置での断層画像のＱインデックス値が上昇しない場合には、Ｑインデックス値が閾値未満であっても、処理を終了させてもよい。なお、この場合、表示制御部２８は、Ｑインデックス値が閾値未満であるが、所定時間が経過したため処理を終了させた旨を表示部４０に表示させてもよい。
なお、本変形例に係る第２アライメント処理も、光学ヘッド部１００の移動により行われる構成に限られず、光学ヘッド部１００の駆動制御と顔受け部１６０の駆動制御の少なくとも一方により行われてよい。この場合も、第２アライメント処理に用いる学習済モデルの学習データは、第２アライメント処理に用いる駆動制御に対応する学習データであればよい。また、本変形例に係るフォーカス調整処理も、フォーカスレンズを用いて行う構成に限られず、バダル光学系等のフォーカス光学系を用いて行ってもよい。
（変形例５）
実施例１では、第２アライメント部２５が用いる学習済モデルの学習データについて、前眼画像を入力データとした。これに対し、例えば眼底正面画像や断層画像、Ｅｎ−Ｆａｃｅ画像、ＯＣＴＡ正面画像等の眼底Ｅｆに関する画像を入力データとしてもよい。そこで、変形例５では、第２アライメント部２５が用いる学習済モデルの学習データについて眼底Ｅｆに関する画像を入力データとする場合について説明する。
上述のように、被検眼Ｅに混濁部分がある場合には、眼底観察用又は眼底測定用の光束が混濁部分により散乱され、当該光束を用いて得られる画像が暗くなってしまう。そのため、得られた眼底Ｅｆに関する画像のうち暗くなっている箇所（暗部）の位置に基づいて、光学ヘッド部１００を移動させることで、混濁部分を避けるアライメントを行うことも可能である。例えば、眼底正面画像のうち、右側部分に他の箇所と比べて暗くなっている箇所がある場合には、光学ヘッド部１００を被検眼Ｅの左側に移動させることで混濁部分を避けることができる。
以下、本変形例における第２アライメント部２５が用いる学習済モデルについて説明する。本変形例に係る機械学習モデルとしては、例えば、ＣＮＮやＣＮＮとＬＳＴＭを組み合わせたモデル等を用いることができる。
ここで、本変形例における第２アライメント部２５が用いる学習済モデルの学習データについて、上述の眼底Ｅｆに関する画像を学習データの入力データとして用いる。なお、入力データとなる眼底Ｅｆに関する画像としては、第１アライメント処理後の位置で取得された画像に限られず、様々なアライメント位置で取得された画像を用いる。出力データは、入力データとして用いる眼底Ｅｆに関する画像を取得した際に、操作者が被検眼Ｅの混濁を避けるように被検眼Ｅに対して光学ヘッド部１００を位置合わせしたｘｙｚ方向の少なくとも一方向の移動量を出力データとしてよい。なお、出力データについては、入力データとして用いる眼底Ｅｆに関する画像とともに取得された前眼画像や徹照画像に基づいて、操作者が被検眼Ｅの混濁を避けるように被検眼Ｅに対して光学ヘッド部を位置合わせした際のｘｙｚ方向の移動量であってもよい。
なお、学習データの出力データは、被検眼Ｅの瞳孔の偏心に合致するように被検眼Ｅに対して光学ヘッド部１００を位置合わせした際のｘｙｚ方向の移動量を含んでもよい。また、同様に、学習データの出力データとして、健常眼について瞳孔の重心に光学ヘッド部１００の光軸を位置合わせした際のｘｙｚ方向の移動量を含んでもよい。これにより、当該学習データを用いて学習を行った学習済モデルを用いることで、瞳孔の偏心が生じている眼や健常眼についても適切なアライメント処理を行うことができる。
また、第２アライメント部２５が用いる学習済モデルについて、強化学習を行う場合には、入力データとして、第１アライメント処理後の位置で取得された画像に限られず、様々なアライメント位置で取得された画像を用いる。また、学習を行う際には、様々なアライメント位置のそれぞれの位置から、ｘｙｚ方向におけるランダムな方向と量でランダムな位置に配置された光学ヘッド部１００をずらしながら断層画像の撮影を行い、断層画像の評価を行う。なお、断層画像の評価には前述したＱインデックス等の評価指標を用いてよい。その後、光学ヘッド部１００を再度ランダムに動かし、断層画像を取得し、断層画像の評価を行う。そして、評価値の差を算出し、その差を報酬として、最大の報酬が得られるようにニューラルネットワークの誤差逆伝播法による学習を行う。なお、強化学習のアルゴリズムとしては、Ｑ学習、Ｓａｒａｓ、モンテカルロ法、又はバンディットアルゴリズム等を用いてよい。なお、強化学習の目標としては、例えば、報酬が最大となる位置に最短時間で到達することを設定してよい。
なお、このような学習を行った学習済モデルは、眼底Ｅｆに関する画像に含まれる暗部の範囲・形状を抽出し、当該暗部の範囲・形状と光学ヘッド部１００の位置との相関を表す特徴量を学習していると考えらえる。ただし、眼底Ｅｆに関する画像に含まれる暗部の範囲・形状に関する情報は、前眼画像や徹照画像に含まれる混濁部の形状に関する情報よりも、情報量が少ないものと考えられる。このため、一度のアライメント位置の移動では、混濁を避けるための適切なアライメント位置に移動できないことも考えられる。このことから、本変形例では、第２アライメント処理において、適切なアライメント位置に移動できるまで、学習済モデルを用いたアライメント位置の推論と移動を繰り返すこととする。
図１６は、本変形例に係る第２アライメント処理を示すフローチャートである。本変形例では、図６に示す一連の処理において、ステップＳ６０９において、図１６に示す第２アライメント処理が実行される。なお、以下において、眼底Ｅｆに関する画像として眼底正面画像を用いる例について説明する。しかしながら、上述のように、眼底Ｅｆに関する画像は、例えば、断層画像や、Ｅｎ−Ｆａｃｅ画像、ＯＣＴＡ正面画像等であってもよい。
第２アライメント処理が実行されると、ステップＳ１６９１において、取得部２１が、ＣＣＤ１０５からの出力信号を取得し、画像生成部２３が当該出力信号に基づいて眼底正面画像を生成する。ステップＳ１６９２では、第２アライメント部２５は、前述した学習済モデルを用いて、眼底正面画像から、被検眼Ｅに対して光学ヘッド部１００を配置すべき位置（第２アライメント位置）の情報を求める。具体的には、第２アライメント部２５は、眼底正面画像を学習済モデルに入力し、学習済モデルからの出力（推論結果）に基づいて、第２アライメント位置を求める。なお、本変形例では、第２アライメント部２５は、第２アライメント位置の情報として、第２アライメント位置への光学ヘッド部１００のｘｙｚ方向の移動量を求める。
ステップＳ１６９３では、第２アライメント部２５が、求められた移動量が閾値より大きいか否かを判断する。本変形例では、初期の閾値は所定の値とする。また、当該判断処理が２回目以降である場合には、前回求めた移動量の半分とする。なお、閾値については、所望の構成に応じて任意に設定されてよい。
ステップＳ１６９３において、第２アライメント部２５が、求められた移動量が閾値より大きいと判断した場合には、処理はステップＳ１６９４に移行する。ステップＳ１６９４では、駆動制御部２２が、求められた移動量に基づいて、ステージ部１５０を制御して光学ヘッド部１００を移動させる。光学ヘッド部１００がステップＳ６９２で求められた位置に移動すると、処理はステップＳ１６９１に移行する。
一方、ステップＳ１６９３において、第２アライメント部２５が、求められた移動量が閾値以下であると判断した場合には、第２アライメント処理を終了し、処理はステップＳ６１０に移行する。
本変形例に係る第２アライメント処理では、眼底Ｅｆに関する画像を入力とし、適切なアライメント位置に移動できるまで、学習済モデルを用いたアライメント位置の推論と移動を繰り返す。このような処理でも、被検眼Ｅの混濁部を避けた位置や瞳孔の偏心に対応する位置で継続的にオートアライメントができるため、比較的撮影時間の長い断層撮影においても、得られる画像について良好な状態を保ちながら撮影ができる。そのため、特に角膜形状の異常がある疾患眼や白内障などの疾患眼等について、アライメント位置の調整操作の煩雑さを軽減することができる。
なお、本変形例に係る第２アライメント処理は、上述したプレビュー画面等における動画像に対して適用することもできる。
本変形例に係る機械学習モデルの強化学習では、上述した学習の他に、理想的な眼底Ｅｆに関する画像をできるだけ早く得た状態（結果）に対して与えられる報酬が最大となるように、光学ヘッド部１００の移動量を求める学習を用いてもよい。ここで、理想的な眼底Ｅｆに関する画像とは、眼底Ｅｆに関する画像についての評価値、例えば、Ｑインデックス値、ＳＮ比、又はコントラスト値等が閾値以上である画像等であってよい。
また、本変形例では、入力データとして、眼底Ｅｆに関する画像を用いることについて述べた。これに対し、入力データとして、略同タイミングで取得された前眼画像又は徹照画像と眼底Ｅｆに関する画像を用いてもよい。さらに、入力データとして、略同タイミングで取得された眼底Ｅｆに関する複数の種類の画像を用いてもよい。これらの場合、学習データの入力データも同様の画像とすればよい。なお、学習データの出力データは、これら画像が取得された際に、操作者が被検眼Ｅの混濁を避けるように被検眼Ｅに対して光学ヘッド部を位置合わせしたｘｙｚ方向の少なくとも一方向の移動量を出力データとしてよい。これらの場合には、混濁部の形状に関する情報が画像からより多く抽出できると考えられるため、より少ない繰り返し回数で、すなわち、より短い時間で適切なアライメント位置まで移動することできると考えられる。
更に、本変形例では、第２アライメント処理を繰り返すか否かの判断として、第２アライメント部２５が、移動量を用いて当該判断を行った。これに対して、評価部２６が、求められた第２アライメント位置において取得された眼底Ｅｆに関する画像の評価値を用いて当該判断を行ってもよい。なお、この場合の評価値としては、眼底Ｅｆに関する画像の種類に応じて、例えば、Ｑインデックス値や、ＳＮ比、コントラスト値等を用いてよい。
なお、本変形例に係る学習済モデルを用いた第２アライメント処理は、第１アライメント処理を行わずに実行されてもよい。この場合、眼科装置は第１アライメント部２４を備えなくてもよい。また、本変形例では、学習データの入力データとして眼底に関する画像を用いたが、前眼部の画像を用いてもよい。
（変形例６）
上述した実施例及び変形例に係る第２アライメント部２５によって学習済モデルを用いて得られた第２アライメント位置の情報は、操作者からの指示に応じて手動で修正されてもよい。例えば、操作者は、第２アライメント位置に移動された後の光学ヘッド部１００について追加の移動を指示することができる。この際、操作者からの指示（移動量及び移動方向）は、学習済モデルを用いて求められた第２アライメント位置の情報に対する追加情報として、記憶部２７に記憶されてよい。
ここで、手動で修正された第２アライメント位置の情報は、第２アライメント部２５が用いる学習済モデルについての追加学習に用いられてもよい。この場合、第２アライメント部２５が用いる学習済モデルについて、入力された前眼画像等を学習データの入力データとし、操作者からの指示に応じた第２アライメント位置の情報を出力データ（正解データ）として追加学習を行うことができる。
学習済モデルに対しこのような追加学習を行うことで、学習済モデルを用いた第２アライメント処理の精度を向上させたり、検者による操作傾向に応じた第２アライメント処理を行えたりすることが期待できる。また、このような処理を行うことで、学習データに関するラベル付け処理（アノテーション処理）を容易に行うことができ、より精度の高い学習データを容易に作成することができる。
なお、上述の追加学習は、操作者の指示に応じて行われてもよい。例えば、表示制御部２８は、第２アライメント位置の情報について操作者の指示に応じた修正が行われた場合に、修正された第２アライメント位置の情報を学習データとして用いるか否かを表示部４０に表示させることができる。操作者は、表示部４０に表示された選択肢を選択することで、追加学習の要否を指示することができる。これにより、制御部２０は、操作者の指示に応じて、追加学習の要否を決定することができる。
なお、後述するように、学習済モデルはサーバ等の装置に設けられることもできる。この場合には、制御部２０は、追加学習を行うとする操作者の指示に応じて、入力された画像と上述の修正が行われた第２アライメント位置の情報を学習データのペアとして、当該サーバ等に送信・保存することができる。言い換えると、制御部２０は、操作者の指示に応じて、学習済モデルを備えるサーバ等の装置に追加学習の学習データを送信するか否かを決定することができる。
なお、変形例２乃至５で説明した各種学習済モデルについても、同様に操作者の指示に応じて手動で修正されたデータを学習データとして追加学習が行われてもよい。また、追加学習の要否の判断やサーバにデータを送信するか否かの判断も同様の方法で行われてよい。これらの場合にも、各処理の精度を向上させたり、検者の好みの傾向に応じた処理を行えたりすることが期待できる。
（変形例７）
被検眼に対するアライメント位置として、操作者が所望するアライメント位置には個人差がある。そのため、操作者に応じて学習済モデルをチューニングする学習が行われてもよい。
例えば、被検眼に対する操作者の過去のアライメント操作を用いて、アライメント用の汎用的な学習済モデルに転移学習を行い、当該操作者の専用のアライメント用の学習済モデルを生成することができる。この場合、例えば、操作者を示す情報である操作者ＩＤと紐づけて当該操作者専用の学習済モデルを制御部２０やサーバ等に記憶させておき、現在の検査において操作者ＩＤに応じて当該操作者専用の学習済モデルを利用することができる。これにより、操作者毎の装置の利便性を向上させることができる。
（変形例８）
疾患眼では、疾病の種類に応じて画像特徴が異なる。そのため、上述した実施例や変形例において用いられる各種学習済モデルは、疾病の種類毎又は異常部位毎にそれぞれ生成・用意されてもよい。この場合には、例えば、制御部２０は、操作者からの被検眼の疾病の種類や異常部位等の入力（指示）に応じて、処理に用いる学習済モデルを選択することができる。疾病の種類や異常部位毎の学習済モデルとしては、第２アライメント処理用の学習済モデルであれば、例えば、白内障用、瞳孔偏心用、瞳孔収縮用、及び健常眼用等のモデルが用意されてよい。これらの学習済モデルは、例えば、白内障の眼、瞳孔偏心が生じている眼、瞳孔縮小が生じている眼、及び健常眼毎の学習データを用いて学習を行った学習済モデルであってよい。なお、疾病の種類や異常部位毎に用意される学習済モデルは、第２アライメント処理用の学習済モデルに限られない。疾病の種類や異常部位毎に用意される学習済モデルは各種画像における所定領域検出用の学習済モデルや、フォーカス調整処理用、ＣＧ調整処理用、又は統合アライメント処理用等の学習済モデルであってもよい。
また、制御部２０は、別に用意された学習済モデルを用いて、画像から被検眼の疾病の種類や異常部位を識別してもよい。この場合には、制御部２０は、当該別に用意された学習済モデルを用いて識別された疾病の種類や異常部位に基づいて、上記処理に用いる学習済モデルを自動的に選択することができる。なお、当該被検眼の疾病の種類や異常部位を識別するための学習済モデルは、前眼画像や、眼底正面画像、断層画像等を入力データとし、疾病の種類やこれら画像における異常部位を出力データとした学習データのペアを用いて学習を行ってよい。ここで、学習データの入力データとしては、前眼画像や、眼底正面画像、断層画像等を単独で入力データとしてもよいし、これらの組み合わせを入力データとしてもよい。
さらに、眼科装置、例えばＯＣＴ装置では、撮影モード毎に測定に用いる光束のスキャンパターンや撮影部位が異なる。そのため、断層画像を入力データとする学習済モデルに関しては、撮影モード毎に学習済モデルを用意し、操作者の指示に応じて選択された撮影モードに対応する学習済モデルが選択されるように構成してもよい。この場合、撮影モードとしては、例えば、網膜撮影モード、前眼部撮影モード、硝子体撮影モード、黄斑部撮影モード、及び視神経乳頭部撮影モード等が含まれてよい。また、スキャンパターンとしては、３Ｄスキャン、ラジアルスキャン、クロススキャン、サークルスキャン、ラスタスキャン、及びリサージュスキャン（リサージュ曲線に沿った走査）等が含まれてよい。また、断層画像を入力データとする学習済モデルに関しては、異なる方向の断面に応じた断層画像を学習データに用いて学習を行うことができる。例えば、ｘｚ方向の断面の断層画像やｙｚ方向の断面の断層画像等を学習データに用いて学習を行ってよい。
（変形例９）
実施例１に係るフォーカス調整処理（ステップＳ６０５）やＣＧ調整処理（ステップＳ６０６）において、所定領域が操作者によって指示され、ルールベースの処理により各領域が検出されている場合には、第１アライメント部２４は各領域の名称を把握できる。そのため、この場合には、表示制御部２８は、プレビュー画面において表示される眼底正面画像や断層画像とともに、各領域の名称を表示部４０に表示させることができる。
また、所定領域として異常部位が指定されている場合には、制御部２０が、異常部位を示す名称や診断名をルールベースの処理に基づいて判断し、表示制御部２８は異常部位を示す名称や診断名を表示部４０に表示させてもよい。なお、制御部２０は、異常部位が現れている画像や領域名を示すラベル画像と、異常部位を示す名称や診断名を学習データとして学習を行った学習済モデルを用いて、異常部位を示す名称や診断名を判断してもよい。なお、異常部位を示す名称や診断名は、確率の高い順に例えば３つ程度、表示部４０に表示されてもよい。なお、表示される異常部位を示す名称や診断名の数は３つに限られず任意の数だけ表示されてよい。
また、制御部２０は、所定領域として指定された領域の名称、又は異常部位を示す名称や診断名を、本撮影により得た画像データと関連付けて、記憶部２７に記憶させてもよい。また、制御部２０は、これらを外部のサーバに送信したり、電子カルテに記録したりしてもよい。
なお、異常部位の名称や診断名は、操作者によって手動で修正されてもよい。この場合、制御部２０は、判断に用いた画像と修正された名称や診断名を学習データとして、当該判断に用いた学習済モデルに追加学習させてもよい。なお、当該追加学習の有無は、操作者の指示に応じて判断されてよい。
また、経過観察（フォローアップ）を行う際には、制御部２０は、記憶されている過去のデータについて上記所定領域の検出を行ってもよい。この場合にも同様に、表示制御部２８は、表示される画像とともに各領域の名称や、異常部位を示す名称又は診断名を表示部４０に表示させてもよい。特に、プレビュー時のデータが記憶されている場合には、当該プレビュー画面において、表示される画像とともに各領域の名称や、異常部位を示す名称又は診断名を表示部４０に表示させてもよい。また、この場合の所定領域の指定も、操作者の指示に応じて行われてよい。
なお、変形例３で述べたように、フォーカス調整処理（ステップＳ６０５）やＣＧ調整処理（ステップＳ６０６）において、学習済モデルを用いて所定領域を検出する場合にも、同様の処理がなされてもよい。この場合、所定領域を検出する学習済モデルは、例えば、入力画像の画素毎に領域名がラベル付けされたラベル画像を出力する学習済モデル等であってよい。
（変形例１０）
眼科装置は、ＯＣＴ装置だけでなく、例えば、眼底カメラや、走査型レーザー検眼鏡（ＳＬＯ）装置、ＯＣＴＡ装置、リフラクトメーター（眼屈折力測定装置）等であってもよい。また、上記実施例では、ＯＣＴ装置として、スペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置について説明した。しかしながら、ＯＣＴ装置は、波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置を含む他のフーリエドメインＯＣＴ（ＦＤ−ＯＣＴ）装置やタイムドメインＯＣＴ（ＴＤ−ＯＣＴ）装置を含んでよい。また、ＯＣＴ装置は、ライン光を用いたＬｉｎｅ−ＯＣＴ装置（あるいはＳＳ−Ｌｉｎｅ−ＯＣＴ装置）を含んでよい。また、ＯＣＴ装置は、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ−ＯＣＴ装置（あるいはＳＳ−Ｆｕｌｌ Ｆｉｅｌｄ−ＯＣＴ装置）を含んでよい。また、ＯＣＴ装置は、Ｄｏｐｐｌｅｒ−ＯＣＴ装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ−ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ−ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ−ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ−ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、病理顕微鏡ＳＬＯ装置や病理顕微鏡ＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ハンドヘルド型のＳＬＯ装置やハンドヘルド型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、カテーテルＳＬＯ装置やカテーテルＯＣＴ装置等を含んでよい。
なお、眼科装置が、眼底カメラやＳＬＯ装置、リフラクトメーター等である場合には、コヒーレンスゲートを調整する必要がない。そのため、この場合には、図６に示す一連の処理において、ステップＳ６０６の処理は省略されてよい。
また、実施例１では、ＯＣＴ装置１について述べたため、画質の評価について断層画像の画質を評価した。これに対し、図６に示す一連の処理において、各アライメント後に評価される眼底Ｅｆに関する画像は眼科装置の種類に応じて、撮影する対象とされる画像であってよい。例えば、ＳＬＯ装置や眼底カメラでは眼底正面画像について評価を行ってよいし、ＯＣＴＡ装置ではＯＣＴＡ断層画像やＯＣＴＡ正面画像について評価を行ってよい。また、ＯＣＴ装置においても、例えば、輝度のＥｎ−Ｆａｃｅ画像について評価を行ってもよい。さらに、強化学習時に行う評価についても断層画像に限られず、撮影する対象とされる画像について評価を行ってよい。
なお、実施例１では、ＯＣＴ装置１を用いて撮影された眼底正面画像に基づいて、フォーカス調整処理を行った。これに対し、眼底装置がＳＬＯ装置である場合やＳＬＯ光学系を含む場合には、ＳＬＯ光学系の受光部の受光量が最大となるようにフォーカス調整が行われてよい。また、眼底装置が眼底カメラである場合には、フォーカス調整のためにスプリットレンズを含むことがある。この場合には、当該スプリットレンズを用いて撮像されるスプリット指標像が合致する（並ぶ）ようにフォーカス調整が行われてよい。
さらに、波面補償光学系を用いる装置（ＡＯ−ＯＣＴ装置、ＡＯ−ＳＬＯ装置）では、一般に、収差測定手段としてシャックハルトマン型の波面センサ等のセンサを用い、収差補正手段としてデフォーマブルミラー等を用いて波面補償処理を行う。このような構成に関し、機械学習モデルを用いて収差補正手段の制御量の推定を行ってもよい。この場合には、例えば、学習データの入力データをシャックハルトマン像とし、出力データを収差補正手段の制御量とする。このような場合には、学習済モデルを用いて波面収差の補正量を推定できるため、波面収差の計算を簡略化でき、高速に駆動制御を行うことができる。なお、入力されるデータは動画像であってもよいし、静止画像であってもよい。
なお、波面補償処理に用いる機械学習モデルとしては、例えば、ＣＮＮやＣＮＮとＬＳＴＭを組み合わせたモデル等を用いることができる。なお、このような学習済モデルでは、各フレームの画像について波面の歪みに関する特徴量を抽出して推定処理に用いるものと考えられる。
（変形例１１）
なお、制御部２０は、本撮影により取得した画像を用いて様々な画像処理を行ってよい。例えば、制御部２０は、本撮影により取得した画像について、高画質化用の学習済モデル（高画質化モデル）を用いて画質を改善した高画質画像を生成してもよい。ここで、画質の改善とは、ノイズの低減や、撮影対象を観察しやすい色や階調への変換、解像度や空間分解能の向上、及び解像度の低下を抑えた画像サイズの拡大等を含む。
高画質化用の機械学習モデルとしては、例えばＣＮＮ等を用いることができる。また、高画質化モデルの学習データとしては、前眼画像や眼底正面画像等の各種画像を入力データとし、入力された画像に対応する、例えば高画質化処理を施した高画質な画像を出力データとする。ここで、高画質化処理とは、空間的に同じ位置を複数回撮影した画像について位置合わせを行い、それら位置合わせ済みの画像を加算平均処理することが挙げられる。なお、高画質化処理は加算平均処理に限られず、例えば、平滑化フィルタを用いた処理や最大事後確率推定処理（ＭＡＰ推定処理）、階調変換処理等であってもよい。また、高画質化処理された画像としては、例えば、ノイズ除去とエッジ強調などのフィルタ処理を行った画像でもよいし、低輝度な画像から高輝度な画像とするようなコントラストが調整された画像を用いてもよい。さらに、高画質化モデルに係る学習データの出力データは、高画質な画像であればよいため、入力データである断層画像を撮影した際のＯＣＴ装置よりも高性能なＯＣＴ装置を用いて撮影された画像や、高負荷な設定により撮影された画像であってもよい。
ただし、適切に高画質化処理が行われていない画像を学習データの出力データとして用いて機械学習を行うと、当該学習データを用いて学習した学習済モデルを用いて得た画像も適切に高画質化処理が行われていない画像となってしまう可能性がある。そのため、そのような画像を含むペアを教師データから取り除くことで、学習済モデルを用いて適切でない画像が生成される可能性を低減させることができる。
制御部２０は、このような高画質化モデルを用いて高画質化処理を行うことで、精度の良く高画質化された画像をより高速に取得することができる。
なお、高画質化モデルは、入力データである各種画像の種類毎に用意されてもよい。例えば、前眼画像用の高画質化モデルや、眼底正面画像用の高画質化モデル、断層画像用の高画質化モデル、ＯＣＴＡ正面画像用の高画質化モデル等が用意されてよい。また、ＯＣＴＡ正面画像やＥｎ−Ｆａｃｅ画像については、画像を生成するための深度範囲毎に高画質化モデルが用意されてもよい。例えば、表層用の高画質化モデルや深層用の高画質化モデル等が用意されてよい。さらに、高画質化モデルは、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）毎の画像について学習を行ったものでもよい。このとき、例えば、眼底ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像を高画質化し、さらに、前眼ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼ＯＣＴＡ正面画像を高画質化してもよい。また、高画質化モデルは、撮影部位を関わらず学習を行ったものであってもよい。ここで、例えば、眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像は、撮影対象である血管の分布の様子が互いに比較的類似していることがある。このように、撮影対象の様子が互いに比較的類似しているような複数の種類の医用画像では、互いの特徴量が比較的類似していることがある。そこで、例えば、眼底ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像を高画質化するだけでなく、前眼ＯＣＴＡ正面画像も高画質化可能に構成されてもよい。また、例えば、前眼ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼ＯＣＴＡ正面画像を高画質化するだけでなく、眼底ＯＣＴＡ正面画像も高画質化可能に構成されてもよい。すなわち、眼底ＯＣＴＡ正面画像と前眼ＯＣＴＡ正面画像との少なくとも一つの種類の正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像と前眼ＯＣＴＡ正面画像との少なくとも一つの種類の正面画像を高画質化可能に構成されてもよい。このように、例えば、複数の種類の医用画像の特徴量（撮影対象の様子）が互いに比較的類似していると考えられるような場合には、複数の種類の医用画像の少なくとも一つの種類の医用画像を学習データとして学習して得た高画質化モデルを用いて、複数の種類の医用画像の少なくとも一つの種類の医用画像を高画質化可能に構成されてもよい。これにより、例えば、共通の学習済モデル（共通の高画質化モデル）を用いて、複数の種類の医用画像の高画質化を実行可能に構成することができる。
ここで、高画質化処理の対象画像は、例えば、（複数の深度範囲に対応する）複数のＯＣＴＡ正面画像（ＯＣＴＡのＥｎ−Ｆａｃｅ画像、モーションコントラストのＥｎ−Ｆａｃｅ画像）であってもよい。また、高画質化処理の対象画像は、例えば、１つの深度範囲に対応する１つのＯＣＴＡ正面画像であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像の代わりに、例えば、輝度の正面画像（輝度のＥｎ−Ｆａｃｅ画像）、あるいはＢスキャン画像であるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像だけでなく、例えば、輝度の正面画像及びＢスキャン画像であるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）等の種々の医用画像であってもよい。すなわち、高画質化処理の対象画像は、例えば、表示部の表示画面上に表示されている種々の医用画像の少なくとも一つであればよい。このとき、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いてＯＣＴＡ正面画像を高画質化処理するだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いてＯＣＴ断層画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴＡ正面画像の表示に変更されるだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。このとき、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてＯＣＴＡ正面画像上で移動可能に構成されてもよい。また、高画質化ボタンの表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応するＯＣＴ断層画像を高画質化処理して得た高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。
また、ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置のＢスキャン画像であるＯＣＴ断層画像に重畳して表示されてもよい。このとき、例えば、ＯＣＴ断層画像が高画質化されると、対応する位置のＯＣＴＡ断層画像が高画質化されてもよい。そして、高画質化して得たＯＣＴＡ断層画像における血管領域を示す情報が、高画質化して得たＯＣＴ断層画像に重畳して表示されてもよい。なお、血管領域を示す情報は、色等の識別可能な情報であれば何でもよい。また、血管領域を示す情報の重畳表示と非表示とが検者からの指示に応じて変更可能に構成されてもよい。また、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像上で移動されると、ラインの位置に応じてＯＣＴ断層画像の表示が更新されてもよい。このとき、対応する位置のＯＣＴＡ断層画像も更新されるため、ＯＣＴＡ断層画像から得られる血管領域を示す情報の重畳表示が更新されてもよい。これにより、例えば、任意の位置において、血管領域と注目領域との位置関係を容易に確認しながら、血管領域の３次元の分布や状態を効果的に確認することができる。また、ＯＣＴＡ断層画像の高画質化は、高画質化用の学習済モデルを用いる代わりに、対応する位置で取得した複数のＯＣＴＡ断層画像の加算平均処理等による高画質化処理であってもよい。また、ＯＣＴ断層画像は、ＯＣＴボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴ断層画像であってもよい。また、ＯＣＴＡ断層画像は、ＯＣＴＡボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴＡ断層画像であってもよい。なお、任意の位置は、少なくとも１つの任意の位置であればよく、また、検者からの指示に応じて変更可能に構成されてもよい。このとき、複数の位置に対応する複数の疑似断層画像が再構成されるように構成されてもよい。
なお、表示される断層画像（例えば、ＯＣＴ断層画像あるいはＯＣＴＡ断層画像）は、１つだけ表示されてもよいし、複数表示されてもよい。複数の断層画像が表示される場合には、それぞれ異なる副走査方向の位置で取得された断層画像が表示されてもよいし、例えばクロススキャン等により得られた複数の断層画像を高画質化して表示する場合には、異なる走査方向の画像がそれぞれ表示されてもよい。また、例えばラジアルスキャン等により得られた複数の断層画像を高画質化して表示する場合には、一部選択された複数の断層画像（例えば基準ラインに対して互いに対称な位置の２つの断層画像）がそれぞれ表示されてもよい。さらに、経過観察用の表示画面に複数の断層画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいて断層画像に高画質化処理を実行してもよい。
同様に、ＳＬＯ眼底画像を高画質化して表示する場合には、例えば、同一の表示画面に表示されるＳＬＯ眼底画像を高画質化して表示してもよい。さらに、輝度の正面画像を高画質化して表示する場合には、例えば、同一の表示画面に表示される輝度の正面画像を高画質化して表示してよい。さらに、経過観察用の表示画面に複数のＳＬＯ眼底画像や輝度の正面画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいてＳＬＯ眼底画像や輝度の正面画像に高画質化処理を実行してもよい。なお、断層画像、ＳＬＯ眼底画像、及び輝度の正面画像の表示は例示であり、これらの画像は所望の構成に応じて任意の態様で表示されてよい。また、ＯＣＴＡ正面画像、断層画像、ＳＬＯ眼底画像、及び輝度の正面画像の少なくとも２つ以上が、一度の指示で高画質化され表示されてもよい。
このような構成により、高画質化処理して得た高画質画像を表示制御部２８が表示部４０に表示させることができる。なお、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つの条件が選択されている場合には、表示画面が遷移されても、選択された条件が維持されるように構成されてもよい。なお、各種高画質画像や上記ライン、血管領域を示す情報等の表示の制御は、表示制御部２８によって行われてよい。
また、高画質化モデルは、表示制御部２８によって表示部４０に表示されるプレビュー画面において、ライブ動画像のすくなくとも１つのフレーム毎に用いられてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。例えば、第２アライメント部２５による第２アライメント処理に用いる前眼画像について、前眼画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。同様に、第１アライメント部２４による各種画像における所定領域の検出処理について用いられる各種画像について、それぞれの画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。
このとき、例えば、検者からの指示に応じて高画質化ボタンが押下された場合には、異なる種類の複数のライブ動画像（例えば、前眼画像、眼底正面画像、断層画像）の表示を（同時に）、それぞれ高画質化処理されることにより得た高画質動画像の表示に変更されるように構成されてもよい。このとき、高画質動画像の表示は、各フレームを高画質化処理して得た高画質画像の連続表示であってもよい。また、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて前眼画像を高画質化処理するだけでなく、眼底正面画像に対応する高画質化モデルを用いて眼底正面画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて生成された高画質な前眼画像の表示に変更されるだけでなく、眼底正面画像に対応する高画質化モデルを用いて生成された高画質な眼底正面画像の表示に変更されるように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、眼底正面画像に対応する高画質化モデルを用いて眼底正面画像を高画質化処理するだけでなく、断層画像に対応する高画質化モデルを用いて断層画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、眼底正面画像に対応する高画質化モデルを用いて生成された高画質な眼底正面画像の表示に変更されるだけでなく、断層画像に対応する高画質化モデルを用いて生成された高画質な断層画像の表示に変更されるように構成されてもよい。このとき、断層画像の位置を示すラインが眼底正面画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じて眼底正面画像上で移動可能に構成されてもよい。また、高画質化ボタンの表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応する断層画像を高画質化処理して得た高画質な断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。
これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、プレビュー画面を確認しながら操作者がアライメント位置を修正する場合に、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。また、制御部２０は、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーチファクト領域等の部分領域が再度撮影（リスキャン）されるように、上述した走査手段を駆動制御してもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。
ここで、オートアライメント中では、被検眼Ｅの網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン画像）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。
また、変形例８で述べたように、スキャンパターン等が異なる撮影モード毎に異なる高画質化モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化モデルが用いられてもよい。
なお、高画質化モデルによる高画質化処理の実行（又は高画質化処理して得た高画質画像の表示）の要否の判断は、表示画面に設けられる高画質化ボタンについて、操作者の指示に応じて行われてもよいし、予め記憶部２７に記憶されている設定に応じて行われてもよい。なお、学習済モデル（高画質化モデル）を用いた高画質化処理である旨を高画質化ボタンのアクティブ状態等で表示してもよいし、その旨をメッセージとして表示画面に表示させてもよい。また、高画質化処理の実行は、眼科装置の前回の起動時における実行状態を維持してもよいし、被検者毎に前回の検査時の実行状態を維持してもよい。
また、高画質化モデル等の種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部２７に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部２７に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン画像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化エンジンにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成されてもよい。
なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されても良いし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン画像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン画像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
また、高画質化モデルは、検者からの指示に応じて設定（変更）された割合の値を学習データとする追加学習により更新されてもよい。例えば、入力画像が比較的暗いときに、高画質画像に対する入力画像の割合を検者が高く設定する傾向にあれば、学習済モデルはそのような傾向となるように追加学習することになる。これにより、例えば、検者の好みに合った合成の割合を得ることができる学習済モデルとしてカスタマイズすることができる。このとき、設定（変更）された割合の値を追加学習の学習データとして用いるか否かを、検者からの指示に応じて決定するためのボタンが表示画面に表示されていてもよい。また、学習済モデルを用いて決定された割合をデフォルトの値とし、その後、検者からの指示に応じて割合の値をデフォルトの値から変更可能となるように構成されてもよい。また、高画質化モデルは、高画質化モデルを用いて生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。
（変形例１２）
また、制御部２０は、本撮影により取得した画像について、画像セグメンテーション用の学習済モデルを用いてラベル画像を生成し、画像セグメンテーション処理を行ってもよい。ここでラベル画像とは、当該断層画像について画素毎に領域のラベルが付されたラベル画像をいう。具体的には、取得された画像に描出されている領域群のうち、任意の領域を特定可能な画素値（以下、ラベル値）群によって分けている画像のことである。ここで、特定される任意の領域には関心領域や関心体積（ＶＯＩ：Ｖｏｌｕｍｅ Ｏｆ Ｉｎｔｅｒｅｓｔ）等が含まれる。
画像から任意のラベル値を持つ画素の座標群を特定すると、画像中において対応する網膜層等の領域を描出している画素の座標群を特定できる。具体的には、例えば、網膜を構成する神経節細胞層を示すラベル値が１である場合、画像の画素群のうち画素値が１である座標群を特定し、画像から該座標群に対応する画素群を抽出する。これにより、当該画像における神経節細胞層の領域を特定できる。
なお、画像セグメンテーション処理には、ラベル画像に対する縮小又は拡大処理を実施する処理が含まれてもよい。このとき、ラベル画像の縮小又は拡大に用いる画像補完処理手法は、未定義のラベル値や対応する座標に存在しないはずのラベル値を誤って生成しないような、最近傍法等を使うものとする。
画像セグメンテーション処理とは、画像に描出された臓器や病変といった、ＲＯＩやＶＯＩと呼ばれる領域を、画像診断や画像解析に利用するために特定する処理のことである。例えば、画像セグメンテーション処理によれば、後眼部を撮影対象としたＯＣＴの撮影によって取得された画像から、網膜を構成する層群の領域群を特定することができる。なお、画像に特定すべき領域が描出されていなければ特定される領域の数は０である。また、画像に特定すべき複数の領域群が描出されていれば、特定される領域の数は複数であってもよいし、又は、該領域群を含むように囲む領域１つであってもよい。
特定された領域群は、その他の処理において利用可能な情報として出力される。具体的には、例えば、特定された領域群のそれぞれを構成する画素群の座標群を数値データ群として出力することができる。また、例えば、特定された領域群のそれぞれを含む矩形領域や楕円領域、長方体領域、楕円体領域等を示す座標群を数値データ群として出力することもできる。さらに、例えば、特定された領域群の境界にあたる直線や曲線、平面、又は曲面等を示す座標群を数値データ群として出力することもできる。また、例えば、特定された領域群を示すラベル画像を出力することもできる。
ここで、画像セグメンテーション用の機械学習モデルとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）を用いることができる。なお、本変形例に係る機械学習モデルとしては、例えば、図１０で示したようなＣＮＮ（Ｕ−ｎｅｔ型の機械学習モデル）、ＣＮＮとＬＳＴＭを組み合わせたモデル、ＦＣＮ、又はＳｅｇＮｅｔ等を用いることができる。また、所望の構成に応じて、変形例３で述べたような領域単位で物体認識を行う機械学習モデル等を用いることができる。また、画像セグメンテーション用の機械学習モデルの学習データは、ＯＣＴにより取得された断層画像を入力データとし、当該断層画像について画素毎に領域のラベルが付されたラベル画像を出力データとする。ラベル画像としては、例えば、内境界膜（ＩＬＭ）、神経線維層（ＮＦＬ）、神経節細胞層（ＧＣＬ）、視細胞内節外節接合部（ＩＳＯＳ）、網膜色素上皮層（ＲＰＥ）、ブルッフ膜（ＢＭ）、及び脈絡膜等のラベルが付されたラベル画像を用いることができる。なお、その他の領域として、例えば、硝子体、強膜、外網状層（ＯＰＬ）、外顆粒層（ＯＮＬ）、内網状層（ＩＰＬ）、内顆粒層（ＩＮＬ）、角膜、前房、虹彩、及び水晶体等のラベルが付された画像を用いてもよい。
また、画像セグメンテーション用の機械学習モデルの入力データは断層画像に限られない。前眼画像や眼底正面画像、ＯＣＴＡ画像等であってもよい。この場合、学習データは、各種画像を入力データとし、各種画像の画素毎に領域名等がラベル付けされたラベル画像を出力データとすることができる。例えば、学習データの入力データが眼底正面画像である場合には、出力データは、視神経乳頭の周辺部、Ｄｉｓｃ、及びＣｕｐ等のラベルが付された画像であってよい。
なお、出力データとして用いられるラベル画像は、医師等により断層画像において各領域にラベルが付された画像であってもよいし、ルールベースの領域検出処理により各領域にラベルが付された画像であってもよい。ただし、適切にラベル付けが行われていないラベル画像を学習データの出力データとして用いて機械学習を行うと、当該学習データを用いて学習した学習済モデルを用いて得た画像も適切にラベル付けが行われていないラベル画像となってしまう可能性がある。そのため、そのようなラベル画像を含むペアを学習データから取り除くことで、学習済モデルを用いて適切でないラベル画像が生成される可能性を低減させることができる。ここで、ルールベースの領域検出処理とは、例えば網膜の形状の規則性等の既知の規則性を利用した検出処理をいう。
制御部２０は、このような画像セグメンテーション用の学習済モデルを用いて、画像セグメンテーション処理を行うことで、各種画像について特定の領域を高速に精度良く検出することが期待できる。なお、画像セグメンテーション用の学習済モデルは、変形例３で述べた所定領域検出用の学習済モデルとして用いられてもよい。
なお、画像セグメンテーション用の学習済モデルも、入力データである各種画像の種類毎に用意されてもよい。また、ＯＣＴＡ正面画像やＥｎ−Ｆａｃｅ画像については、画像を生成するための深度範囲毎に学習済モデルが用意されてもよい。さらに、画像セグメンテーション用の学習済モデルも、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）毎の画像について学習を行ったものでもよいし、撮影部位を関わらず学習を行ったものであってもよい。
また、画像セグメンテーション用の学習済モデルについても、変形例６で述べた処理と同様に、操作者の指示に応じて手動で修正されたデータを学習データとして追加学習が行われてもよい。また、追加学習の要否の判断やサーバにデータを送信するか否かの判断も同様の方法で行われてよい。これらの場合にも、各処理の精度を向上させたり、検者の好みの傾向に応じた処理を行えたりすることが期待できる。
さらに、制御部２０は、学習済モデルを用いて、被検眼Ｅの部分領域（例えば、注目部位、アーチファクト領域、異常部位等）を検出する場合には、検出した部分領域毎に所定の画像処理を施すこともできる。例として、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの部分領域を検出する場合について述べる。この場合には、検出された少なくとも２つの部分領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は部分領域毎の疾病等をより適切に診断することができる。なお、検出された部分領域毎に異なる画像処理のパラメータを用いる構成については、学習済モデルを用いずに被検眼Ｅの部分領域を検出して求めた被検眼Ｅの部分領域について同様に適用されてもよい。
（変形例１３）
また、表示制御部２８は、本撮影により取得した画像の表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、毛細血管領域、動脈領域、静脈領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、表示制御部２８は、上述したような様々なアーチファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示部４０に表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、及びシュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、標準データベースを用いて得た標準値や標準範囲と、解析結果とを比較して得た比較結果が表示されてもよい。
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、各種画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。
また、画像解析を行うための学習済モデルの学習データは、画像セグメンテーション処理用の学習済モデルを用いて生成されたラベル画像と、当該ラベル画像を用いた医用画像の解析結果とを含んだものでもよい。この場合、制御部２０は、例えば、解析結果生成用の学習済モデルを用いて、画像セグメンテーション処理の結果から、断層画像の解析結果を生成する、解析結果生成部の一例として機能することができる。さらに、学習済モデルは、Ｅｎ−Ｆａｃｅ画像及びＯＣＴＡ正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。
また、高画質化モデルを用いて生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。この場合、学習データに含まれる入力データとしては、高画質化用の学習済モデルを用いて生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。なお、学習データは、学習済モデルを用いて高画質化された画像について、手動又は自動で少なくとも一部に修正が施された画像であってもよい。
また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、操作者からの指示に応じて、解析結果生成用の学習済モデルを用いて得た解析結果が表示されるように構成されてもよい。
また、上述した実施例及び変形例における表示制御部２８は、本撮影により取得した画像の表示画面のレポート画面において、糖尿病網膜症や、緑内障、加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位等の位置を画像上に表示されてもよいし、異常部位の状態等を文字等によって表示されてもよい。さらに、異常部位等の分類結果（例えば、カーティン分類）を診断結果として表示させてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。また、診断結果は、被検者の今後の診療方針等に関する情報であってもよい。また、診断結果は、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、及び診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報であってもよい。このとき、例えば、検者からの指示に応じて入力された診断名等の診断結果よりも確からしい診断結果を医用支援情報として表示させてもよい。また、複数の種類の医用画像が用いられた場合には、例えば、診断結果の根拠となり得る種類の医用画像が識別可能に表示されてもよい。また、診断結果の根拠としては、学習済モデルが抽出した特徴量を可視化したマップで、例えば、特徴量をカラーで示したカラーマップ（ヒートマップ）であってもよい。このとき、例えば、ヒートマップを入力データとした医用画像に重畳表示させてもよい。
なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。
また、学習データは、画像セグメンテーション処理用の学習済モデルを用いて生成されたラベル画像と、当該ラベル画像を用いた医用画像の診断結果とを含んだものでもよい。この場合、制御部２０は、例えば、診断結果生成用の学習済モデルを用いて、画像セグメンテーション処理の結果から、断層画像の診断結果を生成する、診断結果生成部の一例として機能することができる。
さらに、高画質化用の学習済モデルを用いて生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。この場合、学習データに含まれる入力データとしては、高画質化用の学習済モデルを用いて生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。なお、学習データは、学習済モデルを用いて高画質化された画像について、手動又は自動で少なくとも一部に修正が施された画像であってもよい。
また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、表示制御部２８は、検者からの指示に応じて、診断結果生成用の学習済モデルを用いて得た診断結果を表示部４０に表示させるように構成されてもよい。
また、例えば、緑内障の診断結果を得たい場合には、視神経乳頭を含む医用画像（断層画像や、カラー眼底正面画像、輝度正面画像、ＯＣＴＡ正面画像等）や解析マップ（ＯＣＴデータから得た層厚マップや、ＯＣＴＡデータから得た血管密度マップ等）を入力データとしてもよい。このとき、これらのうちの１つの情報を入力データとしてもよいし、複数の種類の情報を入力データとしてもよい。また、例えば、複数の種類の情報の入力データが輝度正面画像及びＯＣＴＡ正面画像である場合には、これら正面画像は少なくとも一部が共通であるＯＣＴデータを用いて得た共通の深度範囲の正面画像であってもよいし、互いに異なる深度範囲の正面画像であってもよい。また、例えば、緑内障の診断結果を得たい場合には、視神経乳頭の周辺をサークルスキャンして得た断層画像やＯＣＴＡ断層画像を入力データとしてもよい。また、例えば、緑内障の診断結果を得たい場合には、視神経乳頭をクロススキャンして得た複数の断層画像や複数のＯＣＴＡ断層画像を入力データとしてもよい。また、例えば、緑内障の診断結果は、緑内障の種類や状態（程度）であってもよい。このとき、例えば、緑内障の診断結果は、緑内障の前視野緑内障（ＰＰＧ：Ｐｒｅｐｅｒｉｍｅｔｒｉｃ Ｇｌａｕｃｏｍａ）、前期、中期、後期等であってもよい。また、緑内障の診断結果は、視野欠損等の視野異常の疑いは低いが、視神経乳頭陥凹の拡大や視神経線維の欠損等の網膜に関する形態的な変化（異常）の疑いが高い状態、緑内障の疑いが低い状態等であってもよい。
なお、入力データとして用いる情報毎又は情報の種類毎に学習済モデルを用意し、学習済モデルを用いて、診断結果を取得してもよい。この場合、各学習済モデルから出力された情報に統計的な処理を行い、最終的な診断結果を決定してもよい。例えば、各学習済モデルから出力された情報の割合を各種類の情報毎に加算し、他の情報よりも割合の合計が高い情報を最終的な診断結果として決定してもよい。なお、統計的な処理は合計の算出に限られず、平均値や中央値の算出等であってもよい。また、例えば、各学習済モデルから出力された情報のうち、他の情報よりも割合の高い情報（最も割合の高い情報）を用いて診断結果を決定してもよい。同様に、各学習済モデルから出力された情報のうち、閾値以上である割合の情報を用いて診断結果を決定してもよい。
また、操作者の指示（選択）に応じて、決定された診断結果の良否の判定（承認）が可能に構成されてもよい。また、操作者の指示（選択）に応じて、各学習済モデルから出力された情報から診断結果を決定してもよい。このとき、例えば、表示制御部２８が、各学習済モデルから出力された情報及びその割合を並べて表示部４０に表示させてもよい。そして、操作者が、例えば、他の情報よりも割合の高い情報を選択することにより、選択された情報を診断結果として決定するように構成されてもよい。さらに、各学習済モデルから出力された情報から、機械学習モデルを用いて、診断結果を決定してもよい。この場合には、機械学習アルゴリズムは、診断結果生成に用いられた機械学習アルゴリズムとは異なる種類の機械学習アルゴリズムであってもよく、例えば、サポートベクターマシン、アダブースト、ベイジアンネットワーク、又はランダムフォレスト等を用いてよい。
なお、上述した種々の学習済モデルの学習は、教師あり学習（ラベル付きの学習データで学習）だけでなく、半教師あり学習であってもよい。半教師あり学習は、例えば、複数の識別器（分類器）がそれぞれ教師あり学習を行った後、ラベルのない学習データを識別（分類）し、識別結果（分類結果）の信頼度に応じて（例えば、確からしさが閾値以上の識別結果を）自動的にラベル付け（アノテーション）し、ラベル付けされた学習データで学習を行う手法である。半教師あり学習は、例えば、共訓練（Ｃｏ−Ｔｒａｉｎｉｎｇ、あるいはＭｕｌｔｉｖｉｅｗ）であってもよい。このとき、診断結果生成用の学習済モデルは、例えば、正常な被検体の医用画像を識別する第１の識別器と、特定の病変を含む医用画像を識別する第２の識別器とを用いて半教師あり学習（例えば、共訓練）して得た学習済モデルであってもよい。なお、診断目的に限らず、例えば撮影支援等を目的としてもよい。この場合、第２の識別器は、例えば、注目部位やアーチファクト領域等の部分領域を含む医用画像を識別するものであってもよい。
また、上述した実施例及び変形例に係る表示制御部２８は、表示画面のレポート画面において、上述したような注目部位、アーチファクト領域、及び異常部位等の部分領域の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
また、異常部位を検出する場合には、制御部２０は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｋｓ）や変分オートエンコーダ―（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ−Ｅｎｃｏｄｅｒ）を用いてもよい。例えば、医用画像の生成を学習して得た生成器と、生成器が生成した新たな医用画像と本物の医用画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。
ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された医用画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな医用画像を生成する。その後、入力された医用画像と生成された新たな医用画像との差分を異常部位として抽出（検出）することができる。また、ＶＡＥを用いる場合には、例えば、入力された医用画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな医用画像を生成する。その後、入力された医用画像と生成された新たな医用画像像との差分を異常部位として抽出することができる。
さらに、制御部２０は、畳み込みオートエンコーダ（ＣＡＥ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ−Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ医用画像を学習させる。これにより、推定時に異常部位がある医用画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない医用画像が出力される。その後、ＣＡＥに入力された医用画像とＣＡＥから出力された医用画像の差分を異常部位として抽出することができる。
これらの場合、制御部２０は、敵対的生成ネットワーク又はオートエンコーダ（ＡＥ）を用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、制御部２０は、高速に精度よく異常部位を検出することが期待できる。例えば、異常部位の検出精度の向上のために異常部位を含む医用画像を学習データとして数多く集めることが難しい場合であっても、比較的に数多く集め易い正常な被検体の医用画像を学習データとして用いることができる。このため、例えば、異常部位を精度よく検出するための学習を効率的に行うことができる。ここで、オートエンコーダには、ＶＡＥやＣＡＥ等が含まれる。また、敵対的生成ネットワークの生成部の少なくとも一部がＶＡＥで構成されてもよい。これにより、例えば、同じようなデータを生成してしまう現象を低減しつつ、比較的鮮明な画像を生成することができる。例えば、制御部２０は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部２８は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として表示部４０に表示させることができる。
また、診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のＯＣＴＡ正面画像及びＥｎ−Ｆａｃｅ画像（又は断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底正面画像（あるいは蛍光眼底正面画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医用画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。
また、診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元ＯＣＴ画像（三次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタスキャン）断層画像とをセットとする入力データ等も考えられる。
なお、診断結果生成用の学習済モデルの学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底正面画像とをセットとする入力データ等が考えられる。また、診断結果生成用の学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、処理の結果を向上することができる。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、表示制御部２８によって表示部４０に表示される、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、操作者は、撮影直後であっても精度の良い結果を確認することができる。また、例えば、特定の物体が認識されると、認識された物体を囲う枠がライブ動画像に重畳表示させるように構成されてもよい。このとき、物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、例えば、物体を囲う枠の色が変更される等のように強調表示されてもよい。これにより、検者は、物体をライブ動画上で容易に識別することができる。また、変形例１１等で説明した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。
なお、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。また、例えば、結果の精度が低い医用画像については、検者が該医用画像上に、学習済モデルが抽出した特徴量を可視化したマップ（ヒートマップ）を確認しながらラベル付け（アノテーション）した画像を入力データとして追加学習するように構成されてもよい。例えば、学習済モデルにおける結果を出力する直前等のレイヤー上のヒートマップにおいて、注目すべき箇所が検者の意図と異なる場合には、検者が注目すべきと考える箇所にラベル付け（アノテーション）した医用画像を追加学習してもよい。これにより、例えば、学習済モデルは、医用画像上の部分領域であって、学習済モデルの出力結果に対して比較的影響が大きな部分領域の特徴量を、他の領域よりも優先して（重みを付けて）追加学習することができる。
ここで、解析結果生成用の学習済モデルや診断結果生成用の学習済モデル等の上述した種々の学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝播法）に関する技術が用いられてもよい。また、学習には、各ユニット（各ニューロン、あるいは各ノード）をランダムに不活性化する手法（ドロップアウト）が用いられてもよい。また、学習には、多階層のニューラルネットワークの各層に伝わったデータを、活性化関数（例えばＲｅＬｕ関数）が適用される前に、正規化する手法（バッチ正規化）が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。
なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である制御部２０による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ−ｎｅｔ型の機械学習モデルが適用可能である。Ｕ−ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。
また、機械学習モデルは、例えば、カプセルネットワーク（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン、あるいは各ノード）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
（変形例１４）
上述した実施例及び変形例においては、各種学習済モデルが追加学習の実行中である場合、追加学習の実行中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習の実行中の学習済モデルに対する学習データ以外の医用画像の入力を禁止するように構成されることがよい。また、追加学習の実行前の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習の実行中には、予備の学習済モデルに対する学習データ以外の医用画像の入力が実行可能なように構成されることがよい。そして、追加学習が完了した後に、追加学習の実行後の学習済モデルを評価し、問題がなければ、予備の学習済モデルから追加学習の実行後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。
なお、追加学習の実行後の学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。また、追加学習の実行後の学習済モデルの評価としては、例えば、追加学習の実行後の学習済モデルと追加学習の実行前の学習済モデル（予備の学習済モデル）とをそれぞれ用いて同一の画像から得た複数の高画質画像を比較、あるいは該複数の高画質画像の解析結果を比較してもよい。このとき、例えば、該複数の高画質画像の比較結果（追加学習による変化の一例）、あるいは該複数の高画質画像の解析結果の比較結果（追加学習による変化の一例）が所定の範囲であるか否かを判定し、判定結果が表示されてもよい。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（例えば、前眼部、後眼部等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、制御部２０は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、制御部２０は、選択された学習済モデルに対して追加学習を実行する制御手段を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
なお、選択手段及び制御手段は、制御部２０のＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減することが有用である。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性を確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わないものとする。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。
また、上述したような一致性の確認によるデータの保護は、追加学習用の学習データに限らず、医用画像を含むデータに適用可能である。また、複数の施設のサーバの間の医用画像を含むデータの取引が分散型のネットワークにより管理されるように画像管理システムが構成されてもよい。また、取引履歴と、前のブロックのハッシュ値とが一緒に記録された複数のブロックを時系列につなぐように画像管理システムが構成されてもよい。なお、一致性の確認等を行うための技術としては、量子ゲート方式等の量子コンピュータを用いても計算が困難な暗号（例えば、格子暗号、量子鍵配送による量子暗号等）が用いられてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムであってもよい。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。また、画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。
なお、各種学習済モデルについて、追加学習を行う際には、ＧＰＵを用いて高速に処理を行うことができる。ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができるため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵで処理を行うことが有効である。なお、追加学習の処理は、ＧＰＵとＣＰＵ等が協働して行ってもよい。
（変形例１５）
上述した実施例及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル（音声認識エンジン、音声認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル（文字認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル（ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。
また、検者からの指示は、表示部４０における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部４０における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部４０に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データ又は音声データ等を入力データとし、高画質画像の表示の実行命令及び高画質化ボタンをアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。なお、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス又はタッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
ここで、音声認識用の学習済モデルや文字認識用の学習済モデル、ジェスチャー認識用の学習済モデルについての機械学習には、上述したような深層学習を用いてよい。また、多階層のニューラルネットワークの少なくとも一部には、例えば、上述したＲＮＮを用いることができる。また、ＲＮＮの一種である上述したＬＳＴＭを用いてもよい。さらに、ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。このとき、自然言語処理に関する技術としては、例えば、入力される文章毎に出力されるモデルが適用されてもよい。また、上述した種々の学習済モデルは、検者からの指示に限らず、検者に対する出力に適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。
また、自然言語処理に関する技術としては、文書データを教師なし学習により事前学習して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、事前学習して得た学習済モデルを更に目的に応じて転移学習（あるいはファインチューニング）して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、例えば、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）が適用されてもよい。また、自然言語処理に関する技術としては、文章内の特定の単語を左右両方の文脈から予測することで、文脈（特徴量）を自ら抽出（表現）可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、入力される時系列データにおける２つのシーケンス（センテンス）の関係性（連続性）を判断可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、隠れ層にＴｒａｎｓｆｏｒｍｅｒのＥｎｃｏｄｅｒが用いられ、ベクトルのシーケンスが入力、出力されるモデルが適用されてもよい。
ここで、本変形例が適用可能な検者からの指示は、上述した様々な実施例及び変形例に記載のような種々の画像や解析結果の表示の変更、Ｅｎ−Ｆａｃｅ画像の生成のための深度範囲の選択、追加学習用の学習データとして用いるか否かの選択、学習済モデルの選択、種々の学習済モデルを用いて得た結果の出力（表示や送信等）や保存等、に関する少なくとも１つの指示であれば何でもよい。また、本変形例が適用可能な検者からの指示は、撮影後の指示だけでなく、撮影前の指示であってもよく、例えば、種々の調整に関する指示、種々の撮影条件の設定に関する指示、撮影開始に関する指示であってもよい。また、本変形例が適用可能な検者からの指示は、表示画面の変更（画面遷移）に関する指示であってもよい。
なお、機械学習モデルとしては、ＣＮＮ等の画像に関する機械学習モデルとＲＮＮ等の時系列データに関する機械学習モデルとを組み合わせた機械学習モデルであってもよい。このような機械学習モデルでは、例えば、画像に関する特徴量と時系列データに関する特徴量との関係性を学習することができる。機械学習モデルの入力層側がＣＮＮで、出力層側がＲＮＮである場合には、例えば、医用画像を入力データとし、該医用画像に関する文章（例えば、病変の有無、病変の種類、次の検査のレコメンド等）を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、医用画像に関する医療情報が自動的に文章で説明されるため、医療経験が浅い検者であっても、医用画像に関する医療情報を容易に把握することができる。また、機械学習モデルの入力層側がＲＮＮで、出力層側がＣＮＮである場合には、例えば、病変、所見、診断等の医療に関する文章を入力データとし、該医療に関する文章に対応する医用画像を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、検者が確認したい症例に関係する医用画像を容易に検索することができる。
また、検者からの指示や検者に対する出力には、文字や音声等の文章を任意の言語に機械翻訳する機械翻訳エンジン（機械翻訳モデル、機械翻訳用の学習済モデル）が用いられてもよい。なお、任意の言語は、検者からの指示に応じて選択可能に構成されてもよい。また、任意の言語は、言語の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、自動選択された言語の種類を検者からの指示に応じて修正可能に構成されてもよい。機械翻訳エンジンには、例えば、上述した自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。例えば、機械翻訳エンジンに入力された文章が機械翻訳された後に、機械翻訳された文章を文字認識エンジン等に入力するように構成されてもよい。また、例えば、上述した種々の学習済モデルから出力された文章を機械翻訳エンジンに入力し、機械翻訳エンジンから出力された文章が出力されるように構成されてもよい。
また、上述した種々の学習済モデルが組み合わせて用いられてもよい。例えば、検者からの指示に対応する文字が文字認識エンジンに入力され、入力された文字から得た音声を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された文字が文字認識エンジンに入力され、入力された文字から得た音声が出力されるように構成されてもよい。また、例えば、検者からの指示に対応する音声が音声認識エンジンに入力され、入力された音声から得た文字を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された音声が音声認識エンジンに入力され、入力された音声から得た文字が表示部に表示されるように構成されてもよい。このとき、検者に対する出力として文字による出力か音声による出力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示として文字による入力か音声による入力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示による選択によって、上述した種々の構成が採用されるようにしてもよい。
（変形例１６）
本撮影により取得された画像に関するラベル画像や高画質画像等は、操作者からの指示に応じて記憶部２７に保存されてもよい。このとき、例えば、高画質画像を保存するための操作者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、又は最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、操作者からの指示に応じて編集可能な状態で表示されてもよい。なお、同様に、ラベル画像等についても、学習済モデルを用いた処理により生成された画像である情報を含むファイル名が表示されてもよい。
また、レポート画面等の種々の表示画面において、表示部４０に高画質画像を表示させる際に、表示されている画像が高画質化モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、操作者は、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。例えば、画像セグメンテーション処理用の学習済モデルを用いたセグメンテーション結果の解析結果を表示する際にも、画像セグメンテーション用の学習済モデルを用いた結果に基づいた解析結果であることを示す表示が、解析結果とともに表示されてもよい。
このとき、レポート画面等の表示画面は、操作者からの指示に応じて、画像データとして記憶部２７に保存されてもよい。例えば、高画質画像等と、これらの画像が学習済モデルを用いた処理により生成された画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部２７に保存されてもよい。
また、高画質化モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部４０に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、例えば画像セグメンテーション処理等上述した種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部４０に表示されてもよい。
また、学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。なお、高画質化モデルを用いた処理だけでなく、例えば画像セグメンテーション処理等の上述した種々の学習済モデルを用いた処理により得た画像についても、同様に処理してよい。
また、レポート画面の初期表示画面として、高画質化処理ボタン等がアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、当該ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ−Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されてもよい。なお、当該ボタンが画像セグメンテーション処理の切り替えを表す場合に関しても、同様に処理されてよい。
（変形例１７）
上述した実施例及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、所定領域検出結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、所定領域検出結果、セグメンテーション結果）が生成されるように構成されてもよい。
また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、所定領域検出結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第１の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルを用いて処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、所定領域検出結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。
なお、共通の画像が、第１の種類の学習済モデルと第２の種類の学習済モデルとに入力されることで、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を実行するように構成されてもよい。このとき、例えば、検者からの指示に応じて、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を一括して（連動して）実行するように構成されてもよい。また、入力させる画像の種類（例えば、高画質画像、物体認識結果、セグメンテーション結果、類似症例画像）、生成（あるいは表示）させる処理結果の種類（例えば、高画質画像、診断結果、解析結果、物体認識結果、セグメンテーション結果、類似症例画像）、入力の種類や出力の種類（例えば、文字、音声、言語）等をそれぞれ検者からの指示に応じて選択可能に構成されてもよい。また、入力の種類は、入力の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、出力の種類は、入力の種類と対応する（例えば、同じ種類になる）ように自動選択可能に構成されてもよい。また、自動選択された種類を検者からの指示に応じて修正可能に構成されてもよい。このとき、選択された種類に応じて少なくとも１つの学習済モデルが選択されるように構成されてもよい。このとき、複数の学習済モデルが選択された場合には、選択された種類に応じて複数の学習済モデルの組み合わせ方（例えば、データを入力させる順番等）が決定されてもよい。なお、例えば、入力させる画像の種類と、生成（あるいは表示）させる処理結果の種類とが、異なるように選択可能に構成されてもよいし、同じである場合には異なるように選択することを促す情報を検者に対して出力するように構成されてもよい。また、各学習済モデルはどの場所で実行されてもよい。例えば、複数の学習済モデルのうちの一部がクラウドサーバで用いられ、他はフォグサーバやエッジサーバ等の別のサーバで用いられるように構成されてもよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。これらにより、例えば、硝子体、白内障、緑内障、角膜屈折矯正、外眼等の手術や、レーザー光凝固等の治療が、遠隔であってもリアルタイムに支援することができる。このとき、例えば、これらの手術や治療に関する装置により得た種々の医用画像の少なくとも１つを無線により受信したフォグサーバやエッジサーバ等が種々の学習済モデルの少なくとも１つを用いて得た情報を手術や治療に関する装置に無線で送信するように構成されてもよい。また、例えば、手術や治療に関する装置に無線で受信した情報が、上述したような光学系や光学部材の移動量（ベクトル）であってもよく、この場合、手術や治療に関する装置が自動制御されるように構成されてもよい。また、例えば、検者による操作の支援を目的として、検者の許可を伴う自動制御（半自動制御）として構成されてもよい。
また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。また、上述したような種々の学習済モデルの処理による物体認識結果やセグメンテーション結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の医用画像が、既に機械学習等によって該複数の医用画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、医用画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検索モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、制御部２０は、（高画質化用の学習済モデルとは異なる）類似症例画像検索用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する類似症例画像の検索を行うことができる。また、例えば、表示制御部２８は、種々の医用画像から類似症例画像検索用の学習済モデルを用いて得た類似症例画像を表示部４０に表示させることができる。このとき、類似症例画像は、例えば、学習済モデルに入力された医用画像の特徴量と類似する特徴量の画像である。また、類似症例画像は、例えば、学習済モデルに入力された医用画像において異常部位等の部分領域が含まれる場合には、異常部位等の部分領域の特徴量と類似する特徴量の画像である。このため、例えば、類似症例画像を精度よく検索するための学習を効率的に行うことができるだけでなく、医用画像において異常部位が含まれる場合には、検者は異常部位の診断を効率よく行うことができる。また、複数の類似症例画像が検索されてもよく、特徴量が類似する順番が識別可能に複数の類似症例画像が表示されてもよい。また、複数の類似症例画像のうち、検者からの指示に応じて選択された画像と該画像との特徴量とを含む学習データを用いて、類似症例画像検索用の学習済モデルが追加学習されるように構成されてもよい。
また、上述した実施例及び変形例に係る所定領域検出用、高画質化用、画像セグメンテーション処理用等の学習済モデルでは、断層画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推定処理に用いているものと考えらえる。一方で、音声認識用や文字認識用、ジェスチャー認識用等の学習済モデルでは、時系列のデータを用いて学習を行っているため、入力される連続する時系列のデータ値間の傾きも特徴量の一部として抽出し、推定処理に用いているものと考えられる。そのため、このような学習済モデルは、具体的な数値の時間的な変化による影響を推定処理に用いることで、精度のよい推定を行うことができると期待される。
また、各種学習済モデルの学習データは、実際の撮影を行う眼科装置自体を用いて得たデータに限られず、所望の構成に応じて、同型の眼科装置を用いて得たデータや、同種の眼科装置を用いて得たデータ等であってもよい。
なお、上述した実施例及び変形例に係る各種学習済モデルは制御部２０に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御部２０と接続される別のサーバの装置等に設けられてもよい。この場合には、制御部２０は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。
（変形例１８）
上述した様々な実施例及び変形例による制御部２０によって処理される医用画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、医用画像処理装置又は医用画像処理方法によって作成された画像を含むことができる。
さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（３次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ−Ｆａｃｅ画像を含む。Ｅｎ−Ｆａｃｅ画像は、３次元のＯＣＴＡデータ（３次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ−Ｆａｃｅ画像（モーションコントラスト正面画像）であってもよい。また、３次元のＯＣＴデータや３次元のモーションコントラストデータは、３次元の医用画像データの一例である。
ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ−Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。なお、略同一位置を測定光が複数回走査されるように走査手段を制御する際に、一つの走査（一つのＢスキャン）と次の走査（次のＢスキャン）との時間間隔（タイムインターバル）が変更（決定）されるように構成されてもよい。これにより、例えば、血管の状態によって血流速度が異なる場合があっても、血管領域を精度よく可視化することができる。このとき、例えば、検者からの指示に応じて、上記時間間隔が変更可能に構成されてもよい。また、例えば、検者からの指示に応じて、予め設定されている複数の時間間隔に対応する複数のモーションコントラスト画像から、いずれかのモーションコントラスト画像が選択可能に構成されてもよい。また、例えば、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータとを対応づけて記憶部２７に記憶可能に構成されてもよい。また、例えば、表示制御部２８は、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータに対応するモーションコントラスト画像とを表示部４０に表示させてもよい。また、例えば、上記時間間隔が自動的に決定、あるいは上記時間間隔の少なくとも１つの候補が決定されるように構成されてもよい。このとき、例えば、機械学習モデルを用いて、モーションコントラスト画像から、上記時間間隔が決定（出力）されるように構成されてもよい。このような機械学習モデルは、例えば、複数の時間間隔に対応する複数のモーションコントラスト画像を入力データとし、該複数の時間間隔から所望のモーションコントラスト画像を取得した際の時間間隔までの差を正解データとする学習データを学習することにより得ることができる。
また、Ｅｎ−Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（３次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影又は積算して生成される。Ｅｎ−Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを２次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を２次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ−Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ−Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。
なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ−ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ−ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置を含んでよい。また、ＯＣＴ装置は、ライン光を用いたＬｉｎｅ−ＯＣＴ装置（あるいはＳＳ−Ｌｉｎｅ−ＯＣＴ装置）を含んでよい。また、ＯＣＴ装置は、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ−ＯＣＴ装置（あるいはＳＳ−Ｆｕｌｌ Ｆｉｅｌｄ−ＯＣＴ装置）を含んでよい。また、ＯＣＴ装置は、Ｄｏｐｐｌｅｒ−ＯＣＴ装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ−ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ−ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ−ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ−ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、病理顕微鏡ＳＬＯ装置や病理顕微鏡ＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ハンドヘルド型のＳＬＯ装置やハンドヘルド型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、カテーテルＳＬＯ装置やカテーテルＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ヘッドマウント型のＳＬＯ装置やヘッドマウント型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、双眼鏡型のＳＬＯ装置や双眼鏡型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置は、光学変倍可能な構成によって、撮影画角を変更可能なものであってもよい。また、ＳＬＯ装置は、ＲＧＢの各光源を用いて、１つの受光素子で時分割に受光する構成又は複数の受光素子で同時に受光する構成によって、カラー画像や蛍光画像を取得可能なものであってもよい。
（その他の実施例）
本発明は、上述の実施例及び変形例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
以上、実施例を参照して本発明について説明したが、本発明は上記実施例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の実施例及び各変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
１：ＯＣＴ装置、１００：光学ヘッド部、２４：第１アライメント部、２５：第２アライメント部

Claims (36)

  1. 被検眼に光を照射し且つ被検眼からの戻り光を検出するための光学系を含む光学ヘッド部と、
    前記光学ヘッド部を用いて取得された前眼部の画像に基づいて、被検眼及び前記光学ヘッド部の少なくとも一方に関する第１の位置の情報を取得する第１情報取得部と、
    被検眼及び光学ヘッド部の少なくとも一方に関する位置の情報を学習して得た学習済モデルを用いて、前記光学ヘッド部を用いて取得された前眼部の画像から、被検眼及び前記光学ヘッド部の少なくとも一方に関する第２の位置であって、前記第１の位置とは異なる第２の位置の情報を取得する第２情報取得部と、
    被検者の顔を支持する支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御する駆動制御部と、
    を備え、
    前記第１情報取得部によって前記第１の位置の情報を取得した後に、前記第２情報取得部によって前記第２の位置の情報を取得可能に構成され、
    前記駆動制御部は、
    前記取得した第１の位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御して、被検眼及び前記光学ヘッド部の少なくとも一方を前記第１の位置へ移動させ、
    前記取得した第２の位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御して、被検眼及び前記光学ヘッド部の少なくとも一方を前記第２の位置へ移動させる、眼科装置。
  2. 前記学習済モデルは、光学ヘッド部からの光束の光軸を被検眼の瞳孔の重心からずらした被検眼及び光学ヘッド部の少なくとも一方に関する位置の情報を学習して得た機械学習モデルである、請求項１に記載の眼科装置。
  3. 前記第２情報取得部は、被検眼の眼底に関する測定の前後の少なくとも一方において、前記第２の位置の情報を取得する、請求項１又は２に記載の眼科装置。
  4. 前記光学ヘッド部を用いて取得された眼底に関する画像を評価する評価部を更に備え、
    前記第２情報取得部は、前記第１の位置において取得された眼底に関する画像の評価値が閾値よりも低い場合に、前記第２の位置の情報を取得する、請求項１乃至３のいずれか一項に記載の眼科装置。
  5. 前記第１の位置において取得された眼底に関する画像の評価値が閾値以上である場合には、前記第２情報取得部によって前記第２の位置の情報を取得しない、請求項４に記載の眼科装置。
  6. 前記第１の位置において取得された眼底に関する画像の評価値と、前記第２の位置において取得された眼底に関する画像の評価値とのうち、より高い評価値を有する眼底に関する画像を取得した位置において、被検眼の眼底に関する測定を行う、請求項４又は５に記載の眼科装置。
  7. 前記第２情報取得部は、操作者の指示に応じて、前記第２の位置の情報を取得する、請求項１乃至３のいずれか一項に記載の眼科装置。
  8. 前記前眼部の画像は動画像である、請求項１乃至７のいずれか一項に記載の眼科装置。
  9. 被検眼が所定の疾患眼である場合には、前記第１情報取得部によって前記第１の位置の情報を取得せずに、前記第２情報取得部によって前記第２の位置の情報を取得する、請求項１乃至８のいずれか一項に記載の眼科装置。
  10. 前記所定の疾患眼は、白内障の眼、瞳孔偏心が生じている眼、及び瞳孔縮小が生じている眼のうちの少なくとも１つを含む、請求項９に記載の眼科装置。
  11. 前記学習済モデルは、白内障の眼、瞳孔偏心が生じている眼、瞳孔縮小が生じている眼、及び健常眼毎の学習データを用いて学習を行った複数の学習済モデルを含み、
    前記第２情報取得部は、前記複数の学習済モデルのうち被検眼の状態に応じた学習済モデルを用いて、前記第２の位置の情報を取得する、請求項１乃至１０のいずれか一項に記載の眼科装置。
  12. 前記学習済モデルは、前記第２の位置の情報を操作者が修正した情報を学習データとして追加学習を行う、請求項１乃至１１のいずれか一項に記載の眼科装置。
  13. 前記学習済モデルは、前記前眼部の画像を入力データとし、前記前眼部の画像を取得した際のアライメント位置から、光学ヘッド部からの光束の光軸を被検眼の瞳孔の重心からずらした被検眼及び光学ヘッド部の少なくとも一方の位置への移動量を出力データとする学習データを学習した機械学習モデルである、請求項１乃至１２のいずれか一項に記載の眼科装置。
  14. 前記学習済モデルは、前記前眼部の画像を入力データとし、眼底に関する画像の画質に関する報酬を最大にするように強化学習を行った機械学習モデルである、請求項１乃至１２のいずれか一項に記載の眼科装置。
  15. 前記学習済モデルは、事前に眼の模型を用いた学習により得た学習済モデルに対して、人眼での学習を追加で行った機械学習モデルである、請求項１４に記載の眼科装置。
  16. 前記眼科装置は、光干渉断層撮影装置、眼底カメラ、走査型レーザー検眼鏡、及び眼屈折力測定装置のいずれかである、請求項１乃至１５のいずれか一項に記載の眼科装置。
  17. 被検眼に光を照射し且つ被検眼からの戻り光を検出するための光学系を含む光学ヘッド部と、
    前記光学ヘッド部を用いて取得された眼底に関する画像に基づいて、被検眼及び前記光学ヘッド部の少なくとも一方に関する第１の位置の情報を取得する第１情報取得部と、
    被検眼及び光学ヘッド部の少なくとも一方に関する位置の情報を学習して得た学習済モデルを用いて、前記光学ヘッド部を用いて取得された眼底に関する画像から、被検眼及び前記光学ヘッド部の少なくとも一方に関する第２の位置であって、前記第１の位置とは異なる第２の位置の情報を取得する第２情報取得部と、
    被検者の顔を支持する支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御する駆動制御部と、
    を備え、
    前記第１情報取得部によって前記第１の位置の情報を取得した後に、前記第２情報取得部によって前記第２の位置の情報を取得可能に構成され、
    前記駆動制御部は、
    前記取得した第１の位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御して、被検眼及び前記光学ヘッド部の少なくとも一方を前記第１の位置へ移動させ、
    前記取得した第２の位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御して、被検眼及び前記光学ヘッド部の少なくとも一方を前記第２の位置へ移動させる、眼科装置。
  18. 被検眼に光を照射し且つ被検眼からの戻り光を検出するための光学系を含む光学ヘッド部と、
    被検眼及び光学ヘッド部の少なくとも一方に関する位置の情報を学習して得た学習済モデルを用いて、前記光学ヘッド部を用いて取得された被検眼に関する画像から、被検眼及び前記光学ヘッド部の少なくとも一方に関する位置の情報を取得する情報取得部と、
    被検者の顔を支持する支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御する駆動制御部と、
    を備え、
    前記駆動制御部は、前記取得した位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御し、被検眼及び前記光学ヘッド部の少なくとも一方を該位置へ移動させる、眼科装置。
  19. 前記学習済モデルは、光学ヘッド部からの光束の光軸を被検眼の瞳孔の重心からずらした被検眼及び光学ヘッド部の少なくとも一方に関する位置の情報を学習して得た機械学習モデルである、請求項１８に記載の眼科装置。
  20. 前記眼科装置は、光断層撮影装置であり、
    前記情報取得部は、被検眼及び光学ヘッド部の少なくとも一方に関する位置の情報、フォーカス光学系に関する位置の情報、及びコヒーレンスゲートに関する位置の情報を学習して得た学習済モデルを用いて、前記光学ヘッド部を用いて取得された断層画像から、被検眼及び前記光学ヘッド部の少なくとも一方、前記フォーカス光学系、並びに前記コヒーレンスゲートに関する位置の情報を取得する、請求項１８又は１９に記載の眼科装置。
  21. 前記情報取得部は、前記学習済モデルを用いて、前記光学ヘッド部を用いて取得された断層画像、並びに眼底正面画像及び前眼画像のうちの少なくとも一方から、被検眼及び前記光学ヘッド部の少なくとも一方、前記フォーカス光学系、並びに前記コヒーレンスゲートに関する位置の情報を取得する、請求項２０に記載の眼科装置。
  22. 前記駆動制御部は、前記取得した被検眼及び光学ヘッド部の少なくとも一方、フォーカス光学系、並びにコヒーレンスゲートに関する位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方、前記フォーカス光学系、並びに前記コヒーレンスゲートの配置を調整する、請求項２０又は２１に記載の眼科装置。
  23. 前記光学ヘッド部を用いて取得された被検眼に関する画像をライブ動画像として表示部に表示させる表示制御部を更に備える、請求項１乃至２２のいずれか一項に記載の眼科装置。
  24. 前記表示制御部は、被検眼に関する画像を含む学習データを学習して得た学習済モデルを用いて生成された高画質画像であって、前記光学ヘッド部を用いて取得された被検眼に関する画像を入力して得た高画質画像を前記表示部に表示させる、請求項２３に記載の眼科装置。
  25. 前記表示制御部は、前記高画質画像として生成された前眼画像を前記ライブ動画像として前記表示部に表示させ、前記高画質画像として生成された眼底正面画像であって、前記高画質画像として生成された断層画像の位置を示すラインが重畳表示された眼底正面画像を前記ライブ動画像として前記表示部に表示させ、該眼底正面画像上の該ラインの位置に対応する該断層画像を前記ライブ動画像として前記表示部に表示させる、請求項２４に記載の眼科装置。
  26. 前記表示制御部は、前記高画質画像として生成された断層画像であって、前記ラインの位置に対応する断層画像における血管領域を示す情報を、前記ラインの位置に対応する前記断層画像に重畳表示させる、請求項２５に記載の眼科装置。
  27. 前記表示制御部は、被検眼に関する画像を含む学習データを学習して得た解析結果生成用の学習済モデルを用いて生成された解析結果であって、前記光学ヘッド部を用いて取得された被検眼に関する画像を入力して得た解析結果を前記表示部に表示させる、請求項２３乃至２６のいずれか一項に記載の眼科装置。
  28. 前記表示制御部は、被検眼に関する画像を含む学習データを学習して得た診断結果生成用の学習済モデルを用いて生成された診断結果であって、前記光学ヘッド部を用いて取得された被検眼に関する画像を入力して得た診断結果を前記表示部に表示させる、請求項２３乃至２７のいずれか一項に記載の眼科装置。
  29. 前記表示制御部は、敵対的生成ネットワーク又はオートエンコーダを用いて生成された画像であって、前記光学ヘッド部を用いて取得された被検眼に関する画像を入力して得た画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された該被検眼に関する画像との差に関する情報を、異常部位に関する情報として前記表示部に表示させる、請求項２３乃至２８のいずれか一項に記載の眼科装置。
  30. 前記表示制御部は、被検眼に関する画像を含む学習データを学習して得た類似症例画像検索用の学習済モデルを用いて検索された類似症例画像であって、前記光学ヘッド部を用いて取得された被検眼に関する画像を入力して得た類似症例画像を前記表示部に表示させる、請求項２３乃至２９のいずれか一項に記載の眼科装置。
  31. 前記表示制御部は、被検眼に関する画像を含む学習データを学習して得た物体認識用の学習済モデル又はセグメンテーション用の学習済モデルを用いて生成された物体認識結果又はセグメンテーション結果であって、被検眼に関する画像を入力して得た物体認識結果又はセグメンテーション結果を、前記表示部に表示させる、請求項２３乃至３０のいずれか一項に記載の眼科装置。
  32. 被検眼及び前記光学ヘッド部の少なくとも一方に関する位置の情報を取得するための操作者の指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうち少なくとも１つの学習済モデルを用いて得た情報である、請求項１乃至３１のいずれか一項に記載の眼科装置。
  33. 被検眼に光を照射し且つ被検眼からの戻り光を検出するための光学系を含む光学ヘッド部を用いて取得された前眼部の画像に基づいて、被検眼及び前記光学ヘッド部の少なくとも一方に関する第１の位置の情報を取得することと、
    被検眼及び光学ヘッド部の少なくとも一方に関する位置の情報を学習して得た学習済モデルを用いて、前記光学ヘッド部を用いて取得された前眼部の画像から、被検眼及び前記光学ヘッド部の少なくとも一方に関する第２の位置であって、前記第１の位置とは異なる第２の位置の情報を取得することと、
    被検者の顔を支持する支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御することと、
    を含み、
    前記第１の位置の情報を取得した後に、前記第２の位置の情報を取得可能にし、
    前記制御することは、
    前記取得した第１の位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御して、被検眼及び前記光学ヘッド部の少なくとも一方を前記第１の位置へ移動させることと、
    前記取得した第２の位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御して、被検眼及び前記光学ヘッド部の少なくとも一方を前記第２の位置へ移動させることと、を含む、眼科装置の制御方法。
  34. 被検眼に光を照射し且つ被検眼からの戻り光を検出するための光学系を含む光学ヘッド部を用いて取得された眼底に関する画像に基づいて、被検眼及び前記光学ヘッド部の少なくとも一方に関する第１の位置の情報を取得することと、
    被検眼及び光学ヘッド部の少なくとも一方に関する位置の情報を学習して得た学習済モデルを用いて、前記光学ヘッド部を用いて取得された眼底に関する画像から、被検眼及び前記光学ヘッド部の少なくとも一方に関する第２の位置であって、前記第１の位置とは異なる第２の位置の情報を取得することと、
    被検者の顔を支持する支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御することと、
    を含み、
    前記第１の位置の情報を取得した後に、前記第２の位置の情報を取得可能にし、
    前記制御することは、
    前記取得した第１の位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御して、被検眼及び前記光学ヘッド部の少なくとも一方を前記第１の位置へ移動させることと、
    前記取得した第２の位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御して、被検眼及び前記光学ヘッド部の少なくとも一方を前記第２の位置へ移動させることと、を含む、眼科装置の制御方法。
  35. 被検眼に光を照射し且つ被検眼からの戻り光を検出するための光学系を含む光学ヘッド部を備える眼科装置の制御方法であって、
    前記光学ヘッド部を用いて被検眼に関する画像を取得することと、
    被検眼及び光学ヘッド部の少なくとも一方に関する位置の情報を学習して得た学習済モデルを用いて、前記取得された被検眼に関する画像から、被検眼及び前記光学ヘッド部の少なくとも一方に関する位置の情報を取得することと、
    被検者の顔を支持する支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御することと、
    を含み、
    前記制御することは、前記取得した位置の情報に基づいて、前記支持部及び前記光学ヘッド部の少なくとも一方の駆動を制御し、被検眼及び前記光学ヘッド部の少なくとも一方を該位置へ移動させることを含む、眼科装置の制御方法。
  36. プロセッサーによって実行されると、該プロセッサーに請求項３３乃至３５のいずれか一項に記載の眼科装置の制御方法を実行させる、プログラム。
JP2020046233A 2019-08-09 2020-03-17 眼科装置、眼科装置の制御方法、及びプログラム Active JP7194136B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/029310 WO2021029231A1 (ja) 2019-08-09 2020-07-30 眼科装置、眼科装置の制御方法、及びプログラム
US17/588,367 US20220151483A1 (en) 2019-08-09 2022-01-31 Ophthalmic apparatus, method for controlling ophthalmic apparatus, and computer-readable medium
JP2022194733A JP7478216B2 (ja) 2019-08-09 2022-12-06 眼科装置、眼科装置の制御方法、及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019147940 2019-08-09
JP2019147940 2019-08-09
JP2019234950 2019-12-25
JP2019234950 2019-12-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022194733A Division JP7478216B2 (ja) 2019-08-09 2022-12-06 眼科装置、眼科装置の制御方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2021097989A true JP2021097989A (ja) 2021-07-01
JP2021097989A5 JP2021097989A5 (ja) 2022-06-27
JP7194136B2 JP7194136B2 (ja) 2022-12-21

Family

ID=76541974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020046233A Active JP7194136B2 (ja) 2019-08-09 2020-03-17 眼科装置、眼科装置の制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7194136B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090023A1 (ja) * 2021-11-22 2023-05-25 キヤノン株式会社 眼科装置、眼科装置の制御方法、及びプログラム
DE112022002043T5 (de) 2021-06-11 2024-03-07 Fujikura Ltd. Stromversorgungskabel und mit einem verbinder ausgestattetes stromversorgungskabel

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018130206A (ja) * 2017-02-14 2018-08-23 株式会社トプコン 眼科装置
WO2019100169A1 (en) * 2017-11-27 2019-05-31 Retispec Inc. Hyperspectral image-guided raman ocular imager for alzheimer's disease pathologies

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018130206A (ja) * 2017-02-14 2018-08-23 株式会社トプコン 眼科装置
WO2019100169A1 (en) * 2017-11-27 2019-05-31 Retispec Inc. Hyperspectral image-guided raman ocular imager for alzheimer's disease pathologies

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112022002043T5 (de) 2021-06-11 2024-03-07 Fujikura Ltd. Stromversorgungskabel und mit einem verbinder ausgestattetes stromversorgungskabel
WO2023090023A1 (ja) * 2021-11-22 2023-05-25 キヤノン株式会社 眼科装置、眼科装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
JP7194136B2 (ja) 2022-12-21

Similar Documents

Publication Publication Date Title
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2021039339A1 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP7341874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2021029231A1 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP7413147B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020036182A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2021039748A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
WO2019021512A1 (ja) 眼科システム及び眼科情報処理装置
WO2020183791A1 (ja) 画像処理装置および画像処理方法
WO2020202680A1 (ja) 情報処理装置及び情報処理方法
JP2021037239A (ja) 領域分類方法
JP7332463B2 (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP2022155690A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7362403B2 (ja) 画像処理装置および画像処理方法
JP7194136B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2022050738A (ja) スリットランプ顕微鏡システム
JP2021164535A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021194339A (ja) スリットランプ顕微鏡
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021086560A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP7344847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7406901B2 (ja) 情報処理装置及び情報処理方法
JP2022035168A (ja) スリットランプ顕微鏡システム
JP2021069667A (ja) 画像処理装置、画像処理方法及びプログラム
JP2021119973A (ja) 撮影装置、撮影方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220617

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221209

R151 Written notification of patent or utility model registration

Ref document number: 7194136

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151