JP2020032072A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 撮影時間を長くすることなく、所定の画像処理に用いる基準画像を生成することができる画像処理装置を提供する。【解決手段】 被検眼を異なる時間に撮影して得た複数の画像を取得する取得部と、学習済モデルを用いて、複数の画像の少なくとも１つから、複数の画像のうち該少なくとも１つ以外の画像に関する画像処理に用いる基準画像を生成する基準画像生成部とを備える、画像処理装置。【選択図】図２

Description

本開示は、画像処理装置、画像処理方法、及びプログラムに関する。

被検眼を観察するための装置として、光干渉断層撮影法（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を用いた装置（ＯＣＴ装置）が知られている。ＯＣＴ装置を用いて同一被検眼を異なる日時に撮影して取得した画像や、その画像から生成、解析したデータを継時的に比較することで、経過観察を行うことができる。

経過観察をする場合や合成画像を生成する場合において、同一被検眼を撮影した複数の画像の位置合わせを行うことがある。位置合わせ処理においては、テンプレートとなる基準画像を決定し、残りの画像を基準画像に対して位置合わせする。位置合わせ処理を行うことで、その後の画像処理を効率的に行うことができる。

ここで、基準画像の選択において、アーティファクトや歪みが生じた画像を基準画像とすると、その影響により位置合わせ精度が低下するおそれがある。これを解決するため、特許文献１には、複数の被検眼画像を複合して基準画像を生成する方法が開示されている。

特開２０１５−８８４１号公報

しかしながら、特許文献１に記載される技術では、撮影回数が多くなり撮影時間が長くなるため、被検者に負担がかかる可能性がある。

これに対し、本開示の目的の一つは、撮影時間を長くすることなく、所定の画像処理に用いる基準画像を生成することができる画像処理装置、画像処理方法、及びプログラムを提供することである。

本開示の一実施態様に係る画像処理装置は、被検眼を異なる時間に撮影して得た複数の画像を取得する取得部と、学習済モデルを用いて、前記複数の画像の少なくとも１つから、前記複数の画像のうち前記少なくとも１つ以外の画像に関する画像処理に用いる基準画像を生成する基準画像生成部とを備える。

本開示の他の実施態様に係る画像処理方法は、被検眼を異なる時間に撮影して得た複数の画像を取得する工程と、学習済モデルを用いて、前記複数の画像の少なくとも１つから、前記複数の画像のうち前記少なくとも１つ以外の画像に関する画像処理に用いる基準画像を生成する工程とを含む。

本開示の一つによれば、撮影時間を長くすることなく、所定の画像処理に用いる基準画像を生成することができる。

実施例１に係るＯＣＴ装置の概略的な構成の一例を示す。 実施例１に係る制御部の概略的な構成の一例を示す。 Ｅｎ−Ｆａｃｅ画像の生成方法の一例を説明するための図である。 Ｅｎ−Ｆａｃｅ画像及び断層画像を表示する表示画面の一例を示す。 実施例１に係る表示画面の一例を示す。 実施例１に係る操作手順のフローチャートである。 実施例１に係る一連の動作のフローチャートである。 実施例１に係る学習画像の一例を説明するための図である。 実施例１に係る機械学習モデルの一例を説明するための図である。 実施例２に係る制御部の概略的な構成の一例を示す。 実施例２に係る一連の動作のフローチャートである。 実施例２に係る基準画像及び位置合わせ処理を説明するための図である。 実施例３に係る制御部の概略的な構成の一例を示す。 実施例３に係る一連の動作のフローチャートである。 実施例３に係る基準画像及び位置合わせ処理を説明するための図である。 実施例３の変形例に係る制御部の概略的な構成の一例を示す。 実施例４に係る一連の動作のフローチャートである。

以下、本開示を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本開示が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

なお、本開示において、対象画像とは所定の画像処理が行われる画像をいい、基準画像とは複数の対象画像について所定の画像処理を行うための基準となる画像をいう。また、撮影対象の略同一箇所を繰り返し撮影し、その撮影間における撮影対象の時間的な変化を検出したデータをモーションコントラストデータという。なお、略同一箇所とは、モーションコントラストデータを生成するのに許容できる程度に同一である位置をいい、厳密に同一である箇所から僅かにずれた箇所も含むものをいう。モーションコントラストデータは、例えば、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる。さらに、ＯＣＴを用いた血管造影法（ＯＣＴＡ：ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ）において、ＯＣＴにより取得した三次元のモーションコントラストデータを二次元平面に投影又は積算することで生成される血管画像をＯＣＴＡ画像という。また、被検眼の同一箇所を撮影して得た複数の画像とは、被検眼の同一箇所を測定光が走査されるように制御して得た複数の画像であってもよい。

さらに、被検眼の三次元のデータにおいて、２つの基準面に基づいて定められる所定の深さ範囲内のデータを二次元平面に投影又は積算して生成した正面画像を、Ｅｎ−Ｆａｃｅ画像という。Ｅｎ−Ｆａｃｅ画像には、例えば、輝度の断層画像に基づくＥｎ−Ｆａｃｅ画像やモーションコントラストデータに基づくＯＣＴＡ画像が含まれる。また、ＯＣＴ画像には、二次元の断層画像、三次元の断層画像、二次元のモーションコントラスト画像、三次元のモーションコントラスト画像、及びＥｎ−Ｆａｃｅ画像が含まれる。

（実施例１）
＜光干渉断層撮影装置の概略構成＞
図１は、実施例１に係る画像処理システムに係るＯＣＴ装置の概略的な構成の一例を示す。実施例１に係るＯＣＴ装置１には、ＯＣＴ撮影部１０と、制御部２００（画像処理装置）と、操作手段２６０と、表示部２７０が設けられている。

ＯＣＴ撮影部１０は、例えばＳｐｅｃｔｒａｌ−Ｄｏｍａｉｎ ＯＣＴ（ＳＤ−ＯＣＴ）であって、走査部を介して測定光が照射された被検眼からの戻り光と、測定光に対応する参照光とを干渉させた干渉光に基づいて、被検眼の断層信号を取得する。ＯＣＴ撮影部１０には、光学ヘッド部１００と、ヘッド駆動部１８０と、ベース部１９０とが設けられている。光学ヘッド部１００には撮影光学系が設けられている。ヘッド駆動部１８０は電動ステージ等の任意の駆動部を備え、光学ヘッド部１００を３次元（Ｘ、Ｙ、Ｚ）方向に移動させることができる。これにより、制御部２００によってヘッド駆動部１８０を制御することで、被検眼Ｅに対して光学ヘッド部１００のアライメントを行うことができる。ベース部１９０には分光器１６０が設けられている。

制御部２００は、ＯＣＴ撮影部１０を制御したり、ＯＣＴ撮影部１０や不図示の他の装置から得られた信号から画像を生成したり、生成／取得した画像を処理したりすることができる。表示部２７０は、ＬＣＤディスプレイ等の任意のディスプレイであり、ＯＣＴ撮影部１０及び制御部２００を操作するためのＧＵＩや生成した画像、任意の処理を施した画像、及び患者情報等の各種の情報を表示することができる。

操作手段２６０は、ＧＵＩを操作したり、情報を入力したりすることで、制御部２００を操作するために用いられる。操作手段２６０は、例えば、マウスやタッチパネル等のポインティングデバイス及びキーボード等を含む。なお、タッチパネルディスプレイを用いる場合には、表示部２７０と操作手段２６０を一体的に構成できる。なお、本実施例では、ＯＣＴ撮影部１０、制御部２００、操作手段２６０、及び表示部２７０は別々の要素とされているが、これらの内の一部又は全部を一体的に構成してもよい。

以下、光学ヘッド部１００、分光器１６０、及び制御部２００の構成を順に説明する。

＜光学ヘッド部１００及び分光器１６０の構成＞
光学ヘッド部１００には、被検眼Ｅの前眼部Ｅａや眼底Ｅｒの二次元像（正面画像）及び断層像を撮像するための撮影光学系が設けられている。撮影光学系では、被検眼Ｅに対向して対物レンズ１０１−１が設けられており、その光軸上には光路分岐部として機能する第１ダイクロイックミラー１０２及び第２ダイクロイックミラー１０３が設けられている。

対物レンズ１０１−１からの光路は、第１ダイクロイックミラー１０２及び第２ダイクロイックミラー１０３によって、光の波長帯域ごとに分岐される。より具体的には、対物レンズ１０１−１からの光路は、第１ダイクロイックミラー１０２によって、前眼観察光路Ｌ３と第２ダイクロイックミラー１０３が設けられた光路に分岐される。また、第２ダイクロイックミラー１０３が設けられた光路は、第２ダイクロイックミラー１０３によって、ＯＣＴ光学系の測定光路Ｌ１と、観察用及び固視灯用の光路Ｌ２に波長帯域ごとに分岐される。

観察用及び固視灯用の光路Ｌ２には、レンズ１０１−２、Ｘスキャナ１１７−１、Ｙスキャナ１１７−２、レンズ１１１，１１２、第３ダイクロイックミラー１１８、ＡＰＤ（アバランシェフォトダイオード）１１５、及び固視灯１１６が設けられている。観察用及び固視灯用の光路Ｌ２は、第３ダイクロイックミラー１１８によって、眼底観察用のＡＰＤ１１５への光路と固視灯１１６への光路に波長帯域ごとに分岐される。なお、本実施例では、眼底観察用の光学系は、走査型レーザー検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）の光学系として構成するが、眼底カメラ等の光学系によって構成されてもよい。なお、図１において、Ｘスキャナ１１７−１と、Ｙスキャナ１１７−２との間の光路は紙面内において構成されているが、実際は紙面垂直方向に構成されている。

Ｘスキャナ１１７−１（主走査方向用）及びＹスキャナ１１７−２（主走査方向と交差する副走査方向用）は、制御部２００によって制御され、不図示の眼底観察用照明光源から発せられた光を被検眼Ｅの眼底Ｅｒ上で走査することができる。そのため、Ｘスキャナ１１７−１及びＹスキャナ１１７−２は、眼底観察光学系の走査部（ＳＬＯ走査部）を構成することができる。本実施例では、Ｘスキャナ１１７−１は、共振型のミラーで構成されているが、所望の構成に応じてポリゴンミラー等の偏向ミラーで構成されていてもよい。Ｘスキャナ１１７−１及びＹスキャナ１１７−２は、Ｘスキャナ１１７−１及びＹスキャナ１１７−２の中心位置付近が、レンズ１０１−２の焦点位置となるように配置されている。これに関連し、Ｘスキャナ１１７−１及びＹスキャナ１１７−２の中心位置付近と、被検眼Ｅの瞳の位置は光学的に共役関係となるように構成されている。

レンズ１１１は、固視灯及び眼底観察用の合焦調整のため、制御部２００により制御される不図示のモータを用いて駆動される。第３ダイクロイックミラー１１８は、穴あきミラーや、中空のミラーが蒸着されたプリズムであり、照明光と、眼底Ｅｒからの戻り光とを分離する。

ＡＰＤ１１５は、シングルディテクターであり、眼底Ｅｒから散乱・反射され戻ってきた光を検出する。ＡＰＤ１１５は、不図示の眼底観察用照明光の波長、具体的には７８０ｎｍ付近に感度を持ち、検出した光に応じた信号を制御部２００に出力する。制御部２００は、ＡＰＤ１１５から出力された信号に基づいて、被検眼Ｅの眼底Ｅｒの二次元画像（眼底画像）を生成することができる。固視灯１１６は、制御部２００によって制御され、可視光を発生して被検者の固視を促すために用いられる。

前眼観察光路Ｌ３には、レンズ１４１と、前眼観察用の赤外線ＣＣＤ１４２とが設けられている。赤外線ＣＣＤ１４２は、不図示の前眼観察用照明光の波長、具体的には９７０ｎｍ付近に感度を持ち、前眼部Ｅａから散乱・反射され戻ってきた光を検出する。赤外線ＣＣＤ１４２は、検出した光に応じた信号を制御部２００に出力する。制御部２００は、赤外線ＣＣＤ１４２から出力された信号に基づいて、被検眼Ｅの前眼部Ｅａの二次元画像（前眼部画像）を生成することができる。

光路Ｌ１は、前述の通りＯＣＴ光学系の光路であり、ＯＣＴ光学系は被検眼Ｅの断層画像を撮影するために使用される。より具体的には、ＯＣＴ光学系は、制御部２００で断層画像を生成するための干渉信号を得るために使用される。なお、以下において、被検眼Ｅの眼底Ｅｒに関する干渉信号を得るためにＯＣＴ光学系を用いる構成について説明するが、ＯＣＴ光学系は被検眼Ｅの前眼部Ｅａに関する干渉信号を得るために用いられてもよい。

光路Ｌ１には、レンズ１０１−３と、ミラー１２１と、測定光を被検眼Ｅの眼底Ｅｒ上で走査するために、ＯＣＴ走査部として機能するＸスキャナ１２２−１と、Ｙスキャナ１２２−２とが設けられている。なお、図１において、Ｘスキャナ１２２−１と、Ｙスキャナ１２２−２との間の光路は紙面内において構成されているが、実際は紙面垂直方向に構成されている。

Ｘスキャナ１２２−１及びＹスキャナ１２２−２は、Ｘスキャナ１２２−１及びＹスキャナ１２２−２の中心位置付近が、レンズ１０１−３の焦点位置となるように配置されている。これに関連して、Ｘスキャナ１２２−１及びＹスキャナ１２２−２の中心位置付近と、被検眼Ｅの瞳の位置とは光学的な共役関係となっている。この構成により、ＯＣＴ走査部を物点とした光路が、対物レンズ１０１−１とレンズ１０１−３の間で略平行となる。それにより、Ｘスキャナ１２２−１及びＹスキャナ１２２−２を用いてスキャンを行っても、第１ダイクロイックミラー１０２及び第２ダイクロイックミラー１０３に入射する角度を同じにすることができる。

光路Ｌ１には、Ｘスキャナ１２２−１及びＹスキャナ１２２−２に続いて、レンズ１２３，１２４及びファイバー端１２６が設けられている。ファイバー端１２６は、光ファイバー１２５−２を介して、光カプラー１２５に接続されており、光カプラー１２５には光ファイバー１２５−１を介してＯＣＴ光源１３０が接続されている。

ＯＣＴ光源１３０は、ＯＣＴによる測定に用いられる光を出射する。本実施例では、ＯＣＴ光源１３０として、代表的な低コヒーレント光源であるＳＬＤ（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）を用いた。また、本実施例におけるＳＬＤの中心波長は８５５ｎｍ、波長バンド幅は約１００ｎｍとした。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。また、光源の種類は、ここではＳＬＤを選択したが、低コヒーレント光が出射できればよく、ＡＳＥ（Ａｍｐｌｉｆｉｅｄ Ｓｐｏｎｔａｎｅｏｕｓ Ｅｍｉｓｓｉｏｎ）等も用いることができる。中心波長は眼を撮影することを鑑みて、近赤外光とすることができる。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長とすることができる。本実施例では、双方の理由から中心波長を８５５ｎｍとした。

本実施例の場合、ＯＣＴ光源１３０はファイバー端であり、被検眼Ｅの眼底Ｅｒと光学的な共役関係を有する。レンズ１２３は、合焦調整をするために制御部２００により制御される不図示のモータを用いて駆動される。合焦調整は、ファイバー端であるＯＣＴ光源１３０から出射する光を眼底Ｅｒ上に結像するように行われる。合焦調整部として機能するレンズ１２３は、ＯＣＴ光源１３０と、ＯＣＴ走査部として機能するＸスキャナ１２２−１及びＹスキャナ１２２−２との間に配置されている。これにより、より大きなレンズ１０１−３や光ファイバー１２５−２を動かす必要をなくすことができる。

この合焦調整によって、被検眼Ｅの眼底ＥｒにＯＣＴ光源１３０の像を結像させることができ、また被検眼Ｅの眼底Ｅｒからの戻り光を、ＯＣＴ光源１３０を通してファイバー端１２６に効率良く戻すことができる。

次に、ＯＣＴ光源１３０からの光路と参照光学系、分光器１６０の構成について説明する。ＯＣＴ光源１３０は、光ファイバー１２５−１を介して光カプラー１２５に接続されており、光カプラー１２５には、光ファイバー１２５−１〜４が接続されている。光ファイバー１２５−２はファイバー端１２６に接続され、光ファイバー１２５−３は後述する参照光学系に接続され、光ファイバー１２５−４は分光器１６０に接続されている。光ファイバー１２５−１〜４は、光カプラー１２５に接続されて一体化しているシングルモードの光ファイバーである。

光カプラー１２５は、ＯＣＴ光源１３０からの光を測定光と参照光に分割することができる。このため、ＯＣＴ光源１３０から出射された光は、光カプラー１２５を介して、光ファイバー１２５−２側の測定光と、光ファイバー１２５−３側の参照光とに分割される。測定光は前述のＯＣＴ光学系光路を通じ、観察対象である被検眼Ｅの眼底Ｅｒに照射され、網膜による反射や散乱により、戻り光として同じ光路を通じて光カプラー１２５に到達する。

一方、参照光は、光ファイバー１２５−３を介して、参照光学系に導かれる。参照光学系には、レンズ１５１、分散補償用ガラス１５２及びミラー１５３が設けられている。分散補償用ガラス１５２は、参照光の分散を補償し、測定光と参照光の分散を合せることができる。ミラー１５３は、制御部２００によって制御される不図示のモータを用いて光軸方向に移動することができるように保持されている。

参照光学系に導かれた参照光は、レンズ１５１及び分散補償用ガラス１５２を介して、ミラー１５３に到達し反射される。その後、参照光は同じ光路を戻り、光カプラー１２５に到達する。光カプラー１２５において、測定光と参照光とが合波され干渉光となる。ここで、測定光と参照光は、測定光の光路長と参照光の光路長とが略同一となったときに干渉を生じる。ミラー１５３は、被検眼Ｅによって変わる測定光の光路長に参照光の光路長を合わせるように駆動される。干渉光は光ファイバー１２５−４を介して分光器１６０に導かれる。

分光器１６０には、レンズ１６１と、回折格子１６２と、レンズ１６３と、ラインセンサ１６４とが設けられている。光ファイバー１２５−４から出射された干渉光は、レンズ１６１を介して略平行光となった後、回折格子１６２で波長λ１〜λｎの波長成分に分光され、レンズ１６３によってラインセンサ１６４に結像される。そして、ラインセンサ１６４は、分光された干渉光を波長成分ごとに検出し、検出結果に応じた信号を制御部２００に出力する。制御部２００は、ラインセンサ１６４から出力された信号に基づいて、被検眼Ｅの断層画像を生成することができる。

本実施例では、ＯＣＴ光源１３０、光カプラー１２５、光ファイバー１２５−１〜４、参照光学系、及び分光器１６０によってマイケルソン干渉計が構成されている。なお、本実施例では干渉計としてマイケルソン干渉計を用いているが、マッハツェンダー干渉計を用いてもよい。例えば、測定光と参照光との光量差に応じて光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いてもよい。

＜制御部２００の構成＞
次に、制御部２００の構成について説明する。制御部２００は、光学ヘッド部１００及び分光器１６０の各部と接続されている。より具体的には、制御部２００は、光学ヘッド部１００内の赤外線ＣＣＤ１４２に接続されており、赤外線ＣＣＤ１４２から出力される信号に基づいて被検眼Ｅの前眼部Ｅａの観察画像を生成することができる。また、制御部２００は、光学ヘッド部１００内のＡＰＤ１１５と接続されており、ＡＰＤ１１５から出力される信号に基づいて被検眼Ｅの眼底Ｅｒの観察画像を生成することができる。さらに、制御部２００は、ＯＣＴ撮影部１０内のヘッド駆動部１８０と接続されており、光学ヘッド部１００を被検眼Ｅに対して三次元的に駆動することができる。

また、制御部２００は、分光器１６０のラインセンサ１６４とも接続されており、分光器１６０によって波長分解された測定光に基づく測定信号を取得することができる。制御部２００は、取得した測定信号に基づいてフーリエ変換を実施して被検眼Ｅの断層画像を生成することができる。なお、断層画像の生成方法は公知の任意の手法により実現可能であるため詳細な説明は省略する。制御部２００は、生成された被検眼Ｅの前眼部画像、眼底画像、及び断層画像を、制御部２００に接続された表示部２７０に表示させることができる。

なお、被検眼Ｅの任意の点について測定光を照射し干渉信号を得ることを、本明細書ではＡスキャンと呼び、Ａスキャンで取得した干渉信号に基づいて生成した断層画像をＡスキャン画像と呼ぶ。さらに、任意の線に沿って測定光を被検眼Ｅへ断続的に照射し干渉信号を得ることをＢスキャンと呼び、Ｂスキャンで取得した干渉信号に基づいて生成した断層画像をＢスキャン画像と呼ぶ。

制御部２００は、被検眼Ｅの複数部位のＢスキャン画像を取得し、Ｂスキャン画像の面方向と交差する方向に並べることで、被検眼Ｅの三次元画像を構築することができる。なお、Ｂスキャンの方向は所望の構成に応じて任意であってよい。また、スキャンパターンも、特定部位に対して放射状にスキャンするラジアルスキャンでもよいし、一定方向にスキャンする水平スキャンや垂直スキャンでもよい。

次に図２を参照して、制御部２００の構成について説明する。図２は、制御部２００の概略的な構成の一例を示すブロック図である。制御部２００には、取得部２１０、画像処理部２２０、駆動制御部２３０、記憶部２４０、及び表示制御部２５０が設けられている。

取得部２１０は、ＯＣＴ撮影部１０から、赤外線ＣＣＤ１４２の出力信号やＡＰＤ１１５の出力信号、被検眼Ｅの干渉信号に対応するラインセンサ１６４の出力信号のデータを取得することができる。なお、取得部２１０が取得する各種信号のデータは、アナログ信号でもデジタル信号でもよい。取得部２１０がアナログ信号を取得する場合には、制御部２００でアナログ信号をデジタル信号に変換することができる。

また、取得部２１０は、画像処理部２２０で生成された断層データや、前眼部画像、眼底画像、二次元断層画像、三次元断層画像、モーションコントラスト画像、Ｅｎ−Ｆａｃｅ画像、及び基準画像等の各種画像を取得することができる。ここで、断層データとは、被検体の断層に関する情報を含むデータであり、ＯＣＴによる干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含むものをいう。

さらに、取得部２１０は、画像処理すべき画像の撮影条件群（例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像の画素サイズ、画像フィルタ、及び画像のデータ形式に関する情報など）を取得する。なお、撮影条件群については、例示したものに限られない。また、撮影条件群は、例示したもの全てを含む必要はなく、これらのうちの一部を含んでもよい。具体的には、取得部２１０は、画像を撮影した際のＯＣＴ撮影部１０の撮影条件を取得する。また、取得部２１０は、画像のデータ形式に応じて、画像を構成するデータ構造に保存された撮影条件群を取得することもできる。なお、画像に撮影条件が保存されていない場合には、取得部２１０は、別途撮影条件を保存している記憶装置等から撮影条件群を含む撮影情報群を取得することもできる。

また、取得部２１０は、被検者識別番号等の被検眼を同定するための情報を操作手段２６０等から取得することができる。なお、取得部２１０は、記憶部２４０や、制御部２００に接続される不図示のその他の装置から各種データや各種画像、各種情報を取得してもよい。取得部２１０は、取得した各種データや画像を記憶部２４０に記憶させることができる。

画像処理部２２０は、取得部２１０で取得されたデータや記憶部２４０に記憶されたデータから断層画像やＥｎ−Ｆａｃｅ画像等を生成したり、生成又は取得した画像に画像処理を施したりすることができる。画像処理部２２０には、前眼部画像生成部２２１、眼底画像生成部２２２、断層画像生成部２２３、三次元画像生成部２２４、Ｅｎ−Ｆａｃｅ画像生成部２２５、基準画像生成部２２６、及び位置合わせ部２２７が設けられている。

前眼部画像生成部２２１は、取得部２１０で取得された赤外線ＣＣＤ１４２からの出力信号のデータに基づいて前眼部画像を生成する。眼底画像生成部２２２は、取得部２１０で取得されたＡＰＤ１１５からの出力信号のデータに基づいて眼底画像を生成する。なお、前眼部画像や眼底画像の生成方法は、既存の任意の方法によって行われてよい。

断層画像生成部２２３、取得部２１０で取得された干渉信号のデータに対してフーリエ変換等の処理を施して断層データを生成し、断層データに基づいて断層画像を生成することができる。ここで、取得部２１０で取得される干渉信号のデータは、ラインセンサ１６４から出力された信号のデータであってもよいし、記憶部２４０や制御部２００に接続された不図示の装置から取得された干渉信号のデータであってもよい。なお、断層画像の生成方法としては既知の任意の方法を採用してよく、詳細な説明は省略する。

三次元画像生成部２２４は、断層画像生成部２２３が生成した複数部位の断層画像に基づいて三次元断層画像を生成する。三次元画像生成部２２４は、例えば、複数部位の断層画像を１の座標系に並べて配置することで三次元断層画像を生成することができる。ここで、三次元画像生成部２２４は、記憶部２４０や制御部２００に接続された不図示の装置から取得された複数部位の断層画像に基づいて三次元断層画像を生成してもよい。

また、三次元画像生成部２２４は、各部位の断層画像を用いて二次元モーションコントラスト画像を生成し、生成した各部位の二次元モーションコントラスト画像を１の座標系に並べて配置することで三次元モーションコントラスト画像を生成することができる。なお、モーションコントラスト画像の生成方法は、公知の任意の手法を用いてよい。このため、三次元画像生成部２２４は、モーションコントラスト算出部として機能することができる。

Ｅｎ−Ｆａｃｅ画像生成部２２５は、三次元画像生成部２２４が生成した三次元断層画像から、例えば、被検眼Ｅの深さ方向（Ｚ方向）における２つの任意の基準面に基づいて、二次元平面に投影した正面画像であるＥｎ−Ｆａｃｅ画像を生成する。また、Ｅｎ−Ｆａｃｅ画像生成部２２５は、三次元画像生成部２２４が生成した三次元モーションコントラスト画像から同様にＥｎ−Ｆａｃｅ画像を生成することもできる。ここで、図３を参照してＥｎ−Ｆａｃｅ画像について説明する。Ｅｎ−Ｆａｃｅ画像は、図３に示すように、複数の二次元画像（Ｂ−スキャン画像）３０−１〜３０−ｎから構築した不図示の三次元画像の特定の深さ範囲における情報のみを抽出し、抽出した情報をＸＹ平面に投影すること生成される二次元画像３１０を指す。

Ｅｎ−Ｆａｃｅ画像生成部２２５は、より具体的には、例えば、２つの基準面に囲まれた領域のＸＹ方向の各位置において深さ方向における画素値の代表値を決定し、その代表値に基づいて各位置における画素値を決定して、Ｅｎ−Ｆａｃｅ画像を生成する。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向における画素値の平均値、中央値又は最大値などの値を含む。

図４は、Ｅｎ−Ｆａｃｅ画像及び断層画像を表示する表示画面の一例を示す。表示画面４００には、表示画像選択領域４１０、断層画像４２０（Ｂスキャン画像）、及びＥｎ−Ｆａｃｅ画像４３０が示されている。また、断層画像４２０には、基準面４２０ａ，４２０ｂが示されている。Ｅｎ−Ｆａｃｅ画像生成部２２５は、三次元断層画像に含まれる各断層画像における基準面４２０ａと基準面４２０ｂとに挟まれる範囲を深さ方向（Ｚ方向）に投影することで、Ｅｎ−Ｆａｃｅ画像４３０を生成する。なお、基準面は層境界に沿った面でもよいし、平面であってもよい。以下、Ｅｎ−Ｆａｃｅ画像を生成するための基準面間の深さ方向の範囲をＥｎ−Ｆａｃｅ画像の生成範囲という。

本実施例に係るＥｎ−Ｆａｃｅ画像の生成方法は一例であり、Ｅｎ−Ｆａｃｅ画像生成部２２５は、公知の種々の方法を用いてＥｎ−Ｆａｃｅ画像を生成してよい。また、Ｅｎ−Ｆａｃｅ画像についてはノイズ低減などの処理を実施することができるが、これらの処理は公知の種々の方法を用いてよいため、詳細な説明を省略する。

基準画像生成部２２６は、ディープラーニング等の機械学習アルゴリズムに従った機械学習モデルに関する学習済モデルを用いて、複数の同種の画像に対して画像処理を行うための基準画像を生成する。ここで、同種の画像とは、同じ撮影条件で取得された画像に限られず、例えば異なる画角で取得された画像等も含むことができる。なお、基準画像生成部２２６の詳細な動作に関しては後述する。

位置合わせ部２２７は、基準画像生成部２２６が生成した基準画像に基づいて、取得部２１０が取得した複数の画像の位置合わせを行う。より具体的には、位置合わせ部２２７は、基準画像の位置と角度を変えながら、各対象画像との類似度を求め、基準画像との位置ずれ量を求める。その後、位置合わせ部２２７は、求めた位置ずれ量に基づいて、各対象画像を補正し、対象画像と基準画像との位置合わせを行う。なお、位置合わせ部２２７は、基準画像と対象画像の位置合わせを行うことで、基準画像の生成に用いられた画像と対象画像の位置合わせを行うことができる。なお、位置合わせ部２２７は、取得部２１０が取得した複数の画像のうち、基準画像の生成に用いた画像以外の画像について、基準画像との位置合わせを行うものとする。

駆動制御部２３０は、制御部２００に接続されている、ＯＣＴ撮影部１０のレンズ１１１，１２３やヘッド駆動部１８０等の構成要素の駆動を制御することができる。記憶部２４０は、取得部２１０で取得された各種データ、及び画像処理部２２０で生成・処理された断層画像や三次元断層画像等の各種画像やデータ等を記憶することができる。また、記憶部２４０は、被検者の属性（氏名や年齢など）や他の検査機器を用いて取得した計測結果（眼軸長や眼圧など）などの被検眼に関する情報、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータを記憶することができる。なお、これらの画像及び情報は、不図示の外部記憶装置に記憶する構成にしてもよい。また、記憶部２４０は、プロセッサーによって実行されることで制御部２００の各構成要素の機能を果たすためのプログラム等を記憶することもできる。

表示制御部２５０は、取得部２１０で取得された各種情報や画像処理部２２０で生成・処理された断層画像やＥｎ−Ｆａｃｅ画像、三次元モーションコントラスト画像等の各種画像を表示部２７０に表示させることができる。また、表示制御部２５０は、ユーザによって入力された情報等を表示部２７０に表示させることができる。

図５は、本実施例に係る表示画面の一例を示す。表示画面には、表示領域５１０及び検査選択領域５２０が設けられている。表示領域５１０には、Ｅｎ−Ｆａｃｅ画像５１１、Ｂスキャン画像である断層画像５１２、及びグラフ表示領域５１３が示されている。表示制御部２５０は、例えば、図５に示すように、表示部２７０に被検眼Ｅを撮影して得た三次元モーションコントラスト画像から生成したＥｎ−Ｆａｃｅ画像５１１及び断層画像５１２を表示領域５１０に時系列に表示させることができる。また、表示制御部２５０は、前眼部画像や眼底画像などを表示領域５１０や不図示の領域に表示してもよい。また、表示制御部２５０は、Ｅｎ−Ｆａｃｅ画像や断層画像等を用いた画像解析の解析結果を、例えば、グラフ表示領域５１３に時系列データとして表示してもよいし、表や数値として表示してもよい。

制御部２００は、例えば汎用のコンピュータを用いて構成されてよい。なお、制御部２００は、ＯＣＴ装置１の専用のコンピュータを用いて構成されてもよい。制御部２００は、不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及び光学ディスクやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリを含む記憶媒体を備えている。制御部２００の記憶部２４０以外の各構成要素は、ＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。記憶部２４０は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。

なお、制御部２００が備えるＣＰＵ等のプロセッサー及びＲＯＭ等の記憶媒体は１つであってもよいし複数であってもよい。そのため、制御部２００の各構成要素は、少なくとも１以上のプロセッサーと少なくとも１つの記憶媒体とが接続され、少なくとも１以上のプロセッサーが少なくとも１以上の記憶媒体に記憶されたプログラムを実行した場合に機能するように構成されてもよい。なお、プロセッサーはＣＰＵやＭＰＵに限定されるものではなく、ＧＰＵ等であってもよい。

＜撮影方法と眼底のトラッキング＞
実施例１に係るＯＣＴ装置１において、実際の断層画像の撮影を行う方法を以下に説明する。

まず、操作者（検者）が被検者を装置の前に着座させた後、制御部２００は、ポインティングデバイス等の操作手段２６０を介した操作者によるＧＵＩ操作を受け付けて、自動アライメントを開始する。自動アライメントが開始されると、前眼部画像生成部２２１が、定期的に赤外線ＣＣＤ１４２から出力される信号に基づいて前眼部画像を生成し、画像処理部２２０は前眼部画像を解析して瞳孔の中心位置を検出する。

駆動制御部２３０は、ヘッド駆動部１８０を制御し、光学ヘッド部１００に搭載される対物レンズ１０１−１の光軸の位置が、検出された被検眼Ｅの前眼部Ｅａの瞳孔領域の中心位置に一致するように、光学ヘッド部１００を移動させる。より具体的には、駆動制御部２３０は、ヘッド駆動部１８０の不図示の３つのモータを駆動させて、光学ヘッド部１００の位置を被検眼Ｅに対して三次元（Ｘ、Ｙ、Ｚ）方向に移動させる。

この一連の自動アライメント動作によって、対物レンズ１０１−１の光軸位置は常に被検眼Ｅの前眼部Ｅａの瞳孔中心位置を追跡するように移動することになる。なお、本実施例では赤外線ＣＣＤ１４２を用いた前眼部画像に基づいて、被検眼Ｅに対する撮影光学系の自動アライメントを行っているが、他の手法を用いてこれを実施してもよい。例えば、アライメント用の指標を被検眼の前眼部に投影し、その反射光を検出することで三次元（Ｘ、Ｙ、Ｚ）方向の自動アライメントを行うことができる。なお、操作者が前眼部画像等に基づいて、操作手段２６０を介してヘッド駆動部１８０を制御し、被検眼Ｅに対する撮影光学系のアライメントや調整を行ってもよい。

次に制御部２００は、光路Ｌ２を通じた眼底Ｅｒの二次元観察画像の取得動作を開始する。具体的には、眼底画像生成部２２２が、Ｘスキャナ１１７−１及びＹスキャナ１１７−２によって眼底Ｅｒ上を二次元的に継続して走査された反射光を検出したＡＰＤ１１５の出力信号と二次元走査信号を用いて、定期的に眼底Ｅｒの観察画像を生成する。

その後、定期的に取得される眼底観察画像に基づいて、制御部２００が眼底トラッキング動作を開始することになるが、制御部２００は、トラッキング動作の開始に先立ってまず、取得された複数の画像から基準となる眼底観察画像を得る。この場合、制御部２００は、取得された複数の画像から画質の良いものを選択してもよいし、複数の画像を加算平均して画質を改善した画像を基準画像としてもよい。基準となる眼底観察画像としては、画質の良いものを選択することが安定したトラッキング動作を保障するために重要となる。

適切な基準となる眼底観察画像の選択が行われた後、対象画像となる現在の眼底観察画像と基準となる眼底画像の２つの眼底観察画像を用いて、眼底Ｅｒの移動量を算出することで眼底のトラッキングが行われる。より具体的には、制御部２００は、対象画像である定期的に刻々と得られる現在の眼底観察画像上の着目領域が、基準となる眼底観察画像上のどの座標（Ｘ、Ｙ）に最も相関が高いか算出し、得られた座標の変位量（位置ずれ量）を算出する。これにより、制御部２００は、眼底Ｅｒの二次元方向の移動量を算出することができる。ここで着目領域は、例えば、眼底の黄斑、視神経乳頭、又は血管の分岐等を選択してもよいし、単純に画像の一部分を切り出したものでもよい。眼底の移動量を算出できればどのような領域を着目領域としてもよい。

さらに、制御部２００の駆動制御部２３０は、算出された眼底Ｅｒの移動量に応じて、Ｘスキャナ１２２−１及びＹスキャナ１２２−２を制御し、光路Ｌ１を通る測定光が常に眼底Ｅｒ上の同一領域に照射されるように走査位置を補正する。

この一連の眼底トラッキング動作によって、ＯＣＴ光源１３０から眼底Ｅｒに照射される測定光は、常に眼底Ｅｒの動きを追跡するように移動する。そのため、ＯＣＴ装置１は、安定した断層画像の撮影を行うことができる。制御部２００は、この一連の眼底トラッキング動作を、被検眼Ｅの検査を終了するまで継続して行う。

なお、本実施例では、点走査型ＳＬＯによる眼底観察画像を用いた眼底トラッキングを行っているが、他の手法を用いてこれを実施してもよい。例えば、眼底Ｅｒの広範囲に照射可能な赤外光と赤外線ＣＣＤとを組み合わせて取得された二次元眼底観察画像を用いて、眼底トラッキングを行うこともできる。また、眼底観察光源から形成される任意のパターンを眼底Ｅｒに投影し、その反射光を用いて眼底トラッキングを行うことも可能である。

眼底トラッキングが開始された後、操作者は再び操作手段２６０を用いてＧＵＩ上の不図示のスイッチを操作したり、ＯＣＴ撮影部１０又は制御部２００等に設けられたスイッチを操作したりして、断層画像の撮影を開始する。制御部２００の断層画像生成部２２３は、撮影開始の指示に従い、定期的にラインセンサ１６４から出力される干渉信号に基づいて、記録用の断層画像の生成を開始する。

ここで、ラインセンサ１６４から出力される干渉信号は、回折格子１６２で分光された干渉光に基づく周波数ごとの信号である。断層画像生成部２２３は、ラインセンサ１６４からの干渉信号を高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）処理し、眼底Ｅｒ上のある一点における深さ方向の情報を生成する。眼底Ｅｒに照射される測定光は、Ｘスキャナ１２２−１及びＹスキャナ１２２−２の少なくともいずれか一方を駆動制御することによって、眼底Ｅｒ上を任意の軌跡で走査可能である。断層画像生成部２２３は、この任意の軌跡による走査を一回行う間に取得される一連の複数のＡスキャン画像を一枚の二次元画像に束ねることにより、眼底Ｅｒ上の任意の軌跡におけるＢスキャン画像である断層画像を生成することができる。

＜操作手順＞
次に、図５及び６を参照して、制御部２００の操作手順の一例について説明する。図６は、本実施例に係る制御部２００の操作手順のフローチャートである。

まず、ステップＳ６０１において、操作者は操作手段２６０を用いて、図５に示される表示画面における検査選択領域５２０で１つの検査を選択し、経過観察するため表示領域５１０を選択する。制御部２００の表示制御部２５０は、表示部２７０を制御して、選択された検査に対応する断層画像５１２及びＥｎ−Ｆａｃｅ画像５１１（ＯＣＴＡ画像）を、表示領域５１０に表示させる。また、表示制御部２５０は、表示部２７０を制御して、選択された検査と同一被検眼を撮影して得た断層画像及びＥｎ−Ｆａｃｅ画像を表示領域５１０に時系列に表示させる。

この際、基準画像生成部２２６は、取得したＥｎ−Ｆａｃｅ画像のうちの１つの画像に基づいて基準画像を生成する。その後、位置合わせ部２２７が、基準画像の生成に用いたＥｎ−Ｆａｃｅ画像以外の対象画像であるＥｎ−Ｆａｃｅ画像について基準画像に対する位置合わせを行う。

なお、本実施例では、操作者が検査を選択したときに表示するＥｎ−Ｆａｃｅ画像の生成条件（生成範囲や、代表値の種類、アーティファクト除去の有無等）として、所定の生成条件を適用する構成としたがこれに限定されない。Ｅｎ−Ｆａｃｅ画像の生成範囲については、操作者が指定できる構成でもよいし、一度操作者が設定した生成条件を記憶部２４０又は不図示の外部記憶装置に記録し、Ｅｎ−Ｆａｃｅ画像生成時にその生成条件を自動的に記憶部から読み出して適用してもよい。本実施例では、所定の生成条件として、基準面を内境界膜と網膜色素上皮層とし、代表値を基準面間の平均値とし、アーティファクト除去は行わないとした。

位置合わせが行われたＥｎ−Ｆａｃｅ画像が表示部２７０に表示されたら、ステップＳ６０２で、操作者は表示されている画像のうちの１つの画像領域上で関心領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を設定する。関心領域の設定方法としては、例えば、関心領域として設定したい領域が表示領域中央に来るように画像内の表示位置を変更する操作で設定してもよいし、関心領域周辺を囲むようなマウス操作により設定してもよい。また、ＥＴＤＲＳグリッドなどのグリッドを関心領域周辺に配置することで、関心領域を設定してもよい。

制御部２００は、ステップＳ６０１での位置合わせ結果に基づき、表示している各Ｅｎ−Ｆａｃｅ画像に対し、操作者が設定した関心領域と同一位置に関心領域を設定する。これにより操作者は、以後の操作において１つの操作によって、複数のＥｎ−Ｆａｃｅ画像の同一位置を確認しながら操作を行うことができる。操作者が行える操作としては、例えば、表示位置の変更や、Ｅｎ−Ｆａｃｅ画像を生成するための基準面の変更、関心領域の解析方法の選択などがある。さらに、制御部２００は、例えば、公知の任意の方法により画像に示されている層の厚さや血管密度など、関心領域の解析結果を算出し、算出した解析結果を表示することができる。解析結果は、例えば、グラフ表示領域５１３に時系列データを表示してもよいし、表や数値として表示してもよい。

次に、図７を参照して、ステップＳ６０１での処理動作に対応する、制御部２００の一連の動作の処理手順の一例について説明する。図７は、本実施例に係る制御部２００の一連の動作のフローチャートである。

まず、ステップＳ７０１において、制御部２００の取得部２１０は、操作手段２６０を介した操作者による入力等に基づいて、被検者識別番号を取得する。

次に、取得部２１０は、ステップＳ７０２において、被検者識別番号に基づいて、当該被検者の被検眼Ｅの三次元モーションコントラスト画像を複数取得する。ここで、取得部２１０は、被検眼Ｅを撮影して得た干渉信号に基づいて断層画像生成部２２３が生成した複数の断層画像を用いて三次元画像生成部２２４が生成した三次元モーションコントラスト画像を取得することができる。また、取得部２１０は、既に生成されていた三次元モーションコントラスト画像を記憶部２４０や制御部２００に接続される他の外部記憶装置等から取得することができる。さらに、取得部２１０は、既に取得されていた複数の断層画像を記憶部２４０や制御部２００に接続される他の外部記憶装置等から取得し、これを用いて三次元画像生成部２２４が生成した三次元モーションコントラスト画像を取得することもできる。

ステップＳ７０３では、Ｅｎ−Ｆａｃｅ画像生成部２２５が、取得した複数の三次元モーションコントラスト画像に対応する複数のＥｎ−Ｆａｃｅ画像（ＯＣＴＡ画像）を生成する。なお、Ｅｎ−Ｆａｃｅ画像生成部２２５は、各三次元モーションコントラスト画像から、１つのＥｎ−Ｆａｃｅ画像を生成してもよいし、異なる基準面を用いて複数のＥｎ−Ｆａｃｅ画像を生成してもよい。ここで、任意の基準画像に対する、同じ三次元モーションコントラスト画像から生成されるＥｎ−Ｆａｃｅ画像のＸＹ方向での位置ずれは等しいと考えることができる。そのため、複数のＥｎ−Ｆａｃｅ画像を生成する場合には、そのうちのいずれかのＥｎ−Ｆａｃｅ画像について位置合わせを行えば、同じ三次元モーションコントラスト画像から生成される他のＥｎ−Ｆａｃｅ画像にも同じ位置合わせパラメータを適用できる。ここで、位置合わせパラメータとは、位置ずれ量や位置ずれを補正するための補正量を含むことができる。本実施例では、Ｅｎ−Ｆａｃｅ画像生成部２２５は、各三次元モーションコントラスト画像から１つのＥｎ−Ｆａｃｅ画像を生成するものとして説明する。

次に、ステップＳ７０４において、基準画像生成部２２６が、ディープラーニング等の機械学習アルゴリズムに従った学習済モデルを用いて、被検眼Ｅの最新の検査に関するＥｎ−Ｆａｃｅ画像に基づいて基準画像となるＥｎ−Ｆａｃｅ画像を生成する。なお、本明細書における学習済モデルとは、任意の機械学習アルゴリズムに対して、事前に適切な教師データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。ここで、図８及び図９を参照して、本実施例に係る機械学習アルゴリズムについて説明する。

まず、本実施例に係る教師データは、１以上の入力データと出力データとのペア群で構成される。具体的には、本実施例に係る教師データは、１つの三次元モーションコントラスト画像から生成したＥｎ−Ｆａｃｅ画像を入力データとし、当該Ｅｎ−Ｆａｃｅ画像を高画質化したＥｎ−Ｆａｃｅ画像を出力データとしたペア群によって構成される。本実施例では、同一被検眼の略同一位置（部位）を複数回撮影して得た複数の三次元画像に基づく複数のＥｎ−Ｆａｃｅ画像を位置合わせした後に加算平均して生成したＥｎ−Ｆａｃｅ画像を、出力データである高画質化したＥｎ−Ｆａｃｅ画像として使用する。ここで、入力データして用いられるＥｎ−Ｆａｃｅ画像は、出力データを生成する際の複数のＥｎ−Ｆａｃｅ画像のうちの１つを用いることができる。

なお、高画質化したＥｎ−Ｆａｃｅ画像はこれに限定されない。例えば、撮影中に被検眼Ｅが微動したことに由来してモーションコントラスト画像上に発生するアーティファクトを除去したＥｎ−Ｆａｃｅ画像を、高画質化したＥｎ−Ｆａｃｅ画像として用いてもよい。また、眼軸長などの情報に基づいて画像内の歪みを補正したＥｎ−Ｆａｃｅ画像や、平均値フィルタ等の公知のノイズ低減処理を施したＥｎ−Ｆａｃｅ画像等を、高画質化したＥｎ−Ｆａｃｅ画像として用いてもよい。なお、深層血管を描出するように、三次元モーションコントラスト画像に対して基準面を設定して生成したＥｎ−Ｆａｃｅ画像においては、網膜表層の血管がアーティファクトとして投影される場合がある。そのため、このようなアーティファクトを除去したＥｎ−Ｆａｃｅ画像を、高画質化したＥｎ−Ｆａｃｅ画像として使用することもできる。

次に、学習時の画像について説明する。Ｅｎ−Ｆａｃｅ画像と加算平均して高画質化したＥｎ−Ｆａｃｅ画像とのペア群を構成する画像群を、互いの画像における位置関係が対応する一定の画像サイズの矩形領域画像によって作成する。このとき、図８（ａ）に示すように、互いの画像全体をペアとしてもよいし、図８（ｂ）に示すように互いの画像における対応する矩形領域画像をペアとしてもよい。図８（ａ）に示す例では、Ｅｎ−Ｆａｃｅ画像８０１を入力データとし、高画質化したＥｎ−Ｆａｃｅ画像８０２を出力データとしてペアを構成している。図８（ｂ）に示す例では、Ｅｎ−Ｆａｃｅ画像８１１のうちの矩形領域画像８１１１，８１１２を入力データとし、高画質化したＥｎ−Ｆａｃｅ画像８１２のうち、それぞれに対応する矩形領域画像８１２１，８１２２を出力データとしてペアを構成している。

なお、学習時には、スキャン範囲（撮影画角）、スキャン密度（単位長さあたりのＡスキャン数）を正規化し、学習時の矩形領域サイズを一定に揃えることができる。なお、図８（ｂ）に示す例では、複数の矩形領域を離散的に示したが、矩形領域の設定はこれに限定されない。例えば、Ｅｎ−Ｆａｃｅ画像８０１，８１１内の１つの矩形領域を入力データとしてもよいし、連続する座標の複数の矩形領域を入力データとしてもよい。

次に、図９を参照して、本実施例で機械学習アルゴリズムとして使用する、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）について説明する。図９に示すように、本機械学習アルゴリズムは、入力値群を加工して出力する処理を担う複数の層群によって構成される。本構成９０１には、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。

畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタ数、ストライド値、及びダイレーション値などのパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、フィルタのカーネルサイズを、入力画像の次元数に応じて変更する構成にしてもよい。

ダウンサンプリング層は、Ｍａｘ Ｐｏｏｌｉｎｇ処理など、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。アップサンプリング層は、線形補間処理など、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。合成層は、ある層の出力値群や画像を構成する画素値群などの値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。

なお、ＣＮＮを構成する層群やノード群に対するパラメータの設定が異なると、出力データに再現可能な、教師データからトレーニングされた傾向の程度が異なる場合があるため、注意する必要がある。つまり、多くの場合、実施する際の形態に応じて適切なパラメータが異なるため、必要に応じて変更することが望ましい。あるいは、ＣＮＮの構成を変更することによって、高画質化の精度向上や、処理時間短縮などの、より良い特性を得られる場合がある。ＣＮＮの構成の変更例として、たとえば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込むなどがある。

機械学習モデルにデータを入力すると、機械学習モデルの設計に従ったデータが出力される。このため、本実施例に係る上述の教師データに基づいてトレーニングされた学習済モデルにＥｎ−Ｆａｃｅ画像を入力すると、高画質化したＥｎ−Ｆａｃｅ画像が出力される。基準画像生成部２２６は、このような教師データを用いてトレーニングされた学習済モデルに、被検眼Ｅの最新の検査に関するＥｎ−Ｆａｃｅ画像を入力し、学習済モデルから出力された高画質化されたＥｎ−Ｆａｃｅ画像を基準画像とする。これにより、基準画像生成部２２６は、少なくとも１枚の画像に基づいて高画質化された基準画像を生成することができ、高画質な基準画像の生成のために撮影時間が長くなることを抑制できる。

なお、本実施例では、被検眼Ｅの最新の検査に関するＥｎ−Ｆａｃｅ画像に基づいて基準画像を生成するものとしたが、これに限定されない。例えば、ステップＳ６０１やステップＳ６０２で操作者が選択した検査に関するＥｎ−Ｆａｃｅ画像に基づいて基準画像を生成してもよいし、投薬などを行う直前又は行った直後の検査に関するＥｎ−Ｆａｃｅ画像に基づいて基準画像を生成してもよい。

また、基準画像生成部２２６は、学習済モデルの学習データが画像全体ではなく、画像中の矩形領域で構成されている場合には、入力画像であるＥｎ−Ｆａｃｅ画像内の矩形領域に対応する画像に対して基準画像を生成してもよい。また、基準画像生成部２２６は、学習済モデルから出力された複数の矩形領域画像を並べて構成した全体のＥｎ−Ｆａｃｅ画像を基準画像としてもよい。

次に、ステップＳ７０５では、位置合わせ部２２７が、ステップＳ７０４で使用したＥｎ−Ｆａｃｅ画像以外のＥｎ−Ｆａｃｅ画像（対象画像）について、ステップＳ７０４で生成した基準画像に対する位置合わせを行う。なお、位置合わせ部２２７は、上述のような位置合わせ処理を行ってもよいし、種々の公知の方法による位置合わせ処理を行ってもよい。

位置合わせ処理が行われると、ステップＳ７０６において、表示制御部２５０が、基準画像の生成に用いられたＥｎ−Ｆａｃｅ画像を含む対象となるＥｎ−Ｆａｃｅ画像を、位置合わせが行われた状態で、時系列に表示領域５１０に表示する。

なお、経過観察では、基準となる日時の検査に対する変化を表示する場合がある。この場合には、制御部２００、例えば、本実施例のように高画質化したＥｎ−Ｆａｃｅ画像を基準画像として位置合わせをした後に、検査に係るデータ間の差分を抽出し、表示制御部２５０が、当該差分を表示部２７０に表示させることができる。表示制御部２５０が抽出された差分を各Ｅｎ−Ｆａｃｅ画像に重畳して表示することで、操作者は時系列における変化量を把握することが容易になる。抽出する差分としては、例えば、Ｅｎ−Ｆａｃｅ画像間の輝度情報の差分や、各検査に係るデータ間の、関心領域の平面方向の形状変化、Ｚ方向の厚みの変化、又は血管密度などの解析結果の差分を利用することができる。これに関連して、表示制御部２５０は、例えば、経過観察における、被検眼Ｅの層厚マップの差分を表示部２７０に表示させてもよい。

なお、差分を表示する場合には、差分値の大小に応じて色付けされたカラーマップを生成してもよい。この場合、例えば、元の画像やデータに対して値が大きくなっている場合には暖色（黄〜橙〜赤）系の色調を、値が小さくなっている場合には寒色（黄緑〜緑〜青）系の色調を用いることができる。このような配色を用いることで、操作者は差分値の大小関係を容易に識別することができる。なお、配色は任意に設定されてよい。

さらに、表示制御部２５０は、表示部２７０に、学習済モデルを用いて高画質化した画像を基準画像として使用した旨を表示させてもよい。表示の態様は任意であってよいが、具体的には、例えば、表示領域５１０に操作者への通知領域を設けてもよいし、又は各Ｅｎ−Ｆａｃｅ画像の表示領域を強調表示する構成にしてもよい。また、表示制御部２５０は、表示部２７０に、学習済モデルを用いて高画質化した基準画像を使用した場合と使用しない場合との位置合わせ後の画像を並べて表示、又は切り替えて表示させてもよい。これにより、操作者は高画質化していない基準画像による位置合わせ結果も確認することができ、好みに応じて原画像を用いた観察を行うことができる。

上記方法により、制御部２００は、高画質化したＥｎ−Ｆａｃｅ画像を基準画像として用いた経過観察を行うことができる。なお、制御部２００は、操作者が同一被検者の異なる検査日の検査を選択した場合など、特定の検査日に関して表示領域５１０に表示するすべての画像を変更する必要が生じた場合に、再度Ｅｎ−Ｆａｃｅ画像を位置合わせして表示を行う。一方、例えば、Ｅｎ−Ｆａｃｅ画像を生成するための基準面の変更など、特定の検査日に関して表示領域５１０に表示する画像のうち一部を変更する必要が生じた場合は、再度の位置合わせは行わなくてよい。

なお、本実施例では、操作者が検査を選択した際に自動的に基準画像の生成を行う構成としたがこれに限定されない。例えば、操作者が不図示のメニューにより基準画像の生成タイミングを決定できるようにしてもよいし、ステップＳ６０２で操作者が関心領域を選択した際に基準画像の生成を行う構成としてもよい。これにより、操作者が検査を選択した際の最初の画面表示までの時間を短縮することができる。

上記のように、本実施例に係る制御部２００（画像処理装置）は、取得部２１０と、基準画像生成部２２６と、位置合わせ部２２７を備える。取得部２１０は、被検眼を異なる時間に撮影して得た複数の画像を取得する。基準画像生成部２２６は、学習済モデルを用いて、複数の画像の少なくとも１つから、複数の画像のうち当該少なくとも１つ以外の画像に関する画像処理に用いる基準画像を生成する。位置合わせ部２２７は、複数の画像のうち当該少なくとも１つ以外の画像に関する画像処理として、基準画像を用いて複数の画像に関する位置合わせを行う。

このため、本実施例に係る制御部２００は、学習済モデルを用いることで、撮影時間を長くすることなく、高画質化した基準画像を生成することができる。また、制御部２００は、高画質化した基準画像を位置合わせに用いることができるため、複数の画像（Ｅｎ−Ｆａｃｅ画像）間の位置合わせ精度向上ができる。

なお、基準画像の選択に関しては、特許文献１に開示される方法のほかに、被検眼の略同一位置を複数回撮影し、操作者が基準画像を選択することで、アーティファクトや歪みの少ない画像を基準画像とすることもできる。しかしながら、この場合にも、操作者が基準画像を選択するための複数枚の画像を取得する必要があるため、撮影時間は長くなる。そのため、当該手法と比べても、本実施例に係る制御部２００は、撮影時間を長くすることなく、高画質化した基準画像を生成することができる。

本実施例では、基準画像生成部２２６は、観察用のＥｎ−Ｆａｃｅ画像から基準画像を生成し、位置合わせ部２２７は、観察用のＥｎ−Ｆａｃｅ画像と基準画像の位置合わせを行った。ここで、上述のように、任意の基準画像に対する、同じ三次元モーションコントラスト画像から生成されるＥｎ−Ｆａｃｅ画像のＸＹ方向での位置ずれは等しいと考えることができる。そのため、画像処理部２２０は、観察用のＥｎ−Ｆａｃｅ画像とは異なる、位置合わせ用のＥｎ−Ｆａｃｅ画像を用いて位置合わせ処理を行い、位置合わせパラメータを観察用のＥｎ−Ｆａｃｅ画像に適用してもよい。

この場合には、ステップＳ７０３において、Ｅｎ−Ｆａｃｅ画像生成部２２５は、各三次元モーションコントラスト画像から、観察用のＥｎ−Ｆａｃｅ画像と位置合わせ用のＥｎ−Ｆａｃｅ画像を生成する。ステップＳ７０４では、基準画像生成部２２６が被検眼Ｅの最新の検査に関する位置合わせ用のＥｎ−Ｆａｃｅ画像に基づいて基準Ｅｎ−Ｆａｃｅ画像を生成する。ステップＳ７０５では、位置合わせ部２２７が、位置合わせ用のＥｎ−Ｆａｃｅ画像と基準画像を用いて位置合わせを行い、位置合わせ用の補正量等の位置合わせパラメータを算出する。その後、位置合わせ部２２７は、位置合わせ用のＥｎ−Ｆａｃｅ画像に対応する観察用のＥｎ−Ｆａｃｅ画像に算出された位置合わせパラメータを適用することで、観察用のＥｎ−Ｆａｃｅ画像を位置合わせすることができる。

例えば、深層の血管を観察した場合などには、観察用のＥｎ−Ｆａｃｅ画像に含まれる特徴部が比較的少なく、精度の良い位置合わせを行うことが難しい場合がある。このため、例えば特徴部が比較的多い浅層等のＥｎ−Ｆａｃｅ画像の生成条件に基づく位置合わせ用のＥｎ−Ｆａｃｅ画像を用いることで、より精度の良い位置合わせを行うことができる。

なお、経過観察を行う場合の画像間の位置合わせでは、リアルタイム性は特に要求されるわけではない。このことを考慮すると、学習済モデルにより高画質化した基準画像を利用して画像の位置合わせを行うだけでなく、対象画像であるその他の画像も学習済みモデルにより高画質化してもよい。この場合には、画像間のより高精度な位置合わせができるため、より精密な診断を行えることが期待できる。なお、学習済モデルを用いた高画質化は撮影位置を変更するものではない。そのため、学習済モデルを用いて高画質化された画像を対象画像とした位置合わせ処理による、位置ずれ量等のパラメータを高画質化前の画像に適用することで、当該高画質化前の画像の位置合わせを行うことができる。

また、本実施例では、学習済モデルを用いて取得した高画質な画像を位置合わせ用の基準画像や対象画像として用いることについて述べた。しかしながら、表示制御部２５０は、学習済モデルを用いて取得した高画質な画像を、経過観察等のための画像として表示部２７０に表示させてもよい。これにより、操作者はノイズが低減されたり、アーティファクトが除去されたりした、より診断に適した画像を観察して診断を行うことができる。

ただし、学習済モデルを用いて取得した高画質画像では、学習の傾向に従って、実際には存在しない血管等の組織が描出されたり、存在するはずの組織が描出されなかったりする場合も起こり得る。そのため、表示制御部２５０は、学習済モデルを用いて取得した高画質な画像を経過観察等のための画像として表示させる場合には、学習済モデルを用いて取得した高画質な画像である旨をともに表示させてもよい。この場合には、操作者による誤診断の発生を抑制することができる。なお、学習済モデルを用いて取得した高画質な画像である旨が理解できる態様であれば、表示の態様については任意であってよい。

また、学習済モデルを用いて取得した高画質画像を表示部２７０に表示させないように表示制御部２５０を構成してもよい。この場合は、学習済モデルによって高画質化された画像は、位置合わせの基準画像としてのみ用いられるため、当該高画質化された画像を観察することによる誤診断を防止することができる。

なお、本実施例では、教師データの出力データとして用いる高画質化したＥｎ−Ｆａｃｅ画像について、高画質化の例として、加算平均による重ね合わせ処理、平均値フィルタ処理等のノイズ低減処理、アーティファクト除去処理、及び歪み補正処理を挙げた。しかしながら、高画質化処理はこれに限られない。高画質化処理は、ノイズを低減したり、高コントラスト化したり、階調を所望の階調に変換したり、高解像度化したり、画像生成の過程で描画される実際には存在しないオブジェクトやグラデーションを画像から除去したりする処理を含むことができる。そのため、高画質化処理は、例えば、最大事後確率推定処理、平滑化フィルタ処理、超解像処理及び階調変換処理等であってもよい。なお、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである１画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。また、これらの処理方法としては、公知の任意の処理方法を採用することができる。

また、撮影部位毎の学習データを用いて学習を行った複数の学習済モデルを用いて高画質化処理を行ってもよい。学習済モデルに関しては、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そのため、撮影部位毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって高画質化を行うことで、より効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、撮影部位に限られず、撮影画角であったり、画像の解像度であったり、これらのうちの２つ以上の組み合わせであったりしてもよい。

さらに、複数の学習済モデルを用いる場合には、制御部２００は、基準画像の元となる画像や位置合わせを行う対象画像について取得部２１０で取得した撮影条件群に基づいて、高画質化に用いる学習済モデルを選択してよい。なお、取得部２１０による撮影条件群の取得方法は、例えば、ＯＣＴ撮影部１０の設定を取得する方法や、データ構造に含まれる情報を取得する方法、別途設けられた撮影条件群を保存する記憶装置から取得する方法等の任意の方法であってよい。

また、制御部２００は、Ｅｎ−Ｆａｃｅ画像の生成条件毎に学習を行った複数の学習済モデルを用いて高画質化処理を行ってもよい。Ｅｎ−Ｆａｃｅ画像は、例えば、深さ方向の生成範囲が異なると画像の傾向が変化する。そのため、このような場合には、Ｅｎ−Ｆａｃｅ画像についてより効果的に高画質化を行うことができる。

本実施例では、観察するＥｎ−Ｆａｃｅ画像として、ＯＣＴＡ画像を例に挙げて説明したが、断層画像の輝度に基づくＥｎ−Ｆａｃｅ画像としてもよい。この場合には、ステップＳ７０２において、取得部２１０は三次元断層画像を取得し、ステップＳ７０３においてＥｎ−Ｆａｃｅ画像生成部２２５は三次元断層画像からＥｎ−Ｆａｃｅ画像を生成する。その後の処理は上記と同様である。なお、この場合、学習済モデルの教師データは、輝度に基づくＥｎ−Ｆａｃｅ画像を入力データとし、当該Ｅｎ−Ｆａｃｅ画像に重ね合わせ処理等の高画質化処理を施したＥｎ−Ｆａｃｅ画像を出力データとしたペア群によって構成されることができる。

さらに、本実施例では、三次元モーションコントラスト画像や三次元断層画像を取得し、Ｅｎ−Ｆａｃｅ画像を生成する構成について述べた。しかしながら、制御部２００は、記憶部２４０や他の記憶装置等から所定の生成条件で生成された複数のＥｎ−Ｆａｃｅ画像を取得し、当該複数のＥｎ−Ｆａｃｅ画像について位置合わせ処理及び表示処理を行ってもよい。

なお、本実施例では画像処理部２２０は、位置合わせ部２２７により基準画像を位置合わせに用いたが、基準画像を用いる画像処理はこれに限られない。画像処理部２２０は、基準画像と対象画像間の画像の関連情報を得て、対象画像に位置合わせ以外の所定の画像処理を施してもよい。

（変形例１）
また、実施例１に係るＯＣＴ装置１では、上述の経過観察を行う場面に加え、実際の撮影動作中に行われる眼底のトラッキングにおいても画像の位置合わせを行う場面が存在する。このトラッキングの場面では、位置合わせの対象画像は上述のＯＣＴを用いたＥｎ−Ｆａｃｅ画像ではなく、眼底観察／眼底トラッキングのために用意された点走査型ＳＬＯや赤外光と赤外線ＣＣＤとの組み合わせ等で得られる眼底観察画像となる。

眼底トラッキングの処理についても、上述のように、基準画像として画質の良いものを選択することが安定したトラッキング動作を保障するために重要である。このため、眼底トラッキングの処理に係る基準画像に対しても、学習済モデルを用いた基準画像の高画質化を実施することは効果的である。

そこで、本変形例１では、眼底トラッキングにおける位置ずれ量の取得に用いられる基準画像として、学習済モデルを用いて高画質化した画像を用いる。本変形例では、位置合わせ部２２７は、眼底トラッキングのための被検眼Ｅの位置ずれ量を取得する位置ずれ量取得部として機能する。より具体的には、位置合わせ部２２７は、基準画像を用いて、基準画像の生成に用いた画像以外の画像に関する画像処理を行うことにより、被検眼の位置ずれ量を取得する。

以下、学習済モデルを用いて生成された基準画像に基づく眼底トラッキングの処理について説明する。本変形例では、眼底観察画像を入力データとし、同一被検眼について取得した複数の眼底観察画像について加算平均等を行って高画質化した眼底観察画像を出力データとしたペア群によって構成される教師データを用いて学習を行った学習済モデルを用意する。そして、眼底トラッキングの処理において、基準画像生成部２２６は、眼底画像生成部２２２が生成した眼底観察画像を当該学習済モデルに入力し、出力された高画質化された眼底観察画像を基準画像とする。ここで、入力データとして用いられる眼底観察画像は、出力データを生成する際に用いられる複数の眼底観察画像のうちの１つとすることができる。また、ペア群の設定方法については、実施例１と同様であってよい。

その後、位置合わせ部２２７は、基準画像生成部２２６によって生成された基準画像と対象画像となる刻々と得られる眼底観察画像に対して位置合わせを行い、眼底Ｅｒの移動量（位置ずれ量）を算出する。なお、移動量の算出方法は、上述したトラッキング動作での算出方法と同様であってよい。すなわち、眼底観察画像上の着目領域（特徴領域）を用いたテンプレートマッチング等により移動量を算出してよい。ここで、着目領域は、眼底の黄斑、視神経乳頭、又は血管の分岐等を含むことができる。また、移動量の算出は、画像全体を用いた位置合わせによって行われてもよい。

駆動制御部２３０は、算出された眼底Ｅｒの移動量に基づいて、Ｘスキャナ１２２−１及びＹスキャナ１２２−２を制御し、光路Ｌ１を通る測定光が常に眼底Ｅｒ上の同一領域に照射されるように走査位置を補正する。これにより、眼底トラッキングの結果に基づいて、被検眼Ｅの断層画像の取得位置が補正される。

この場合、基準画像の選択のために複数の画像の取得と複数の画像への前処理が不要となるので、撮影動作の応答性を改善することができる。すなわち、固視の安定しない被検眼の撮影を行う場合に撮影チャンスを逃すことなく撮影ができる。そして、高画質化した基準画像と対象画像である現在の眼底観察画像との２つの眼底観察画像を用いて、眼底Ｅｒの移動量を算出することでより安定した眼底のトラッキングを行うことができる。

本変形例のようにトラッキング用画像の位置合わせに本発明を適用する際には、前述の経過観察を行う場合に比してリアルタイム性が要求される。そのため、本変形例では、対象画像となる刻々と得られる眼底観察画像に対して高画質化は行わず、処理時間を短縮することが効果的である。

（実施例２）
実施例１では、経過観察を行うための基準画像を、学習済モデルを用いて生成する方法について説明した。これに対し、本開示の実施例２では、同一被検眼の略同一位置（部位）を撮影して得た複数の三次元モーションコントラスト画像から、アーティファクトを低減した高画質な画像を生成するための基準画像を、学習済モデルを用いて生成する方法について説明する。

近年では、造影剤を用いない血管造影法として、ＯＣＴ装置を用いた血管造影法（ＯＣＴＡ）が提案されている。ＯＣＴＡでは、例えば、実施例１で示したように、光学ヘッド部１００及び分光器１６０を含むＯＣＴ撮影部１０を用いて取得した三次元モーションコントラスト画像から、Ｅｎ−Ｆａｃｅ画像を生成することで、血管を描出した二次画像を取得する。なお、三次元モーションコントラスト画像は、複数の断層画像に対応する複数の二次元モーションコントラスト画像から構成される。

二次元モーションコントラスト画像は、ＯＣＴ撮影部１０により被検眼Ｅの略同一断面（略同一箇所）を複数回撮影し、その撮影間における測定対象の時間的な変化を検出することで生成されたモーションコントラストデータに基づいて生成される。例えば、モーションコントラストデータは、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関などから算出することができる。

しかしながら、モーションコントラスト画像を生成するために用いられる断層画像に含まれるノイズや撮影中の被検眼の移動に起因して、モーションコントラスト画像上にアーティファクトが生じてしまう場合がある。

モーションコントラスト画像上に発生するアーティファクトなどの影響を低減して高画質化する方法として、例えば、複数のモーションコントラスト画像を取得し、加算平均する方法が挙げられる。一般的に、同一被写体を撮影した画像がノイズを含む場合、複数枚撮影した画像を用いて加算平均することで、ノイズの影響を低減できることが知られている。

しかしながら、モーションコントラスト画像を取得する場合、加算平均用に複数枚の画像を取得すると総撮影時間が長くなるため、撮影中に被検眼が移動する可能性がある。このため、被検眼を撮影して得たモーションコントラスト画像の撮影箇所が一致しない場合が生じる。また、三次元モーションコントラスト画像を加算平均する場合、画像のＺ方向のずれも考慮する必要がある。そのため、複数のモーションコントラスト画像を加算平均する場合、予め基準画像に基づいて位置合わせを行うことが望ましい。

本実施例では、三次元モーションコントラスト画像を加算平均する際の位置合わせについて、学習済モデルを用いて高画質化した基準画像を生成する。これにより、撮影時間を長くすることなく、高画質な基準画像を生成し、より精度の高い三次元モーションコントラスト画像の位置合わせを行うことができる。このため、三次元モーションコントラスト画像同士の位置ずれをより精度良く補正することができ、適切にアーティファクトを低減した高画質な三次元モーションコントラスト画像を生成することができる。

以下、図１０乃至１２を参照して本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係るＯＣＴ装置の構成は、制御部を除いて実施例１に係るＯＣＴ装置と同様であるため、図１に示す構成と同様の構成については、同一の参照符号を用いて示し、説明を省略する。以下、実施例１に係るＯＣＴ装置１との違いを中心に、本実施例に係るＯＣＴ装置について説明する。

図１０は、本実施例に係る制御部１０００の概略的な構成の一例を示すブロック図である。なお、本実施例における制御部１０００は、画像処理部１０２０、三次元画像生成部１０２４、基準画像生成部１０２６、位置合わせ部１０２７、及び加算平均部１０２８以外の構成は実施例１に係る制御部２００と同様である。そのため、図２に示す構成と同様の構成については、同一の参照符号を用いて示し説明を省略する。

制御部１０００の画像処理部１０２０には、三次元画像生成部１０２４、基準画像生成部１０２６、位置合わせ部１０２７、及び加算平均部１０２８が設けられている。三次元画像生成部１０２４は、実施例１に係る三次元画像生成部１０２４と同様であるが、以下のようにして略同一箇所を撮影して得た断層画像に基づいて二次元モーションコントラストを生成する。

本実施例では、三次元画像生成部１０２４は、被検眼の略同一箇所を撮影した複数の断層画像間の脱相関値に基づいてモーションコントラスト画像を生成する。

具体的には、三次元画像生成部１０２４は、撮影時刻が互いに連続する略同一箇所を撮影して得た複数の断層画像について、位置合わせが行われた複数の断層画像を取得する。なお、位置合わせは、種々の公知の方法を使用することができる。例えば、複数の断層画像のうちの１つを基準画像として選択し、基準画像の位置及び角度を変更しながら、そのほかの断層画像との類似度が算出され、各断層画像の基準画像との位置ずれ量が算出される。算出結果に基づいて各断層画像を補正することで、複数の断層画像の位置合わせが行われる。なお、当該位置合わせの処理は、画像処理部１０２０や位置合わせ部１０２７が行ってよい。

三次元画像生成部１０２４は、位置合わせが行われた複数の断層画像のうち撮影時刻が互いに連続する２つの断層画像ずつについて、以下の数式１により脱相関値を算出する。

ここで、Ａ（ｘ、ｚ）は、位置（ｘ、ｚ）における断層画像Ａの輝度、Ｂ（ｘ、ｚ）は同位置における断層画像Ｂの輝度を表す。脱相関値Ｍ（ｘ、ｚ）は、０〜１の値をとり、同一位置における２つの断層画像間の輝度差が大きいほど値が大きくなる。なお、本実施例では、ＸＺ平面の二次元の断層画像を用いる場合について述べたが、例えばＹＺ平面等の二次元断層画像を用いてもよい。この場合には、位置（ｘ、ｚ）を位置（ｙ、ｚ）等に置き換えてよい。なお、脱相関値は、断層画像の輝度値に基づいて求められてもよいし、断層画像に対応する断層信号の値に基づいて求められてもよい。

三次元画像生成部１０２４は、各位置（画素位置）での脱相関値Ｍ（ｘ、ｚ）に基づいて、モーションコントラスト画像の画素値を決定し、モーションコントラスト画像を生成する。なお、本実施例では、三次元画像生成部１０２４は、撮影時刻が互いに連続する断層画像について脱相関値を算出したが、モーションコントラストデータの算出方法はこれに限定されない。なお、脱相関値Ｍを求める２つの断層画像は、互いに対応する各断層像に関する撮影時間が所定の時間間隔以内であればよく、撮影時間が連続していなくてもよい。そのため、例えば、時間的変化が少ない対象物の抽出を目的として、取得した複数の断層画像から撮影間隔が通常の規定時間より長くなるような２つの断層画像を抽出して脱相関値を算出してもよい。また、脱相関値に代えて、分散値や、最大値を最小値で割った値（最大値／最小値）等を求めてもよい。

基準画像生成部１０２６は、実施例１と同様に、ディープラーニング等の機械学習アルゴリズムに従った機械学習モデルに関する学習済モデルを用いて、三次元モーションコントラスト画像について高画質な基準画像を生成する。本実施例では、基準画像生成部１０２６は、学習済モデルを用いて、高画質な基準画像として、高画質化した三次元モーションコントラスト画像及びこれに対応するＥｎ−Ｆａｃｅ画像を生成する。

これに関連して、本実施例では、学習済モデルの教師データの入力データを、被検眼Ｅを撮影して得た三次元モーションコントラスト画像とする。また、教師データの出力データを、被検眼の同一箇所を複数回撮影して得た三次元モーションコントラスト画像を位置合わせして加算平均した三次元モーションコントラスト画像と、それに対応するＥｎ−Ｆａｃｅ画像とする。なお、Ｅｎ−Ｆａｃｅ画像としては、加算平均した三次元モーションコントラスト画像から所定の生成条件で生成されたＥｎ−Ｆａｃｅ画像を用いる。所定の生成条件としては、位置合わせを行い易くするために、特徴の多い浅層の生成範囲等を設定してもよい。ここで、入力データである三次元モーションコントラスト画像は、出力データを生成する際に用いられる複数の三次元モーションコントラスト画像のうちの１つとすることができる。また、ペア群の設定方法については、実施例１と同様であってよい。ただし、基準画像生成部１０２６は、学習済モデルから矩形領域に対応する画像群が出力される場合には、当該出力された画像群を並べて、三次元モーションコントラスト画像全体を生成するものとする。

このような入力データ及び出力データのペア群を教師データとして用いることで、学習済モデルは、入力された三次元モーションコントラスト画像について高画質化した三次元モーションコントラスト画像及びこれに対応するＥｎ−Ｆａｃｅ画像を出力できる。なお、学習時には、実施例１と同様に、スキャン範囲、スキャン密度を正規化し、学習時の領域サイズを一定に揃えた画像を用いることができる。

なお、本実施例に係る機械学習アルゴリズムとして使用するＣＮＮの構成は、実施例１に係るＣＮＮの構成９０１と同様であるため詳細な説明は省略する。

位置合わせ部１０２７は、複数の三次元モーションコントラスト画像について、基準画像生成部１０２６が生成した基準画像に対する位置合わせを行う。加算平均部１０２８（重ね合わせ部）は、位置合わせ部１０２７によって位置合わせした複数の三次元モーションコントラスト画像を加算平均し、１つの三次元モーションコントラスト画像を生成する。

次に、モーションコントラスト画像のアーティファクト及び三次元モーションコントラスト画像の加算平均について説明する。上記のようにモーションコントラストデータとして脱相関値を算出する場合には、例えば、複数の断層画像の無信号部分にノイズがあり、互いの画素値が異なると、算出される脱相関値の値が大きくなり、ノイズの影響を受けやすい。

また、撮影中に被検眼が動いた影響などにより、三次元モーションコントラスト画像から生成されるＥｎ−Ｆａｃｅ画像上に、図８（ａ）及び（ｂ）に示されるような、例えば白線状や黒帯状のアーティファクトが発生する場合がある。例えば、撮影中に被検眼が動き網膜の位置が画像のＺ方向に移動することや瞬きなどの影響により、三次元モーションコントラスト画像に基づくＥｎ−Ｆａｃｅ画像上に黒帯状のアーティファクトが発生する場合がある。また、脱相関値の算出前の位置合わせがうまくいかない場合や位置ずれが補正しきれていない場合などに、三次元モーションコントラスト画像に基づくＥｎ−Ｆａｃｅ画像上に白線上のアーティファクトが発生する場合がある。なお、本開示においては、三次元モーションコントラスト画像に基づくＥｎ−Ｆａｃｅ画像（ＯＣＴＡ画像）もモーションコントラスト画像に含まれるものとする。

このようなアーティファクトなどの影響を低減する手法として、上述のように、複数の三次元モーションコントラスト画像を加算平均することが知られており、当該加算平均の前には、被検眼Ｅの移動等を考慮し位置合わせを行うことが望まれる。ここで、実施例１と同様に、位置合わせに際しては、高画質な基準画像を用いることで、より精度の良い位置合わせを行うことができる。そこで、本実施例では、基準画像生成部１０２６が、学習済モデルを用いて、高画質な基準画像を生成する。特に、複数の三次元モーションコントラスト画像の位置合わせを行う場合には、ＸＹ方向だけでなく、Ｚ方向の位置合わせも行う必要がある。そのため、基準画像生成部１０２６は、高画質な基準画像として、高画質な三次元モーションコントラスト画像とこれに対応するＥｎ−Ｆａｃｅ画像を生成する。

以下、図１１乃至１２（ｂ）を参照して、本実施例における一連の動作について説明する。図１１は、本実施例に係る一連の動作のフローチャートである。図１２（ａ）は、基準画像生成部１０２６によって生成される基準画像について説明するため図であり、図１２（ｂ）は、位置合わせ部１０２７による位置合わせ処理を説明するための図である。

ステップＳ１１０１及びステップＳ１１０２は、実施例１に係るステップＳ７０１及びステップＳ７０２の処理と同様であるため、説明を省略する。なお、被検者の撮影と連続して当該一連の処理を行う場合には、ステップＳ１１０１は省略してもよい。この場合には、ステップＳ１１０２において、取得部２１０は撮影で得た情報に基づいて複数の三次元モーションコントラスト画像を取得する。なお、ステップＳ１１０２においては、三次元画像生成部１０２４が上記のように脱相関値を求めることでモーションコントラストデータを生成し、三次元モーションコントラスト画像を生成することができる。ステップＳ１１０２において、取得部２１０が複数の三次元モーションコントラスト画像を取得したら、処理はステップＳ１１０３に移行する。

ステップＳ１１０３では、基準画像生成部１０２６が、学習済モデルを用いて、図１２（ａ）に示すように、複数の三次元モーションコントラスト画像のうちの１つの三次元モーションコントラスト画像１２１０から、基準画像１２２０を生成する。より具体的には、基準画像生成部１０２６は、三次元モーションコントラスト画像１２１０を学習済モデルに入力する。学習済モデルは、三次元モーションコントラスト画像１２１０が入力されると、高画質化された三次元モーションコントラスト画像１２２１とこれに対応するＥｎ−Ｆａｃｅ画像１２２２を出力する。基準画像生成部１０２６は、学習済モデルから出力された高画質な三次元モーションコントラスト画像１２２１とこれに対応するＥｎ−Ｆａｃｅ画像１２２２を基準画像１２２０として出力する。

次に、ステップＳ１１０４及びステップＳ１１０５において、位置合わせ部１０２７が、基準画像生成部１０２６によって生成された基準画像１２２０を用いて、複数の三次元モーションコントラスト画像１２００の位置合わせを行う。図１２（ｂ）は、ステップＳ１１０４及びステップＳ１１０５における位置合わせ処理の概略的なイメージ図である。位置合わせ部１０２７は、図１２（ｂ）に示すように、当該位置合わせ処理により、位置ずれが補正された複数の三次元モーションコントラスト画像１２３０を出力する。

以下、ステップＳ１１０４及びＳ１１０５の処理についてより詳細に説明する。ステップＳ１１０４では、位置合わせ部１０２７が、基準画像１２２０のＥｎ−Ｆａｃｅ画像１２２２を用いて、複数の三次元モーションコントラスト画像１２００における各三次元モーションコントラスト画像のＸＹ平面における位置合わせを行う。より具体的には、位置合わせ部１０２７は、Ｅｎ−Ｆａｃｅ画像生成部２２５によって、対象画像となる複数の三次元モーションコントラスト画像１２００より生成された複数のＥｎ−Ｆａｃｅ画像と基準画像１２２０のＥｎ−Ｆａｃｅ画像の位置合わせを行う。なお、Ｅｎ−Ｆａｃｅ画像生成部２２５は、Ｅｎ−Ｆａｃｅ画像の生成条件として、学習済モデルの教師データのＥｎ−Ｆａｃｅ画像の生成条件と同様の条件を用いてＥｎ−Ｆａｃｅ画像を生成する。

位置合わせ部１０２７による、Ｅｎ−Ｆａｃｅ画像の位置合わせ処理は、実施例１と同様であるため、詳細な説明を省略する。位置合わせ部１０２７は、Ｅｎ−Ｆａｃｅ画像の位置合わせ処理により、Ｅｎ−Ｆａｃｅ画像の位置合わせパラメータを算出する。ここで、Ｅｎ−Ｆａｃｅ画像は三次元モーションコントラスト画像における所定の深さ範囲のデータをＸＹ平面に投影した画像である。そのため、Ｅｎ−Ｆａｃｅ画像の位置合わせパラメータは、Ｅｎ−Ｆａｃｅ画像に対応する三次元モーションコントラスト画像のＸＹ方向の位置合わせパラメータに対応する。位置合わせ部１０２７は、算出した各Ｅｎ−Ｆａｃｅ画像についての位置合わせパラメータを用いて、対象画像となる各三次元モーションコントラスト画像の位置合わせを行う。なお、ＸＹ方向の位置パラメータには、ＸＹ方向の回転に関する移動量や補正量が含まれてもよい。

ステップＳ１１０５では、位置合わせ部１０２７は、基準画像１２２０の三次元モーションコントラスト画像１２２１を用いて、各三次元モーションコントラスト画像のＺ方向の位置合わせを行う。より具体的には、位置合わせ部１０２７は、ＸＹ方向について位置合わせが行われた対象画像である三次元モーションコントラスト画像について、基準画像１２２０の高画質な三次元モーションコントラスト画像１２２１を用いて、Ｚ方向の位置合わせを行う。

位置合わせの方法としては、各三次元モーションコントラスト画像の各ＸＹ位置におけるＺ方向の画像（Ａスキャン画像）毎に、基準画像である三次元モーションコントラスト画像の対応するＺ方向の画像に対する位置合わせを行う。Ｚ方向の画像の位置合わせ方法は、上述の一般的な位置合わせ手法と同様であってよい。ただし、例えば、三次元モーションコントラスト画像における内境界膜（ＩＬＭ）が平坦になるように位置合わせを行うことで、加算平均処理を行いやすくできる場合がある。そのため、本実施例では、基準画像１２２０の三次元モーションコントラスト画像１２２１における内境界膜が平坦になるように、三次元モーションコントラスト画像１２２１を変形し、変形した画像を基準画像として、各対象画像のＺ方向の位置合わせを行う。この場合、基準画像の生成に用いられた三次元モーションコントラスト画像についても同様のパラメータを用いて変形しておくことができる。なお、当該Ｚ方向の位置合わせの位置合わせパラメータについても、Ｚ方向の回転に関する移動量や補正量が含まれてもよい。

ステップＳ１１０６では、加算平均部１０２８が、位置合わせされた複数の三次元モーションコントラスト画像を加算平均して、１つの三次元モーションコントラスト画像を生成する。また、ステップＳ１１０５において、基準画像を内境界膜が平坦になるように変形した場合は、加算平均部１０２８は、変形した際のパラメータを用いて、加算平均後の三次元モーションコントラスト画像の形状を元の形状に戻す。これら処理により、加算平均部１０２８は、アーティファクト等の影響が低減された、三次元モーションコントラスト画像を出力することができる。

ステップＳ１１０７では、表示制御部２５０が、生成された三次元モーションコントラスト画像を表示部２７０に表示させる。このとき、表示制御部２５０は、表示部２７０に、ステップＳ１１０６で生成された三次元モーションコントラスト画像をそのまま表示させてもよいし、本画像から生成したＥｎ−Ｆａｃｅ画像を表示させてもよい。

上記のように、本実施例に係る制御部１０００は、位置合わせが行われた複数の画像を重ね合わせ処理する加算平均部１０２８（重ね合わせ部）を備える。制御部１０００では、取得部２１０は、同一被検眼の略同一箇所を撮影して得た複数の三次元モーションコントラスト画像を取得する。基準画像生成部１０２６は、学習済モデルを用いて、複数の三次元モーションコントラスト画像のうちの少なくとも１つから、基準画像を生成する。位置合わせ部１０２７は、基準画像に基づいて、複数の三次元モーションコントラスト画像を位置合わせする。加算平均部１０２８は、位置合わせされた複数の三次元モーションコントラスト画像を加算平均し１つの三次元モーションコントラスト画像を生成する。

当該構成により、制御部１０００は、適切な三次元モーションコントラスト画像とＥｎ−Ｆａｃｅ画像を基準画像として用いて、加算平均のための位置合わせを行うことができる。特に、撮影時間を長くすることなく、学習済モデルを用いて高画質な三次元モーションコントラスト画像とＥｎ−Ｆａｃｅ画像を基準画像として生成することができ、複数の三次元モーションコントラスト画像間の位置合わせの精度を向上させることができる。

本実施例では、制御部２００は、複数の三次元モーションコントラスト画像を加算平均する構成としたが、これに限定されない。制御部２００は、例えば、複数の三次元断層画像を加算平均する構成としてもよい。また、画像処理部２２０は、加算平均された三次元モーションコントラスト画像や三次元断層画像を用いて、経過観察用の断層画像やＥｎ−Ｆａｃｅ画像等を生成してもよい。

この場合、学習済モデルの教師データについて、三次元断層画像を入力データ、複数の三次元断層画像を加算平均した三次元断層画像及びこれに対応するＥｎ−Ｆａｃｅ画像を出力データとしたペア群で構成する。これにより、基準画像生成部１０２６は、学習済モデルを用いて、三次元断層画像について、高画質な三次元断層画像及びこれに対応するＥｎ−Ｆａｃｅ画像を基準画像として生成する。その後の位置合わせ処理及び加算平均処理は上記と同様であってよい。なお、Ｅｎ−Ｆａｃｅ画像に代えて、三次元断層画像のＺ方向の全範囲のデータについて積算した積算画像を位置合わせ用の基準画像として生成し、これに対応する対象画像の積算画像と位置合わせを行って、ＸＹ方向の位置合わせを行ってもよい。

また、本実施例では、学習済モデルにより三次元モーションコントラスト画像及びこれに対応するＥｎ−Ｆａｃｅ画像を基準画像として生成した。しかしながら、学習済モデルを用いた基準画像の生成はこれに限定されない。例えば、実施例１と同様に、Ｅｎ−Ｆａｃｅ画像のみを機械学習により生成する構成としてもよい。この場合、基準画像生成部１０２６は、三次元モーションコントラスト画像から生成されたＥｎ−Ｆａｃｅ画像を学習済モデルに入力し、出力された高画質なＥｎ−Ｆａｃｅ画像を基準画像とする。なお、教師データは、実施例１に係る教師データと同様であってよい。また、Ｅｎ−Ｆａｃｅ画像の生成条件は所定の条件を設定してよい。

この場合には、ステップＳ１１０５において、複数の三次元モーションコントラスト画像のＺ方向の位置合わせを行うために、例えば、操作者が選択した検査の三次元モーションコントラスト画像を基準画像として設定してよい。また、各三次元モーションコントラスト画像間の類似度を算出して基準画像を決定してもよい。これにより、機械学習において、Ｅｎ−Ｆａｃｅ画像のみを出力するように学習すればよいため、学習の効率化が期待できる。なお、この場合にも、基準画像の特定の層境界をＺ方向の基準位置としてもよい。また、予め所定の層境界についてのＺ方向の基準位置を設定し、当該基準位置に基づいて複数の三次元モーションコントラスト画像のＺ方向の位置合わせを行ってもよい。

なお、本実施例における学習済モデルの教師データに関する高画質化処理については、実施例１と同様に加算平均処理に限られない。当該高画質化処理は、例えば、加算平均処理等の重ね合わせ処理の他、ノイズ低減処理、アーティファクト除去処理、最大事後確率推定処理、平滑化フィルタ処理、超解像処理及び階調変換処理等を含んでよい。

また、本実施例では、学習済モデルが三次元モーションコントラスト画像や三次元断層画像から高画質化された画像及びこれに対応するＥｎ−Ｆａｃｅ画像を生成するとした。しかしながら、学習済モデルの態様はこれに限られない。例えば、三次元モーションコントラスト画像や三次元断層画像についての高画質化した画像を出力する学習済モデルと、該高画質化した画像のＥｎ−Ｆａｃｅ画像を生成する学習済モデルとを別々に用いてもよい。

この場合には、三次元モーションコントラスト画像や三次元断層画像を入力データとし、これらを高画質化した画像出力データとした教師データにより、高画質化用の機械学習モデルのトレーニングを行う。また、高画質な三次元モーションコントラスト画像や三次元断層画像を入力データとし、これに対応するＥｎ−Ｆａｃｅ画像を出力データとした教師データにより、Ｅｎ−Ｆａｃｅ画像生成用の機械学習モデルのトレーニングを行う。なお、Ｅｎ−Ｆａｃｅ画像の生成条件は、上述の条件と同様であってよい。

さらに、実施例１と同様に、撮像部位や撮像画角、解像度等の撮影条件毎に学習を行った複数の学習済モデルを用いてもよい。

なお、三次元モーションコントラスト画像や三次元断層画像の位置合わせ方法として、公知の他の任意の方法を採用してもよい。この場合には、当該方法に応じた基準画像を学習済モデルで生成できるように、教師データを設定することができる。

（実施例３）
実施例２では、学習済モデルを用いて、複数のモーションコントラスト画像を加算平均する際の位置合わせのための基準画像を生成した。これに対し、本開示の実施例３では、学習済モデルを用いて、被検眼Ｅの同一箇所を撮影して得た複数の断層画像から二次元のモーションコントラスト画像を生成する際の位置合わせのための基準画像を生成する。

上述のように、モーションコントラスト画像を生成する場合、被検眼の同一箇所を撮影して得た複数の断層画像の位置合わせをした後、数式１を用いて脱相関値が算出される。本位置合わせ処理で補正しきれないような移動が断層画像上に観察された場合にも、モーションコントラスト画像上に白線などのアーティファクトを生じる可能性がある。このため、モーションコントラスト画像間のみでなく、モーションコントラスト画像を生成するための断層画像の位置合わせも精度良く行えることが望ましい。

そのため、本実施例では、学習済モデルを用いて、モーションコントラスト画像を生成するための断層画像の位置合わせに用いる基準画像を生成する。

以下、図１３乃至１５を参照して、本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係るＯＣＴ装置の構成は、制御部を除いて実施例１に係るＯＣＴ装置と同様であるため、図１に示す構成と同様の構成については、同一の参照符号を用いて示し、説明を省略する。以下、実施例１に係るＯＣＴ装置１との違いを中心に、本実施例に係るＯＣＴ装置について説明する。

図１３は、本実施例に係る制御部１３００の概略的な構成の一例を示すブロック図である。なお、本実施例における制御部１３００は、画像処理部１３２０、基準画像生成部１３２６、位置合わせ部１３２７、及び脱相関値算出部１３２８以外の構成は実施例１に係る制御部２００と同様である。そのため、図２に示す構成と同様の構成については、同一の参照符号を用いて示し説明を省略する。

制御部１３００の画像処理部１３２０には、基準画像生成部１３２６、位置合わせ部１３２７、及び脱相関値算出部１３２８（モーションコントラスト算出部）が設けられている。なお、本実施例では、モーションコントラスト画像は脱相関値算出部１３２８によって生成されるため、三次元画像生成部２２４はモーションコントラスト画像を生成する機能を有していなくてよい。

基準画像生成部１３２６は、実施例１と同様に、ディープラーニング等の機械学習アルゴリズムに従った機械学習モデルに関する学習済モデルを用いて、二次元断層画像について高画質な基準画像を生成する。本実施例では、基準画像生成部１３２６は、学習済モデルを用いて、高画質な基準画像として、高画質化した二次元断層画像を生成する。

これに関連して、本実施例では、学習済モデルの教師データの入力データを、被検眼Ｅを撮影して得た二次元断層画像とする。また、教師データの出力データを、被検眼の同一箇所を複数回撮影して得た二次元断層画像を位置合わせして加算平均した二次元断層画像とする。ここで、入力データして用いられる二次元断層画像は、出力データを生成する際の複数の二次元断層画像のうちの１つを用いることができる。また、ペア群の設定方法については、実施例１と同様であってよい。

このような入力データ及び出力データのペア群を教師データとして用いることで、学習済モデルは、入力された二次元断層画像について高画質化した二次元断層画像を出力できる。なお、学習時には、実施例１と同様に、スキャン範囲、スキャン密度を正規化し、学習時の領域サイズを一定に揃えた画像を用いることができる。

なお、本実施例に係る機械学習アルゴリズムとして使用するＣＮＮの構成は、実施例１に係るＣＮＮの構成９０１と同様であるため詳細な説明は省略する。

位置合わせ部１３２７は、複数の断層画像について、基準画像生成部１３２６が生成した基準画像に対するＸＺ平面における位置合わせを行う。なお、位置合わせ部１３２７は、取得部２１０がＹＺ平面に係る断層画像を取得する場合には、ＹＺ平面における位置合わせを行うことができる。

脱相関値算出部１３２８は、実施例２に係る三次元画像生成部２２４と同様に、位置合わせされた複数の断層画像に基づいて、２つの断層画像間の脱相関値を算出する。脱相関値の算出方法は実施例２に係る脱相関値の算出方法と同様であるため、詳細な説明を省略する。脱相関値算出部１３２８は、実施例２に係る三次元画像生成部２２４と同様に、算出した脱相関値に基づいて二次元モーションコントラスト画像を生成することができる。

以下、図１４乃至１５（ｂ）を参照して、本実施例における一連の動作について説明する。図１４は、本実施例に係る一連の動作のフローチャートである。図１５（ａ）は、基準画像生成部１３２６によって生成される基準画像について説明するため図であり、図１５（ｂ）は、位置合わせ部１３２７による位置合わせ処理を説明するための図である。

ステップＳ１４０１は、実施例１に係るステップＳ７０１と同様であるため、説明を省略する。ステップＳ１４０２では、取得部２１０が、被検者識別番号に基づいて、当該被検者の被検眼Ｅの二次元断層画像を複数取得する。ここで、取得部２１０は、被検眼Ｅを撮影して得た干渉信号に基づいて断層画像生成部２２３が生成した複数の断層画像を取得することができる。また、取得部２１０は、既に生成されていた複数の断層画像を記憶部２４０や制御部２００に接続される他の外部記憶装置等から取得することができる。なお、被検者の撮影と連続して当該一連の処理を行う場合には、ステップＳ１４０１は省略してもよい。この場合には、ステップＳ１４０２において、取得部２１０は撮影で得た情報に基づいて複数の断層画像を取得する。

ステップＳ１４０３では、基準画像生成部１３２６が、学習済モデルを用いて、図１５（ａ）に示すように、複数のＸＺ平面の断層画像のうちの１つの断層画像１５１０から、基準画像１５２０を生成する。より具体的には、基準画像生成部１３２６は、ＸＺ平面の断層画像１５１０を学習済モデルに入力する。学習済モデルは、断層画像１５１０が入力されると、高画質化されたＸＺ平面の断層画像１５２１を出力する。基準画像生成部１３２６は、学習済モデルから出力された高画質な断層画像１５２１を基準画像１５２０として出力する。

次に、ステップＳ１４０４において、位置合わせ部１３２７が、基準画像生成部１３２６によって生成された基準画像１５２０を用いて、複数の断層画像１５００のＸＺ方向の位置合わせを行う。図１５（ｂ）は、ステップＳ１４０４における位置合わせ処理の概略的なイメージ図である。位置合わせ部１３２７は、図１５（ｂ）に示すように、当該位置合わせ処理により、位置ずれが補正された複数の断層画像１５３０を出力する。

より具体的には、位置合わせ部１３２７は、基準画像１５２０の位置と角度を変えながら、各対象画像（断層画像）との類似度を求め、基準画像との位置ずれ量を求める。その後、位置合わせ部１３２７は、求めた位置ずれ量に基づいて、各対象画像を補正し、対象画像と基準画像との位置合わせを行う。

このとき、例えば、各断層画像から取得した網膜内層の境界情報を利用することもできる。この場合、例えば、網膜内層に関心領域を設け、当該関心領域に基づいて対象画像と基準画像の位置合わせを行ってもよい。なお、各断層画像から網膜内層の境界情報を取得する処理は、断層画像の輝度情報などを使用する公知の方法を利用することができる。また、本実施例に係る学習済モデルとは別に、例えば、ＯＣＴ撮影部１０で取得したＸＺ平面の断層画像を入力データとし、当該断層画像における網膜内層の境界線を出力データとする教師データによる学習済モデルを用いて当該境界情報を取得してもよい。

次に、ステップＳ１４０５では、脱相関値算出部１３２８が、位置合わせされた複数のＸＺ平面の断層画像から、数式１を用いて各位置における脱相関値を算出し、該当するＸＺ平面のモーションコントラスト画像を生成する。

ステップＳ１４０６では、三次元画像生成部２２４が、Ｙ方向の走査位置ごとにステップＳ１４０５で生成されたＸＺ平面のモーションコントラスト画像を取得し、これをＹ方向に並べることで、１つの三次元モーションコントラスト画像を生成する。このとき、三次元画像生成部２２４は、各ＸＺ平面のモーションコントラスト画像をＺ方向に位置合わせしながら三次元モーションコントラスト画像を生成してもよい。この場合、三次元画像生成部２２４は、例えば、Ｙ方向に隣接する断層画像間では網膜内層の境界情報が近いことを利用して、Ｚ方向の位置合わせを行うことができる。なお、モーションコントラスト画像を並べる方向は、モーションコントラスト画像の平面の方向に応じて変更されてよい。例えば、ＹＸ平面のモーションコントラスト画像であれば、Ｘ方向に並べることで、三次元モーションコントラスト画像が生成されてよい。

ステップＳ１４０７では、表示制御部２５０が、ステップＳ１４０６で生成された三次元モーションコントラスト画像を表示部２７０に表示させる。なお、表示制御部２５０は、表示部２７０に、ステップＳ１４０６で生成された三次元モーションコントラスト画像について、特定の基準面に基づいて生成されたＥｎ−Ｆａｃｅ画像を表示させてもよい。さらに、基準面を操作者が変更できる構成にすることで、操作者は確認したい深度方向のＥｎ−Ｆａｃｅ画像を容易に確認することができる。

上記のように、本実施例に係る制御部１３００は、位置合わせが行われた複数の断層画像を用いて、モーションコントラストデータを生成する脱相関値算出部１３２８を備える。制御部１３００では、取得部２１０は、被検眼の略同一箇所を撮影して得た複数の断層画像を取得する。基準画像生成部１３２６は、複数の断層画像のうちの少なくとも１つに断層画像から、学習済モデルを用いて基準画像を生成する。位置合わせ部１３２７は、複数の断層画像を基準画像に対して位置合わせする。脱相関値算出部１３２８は、位置合わせされた複数の断層画像について、２つの断層画像毎に脱相関値を算出し、モーションコントラスト画像を生成する。

このような構成により、制御部１３００は、適切なＸＺ平面の断層画像を基準画像として用いて、モーションコントラスト画像を生成するための位置合わせを行うことができる。特に、撮影時間を長くすることなく、学習済モデルを用いて高画質な断層画像を基準画像として生成することができ、複数の断層画像間の位置合わせの精度を向上させることができる。

なお、本実施例では、最終的に三次元のモーションコントラスト画像を生成する構成としたが、これに限定されない。例えば、ステップＳ１４０４で位置合わせした断層画像を複数枚加算平均することで、高画質な断層画像生成し、表示部２７０に表示させてもよい。また、高画質なＸＺ平面の断層画像をＹ方向に並べて三次元断層画像を生成してもよい。なお、画像を並べる方向は断層画像の平面の方向に応じて変更されてよい。例えば、ＹＺ平面の断層画像であれば、Ｘ方向に並べることで、三次元断層画像が生成されてよい。

なお、位置合わせ部１３２７による二次元断層画像の位置合わせ処理は、上述の処理の他、公知の任意の方法により行われてもよい。

また、位置合わせ結果を評価するために、位置合わせ結果判定部をさらに設けてもよい。この場合の制御部１６００を図１６に示す。制御部１６００の画像処理部１６２０は、画像処理部１３２０に対して、位置合わせ結果判定部１６２９が設けられている点で相違する。位置合わせ結果判定部１６２９は、位置合わせ部１３２７によって位置合わせされた複数の断層画像に対して、基準画像との相関等を算出し、算出結果に基づいて位置合わせが適切に行われたか否かを判定する。位置合わせ結果判定部１６２９が、瞬き等の影響により、位置合わせ結果が不適切であると判定した場合、画像処理部１６２０は、位置合わせが不適切であるとされた画像をステップＳ１４０５以降の処理の対象外とすることができる。

なお、本実施例における学習済モデルの教師データに関する高画質化処理については、実施例１と同様に加算平均処理に限られない。当該高画質化処理は、例えば、加算平均処理等の重ね合わせ処理の他、ノイズ低減処理、最大事後確率推定処理、平滑化フィルタ処理、超解像処理及び階調変換処理等を含んでよい。

さらに、実施例１と同様に、撮像部位や撮像画角、解像度等の撮影条件毎に学習を行った複数の学習済モデルを用いてもよい。

（実施例４）
実施例１乃至３では、学習済モデルを用いて、ＯＣＴによる干渉信号に基づく画像を位置合わせする際の基準画像を生成した。これに対して、本開示の実施例４では、被検眼を異なる画角で撮影した複数の眼底画像（正面画像）を位置合わせして重畳するための基準画像を、学習済モデルを用いて生成する。

被検眼を撮像するための装置として、被検眼Ｅの収差を波面センサで測定し、波面補正デバイスで補正する補償光学系を備えたＳＬＯ（ＡＯ−ＳＬＯ）装置が知られている。ＡＯ−ＳＬＯ装置では、高分解能な画像を取得することができるため、網膜の毛細血管や視細胞などを非侵襲に観察することができる。このため、ＡＯ−ＳＬＯ装置を用いることで、例えば血管内の血球の移動速度や視細胞の密度分布などを計測することができる。

しかしながら、ＡＯ−ＳＬＯ装置で撮影した画像（ＡＯ−ＳＬＯ画像）は画角が狭いため、被検眼Ｅの眼底Ｅｒ内における撮影位置を把握するために、別途ＳＬＯ装置で撮影した画像（ＳＬＯ画像）に対して位置合わせする場合がある。これに関連して、位置合わせの基準となるＳＬＯ画像が、例えば、瞬きの影響を受けていない、コントラストが十分であるなど、狭画角のＡＯ−ＳＬＯ画像との位置合わせに適した画像であることが望ましい。

そこで、本実施例では、学習済モデル用いて、ＳＬＯ画像に関して位置合わせに適したＳＬＯ画像を生成し、基準画像とする。

以下、図１７を参照して、本実施例に係るＳＬＯ装置について説明する。なお、本実施例に係るＳＬＯ装置の構成は、実施例１に係るＯＣＴ装置と同様であるため、図１に示す構成と同一の参照符号を用いて示し、説明を省略する。また、制御部の構成も実施例１に係る制御部と同様であるため、図２に示す構成と同一の参照符号を用いて示し、説明を省略する。以下、実施例１に係るＯＣＴ装置１との違いを中心に、本実施例に係るＳＬＯ装置について説明する。なお、ＡＯ−ＳＬＯ画像を取得するための波面センサや波面補正デバイス等を備えたＡＯ−ＳＬＯ光学系は公知の任意のものを用いることができるため、図示せず説明を省略する。

本実施例の基準画像生成部２２６は、ディープラーニング等の機械学習アルゴリズムに従った機械学習モデルに関する学習済モデルを用いて、広画角なＳＬＯ画像（眼底観察画像）について位置合わせに適した基準画像を生成する。本実施例では、基準画像生成部２２６は、学習済モデルを用いて、基準画像として、位置合わせに適した広画角なＳＬＯ画像を生成する。ここで、広画角なＳＬＯ画像とは、ＡＯ−ＳＬＯ画像（狭画角な画像）に比べて広画角なＳＬＯ画像であればよく、例えば、ＡＯ処理を行わない通常のＳＬＯ画像や広画角な設定により取得されたＳＬＯ画像を広画角なＳＬＯ画像として用いることができる。

これに関連して、本実施例では、学習済モデルの教師データの入力データを、被検眼Ｅを撮影して得た広画角なＳＬＯ画像とする。また、教師データの出力データを、被検眼の同一箇所を複数回撮影して得た広画角なＳＬＯ画像のうちの位置合わせに適すると判断されたＳＬＯ画像とする。ここで、位置合わせに適したＳＬＯ画像とは、瞬きの影響を受けていないものやコントラストが十分であるもの等を含む。なお、当該判断は、医師等によって行われてもよいし、所定の基準に基づいて自動的に行われてもよい。また、ペア群の設定方法については、実施例１と同様であってよい。

このような入力データ及び出力データのペア群を教師データとして用いることで、学習済モデルは、入力された広画角なＳＬＯ画像について、位置合わせに適したＳＬＯ画像に変換された広画角なＳＬＯ画像を出力できる。なお、学習時には、実施例１と同様に、スキャン範囲、スキャン密度を正規化し、学習時の領域サイズを一定に揃えた画像を用いることができる。

なお、本実施例に係る機械学習アルゴリズムとして使用するＣＮＮの構成は、実施例１に係るＣＮＮの構成９０１と同様であるため詳細な説明は省略する。

位置合わせ部２２７は、眼底画像生成部２２２が生成したＡＯ−ＳＬＯ画像について、基準画像生成部２２６が生成した基準画像に対する位置合わせを行う。

以下、図１７を参照して本実施例に係る一連の動作について説明する。図１７は、本実施例に係る一連の動作のフローチャートである。

ステップＳ１７０１は、実施例１に係るステップＳ７０１と同様であるため、説明を省略する。ステップＳ１７０２では、取得部２１０が、被検者識別番号に基づいて、当該被検者の被検眼Ｅの広画角なＳＬＯ画像及びＡＯ−ＳＬＯ画像を取得する。ここで、取得部２１０は、被検眼Ｅを撮影して得た信号に基づいて眼底画像生成部２２２が生成した広画角なＳＬＯ画像及びＡＯ−ＳＬＯ画像を取得することができる。また、取得部２１０は、既に生成されていた広画角なＳＬＯ画像及びＡＯ−ＳＬＯ画像を記憶部２４０や制御部２００に接続される他の外部記憶装置等から取得することができる。なお、被検者の撮影と連続して当該一連の処理を行う場合には、ステップＳ１７０１は省略してもよい。この場合には、ステップＳ１７０２において、取得部２１０は撮影で得た情報に基づいて広画角なＳＬＯ画像及びＡＯ−ＳＬＯ画像を取得する。

ステップＳ１７０３では、基準画像生成部２２６が、学習済モデルを用いて、広画角なＳＬＯ画像から位置合わせに適したＳＬＯ画像を生成し、基準画像として出力する。

次に、ステップＳ１７０４において、位置合わせ部２２７が、基準画像生成部２２６によって生成された基準画像に対してＡＯ−ＳＬＯ画像を位置合わせする。位置合わせ部２２７は、ＳＬＯ画像及びＡＯ−ＳＬＯ画像を取得したときの内部固視灯位置などの撮影情報を使用して位置合わせを行うことができる。なお、ＡＯ−ＳＬＯ画像をＳＬＯ画像に位置合わせする方法は、公知の任意の方法を用いてよい。

ステップＳ１７０４では、表示制御部２５０が、基準画像の生成に用いたＳＬＯ画像上にＡＯ−ＳＬＯ画像を重畳して、表示部２７０に表示させる。

上記のように、本実施例に係る制御部２００では、取得部２１０は、ＳＬＯ画像とＡＯ−ＳＬＯ画像を取得する。基準画像生成部２２６は、ＳＬＯ画像に基づいて基準画像を生成する。位置合わせ部２２７は、基準画像の画角よりも狭い画角で撮影されたＡＯ−ＳＬＯ画像を基準画像に対して位置合わせする。

このような構成により、本実施例に係る制御部２００は、適切なＳＬＯ画像を基準画像として用いてＳＬＯ画像に位置合わせされたＡＯ−ＳＬＯ画像を表示部２７０に表示させ、操作者に提示することができる。特に、撮影時間を長くすることなく、学習済モデルを用いて位置合わせに適した広画角なＳＬＯ画像を基準画像として生成することができ、ＳＬＯ画像に対するＡＯ−ＳＬＯ画像の位置合わせの精度を向上させることができる。

なお、本実施例では、ＡＯ−ＳＬＯ画像を表示するための基準画像をＳＬＯ装置で取得したＳＬＯ画像としたが、これに限定されない。例えば、一般的な眼底カメラなどの眼科撮影装置で取得した画像を用いてもよい。

なお、本実施例における学習済モデルの教師データに関して、ＳＬＯ画像を高画質化することで位置合わせに適したＳＬＯ画像となったＳＬＯ画像を出力データとしてもよい。この場合の高画質化処理は、例えば、加算平均処理等の重ね合わせ処理の他、ノイズ低減処理、最大事後確率推定処理、平滑化フィルタ処理、超解像処理及び階調変換処理等を含んでよい。

さらに、実施例１と同様に、撮像部位や撮像画角、解像度等の撮影条件毎に学習を行った複数の学習済モデルを用いてもよい。

なお、上記実施例１乃至４や変形例では、教師データとして、異なる撮影装置や設定で撮影された画像を用いてよい。これに対し、学習の傾向を似せるため、同一の撮影装置や設定で撮影された画像のみを教師データとして用いてもよい。

また、上記実施例１乃至３では、モーションコントラスト画像に基づくＥｎ−Ｆａｃｅ画像、三次元モーションコントラスト画像、及び断層画像から基準画像を生成したが、これらの実施例で基準画像を生成する画像はこれに限られない。これらの実施例で基準画像を生成したり、後続の画像処理を行ったりする画像は、ＯＣＴ画像であればよく、例えば、輝度の断層画像に基づくＥｎ−Ｆａｃｅ画像や、三次元断層画像、二次元のモーションコントラスト画像等であってよい。

さらに、上記実施例１乃至４及び変形例に係る断層画像に関する画像処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、ＯＣＴ撮影部１０で取得された干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。

また、上記実施例１乃至２及び変形例では、三次元画像生成部２２４，１０２４がモーションコントラスト画像を生成する構成とした。しかしながら、複数の断層画像に基づいてモーションコントラストデータを生成する、例えば実施例３に係る脱相関値算出部１３２８のような構成要素を別個設けてもよい。

実施例１乃至４及び変形例では、取得部２１０は、ＯＣＴ撮影部１０で取得された干渉信号や断層画像生成部２２３で生成された断層画像、眼底画像生成部２２２で生成された眼底観察画像等を取得した。しかしながら、取得部２１０がこれらの信号やデータを取得する構成はこれに限られない。例えば、取得部２１０は、制御部２００，１０００，１３００，１６００とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。この場合、撮影に関する処理を省略し、撮影済みの断層画像や眼底観察画像、及び生成済みモーションコントラスト画像等を取得することができる。そのため、各種画像の取得から観察すべき画像の表示までの一連の処理時間を短くすることができる。

なお、ＯＣＴ撮影部１０の構成は、上記の構成に限られず、ＯＣＴ撮影部１０に含まれる構成の一部をＯＣＴ撮影部１０と別体の構成としてもよい。また、ボタンなどのユーザーインターフェイスや表示のレイアウトは上記で示したものに限定されるものではない。

さらに、上記実施例１乃至４では、ＯＣＴ装置１として、ＳＬＤを光源として用いたスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置について述べたが、本発明によるＯＣＴ装置の構成はこれに限られない。例えば、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置等の他の任意の種類のＯＣＴ装置にも本発明を適用することができる。

なお、学習済モデルは、画像処理装置である制御部に設けられることができる。学習済モデルは、例えば、ＣＰＵ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、制御部と接続される別のサーバ等に設けられてもよい。この場合には、制御部は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて画質向上処理を行うことができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、実施例を参照して本発明について説明したが、本発明は上記実施例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

２００：制御部（画像処理装置）、２１０：取得部、２４０：基準画像生成部

Claims (21)

1. 被検眼を異なる時間に撮影して得た複数の画像を取得する取得部と、
   学習済モデルを用いて、前記複数の画像の少なくとも１つから、前記複数の画像のうち前記少なくとも１つ以外の画像に関する画像処理に用いる基準画像を生成する基準画像生成部と、
   を備える、画像処理装置。
2. 前記画像処理として画像の位置合わせを行う位置合わせ部を更に備え、
   前記位置合わせ部は、前記基準画像を用いて前記少なくとも１つ以外の画像に関する位置合わせを行う、請求項１に記載の画像処理装置。
3. 前記複数の画像は、前記被検眼の略同一箇所を撮影して得た複数の画像であり、
   前記位置合わせが行われた複数の画像を重ね合わせ処理する重ね合わせ部を更に備える、請求項２に記載の画像処理装置。
4. 前記複数の画像は複数の三次元画像であり、
   前記被検眼の略同一箇所は、前記複数の三次元画像の撮影位置である、請求項３に記載の画像処理装置。
5. 前記複数の画像は、前記被検眼の略同一箇所を撮影して得た複数の画像であり、
   前記位置合わせが行われた複数の画像を用いて、モーションコントラストデータを生成するモーションコントラスト算出部を更に備える、請求項２に記載の画像処理装置。
6. 前記位置合わせ部は、前記基準画像の画角よりも狭い画角で撮影された画像を前記基準画像に対して位置合わせする、請求項２に記載の画像処理装置。
7. 眼底トラッキングのための前記被検眼の位置ずれ量を取得する位置ずれ量取得部を更に備え、
   前記位置ずれ量取得部は、前記基準画像を用いて前記少なくとも１つ以外の画像に関する画像処理を行うことにより、前記被検眼の位置ずれ量を取得する、請求項１に記載の画像処理装置。
8. 前記眼底トラッキングの結果に基づいて、前記被検眼の断層データの取得位置が補正される、請求項７に記載の画像処理装置。
9. 前記複数の画像は、前記被検眼を異なる日時に撮影して得た複数の画像であり、
   前記位置合わせが行われた複数の画像は前記被検眼の経過観察に用いられる、請求項２に記載の画像処理装置。
10. 前記被検眼の画像を表示部に表示させる表示制御部を更に備え、
    前記表示制御部は、前記位置合わせが行われた前記複数の画像の差分を示す画像を前記表示部に表示させる、請求項９に記載の画像処理装置。
11. 前記被検眼の画像を表示部に表示させる表示制御部を更に備え、
    前記位置合わせ部は前記複数の画像に対して前記学習済モデルを用いて生成した複数の画像の位置合わせを行い、
    前記表示制御部は、前記位置合わせが行われた前記複数の画像を並べて前記表示部に表示させる、請求項９に記載の画像処理装置。
12. 前記被検眼の画像を表示部に表示させる表示制御部を更に備え、
    前記表示制御部は、前記表示部に前記複数の画像の少なくとも１つに対して前記学習済モデルを用いて生成した画像を表示させるとともに、該表示される画像は前記学習済モデルを用いて生成された画像である旨を表示させる、請求項１乃至９のいずれか一項に記載の画像処理装置。
13. 前記被検眼の画像を表示部に表示させる表示制御部を更に備え、
    前記表示制御部は、前記学習済モデルを用いて生成された画像を前記表示部に表示させない、請求項１乃至９のいずれか一項に記載の画像処理装置。
14. 前記画像処理が行われる対象画像は、前記複数の画像に対して前記学習済モデルを用いて生成した画像である、請求項１乃至１３のいずれか一項に記載の画像処理装置。
15. 前記画像処理が行われる対象画像は、前記学習済モデルを用いずに生成された画像である、請求項１乃至１０、１２及び１３のいずれか一項に記載の画像処理装置。
16. 前記学習済モデルは、入力された画像を高画質化した画像を出力し、
    前記基準画像生成部は、前記出力された画像を用いて前記基準画像を生成する、請求項１乃至１５のいずれか一項に記載の画像処理装置。
17. 前記学習済モデルは、重ね合わせ処理、最大事後確率推定処理、平滑化フィルタ処理、階調変換処理、アーティファクト除去処理、及び歪み補正処理のうち少なくとも１つの処理により得られた画像を学習データとした学習済モデルである、請求項１乃至１６のいずれか一項に記載の画像処理装置。
18. 前記画像は、前記被検眼を撮影して得たＯＣＴ画像であり、
    前記ＯＣＴ画像は、二次元の断層画像、三次元の断層画像、二次元のモーションコントラスト画像、三次元のモーションコントラスト画像、及びＥｎ−Ｆａｃｅ画像の少なくとも１つを含む、請求項１乃至５のいずれか一項に記載の画像処理装置。
19. 前記画像は、前記被検眼を撮影して得た正面画像である、請求項１乃至３、及び６乃至８のいずれか一項に記載の画像処理装置。
20. 被検眼を異なる時間に撮影して得た複数の画像を取得する工程と、
    学習済モデルを用いて、前記複数の画像の少なくとも１つから、前記複数の画像のうち前記少なくとも１つ以外の画像に関する画像処理に用いる基準画像を生成する工程と、
    を含む、画像処理方法。
21. プロセッサーによって実行されると、該プロセッサーに請求項２０に記載の画像処理方法を実行させる、プログラム。

Images