JP2020039851A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 従来よりも画像診断に適した画像を生成することができる画像処理装置を提供する。【解決手段】 学習済モデルを用いて、被検眼の第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成する、画質向上部と、表示部に第１の画像と第２の画像とを切り替えて、並べて、又は重ねて表示させる表示制御部とを備える、画像処理装置。【選択図】 図６

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

生体などの被検体の断層画像を非破壊、非侵襲で取得する方法として、光干渉断層撮像法（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を利用した装置（ＯＣＴ装置）が実用化されている。ＯＣＴ装置は、特に眼科診断のための画像を取得する眼科装置として広く利用されている。

ＯＣＴでは、測定対象から反射した光と参照鏡から反射した光を干渉させ、その干渉光の強度を解析することにより被検体の断層画像を得ることができる。このようなＯＣＴとして、タイムドメインＯＣＴ（ＴＤ−ＯＣＴ：Ｔｉｍｅ Ｄｏｍａｉｎ ＯＣＴ）が知られている。ＴＤ−ＯＣＴでは、参照鏡の位置を順次変えることで被検体の深さ情報を得る。

また、スペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ：Ｓｐｅｃｔｒａｌ Ｄｏｍａｉｎ ＯＣＴ）、及び波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ：Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）が知られている。ＳＤ−ＯＣＴでは、低コヒーレンス光を用いて干渉させた干渉光を分光し、深さ情報を周波数情報に置き換えて取得する。また、ＳＳ−ＯＣＴでは、波長掃引光源を用いて先に波長を分光した光を用いて干渉光を取得する。なお、ＳＤ−ＯＣＴとＳＳ−ＯＣＴは総称してフーリエドメインＯＣＴ（ＦＤ−ＯＣＴ：Ｆｏｕｒｉｅｒ Ｄｏｍａｉｎ ＯＣＴ）とも呼ばれる。

ＯＣＴを用いることで、被検体の深さ情報に基づく断層画像を取得することができる。また、取得した三次元の断層画像を深度方向に統合し、二次元平面上に投影することで、測定対象の正面画像を生成することができる。従来、これら画像の画質を向上させるため、複数回画像を取得し重ね合わせ処理を施すことが行われている。しかしながら、このような場合、複数回の撮影に時間がかかる。

特許文献１には、医用技術の急激な進歩や緊急時の簡易な撮影に対応するため、以前に取得した画像を、人工知能エンジンによって、より解像度の高い画像に変換する技術が開示されている。このような技術によれば、例えば、より少ない撮影によって取得された画像をより解像度の高い画像に変換することができる。

特開２０１８−５８４１号公報

しかしながら、解像度が高い画像であっても、画像診断に適した画像とは言えない場合もある。例えば、解像度が高い画像であっても、ノイズが多い場合やコントラストが低い場合等には観察すべき対象が適切に把握できないことがある。

そこで、本発明の目的の一つは、従来よりも画像診断に適した画像を生成することができる画像処理装置、画像処理方法、及びプログラムを提供することである。

本発明の一実施態様に係る画像処理装置は、学習済モデルを用いて、被検眼の第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成する、画質向上部と、表示部に前記第１の画像と前記第２の画像とを切り替えて、並べて、又は重ねて表示させる表示制御部とを備える。

本発明の他の実施態様に係る画像処理装置は、学習済モデルを用いて、被検眼の深さ方向の範囲における情報に基づいて生成された正面画像である第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成する、画質向上部と、前記第１の画像を生成するための深さ方向の範囲に基づいて、複数の学習済モデルから、前記画質向上部によって用いられる学習済モデルを選択する選択部とを備える。

本発明の一つによれば、従来よりも画像診断に適した画像を生成することができる。

実施例１に係るＯＣＴ装置の概略構成を示す。 実施例１に係る制御部の概略構成を示す。 実施例１に係る教師データの一例を示す。 実施例１に係る学習済モデルの構成の一例を示す。 実施例１に係る一連の画像処理のフローチャートである。 画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。 画質向上処理前後の画像を並べて表示するレポート画面の一例を示す。 画質向上処理が適用された複数の画像を同時に表示するレポート画面の一例を示す。 実施例２に係る制御部の概略構成を示す。 実施例２に係る一連の画像処理のフローチャートである。 画質向上処理を変更する一例を示す。 画質向上処理が適用された複数の画像を同時に表示するレポート画面の一例を示す。 実施例３に係る一連の画像処理のフローチャートである。 実施例４に係る制御部の概略構成を示す。 実施例４に係る一連の画像処理のフローチャートである。 変形例９に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。 変形例９に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。 実施例５に係るユーザーインターフェースの一例を示す。 複数のＯＣＴＡのＥｎ−Ｆａｃｅ画像の一例を示す。 実施例５に係るユーザーインターフェースの一例を示す。

以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。

ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

以下の実施例では、被検体として被検眼を例に挙げるが、人の他の臓器等を被検体としてもよい。また、機械学習モデル（機械学習エンジン）に関する学習済モデルを用いて画質向上処理を施す画像として、被検眼のＯＣＴＡ（ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ）画像を例に挙げて説明する。なお、ＯＣＴＡとは、ＯＣＴを用いた、造影剤を用いない血管造影法である。ＯＣＴＡでは、被検体の深さ情報に基づいて取得される三次元のモーションコントラストデータを深度方向に統合し、二次元平面上に投影することでＯＣＴＡ画像（正面血管画像）を生成する。

ここで、モーションコントラストデータとは、被検体の略同一箇所を繰り返し撮影し、その撮影間における被写体の時間的な変化を検出したデータである。なお、略同一箇所とは、モーションコントラストデータを生成するのに許容できる程度に同一である位置をいい、厳密に同一である箇所から僅かにずれた箇所も含むものをいう。モーションコントラストデータは、例えば、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる。

ここで、機械学習モデルに関する学習済モデルを用いた画質向上処理に関する注意点を記載する。画像について機械学習モデルに関する学習済モデルを用いて画質向上処理を行うことで、少ない画像から高画質な画像が得られる一方で、現実には存在しない組織を画像上に描出してしまったり、本来存在している組織を消してしまったりすることがある。そのため、学習済モデルを用いた画質向上処理によって高画質化された画像では、画像上に描出された組織の真偽が判断しにくいという問題があった。

そのため、以下の実施例では、機械学習モデルを用いて、従来よりも画像診断に適した画像を生成するとともに、このような画像について、画像上に描出された組織の真偽を容易に判断できる画像処理装置を提供する。

なお、以下の実施例ではＯＣＴＡ画像について説明するが、画質向上処理を施す画像はこれに限られず、断層画像や輝度のＥｎ−Ｆａｃｅ画像等であってもよい。ここで、Ｅｎ−Ｆａｃｅ画像とは、被検体の三次元のデータにおいて、２つの基準面に基づいて定められる所定の深さ範囲内のデータを二次元平面に投影又は積算して生成した正面画像である。Ｅｎ−Ｆａｃｅ画像には、例えば、輝度の断層画像に基づく輝度のＥｎ−Ｆａｃｅ画像やモーションコントラストデータに基づくＯＣＴＡ画像が含まれる。

（実施例１）
以下、図１乃至７を参照して、本発明の実施例１に係る光干渉断層撮像装置（ＯＣＴ装置）及び画像処理方法について説明する。図１は、本実施例に係るＯＣＴ装置の概略構成を示す。

本実施例に係るＯＣＴ装置１には、ＯＣＴ撮影部１００、制御部（画像処理装置）２００、入力部２６０、表示部２７０が設けられている。

ＯＣＴ撮影部１００は、ＳＤ−ＯＣＴ装置の撮影光学系を含み、走査部を介して測定光が照射された被検眼Ｅからの戻り光と、測定光に対応する参照光とを干渉させた干渉光に基づいて、被検眼Ｅの断層の情報（断層情報）を含む信号を取得する。ＯＣＴ撮影部１００には、光干渉部１１０、及び走査光学系１５０が設けられている。

制御部２００は、ＯＣＴ撮影部１００を制御したり、ＯＣＴ撮影部１００や不図示の他の装置から得られた信号から画像を生成したり、生成／取得した画像を処理したりすることができる。表示部２７０は、ＬＣＤディスプレイ等の任意のディスプレイであり、ＯＣＴ撮影部１００及び制御部２００を操作するためのＧＵＩや生成した画像、任意の処理を施した画像、及び患者情報等の各種の情報を表示することができる。

入力部２６０は、ＧＵＩを操作したり、情報を入力したりすることで、制御部２００を操作するために用いられる。入力部２６０は、例えば、マウスやタッチパッド、トラックボール、タッチパネルディスプレイ、スタイラスペン等のポインティングデバイス及びキーボード等を含む。なお、タッチパネルディスプレイを用いる場合には、表示部２７０と入力部２６０を一体的に構成できる。なお、本実施例では、ＯＣＴ撮影部１００、制御部２００、入力部２６０、及び表示部２７０は別々の要素とされているが、これらのうちの一部又は全部を一体的に構成してもよい。

ＯＣＴ撮影部１００における光干渉部１１０には、光源１１１、カプラ１１３、コリメート光学系１２１、分散補償光学系１２２、反射ミラー１２３、レンズ１３１、回折格子１３２、結像レンズ１３３、及びラインセンサ１３４が設けられている。光源１１１は、近赤外光を発光する低コヒーレンス光源である。光源１１１から発光した光は、光ファイバ１１２ａを伝搬し、光分岐部であるカプラ１１３に入射する。カプラ１１３に入射した光は、走査光学系１５０側に向かう測定光と、コリメート光学系１２１、分散補償光学系１２２、及び反射ミラー１２３を含む参照光学系側に向かう参照光に分割される。測定光は、光ファイバ１１２ｂに入射され、走査光学系１５０に導かれる。一方、参照光は、光ファイバ１１２ｃに入射され、参照光学系へ導かれる。

光ファイバ１１２ｃに入射した参照光は、ファイバ端から射出され、コリメート光学系１２１を介して、分散補償光学系１２２に入射し、反射ミラー１２３へと導かれる。反射ミラー１２３で反射した参照光は、光路を逆にたどり再び光ファイバ１１２ｃに入射する。分散補償光学系１２２は、走査光学系１５０及び被検体である被検眼Ｅにおける光学系の分散を補償し、測定光と参照光の分散を合わせるためのものである。反射ミラー１２３は、制御部２００によって制御される不図示の駆動手段により、参照光の光軸方向に駆動可能なように構成されており、参照光の光路長を、測定光の光路長に対して相対的に変化させ、参照光と測定光の光路長を一致させることができる。

一方、光ファイバ１１２ｂに入射した測定光はファイバ端より射出され、走査光学系１５０に入射する。走査光学系１５０は被検眼Ｅに対して相対的に移動可能なように構成された光学系である。走査光学系１５０は、制御部２００によって制御される不図示の駆動手段により、被検眼Ｅの眼軸に対して前後上下左右方向に駆動可能なように構成され、被検眼Ｅに対してアライメントを行うことができる。なお、走査光学系１５０は、光源１１１、カプラ１１３及び参照光学系等を含むように構成されてもよい。

走査光学系１５０には、コリメート光学系１５１、走査部１５２、及びレンズ１５３が設けられている。光ファイバ１１２ｂのファイバ端より射出した光は、コリメート光学系１５１により略平行化され、走査部１５２へ入射する。

走査部１５２は、ミラー面を回転可能なガルバノミラーを２つ有し、一方は水平方向に光を偏向し、他方は垂直方向に光を偏向する。走査部１５２は、入射した光を制御部２００による制御に従って偏向する。これにより、走査部１５２は、紙面垂直方向（Ｘ方向）の主走査方向と紙面内方向（Ｙ方向）の副走査方向の２方向に、被検眼Ｅの眼底Ｅｒ上で測定光を走査することができる。なお、主走査方向と副走査方向は、Ｘ方向及びＹ方向に限られず、被検眼Ｅの深さ方向（Ｚ方向）に対して垂直な方向であり、主走査方向と副走査方向が互いに交差する方向であればよい。そのため、例えば、主走査方向がＹ方向であってもよいし、副走査方向がＸ方向であってもよい。

走査部１５２により走査された測定光は、レンズ１５３を経由して被検眼Ｅの眼底Ｅｒ上に、照明スポットを形成する。走査部１５２により面内偏向を受けると、各照明スポットは被検眼Ｅの眼底Ｅｒ上を移動（走査）する。この照明スポットの位置における眼底Ｅｒから反射・散乱された測定光の戻り光が光路を逆にたどり光ファイバ１１２ｂに入射して、カプラ１１３に戻る。

以上のように、反射ミラー１２３で反射された参照光、及び被検眼Ｅの眼底Ｅｒからの測定光の戻り光は、カプラ１１３に戻され、互いに干渉して干渉光となる。干渉光は光ファイバ１１２ｄを通過し、レンズ１３１に射出される。干渉光は、レンズ１３１により略平行化され、回折格子１３２に入射する。回折格子１３２は周期構造を有し、入力した干渉光を分光する。分光された干渉光は、合焦状態を変更可能な結像レンズ１３３によりラインセンサ１３４に結像される。ラインセンサ１３４は、各センサ部に照射される光の強度に応じた信号を制御部２００に出力する。制御部２００は、ラインセンサ１３４から出力される干渉信号に基づいて、被検眼Ｅの断層画像を生成することができる。

上記一連の動作により、被検眼Ｅの一点における深さ方向の断層情報を取得することができる。このような動作をＡスキャンという。

また、走査部１５２のガルバノミラーを駆動させることで、被検眼Ｅの隣接する一点の干渉光を発生させ、被検眼Ｅの隣接する一点における深さ方向の断層情報を取得する。この一連の制御を繰り返すことにより、Ａスキャンを任意の横断方向（主走査方向）において複数回行うことで被検眼Ｅの当該横断方向と深さ方向の二次元の断層情報を取得することができる。このような動作をＢスキャンという。制御部２００は、Ａスキャンによって取得された干渉信号に基づくＡスキャン画像を複数集めることで、一つのＢスキャン画像を構成することができる。以下、このＢスキャン画像のことを、二次元断層画像と呼ぶ。

さらに、走査部１５２のガルバノミラーを主走査方向に直交する副走査方向に微小に駆動させ、被検眼Ｅの別の箇所（隣接する走査ライン）における断層情報を取得することができる。制御部２００は、この動作を繰り返すことにより、Ｂスキャン画像を複数集めることで、被検眼Ｅの所定範囲における三次元断層画像を取得することができる。

次に、図２を参照して制御部２００について説明する。図２は制御部２００の概略構成を示す。制御部２００には、取得部２１０、画像処理部２２０、駆動制御部２３０、記憶部２４０、及び表示制御部２５０が設けられている。

取得部２１０は、ＯＣＴ撮影部１００から、被検眼Ｅの干渉信号に対応するラインセンサ１３４の出力信号のデータを取得することができる。なお、取得部２１０が取得する出力信号のデータは、アナログ信号でもデジタル信号でもよい。取得部２１０がアナログ信号を取得する場合には、制御部２００でアナログ信号をデジタル信号に変換することができる。

また、取得部２１０は、画像処理部２２０で生成された断層データや、二次元断層画像、三次元断層画像、モーションコントラスト画像、及びＥｎ−Ｆａｃｅ画像等の各種画像を取得することができる。ここで、断層データとは、被検体の断層に関する情報を含むデータであり、ＯＣＴによる干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含むものをいう。

さらに、取得部２１０は、画像処理すべき画像の撮影条件群（例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像の画像サイズ、画像フィルタ、及び画像のデータ形式に関する情報など）を取得する。なお、撮影条件群については、例示したものに限られない。また、撮影条件群は、例示したもの全てを含む必要はなく、これらのうちの一部を含んでもよい。

具体的には、取得部２１０は、画像を撮影した際のＯＣＴ撮影部１００の撮影条件を取得する。また、取得部２１０は、画像のデータ形式に応じて、画像を構成するデータ構造に保存された撮影条件群を取得することもできる。なお、画像のデータ構造に撮影条件が保存されていない場合には、取得部２１０は、別途撮影条件を保存している記憶装置等から撮影条件群を含む撮影情報群を取得することもできる。

また、取得部２１０は、被検者識別番号等の被検眼を同定するための情報を入力部２６０等から取得することもできる。なお、取得部２１０は、記憶部２４０や、制御部２００に接続される不図示のその他の装置から各種データや各種画像、各種情報を取得してもよい。取得部２１０は、取得した各種データや画像を記憶部２４０に記憶させることができる。

画像処理部２２０は、取得部２１０で取得されたデータや記憶部２４０に記憶されたデータから断層画像やＥｎ−Ｆａｃｅ画像等を生成したり、生成又は取得した画像に画像処理を施したりすることができる。画像処理部２２０には、断層画像生成部２２１、モーションコントラスト生成部２２２、Ｅｎ−Ｆａｃｅ画像生成部２２３、及び画質向上部２２４が設けられている。

断層画像生成部２２１は、取得部２１０が取得した干渉信号のデータに対して波数変換やフーリエ変換、絶対値変換（振幅の取得）等を施して断層データを生成し、断層データに基づいて被検眼Ｅの断層画像を生成することができる。ここで、取得部２１０で取得される干渉信号のデータは、ラインセンサ１３４から出力された信号のデータであってもよいし、記憶部２４０や制御部２００に接続された不図示の装置から取得された干渉信号のデータであってもよい。なお、断層画像の生成方法としては公知の任意の方法を採用してよく、詳細な説明は省略する。

また、断層画像生成部２２１は、生成した複数部位の断層画像に基づいて三次元断層画像を生成することができる。断層画像生成部２２１は、例えば、複数部位の断層画像を１の座標系に並べて配置することで三次元断層画像を生成することができる。ここで、断層画像生成部２２１は、記憶部２４０や制御部２００に接続された不図示の装置から取得された複数部位の断層画像に基づいて三次元断層画像を生成してもよい。

モーションコントラスト生成部２２２は、略同一箇所を撮影して得た複数の断層画像を用いて二次元モーションコントラスト画像を生成することができる。また、モーションコントラスト生成部２２２は、生成した各部位の二次元モーションコントラスト画像を１の座標系に並べて配置することで三次元モーションコントラスト画像を生成することができる。

本実施例では、モーションコントラスト生成部２２２は被検眼Ｅの略同一箇所を撮影して得た複数の断層画像間の脱相関値に基づいてモーションコントラスト画像を生成する。

具体的には、モーションコントラスト生成部２２２は、撮影時刻が互いに連続する略同一箇所を撮影して得た複数の断層画像について、位置合わせが行われた複数の断層画像を取得する。なお、位置合わせは、種々の公知の方法を使用することができる。例えば、複数の断層画像のうちの１つを基準画像として選択し、基準画像の位置及び角度を変更しながら、その他の断層画像との類似度が算出され、各断層画像の基準画像との位置ずれ量が算出される。算出結果に基づいて各断層画像を補正することで、複数の断層画像の位置合わせが行われる。なお、当該位置合わせの処理は、モーションコントラスト生成部２２２とは別個の構成要素によって行われてもよい。また、位置合わせの方法はこれに限られず、公知の任意の手法により行われてよい。

モーションコントラスト生成部２２２は、位置合わせが行われた複数の断層画像のうち撮影時刻が互いに連続する２枚の断層画像ずつについて、以下の数式１により脱相関値を算出する。

ここで、Ａ（ｘ，ｚ）は断層画像Ａの位置（ｘ，ｚ）における振幅、Ｂ（ｘ，ｚ）は断層画像Ｂの同一位置（ｘ，ｚ）における振幅を示している。結果として得られる脱相関値Ｍ（ｘ，ｚ）は０から１までの値を取り、二つの振幅値の差異が大きいほど１に近い値となる。なお、本実施例では、ＸＺ平面の二次元の断層画像を用いる場合について述べたが、例えばＹＺ平面等の二次元断層画像を用いてもよい。この場合には、位置（ｘ、ｚ）を位置（ｙ、ｚ）等に置き換えてよい。なお、脱相関値は、断層画像の輝度値に基づいて求められてもよいし、断層画像に対応する干渉信号の値に基づいて求められてもよい。

モーションコントラスト生成部２２２は、各位置（画素位置）での脱相関値Ｍ（ｘ、ｚ）に基づいて、モーションコントラスト画像の画素値を決定し、モーションコントラスト画像を生成する。なお、本実施例では、モーションコントラスト生成部２２２は、撮影時刻が互いに連続する断層画像について脱相関値を算出したが、モーションコントラストデータの算出方法はこれに限定されない。脱相関値Ｍを求める２つの断層画像は、互いに対応する各断層画像に関する撮影時間が所定の時間間隔以内であればよく、撮影時間が連続していなくてもよい。そのため、例えば、時間的変化が少ない対象物の抽出を目的として、取得した複数の断層画像から撮影間隔が通常の規定時間より長くなるような２つの断層画像を抽出して脱相関値を算出してもよい。また、脱相関値に代えて、分散値や、最大値を最小値で割った値（最大値／最小値）等を求めてもよい。

なお、モーションコントラスト画像の生成方法は、上述の方法に限られず、公知の他の任意の方法を用いてもよい。

Ｅｎ−Ｆａｃｅ画像生成部２２３は、モーションコントラスト生成部２２２が生成した三次元モーションコントラスト画像から正面画像であるＥｎ−Ｆａｃｅ画像（ＯＣＴＡ画像）を生成することができる。具体的には、Ｅｎ−Ｆａｃｅ画像生成部２２３は、三次元モーションコントラスト画像を、例えば、被検眼Ｅの深さ方向（Ｚ方向）における２つの任意の基準面に基づいて、二次元平面に投影した正面画像であるＯＣＴＡ画像を生成することができる。また、Ｅｎ−Ｆａｃｅ画像生成部２２３は、断層画像生成部２２１が生成した三次元断層画像から同様に輝度のＥｎ−Ｆａｃｅ画像を生成することもできる。

Ｅｎ−Ｆａｃｅ画像生成部２２３は、より具体的には、例えば、２つの基準面に囲まれた領域のＸＹ方向の各位置において深さ方向における画素値の代表値を決定し、その代表値に基づいて各位置における画素値を決定して、Ｅｎ−Ｆａｃｅ画像を生成する。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含む。

なお、基準面は被検眼Ｅの断層の層境界に沿った面でもよいし、平面であってもよい。以下、Ｅｎ−Ｆａｃｅ画像を生成するための基準面間の深さ方向の範囲をＥｎ−Ｆａｃｅ画像の生成範囲という。また、本実施例に係るＥｎ−Ｆａｃｅ画像の生成方法は一例であり、Ｅｎ−Ｆａｃｅ画像生成部２２３は、公知の任意の方法を用いてＥｎ−Ｆａｃｅ画像を生成してよい。

画質向上部２２４は、後述する学習済モデルを用いて、Ｅｎ−Ｆａｃｅ画像生成部２２３で生成されたＯＣＴＡ画像に基づく、高画質なＯＣＴＡ画像を生成する。また、画質向上部２２４は、断層画像生成部２２１により生成された断層画像やＥｎ−Ｆａｃｅ画像生成部２２３により生成された輝度のＥｎ−Ｆａｃｅ画像に基づく、高画質な断層画像や高画質な輝度のＥｎ−Ｆａｃｅ画像を生成してもよい。なお、画質向上部２２４は、ＯＣＴ撮影部１００を用いて撮影されたＯＣＴＡ画像等だけでなく、取得部２１０が、記憶部２４０や制御部２００に接続される不図示のその他の装置から取得した各種画像に基づいて高画質な画像を生成することもできる。さらに、画質向上部２２４はＯＣＴＡ画像や断層画像だけでなく、三次元モーションコントラスト画像や三次元断層画像の画質向上処理を行ってもよい。

駆動制御部２３０は、制御部２００に接続されている、ＯＣＴ撮影部１００の光源１１１や、走査光学系１５０、走査部１５２、結像レンズ１３３等の構成要素の駆動を制御することができる。記憶部２４０は、取得部２１０で取得された各種データ、及び画像処理部２２０で生成・処理された断層画像やＯＣＴＡ画像等の各種画像やデータ等を記憶することができる。また、記憶部２４０は、被検者の属性（氏名や年齢など）や他の検査機器を用いて取得した計測結果（眼軸長や眼圧など）などの被検眼に関する情報、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータを記憶することができる。なお、これらの画像及び情報は、不図示の外部記憶装置に記憶する構成にしてもよい。また、記憶部２４０は、プロセッサーによって実行されることで制御部２００の各構成要素の機能を果たすためのプログラム等を記憶することもできる。

表示制御部２５０は、取得部２１０で取得された各種情報や画像処理部２２０で生成・処理された断層画像やＯＣＴＡ画像、三次元モーションコントラスト画像等の各種画像を表示部２７０に表示させることができる。また、表示制御部２５０は、ユーザによって入力された情報等を表示部２７０に表示させることができる。

制御部２００は、例えば汎用のコンピュータを用いて構成されてよい。なお、制御部２００は、ＯＣＴ装置１の専用のコンピュータを用いて構成されてもよい。制御部２００は、不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及び光学ディスクやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリを含む記憶媒体を備えている。制御部２００の記憶部２４０以外の各構成要素は、ＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。記憶部２４０は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。

なお、制御部２００が備えるＣＰＵ等のプロセッサー及びＲＯＭ等の記憶媒体は１つであってもよいし複数であってもよい。そのため、制御部２００の各構成要素は、少なくとも１以上のプロセッサーと少なくとも１つの記憶媒体とが接続され、少なくとも１以上のプロセッサーが少なくとも１以上の記憶媒体に記憶されたプログラムを実行した場合に機能するように構成されてもよい。なお、プロセッサーはＣＰＵやＭＰＵに限定されるものではなく、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であってもよい。

次に、図３（ａ）乃至４を参照して、本実施例に係るディープラーニング等の機械学習アルゴリズムに従った機械学習モデルに関する学習済モデルについて説明する。本実施例に係る学習済モデルは、学習の傾向に従って、入力された画像に基づいて、画質向上処理が行われたような画像を生成して出力する。

本明細書における画質向上処理とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。ここで、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成の過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。

学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。教師データは、一つ以上の、入力データと出力データ（正解データ）とのペア群で構成される。本実施例では、入力データ及び出力データのペアを、ＯＣＴＡ画像と、該ＯＣＴＡ画像を含む複数のＯＣＴＡ画像について加算平均等の重ね合わせ処理が行われたＯＣＴＡ画像によって構成する。

重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域と高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。

なお、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した学習済モデルが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、学習済モデルが画像診断に適さない画質の画像を生成する可能性を低減させることができる。

また、ペアである画像群の平均輝度や輝度分布が大きく異なる場合には、当該教師データを用いて学習した学習済モデルが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。

さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した学習済モデルが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。

このように学習を行った学習済モデルを用いることで、画質向上部２２４は、一回の撮影（検査）で取得されたＯＣＴＡ画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質なＯＣＴＡ画像を生成できる。このため、画質向上部２２４は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。

次に、学習時の画像について説明する。教師データを構成する、ＯＣＴＡ画像３０１と高画質なＯＣＴＡ画像３０２とのペア群を構成する画像群を、位置関係が対応する一定の画像サイズの矩形領域画像によって作成する。当該画像の作成について、図３（ａ）及び（ｂ）を参照して説明する。

まず、教師データを構成するペア群の１つを、ＯＣＴＡ画像３０１と高画質なＯＣＴＡ画像３０２とした場合について説明する。この場合には、図３（ａ）に示すように、ＯＣＴＡ画像３０１の全体を入力データ、高画質なＯＣＴＡ画像３０２の全体を出力データとして、ペアを構成する。なお、図３（ａ）に示す例では各画像の全体により入力データと出力データのペアを構成しているが、ペアはこれに限らない。

例えば、図３（ｂ）に示すように、ＯＣＴＡ画像３０１のうちの矩形領域画像３１１を入力データ、ＯＣＴＡ画像３０２における対応する撮影領域である矩形領域画像３２１を出力データとして、ペアを構成してもよい。

なお、学習時には、スキャン範囲（撮影画角）、スキャン密度（Ａスキャン数、Ｂスキャン数）を正規化して画像サイズを揃えて、学習時の矩形領域サイズを一定に揃えることができる。また、図３（ａ）及び（ｂ）に示した矩形領域画像は、それぞれ別々に学習する際の矩形領域サイズの一例である。

また、矩形領域の数は、図３（ａ）に示す例では１つ、図３（ｂ）に示す例では複数設定可能である。例えば、図３（ｂ）に示す例において、ＯＣＴＡ画像３０１のうちの矩形領域画像３１２を入力データ、高画質なＯＣＴＡ画像３０２における対応する撮影領域である矩形領域画像３２２を出力データとしてペアを構成することもできる。このように、１枚ずつのＯＣＴＡ画像及び高画質なＯＣＴＡ画像のペアから、互いに異なる矩形領域画像のペアを作成できる。なお、元となるＯＣＴＡ画像及び高画質なＯＣＴＡ画像において、領域の位置を異なる座標に変えながら多数の矩形領域画像のペアを作成することで、教師データを構成するペア群を充実させることができる。

なお、図３（ｂ）に示す例では、離散的に矩形領域を示しているが、元となるＯＣＴＡ画像及び高画質なＯＣＴＡ画像を、隙間なく連続する一定の画像サイズの矩形領域画像群に分割することができる。また、元となるＯＣＴＡ画像及び高画質なＯＣＴＡ画像について、互いに対応する、ランダムな位置の矩形領域画像群に分割してもよい。このように、矩形領域として、より小さな領域の画像を入力データ及び出力データのペアとして選択することで、もともとのペアを構成するＯＣＴＡ画像３０１及び高画質なＯＣＴＡ画像３０２から多くのペアデータを生成できる。そのため、機械学習モデルのトレーニングにかかる時間を短縮することができる。

次に、本実施例に係る学習済モデルの一例として、入力された断層画像に対して、画質向上処理を行う畳み込みニューラルネットワーク（ＣＮＮ）に関して、図４を参照して説明する。図４は、画質向上部２２４が用いる学習済モデルの構成４０１の一例を示している。

図４に示す学習済モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該学習済モデルの構成４０１に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。

畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。

ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。

アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。

合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。

なお、図４に示す構成４０１に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度の画質向上処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。

また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、画質向上処理の精度が高かったり、画質向上処理の時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。

図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等してもよい。

このような機械学習モデルの学習済モデルにデータを入力すると、機械学習モデルの設計に従ったデータが出力される。例えば、教師データを用いてトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。本実施例に係る学習済モデルでは、ＯＣＴＡ画像３０１が入力されると、教師データを用いてトレーニングされた傾向に従って、高画質なＯＣＴＡ画像３０２を出力する。

なお、画像の領域を分割して学習している場合、学習済モデルは、それぞれの矩形領域に対応する高画質なＯＣＴＡ画像である矩形領域画像を出力する。この場合、画質向上部２２４は、まず、入力画像であるＯＣＴＡ画像３０１を学習時の画像サイズに基づいて矩形領域画像群に分割し、分割した矩形領域画像群を学習済モデルに入力する。その後、画質向上部２２４は、学習済モデルから出力された高画質なＯＣＴＡ画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合する。これにより、画質向上部２２４は、入力されたＯＣＴＡ画像３０１に対応する、高画質なＯＣＴＡ画像３０２を生成することができる。

次に、図５乃至７を参照して、本実施例に係る一連の画像処理について説明する。図５は、本実施例に係る一連の画像処理のフローチャートである。

まず、ステップＳ５０１では、取得部２１０が、被検眼Ｅを複数回撮影して得た複数の三次元の断層情報を取得する。取得部２１０は、ＯＣＴ撮影部１００を用いて被検眼Ｅの断層情報を取得してもよいし、記憶部２４０や制御部２００に接続される他の装置から断層情報を取得してもよい。

ここで、ＯＣＴ撮影部１００を用いて被検眼Ｅの断層情報を取得する場合について説明する。まず、操作者は、走査光学系１５０の前に被検者である患者を着座させ、アライメントを行ったり、患者情報等を制御部２００に入力したりした後にＯＣＴ撮影を開始する。制御部２００の駆動制御部２３０は、走査部１５２のガルバノミラーを駆動し、被検眼の略同一箇所を複数回走査して被検眼の略同一箇所における複数の断層情報（干渉信号）を取得する。その後、駆動制御部２３０は、走査部１５２のガルバノミラーを主走査方向に直交する副走査方向に微小に駆動させ、被検眼Ｅの別の箇所（隣接する走査ライン）における複数の断層情報を取得する。この制御を繰り返すことにより、取得部２１０は、被検眼Ｅの所定範囲における複数の三次元の断層情報を取得する。

次に、ステップＳ５０２において、断層画像生成部２２１は、取得された複数の三次元の断層情報に基づいて、複数の三次元断層画像を生成する。なお、取得部２１０が、ステップＳ５０１において、記憶部２４０や制御部２００に接続される他の装置から複数の三次元断層画像を取得する場合には、ステップＳ５０２は省略されてよい。

ステップＳ５０３では、モーションコントラスト生成部２２２が、複数の三次元断層画像に基づいて、三次元モーションコントラストデータ（三次元モーションコントラスト画像）を生成する。なお、モーションコントラスト生成部２２２は、略同一箇所について取得した３枚以上の断層画像に基づいて複数のモーションコントラストデータを求め、それらの平均値を最終的なモーションコントラストデータとして生成してもよい。なお、取得部２１０が、ステップＳ５０１において、記憶部２４０や制御部２００に接続される他の装置から三次元モーションコントラストデータを取得する場合には、ステップＳ５０２及びステップＳ５０３は省略されてよい。

ステップＳ５０４では、Ｅｎ−Ｆａｃｅ画像生成部２２３が、三次元モーションコントラストデータについて、操作者の指示に応じた又は所定のＥｎ−Ｆａｃｅ画像の生成範囲に基づいて、ＯＣＴＡ画像を生成する。なお、取得部２１０が、ステップＳ５０１において、記憶部２４０や制御部２００に接続される他の装置からＯＣＴＡ画像を取得する場合には、ステップＳ５０２乃至ステップＳ５０４は省略されてよい。

ステップＳ５０５では、画質向上部２２４が、学習済モデルを用いて、ＯＣＴＡ画像の画質向上処理を行う。画質向上部２２４は、ＯＣＴＡ画像を学習済モデルに入力し、学習済モデルからの出力に基づいて高画質なＯＣＴＡ画像を生成する。なお、学習済モデルが画像の領域を分割して学習している場合には、画質向上部２２４は、まず、入力画像であるＯＣＴＡ画像を学習時の画像サイズに基づいて矩形領域画像群に分割し、分割した矩形領域画像群を学習済モデルに入力する。その後、画質向上部２２４は、学習済モデルから出力された高画質なＯＣＴＡ画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合することで、最終的な高画質なＯＣＴＡ画像を生成する。

ステップＳ５０６では、表示制御部２５０が、表示部２７０に、画質向上部２２４によって生成された高画質なＯＣＴＡ画像（第２の画像）を元のＯＣＴＡ画像（第１の画像）と切り替えて表示させる。上述のように、機械学習モデルを用いた画質向上処理では、現実には存在しない血管をＯＣＴＡ画像上に描出してしまったり、本来存在している血管を消してしまったりすることがある。これに対し、表示制御部２５０は、表示部２７０に、生成された高画質なＯＣＴＡ画像を元のＯＣＴＡ画像と切り替えて表示させることで、画質向上処理によって新たに生成された血管か、元の画像にも存在していた血管かの判断を容易にすることができる。表示制御部２５０による表示処理が終了すると、一連の画像処理が終了する。

次に、図６（ａ）乃至７を参照して、制御部２００の操作方法について説明する。図６（ａ）及び（ｂ）は、画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。図６（ａ）に示すレポート画面６００には、断層画像６１１と画質向上処理前のＯＣＴＡ画像６０１が示されている。図６（ｂ）に示すレポート画面６００には、断層画像６１１と画質向上処理後のＯＣＴＡ画像６０２（高画質なＯＣＴＡ画像）が示されている。

図６（ａ）に示すレポート画面６００において、操作者が入力部２６０の一例であるマウスを用い、ＯＣＴＡ画像６０１上でマウスの右ボタンを押下すると、画質向上処理を行うか否かを選択するポップアップメニュー６２０が表示される。操作者がポップアップメニュー６２０上で画質向上処理を行うことを選択すると、画質向上部２２４はＯＣＴＡ画像６０１に対する画質向上処理を実行する。

そして、図６（ｂ）に示すように、表示制御部２５０は、レポート画面６００に表示された画質向上処理を行う前のＯＣＴＡ画像６０１を、画質向上処理を行った後のＯＣＴＡ画像６０２に切り替えて表示させる。なお、ＯＣＴＡ画像６０２上でマウスの右ボタンを再度押下することでポップアップメニュー６２０を開き、画質向上処理を行う前のＯＣＴＡ画像６０１に切り替えて表示させることもできる。

なお、マウスの右ボタンの押下に応じて表示されるポップアップメニュー６２０によって画質向上処理前後の画像の切替表示を行う例を示したが、画像の切替方法はポップアップメニュー以外の任意の方法で行ってもよい。例えば、レポート画面上に配置されたボタン（例えば、図１８や図２０のボタン３４２０）、プルダウンメニュー、ラジオボタン、チェックボックス、又はキーボード操作などで画像の切替を行ってもよい。さらに、マウスホイールの操作やタッチパネルディスプレイのタッチ操作によって画像を切替表示してもよい。

操作者は上記方法により、画質向上処理を行う前のＯＣＴＡ画像６０１と、画質向上処理を行った後のＯＣＴＡ画像６０２を任意に切替表示することができる。そのため、操作者は、画質向上処理の前後のＯＣＴＡ画像を容易に見比べることができ、画質向上処理によるＯＣＴＡ画像の変化を容易に確認することができる。従って、操作者は、画質向上処理によってＯＣＴＡ画像に現実には存在しない血管が描出されてしまったり、本来存在している血管が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。

なお、上述の表示方法では、画質向上処理前後の画像を切り替えて表示したが、これらの画像を並べて表示したり、重ねて表示したりすることでも、同様の効果を奏することができる。図７は、画質向上処理前後の画像を並べて表示する場合のレポート画面の一例を示す。図７に示すレポート画面７００には、画質向上処理前のＯＣＴＡ画像７０１と画質向上処理後のＯＣＴＡ画像７０２が並べて表示されている。

この場合でも、操作者は、画質向上処理前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため、操作者は画質向上処理によってＯＣＴＡ画像に現実には存在しない血管が描出されてしまったり、本来存在している血管が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。なお、画質向上処理前後の画像を重ねて表示する場合には、表示制御部２５０は、画質向上処理前後の画像の少なくとも一方について、透明度を設定し、表示部２７０に画質向上処理前後の画像を重ねて表示させることができる。

また、上述のように、画質向上部２２４は、ＯＣＴＡ画像だけでなく、断層画像や輝度のＥｎ−Ｆａｃｅ画像について学習済モデルを用いた画質向上処理を行ってもよい。この場合には、学習済モデルの教師データのペアとして、重ね合わせ前の断層画像や輝度のＥｎ−Ｆａｃｅ画像を入力データとし、重ね合わせ後の断層画像や輝度のＥｎ−Ｆａｃｅ画像を出力データとしたペアを用いることができる。なお、この場合、学習済モデルは、ＯＣＴＡ画像や断層画像等の教師データを用いて学習を行った１つの学習済モデルとしてもよいし、画像の種類毎に学習を行った複数の学習済モデルとしてもよい。複数の学習済モデルを用いる場合には、画質向上部２２４は、画質向上処理を行う対象である画像の種類に応じた学習済モデルを用いることができる。なお、画質向上部２２４は、三次元モーションコントラスト画像や三次元断層画像について学習済モデルを用いた画質向上処理を行ってもよく、この場合の学習データも上述と同様に用意することができる。

図７には、画質向上処理前の断層画像７１１と、画質向上処理後の断層画像７１２が並べて表示されている。なお、表示制御部２５０は、図６（ａ）及び（ｂ）に示す画質向上処理前後のＯＣＴＡ画像のように、画質向上処理前後の断層画像や輝度のＥｎ−Ｆａｃｅ画像を切り替えて、表示部２７０に表示させてもよい。また、表示制御部２５０は、画質向上処理前後の断層画像や輝度のＥｎ−Ｆａｃｅ画像を重ねて表示部２７０に表示させてもよい。これらの場合でも、操作者は、画質向上処理の前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。

上記のように、本実施例に係る制御部２００は、画質向上部２２４と表示制御部２５０を備える。画質向上部２２４は、学習済モデルを用いて、被検眼の第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成する。表示制御部２５０は、表示部２７０に第１の画像と第２の画像とを切り替えて、並べて、又は重ねて表示させる。なお、表示制御部２５０は、操作者からの指示に応じて、第１の画像及び第２の画像を切り替えて、表示部２７０に表示させることができる。

これにより、制御部２００は、元の画像から、ノイズが低減されていたり、コントラストが強調されていたりする高画質な画像を生成することができる。このため、制御部２００は、より明瞭な画像や観察したい部位や病変が強調されている画像等の、従来よりも画像診断に適した画像を生成することができる。

また、操作者は、画質向上処理の前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。

本実施例に係る学習済モデルでは、教師データの出力データとして、重ね合わせ画像を用いたが、教師データはこれに限られない。例えば、教師データの出力データとして、元画像群に対して最大事後確率推定処理（ＭＡＰ推定処理）を行うことで得られる高画質画像を用いてもよい。ＭＡＰ推定処理では、複数の画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値（画素値）を推定する。

ＭＡＰ推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、ＭＡＰ推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、ＭＡＰ推定処理により得られた高画質画像を教師データとして用いることで、学習済モデルは、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。

また、教師データの出力データとして、元画像に平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、学習済モデルは、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。さらに、教師データの出力データとして、元画像に階調変換処理を適用した画像を用いてもよい。この場合には、学習済モデルは、入力画像から、コントラスト強調された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。

なお、教師データの入力データは、ＯＣＴ撮影部１００と同じ画質傾向を持つ撮影装置から取得された画像でもよい。また、教師データの出力データは、逐次近似法等の高コストな処理によって得られた高画質画像であってもよいし、入力データに対応する被検体を、ＯＣＴ撮影部１００よりも高性能な撮影装置で撮影することで取得した高画質画像であってもよい。さらに、出力データは、被検体の構造等に基づくルールベースによるノイズ低減処理を行うことによって取得された高画質画像であってもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである１画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、学習済モデルは、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を教師データとしてもよい。

なお、画質向上部２２４が、学習済モデルを用いて、ノイズが低減されていたり、コントラストが強調されていたりする高画質な画像を生成することについて述べたが、画質向上部２２４による画質向上処理はこれに限られない。画質向上部２２４は、画質向上処理により、上述のように、画像診断により適した画質の画像を生成できればよい。

また、表示制御部２５０は、表示部２７０に画質向上処理前後の画像を並べて表示させる場合、操作者からの指示に応じて、表示部２７０に並べて表示されている画質向上処理前後の画像のいずれかを拡大表示させてもよい。より具体的には、例えば、図７に示すレポート画面７００において、操作者がＯＣＴＡ画像７０１を選択したら、表示制御部２５０は、レポート画面７００においてＯＣＴＡ画像７０１を拡大表示させることができる。また、操作者が画質向上処理後のＯＣＴＡ画像７０２を選択したら、表示制御部２５０は、レポート画面７００においてＯＣＴＡ画像７０２を拡大表示させることができる。この場合には、操作者は画質向上処理前後の画像のうち観察したい画像をより詳細に観察することができる。

さらに、制御部２００は、操作者の指示に応じてＯＣＴＡ画像等のＥｎ−Ｆａｃｅ画像の生成範囲が変更された場合、並べて表示されている画像を、変更された生成範囲に基づく画像及び高画質化した画像に変更して表示してもよい。より具体的には、操作者が入力部２６０を介して、Ｅｎ−Ｆａｃｅ画像の生成範囲を変更すると、Ｅｎ−Ｆａｃｅ画像生成部２２３が変更された生成範囲に基づいて、画質向上処理前のＥｎ−Ｆａｃｅ画像を生成する。画質向上部２２４は、学習済モデルを用いて、Ｅｎ−Ｆａｃｅ画像生成部２２３によって新たに生成されたＥｎ−Ｆａｃｅ画像から、高画質なＥｎ−Ｆａｃｅ画像を生成する。その後、表示制御部２５０は、表示部２７０に並べて表示されている画質向上処理前後のＥｎ−Ｆａｃｅ画像を、新たに生成された画質向上処理前後のＥｎ−Ｆａｃｅ画像に変更して表示させる。このような場合には、操作者が観察したい深さ方向の範囲を任意に変更しながら、変更された深さ方向の範囲に基づく画質向上処理前後のＥｎ−Ｆａｃｅ画像を観察することができる。

（変形例１）
上述のように、学習済モデルを用いて画質向上処理を行った画像では、現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりする。そのため、当該画像に基づいて操作者が画像診断を行うことにより誤診断が生じてしまう場合がある。そこで、表示制御部２５０は、画質向上処理後のＯＣＴＡ画像や断層画像等を表示部２７０に表示させる際に、当該画像が学習済モデルを用いて画質向上処理を行った画像である旨をともに表示させてもよい。この場合には、操作者による誤診断の発生を抑制することができる。なお、学習済モデルを用いて取得した高画質画像である旨が理解できる態様であれば、表示の態様については任意であってよい。

（変形例２）
実施例１では一回の撮影（検査）で得られたＯＣＴＡ画像や断層画像等に対して画質向上処理を適用する例について述べた。これに対し、複数回の撮影（検査）で得られた複数のＯＣＴＡ画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用することもできる。変形例２では、図８（ａ）及び（ｂ）を参照して、複数のＯＣＴＡ画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用した画像を同時に表示させる構成について説明する。

図８（ａ）及び（ｂ）は、同一被検眼を経時的に複数回撮影することによって取得された複数のＯＣＴＡ画像を表示するための時系列レポート画面の一例を示す。図８（ａ）に示すレポート画面８００では、画質向上処理を行う前の複数のＯＣＴＡ画像８０１が時系列に並んで表示されている。また、レポート画面８００にはポップアップメニュー８２０も含まれており、操作者は、入力部２６０を介してポップアップメニュー８２０を操作することで、画質向上処理の適用有無を選択することが可能である。

操作者が画質向上処理の適用を選択すると、画質向上部２２４は表示されている全てのＯＣＴＡ画像に対して、学習済モデルを用いた画質向上処理を適用する。そして、表示制御部２５０は、図８（ｂ）に示すように、画質向上処理を行った後の複数のＯＣＴＡ画像８０２を、表示されていた複数のＯＣＴＡ画像８０１と切り替えて表示する。

また、操作者が、ポップアップメニュー８２０にて画質向上処理を適用しないことを選択すると、表示制御部２５０は、画質向上処理前の複数のＯＣＴＡ画像８０１を、表示されていた画質向上処理後の複数のＯＣＴＡ画像８０２と切り替えて表示する。

なお、本変形例では、学習済モデルを用いた画質向上処理前後の複数のＯＣＴＡ画像について同時に切り替えて表示する例を示した。しかしながら、学習済モデルを用いた画質向上処理前後の複数の断層画像や輝度のＥｎ−Ｆａｃｅ画像等を同時に切り替えて表示してもよい。なお、操作方法はポップアップメニュー８２０を用いる方法に限られず、レポート画面上に配置されたボタンやプルダウンメニュー、ラジオボタン、チェックボックス、又はキーボードやマウスホイール、タッチパネルの操作等の任意の操作方法を採用してよい。

（実施例２）
学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そこで、実施例２では、撮影部位等の撮影条件やＥｎ−Ｆａｃｅ画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって画質向上処理を行うことで、より効果的に画質向上処理を行う。

以下、図９及び１０を参照して本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係るＯＣＴ装置の構成は、制御部を除いて実施例１に係るＯＣＴ装置１と同様であるため、図１に示す構成と同様の構成については、同一の参照符号を用いて示し、説明を省略する。以下、実施例１に係るＯＣＴ装置１との違いを中心に、本実施例に係るＯＣＴ装置について説明する。

図９は、本実施例に係る制御部９００の概略構成を示す。なお、本実施例に係る制御部９００における画像処理部９２０及び選択部９２５以外の構成は実施例１に係る制御部２００の各構成と同様である。そのため、図２に示す構成と同様の構成については、同一の参照符号を用いて示し説明を省略する。

制御部９００の画像処理部９２０には、断層画像生成部２２１、モーションコントラスト生成部２２２、Ｅｎ−Ｆａｃｅ画像生成部２２３、及び画質向上部２２４に加えて、選択部９２５が設けられている。

選択部９２５は、画質向上部２２４によって画質向上処理を行うべき画像の撮影条件やＥｎ−Ｆａｃｅ画像の生成範囲に基づいて、複数の学習済モデルのうち、画質向上部２２４が用いるべき学習済モデルを選択する。画質向上部２２４は、選択部９２５によって選択された学習済モデルを用いて、対象となるＯＣＴＡ画像や断層画像等に画質向上処理を行い、高画質なＯＣＴＡ画像や高画質な断層画像を生成する。

次に、本実施例に係る複数の学習済モデルについて説明する。上述のように、学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そこで、本実施例では、撮影部位、撮影方式、撮影領域、撮影画角、スキャン密度、及び画像の解像度等を含む撮影条件やＥｎ−Ｆａｃｅ画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルを用意する。

より具体的には、例えば、黄斑部を撮影部位としたＯＣＴＡ画像を教師データとした学習済モデル、及び乳頭部を撮影部位としたＯＣＴＡ画像を教師データとした学習済モデル等の複数の学習済モデルを用意する。なお、黄斑部や乳頭部は撮影部位の一例であり、他の撮影部位を含んでもよい。また、黄斑部や乳頭部等の撮影部位における特定の撮影領域毎のＯＣＴＡ画像を教師データとした学習済モデルを用意してもよい。

また、例えば、網膜を広画角・低密度で撮影した場合と、網膜を狭画角・高密度で撮影した場合とでは、ＯＣＴＡ画像に描出される血管等の構造物の描出が大きく異なる。そのため、撮影画角やスキャン密度に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。さらに、撮影方式の例としては、ＳＤ−ＯＣＴとＳＳ−ＯＣＴ等の撮影方式があり、これらの撮影方式の違いにより、画質、撮影範囲、及び深さ方向の深達度等が異なる。このため、撮影方式に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。

また、通常、網膜の全ての層の血管を一度に抽出したＯＣＴＡ画像を生成することは稀であり、所定の深度範囲に存在する血管のみを抽出したＯＣＴＡ画像を生成することが一般的である。例えば、網膜の浅層、深層、外層、及び脈絡膜浅層等の深度範囲において、それぞれの深度範囲で血管を抽出したＯＣＴＡ画像を生成する。一方、ＯＣＴＡ画像に描出される血管の態様は、深度範囲に応じて大きく異なる。例えば、網膜の浅層で描出される血管は低密度で細く明瞭な血管網を形成するのに対し、脈絡膜浅層で描出される血管は高密度で一本一本の血管を明瞭に識別することは困難である。このため、ＯＣＴＡ画像等のＥｎ−Ｆａｃｅ画像の生成範囲に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。

ここではＯＣＴＡ画像を教師データとする例について述べたが、実施例１と同様に、断層画像や輝度のＥｎ−Ｆａｃｅ画像等について画質向上処理を行う場合には、これらの画像を教師データとすることができる。この場合には、これら画像の撮影条件やＥｎ−Ｆａｃｅ画像の生成範囲に応じた教師データ毎に学習を行った複数の学習済モデルを用意する。

次に、図１０を参照して、本実施例に係る一連の画像処理について説明する。図１０は、本実施例に係る一連の画像処理のフローチャートである。なお、実施例１に係る一連の画像処理と同様の処理に関しては、適宜説明を省略する。

まず、ステップＳ１００１において、実施例１に係るステップＳ５０１と同様に、取得部２１０は、被検眼Ｅを複数回撮影して得た複数の三次元の断層情報を取得する。取得部２１０は、ＯＣＴ撮影部１００を用いて被検眼Ｅの断層情報を取得してもよいし、記憶部２４０や制御部２００に接続される他の装置から断層情報を取得してもよい。

また、取得部２１０は、断層情報に関する撮影条件群を取得する。具体的には、取得部２１０は、断層情報に関する撮影を行った際の撮影部位や撮影方式等の撮影条件を取得することができる。なお、取得部２１０は、断層情報のデータ形式に応じて、断層情報のデータを構成するデータ構造に保存された撮影条件群を取得してもよい。また、断層情報のデータ構造に撮影条件が保存されていない場合には、取得部２１０は、撮影条件を記載したファイルを記憶したサーバやデータベース等から撮影情報群を取得することができる。また、公知の任意の方法により、取得部２１０は、断層情報に基づく画像から撮影情報群を推定してもよい。

また、取得部２１０が、複数の三次元断層画像や三次元モーションコントラストデータ、ＯＣＴＡ画像等を取得する場合には、取得部２１０は取得した画像やデータに関する撮影条件群を取得する。なお、ＯＣＴＡ画像や輝度のＥｎ−Ｆａｃｅ画像の生成範囲に応じた教師データ毎に学習を行った複数の学習済モデルのみを画質向上処理に用いる場合には、取得部２１０は断層画像の撮影条件群を取得しなくてもよい。

ステップＳ１００２乃至ステップＳ１００４は、実施例１に係るステップＳ５０２乃至Ｓ５０４と同様であるため説明を省略する。ステップＳ１００４において、Ｅｎ−Ｆａｃｅ画像生成部２２３がＯＣＴＡ画像を生成すると、処理はステップＳ１００５に移行する。

ステップＳ１００５では、選択部９２５が、生成されたＯＣＴＡ画像に関する撮影条件群や生成範囲及び複数の学習済モデルに関する教師データの情報に基づいて、画質向上部２２４が用いるべき学習済モデルを選択する。より具体的には、例えば、選択部９２５は、ＯＣＴＡ画像の撮影部位が乳頭部である場合には、乳頭部のＯＣＴＡ画像を教師データとして学習を行った学習済モデルを選択する。また、例えば、選択部９２５は、ＯＣＴＡ画像の生成範囲が網膜の浅層である場合には、網膜の浅層を生成範囲としたＯＣＴＡ画像を教師データとして学習を行った学習済モデルを選択する。

なお、選択部９２５は、生成されたＯＣＴＡ画像に関する撮影条件群や生成範囲と学習済モデルの教師データの情報が完全には一致していなくても、画質が似た傾向の画像を教師データとして学習を行った学習済モデルを選択してもよい。この場合には、例えば、選択部９２５は、ＯＣＴＡ画像に関する撮影条件群や生成範囲と、用いるべき学習済モデルとの対応関係を記載したテーブルを備えてもよい。

ステップＳ１００６では、画質向上部２２４が、選択部９２５によって選択された学習済モデルを用いて、ステップＳ１００４で生成されたＯＣＴＡ画像について画質向上処理を行い、高画質なＯＣＴＡ画像を生成する。高画質なＯＣＴＡ画像の生成方法は、実施例１に係るステップＳ５０５と同様であるため説明を省略する。

ステップＳ１００７は、実施例１に係るステップＳ５０６と同様であるため説明を省略する。ステップＳ１００７において、高画質なＯＣＴＡ画像が表示部２７０に表示されると、本実施例に係る一連の画像処理が終了する。

上記のように、本実施例に係る制御部９００は、複数の学習済モデルから、画質向上部２２４によって用いられる学習済モデルを選択する選択部９２５を備える。選択部９２５は、画質向上処理を行うべきＯＣＴＡ画像を生成するための深さ方向の範囲に基づいて、画質向上部２２４によって用いられる学習済モデルを選択する。

例えば、選択部９２５は、画質向上処理をすべきＯＣＴＡ画像における表示部位及び当該ＯＣＴＡ画像を生成するための深さ方向の範囲に基づいて、学習済モデルを選択することができる。また、例えば、選択部９２５は、画質向上処理を行うべきＯＣＴＡ画像における表示部位を含む撮影部位及び当該ＯＣＴＡ画像を生成するための深さ方向の範囲に基づいて、画質向上部２２４によって用いられる学習済モデルを選択してもよい。さらに、例えば、選択部９２５は、画質向上処理を行うべきＯＣＴＡ画像の撮影条件に基づいて、画質向上部２２４によって用いられる学習済モデルを選択してもよい。

このため、制御部９００は、撮影条件やＥｎ−Ｆａｃｅ画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって画質向上処理を行うことで、より効果的に画質向上処理を行うことができる。

なお、本実施例では、選択部９２５が、ＯＣＴＡ画像に関する撮影部位等の撮影条件又は生成範囲に基づいて、学習済モデルを選択する例を説明したが、上記以外の条件に基づいて学習済モデルを変更するようにしてもよい。選択部９２５は、例えば、ＯＣＴＡ画像や輝度のＥｎ−Ｆａｃｅ画像を生成する際の投影方法（最大値投影法又は平均値投映法）や、血管影によって生じるアーチファクトの除去処理の有無に応じて、学習済モデルを選択してもよい。この場合には、投影方法やアーチファクト除去処理の有無に応じた教師データ毎に学習を行った学習済モデルを用意することができる。

（変形例３）
実施例２では、選択部９２５が、撮影条件やＥｎ−Ｆａｃｅ画像の生成範囲等に応じて適切な学習済モデルを自動的に選択した。これに対し、操作者が画像に適用する画質向上処理を手動で選択することを望む場合もある。そのため、選択部９２５は、操作者の指示に応じて、学習済モデルを選択してもよい。

また、操作者が、画像に対して適用された画質向上処理を変更することを望む場合もある。そのため、選択部９２５は、操作者の指示に応じて、学習済モデルを変更し、画像に対して適用される画質向上処理を変更してもよい。

以下、図１１（ａ）及び（ｂ）を参照して、画像に対して適用される画質向上処理を手動で変更する際の操作方法について説明する。図１１（ａ）及び（ｂ）は、画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。図１１（ａ）に示すレポート画面１１００には、断層画像１１１１と自動選択された学習済モデルを用いた画質向上処理が適用されたＯＣＴＡ画像１１０１が示されている。図１１（ｂ）に示すレポート画面１１００には、断層画像１１１１と操作者の指示に応じた学習済モデルを用いた画質向上処理が適用されたＯＣＴＡ画像１１０２が示されている。また、図１１（ａ）及び（ｂ）に示すレポート画面１１００には、ＯＣＴＡ画像に適用する画質向上処理を変更するための処理指定部１１２０が示されている。

ここで、図１１（ａ）に示すレポート画面１１００に表示されているＯＣＴＡ画像１１０１は、黄斑部の深層血管（Ｄｅｅｐ Ｃａｐｉｌｌａｒｙ）を描出したものである。一方で、選択部９２５によって自動選択された学習済モデルを用いてＯＣＴＡ画像に適用された画質向上処理は、乳頭部の浅層血管（ＲＰＣ）に適したものである。そのため、図１１（ａ）に示すレポート画面１１００に表示されているＯＣＴＡ画像１１０１に関して、ＯＣＴＡ画像に適用されている画質向上処理は、ＯＣＴＡ画像に抽出されている血管に対して最適なものではない。

そこで、操作者は、入力部２６０を介して処理指定部１１２０にて、Ｄｅｅｐ Ｃａｐｉｌｌａｒｙを選択する。選択部９２５は、操作者による選択指示に応じて、画質向上部２２４によって用いられる学習済モデルを、黄斑部の深層血管に関するＯＣＴＡ画像を教師データとして学習を行った学習済モデルに変更する。

画質向上部２２４は、選択部９２５によって変更された学習済モデルを用いてＯＣＴＡ画像について画質向上処理を再度行う。表示制御部２５０は、図１１（ｂ）に示すように、画質向上部２２４によって改めて生成された高画質なＯＣＴＡ画像１１０２を表示部２７０に表示させる。

このように、選択部９２５が、操作者の指示に応じて、学習済モデルを変更するように構成することで、操作者は同じＯＣＴＡ画像に対して適切な画質向上処理を指定し直すことができる。また、当該画質向上処理の指定は何度も行われてもよい。

ここでは、ＯＣＴＡ画像に対して適用される画質向上処理を手動で変更することができるように、制御部９００を構成する例を示した。これに対して、制御部９００は、断層画像や輝度のＥｎ−Ｆａｃｅ画像等に対して適用される画質向上処理を手動で変更可能なように構成されてもよい。

また、図１１（ａ）及び（ｂ）に示すレポート画面は、画質向上処理前後の画像を切り替えて表示する態様を有するが、画質向上処理前後の画像を並べて表示したり、重ねて表示したりする態様のレポート画面としてもよい。さらに、処理指定部１１２０の態様は、図１１（ａ）及び（ｂ）に示す態様に限られず、画質向上処理又は学習済モデルを指示できる任意の態様であってよい。また、図１１（ａ）及び（ｂ）に示す画質向上処理の種類は一例であり、学習済モデルについての教師データに応じた他の画質向上処理の種類を含んでよい。

また、変形例２と同様に、画質向上処理が適用された複数の画像を同時に表示させてもよい。また、この際に、どの画質向上処理を適用するかの指定を行うことができるように構成することもできる。この場合の、レポート画面の一例を図１２（ａ）及び（ｂ）に示す。

図１２（ａ）及び（ｂ）は、画質向上処理前後の複数の画像を切り替えて表示するレポート画面の一例を示す。図１２（ａ）に示すレポート画面１２００には、画質向上処理前のＯＣＴＡ画像１２０１が示されている。図１２（ｂ）に示すレポート画面１２００には、操作者の指示に応じた画質向上処理が適用されたＯＣＴＡ画像１２０２が示されている。また、図１２（ａ）及び（ｂ）に示すレポート画面１２００には、ＯＣＴＡ画像に適用する画質向上処理を変更するための処理指定部１２２０が示されている。

この場合には、選択部９２５は、処理指定部１２２０を用いて指示された画質向上処理に応じた学習済モデルを、画質向上部２２４が用いる学習済モデルとして選択する。画質向上部２２４は、選択部９２５により選択された学習済モデルを用いて、複数のＯＣＴＡ画像１２０１に対して画質向上処理を行う。表示制御部２５０は、生成された高画質な複数のＯＣＴＡ画像１２０２を、図１２（ｂ）に示すようにレポート画面１２００に一度に表示させる。

なお、ＯＣＴＡ画像についての画質向上処理について説明したが、断層画像や輝度のＥｎ−Ｆａｃｅ画像等についての画質向上処理に関して、操作者の指示に応じて、学習済モデルを選択・変更してもよい。なお、レポート画面に画質向上処理前後の複数の画像を並べて表示したり、重ねて表示したりしてもよい。この場合にも、操作者からの指示に応じた画質向上処理が適用された複数の画像を一度に表示することができる。

（実施例３）
実施例１及び２では、画質向上部２２４は、断層画像やＯＣＴＡ画像を撮影した後、自動的に画質向上処理を実行した。しかしながら、画質向上部２２４が実行する学習済モデルを用いた画質向上処理は、処理に長時間を要する場合がある。また、モーションコントラスト生成部２２２によるモーションコントラストデータの生成及びＥｎ−Ｆａｃｅ画像生成部２２３によるＯＣＴＡ画像の生成にも時間を要する。そのため、撮影後に画質向上処理が完了するのを待ってから画像を表示する場合には、撮影から表示までに長時間を要する場合がある。

これに対し、ＯＣＴ装置を用いた被検眼の撮影では、まばたきや被検眼の意図しない移動等により、撮影が失敗することがある。そのため、撮影の成否を早い段階で確認することで、ＯＣＴ装置の利便性を高めることができる。そこで、実施例３では、高画質なＯＣＴＡ画像の生成や表示に先立って、被検眼を撮影して得た断層情報に基づく輝度のＥｎ−Ｆａｃｅ画像やＯＣＴＡ画像を表示することにより、早い段階で撮影画像の確認が行えるようにＯＣＴ装置を構成する。

以下、図１３を参照して本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係るＯＣＴ装置の構成は、実施例１に係るＯＣＴ装置１と同様であるため、同一の参照符号を用いて示し、説明を省略する。以下、実施例１に係るＯＣＴ装置１との違いを中心に、本実施例に係るＯＣＴ装置について説明する。

図１３は、本実施例に係る一連の画像処理のフローチャートである。まず、ステップＳ１３０１では、取得部２１０は、ＯＣＴ撮影部１００により、被検眼Ｅを撮影して複数の三次元の断層情報を取得する。

ステップＳ１３０２は、実施例１に係るステップＳ５０２と同様であるため説明を省略する。ステップＳ１３０２において三次元断層画像が生成されると、処理はステップＳ１３０３に移行する。

ステップＳ１３０３では、Ｅｎ−Ｆａｃｅ画像生成部２２３が、ステップＳ１３０２において生成された三次元断層画像を二次元平面上に投影することで、眼底の正面画像（輝度のＥｎ−Ｆａｃｅ画像）を生成する。その後、ステップＳ１３０４において、表示制御部２５０が、生成された輝度のＥｎ−Ｆａｃｅ画像を表示部２７０に表示させる。

ステップＳ１３０５及びステップＳ１３０６は、実施例１に係るステップＳ５０３及びＳ５０４と同様であるため説明を省略する。ステップＳ１３０６においてＯＣＴＡ画像が生成されると処理はステップＳ１３０７に移行する。ステップＳ１３０７では、表示制御部２５０が、ステップＳ１３０６で生成された画質向上処理前のＯＣＴＡ画像を輝度のＥｎ−Ｆａｃｅ画像と切り替えて表示部２７０に表示させる。

ステップＳ１３０８では、実施例１に係るステップＳ５０５と同様に、画質向上部２２４が、ステップＳ１３０６で生成されたＯＣＴＡ画像に対して、学習済モデルを用いて画質向上処理を行い、高画質なＯＣＴＡ画像を生成する。ステップＳ１３０９では、表示制御部２５０が、生成された高画質なＯＣＴＡ画像を画質向上処理前のＯＣＴＡ画像と切り替えて表示部２７０に表示させる。

上記のように、本実施例に係る表示制御部２５０は、取得部２１０によるＯＣＴＡ画像の取得前に、被検眼の深さ方向における断層データに基づいて生成された正面画像である輝度のＥｎ−Ｆａｃｅ画像（第３の画像）を表示部２７０に表示させる。また、表示制御部２５０は、ＯＣＴＡ画像の取得直後に、表示されている輝度のＥｎ−Ｆａｃｅ画像をＯＣＴＡ画像に切り替えて表示部２７０に表示させる。さらに、表示制御部２５０は、画質向上部２２４によって高画質なＯＣＴＡ画像が生成された後に、表示されているＯＣＴＡ画像を高画質なＯＣＴＡ画像に切り替えて表示部２７０に表示させる。

これにより、操作者は撮影後ただちに被検眼の正面画像を確認することができ、撮影の成否をすぐに判断することができる。また、ＯＣＴＡ画像が生成された直後にＯＣＴＡ画像が表示されるため、操作者は、モーションコントラストデータを生成するための複数の三次元の断層情報が適切に取得されているか否かを早い段階で判断することができる。

なお、断層画像や輝度のＥｎ−Ｆａｃｅ画像等についても、画質向上処理を行う前の断層画像や輝度のＥｎ−Ｆａｃｅ画像等を表示することで、操作者は早い段階で撮影の成否を判断することができる。

本実施例では、輝度のＥｎ−Ｆａｃｅ画像の表示処理（ステップＳ１３０４）後にモーションコントラストデータの生成処理（ステップＳ１３０５）が開始されているが、モーションコントラストデータの生成処理のタイミングはこれに限られない。モーションコントラスト生成部２２２は、例えば、輝度のＥｎ−Ｆａｃｅ画像の生成処理（ステップＳ１３０３）や表示処理（ステップＳ１３０４）と並行して、モーションコントラストデータの生成処理を開始してもよい。同様に、画質向上部２２４は、ＯＣＴＡ画像の表示処理（ステップＳ１３０７）と並行して、画質向上処理（ステップＳ１３０８）を開始してもよい。

（実施例４）
実施例１では、画質向上処理前後のＯＣＴＡ画像を切り替えて表示する例について述べた。これに対し、実施例４では、画質向上処理前後の画像の比較を行う。

以下、図１４及び１５を参照して本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係るＯＣＴ装置の構成は、制御部を除いて実施例１に係るＯＣＴ装置１と同様であるため、図１に示す構成と同様の構成については、同一の参照符号を用いて示し、説明を省略する。以下、実施例１に係るＯＣＴ装置１との違いを中心に、本実施例に係るＯＣＴ装置について説明する。

図１４は、本実施例に係る制御部１４００の概略構成を示す。なお、本実施例に係る制御部１４００における画像処理部１４２０及び比較部１４２６以外の構成は実施例１に係る制御部２００の各構成と同様である。そのため、図２に示す構成と同様の構成については、同一の参照符号を用いて示し説明を省略する。

制御部１４００の画像処理部１４２０には、断層画像生成部２２１、モーションコントラスト生成部２２２、Ｅｎ−Ｆａｃｅ画像生成部２２３、及び画質向上部２２４に加えて、比較部１４２６が設けられている。

比較部１４２６は、画質向上部２２４によって画質向上処理が行われる前の画像（元の画像）と画質向上処理が行われた後の画像の比較を行う。より具体的には、比較部１４２６は、画質向上処理前後の画像を比較し、画質向上処理前後の画像の対応する画素位置における画素値の差分を算出する。

そして、比較部１４２６は、差分値の大小に応じて色付けされたカラーマップ画像を生成する。例えば、画質向上処理前の画像に対して、画質向上処理後の画像の画素値が大きくなっている場合には暖色（黄〜橙〜赤）系の色調を、画質向上処理後の画像の画素値が小さくなっている場合には寒色（黄緑〜緑〜青）系の色調を用いる。このような配色を用いることで、カラーマップ画像上において暖色系で示された箇所は、画質向上処理によって復元された（又は新たに生み出された）組織であることが容易に識別できる。同様に、カラーマップ画像上において寒色系で示された箇所は、画質向上処理で除去されたノイズ（又は消されてしまった組織）であることも容易に識別できる。

なお、当該カラーマップ画像の配色は一例である。例えば、画質向上処理前の画像における画素値に対する画質向上処理後の画像における画素値の大小に応じて異なる色調の配色を行う等、カラーマップ画像の配色は所望の構成に応じて任意に設定されてよい。

表示制御部２５０は、比較部１４２６によって生成されたカラーマップ画像を画質向上処理前の画像又は画質向上処理後の画像に重畳して、表示部２７０に表示させることができる。

次に、図１５を参照して本実施例に係る一連の画像処理について説明する。なお、ステップＳ１５０１乃至ステップＳ１５０５は、実施例１に係るステップＳ５０１乃至Ｓ５０５と同様であるため説明を省略する。ステップＳ１５０５において、画質向上部２２４により高画質なＯＣＴＡ画像が生成されたら、処理はステップＳ１５０６に移行する。

ステップＳ１５０６では、比較部１４２６が、ステップＳ１５０４で生成されたＯＣＴＡ画像とステップＳ１５０５で生成された高画質なＯＣＴＡ画像を比較して各画素値の差分を算出し、各画素値の差分に基づいてカラーマップ画像を生成する。なお、比較部１４２６は、高画質処理前後の画像における画素値の差分に代えて、高画質処理前後の画像における画素値の比や相関値など別の手法を用いて画像の比較を行い、比較結果に基づいてカラーマップ画像を生成してもよい。

ステップＳ１５０７では、表示制御部２５０が、カラーマップ画像を画質向上処理前の画像又は画質向上処理後の画像に重畳して、表示部２７０に表示させる。このとき、表示制御部２５０は、カラーマップ画像が重畳される画像を隠さないように、カラーマップについて透過度を設定して対象となる画像に重畳表示させることができる。

また、表示制御部２５０は、カラーマップ画像において、画質向上処理前後の画像の差が少ない（カラーマップ画像の画素値が低い）箇所の透過度を高く設定したり、差が所定値以下の箇所が完全に透明になるように透明度を設定したりしてもよい。このようにすることで、カラーマップ画像の下に表示された画像とカラーマップ画像の両方を良好に視認することができる。なお、カラーマップ画像の透明度については、比較部１４２６が透明度の設定を含んだカラーマップ画像を生成してもよい。

上記のように、本実施例に係る制御部１４００は、第１の画像と画質向上処理が行われた第２の画像を比較する比較部１４２６を備える。比較部１４２６は、第１の画像と第２画像の差分を算出し、該差分に基づいて色分けされたカラーマップ画像を生成する。表示制御部２５０は、比較部１４２６による比較結果に基づいて表示部２７０の表示を制御する。より具体的には、表示制御部２５０は、第１の画像又は第２の画像にカラーマップ画像を重畳して表示部２７０に表示させる。

これにより、画質向上処理前後の画像に重畳されたカラーマップ画像を観察することで、画質向上処理による画像の変化をより容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても、そのような組織をより容易に識別することができ、組織の真偽をより容易に判断することができる。また、操作者は、カラーマップ画像の配色に応じて、画質向上処理により新たに描出された箇所であるか、消された箇所であるかを容易に識別することができる。

なお、表示制御部２５０は、操作者の指示に応じてカラーマップ画像の重畳表示を有効にしたり、無効にしたりすることができる。このカラーマップ画像の重畳表示のオン／オフ操作は、表示部２７０に表示されている複数の画像に対して同時に適用するようにしてもよい。この場合、比較部１４２６は、対応する画質向上処理前後の画像毎にカラーマップ画像を生成し、表示制御部２５０は、カラーマップ画像を対応する画質向上処理前の画像又は画質向上処理後の画像に重畳表示させることができる。また、表示制御部２５０は、カラーマップ画像の表示の前に、画質向上処理前の画像や画質向上処理後の画像を表示部２７０に表示させてもよい。

なお、本実施例ではＯＣＴＡ画像を例に説明したが、断層画像や輝度のＥｎ−Ｆａｃｅ画像等について画質向上処理を行う場合についても同様の処理を行うことができる。また、本実施例に係る比較処理及びカラーマップの表示処理は、実施例２及び実施例３に係るＯＣＴ装置にも適用することができる。

（変形例４）
また、比較部１４２６が画質向上処理前後の画像の比較を行い、表示制御部２５０が比較部１４２６による比較結果に応じて、表示部２７０に警告を表示させてもよい。より具体的には、比較部１４２６が算出した、画質向上処理前後の画像における画素値の差分が所定値よりも大きい場合に、表示制御部２５０が表示部２７０に警告を表示させる。このような構成によれば、生成された高画質画像において、学習済モデルによって、現実には存在しない組織が生成されてしまったり、本来存在している組織が消されてしまったりした場合に、操作者に注意を促すことができる。なお、差分と所定値の比較は、比較部１４２６によって行われてもよいし、表示制御部２５０によって行われてもよい。また、差分に代えて差分の平均値等の統計的な値が所定値と比較されてもよい。

さらに、表示制御部２５０は、画質向上処理前後の画像の差分が所定値よりも大きい場合に、画質向上処理を行った後の画像の表示を表示部２７０に表示させないようにしてもよい。この場合には、生成された高画質画像において、学習済モデルによって、現実には存在しない組織が生成されてしまったり、本来存在している組織が消されてしまったりした場合に、当該高画質画像に基づく誤診断を抑制することができる。なお、差分と所定値の比較は、比較部１４２６によって行われてもよいし、表示制御部２５０によって行われてもよい。また、差分に代えて差分の平均値等の統計的な値が所定値と比較されてもよい。

（実施例５）
次に、図２０（ａ）及び（ｂ）を参照して、実施例５に係る画像処理装置（制御部２００）について説明する。本実施例では、画質向上部２２４での処理結果を表示制御部２５０が表示部２７０に表示を行う例について説明を行う。なお、本実施例では、図２０（ａ）及び（ｂ）を用いて説明を行うが表示画面はこれに限らない。経過観察のように、異なる日時で得た複数の画像を並べて表示する表示画面においても同様に高画質化処理（画質向上処理）は適用可能である。また、撮影確認画面のように、検者が撮影直後に撮影成否を確認する表示画面においても同様に高画質化処理は適用可能である。表示制御部２５０は、画質向上部２２４が生成した複数の高画質画像や高画質化を行っていない低画質画像を表示部２７０に表示させることができる。これにより、検者の指示に応じて低画質画像、高画質画像をそれぞれ出力することができる。

以下、図２０（ａ）及び（ｂ）を参照して、当該インターフェース３４００の一例を示す。３４００は画面全体、３４０１は患者タブ、３４０２は撮影タブ、３４０３はレポートタブ、３４０４は設定タブを表している。また、３４０３のレポートタブにおける斜線は、レポート画面のアクティブ状態を表している。本実施例においては、レポート画面を表示する例について説明をする。Ｉｍ３４０５はＳＬＯ画像、Ｉｍ３４０６は、Ｉｍ３４０７に示すＯＣＴＡのＥｎ−Ｆａｃｅ画像をＳＬＯ画像Ｉｍ３４０５に重畳表示している。ここでＳＬＯ画像とは、不図示のＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：走査型検眼鏡）光学系によって取得した眼底の正面画像である。Ｉｍ３４０７とＩｍ３４０８はＯＣＴＡのＥｎ−Ｆａｃｅ画像、Ｉｍ３４０９は輝度のＥｎ−Ｆａｃｅ画像、Ｉｍ３４１１とＩｍ３４１２は断層画像を示している。３４１３と３４１４は、それぞれＩｍ３４０７とＩｍ３４０８に示したＯＣＴＡのＥｎ−Ｆａｃｅ画像の上下範囲の境界線を断層画像に重畳表示している。ボタン３４２０は、高画質化処理の実行を指定するためのボタンである。もちろん、後述するように、ボタン３４２０は、高画質画像の表示を指示するためのボタンであってもよい。

本実施例において、高画質化処理の実行はボタン３４２０を指定して行うか、データベースに保存（記憶）されている情報に基づいて実行の有無を判断する。初めに、検者からの指示に応じてボタン３４２０を指定することで高画質画像の表示と低画質画像の表示を切り替える例について説明をする。なお、高画質化処理の対象画像はＯＣＴＡのＥｎ−Ｆａｃｅ画像として説明する。

検者がレポートタブ３４０３を指定してレポート画面に遷移した際には、低画質なＯＣＴＡのＥｎ−Ｆａｃｅ画像Ｉｍ３４０７とＩｍ３４０８を表示する。その後、検者がボタン３４２０を指定することで、画質向上部２２４は画面に表示している画像Ｉｍ３４０７とＩｍ３４０８に対して高画質化処理を実行する。高画質化処理が完了後、表示制御部２５０は画質向上部２２４が生成した高画質画像をレポート画面に表示する。なお、Ｉｍ３４０６は、Ｉｍ３４０７をＳＬＯ画像Ｉｍ３４０５に重畳表示しているものであるため、Ｉｍ３４０６も高画質化処理した画像を表示する。そして、ボタン３４２０の表示をアクティブ状態に変更し、高画質化処理を実行したことが分かるような表示をする。

ここで、画質向上部２２４における処理の実行は、検者がボタン３４２０を指定したタイミングに限る必要はない。レポート画面を開く際に表示するＯＣＴＡのＥｎ−Ｆａｃｅ画像Ｉｍ３４０７とＩｍ３４０８の種類は事前に分かっているため、レポート画面に遷移する際に高画質化処理の実行をしてもよい。そして、ボタン３４２０が押下されたタイミングで、表示制御部２５０が高画質画像をレポート画面に表示するようにしてもよい。さらに、検者からの指示に応じて、又はレポート画面に遷移する際に高画質化処理を行う画像の種類は２種類である必要はない。表示する可能性の高い画像、例えば、図１９で示すような表層（Ｉｍ２９１０）、深層（Ｉｍ２９２０）、外層（Ｉｍ２９３０）、及び脈絡膜血管網（Ｉｍ２９４０）などの複数のＯＣＴＡのＥｎ−Ｆａｃｅ画像に対して処理を行うようにしてもよい。この場合、高画質化処理を行った画像を一時的にメモリに記憶、あるいはデータベースに記憶しておくようにしてもよい。

次に、データベースに保存（記録）されている情報に基づいて高画質化処理を実行する場合について説明をする。データベースに高画質化処理の実行を行う状態が保存されている場合、レポート画面に遷移した際に、高画質化処理を実行して得た高画質画像をデフォルトで表示する。そして、ボタン３４２０がアクティブ状態としてデフォルトで表示されることで、検者に対しては高画質化処理を実行して得た高画質画像が表示されていることが分かるように構成することができる。検者は、高画質化処理前の低画質画像を表示したい場合には、ボタン３４２０を指定してアクティブ状態を解除することで、低画質画像を表示することができる。高画質画像に戻したい場合、検者はボタン３４２０を指定する。

データベースへの高画質化処理の実行有無は、データベースに保存されているデータ全体に対して共通、及び撮影データ毎（検査毎）など、階層別に指定するものとする。例えば、データベース全体に対して高画質化処理を実行する状態を保存してある場合において、個別の撮影データ（個別の検査）に対して、検者が高画質化処理を実行しない状態を保存した場合、その撮影データを次回表示する際には高画質化処理を実行しない状態で表示を行う。撮影データ毎（検査毎）に高画質化処理の実行状態を保存するために、不図示のユーザーインターフェース（例えば、保存ボタン）を用いてもよい。また、他の撮影データ（他の検査）や他の患者データに遷移（例えば、検者からの指示に応じてレポート画面以外の表示画面に変更）する際に、表示状態（例えば、ボタン３４２０の状態）に基づいて、高画質化処理の実行を行う状態が保存されるようにしてもよい。これにより、撮影データ単位（検査単位）で高画質化処理実行の有無が指定されていない場合、データベース全体に対して指定されている情報に基づいて処理を行い、撮影データ単位（検査単位）で指定されている場合には、その情報に基づいて個別に処理を実行することができる。

本実施例におけるＯＣＴＡのＥｎ−Ｆａｃｅ画像として、Ｉｍ３４０７とＩｍ３４０８を表示する例を示しているが、表示するＯＣＴＡのＥｎ−Ｆａｃｅ画像は検者の指定により変更することが可能である。そのため、高画質化処理の実行が指定されている時（ボタン３４２０がアクティブ状態）における画像の変更について説明をする。

画像の変更は、不図示のユーザーインターフェース（例えば、コンボボックス）を用いて変更を行う。例えば、検者が画像の種類を表層から脈絡膜血管網に変更した時に、画質向上部２２４は脈絡膜血管網画像に対して高画質化処理を実行し、表示制御部２５０は画質向上部２２４が生成した高画質な画像をレポート画面に表示する。すなわち、表示制御部２５０は、検者からの指示に応じて、第１の深度範囲の高画質画像の表示を、第１の深度範囲とは少なくとも一部が異なる第２の深度範囲の高画質画像の表示に変更してもよい。このとき、表示制御部２５０は、検者からの指示に応じて第１の深度範囲が第２の深度範囲に変更されることにより、第１の深度範囲の高画質画像の表示を、第２の深度範囲の高画質画像の表示に変更してもよい。なお、上述したようにレポート画面遷移時に表示する可能性の高い画像に対しては、既に高画質画像が生成済みである場合、表示制御部２５０は生成済みの高画質な画像を表示すればよい。

なお、画像の種類の変更方法は上記したものに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したＯＣＴＡのＥｎ−Ｆａｃｅ画像を生成することも可能である。その場合、基準となる層、あるいはオフセット値が変更された時に、画質向上部２２４は任意のＯＣＴＡのＥｎ−Ｆａｃｅ画像に対して高画質化処理を実行し、表示制御部２５０は高画質な画像をレポート画面に表示する。基準となる層やオフセット値の変更は、不図示のユーザーインターフェース（例えば、コンボボックスやテキストボックス）を用いて行われることができる。また、断層画像Ｉｍ３４１１とＩｍ３４１２に重畳表示している境界線３４１３と３４１４のいずれかをドラッグ（層境界を移動）することで、ＯＣＴＡのＥｎ−Ｆａｃｅ画像の生成範囲を変更することができる。

境界線をドラッグによって変更する場合、高画質化処理の実行命令が連続的に実施される。そのため、画質向上部２２４は実行命令に対して常に処理を行ってもよいし、ドラッグによる層境界の変更後に実行するようにしてもよい。あるいは、高画質化処理の実行は連続的に命令されるが、次の命令が来た時点で前回の命令をキャンセルし、最新の命令を実行するようにしてもよい。

なお、高画質化処理には比較的時間がかかる場合がある。このため、上述したどのようなタイミングで命令が実行されたとしても、高画質画像が表示されるまでに比較的時間がかかる場合がある。そこで、検者からの指示に応じてＯＣＴＡのＥｎ−Ｆａｃｅ画像を生成するための深度範囲が設定されてから、高画質画像が表示されるまでの間、該設定された深度範囲に対応するＯＣＴＡのＥｎ−Ｆａｃｅ画像（低画質画像）が表示されてもよい。すなわち、上記深度範囲が設定されると、該設定された深度範囲に対応するＯＣＴＡのＥｎ−Ｆａｃｅ画像（低画質画像）が表示され、高画質化処理が終了すると、該ＯＣＴＡのＥｎ−Ｆａｃｅ画像（該低画質画像）の表示が高画質画像の表示に変更されるように構成されてもよい。また、上記深度範囲が設定されてから、高画質画像が表示されるまでの間、高画質化処理が実行されていることを示す情報が表示されてもよい。なお、これらは、高画質化処理の実行が既に指定されている状態（ボタン３４２０がアクティブ状態）を前提とする場合だけでなく、例えば、検者からの指示に応じて高画質化処理の実行が指示された際に、高画質画像が表示されるまでの間においても、適用することが可能である。

本実施例では、ＯＣＴＡのＥｎ−Ｆａｃｅ画像として、Ｉｍ３４０７とＩｍ３４０８に異なる層を表示し、低画質と高画質な画像は切り替えて表示する例を示したが、これに限らない。例えば、Ｉｍ３４０７には低画質なＯＣＴＡのＥｎ−Ｆａｃｅ画像、Ｉｍ３４０８には高画質なＯＣＴＡのＥｎ−Ｆａｃｅ画像を並べて表示するようにしてもよい。画像を切り替えて表示する場合には、同じ場所で画像を切り替えるので変化がある部分の比較を行いやすく、並べて表示する場合には、同時に画像を表示することができるので画像全体を比較しやすい。

次に、図２０（ａ）と（ｂ）を用いて、画面遷移における高画質化処理の実行について説明を行う。図２０（ｂ）は、図２０（ａ）におけるＯＣＴＡのＥｎ−Ｆａｃｅ画像Ｉｍ３４０７を拡大表示した画面例である。図２０（ｂ）においても、図２０（ａ）と同様にボタン３４２０を表示する。図２０（ａ）から図２０（ｂ）への画面遷移は、例えば、ＯＣＴＡのＥｎ−Ｆａｃｅ画像Ｉｍ３４０７をダブルクリックすることで遷移し、図２０（ｂ）から図２０（ａ）へは閉じるボタン３４３０で遷移する。なお、画面遷移に関しては、ここで示した方法に限らず、不図示のユーザーインターフェースを用いてもよい。

画面遷移の際に高画質化処理の実行が指定されている場合（ボタン３４２０がアクティブ）、画面遷移時においてもその状態を保つ。すなわち、図２０（ａ）の画面で高画質画像を表示している状態で図２０（ｂ）の画面に遷移する場合、図２０（ｂ）の画面においても高画質画像を表示する。そして、ボタン３４２０はアクティブ状態にする。図２０（ｂ）から図２０（ａ）へ遷移する場合にも同様である。図２０（ｂ）において、ボタン３４２０を指定して低画質画像に表示を切り替えることもできる。

画面遷移に関して、ここで示した画面に限らず、経過観察用の表示画面、又はパノラマ用の表示画面など同じ撮影データを表示する画面への遷移であれば、高画質画像の表示状態を保ったまま遷移を行う。すなわち、遷移後の表示画面において、遷移前の表示画面におけるボタン３４２０の状態に対応する画像が表示される。例えば、遷移前の表示画面におけるボタン３４２０がアクティブ状態であれば、遷移後の表示画面において高画質画像が表示される。また、例えば、遷移前の表示画面におけるボタン３４２０のアクティブ状態が解除されていれば、遷移後の表示画面において低画質画像が表示される。なお、経過観察用の表示画面におけるボタン３４２０がアクティブ状態になると、経過観察用の表示画面に並べて表示される異なる日時（異なる検査日）で得た複数の画像が高画質画像に切り換わるようにしてもよい。すなわち、経過観察用の表示画面におけるボタン３４２０がアクティブ状態になると、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。

なお、経過観察用の表示画面の例を、図１８に示す。検者からの指示に応じてタブ３８０１が選択されると、図１８のように、経過観察用の表示画面が表示される。このとき、Ｅｎ−Ｆａｃｅ画像の深度範囲を、リストボックスに表示された既定の深度範囲セット（３８０２及び３８０３）から検者が選択することで変更できる。例えば、リストボックス３８０２では網膜表層が選択され、また、リストボックス３８０３では網膜深層が選択されている。上側の表示領域には網膜表層のＥｎ−Ｆａｃｅ画像の解析結果が表示され、また、下側の表示領域には網膜深層のＥｎ−Ｆａｃｅ画像の解析結果が表示されている。すなわち、深度範囲が選択されると、異なる日時の複数の画像について、選択された深度範囲の複数のＥｎ−Ｆａｃｅ画像の解析結果の並列表示に一括して変更される。

このとき、解析結果の表示を非選択状態にすると、異なる日時の複数のＥｎ−Ｆａｃｅ画像の並列表示に一括して変更されてもよい。そして、検者からの指示に応じてボタン３４２０が指定されると、複数のＥｎ−Ｆａｃｅ画像の表示が複数の高画質画像の表示に一括して変更される。

また、解析結果の表示が選択状態である場合には、検者からの指示に応じてボタン３４２０が指定されると、複数のＥｎ−Ｆａｃｅ画像の解析結果の表示が複数の高画質画像の解析結果の表示に一括して変更される。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。

また、深度範囲の指定に用いる層境界の種類とオフセット位置をそれぞれ、３８０５，３８０６のようなユーザーインターフェースから一括して変更することができる。なお、断層画像も一緒に表示させ、断層画像上に重畳された層境界データを検者からの指示に応じて移動させることにより、異なる日時の複数のＥｎ−Ｆａｃｅ画像の深度範囲を一括して変更されてもよい。このとき、異なる日時の複数の断層画像を並べて表示し、１つの断層画像上で上記移動が行われると、他の断層画像上でも同様に層境界データが移動されてもよい。

また、画像投影法やプロジェクションアーチファクト抑制処理の有無を、例えば、コンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。

また、選択ボタン３８０７を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択された画像が表示されてもよい。なお、図１８の上部に表示されている矢印３８０４は現在選択されている検査であることを示す印であり、基準検査（Ｂａｓｅｌｉｎｅ）はＦｏｌｌｏｗ−ｕｐ撮影の際に選択した検査（図１８の一番左側の画像）である。もちろん、基準検査を示すマークを表示部に表示させてもよい。

また、「Ｓｈｏｗ Ｄｉｆｆｅｒｅｎｃｅ」チェックボックス３８０８が指定された場合には、基準画像上に基準画像に対する計測値分布（マップもしくはセクタマップ）を表示する。さらに、この場合には、それ以外の検査日に対応する領域に基準画像に対して算出した計測値分布と当該領域に表示される画像に対して算出した計測分布との差分計測値マップを表示する。計測結果としては、レポート画面上にトレンドグラフ（経時変化計測によって得られた各検査日の画像に対する計測値のグラフ）を表示させてもよい。すなわち、異なる日時の複数の画像に対応する複数の解析結果の時系列データ（例えば、時系列グラフ）が表示されてもよい。このとき、表示されている複数の画像に対応する複数の日時以外の日時に関する解析結果についても、表示されている複数の画像に対応する複数の解析結果と判別可能な状態で（例えば、時系列グラフ上の各点の色が画像の表示の有無で異なる）時系列データとして表示させてもよい。また、該トレンドグラフの回帰直線（曲線）や対応する数式をレポート画面に表示させてもよい。

本実施例においては、ＯＣＴＡのＥｎ−Ｆａｃｅ画像に関して説明を行ったが、これに限らない。本実施例に係る表示、高画質化、及び画像解析等の処理に関する画像は、輝度のＥｎ−Ｆａｃｅ画像でもよい。さらには、Ｅｎ−Ｆａｃｅ画像だけではなく、断層画像やＳＬＯ画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。

このような構成により、本実施例に係る画質向上部２２４が処理した画像を表示制御部２５０が表示部２７０に表示することができる。このとき、上述したように、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つが選択された状態である場合には、表示画面が遷移されても、選択された状態が維持されてもよい。

また、上述したように、複数の条件のうち少なくとも１つが選択された状態である場合には、他の条件が選択された状態に変更されても、該少なくとも１つが選択された状態が維持されてもよい。例えば、表示制御部２５０は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、ボタン３４２０が指定されると）、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部２５０は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、ボタン３４２０の指定が解除されると）、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。

また、表示制御部２５０は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部２５０は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部２５０は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部２５０は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。

また、高画質画像の表示が非選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部２５０は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、低画質画像の第１の種類の解析結果の表示を低画質画像の第２の種類の解析結果の表示に変更してもよい。また、高画質画像の表示が選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部２５０は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、高画質画像の第１の種類の解析結果の表示を高画質画像の第２の種類の解析結果の表示に変更してもよい。

なお、経過観察用の表示画面においては、上述したように、これらの表示の変更が、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。

（変形例５）
上述した様々な実施例及び変形例において、表示制御部２５０は、画質向上部２２４によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部２７０に表示させることができる。また、表示制御部２５０は、検者からの指示に応じて、表示部２７０上の表示を撮影画像（入力画像）から高画質画像に切り替えてもよい。すなわち、表示制御部２５０は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。

さらに、画質向上部２２４が、高画質化エンジン（高画質化用の学習済モデル）による高画質化処理の開始（高画質化エンジンへの画像の入力）を検者からの指示に応じて実行し、表示制御部２５０が、画質向上部２２４によって生成された高画質画像を表示部２７０に表示させてもよい。これに対し、撮影装置（ＯＣＴ撮影部１００）によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、表示制御部２５０が、検者からの指示に応じて高画質画像を表示部２７０に表示させてもよい。ここで、高画質化エンジンとは、上述した画質向上処理（高画質化処理）を行う学習済モデルを含む。

なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、表示制御部２５０は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。もちろん、表示制御部２５０は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。

また、表示制御部２５０は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。

ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。

（変形例６）
上述した様々な実施例及び変形例におけるレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーチファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、シュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。

また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。また、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は輝度のＥｎ−Ｆａｃｅ画像に対応し、モーションコントラスト正面画像はＯＣＴＡのＥｎ−Ｆａｃｅ画像に対応する。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。

また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付けしたデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。

また、上述した様々な実施例及び変形例におけるレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位等の位置を画像上に表示されてもよいし、また、異常部位の状態等を文字等によって表示されてもよい。また、異常部位等の分類結果（例えば、カーティン分類）を診断結果として表示させてもよい。

なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。

また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付けしたデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果が表示されるように構成されてもよい。

また、上述した様々な実施例及び変形例におけるレポート画面において、上述したような注目部位、アーチファクト、異常部位等の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付けした学習データを学習して得た学習済モデルを用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。

また、上述した学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。

また、上述した学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元ＯＣＴ画像（三次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタスキャン）断層画像とをセットとする入力データ等も考えられる。

なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。

また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。

ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルであれば何でもよい。

また、高画質化エンジン（高画質化用の学習済モデル）は、高画質化エンジンにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。

（変形例７）
上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。

また、上述した学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成してもよい。

なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。

ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。

また、走査パターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化用の学習済モデルが用いられてもよい。

（変形例８）
上述した様々な実施例及び変形例においては、学習済モデルが追加学習中である場合、追加学習中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習中の学習済モデルに対する医用画像の入力を禁止することがよい。また、追加学習中の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習中には、予備の学習済モデルに対して医用画像の入力が実行できるようにすることがよい。そして、追加学習が完了した後に、追加学習後の学習済モデルを評価し、問題なければ、予備の学習済モデルから追加学習後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。

また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（肺、被検眼等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、制御部２００は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、制御部２００は、選択された学習済モデルに対して追加学習として実行する制御手段を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。

なお、選択手段及び制御手段は、制御部２００のＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。

また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。

（変形例９）
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル（音声認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル（文字認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル（ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。

また、検者からの指示は、モニタ上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、モニタ周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。

このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データ又は音声データ等を入力データとし、高画質画像の表示の実行命令及びボタン３４２０をアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。

ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｒｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図１６（ａ）及び（ｂ）を参照して説明する。また、ＲＮＮの一種であるＬｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図１７（ａ）及び（ｂ）を参照して説明する。

図１６（ａ）は、機械学習モデルであるＲＮＮの構造を示す。ＲＮＮ３５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘ^ｔ３５１０を入力し、データｈ^ｔ３５３０を出力する。ＲＮＮ３５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図１６（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘ^ｔ３５１０にはＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ３５２０より出力されるデータｈ^ｔ３５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。

しかし、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図１７（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ３５４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃ^ｔ−１と出力データｈ^ｔ−１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。

次に、図１７（ｂ）にＬＳＴＭ３５４０の詳細を示す。図１７（ｂ）において、ＦＧは忘却ゲートネットワーク、ＩＧは入力ゲートネットワーク、ＯＧは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。ＣＵは、セル更新候補ネットワークであり、活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。

なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。

（変形例１０）
上述した様々な実施例及び変形例において、高画質画像等は、検者からの指示に応じて記憶部に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。

また、レポート画面等の種々の表示画面において、表示部に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、ユーザは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。

このとき、レポート画面等の表示画面は、検者からの指示に応じて記憶部に保存されてもよい。例えば、高画質化画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部に保存されてもよい。

また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。

また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、高画質画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。

また、レポート画面の初期表示画面として、ボタン３４２０がアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、ボタン３４２０がアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ−Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されもよい。

（変形例１１）
上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）が生成されるように構成されてもよい。

また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第２の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。

また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似画像検索エンジン（類似画像検査モデル、類似画像検索用の学習済モデル）が用いられてもよい。

（変形例１２）
なお、上記実施例及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、ＯＣＴ撮影部１００で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。

分割手段としてカプラを使用したファイバ光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、ＯＣＴ撮影部１００の構成は、上記の構成に限られず、ＯＣＴ撮影部１００に含まれる構成の一部をＯＣＴ撮影部１００と別体の構成としてもよい。

また、上記実施例及び変形例では、ＯＣＴ撮影部１００の干渉光学系としてマッハツェンダー型干渉計の構成を用いているが、干渉光学系の構成はこれに限られない。例えば、ＯＣＴ装置１の干渉光学系はマイケルソン干渉計の構成を有していてもよい。

さらに、上記実施例及び変形例では、ＯＣＴ装置として、ＳＬＤを光源として用いたスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置について述べたが、本発明によるＯＣＴ装置の構成はこれに限られない。例えば、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置等の他の任意の種類のＯＣＴ装置にも本発明を適用することができる。また、ライン光を用いたＬｉｎｅ−ＯＣＴ装置に対して本発明を適用することもできる。

また、上記実施例及び変形例では、取得部２１０は、ＯＣＴ撮影部１００で取得された干渉信号や画像処理部２２０で生成された三次元断層画像等を取得した。しかしながら、取得部２１０がこれらの信号や画像を取得する構成はこれに限られない。例えば、取得部２１０は、制御部とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。

なお、学習済モデルは、画像処理装置である制御部２００，９００，１４００に設けられることができる。学習済モデルは、例えば、ＣＰＵ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、制御部２００，９００，１４００と接続される別のサーバ等に設けられてもよい。この場合には、制御部２００，９００，１４００は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて画質向上処理を行うことができる。

（変形例１３）
また、上述した様々な実施例及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施例及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。

さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。

また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（三次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ−Ｆａｃｅ画像を含む。Ｅｎ−Ｆａｃｅ画像は、三次元のＯＣＴＡデータ（三次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ−Ｆａｃｅ画像（モーションコントラスト正面画像）でもよい。また、三次元のＯＣＴデータや三次元のモーションコントラストデータは、三次元の医用画像データの一例である。

また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。

なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ−ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ−ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ−ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ−ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ−ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ−ＯＣＴ）装置等を含んでよい。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

２００：制御部（画像処理装置）、２２４：画質向上部、２５０：表示制御部

Claims (33)

1. 学習済モデルを用いて、被検眼の第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成する、画質向上部と、
   表示部に前記第１の画像と前記第２の画像とを切り替えて、並べて、又は重ねて表示させる表示制御部と、
   を備える、画像処理装置。
2. 複数の学習済モデルから、前記画質向上部によって用いられる学習済モデルを選択する選択部を更に備える、請求項１に記載の画像処理装置。
3. 前記第１の画像は、被検眼の深さ方向の範囲における情報に基づいて生成された正面画像であり、
   前記選択部は、前記第１の画像を生成するための深さ方向の範囲に基づいて、前記画質向上部によって用いられる学習済モデルを選択する、請求項２に記載の画像処理装置。
4. 前記選択部は、前記第１の画像における表示部位及び前記第１の画像を生成するための深さ方向の範囲に基づいて、前記画質向上部によって用いられる学習済モデルを選択する、請求項３に記載の画像処理装置。
5. 前記選択部は、前記表示部位を含む撮影部位及び前記第１の画像を生成するための深さ方向の範囲に基づいて、前記画質向上部によって用いられる学習済モデルを選択する、請求項４に記載の画像処理装置。
6. 前記選択部は、前記第１の画像の撮影条件に基づいて、前記画質向上部によって用いられる学習済モデルを選択する、請求項２に記載の画像処理装置。
7. 前記選択部は、操作者からの指示に応じて、前記画質向上部によって用いられる学習済モデルを選択する、請求項２に記載の画像処理装置。
8. 前記選択部は、操作者からの指示に応じて、前記画質向上部によって用いられる学習済モデルを変更する、請求項２乃至７のいずれか一項に記載の画像処理装置。
9. 前記表示制御部は、操作者からの指示に応じて、前記第１の画像及び前記第２の画像を切り替えて、前記表示部に表示させる、請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 学習済モデルを用いて、被検眼の第１の画像から、該第１の画像に対して画質向上処理を行った第２の画像を生成する、画質向上部と、
    操作者からの指示に応じて、表示部に前記第１の画像と前記第２の画像とを切り替えて表示させる表示制御部と、
    を備える、画像処理装置。
11. 前記画質向上部は、複数の前記第１の画像から、複数の前記第２の画像を生成し、
    前記表示制御部は、前記表示部に、前記複数の第１の画像と前記複数の第２の画像とを切り替えて表示させる、請求項１乃至１０のいずれか一項に記載の画像処理装置。
12. 前記第１の画像を取得する取得部を更に備え、
    前記表示制御部は、
    前記取得部による前記第１の画像の取得直後に前記表示部に前記第１の画像を表示させ、
    前記画質向上部によって前記第２の画像が生成された後に、表示されている前記第１の画像を前記第２の画像に切り替えて前記表示部に表示させる、請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 前記第１の画像は、被検眼の深さ方向の範囲におけるモーションコントラストデータに基づいて生成された正面画像であり、
    前記表示制御部は、
    前記取得部による前記第１の画像の取得前に、被検眼の深さ方向における断層データに基づいて生成された正面画像である第３の画像を表示し、
    前記取得部による前記第１の画像の取得直後に、表示されている前記第３の画像を前記第１の画像に切り替えて前記表示部に表示させる、請求項１２に記載の画像処理装置。
14. 前記第１の画像は、被検眼の深さ方向の範囲における情報に基づいて生成された正面画像であり、
    操作者からの指示に応じて第１の画像の前記深さ方向の範囲が変更されると、前記表示制御部は、前記表示部に並べて表示されている前記第１の画像と前記第２の画像を、前記変更された深さ方向の範囲に基づく第１の画像と該第１の画像から生成された第２の画像に変更して表示させる、請求項１乃至８のいずれか一項に記載の画像処理装置。
15. 前記表示制御部は、操作者からの指示に応じて、前記表示部に並べて表示されている前記第１の画像及び前記第２の画像のいずれかを拡大表示させる、請求項１乃至８及び１４のいずれか一項に記載の画像処理装置。
16. 前記表示制御部は、前記第１の画像及び前記第２の画像の少なくとも一方に透明度を設定し、前記表示部に前記第１の画像及び前記第２の画像を重ねて表示させる、請求項１乃至８のいずれか一項に記載の画像処理装置。
17. 学習済モデルを用いて、被検眼の深さ方向の範囲における情報に基づいて生成された正面画像である第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成する、画質向上部と、
    前記第１の画像を生成するための深さ方向の範囲に基づいて、複数の学習済モデルから、前記画質向上部によって用いられる学習済モデルを選択する選択部と、
    を備える、画像処理装置。
18. 前記第１の画像は、被検眼の輝度の正面画像及び被検眼の正面血管画像のいずれかである、請求項３乃至１２及び１４乃至１７のいずれか一項に記載の画像処理装置。
19. 前記第１の画像と前記第２の画像を比較し、比較結果に基づいて色付けされたカラーマップ画像を生成する比較部を更に備え、
    前記カラーマップ画像は、前記第１の画像又は前記第２の画像に重畳表示される、請求項１乃至１８のいずれか一項に記載の画像処理装置。
20. 学習済モデルを用いて、被検眼の第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成する、画質向上部と、
    前記第１の画像と前記第２の画像を比較する比較部と、
    前記比較部による比較結果に基づいて表示部の表示を制御する表示制御部と、
    を備える、画像処理装置。
21. 前記比較部は、前記第１の画像と前記第２の画像の差分を算出し、該差分に基づいて色分けされたカラーマップ画像を生成し、
    前記表示制御部は前記カラーマップ画像を前記表示部に表示させる、請求項２０に記載の画像処理装置。
22. 前記表示制御部は、前記第１の画像又は前記第２の画像に前記カラーマップ画像を重畳表示させる、請求項２１に記載の画像処理装置。
23. 前記表示制御部は、操作者の指示に応じて、前記第１の画像又は前記第２の画像に前記カラーマップ画像を重畳表示させる、請求項２１に記載の画像処理装置。
24. 前記表示制御部は、複数の前記第１の画像又は複数の前記第２の画像に対応する前記カラーマップ画像を重畳表示させる、請求項２１乃至２３のいずれか一項に記載の画像処理装置。
25. 前記比較部は前記第１の画像と前記第２の画像の差分を算出し、
    前記表示制御部は前記差分が所定の値よりも大きい場合に前記表示部に警告を表示させる、請求項２０に記載の画像処理装置。
26. 前記比較部は前記第１の画像と前記第２の画像の差分を算出し、
    前記表示制御部は、前記差分が所定の値よりも大きい場合には、前記表示部に前記第２の画像を表示させない、請求項２０に記載の画像処理装置。
27. 前記学習済モデルの学習データは、重ね合わせ処理、最大事後確率推定処理、平滑化フィルタ処理及び階調変換処理のうちの一つの処理により得られた画像を含む、請求項１乃至２６のいずれか一項に記載の画像処理装置。
28. 前記学習済モデルの学習データは、前記第１の画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は前記第１の画像の撮影工程よりも工数の多い撮影工程で取得された画像を含む、請求項１乃至２６のいずれか一項に記載の画像処理装置。
29. 学習済モデルを用いて、被検眼の第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成する工程と、
    表示部に前記第１の画像と前記第２の画像とを切り替えて、並べて、又は重ねて表示させる工程と、
    を含む、画像処理方法。
30. 学習済モデルを用いて、被検眼の第１の画像から、該第１の画像に対して画質向上処理を行った第２の画像を生成する工程と、
    操作者からの指示に応じて、表示部に前記第１の画像と前記第２の画像とを切り替えて表示させる工程と、
    を含む、画像処理方法。
31. 学習済モデルを用いて、被検眼の深さ方向の範囲における情報に基づいて生成された正面画像である第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調の うちの少なくとも一つがなされた第２の画像を生成する工程と、
    複数の学習済モデルから、前記第１の画像を生成するための深さ方向の範囲に基づいて、前記第２の画像の生成に用いられる学習済モデルを選択する工程と、
    を含む、画像処理方法。
32. 学習済モデルを用いて、被検眼の第１の画像から、該第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の画像を生成する工程と、
    前記第１の画像と前記第２の画像を比較する工程と、
    前記第１の画像と前記第２の画像の比較結果に基づいて表示部の表示を制御する工程と、
    を含む、画像処理方法。
33. プロセッサーによって実行されると、該プロセッサーに請求項２９乃至３２のいずれか一項に記載の画像処理方法の各工程を実行させる、プログラム。