JP2021079042A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 対象領域を容易に確認可能とする。【解決手段】 被検眼の３次元ボリュームデータの異なる深度範囲に対応した複数の正面画像を用いて、対象領域の存在を評価した評価を示す情報であって、複数の正面画像に対応する複数の情報を取得する評価部と、当該複数の情報を用いて、複数の正面画像のうち少なくとも一つを出力画像として決定する決定部とを備える、画像処理装置。【選択図】図５

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

光干渉断層血管撮影法（ＯＣＴＡ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ Ａｎｇｉｏｇｒａｐｈｙ）により、網膜の血管の形態を観察できることが知られている。特許文献１には、一般的なＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）及びＯＣＴＡの撮影装置とその光学系、モーションコントラストデータの生成方法、並びにモーションコントラストデータを所定の深度範囲で２次元平面に投影する技術に関して記載されている。

特開２０１８−８９１６０号公報

網膜や硝子体、脈絡膜を含む眼の構造的な特徴（血管を含む）を抽出するために、３次元のＯＣＴ画像又は３次元のＯＣＴＡ画像（モーションコントラスト画像）を所定の深度範囲内で投影し、２次元の正面画像を生成することがある。この際には、対象とする構造物に対して、構造物を抽出しやすい深度範囲について網膜層の特定の層を基準として定義し、その深度範囲で投影することが一般的である。

しかしながら、個人差、及び構造物の形態やその状態（病変の進行度合い）等によって、確認されるべき構造物等の対象領域の特徴が、画像上で確認できなかったり、鮮明に見えなかったりすることがあった。そこで、本発明の一実施態様では、対象領域を容易に確認可能とすることを目的の一つとする。

本発明の一実施態様に係る画像処理装置は、被検眼の３次元ボリュームデータの異なる深度範囲に対応した複数の正面画像を用いて、対象領域の存在を評価した評価を示す情報であって、前記複数の正面画像に対応する複数の情報を取得する評価部と、前記複数の情報を用いて、前記複数の正面画像のうち少なくとも一つを出力画像として決定する決定部とを備える。

本発明の一実施態様によれば、対象領域を容易に確認可能とすることができる。

実施例１に係るＯＣＴ装置の概略的な構成例を示す。 実施例１に係る画像処理装置の概略的な機能構成例を示す。 実施例１に係る画像生成部を説明するための図である。 実施例１に係るＧＵＩの一例を示す。 実施例１に係るＧＵＩの一例を示す。 実施例１に係るＧＵＩの一例を示す。 実施例１に係る一連の処理のフローチャートを示す。 実施例２に係る正面画像生成処理のフローチャートを示す。 実施例２に係る画像生成部を説明するための図である。 実施例２に係るニューラルネットワークと学習データを説明するための図である。 実施例２に係る正面画像生成処理のフローチャートを示す。 実施例２に係るＧＵＩの一例を示す。 実施例２に係るＧＵＩの一例を示す。 実施例２の変形例２に係るニューラルネットワークを説明するための図である。 実施例２の変形例２に係る学習データの一例を示す。 実施例３に係る画像生成部を説明するための図である。 実施例３に係る正面画像生成処理のフローチャートを示す。 実施例３の変形例１に係る正面画像生成処理のフローチャートである。 実施例３の変形例１に係る複数のＯＣＴＡ正面画像と複数の評価値の関係を説明するための図である。 実施例３の変形例１に係る表示すべきＯＣＴＡ正面画像と深度範囲を説明するための図である。 実施例３の変形例１に係る複数のＯＣＴＡ正面画像と複数の評価値の関係を説明するための図である。 実施例３の変形例１に係る表示すべきＯＣＴＡ正面画像と深度範囲を説明するための図である。 実施例３の変形例２に係る正面画像生成処理のフローチャートである。 実施例３の変形例３に係る正面画像生成処理のフローチャートである。 実施例４に係る篩状板の２次元画像と深度範囲を説明するための図である。 実施例４に係る深度範囲の設定方法を説明するための図である。 変形例３に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。 変形例３に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。

以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例及び変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。また、正解データとは、学習データ（教師データ）の出力データのことをいう。

なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。

なお、実施例１乃至３では、滲出性加齢黄斑変性症（ＡＭＤ：Ａｇｅ−ｒｅｌａｔｅｄ Ｍａｃｕｌａｒ Ｄｅｇｅｎｅｒａｔｉｏｎ）由来の新生血管（ＣＮＶ：Ｃｈｏｒｏｉｄａｌ Ｎｅｏｖａｓｃｕｌａｒｉｚａｔｉｏｎ）を確認するための正面画像を生成する場合の例に関して説明する。一方で、例えば、実施例４で説明する視神経乳頭部の篩状板や、実施例５で説明する脈絡膜の層（Ｓａｔｔｌｅｒ層、Ｈａｌｌｅｒ層）又は網膜血管の毛細血管瘤を確認するための正面画像を生成する場合にも本発明を適用可能である。

（実施例１）
以下、図１乃至８を参照して、本発明の実施例１に係る眼科装置、特に眼科医院等で使用される光干渉断層撮影装置（ＯＣＴ装置）の画像処理装置及び画像処理方法について説明する。以下、本実施例に係るＯＣＴＡを用いた新生血管（ＣＮＶ）の表示方法に関して説明する。

（ＯＣＴ光学系）
図１は本実施例に係るＯＣＴ装置の概略的な構成例を示す。本実施例に係るＯＣＴ装置には、光干渉部１００、走査光学系２００、画像処理装置３００、表示部３１０、ポインティングデバイス３２０、及びキーボード３２１が設けられている。光干渉部１００には、近赤外光を発光する低コヒーレンス光源１０１、光分岐部１０３、コリメート光学系１１１、分散補償光学系１１２、及び参照ミラー１１３が設けられている。さらに、光干渉部１００には、コリメート光学系１２２、回折格子１２３、結像レンズ１２４、及びラインセンサ１２５が設けられている。光源１０１から発光した光は、光ファイバ１０２ａを伝搬し、光分岐部１０３で測定光と参照光に分割される。光分岐部１０３により分割された測定光は、光ファイバ１０２ｂに入射され、走査光学系２００に導かれる。一方、光分岐部１０３により分割された参照光は、光ファイバ１０２ｃに入射され、参照ミラー１１３へ導かれる。なお、光分岐部１０３は、例えば、光ファイバカプラ等を用いて構成されてよい。

光ファイバ１０２ｃに入射した参照光はファイバ端から射出され、コリメート光学系１１１を介して、分散補償光学系１１２に入射し、参照ミラー１１３へと導かれる。参照ミラー１１３で反射した参照光は、光路を逆にたどり再び光ファイバ１０２ｃに入射する。分散補償光学系１１２は、走査光学系２００及び被測定物体である被検眼Ｅにおける光学系の分散を補正するものである。参照ミラー１１３は、不図示のモータ等を含む駆動部によって光軸方向に駆動可能なように構成されており、参照光の光路長を、測定光の光路長に対して相対的に変化させることができる。一方、光ファイバ１０２ｂに入射した測定光はファイバ端より射出され、走査光学系２００に入射される。これらの光源１０１、及び不図示の駆動部は画像処理装置３００の制御下で制御される。

次に走査光学系２００について説明する。走査光学系２００は被検眼Ｅに対して相対的に移動可能なように構成された光学系である。走査光学系２００、コリメート光学系２０２、走査部２０３、及びレンズ２０４が設けられている。走査光学系２００は、画像処理装置３００によって制御される不図示の駆動部により、被検眼Ｅの眼軸に対して前後上下左右方向に駆動可能なように構成される。画像処理装置３００は、不図示の駆動部を制御することで、被検眼Ｅに対して走査光学系２００をアライメントすることができる。

光ファイバ１０２ｂのファイバ端より射出した測定光は、コリメート光学系２０２により略平行化され、走査部２０３へ入射する。走査部２０３は、ミラー面を回転可能なガルバノミラーを２つ有し、一方は水平方向に光を偏向し、他方は垂直方向に光を偏向し、画像処理装置３００の制御下で入射した光を偏向する。これにより、走査部２０３は、紙面内の主走査方向と紙面垂直方向の副走査方向の２方向に、被検眼Ｅの眼底Ｅｒ上で測定光を走査することができる。なお、主走査方向及び副走査方向はこれに限られず、被検眼Ｅの深度方向と直交し、互いに交差する方向であればよい。また、走査部２０３は、任意の変更手段を用いて構成されてよく、例えば、１枚で２軸方向に光を偏向することができるＭＥＭＳミラー等を用いて構成されてもよい。

走査部２０３により走査された測定光は、レンズ２０４を経由して被検眼Ｅの眼底Ｅｒ上に、照明スポットを形成する。走査部２０３により面内偏向をうけると各照明スポットは被検眼Ｅの眼底Ｅｒ上を移動（走査）する。この照明スポット位置における反射光が光路を逆にたどり光ファイバ１０２ｂに入射して、光分岐部１０３まで戻る。

以上のように、参照ミラー１１３で反射された参照光及び被検眼Ｅの眼底Ｅｒで反射された測定光は、戻り光として光分岐部１０３に戻され、干渉して干渉光を発生させる。干渉光は光ファイバ１０２ｄを通過し、コリメート光学系１２２に射出された干渉光は、略平行化され、回折格子１２３に入射する。回折格子１２３には周期構造があり、入力した干渉光を分光する。分光された干渉光は、合焦状態を変更可能な結像レンズ１２４によりラインセンサ１２５に結像される。ラインセンサ１２５は、画像処理装置３００に接続されており、各センサ部に照射される光の強度に応じた信号を画像処理装置３００に出力する。

また、ＯＣＴ装置には、被検眼Ｅの眼底正面画像を撮影するための不図示の眼底カメラや走査型検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）の光学系等が設けられることができる。この場合、ＳＬＯ光学系の一部は、走査光学系２００の一部と共通の光路を有してもよい。

（画像処理装置）
図２は、画像処理装置３００の概略的な機能構成例を示す。図２に示すように、画像処理装置３００には、再構成部３０１、モーションコントラスト画像生成部３０２、層認識部３０３、画像生成部３０４、記憶部３０５、及び表示制御部３０６が設けられている。本実施例に係る画像処理装置３００は、スペクトラムドメイン（ＳＤ）方式を用いた光干渉部１００に接続されており、光干渉部１００のラインセンサ１２５の出力データを取得することができる。なお、画像処理装置３００は、不図示の外部装置に接続され、外部装置から被検眼の干渉信号や断層画像等を取得してもよい。

再構成部３０１は、取得したラインセンサ１２５の出力データ（干渉信号）を波数変換し、フーリエ変換することで被検眼Ｅの断層データを生成する。ここで、断層データとは、被検体の断層に関する情報を含むデータであり、ＯＣＴによる干渉信号にフーリエ変換を施した信号、及び該信号に任意の処理を施した信号等を含むものをいう。また、再構成部３０１は、断層データとして、干渉信号に基づいて断層画像を生成することもできる。なお、再構成部３０１は画像処理装置３００が外部装置から取得した被検眼の干渉信号に基づいて断層データを生成してもよい。なお、本実施例に係るＯＣＴ装置は、ＳＤ方式の光干渉部１００を備えているが、タイムドメイン（ＴＤ）方式や波長掃引（ＳＳ）方式の光干渉部を備えてもよい。

モーションコントラスト画像生成部３０２は、複数の断層データからモーションコントラストデータを生成する。モーションコントラストデータの生成方法については後述する。なお、モーションコントラスト画像生成部３０２は、複数の３次元の断層データから３次元のモーションコントラストデータを生成することができる。なお、以下において、３次元の断層データや３次元のモーションコントラストデータを総称して、３次元ボリュームデータという。

層認識部３０３は、生成された被検眼Ｅの断層データを解析し、網膜層における任意の層構造を特定するためのセグメンテーションを実施する。セグメンテーションされた結果は、後述するようにＯＣＴＡ正面画像を生成する際の投影範囲の基準となる。例えば、層認識部３０３が検出する層境界線形状は、ＩＬＭ、ＮＦＬ／ＧＣＬ、ＧＣＬ／ＩＰＬ、ＩＰＬ／ＩＮＬ、ＩＮＬ／ＯＰＬ、ＯＰＬ／ＯＮＬ、ＩＳ／ＯＳ、ＯＳ／ＲＰＥ、ＲＰＥ／Ｃｈｏｒｏｉｄ、及びＢＭの１０種類である。なお、層認識部３０３が検出する対象物はこれに限られず、被検眼Ｅに含まれる任意の構造であってよい。なお、セグメンテーションの方法は、公知の任意の方法を用いてよい。

画像生成部３０４は、生成された断層データやモーションコントラストデータから表示用の画像を生成する。画像生成部３０４は、例えば、３次元の断層データを２次元平面に投影又は積算した輝度のＥｎ−Ｆａｃｅ画像や３次元のモーションコントラストデータを２次元平面に投影又は積算したＯＣＴＡ正面画像を生成することができる。表示制御部３０６は、生成された表示用の画像を表示部３１０へ出力する。記憶部３０５は、再構成部３０１で生成された断層データやモーションコントラストデータ、画像生成部３０４で生成された表示用の画像、複数の深度範囲の定義、デフォルトで適用される定義等を記憶することができる。画像生成部３０４は、記憶部３０５から取得した深度範囲に従ってＯＣＴＡ正面画像や輝度のＥｎ−Ｆａｃｅ画像を生成することができる。なお、ＯＣＴＡ正面画像等の生成方法については後述する。また、記憶部３０５は、各部を実現するためにソフトウェア等を含んでもよい。なお、画像生成部３０４は、不図示の眼底カメラやＳＬＯ光学系から取得した信号に基づいて眼底正面画像を生成することもできる。

また、画像処理装置３００には、表示部３１０、ポインティングデバイス３２０及びキーボード３２１が接続されている。表示部３１０は、任意のモニタを用いて構成することができる。

ポインティングデバイス３２０は、回転式ホイールとボタンを備えたマウスであり、表示部３１０上の任意の位置を指定することができる。なお、本実施例ではポインティングデバイスとしてマウスを使用しているが、ジョイスティック、タッチパッド、トラックボール、タッチパネル、又はスタイラスペン等の任意のポインティングデバイスを用いてもよい。

このように、本実施例に係るＯＣＴ装置は、光干渉部１００、走査光学系２００、及び画像処理装置３００、表示部３１０、ポインティングデバイス３２０、及びキーボード３２１を用いて構成される。なお、本実施例では、光干渉部１００、走査光学系２００、画像処理装置３００、表示部３１０、ポインティングデバイス３２０、及びキーボード３２１は、それぞれ別個の構成としているが、これらのうちの全て又は一部を一体的に構成してもよい。例えば、表示部３１０及びポインティングデバイス３２０を、タッチパネルディスプレイとして一体的に構成してもよい。同様に、不図示の眼底カメラやＳＬＯ光学系も別個の装置として構成されてもよい。

画像処理装置３００は、例えば汎用のコンピュータを用いて構成されてよい。なお、画像処理装置３００は、ＯＣＴ装置の専用のコンピュータを用いて構成されてもよい。画像処理装置３００は、不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及び光学ディスクやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリを含む記憶媒体を備えている。画像処理装置３００の記憶部３０５以外の各構成要素は、ＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。記憶部３０５は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。

なお、画像処理装置３００が備えるＣＰＵ等のプロセッサー及びＲＯＭ等の記憶媒体は一つであってもよいし複数であってもよい。そのため、画像処理装置３００の各構成要素は、少なくとも一以上のプロセッサーと少なくとも一つの記憶媒体とが接続され、少なくとも一以上のプロセッサーが少なくとも１以上の記憶媒体に記憶されたプログラムを実行した場合に機能するように構成されてもよい。なお、プロセッサーはＣＰＵやＭＰＵに限定されるものではなく、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等であってもよい。また、画像処理装置３００の各構成要素は、各々が別個の装置により実現されてもよい。

（断層画像撮影の制御方法）
次に、本実施例に係るＯＣＴ装置を用いて、被検眼Ｅの断層画像を撮影するための制御方法について述べる。

まず、検者は走査光学系２００の前に被検者である患者を着座させ、アライメントや患者情報等を入力した後にＯＣＴ撮影を開始する。光源１０１から射出した光は、光ファイバ１０２ａを通過し光分岐部１０３にて被検眼Ｅに向かう測定光と参照ミラー１１３に向かう参照光に分けられる。

被検眼Ｅに向かう測定光は、光ファイバ１０２ｂを通過しファイバ端から射出され、コリメート光学系２０２により略平行化され、走査部２０３へ入射する。走査部２０３はガルバノミラーを有し、該ミラーにより偏向された測定光はレンズ２０４を経由して被検眼Ｅを照射される。そして、被検眼Ｅで反射した反射光は経路を逆にたどって光分岐部１０３へと戻される。

一方、参照ミラー１１３に向かう参照光は、光ファイバ１０２ｃを通過しファイバ端から射出され、コリメート光学系１１１及び分散補償光学系１１２を通して参照ミラー１１３に到達する。参照ミラー１１３で反射された参照光は、経路を逆にたどって光分岐部１０３へと戻される。

光分岐部１０３に戻ってきた測定光と参照光は相互に干渉し、干渉光となって光ファイバ１０２ｄへと入射し、コリメート光学系１２２により略平行化され回折格子１２３に入射する。回折格子１２３に入力された干渉光は結像レンズ１２４によってラインセンサ１２５に結像する。これにより、ラインセンサ１２５を用いて、被検眼Ｅ上の一点における干渉信号を得ることができる。

ラインセンサ１２５で取得された干渉信号は、画像処理装置３００に出力される。ラインセンサ１２５から出力される干渉信号は、１２ビットの整数形式のデータである。再構成部３０１は、この１２ビットの整数形式のデータに対して波数変換、高速フーリエ変換（ＦＦＴ）、絶対値変換（振幅の取得）を行い、被検眼Ｅ上の一点における深さ方向の断層データを生成する。なお、干渉信号のデータ形式等は、所望の構成に応じて任意に設定されてよい。

被検眼Ｅ上の一点における干渉信号を取得した後、走査部２０３はガルバノミラーを駆動し、被検眼Ｅ上の隣接する一点に測定光を走査する。ラインセンサ１２５は当該測定光に基づく干渉光を検出し、干渉信号を取得する。再構成部３０１は、当該隣接する一点の干渉信号に基づいて、被検眼Ｅ上の当該隣接する一点における深度方向の断層データを生成する。この一連の制御を繰り返すことにより、被検眼Ｅの一つの横断方向（主走査方向）における一枚の断層画像に関する断層データ（２次元断層データ）を生成することができる。

さらに、走査部２０３はガルバノミラーを駆動し、被検眼Ｅの同一箇所（同一の走査ライン）を複数回走査して被検眼Ｅの同一箇所における複数の断層データ（２次元断層データ）を取得する。また、走査部２０３は、ガルバノミラーを駆動して測定光を主走査方向に直交する副走査方向に微小に移動させ、被検眼Ｅの別の個所（隣接する走査ライン）における複数の断層データ（２次元断層データ）を取得する。この制御を繰り返すことにより、被検眼Ｅの所定範囲における複数の３次元の断層画像に関する断層データ（３次元断層データ）を取得することができる。

なお、上記ではラインセンサ１２５から得られた一組の干渉信号をＦＦＴ処理することで被検眼Ｅの一点における一つの断層データを取得している。しかしながら、干渉信号を複数の組に分割し、分割されたそれぞれの干渉信号に対してＦＦＴ処理を行って、一つの干渉信号から複数の断層データを取得するように構成することもできる。この方法によれば実際に被検眼Ｅの同一箇所を走査した回数よりも多くの断層データを取得することができる。

（モーションコントラストデータ生成）
次に、画像処理装置３００において、断層データからモーションコントラストデータを生成する方法について説明する。

再構成部３０１で生成された複素数形式の断層データは、モーションコントラスト画像生成部３０２へ出力される。まず、モーションコントラスト画像生成部３０２は、被検眼Ｅの同一箇所における複数の断層データ（２次元断層データ）の位置ずれを補正する。なお、位置ずれの補正方法は公知の任意の手法を用いてよく、例えば、基準となる断層データをテンプレートとして選択し、テンプレートとのずれ量を各断層データに関する位置ずれ量として取得してもよい。

モーションコントラスト画像生成部３０２は、位置ずれが補正された二つの２次元断層データ間で以下の式（１）により脱相関値を求める。

ここで、Ａｘｚは断層データＡの位置（ｘ，ｚ）における振幅、Ｂｘｚは断層データＢの同一位置（ｘ，ｚ）における振幅を示している。結果として得られる脱相関値Ｍｘｚは０から１までの値を取り、二つの振幅値の差異が大きいほど１に近い値となる。

モーションコントラスト画像生成部３０２は、取得した断層データの枚数分だけ上記の脱相関演算を繰り返すことによって複数の脱相関値を求め、該複数の脱相関値の平均値を求めることで最終的なモーションコントラストデータを取得する。モーションコントラスト画像生成部３０２は、取得したモーションコントラストデータを対応する画素位置に配置することでモーションコントラスト画像を生成することができる。ここではＦＦＴ後の複素数データの振幅に基づいてモーションコントラストデータを求めたが、モーションコントラストデータの求め方は上記方法に限られるものではない。複素数データの位相情報に基づいてモーションコントラストデータを求めてもよいし、振幅と位相の両方の情報に基づいてモーションコントラストデータを求めてもよい。また、複素数データの実部や虚部に基づいてモーションコントラストデータを求めることもできる。また、モーションコントラスト画像生成部３０２は、２次元の断層画像の各画素値について同様の処理を行い、モーションコントラストデータを求めてもよい。

また、上記の方法では二つの値の脱相関値を演算することによってモーションコントラストデータを取得したが、二つの値の差分に基づいてモーションコントラストデータを求めてもよいし、二つの値の比に基づいてモーションコントラストデータを求めてもよい。また、断層データの分散値に基づいてモーションコントラストデータを求めてもよい。さらに、上記では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラストデータを得ているが、複数の脱相関値や差分、比の最大値や中央値等を最終的なモーションコントラストデータとしてもよい。なお、モーションコントラストデータを取得する際に用いる二つの断層データは、所定の時間間隔で取得されたデータであってよい。

（ＯＣＴＡ正面画像の生成）
次に、画像処理装置３００において、ＯＣＴＡ正面画像を生成するための深度範囲を定義する手順について説明する。

ＯＣＴＡ正面画像は、３次元のモーションコントラスト画像（３次元モーションコントラストデータ）を任意の深度範囲で２次元平面に投影又は積算した正面画像である。深度範囲は任意に設定できるが、一般的には、網膜から脈絡側に向かって、網膜浅層（Ｓｕｐｅｒｆｉｃｉａｌ Ｃａｐｉｌｌａｒｙ）、網膜深層（Ｄｅｅｐ Ｃａｐｉｌｌａｒｙ）、網膜外層（Ｏｕｔｅｒ Ｒｅｔｉｎａ）、放射状乳頭周囲毛細血管（ＲＰＣ：Ｒａｄｉａｌ Ｐｅｒｉｐａｐｉｌｌａｒｙ Ｃａｐｉｌｌａｒｉｅｓ）、脈絡膜毛細血管板（Ｃｈｏｒｉｏｃａｐｉｌｌａｒｉｓ）、及び強膜篩状板（Ｌａｍｉｎａ Ｃｒｉｂｒｏｓａ）などの深度範囲が定義される。

それぞれの定義は、網膜の層境界に対して定義されており、例えば網膜浅層（Ｓｕｐｅｒｆｉｃｉａｌ Ｃａｐｉｌｌａｒｙ）は、ＩＬＭ＋０μｍ〜ＧＣＬ/ＩＰＬ＋５０μｍとして定義される。ここで、ＧＣＬ/ＩＰＬとはＧＣＬ層とＩＰＬ層の境界を意味する。また、以下において、＋５０μｍや−１００μｍ等のオフセット量は、正の値は脈絡膜側へシフトすることを意味し、負の値は瞳側へシフトすることを意味する。

滲出性加齢黄斑変性の新生血管を確認する際には、深度範囲として網膜外層や脈絡膜毛細血管板が使用されることが多い。網膜外層はＯＰＬ／ＯＮＬ＋０μｍ〜ＲＰＥ／Ｃｈｏｒｏｉｄ＋０μｍとして定義されることが多いが、後述するように、ＣＮＶの大きさや発生箇所（深度位置）などによって、当該深度範囲は調整することができる。

なお、深度範囲に対応するデータを２次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を２次元平面上の画素値とする手法を用いることができる。ここで、代表値は、深度範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。

また、輝度のＥｎ−Ｆａｃｅ画像とは、３次元の断層画像を任意の深度範囲で２次元平面に投影又は積算した正面画像である。輝度のＥｎ−Ｆａｃｅ画像は、３次元のモーションコントラスト画像に代えて３次元の断層画像を用いることで、ＯＣＴＡ正面画像と同様の方法で生成されてよい。また、輝度のＥｎ−Ｆａｃｅ画像は３次元断層データを用いて生成されてもよい。

また、ＯＣＴＡ正面画像やＥｎ−Ｆａｃｅ画像に関する深度範囲は、３次元ボリュームデータのうちの、２次元断層データ（又は２次元の断層画像）についてのセグメンテーション処理により検出された網膜層に基づいて決定されることができる。また、当該深度範囲は、これらセグメンテーション処理によって検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。

また、深度範囲は、所望の構成に応じて変更できるように構成されてもよい。例えば、深度範囲は、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲とすることもできる。この際、操作者は、例えば、断層画像上に重畳された、深度範囲の上限又は下限を示す指標を移動させる等により、深度範囲を変更することができる。

（画像生成部）
図３は画像生成部３０４を説明するための図である。画像生成部３０４には、投影範囲制御部３４１と正面画像生成部３４２が含まれる。投影範囲制御部３４１は、モーションコントラスト画像生成部３０２によって生成されたモーションコントラスト画像と、層認識部３０３による層認識結果と、記憶部３０５に記憶されている深度範囲とに基づいて、正面画像の生成に用いる３次元モーションコントラストデータを特定する。正面画像生成部３４２は、投影範囲制御部３４１によって特定されたモーションコントラストデータを２次元平面に投影又は積算し、ＯＣＴＡ正面画像を生成する。

なお、同様に、投影範囲制御部３４１は、３次元の断層画像（３次元断層データ）と、層認識結果と、深度範囲に基づいて、輝度のＥｎ−Ｆａｃｅ画像の生成に用いる３次元断層データを特定することができる。この場合、正面画像生成部３４２は、投影範囲制御部３４１によって特定された断層データを２次元平面に投影又は積算し、輝度のＥｎ−Ｆａｃｅ画像を生成することができる。

（レポート画面）
図４は、画像生成部３０４によって生成されたＯＣＴＡ正面画像を含む画像を表示するためのＧＵＩ４００の一例を示す。ＧＵＩ４００には、画面選択用のタブ４０１が示されており、図４に示す例ではレポート画面（Ｒｅｐｏｒｔタブ）が選択されている。なお、ＧＵＩ４００には、レポートタブ以外に、患者を選択するための患者画面(Ｐａｔｉｅｎｔタブ)や、撮影を行うための撮影画面（ＯＣＴ Ｃａｐｔｕｒｅタブ）等が含まれてよい。

レポート画面の左手には検査セレクタ４０８が設けられ、右手には表示エリアが設けられている。検査セレクタ４０８には現在選択されている患者のこれまで行った検査一覧が表示されており、そのうち一つが選択されると、表示制御部３０６は、レポート画面の右手の表示エリアに検査結果を表示させる。

表示エリアには、不図示のＳＬＯ光学系を用いて生成されたＳＬＯ画像４０６が示され、ＳＬＯ画像４０６上にはＯＣＴＡ正面画像が重畳して表示されている。また、表示エリアには、第一のＯＣＴＡ正面画像４０２、第一の断層画像４０３、輝度のＥｎ−Ｆａｃｅ画像４０７、第二のＯＣＴＡ正面画像４０４、及び第二の断層画像４０５が表示されている。Ｅｎ−Ｆａｃｅ画像４０７の上部にはプルダウンが設けられており、ＥｎｆａｃｅＩｍａｇｅ１が選択されている。これはＥｎ−Ｆａｃｅ画像の深度範囲がＯＣＴＡＩｍａｇｅ１（第一のＯＣＴＡ正面画像４０２）の深度範囲と同じであることを意味する。操作者は当該プルダウンの操作により、Ｅｎ−Ｆａｃｅ画像の深度範囲をＯＣＴＡＩｍａｇｅ２（第二のＯＣＴＡ正面画像４０４）の深度範囲等と同じにすることができる。

第一の断層画像４０３上には、第一のＯＣＴＡ正面画像４０２を生成した際の深度範囲が破線で示されている。ＧＵＩ４００の例では、第一のＯＣＴＡ正面画像４０２の深度範囲は網膜浅層（ＳＣＰ：Ｓｕｐｅｒｆｉｃｉａｌ Ｃａｐｉｌｌａｒｙ）である。また、第二のＯＣＴＡ正面画像４０４は、第一のＯＣＴＡ正面画像４０２とは異なる深度範囲のデータを用いて生成された画像となっている。第二の断層画像４０５上には、第二のＯＣＴＡ正面画像４０４を生成した際の深度範囲が破線で示されている。ここで、第二のＯＣＴＡ正面画像４０４の深度範囲はＣＮＶとなっており、この例ではＯＰＬ/ＯＮＬ＋５０μｍ〜ＢＭ＋１０μｍの範囲とされている。

なお、第一のＯＣＴＡ正面画像４０２及び第二のＯＣＴＡ正面画像４０４の深度範囲は、これら画像の上部に設けられたプルダウンの操作に応じて設定されることができる。また、これら深度範囲は、予め設定されていてもよいし、操作者の操作に応じて設定されてもよい。ここで、画像生成部３０４は、当該設定に基づいて下記の抽出処理の対象となる抽出対象（対象領域）を指定する対象指定部として機能することができる。なお、ＯＣＴＡ正面画像の深度範囲を設定するためのプルダウンには、上述した網膜浅層等の層毎の深度範囲だけでなく、ＣＮＶ等の下記の処理で抽出が望まれる異常部位等に対応する範囲が含まれてよい。

本実施例では、操作者が第二のＯＣＴＡ正面画像４０４をダブルクリックすると、表示制御部３０６は、図４に示すＧＵＩ４００から図５に示すＧＵＩ５００へと表示部３１０に表示させる画面を切り替える。ＧＵＩ５００には、４つの異なる深度範囲の設定に対して、ＯＣＴＡ正面画像５０１，５０５，５０９，５１３と、それに対応する断層画像５０３，５０７，５１１，５１５、及び深度範囲５０２，５０６，５１０，５１４とが表示されている。

これに関連して、画像生成部３０４は、第二のＯＣＴＡ正面画像４０４の深度範囲に対応するＣＮＶを抽出対象（対象領域）として指定する。画像生成部３０４は、抽出対象として指定されたＣＮＶ用に記憶部３０５に予め記憶されている４つの深度範囲５０２，５０６，５１０，５１４に基づいて、対応するＯＣＴＡ正面画像５０１，５０５，５０９，５１３を生成する。表示制御部３０６は、生成されたＯＣＴＡ正面画像５０１，５０５，５０９，５１３、対応する断層画像５０３，５０７，５１１，５１５、及び深度範囲５０２，５０６，５１０，５１４を表示部３１０に表示させる。

この例では、一番左の画像（ＯＣＴＡ正面画像５０１）に関する深度範囲５０２として、タイプ１のＣＮＶを想定した深度範囲が設定されており、ＢＭ＋０μｍ〜ＢＭ＋２０μｍとなっている。ここで、タイプ１のＣＮＶとは、ＲＰＥ／Ｃｈｏｒｏｉｄよりも下にあるＣＮＶをいう。

左から２つ目の画像（ＯＣＴＡ正面画像５０５）に関する深度範囲５０６は、ＢＭよりも少し上にある非常に小さなＣＮＶを想定した深度範囲であり、ＢＭ−２０μｍ〜ＢＭ＋０μｍとなっている。左から３番目の画像（ＯＣＴＡ正面画像５０９）に関する深度範囲５１０は、ＢＭより上に発生した大きなＣＮＶを想定した深度範囲であり、ＢＭ−１００μｍ〜ＢＭ＋０μｍとなっている。左から４番目の画像（ＯＣＴＡ正面画像５１３）に関する深度範囲５１４は網膜外層全域をカバーする深度範囲であり、かなり大きなＣＮＶを想定した深度範囲（ＯＰＬ＋５０μｍ〜ＢＭ＋１０μｍ）となっている。

ＧＵＩ５００の下部には選択ボタン５０４，５０８，５１２，５１６が表示されており、操作者は当該選択ボタンを選択することで、診断等に用いるのに好ましいＯＣＴＡ正面画像（表示すべき正面画像）を表示されているＯＣＴＡ正面画像から選択できる。

実施例では、操作者が選択ボタン５１２を押下したとすると、表示制御部３０６は、表示部３１０に表示する画面を、図６に示すレポート画面のＧＵＩ６００に切り替える。ＧＵＩ６００は、ＧＵＩ４００と同様のものであるが、第二のＯＣＴＡ正面画像４０４及び第二の断層画像４０５が、操作者が選択した条件に基づくＯＣＴＡ正面画像５０９及びＯＣＴＡ正面画像５０９に関する深度範囲を示す断層画像５１１に切り替わっている。

このように本実施例では、抽出対象に応じた複数の深度範囲に関するＯＣＴＡ正面画像を操作者に提供し、操作者が好ましい画像を選択することにより、最適な深度範囲に対するＯＣＴＡ正面画像を表示することができる。これにより、病変の見落としのリスクが低減できたり、医師や検査技師が、画質調整などの追加作業が減少できたりすることができる。

次に、図７及び図８を参照して、本実施例に係る一連の処理について説明する。図７は、本実施例に係る一連の処理のフローチャートであり、図８は本実施例に係る正面画像生成処理のフローチャートである。一連の処理が開始されると、まずステップＳ７０１において、画像処理装置３００は光干渉部１００のラインセンサ１２５から被検眼Ｅに関する３次元の干渉信号を取得し、再構成部３０１により３次元断層データを生成・取得する。この際、再構成部３０１は３次元断層データに基づいて、３次元の断層画像を生成することもできる。なお、画像処理装置３００は、接続される不図示の外部装置から被検眼Ｅに関する３次元の干渉信号や３次元干渉データ、３次元の断層画像等を取得してもよい。

再構成部３０１により３次元断層データが生成されると、モーションコントラスト画像生成部３０２が３次元断層データに基づいて３次元モーションコントラストデータ（３次元モーションコントラスト画像）を生成する。

次に、ステップＳ７０２において、画像生成部３０４が予めの設定又は操作者の指示に応じて、抽出対象（対象領域）を指定する。この際には、層認識部３０３が３次元断層データに対しセグメンテーションを行って層認識結果を取得することができる。また、画像生成部３０４は、３次元ボリュームデータや層認識結果、所定の深度範囲の設定等に基づいて、第一のＯＣＴＡ正面画像４０２等を生成し、表示制御部３０６がＧＵＩ４００を表示部３１０に表示させてもよい。この場合には、操作者は、ＯＣＴＡ正面画像に関するプルダウン等を操作して、抽出対象に関する指示を入力することができる。抽出対象が指定されると、処理はステップＳ７０３に移行する。

ステップＳ７０３では、画像生成部３０４が本実施例に係る正面画像生成処理を開始する。本実施例に係る正面画像生成処理では、まずステップＳ８０１において、画像生成部３０４は、指定された抽出対象に対応する、記憶部３０５に記憶されている複数の深度範囲を特定する。また、画像生成部３０４の投影範囲制御部３４１は、特定した複数の深度範囲、３次元モーションコントラストデータ、層認識結果に基づいて、ＯＣＴＡ正面画像の生成に用いる３次元のモーションコントラストデータを特定する。正面画像生成部３４２は、特定された３次元モーションコントラストデータに基づいて、複数の深度範囲に対応する複数のＯＣＴＡ正面画像を生成する。

ステップＳ８０２では、表示制御部３０６が、生成された複数のＯＣＴＡ正面画像を表示部３１０に表示させる。この際、表示制御部３０６は、生成された複数のＯＣＴＡ正面画像とともに、対応する深度範囲に関する情報を表示部３１０に表示させることができる。ここで、対応する深度範囲に関する情報は、深度範囲を示す数値情報であってもよいし、断層画像上に深度範囲を示される破線等であってもよいし、その両方であってもよい。

ステップＳ８０３では、操作者が表示部３１０に表示された複数のＯＣＴＡ正面画像から、診断等に好ましいＯＣＴＡ正面画像を指定する。画像処理装置３００は、操作者の指示に応じて、表示すべきＯＣＴＡ正面画像を選択する。なお、操作者による指示は、例えば、図５に示すＧＵＩ５００における選択ボタンの選択によって行われてよい。

画像処理装置３００が表示すべきＯＣＴＡ正面画像を選択すると、ステップＳ７０４において、表示制御部３０６が選択されたＯＣＴＡ正面画像を表示部３１０に表示させる。これにより、対象となる構造物を確認することが容易なＯＣＴＡ正面画像を表示させることができる。なお、本実施例では、ＯＣＴＡ正面画像を生成し表示させる構成としたが、生成・表示される画像は輝度のＥｎ−Ｆａｃｅ画像であってもよい。この場合には、モーションコントラストデータに代えて断層データを用いて、上記処理と同様の処理を行えばよい。

上記のように、本実施例に係る画像処理装置３００は、画像生成部３０４と、表示制御部３０６とを備える。画像生成部３０４は、被検眼Ｅの３次元ボリュームデータからの抽出対象を指定する対象指定部としても機能する。表示制御部３０６は、指定された対象領域の情報を用いて、３次元ボリュームデータの異なる深度範囲に対応した複数の正面画像を表示部３１０に並べて表示させる。画像生成部３０４の投影範囲制御部３４１は、指定された抽出対象の情報を用いて、複数の正面画像を生成するための深度範囲を決定する。特に、本実施例に係る画像処理装置３００では、抽出対象は新生血管（ＣＮＶ）であり、３次元ボリュームデータは３次元のモーションコントラストデータである。また、複数の正面画像を生成するための各深度範囲は、例えば、網膜外層又はブルッフ膜から脈絡膜側に０〜５０μｍの範囲内における深度範囲である。

このような構成によれば、抽出対象に応じた複数の深度範囲に関する正面画像を操作者に提供することで、対象となる構造物等の対象領域を確認することが容易な正面画像を表示させることができる。これにより、病変の見落としのリスクが低減できたり、医師や検査技師が、画質調整などの追加作業が減少できたりすることができる。

なお、本実施例では、画像生成部３０４の投影範囲制御部３４１は、抽出対象の指定に基づいて、複数の正面画像を生成するための深度範囲を決定するとした。ここで、画像生成部３０４の投影範囲制御部３４１は、例えば、３次元ボリュームデータの種別、抽出対象となる層又は深度範囲、生成する正面画像の枚数、正面画像を生成する深度範囲、及び正面画像を生成する深度範囲の間隔のうち少なくとも一つを決定する決定部の一例として機能することができる。なお、当該決定部は、画像生成部３０４とは別個の構成要素として構成されてもよい。

また、本実施例では、図５に示すＧＵＩ５００のように、複数の深度範囲に対応した画像を図４に示すＧＵＩ４００とは別に表示しているが、これに限らない。例えば、ＧＵＩ４００上に複数の深度範囲の画像を並べて表示してもよい。また、複数の深度範囲の画像をＧＵＩ４００の第二のＯＣＴＡ正面画像４０４の表示エリアに時間的に切り替えながら表示してもよいし、操作者の指示に応じて切り替えて表示してもよい。この場合、ＧＵＩ４００上の操作により、切り替えて表示された画像から、好ましい深度範囲の画像を選択できるようにしてもよい。

なお、本実施例では、図５に示すＧＵＩ５００のように複数の深度範囲に対応したＯＣＴＡ正面画像を表示しているが、これに限らない。例えば、深度範囲とともに、投影方法を変更した画像を並べて表示し、操作者に選択させてもよい。ここで、投影方法とは、例えば最大値投影や平均値投影等の公知の任意の方法であってよい。同じ深度範囲であっても、投影方法の違いにより正面画像の見え方は変化する。そのため、このような場合には、好ましい投影方法に対応する正面画像を操作者に選択させることができる。

また、本実施例では、生成した画像を表示部３１０に表示させる構成としたが、例えば、外部のサーバ等の外部装置に出力する構成としてもよい。さらに、複数の正面画像に対応する互いに異なる深度範囲は、一部が重複する深度範囲であってもよい。なお、これらの内容は、以下の様々な実施例及び変形例についても同様に適用することができる。

（実施例１の変形例）
実施例１では、操作者が正面画像をダブルクリックすることで、複数の深度範囲の正面画像を表示させる例を示したが、複数の深度範囲の正面画像を表示させる際の処理はこれに限られない。例えば、ＧＵＩ４００のレポート画面を表示した段階で、対象となる疾患について設定された複数の深度範囲に対応する正面画像を表示し、操作者に選択させてもよい。

また別の例は、検査を実施した際に被検眼ＥにＣＮＶなどの異常があるかどうかを判定し、異常があると判定された場合に、複数の深度範囲に対する正面画像を表示して、操作者に最適な画像を選択させてもよい。また、ＣＮＶを有する滲出性加齢黄斑変性症の患者等の疾患を有する患者に対してＯＣＴＡ検査を実施した場合に、当該疾患について設定された複数の深度範囲に対応する正面画像を表示して、操作者に最適な画像を選択させてもよい。なお、異常があるか否かの判定は、公知の任意の方法によって行われてよい。

（実施例２）
実施例１では、複数の深度範囲に対応する複数のＯＣＴＡ正面画像を表示し、そのうちの好ましい画像を操作者が選択することで、好ましい深度範囲で投影されたＯＣＴＡ正面画像を提供した。実施例２に係る画像処理装置は、さらに画像生成部３０４に画像評価部３４３を設け、ＯＣＴＡ正面画像とともに、その画像における抽出対象の存在を評価した評価を示す情報を操作者に提供できる点が異なる。

以下、図９乃至図１３を参照して、本実施例に係る画像処理装置について説明する。なお、本実施例に係る画像処理装置の構成は、画像生成部３０４に画像評価部３４３が加えられている点を除き、実施例１に係る画像処理装置の構成と同様であるため、同じ参照符号を用いて説明を省略する。以下、本実施例に係る画像処理装置について、実施例１に係る画像処理装置３００との違いを中心に説明する。

図９は、本実施例に係る画像生成部３０４を説明するための図である。図に示すように、本実施例に係る画像生成部３０４には、投影範囲制御部３４１及び正面画像生成部３４２に加えて、画像評価部３４３が設けられている。

画像評価部３４３は、正面画像生成部３４２によって生成された複数の深度範囲に対応するＯＣＴＡ正面画像を評価し、各ＯＣＴＡ正面画像における新生血管（ＣＮＶ）の存在を評価した評価を示す情報を取得するものである。なお、評価を示す情報とは、評価値であってもよいし、存在の有無やその可能性を示す情報であってもよい。例えば、評価を示す情報は、被検眼についてＣＮＶ等の抽出対象が有るか、無いか、又はＣＮＶ等の抽出対象が存在する疑いがあるといった情報であってもよい。本実施例では、画像評価部３４３は、機械学習モデルとしてニューラルネットワークを用いて学習を行った学習済モデルを用いて、ＯＣＴＡ正面画像から評価値を取得する。

図１０（ａ）は機械学習モデルとして用いるニューラルネットワークの例を示し、図１０（ｂ）は本実施例に係る学習データの例を示す。ニューラルネットワークでは、入力データの特徴点を抽出し、学習に応じて定められたノード間の重みに従って、特徴点から出力データを推定する。

本実施例では、ＯＣＴＡ正面画像を学習データの入力データとし、ＯＣＴＡ正面画像におけるＣＮＶの存在を評価した評価値を学習データの出力データとしている。評価値は、０〜１の値とし、ＯＣＴＡ正面画像にＣＮＶが含まれるかどうかを示す。評価値の最大値は１であり、値が大きいほどＯＣＴＡ正面画像にＣＮＶが含まれる確率が高いことを示す。図１０（ｂ）に示す例では、入力データとして６種類のＯＣＴＡ正面画像、出力データとして３段階の値を示しているが、実際にはより多くのＯＣＴＡ正面画像を入力データとして用いたり、出力データに関するラベリングの段数を増やしたりしてもよい。また、ニューラルネットワークのトレーニングでは、画像を回転させたり、上下左右反転させたり、画像を切り取る範囲を変化させることなどの、いわゆるオーグメンテーション（Ａｕｇｍｅｎｔａｔｉｏｎ）を行うことで、入力データとなるＯＣＴＡ正面画像を増やしてよい。

なお、学習データの入力データ及び実際の運用時の入力データとして用いるＯＣＴＡ正面画像としては、プロジェクションアーチファクトが除去された画像を用いることができる。ここで、プロジェクションアーチファクトとは、網膜の表層などの血管が、表層より下の層に映りこむ現象である。なお、プロジェクションアーチファクトを除去するアルゴリズムとしては公知の任意の方法を用いてよい。

また、学習データの入力データには、ＣＮＶを含む様々な例のＯＣＴＡ正面画像だけでなく、健常眼の画像も併せて用いることができる。さらに、他の疾病眼についてのＯＣＴＡ正面画像も学習データの入力データに含めて学習させてもよい。

学習データの出力データとしては、医師等が、学習データの入力データとなるＯＣＴＡ正面画像におけるＣＮＶの存在を評価した評価値を用いる。なお、図１０（ｂ）に示す例では、学習データの出力データとして、０、０．５、及び１の３段階の評価値を用いているが、上記のようにより多くの段数の評価値を用いてもよい。また、評価の基準は任意であってよく、例えば、ＣＮＶの明瞭さに応じて評価値が決められてもよいし、少しでもＣＮＶが現れている場合には評価値を１としてもよい。

このような機械学習モデルの学習済モデルにデータを入力すると、機械学習モデルの設計に従ったデータが出力される。例えば、学習データを用いて学習を行った傾向に従って入力データに対応する可能性の高い出力データが出力される。本実施例に係る学習済モデルでは、ＯＣＴＡ正面画像が入力されると、入力されたＯＣＴＡ正面画像におけるＣＮＶの存在を評価した評価値が学習の傾向に従って出力される。

なお、このような学習を行った学習済モデルでは、機械学習モデルの構成に応じて、入力データに対応する評価値について、学習データの出力データに関する各段階の評価値についての割合が出力される。この場合には、画像評価部３４３は、学習済モデルから出力された各段階の評価値についての割合から最終的な評価値を算出してよい。例えば、画像評価部３４３は各評価値と対応する割合を乗算し、それぞれを加算した値を割合の合計で除算することで最終的な評価値を算出してもよい。この場合には、例えば、評価値０である割合が０．２、評価値０．５である割合が０．８、評価値１である割合が０であったとき、画像評価部３４３は最終的な評価値として０．４を算出することができる。なお、最終的な評価値の算出方法はこれに限られず、例えば、割合が他の割合よりも高いもの最終的な評価値とする等、任意の方法を用いてよい。

次に、図１１を参照して、本実施例に係る正面画像生成処理について説明する。図１１は、本実施例に係る正面画像生成処理のフローチャートである。なお、正面画像生成処理以外の一連の処理の流れは実施例１に係る一連の処理と同様であるため説明を省略する。また、ステップＳ１１０１は実施例１に係るステップＳ８０１と同様のステップであるため説明を省略する。ステップＳ１１０１において、複数のＯＣＴＡ正面画像が生成されると、処理はステップＳ１１０２に移行する。

ステップＳ１１０２では、画像評価部３４３が、生成された複数のＯＣＴＡ正面画像について、学習済モデルを用いてそれぞれ評価を行い、それぞれのＯＣＴＡ正面画像におけるＣＮＶの存在を評価した評価値を取得する。複数のＯＣＴＡ正面画像に対応する複数の評価値が取得されると、処理はステップＳ１１０３に移行する。

ステップＳ１１０３では、表示制御部３０６が、複数の深度範囲に対応する複数のＯＣＴＡ正面画像について、それぞれの評価値及び深度範囲と併せて、並べて表示する。ここで、図１２に表示制御部３０６が表示部３１０に表示させるＧＵＩの例を示す。図１２に示すＧＵＩ１２００は、図５に示すＧＵＩ５００と同様のものであるが、各ＯＣＴＡ正面画像５０１，５０５，５０９，５２０の上部に、各ＯＣＴＡ正面画像の評価値１２１７，１２１８，１２１９，１２２０が示されている。

ステップＳ１１０４では、操作者が表示部３１０に表示された複数のＯＣＴＡ正面画像から、ＯＣＴＡ正面画像やその評価値に基づいて、診断等に好ましいＯＣＴＡ正面画像を指定する。画像処理装置３００は、操作者の指示に応じて、表示すべきＯＣＴＡ正面画像を選択する。この際、操作者は、例えば、選択ボタン５０４，５０８，５１２，５１６を操作することで、表示すべきＯＣＴＡ正面画像を指定することができる。なお、以降の処理は、実施例１に係る処理と同様であるため説明を省略する。

本実施例では、複数の正面画像と併せて、正面画像における抽出対象の存在を評価した評価値（評価を示す情報）が表示される。これらの評価値を参考にすることで、操作者はより正確に最適な画像を選択することができる。そのため、例えば、複数の正面画像間の画質差が小さい場合でも、表示すべき画像を選択する際の操作者による個人差を低減することができる。

なお、選択された正面画像を表示部３１０に表示させる際には、図１３に示すＧＵＩ１３００のように、選択された正面画像とともに正面画像の評価を示す情報（評価値１３１０）を表示してもよい。この場合には、レポート画面においても正面画像に対する評価を示す情報を確認することができる。

上記のように、本実施例に係る画像処理装置３００は、画像生成部３０４と、画像評価部３４３と備える。画像生成部３０４は、被検眼Ｅの３次元ボリュームデータの異なる深度範囲に対応した複数の正面画像を生成する。画像評価部３４３は、複数の正面画像を用いて、対象領域の存在を評価した評価を示す情報であって、複数の正面画像に対応する複数の情報を取得する。また、画像生成部３０４は、当該複数の情報を用いて表示すべき正面画像（出力画像）を決定する決定部の一例として機能することができる。特に、本実施例に係る画像生成部３０４は、当該複数の情報を用いて、複数の正面画像のうち少なくとも一つを表示すべき正面画像として決定する。さらに、画像処理装置３００は表示部３１０の表示を制御する表示制御部３０６を備える。本実施例に係る表示制御部３０６は、取得された複数の評価を示す情報を表示部３１０に複数の正面画像と並べて表示させる。なお、決定部は、画像生成部３０４とは別個の構成要素として構成されてもよい。

このような構成によれば、抽出対象に応じた複数の深度範囲に関する正面画像を、抽出対象の存在を評価した評価を示す情報とともに操作者に提供することで、対象となる構造物等の対象領域を確認することが容易な正面画像を表示させることができる。これにより、病変の見落としのリスクが低減できたり、医師や検査技師が、画質調整などの追加作業が減少できたりすることができる。また、複数の正面画像を、その評価を示す複数の情報とともに、並べて表示させることで、複数の正面画像のうちから、操作者が診断等に適切な正面画像を指定し易くすることができる。

なお、本実施例では、正面画像としてＯＣＴＡ正面画像を生成・表示する例について述べたが、実施例１と同様に、正面画像として輝度のＥｎ−Ｆａｃｅ画像を生成・表示してもよい。また、本実施例の場合も、操作者が好ましくないと考えた場合には、生成される正面画像の深度範囲をマニュアルで調整できるように画像処理装置３００を構成してもよい。また、上述のように、本実施例では、画像生成部３０４は、最終的に表示する画像を決定するとしたが、決定した画像を外部装置等に出力してもよい。このため、画像生成部３０４は、例えば、表示部３１０や外部装置に出力する出力画像を決定できればよい。

また、本実施例に係る画像評価部３４３は、学習済モデルを用いて評価値を取得したが、これに限らず、いわゆるルールベースの画像処理を用いて評価値を取得してもよい。例えば、ＣＮＶの存在を評価する評価値を算出する場合には、画像評価部３４３は断層画像から粒状のノイズを除去した後に、Ｈｅｓｓｉａｎフィルタで管状の領域を強調し、強調された画像を積分して評価値を算出してもよい。また、画像評価部３４３は、強調された画像について２値化を行い、閾値を上回る画素の存在に応じて、評価値を取得してもよい。

（実施例２の変形例１）
実施例２では、正面画像とともに評価値を表示する例について説明したが、正面画像と併せて表示するものは評価値だけに限られない。例えば、加齢黄斑変性由来のＣＮＶには２つのタイプがあることが知られている。タイプ１はＲＰＥ／Ｃｈｏｒｏｉｄよりも下に新生血管がある場合、タイプ２はＲＰＥ／Ｃｈｏｒｏｉｄの下部から上部にわたって新生血管がある場合である。これらのタイプが異なると、正面画像におけるＣＮＶの見え方も異なる。そのため、画像評価部３４３が用いる、機械学習モデルは、これら異なるタイプのＣＮＶを含む正面画像を区別して学習してもよい。この場合、学習済モデルは、ＣＮＶのタイプ毎に学習を行った複数の学習済モデルが用意されてもよい。

このような学習を行うことで、画像評価部３４３は、ＣＮＶのタイプ毎の評価値を算出することができる。また、表示制御部３０６は、図１３に示すように、ＣＮＶのタイプのうち、評価値が高い方のタイプとその評価値を表示部３１０に表示させることができる。このような場合には、操作者は正面画像の評価値に加えて、正面画像に含まれる加齢黄斑変性のＣＮＶのタイプを確認することができる。

なお、図１３に示す例ではＣＮＶのタイプ及び評価値を表示したが、これに限るものではなく、それぞれのタイプ毎の評価値を表示してもよい。また、正面画像中にＣＮＶがないと推定された場合には、ＣＮＶのタイプの表示に代えてＣＮＶがない旨を表示してもよい。

また、画像評価部３４３は、正面画像からＣＮＶのタイプを判定する以外にも、正面画像の深度範囲からＣＮＶのタイプを判定してもよい。なお、変形例では、正面画像としてＯＣＴＡ正面画像を生成・表示する例について述べたが、実施例２と同様に、正面画像として輝度のＥｎ−Ｆａｃｅ画像を生成・表示してもよい。また、本変形例の場合も、操作者が好ましくないと考えた場合には、生成される正面画像の深度範囲をマニュアルで調整できるように画像処理装置３００を構成してもよい。

（実施例２の変形例２）
実施例２では、画像評価部３４３が用いる学習済モデルに関するニューラルネットワークの構造と学習データについて、図１０（ａ）及び（ｂ）を用いて説明したが、これに限るものではない。本変形例では、Ｕ−ｎｅｔ型の畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を、機械学習モデルの一例として用いる構成について説明する。

以下、本変形例に係る学習済モデルの一例として、ＣＮＮについて、図１４を用いて説明する。図１４に示す学習済モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該学習済モデルの構成１４０１に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。

畳み込み層は、設定されたフィルタのカーネルサイズや、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。

ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。

アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。

合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。

なお、図１４に示す構成１４０１に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度の処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。

また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、処理の精度が高かったり、処理の時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。

なお、本変形例で用いるＣＮＮの構成１４０１は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ−ｎｅｔ型の機械学習モデルである。Ｕ−ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。

図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等してもよい。

このような機械学習モデルの学習済モデルにデータを入力すると、機械学習モデルの設計に従ったデータが出力される。例えば、学習データを用いてトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。本変形例では、学習データについて、入力データを加齢黄斑変性が発症した際にＣＮＶが生じる層のＯＣＴＡ正面画像とし、出力データをＯＣＴＡ正面画像に対してＣＮＶがある領域だけを白とし、残りは黒とした２値画像とする画像ペアで構成する。この場合の学習データの例を図１５に示す。

学習にはＣＮＶを生じた様々な例の画像とともに、健常眼の画像も合わせて学習させる。健常眼の２値画像は全て黒となる。

このように学習した学習済モデルは、ＣＮＶが存在する領域のみをセグメンテーションしたような２値画像を出力可能である。これにより、画像評価部３４３は、ＯＣＴＡ正面画像を学習済モデルに入力することで、ＣＮＶが存在する領域を示す２値画像を取得することができる。画像評価部３４３は、取得した２値画像における白い領域に基づいてＣＮＶが存在する可能性を表す評価値を算出することができる。なお、評価値の算出方法としては、例えば、取得した２値画像に白い領域が含まれていたら評価値を１としてもよいし、白い領域の合計面積（画素数）が閾値以上となる場合に、評価値を１としてもよい。また、閾値を段階的に設け、白い領域の合計面積が超えた閾値に応じて評価値を決定してもよい。

また、このような学習済モデルの別の用途として、ＣＮＶの大きさを推定することもできる。この場合には、画像評価部３４３は、学習済モデルから取得した２値画像における白い領域の面積をＣＮＶの大きさとして算出してもよい。この際、表示制御部３０６は、表示すべきＯＣＴＡ正面画像とともに、ＯＣＴＡ正面画像に含まれるＣＮＶの大きさも表示することができる。

また学習データの出力データとして２値画像を用いる例について説明したが、出力データとして用いる画像の値は２値に限るものではない。ＣＮＶの評価値に応じて、値を変更した画像を学習データの出力データとしてもよい。この場合のＣＮＶの評価値は実施例２と同様に医師等によってラベル付けされた評価値であってよい。また、実施例２の変形例１で述べたようにＣＮＶのタイプを区別して学習させてもよい。

なお、本変形例ではニューラルネットワークを用いて２値画像を取得したが、これに限らず、いわゆるルールベースの画像処理によっても実現可能である。たとえばＯＣＴ正面画像から粒状のノイズを除去した後に、Ｈｅｓｓｉａｎフィルタで管状の領域を強調し、強調された画像に２値化を行ってもよい。この場合の評価値の算出方法も、上述の方法と同様の方法を用いてよい。

なお、変形例では、正面画像としてＯＣＴＡ正面画像を生成・表示する例について述べたが、実施例２と同様に、正面画像として輝度のＥｎ−Ｆａｃｅ画像を生成・表示してもよい。また、本変形例の場合も、操作者が好ましくないと考えた場合には、生成される正面画像の深度範囲をマニュアルで調整できるように画像処理装置３００を構成してもよい。また、本変形例では、２値画像について、白と黒の２値で示した画像としたが、２値は任意の２つのラベルであってもよい。

（実施例３）
実施例２では、画像生成部３０４内に画像評価部３４３を設けることで、複数のＯＣＴＡ正面画像に対する評価値を取得し表示した。実施例３に係る画像処理装置では、画像生成部３０４内に、正面画像決定部３４４を設けることにより、操作者が介在することなく、自動的に最適な深度範囲のＯＣＴＡ正面画像を出力する。

以下、図１６及び図１７を参照して、本実施例に係る画像処理装置について説明する。なお、本実施例に係る画像処理装置の構成は、画像生成部３０４に正面画像決定部３４４が加えられている点を除き、実施例２に係る画像処理装置の構成と同様であるため、同じ参照符号を用いて説明を省略する。以下、本実施例に係る画像処理装置について、実施例２に係る画像処理装置３００との違いを中心に説明する。

図１６は、本実施例に係る画像生成部３０４を説明するための図である。図に示すように、本実施例に係る画像生成部３０４には、投影範囲制御部３４１、正面画像生成部３４２、及び画像評価部３４３に加えて、正面画像決定部３４４が設けられている。

本実施例に係る正面画像決定部３４４は、複数のＯＣＴＡ正面画像について算出された評価値のうち最大の評価値（他の評価値よりも高い評価値）に対応するＯＣＴＡ正面画像を表示すべきＯＣＴＡ正面画像として決定・選択する。

次に、図１７を参照して、本実施例に係る正面画像生成処理について説明する。図１７は、本実施例に係る正面画像生成処理のフローチャートである。なお、正面画像生成処理以外の一連の処理の流れは実施例２に係る一連の処理と同様であるため説明を省略する。また、ステップＳ１７０１及びステップＳ１７０２は実施例２に係るステップＳ１１０１及びステップＳ１１０２と同様のステップであるため説明を省略する。ステップＳ１７０２において、複数のＯＣＴＡ正面画像について複数の評価値が取得されると、処理はステップＳ１７０３に移行する。

ステップＳ１７０３では、正面画像決定部３４４が、生成された複数のＯＣＴＡ正面画像の中から、評価値が最大となる（他の評価値よりも高い）ＯＣＴＡ正面画像を表示すべきＯＣＴＡ正面画像として決定・選択する。なお、以降の処理は、実施例２に係る処理と同様であるため説明を省略する。

本実施例では、画像生成部３０４の正面画像決定部３４４が、取得された複数の評価値のうち他の評価値よりも高い評価値に対応する正面画像を表示すべき正面画像として決定する決定部の一例として機能する。これにより、操作者が介在することなく、最適な深度範囲のＯＣＴＡ正面画像を表示することができ、処理の効率を向上させることができる。なお、正面画像決定部３４４は、画像生成部３０４とは別個の構成要素として構成されてもよい。

なお、複数のＯＣＴＡ正面画像に対する複数の評価値がいずれも閾値（例えば０．２）を下回る場合は、ＣＮＶが含まれないとして、予め決められた深度範囲の投影像を表示してもよい。なお、この場合の閾値は所望の構成に応じて任意に設定されてよい。また、この場合には、評価値とともに又は代わりにＣＮＶがない旨を表示してもよい。

なお、本実施例では、正面画像としてＯＣＴＡ正面画像を生成・表示する例について述べたが、実施例２と同様に、正面画像として輝度のＥｎ−Ｆａｃｅ画像を生成・表示してもよい。また、本実施例の場合も、操作者が好ましくないと考えた場合には、生成される正面画像の深度範囲をマニュアルで調整することができるように画像処理装置３００を構成してもよい。なお、これらの処理については、下記の本実施例の変形例についても適用することができる。

さらに、本実施例では正面画像決定部３４４は、評価値が最も高いＯＣＴＡ正面画像を選択したが、正面画像決定部３４４は、評価値が閾値を超えるＯＣＴＡ正面画像を選択してもよい。この場合、正面画像決定部３４４は、複数の評価値が閾値を超える場合には、当該複数の評価値に対応する複数のＯＣＴＡ正面画像を選択してもよい。この場合には、表示制御部３０６は、当該複数の評価値及びこれに対応する複数のＯＣＴＡ正面画像を切り替えながら表示してもよい。また、正面画像決定部３４４は、当該複数のＯＣＴＡ正面画像のうち、単独で表示させるべきＯＣＴＡ正面画像を操作者の指示に応じて選択するようにしてもよい。

（実施例３の変形例１）
実施例３では、正面画像決定部３４４を設けることにより、操作者が介在することなく、自動的に最適な深度範囲の正面画像を表示すべき正面画像（出力画像）として選択した。なお、表示すべき正面画像に対応する深度範囲の決定方法に関してはこれに限られない。

以下、図１８乃至２２を参照して、実施例３の変形例１に係る表示すべき正面画像に対応する深度範囲の決定方法について説明する。実施例３では、正面画像決定部３４４は、評価値が最大となる深度範囲に対応する正面画像を選択していたが、本変形例では、正面画像決定部３４４は、正面画像の評価値が閾値以上である深度範囲を連結して、表示すべき正面画像の深度範囲とする点が異なる。

図１８は、本変形例に係る正面画像生成処理のフローチャートである。なお、正面画像生成処理以外の一連の処理の流れは実施例３に係る一連の処理と同様であるため説明を省略する。また、ステップＳ１８０１及びステップＳ１８０２は実施例３に係るステップＳ１７０１及びステップＳ１７０２と同様のステップであるため説明を省略する。ステップＳ１８０２において、複数のＯＣＴＡ正面画像について複数の評価値が取得されると、処理はステップＳ１８０３に移行する。

ステップＳ１８０３では、正面画像決定部３４４は、評価値が閾値以上である深度範囲を連結し、表示すべきＯＣＴＡ正面画像の深度範囲を決定する。ここで、図１９は複数のＯＣＴＡ正面画像に対し、複数の評価値を算出した例である。ここでブルッフ膜をＢＭとすると、図１９に示す例は、深度範囲を深度範囲（ａ）“ＢＭ＋０μｍ〜ＢＭ＋２０μｍ”から深度範囲（ｈ）“ＢＭ−１４０μｍ〜ＢＭ−１２０μｍ”まで、２０μｍ毎に順次硝子体側にずらしながら複数のＯＣＴＡ正面画像を生成した例である。図１９に示す例では、画像評価部３４３が、このようにして生成された複数のＯＣＴＡ正面画像に対応する複数の評価値（図の右側の数値）を取得する。

この例において、仮に評価値に対する閾値を０．３とすると、深度範囲（ｂ）“ＢＭ−２０μｍ〜ＢＭ＋０μｍ”から深度範囲（ｆ）“ＢＭ−１００μｍ〜ＢＭ−８０μｍ”の深度範囲に対応するＯＣＴＡ正面画像の評価値が閾値以上である。そのため、正面画像決定部３４４は、深度範囲（ｂ）から深度範囲（ｆ）までの深度範囲を連結し、表示すべきＯＣＴＡ正面画像の深度範囲を決定する。具体的には、正面画像決定部３４４は、表示すべきＯＣＴＡ正面画像の深度範囲を、深度範囲（ｂ）の下限であるＢＭ＋０μｍから深度範囲（ｆ）の上限であるＢＭ−１００μｍに決定する。

ステップＳ１８０４では、投影範囲制御部３４１及び正面画像生成部３４２が、正面画像決定部３４４によって決定された深度範囲に基づいて、表示すべきＯＣＴＡ正面画像を生成する。以降の処理は実施例３と同様であるため説明を省略する。

図１９に示す例について、上述の処理を行い生成されたＯＣＴＡ正面画像、その深度範囲、及び断層画像を図２０に示す。図２０に示すＯＣＴＡ正面画像では、ＣＮＶが容易に確認できるような態様で現れていることが分かる。

さらに図２１は非常に小さなＣＮＶに対して、本変形例の処理を実行した例である。なお、図２１に示す例では、説明の簡略化のため、深度範囲を深度範囲（ａ）“ＢＭ＋０μｍ〜ＢＭ＋２０μｍ”から深度範囲（ｅ）“ＢＭ−８０μｍ〜ＢＭ−６０μｍ”までとしている。この例では評価値が閾値０．３以上である深度範囲は、深度範囲（ｂ）のみであるため、正面画像決定部３４４は、最終的な深度範囲を深度範囲（ｂ）と同じ範囲に決定する。当該決定された深度範囲に対応するＯＣＴＡ正面画像、その深度範囲、及び断層画像を図２２に示す。図２２に示すＯＣＴＡ正面画像では、図２１に示す例に関してＣＮＶが容易に確認できるような態様で現れていることが分かる。なお、最終的な深度範囲が評価値を算出した複数の深度範囲のいずれかと同じであれば、画像生成部３０４は当該深度範囲のＯＣＴＡ正面画像を改めて生成する必要はない。

上記のように、本変形例に係る画像処理装置３００では、画像生成部３０４の正面画像決定部３４４は、算出された複数の評価値に基づいて第二の深度範囲を決定し、該決定された第二の深度範囲を用いて生成した画像を表示すべき正面画像として決定する決定部の一例として機能する。特に、画像生成部３０４は、算出された複数の評価値のうち閾値以上である評価値に対応する深度範囲を連結することで第二の深度範囲を決定する。なお、当該決定部は、画像生成部３０４とは別個の構成要素として構成されてもよい。

本変形例に係る画像処理装置３００では、実施例３に比べ、非常に薄い深度範囲に対して、正面画像を生成し、さらに深度範囲を連続的に変更しながら、抽出対象の有無を推定することで、表示すべき正面画像の深度範囲をより精細に決定することができる。このため、対象領域を容易に確認することが容易な画像をより適切に生成できる。特に非常に薄い深度範囲毎に評価を行うことで、非常に小さな抽出対象（例えばＣＮＶ）がある場合も、見逃すことなく、検出することができる。

なお、本変形例では、探索的にシフトする深度範囲の深さ（深度範囲上限と下限の差）を２０μｍに固定した例を示したが、当該深度範囲の深さはこれに限られず、所望の構成に応じて任意に設定されてよい。同じ範囲を探索する場合には、探索的にシフトする深度範囲の深さが薄くなると、候補画像数が増え、それに伴い評価値を計算する計算量が増える。また、探索的にシフトする深度範囲の深さがあまり薄くなると、ＯＣＴＡ正面画像にノイズがより強く生じるようになる。一方、探索的にシフトする深度範囲の深さが深くなると、候補の画像数が減少し、計算量は減少する。一方で、最適な深度範囲を決定する際の分解能も粗くなる。深度範囲の深さは、こうした事情を踏まえてバランスをとって決定すればよく、効果的な範囲としては、例えば１０μｍ〜５０μｍ幅の厚さで行うことができる。

また探索する範囲は、網膜外層までをカバーすればよいが、本変形例に示したようにブルッフ膜基準で、予め決められた範囲だけ硝子体側に探索してもよいし、網膜外層の上限であるＯＰＬ／ＯＮＬまで探索してもよい。

また、本変形例では、探索する際の境界線をブルッフ膜（ＢＭ）の形状に基づいて決定したが、探索する際の境界線の形状はこれに限るものではない。ただし、ブルッフ膜は網膜の底に位置しており、形状も比較的フラットであるため、ＣＮＶの有無を探索的に評価する際には適している。探索する際の境界線をブルッフ膜の代わりに網膜色素上皮（ＲＰＥ）や他の層の形状等に基づいて決定してもよい。また、探索する際の境界線を黄斑部のブルッフ膜の網膜の形状に近い直線等に基づいて決定してもよい。

なお、正面画像決定部３４４が表示すべき深度範囲を決定する際の評価値の閾値は、操作者の指示に応じて変更されてもよい。この場合には、操作者の好みに応じて、ＣＮＶの描画の程度を調整することができる。

（実施例３の変形例２）
実施例３の変形例１では、評価値が一定以上の深度範囲を連結して表示すべき正面画像の深度範囲を決定したが、連続する深度範囲の評価値が一度閾値未満になった後に再度閾値以上となることがある。言い換えると、連続する深度範囲の評価値が“ふたやま”になることがある。実施例３の変形例２では、このような場合に対応して、評価が一定以上となる範囲の上限と下限を選択し、上限と下限に挟まれた範囲を深度範囲として決定・選択する。

図２３は、本変形例に係る正面画像生成処理を示すフローチャートである。なお、正面画像生成処理以外の一連の処理の流れは実施例３に係る一連の処理と同様であるため説明を省略する。また、ステップＳ２３０１、ステップＳ２３０２、及びステップＳ２３０４は実施例３の変形例１に係るステップＳ１８０１、ステップＳ１８０２、及びステップＳ１８０４と同様のステップであるため説明を省略する。ステップＳ２３０２において、複数のＯＣＴＡ正面画像について複数の評価値が取得されると、処理はステップＳ２３０３に移行する。

ステップＳ２３０３では、正面画像決定部３４４は、評価値が閾値以上である深度範囲を統合し、表示すべきＯＣＴＡ正面画像の深度範囲を決定する。この際、正面画像決定部３４４は、実施例３の変形例１におけるステップＳ１８０３とは異なり、評価値が閾値以上である深度範囲同士の間に評価値が閾値未満の深度範囲が含まれていても、評価値が閾値以上である複数の深度範囲における上限と下限に基づいて表示すべきＯＣＴＡ正面画像の深度範囲を決定する。

例えば、図１９に示す例において、深度範囲（ｈ）の評価値が０．３であった場合には、深度範囲（ｂ）から深度範囲（ｆ）の評価値に加えて深度範囲（ｈ）の評価値も閾値以上となるが、評価値が深度範囲（ｇ）において閾値未満となる。この場合でも、本変形例に係る正面画像決定部３４４は、評価値が閾値以上である深度範囲（ｂ）の下限ＢＭ＋０μｍから、評価値が閾値以上である深度範囲（ｈ）の上限であるＢＭ−１４０μｍまでを、表示すべきＯＣＴＡ正面画像の深度範囲として決定する。以降の処理は実施例３の変形例１と同様であるため説明を省略する。

上記のように、本変形例に係る画像生成部３０４の正面画像決定部３４４は、取得された複数の評価値のうち閾値以上である評価値に対応する深度範囲における、他の深度位置よりも浅い深度位置を上限とし、他の深度位置よりも深い深度位置を下限として第二の深度範囲を決定する。このような処理により、本変形例では評価値が“ふたやま”になった場合でも、表示すべきＯＣＴＡ正面画像の深度範囲を適切に決定することができる。なお、本変形例では、評価値が“ふたやま”になる例について説明したが、山が３つ以上となる場合であっても同様の処理を行うことで、表示すべきＯＣＴＡ正面画像の深度範囲を適切に決定することができる。なお、正面画像決定部３４４は、画像生成部３０４とは別個の構成要素として構成されてもよい。

なお、正面画像決定部３４４が表示すべき深度範囲を決定する際の評価値の閾値は、操作者の指示に応じて変更されてもよい。この場合には、操作者の好みに応じて、ＣＮＶの描画の程度を調整することができる。

（実施例３の変形例３）
実施例３の変形例３では、正面画像決定部３４４は、評価値が最大となる（他の評価値よりも高い）深度範囲を中心として、当該深度範囲の上限と下限を微調整して表示すべきＯＣＴＡ正面画像の深度範囲を決定する。

図２４は、本変形例に係る正面画像生成処理のフローチャートである。なお、正面画像生成処理以外の一連の処理の流れは実施例３に係る一連の処理と同様であるため説明を省略する。また、ステップＳ２４０１及びステップＳ２４０２は実施例３に係るステップＳ１７０１及びステップＳ１７０２と同様のステップであるため説明を省略する。ステップＳ２４０２において、複数のＯＣＴＡ正面画像について複数の評価値が取得されると、処理はステップＳ２４０３に移行する。

ステップＳ２４０３では、正面画像決定部３４４は、複数のＯＣＴＡ正面画像に対応する深度範囲の中から、評価値が最大となるＯＣＴＡ正面画像に対応する深度範囲を、中心となる深度範囲として選択する。例えば、図１９の例では、最大の評価値０．７に対応する深度範囲（ｄ）“ＢＭ−６０μｍ〜ＢＭ−４０μｍ”を選択する。

次にステップＳ２４０４において、正面画像決定部３４４は、評価値が最大だった深度範囲を中心に、深度範囲の上限と下限を微調整した複数の深度範囲を設定する。ここで、微調整とは、先に評価値を求めた際の探索的にシフトする深度範囲の深さ（深度範囲上限と下限の差）よりも狭い深さ分だけ、選択した深度範囲の上限及び下限の少なくとも一方を移動させた複数の深度範囲を設定する。

例えば、図１９の例では、先に評価値を求めた際の探索的にシフトする深度範囲の深さは２０μｍである。この場合、正面画像決定部３４４は、例えば、深度範囲（ｄ）の上限ＢＭ−６０μｍについて、例えば１０μｍや５μｍだけ浅い側又は深い側に移動させた深度範囲を設定する。同様に、正面画像決定部３４４は、例えば、深度範囲（ｄ）の下限ＢＭ−４０μｍについて、例えば１０μｍや５μｍだけ浅い側又は深い側に移動させた深度範囲を設定する。また、正面画像決定部３４４は、深度範囲（ｄ）の上限及び下限の両方を例えば１０μｍや５μｍだけ浅い側又は深い側に移動させた深度範囲を設定してもよい。なお、当該例における数値は例示であり、所望の構成に応じて任意に設定されてよい。また、設定される深度範囲の数も所望の構成に応じて任意に設定されてよい。

ステップＳ２４０５では、投影範囲制御部３４１及び正面画像生成部３４２が、正面画像決定部３４４によって設定された複数の深度範囲に基づいて、複数のＯＣＴＡ正面画像を生成する。また、画像評価部３４３が、生成された複数のＯＣＴＡ正面画像について複数の評価値を算出する。

ステップＳ２４０６では、正面画像決定部３４４が、ステップＳ２４０５において算出された複数の評価値のうち最大の評価値（他の評価値よりも高い評価値）に対応するＯＣＴＡ正面画像を表示すべきＯＣＴＡ正面画像として選択・決定する。以降の処理は実施例３と同様であるため説明を省略する。

上記のように、本変形例に係る画像生成部３０４の正面画像決定部３４４は、取得された複数の評価値のうち他の評価値よりも高い評価値に対応する深度範囲を中心として、第二の深度範囲を決定する決定部の一例として機能する。特に、本変形例に係る画像生成部３０４は、他の評価値よりも高い評価値に対応する深度範囲を増減させた複数の深度範囲を設定するとともに該複数の深度範囲に対応する複数の正面画像を生成する。また、画像評価部３４３は、当該複数の深度範囲に対応する複数の正面画像を用いて、当該複数の深度範囲に対応する複数の正面画像の複数の評価値を取得する。さらに、画像生成部３０４の正面画像決定部３４４は、当該複数の深度範囲に対応する複数の正面画像の複数の評価値のうち他の評価値よりも高い評価値に対応する正面画像を表示すべき正面画像（出力画像）として決定する。なお、正面画像決定部３４４は、画像生成部３０４とは別個の構成要素として構成されてもよい。

このように深度範囲を調整して、他の評価値よりも高い評価値となる深度範囲の正面画像を表示すべき正面画像として決定することで、抽出対象（対象領域）をより観察し易い正面画像を生成し、表示することができる。なお、正面画像決定部３４４が表示すべき深度範囲を決定する際の評価値の閾値は、操作者の指示に応じて変更されてもよい。この場合には、操作者の好みに応じて、ＣＮＶの描画の程度を調整することができる。また、深度範囲を微調整する際の深度（深度幅）も操作者の指示に応じて変更されてもよい。この場合には、操作者の指示に応じて、評価値を算出する深度範囲を変更でき、個々の被検眼に応じた深度範囲を適切に設定することができる。

さらに、本変形例では正面画像決定部３４４は、評価値が最も高いＯＣＴＡ正面画像を選択したが、正面画像決定部３４４は、評価値が閾値を超えるＯＣＴＡ正面画像を選択してもよい。この場合、正面画像決定部３４４は、複数の評価値が閾値を超える場合には、当該複数の評価値に対応する複数のＯＣＴＡ正面画像を選択してもよい。この場合には、表示制御部３０６は、当該複数の評価値及びこれに対応する複数のＯＣＴＡ正面画像を切り替えながら表示してもよい。また、正面画像決定部３４４は、当該複数のＯＣＴＡ正面画像のうち、単独で表示させるべきＯＣＴＡ正面画像を操作者の指示に応じて選択するようにしてもよい。

（実施例４）
実施例１〜３は、ＯＣＴＡ正面画像を用いて、加齢黄斑変性による新生血管（ＣＮＶ）が発生している症例に対して、最適な深度範囲の画像を提供するものであった。ここで、実施例１〜３において説明した技術は、視神経乳頭部の下部にある篩状板と呼ばれる構造を確認する際にも適用可能である。実施例４では、視神経乳頭部の下部にある篩状板を抽出対象（対象領域）とした処理について説明する。

篩状板とは視神経乳頭部の下部にある視神経を支える網目状の構造である。篩状板の形態は緑内障の進行と相関があることが知られており、その形態（特に厚み）を表示できることは緑内障の診断上、非常に有意義であることが知られている。

篩状板に関しては、断層画像上では、はっきりとした層構造の変化やそれに伴う輝度変化が現れないため、網膜の層構造のように、断層画像を画像処理することで認識することは難しい。一方で、輝度のＥｎ−Ｆａｃｅ画像等の断層データを２次元平面に投影した正面画像を用いることで、篩状板の網目上の構造を確認することが可能である。

そこで、本実施例では、観察すべき対象領域を篩状板の領域とし、篩状板を観察し易い輝度のＥｎ−Ｆａｃｅ画像を生成する。なお、本実施例に係る画像処理装置の構成は、実施例１乃至３に係る画像処理装置の構成と同様であるため、同じ参照符号を用いて説明を省略する。以下、本実施例に係る画像処理装置について、実施例１乃至３に係る画像処理装置３００との違いを中心に説明する。

以下、図２５（ａ）乃至図２６を参照して、本実施例に係る画像処理装置について説明する。本実施例では、例えば、実施例１で説明したＧＵＩ４００において、輝度のＥｎ−Ｆａｃｅ画像４０７の上部におけるプルダウンにおいて、篩状板が選択されると、画像生成部３０４が抽出処理の対象として篩状板を指定する。画像生成部３０４は、抽出対象として指定された篩状板用に記憶部３０５に予め記憶されている複数の深度範囲に基づいて、対応する複数の輝度のＥｎ−Ｆａｃｅ画像を生成する。表示制御部３０６は、操作者の指示等に応じて、生成された輝度のＥｎ−Ｆａｃｅ画像、対応する断層画像及び深度範囲を表示部３１０に表示させる。なお、本実施例に係る輝度のＥｎ−Ｆａｃｅ画像の生成処理は、モーションコントラストデータの代わりに断層データを用いる点と深度範囲が篩状板用に設定されている深度範囲である点を除き、実施例１乃至３と同様であってよい。

図２５（ａ）乃至図２５（ｃ）は、篩状板の形態を表示した輝度のＥｎ−Ｆａｃｅ画像及び対応する深度範囲が表示される断層画像の例である。ここで、図２５（ａ）乃至（ｃ）に示す輝度のＥｎ−Ｆａｃｅ画像は篩状板部分のＥｎ−Ｆａｃｅ画像であって、それぞれ異なる深度範囲に対して３次元断層データ（３次元断層画像）を投影した画像である。また、図２５（ａ）乃至（ｃ）に示す断層画像には、対応するＥｎ−Ｆａｃｅ画像の深度範囲が白の直線（実線）で表示されている。

図２５（ａ）乃至図２５（ｃ）は、それぞれ、視神経乳頭部の網膜・硝子体界面の底部の深度位置から＋５０μｍ〜＋１００μｍ、＋１５０μｍ〜＋２００μｍ、及び＋３００μｍ〜＋３５０μｍを深度範囲としたＥｎ−Ｆａｃｅ画像を示している。なお、各深度範囲を示す表示態様は任意であってよい。図２５（ａ）乃至図２５（ｃ）の例では、断層画像の上にＬｉｎｅ＋５０μｍ、Ｌｉｎｅ＋１００μｍ等との記載を示している。当該記載におけるＬｉｎｅは、深度範囲を決めるための上限及び下限が直線（Ｌｉｎｅ）で設定されていることを示している。また、当該表示の数字は、図の点線で示した位置（視神経乳頭部の網膜・硝子体界面の底部の深度位置）からの距離を表している。

なお、複数のＥｎ−Ｆａｃｅ画像を生成するための各深度範囲は、乳頭部の網膜と硝子体の境界（界面）から脈絡側に０〜５００μｍの範囲内の深度範囲であってよい。例えば、各深度範囲は、視神経乳頭部と硝子体の境界から略１００μｍ〜５００μｍ程度脈絡膜側の深度範囲のうちで任意に設定されてよい。

図２５（ａ）乃至図２５（ｃ）は、それぞれ深度範囲を硝子体側から深い方向へ変化させた場合の輝度のＥｎ−Ｆａｃｅ画像を示している。 図２５（ｂ）に示す輝度のＥｎ−Ｆａｃｅ画像には視神経乳頭に相当する位置に網目状の構造を見ることができるが、図２５（ａ）及び図２５（ｃ）に示す輝度のＥｎ−Ｆａｃｅ画像では、網膜上の構造は明確に観察することができない。

このように、抽出対象（対象領域）として篩状板を指定し、実施例１と同様の処理を行うことで、複数の深度範囲の輝度のＥｎ−Ｆａｃｅ画像をＧＵＩ上に表示し、篩状板が観察し易い画像を操作者に提供することができる。この場合、例えば、実施例１と同様に、ＧＵＩ４００のＥｎ−Ｆａｃｅ画像４０７をダブルクリックすると、表示制御部３０６が篩状板に関する複数の深度範囲に対応する輝度のＥｎ−Ｆａｃｅ画像を含むＧＵＩを表示部３１０に表示させることができる。

なお、篩状板に関する複数の正面画像として、複数の輝度のＥｎ−Ｆａｃｅ画像を生成し表示させる構成について述べたが、輝度のＥｎ−Ｆａｃｅ画像に代えてＯＣＴＡ正面画像を生成し、並べて表示させてもよい。この場合には、断層データに代えてモーションコントラストデータを用いて正面画像を生成すればよい。

また、実施例２に係る処理と同様に、画像評価部３４３により、学習済モデルを用いて、複数の輝度のＥｎ−Ｆａｃｅ画像について画像中における篩状板の存在を評価する評価値を算出してもよい。この場合、学習済モデルの学習データについて、輝度のＥｎ−Ｆａｃｅ画像を入力データとし、該輝度のＥｎ−Ｆａｃｅ画像における網目状の構造（篩状板）の存在を評価する評価値を出力データとすることができる。なお、出力データは、医師等が、輝度のＥｎ−Ｆａｃｅ画像について網目状の構造（篩状板）の存在を評価した評価値を用いてよく、例えば篩状板の穴が見える画像については評価値を高くする等の基準で評価を行ってよい。この場合には、表示制御部３０６は、図２５に示すように、輝度のＥｎ−Ｆａｃｅ画像についての評価値を輝度のＥｎ−Ｆａｃｅ画像とともに表示部３１０に表示させることができる。

なお、画像評価部３４３は、実施例２と同様に、ルールベースの処理により輝度のＥｎ−Ｆａｃｅ画像における篩状板の存在を評価する評価値を算出してもよい。また、輝度のＥｎ−Ｆａｃｅ画像に代えてＯＣＴＡ正面画像を生成し、評価し、並べて表示させてもよい。

さらに、実施例３に係る処理と同様に、最大の評価値（他の評価値より高い評価値）に対応する輝度のＥｎ−Ｆａｃｅ画像や閾値以上の評価値を有する輝度のＥｎ−Ｆａｃｅ画像を自動的に選択し、表示させてもよい。

また、実施例３の変形例１乃至３に係る処理について、篩状板を抽出対象（対象領域）としてもよい。例えば、実施例３の変形例１で示したように、投影に用いる深度範囲を非常に薄くした状態で、細かく深度範囲を調整することで、篩状板に相当する網目構造がどの深度範囲に分布するかを推定することができる。これにより、表示すべき正面画像の最適な深度範囲を決定できるだけではなく、網目構造が分布した深度範囲から、篩状板の厚さを求めたり、断層データ等から篩状板をセグメンテーションしたりすることが可能である。

なお、篩状板の形態を観察する上では、１μｍ帯の波長掃引（ＳＳ：Ｓｗｅｐｔ Ｓｏｕｒｃｅ）光源を用いたＳＳ−ＯＣＴ装置を用いると、篩状板を観察し易い正面画像を生成することができる。また、輝度のＥｎ−Ｆａｃｅ画像を用いることで、篩状板の形態を観察し易いことが知られている。しかしながら、被検眼の撮影に用いるＯＣＴ装置や生成する正面画像はこれに限れず、例えば、上述のように、ＳＤ方式の光干渉部を用いたＳＤ−ＯＣＴ装置やＯＣＴＡ正面画画像を用いてもよい。

なお、本実施例では、図２５（ａ）乃至図２５（ｃ）に示したように、視神経乳頭部の網膜・硝子体界面の底に相当する深度を基準として、断層画像に対して水平なＬｉｎｅにより決まる深度範囲を定義し、深度範囲を変更した正面画像を生成したり評価値を算出したりした。しかしながら、深度範囲を定義する基準はこれに限られない。例えば、ブルッフ膜の端部を結んだ線により基準を定義してもよい。

ここで、図２６は、ブルッフ膜の端部（ブルッフ膜端Ｐ１，Ｐ２）を結んだ線による、深度範囲を定義する基準線を説明するための図である。図２６は、視神経乳頭部の断層画像を示している。図２６に示す断層画像には、硝子体・内境界膜（ＩＬＭ）境界Ｌ１、ＧＣＬ／ＩＰＬ境界Ｌ２、網膜色素上皮（ＲＰＥ）Ｌ３、及びブルッフ膜Ｌ４が示されている。

図２６に示すように、ブルッフ膜Ｌ４は、網膜内には一般に連続的に存在するが、視神経乳頭部には存在しない。ここで、視神経乳頭部周辺で終結するブルッフ膜の端部をブルッフ膜端と呼んでおり、断層画像ではブルッフ膜端Ｐ１，Ｐ２のように現れる。

ここで、層認識部３０３によって層認識を行った結果を用いて、ブルッフ膜端Ｐ１，Ｐ２を特定した上で、ブルッフ膜端Ｐ１，Ｐ２を結んだ直線Ｚを深度範囲の基準線とすることができる。この場合、直線Ｚをドラッグする等の操作により、上下（より浅い方又はより深い方）に移動させることで深度範囲を変更してもよい。

このように、ブルッフ膜等の網膜の構造に対して、正面画像を生成するための深度範囲の基準となる境界を決定することで、例えば、撮影条件により撮影された断層画像が傾いても、網膜の構造に対して略平行に投影を行った正面画像を取得することができる。このため、網膜の構造に対して安定した正面画像を取得することができる。

なお、上述した実施例２と同様な処理について、学習済モデルに関する学習データの入力データや運用時の入力データとして複数の輝度のＥｎ−Ｆａｃｅ画像を用いる構成について説明した。これに対し、例えば、学習データの入力データや運用時の入力データとして、輝度のＥｎ−Ｆａｃｅ画像における視神経乳頭部を抽出し、当該輝度のＥｎ−Ｆａｃｅ画像における視神経乳頭部以外をマスクした画像を用いてもよい。この場合には、視神経乳頭部以外の情報をニューラルネットワークに学習させないことにより、不要な情報が入力されないため、学習が早くなったり、推論結果（評価値）が正確になったりすることが期待できる。

（実施例５）
実施例１乃至３は、ＯＣＴＡ正面画像を用いて、加齢黄斑変性による新生血管（ＣＮＶ）が発生している症例に対して、最適な深度範囲の正面画像を提供する構成について述べた。また、実施例４では、視神経乳頭部の篩状板の形態について最適な深度範囲の正面画像を提供する構成について述べた。

同様の技術は、脈絡膜のセグメンテーション（Ｓａｔｔｌｅｒ層及びＨａｌｌｅｒ層の分離）にも応用可能である。Ｓａｔｔｌｅｒ層とＨａｌｌｅｒ層の境界も、篩状板の例と同じように、断層画像上では層境界が不明瞭であるため、判別が難しい。一方で、正面画像に投影することで、Ｓａｔｔｌｅｒ層とＨａｌｌｅｒ層の境界に関する血管の構造的な違いを確認することができる。血管の構造的な違いが明確に変わったところを境界とすることで、Ｓａｔｔｌｅｒ層及びＨａｌｌｅｒ層を分離することができる。また、このような場合には、それぞれの層での輝度のＥｎ−Ｆａｃｅ画像やＯＣＴＡ正面画像を生成することができる。

このため、本実施例では、実施例１と同様に、抽出対象（対象領域）として、Ｓａｔｔｌｅｒ層とＨａｌｌｅｒ層の境界に関する血管の構造を指定し、当該抽出対象に対応する複数の深度範囲についてのＥｎ−Ｆａｃｅ画像を生成する。なお、複数の深度範囲に関しては、例えば、ブルッフ膜から脈絡膜又は強膜までの範囲内において任意に設定されてよい。これにより、Ｓａｔｔｌｅｒ層とＨａｌｌｅｒ層の境界を確認するために最適な深度範囲の正面画像を生成し、表示することで、操作者はＳａｔｔｌｅｒ層とＨａｌｌｅｒ層の境界を容易に確認・特定することができる。また、実施例２，３及びそれらの変形例で述べた処理と同様の処理を行って、Ｓａｔｔｌｅｒ層とＨａｌｌｅｒ層の境界に関する血管の構造を確認し易い正面画像を取得することもできる。

なお、脈絡膜の層を解析する際は、１μｍ帯の波長掃引（ＳＳ）光源を用いたＳＳ−ＯＣＴ装置を用いると、脈絡膜の層を観察し易い正面画像を生成することができる。また、輝度のＥｎ−Ｆａｃｅ画像を用いることで、脈絡膜の層を観察し易いことが知られている。しかしながら、被検眼の撮影に用いるＯＣＴ装置や生成する正面画像はこれに限れず、例えば、上述のように、ＳＤ方式の光干渉部を用いたＳＤ−ＯＣＴ装置やＯＣＴＡ正面画画像を用いてもよい。

なお、深度範囲の基準となる境界線は、脈絡膜の層構造に沿った形の曲線としてもよい。また、断層画像上でのブルッフ膜若しくはＲＰＥの層形状又はそれらの境界線を用いて、深度範囲を定義するための境界線の形状を決定してもよい。この場合、基準となる境界線をドラッグ等の操作で移動させることで、深度範囲を移動させることができるように構成されてよい。

また、同様の技術は、網膜血管の毛細血管瘤の形態を確認するのに最適な深度範囲の正面画像を提供する場合にも適用できる。実施例１と同様に、抽出対象として、網膜血管の毛細血管瘤を指定し、当該抽出対象に対応する複数の深度範囲についての複数のＥｎ−Ｆａｃｅ画像を生成してもよい。毛細血管瘤は、一般には網膜浅層（Ｓｕｐｅｒｆｉｃｉａｌ Ｃａｐｉｌｌａｒｙ、ＩＬＭ〜ＧＣＬ／ＩＰＬ＋５０μｍ）や網膜深層（Ｄｅｅｐ Ｃａｐｉｌｌａｒｙ、ＧＣＬ／ＩＰＬ＋５０μｍ〜ＩＮＬ／ＯＰＬ＋７０μｍ）の範囲に存在する。そのため、複数のＥｎ−Ｆａｃｅ画像を生成するための各深度範囲は、網膜表層又は網膜深層内の深度範囲において任意に設定されてよい。実施例１で述べた処理と同様の処理により、網膜血管の毛細血管瘤を確認するために最適な深度範囲の正面画像を生成し、表示することで、操作者は明瞭な毛細血管瘤を容易に確認することができる。また、実施例２，３及びそれらの変形例で述べた処理と同様の処理を行って、網膜血管の毛細血管瘤を確認し易い正面画像を取得することもできる。

（変形例１）
上述した様々な実施例及び変形例における表示制御部３０６は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、表示制御部３０６は、上述したような様々なアーチファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示部３１０に表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、及びシュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。なお、画像解析処理は、画像評価部３４３によって行われてもよいし、画像処理装置３００における画像評価部３４３とは別の解析部によって行われてもよい。

また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、画像評価部３４３又は別の解析部が、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成したものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。

また、学習データは、セグメンテーション処理により生成された領域ラベル画像と、それらを用いた医用画像の解析結果とを含んだものでもよい。この場合、画像評価部３４３は、例えば、解析結果生成用の学習済モデルを用いて、セグメンテーション処理を実行して得た結果（例えば、網膜層の検出結果）から、断層画像や正面画像の解析結果を生成する、解析結果生成部の一例として機能することができる。言い換えれば、画像評価部３４３は、評価結果を取得するための学習済モデルとは異なる解析結果生成用の学習済モデルを用いて、セグメンテーション処理により特定した異なる領域それぞれについて画像解析結果を生成することができる。なお、セグメンテーション処理は、層認識部３０３によって行われた層認識結果であってもよいし、層認識部３０３の処理とは別に行われたものであってもよい。

さらに、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は輝度のＥｎ−Ｆａｃｅ画像に対応し、モーションコントラスト正面画像はＯＣＴＡのＥｎ−Ｆａｃｅ画像に対応する。

また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、及び画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、操作者からの指示に応じて、解析結果生成用の学習済モデルを用いて得た解析結果が表示されるように構成されてもよい。

また、上述した実施例及び変形例における表示制御部３０６は、表示画面のレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果としては、特定された異常部位等の位置が画像上に表示されてもよいし、異常部位の状態等が文字等によって表示されてもよい。さらに、異常部位等の分類結果（例えば、カーティン分類）が診断結果として表示されてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。

なお、診断結果は、画像評価部３４３が、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。

また、学習データは、セグメンテーション処理により生成された領域ラベル画像と、それらを用いた医用画像の診断結果とを含んだものでもよい。この場合、画像評価部３４３は、例えば、診断結果生成用の学習済モデルを用いて、セグメンテーション処理を実行して得た結果（例えば、網膜層の検出結果）から、正面画像や断層画像の診断結果を生成する、診断結果生成部の一例として機能することができる。言い換えれば、画像評価部３４３は、評価結果を取得するための学習済モデルとは異なる診断結果生成用の学習済モデルを用いて、セグメンテーション処理により特定した異なる領域それぞれについて診断結果を生成することができる。なお、学習済モデルを用いた診断結果の生成は、画像処理装置３００における、画像評価部３４３とは別の診断部によって行われてもよい。

また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルを用いて得た診断結果が表示されるように構成されてもよい。

ここで、画像評価部３４３は、上記実施例２乃至５において、解析結果生成用の学習済モデルを用いて取得した画像の解析結果を、正面画像からの抽出対象（対象領域）であるＣＮＶ等の存在を評価する評価結果（評価を示す情報）として取得してもよい。同様に、画像評価部３４３は、診断結果生成用の学習済モデルを用いて取得した診断結果を、抽出対象の存在を評価する評価結果として取得してもよい。例えば、画像評価部３４３は、正面画像についてこれら学習済モデルを用いて得た、ＣＮＶが存在するという解析結果や診断結果を、当該正面画像についての評価結果とすることができる。また、画像評価部３４３は、アーチファクトや所定の層に関する解析結果や診断結果を、当該正面画像についての評価結果とすることもできる。

例えば、画像評価部３４３は、注目部位や注目領域が画像内に存在することを示す解析結果や診断結果を取得した場合には評価値を１として算出することができる。また、画像評価部３４３は、注目部位や注目領域に関する解析結果又は診断結果の数値や面積に応じて評価値を算出してもよい。例えば、画像評価部３４３は、段階的に閾値を設け、注目部位や注目領域として解析・診断された領域の面積が超えた閾値に応じて評価値を算出してもよい。また、上記実施例と同様に、画像評価部３４３によって取得される評価を示す情報は評価値に限られず、抽出対象の存在の有無やその可能性を示す情報であってもよい。なお、上述した各種注目部位や注目領域、アーチファクトは、抽出対象（対象領域）の一例とすることができる。

また、上述した様々な実施例及び変形例に係る表示制御部３０６は、表示画面のレポート画面において、上述したような注目部位、注目領域、アーチファクト、及び異常部位等の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、層認識部３０３や画像評価部３４３が、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。

画像評価部３４３は、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いた物体認識処理やセグメンテーション処理の結果を、正面画像からの抽出対象であるＣＮＶ等の存在を評価する評価結果（評価を示す情報）として取得してもよい。例えば、画像評価部３４３は、正面画像についてこれら学習済モデルを用いて得た、ＣＮＶを示すラベル値等を、当該正面画像についての評価結果とすることができる。また、画像評価部３４３は、例えば、異常部位を検出した場合には評価値を１として算出することができる。さらに、画像評価部３４３は、異常部位として検出された領域の面積に応じて評価値を算出してもよい。例えば、画像評価部３４３は、段階的に閾値を設け、異常部位として検出された領域の面積が超えた閾値に応じて評価値を算出してもよい。また、上記実施例と同様に、画像評価部３４３によって取得される評価を示す情報は評価値に限られず、抽出対象の存在の有無やその可能性を示す情報であってもよい。なお、上述した各種注目部位や注目領域、アーチファクトは、抽出対象（対象領域）の一例とすることができる。

なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。また、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いた物体認識処理やセグメンテーション処理は、画像処理装置３００における画像評価部３４３とは別のセグメンテーション部や層認識部３０３によって行われてもよい。

なお、画像評価部３４３は、異常部位を検出する場合には、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）や変分オートエンコーダー（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ−Ｅｎｃｏｄｅｒ）を用いてもよい。例えば、正面画像の生成を学習して得た生成器と、生成器が生成した新たな正面画像と本物の正面画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。

ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された正面画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな正面画像を生成する。その後、入力された正面画像と生成された新たな正面画像との差分を異常部位として抽出することができる。また、ＶＡＥを用いる場合には、例えば、入力された正面画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな正面画像を生成する。その後、入力された正面画像と生成された新たな正面画像との差分を異常部位として抽出することができる。

さらに、画像評価部３４３は、畳み込みオートエンコーダー（ＣＡＥ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ−Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ画像を学習させる。これにより、推定時に異常部位がある画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない画像が出力される。その後、ＣＡＥに入力された画像とＣＡＥから出力された画像の差分を異常部位として抽出することができる。

これらの場合、画像評価部３４３は、正面画像について敵対的生成ネットワーク又はオートエンコーダー（ＡＥ）を用いて得た画像と、該敵対的生成ネットワーク又はオートエンコーダーに入力された正面画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、画像評価部３４３は、高速に精度よく異常部位を検出することが期待できる。ここで、オートエンコーダーには、ＶＡＥやＣＡＥ等が含まれる。

画像評価部３４３は、このような処理により、異常部位を検出した場合には評価値を１として算出することができる。また、画像評価部３４３は、異常部位として検出された領域の面積に応じて評価値を算出してもよい。例えば、画像評価部３４３は、段階的に閾値を設け、異常部位として検出された領域の面積が超えた閾値に応じて評価値を算出してもよい。

なお、画像評価部３４３は、異常部位を検出するための機械学習モデルとして、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。

上記では、異常部位について評価値を取得する構成について説明したが、ＧＡＮやＡＥを用いた処理はこれに限られない。例えば、画像評価部３４３は、ＧＡＮやＡＥを用いて取得した画像と、ＧＡＮやＡＥに入力された画像との相関値等の差異に関する情報を評価値（評価を示す情報）としてもよい。この場合でも、画像評価部３４３は、正面画像における対象領域（病変部位等）の存在を評価する評価を示す情報を取得することができる。

また、疾病眼では、疾病の種類に応じて画像特徴が異なる。そのため、上述した様々な実施例や変形例において用いられる学習済モデルは、疾病の種類毎又は異常部位毎にそれぞれ生成・用意されてもよい。この場合には、例えば、画像処理装置３００は、操作者からの被検眼の疾病の種類や異常部位等の入力（指示）に応じて、処理に用いる学習済モデルを選択することができる。なお、疾病の種類や異常部位毎に用意される学習済モデルは、物体認識やセグメンテーション用の学習済モデルに限られず、例えば、画像の評価用のエンジンや解析用のエンジン等で用いられる学習済モデルであってもよい。このとき、画像処理装置３００は、別に用意された学習済モデルを用いて、画像から被検眼の疾病の種類や異常部位を識別してもよい。この場合には、画像処理装置３００は、当該別に用意された学習済モデルを用いて識別された疾病の種類や異常部位に基づいて、上記処理に用いる学習済モデルを自動的に選択することができる。なお、当該被検眼の疾病の種類や異常部位を識別するための学習済モデルは、断層画像や眼底画像、正面画像等を入力データとし、疾病の種類やこれら画像における異常部位を出力データとした学習データのペアを用いて学習を行ってよい。ここで、学習データの入力データとしては、断層画像や眼底画像、正面画像等を単独で入力データとしてもよいし、これらの組み合わせを入力データとしてもよい。

また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。

また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の３次元ＯＣＴ画像（３次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタスキャン）断層画像とをセットとする入力データ等も考えられる。

なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、処理の結果を向上することができる。例えば、推定時（予測時）において、広画角画像における複数の位置で異常部位が検出された場合に、各異常部位の拡大画像を順次表示可能に構成させる。これにより、複数の位置における異常部位を効率よく確認することができるため、例えば、検者の利便性を向上することができる。このとき、例えば、異常部位が検出された広画角画像上の各位置を検者が選択可能に構成され、選択された位置における異常部位の拡大画像が表示されるように構成されてもよい。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。

また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、操作者は、撮影直後であっても精度の良い結果を確認することができる。

ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダー（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝播法）に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。

なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である画像処理装置３００による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵ又はＧＰＵのみにより演算が行われても良い。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いても良い。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

また、評価処理やセグメンテーション等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ−ｎｅｔ型の機械学習モデルが適用可能である。Ｕ−ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。

また、評価やセグメンテーション等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。

また、機械学習モデルは、例えば、カプセルネットワーク（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。

また、評価用の学習済モデルは、当該学習済モデルにより生成された少なくとも１つの評価値を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、評価値を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。なお、これらの構成は、評価用の学習済モデルに限らず、上述した様々な学習済モデルに対しても適用可能である。また、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。

なお、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて被検眼の領域を検出する場合には、検出した領域毎に所定の画像処理を施すこともできる。例えば、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの領域を検出する場合を考える。この場合には、検出された少なくとも２つの領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は領域毎の疾病等をより適切に診断することができる。なお、検出された領域毎に異なる画像処理のパラメータを用いる構成については、例えば、学習済モデルを用いずに検出された被検眼の領域について同様に適用されてもよい。

（変形例２）
上述した様々な実施例及び変形例においては、各種学習済モデルが追加学習中である場合、追加学習中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習中の学習済モデルに対する正面画像や医用画像の入力を禁止することがよい。また、追加学習中の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習中には、予備の学習済モデルに対して正面画像や医用画像の入力が実行できるようにすることがよい。そして、追加学習が完了した後に、追加学習後の学習済モデルを評価し、問題がなければ、予備の学習済モデルから追加学習後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。

また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第一の撮影部位（肺、被検眼等）を含む学習データを用いて得た第一の学習済モデルと、第一の撮影部位とは異なる第二の撮影部位を含む学習データを用いて得た第二の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、画像処理装置３００は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、画像処理装置３００は、選択された学習済モデルに対して追加学習を実行する制御手段を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。

なお、選択手段及び制御手段は、画像処理装置３００のＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。

また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減することが有用である。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わないものとする。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。

（変形例３）
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル（音声認識エンジン、音声認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル（文字認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル（ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。

また、検者からの指示は、表示部３１０における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部３１０における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。

このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、抽出対象（対象領域）の指定の指示を示す文字データ又は音声データ等を入力データとし、抽出対象の指定の実行命令及び図５に示す選択ボタン等を選択するための実行命令を正解データとする学習データであってもよい。なお、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス又はタッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。

このような構成によれば、抽出対象（対象領域）は、画像生成部３０４（対象指定部）によって、文字認識結果を生成するための学習済モデル、音声認識結果を生成するための学習済モデル、及びジェスチャー認識結果を生成するための学習済モデルのうち少なくとも一つの学習済モデルを用いて得た情報を用いて指定されることができる。これにより、検者による画像処理装置３００の操作性を向上させることができる。

ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図２７（ａ）及び図２７（ｂ）を参照して説明する。また、ＲＮＮの一種であるＬｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図２８（ａ）及び図２８（ｂ）を参照して説明する。

図２７（ａ）は、機械学習モデルであるＲＮＮの構造を示す。ＲＮＮ２７２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘ^ｔ２７１０が入力され、データｈ^ｔ２７３０を出力する。ＲＮＮ２７２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図２７（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘ^ｔ２７１０にはＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ２７２０より出力されるデータｈ^ｔ２７３０には入力データに対応するＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。

しかしながら、ＲＮＮでは誤差逆伝播時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図２８（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ２８４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃ^ｔ−１と出力データｈ^ｔ−１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。

次に、図２８（ｂ）にＬＳＴＭ２８４０の詳細を示す。図２８（ｂ）においては、忘却ゲートネットワークＦＧ、入力ゲートネットワークＩＧ、及び出力ゲートネットワークＯＧが示され、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。また、図２８（ｂ）においては、セル更新候補ネットワークＣＵが示され、セル更新候補ネットワークＣＵは活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。

なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。

（変形例４）
上述した様々な実施例及び変形例において、正面画像やセグメンテーション処理により生成された領域ラベル画像等は、操作者からの指示に応じて記憶部に保存されてもよい。このとき、例えば、領域ラベル画像を保存するための操作者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、又は最後の箇所）に、セグメンテーション用の学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、操作者からの指示に応じて編集可能な状態で表示されてもよい。なお、同様に、他の学習済モデルを用いて得た画像等について、当該学習済モデルを用いた処理により生成された画像である情報を含むファイル名が表示されてもよい。

また、レポート画面等の種々の表示画面において、表示部３１０に領域ラベル画像を表示させる際に、表示されている画像がセグメンテーション用の学習済モデルを用いた処理により生成された画像であることを示す表示が、画像とともに表示されてもよい。この場合には、操作者は、当該表示によって、表示された画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、セグメンテーション用の学習済モデルを用いた処理により生成された画像であることを示す表示は、入力画像と当該処理により生成された画像とを識別可能な表示であればどのような態様のものでもよい。また、セグメンテーション用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。また、セグメンテーション処理用の学習済モデルを用いたセグメンテーション結果の解析結果を表示する際にも、セグメンテーション用の学習済モデルを用いた結果に基づいた解析結果であることを示す表示が、解析結果とともに表示されてもよい。

このとき、レポート画面等の表示画面は、操作者からの指示に応じて、画像データとして記憶部に保存されてもよい。例えば、領域ラベル画像等と、これらの画像が学習済モデルを用いた処理により生成された画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部に保存されてもよい。

また、セグメンテーション用の学習済モデルを用いた処理により生成された画像であることを示す表示について、セグメンテーション用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、例えば上述した種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部３１０に表示されてもよい。

また、学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。なお、セグメンテーション用の学習済モデルを用いた処理だけでなく、他の上述した種々の学習済モデルを用いた処理により得た画像についても、同様に処理してよい。

また、レポート画面の初期表示画面として、図４に示すように所定の抽出対象（対象領域）が選択されるようにデフォルト設定されている場合には、検者からの指示に応じて、抽出対象の画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、所定の抽出対象が選択されるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、抽出対象の画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ−Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、抽出対象の画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されもよい。

（変形例５）
上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第一の種類の学習済モデルで得た画像（例えば、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）を、第一の種類とは異なる第二の種類の学習済モデルに入力してもよい。このとき、第二の種類の学習済モデルの処理による結果（例えば、評価結果、解析結果、診断結果、物体認識結果、セグメンテーション結果）が生成されるように構成されてもよい。

また、上述したような種々の学習済モデルのうち、第一の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）を用いて、第一の種類の学習済モデルに入力した画像から、第一の種類とは異なる第二の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第二の種類の学習済モデルを用いて処理する画像として適した画像である可能性が高い。このため、生成された画像を第二の種類の学習済モデルに入力して得た画像（例えば、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。

また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検索モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、画像処理装置は、評価結果を取得するための学習済モデルとは異なる類似症例画像検索用の学習済モデルを用いて、セグメンテーション処理等により特定した異なる領域それぞれについて類似症例画像の検索を行うことができる。

（変形例６）
なお、上記実施例及び変形例では、被検眼の眼底部分に関する３次元ボリュームデータや正面画像について説明したが、被検眼の前眼部に関する画像について上記画像処理を行ってもよい。この場合、画像において異なる画像処理が施されるべき領域には、水晶体、角膜、虹彩、及び前眼房等の領域が含まれる。なお、当該領域に前眼部の他の領域が含まれてもよい。また、眼底部分に関する画像についての領域は、硝子体部、網膜部、及び脈絡膜部に限られず、眼底部分に関する他の領域を含んでもよい。

また、上記実施例及び変形例では、被検体として被検眼を例に説明したが、被検体はこれに限定されない。例えば、被検体は皮膚や他の臓器等でもよい。この場合、上記実施例及び変形例に係るＯＣＴ装置は、眼科装置以外に、内視鏡等の医療機器に適用することができる。

（変形例７）
また、上述した様々な実施例及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施例及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。

さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。

また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（３次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ−Ｆａｃｅ画像を含む。Ｅｎ−Ｆａｃｅ画像は、３次元のＯＣＴＡデータ（３次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ−Ｆａｃｅ画像（モーションコントラスト正面画像）でもよい。また、３次元のＯＣＴデータや３次元のモーションコントラストデータは、３次元の医用画像データの一例である。

ここで、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。

そのため、上記実施例及び変形例で記載した発明に関し、例えば、ＣＴ装置で取得した被検体の異なる位置に対応する複数のスライス画像について、画像評価部３４３によってスライス画像内の対象領域（注目部位又は対象部位）の存在を評価するように構成してもよい。この場合、画像生成部３０４は、画像評価部３４３による評価結果（評価を示す情報）を用いて、出力画像を決定することができる。このような画像処理は、眼科分野に限られず、上述した任意の撮影装置により対象部位について取得された医用画像について適用することができる。被検体の注目部位は、個人差によって位置がずれる可能性があるため、当該処理により、異なる箇所に対応する複数の画像を評価し、評価結果を用いて出力画像を決定することで、注目部位を確認し易い画像を取得することができる。なお、上述した被検者の所定の部位は、抽出対象（対象領域）の一例とすることができる。

なお、撮影装置を用いて取得した医用画像は、注目部位の種類に応じて画像特徴が異なる。そのため、上述した様々な実施例や変形例において用いられる学習済モデルは、注目部位の種類毎にそれぞれ生成・用意されてもよい。この場合、例えば、画像処理装置３００は、指定された対象領域（注目部位）に応じて、画像評価部３４３等による処理に用いる学習済モデルを選択することができる。

また、上記実施例及び変形例で説明したＧＵＩ等の表示態様は、上述のものに限られず、所望の構成に応じて任意に変更されてよい。例えば、ＧＵＩ５００等について、ＯＣＴＡ正面画像、断層画像、及び深度範囲を表示すると記載したが、断層画像上に、モーションコントラストデータを表示してもよい。この場合、どの深度にモーションコントラスト値が分布しているのかを合わせて確認することができる。また、画像の表示等に色を用いるなどしてもよい。

さらに、上記実施例及び変形例では、生成した画像を表示部３１０に表示させる構成としたが、例えば、外部のサーバ等の外部装置に出力する構成としてもよい。また、複数の正面画像に対応する互いに異なる深度範囲は、一部が重複する深度範囲であってもよい。

さらに、上記実施例及び変形例に係る抽出対象（対象領域）の評価用の学習済モデルでは、正面画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推定処理に用いているものと考えらえる。

なお、上記実施例及び変形例では、ＯＣＴ装置として、ＳＬＤを光源として用いたスペクトラムドメインＯＣＴ（ＳＤ−ＯＣＴ）装置について述べたが、本発明によるＯＣＴ装置の構成はこれに限られない。例えば、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置等の他の任意の種類のＯＣＴ装置にも本発明を適用することができる。また、ライン光を用いたＬｉｎｅ−ＯＣＴ装置（あるいはＳＳ−Ｌｉｎｅ−ＯＣＴ装置）に対して本発明を適用することもできる。また、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ−ＯＣＴ装置（あるいはＳＳ−Ｆｕｌｌ Ｆｉｅｌｄ−ＯＣＴ装置）にも本発明を適用することもできる。さらに、波面補償光学系を用いた波面補償ＯＣＴ（ＡＯ−ＯＣＴ）装置、又は偏光位相差や偏光解消に関する情報を可視化するための偏光ＯＣＴ（ＰＳ−ＯＣＴ）装置にも本発明を適用することができる。

上記実施例及び変形例では、分割手段としてカプラーを使用した光ファイバ光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、光干渉部１００及び走査光学系２００の構成は、上記の構成に限られず、光干渉部１００及び走査光学系２００に含まれる構成の一部をこれらとは別体の構成としてもよい。さらに、干渉系としてマイケルソン干渉系を用いたが、マッハツェンダー干渉系を用いてもよい。

また、上記実施例及び変形例では、画像処理装置３００は、光干渉部１００で取得された干渉信号や再構成部３０１で生成された断層データ等を取得した。しかしながら、画像処理装置３００がこれらの信号や画像を取得する構成はこれに限られない。例えば、画像処理装置３００は、画像処理装置３００とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号やデータを取得してもよい。

なお、上記実施例及び変形例に係る学習済モデルは画像処理装置３００に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、画像処理装置３００と接続される別のサーバの装置等に設けられてもよい。この場合には、画像処理装置３００は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。また、学習済モデルの学習データは、実際の撮影を行う眼科装置自体を用いて得たデータに限られず、所望の構成に応じて、同型の眼科装置を用いて得たデータや、同種の眼科装置を用いて得たデータ等であってもよい。

これに関連して、画像評価部３４３は、画像処理装置３００の外部に設けられてもよい。この場合、画像処理装置３００に接続された外部のサーバ等の外部装置により画像評価部３４３を構成し、画像処理装置３００は、取得した３次元ボリュームデータや生成した正面画像、抽出対象（対象領域）に関する情報を外部装置に送信する。その後、画像処理装置３００は、外部装置から取得した評価結果を用いて、出力すべき正面画像を決定したり、生成したりしてもよい。この場合には、画像処理装置３００と当該外部装置（評価装置）とが設けられた画像処理システムを構成することができる。なお、画像評価部３４３を画像処理装置３００の外部に設ける場合には、評価を示す情報を用いて出力すべき画像を決定する決定部は、画像評価部３４３と同じ装置内に設けられてもよい。

（その他の実施例）
本発明は、上述の実施例及び変形例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、一つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。

プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

３００：画像処理装置、３０４：画像生成部（決定部）、３４３：画像評価部（評価部）

Claims (27)

1. 被検眼の３次元ボリュームデータの異なる深度範囲に対応した複数の正面画像を用いて、対象領域の存在を評価した評価を示す情報であって、前記複数の正面画像に対応する複数の情報を取得する評価部と、
   前記複数の情報を用いて、前記複数の正面画像のうち少なくとも一つを出力画像として決定する決定部と、
   を備える、画像処理装置。
2. 表示部の表示を制御する表示制御部を更に備え、
   前記表示制御部は、前記複数の情報を前記表示部に前記複数の正面画像と並べて表示させる、請求項１に記載の画像処理装置。
3. 前記複数の情報は複数の評価値であり、
   前記決定部は、前記複数の評価値のうち他の評価値よりも高い評価値に対応する正面画像を前記出力画像として決定する、請求項１又は２に記載の画像処理装置。
4. 被検眼の３次元ボリュームデータの異なる深度範囲に対応した複数の正面画像を用いて、対象領域の存在を評価した評価を示す情報であって、前記複数の正面画像に対応する複数の情報を取得する評価部と、
   前記複数の情報を用いて深度範囲を決定し、前記決定された深度範囲を用いて生成した画像を出力画像として決定する決定部と、
   を備える、画像処理装置。
5. 前記複数の情報は複数の評価値であり、
   前記決定部は、前記複数の評価値のうち閾値以上である評価値に対応する深度範囲を連結することで前記深度範囲を決定する、請求項４に記載の画像処理装置。
6. 前記複数の情報は複数の評価値であり、
   前記決定部は、前記複数の評価値のうち閾値以上である評価値に対応する深度範囲における、他の深度位置よりも浅い深度位置を上限とし、他の深度位置よりも深い深度位置を下限として前記出力画像の深度範囲を決定する、請求項４に記載の画像処理装置。
7. 前記複数の情報は複数の評価値であり、
   前記決定部は、前記複数の評価値のうち他の評価値よりも高い評価値に対応する深度範囲を中心として、前記出力画像の深度範囲を決定する、請求項４に記載の画像処理装置。
8. 正面画像を生成する画像生成部を更に備え、
   前記複数の情報は複数の評価値であり、
   前記画像生成部は、前記複数の評価値のうち他の評価値よりも高い評価値に対応する深度範囲を増減させた複数の深度範囲を決定するとともに該複数の深度範囲に対応する正面画像を生成し、
   前記評価部は、前記複数の深度範囲に対応する正面画像を用いて、前記複数の深度範囲に対応する複数の正面画像の複数の評価値を取得し、
   前記決定部は、前記複数の深度範囲に対応する複数の正面画像の複数の評価値のうち他の評価値よりも高い評価値に対応する正面画像を前記出力画像として決定する、請求項４に記載の画像処理装置。
9. 前記複数の正面画像を生成するための各深度範囲は、網膜外層又はブルッフ膜から脈絡膜側に０〜５０μｍの範囲内の深度範囲である、請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記複数の正面画像を生成するための各深度範囲は、乳頭部の網膜と硝子体の境界から脈絡側に０〜５００μｍの範囲内の深度範囲である、請求項１乃至８のいずれか一項に記載の画像処理装置。
11. 前記複数の正面画像を生成するための各深度範囲は、網膜表層又は網膜深層内の深度範囲である、請求項１乃至８のいずれか一項に記載の画像処理装置。
12. 前記評価部は、正面画像と該正面画像における対象領域の存在を評価した評価を示す情報を学習データとする学習を行って得た学習済モデルを用いて、前記複数の正面画像から前記複数の情報を取得する、請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 前記評価部は、正面画像からセグメンテーション結果又は物体認識結果を生成するための学習済モデルを用いて、前記複数の正面画像から前記複数の情報を取得する、請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 前記評価部は、前記複数の正面画像のそれぞれについて敵対的生成ネットワーク又はオートエンコーダーを用いて得た正面画像と、該敵対的生成ネットワーク又は該オートエンコーダーに入力された正面画像との差異に関する情報を用いて前記複数の情報を取得する、請求項１乃至１３のいずれか一項の記載の画像処理装置。
15. 前記評価部は、正面画像から解析結果又は診断結果を生成するための学習済モデルを用いて、前記複数の正面画像から前記複数の情報を取得する、請求項１乃至１４のいずれか一項に記載の画像処理装置。
16. 被検体の３次元ボリュームデータの異なる位置に対応した複数の医用画像を用いて、対象領域の存在を評価した評価を示す情報であって、前記複数の医用画像に対応する複数の情報を取得する評価部と、
    前記複数の情報を用いて、前記複数の医用画像のうち少なくとも一つを出力画像として決定する決定部と、
    を備える、画像処理装置。
17. 前記対象領域を指定する対象指定部を更に備える、請求項１乃至１６のいずれか一項に記載の画像処理装置。
18. 被検眼の３次元ボリュームデータからの対象領域を指定する対象指定部と、
    前記３次元ボリュームデータの異なる深度範囲に対応した複数の正面画像であって、前記指定された対象領域の情報を用いて生成された複数の正面画像を表示部に並べて表示させる表示制御部と、
    前記指定された対象領域の情報を用いて、前記複数の正面画像を生成するための３次元ボリュームデータの種別、前記対象領域となる層又は深度範囲、生成する正面画像の枚数、正面画像を生成する深度範囲、及び正面画像を生成する深度範囲の間隔のうち少なくとも一つを決定する決定部と、
    を備える、画像処理装置。
19. 前記対象領域は、文字認識結果を生成するための学習済モデル、音声認識結果を生成するための学習済モデル、及びジェスチャー認識結果を生成するための学習済モデルのうち少なくとも一つの学習済モデルを用いて指定される、請求項１７又は１８に記載の画像処理装置。
20. 前記対象領域は新生血管の領域であり、前記３次元ボリュームデータは３次元のモーションコントラストデータである、請求項１乃至１９のいずれか一項に記載の画像処理装置。
21. 前記対象領域は篩状板の領域であり、前記３次元ボリュームデータは乳頭部の３次元の断層データである、請求項１乃至１９のいずれか一項に記載の画像処理装置。
22. 前記対象領域は毛細血管瘤の領域であり、前記３次元ボリュームデータは黄斑部の３次元のモーションコントラストデータである、請求項１乃至１９のいずれか一項に記載の画像処理装置。
23. 被検眼の３次元ボリュームデータの異なる深度範囲に対応した複数の正面画像を用いて、対象領域の存在を評価した評価を示す情報であって、前記複数の正面画像に対応する複数の情報を取得することと、
    前記複数の情報を用いて、前記複数の正面画像のうち少なくとも一つを出力画像として決定することと、
    を含む、画像処理方法。
24. 被検眼の３次元ボリュームデータの異なる深度範囲に対応した複数の正面画像を用いて、対象領域の存在を評価した評価を示す情報であって、前記複数の正面画像に対応する複数の情報を取得することと、
    前記複数の情報を用いて深度範囲を決定し、前記決定された深度範囲を用いて生成した画像を出力画像として決定することと、
    を含む、画像処理方法。
25. 被検体の３次元ボリュームデータの異なる位置に対応した複数の医用画像を用いて、対象領域の存在を評価した評価を示す情報であって、前記複数の医用画像に対応する複数の情報を取得することと、
    前記複数の情報を用いて、前記複数の医用画像のうち少なくとも一つを出力画像として決定することと、
    を含む、画像処理方法。
26. 被検眼の３次元ボリュームデータからの対象領域を指定することと、
    前記３次元ボリュームデータの異なる深度範囲に対応した複数の正面画像であって、前記指定された対象領域の情報を用いて生成された複数の正面画像を表示部に並べて表示させることと、
    前記指定された対象領域の情報を用いて、前記複数の正面画像を生成するための３次元ボリュームデータの種別、前記対象領域となる層又は深度範囲、生成する正面画像の枚数、正面画像を生成する深度範囲、及び正面画像を生成する深度範囲の間隔のうち少なくとも一つを決定することと、
    を含む、画像処理方法。
27. プロセッサーによって実行されると、該プロセッサーに請求項２３乃至２６のいずれか一項に記載の画像処理方法の各工程を実行させるプログラム。

Images