JP2022062620A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 検者が診断する上での利便性を向上させる。【解決手段】 画像処理装置の一つは、視神経乳頭部を含む領域を第１の時間に撮影して得た３次元データの解析結果である第１の解析マップと、黄斑部を含む領域を第１の時間に撮影して得た３次元データの解析結果である第２の解析マップと、視神経乳頭部と黄斑部とを含む領域を第１の時間の後である第２の時間に撮影して得た３次元データの解析結果である視神経乳頭部に関する第３の解析マップと黄斑部に関する第４の解析マップとであって、第１の解析マップと第３の解析マップとを時系列に並べて第１の表示領域に表示させ、第２の解析マップと第４の解析マップとを時系列に並べて第１の表示領域とは異なる第２の表示領域に表示させる。【選択図】 図８

Description

開示の技術は、画像処理装置、画像処理方法及びプログラムに関する。

被検眼の撮影を行うための眼科撮影装置として光干渉断層計が知られている。光干渉断層計は、光コヒーレンストモグラフィ（ＯＣＴ）を利用して眼底や前眼部の断面像や３次元画像を取得する。更に、光干渉断層計により取得されたデータは、被検眼の状態を把握するための解析処理に利用される。

解析処理として、眼底の層組織の厚さの解析（眼底層厚解析）などがある。眼底層厚解析では、所定の層組織の厚さ分布の生成や、正常眼データベースとの比較が行われる。対象となる層組織は、網膜神経線維層（ＲＮＦＬ）、神経節細胞層（ＧＣＬ）、神経節細胞層と内網状層（ＩＰＬ）との複合層、神経節細胞層と内網状層と網膜神経線維層との複合層などがある。

解析処理を広範囲にわたって行うことが望ましい場合がある。緑内障に関する眼底層厚解析では、視神経乳頭部を含む領域と黄斑部を含む領域との双方を対象とすることが望ましい。従来技術では、視神経乳頭部を含む領域のデータ収集と、黄斑部を含む領域のデータ収集とを個別に行い、収集されたデータを個別に解析している。

ここで、特許文献１では、光コヒーレンストモグラフィ（ＯＣＴ）を用いて、眼底の広域にわたる領域として、視神経乳頭部と黄斑部とを含む領域を撮影する技術が開示されている。そして、特許文献１には、眼底の広域にわたる状態を容易に把握するために、視神経乳頭部を含む領域と黄斑部を含む領域とを個別に解析することにより得られる視神経乳頭部に関する解析マップと黄斑部に関する解析マップとを、被検眼の正面画像に重ねて表示させる技術が開示されている。このとき、特許文献１には、視神経乳頭部に関する解析マップと黄斑部に関する解析マップとが互いに部分的に重ねて表示されることが開示されている。

特開２０１７－０７４３２５号公報

ここで、緑内障の診断では、視神経乳頭部に関する解析マップと黄斑部に関する解析マップとを経過観察するために、同一被検眼で取得された、過去のデータと現在のデータとを比較したい場合がある。このとき、過去のデータの状況によっては、例えば、過去において視神経乳頭部を含む領域と黄斑部を含む領域とを個別に撮影して得た３次元データをそれぞれ解析することで得られる解析マップと、現在において視神経乳頭部と黄斑部とを含む領域を撮影して得た３次元データを解析することで得られるそれぞれの解析マップとを比較せざるを得ない場合がある。

開示の技術は、検者が診断する上での利便性を向上させることを目的の一つとする。

なお、上記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の一つとして位置付けることができる。

開示の画像処理装置の一つは、
光コヒーレンストモグラフィを用いて被検眼の眼底の視神経乳頭部を含む領域を第１の時間に撮影して得た前記視神経乳頭部に関する３次元データの解析結果である第１の解析マップと、光コヒーレンストモグラフィを用いて前記眼底の黄斑部を含む領域を前記第１の時間に撮影して得た前記黄斑部に関する３次元データの解析結果である第２の解析マップと、光コヒーレンストモグラフィを用いて前記視神経乳頭部と前記黄斑部とを含む領域を前記第１の時間の後である第２の時間に撮影して得た３次元データの解析結果である前記視神経乳頭部に関する第３の解析マップと前記黄斑部に関する第４の解析マップと、を取得する取得部と、
前記第１の解析マップと前記第３の解析マップとを時系列に並べて第１の表示領域に表示させるように表示部を制御し、前記第２の解析マップと前記第４の解析マップとを時系列に並べて前記第１の表示領域とは異なる第２の表示領域に表示させるように前記表示部を制御する表示制御部と、を備える。

開示の技術の一つによれば、検者が診断する上での利便性を向上させることができる。

画像処理システムの構成を示す図。 眼部の構造と断層画像と眼底画像を説明するための図。 画像処理システムにおける処理の流れを示すフローチャート。 撮影領域を説明するための図。 画像を表示する画面を説明するための図。 画像を表示する画面を説明するための図。 画像処理システムの構成を示す図。 画像を表示する画面を説明するための図。 時系列データ選択の流れを示すフローチャート。 時系列データ選択について説明をするための図。 画像を表示する画面を説明するための図。 画像処理システムにおける処理の流れを示すフローチャート。 モーションコントラストデータを説明するための図。 画像を表示する画面を説明するための図。 画像処理システムの構成を示す図。 機械学習モデルを説明するための図。

（第一の実施形態）
以下、図面を参照しながら、第一の実施形態について説明する。本実施形態の一つによれば、光コヒーレンストモグラフィ（ＯＣＴ）を用いて、１回のスキャンパターン（例えば、ラスタスキャン）で得た眼底の単一の３次元データに対して、視神経乳頭部を含む領域の解析と黄斑部（中心窩）を含む領域の解析とを行い、これらの解析による結果（解析マップ）を並べて表示部に表示させる。すなわち、本実施形態の一つによれば、光コヒーレンストモグラフィを用いて、被検眼の眼底の視神経乳頭部と黄斑部とを含む領域を撮影して得た３次元データの解析結果である視神経乳頭部に関する解析マップと黄斑部に関する解析マップとを取得し、これらの解析マップを並べて表示部に表示させる。このとき、本実施形態の一つによれば、これらの解析マップと、視神経乳頭部と黄斑部とを含む領域に関する２次元画像とを並べて表示部に表示させる。これにより、検者が診断する上での利便性を向上させることができる。例えば、視神経乳頭部に関する解析マップと黄斑部に関する解析マップとが互いに部分的に重なることによって一方の解析マップの一部が見えなくなってしまうような、従来技術によって生じる状況がなくなるためである。

ここで、視神経乳頭部に関する解析マップとは、視神経乳頭部を含む領域の解析結果を示す２次元画像であれば何でもよい。また、黄斑部に関する解析マップとは、黄斑部を含む領域の解析結果を示す２次元画像であれば何でもよい。なお、解析結果を示す２次元画像は、例えば、後述する層厚マップや、血管密度マップ、解析して得た解析情報（例えば、層厚情報）と正常眼の統計情報（ノーマティブデータ）との比較結果を示すマップ等である。また、視神経乳頭部と黄斑部とを含む領域に関する２次元画像は、例えば、視神経乳頭部と黄斑部とを含む領域を撮影して得たＳＬＯ画像（あるいはカラー眼底画像やモノクロ眼底画像）等である。また、視神経乳頭部と黄斑部とを含む領域に関する２次元画像は、例えば、ＯＣＴを用いて得た３次元データであって、被検眼の深さ方向における３次元データの少なくとも一部のデータを用いて得た正面画像（Ｅｎｆａｃｅ画像）等である。また、視神経乳頭部と黄斑部とを含む領域に関する２次元画像は、例えば、被検眼の深さ方向における３次元データの少なくとも一部のデータを解析して得た層厚情報を（所定の透明度が設定された）色情報として、上記正面画像に重畳して得られる層厚マップ等である。

なお、本実施形態の他の一つによれば、視神経乳頭部と黄斑部とを含む領域に関する２次元画像と、視神経乳頭部に関する解析マップ及び黄斑部に関する解析マップのうち一方の解析マップとを重ねて表示部に表示させてもよい。このとき、本実施形態の他の一つによれば、他方の解析マップと２次元画像とを並べて表示部に表示させてもよい。これにより、例えば、視神経乳頭部に関する解析マップと黄斑部に関する解析マップとが互いに部分的に重ならないように表示させることができる。このため、検者が診断する上での利便性を向上させることができる。なお、２次元画像に重ねて表示される解析マップは、２次元画像上の対応する位置に重ねて表示されてもよい。また、他方の解析マップは、別の２次元画像に重ねて表示部に表示させてもよい。このとき、解析マップが重ねて表示される２つの２次元画像は、同種の２次元画像であってもよいし、異なる種類の２次元画像であってもよい。

以下、本実施形態に係る画像処理装置を備える画像処理システムについて、詳細を説明する。

図１は、本実施形態に係る画像処理装置３００を備える画像処理システム１００の構成を示す図である。図１に示すように、画像処理システム１００は、画像処理装置３００が、インタフェースを介して断層画像撮影装置２００、眼底画像撮影装置４００、外部記憶部５００、表示部６００、入力部７００と接続されることにより構成されている。

断層画像撮影装置２００は、眼部の断層画像を撮影する装置である。断層画像撮影装置２００は、例えばＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ ｄｏｍａｉｎ ＯＣＴ）や、ＳＳ－ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）などの光干渉断層計（光コヒーレンストモグラフィ、ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）により構成される。ここで、ＳＤ－ＯＣＴは、広帯域光源を用い、分光器でインターフェログラムを取得するＯＣＴである。また、ＳＳ－ＯＣＴは、光源として、高速波長掃引光源を用いることで、単一チャネル光検出器でスペクトル干渉を計測するＯＣＴである。このとき、断層画像撮影装置２００は、測定光を照射した眼底からの戻り光と参照光との干渉光を検出する検出部（不図示）を有し、ＯＣＴを含む眼科撮影装置の一例である。なお、断層画像撮影装置２００は、既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置３００からの指示により行われる断層画像の撮影から解析処理について説明を行う。

図１において、ガルバノミラー２０１は、測定光の眼底における走査を行うためのものであり、ＯＣＴによる眼底の撮影範囲を規定する。また、駆動制御部２０２は、ガルバノミラー２０１の駆動範囲および速度を制御することで、眼底における平面方向の撮影範囲及び走査線数（平面方向の走査速度）を規定する。ここでは、簡単のためガルバノミラーは一つのユニットとして示したが、実際にはＸスキャン用のミラーとＹスキャン用のミラーとで構成され、眼底上で所望の範囲を測定光で走査できる。

フォーカス２０３は被検体である眼の前眼部を介し、眼底の網膜層にフォーカスするためのものである。測定光は、不図示のフォーカスレンズにより、被検体である眼の前眼部を介し、眼底の網膜層にフォーカスされる。眼底を照射した測定光は各網膜層で反射・散乱して戻る。

内部固視灯２０４は、表示部２４１、レンズ２４２で構成される。表示部２４１として複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部２０２の制御により撮影したい部位に合わせて変更される。固視灯の位置は、黄斑部周辺を撮影するための黄斑部固視灯位置、視神経乳頭部周辺を撮影するための視神経乳頭部固視灯位置、黄斑部と視神経乳頭部とを両方含むように撮影するための後極部中心固視灯位置などとする。表示部２４１からの光は、レンズ２４２を介し、被検眼に導かれる。表示部２４１から出射される光は５２０ｎｍで、駆動制御部２０２により所望のパターンが表示される。

コヒーレンスゲートステージ２０５は、被検眼の眼軸長の相違等に対応するため、駆動制御部２０２により制御されている。コヒーレンスゲートとは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。さらには、撮影方法としてコヒーレンスゲートの位置を制御することにより、網膜層側か、あるいは網膜層より深部側とする撮影を行うことを制御する。ここで、画像処理システムで取得する眼の構造と画像について図２を用いて説明する。

図２（ａ）に眼球の模式図を示す。図２（ａ）において、Ｃは角膜、ＣＬは水晶体、Ｖは硝子体、Ｍは黄斑部（黄斑の中心部は中心窩を表す）、Ｄは視神経乳頭部を表す。本実施形態にかかる断層画像撮影装置２００は、主に、硝子体、黄斑部、視神経乳頭部を含む網膜の後極部を撮影する場合について説明を行う。なお、断層画像撮影装置２００は、角膜、水晶体の前眼部を撮影することも可能である。

図２（ｂ）に断層画像撮影装置２００が取得する網膜を撮影した場合の断層画像の例を示す。図２（ｂ）において、ＡＳはＡスキャンというＯＣＴ断層画像における画像取得の単位を表す。このＡスキャンが複数集まって一つのＢスキャンを構成する。そしてこのＢスキャンのことを断層画像（あるいは断層像）と呼ぶ。図２（ｂ）において、Ｖは硝子体、Ｍは黄斑部、Ｄは視神経乳頭部、Ｌａは篩状板を表す。を表す。また、Ｌ１は内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界、Ｌ２は神経線維層と神経節細胞層（ＧＣＬ）との境界、Ｌ３は視細胞内節外節接合部（ＩＳＯＳ）、Ｌ４は網膜色素上皮層（ＲＰＥ）、Ｌ５はブルッフ膜（ＢＭ）、Ｌ６は脈絡膜を表す。断層画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（深さ方向）をｚ軸とする。

図２（ｃ）に眼底画像撮影装置４００が取得する眼底画像の例を示す。眼底画像撮影装置４００は、眼部の眼底画像を撮影する装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｏｔｈａｌｍｏｓｃｏｐｅ）等が挙げられる。図２（ｃ）において、Ｍは黄斑部、Ｄは視神経乳頭部を表し、太い曲線は網膜の血管を表す。眼底画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（ＯＣＴの副走査方向）をｙ軸とする。なお、断層画像撮影装置２００と眼底画像撮影装置４００の装置構成は、一体型でもよいし別体型でもよい。

画像処理装置３００は、画像取得部３０１、記憶部３０２、画像処理部３０３、指示部３０４、表示制御部３０５を備える。画像取得部３０１は、断層画像生成部３１１からなり、断層画像撮影装置２００により撮影された断層画像の信号データを取得し、信号処理を行うことで断層画像の生成を行う。また、眼底画像撮影装置４００により撮影された眼底画像データを取得する。そして、生成した断層画像と眼底画像を記憶部３０２に格納する。画像処理部３０３は、層検出部３３１、解析部３３２、特徴検出部３３３、領域調整比較部３３４、２次元データ生成部３３５からなる。

層検出部３３１は、断層画像から各層の境界線を検出する。解析部３３２は、層検出部３３１が検出した境界線情報に基づいて各層の厚みを計算する。特徴検出部３３３は、断層画像あるいは眼底画像の少なくとも一方を用いて、視神経乳頭部や黄斑部中心窩を検出する。領域調整比較部３３４は、特徴検出部３３３により検出された部位の位置に基づいて、後述するノーマティブデータ（複数データから算出した統計値）と比較するための領域の位置や大きさの調整を行った後にデータの比較を行う。２次元データ生成部３３６は、解析部３３２の解析結果や領域調整比較部３３４の比較結果に基づいて２次元データの生成を行う。

外部記憶部５００は、被検眼に関する情報（患者の氏名、年齢、性別など）と、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータをそれぞれ関連付けて保持している。さらに、複数の正常眼の情報から生成されたノーマティブデータも保持している。例えば、ノーマティブデータは、視神経乳頭部周囲のＮＦＬの厚みや、黄斑部中心窩周囲のＮＦＬとＧＣＬとＩＰＬの複合層の厚み等である。

入力部７００は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部７００を介して、画像処理装置３００や断層画像撮影装置２００、眼底画像撮影装置４００へ指示を行う。

次に、図３を参照して本実施形態の画像処理装置３００の処理手順を示す。図３は、本実施形態における本システム全体の動作処理を示すフローチャートである。

＜ステップＳ３０１＞
ステップＳ３０１では、不図示の被検眼情報取得部は、被検眼を同定する情報として被検者識別番号を外部から取得する。そして、被検者識別番号に基づいて、外部記憶部５００が保持している当該被検眼に関する情報を取得して記憶部３０２に記憶する。

＜ステップＳ３０２＞
ステップＳ３０２では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者が不図示のスキャン開始を選択すると、断層画像撮影装置２００は、駆動制御部２０２を制御し、ガルバノミラー２０１を動作させて断層画像のスキャンを行う。ガルバノミラー２０１は、水平方向用のＸスキャナと垂直方向用のＹスキャナで構成される。そのため、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向（Ｘ）、垂直方向（Ｙ）それぞれの方向に走査することが出来る。そして、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することが出来るため、眼底平面上の任意の方向に走査することが可能となる。

撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、内部固視灯の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、フォーカスを少なくとも設定する。駆動制御部２０２は、表示部２４１の発光ダイオードを制御して、後極中心、黄斑部中心、視神経乳頭中心に撮影を行うように内部固視灯２０４の位置を制御する。スキャンパターンは３次元ボリュームを撮影するラスタスキャンや放射状スキャン、クロススキャンなどのスキャンパターンを設定する。なお、本実施形態においては、固視灯の位置は後極中心、スキャンパターンはラスタスキャンとし、スキャン範囲は視神経乳頭部から黄斑部をすべてカバーする広範囲（広域）の撮影を行う場合について説明をする。例えば、本実施形態においては１３×１０ｍｍの範囲とし、主走査の方向が垂直方向のラスタスキャンとする。さらに、撮影範囲の中心を水平スキャンで撮影する。水平スキャンは、３次元のラスタスキャンの前か後に撮影をする。水平スキャンは、１枚、あるいは複数枚（例えば１０枚程度）撮影をする。これら撮影パラメータの調整終了後、操作者が不図示の撮影開始を選択することで撮影を行う。なお、断層画像撮影装置２００は、被検眼のトラッキングを行うことも可能である。これにより、固視微動の影響を少なくすると共に、まばたき等によりデータが欠損する場合にはデータが欠損した場所のみ再度スキャンを行うことで状態のよい３次元データが取得できる。

＜ステップＳ３０３＞
ステップＳ３０３では、断層画像の生成を行う。断層画像生成部３１１は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。

まず、断層画像生成部３１１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、断層画像生成部３１１は、有限区間でフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。次に、ＦＦＴ処理を行う事によって断層信号を生成する。

＜ステップＳ３０４＞
ステップＳ３０４では、層検出部３３１が層検出を行う。層検出部３３１は、処理の対象とする断層画像に対して、ノイズ除去とエッジ強調処理を行う。ノイズ除去処理としては、例えばメディアンフィルタやガウシアンフィルタを適用する。エッジ強調処理としては、ＳｏｂｅｌフィルタやＨｅｓｓｉａｎフィルタを適用する。ここで、二次元のＨｅｓｓｉａｎフィルタを用いて、二次元断層画像に対するエッジ強調処理について説明をする。Ｈｅｓｓｉａｎフィルタは、ヘッセ行列の２つの固有値（λ_１、λ_２）の関係に基づいて、二次元濃淡分布の二次局所構造を強調することが出来る。ヘッセ行列の固有値と固有ベクトル（ｅ_１、ｅ_２）の関係を用いて二次元の線構造を強調する。二次元断層画像における線構造とは網膜層に相当するため、網膜層の構造を強調することになる。なお、厚みの異なる網膜層を検出するには、ヘッセ行列を計算する際に行うガウス関数による平滑化の解像度を変更すればよい。なお、二次元のＨｅｓｓｉａｎフィルタを適用する際には、画像のＸＺの物理サイズを合わせるようにデータを変形した後に適用することが望ましい。一般的なＯＣＴの場合、ＸＹ方向とＺ方向の物理サイズが異なる。そのため、ピクセル毎の網膜層の物理サイズを合わせてフィルタを適用する。あるいは、物理サイズを正規化しない場合には、ガウス関数による平滑化の解像度を変更することでも近似的に対応できる。上記では、二次元断層画像での処理について説明をしたが、これに限らない。断層画像を撮影した際のデータ構造がラスタスキャンによる三次元断層画像である場合、三次元のＨｅｓｓｉａｎフィルタを適用することも可能である。この場合、隣接する断層画像間において不図示の位置合わせ部において、ＸＺの位置合わせ処理を行った後に、ヘッセ行列の３つの固有値（λ_１、λ_２、λ_３）の関係に基づいて、三次元濃淡分布の二次局所構造を強調することが出来る。ヘッセ行列の固有値と固有ベクトル（ｅ_１、ｅ_２、ｅ_３）の関係を用いて三次元の層構造を強調することで、三次元的にエッジを強調することも可能である。

層検出部３３１は、エッジ強調処理をした断層画像７０３から境界線を検出する。本実施形態では、ＩＬＭとＮＦＬとの境界、ＲＰＥをまず求めて、続けて、ＩＳＯＳ、ＮＦＬとＧＣＬ境界を検出する。なお、図示はしないが、その他の境界線として、外網状層（ＯＰＬ）と外顆粒層（ＯＮＬ）境界、内網状層（ＩＰＬ）と内顆粒層（ＩＮＬ）境界、ＩＮＬとＯＰＬ境界、ＧＣＬとＩＰＬ境界、脈絡膜と強膜の境界等を検出してもよい。境界の検出方法としては、各Ａスキャンにおいてエッジ強度が強い箇所を境界候補として複数検出し、隣接するＡスキャンにおいて境界候補同士の連続性を基に点を線としてつなげる処理を行う。点を線としてつなげた場合に、線の滑らかさを評価することで、外れ値を除去する。そして、上下の境界線との距離や位置関係に基づいて境界線を決定する。なお、各Ａスキャンにおいて外れ値を除去した結果として検出された境界線がない場合には、周囲の境界線から補間で求めてもよい。あるいは、周囲の境界線からエッジを頼りに水平方向に境界線候補を探索していき、周囲の境界線から探索した境界線候補を基にして再度、境界線を決定するようにしてもよい。

そして、検出した境界線に対して、境界線の形状を滑らかに補正する処理を実行する。例えば、Ｓｎａｋｅｓなどにより、画像特徴と形状特徴とを用いて境界線の形状を滑らかにしてもよい。あるいは、境界線形状の座標値を信号による時系列データとみなして、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙフィルタや、単純移動平均、加重移動平均、指数移動平均等の平滑化処理で形状を滑らかにしてもよい。あるいは、全Ａスキャンについて境界線を検出するのではなく、離散的（例えば、５Ａスキャン間隔）に検出をして、検出をしていないＡスキャンの境界線位置は、検出した境界線から補間によって求めるようにしてもよい。

＜ステップＳ３０５＞
ステップＳ３０５では、解析部３３１が層検出部３３１の検出結果に基づいて、任意の層の厚みを計算する。例えば、ＮＦＬの厚みの場合、図２（ｂ）において、境界線Ｌ１とＬ２で規定される領域の深さ方向の差が層の厚みとなる。ＮＦＬに限らず、ＮＦＬとＧＣＬとＩＰＬを複合した層の厚みを計算してもよいし、ＮＦＬ（あるいはＩＬＭ）～ＢＭ（あるいはＲＰＥ）までの全ての層を含む全層の厚みを計算してもよい。計算した結果は、１Ａスキャンあたり１点の値になるため、全Ａスキャン・Ｂスキャンにおいて厚みを計算し、２次元の層厚マップとする。なお、計算対象とする層の種類が複数あれば、出力される２次元の層厚マップも複数となる。

＜ステップＳ３０６＞
ステップＳ３０６では、特徴検出部３３３が視神経乳頭部、黄斑部中心窩を検出する。まず、視神経乳頭部に関する検出の一例について示す。特徴検出部３３３は、ＳＬＯ画像あるいは複数枚のＯＣＴ断層画像から生成するＥｎｆａｃｅ画像（網膜正面画像）に対して、コントラスト調整を行うことで画像の明るさをある基準に揃える。そして、ガウシアンフィルタ、メディアンフィルタのような平滑化フィルタを用いて画像を滑らかにする。さらに、画像の特徴を強調するために、ＣＬＡＨＥ（Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）のような処理を行うことでコントラストを強調してもよい。これらの前処理により画像から輝度値の低い円形（楕円形）の領域が抽出出来るため、その領域を視神経乳頭部とする。さらに、ＳＬＯやＥｎｆａｃｅのような網膜正面画像だけではなく、ＯＣＴ断層画像における層境界線結果を用いてもよい。例えば、図２（ｂ）のＤで示したように、視神経乳頭部は大きなくぼみ領域である。そのため、層境界線の検出結果による形の特徴から視神経乳頭部を抽出してもよい。

次に、黄斑部中心窩に関する検出の一例を示す。黄斑部中心窩は、図２（ｂ）のＭで示したように小さなくぼみ領域である。さらに、ＩＬＭとＩＳ／ＯＳとの距離が他の場所と比べても近くなっている。そのため、ＩＬＭとＩＳ／ＯＳとの距離を用いることで黄斑部中心窩の陥凹領域を求めることが出来る。なお、同じくぼみ領域であるが視神経乳頭部においては、ＩＳ／ＯＳが存在しないので、視神経乳頭部でＩＬＭとＩＳ／ＯＳとの距離を用いた特徴は無効領域となる。

なお、ステップＳ３０４、ステップＳ３０６において、画像処理を用いた層境界や特徴部の検出例について説明したが、これに限らない。Ｄｅｅｐ Ｌｅａｒｎｉｎｇのような機械学習手法を用いて、画像と正解ラベルとを学習しておくことで、入力画像から任意の層や特徴部を検出するようにしてもよい。

＜ステップＳ３０７＞
ステップＳ３０７では、領域調整比較部３３４が、特徴抽出部３３３が抽出した視神経乳頭部と黄斑部との位置に基づいてノーマティブデータと比較する領域の調整を行う。これについて、図４を用いて説明をする。なお、本実施形態のノーマティブデータは、視神経乳頭部周囲のデータ、黄斑部周囲のデータはそれぞれ別々に記憶しているものとして説明を行う。

図４（ａ）の実線で示す矩形領域４０１は、本実施形態において視神経乳頭部から黄斑部をすべてカバーする広範囲撮影領域の例を示している。例えば、本実施形態においては１３×１０ｍｍの範囲とする。一点鎖線で示す矩形領域４０２は、視神経乳頭部におけるノーマティブデータの範囲を示し、例えば、６×６ｍｍの範囲とする。点線で示す矩形領域４０３は、黄斑部におけるノーマティブデータの範囲を示し、例えば、１０×１０ｍｍの範囲とする。図４（ｂ）は、図４（ａ）において重複している領域を別々に示したものである。図４（ａ）と（ｂ）は領域をサイズで示した例であるが、ＯＣＴの場合、ある範囲を何本のＡスキャンで、かつ何枚のＢスキャンで撮影するかによって解像度が異なる。これを図４（ｃ）に示す。図４（ｃ）では、説明のため、視神経乳頭部、黄斑部、血管の特徴は省略し、ＡスキャンとＢスキャンの比率のみを示す。図４（ｃ）において、矩形領域４１１が矩形領域４０１に対応するＡスキャンとＢスキャンの比率を示したサイズであり、矢印４２１は主走査方向を示している。本実施形態において矩形領域４１１は、Ａスキャン５００本、Ｂスキャン２５０枚のサイズを示す例である。同様にして、矩形領域４１２が矩形領域４０２に対応し、矩形領域４１３が矩形領域４０３に対応し、それぞれＡスキャンとＢスキャンの比率を示したサイズを表す。矩形領域４１２は、Ａスキャン５００本、Ｂスキャン５００枚のサイズを示し、矩形領域４１３は、Ａスキャン１０００本、Ｂスキャン１２５枚のサイズを示す例である。

図４に示すように、広範囲撮影時の撮影範囲は、ノーマティブデータ取得時の撮影範囲をカバーしていても、撮影時の解像度と、ノーマティブデータ取得時の解像度が異なる場合がある。そのため、領域調整比較部３３４は、ステップＳ３０５で求めた層厚マップ領域の調整を行う。ここでは、領域調整の一例を示す。領域調整比較部３３４は、矩形領域４１１に相当する層厚マップを撮影領域に対応するように、１３：１０の比率に拡縮を行う。それにより、図４（ｂ）で示したような撮影領域４０１に相当する層厚マップとなる。層厚マップは２次元であるため、拡縮の方法は、Ｂｉｃｕｂｉｃ、Ｂｉｌｉｎｅａｒのような一般的な画像処理でもよいし、機械学習により事前に学習済みの超解像処理を適用してもよい。拡縮済みの層厚マップから、ステップＳ３０６で特徴抽出部３３３が抽出した視神経乳頭部と黄斑部の位置に対応する箇所を中心として、それぞれ６：６、１０：１０の範囲を特定する。視神経乳頭部、黄斑部に対応するノーマティブデータも６：６、１０：１０となるように拡縮を行い、層厚マップと比較をする。

なお、上記は撮影時のＡスキャンとＢスキャンのスキャン数に関係なく、単純な拡縮を行う例について説明をしたがこれに限らない。例えば、データ取得時の解像度が高いデータを間引いた後に、拡縮をしてもよい。例えば、矩形領域４１２は、６×６ｍｍの範囲を５００×５００でデータを取得してノーマティブデータが生成されている例である。これを、本実施形態の矩形領域４１１に合わせるようにデータを間引いた後に拡縮を行うようにしてもよい。例えば、５００×５００のデータを１１５×３００に間引いた後に拡縮処理を実行することで、矩形領域４１１の拡縮とほぼ同じスケール変換となり、拡縮による補間処理もほぼ同じ補間処理となる。そのため、撮影時とノーマティブデータ取得時の解像度が異なっていても、データ比較時の解像度をほぼ同じに揃えることが出来る。

ここで、領域調整比較部３３４は、３次元データにおける視神経乳頭部または黄斑部の位置に基づいて、正常眼の統計情報と比較するための３次元データにおける一部の領域の位置及び大きさを調整することにより、３次元データにおけるＡスキャン及びＢスキャンの数を調整する調整部の一例である。

なお、本実施形態ではステップＳ３０５で層厚マップを作成し、ステップＳ３０７で視神経乳頭部と黄斑部とに対応する箇所を中心に比較範囲を特定するフローで説明をしたが、処理フローはそれに限らない。例えば、眼底正面画像において視神経乳頭部と黄斑部とに対応する箇所を中心に比較範囲を特定した後に、その範囲に含まれる境界線データを基に層厚マップを作成するようにしてもよい。

＜ステップＳ３０８＞
ステップＳ３０８では、２次元データ生成部３３５は、領域調整比較部３３４によって、ノーマティブデータと比較された視神経乳頭部周囲や黄斑部中心窩周囲の２次元データ（解析マップとも言う）を生成する。本実施形態では、２次元データ生成部３３５が生成する解析マップは、ＳｉｇｎｉｆｉｃａｎｃｅマップやＤｅｖｉａｔｉｏｎマップとする。Ｓｉｇｎｉｆｉｃａｎｃｅマップは、ノーマティブデータに基づき、計測値を信頼区間の１パーセントタイル未満を異常、５パーセントタイル未満を境界域、残りを正常範囲内として、それぞれ表示色を変えたマップである。Ｄｅｖｉａｔｉｏｎマップは、ノーマティブデータから算出した層厚マップの平均画像との差を色で表したマップである。なお、層厚マップは解析部３３２において、層厚計算をした際に作成済みである。

２次元データ生成部３３５は、視神経乳頭部周囲においては、例えば、ＮＦＬのＳｉｇｎｉｆｉｃａｎｃｅマップ、Ｄｅｖｉａｔｉｏｎマップを生成する。また、黄斑部中心窩周囲においては、ＮＦＬとＧＣＬとＩＰＬを複合した層や、ＮＦＬ（あるいはＩＬＭ）～ＢＭ（あるいはＲＰＥ）までの全ての層を含む全層のＳｉｇｎｉｆｉｃａｎｃｅマップ、Ｄｅｖｉａｔｉｏｎマップを生成する。なお、ＳｉｇｎｉｆｉｃａｎｃｅマップやＤｅｖｉａｔｉｏｎマップは、解析結果を示す２次元画像（解析マップ）の一例である。

ここで、視神経乳頭部に関する解析マップは、３次元データを解析して得た視神経乳頭部に関する層厚情報と、視神経乳頭部に関する正常眼の統計情報（ノーマティブデータ）との比較結果を示す第１の比較マップであってもよい。また、黄斑部に関する解析マップは、３次元データを解析して得たに黄斑部に関する層厚情報と、黄斑部に関する正常眼の統計情報（ノーマティブデータ）との比較結果を示す第２の比較マップであってもよい。このとき、ＳｉｇｎｉｆｉｃａｎｃｅマップやＤｅｖｉａｔｉｏｎマップは、第１の比較マップや第２の比較マップの一例である。

また、２次元データ生成部３３５は、光コヒーレンストモグラフィを用いて、被検眼の眼底の視神経乳頭部と黄斑部とを含む領域を撮影して得た３次元データの解析結果である視神経乳頭部に関する解析マップ及び黄斑部に関する解析マップを取得する取得部の一例である。このとき、取得部は、上記３次元データを解析することにより、視神経乳頭部に関する解析マップ及び黄斑部に関する解析マップを生成することができる。なお、取得部は、有線または無線による通信により、外部の記憶部や外部のシステム等から、視神経乳頭部に関する解析マップ及び黄斑部に関する解析マップをデータとして取得するように構成されてもよい。

＜ステップＳ３０９＞
ステップＳ３０９では、撮影した画像と層厚マップ、解析マップなどを表示部６００に表示する。図５に表示部６００に表示する画面の一例を示す。５０５は画面全体、５０１は患者タブ、５０２は撮影タブ、５０３はレポートタブ、５０４は設定タブを表し、５０３のレポートタブにおける斜線は、レポート画面のアクティブ状態を表している。本実施形態においては、レポート画面を表示する例について説明をする。図５（ａ）と（ｂ）には、２種類のレポート画面の表示例を示す。本実施形態では、広範囲のスキャンを行うことで、視神経乳頭部、黄斑部をカバーする撮影を行っている。そのため、例えば、図５（ａ）では視神経乳頭部を中心としたレイアウトで、例えば、緑内障診断向けのレポート例を示す。また、図５（ｂ）では黄斑部を中心としたレイアウトで、黄斑疾患診断向けのレポート例を示す。これらのレイアウトは一例であり、２種類に限るものではないが、一つのスキャンパターンから用途に応じた複数のレイアウトを選択出来るものとする。

図５（ａ）において、５１０は眼底写真、５１１は眼底写真から視神経乳頭部周辺を拡大した画像である。なお、眼底写真５１０を撮影していない場合、ＳＬＯ画像、赤外線画像など、眼底正面を撮影している他の画像を表示する。５１２は網膜厚全体の厚みを表す層厚マップであり、視神経乳頭部と黄斑部とを含む領域に関する２次元画像の一例である。また、５１３は、ＥＴＤＲＳグリッドを網膜厚全体の層厚マップに重畳表示している。ＥＴＤＲＳグリッド５１３は、各セクタにおいて領域内の網膜厚全体の厚みの平均値を表示する。５１４はＲＮＦＬの厚みを表す層厚マップを示す。また、黄斑部周辺の範囲（例えば、１０×１０ｍｍの範囲）を示す情報５１５は、上記２次元画像における黄斑部に関する解析マップの位置を示す情報の一例である。なお、層厚マップ５１４は、ＲＮＦＬの層の厚みを表す層厚マップと、ＮＦＬとＧＣＬとＩＰＬを複合した層の厚み（あるいは、ＧＣＬとＩＰＬを複合した層の厚み）を表す層厚マップとのうち、いずれか一方の層厚マップであればよい。なお、これらの層厚マップは、一方から他方に切り替えて表示されるように構成されてもよい。この表示の切り替えは、例えばＳｐｌｉｔＢｕｔｔｏｎを用いて実行可能に構成されてもよい。なお、ＳｐｌｉｔＢｕｔｔｏｎである必要はなく、ＲａｄｉｏＢｕｔｔｏｎでもよく、複数の選択肢のうちから一つを選択することができるものであればよい。視神経乳頭部周辺の範囲（例えば、６×６ｍｍの範囲）を示す情報５１６は、上記２次元画像における視神経乳頭部に関する解析マップの位置を示す情報の一例である。５１７は視神経乳頭部周囲のサークルを示し、例えば直径３．４５ｍｍのサークルとする。５１８と５１９は、５１６で示す６×６ｍｍの範囲とし、ＲＮＦＬ厚に関してノーマティブデータに基づいて生成したＳｉｇｎｉｆｉｃａｎｃｅマップ、Ｄｅｖｉａｔｉｏｎマップを示す。５２０と５２１は、５１５で示す１０×１０ｍｍの範囲とし、ＮＦＬとＧＣＬとＩＰＬを複合した層の厚みに関してノーマティブデータに基づいて生成したＳｉｇｎｉｆｉｃａｎｃｅマップ、Ｄｅｖｉａｔｉｏｎマップを示す。なお、層厚マップ、Ｓｉｇｎｉｆｉｃａｎｃｅマップ、Ｄｅｖｉａｔｉｏｎマップは、断層像から生成した眼底正面の画像に結果をカラーで重畳表示しており、透過度設定により半透明（所定の透明度）で重畳しているものとする。

また、５２２は、５１７で示すサークルの断層画像、５２３はサークル断層画像５１７におけるＲＮＦＬの厚みプロファイルを示す。厚みプロファイル５２３において、太線は計測したＲＮＦＬの厚みの値、細線がノーマティブデータの正常、境界域、異常範囲を示している。なお、厚みプロファイル５２３はＴＳＮＩＴ（Ｔｅｍｐｏｒａｌ、Ｓｕｐｅｒｉｏｒ、Ｎａｓａｌ、Ｉｎｆｅｒｉｏｒ）で表示しているが、ＮＳＴＩＮの順番で表示することも可能である。ＴＳＮＩＴかＮＳＴＩＮの表示の切り替えについて、例えば、不図示の設定画面において、ＴＳＮＩＴかＮＳＴＩＮの初期表示を設定できる。あるいは、画面上で右クリックによるメニューを表示して、そこで表示を切り替えられるようにしてもよい。５２４は視神経乳頭部、ＲＮＦＬ厚に関する計測値を示し、例えば、Ｄｉｓｃ面積、Ｒｉｍ面積、Ｃ／Ｄ比、ＲＮＦＬのＴＳＮＩＴの厚みの平均値等を表示する。５２５は視神経乳頭部でのＲＮＦＬの厚みグリッドで、４分割、１２分割したものを示す。なお、分割数はこれに限らず６分割としてもよい。グリッド内のセクタにおいては、厚みの平均値と、その値が正常、境界域、異常であるかを色で示す。５２６は黄斑部でのＮＦＬとＧＣＬとＩＰＬを複合した層の厚みグリッドで、上下左右９分割、全体、上下２分割したものを示す。５２６のグリッドも５２５のグリッド同様に、グリッド内のセクタにおいては、厚みの平均値と、その値が正常、境界域、異常であるかを色で示す。

なお、図５（ａ）において、５２０、５２１、５２６はＮＦＬとＧＣＬとＩＰＬを複合した層に関する情報を表示しているが、ＧＣＬとＩＰＬを複合した層に関する情報を表示してもよい。表示の切り替えに関して、不図示の設定画面において、ＮＦＬとＧＣＬとＩＰＬを複合した層かＧＣＬとＩＰＬを複合した層の初期表示を設定できる。あるいは、画面上で右クリックによるメニューを表示して、そこで表示を切り替えられるようにしてもよい。なお、右クリックによる切り替え（検者からの指示の一例）の場合、５２０、５２１、５２６のいずれかの表示領域上で選択処理を実行すると、これら３種類（５２０、５２１、５２６）の表示が連動して切り替わるものとする。このとき、層厚マップ５１４がＲＮＦＬではなく、ＮＦＬとＧＣＬとＩＰＬを複合した層の厚みを表示している場合、層厚マップ５１４もＧＣＬとＩＰＬを複合した層の厚みを表す層厚マップの表示に連動して切り替わるように構成されてもよい。すなわち、検者からの指示に応じて層厚マップ５１４に対応する層と上記第２の比較マップ（５２０や５２１）に対応する層とのいずれか一方を別の層（例えば、２種類の複合層のいずれか）に切り替えると、他方が連動して別の層に切り替わるように構成されてもよい。これにより、層厚マップ５１４と上記第２の比較マップとが別の層に対応する解析マップに表示が変更されるように構成することができる。このとき、視神経乳頭部の解析マップに対応する層（例えば、ＲＮＦＬ）は上記指示があっても変更されないように構成されてもよい。これにより、黄斑部と視神経乳頭部とで互いに異なる層に対応する解析マップを観察することができるため、例えば、緑内障の診断を効率よく行うことができる。なお、ここでの表示切り替えに連動して、以下で説明を行う図５（ｂ）の表示も替わる。

図５（ｂ）においては、図５（ａ）との差異を説明する。５３０は水平スキャンの断層画像である。本実施形態では、ステップＳ３０２で示したように３次元撮影と水平スキャンをする。水平スキャン５３０は、１枚、あるいは複数枚（例えば１０枚程度）撮影をする。複数枚撮影をする場合には、不図示の位置合わせ部により、複数の断層画像同士の位置合わせをした後に加算平均処理をして１枚の断層画像を生成することが望ましい。そして、その加算平均処理をした断層画像を水平スキャン５３０として表示する。なお、図示はしないが、水平スキャン５３０の代わりに、３次元撮影をした垂直スキャンの断層画像を表示するか、水平スキャン５３０と並べて垂直スキャンの断層画像を表示してもよい。５３２は網膜厚全体の厚みに関してノーマティブデータに基づいて生成したＳｉｇｎｉｆｉｃａｎｃｅマップ、５３３はＮＦＬとＧＣＬとＩＰＬを複合した層の厚みを表す層厚マップを示す。なお、５３３、５２０はＮＦＬとＧＣＬとＩＰＬを複合した層に関する情報を表示しているが、これは図５（ａ）で説明した種類と連動して切り替わるものとする。すなわち、図５（ａ）の画面において、ＧＣＬとＩＰＬを複合した層の表示に切り替えている場合、図５（ｂ）における２種類（５３３、５２０）の表示は、ＧＣＬとＩＰＬを複合した層に関する情報を表示する。図５（ａ）で説明したのと同様に図５（ｂ）においても層の種別の表示を切り替えることが出来る。なお、図５（ｂ）において５３２、５２０、５１８はＳｉｇｎｉｆｉｃａｎｃｅマップを表示し、Ｄｅｖｉａｔｉｏｎマップを表示していないが、これらは切り替えて表示することが可能である。ＳｉｇｎｉｆｉｃａｎｃｅマップとＤｅｖｉａｔｉｏｎマップの表示切り替えは、例えば、ＳｐｌｉｔＢｕｔｔｏｎによって切り替えることが出来る。また、どれか一つのＳｉｇｎｉｆｉｃａｎｃｅマップをＤｅｖｉａｔｉｏｎマップに変更することで、その他のＳｉｇｎｉｆｉｃａｎｃｅマップが連動して切り替わるようにしてもよい。

図５では片眼を表示する場合の表示例について示した。図６では両眼を同時に表示する例について示す。図６では図５で説明した画像と解析マップをそれぞれ比較可能な状態で表示をする。なお、図６は、両眼を同時に表示する例について示したがこれに限らず、例えば、同一眼で撮影時刻が異なる画像と解析マップをそれぞれ比較可能な状態で表示する例であってもよい。

なお、表示画面において、不図示の出力手段によりレポート画面で表示する画像を印刷可能な形式でレポートとして出力をすることが可能である。

＜ステップＳ３１０＞
ステップＳ３１０において、不図示の指示取得部は、画像処理システム１００による断層画像の撮影を終了するか否かの指示を外部から取得する。この指示は、入力部７００を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム１００はその処理を終了する。一方、処理を終了せずに、撮影を続ける場合には、ステップＳ３０２に処理を戻して撮影を続行する。以上によって、画像処理システム１００の処理が行われる。

以上で述べた構成によれば、視神経乳頭部を中心としたレイアウトでの緑内障診断向けのレポートや、黄斑部を中心としたレイアウトでの黄斑疾患診断向けのレポートを表示することが出来る。そのため、広域で取得した断層画像において、部位に応じた処理を好適に行い、解析結果を効果的に提示することが出来る。

（第二の実施形態）
第一の実施形態においては、広範囲な撮影を行い、視神経乳頭部や黄斑部における解析結果を容易に把握可能とする表示形態について示した。本実施形態においては、広範囲な撮影を行った時系列の画像データを表示する例について説明をする。上記第一の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。

図７は、本実施形態に係る画像処理装置３００７を備える画像処理システム１００７の構成を示す図である。図７に示すように、画像処理装置３００７は画像処理部７０３を備え、画像処理部７０３は時系列部７３１を備える。時系列部７３１は経過観察として比較するためのデータ選択を行う。

本実施形態においては、上記第一の実施形態で説明したような撮影を複数回、異なる日に行っており、複数のデータが取得済みであるものとして説明を行う。これに関して、図８には経過観察として複数の時系列データを並べて表示する例を示している。図８において、図８（ａ）は、広範囲な撮影を行ったデータから領域調整比較部３３４が視神経乳頭部と黄斑部の領域をそれぞれ抽出したデータを時系列に並べる例である。図８（ｂ）は、広範囲な撮影を行ったデータと視神経乳頭部や黄斑部を詳細に撮影したデータとを時系列に並べる例である。図９は、本実施形態における時系列部７３１による時系列データのデータ選択の流れを示すフローチャートである。図１０は、複数の選択データ候補日からデータ選択を説明するための図である。

ここでは図８～図１０を用いて、時系列データの選択と表示に関する説明を行う。

＜ステップＳ９０１＞
ステップＳ９０１～ステップＳ９０３においては、基準データの他に選択するデータの条件を取得する。データ条件としては、例えば０か１のフラグを取得する。条件が複数ある場合には、フラグは０か１に限る必要はない。

ステップＳ９０１では、同一日に複数回同じスキャンパターンで撮影がされている時に、同一日のデータを選択可能とするか否かを取得する。同一日のデータ選択不可の場合は１のフラグを取得し、同一日のデータ選択可能の場合は０のフラグを取得する。同一日のデータ選択不可の場合において、同一日に複数のデータが存在する場合には、撮影データとしてＮＧが設定されておらず、同一日の中で最新のデータを選択するものとする。なお、本実施形態では１のフラグを取得するとして説明をする。

＜ステップＳ９０２＞
ステップＳ９０２では、広範囲撮影だけではなく、視神経乳頭部、黄斑部データを撮影している時に、比較対象として視神経乳頭部、黄斑部データを含めるか否かを取得する。比較対象として広範囲撮影だけとする場合は１のフラグを取得し、視神経乳頭部、黄斑部を撮影したデータを含める場合には０のフラグを取得する。本実施形態では、ステップＳ９０２で１のフラグを取得する場合の表示例を図８（ａ）に示し、ステップＳ９０２で０のフラグを取得する場合の表示例を図８（ｂ）に示す。図８の説明については後述する。

＜ステップＳ９０３＞
ステップＳ９０３では、基準データの他に選択するデータに関するフラグを取得する。例えば、選択方法として、最新の日付のデータを複数個選択するか、基準データと最新の日付のデータの間を等間隔で選択するかとする。本実施形態では１のフラグを取得するとするが、次のステップＳ９０５と図１０を用いてデータ選択の例について説明をする。

＜ステップＳ９０４＞
ステップＳ９０４では、時系列部７３１は基準データの選択を行う。基準データとは解析値の変化を計測する際の基準とするデータの事である。基準データは対象とする被検眼のデータにおいて最初に広範囲撮影したデータを選択する。あるいは、不図示の基準データ設定手段を用いて操作者が任意の基準データを選択出来る。なお、ステップＳ９０２において０のフラグを取得している場合、広範囲撮影したデータ、視神経乳頭部と黄斑部を撮影したデータの中から被検眼のデータにおいて最初に撮影したデータを基準データとして選択する。

＜ステップＳ９０５＞
ステップＳ９０５では、基準データと最新データ以外のデータを選択する。
このデータ選択に関して図１０を用いて説明をする。ここでは、選択データ候補日が１０日間あるとし、選択データが３日分の場合の説明をする。なお、各日付共に、所望のスキャンパターンで撮影されたデータが存在している。図１０（ａ）には最新の日付のデータを複数個選択する例（ステップＳ９０３において、フラグが１）を示す。図１０（ｂ）には基準データと最新の日付のデータの間を等間隔で選択する例（ステップＳ９０３において、フラグが０）を示す。１００１の丸印は基準データ、１００２の丸印は最新データ、１００３の矩形は選択した比較データの例である。

図１０では、選択データ候補日として１０日間のデータを示している。本実施形態では、選択データ候補日として表示する日付リストには広範囲の撮影データ、視神経乳頭部撮影データ、黄斑部撮影データが取得済みの日付を表示している。所望の撮影データが存在しない場合には、選択データ候補日のリストに候補として表示されない。すなわち、ステップＳ９０２において、フラグが１の場合、広範囲の撮影データが取得されている日付を選択データ候補日のリストに表示する。ステップＳ９０２において、フラグが０の場合、広範囲の撮影データ、あるいは視神経乳頭部、黄斑部を撮影したデータが取得されている日付を選択データ候補日のリストに表示する。

図１０では、選択データよりも撮影データの方が多い場合の例を示した。選択データよりも撮影データの方が少ない場合には、ステップＳ９０３のフラグの設定に関わらず、選択するデータは同じになる。例えば、選択データ候補日が４日間の場合、基準データと最新データを除くと、比較データ数は２日分となる。その場合、選択データが３日分だとすると、どちらの条件だとしても比較データ２日分を選択する。

＜ステップＳ９０６＞
ステップＳ９０６では、時系列データの表示を行う。時系列データの表示に関して図８を用いて説明を行う。

図８において、図８（ａ）は、広範囲な撮影を行ったデータから領域調整比較部３３４が視神経乳頭部と黄斑部の領域をそれぞれ抽出したデータを時系列に並べる例である。すなわち、ステップＳ９０１のフラグ１、ステップＳ９０２のフラグ１、ステップＳ９０３のフラグ１を取得している場合である。図８（ａ）において、８１０は操作者が任意のデータを選択するためのボタンを示す。時系列データの表示は、図９のフローに基づき選択された画像を自動的に表示する。しかし操作者は、ボタン８１０を押下することで、自動的に選択されたデータとは異なるデータを選択することが出来る。８１１は眼底写真から視神経乳頭部周辺を拡大した画像を示す。なお、眼底写真を撮影していない場合、ＳＬＯ画像、赤外線画像など、眼底正面を撮影している他の画像から視神経乳頭部周辺を拡大した画像を表示する。

また、８１２は、ＲＮＦＬの厚みを表す層厚マップを示す。また、８１３はＮＦＬとＧＣＬとＩＰＬを複合した層の厚みを表す層厚マップを示す。ここで、これらの層厚マップが時系列に複数並べられた表示を時系列データの表示と呼ぶものとする。このとき、層厚マップ８１２、８１３それぞれの時系列データにおける過去の層厚マップは、光コヒーレンストモグラフィを用いて視神経乳頭部と黄斑部とを含む領域を第１の時間に撮影して得た３次元データの解析結果である視神経乳頭部に関する第１の解析マップと黄斑部に関する第２の解析マップとの一例である。また、層厚マップ８１２、８１３それぞれの時系列データにおける現在（最新）の層厚マップは、光コヒーレンストモグラフィを用いて視神経乳頭部と黄斑部とを含む領域を第１の時間の後である第２の時間に撮影して得た３次元データの解析結果である視神経乳頭部に関する第３の解析マップと黄斑部に関する第４の解析マップとの一例である。このとき、表示制御部３０５は、視神経乳頭部に関する複数の解析マップ（第１の解析マップと第３の解析マップと）を時系列に並べて第１の表示領域（例えば、層厚マップ８１２の時系列データが表示される領域）に表示させるように表示部６００を制御することができる。また、表示制御部３０５は、黄斑部に関する複数の解析マップ（第２の解析マップと第４の解析マップと）を時系列に並べて第１の表示領域とは異なる第２の表示領域（例えば、層厚マップ８１３の時系列データが表示される領域）に表示させるように表示部６００を制御することができる。

また、８１４は、視神経乳頭部周囲のサークル位置におけるＲＮＦＬの厚みプロファイルを示し、時系列データ分の複数の厚みプロファイルを示す。８１５はＴＳＮＩＴの厚みの経時変化グラフを示す。グラフの縦軸は厚み、グラフの横軸は撮影日を示している。８１７と８１８は視神経乳頭部、ＲＮＦＬ厚に関する計測値を示し、例えば、Ｄｉｓｃ面積、Ｒｉｍ面積、Ｃ／Ｄ比、ＲＮＦＬのＴＳＮＩＴの厚みの平均値等を時系列に表示する。８１６はＮＦＬとＧＣＬとＩＰＬを複合した層の厚みの経時変化グラフを示す。８１９はＮＦＬとＧＣＬとＩＰＬを複合した層の厚みの平均値等を時系列に表示する。

ここで、８１２と８１３には厚みを表す層厚マップを時系列に表示する例を示した。しかし、これに限らず、Ｓｉｇｎｉｆｉｃａｎｃｅマップ、Ｄｅｖｉａｔｉｏｎマップを表示してもよい。さらには、ベースとするマップとの差分を表したＤｉｆｆｅｒｅｎｃｅマップを表示してもよい。これらのマップ画像の切り替えは、１か所を変更すると残りのマップも連動して切り替わるものとする。

図８（ｂ）は、広範囲な撮影を行ったデータと視神経乳頭部や黄斑部を詳細に撮影したデータとを時系列に並べる例である。すなわち、ステップＳ９０１のフラグ１、ステップＳ９０２のフラグ０、ステップＳ９０３のフラグ１を取得している場合である。図８（ｂ）において、８２２、８２３が視神経乳頭部や黄斑部を詳細に撮影したデータの例を示しており、残りのデータは広範囲な撮影を行ったデータ（視神経乳頭部と黄斑部とを含む領域を撮影する撮影モードで撮影して得た３次元データの解析結果の一例）の例である。８２２には、視神経乳頭部を撮影したデータ（視神経乳頭部を個別に撮影する撮影モードで撮影して得た３次元データの解析結果の一例）である事が分かるアイコンを表示している。また、８２３には、黄斑部を撮影したデータ（黄斑部を個別に撮影する撮影モードで撮影して得た３次元データの解析結果の一例）である事が分かるアイコンを表示している。なお、アイコンである必要はなく、画像の周囲に色を表示する、画像の上部に表示している日付の色を変えるなど、操作者に対して広角撮影とは異なる事が分かる指標を表示するように構成されればよい。すなわち、表示制御部３０５は、後述する第１の解析マップ、第２の解析マップと、第３の解析マップ及び第４の解析マップとが異なる撮影モードで撮影して得た３次元データの解析結果であることが識別可能なことを示す情報を表示部６００に表示させてもよい。また、視神経乳頭部や黄斑部を詳細に撮影したデータ選択に伴い、８１４から８１９に表示するグラフや計測値もそこから算出した数値を表示する。

すなわち、時系列データのうち視神経乳頭部の詳細な撮影に関するデータは、例えば、光コヒーレンストモグラフィを用いて視神経乳頭部を含む領域を第１の時間に撮影して得た視神経乳頭部に関する３次元データの解析結果である第１の解析マップである。また、時系列データのうち黄斑部の詳細な撮影に関するデータは、例えば、光コヒーレンストモグラフィを用いて黄斑部を含む領域を第１の時間に撮影して得た黄斑部に関する３次元データの解析結果である第２の解析マップである。なお、視神経乳頭部を含む領域を撮影する第１の時間と、黄斑部を含む領域を撮影する第１の時間とは、全く同じ時間である必要はなく、例えば、同じ日付であればよい。また、時系列データのうち広範囲な撮影に関するデータは、例えば、光コヒーレンストモグラフィを用いて視神経乳頭部と黄斑部とを含む領域を第１の時間の後である第２の時間に撮影して得た３次元データの解析結果である視神経乳頭部に関する第３の解析マップと黄斑部に関する第４の解析マップとである。このとき、表示制御部３０５は、第１の解析マップと第３の解析マップとを時系列に並べて第１の表示領域（例えば、層厚マップ８１２の時系列データが表示される領域）に表示させるように表示部６００を制御することができる。また、表示制御部３０５は、第２の解析マップと第４の解析マップとを時系列に並べて第１の表示領域とは異なる第２の表示領域（例えば、層厚マップ８１３の時系列データが表示される領域）に表示させるように表示部６００を制御することができる。

図８（ａ）では、広範囲な撮影を行ったデータから視神経乳頭部と黄斑部の領域をそれぞれ抽出したデータを並べる例を示した。広範囲な撮影を行ったデータを時系列に並べて表示する例はこれに限らず、例えば、図１１の様に表示してもよい。図１１には広範囲な撮影を行ったデータから視神経乳頭部と黄斑部の領域をそれぞれ抽出して表示をせずに、広範囲な画像全体を表示する例を示している。１１１１は眼底写真、１１１３は網膜全体の層の厚みを表すマップを示す。１１１６は網膜全体の層の厚みの経時変化グラフを表し、１１１９は網膜全体の層の厚みの平均値等を時系列に表示する。図では網膜全体の層の厚みを表す層厚マップを示しているが、ＲＮＦＬの厚みを表す層厚マップ、ＮＦＬとＧＣＬとＩＰＬを複合した層の厚みを表す層厚マップ、Ｓｉｇｎｉｆｉｃａｎｃｅマップ、Ｄｅｖｉａｔｉｏｎマップを表示してもよい。

以上で述べた構成によれば、広範囲な撮影を行ったデータから視神経乳頭部や黄斑部における解析結果を時系列の画像データとして表示することが出来る。さらには、広範囲な撮影を行ったデータと詳細な撮影を行ったデータとを時系列の画像データとして表示することが出来る。

（第三の実施形態）
第一、第二の実施形態においては、広範囲のＯＣＴを撮影して、視神経乳頭部や黄斑部における解析結果を容易に把握可能とする表示形態について示した。本実施形態においては、広範囲のＯＣＴを撮影すると共に、広範囲のＯＣＴアンギオグラフィ（ＯＣＴＡ）を生成して表示する例について、図１２、図１３を参照して本実施形態の処理を示す。なお、本実施形態において、図１や７のような画像処理装置を備える画像処理システムの構成を示さないが、モーションコントラストデータ生成部を備えているものとする。

図１２は、本実施形態における本システム全体の動作処理、図１３は、本実施形態における処理を示すフローチャートである。上記第一、第二の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。

＜ステップＳ１２０２＞
ステップＳ１２０２では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者が不図示のスキャン開始を選択すると、断層画像撮影装置２００は、駆動制御部２０２を制御し、ガルバノミラー２０１を動作させて断層画像のスキャンを行う。

本実施形態においては、スキャンパターンはラスタスキャンによる三次元ボリュームで、例えば、１３×１０ｍｍの範囲を５００×２５０（主走査×副走査）の間隔で撮影を行うとして説明をする。三次元ボリュームにおいては、モーションコントラストを計算するために同一のライン箇所をＭ回（Ｍは２以上）繰り返し撮影する。すなわち、Ｍが２回だとする場合、実際には５００×５００のデータを撮影し、そこから５００×２５０の三次元モーションコントラストデータを生成する。本実施形態においても、第一の実施形態で説明をしたように三次元データと水平スキャン撮影を行う。水平スキャンは、１枚、あるいは複数枚（例えば１０枚程度）撮影をする。本実施形態においては、水平スキャンは複数枚撮影するとして説明をする。

なお、断層画像撮影装置２００は、加算平均用に同じ場所を撮影するために、被検眼のトラッキングを行うことで、固視微動の影響を少なくして被検眼のスキャンを行うことも可能である。さらに、まばたきなどの画像を生成するにあたりアーティファクトとなる動きを検出した場合には、アーティファクトが発生した場所で再スキャンを自動的に行う。

＜ステップＳ１２０４＞
ステップＳ１２０４では、モーションコントラストデータ生成部がモーションコントラストデータの生成を行う。このデータ生成について図１３を用いて説明を行う。ＭＣは三次元のモーションコントラストデータを示し、ＬＭＣは三次元のモーションコントラストデータを構成する二次元のモーションコントラストデータを示している。さらに、ＬＭＣ’は三次元領域の中心を撮影する水平スキャンを示している。本実施形態では、水平スキャンＬＭＣ’の生成を例に説明する。

モーションコントラストデータ生成部は、まず被検眼の同一範囲で撮影された複数の断層像間の位置ずれを補正する。位置ずれの補正方法は任意の方法であってよい。例えば、モーションコントラスト生成部は、同一範囲をＭ’回撮影し、同一箇所に相当する断層像データ同士について、眼底形状等の特徴等を利用して位置合わせを行う。なお、本実施形態による同一とは、完全に一致する箇所の事だけではなく、トラッキングによる眼の位置ずれを補正したとしても生じる数μｍ～数１０μｍ程度のずれを含む箇所とする。

具体的には、Ｍ’個の断層像データのうちの１つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の断層像データとの類似度を求め、テンプレートとの位置ずれ量を求める。その後、モーションコントラスト生成部は、求めた位置ずれ量に基づいて、各断層像データを補正する。

次にモーションコントラスト生成部は、各断層像データに関する撮影時間が互いに連続する、２つの断層像データ間で式１により脱相関値Ｍ（ｘ，ｚ）を求める。

ここで、Ａ（ｘ，ｚ）は断層像データＡの位置（ｘ、ｚ）における輝度、Ｂ（ｘ，ｚ）は断層像データＢの同一位置（ｘ、ｚ）における輝度を示している。

脱相関値Ｍ（ｘ，ｚ）は０～１の値となり、２つの輝度の差が大きいほどＭ（ｘ，ｚ）の値は大きくなる。モーションコントラスト生成部は、同一位置で繰り返し取得したＭ’が３以上の場合には、同一位置（ｘ、ｚ）において複数の脱相関値Ｍ（ｘ，ｚ）を求めることができる。モーションコントラスト生成部は、求めた複数の脱相関値Ｍ（ｘ，ｚ）の最大値演算や平均演算などの統計的な処理を行うことで、最終的なモーションコントラストデータを生成することができる。なお、繰り返し回数Ｍが２の場合、最大値演算や平均演算などの統計的な処理は行わず、隣接する二つの断層像ＡとＢの脱相関値Ｍ（ｘ，ｚ）が、位置（ｘ、ｚ）におけるモーションコントラストの値となる。

式１に示したモーションコントラストの計算式はノイズの影響を受けやすい傾向がある。例えば、複数の断層像データの無信号部分にノイズがあり、互いに値が異なる場合には、脱相関値が高くなり、モーションコントラスト画像にもノイズが重畳してしまう。これを避けるために、モーションコントラスト生成部は、前処理として、所定の閾値を下回る断層データはノイズとみなして、ゼロに置き換えることができる。これにより、画像生成部３３２は、生成されたモーションコントラストデータに基づいて、ノイズの影響を低減したモーションコントラスト画像を生成することができる。

さらに、モーションコントラスト生成部は、三次元のモーションコントラストデータから二次元のモーションコントラスト正面画像（ＯＣＴＡ画像とも言う）を生成する。モーションコントラスト生成部は、三次元のモーションコントラストデータに対して指定された生成範囲上端と生成範囲下端との範囲に対応するモーションコントラストデータを二次元平面上に投影し、ＯＣＴＡ画像を生成する。具体的には、モーションコントラスト生成部が、全体のモーションコントラストデータのうち生成範囲上端と生成範囲下端の間の範囲に対応するモーションコントラストデータに基づいて、その範囲内のモーションコントラストデータを平均値投影（ＡＩＰ）、あるいは最大値投影（ＭＩＰ）などの処理を行うことで、モーションコントラスト画像の正面画像であるＯＣＴＡ画像を生成する。ＯＣＴＡ画像の生成方法は平均値や最大値に限らない。最小値、中央値、分散、標準偏差、総和などの値で生成してもよい。

例えば、網膜表層部（Ｓｕｐｅｒｆｉｃｉａｌ）を生成するＯＣＴＡ画像として、生成範囲上端をＩＬＭ／ＮＦＬ境界線とし、生成範囲下端をＧＣＬ／ＩＰＬから深度方向に５０μｍ下端の境界線とする。そして、最大値投影法でＯＣＴＡ画像を生成する。

なお、ＯＣＴＡ画像を生成するタイミングとして、何種類かの深度範囲が異なる画像を事前に生成しておいてもよいし、表示部に表示するタイミングで、ユーザーインターフェイスで指定されている生成範囲上端と生成範囲下端に対応する画像を生成するのでもよい。

ステップＳ１２０５からステップＳ１２０８は、第一の実施形態で説明をしたステップＳ３０４からステップＳ３０７と同等であるため、説明を省略する。

＜ステップＳ１２０９＞
ステップＳ１２０９では、ステップＳ３０８で説明をした解析マップを生成するほかに、２次元データ生成部３３５は、ＯＣＴＡ画像から解析マップを生成する。解析マップは、ヘシアンフィルタ及びエッジ選択鮮鋭化に基づく血管強調処理を行い、２種類の血管強調画像を用いて２値化処理を行い、整形処理を行うことで血管領域を特定する。血管検出に関して、画像処理を用いた検出例について説明したが、これに限らない。Ｄｅｅｐ Ｌｅａｒｎｉｎｇのような機械学習手法を用いて、画像と正解ラベルとを学習しておくことで、入力画像から血管を検出するようにしてもよい。

ＯＣＴＡ画像を解析する場合には、血管領域の面積に基づく血管密度（Ｖｅｓｓｅｌ Ａｒｅａ Ｄｅｎｓｉｔｙ；ＶＡＤ）や血管長に基づく血管密度（Ｖｅｓｓｅｌ Ｌｅｎｇｔｈ Ｄｅｎｓｉｔｙ；ＶＬＤ）マップを生成する。ＶＡＤは、計測対象に含まれる血管領域の割合で定義される血管密度（単位：％）である。また、ＶＬＤは、単位面積あたりに含まれる血管の長さの総和（単位：ｍｍ－１）で定義される血管密度である。

血管密度は血管の閉塞範囲や血管網の疎密の程度を定量化するための指標であり、ＶＡＤが最もよく用いられている。ただし、ＶＡＤでは計測値に占める大血管領域の寄与分が大きくなるため、糖尿病網膜症のように毛細血管の病態に注目して計測したい場合には（より毛細血管の閉塞に敏感な指標として）ＶＬＤが用いられる。

これに限らず、例えば血管構造の複雑さを定量化するＦｒａｃｔａｌ Ｄｉｍｅｎｓｉｏｎや、血管径の分布（血管の瘤や狭窄の分布）を表すＶｅｓｓｅｌ Ｄｉａｍｅｔｅｒ Ｉｎｄｅｘを計測してもよい。

＜ステップＳ１２１０＞
ステップＳ１２１０では、撮影した画像と層厚マップ、解析マップなどを表示部６００に表示する。図１４に表示部６００に表示する画面の一例を示す。

図１４では、図５（ｂ）で示した表示例を基にモーションコントラスト断層画像、モーションコントラスト正面画像（ＯＣＴＡ画像）を表示する例を示す。

１４０１は網膜表層部（Ｓｕｐｅｒｆｉｃｉａｌ）のＯＣＴＡ画像、１４０２は網膜深層部（Ｄｅｅｐ）のＯＣＴＡ画像、１４０３は脈絡毛細管板（Ｃｈｏｒｉｏｃａｐｉｌｌａｒｉｓ）のＯＣＴＡ画像を表示している。図ではＯＣＴＡ画像の表示を示しているが、ＯＣＴＡ画像だけではなく、不図示のユーザーインターフェイス（例えば、ボタン、右クリックメニュー、タブ切換、チェックボックス、ロングタップ、マルチタップなど）を用いて、血管密度（ＶＡＤやＶＬＤ）を疑似カラーで表したマップをＯＣＴＡ画像に透過度を設定して重畳表示することが出来る。

１４３０は水平スキャンの断層画像、領域１４３１は、複数の水平スキャン断層画像から生成したモーションコントラストデータにおいて、閾値以上のデータを断層画像１４３０に重畳表示する例を示している。モーションコントラストデータの重畳表示に関しては、表示と非表示を切り替えることが出来る。さらに、プロジェクションアーティファクトの抑制処理の実行も指定することが出来る。なお、図示はしないが、水平スキャン１４３０の代わりに、３次元撮影をした垂直スキャンの断層画像を表示するか、水平スキャン１４３０と並べて垂直スキャンの断層画像を表示してもよい。その際に、垂直スキャンにおいてもモーションコントラストデータを重畳して表示することが望ましい。

なお、図５（ｂ）で示した表示例と比較して、ＮＦＬとＧＣＬとＩＰＬを複合した層の厚み、Ｓｉｇｎｉｆｉｃａｎｃｅマップ、Ｄｅｖｉａｔｉｏｎマップを表示していないが、網膜厚全体の厚みを表すマップ５１２、網膜厚全体の厚みに対するＳｉｇｎｉｆｉｃａｎｃｅマップの代わりに、切り替えて表示することが可能である。網膜厚全体の厚み、ＮＦＬとＧＣＬとＩＰＬを複合した層の厚みとを切り替えた場合、それに応じて、計測値を表示するグリッドも５１３から５２６に切り替えて表示する。

なお、図示はしないが、図８や１１で例示したように層厚マップ、Ｓｉｇｎｉｆｉｃａｎｃｅマップ、Ｄｅｖｉａｔｉｏｎマップの他に、ＯＣＴＡ画像や血管密度マップ画像を時系列で表示することが出来る。例えば、図１１を用いて説明をすると、網膜全体の層の厚みを表す層厚マップ１１１３の代わりに、ＯＣＴＡ画像１４０１や、そのＯＣＴＡ画像に血管密度マップを重畳表示して表示してもよい。

以上で述べた構成によれば、広範囲のＯＣＴを撮影すると共に、広範囲のＯＣＴアンギオグラフィを生成して表示することが出来、部位に応じた処理を好適に行い、解析結果を効果的に提示することが出来る。

（第四の実施形態）
第一から第三の実施形態においては、広範囲のＯＣＴを撮影して、視神経乳頭部や黄斑部における解析結果、ＯＣＴＡの解析結果を容易に把握可能とする表示形態について示した。本実施形態においては、高画質化手段を用いて、広範囲のＯＣＴ画像、ＯＣＴＡ画像、眼底画像の少なくとも一つに対して高画質化処理を行う例について説明をする。なお、高画質化処理とは、ノイズ除去、超解像、コントラスト調整処理の事を示す。

図１５は、本実施形態に係る画像処理装置３０１５を備える画像処理システム１０１５の構成を示す図である。図１５に示すように、画像処理装置３０１５は画像処理部１５０３を備え、画像処理部１５０３は高画質化部１５３１を備える。高画質化部１５３１は、機械学習モデルを用いて、画像の高画質化を行う。

本実施形態においては、ノイズ除去による高画質化について後述する。図１６に本実施形態における機械学習モデルの構成の一例を示す。図１６で示す構成は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、上記構成に含まれる層の種類としては、図１６に示すように、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、合成（Ｍｅｒｇｅｒ）層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、前記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力された画像Ｉｍ１６１０を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力された画像Ｉｍ１６１０を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像Ｉｍ１６２０に成形される。図１６のＩｍ１６１０とＩｍ１６２０は断層画像を示しているが、モーションコントラスト断層画像、モーションコントラスト正面画像（ＯＣＴＡ画像）、Ｅｎｆａｃｅ画像やＳＬＯ画像、眼底写真のような網膜正面画像も可能である。撮影範囲は網膜の後眼部に限らず、前眼部でもよい。

なお、図示はしないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等をしてもよい。

本実施形態の高画質化エンジンは、撮影装置２００や他の装置から得た画像に第一のノイズ成分を付加した低画質画像を入力し、出力データとしては、撮影装置２００や他の装置から得た画像に第二のノイズ成分を付加した画像を高画質画像としてトレーニングしている。すなわち、本実施形態の学習時の教師画像は、低画質画像と高画質画像とが共通の画像を用いており、それぞれの画像におけるノイズ成分が異なるものとなる。画像としては同じものを用いているため、ペア画像とする際の位置合わせは不要である。

ここで、不図示の学習部は、誤差検出部と、更新部と、を備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、教師データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

このとき、ＧＰＵはデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵで処理を行うことが有効である。そこで、本実施形態では、学習部による処理にはＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理はＣＰＵまたはＧＰＵのみにより演算が行われてもよい。また、高画質化部１５３１も学習部と同様にＧＰＵを用いてもよい。

また、ノイズ成分としては、ガウシアンノイズ、対象画像特有のノイズをモデル化したもの等をノイズとして付加する。ただし、第一と第二のノイズはそれぞれ異なるノイズとする。異なるノイズとは、ノイズを付加する空間的な場所（画素の位置）が異なる、あるいはノイズの値が異なるなどを意味する。対象画像特有のノイズとしては、例えばＯＣＴの場合、模型眼や被検眼を置かない状態で撮影したデータを基にノイズを推定し、それらをノイズモデルとして使用することが出来る。ＯＣＴＡの場合では、無血管領域（ＦＡＺ）の範囲に現れるノイズや、血液の流れを模式的に再現した模型眼を撮影した画像に現れるノイズを基に、ノイズモデルとして使用することが出来る。

ここで、ガウシアンノイズの場合は、ノイズの大きさとして標準偏差、あるいは分散値を定義し、それらの数値に基づいて画像にランダムにノイズを与える。ランダムノイズを与えた結果として、全体としての平均値は変わらないようにしてもよい。すなわち、１画像の各画素に付加されるノイズの平均値は０となるようにする。ここで、平均値は０となるようにする必要はなく、入力データと出力データとに対して互いに異なるパターンのノイズが付加できればよい。

なお、本実施形態では、撮影装置２００や他の装置から入手した低画質画像に第一のノイズ成分と第一のノイズ成分とは異なる第二のノイズ成分を付加した画像を用いて高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、ノイズを付加する画像は、位置合わせをして加算平均処理（重ね合わせ）をした高画質画像に対して第一および第二のノイズ成分を付加するようにしてもよい。すなわち、重ね合わせ処理画像に第一のノイズ成分を付加した画像を低画質画像、重ね合わせ処理画像に第二のノイズ成分を付加した画像を高画質画像として学習する構成としてもよい。さらには、本実施形態では、第一と第二のノイズ成分を用いて学習する例について説明したがこれに限らない。例えば、低画質画像とする方にのみ第一のノイズ成分を付加し、高画質画像とする方にはノイズ成分を付加せずに学習を行う構成としてもよい。

高画質化処理に関して、超解像処理とする場合、低解像度画像と高解像度画像とをペア画像として学習を行えばよい。また、コントラスト調整処理とする場合、低コントラスト画像と高コントラスト画像とをペア画像として学習する。正解とする高コントラスト画像は、画面全体で一律の調整を行う必要はなく、局所的、領域毎に適切なコントラスト調整を行った画像として学習をしておくことが可能である。これらの高画質化処理は、一つの画面において一つだけしか実行できない訳ではない。それぞれ別々に学習をしたモデルを複数持つことで、任意の高画質化処理を実行することが可能であり、一種類あるいは複数種類の高画質化処理を実施できる。高画質化処理の実施に関しては、レポート画面への遷移に伴い自動的に実行するようにしてもよいし、操作者が実行する高画質化処理を選択出来るようにしてもよい。なお、複数の高画質化処理を実行する場合、どの高画質化処理を実行しているか操作者に対して表示（ボタン等の色変更、メッセージ表示、アイコン表示、チェックボックス表示など）することが望ましい。

レポート画面における画像表示において、操作者は不図示のユーザーインターフェイス（例えば、ボタン、右クリックメニュー、タブ切換、チェックボックス、ロングタップ、マルチタップなど）を用いて本実施形態で示した高画質化処理の実施・非実施を選択出来る。例えば、断層画像、モーションコントラスト断層画像、モーションコントラスト正面画像（ＯＣＴＡ）に関しての高画質化処理を行う場合について、図１４を用いて説明をする。図１４において、不図示の高画質化ボタンを押下することにより、断層画像１４３０、モーションコントラスト断層画像１４３１、ＯＣＴＡ画像１４０１～１４０３の画像に対して高画質化処理を実行し、高画質化した画像を表示する。ＯＣＴＡの血管密度マップは高画質化した画像に対してなお、高画質化処理の実行に関して、必ずしも操作者が選択する必要はなく、操作者が検査データを選択してレポート画面に遷移したタイミングで自動的に実行するようにしてもよい。

なお、図示はしないが、実施形態１から３で説明をしたように時系列画面においても高画質化処理を実行することが出来る。例えば、実施形態３で説明をしたように時系列の眼底写真、ＯＣＴ画像、あるいはＯＣＴＡ画像のいずれかに対して高画質化処理を実行することで、時系列画像を一括して高画質化な画像にすることが出来る。

以上で述べた構成によれば、広範囲のＯＣＴを撮影すると共に、広範囲のＯＣＴアンギオグラフィを生成して表示することが出来、高画質化した画像ならびに、解析結果を効果的に提示することが出来る。

（第五の実施形態）
第一から第四の実施形態においては、広範囲のＯＣＴを撮影して、視神経乳頭部や黄斑部における解析結果、ＯＣＴＡの解析結果を容易に把握可能とする表示形態について示した。本実施形態においては、視神経乳頭部や黄斑部をそれぞれ別々に詳細に撮影したデータを一つの画面に表示する例を示す。

ここでは、図５（ａ）を例に説明を行う。本実施形態においては視神経乳頭部や黄斑部をそれぞれ別々に詳細に撮影したデータを図５（ａ）で示したように一つの画面にレイアウトする。例えば、図５（ａ）において、５１１、５１８、５１９、５２２、５２３、５２４、５２５の視神経乳頭部に関する画像と解析データは、視神経乳頭部を撮影したデータから情報を取得して、それ以外の黄斑部に関する画像と解析データは、黄斑部を撮影したデータから情報を取得する。なお、別々に撮影したデータを一つの画面に表示する際には、不図示のデータ選択ボタンを押下することで、視神経乳頭部撮影データ、黄斑部撮影データを操作者が選択して表示してもよい。あるいは、操作者が選択した日において、同一日に同一眼の視神経乳頭部と黄斑部を撮影したデータがあれば、不図示のデータ選択部が自動的にデータを選択して表示するようにしてもよい。

以上で述べた構成によれば、視神経乳頭部や黄斑部をそれぞれ別々に詳細に撮影したデータを一つの画面で確認することができるため、データ表示の切り替えなどが無く、解析結果を効果的に提示することができる。

（変形例１）
本実施形態において、撮影から表示までを一連の流れで示したがこれに限らない。例えば、既に撮影が済んでいるデータを用いて解析を行ってもよい。その場合、撮影に関する処理をスキップし、その代わりに撮影済みの画像を取得する。これにより、撮影時に解析処理をしなくても、必要な時にレポート表示を実行することが出来る。そのため、撮影時には撮影だけに集中することが出来る。

（変形例２）
本実施形態においては、ノーマティブデータとして視神経乳頭部周囲のデータ、黄斑部周囲のデータはそれぞれ別々に記憶しているものとして説明をしたがこれに限らない。例えば、ノーマティブデータとして視神経乳頭部と黄斑部を含む広範囲スキャンのデータを記憶してあれば、そのデータと比較を行えばよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述した様々な実施形態及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。

このとき、プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

Claims (12)

1. 光コヒーレンストモグラフィを用いて被検眼の眼底の視神経乳頭部を含む領域を第１の時間に撮影して得た前記視神経乳頭部に関する３次元データの解析結果である第１の解析マップと、光コヒーレンストモグラフィを用いて前記眼底の黄斑部を含む領域を前記第１の時間に撮影して得た前記黄斑部に関する３次元データの解析結果である第２の解析マップと、光コヒーレンストモグラフィを用いて前記視神経乳頭部と前記黄斑部とを含む領域を前記第１の時間の後である第２の時間に撮影して得た３次元データの解析結果である前記視神経乳頭部に関する第３の解析マップと前記黄斑部に関する第４の解析マップと、を取得する取得部と、
   前記第１の解析マップと前記第３の解析マップとを時系列に並べて第１の表示領域に表示させるように表示部を制御し、前記第２の解析マップと前記第４の解析マップとを時系列に並べて前記第１の表示領域とは異なる第２の表示領域に表示させるように前記表示部を制御する表示制御部と、
   を備える画像処理装置。
2. 前記表示制御部は、前記視神経乳頭部と前記黄斑部とを含む領域に関する２次元画像と、前記視神経乳頭部に関する解析マップと、前記黄斑部に関する解析マップとを並べて表示部に表示させる請求項１に記載の画像処理装置。
3. 前記視神経乳頭部に関する解析マップは、前記３次元データを解析して得た前記視神経乳頭部に関する層厚情報と、前記視神経乳頭部に関する正常眼の統計情報との比較結果を示す第１の比較マップであり、
   前記黄斑部に関する解析マップは、前記３次元データを解析して得たに前記黄斑部に関する層厚情報と、前記黄斑部に関する正常眼の統計情報との比較結果を示す第２の比較マップである請求項２に記載の画像処理装置。
4. 前記２次元画像は、前記被検眼の深さ方向における前記３次元データの少なくとも一部のデータを用いて得た正面画像、または、前記被検眼の深さ方向における前記３次元データの少なくとも一部のデータを解析して得た層厚情報を色情報として、前記正面画像に重畳して得られる層厚マップである請求項３に記載の画像処理装置。
5. 検者からの指示に応じて前記層厚マップに対応する層と前記第２の比較マップに対応する層とのいずれか一方を別の層に切り替えると、他方が連動して前記別の層に切り替わることにより、前記層厚マップと前記第２の比較マップとが前記別の層に対応する解析マップに表示が変更され、
   前記視神経乳頭部の解析マップに対応する層は前記指示があっても変更されないように構成される請求項４に記載の画像処理装置。
6. 前記表示制御部は、前記視神経乳頭部に関する解析マップの位置を示す情報と、前記黄斑部に関する解析マップの位置を示す情報とを、前記２次元画像に重ねて前記表示部に表示させる請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記３次元データにおける前記視神経乳頭部または前記黄斑部の位置に基づいて、正常眼の統計情報と比較するための前記３次元データにおける一部の領域の位置及び大きさを調整することにより、前記３次元データにおけるＡスキャン及びＢスキャンの数を調整する調整部を更に備える請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記３次元データは、前記視神経乳頭部と前記黄斑部とを含む領域を撮影することで得られる、単一の３次元データである請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記表示制御部は、前記第１の解析マップと、前記第２の解析マップと、前記第３の解析マップ及び前記第４の解析マップとが異なる撮影モードで撮影して得た３次元データの解析結果であることが識別可能なことを示す情報を前記表示部に表示させる請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 測定光を照射した前記眼底からの戻り光と参照光との干渉光を検出する検出部と、前記光コヒーレンストモグラフィとを含む眼科撮影装置と、
    請求項１乃至９のいずれか１項に記載の画像処理装置と、
    を備えるシステム。
11. 光コヒーレンストモグラフィを用いて被検眼の眼底の視神経乳頭部を含む領域を第１の時間に撮影して得た前記視神経乳頭部に関する３次元データの解析結果である第１の解析マップと、光コヒーレンストモグラフィを用いて前記眼底の黄斑部を含む領域を前記第１の時間に撮影して得た前記黄斑部に関する３次元データの解析結果である第２の解析マップと、光コヒーレンストモグラフィを用いて前記視神経乳頭部と前記黄斑部とを含む領域を前記第１の時間の後である第２の時間に撮影して得た３次元データの解析結果である前記視神経乳頭部に関する第３の解析マップと前記黄斑部に関する第４の解析マップと、を取得する工程と、
    前記第１の解析マップと前記第３の解析マップとを時系列に並べて第１の表示領域に表示させるように表示部を制御し、前記第２の解析マップと前記第４の解析マップとを時系列に並べて前記第１の表示領域とは異なる第２の表示領域に表示させるように前記表示部を制御する工程と、
    を含む画像処理方法。
12. 請求項１１に記載の画像処理方法の各工程をコンピュータに実行させるプログラム。

Images