JP2022082077A - 眼科画像処理装置、および、眼科画像処理プログラム - Google Patents

Abstract

【課題】眼科画像に写っている組織の構造の異常をより適切にユーザに判断させること。【解決手段】 眼科画像処理装置２１の制御ＣＰＵ２３は、被検眼における複数の断層面の断層画像を含む眼科画像を取得し、機械学習アルゴリズムによって訓練された数学モデルに眼科画像を入力することで、断層画像における複数の組織に含まれる、２つ以上の組織を識別するための確率分布を取得し、組織における構造の異常度の２次元分布を表す構造異常度マップ５１Ａ～５１Ｆを、確率分布に基づいて２つ以上の組織毎に生成し、２つ以上の組織毎に生成された２つ以上の構造異常度マップ５１Ａ～５１Ｆを表示装置２８上に同時に並べて表示させる。【選択図】図１１

Description

本開示は、被検眼の眼科画像を処理する眼科画像処理装置、および、眼科画像処理装置において実行される眼科画像処理プログラムに関する。

従来、画像に写っている物体の構造等の異常を推定するための種々の技術が提案されている。

例えば、本願発明者による特許文献１においては、眼科画像を入力することで眼科画像中の組織を識別するための確率分布が取得される学習済みモデルを用いる手法が提案されている。特許文献１によれば、定量的な構造の異常度が、学習済みモデルから出力される確率分布に基づいて得られる。

また、特許文献１には、組織における構造の異常度の二次元分布を示す構造異常度マップを生成することについても記載されている。特許文献１では、複数の層および境界を含む組織について、組織全体についての、あるいは、特定のいずれかの層または境界についての構造異常度マップを生成することが記載されている。

特開２０２０－１８７９４号公報

しかしながら、組織全体についての、あるいは、特定のいずれかの組織についての、１枚の構造異常度マップからは、異常の有無は把握できるものの、構造的な異常の全容を把握することは困難であった。

本開示の典型的な目的は、眼科画像に写っている組織の構造の異常をより適切にユーザに判断させることが可能な眼科画像処理装置、および眼科画像処理プログラムを提供することである。

本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、被検眼における複数の断層面の断層画像を含む眼科画像を取得し、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記断層画像における複数の組織に含まれる、２つ以上の組織を識別するための確率分布を取得し、前記組織における構造の異常度の二次元分布を表す構造異常度マップを、前記確率分布に基づいて２つ以上の組織毎に生成し、２つ以上の組織毎に生成された２つ以上の前記構造異常度マップを表示装置上に同時に並べて表示させる。

本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、眼科画像撮影装置によって撮影された眼科画像として、被検眼における複数の断層面の断層画像を含む眼科画像を取得する画像取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記断層画像における複数の組織に含まれる、２つ以上の組織を識別するための確率分布を取得する取得ステップと、前記組織における構造の異常度の二次元分布を表す構造異常度マップを、前記確率分布に基づいて２つ以上の組織毎に生成する構造異常度マップ生成ステップと、２つ以上の組織毎に生成された２つ以上の前記構造異常度マップを表示装置上に同時に並べて表示させる表示ステップと、を前記眼科画像処理装置に実行させる。

本開示によれば、眼科画像に写っている組織の構造の異常をより適切にユーザに判断させることができる。

数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂの概略構成を示すブロック図である。 数学モデル構築装置１が実行する数学モデル構築処理のフローチャートである。 訓練用眼科画像３０の一例を示す図である。 訓練用データ３１の一例を示す図である。 眼科画像処理装置２１が実行する眼科画像処理のフローチャートである。 数学モデルに入力される二次元断層画像４０と、二次元断層画像４０中の一次元領域Ａ１～ＡＮの関係を模式的に示す図である。 境界Ｂｉ近傍の構造の異常度が低い場合の、境界Ｂｉを識別するための確率分布を示すグラフの一例である。 境界Ｂｉ近傍の構造の異常度が高い場合の、境界Ｂｉを識別するための確率分布を示すグラフの一例である。 二次元断層画像５１Ａ、構造異常度グラフ５２Ａ、および乖離度表５３Ａが表示された表示画面の一例である。 二次元断層画像５１Ｂ、構造異常度グラフ５２Ｂ、および乖離度表５３Ｂが表示された表示画面の一例である。 境界毎に生成された複数の構造異常度マップの表示態様の一例を示した図である。

＜概要＞
以下に、本開示の例示的な実施形態を説明する。本実施形態では、主に、眼科画像から構造異常度マップを生成し、表示する手法について説明する。

本実施形態では、眼科画像処理装置によって、眼科画像が処理される。眼科画像処理装置の制御部は、被検眼における複数の断層面の断層画像を含む眼科画像を取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、断層画像における複数の組織に含まれる、２つ以上の組織を識別するための確率分布を取得する。制御部は、組織における構造の異常度の二次元分布を表す構造異常度マップを、確率分布に基づいて２つ以上の組織毎に生成する。制御部は、２つ以上の組織毎に生成された２つ以上の構造異常度マップを表示装置上に同時に並べて表示させる。

それぞれの構造異常度マップ上では、それぞれの組織において構造的な異常が生じた部位が視覚化される。ユーザは、二次元の領域内の各々の位置における構造の異常度を、構造異常度マップによって的確に把握することができる。更に、表示装置上に同時に並べて表示される２つ以上の組織毎に生成された２つ以上の構造異常度マップからは、構造的な異常の奥行き方向への分布および拡がりを、見て取ることができる。従って、２つ以上の組織毎に生成された２つ以上の構造異常度マップの同時表示は、ユーザが構造的な異常の全容を速やかに把握するうえで有用である。

なお、数学モデルによって識別される複数の組織は、被検眼の奥行き方向（ｚ方向）に関して互いに異なる位置に存在していてもよい。一例として、眼底における複数の層および層の境界のうち、２つ以上の層または境界が、数学モデルによって識別されてもよい。

本実施形態では、被検眼における複数の断層面の断層画像を含む眼科画像が、制御部によって取得され、更には処理される。複数の断層面は被検眼における位置が互いに異なる。以下の説明では、特に断りが無い限り、断層面はＸＺ方向に広がる面とする。但し、必ずしもこれに限られるものでは無い。各々の断層画像は、例えば、ＯＣＴ装置によって撮影されたＯＣＴ画像であってもよい。このとき、ＯＣＴ画像は、二次元ＯＣＴ画像であってもよいし、三次元ＯＣＴ画像であってもよい。また、断層画像は、モーションコントラスト画像（以下、ＭＣ画像と称する。）であってもよい。ＭＣ画像は、同一位置から異なる時間に取得された複数のＯＣＴデータを処理することで得られるモーションコントラストデータから作成される。断層画像は、必ずしもＯＣＴ画像に限定される必要は無く、例えば、ＯＣＴ装置以外の装置（例えばシャインプルーフカメラ等）によって撮影されてもよい。

数学モデルは、入力側を過去に撮影された被検眼の組織の断層画像のデータとし、且つ、出力側を入力側の断層画像における組織を示すデータとする訓練データセットを用いて訓練されていてもよい。この場合、訓練された数学モデルは、断層画像を入力することで、組織を識別するための確率分布を適切に出力することができる。

なお、確率分布を出力する数学モデルの具体的な態様は適宜選択できる。例えば、数学モデルは、入力された断層画像の領域内において、組織の特定の境界および特定部位の少なくともいずれかが存在する座標を確率変数とする確率分布を出力してもよい。この場合、数学モデルによって出力される確率分布に基づいて、断層画像中の境界および特定部位の少なくともいずれかが適切且つ直接的に識別される。なお、この場合、確率分布を取得する対象となる「特定の境界」は、１つの境界であってもよいし、複数の境界であってもよい。複数の境界の確率分布を取得する場合、制御部は、複数の境界の各々について別々に確率分布を取得してもよい。同様に、確率分布を取得する対象となる「特定部位」の数も、１つであってもよいし複数であってもよい。また、確率分布を取得する単位となる眼科画像中の領域は、一次元領域、二次元領域、および三次元領域のいずれであってもよい。確率変数とする座標の次元は、確率分布を取得する単位となる領域の次元と一致していてもよい。

取得される確率分布に基づいて、組織における構造の異常度を示す構造情報が得られる。構造情報の二次元マップとして、組織における構造の異常度の二次元分布を表す構造異常度マップが生成されてもよい。

ここで、構造情報は、例えば、組織が正確に識別される場合の確率分布に対する、取得された確率分布の乖離度であってもよい。乖離度には、取得された確率分布のエントロピー（平均情報量）が含まれていてもよい。エントロピーは、不確実性、乱雑さ、無秩序の度合いを表す。本開示では、組織が正確に識別される場合に出力される確率分布のエントロピーは０となる。また、組織における構造の異常度が増加し、組織の識別が困難になる程、エントロピーは増大する。従って、乖離度として確率分布のエントロピーを用いることで、組織における構造の異常度がより適切に定量化される。ただし、エントロピー以外の値が乖離度として採用されてもよい。例えば、取得された確率分布の散布度を示す標準偏差、変動係数、分散等の少なくともいずれかが乖離度として使用されてもよい。確率分布同士の差異を図る尺度であるＫＬダイバージェンス等が乖離度として使用されてもよい。また、取得された確率分布の最大値が乖離度として使用されてもよい。

このような乖離度は、数学モデルによって出力された確率分布に基づいて制御部によって算出されてもよい。また、確率分布から乖離度への変換が数学モデルの中で行われ、これにより、数学モデルからの出力として乖離度が取得されてもよい。更に、構造異常度マップの生成についても、数学モデルの中で行われてもよく、数学モデルからの出力として構造異常度マップが取得されてもよい。

＜構造異常度マップの変形例：差分マップ＞
なお、眼底において、中心窩および視神経乳頭等では、眼底における他の領域と構造が大きく異なっていることが知られている。このため構造の乖離度は、正常眼であっても、中心窩および視神経乳頭ではその他の組織と比べて高くなりやすい。従って、乖離度の二次元分布を構造異常度マップとして表現した場合、正常眼であっても、眼底における構造異常度マップ上では、中心窩および視神経乳頭の領域は、他の領域と比べて異常度の高い領域として描写され得る。この場合は、中心窩および視神経乳頭の少なくともいずれかと対応する構造上の異常度の高い領域は、構造異常度マップ上の位置関係をユーザに把握させるための目印として利用できる。一方で、中心窩および視神経乳頭のいずれかにおいて実際に異常が生じていても、乖離度の二次元分布によって表現された構造異常度マップからユーザが把握することは難しい。これに対し、構造異常度マップは、被検眼における乖離度の二次元分布と、正常眼における乖離度の二次元分布との差分マップであってもよい。正常眼における乖離度の二次元分布は、複数の正常眼の断層画像を集めて作成されてもよい。この場合、乖離度の二次元分布として表現された構造異常度マップと比べて、差分マップでは、中心窩および視神経乳頭等の、本来的に乖離度が高くなりやすい組織およびその周辺における構造上の異常度が、より適切にマップ上に反映されやすいと考えられる。なお、眼底において、中心窩および視神経乳頭の他に、本来的に乖離度が高くなりやすい組織としては、後述の血管が挙げられ、差分マップでは、実際に構造的な異常が生じているか否かに関わらず、血管の位置が周囲に対して異常度が高い場所として表現されることも軽減され得る。

＜組織毎に、構造の異常度と階調値との対応関係を設定＞
構造異常度マップに含まれる各画素は、構造の異常度に応じた階調値で表現されてもよい。例えば、断層画像の中で、血管は、周囲の組織と異なる態様で描写されるため、周囲の組織に対して構造の異常度が高くなりやすい。このため、正常眼であっても、血管が多く分布している組織では、血管の分布が少ない組織と比べて、より多くの位置に、より大きな構造の異常度が出力される領域が分布されやすい。よって、それぞれの組織の構造異常度マップの間では、実際に構造的な異常が生じているか否かに関わらず周囲に対して異常度が高い場所として表現されるノイズの程度に大きな違いが生じる場合があり得る。ノイズの程度に大きな違いがある複数の構造異常度マップを同時に表示する際に、例えば、構造の異常度と階調値との対応関係がそれぞれの組織毎の構造異常度マップの間で同一に揃っている場合、構造異常度マップ間でのノイズの程度の違いが組織の間での異常の程度の違いを表していると、ユーザに誤解されやすくなってしまう可能性がある。

これに対し、本実施形態では、２つ以上の組織毎に生成される２つ以上の構造異常度マップの間で、構造異常度マップにおける構造の異常度と各画素の階調値との対応関係が、組織毎に変更可能であってもよい。あるいは、構造異常度マップにおける構造の異常度と各画素の階調値との対応関係が組織に応じて異なっていてもよい。なお、ここでいう、構造の異常度と各画素の階調値との対応関係は、構造の異常度から階調値へ変換するためのガンマ特性であってもよい。ガンマ特性は、例えば、ガンマ値として表すことができる。一例として、構造の異常度と階調値との対応関係は、（数１）を用いて表現できる。inputは構造の異常度であり、outputは階調値である。γはガンマ値である。

output = input ^{1 / γ} …（数１）

なお、inputは０～１の範囲の値で予め正規化しておく。この場合、（数１）の計算後、所望の段階の階調表現となるように、適宜、整数化が行われる。例えば、（数１）で求めたoutputに２５５を掛けることで、２５６階調で画像化されてもよい。

ここで、便宜上、２つ以上の構造異常度マップのうち、相対的に、血管がより多く分布した組織における構造異常度マップを、第１構造異常度マップと称する。また、第１構造異常度マップに対して血管が相対的に少ない組織における構造異常度マップを、第２構造異常度マップと称する。

例えば、第１構造異常度マップにおけるガンマ値が第２構造異常度マップよりも小さければ、第１構造異常度マップと第２構造異常度マップとが見比べられたときに、構造異常度マップ間でのノイズの程度の違いが目立ちにくくなる。従って、上述の誤解を招きにくくなる。その結果、それぞれの組織における構造上の異常が、組織毎の構造異常度マップに基づいてユーザに適正に把握されやすい。

例えば、眼底に含まれる複数の組織の中では、浅層側で血管が集中していることが知られている。このため、例えば、それぞれの組織に対して適切なガンマ特性が、組織毎（ここでは、層毎または層境界毎）に、あらかじめ個別に定められていてもよい。

また、任意の組織における微妙な構造上の異常を確認したい場合は、所望の組織における構造異常度マップのガンマ値を、ユーザの操作に基づいて増大させてもよい。これにより、所望の組織における微妙な構造上の異常が、構造異常度マップにおいて強調され、ユーザが確認しやすくなる。

また、特徴的な構造上の異常が生じる組織は、疾病の種別に応じて異なり得る。そこで、組織毎の、構造の異常度と各画素の階調値との対応関係は、例えば、疾病の種別に応じて設定可能であってもよい。疾病の種別は、適宜選択可能であってもよい。例えば、ユーザが症例名および病名等の何れかを、装置に対して手動で入力することで、入力に応じて疾病の種別が選択されてもよい。これにより、疾病毎の特徴的な構造上の異常が、構造異常度マップを介してユーザに確認されやすくなる。なお、構造の異常度と階調値との対応関係を、それぞれの構造異常度マップ毎に設定または変更するうえで、必ずしもガンマ補正が利用される必要は無い。例えば、それぞれの構造異常度マップの明るさ、および、コントラストの少なくともいずれかが、それぞれの構造異常度マップ毎に設定または変更されてもよい。また、いずれかの構造異常度マップに対し、ヒストグラム平坦化等の処理が施されてもよい。

また、眼科画像（ここでは断層画像）のノイズレベルに応じて、それぞれの構造異常度マップにおける構造の異常度と階調値との対応関係が調整されてもよい。乖離度は、画質が悪い断層画像を処理した場合にも高くなる場合がある。従って、眼科画像のノイズレベルが高ければ、ノイジーな構造異常度マップが出力されやすくなる。なお、眼科画像のノイズレベルは、眼科画像に含まれる断層画像に対する評価値であってもよい。この場合、例えば、眼科画像における組織毎のノイズレベルに応じて、構造異常度マップ毎にガンマ補正が自動的に行われてもよい。また、例えば、組織毎に生成した正面画像（例えば、組織毎のOCT en-face 画像）に対する評価値であってもよい。例えば、評価値としては、眼科画像の信号の強さ、または信号の良好さを示す指標（例えば、ＳＳＩ（Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｅｘ）またはＱＩ（Ｑｕａｌｉｔｙ Ｉｎｄｅｘ）等）を利用できる。

＜被検眼の正面画像と、構造異常度マップとの同時表示＞
本実施形態において、眼科画像処理装置の制御部は、構造異常度マップと対応する被検眼の正面画像を更に取得してもよい。換言すれば、構造異常度マップが示す組織を含む被検眼の部位についての正面画像が、取得されてもよい。制御部は、取得した正面画像を、構造異常度マップと共に表示装置に表示させてもよい。これにより、構造異常度マップ上で異常度の高い領域についての被検眼上の位置を、ユーザが把握しやすくなる。なお、このとき、構造異常度マップは、２つ以上の組織に対応する２枚以上が同時に表示されてもよい。２枚以上の構造異常度マップのうち少なくとも１枚と対応する正面画像が、表示装置上に表示されてもよい。また、正面画像は、構造異常度マップと並列して表示されてもよいし重畳して表示されてもよい。両者を重畳する際、正面画像および構造異常度マップの一方が半透明であることで、両者を同時に視認可能であってもよい。

正面画像は、種々の画像であり得る。例えば、正面画像は、三次元ＯＣＴデータから生成されたＯＣＴ正面画像（具体例として、en-face画像、Cスキャン画像等）であってもよい。また、正面画像は、モーションコントラストデータに基づくＭＣ正面画像であってもよい。また、眼底カメラおよびＳＬＯ等で撮影された正面画像であってもよい。なお、複数種類の正面画像のうち２つ以上が同時に表示されてもよいし、切り換えて表示されてもよい。

また、正面画像は、血管の分布を示した画像であってもよい。血管の分布を示した画像としては、例えば、ＭＣ正面画像であってもよい。また、血管の分布を示した画像は、血管密度の二次元分布を示した血管密度マップであってもよい。例えば、構造異常度マップ上に血管によるノイズが描写されていても、そのノイズが血管に起因していることを、共に表示されるＭＣ正面画像を介して、直感的にユーザに把握させやすい。また、２つ以上の組織毎に生成された２つ以上の構造異常度マップの少なくともいずれかに対して、対応する組織におけるＭＣ正面画像が表示されてもよい。これにより、異常度の高い領域が血管によるものか否かを、組織毎に適切に把握しやすくなる。また、組織毎のＭＣ正面画像と代替的に、または、追加的に、組織毎のＯＣＴ正面画像が、少なくともいずれかの構造異常度マップに対応付けて表示されてもよい。これにより、構造の異常度が高い領域において、実際に構造の異常が生じているか否かを、好適にユーザに把握させやすくなる。

また、正面画像は、構造異常度マップの位置毎における断層画像の画像品質を示した画質マップであってもよい。画質マップは、例えば、Ａスキャン毎の信号強度を画像化したＳＳＩマップであってもよい。前述のとおり、画質が悪い場合ほど、異常度が大きな値となりやすい。従って、異常度の高い領域が画質の低さに起因するものか否かを、構造異常度マップを画質マップと見比べることで、好適にユーザに把握させやすくなる。

＜解析画像と構造異常度マップとの同時表示＞
また、正面画像に代えて又は加えて、眼科画像（断層画像および正面画像の少なくともいずれか）に対する解析結果をグラフィカルに示す解析画像が、構造異常度マップと同時に表示されてもよい。解析画像には、組織の厚みに関する解析結果が示されていてもよい。解析画像と正面画像は、画面上の同一の位置において、切換表示されてもよい。２つ以上の組織毎に生成された２つ以上の構造異常度マップの少なくともいずれかに対して、対応する組織における解析画像が表示されてもよい。

解析画像は、断層画像および正面画像のいずれかの解析マップであってもよいし、解析チャートであってもよい。例えば、組織の厚みを示す解析チャートとして、ＧＣＨＡＲＴ、Ｓ／Ｉチャート、ＥＴＤＳチャート等が利用されてもよい。

構造異常度マップと解析画像とは、重畳して表示されてもよい。例えば、解析画像として厚みマップが重畳される場合、構造の異常度と厚みとの何れか一方については、等高線で表現し、他方については画素の階調で表現することで、構造の異常度と厚みとを総合的に確認できるので、ユーザが異常の可能性を的確に把握しやすい。

上述の複数の構造異常度マップは、確認画面において表示されてもよい。確認画面は、撮影された断層画像をユーザに確認させるために表示される。このとき、制御部は、同一の被検眼の組織を撮影した複数の断層画像のうち、構造の異常度が最も高い断層画像、または、構造の異常度が閾値以上の断層画像を表示装置に表示させてもよい。例えば、確認画面に、複数の断層画像のうち、構造の異常度が高い断層画像を表示させることで、構造の異常度が高い部位が撮影された断層画像を、容易にユーザに確認させることができる。また、制御部は、撮影された断層画像をユーザに確認させるビューワーを起動させた際に、複数の断層画像のうち、構造の異常度が高い断層画像を表示させることで、構造の異常度が高い部位が撮影された断層画像を最初にユーザに確認させてもよい。

制御部は、構造異常度マップ上で構造の異常度が閾値以上の部位を撮影する撮影指示を、眼科画像撮影装置に出力する処理を実行してもよい。また、制御部は、構造の異常度が閾値以上の部位の断層画像または拡大画像を表示装置に表示させる処理を実行してもよい。この場合、構造の異常度が高い部位の画像が、適切にユーザによって確認される。

なお、制御部は、構造の異常度が閾値以上の部位を撮影する撮影指示を出力する場合に、構造の異常度が閾値以上の部位の断層画像を、より高画質に撮影する指示を出力してもよい。例えば、より高解像な断層画像を取得する指示を出力してもよい。また、構造の異常度が閾値以上の部位の断層画像を複数回撮影し、撮影された複数の断層画像の加算平均画像を取得する指示を出力してもよい。この場合、構造の異常度が高い部位の断層画像が、高画質で取得される。

制御部は、構造異常度マップを、被検眼の疾患に関する自動診断結果を出力する数学モデルに入力してもよい。このとき、自動診断結果は、疾患の種別が出力されてもよい。この場合、断層画像を用いて疾患を検索したり、識別したりするよりも、より構造異常に着目した結果が得られ、且つ、効率よく自動診断結果が得られると考えられる。
「実施例」
（装置構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された眼科画像に基づいて、眼科画像中の組織を識別するための確率分布を出力する。眼科画像処理装置２１は、数学モデルを用いて確率分布を取得し、取得した確率分布と、組織が正確に識別される場合の確率分布との乖離度を、組織の構造の異常度を示す構造情報として取得する。眼科画像撮影装置１１Ａ，１１Ｂは、被検眼の組織の画像である眼科画像を撮影する。

一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、眼科画像撮影装置１１Ａから取得した眼科画像（以下、「訓練用眼科画像」という）と、訓練用眼科画像における少なくともいずれかの組織の位置を示す訓練用データとを利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。

また、本実施形態の眼科画像処理装置２１にはＰＣが用いられる。しかし、眼科画像処理装置２１として機能できるデバイスも、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ｂまたはサーバ等が、眼科画像処理装置２１として機能してもよい。眼科画像撮影装置（本実施形態ではＯＣＴ装置）１１Ｂが眼科画像処理装置２１として機能する場合、眼科画像撮影装置１１Ｂは、眼科画像を撮影しつつ、撮影した眼科画像から乖離度を取得することができる。また、眼科画像撮影装置１１Ｂは，取得した乖離度に基づいて適切な部位を撮影することもできる。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置２１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。

また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。

数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、眼科画像処理装置２１または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、後述する数学モデル構築処理（図２参照）を実行するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、眼科画像撮影装置１１Ａおよび眼科画像処理装置２１等）と接続する。

数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、表示装置、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。

数学モデル構築装置１は、眼科画像撮影装置１１Ａから眼科画像のデータ（以下、単に「眼科画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ａから眼科画像のデータを取得してもよい。

眼科画像処理装置２１について説明する。眼科画像処理装置２１は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼科画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する眼科画像処理（図５参照）を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、眼科画像処理装置２１を他のデバイス（例えば、眼科画像撮影装置１１Ｂおよび数学モデル構築装置１等）と接続する。

眼科画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。

眼科画像処理装置２１は、眼科画像撮影装置１１Ｂから眼科画像を取得することができる。眼科画像処理装置２１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ｂから眼科画像を取得してもよい。また、眼科画像処理装置２１は、数学モデル構築装置１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。

眼科画像撮影装置１１Ａ，１１Ｂについて説明する。一例として、本実施形態では、数学モデル構築装置１に眼科画像を提供する眼科画像撮影装置１１Ａと、眼科画像処理装置２１に眼科画像を提供する眼科画像撮影装置１１Ｂが使用される場合について説明する。しかし、使用される眼科画像撮影装置の数は２つに限定されない。例えば、数学モデル構築装置１および眼科画像処理装置２１は、複数の眼科画像撮影装置から眼科画像を取得してもよい。また、数学モデル構築装置１および眼科画像処理装置２１は、共通する１つの眼科画像撮影装置から眼科画像を取得してもよい。なお、本実施形態で例示する２つの眼科画像撮影装置１１Ａ，１１Ｂは、同一の構成を備える。従って、以下では、２つの眼科画像撮影装置１１Ａ，１１Ｂについて纏めて説明を行う。

また、本実施形態では、眼科画像撮影装置１１（１１Ａ，１１Ｂ）として、ＯＣＴ装置を例示する。

眼科画像撮影装置１１（１１Ａ，１１Ｂ）は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、眼科画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。

眼科画像撮影部１６は、被検眼の眼科画像を撮影するために必要な各種構成を備える。本実施形態の眼科画像撮影部１６には、ＯＣＴ光源、ＯＣＴ光源から出射されたＯＣＴ光を測定光と参照光に分岐する分岐光学素子、測定光を走査するための走査部、測定光を被検眼に照射するための光学系、被検眼の組織によって反射された光と参照光の合成光を受光する受光素子等が含まれる。

眼科画像撮影装置１１は、被検眼の眼底の二次元断層画像および三次元断層画像を撮影することができる。詳細には、ＣＰＵ１３は、スキャンライン上にＯＣＴ光（測定光）を走査させることで、スキャンラインに交差する断面の二次元断層画像を撮影する。二次元断層画像は、同一部位の複数の断層画像に対して加算平均処理を行うことで生成された加算平均画像であってもよい。また、ＣＰＵ１３は、ＯＣＴ光を二次元的に走査することによって、組織における三次元断層画像を撮影することができる。例えば、ＣＰＵ１３は、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数の二次元断層画像を取得する。次いで、ＣＰＵ１３は、撮影された複数の二次元断層画像を組み合わせることで、三次元断層画像を取得する。
（数学モデル構築処理）
図２～図４を参照して、数学モデル構築装置１が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置４に記憶された数学モデル構築プログラムに従って、ＣＰＵ３によって実行される。数学モデル構築処理では、訓練データセットによって数学モデルが訓練されることで、眼科画像中の組織を識別するための確率分布を出力する数学モデルが構築される。訓練データセットには、入力側のデータ（入力用訓練データ）と出力側のデータ（出力用訓練データ）が含まれる。

図２に示すように、ＣＰＵ３は、眼科画像撮影装置１１Ａによって撮影された眼科画像である訓練用眼科画像のデータを、入力用訓練データとして取得する（Ｓ１）。本実施形態では、訓練用眼科画像のデータは、眼科画像撮影装置１１Ａによって生成された後、数学モデル構築装置１によって取得される。しかし、ＣＰＵ３は、訓練用眼科画像を生成する基となる信号（例えばＯＣＴ信号）を眼科画像撮影装置１１Ａから取得し、取得した信号に基づいて訓練用眼科画像を生成することで、訓練用眼科画像のデータを取得してもよい。

なお、本実施形態のＳ１では、ＯＣＴ装置である眼科画像撮影装置１１Ａによって撮影された二次元断層画像が、訓練用眼科画像として取得される。図３に、眼底の二次元断層画像である訓練用眼科画像３０の一例を示す。図３に例示する訓練用眼科画像３０には、眼底における複数の層が表れている。なお、本実施形態において、訓練データセットに含まれる訓練用眼科画像は、いずれも、構造の異常度が低い組織の眼科画像であってもよいが、必ずしもこれに限られるものでは無い。例えば、一部の組織についての構造の異常度が高い眼科画像が、訓練データセットに含まれていてもよい。疾患眼であっても組織が異常な構造のみで形成されているわけでは無く、多くの正常な構造を含んでいる。よって、一部の組織についての構造の異常度が高い眼科画像が訓練データセットに存在していても、訓練データセットにおいて、正常な構造についてのデータの方が、異常な構造についてのデータより十分に多くなると考えられるため、数学モデルを用いた組織の識別に悪影響が生じ難い。また、訓練データセットの中に、異常な構造についてのデータが適度に存在することで、識別の精度が向上することも考えられる。

次いで、ＣＰＵ３は、訓練用眼科画像における組織のうち、少なくともいずれかの組織の位置を示す訓練用データを取得する（Ｓ２）。図４に、訓練用眼科画像３０として眼底の二次元断層画像が使用される場合の訓練用データ３１の一例を示す。図４に例示する訓練用データ３１には、訓練用眼科画像３０に写っている複数の組織（詳細には、複数の層および境界）のうち、６つの境界の各々の位置を示すラベル３２Ａ～３２Ｆのデータが含まれている。本実施形態では、訓練用データ３１におけるラベル３２Ａ～３２Ｆのデータは、作業者が訓練用眼科画像３０における境界を見ながら操作部７を操作することで生成される。ただし、ラベルのデータの生成方法を変更することも可能である。

なお、訓練用データを変更することも可能である。例えば、訓練用眼科画像３０として眼底の二次元断層画像が使用される場合には、訓練用データは、眼底における少なくともいずれかの層の位置を示すデータであってもよい。また、訓練用データは、層および境界でなく、組織中の点状の部位等の位置を示すデータであってもよい。

次いで、ＣＰＵ３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行する（Ｓ３）。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。

ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。

ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。

ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。

ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。

数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。前述したように、訓練データセットは、入力用訓練データと出力用訓練データのセットである。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。

本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したいデータを生成するための出力層と、入力層と出力層の間の１つ以上の隠れ層を含む。各層には、複数のノード（ユニットとも言われる）が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）が用いられている。

一例として、本実施形態で構築される数学モデルは、眼科画像中の領域（一次元領域、二次元領域、三次元領域、および、時間軸を含む四次元領域のいずれか）内において、特定の組織（例えば、特定の境界、特定の層、または特定の部位等）が存在する座標（一次元座標、二次元座標、三次元座標、および四次元座標のいずれか）を確率変数とする確率分布を、組織を識別するための確率分布として出力する。本実施形態では、数学モデルに確率分布を出力させるために、ソフトマックス関数が適用されている。詳細には、Ｓ３で構築される数学モデルは、二次元断層画像中の特定の境界に交差する方向（本実施形態では、ＯＣＴのＡスキャン方向）に延びる一次元領域における、特定の境界が存在する座標を確率変数とする確率分布を出力する。

ただし、数学モデルが組織を識別するための確率分布を出力する具体的方法は、適宜変更できる。例えば、数学モデルは、二次元領域または三次元領域において、特定の組織（例えば特徴部位等）が存在する二次元座標または三次元座標を確率変数とする確率分布を、組織を識別するための確率分布として出力してもよい。また、数学モデルは、被検眼における複数の組織（例えば、複数の層および境界）の種類を確率変数とする確率分布を、入力された眼科画像の各領域毎（例えば画素毎）に出力してもよい。また、数学モデルに入力される眼科画像が動画像であってもよい。

また、他の機械学習アルゴリズムが用いられてもよい。例えば、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）が、機械学習アルゴリズムとして採用されてもよい。

数学モデルの構築が完了するまで（Ｓ４：ＮＯ）、Ｓ１～Ｓ３の処理が繰り返される。数学モデルの構築が完了すると（Ｓ４：ＹＥＳ）、数学モデル構築処理は終了する。構築された数学モデルを実現させるプログラムおよびデータは、眼科画像処理装置２１に組み込まれる。
（眼科画像処理）
図５から図１１を参照して、眼科画像処理装置２１が実行する眼科画像処理について説明する。眼科画像処理は、記憶装置２４に記憶された眼科画像処理プログラムに従って、ＣＰＵ２３によって実行される。

まず、ＣＰＵ２３は、被検眼の組織（本実施形態では眼底）の三次元断層画像を取得する（Ｓ１１）。三次元断層画像は、眼科画像撮影装置１１Ｂによって撮影されて、眼科画像処理装置２１によって取得される。前述したように、三次元断層画像は、互いに異なるスキャンライン上に測定光を走査させることで撮影された複数の二次元断層画像を組み合わせることで構成されている。なお、ＣＰＵ２３は、三次元断層画像を生成する基となる信号（例えばＯＣＴ信号）を眼科画像撮影装置１１Ｂから取得し、取得した信号に基づいて三次元断層画像を生成してもよい。

ＣＰＵ２３は、取得した三次元断層画像を構成する複数の二次元断層画像のうち、Ｔ番目（Ｔの初期値は「１」）の二次元断層画像を抽出する（Ｓ１２）。図６に、二次元断層画像４０の一例を示す。二次元断層画像４０には、被検眼の眼底における複数の境界が表れている。図６に示す例では、内境界膜（ＩＬＭ）である境界Ｂｉと、神経線維層（ＮＦＬ）と神経節細胞層（ＧＣＬ）の境界Ｂｇを含む複数の境界が表れている。また、二次元断層画像４０中に、複数の一次元領域Ａ１～ＡＮが設定される。本実施形態では、二次元断層画像４０中に設定される一次元領域Ａ１～ＡＮは、特定の境界（本実施形態では、境界Ｂｉと境界Ｂｇを含む複数の境界）に交差する軸に沿ってに延びる。詳細には、本実施形態の一次元領域Ａ１～ＡＮは、ＯＣＴ装置によって撮影された二次元断層画像４０を構成する複数（Ｎ本）のＡスキャンの各々の領域に一致する。

なお、複数の一次元領域を設定する方法を変更することも可能である。例えば、ＣＰＵ２３は、各々の一次元領域の軸と特定の境界の角度が極力垂直に近づくように、複数の一次元領域を設定してもよい。この場合、各々の一次元領域の位置および角度は、例えば、一般的な被検眼の組織（本実施形態では眼底）の形状に基づいて、角度が垂直に近づくように設定されてもよい。

ＣＰＵ２３は、数学モデルにＴ番目の二次元断層画像を入力することで、複数の一次元領域Ａ１～ＡＮの各々において、Ｍ番目（Ｍの初期値は「１」）の境界が存在する座標の確率分布を、組織を識別するための確率分布として取得する（Ｓ１４）。図７および図８に、一次元座標Ａ１から取得される、境界Ｂｉが存在する座標の確率分布を示すグラフの一例を示す。図７および図８に示す例では、一次元領域Ａ１の一次元座標を確率変数として、境界Ｂｉが存在する座標の確率分布が示されている。つまり、図７および図８に示す例では、横軸は確率変数、縦軸は前記確率変数の確率であり、前記確率変数は一次元領域Ａ１における境界Ｂｉの存在する座標である。Ｓ１４では、複数の一次元領域Ａ１～ＡＮの各々における確率分布が取得される。

図７に示す確率分布は、組織（詳細には、境界Ｂｉの近傍の組織）の構造の異常度が低い場合に出力される確率分布の一例である。構造の異常度が低い位置では、数学モデルによって組織が正確に識別され易いので、組織の位置の確率が偏り易い。図７に示すグラフによると、一次元領域Ａ１上の各点の中で、境界Ｂｉが存在する可能性が最も高い点が、点Ｐであると判断できる。数学モデルが正確に組織を識別した場合の確率分布（つまり、理想的な確率分布）は、一次元領域Ａ１上の１つの点でのみ１の値を取り、他の点では０となる。

一方で、図８に示す確率分布は、組織の構造の異常度が高い場合に出力される確率分布の一例である。図８に示すように、構造の異常度が高い位置では、確率分布が偏り難くなる。以上のように、組織の構造の異常度に応じて、組織を識別するための確率分布の偏りは変化する。

次いで、ＣＰＵ２３は、Ｍ番目の境界に関する、確率分布Ｐの乖離度を取得する（Ｓ１５）。乖離度とは、組織が正確に識別される場合の確率分布に対する、Ｓ１４で取得された確率分布Ｐの差である。本実施形態では、乖離度は、組織の構造の異常度を示す構造情報として取得される。本実施形態のＳ１５では、複数の一次元領域Ａ１～ＡＮについて取得された複数の確率分布Ｐの各々に対して乖離度が取得（算出）される。

本実施形態では、乖離度として、確率分布Ｐのエントロピーが算出される。エントロピーは、以下の（数２）で与えられる。エントロピーＨ（Ｐ）は、０≦Ｈ（Ｐ）≦ｌｏｇ（事象の数）の値を取り、確率分布Ｐが偏っている程小さな値になる。つまり、エントロピーＨ（Ｐ）が小さい程、組織の構造の異常度が低いことになる。組織が正確に識別される場合の確率分布のエントロピーは、０となる。また、組織の構造の異常度が増加し、組織の識別が困難になる程、エントロピーＨ（Ｐ）は増大する。従って、乖離度として確率分布ＰのエントロピーＨ（Ｐ）を用いることで、組織の構造の異常度が適切に定量化される。

Ｈ（Ｐ）＝－Σｐｌｏｇ（ｐ）・・・（数２）
ただし、エントロピー以外の値が乖離度として採用されてもよい。例えば、取得された確率分布Ｐの散布度を示す標準偏差、変動係数、分散等の少なくともいずれかが乖離度として使用されてもよい。確率分布Ｐ同士の差異を図る尺度であるＫＬダイバージェンス等が乖離度として使用されてもよい。また、取得された確率分布Ｐの最大値（例えば、図７および図８に例示する確率の最大値）が乖離度として使用されてもよい。また、取得された確率分布Ｐの最大値と、２番目に大きい値の差が乖離度として使用されてもよい。

次いで、ＣＰＵ２３は、Ｔ番目の二次元断層画像において検出対象とする、全ての境界の乖離度が取得されたか否かを判断する（Ｓ１６）。一部の境界の乖離度が取得されていなければ（Ｓ１６：ＮＯ）、境界の順番Ｍに「１」が加算されて（Ｓ１７）、処理はＳ１４に戻り、次の境界の乖離度が取得される（Ｓ１４，Ｓ１５）。全ての境界の乖離度が取得されると（Ｓ１６：ＹＥＳ）、ＣＰＵ２３は、Ｔ番目の二次元断層画像の乖離度を記憶装置２４に記憶させると共に、表示装置２８に表示させる（Ｓ１９）。ＣＰＵ２３は、Ｔ番目の二次元断層画像の構造異常度グラフを取得（本実施形態では生成）し、表示装置２８に表示させる（Ｓ２０）。

図９および図１０を参照して、構造異常度グラフ５２について説明する。図９は、構造の異常度が低い二次元断層画像５１Ａと、二次元断層画像５１Ａに関する構造異常度グラフ５２Ａと、二次元断層画像５１Ａに関する乖離度を示す乖離度表５３Ａとが表示された表示画面の一例である。また、図１０は、構造の異常度が高い二次元断層画像５１Ｂと、二次元断層画像５１Ｂに関する構造異常度グラフ５２Ｂと、二次元断層画像５１Ｂに関する乖離度を示す乖離度表５３Ｂとが表示された表示画面の一例である。

図９および図１０に示すように、二次元断層画像５１は、Ｘ方向（図面の左右方向）およびＺ方向（図面の上下方向）に広がる二次元の画像である。前述したように、乖離度は、眼科画像上でＺ方向に平行に延びる複数の軸（本実施形態では、複数のＡスキャン）毎に取得される。図９および図１０に示す構造異常度グラフ５２では、横軸をＸ軸とし、Ｘ方向の各々の位置における乖離度が縦軸に示されている。

一例として、本実施形態の構造異常度グラフ５２では、複数の境界の各々について取得された、複数の乖離度（本実施形態ではエントロピー）の平均値が、Ｘ方向の位置毎に示されている。しかし、１つの境界の乖離度が構造異常度グラフ５２によって示されてもよい。また、特定の複数の境界（例えば、ＩＰＬ／ＩＮＬの境界と、ＯＰＬ／ＯＮＬの境界）の平均値が、構造異常度グラフ５２によって示されてもよい。また、平均値の代わりに、平均値以外の各種統計値（例えば、中央値、最頻値、最大値、または最小値等）が用いられてもよい。

図９に示すように、Ｘ方向の全体で構造の異常度が低い場合には、構造異常度グラフ５２Ａによって示される乖離度が、Ｘ方向の全体で低い値となる。一方で、図１０に示すように、構造の異常度が高いＸ方向の位置では、構造異常度グラフ５２Ｂによって示される乖離度は高い値となる。以上のように、構造異常度グラフ５２によると、Ｘ方向のいずれの位置の異常度が高いかが、ユーザによって適切に把握される。

図９および図１０を参照して、乖離度の表示方法の一例について説明する。図９および図１０に示すように、本実施形態の乖離度表５３では、複数の境界毎に、取得された乖離度（本実施形態ではエントロピー）が表示される。従って、ユーザは、構造の異常度が高い境界を、定量化された値に基づいて適切に把握することができる。本実施形態の乖離度表５３で表示される乖離度は、複数の一次元領域（本実施形態ではＡスキャン）毎に取得された複数の乖離度の平均値である。また、本実施形態の乖離度表５３では、全ての境界に関する乖離度の平均値が表示される。従って、ユーザは、眼科画像に写っている組織中に、構造の異常度が高い部位があるか否かを、平均値によって容易に把握することができる。さらに、本実施形態の乖離度表５３では、全ての境界のうち、複数の特定の境界に関する乖離度の平均値が表示される。一例として、本実施形態では、疾患による影響で構造が崩れやすい境界（ＩＰＬ／ＩＮＬの境界と、ＯＰＬ／ＯＮＬの境界）の平均値が表示される。従って、ユーザは、疾患による構造異常が存在するか否かを容易に把握することができる。なお、前述したように、平均値以外の各種統計値が用いられてもよい。

次いで、ＣＰＵ２３は、三次元断層画像を構成する全ての二次元断層画像の乖離度が取得されたか否かを判断する（Ｓ２１）。一部の二次元断層画像の乖離度が取得されていなければ（Ｓ２１：ＮＯ）、二次元断層画像の順番Ｔに「１」が加算されて（Ｓ２２）、処理はＳ１２に戻り、次の二次元断層画像の乖離度が取得される（Ｓ１２～Ｓ２０）。全ての二次元断層画像の乖離度が取得されると（Ｓ２１：ＹＥＳ）、ＣＰＵ２３は、構造異常度マップを取得（本実施形態では生成）し、表示装置２８に表示させる（Ｓ２４）。

図１１を参照して、構造異常度マップについて説明する。構造異常度マップは、組織における乖離度の二次元分布を示す。本実施例において、構造異常度マップでは、組織（本実施形態では眼底）を正面から見た場合の、乖離度の二次元分布が示されている。ただし、二次元分布を示す方向は適宜変更されてもよい。既に、三次元断層画像を構成する複数の二次元断層画像の各々について乖離度が取得されており、これにより、組織の全体の乖離度が取得されている。ここでいう、組織の全体の乖離度は、本実施例においてはラベル３２Ａ～３２Ｆ（図４参照）と対応する第１～第６の層境界における乖離度とも言い換えられる。

本実施例では、一例として、ラベル３２Ａ～３２Ｆ（図４参照）とそれぞれ対応する第１～第６の層境界の構造異常度マップ５１Ａ～５１Ｆが、それぞれの層境界の乖離度に基づいて生成される。図１１は、表示装置２８における構造異常度マップ５１Ａ～５１Ｆの表示態様の一例を示している。

構造異常度マップ５１Ａ～５１Ｆは、各位置における乖離度を色や濃淡として表現したグラフであってもよい。このとき、構造異常度マップ５１Ａ～５１Ｆにおける各画素の階調値は、層境界の各位置における乖離度から変換される。例えば、図１１に示す構造異常度マップ５１Ａ～５１Ｆは、乖離度がグレースケールで示されている。ここで、本実施例では、乖離度（本実施例ではエントロピー）は０～１の範囲で算出されるので、０～１の範囲の各値が、例えば、０～２５５の階調値に変換され、マップ上で表現される。図１１に示す構造異常度マップ５１Ａ～５１Ｆは、乖離度が高い画素ほど、小さな階調値で（つまり、より高輝度に）表現されている。なお、図１１に示した構造異常度マップ５１Ａ～５１Ｆの間で、乖離度と階調値との対応関係は同一である。但し、構造異常度マップにおいて各位置の乖離度を示すための具体的な方法は、グレースケールに限られるものでは無く、カラーマップや、三次元マップなど、適宜変更できる。

図１１に一例として示した構造異常度マップ５１Ａ～５１Ｆは、深層側に剥離がある被検眼に対する処理結果である。構造異常度マップ５１Ａ～５１Ｆからは、複数のマップの中心部に乖離度の高い領域が、少なくとも第２層境界から第６層境界までの複数の構造異常度マップ５１Ｂ～５１Ｆにおいて表れていることが見て取れる。よって、ユーザは、複数の層に影響する構造の異常の可能性があることを、複数の構造異常度マップ５１Ａ～５１Ｆに基づいて、容易に把握できる。また、別の事例として、層境界毎に生成される複数の構造異常度マップのうち、少数のマップにしか乖離度の高い領域が表れていなければ、実施例と比較してより局所的な構造の異常の可能性を、ユーザに疑わせることができる。このように、複数の構造異常度マップの表示は、ユーザが構造的な異常の全容を速やかに把握するうえで有用である。

図１１に示すように、本実施例では、構造異常度マップ５１Ａ～５１Ｆと同時に、眼底の正面画像５２が表示される。本実施例では、正面画像５２の撮影範囲が、構造異常度マップ５１Ａ～５１Ｆと対応している。構造異常度マップ５１Ａ～５１Ｆ上で乖離度の高い箇所が、眼底上のどこに存在するかを、正面画像５２に照らしてユーザが確認できる。本実施例における正面画像５２は、例えば、ＯＣＴ正面画像であってもよい。このとき、ＯＣＴ正面画像の一種であるＭＣ正面画像であってもよい。ＭＣ正面画像では、血管が描写される。このため、例えば、構造異常度マップ５１Ａ～５１Ｆ上で異常度の高い領域が血管由来のものか否かを、容易にユーザに把握させやすい。

また、正面画像５２としてＯＣＴ正面画像が表示される場合、いずれかの境界に関するＯＣＴ正面画像が、正面画像５２として表示されてもよい。このとき、境界毎のＯＣＴ正面画像をユーザの操作に応じて選択可能であってもよい。例えば、いずれかの構造異常度マップ５１Ａ～５１Ｆに対する選択操作が入力されることで、選択されたマップと対応する境界に関してのＯＣＴ正面画像が、正面画像５２として表示されてもよい。所望の構造異常度マップと対応する層のＯＣＴ正面画像が同時に表示されることで、構造異常度マップにおいて乖離度の高い位置における、異常の有無を、ユーザが把握しやすい。

また、本実施例では、それぞれの構造異常度マップ５１Ａ～５１Ｆにおける、乖離度と階調値との対応関係を、マップ毎に個別に変更可能である。図１１では、乖離度と階調値との対応関係を変更するためのＧＵＩウィジェットの例として、スライダ５３Ａ～５３Ｆが、各構造異常度マップ５１Ａ～５１Ｆと隣接して設置されている。それぞれのスライダ５３Ａ～５３Ｆにおいて、つまみの位置が、個別の操作に基づいて変更され得る。それぞれの構造異常度マップ５１Ａ～５１Ｆにおいて、乖離度を階調値へ変換するときのガンマ値が、つまみの位置に応じて変更される。本実施例では、つまみの位置が左に移動されるほどガンマ値は減少され、つまみの位置が右に移動されるほどガンマ値は増大される。スライダ５３Ａ～５３Ｆを操作することで、事後的に構造異常度マッププ５１Ａ～５１Ｆにおける感度を変更できる。すなわち、ガンマ値が減少されるほどマップ上ではより高い乖離度の位置が強調される低感度なマップとなる。反対に、ガンマ値が増大されるほどより高感度なマップとなり、微妙な構造の異常をマップ上で目立たせることができる。なお、つまみの初期位置（つまり、ガンマ値の初期値）は、一定であってもよいし、三次元断層画像を構成する二次元断層画像のノイズレベルに基づいて決定されてもよい。

ここで、例えば、眼底には、中心窩、視神経乳頭、および、血管等の本来的に乖離度が高くなりやすい組織（以下、特定の組織という）が存在している。図１１に示した第１～第６の層境界の構造異常度マップ５１Ａ～５１Ｆのうち幾つかに、特定の組織の影響が目立って描写されている。特定の組織に基づく描写は、構造異常度マップ５１Ａ～５１Ｆから異常を把握するうえでのノイズとなってしまう可能性がある。このような場合、特定の組織に基づく描写が目立ったマップでは、ガンマ値を減少させて感度を下げることで、特定の組織に基づく描写をバックグラウンド側に近づけつつ、異常の可能性がある位置を明確化できる場合がある。また、例えば、図１１に示す第１の層境界の構造異常度マップ５１Ａのように、目立った異常部位が見られない場合に、ガンマ値を増大させて感度を高めることで、微妙な構造の異常がマップ上に浮かび上がる場合がある。

また、本実施例では、第１～第６の層境界の構造異常度マップ５１Ａ～５１Ｆのそれぞれにおける乖離度を階調値との対応関係が、ユーザによって選択される疾病の種別に応じて、マップ毎に変更される。この場合、この場合、疾病の種別と、境界毎の構造異常度マップにおけるガンマ値（本実施例において乖離度と階調値との対応関係を示情報）と、の関係は、ルックアップテーブルとして、記憶装置２４に予め記憶されていてもよい。本実施例では、ボックス５４を介して疾病の種別が選択される。ボックス５４を選択すると複数の疾病の名称が並んだプルダウンメニューが展開される。その中からいずれかが操作に基づいて選択されることによって、疾病の種別に応じたガンマ値が反映された構造異常度マップ５１Ａ～５１Ｆが、画面上に表示される。例えば、RVO（retinal vein occlusion; 網膜静脈閉塞症）では網膜全体の構造が大きく崩れるため、RVOが選択された場合は、それぞれの構造異常度マップ５１Ａ～５１Ｆの感度を標準時よりも低減させてもよい。これにより、RVOによる構造の異常の全容を、より把握しやすくなると考えられる。

また、上記のように疾患の種別が選択可能である場合、構造異常度マップ５１Ａ～５１Ｆのうちいずれか１つ以上を、選択された疾患の種別に応じて強調表示してもよい。例えば、CSC（ central serous chorioretinopathy; 中心性漿液性網脈絡膜症）が選択された場合、ＣＳＣの診断において重視されるＩＳ／ＯＳおよびＲＰＥ／ＢＭのそれぞれに対応するマップが強調されてもよい。このようにすることで、ユーザが確認すべき情報の量が、好適に抑制できる。なお、強調表示は種々の態様が考えられる。一例として、強調表示の対象となるマップの枠線が太線に変化することで強調されてもよい。

また、図１１に一例として示した、被検眼の乖離度の二次元分布による構造異常度マップ５１Ａ～５１Ｆは、中心窩付近に異常がある。図１１では、幾つかのマップ上において、中心窩付近における乖離度の高い範囲が中心窩のサイズに比べて明らかに広いため、容易に異常を疑うことが可能である。但し、仮に、異常の範囲が図１１の例に比べて狭く、中心窩と重なってしまっていた場合、中心窩は本来的に乖離度が高くなりやすい組織であるから、乖離度の二次元分布による構造異常度マップからは、構造の異常をユーザが把握しにくくなる可能性が考えられる。これに対し、乖離度の二次元分布による構造異常度マップの代わりに、被検眼の乖離度の二次元分布と正常眼における乖離度の二次元分布との差分マップを表示してもよい。正常眼における乖離度の二次元分布は、複数の正常眼の三次元ＯＣＴデータを集めて作成されてもよい。差分マップは、境界毎に生成されてもよい。差分マップでは、本来的に乖離度が高くなりやすい組織と異常とが重なっている場合に、構造的な異常をより的確に描写できる可能性がある。

また、ＣＰＵ２３は、眼科画像（本実施形態では三次元断層画像）に写っている組織の中に、乖離度が閾値以上の部位（以下、「異常部位」という）が存在する場合に、異常部位の断層画像（二次元断層画像および三次元断層画像の少なくともいずれか）または拡大画像を、表示装置２８に表示させる。図１１では、断層画像５５が示されている。詳細には、本実施形態のＣＰＵ２３は、三次元断層画像を構成する複数の二次元断層画像のうち、乖離度が最も高い断層画像、または、乖離度が閾値以上の断層画像を表示装置２８に表示させる。本実施例では、図１１に示すように、断層画像５５が、構造異常度マップ５１Ａ～５１Ｆと共に表示される。これによって、構造的な異常度マップ５１Ａ～５１Ｆにおける乖離度の高い領域の実際の構造を、ユーザが直ちに確認できる。更に、本実施例では、断層画像５５の取得位置を示すグラフィック５６が、構造異常度マップ５１Ａ～５１Ｆ上、および、正面画像５２上のいずれかに表示される。これにより、構造的な異常の可能性がある箇所を、ユーザが容易に把握できる。

なお、構造異常度マップ５１Ａ～５１Ｆと同時に表示される断層画像は、変更可能であってもよい。例えば、任意の取得位置での断層画像が表示されてもよい。また、構造の異常度が閾値以下の断層画像（例えば、図１１において符号５７で示したライン上で取得された断層画像）が、断層画像５５と共に、又は、切換えて、表示されてもよい。

また、層または層境界が識別されることで、断層画像において識別されたそれぞれの層または層境界が識別可能な態様で表示される場合がある。そこで、図１１に示した断層画像５５に対し、それぞれの層または層境界を識別するための識別情報が付与されてもよい。例えば、断層画像５５における第１～第６の層境界の位置に、層境界を強調する線が重畳されてもよい。また、更に、断層画像５５における第１～第６の層境界とそれぞれ対応付けられた、テキストが表示されてもよい。

＜再撮影＞
これらの処理は、眼科画像撮影装置１１Ｂが眼科画像処理を実行している場合にも同様に実行できる。また、例えば、図１１の表示態様で、複数の構造異常度マップ５１Ａ～５１Ｆが確認画面上に表示されてもよい。

制御部は、構造異常度マップ上で構造の異常度が閾値以上の部位を、撮影する撮影指示を眼科画像撮影装置に出力する処理を実行してもよい。また、制御部は、構造の異常度が閾値以上の部位の断層画像または拡大画像を表示装置に表示させる処理を実行してもよい。この場合、構造の異常度が高い部位の画像が、適切にユーザによって確認される。

なお、制御部は、構造の異常度が閾値以上の部位を撮影する撮影指示を出力する場合に、構造の異常度が閾値以上の部位の断層画像を、より高画質に撮影する指示を出力してもよい。例えば、より高解像な断層画像を取得する指示を出力してもよい。また、構造の異常度が閾値以上の部位の断層画像を複数回撮影し、撮影された複数の断層画像の加算平均画像を取得する指示を出力してもよい。この場合、構造の異常度が高い部位の眼科画像が、高画質で取得される。

「変容例」
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。

＜経過観察＞
同一の被検眼について異なる日時に撮影された眼科画像に基づく構造異常度マップ（以下、時系列の複数の構造異常度マップという）を用いて、経過観察のための表示が、眼科画像処理装置２３によって行われてもよい。例えば、時系列の複数の構造異常度マップには、層毎にまたは境界毎に生成された複数の構造異常度マップが含まれていてもよく、それぞれの層毎にまたは境界毎に、時系列の複数の構造異常度マップが表示されてもよい。あわせて、層毎または境界毎の異常度の変化を示すトレンドグラフが表示されてもよい。

このとき、時系列の２つの構造異常度マップによる差分マップが生成され、表示されてもよい。構造の異常度の増減の二次元分布が、差分マップとして表示されてもよい。差分マップによって、位置毎の構造の異常度の時間変化を、ユーザが容易に確認することができる。

＜層毎の構造異常度マップの中から、疾患の種別に応じた一つ以上を選択的に表示＞
上記実施例では、三次元断層画像から生成された層または境界毎の複数の構造異常度マップのすべてが、同時に表示装置上に表示される表示態様を示した。しかし、構造異常度マップの表示態様は、必ずしもこれに限られるものではない。例えば、三次元断層画像から生成される複数の構造異常度マップのうち、疾患の種別に応じた１つ以上の構造異常度マップが、選択的に表示されてもよい。このとき、疾患の種別に応じた構造異常度マップは、２つ以上であってもよく、この場合、疾患の種別に応じた２つ以上の構造異常度マップは、同時に表示されてもよい。このようにすることで、ユーザが確認すべき情報を好適に抑制できる。

＜構造異常度マップを利用した疾患の種別の検索・識別＞
上記実施例では、疾患の種別は、ボックス５４を介して、ユーザによって手動で選択された。しかし、必ずしもこれに限られるものでは無く、自動的に選択（分類）されてもよい。例えば、自動診断の結果として、疾患の種別を示す情報が取得されてもよい。このとき、構造異常度マップに基づいて自動診断が実行されてもよい。例えば、被検眼の疾患に関する自動診断結果を出力する数学モデルに構造異常度マップを入力することで、疾患の種別を示す情報が取得されてもよい。数学モデルは、構造異常度マップと、各構造異常度マップの正解データとなる診断結果（例えば、疾患の種別）と、を教師データとして、学習されていてもよい。構造異常度マップは、三次元断層画像の構造異常のみを抽出したマップ（構造異常に着目して効率よく圧縮された情報）なので、三次元断層画像そのものに基づいて自動診断結果を得ようとする場合と比べ、より構造異常に着目した結果が得られると考えられる。また、三次元断層画像と比べて構造異常度マップは情報が圧縮されているので、構造異常度マップを利用するほうが、より高速に、自動診断結果を取得できる。従って、上記の実施形態および実施例のように、層毎または境界毎に生成された複数の構造異常度マップのうち、選択表示あるいは強調表示するマップを特定する目的にとどまらず、被検眼の自動診断そのものに、構造異常度マップを利用してもよい。

また、画像診断の分野では、被検者の画像をもとに類似症例を検索する技術が知られている。類似症例検索データベースに検索クエリを入力することで、検索クエリに応じた類似症例データが得られる。類似症例データとしては、類似症例における眼科画像そのもの、類似症例に対する診断結果、および、類似症例における経過観察の結果等のうち少なくともいずれかであってもよい。このような類似症例検索における検索クエリとして、構造異常度マップが利用されてもよい。構造異常度マップを検索クエリとして利用された場合は、三次元断層画像を検索クエリとして入力する場合よりも高速に、類似症例を得ることができると考えられる。

１１Ａ，１１Ｂ 眼科画像撮影装置
１３Ａ，１３Ｂ ＣＰＵ
２１ 眼科画像処理装置
２３ ＣＰＵ
２４ 記憶装置
２８ 表示装置
３０ 訓練用眼科画像
３１ 訓練用データ
４０，５１ 二次元断層画像
５２ 構造異常度グラフ
５３ 乖離度表
５１Ａ～５１Ｆ 構造異常度マップ

Claims (10)

1. 被検眼の眼科画像を処理する眼科画像処理装置であって、
   前記眼科画像処理装置の制御部は、
   被検眼における複数の断層面の断層画像を含む眼科画像を取得し、
   機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記断層画像における複数の組織に含まれる、２つ以上の組織を識別するための確率分布を取得し、
   前記組織における構造の異常度の二次元分布を表す構造異常度マップを、前記確率分布に基づいて２つ以上の組織毎に生成し、
   ２つ以上の組織毎に生成された２つ以上の前記構造異常度マップを表示装置上に同時に並べて表示させる眼科画像処理装置。
2. 請求項１記載の眼科画像処理装置であって、
   前記構造異常度マップにおける各画素の階調値と構造の異常度との対応関係が組織毎に変更可能、あるいは、前記対応関係が組織に応じて異なる眼科画像処理装置。
3. 請求項２記載の眼科画像処理装置であって、
   前記制御部は、疾病の種別を選択し、選択された疾病の種別に応じて組織毎の前記対応関係を設定する眼科画像処理装置。
4. 請求項２記載の眼科画像処理装置であって、
   前記制御部は、前記眼科画像におけるノイズレベルに応じて組織毎の前記対応関係を設定する眼科画像処理装置。
5. 請求項１～４のいずれかに記載の眼科画像処理装置であって、
   前記制御部は、
   前記構造異常度マップと対応する被検眼の正面画像を更に取得し、
   前記２つ以上の前記構造異常度マップと共に前記正面画像を表示装置に表示させる眼科画像処理装置。
6. 請求項５記載の眼科画像処理装置であって、
   前記制御部は、前記正面画像として血管の分布を示した画像を取得し、
   前記複数の構造異常度マップと共に、前記構造異常度マップのうち少なくとも１つと同一の組織についての前記正面画像を、同時に表示する眼科画像処理装置。
7. 請求項１から６の何れかの眼科画像処理装置であって、
   前記制御部は、被検眼について取得された前記確率分布と層または層境界が正確に識別される場合の前記確率分布との乖離度に基づいて、構造の異常度の二次元分布を表す構造異常度マップを生成する眼科画像処理装置。
8. 請求項７記載の眼科画像処理装置であって、
   前記制御部は、前記乖離度と、正常眼における乖離度と、の差分を構造の異常度とする前記構造異常度マップを生成する眼科画像処理装置。
9. 請求項１～８に記載の眼科画像処理装置であって、
   前記数学モデルは、入力側を過去に撮影された被検眼における複数の断層面の断層画像を含む眼科画像とし、且つ、出力側を前記入力側の前記断層画像における層または層境界を示すデータとする訓練データセットを用いて訓練されていることを特徴とする眼科画像処理装置。
10. 被検眼の眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
    前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
    眼科画像撮影装置によって撮影された眼科画像として、被検眼における複数の断層面の断層画像を含む眼科画像を取得する画像取得ステップと、
    機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記断層画像における複数の組織に含まれる、２つ以上の組織を識別するための確率分布を取得する取得ステップと、
    前記組織における構造の異常度の二次元分布を表す構造異常度マップを、前記確率分布に基づいて２つ以上の組織毎に生成する構造異常度マップ生成ステップと、
    ２つ以上の組織毎に生成された２つ以上の前記構造異常度マップを表示装置上に同時に並べて表示させる表示ステップと、
    を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。
    

Images