JP2020121038A - 眼科画像処理装置、および眼科画像処理プログラム - Google Patents

Abstract

【課題】被検眼に対する解析結果を適切にユーザに提示することが可能な眼科画像処理装置および眼科画像処理プログラムを提供する。【解決手段】眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに眼科画像を入力することで、被検眼の疾患または構造に対する解析結果を複数取得する。制御部は、数学モデルに入力された眼科画像の画像領域を変数とする、数学モデルによる解析に関する重みの分布を示す補足マップを、複数の解析結果の各々について取得する。制御部は、複数の補足マップを同一の領域内で統合させた統合マップを生成し、表示部に表示させる。【選択図】図１１

Description

本開示は、被検眼の眼科画像を処理する眼科画像処理装置、および、眼科画像処理装置において実行される眼科画像処理プログラムに関する。

近年、機械学習アルゴリズムによって訓練された数学モデルを用いて、種々の医療情報を取得する技術が提案されている。例えば、特許文献１に記載の眼科装置では、機械学習アルゴリズムによって訓練された数学モデルに眼形状パラメータが入力されることで、被検眼のＩＯＬ関連情報（例えば、予想術後前房深度）が取得される。取得されたＩＯＬ関連情報に基づいて、ＩＯＬ度数が算出される。

特開２０１８−５１２２３号公報

機械学習アルゴリズムによって訓練された数学モデルに眼科画像を入力することで、被検眼における疾患および構造の少なくともいずれかに対する解析結果を取得することも考えられる。ここで、１つの眼科画像から、複数の疾患または構造の各々に対する解析結果を取得することも可能である。この場合、複数の解析結果を適切にユーザに提示しなければ、ユーザは、複数の解析結果を効率よく把握することは困難である。

本開示の典型的な目的は、被検眼に対する解析結果を適切にユーザに提示することが可能な眼科画像処理装置および眼科画像処理プログラムを提供することである。

本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を取得し、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記被検眼の疾患または構造に対する解析結果を複数取得し、前記数学モデルに入力された前記眼科画像の画像領域を変数とする、前記数学モデルによる前記解析に関する重みの分布を示す補足マップを、複数の前記解析結果の各々について取得し、複数の前記補足マップを同一の領域内で統合させた統合マップを生成し、表示部に表示させる。

本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記被検眼の疾患または構造に対する解析結果を複数取得する解析結果取得ステップと、前記数学モデルに入力された前記眼科画像の画像領域を変数とする、前記数学モデルによる前記解析に関する重みの分布を示す補足マップを、複数の前記解析結果の各々について取得する補足マップ取得ステップと、複数の前記補足マップを同一の領域内で統合させた統合マップを生成し、表示部に表示させる統合マップ表示ステップと、を前記眼科画像処理装置に実行させる。

本開示に係る眼科画像処理装置および眼科画像処理プログラムによると、被検眼に対する解析結果が適切にユーザに提示される。

数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂの概略構成を示すブロック図である。 加齢黄斑変性の疾患を有する眼底の正面画像の一例を示す図である。 糖尿病網膜症の疾患を有する眼底の正面画像の一例を示す図である。 図２に示す眼科画像３０Ａに対して自動解析が行われた場合の、補足マップ４０Ａの一例を示す図である。 図３に示す眼科画像３０Ｂに対して自動解析が行われた場合の、補足マップ４０Ｂの一例を示す図である。 数学モデル構築装置１が実行する数学モデル構築処理のフローチャートである。 眼科画像処理装置２１が実行する確認用画像表示処理のフローチャートである。 補足マップ４０Ｂに基づいて領域４６Ａ，４６Ｂ，４８を設定する方法の一例を説明するための説明図である。 眼科画像３０Ｂ、補足マップ４０Ｂ、および確認用画像５０を表示している状態の、表示装置２８の表示画面の一例を示す図である。 眼科画像処理装置２１が実行する統合マップ表示処理のフローチャートである。 ２つの補足マップ４０Ａ，４０Ｂを統合して統合マップ６０を生成する方法の一例を説明するための説明図である。 眼科画像３０上に統合マップ６０が重畳された状態の一例を示す図である。

＜概要＞
本開示で例示する眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに眼科画像を入力することで、被検眼の疾患または構造に対する解析結果を複数取得する。制御部は、数学モデルに入力された眼科画像の画像領域（つまり、領域における座標）を変数とする、数学モデルによる解析に関する重みの分布を示す補足マップを、複数の解析結果の各々について取得する。制御部は、複数の補足マップを同一の領域内で統合させた統合マップを生成し、表示部に表示させる。

この場合、ユーザは、複数の自動的な解析の各々に関する重みの分布を、１つの統合マップによって容易に把握することができる。従って、各々の疾患または構造に関する状態が、より適切に把握される。

なお、数学モデルに入力される眼科画像は、１つであってもよいし、複数であってもよい。複数の眼科画像が数学モデルに入力される場合、複数の眼科画像は、同一の装置によって撮影された画像であってもよいし、異なる装置によって撮影された画像であってもよい。また、数学モデルに入力される眼科画像の次元は特に限定されない。眼科画像は、静止画であってもよいし、動画であってもよい。

補足マップは、数学モデルが解析結果を出力する際に影響した影響度（注目度）の分布を示すマップ（「アテンションマップ」と言われる場合もある）であってもよい。この場合、数学モデルによる複数の自動解析の各々に影響した影響度が、統合マップによって適切に把握される。

また、補足マップは、数学モデルによる自動解析の確信度の分布を示すマップ（以下、「確信度マップ」という場合もある）であってもよい。この場合、数学モデルによる複数の自動解析の各々における確信度の分布が、適切に統合マップに表れる。

なお、「確信度」とは、解析の確実性の高さであってもよいし、確実性の低さ（不確信度）の逆数であってもよい。また、例えば不確信度がｘ％で表される場合、確信度は、（１００−ｘ）％で表される値であってもよい。また、「確信度」は、数学モデルが解析を行う際の自信の度合いを示す。確信度と解析結果の正確性は、比例するとは限らない。

確信度マップの具体的な内容は適宜選択できる。例えば、確信度には、数学モデルによる自動的な解析における確率分布のエントロピー（平均情報量）が含まれていてもよい。エントロピーは、不確実性、乱雑さ、無秩序の度合いを表す。自動的な解析における確信度が最大値となる場合、確率分布のエントロピーは０となる。また、確信度が低下する程、エントロピーは増大する。従って、確信度として確率分布のエントロピーが用いられることで、確信度マップが適切に生成される。また、エントロピー以外の値が確信度として採用されてもよい。例えば、自動的な解析における確率分布の散布度を示す標準偏差、変動係数、分散等の少なくともいずれかが確信度として用いられてもよい。確率分布同士の差異を図る尺度であるＫＬダイバージェンス等が、確信度として用いられてもよい。確率分布の最大値が確信度として用いられてもよい。また、自動的な解析によって複数の疾患等の順位付けを行う場合には、１位の確率、または、１位の確率とそれ以外の順位の確率（例えば、２位、または２位以下の複数の確率の合計等）の差等が、確信度として使用されてもよい。

制御部は、補足マップ毎に表示態様を変えて複数の補足マップを統合させることで、統合マップを生成してもよい。この場合、ユーザは、表示態様の違いによって、統合マップに統合された各々の補足マップを適切に把握することができる。

なお、補足マップ毎に変える表示態様は、例えば、重み（影響度または確信度等）を示す色、等高線の種類、等高線の太さ等の少なくともいずれかであってもよい。

重み（例えば、影響度または確信度等）を色によって示す場合、制御部は、色の濃さによって重みの大きさを示してもよい。この場合、ユーザは、各領域の色の濃さによって、重みの大きさを領域毎に適切に把握することができる。

制御部は、被検眼の眼科画像に統合マップを重畳させて表示させてもよい。この場合、ユーザは、複数種類の重みの分布を、被検眼の組織の分布と容易に対比させることができる。よって、ユーザは、より適切に診断等の業務を行うことができる。

ただし、統合マップの表示方法を変更することも可能である。例えば、制御部は、被検眼の眼科画像と統合マップを並べて表示部に表示させてもよい。この場合、制御部は、眼科画像の画像範囲と統合マップの画像範囲を一致させて表示させてもよい。画像範囲を一致させる場合には、重みの分布と、組織の分布の対比がより容易になる。また、制御部は、統合マップのみを表示部に表示させてもよい。

制御部は、ユーザによって入力された指示に応じて、被検眼の眼科画像に対する統合マップの重畳表示と重畳の非表示の切り替え、および、眼科画像に重畳表示させる統合マップの透過度の変更の少なくともいずれかを実行してもよい。この場合、ユーザは、複数種類の重みの分布と、被検眼の組織の分布の比較をより適切に実行することができる。また、ユーザは、統合マップの重畳表示を消去させることで、被検眼の組織のみを確認することも可能である。

なお、制御部は、機械学習アルゴリズムによって訓練された数学モデルを利用せずに、眼科画像に基づいて解析結果を取得する場合でも、解析結果に付随する補足分布情報を取得することが可能である。この場合、眼科画像処理装置は以下のように表現することも可能である。被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を取得し、前記眼科画像に基づいて、前記被検眼の疾患または構造に対する解析結果を複数取得し、前記眼科画像の画像領域を変数とする、前記解析に関する重みの分布を示す補足マップを、複数の前記解析結果の各々について取得し、複数の前記補足マップを同一の領域内で統合させた統合マップを生成し、表示部に表示させる。

＜実施形態＞
（装置構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された眼科画像に基づいて、被検眼における特定の疾患および特定の構造の少なくともいずれかに対する解析結果を出力する。眼科画像処理装置２１は、数学モデルを用いて解析結果を取得すると共に、自動解析における特定の確認項目に対する、入力画像の領域（座標）を変数とする重みの分布（例えば、自動解析に影響した影響度の分布、および自動解析の確信度の分布の少なくともいずれか）を示す補足分布情報（詳細は後述する）を取得する。眼科画像処理装置２１は、補足分布情報に基づいて、ユーザ（例えば医師等）の業務を補助するための各種情報を生成し、ユーザに提示する。眼科画像撮影装置１１Ａ，１１Ｂは、被検眼の組織の画像である眼科画像を撮影する。

一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、眼科画像撮影装置１１Ａから取得した被検眼の眼科画像（以下、「訓練用眼科画像」という）のデータと、訓練用眼科画像が撮影された被検眼の疾患および構造の少なくともいずれかを示すデータとを利用して、数学モデルを訓練させる。その結果、数学モデルが構築される。ただし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。

また、本実施形態の眼科画像処理装置２１にはＰＣが用いられる。しかし、眼科画像処理装置２１として機能できるデバイスも、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ｂまたはサーバ等が、眼科画像処理装置２１として機能してもよい。眼科画像撮影装置１１Ｂが眼科画像処理装置２１として機能する場合、眼科画像撮影装置１１Ｂは、眼科画像を撮影しつつ、撮影した眼科画像から解析結果および補足分布情報を取得することができる。また、眼科画像撮影装置１１Ｂは，取得した補足分布情報に基づいて、被検眼における適切な部位を撮影することもできる。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置２１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。

また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。

数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、眼科画像処理装置２１または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、後述する数学モデル構築処理（図２参照）を実行するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、眼科画像撮影装置１１Ａおよび眼科画像処理装置２１等）と接続する。

数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。

数学モデル構築装置１は、眼科画像撮影装置１１Ａから眼科画像のデータ（以下、単に「眼科画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ａから眼科画像のデータを取得してもよい。

眼科画像処理装置２１について説明する。眼科画像処理装置２１は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼科画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する眼科画像処理（図７に示す確認用画像表示処理、および、図１０に示す統合マップ表示処理）を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、眼科画像処理装置２１を他のデバイス（例えば、眼科画像撮影装置１１Ｂおよび数学モデル構築装置１等）と接続する。

眼科画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。

眼科画像処理装置２１は、眼科画像撮影装置１１Ｂから眼科画像を取得することができる。眼科画像処理装置２１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ｂから眼科画像を取得してもよい。また、眼科画像処理装置２１は、数学モデル構築装置１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。

眼科画像撮影装置１１Ａ，１１Ｂについて説明する。一例として、本実施形態では、数学モデル構築装置１に眼科画像を提供する眼科画像撮影装置１１Ａと、眼科画像処理装置２１に眼科画像を提供する眼科画像撮影装置１１Ｂが使用される場合について説明する。しかし、使用される眼科画像撮影装置の数は２つに限定されない。例えば、数学モデル構築装置１および眼科画像処理装置２１は、複数の眼科画像撮影装置から眼科画像を取得してもよい。また、数学モデル構築装置１および眼科画像処理装置２１は、共通する１つの眼科画像撮影装置から眼科画像を取得してもよい。

また、本実施形態では、眼科画像撮影装置１１（１１Ａ，１１Ｂ）として、ＯＣＴ装置を例示する。ただし、ＯＣＴ装置以外の眼科画像撮影装置（例えば、レーザ走査型検眼装置（ＳＬＯ）、眼底カメラ、シャインプルーフカメラ、または角膜内皮細胞撮影装置（ＣＥＭ）等）が用いられてもよい。

眼科画像撮影装置１１（１１Ａ，１１Ｂ）は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、眼科画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。

眼科画像撮影部１６は、被検眼の眼科画像を撮影するために必要な各種構成を備える。本実施形態の眼科画像撮影部１６には、ＯＣＴ光源、ＯＣＴ光源から出射されたＯＣＴ光を測定光と参照光に分岐する分岐光学素子、測定光を走査するための走査部、測定光を被検眼に照射するための光学系、被検眼の組織によって反射された光と参照光の合成光を受光する受光素子等が含まれる。

眼科画像撮影装置１１は、被検眼の眼底の二次元断層画像および三次元断層画像を撮影することができる。詳細には、ＣＰＵ１３は、スキャンライン上にＯＣＴ光（測定光）を走査させることで、スキャンラインに交差する断面の二次元断層画像を撮影する。二次元断層画像は、同一部位の複数の断層画像に対して加算平均処理を行うことで生成された加算平均画像であってもよい。また、ＣＰＵ１３は、ＯＣＴ光を二次元的に走査することによって、組織における三次元断層画像を撮影することができる。例えば、ＣＰＵ１３は、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数の二次元断層画像を取得する。次いで、ＣＰＵ１３は、撮影された複数の二次元断層画像を組み合わせることで、三次元断層画像を取得する。さらに、本実施形態の眼科画像撮影装置１１は、被検眼の眼底を正面（測定光の光軸に沿うＺ方向）から見た場合の二次元正面画像を撮影することもできる。二次元正面画像のデータは、例えば、Ｚ方向に交差するＸＹ方向の各位置で深さ方向に輝度値が積算された積算画像データ、ＸＹ方向の各位置でのスペクトルデータの積算値、ある一定の深さにおけるＸＹ方向の各位置での輝度データ、網膜のいずれかの層（例えば、網膜表層）におけるＸＹ方向の各位置での輝度データ等であってもよい。

（自動解析）
図２および図３を参照して、眼科画像処理装置２１が実行する自動解析の一例について説明する。前述したように、眼科画像処理装置２１は、被検眼の疾患および構造の少なくともいずれかに対する自動解析を、数学モデルを用いて実行する。一例として、本実施形態では、被検眼の疾患の自動解析（つまり、自動診断）を実行する場合について説明する。自動解析の対象とする疾患の種類は適宜選択できる。本実施形態の眼科画像処理装置２１は、数学モデルに眼科画像を入力することで、加齢黄斑変性および糖尿病網膜症を含む複数の疾患の各々の有無を自動的に解析することができる。

図２は、加齢黄斑変性の疾患を有する眼底の正面画像の一例を示す。図２に例示する眼科画像３０Ａでは、眼底における視神経乳頭３１、黄斑３２、および眼底血管３３に加えて、加齢黄斑変性による病変部３５が黄斑３２の近傍に表れている。数学モデルは、図２に例示する眼科画像３０Ａのデータ（入力用訓練データ）と、眼科画像３０Ａが撮影された被検眼の疾患が加齢黄斑変性である旨のデータ（出力用訓練データ）によって、予め訓練されている。従って、図２に近似する眼科画像が数学モデルに入力されると、被検眼が加齢黄斑変性の疾患を有する可能性が高いことを示す自動解析結果が出力される。

図３は、糖尿病網膜症の疾患を有する眼底の正面画像の一例を示す。図３に例示する眼科画像３０Ｂでは、眼底における視神経乳頭３１、黄斑３２、および眼底血管３３に加えて、糖尿病網膜症による病変部３６が眼底血管３３の近傍に表れている。数学モデルは、図３に例示する眼科画像３０Ｂのデータ（入力用訓練データ）と、眼科画像３０Ｂが撮影された被検眼の疾患が糖尿病網膜症である旨のデータ（出力用訓練データ）によって、予め訓練されている。従って、図３に近似する眼科画像が数学モデルに入力されると、被検眼が糖尿病網膜症の疾患を有する可能性が高いことを示す自動解析結果が出力される。

なお、本実施形態の数学モデルによると、１つの眼科画像に対して複数の疾患の自動解析が実行される。従って、発症している可能性が高い疾患として、複数の疾患（例えば、加齢黄斑変性と糖尿病網膜症）が自動的に解析される場合もある。

なお、眼科画像処理装置２１は、疾患の自動解析の代わりに、または疾患の自動解析と共に、被検眼の構造（例えば、眼底の層、黄斑、視神経乳頭、および眼底血管等の少なくともいずれか）の自動解析を行ってもよい。詳細には、眼科画像処理装置２１は、眼底の断層画像（二次元断層画像および三次元断層画像の少なくともいずれか）を数学モデルに入力することで、被検眼の眼底における特定の層、または特定の層の境界を自動的に解析してもよい。また、眼科画像処理装置２１は、眼底の正面画像または断層画像を数学モデルに入力することで、被検眼の組織（例えば、黄斑および視神経乳頭等の少なくともいずれか）の構造を自動的に解析してもよい。また、眼科画像処理装置２１は、眼底の正面画像または断層画像を数学モデルに入力することで、被検眼の眼底血管を自動的に解析してもよい。この場合、眼科画像処理装置２１は、被検眼の眼底における動脈と静脈を自動的に解析してもよい。

（補足分布情報）
図４および図５を参照して、補足分布情報の一例について説明する。本実施形態では、数学モデルに入力される眼科画像は二次元の画像である。従って、補足分布情報も、二次元の情報（マップ）となる。しかし、例えば三次元の眼科画像が数学モデルに入力されてもよい。この場合、補足分布情報は三次元の情報となる。

本実施形態では、補足分布情報（補足マップ）として、アテンションマップおよび確信度マップの少なくともいずれかが用いられる。

アテンションマップでは、数学モデルが自動解析結果を出力する際に影響した各位置に対する影響度（注目度）の、画像領域内における分布である。影響度が高い領域は、影響度の低い領域に比べて、自動解析結果に強く影響する。アテンションマップの一例は、例えば以下の論文等に記載されている。「Ｒａｍｐｒａｓａａｔｈ Ｒ． Ｓｅｌｖａｒａｊｕ， ｅｔ ａｌ． “Ｇｒａｄ−ＣＡＭ： Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｆｒｏｍ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｖｉａ Ｇｒａｄｉｅｎｔ−ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２０１７−Ｏｃｔ， ｐｐ． ６１８−６２６」

確信度マップでは、数学モデルが自動解析を実行する際の、各画素における自動解析の確信度の、画像領域内における分布である。確信度は、自動解析の確実性の高さであってもよいし、確実性の低さ（不確信度）の逆数等であってもよい。また、例えば不確信度がｘ％で表される場合、確信度は（１００−ｘ）％で表される値であってもよい。一例として、本実施形態では、自動解析における確率分布のエントロピー（平均情報量）が確信度として用いられる。自動解析における確信度が最大値となる場合、確率分布のエントロピーは０となる。また、確信度が低下する程、エントロピーは増大する。従って、例えば、確率分布のエントロピーの逆数等が確信度として用いられることで、確信度マップが適切に生成される。ただし、確率分布のエントロピー以外の情報（例えば、確率分布の標準偏差、変動係数、分散等）が、確信度マップの生成に利用されてもよい。自動解析における確率分布が確信度として利用される場合、確率分布は、画素毎の自動解析の確率分布であってもよいし、一次元以上の座標を確率変数とする確率分布であってもよい。また、自動解析によって何らかの順位付けを行う場合には、１位の確率、または、１位の確率とそれ以外の順位の確率（例えば、２位、または２位以下の複数の確率の合計等）の差等が、確信度として利用されてもよい。

図４は、図２に示す眼科画像３０Ａに対して数学モデルに基づく自動解析が行われた場合の、補足マップ４０Ａの一例を示す図である。図４では、眼科画像３０Ａ（図２参照）の画像領域と補足マップ４０Ａの領域の対比を容易にするために、眼科画像３０Ａにおける眼底血管３３等の組織が点線で模式的に示されている。図４に示す補足マップ４０Ａでは、加齢黄斑変性の可能性が高いことを示す自動解析結果に関する、各位置における重み（本実施形態では、影響度または確信度）の大きさが、色の濃さによって表されている。つまり、色が濃い部分は、色が薄い部分に比べて、自動解析結果に関する影響度または確信度が大きい部分となる。（図４および図５では、便宜上、色の濃さを図形の線の太さで表現している。）図４に示す例では、病変部３５（図２参照）における影響度または確信度が大きくなっている。また、病変部３５内の中心の影響度または確信度は、病変部３５内の周辺部の影響度または確信度よりも大きくなっている。

図５は、図３に示す眼科画像３０Ｂに対して数学モデルに基づく自動解析が行われた場合の、補足マップ４０Ｂの一例を示す図である。図５でも図４と同様に、眼科画像３０Ｂ（図３参照）における眼底血管等の組織が点線で模式的に示されている。図５に示す補足マップ４０Ｂでは、糖尿病網膜症の可能性が高いことを示す自動解析結果に関する、各位置における影響度または確信度の大きさが、色の濃さによって表されている。色が濃い部分は、自動解析結果に対する影響度または確信度が大きい。図５に示す例でも、病変部３６（図３参照）における影響度または確信度が大きくなっている。

本実施形態の補足マップ４０Ａ，４０Ｂでは、自動解析の対象とする疾患または構造に応じて、影響度または確信度の表示態様が変えられる。本実施形態では、影響度または確信度を示す色が、自動解析の対象とする疾患または構造に応じて変えられる。ただし、補足マップの具体的な態様を変更することも可能である。例えば、影響度または確信度の大きさが等しい位置を線で結ぶことで等高線を生成することで、影響度または確信度の大きさを示してもよい。この場合、自動解析の対象とする疾患または構造に応じて、等高線を構成する線の色、線種、線の太さ等の少なくともいずれかを変えてもよい。

また、本実施形態では、眼科画像が数学モデルに入力されると、数学モデルは、眼科画像に対する自動解析結果と、自動解析に付随する補足分布情報（本実施形態では補足マップ）を共に出力する。しかし、補足分布情報を生成する方法を変更することも可能である。例えば、眼科画像処理装置２１のＣＰＵ２３が、数学モデルによって出力された自動解析結果に基づいて補足分布情報を生成してもよい。

また、本実施形態では、被検眼の疾患の自動解析を実行する場合について例示している。しかし、被検眼の構造の自動解析を実行する場合にも、前述した補足分布情報と同様の補足分布情報を生成することが可能である。例えば、被検眼の眼底における動脈と静脈を自動的に解析する場合には、動脈である旨の自動解析結果に対する補足分布情報と、静脈である旨の自動解析結果に対する補足分布情報が生成されてもよい。この場合、眼底血管のうち、動脈および静脈の自動解析の確信度が小さい部位については、確信度が小さい血管であることを示す表示態様で補足分布情報が生成されてもよい。

（数学モデル構築処理）
図６を参照して、数学モデル構築装置１が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置４に記憶された数学モデル構築プログラムに従って、ＣＰＵ３によって実行される。数学モデル構築処理では、訓練データセットによって数学モデルが訓練されることで、被検眼の疾患または構造に対する自動解析を行うための数学モデルが構築される。訓練データセットには、入力側のデータ（入力用訓練データ）と出力側のデータ（出力用訓練データ）が含まれる。

図６に示すように、ＣＰＵ３は、眼科画像撮影装置１１Ａによって撮影された眼科画像である訓練用眼科画像のデータを、入力用訓練データとして取得する（Ｓ１）。本実施形態では、訓練用眼科画像のデータは、眼科画像撮影装置１１Ａによって生成された後、数学モデル構築装置１によって取得される。しかし、ＣＰＵ３は、訓練用眼科画像を生成する基となる信号（例えばＯＣＴ信号）を眼科画像撮影装置１１Ａから取得し、取得した信号に基づいて訓練用眼科画像を生成することで、訓練用眼科画像のデータを取得してもよい。

なお、本実施形態のＳ１では、ＯＣＴ装置である眼科画像撮影装置１１Ａによって撮影された眼底の二次元正面画像（所謂Ｅｎｆａｃｅ画像）が、訓練用眼科画像として取得される。しかし、訓練用眼科画像は、ＯＣＴ装置以外の装置（例えば、ＳＬＯ装置、眼底カメラ、赤外カメラ、角膜内皮細胞撮影装置等の少なくともいずれか）によって撮影されてもよい。また、訓練用眼科画像は、眼底の二次元正面画像に限定されない。例えば、二次元断層画像または三次元断層画像等が、訓練用眼科画像として取得されてもよい。訓練用眼科画像として動画像が取得されてもよい。

次いで、ＣＰＵ３は、訓練用眼科画像が撮影された被検眼の、疾患および構造の少なくともいずれか（本実施形態では疾患）を示すデータを、出力用訓練データとして取得する（Ｓ２）。一例として、本実施形態では、作業者（例えば医師等）が訓練用眼科画像を確認して疾患の診断を行い、疾患が存在する場合に疾患の種類を操作部７の操作によって数学モデル構築装置１に入力することで、出力用訓練データが生成される。出力用訓練データでは、疾患の有無、および疾患の種類のデータに加えて、病変部の位置を示すデータが含まれていてもよい。

なお、出力用訓練データを変更することも可能である。例えば、数学モデルによって被検眼の構造の自動解析を実行する場合には、訓練用眼科画像のうち、特定の構造の位置（例えば、層の位置、境界の位置、特定の組織の位置等の少なくともいずれか）を示すデータが、出力用訓練データとして使用されてもよい。

次いで、ＣＰＵ３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行する（Ｓ３）。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。

ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。

ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。

ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。

ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。

数学モデルは、例えば、入力データ（本実施形態では、訓練用眼科画像と同様の二次元正面画像のデータ）と、出力データ（本実施形態では、疾患に関する自動解析結果のデータ）の関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。前述したように、訓練データセットは、入力用訓練データと出力用訓練データのセットである。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。また、本実施形態の数学モデルは、自動解析結果と共に、自動解析に付随する補足分布情報（本実施形態では補足マップ）を出力するように訓練される。

本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したい自動解析結果のデータを生成するための出力層と、入力層と出力層の間の１つ以上の隠れ層を含む。各層には、複数のノード（ユニットとも言われる）が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）が用いられている。

なお、他の機械学習アルゴリズムが用いられてもよい。例えば、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）が、機械学習アルゴリズムとして採用されてもよい。

数学モデルの構築が完了するまで（Ｓ４：ＮＯ）、Ｓ１〜Ｓ３の処理が繰り返される。つまり、疾患を有する被検眼の訓練データセット（例えば、図２および図３参照）と、疾患を有さない被検眼の訓練データセットを含む多数の訓練データセットによって、数学モデルは繰り返し訓練される。数学モデルの構築が完了すると（Ｓ４：ＹＥＳ）、数学モデル構築処理は終了する。構築された数学モデルを実現させるプログラムおよびデータは、眼科画像処理装置２１に組み込まれる。

（確認用画像表示処理）
図７から図９を参照して、眼科画像処理装置２１が実行する確認用画像表示処理について説明する。確認用画像とは、ユーザが直接確認することが有効な可能性が高い画像である。本実施形態では、確認用画像は補足分布情報に基づいて自動的に取得される。確認用画像表示処理は、記憶装置２１に記憶された眼科画像処理プログラムに従って、ＣＰＵ２３によって実行される。

まず、ＣＰＵ２３は、被検眼の眼科画像を取得する（Ｓ１１）。Ｓ１１で取得される眼科画像の種類は、前述した数学モデル構築処理（図６参照）において入力用訓練データとして使用される眼科画像と同様の眼科画像であることが望ましい。一例として、本実施形態のＳ１１では、被検眼の眼底の二次元正面画像が取得される。なお、ＣＰＵ２３は、眼科画像を生成する基となる信号（例えばＯＣＴ信号）を眼科画像撮影装置１１Ｂから取得し、取得した信号に基づいて眼科画像を生成してもよい。

ＣＰＵ２３は、取得した眼科画像を数学モデルに入力することで、数学モデルによって出力される自動解析結果を取得する（Ｓ１２）。前述したように、本実施形態では、特定の複数の疾患の各々についての自動解析結果が、数学モデルによって出力される。

ＣＰＵ２３は、Ｓ１２における自動解析に付随する補足分布情報を取得する（Ｓ１３）。前述したように、本実施形態では、アテンションマップおよび確信度マップの少なくともいずれかが、補足分布情報（補足マップ）として取得される。また、本実施形態では、数学モデルが自動解析結果と補足分布情報を共に出力する。しかし、ＣＰＵ２３が、自動解析結果に基づいて補足分布情報を生成してもよい。

次いで、ＣＰＵ２３は、補足分布情報に基づいて、Ｓ１１において取得された眼科画像の画像領域内の一部に注目領域を設定する（Ｓ１６）。詳細には、本実施形態の眼科画像処理装置２１は、補足分布情報として確信度マップが取得されている場合に、確信度が小さい部位（つまり、本実施形態では、特定の疾患である旨の自動解析の確実性が低いと思われる部位）の画像を、表示装置２８に表示させることができる。この場合、ユーザは、特定の自動解析の確信度が小さい部位の状態を、表示される確認用画像によって自ら確認することができる。また、本実施形態の眼科画像処理装置２１は、補足分布情報が示す重み（影響度および確信度の少なくともいずれか）が大きい部位の画像を、表示装置２８に表示させることができる。この場合、ユーザは、重みが大きい重要な部位の状態（つまり、本実施形態では、特定の疾患である可能性が高いと判定された部位の状態）を、確認用画像によって適切に確認することができる。ユーザは、操作部２７を操作することで、確信度が小さい部位の表示指示と、影響度または確信度が大きい部位の表示指示のいずれかを、眼科画像処理装置２１に入力することができる。

確信度が小さい部位の表示指示が入力されている場合、ＣＰＵ２３は、補足分布情報（詳細には確信度マップ）が示す確信度が閾値以下の領域に、注目領域を設定する（Ｓ１６）。つまり、ＣＰＵ２３は、特定の疾患または構造（本実施形態では特定の疾患）である旨の自動解析の確信度が閾値以下の領域に、注目領域を設定する。

注目領域を設定するための具体的な処理内容は適宜選択できる。一例として、本実施形態のＣＰＵ２３は、図８に示すように、特定の疾患または構造である旨の自動解析の確信度が第１閾値以上である連続した領域を、別個に抽出する。図８に示す例では、確信度が第１閾値以上である２つの領域４６Ａ，４６Ｂが抽出される。次いで、ＣＰＵ２３は、抽出した領域内における確信度の最大値が第２閾値以下（第２閾値＞第１閾値）である領域に、注目領域を設定する。図８に示す例では、領域４６Ａでは、確信度の最大値が第２閾値よりも大きいので、特定の疾患である旨の自動解析の確実性が高いと考えられる。一方で、領域４６Ｂでは、確信度の最大値が第２閾値以下であり、特定の疾患である旨の自動解析の確実性が低いと考えられる。従って、図８に示す例では、２つの領域４６Ａ，４６Ｂのうち、確信度の最大値が第２閾値以下である領域４６Ｂに、注目領域４８が設定される。この場合、特定の疾患の可能性があると自動的に解析された領域４６Ａ，４６Ｂのうち、自動解析の確実性が低い領域のみが、注目領域に設定される。

なお、注目領域を設定するための処理内容を変更することも可能である。例えば、ＣＰＵ２３は、確信度が前述した第１閾値以上であり、且つ第２閾値以下である領域の全てを、注目領域として設定してもよい。第１閾値は、０よりも大きい値であれば、各種条件に応じて適宜設定することが可能である。

また、重み（本実施形態では影響度または確信度）が大きい部位の表示指示が入力されている場合、ＣＰＵ２３は、補足分布情報（詳細には、アテンションマップおよび確信度マップの少なくともいずれか）が示す重みが最も大きい位置を含む領域に、注目領域を設定する（Ｓ１６）。例えば、図８に示す例では、影響度または確信度が最も大きい位置は、領域４６Ａ内に存在する。従って、ＣＰＵ２３は、領域４６Ａを注目領域に設定する。なお、重みが大きい部位の表示指示が入力されている場合にも、Ｓ１６における処理内容を変更することは可能である。例えば、ＣＰＵ２３は、重み（影響度または確信度）が閾値以上である領域に注目領域を設定してもよい。また、ＣＰＵ２３は、重みが他の領域よりも相対的に大きい領域に、注目領域を設定してもよい。また、領域内の重みの累積値が最も高くなるように、特定の大きさの注目領域が設定されてもよい。２つ以上の注目領域が設定されてもよい。

次いで、ＣＰＵ２３は、被検眼の組織のうち、注目領域を含む組織の画像を、確認用画像として取得する（Ｓ１８）。一例として、本実施形態のＣＰＵ２３は、被検眼の組織のうち、注目領域を通過する部位の断層画像を、確認用画像として取得する。

図９は、眼科画像３０Ｂ、補足マップ４０Ｂ、および確認用画像５０を表示している状態の、表示装置２８の表示画面の一例を示す図である。図９に示す例では、数学モデルに入力された眼科画像３０Ｂに対して、補足マップ４０Ｂが、領域を合致させた状態で重畳表示されている。従って、ユーザは、自動解析に付随する重みの分布を、眼科画像３０Ｂ上で適切に確認することができる。

また、図９に示す例では、ＣＰＵ２３は、二次元の注目領域４８上に、断層画像の取得位置を示すライン４９を設定し、表示装置２８に表示させる。図９に示す例では、直線状の１本のライン４９が、注目領域４８を横切るように設定されている。しかし、ラインは直線状でなくてもよい。また、複数のラインが設定されてもよい。また、ラインの代わりに、断層画像の取得位置を示す二次元の領域が設定されてもよい。ＣＰＵ２３は、設定したラインを組織の深さ方向に横断する断面の二次元断層画像５０を取得し、表示装置２８に表示させる。また、断層画像の取得位置を示す二次元の領域が設定されている場合、ＣＰＵ２３は、設定された二次元の領域から組織の深さ方向に延びる三次元断層画像を取得し、表示装置２８に表示させる。なお、ＣＰＵ２３は、眼科画像撮影装置１１Ｂによって予め撮影された二次元断層画像または三次元断層画像から、設定したラインまたは領域に対応する断層画像を取得してもよい。また、ＣＰＵ２３は、設定したラインまたは領域に対応する断層画像を撮影させる指示を、眼科画像撮影装置１１Ｂに出力してもよい。

なお、本実施形態のＳ１６では、補足分布情報に基づいて、注目領域が自動的に設定される。しかし、ユーザによって入力された指示に基づいて注目領域が設定されてもよい。例えば、ＣＰＵ２３は、図９に示すように、補足マップ４０Ｂを表示装置２８に表示させた状態で、補足マップ４０Ｂ上で注目領域をユーザに指定させてもよい。ＣＰＵ２３は、眼科画像３０Ｂの画像領域のうち、補足マップ４０Ｂ上でユーザによって指定された領域に対応する領域に、注目領域を設定してもよい。

また、本実施形態のＣＰＵ２３は、断層画像以外の画像を確認用画像として表示させることも可能である。例えば、ＣＰＵ２３は、被検眼の組織を撮影した眼科画像から、注目領域を含む画像領域を、確認用画像として抽出することができる。この場合、確認用画像が抽出される基の眼科画像は、数学モデルに入力される眼科画像３０Ａ，３０Ｂと同一の画像であってもよいし、異なる画像であってもよい。確認用画像が抽出される基の眼科画像は、二次元の画像であってもよいし、三次元の画像であってもよい。

また、ＣＰＵ２３は、被検眼の組織を撮影した眼科画像に対し、注目領域を含む画像領域の画質を、他の領域の画質よりも高くして、表示装置２８に表示させることもできる。また、ＣＰＵ２３は、被検眼の組織を撮影した眼科画像のうち、注目領域を含む画像領域を拡大させて、表示装置２８に表示させることもできる。また、ＣＰＵ２３は、注目領域以外の領域をマスクした状態で、眼科画像を表示装置２８に表示させてもよい。

次いで、ＣＰＵ２３は、確認用画像の表示指示がユーザによって入力されているか否かを判断する（Ｓ２０）。本実施形態では、ユーザは、表示装置２８における確認用画像の表示または非表示を選択する指示を、操作部２７を介して入力することができる。表示指示が入力されている場合（Ｓ２０：ＹＥＳ）、ＣＰＵ２３は、確認用画像を表示装置２８に表示させる。一方で、非表示の指示が入力されている場合（Ｓ２０：ＮＯ）、ＣＰＵ２３は、確認用画像を非表示とする（Ｓ２２）。処理を終了させる指示が入力されるまで（Ｓ２３：ＮＯ）、Ｓ２０〜Ｓ２３の処理が繰り返される。終了指示が入力されると（Ｓ２３：ＹＥＳ）、確認用画像表示処理は終了する。

なお、図８および図９では、複数の疾患および構造のうちの１つである糖尿病網膜症の自動解析結果のみが出力された場合について例示した。しかし、前述したように、本実施形態の数学モデルによると、１つの眼科画像に対して複数の疾患の自動解析が実行される。複数の疾患または構造に対する自動解析結果が出力された場合、確認用画像を表示させる処理は、１つの自動解析結果に対して実行されてもよいし、複数の自動解析結果の各々に対して実行されてもよい。また、複数の自動解析結果のうち、ユーザによって選択された自動解析結果に対して、確認用画像を表示させる処理が実行されてもよい。

（統合マップ表示処理）
図１０から図１２を参照して、眼科画像処理装置２１が実行する統合マップ表示処理について説明する。統合マップとは、複数の自動解析結果の各々に付随する複数の補足マップを統合することで生成されるマップである。統合マップによると、複数の自動解析結果の各々に関する重み（本実施形態では影響度または確信度）の分布が、容易に把握される。統合マップ表示処理は、記憶装置２１に記憶された眼科画像処理プログラムに従って、ＣＰＵ２３によって実行される。

まず、ＣＰＵ２３は、被検眼の眼科画像を取得する（Ｓ３１）。Ｓ３１の処理には、前述したＳ１１の処理（図７参照）と同様の処理を採用できる。次いで、ＣＰＵ２３は、取得した眼科画像を数学モデルに入力することで、複数の疾患および構造の各々に対する複数の自動解析結果を取得する（Ｓ３２）。前述したように、本実施形態では、特定の複数の疾患の各々についての自動解析結果が、数学モデルによって出力される。

ＣＰＵ２３は、Ｓ３２における複数の自動解析の各々に付随する複数の補足マップを取得する（Ｓ３３）。前述したように、本実施形態では、アテンションマップおよび確信度マップの少なくともいずれかが、補足マップとして取得される。

ＣＰＵ２３は、Ｓ３３で取得された複数の補足マップを同一の領域内で統合させることで、統合マップを生成する（Ｓ３４）。図１１は、２つの補足マップ４０Ａ，４０Ｂ（図４および図５参照）を統合して統合マップ６０を生成する方法の一例を説明する説明図である。ＣＰＵ２３は、複数の補足マップ（図１１に示す例では、２つの補足マップ４０Ａ，４０Ｂ）を同一の領域内で統合させることで、１つの統合マップ６０を生成する。詳細には、本実施形態のＣＰＵ２３は、補足マップ４０Ａ，４０Ｂ毎に表示態様を変えて、複数の補足マップ４０Ａ，４０Ｂを統合させる。図１１に示す例では、ＣＰＵ２３は、影響度または確信度を示す色を、補足マップ４０Ａ，４０Ｂ毎に変えている。しかし、ＣＰＵ２３は、色以外の表示態様を補足マップ毎に変えてもよい。

次いで、ＣＰＵ２３は、統合マップ６０を眼科画像３０上に重畳表示させる指示が入力されているか否かを判断する（Ｓ３６）。本実施形態では、ユーザは、眼科画像３０上に統合マップ６０を重畳させるか否かを選択する指示を、操作部２７を介して入力することができる。重畳表示させる指示が入力されていなければ（Ｓ３６：ＮＯ）、ＣＰＵ２３は、眼科画像３０上への統合マップ６０の重畳表示を非表示とする（Ｓ３７）。重畳表示させる指示が入力されている場合（Ｓ３６：ＹＥＳ）、ＣＰＵ２３は、図１２に示すように、統合マップ６０を被検眼の眼科画像３０上に重畳させて表示させる（Ｓ３８）。従って、ユーザは、複数種類の影響度または確信度の分布を、被検眼の組織の分布と容易に対比させることができる。

次いで、ＣＰＵ２３は、眼科画像３０に重畳表示させる統合マップ６０の透過度の変更指示が入力されたか否かを判断する（Ｓ３９）。本実施形態では、ユーザは、操作部２７を操作することで、統合マップ６０の透過度を指定することができる。透過度の変更指示が入力されている場合（Ｓ３９：ＹＥＳ）、ＣＰＵ２３は、眼科画像３０上に重畳表示されている統合マップ６０の透過度を、指示された透過度に変更する（Ｓ４０）。従って、ユーザは、複数種類の重み（影響度または確信度）の分布と、被検眼の組織の分布の比較をより適切に実行することができる。処理を終了させる指示が入力されるまで（Ｓ４２：ＮＯ）、Ｓ３６〜Ｓ４２の処理が繰り返される。終了指示が入力されると（Ｓ４２：ＹＥＳ）、統合マップ表示処理は終了する。

上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。例えば、上記実施形態では、複数の疾患の各々に対する自動解析を実行する場合について例示している。しかし、被検眼における複数の構造の各々に対する自動解析を実行する場合にも、前述した処理と同様の処理を実行することが可能である。例えば、被検眼の眼底における動脈と静脈を自動的に解析する場合には、動脈である旨の自動解析結果に関する補足マップと、静脈である旨の自動解析結果に関する補足マップを統合させて、統合マップを生成してもよい。この場合、動脈および静脈の解析の確実性が高い部分と低い部分が、統合マップによって容易に把握される。

また、上記実施形態では、２次元の補足マップおよび統合マップが表示装置２８に表示される。しかし、ＣＰＵ２３は、三次元の補足マップを取得して表示装置２８に表示させてもよい。また、ＣＰＵ２３は、複数の三次元の補足マップを統合させて、三次元の統合マップを生成し、表示装置２８に表示させてもよい。

また、上記実施形態では、特定の疾患および特定の構造の少なくともいずれかに対する解析結果を取得するために、機械学習アルゴリズムによって訓練された数学モデルが利用される。しかし、ＣＰＵ２３は、機械学習アルゴリズムによって訓練された数学モデルを利用せずに、眼科画像に基づいて解析結果を自動的に取得する場合でも、自動解析に付随する補足分布情報を取得することは可能である。この場合でも、ＣＰＵ２３は、上記実施形態と同様に、補足分布情報に基づいて注目領域を設定し、注目領域を含む組織の画像を表示装置２８に表示させてもよい。また、ＣＰＵ２３は、機械学習アルゴリズムを利用せずに複数の自動解析結果を取得する際に、複数の自動解析の各々に付随する複数の補足マップを取得し、複数の補足マップを統合させた統合マップを生成してもよい。

なお、図７のＳ１１および図１０のＳ３１で眼科画像を取得する処理は、「画像取得ステップ」の一例である。図７のＳ１２および図１０のＳ３２で自動解析結果を取得する処理は、「解析結果取得ステップ」の一例である。図７のＳ１３および図１０のＳ３３で補足分布情報（補足マップ）を取得する処理は、補足分布情報取得ステップおよび補足マップ取得ステップの一例である。図７のＳ１６で注目領域を設定する処理は、「注目領域設定ステップ」の一例である。図７のＳ２１で確認用画像を表示させる処理は、「表示ステップ」の一例である。図１０のＳ３４およびＳ３８で統合マップを生成して表示させる処理は、「統合マップ表示ステップ」の一例である。

１ 数学モデル構築装置
１１ 眼科画像撮影装置
２１ 眼科画像処理装置
２３ ＣＰＵ
２４ 記憶装置
２８ 表示装置
３０Ａ，３０Ｂ 眼科画像
４０Ａ，４０Ｂ 補足マップ
４８ 注目領域

Claims (7)

1. 被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
   前記眼科画像処理装置の制御部は、
   眼科画像撮影装置によって撮影された眼科画像を取得し、
   機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記被検眼の疾患または構造に対する解析結果を複数取得し、
   前記数学モデルに入力された前記眼科画像の画像領域を変数とする、前記数学モデルによる前記解析に関する重みの分布を示す補足マップを、複数の前記解析結果の各々について取得し、
   複数の前記補足マップを同一の領域内で統合させた統合マップを生成し、表示部に表示させることを特徴とする眼科画像処理装置。
2. 請求項１に記載の眼科画像処理装置であって、
   前記補足マップは、前記数学モデルが前記解析結果を出力する際に影響した影響度の分布を示すマップであることを特徴とする眼科画像処理装置。
3. 請求項１に記載の眼科画像処理装置であって、
   前記補足マップは、前記数学モデルによる前記解析の確信度の分布を示すマップであることを特徴とする眼科画像処理装置。
4. 請求項１から３のいずれかに記載の眼科画像処理装置であって、
   前記制御部は、前記補足マップ毎に表示態様を変えて、前記複数の補足マップを統合させることで、前記統合マップを生成することを特徴とする眼科画像処理装置。
5. 請求項１から４のいずれかに記載の眼科画像処理装置であって、
   前記制御部は、前記被検眼の眼科画像に前記統合マップを重畳させて表示させることを特徴とする眼科画像処理装置。
6. 請求項５に記載の眼科画像処理装置であって、
   前記制御部は、ユーザによって入力された指示に応じて、前記被検眼の眼科画像に対する前記統合マップの重畳表示と重畳の非表示の切り替え、および、前記眼科画像に重畳表示させる前記統合マップの透過度の変更の少なくともいずれかを実行することを特徴とする眼科画像処理装置。
7. 被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
   前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
   眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、
   機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記被検眼の疾患または構造に対する解析結果を複数取得する解析結果取得ステップと、
   前記数学モデルに入力された前記眼科画像の画像領域を変数とする、前記数学モデルによる前記解析に関する重みの分布を示す補足マップを、複数の前記解析結果の各々について取得する補足マップ取得ステップと、
   複数の前記補足マップを同一の領域内で統合させた統合マップを生成し、表示部に表示させる統合マップ表示ステップと、
   を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。
   
   

Images