JP2020127767A - 眼科画像処理装置、およびｏｃｔ装置 - Google Patents

Abstract

【課題】高画質の眼科画像を適切に取得するための眼科画像処理装置、ＯＣＴ装置、眼科画像処理プログラム、および、数学モデル構築方法を提供する。【解決手段】眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像または加算平均画像３１を、基画像として取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに基画像を入力することで、基画像よりも高画質の目的画像を取得する。数学モデルは、入力用訓練データおよび出力用訓練データによって訓練されている。入力用訓練データには、組織の同一部位を撮影した複数の訓練用眼科画像３００Ａ〜３００Ｘのうち、Ｌ枚の訓練用眼科画像に基づくデータが使用される。出力用訓練データには、Ｈ枚（Ｈ＞Ｌ）の訓練用眼科画像を加算平均した加算平均画像３１のデータが使用される。【選択図】図３

Description

本開示は、被検眼の眼科画像を処理する眼科画像処理装置、ＯＣＴ装置、眼科画像処理装置において実行される眼科画像処理プログラム、および、眼科画像処理装置によって用いられる数学モデルを構築する数学モデル構築方法に関する。

従来、高画質の画像を取得するための種々の技術が提案されている。例えば、特許文献１に記載の眼科撮影装置は、複数の断層画像を加算平均処理し、スペックルノイズを抑制することで、高画質の断層画像を取得する。

特開２０１５−９１０８号公報

複数の画像を加算平均処理する技術では、ノイズの影響を抑制する精度を高めようとする程、同一部位が多数繰り返し撮影される必要がある。よって、加算する画像の枚数に比例して撮影時間が増加するという問題があった。

本開示の典型的な目的は、高画質の眼科画像を適切に取得するための眼科画像処理装置、ＯＣＴ装置、眼科画像処理プログラム、および、数学モデル構築方法を提供することである。

本開示における典型的な実施形態が提供する眼科画像処理装置の第１態様は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像は、ＯＣＴ装置によって同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が演算処理されることで取得されるモーションコントラスト画像であるＯＣＴアンジオ画像であり、前記眼科画像処理装置の制御部は、前記ＯＣＴ装置によって撮影されたＯＣＴアンジオ画像、または、前記ＯＣＴ装置によって組織の同一部位を撮影した複数のＯＣＴアンジオ画像を加算平均した加算平均画像を、基画像として取得し、機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質のＯＣＴアンジオ画像である目的画像を取得し、前記目的画像を表示させることが可能なタイミングが到来した際に、前記タイミングに応じて予め設定されている、表示装置に表示させる画像の種類に応じて、前記目的画像および前記基画像の少なくとも一方を前記表示装置に表示させ、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されている。
本開示における典型的な実施形態が提供する眼科画像処理装置の第２態様は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像は、ＯＣＴ装置によって同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が演算処理されることで取得されるモーションコントラスト画像であるＯＣＴアンジオ画像であり、前記眼科画像処理装置の制御部は、前記ＯＣＴ装置によって撮影されたＯＣＴアンジオ画像、または、前記ＯＣＴ装置によって組織の同一部位を撮影した複数のＯＣＴアンジオ画像を加算平均した加算平均画像を、基画像として取得し、機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質のＯＣＴアンジオ画像である目的画像を取得し、前記目的画像の撮影範囲に含まれる組織中の、ユーザによって指定された位置の二次元断層画像を抽出して表示装置に表示させ、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されている。

本開示における典型的な実施形態が提供するＯＣＴ装置の第１態様は、参照光と、被検眼の組織に照射された測定光の反射光とによるＯＣＴ信号を処理することで、前記組織の眼科画像を撮影するＯＣＴ装置であって、前記眼科画像は、同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が演算処理されることで取得されるモーションコントラスト画像であるＯＣＴアンジオ画像であり、前記ＯＣＴ装置の制御部は、撮影した前記組織のＯＣＴアンジオ画像、または、前記組織の同一部位を撮影した複数のＯＣＴアンジオ画像を加算平均した加算平均画像を、基画像として取得し、機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質のＯＣＴアンジオ画像である目的画像を取得し、前記目的画像を表示させることが可能なタイミングが到来した際に、前記タイミングに応じて予め設定されている、表示装置に表示させる画像の種類に応じて、前記目的画像および前記基画像の少なくとも一方を前記表示装置に表示させ、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されている。
本開示における典型的な実施形態が提供するＯＣＴ装置の第２態様は、参照光と、被検眼の組織に照射された測定光の反射光とによるＯＣＴ信号を処理することで、前記組織の眼科画像を撮影するＯＣＴ装置であって、前記眼科画像は、同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が演算処理されることで取得されるモーションコントラスト画像であるＯＣＴアンジオ画像であり、前記ＯＣＴ装置の制御部は、撮影した前記組織のＯＣＴアンジオ画像、または、前記組織の同一部位を撮影した複数のＯＣＴアンジオ画像を加算平均した加算平均画像を、基画像として取得し、機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質のＯＣＴアンジオ画像である目的画像を取得し、前記目的画像の撮影範囲に含まれる組織中の、ユーザによって指定された位置の二次元断層画像を抽出して表示装置に表示させ、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されている。

本開示に係る眼科画像処理装置、およびＯＣＴ装置によると、高画質の眼科画像が適切に取得される。

本開示で例示する眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像、または、眼科画像撮影装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに基画像を入力することで、基画像よりも高品質の目的画像を取得する。数学モデルは、入力用訓練データと出力用訓練データのセットである訓練データセットによって訓練されている。組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の訓練用眼科画像に基づくデータが、入力用訓練データとされる。また、複数の訓練用眼科画像のうち、Ｈ枚（Ｈ＞Ｌ）の訓練用眼科画像を加算平均した加算平均画像のデータが、出力用訓練データ（正解データと言われる場合もある）とされる。換言すると、Ｈは、入力用訓練データに使用される訓練用眼科画像の枚数よりも大きい数である。

つまり、数学モデルを構築する数学モデル構築装置は、画像セット取得ステップと訓練ステップを実行する。画像セット取得ステップでは、被検眼の組織の同一部位を撮影した複数の訓練用眼科画像が取得される。訓練ステップでは、複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の訓練用眼科画像に基づくデータが入力用訓練データとされ、且つ、Ｈ枚（Ｈ＞Ｌ）の訓練用眼科画像の加算平均画像のデータが出力用訓練データとされて数学モデルが訓練されることで、数学モデルが構築される。

この場合、構築された数学モデルは、少ない枚数の眼科画像、または、少ない枚数の眼科画像の加算平均画像が基画像として入力された場合でも、多数の眼科画像を加算平均した画像と同程度にノイズの影響が抑制された目的画像を出力することができる。従って、基画像を撮影する際の撮影時間を短縮することが容易である。また、従来の画像処理でも、加算平均処理を行わずにノイズの影響を抑制することは可能ではあった。しかし、従来の画像処理では、微弱な信号とノイズを区別することができずに、本来ならば必要である微弱な信号が消去されてしまう場合があった。これに対し、本開示で例示する数学モデルは、ノイズ以外の影響で画像の信号が微弱となった部分が消去されていない目的画像を、基画像に基づいて出力することができる。よって、高品質の眼科画像が適切に取得される。

なお、訓練データセットの入力用訓練データとして用いるデータ（つまり、「Ｌ枚の訓練用眼科画像に基づくデータ」）は、撮影された眼科画像そのもの（つまり、加算平均されていない原画像）のデータあってもよいし、複数の眼科画像を加算平均した加算平均画像のデータであってもよい。原画像のデータと加算平均画像のデータが共に入力用訓練データとして用いられてもよい。入力用訓練データが原画像のデータである場合には、数学モデルに入力される基画像も、加算平均されていない原画像であることが望ましい。また、入力用訓練データが加算平均画像のデータである場合には、基画像も加算平均画像であることが望ましい。また、入力用訓練データに使用される画像（原画像および加算平均画像の少なくともいずれか）の数は、１枚であってもよいし、複数枚（例えば、２枚〜５枚程度）であってもよい。また、出力用訓練データとして用いる加算平均画像を生成する際に使用する訓練用眼科画像の枚数Ｈは、少なくとも、入力用訓練データに使用される訓練用眼科画像の枚数よりも多い。例えば、入力用訓練データとしてＬ枚の原画像が使用される場合には、Ｈ＞Ｌとなる。また、入力用訓練データとして、Ｌ´枚の画像を加算平均した画像が使用される場合には、Ｈ＞Ｌ´となる。なお、基画像に使用する眼科画像の枚数は、Ｈ枚よりも少ない枚数となる。

眼科画像は、ＯＣＴ装置によって撮影された被検眼の組織の二次元断層画像であってもよい。眼科画像処理装置の制御部は、被検眼の組織のうち、互いに異なる複数の位置の各々を撮影した複数の基画像を取得してもよい。制御部は、複数の基画像の各々を数学モデルに入力することで、複数の位置の各々の目的画像を取得してもよい。制御部は、複数の目的画像に基づいて、組織の三次元断層画像、および、組織を正面（つまり、被検眼の視線方向）から見た場合の二次元正面画像の少なくともいずれかを生成してもよい。つまり、眼科画像撮影装置は、複数の目的画像に基づいて組織の三次元断層画像を生成する三次元断層画像生成ステップ、および、複数の目的画像に基づいて組織の二次元正面画像を生成する正面画像生成ステップの少なくともいずれかを実行してもよい。この場合、多数の二次元断層画像が撮影されることなく、ノイズの影響が抑制された組織の三次元断層画像または二次元正面画像が適切に生成される。

二次元正面画像は、所謂「Ｅｎｆａｃｅ画像」であってもよい。Ｅｎｆａｃｅ画像のデータは、例えば、ＸＹ方向の各位置で深さ方向（Ｚ方向）に輝度値が積算された積算画像データ、ＸＹ方向の各位置でのスペクトルデータの積算値、ある一定の深さ方向におけるＸＹ方向の各位置での輝度データ、網膜のいずれかの層（例えば、網膜表層）におけるＸＹ方向の各位置での輝度データ等であってもよい。

眼科画像は、ＯＣＴ装置によって撮影された被検眼の眼底の二次元断層画像であってもよい。眼科画像処理装置の制御部は、二次元断層画像である目的画像に対して解析処理を行うことで、眼底に含まれる複数の層の少なくともいずれかを識別してもよい。つまり、眼科画像処理装置は、取得した目的画像から眼底の層を識別するセグメンテーションステップを実行してもよい。この場合、多数の二次元断層画像が撮影されることなく、ノイズの影響が抑制されたセグメンテーション結果が適切に取得される。

なお、眼科画像として、二次元断層画像以外の画像を用いることも可能である。例えば、眼科画像は、二次元断層画像でなく、組織（例えば眼底）を正面（つまり、被検眼の視線方向）から撮影した二次元正面画像であってもよい。この場合、二次元正面画像は、ＯＣＴアンジオ画像であってもよい。ＯＣＴアンジオ画像は、例えば、同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が処理されることで取得されるモーションコントラスト画像であってもよい。また、レーザ走査型検眼装置（ＳＬＯ）によって、被検眼の眼底の自発蛍光（ＦＡＦ）を撮影した画像（以下、「ＦＡＦ画像」という）が、眼科画像として用いられてもよい。ＯＣＴアンジオ画像およびＦＡＦ画像も、ＯＣＴ二次元断層画像と同様に、複数の画像の加算平均処理を行うことによってノイズの影響が適切に抑制される。また、眼科画像の撮影部位は、例えば、被検眼の眼底であってもよいし、前眼部であってもよい。以上のように、本開示における眼科画像には、複数の画像の加算平均処理によってノイズの影響を抑制可能な種々の画像を用いることができる。

また、眼科画像処理装置の制御部は、層を識別するセグメンテーション処理とは異なる解析処理を目的画像に対して実行してもよい。例えば、制御部は、血管が写っている眼底の正面画像（例えば、前述したＯＣＴアンジオ画像等）を目的画像として取得し、取得した目的画像に対して、眼底の血管密度を解析する処理を実行してもよい。また、制御部は、複数の目的画像に基づいて生成した画像（例えば、前述した三次元断層画像またはＥｎｆａｃｅ画像等）に対して解析処理を行ってもよい。

眼科画像処理装置の制御部は、同時表示処理および切替表示処理の少なくとも一方を実行してもよい。同時表示処理では、制御部は、基画像と目的画像を表示装置に同時に表示させる。切替表示処理では、制御部は、ユーザによって入力された指示に応じて、基画像と目的画像を切り替えて表示装置に表示させる。この場合、ユーザは、ノイズの影響が抑制された目的画像と、目的画像の基となった基画像（原画像、または、原画像の加算平均画像）の両方を容易に確認することができる。よって、ユーザは、診断等をより適切に行うことができる。なお、基画像と目的画像は、同一の表示装置に表示されてもよいし、別々の表示装置に表示されてもよい。

制御部は、眼科画像撮影装置によって連続して撮影される複数の基画像を取得してもよい。制御部は、取得した複数の基画像を数学モデルに順次入力することで、複数の目的画像を取得してもよい。制御部は、取得した複数の目的画像に基づいて、前記組織の動画データを生成してもよい。つまり、眼科画像処理装置は、複数の目的画像に基づいて組織の動画データを生成する動画生成ステップを実行してもよい。この場合、ユーザは、ノイズの影響が抑制された状態で表示される組織の動画を確認することができる。つまり、従来の技術でも、複数の眼科画像を加算平均することでノイズの影響を抑制することは可能である。しかし、従来の技術では、複数の眼科画像から１つの加算平均画像が作成されるので、加算平均画像を用いて組織の動画を表示させる場合には、フレームレートが著しく低下し易い。特に、撮影位置が時間の経過に伴って変化する場合等には、加算平均画像を用いて良好な動画を生成することは困難である。これに対し、本開示の眼科画像処理装置は、フレームレートが低下することを抑制しつつ、ノイズの影響が抑制された組織の動画を生成することが可能である。よって、ユーザは、診断等をより適切に行うことができる。

なお、制御部は、基画像の動画と目的画像の動画を表示装置に同時に表示させてもよい。また、制御部は、ユーザによって入力された指示に応じて、基画像の動画と目的画像の動画を切り替えて表示装置に表示させてもよい。この場合、ユーザは、目的画像の動画と基画像の動画の両方を容易に確認することができる。

数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂの概略構成を示すブロック図である。 数学モデル構築装置１が実行する数学モデル構築処理のフローチャートである。 入力用訓練データと出力用訓練データの第１取得パターンを説明するための説明図である。 入力用訓練データと出力用訓練データの第２取得パターンを説明するための説明図である。 入力用訓練データと出力用訓練データの第３取得パターンを説明するための説明図である。 入力用訓練データと出力用訓練データの第４取得パターンを説明するための説明図である。 眼科画像処理装置２１が実行する高画質動画生成処理のフローチャートである。 眼科画像処理装置２１が実行する高画質三次元画像生成処理のフローチャートである。 高画質三次元画像４０の一例を示す図である。

（装置構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された基画像に基づいて、基画像よりも高画質の（本実施形態では、ノイズの影響が適切に抑制された）目的画像を出力する。眼科画像処理装置２１は、数学モデルを用いて、基画像から目的画像を取得する。眼科画像撮影装置１１Ａ，１１Ｂは、被検眼の組織の画像である眼科画像を撮影する。

一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、眼科画像撮影装置１１Ａから取得した眼科画像を利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。

また、本実施形態の眼科画像処理装置２１にはＰＣが用いられる。しかし、眼科画像処理装置２１として機能できるデバイスも、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ｂまたはサーバ等が、眼科画像処理装置２１として機能してもよい。眼科画像撮影装置（本実施形態ではＯＣＴ装置）１１Ｂが眼科画像処理装置２１として機能する場合、眼科画像撮影装置１１Ｂは、眼科画像を撮影しつつ、撮影した眼科画像よりも高画質の眼科画像を適切に取得することができる。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置２１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。

また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。

数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、眼科画像処理装置２１または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、後述する数学モデル構築処理（図２参照）を実行するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、眼科画像撮影装置１１Ａおよび眼科画像処理装置２１等）と接続する。

数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。

数学モデル構築装置１は、眼科画像撮影装置１１Ａから眼科画像のデータ（以下、単に「眼科画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ａから眼科画像のデータを取得してもよい。

眼科画像処理装置２１について説明する。眼科画像処理装置２１は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼科画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する眼科画像処理（例えば、図７に例示する高画質動画生成処理、および、図８に示す高画質三次元画像生成処理等）を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、眼科画像処理装置２１を他のデバイス（例えば、眼科画像撮影装置１１Ｂおよび数学モデル構築装置１等）と接続する。

眼科画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。

眼科画像処理装置２１は、眼科画像撮影装置１１Ｂから眼科画像を取得することができる。眼科画像処理装置２１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ｂから眼科画像を取得してもよい。また、眼科画像処理装置２１は、数学モデル構築装置１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。

眼科画像撮影装置１１Ａ，１１Ｂについて説明する。一例として、本実施形態では、数学モデル構築装置１に眼科画像を提供する眼科画像撮影装置１１Ａと、眼科画像処理装置２１に眼科画像を提供する眼科画像撮影装置１１Ｂが使用される場合について説明する。しかし、使用される眼科画像撮影装置の数は２つに限定されない。例えば、数学モデル構築装置１および眼科画像処理装置２１は、複数の眼科画像撮影装置から眼科画像を取得してもよい。また、数学モデル構築装置１および眼科画像処理装置２１は、共通する１つの眼科画像撮影装置から眼科画像を取得してもよい。なお、本実施形態で例示する２つの眼科画像撮影装置１１Ａ，１１Ｂは、同一の構成を備える。従って、以下では、２つの眼科画像撮影装置１１Ａ，１１Ｂについて纏めて説明を行う。

また、本実施形態では、眼科画像撮影装置１１（１１Ａ，１１Ｂ）として、ＯＣＴ装置を例示する。ただし、ＯＣＴ装置以外の眼科画像撮影装置（例えば、レーザ走査型検眼装置（ＳＬＯ）、眼底カメラ、または角膜内皮細胞撮影装置（ＣＥＭ）等）が用いられてもよい。

眼科画像撮影装置１１（１１Ａ，１１Ｂ）は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、眼科画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。

眼科画像撮影部１６は、被検眼の眼科画像を撮影するために必要な各種構成を備える。本実施形態の眼科画像撮影部１６には、ＯＣＴ光源、ＯＣＴ光源から出射されたＯＣＴ光を測定光と参照光に分岐する分岐光学素子、測定光を走査するための走査部、測定光を被検眼に照射するための光学系、被検眼の組織によって反射された光と参照光の合成光を受光する受光素子等が含まれる。

眼科画像撮影装置１１は、被検眼の眼底の二次元断層画像および三次元断層画像を撮影することができる。詳細には、ＣＰＵ１３は、スキャンライン上にＯＣＴ光（測定光）を走査させることで、スキャンラインに交差する断面の二次元断層画像を撮影する。また、ＣＰＵ１３は、ＯＣＴ光を二次元的に走査することによって、組織における三次元断層画像を撮影することができる。例えば、ＣＰＵ１３は、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数の二次元断層画像を取得する。次いで、ＣＰＵ１３は、撮影された複数の二次元断層画像を組み合わせることで、三次元断層画像を取得する。

さらに、ＣＰＵ１３は、組織上の同一部位（本実施形態では、同一のスキャンライン上）に測定光を複数回走査させることで、同一部位の眼科画像を複数撮影する。ＣＰＵ１３は、同一部位の複数の眼科画像に対して加算平均処理を行うことで、スペックルノイズの影響が抑制された加算平均画像を取得することができる。加算平均処理は、例えば、複数の眼科画像のうち、同一の位置の画素の画素値を平均化することで行われてもよい。加算平均処理を行う画像の数が多い程、スペックルノイズの影響は抑制され易いが、撮影時間は長くなる。なお、眼科画像撮影装置１１は、同一部位の眼科画像を複数撮影する間に、被検眼の動きにＯＣＴ光の走査位置を追従させるトラッキング処理を実行する。

（数学モデル構築処理）
図２〜図６を参照して、数学モデル構築装置１が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置４に記憶された数学モデル構築プログラムに従って、ＣＰＵ３によって実行される。

数学モデル構築処理では、訓練データセットによって数学モデルが訓練されることで、基画像から高画質の目的画像を出力するための数学モデルが構築される。詳細は後述するが、訓練データセットには、入力用訓練データと出力用訓練データが含まれる。本実施形態では、入力用訓練データとして、１枚〜複数枚の眼科画像（本実施形態では眼底の二次元断層画像）に基づくデータが使用される。また、出力用訓練データとして、入力用訓練データに使用される眼科画像の枚数（Ｌ枚）よりも多い枚数（Ｈ枚）の眼科画像に基づく加算平均画像のデータが使用される。入力用訓練データと出力用訓練データは、組織の同一部位を撮影対象としている。

図２に示すように、ＣＰＵ３は、組織の同一部位を撮影した複数の訓練用眼科画像３００Ａ〜３００Ｘ（Ｘは２以上の任意の整数）のセット３０（図３〜図６参照）を取得する（Ｓ１）。詳細には、本実施形態では、眼底上の同一のスキャンライン上にＯＣＴ光を複数回走査させることで撮影された、複数の二次元断層画像のセットが、訓練用眼科画像のセットとして、眼科画像撮影装置１１Ａから取得される。ただし、ＣＰＵ３は、二次元断層画像を生成する基となる信号（例えばＯＣＴ信号）を眼科画像撮影装置１１Ａから取得し、取得した信号に基づいて二次元断層画像を生成することで、二次元断層画像を取得してもよい。

次いで、ＣＰＵ３は、セット３０内の複数の訓練用眼科画像３００Ａ〜３００Ｘの一部から、入力用訓練データを取得する（Ｓ２）。入力用訓練データの具体的な取得方法は適宜選択できるが、この詳細については、図３〜図６を参照して後述する。

次いで、ＣＰＵ３は、セット３０内の複数の訓練用眼科画像３００Ａ〜３００Ｘの加算平均画像３１（図３〜図６参照）を、出力用訓練データとして取得する（Ｓ３）。前述したように、出力用訓練データである加算平均画像３１に使用される訓練用眼科画像の枚数Ｈは、入力用訓練データに使用される訓練用眼科画像の枚数Ｌよりも多い。一例として、本実施形態では、図３〜図６に示すように、セット３０内の複数の訓練用眼科画像３００Ａ〜３００Ｘの全て（例えば１２０枚）が、加算平均画像３１に使用される。なお、加算平均画像３１は、数学モデル構築装置１が生成してもよい。また、数学モデル構築装置１は、眼科画像撮影装置１１Ａによって生成された加算平均画像３１を取得してもよい。

図３を参照して、入力用訓練データの第１取得パターンについて説明する。第１取得パターンでは、ＣＰＵ３は、セット３０内に含まれる複数の訓練用眼科画像３００Ａ〜３００Ｘのうち、１枚の訓練用眼科画像３００Ａのそのもの（つまり、加算平均処理されていない原画像）のデータを、入力用訓練データとして取得する。この場合、眼科画像処理装置２１は、構築された数学モデルに基画像を入力して目的画像を取得する際に、１枚の原画像を基画像として数学モデルに入力することが好ましい。眼科画像処理装置２１は、１枚の基画像に基づいて目的画像を取得することができるので、基画像の撮影時間が短縮され易い。また、目的画像の動画を生成する際に、動画のフレームレートを大きくし易い。

図４を参照して、入力用訓練データの第２取得パターンについて説明する。第２取得パターンでは、ＣＰＵ３は、セット３０内に含まれる複数の訓練用眼科画像３００Ａ〜３００Ｘのうち、複数枚の訓練用眼科画像の原画像のデータを、入力用訓練データとして取得する。図４に示す例では、２枚の訓練用眼科画像３００Ａ，３００Ｂのデータが、入力用訓練データとして取得されている。しかし、入力用訓練データとして取得する訓練用眼科画像の枚数は、加算平均画像３１に使用される訓練用眼科画像の枚数よりも少ない範囲内で変更することができる。第２取得パターンが採用される場合、眼科画像処理装置２１は、構築された数学モデルに基画像を入力する際に、入力用訓練データとして使用された訓練用眼科画像の枚数に極力近い枚数の原画像を、基画像として数学モデルに入力することが好ましい。この場合には、１枚の原画像が基画像がとして数学モデルに入力される場合に比べて、取得される目的画像の品質が向上し易い。ただし、第２取得パターンが採用された場合でも、１枚の原画像が基画像として数学モデルに入力されてもよい。以上のように、入力用訓練データとして原画像が使用される場合、使用される原画像の枚数Ｌは、１以上、且つ、加算平均画像３１に使用される枚数よりも小さい数となる。

図５を参照して、入力用訓練データの第３取得パターンについて説明する。第３取得パターンでは、ＣＰＵ３は、セット３０内に含まれる複数の訓練用眼科画像３００Ａ〜３００Ｘのうち、Ｌ枚（Ｌ≧２）の訓練用眼科画像を加算平均した加算平均画像３２のデータを、入力用訓練データとして取得する。図５に示す例では、２枚の訓練用眼科画像３００Ａ，３００Ｂの加算平均画像３２のデータが、入力用訓練データとして取得されている。しかし、加算平均画像３２に使用される訓練用眼科画像の枚数は、加算平均画像３１に使用される訓練用眼科画像の枚数よりも少ない範囲内で変更することができる。第３取得パターンが採用される場合、眼科画像処理装置２１は、構築された数学モデルに基画像を入力する際に、加算平均画像を基画像として入力することが好ましい。基画像の加算平均に使用する眼科画像の枚数は、加算平均画像３２に使用される訓練用眼科画像の枚数に極力近いことが好ましい。この場合には、１枚の原画像が基画像として数学モデルに入力される場合に比べて、取得される目的画像の品質が向上し易い。ただし、第３取得パターンが採用された場合でも、１枚の原画像が基画像として数学モデルに入力されてもよい。

図６を参照して、入力用訓練データの第４取得パターンについて説明する。第４取得パターンでは、ＣＰＵ３は、Ｌ枚（Ｌ≧２）の訓練用眼科画像を加算平均した加算平均画像３２を複数枚取得し、取得した複数枚の加算平均画像３２のデータを入力用訓練データとして使用する。図６に示す例では、２枚の加算平均画像３２Ａ，３２Ｂのデータが、入力用訓練データとして取得されている。しかし、加算平均画像３２の枚数を変更することも可能である。第４取得パターンが採用される場合、眼科画像処理装置２１は、構築された数学モデルに基画像を入力する際に、複数枚の加算平均画像を基画像として入力することが好ましい。この場合には、１枚の原画像が基画像として入力される場合に比べて、取得される目的画像の品質が向上し易い。ただし、第４取得パターンが採用された場合でも、１枚の原画像が基画像として数学モデルに入力されてもよい。

以上説明した４つのパターンは一例であり、上記のパターンを変更することも可能である。例えば、ＣＰＵ３は、Ｐ枚の訓練用眼科画像の原画像のデータと、Ｐ´枚の訓練用眼科画像の加算平均画像３２のデータを、共に入力用訓練データとして使用してもよい。この場合、出力用訓練データである加算平均画像３１に使用される訓練用眼科画像の枚数は、入力用訓練データに使用される訓練用眼科画像の枚数（例えば、ＰとＰ´の和）よりも多い。

また、１組の訓練用眼科画像３００Ａ〜３００Ｘのセット３０から、複数組の訓練データセットを取得することも可能である。例えば、図３に示す例では、訓練用眼科画像３００Ａのデータを入力用訓練データとし、加算平均画像３１のデータを出力用訓練データとする１組の訓練データセットが取得されている。ここで、ＣＰＵ３は、同一のセット３０から、訓練用眼科画像３００Ｂのデータを入力用訓練データとし、加算平均画像３１のデータを出力用訓練データとする訓練データセットを取得することも可能である。

図２の説明に戻る。ＣＰＵ３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行する（Ｓ４）。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。

ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。

ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。

ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。

ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。

数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。訓練データセットは、入力用訓練データと出力用訓練データのセットである。数学モデルは、ある入力用訓練データが入力された時に、それに対応する出力用訓練データが出力されるように訓練される。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。

本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したいデータを生成するための出力層と、入力層と出力層の間の１つ以上の隠れ層を含む。各層には、複数のノード（ユニットとも言われる）が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）が用いられている。ただし、他の機械学習アルゴリズムが用いられてもよい。例えば、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）が、機械学習アルゴリズムとして採用されてもよい。

数学モデルの構築が完了するまで（Ｓ５：ＮＯ）、Ｓ１〜Ｓ４の処理が繰り返される。数学モデルの構築が完了すると（Ｓ５：ＹＥＳ）、数学モデル構築処理は終了する。構築された数学モデルを実現させるプログラムおよびデータは、眼科画像処理装置２１に組み込まれる。

（眼科画像処理）
図７〜図９を参照して、眼科画像処理装置２１が実行する眼科画像処理について説明する。眼科画像処理は、記憶装置２４に記憶された眼科画像処理プログラムに従って、ＣＰＵ２３によって実行される。

図７を参照して、眼科画像処理の一例である高画質動画生成処理について説明する。高画質動画生成処理では、数学モデルを用いて高画質の目的画像の静止画が取得されると共に、組織の高画質の動画が生成される。

まず、ＣＰＵ２３は、眼科画像（静止画像）である基画像を取得する（Ｓ１１）。本実施形態の基画像は、前述した訓練用眼科画像３００Ａ〜３００Ｘと同様に、眼底の二次元断層画像である。ＣＰＵ２３は、前述した数学モデルに基画像を入力することで、基画像よりも高画質の目的画像を取得する（Ｓ１２）。

図７に示す例では、眼科画像撮影装置１１Ｂは、眼底の二次元断層画像を連続して撮影することで、動画を撮影する。ＣＰＵ２３は、Ｓ１１において、眼科画像撮影装置１１Ｂによって撮影された動画を構成する各々の静止画像を、順次取得する。ＣＰＵ２３は、取得した静止画像の原画像、および、複数の原画像を加算平均した加算平均画像の少なくともいずれかを、数学モデルに入力する基画像として取得する。ＣＰＵ２３は、連続して取得される基画像を数学モデルに順次入力することで、目的画像を連続して取得する。

Ｓ１１において取得する基画像の種類（原画像および加算平均画像の少なくともいずれか）、および、数学モデルに入力する基画像に使用する原画像の枚数は、前述した入力用訓練データの取得パターン等に応じて適宜設定されればよい。数学モデルに入力する基画像として加算平均画像が用いられる場合、ＣＰＵ２３は、同一の撮影部位を撮影した複数の眼科画像を加算平均することで、加算平均画像を取得してもよい。また、ＣＰＵ２３は、眼科画像撮影装置１１Ｂによって生成された加算平均画像を取得してもよい。

なお、図７に例示する高画質動画生成処理では、組織の動画が生成される。ここで、良好な動画を生成するためには、フレームレート（単位時間あたりの静止画像の数）を極力大きくすることが望ましい。つまり、目的画像の動画のフレームレートを大きくするためには、単位時間あたりに取得する目的画像（静止画像）の数を極力大きくする必要がある。従って、図７のＳ１１では、極力少ない原画像が、数学モデルに入力する基画像として取得されることが好ましい。例えば、ＣＰＵ２３は、眼科画像撮影装置１１Ｂから１枚の原画像を取得する毎に、取得した１枚の原画像を数学モデルに入力して目的画像を生成することで、眼科画像撮影装置１１Ｂが撮影する動画と同じフレームレートの動画を、高画質の目的画像を用いて生成することができる。

次いで、ＣＰＵ２３は、表示装置２８に目的画像を表示させる指示が入力されているか否かを判断する（Ｓ１４）。本実施形態では、ユーザは、目的画像、基画像、および、目的画像と基画像の両方のいずれを表示装置２８に表示させるかの指示を、操作部２７を操作することで眼科画像処理装置２１に入力することができる。目的画像を表示させる指示が入力されていなければ（Ｓ１４：ＮＯ）、処理はそのままＳ１７へ移行する。目的画像を表示させる指示が入力されている場合（Ｓ１４：ＹＥＳ）、ＣＰＵ２３は、目的画像を表示装置２８に表示させる（Ｓ１５）。詳細には、本実施形態のＳ１５では、Ｓ１２で連続して取得される複数の目的画像が表示装置２８に順次表示されることで、組織の動画が表示される。つまり、眼科画像撮影装置１１Ｂによってその時点で撮影されている原画像の動画に基づいて、撮影中の組織の高画質の動画がリアルタイムに表示装置２８に表示される。なお、ＣＰＵ２３は、Ｓ１２で連続して取得される複数の目的画像に基づいて、目的画像の動画のデータを生成し、記憶装置に記憶させてもよい。

なお、眼科画像処理装置２１は、目的画像、基画像、および、目的画像と基画像の両方のいずれを表示装置２８に表示させるかの指示を、種々の方法で入力することができる。例えば、ＣＰＵ２３は、目的画像の表示指示を入力するアイコン、基画像の表示指示を入力するアイコン、および、両方の画像の表示指示を入力するアイコンを、表示装置２８に表示させてもよい。ユーザは、希望するアイコンを選択することで、表示指示を眼科画像処理装置２１に入力してもよい。

次いで、ＣＰＵ２３は、表示装置２８に基画像を表示させる指示が入力されているか否かを判断する（Ｓ１７）。入力されていなければ（Ｓ１７：ＮＯ）、処理はそのままＳ２０へ移行する。基画像を表示させる指示が入力されている場合（Ｓ１７：ＹＥＳ）、ＣＰＵ２３は、基画像を表示装置２８に表示させる（Ｓ１８）。詳細には、本実施形態のＳ１８では、Ｓ１１で連続して取得される複数の基画像が表示装置２８に順次表示されることで、組織の動画が表示される。以上のように、ＣＰＵ２３は、ユーザによって入力された指示に応じて、目的画像と基画像を切り替えて表示装置２８に表示させることができる。よって、ユーザは、目的画像と基画像の両方を容易に確認することができる。

次いで、ＣＰＵ２３は、目的画像と基画像を同時に表示装置２８に表示させる指示が入力されているか否かを判断する（Ｓ２０）。入力されていなければ（Ｓ２０：ＮＯ）、処理はそのままＳ２３へ移行する。同時表示指示が入力されていれる場合（Ｓ２０：ＹＥＳ）、ＣＰＵ２３は、目的画像と基画像を同時に表示装置２８に表示させる。詳細には、本実施形態のＳ２０では、目的画像の動画と基画像の動画が共に表示装置２８に表示される。

なお、Ｓ１５，Ｓ１８，Ｓ２１では、動画でなく静止画が表示されてもよい。ＣＰＵ２３は、ユーザによって入力される指示に応じて、動画の表示と静止画の表示を切り替えてもよい。また、ＣＰＵ２３は、動画および静止画を表示装置２８に表示させずに、動画および静止画の少なくとも一方のデータを記憶装置２４に保存させてもよい。

また、ＣＰＵ２３は、目的画像の動画または静止画を表示装置２８に表示させる際に、何枚の眼科画像の加算平均画像に相当する目的画像であるかを、表示装置２８に表示させることができる。例えば、数学モデルを構築する際に、出力用訓練データとして使用された加算平均画像３２が、Ｈ枚の眼科画像に基づく加算平均画像である場合には、Ｓ１２で取得される目的画像も、Ｈ枚の眼科画像の加算平均画像に相当する画像となる。従って、ＣＰＵ２３は、表示中の目的画像が、Ｈ枚の眼科画像の加算平均画像に相当する旨を、表示装置２８に表示させる。よって、ユーザは、目的画像の品質を適切に把握することができる。

また、目的画像を表示させるタイミングには、例えば、眼科画像撮影装置１１Ｂによる撮影中にリアルタイムで表示させるタイミング、撮影された画像が良好であるか否かをユーザに確認させるタイミング、撮影後に解析結果またはレポートと共に表示させるタイミング等、複数のタイミングがある。ＣＰＵ２３は、目的画像を表示させることが可能な複数のタイミングのそれぞれに対し、目的画像、基画像、および、目的画像と基画像の両方のいずれを表示装置２８に表示させるかの指示を、別々に入力することができる。つまり、ユーザは、目的画像を表示させることが可能なタイミングに応じて、目的画像、基画像、および、目的画像と基画像の両方のいずれを表示装置２８に表示させるかを、予め設定しておくことができる。その結果、ユーザの利便性がさらに向上する。

次いで、ＣＰＵ２３は、表示を終了させる指示が入力されたか否かを判断する（Ｓ２３）。入力されていなければ（Ｓ２３：ＮＯ）、処理はＳ１１へ戻り、Ｓ１１〜Ｓ２３の処理が繰り返される。表示を終了させる指示が入力されると（Ｓ２３：ＹＥＳ）、ＣＰＵ２３は、目的画像（本実施形態では、連続して取得される複数の目的画像の少なくともいずれか）に対するセグメンテーション処理を実行する（Ｓ２４）。セグメンテーション処理とは、画像に写っている組織の複数の層の少なくともいずれかを識別する処理である。層の識別は、例えば、目的画像に対する画像処理によって行われてもよいし、機械学習アルゴリズムによって訓練された数学モデルが利用されてもよい。目的画像に対するセグメンテーション処理が行われることで、ノイズの影響が抑制されたセグメンテーション結果が適切に取得される。なお、ユーザが操作部２７を操作して手動でセグメンテーション処理を行う場合もある。この場合にも、ＣＰＵ２３は、セグメンテーション処理が行われる対象となる画像として、目的画像を表示装置２８に表示させてもよい。

図８および図９を参照して、眼科画像処理の一例である高画質三次元断層画像生成処理について説明する。高画質三次元断層画像生成処理では、数学モデルを用いて高画質の二次元断層画像および三次元断層画像が取得される。高画質三次元断層画像生成処理が実行される場合には、眼科画像撮影装置１１Ｂでは、ＯＣＴ光（測定光）が二次元的に走査されることで、組織における三次元断層画像が撮影される。詳細には、眼科画像撮影装置１１Ｂは、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数（１番目〜Ｚ番目）の二次元断層画像を取得する。複数の二次元断層画像が組み合わされることで、三次元断層画像が取得される。

ＣＰＵ２３は、眼科画像撮影装置１Ｂによって撮影された複数（１番目〜Ｚ番目）の二次元断層画像のうち、Ｎ番目（Ｎの初期値は「１」）の二次元断層画像を、基画像として取得する（Ｓ３１）。ＣＰＵ２３は、取得した基画像を数学モデルに入力することで、Ｎ番目の目的画像を取得する（Ｓ３２）。次いで、ＣＰＵ２３は、複数（１番目〜Ｚ番目）の基画像の全てに対する処理が完了したか否かを判断する（Ｓ３３）。完了していなければ（Ｓ３３：ＮＯ）、Ｎの値に「１」が加算されて（Ｓ３４）、処理はＳ３１へ戻る。全ての基画像に対する処理が完了するまで、Ｓ３１〜Ｓ３３の処理が繰り返される。

全ての基画像に対する処理が完了すると（Ｓ３３：ＹＥＳ）、取得された複数の目的画像が組み合わされることで、組織の三次元断層画像４０（図９参照）が生成される（Ｓ３５）。図８に例示した高画質三次元断層画像生成処理によると、三次元断層画像を構成する各々の二次元断層画像として加算平均画像を使用しなくても、加算平均画像と同等にノイズの影響が抑制された目的画像によって、三次元断層画像が生成される。

なお、ＣＰＵ２３は、複数の目的画像に基づいて、三次元断層画像以外の画像を生成することも可能である。例えば、ＣＰＵ２３は、Ｓ３２で取得された複数の目的画像に基づいて、組織を正面から見た場合の二次元正面画像（所謂「Ｅｎｆａｃｅ画像」を生成してもよい。

また、ＣＰＵ２３は、複数の目的画像に基づいて生成した三次元断層画像４０に対して解析処理を行うことも可能である。例えば、ＣＰＵ２３は、三次元断層画像４０に対して、眼底に含まれる複数の層の少なくともいずれかを抽出するセグメンテーション処理を行ってもよい。ＣＰＵ２３は、セグメンテーション処理の結果に基づいて、少なくともいずれかの層の厚み分布を二次元的に示す厚みマップを生成してもよい。この場合、ノイズの影響が抑制された三次元断層画像４０に基づいて、厚みマップが適切に生成される。

また、ＣＰＵ２３は、複数の目的画像に基づいて生成した三次元断層画像４０に基づいて、三次元断層画像４０の撮影範囲に含まれる組織中の任意の位置の二次元断層画像を生成してもよい。ＣＰＵ２３は、生成した二次元断層画像を表示装置２８に表示させてもよい。一例として、本実施形態のＣＰＵ２３は、断層画像を生成する位置を指定するためのユーザからの指示を入力する。例えば、ユーザは、操作部２７を操作することで、表示装置２８に表示された二次元正面画像上または三次元断層画像４０上で、断層画像の生成位置を指定してもよい。断層画像の生成位置は、例えば、各種形状のライン（直線上のライン、円形状のライン等）で指定されてもよい。ＣＰＵ２３は、三次元断層画像４０から、ユーザによって指定された位置の二次元断層画像を生成（抽出）してもよい。この場合、ユーザが希望する任意の位置の断層画像が、ノイズの影響が抑制された三次元断層画像４０に基づいて適切に生成される。

また、ＣＰＵ２３は、眼科画像撮影装置１１Ｂによって撮影された眼科画像が良好であるか否かを、眼科画像が１枚または複数枚撮影される毎に判定してもよい。ＣＰＵ２３は、撮影された眼科画像が良好であると判定した場合に、良好な眼科画像を基画像として数学モデルに入力してもよい。また、ＣＰＵ２３は、撮影された眼科画像が良好でないと判定した場合に、同じ位置の眼科画像を再撮影させる指示を眼科画像撮影装置１１Ｂに出力してもよい。この場合、良好な基画像に基づいて目的画像が取得される。なお、撮影された眼科画像が良好であるか否かを判定するための具体的な方法は、適宜選択できる。例えば、ＣＰＵ２３は、撮影された眼科画像の信号の強さ、または、信号の良好さを示す指標（例えば、ＳＳＩ（Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｅｘ）またはＱＩ（Ｑｕａｌｉｔｙ Ｉｎｄｅｘ）等）を用いて、眼科画像が良好であるか否かを判定してもよい。また、ＣＰＵ２３は、撮影された眼科画像をテンプレートと比較することで、眼科画像が良好であるか否かを判定してもよい。

また、ＣＰＵ２３は、複数の目的画像のいずれかに対して解析処理（例えばセグメンテーション処理等）を行う場合、複数の目的画像、または、複数の目的画像の基となった複数の基画像から、良好な画像を抽出してもよい。ＣＰＵ２３は、抽出した良好な目的画像、または、良好な基画像に基づく目的画像に対して解析処理を行ってもよい。この場合、解析処理の精度が向上する。なお、良好な画像を抽出する手法には、例えば、前述したＳＳＩ等を利用する手法等、種々の手法を採用することができる。

また、ＣＰＵ２３は、モーションコントラスト画像を生成する際に、本開示で例示した数学モデルを用いて目的画像を取得し、取得した目的画像に基づいてモーションコントラスト画像を生成してもよい。前述したように、モーションコントラスト画像を生成する際には、同一位置に関して異なる時間に複数のＯＣＴ信号が取得され、複数のＯＣＴ信号に対して演算処理が行われる。ＣＰＵ２３は、複数のＯＣＴ信号（二次元断層画像）の各々に基づいて目的画像を取得し、取得した複数の目的画像に対して演算処理を行うことで、モーションコントラスト画像を取得してもよい。この場合、ノイズの影響が抑制されたモーションコントラスト画像が適切に生成される。

上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。まず、上記実施形態で例示された複数の技術のうちの一部のみを実行することも可能である。例えば、眼科画像処理装置２１は、高画質動画生成処理（図７参照）、および、高画質三次元断層画像生成処理（図８参照）の一方のみを実行してもよい。

なお、図７のＳ１１および図８のＳ３１で基画像を取得する処理は、「基画像取得ステップ」の一例である。図７のＳ１２および図８のＳ３２で目的画像を取得する処理は、「目的画像取得ステップ」の一例である。図８のＳ３５で三次元断層画像を生成する処理は、「三次元断層画像生成ステップ」の一例である。図７のＳ２４に示すセグメンテーション処理は、「セグメンテーションステップ」の一例である。図７のＳ１４〜Ｓ１８で目的画像と基画像を切り替えて表示させる処理は、「切替表示処理」および「切替表示ステップ」の一例である。図７のＳ２１で目的画像と基画像を同時に表示させる処理は、「同時表示処理」および「同時表示ステップ」の一例である。図７のＳ１５で目的画像の動画データを生成する処理は、「動画生成ステップ」の一例である。図２のＳ１で訓練用眼科画像のセット３０を取得する処理は、「画像セット取得ステップ」の一例である。図２のＳ２〜Ｓ４で数学モデルを構築する処理は、「訓練ステップ」の一例である。

１ 数学モデル構築装置
３ ＣＰＵ
４ 記憶装置
１１ 眼科画像撮影装置
２１ 眼科画像処理装置
２３ ＣＰＵ
２４ 記憶装置
２８ 表示装置
３０ セット
３１ 加算平均画像
３２ 加算平均画像
３００ 訓練用眼科画像

Claims (4)

1. 被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
   前記眼科画像は、ＯＣＴ装置によって同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が演算処理されることで取得されるモーションコントラスト画像であるＯＣＴアンジオ画像であり、
   前記眼科画像処理装置の制御部は、
   前記ＯＣＴ装置によって撮影されたＯＣＴアンジオ画像、または、前記ＯＣＴ装置によって組織の同一部位を撮影した複数のＯＣＴアンジオ画像を加算平均した加算平均画像を、基画像として取得し、
   機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質のＯＣＴアンジオ画像である目的画像を取得し、
   前記目的画像を表示させることが可能なタイミングが到来した際に、前記タイミングに応じて予め設定されている、表示装置に表示させる画像の種類に応じて、前記目的画像および前記基画像の少なくとも一方を前記表示装置に表示させ、
   前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されていることを特徴とする眼科画像処理装置。
2. 被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
   前記眼科画像は、ＯＣＴ装置によって同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が演算処理されることで取得されるモーションコントラスト画像であるＯＣＴアンジオ画像であり、
   前記眼科画像処理装置の制御部は、
   前記ＯＣＴ装置によって撮影されたＯＣＴアンジオ画像、または、前記ＯＣＴ装置によって組織の同一部位を撮影した複数のＯＣＴアンジオ画像を加算平均した加算平均画像を、基画像として取得し、
   機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質のＯＣＴアンジオ画像である目的画像を取得し、
   前記目的画像の撮影範囲に含まれる組織中の、ユーザによって指定された位置の二次元断層画像を抽出して表示装置に表示させ、
   前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されていることを特徴とする眼科画像処理装置。
3. 参照光と、被検眼の組織に照射された測定光の反射光とによるＯＣＴ信号を処理することで、前記組織の眼科画像を撮影するＯＣＴ装置であって、
   前記眼科画像は、同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が演算処理されることで取得されるモーションコントラスト画像であるＯＣＴアンジオ画像であり、
   前記ＯＣＴ装置の制御部は、
   撮影した前記組織のＯＣＴアンジオ画像、または、前記組織の同一部位を撮影した複数のＯＣＴアンジオ画像を加算平均した加算平均画像を、基画像として取得し、
   機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質のＯＣＴアンジオ画像である目的画像を取得し、
   前記目的画像を表示させることが可能なタイミングが到来した際に、前記タイミングに応じて予め設定されている、表示装置に表示させる画像の種類に応じて、前記目的画像および前記基画像の少なくとも一方を前記表示装置に表示させ、
   前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されていることを特徴とするＯＣＴ装置。
4. 参照光と、被検眼の組織に照射された測定光の反射光とによるＯＣＴ信号を処理することで、前記組織の眼科画像を撮影するＯＣＴ装置であって、
   前記眼科画像は、同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が演算処理されることで取得されるモーションコントラスト画像であるＯＣＴアンジオ画像であり、
   前記ＯＣＴ装置の制御部は、
   撮影した前記組織のＯＣＴアンジオ画像、または、前記組織の同一部位を撮影した複数のＯＣＴアンジオ画像を加算平均した加算平均画像を、基画像として取得し、
   機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記基画像よりも高画質のＯＣＴアンジオ画像である目的画像を取得し、
   前記目的画像の撮影範囲に含まれる組織中の、ユーザによって指定された位置の二次元断層画像を抽出して表示装置に表示させ、
   前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、Ｌ枚（Ｌ≧１）の前記訓練用眼科画像に基づくデータを入力用訓練データとし、且つ、Ｈ枚（Ｈ＞Ｌ）前記訓練用眼科画像を加算平均した加算平均画像のデータを出力用訓練データとして訓練されていることを特徴とするＯＣＴ装置。