JP2019177032A - 眼科画像処理装置、および眼科画像処理プログラム - Google Patents

Abstract

【課題】 １つのネットワークモデルで複数のタスクをまとめて処理可能な眼科画像処理装置および眼科画像処理プログラムを提供する。【解決手段】 眼科画像を処理する眼科画像処理装置であって、撮影手段によって撮影された前記眼科画像を取得する画像取得手段と、前記眼科画像を処理する画像処理手段と、を備え、前記画像処理手段は、機械学習アルゴリズムによって訓練された単一ネットワークに前記眼科画像を入力することによって、複数種類の処理結果を出力させることを特徴とする。【選択図】 図３

Description

被検眼の眼底画像を処理するための眼科画像処理装置、および眼科画像処理プログラムに関する。

近年、画像認識分野においてニューラルネットワークが注目されており、医療画像への応用が期待される。

特開２０１７−２１９９６０号公報

例えば、眼科分野では、疾患の識別タスクのためのネットワークモデルや、網膜層のセグメンテーションタスクのためのネットワークモデルが提案されている。

しかし、これらのネットワークモデルは計算コストが高いため、タスク毎にモデルを用意することは、例えば、メモリ使用量、処理時間等の増加につながる。

本開示は、従来の問題点に鑑み、１つのネットワークモデルで複数のタスクをまとめて処理可能な眼科画像処理装置および眼科画像処理プログラムを提供することを技術課題とする。

上記課題を解決するために、本開示は以下のような構成を備えることを特徴とする。

（１） 眼科画像を処理する眼科画像処理装置であって、撮影手段によって撮影された前記眼科画像を取得する画像取得手段と、前記眼科画像を処理する画像処理手段と、を備え、前記画像処理手段は、機械学習アルゴリズムによって訓練された単一ネットワークに前記眼科画像を入力することによって、複数種類の処理結果を出力させることを特徴とする。
（２） 眼科画像を処理する眼科画像処理装置において実行される眼科画像処理プログラムであって、前記眼科画像処理装置のプロセッサによって実行されることで、撮影手段によって撮影された前記眼科画像を取得する画像取得ステップと、機械学習アルゴリズムによって訓練された単一ネットワークに前記眼科画像を入力することによって、複数種類の処理結果を出力させる画像処理ステップと、を前記眼科画像処理装置に実行させることを特徴とする。

眼科画像処理装置の概略構成を示す図である。 撮影装置の光学系を示す図である。 ネットワークの概略構成を示す図である。 網膜厚推定モデルの概略構成を示す図である。 疾患分類モデルの概略構成を示す図である。 網膜層セグメンテーションモデルの概略構成を示す図である。 ネットワークを用いた画像処理の概要を示すフローチャートである。 表示部に表示された確認画面の一例を示す図である。 ネットワークの変容例を示す図である。

＜実施形態＞
本開示に係る実施形態について説明する。実施形態の眼科画像処理装置（例えば、眼科画像処理装置１）は、眼科画像を処理する。眼科画像処理装置は、例えば、画像取得部（例えば、画像取得部７１）と、画像処理部（例えば、画像処理部７２）を主に備える。画像取得部は、撮影部（例えば、眼科撮影装置１０）によって撮影された眼科画像を取得する。画像処理部は、眼科画像を処理する。画像処理部は、機械学習アルゴリズムによって訓練された単一のネットワーク（数学モデル）に眼科画像を入力することによって、複数種類の処理結果を出力させる。これによって、複数種類の処理を行う際の処理時間が短縮される。

なお、複数種類の処理結果は、ノイズ除去、網膜層セグメンテーション、疾患分類、疾患検出、網膜厚推定、特徴位置検出、カラリゼーション、画質評価、および超解像の少なくともいずれかの処理を行った結果を含んでもよい。ノイズ除去は、例えば、画像のノイズを低減させる処理である。網膜層セグメンテーションは、例えば、眼底ＯＣＴ画像を神経線維層（nerve fiber layer: NFL）、神経節細胞層（ganglion cell layer: GCL）、網膜色素上皮（retinal pigment epithelium: RPE）、脈絡膜（choroid）等の網膜層に分離する処理である。疾患分類は、例えば、画像にどの疾患が写っているのかを分類する処理である。疾患検出は、例えば、疾患の有無を検出する処理、または疾患の位置を検出する処理等である。網膜厚推定は、網膜厚を推定する処理である。特徴位置検出は、例えば、中心窩または視神経乳頭などの特徴部の位置を検出する処理である。特徴位置検出の出力は、座標であってもよいし、マップ（画像）であってもよい。カラリゼーションは、モノクロ画像に色を付ける処理である。画質評価は、例えば、診断に適した画像かを判断する処理である。例えば、輝度レベル、コントラストなどの画像の鮮明さ、またはアーチファクト、ノイズなどの有無もしくは程度等が評価される。超解像は、画像の解像度を上げる処理である。

本実施形態の眼科画像処理装置は、単一のネットワークに眼科画像を入力することによって、例えば、セグメンテーション、疾患検出等の処理を行いつつ、ノイズ除去画像等も取得することができる。

なお、画像処理部は、撮影部による眼科画像の撮影中に、随時、単一ネットワークによる画像処理を行ってもよい。例えば、画像処理部は、撮影部によって眼科画像が撮影され、画像取得部によって眼科画像が取得される度に、随時、単一ネットワークによる画像処理を行ってもよい。これによって、眼科画像の撮影後に、すぐに処理結果を出力することができるため、処理結果を確認した上で、必要な場合は撮り直しを行うことができる。

なお、眼科画像処理装置は、表示部の表示を制御する表示制御部をさらに備えてもよい。この場合、表示制御部は、眼科画像の良否を確認するための確認画面において単一ネットワークによる処理結果を表示させてもよい。これによって、撮影後すぐに解析結果を確認することができ、解析結果に不具合があれば、その撮影場所でスムーズに撮り直すことができる。

なお、撮影部は、光源から出射された測定光が被検眼によって反射した反射光と、測定光に対応する参照光と、の干渉状態に基づいてＯＣＴ信号を取得するＯＣＴ光学系を備えてもよい。この場合、画像処理部は、ＯＣＴ光学系によって撮影されたＯＣＴ画像を単一ネットワークに入力してもよい。もちろん、撮影部は、ＯＣＴに限らず、眼底カメラ、ＳＬＯ、シャインプルークカメラ等の光学系を備えてもよい。

なお、画像処理部は、単一ネットワークに複数の眼科画像を入力してもよい。複数の眼科画像は、同一のモダリティによって撮影された画像であってもよいし、複数のモダリティにおいて撮影された画像であってもよい。

なお、眼画像処理装置のプロセッサは、記憶部等に記憶された眼科画像処理プログラムを実行してもよい。眼科画像処理プログラムは、例えば、画像取得ステップと、画像処理ステップとを含む。画像取得ステップは、例えば、撮影部によって撮影された眼科画像を取得する画像取得ステップである。画像処理ステップは、機械学習アルゴリズムによって訓練された単一ネットワークに眼科画像を入力することによって、複数種類の処理結果を出力させるステップである。

なお、画像処理部は、機械学習アルゴリズムによって訓練されたネットワークを用いて眼科画像の解析を行ってもよい。機械学習アルゴリズムは、例えば、ニューラルネットワークが一般的に知られている。

ニューラルネットワークは、入力された信号に何等かの処理を行った結果を出力するユニットを複数接続したネットワークである。ニューラルネットワークの一種である畳み込みネットワークは画像認識問題に有効な手法である。画像認識問題の代表としては、物体識別、物体検出、セグメンテーションがあり、それぞれの問題に対して様々なモデルが提案されている。

物体識別は、画像に何が写っているのかを識別する問題で、AlexNet, GoogLeNet等のモデルが提案されている。物体検出は、物体の位置や姿勢を矩形などとして識別する問題で、YOLO等のモデルが提案されている。セマンティックセグメンテーション(semantic segmentation)は、物体がどこにあるのか画素レベルで識別する問題で、U-Net等のモデルが提案されている。また、この他にも、画像の解像度を高める超解像や、モノクロ画像に色を付けるカラリゼーションといった画像を対象とした様々な問題に対して畳み込みネットワークのモデルが提案されている。

畳み込みネットワーク以外のニューラルネットワークモデルの例としては再帰型ニューラルネットワークがある。再帰型ニューラルネットワークは時系列データを扱えるモデルであり、自然言語処理に有効な手法である。

ネットワークは、例えば、入力データと出力データとの関係を表現する構造を指す。ネットワークは、訓練データセットに基づいて最適化される。訓練データセットは、入力訓練データと出力訓練データのセットである。入力訓練データは、ネットワークに入力されるサンプルデータである。例えば、入力訓練データには、過去に撮影された被検眼の画像が用いられる。出力訓練データは、ネットワークが入力訓練データに対して予測するべき値のサンプルデータである。例えば、出力訓練データには、画像のセグメンテーション結果、画像の疾患が存在する領域を示すマップ、または画像に疾患が存在するかを示すラベルなどが用いられる。ネットワークは、ある入力訓練データが入力されたときの出力が、それに対応する出力訓練データに近づくように最適化される。例えばニューラルネットワークでは、ユニットの出力を接続される次のユニットに入力する際に掛けられる重みが更新される。

＜実施例＞
以下、本開示に係る実施例を図面に基づいて説明する。本実施例の眼科画像処理装置１は、単一のネットワーク（数学モデル）を用いて眼科画像を処理することによって複数種類の処理結果を出力する。複数種類の処理は、例えば、ノイズ除去、網膜層セグメンテーション、疾患分類、疾患検出、網膜厚推定、カラリゼーション、画質評価、特徴位置検出、超解像（高解像度化）などである。

眼科画像処理装置１は、例えば、画像取得部７１、画像処理部７２、記憶部７３、表示制御部７４、表示部７５、操作部７６などを備える。画像取得部７１は、被検眼の画像を取得する。画像取得部７１は、眼科撮影装置１０と有線または無線等の通信手段を介して接続されている。例えば、画像取得部７１は、通信手段を介して眼科撮影装置１０から眼科画像を受信し、記憶部７３等に記憶させる。なお、画像取得部７１は、通信手段を介して接続されたＨＤＤ、ＵＳＢメモリ等の外部記憶装置などから眼科画像を取得してもよい。

画像処理部７２は、機械学習アルゴリズムによって訓練されたネットワークを用いて画像解析を行う。画像処理部７２は、１つの眼科画像の入力に対して、単一のネットワークを用いて複数種類の処理を行う。画像処理部７２による処理結果は、表示部７５または記憶部７３等に送られる。

記憶部７３は、眼科画像処理装置１の制御に関わる各種プログラム、各種画像データ、および処理結果などを記憶する。表示制御部７４は、表示部７５の表示を制御する。表示部７５は、画像取得部７１によって取得された画像、および画像処理部７２による処理結果などを表示する。表示部７５は、タッチパネル式のディスプレイであってもよい。この場合、表示部７５は、操作部として兼用される。

なお、画像取得部７１、画像処理部７２、記憶部７３、表示制御部７４は、例えば、眼科画像処理装置１として用いられるコンピュータのプロセッサ（例えば、制御部７０など）が、各種プログラムを実行することによって実現されてもよいし、それぞれ独立した制御基板として設けられてもよい。

眼科画像処理装置１は、例えば、パーソナルコンピュータであってもよい。例えば、眼科画像処理装置１として、デスクトップＰＣ、ノート型ＰＣ、またはタブレット型ＰＣが用いられてもよい。もちろん、サーバであってもよい。また、眼科画像処理装置１は、眼科撮影装置の内部に格納されたコンピュータであってもよい。

＜眼科撮影装置＞
続いて、眼科撮影装置１０について説明する。眼科撮影装置１０は、被検眼の画像を撮影する。画像取得部は、眼科撮影装置と通信手段を介して接続されており、眼科撮影装置１０によって撮影された眼科画像を取得する。本実施例では、眼科撮影装置１０としてＯＣＴを用いた場合を説明する。もちろん、ＯＣＴに限らず、ＳＬＯ（Scanning Laser Ophthalmoscope）、眼底カメラ、シャインプルークカメラ等によって撮影された眼科画像であってもよい。

以下、図２に眼科撮影装置１０の概略を説明する。例えば、眼科撮影装置１０は、被検眼Ｅに測定光を照射し、その反射光と測定光とによって取得されたＯＣＴ信号を取得する。眼科撮影装置１０は、例えば、ＯＣＴ光学系４０を主に備える。

ＯＣＴ光学系４０は、被検眼Ｅに測定光を照射し、その反射光と参照光との干渉信号を検出する。ＯＣＴ光学系４０は、例えば、測定光源４１と、カップラー（光分割器）４２と、測定光学系４３と、参照光学系４４と、検出器４５等を主に備える。

ＯＣＴ光学系４０は、いわゆる光断層干渉計（ＯＣＴ：Optical coherence tomography）の光学系である。ＯＣＴ光学系４０は、測定光源４１から出射された光をカップラー４２によって測定光（試料光）と参照光に分割する。分割された測定光は測定光学系４３へ、参照光は参照光学系４４それぞれ導光される。測定光は測定光学系４３を介して被検眼Ｅの眼底Ｅｆに導かれる。その後、被検眼Ｅによって反射された測定光と，参照光との合成による干渉光を検出器４５に受光させる。

測定光学系４３は、例えば、走査部（例えば、光スキャナ）５０を備える。走査部５０は、例えば、被検眼上の撮像位置を変更するため、被検眼上における測定光の走査位置を変更する。例えば、制御部７０は、設定された走査位置情報に基づいて走査部５０の動作を制御し、検出器４５によって検出された受光信号に基づいてＯＣＴ信号を取得する。

走査部５０は、例えば、眼底上でＸＹ方向（横断方向）に測定光を走査させる。走査部５０は、瞳孔と略共役な位置に配置される。例えば、走査部５０は、２つのガルバノミラー５１，５２を有し、その反射角度が駆動機構５３によって任意に調整される。これによって、光源４１から出射された光束はその反射（進行）方向が変化され、眼底上で任意の方向に走査される。つまり、眼底Ｅｆ上における「Ｂスキャン」が行われる。なお、走査部５０としては、光を偏向させる構成であればよい。例えば、反射ミラー（ガルバノミラー、ポリゴンミラー、レゾナントスキャナ）の他、光の進行（偏向）方向を変化させる音響光学素子（ＡＯＭ）等が用いられる。

参照光学系４４は、眼底Ｅｆでの測定光の反射によって取得される反射光と合成される参照光を生成する。参照光学系４４は、マイケルソンタイプであってもよいし、マッハツェンダタイプであっても良い。参照光学系４４は、例えば、反射光学系（例えば、参照ミラー）によって形成され、カップラー４２からの光を反射光学系により反射することにより再度カップラー４２に戻し、検出器４５に導く。他の例としては、参照光学系４４は、透過光学系（例えば、光ファイバー）によって形成され、カップラー４２からの光を戻さず透過させることにより検出器４５へと導く。

検出器４５は、測定光と参照光との干渉状態を検出する。フーリエドメインＯＣＴの場合では、干渉光のスペクトル強度が検出器４５によって検出され、スペクトル強度データに対するフーリエ変換によって所定範囲における深さプロファイル（Ａスキャン信号）が取得される。

なお、眼科撮影装置１０として、例えば、Spectral-domain OCT（ＳＤ−ＯＣＴ）、Swept-source OCT（ＳＳ−ＯＣＴ）、Time-domain OCT（ＴＤ−ＯＣＴ）等が用いられてもよい。

ＳＤ−ＯＣＴの場合、光源４１として低コヒーレント光源（広帯域光源）が用いられ、検出器４５には、干渉光を各周波数成分（各波長成分）に分光する分光光学系（スペクトルメータ）が設けられる。スペクトルメータは、例えば、回折格子とラインセンサからなる。

ＳＳ−ＯＣＴの場合、光源４１として出射波長を時間的に高速で変化させる波長走査型光源（波長可変光源）が用いられ、検出器４５として、例えば、単一の受光素子が設けられる。光源４１は、例えば、光源、ファイバーリング共振器、及び波長選択フィルタによって構成される。そして、波長選択フィルタとして、例えば、回折格子とポリゴンミラーの組み合わせ、ファブリー・ペローエタロンを用いたものが挙げられる。

眼底観察部２０は、例えば、被検眼Ｅの眼底Ｅｆを正面方向（例えば、測定光の光軸方向）から撮影し、眼底Ｅｆの観察画像を得る。眼底観察部２０は、例えば、光源から発せられた測定光（例えば、赤外光）を眼底上で二次元的に走査させる第２の走査部と、眼底と略共役位置に配置された共焦点開口を介して眼底反射光を受光する第２の受光素子と、を備え、いわゆる走査型レーザ検眼鏡（ＳＬＯ）の装置構成であってもよい（例えば、特開２０１５−６６２４２号公報参照）。なお、眼底観察部２０の構成としては、いわゆる眼底カメラタイプの構成であってもよい（特開２０１１−１０９４４参照）。なお、本実施例の眼底観察部２０は、測定光学系１０６の一部の光学素子を兼用している。

固視標投影部３０は、眼Ｅの視線方向を誘導するための光学系を有する。固視標投影部３０は、眼Ｅに呈示する固視標を有し、複数の方向に眼Ｅを誘導できる。例えば、固視標投影部３０は、可視光を発する可視光源を有し、視標の呈示位置を二次元的に変更させる。これによって、視線方向が変更され、結果的に撮像部位が変更される。

＜単一ネットワーク＞
本実施例では、画像処理部７１によって眼科画像を処理する際に、単一のネットワークが用いられる。ネットワークは、機械学習アルゴリズムによって訓練される。本実施例の単一ネットワークは、眼科画像の入力に対して複数種類の処理を行う。例えば、ネットワークは、入力された眼科画像に対して網膜厚推定、疾患分類、網膜層のセグメンテーションなどを行う。
＜ネットワークの構造および入出力＞
図３は本実施例のネットワーク構造を示す図である。本実施例のネットワーク１００は、互いに異なるタスクを処理する複数のネットワークモデルを組み合わせた構造になっている。図３の例では、網膜厚推定モデルと、疾患分類モデルと、網膜層セグメンテーションモデルが組み合わされた構造である。

図４は、網膜厚推定モデルの一例である。網膜厚推定モデルは、入力に対する網膜厚を推測する。網膜層推測モデルは、図４に示すように、複数の畳み込み層と全結合層から構成され、出力は網膜厚となる。

図５は、疾患分類モデルの一例である。疾患分類モデルは、入力に対する疾患分類を行う。疾患分類モデルは、図５に示すように、複数の畳み込み層と全結合層から構成され、出力は疾患の確率となる。例えば、各ユニットの確率が、A=0.05、B=0.6、C=0.1、D=0.0、E=0.1、F=0.15である場合、確率が最も高いＢが分類結果となる。

図６は、網膜層セグメンテーションモデルの一例である。網膜層セグメンテーションモデルは、入力に対して網膜層のセグメンテーションを行う。図６に示すように、畳み込み層のみで構成され、出力は各ピクセルにおける属する層の確率となる。

図３のネットワーク１００は、図４〜図６に示す各ネットワークモデルにおいて一部の層が共有され、各処理に応じて任意の層から出力層へと分岐した構造である。網膜厚推定モデルと、疾患分類モデルと、網膜層セグメンテーションモデルの３つのモデルは、畳み込み層C1,C2,C3を共有する。さらに、網膜厚推定モデルと疾患分類モデルは、畳み込み層C1,C2,C3と全結合層L1までを共有し、それ以降は各処理に適した層が用いられる。例えば、網膜厚推定モデルは全結合層L2,L3が用いられ、疾患分類モデルは、全結合層L4,L5が用いられる。例えば、ネットワーク１００の入力層C1に眼科画像Ｐ０が入力されると、網膜厚推定、疾患分類、網膜層セグメンテーションの計算が並行して行われ、各出力層から網膜厚Ｋ１、疾患分類結果Ｋ２、セグメンテーション結果Ｐ１が出力される。

＜ネットワークの学習方法＞
上記のようなネットワークを実現するための学習処理について説明する。図３のネットワーク１００を学習させる場合、まず入力画像に対して出力された網膜厚と正解値との誤差を計算し、網膜厚の出力に関わった全ての層C1,C2,C3,L1,L2,L3の重みを更新する。次に入力画像に対して出力した疾患分類結果と正解分類結果との誤差を計算し、疾患分類に関わった全ての層C1,C2,C3,L1,L4,L5の重みを更新する。さらに、入力画像に対して出力した網膜層のセグメンテーション結果と正解結果との誤差を計算し、セグメンテーションに関わった全ての層C1,C2,C3,C4,C5,C6の重みを更新する。全てのモデルの重み更新１回分を学習１回とし、これを全てのモデルにおける誤差が小さくなるまで繰り返すことによって、各出力に対して適した重みとなるようにする。このとき、タスクによって出力の取り得る値の範囲が異なるため、それぞれのタスクに応じた重みを誤差に掛けてもよい。

なお、ネットワーク１００は単一であるため並列処理が可能である。したがって、すべての層を一括に計算して得られた出力データと、それぞれの正解データとの誤差を計算し、各層C1,C2,C3,L1,L2,L3,L4,L5,C4,C5,C6の重みを一括で更新してもよい。この場合、全てのモデルにおける誤差が小さくなるまでこの処理を繰り返し、各出力に適した重みとなるようにする。

＜制御動作＞
本実施例の眼科画像処理装置１の制御動作を図７に基づいて説明する。なお、以下の説明では、眼科撮影装置１０によって撮影されたＯＣＴ画像を処理する場合を示す。なお、ＯＣＴ画像は、断層画像であってもよいし、正面画像（En face画像）であってもよい。

（ステップＳ１：画像取得）
まず、眼科撮影装置１０によって被検眼のＯＣＴ画像が撮影されると、画像取得部７１は、そのＯＣＴ画像を取得する。画像取得部７１は、例えば、無線または有線などの通信手段を介し、ＯＣＴ画像を取得する。例えば、画像取得部７１は、眼科撮影装置１０の検出器４５から直接ＯＣＴ信号を取得してもよいし、眼科撮影装置１０の記憶部１１（図１参照）等に記憶されたＯＣＴ画像を取得してもよい。なお、画像取得部７１は、眼科撮影装置１０からＯＣＴ画像を取得してもよいし、ＵＳＢメモリ等の外部記憶装置に記憶されたＯＣＴ画像を取得してもよい。

（ステップＳ２：単一ネットワークを用いたマルチタスク処理）
画像処理部７２は、単一ネットワーク１００を用いてＯＣＴ画像の解析処理を行う。例えば画像処理部７２は、画像取得部７１によって取得されたＯＣＴ画像をネットワーク１００の入力層Ｃ１に入力する。ＯＣＴ画像が入力されると、各層において計算が行われ、出力層L3,L5,C6からそれぞれ網膜厚Ｋ１、疾患分類結果Ｋ２、セグメンテーション結果Ｐ１が出力される。

（ステップＳ３：確認画面の表示）
単一ネットワーク１００による解析結果が得られると、表示制御部７４は、確認画面８０に解析結果を表示させる（図６参照）。確認画面８０は、解析結果の良否を確認するための画面である。例えば、表示制御部７４は、網膜厚Ｋ１と、疾患分類結果Ｋ２と、セグメンテーション結果Ｐ１を確認画面８０に表示させる。検者は、確認画面８０を確認し、再撮影が必要か否かを判断する。例えば、網膜厚推定、疾患分類、セグメンテーション等ができておらず、再撮影が必要な場合、検者は再撮影ボタン８１を押す。再撮影ボタン８１が押されると、画像取得部７１は、ＯＣＴ画像を放棄し、再度、眼科撮影装置１０によって再撮影されたＯＣＴ画像を取得する。再撮影が必要ない場合、検者は完了ボタン８２を押す。完了ボタン８２が押されると、画像取得部７１は、取得したＯＣＴ画像を記憶部７３に記憶させる。

以上のように、本実施例の眼科画像処理装置１は、単一のネットワーク１００で複数の異なる処理が可能となり、メモリ使用量、または処理時間などを削減できる。

なお、図３に示すように、本実施例のネットワーク１００は、複数の処理に用いる計算が途中まで同じであるため、各処理の計算が短く済む。また、共通部分があることによって、別々のネットワークで計算するよりも処理精度が向上する可能性がある。また、学習が早く収束する可能性がある。

＜変容例＞
単一ネットワークモデルの変容例を図９に示す。図９のネットワーク２００は、ネットワーク１００に対し、さらに、デノイジング（ノイズ除去）、超解像（高解像度化）、疾患領域セグメンテーション（疾患部位検出）の処理を行うモデルが組み合わされた構造である。各モデルは、畳み込み層C1,C2,C3を共有する。網膜層セグメンテーションモデルとデノイジングモデルは、畳み込み層C1,C2,C3,C4,C5を共有する。さらに、超解像モデルは、畳み込み層C1,C2,C3,C4,C5,C7までデノイジングモデルと共通の層が用いられ、そこに畳み込み層C8が追加されることで高解像度の画像を生成するモデルとなる。疾患領域セグメンテーション画像は、畳み込み層C1,C2,C3を共有し、それ以降は専用の層C9,C10が用いられる。

例えば、画像処理部７１によって眼科画像Ｐ０がネットワーク２００に入力されると、各処理が並行して行われ、各出力層からは、網膜厚Ｋ１、疾患分類結果Ｋ２、網膜層セグメンテーション結果Ｐ１、ノイズ除去画像Ｐ２、高解像度画像Ｐ３、疾患領域セグメンテーション結果Ｐ４が出力される。

なお、例えば超解像モデルは、畳み込み層C1,C2,C3,C4,C5まで網膜層セグメンテーションモデル、デノイジングモデルと共通の層を用い、それ以降は超解像モデル専用の層を複数つなげてもよい。このように、各層の接続方法は任意である。

上記のように、ネットワーク１００またはネットワーク２００は、数値（例えば、網膜厚）、確率（例えば、疾患の確率）、または画像（例えば、ノイズ除去画像）等の種々の形式で出力できるため、被検眼の診断に必要な情報をまとめて取得できる。

なお、画像取得部７１は、ＯＣＴ信号に基づくモーションコントラストを取得してもよい。モーションコントラストは、例えば、被検眼の血流、網膜組織の変化などを捉えた情報である。モーションコントラストを取得する場合、被検眼の同一位置に関して時間的に異なる２つ以上のＯＣＴ信号を取得する。モーションコントラストを取得するためのＯＣＴ信号の演算方法としては、例えば、複素ＯＣＴ信号の強度差を算出する方法、複素ＯＣＴ信号の位相差を算出する方法、複素ＯＣＴ信号のベクトル差分を算出する方法、複素ＯＣＴ信号の位相差及びベクトル差分を掛け合わせる方法、信号の相関を用いる方法（コリレーションマッピング）などが挙げられる。なお、演算手法の一つとして、例えば、特開２０１５−１３１１０７号公報を参照されたい。

なお、上記の実施例において、眼科撮影装置１０によって撮影されたＯＣＴ画像を処理する場合について説明したが、他の眼科画像を処理してもよい。例えば、シャインプルーフカメラによって撮影された断面画像、ＳＬＯまたは眼底カメラなどによって撮影された眼底正面画像を処理対象としてもよい。また、眼科画像は、被検眼の前眼部と眼底を含む画像であってもよい。この場合、画像処理部７２は、単一ネットワークによって前眼部と眼底を並行して解析処理してもよい。前眼部と眼底の解析方法は異なるが、単一ネットワークによって両者を並行して処理させることで、解析時間を短縮できる。

なお、画像処理部７２は、画像取得部７１によって取得された眼科画像を随時、ネットワークに入力してもよい。具体的には、画像処理部７２は、眼科撮影装置１０による被検眼の撮影中に取得された眼科画像をネットワーク１００に入力してもよい。撮影中にネットワーク１００による処理を行うことで、撮影終了時点からネットワーク１００による解析が終わるまでの時間を短縮することができる。

なお、画像処理部７２は、ネットワーク１００によって画像の位置ずれ補正を行ってもよい。例えば、３次元画像等の撮影中に被検眼が動いた場合、撮影位置がずれてしまい、画像に写る被検眼の形状が歪むことがある。そこで、上記の実施例において、ネットワーク１００にずれ補正前の画像とずれ補正後の画像を学習用データとして学習させておき、位置ずれが生じた画像が入力された場合に、ずれが補正された画像が出力されるようにしてもよい。

なお、以上の実施例において、画像処理部７２は、ネットワーク１００の入力に画像を使用したが、画像以外のデータを入力としてもよい。例えば、画像処理部７２は、視力値、眼圧値、患者の年齢などの情報をネットワークに入力してもよい。また、以上の実施例では、ネットワーク１００に１つのデータを入力したが、複数のデータを入力できるネットワーク構造としてもよい。例えば、画像処理部７２は、複数の眼科画像をネットワーク１００に入力してもよい。例えば、複数の２次元画像（例えば、ＯＣＴのＢスキャンデータ）を入力してもよいし、複数の２次元画像から得られた３次元画像（例えば、ＯＣＴのボクセルデータ）をネットワークに入力してもよい。もちろん、ネットワークに入力する複数の眼科画像は、同じモダリティによって撮影された画像であってもよいし、異なるモダリティによって撮影された画像でもよい。例えば、画像処理部７２は、ＯＣＴによって撮影された断層画像と、眼底カメラによって撮影された眼底正面画像をネットワークに入力してもよいし、その他、前眼部画像などの種々の画像を入力してもよい。なお、画像データと共に画像以外のデータを入力してもよい。例えば、眼科画像と共に視力値、眼圧値、患者の年齢など情報を入力してもよい。

１ 眼科画像処理装置
１０ 眼科撮影装置
１１ 記憶部
７０ 制御部
７１ 画像取得部
７２ 画像処理部
７３ 記憶部
７４ 表示制御部
７５ 表示部

Claims (7)

1. 眼科画像を処理する眼科画像処理装置であって、
   撮影手段によって撮影された前記眼科画像を取得する画像取得手段と、
   前記眼科画像を処理する画像処理手段と、を備え、
   前記画像処理手段は、機械学習アルゴリズムによって訓練された単一ネットワークに前記眼科画像を入力することによって、複数種類の処理結果を出力させることを特徴とする眼科画像処理装置。
2. 前記複数種類の処理結果は、ノイズ除去、網膜層セグメンテーション、疾患分類、疾患検出、網膜厚推定、特徴位置検出、カラリゼーション、画質評価、および超解像の少なくともいずれかの処理を行った結果を含むことを特徴とする請求項１の眼科画像処理装置。
3. 前記画像処理手段は、前記撮影手段による前記眼科画像の撮影中に、前記単一ネットワークによる画像処理を行うことを特徴とする請求項１または２の眼科画像処理装置。
4. 表示手段の表示を制御する表示制御手段をさらに備え、
   前記表示制御手段は、前記眼科画像の良否を確認するための確認画面において前記処理結果を表示させることを特徴とする請求項１〜３のいずれかの眼科画像処理装置。
5. 前記画像処理手段は、前記単一ネットワークに複数の眼科画像を入力することを特徴とする請求項１〜４のいずれかの眼科画像処理装置。
6. 前記複数の眼科画像は、複数のモダリティにおいて撮影された画像であることを特徴とする請求項５の眼科画像処理装置。
7. 眼科画像を処理する眼科画像処理装置において実行される眼科画像処理プログラムであって、前記眼科画像処理装置のプロセッサによって実行されることで、
   撮影手段によって撮影された前記眼科画像を取得する画像取得ステップと、
   機械学習アルゴリズムによって訓練された単一ネットワークに前記眼科画像を入力することによって、複数種類の処理結果を出力させる画像処理ステップと、を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。