JP2022084511A - 画像処理システムおよび画像処理方法 - Google Patents

Abstract

【課題】より安価でより便利な眼底画像の解析に適用される画像処理システムおよび画像処理方法を提供する。【解決手段】カラー眼底画像を得るように構成された検眼鏡装置、および前記カラー眼底画像を受信するように構成され、コンピュータビジョンアルゴリズムまたは深層学習モデルを用いて、前記カラー眼底画像に対応する血管セグメンテーション画像を生成し、前記カラー眼底画像と前記血管セグメンテーション画像を前処理して、初期入力画像を得て、前記初期入力画像を畳み込みニューラルネットワーク内に入力し、前記畳み込みニューラルネットワークは値を出力するプロセッサを含み、前記プロセッサは、前記陥凹乳頭径比および値に従って眼底画像解析情報を生成する画像処理システム。【選択図】図２

Description

本出願は、２０２０年１１月２６日に出願された台湾特許出願番号第１０９１４１５５２号についての優先権を主張するものであり、これらの全ては引用によって本願に援用される。

本発明は、画像処理システムに関するものであり、特に、眼底画像の解析に適用される画像処理システムおよび画像処理方法に関するものである。

緑内障は、台湾または米国における失明原因の第２位となっており、緑内障であることを自覚して診断を受ける人は、３分の１程度である。緑内障を診断する方法は、眼科用光干渉断層撮影（ＯＣＴ）により、網膜神経線維層（ＲＮＦＬ）厚の画像を得ることである。

しかしながら、光干渉断層撮影のコストが高く、機器を入手するのが困難であるのに対し、カラー眼底画像は比較的入手しやすいため、ほとんどの人は、光干渉断層撮影を敢えて撮影することがない。

したがって、医師がカラー眼底画像を解釈するのを支援する、より安価でより便利な方法をどのように用いるかが、この分野で解決されるべき問題の１つとなっている。

より安価でより便利な眼底画像の解析に適用される画像処理システムおよび画像処理方法を提供する。

上記の問題を解決するために、本開示の一態様は、画像処理システムを提供する。画像処理システムは、検眼鏡装置およびプロセッサを含む。検眼鏡装置はカラー眼底画像を得るように構成される。プロセッサは、カラー眼底画像を受信するように構成され、コンピュータビジョンアルゴリズムまたは深層学習モデルを用いて、カラー眼底画像に対応する血管セグメンテーション画像を生成し、カラー眼底画像と血管セグメンテーション画像を前処理して、初期入力画像を得て、初期入力画像を畳み込みニューラルネットワーク内に入力する。畳み込みニューラルネットワークは値を出力する。また、プロセッサは、陥凹乳頭径比および値から眼底画像解析情報を生成する。

本発明のもう１つの態様は、画像処理方法を提供することである。画像処理方法のステップは、視神経乳頭画像をカラー眼底画像に配置するステップ、視神経乳頭画像を切り取るステップ、視神経乳頭画像を第１の深層学習セグメンテーションネットワーク内に入力するステップ、ニューラル乳頭意味解析画像を第１の深層学習セグメンテーションネットワークから出力するステップ、視神経乳頭画像を第２の深層学習セグメンテーションネットワーク内に入力するステップ、ニューラル乳頭意味解析画像を第２の深層学習セグメンテーションネットワークから出力するステップ、およびニューラル乳頭意味解析画像の白色領域を、ニューラル乳頭陥凹意味解析画像の白色領域で分割し、陥凹乳頭径比を得るステップを含む。

本発明に示される画像処理システムおよび画像処理方法は、カラー眼底画像を分析して、陥凹乳頭径比および視神経欠損の確率を計算し、眼底画像解析情報を用いて、医師が緑内障の診断にカラー眼底画像を用いるのをアシストすることができるようにする。例えば、医師が、陥凹乳頭径比が正常な人間の目の範囲内に収まっており、視神経欠損の確率が５０％以下であることを確認した場合、医師はまず患者が正常であると考え得る。医師が、陥凹乳頭径比が正常な人間の目の範囲内に収まっておらず、視神経欠損の確率が５０％以下であることを確認した場合、医師はまず患者が良性緑内障の疑いがあると考え得る。医師が、陥凹乳頭径比が正常な人間の目の範囲内に収まっておらず、視神経欠損の確率が５０％以下であると確認した場合、医師はまず患者が悪性緑内障であると考え得る。医師は、患者が眼科用光干渉断層撮影を撮る必要があると考え、次いで医師は断層撮影に基づいて診断が確定されたかどうかを判断する。このようにして、画像処理システムと画像処理方法は、多くの情報を生成し、視神経欠損の確率と陥凹乳頭径比を統合して、医師が患者の緑内障の重症度を評価する助けをすることができる。

本発明は、添付の図面を参照しながら以下の詳細な説明から、より完全に理解することができる。
図１は、本発明の一実施形態による画像処理システムのブロック図である。 図２は、本発明の一実施形態による画像処理方法の概略図である。 図３は、本発明の一実施形態による血管セグメンテーション画像を生成する方法を示す概略図である。 図４は、本発明の一実施形態による視神経欠損状態の評価方法を示す概略図である。 図５は、本発明の実施形態によるＵ－Ｎｅｔ深層学習セグメンテーションネットワークの概略図である。 図６は、本発明の一実施形態による画像処理方法のフローチャートである。 図７は、本発明の一実施形態による視神経乳頭陥凹（ｏｐｔｉｃ ｃｕｐ）および視神経乳頭（ｏｐｔｉｃ ｄｉｓｃ）システムのモデルの概略図である。 図８は、本発明の一実施形態によるニューラル乳頭意味解析画像（ｎｅｕｒａｌ ｃｕｐ ｓｅｍａｎｔｉｃ ａｎａｌｙｓｉｓ ｉｍａｇｅ）の概略図である。 図９は、本発明の一実施形態による視神経乳頭陥凹の意味解析画像（ｎｅｕｒａｌ ｃｕｐ ｓｅｍａｎｔｉｃ ａｎａｌｙｓｉｓ ｉｍａｇｅ）の概略図である。

上述の説明では、本発明を実施するベストモードを開示している。この説明は、本発明の一般原理を例示する目的のものであり、本発明を限定するものではない。本発明の範囲は、添付の特許請求の範囲を参考にして決定される。

本発明は、特定の実施形態に関して、且つ特定の図面を参照して説明されるが、本発明はこれに限定されるものではなく、請求項によってのみ限定される。更に理解されることであろうが、用語「含む（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」および／または「含む（ｉｎｃｌｕｄｉｎｇ）」が本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素および／または構成要素の存在を特定するが、１つ又は複数の他の特徴、整数、ステップ、動作、要素、構成要素および／またはこれらの群の存在或いはこれらの追加を除外するものではない。

クレーム要素を変えるための、請求項における「第１の」、「第２の」、「第３の」等の序数詞の使用は、それ自体が、１つのクレーム要素を他のクレーム要素と比較して優先度、序列、又は順序を示唆するものではなく、むしろ、単にクレーム要素を区別するために、特定の名前を有する１つのクレーム要素を同じ名前を有する他の要素から区別するためのラベルとして（だけ、序数詞を）使用している。

図１～図３に示すように、図１は、本発明の一実施形態による画像処理システム１００のブロック図である。図２は、本発明の一実施形態による画像処理方法の概略図である。図３は、本発明の一実施形態による血管セグメンテーション画像を生成する方法を示す概略図である。

図１に示されるように、画像処理システム１００は、検眼鏡装置１０およびプロセッサ２０を含む。

一実施形態では、検眼鏡装置１０がカラー眼底画像を得るのに用いられる。

一実施形態では、検眼鏡装置１０は、直接検眼鏡または間接検眼鏡であり得る。直接検眼鏡を例にとると、検眼鏡装置１０は、瞳孔を拡張することなく眼底を直接検査することができる。検査は暗い部屋で行われ、医師ＤＲは、検眼鏡装置１０を患者ＰＴの右眼または左眼に近づける。検眼鏡装置１０の前部は患者ＰＴと接触しており、前眼部開口Ａは患者の目を位置合わせするように用いられ、光色（ｌｉｇｈｔ ｃｏｌｏｒ）ノブＢは発光のために用いられる。いくつかの例では、光色ノブＢは、医師ＤＲが検眼鏡装置１０の前部を緑色光、白色光、または偏光に発光するのを選択するようにさせることができる。緑色光は血管の大網出血を観察するために用いられ、白色光は一般的な検査に用いられ、偏光は角膜の反射をなくすために用いられる。角膜の反射がなくなると、眼底の観察がしやすくなる。鋼製リングノブＣは、医師ＤＲが検眼鏡装置１０の前部にある小さい開口、大きい開口、青色の開口などを選択することができるようになっている。小さい開口は、小さい瞳孔に用いられ、大きい開口は大きい瞳孔に用いられ、青色の開口は、蛍光染色に用いられる。

検眼鏡装置１０の裏側は、医師ＤＲに面している。いくつかの検眼鏡装置１０は、裏側にディスプレイを有する。医師ＤＲは、ディスプレイから患者ＰＴの眼底を直接見ることができる。一実施形態では、検眼鏡装置１０は、デジタル眼底カメラである。一般に、２００万画素以上のデジタルカメラが、図３のカラー眼底画像３１０などの高解像度眼底画像を得るのに用いられる。デジタルカメラは、眼底カメラの専用インターフェースに接続され、必要な眼底画像を撮影し、次いで、データ伝送リンクＬＫを介してコンピュータシステムに送信し、画像解析、保存、および印刷を行う。一実施形態では、プロセッサ２０は、カラー眼底画像を受信し、画像分析を実行する役割を担う。

一実施形態では、検眼鏡装置１０で撮影された眼底画像（即ち、カラー眼底画像３１０）は、有線または無線伝送によってコンピュータシステムに送信することができる。

しかしながら、市場には様々なスタイルやモデルの眼底検査装置があり、これはその一例である。カラー眼底画像を撮影することができる任意の検眼鏡装置であれば、実施形態に適用することができる。

一実施形態では、プロセッサ２０は、ノートブックコンピュータ、デスクトップコンピュータ、タブレット、携帯電話、または他の電子機器に配置することができる。一実施形態では、プロセッサ３０は、例えば、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）または論理回路として実施することができる。

画像処理方法２００は以下に説明され、画像処理方法２００は、画像処理システム１００によって実施することができる。

ステップ２１０では、検眼鏡装置１０は、カラー眼底画像３１０を得る。

一実施形態では、カラー眼底画像３１０は、眼球ＥＢの画像である。眼球ＥＢの画像は一般的に赤（または赤やオレンジなどの同様の色）である。視神経乳頭（ｏｐｔｉｃ ｄｉｓｃ）ＯＤと視神経乳頭陥凹（ｏｐｔｉｃ ｃｕｐ）ＯＣは、わずかに異なる色領域（例えば、黄色）を示す。

より具体的には、医師ＤＲは、検眼鏡装置１０を用いて眼底を検査し、医学的に視神経乳頭ＯＤと呼ばれる円板（ｄｉｓｋ）に類似した構造を見ることができる。これは、視神経が眼球の後部から眼球を貫通する部分を指す。臨床的にこれが視神経の根部である。即ち、この部分の視神経線維は、傘のように約３６０度放射し（視神経線維は、視神経乳頭ＯＤ網（ｎｅｔ）から拡張されたカラー眼底マップ３１０の一部であり、分岐を有する可能性がある）、網膜を構成する。視神経乳頭の外径は中央に陥凹を形成する。カップのような形をしていることから、眼杯ＯＣと呼ばれている。いわゆる陥凹乳頭径比(ｃｕｐ－ｔｏ－ｄｉｓｃ ｒａｔｉｏ： ＣＤＲ)とは、医師ＤＲがお皿の上にあるコップを見下ろすように、眼底を見ていることを指す。視神経乳頭陥凹ＯＣと視神経乳頭ＯＤの直径の比は、陥凹乳頭径比と呼ばれる。詳細は後述する。

ステップ２２０では、プロセッサ２０は、カラー眼底画像３１０を受信し、画像セグメンテーション操作３２０を介して、カラー眼底画像３１０に対応する血管セグメンテーション画像３３０を生成し、カラー眼底画像３１０および血管セグメンテーション画像３３０に対して前処理を行い、初期入力画像４１０を得る。

一実施形態では、画像セグメンテーション操作３２０は、コンピュータビジョンアルゴリズムまたは深層学習モデルとして実装することができる。コンピュータビジョンアルゴリズムまたは深層学習モデル（例えば、畳み込みニューラルネットワーク、Ｕ－Ｎｅｔモデル）は、既存の方法を用いて実施することができる。

図３に示されるように、プロセッサ２０がカラー眼底画像３１０を受信した後、プロセッサ２０は、カラー眼底画像３１０の血管をセグメント化する必要がある。プロセッサ２０は、画像セグメンテーション操作３２０（コンピュータビジョンアルゴリズムまたは深層学習モデル）を介して、カラー眼底画像３１０に対応する血管セグメンテーション画像３３０を生成する。言い換えれば、プロセッサ２０は、カラー眼底画像３１０内の血管以外の画像をフィルタリングして、血管セグメンテーション画像３３０を生成する。

一実施形態では、血管セグメンテーション画像３３０は、グレースケール画像であり、前処理とは、カラー眼底画像３１０と血管セグメンテーション画像３３０を重ね合わせて、初期入力画像４１０を得ることを指す。

一実施形態では、プロセッサ２０がカラー眼底マップ３１０内の赤色をフィルタリングした後、次いで、赤色がフィルタリングされたカラー眼底画像３１０と血管セグメンテーション画像３３０を重ね合わせる。

一実施形態では、プロセッサ２０は、血管セグメンテーション画像３３０内で最も厚い血管画像Ｌを選択して、視神経乳頭画像の長軸を決定し、長軸に垂直な次に厚い血管画像Ｗを選択して、視神経乳頭画像の短軸を決定する。視神経乳頭陥凹画像の長軸は視神経乳頭画像の長軸に平行であり、視神経乳頭陥凹画像の短軸は視神経乳頭画像の短軸に平行である。プロセッサ２０は、楕円フィッティングアルゴリズムを用いて、視神経乳頭画像の長軸および視神経乳頭画像の短軸に従って視神経乳頭画像を切り出す。プロセッサ２０は、楕円フィッティングアルゴリズムを用いて、視神経乳頭陥凹画像の長軸および視神経乳頭陥凹画像の短軸に従って視神経乳頭画像を切り出す。視神経乳頭画像の詳細は後述する。

ステップ２３０では、プロセッサ２０は、初期入力画像４１０を深層学習モデルに入力し、深層学習モデルは、値を出力する。

一実施形態では、深層学習モデルは、畳み込みニューラルネットワークなどのニューラルネットワークであり得る。

一実施形態では、深層学習モデルは、Ｕ－Ｎｅｔ深層学習セグメンテーションネットワークを適用することができる。図５に示すように、図５は、本発明の実施形態によるＵ－Ｎｅｔ深層学習セグメンテーションネットワークの概略図である。図５は、Ｕ－Ｎｅｔ深層学習セグメンテーションネットワークを簡略化したものであり、Ｕ－Ｎｅｔ深層学習セグメンテーションネットワークの概念を説明するためにのみ用いられる。実施中には、Ｕ－Ｎｅｔ深層学習セグメンテーションネットワークのパラメータは、出力結果の精度に応じて調整することができる。Ｕ－Ｎｅｔ深層学習セグメンテーションネットワークは、医用画像の画像セグメンテーションに一般的に用いられるネットワークである。一実施形態では、Ｕ－Ｎｅｔ深層学習セグメンテーションネットワークの経路は、左側の収縮経路と右側の拡張経路によって形成され、左側では２ｘ２の最大プーリングの方法が用いられてダウンサンプリングする。元の画像から抽出されたデータの量は長方形で表されているため、長方形の面積がますます小さくなっていることがわかる。右側では、２ｘ２のアップコンボリューションを用いてアップサンプリングをし、次いで同次元の低深度の特徴テンソルを連結する。そのため、データ量を表す長方形がますます大きくなり、最終的にセグメンテーション画像が出力されることがわかる。これはほんの一例である。Ｕ－Ｎｅｔ深層学習セグメンテーションネットワークは、さまざまなバリエーションを有することができる。Ｕ－Ｎｅｔ深層学習セグメンテーションネットワークのパラメータは、実際の実施に応じて調整される、またはパラメータ（例えば、画素サンプリングを縮減するときにＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって撮像された複数の特徴）は、他のアプリケーション用に取り出すことができる。

一実施形態では、ステップ２３０において、Ｕ－Ｎｅｔ深層学習セグメンテーションネットワークのいくつかのパラメータが、適用のために取り出される。例えば、プロセッサ２０は、Ｕ－Ｎｅｔ深層学習セグメンテーションネットワークによって抽出された複数の特徴を有するニューラルネットワークを形成し、初期入力画像４１０が正常であるかどうかを判定する。

図４に示すように、図４は、本発明の一実施形態による視神経欠損状態４３０の評価方法を示す概略図である。一実施形態では、プロセッサ２０は、初期入力画像４１０を深層学習モデル４２０に入力する。深層学習モデル４２０は、視神経欠損状態４３０を出力する。視神経欠損状態４３０は、確率を表す数値であり得る。値が大きいほど視神経欠損の確率が高く、値が小さいほど視神経欠損の確率が低いことを示す。しかしながら、ここでの値の定義は一例に過ぎない。一実施形態では、深層学習モデル４２０によって出力された欠損４３０は、欠損の位置を枠で囲む（ｆｒａｍｅ）か、または領域をマークし、その後、プロセッサ２０が欠損状態を判定することができる。例えば、プロセッサ２０は、全体的な初期入力画像４１０に対する欠損領域の比率を計算するか、または欠損位置が視神経の末端にあるか視神経の根にあるかどうかを判定する。

一実施形態では、プロセッサ２０は、初期入力画像４１０をニューラルネットワーク内に入力し、ニューラルネットワークは値を出力する。ニューラルネットワークは、トレーニングされていないＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって抽出された複数の特徴を分類し、次いで、分類後の複数の特徴がニューラルネットワークに結合される。プロセッサ２０は、初期入力画像４１０をニューラルネットワークに入力し、ニューラルネットワークは値を出力する。一実施形態では、プロセッサ２０は、ピクセルサンプリングを低減するときに、トレーニングされていないＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって抽出された複数の特徴を取り出し、これらの特徴を分類し、次いで分類された特徴をニューラルネットワークに結合する。また、プロセッサ２０は、初期入力画像４１０をこのニューラルネットワーク内に入力し、ニューラルネットワークは値を出力する。

一実施形態では、プロセッサ２０は、初期入力画像４１０をニューラルネットワーク内に入力し、ニューラルネットワークは値を出力する。ニューラルネットワークは、トレーニングされたＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって抽出された複数の特徴を取り出し、これらの各特徴の重みを固定し、完全接続層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）の重みを調整してニューラルネットワークを生成する。さらに、プロセッサ２０は、初期入力画像４１０をこのニューラルネットワーク内に入力し、ニューラルネットワークは値を出力する。

ステップ２４０では、プロセッサ２０は、陥凹乳頭径比および値に基づいて眼底画像解析情報を生成する。

一実施形態では、プロセッサ２０は、値が閾値（例えば、５０％の確率値である０．５）より大きいかどうかを判定するためにさらに用いられる。値が閾値より大きい場合、カラー眼底画像３１０は異常であると見なされる。値が閾値より大きくない場合、カラー眼底画像３１０は正常であると見なされる。従って、眼底画像解析情報は、カラー眼底画像３１０が正常または異常であるという情報を含む。カラー眼底像310が正常であることは、カラー眼底像３１０の神経線維が正常であることを表している。また、カラー眼底画像３１０が異常であることは、神経線維欠損がカラー眼底画像３１０に存在することを表している。

図６に示すように、図６は、本発明の一実施形態による画像処理方法６００のフローチャートである。ステップ６２０および６４０は、並行して順次処理することができ、特定の処理順序はない。ステップ６５０および６５５は、並行して順次処理することができ、特定の処理順序はない。ステップ６６０および６３０が完了した後、ステップ６７０が実行される。

ステップ６１０では、プロセッサ２０は、カラー眼底画像３１０を受信する。

ステップ６２０では、プロセッサ２０は、コンピュータビジョンアルゴリズムまたは深層学習モデルを用いて、カラー眼底画像３１０に対応する血管セグメンテーション画像３３０を生成し、カラー眼底画像３１０および血管セグメンテーション画像３３０に対して前処理を行い、初期入力画像４１０を取得する。

ステップ６３０では、プロセッサ２０は、初期入力画像４１０を畳み込みニューラルネットワーク内に入力し、畳み込みニューラルネットワークは値を出力する。

図６および図７～図９に一緒に示すように、図７は、本発明の一実施形態による視神経乳頭陥凹（ｏｐｔｉｃ ｃｕｐ）および視神経乳頭（ｏｐｔｉｃ ｄｉｓｃ）システム７００のモデルの概略図である。図８は、本発明の一実施形態によるニューラル乳頭意味解析画像（ｎｅｕｒａｌ ｃｕｐ ｓｅｍａｎｔｉｃ ａｎａｌｙｓｉｓ ｉｍａｇｅ）の概略図である。図９は、本発明の一実施形態による視神経乳頭陥凹の意味解析画像（ｎｅｕｒａｌ ｃｕｐ ｓｅｍａｎｔｉｃ ａｎａｌｙｓｉｓ ｉｍａｇｅ）の概略図である。陥凹乳頭径比を生成する方法は、以下、即ちステップ６４０～６７０で詳述する。

一実施形態では、プロセッサ２０は、カラー眼底画像３１０内に視神経乳頭画像を配置する（ステップ６４０）。プロセッサ２０は、視神経乳頭画像を切り出す（ステップ６４５）。プロセッサ２０は、切り出された視神経乳頭画像を視神経乳頭システムに入力する。

一実施形態では、例えば、図３に示された血管セグメンテーション画像３３０は、このステップでは、プロセッサ２０は、血管セグメンテーション画像３３０内で最も厚い血管画像Ｌを選択して、視神経乳頭画像の長軸を決定し、長軸に垂直な次に厚い血管画像を選択して、視神経乳頭画像の短軸を決定する。プロセッサ２０は、楕円フィッティングアルゴリズムを用いて、視神経乳頭画像の長軸および視神経乳頭画像の短軸に従って視神経乳頭画像を切り出す。一実施形態では、プロセッサ２０は、視神経乳頭画像の長軸、短軸、および楕円フィッティングアルゴリズムを用いて、視神経乳頭画像範囲を大まかに円で囲むことができる。プロセッサ２０は、視神経乳頭の画像範囲を選択する最小の正方形を見つけることができる。切り出すとき、プロセッサ２０は、最小の正方形の横軸および縦軸をもう少し拡大し（例えば、横軸の左右側に５画素、および縦軸の上下に５画素）、拡大された正方形を切り出することができる。正方形は、全ての視神経乳頭画像が範囲内にあることを確保するのに十分な大きさである。

一実施形態では、プロセッサ２０は、視神経乳頭画像を深層学習セグメンテーションネットワークＵ１内に入力し、深層学習セグメンテーションネットワークＵ１は、ニューラル乳頭意味解析画像８００を出力する（ステップ６５０）。

図８に示すように、ニューラル乳頭意味解析画像８００は、グレースケール画像であり、その中の白色領域は、ニューラル乳頭画像範囲ＰＯＤを表す。一実施形態では、深層学習セグメンテーションネットワークＵ１は、Ｕ－Ｎｅｔ深層学習セグメンテーションネットワークである。プロセッサ２０が視神経乳頭画像をＵ－Ｎｅｔ深層学習セグメンテーションネットワーク内に入力した後、Ｕ－Ｎｅｔ深層学習セグメンテーションネットワークによって出力されたニューラル乳頭意味解析画像８００では、ニューラル乳頭画像範囲ＰＯＤは白色であり、残りは黒色である。

一実施形態では、プロセッサ２０は、視神経乳頭画像を深層学習セグメンテーションネットワークＵ２内に入力し、深層学習セグメンテーションネットワークＵ２は、ニューラル乳頭意味解析画像８００を出力する（ステップ６５５）。

図９に示すように、ニューラル乳頭陥凹意味解析画像９００は、グレースケール画像であり、その中の白色領域は、ニューラル乳頭陥凹画像範囲ＰＯＣを表す。一実施形態では、深層学習セグメンテーションネットワークＵ２は、もう１つのＵ－Ｎｅｔ深層学習セグメンテーションネットワークである。プロセッサ２０が視神経乳頭画像をもう１つのＵ－Ｎｅｔ深層学習セグメンテーションネットワーク内に入力した後、もう1つのＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって出力されたニューラル乳頭意味解析画像８００では、ニューラル乳頭陥凹画像範囲ＰＯＣは白色であり、残りは黒色である。

一実施形態では、プロセッサ２０が、視神経乳頭画像を切り出した後（ステップ６４５）、視神経乳頭画像の中心点を原点とし、極座標変換を行って、極座標変換された視神経乳頭画像を生成する。プロセッサ２０は、極座標変換された視神経乳頭画像を、深層学習セグメンテーションネットワークＵ１内に入力し、深層学習セグメンテーションネットワークＵ１は、視神経乳頭意味解析画像８００を出力する（ステップ６５０）。プロセッサ２０は、極座標変換された視神経乳頭画像を、深層学習セグメンテーションネットワークＵ２内に入力し、深層学習セグメンテーションネットワークＵ２は、視神経乳頭意味解析画像を出力する（ステップ６５５）。極座標変換された視神経乳頭画像は棒グラフであるため、深層学習セグメンテーションネットワークＵ１およびＵ２は、円グラフを認識するよりも棒グラフを認識する方が優れている。従って、極座標変換された視神経乳頭画像は、深層学習セグメンテーションネットワークＵ1およびＵ２の認識精度を向上させることができる。

一実施形態では、切り出された視神経乳頭画像、ニューラル乳頭意味解析画像８００、およびニューラル乳頭陥凹意味解析画像９００は、同次元を有する。深層学習セグメンテーションネットワークＵ１とＵ２の入力は、全て同じ切り出された視神経乳部の画像である。深層学習セグメンテーションネットワークＵ１は、ニューラル乳頭意味解析画像８００を出力し、深層学習セグメンテーションネットワークＵ２は、ニューラル乳頭陥凹意味解析画像９００を出力する。

ステップ６６０では、プロセッサ２０は、ニューラル乳頭意味解析画像８００（即ち、ニューラル乳頭画像範囲ＰＯＤ）の白色領域を、ニューラル乳頭陥凹意味解析画像９００（即ち、ニューラル乳頭陥凹画像範囲ＰＯＣ）の白色領域で分割し、陥凹乳頭径比を得る。

ステップ６７０では、プロセッサ２０は、陥凹乳頭径比および値に従って眼底画像解析情報を生成する。

一実施形態では、眼底画像解析情報は、陥凹乳頭径比、陥凹乳頭径比が正常な人間の眼の範囲内にあるかどうか、視神経線維に欠損があるかどうか（視神経線維が正常かまたは異常か）などを含む。

本発明に示される画像処理システムおよび画像処理方法は、カラー眼底画像を解析して、陥凹乳頭径比および視神経欠損の確率を計算し、眼底画像解析情報を用いて、医師が緑内障の診断にカラー眼底画像を用いるのをアシストすることができるようにする。例えば、医師が陥凹乳頭径比が正常な人間の目の範囲内に収まっており、視神経欠損の確率が５０％以下であると確認した場合、医師はまず患者が正常であると考え得る。医師が陥凹乳頭径比が正常な人間の目の範囲内に収まっておらず、視神経欠損の確率が５０％以下であると確認した場合、医師はまず患者が良性緑内障の疑いがあると考え得る。医師が陥凹乳頭径比が正常な人間の目の範囲内に収まっておらず、視神経欠損の確率が５０％以下であると確認した場合、医師はまず患者が悪性緑内障であると考え得る。医師は、患者が眼科用光干渉断層撮影を撮る必要があると考え、次いで医師は断層撮影に基づいて診断が確定されたかどうかを判断する。このようにして、画像処理システムと画像処理方法は、多くの情報を生成し、視神経欠損の確率と陥凹乳頭径比を統合して、医師が患者の緑内障の重症度を評価する助けをすることができる。

本発明の方法、またはその特定の形態または一部は、コードの形態で存在することができる。コードは、フロッピーディスク、ＣＤ－ＲＯＭ、ハードディスク、または他の機械読み取り可能な（コンピュータ読み取り可能な）記憶媒体などの物理媒体、または外部形式に限定されないコンピュータプログラム製品に含まれることもできる。コンピュータなどの機械によってプログラムコードがローディングされて実行されたとき、その機械は、本発明に関与する装置となる。コードは、ワイヤまたはケーブル、光ファイバー、または任意の伝送タイプなど、いくつかの伝送媒体を介して伝送することもできる。コードがコンピュータなどの機械によって受信され、ローディングされて実行されたとき、その機械は、本発明に関与する装置となる。汎用処理ユニットに実装されたとき、処理ユニットと組み合わされたコードは、アプリケーション固有の論理回路と同様に動作する独自の装置を提供する。

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変更や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

１００ 画像処理システム
ＰＴ 患者
１０ 検眼鏡装置
Ａ 前眼部開口
Ｂ 光色ノブ
Ｃ 鋼製リングノブ
ＤＲ 医師
ＬＫ データ伝送リンク
２０ プロセッサ
２００ 画像処理方法
２１０～２４０ ステップ
３１０ カラー眼底画像
ＥＢ 眼球
ＯＤ 視神経乳頭（ｏｐｔｉｃ ｄｉｓｃ）
ＯＣ 視神経乳頭陥凹（ｏｐｔｉｃ ｃｕｐ）
３２０ 画像セグメンテーション操作
３３０ 血管セグメンテーション画像
Ｌ 最も厚い血管画像
Ｗ 長軸に垂直なもう１つの厚い血管画像
４１０ 初期入力画像
４２０ 深層学習モデル
４３０ 視神経欠損状態
Ｕ１、Ｕ２ 深層学習セグメンテーションネットワーク
６００ 画像処理方法
６１０～６７０ ステップ
８００ ニューラル乳頭意味解析画像
ＰＯＤ ニューラル乳頭画像範囲
９００ ニューラル乳頭陥凹意味解析画像
ＰＯＣ ニューラル乳頭陥凹画像範囲

Claims (20)

1. カラー眼底画像を得るように構成された検眼鏡装置、および
   前記カラー眼底画像を受信するように構成され、コンピュータビジョンアルゴリズムまたは深層学習モデルを用いて、前記カラー眼底画像に対応する血管セグメンテーション画像を生成し、前記カラー眼底画像と前記血管セグメンテーション画像を前処理して、初期入力画像を得て、前記初期入力画像を畳み込みニューラルネットワーク内に入力し、前記畳み込みニューラルネットワークは値を出力するプロセッサを含み、
   前記プロセッサは、前記陥凹乳頭径比および値に従って眼底画像解析情報を生成する画像処理システム。
2. 前記プロセッサは、前記値が閾値より大きいかどうかを判定するためにさらに用いられ、前記値が前記閾値より大きい場合、前記カラー眼底画像は異常であると見なされ、前記値が前記閾値より大きくない場合、前記カラー眼底画像は正常であると見なされる請求項１に記載の画像処理システム。
3. 前記プロセッサは、視神経乳頭画像を前記カラー眼底画像に配置し、前記視神経乳頭画像を切り取り、前記視神経乳頭画像を第１の深層学習セグメンテーションネットワーク内に入力し、前記第１の深層学習セグメンテーションネットワークはニューラル乳頭意味解析画像を出力し、前記視神経乳頭画像を第２の深層学習セグメンテーションネットワーク内に入力し、前記第２の深層学習セグメンテーションネットワークはニューラル乳頭意味解析画像を出力し、前記ニューラル乳頭意味解析画像の白色領域を、前記ニューラル乳頭陥凹意味解析画像の白色領域で分割し、前記陥凹乳頭径比を得る請求項１に記載の画像処理システム。
4. 前記第１の深層学習セグメンテーションネットワークは、第１のＵ－Ｎｅｔ深層学習セグメンテーションネットワークであり、前記プロセッサが前記視神経乳頭画像を前記Ｕ－Ｎｅｔ深層学習セグメンテーションネットワーク内に入力したとき、前記第１のＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって出力されたニューラル乳頭意味解析画像では、前記視神経乳頭画像範囲は白色であり、残りは黒色であり、
   前記第２の深層学習セグメンテーションネットワークは、第２のＵ－Ｎｅｔ深層学習セグメンテーションネットワークであり、前記プロセッサが前記視神経乳頭画像を前記Ｕ－Ｎｅｔ深層学習セグメンテーションネットワーク内に入力したとき、前記第２のＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって出力されたニューラル乳頭陥凹意味解析画像では、前記視神経乳頭陥凹画像範囲は白色であり、残りは黒色であり、
   前記視神経乳頭画像、前記ニューラル乳頭意味解析画像、および前記ニューラル神経陥凹意味解析画像の次元は同じである請求項３に記載の画像処理システム。
5. 前記血管セグメンテーション画像は、グレースケール画像であり、前記前処理とは、前記カラー眼底画像と前記血管セグメンテーション画像を重ね合わせることを指す請求項１に記載の画像処理システム。
6. 前記プロセッサは前記カラー眼底マップ内の赤色をフィルタリングした後、次いで、赤色がフィルタリングされた前記カラー眼底画像と前記血管セグメンテーション画像を重ね合わせる請求項５に記載の画像処理システム。
7. 前記プロセッサは、前記初期入力画像をニューラルネットワーク内に入力し、前記ニューラルネットワークは、前記値を出力し、前記ニューラルネットワークは、トレーニングされていないＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって抽出された複数の特徴を分類し、次いで、分類後の前記複数の特徴が前記ニューラルネットワークに結合される請求項１に記載の画像処理システム。
8. 前記プロセッサは、前記初期入力画像をニューラルネットワーク内に入力し、前記ニューラルネットワークは前記値を出力し、前記ニューラルネットワークは、トレーニングされたＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって抽出された複数の特徴を取り出し、各前記特徴に対応する重みを固定し、完全接続層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）の重みを調整してニューラルネットワークを生成する請求項１に記載の画像処理システム。
9. 前記プロセッサが、前記視神経乳頭画像を切り出した後、前記視神経乳頭画像の中心点を原点とし、極座標変換を行って、極座標変換された視神経乳頭画像を生成し、前記プロセッサは、前記極座標変換された視神経乳頭画像を、前記第１の深層学習セグメンテーションネットワーク内に入力し、前記第１の深層学習セグメンテーションネットワークは、前記視神経乳頭意味解析画像を出力し、前記プロセッサは、前記極座標変換された視神経乳頭画像を、前記第２の深層学習セグメンテーションネットワーク内に入力し、前記第２の深層学習セグメンテーションネットワークは、前記視神経乳頭意味解析画像を出力する請求項３に記載の画像処理システム。
10. 前記プロセッサは、前記血管セグメンテーション画像内で最も厚い血管画像を選択して、前記視神経乳頭画像の長軸を決定し、長軸に垂直な次に厚い血管画像を選択して、前記視神経乳頭画像の短軸を決定し、視神経乳頭陥凹画像の長軸は前記視神経乳頭画像の長軸に平行であり、視神経乳頭陥凹画像の短軸は前記視神経乳頭画像の短軸に平行であり、前記プロセッサは、楕円フィッティングアルゴリズムを用いて、前記視神経乳頭画像の長軸および前記視神経乳頭画像の短軸に従って前記視神経乳頭画像を切り出し、前記プロセッサは、楕円フィッティングアルゴリズムを用いて、前記視神経乳頭陥凹画像の長軸および前記視神経乳頭陥凹画像の短軸に従って前記視神経乳頭画像を切り出す請求項１に記載の画像処理システム。
11. 検眼鏡装置からカラー眼底画像を得るステップ、および
    前記カラー眼底画像をプロセッサで受信し、コンピュータビジョンアルゴリズムまたは深層学習モデルを用いて、前記カラー眼底画像に対応する血管セグメンテーション画像を生成し、前記カラー眼底画像と前記血管セグメンテーション画像を前処理して、初期入力画像を得て、前記初期入力画像を畳み込みニューラルネットワーク内に入力し、前記畳み込みニューラルネットワークは値を出力するステップを含み、
    前記プロセッサは、前記陥凹乳頭径比および値に従って眼底画像解析情報を生成する画像処理方法。
12. 前記プロセッサは、前記値が閾値より大きいかどうかを判定するステップをさらに含み、
    前記値が前記閾値より大きい場合、前記カラー眼底画像は異常であると見なされ、前記値が前記閾値より大きくない場合、前記カラー眼底画像は正常であると見なされる請求項１１に記載の画像処理方法。
13. 前記プロセッサは、視神経乳頭画像を前記カラー眼底画像に配置し、前記視神経乳頭画像を切り取るステップ、
    前記視神経乳頭画像を第１の深層学習セグメンテーションネットワーク内に入力し、前記第１の深層学習セグメンテーションネットワークからニューラル乳頭意味解析画像を出力するステップ、
    前記視神経乳頭画像を第２の深層学習セグメンテーションネットワーク内に入力し、前記第２の深層学習セグメンテーションネットワークからニューラル乳頭意味解析画像を出力するステップ、および
    前記ニューラル乳頭意味解析画像の白色領域を、前記ニューラル乳頭陥凹意味解析画像の白色領域で分割し、前記陥凹乳頭径比を得るステップをさらに含む請求項１１に記載の画像処理方法。
14. 前記第１の深層学習セグメンテーションネットワークは、第１のＵ－Ｎｅｔ深層学習セグメンテーションネットワークであり、前記プロセッサが前記視神経乳頭画像を前記Ｕ－Ｎｅｔ深層学習セグメンテーションネットワーク内に入力したとき、前記第１のＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって出力されたニューラル乳頭意味解析画像では、前記視神経乳頭画像範囲は白色であり、残りは黒色であり、
    前記第２の深層学習セグメンテーションネットワークは、第２のＵ－Ｎｅｔ深層学習セグメンテーションネットワークであり、前記プロセッサが前記視神経乳頭画像を前記Ｕ－Ｎｅｔ深層学習セグメンテーションネットワーク内に入力したとき、前記第２のＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって出力されたニューラル乳頭陥凹意味解析画像では、前記視神経乳頭陥凹画像範囲は白色であり、残りは黒色であり、
    前記視神経乳頭画像、前記ニューラル乳頭意味解析画像、および前記ニューラル神経陥凹意味解析画像の次元は同じである請求項１３に記載の画像処理方法。
15. 前記血管セグメンテーション画像は、グレースケール画像であり、前記前処理とは、前記カラー眼底画像と前記血管セグメンテーション画像を重ね合わせることを指す請求項１１に記載の画像処理方法。
16. 前記カラー眼底マップ内の赤色をフィルタリングした後、次いで、赤色がフィルタリングされた前記カラー眼底画像と前記血管セグメンテーション画像を重ね合わせる請求項１５に記載の画像処理方法。
17. 前記初期入力画像をニューラルネットワーク内に入力し、前記ニューラルネットワークから前記値を出力するステップをさらに含み、
    前記ニューラルネットワークは、トレーニングされていないＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって抽出された複数の特徴を分類し、次いで、分類後の前記複数の特徴が前記ニューラルネットワークに結合される請求項１１に記載の画像処理方法。
18. 前記ニューラルネットワークが前記値を出力した後、前記初期入力画像をニューラルネットワーク内に入力するステップをさらに含み、
    前記ニューラルネットワークは、トレーニングされたＵ－Ｎｅｔ深層学習セグメンテーションネットワークによって抽出された複数の特徴を取り出し、各前記特徴に対応する重みを固定し、完全接続層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）の重みを調整してニューラルネットワークを生成する請求項１１に記載の画像処理方法。
19. 前記視神経乳頭画像を切り出した後、前記視神経乳頭画像の中心点を原点とし、極座標変換を行って、極座標変換された視神経乳頭画像を生成するステップ、
    前記極座標変換された視神経乳頭画像を、前記第１の深層学習セグメンテーションネットワーク内に入力し、前記第１の深層学習セグメンテーションネットワークから前記視神経乳頭意味解析画像を出力するステップ、および
    前記極座標変換された視神経乳頭画像を、前記第２の深層学習セグメンテーションネットワーク内に入力し、前記第２の深層学習セグメンテーションネットワークから前記視神経乳頭意味解析画像を出力するステップをさらに含む請求項１３に記載の画像処理方法。
20. 前記血管セグメンテーション画像内で最も厚い血管画像を選択して、前記視神経乳頭画像の長軸を決定するステップ、
    長軸に垂直な次に厚い血管画像を選択して、前記視神経乳頭画像の短軸を決定するステップ、
    その中の視神経乳頭陥凹画像の長軸は前記視神経乳頭画像の長軸に平行であり、視神経乳頭陥凹画像の短軸は前記視神経乳頭画像の短軸に平行であり、
    楕円フィッティングアルゴリズムを用いて、前記視神経乳頭画像の長軸および前記視神経乳頭画像の短軸に従って前記視神経乳頭画像を切り出すステップ、および
    前記プロセッサは、楕円フィッティングアルゴリズムを用いて、前記視神経乳頭陥凹画像の長軸および前記視神経乳頭陥凹画像の短軸に従って前記視神経乳頭画像を切り出すステップをさらに含む請求項１１に記載の画像処理方法。

Images