JP2021500180A - 被検体に対する眼底映像の読取を支援する方法及びそれを利用した装置 - Google Patents

Abstract

本発明は、被検体に対する眼底映像の読取を支援する方法及びそれを利用したコンピューティング装置に関する。詳しくは、本発明によつコンピューティング装置は、前記被検体の眼底映像を獲得し、前記眼底映像の属性情報を抽出するための機械学習モデルに基づいて前記眼底映像から前記属性情報を抽出し、抽出された前記属性情報を外部エンティティ（ｅｎｔｉｔｙ）に提供する。また、本発明によるコンピューティング装置は、前記抽出された属性情報に関する評価情報または属性情報の修正情報が獲得されたら、それに基づいて前記機械学習モデルを更新することもできる。【選択図】図３

Description

本発明は、被検体に対する眼底映像の読取を支援する方法及びそれを利用したコンピューティング装置に関する。詳しくは、本発明によるコンピューティング装置は、前記被検体の眼底映像を獲得し、前記眼底映像の属性情報を抽出するための機械学習モデルに基づいて前記眼底映像から前記属性情報を抽出し、抽出された前記属性情報を外部エンティティ（ｅｎｔｉｔｙ）に提供する。また、本発明によるコンピューティング装置は、前記抽出された属性情報に関する評価情報または属性情報の修正情報が獲得されたら、それに基づいて前記機械学習モデルを更新することもできる。

眼底映像は、網膜、視神経、黄斑部の異常を観察することができるため、眼科で読取用に頻繁に活用されている。しかし、眼底映像を読み取るために提供されていた従来のラベリング（ｌａｂｅｌｉｎｇ）システムは、以下のいくつかの側面で効率的または効果的ではなかった。

まず、従来のラベリングシステムは、選択項目間の論理的関係を考慮せず、不必要であるか非合理的なラベリングを行う場合があった。詳しくは、疾病間の排他的な関係が考慮されず、病理学的に不可能なラベリングを許容する場合があった。

また、従来のラベリングシステムは所見（ｆｉｎｄｉｎｇ）と診断（ｄｉａｇｎｏｓｉｓ）を混用して効率的なデータの管理が難しく、所見に対応する位置を表示するための区画の設定が眼球の構造的特性を反映しない短所があった。

よって、本発明ではこのような問題点を解決し、医療チームをしてより効率的で正確に眼底映像に対するラベリングができるように支援する眼底映像の読取支援方法及びそれを利用した装置を提案しようとする。

Ｇｏｏｄｆｅｌｌｏｗ，Ｉａｎ Ｊ．；Ｐｏｕｇｅｔ−Ａｂａｄｉｅ，Ｊｅａｎ；Ｍｉｒｚａ，Ｍｅｈｄｉ；Ｘｕ，Ｂｉｎｇ；Ｗａｒｄｅ−Ｆａｒｌｅｙ，Ｄａｖｉｄ；Ｏｚａｉｒ，Ｓｈｅｒｊｉｌ；Ｃｏｕｒｖｉｌｌｅ，Ａａｒｏｎ；Ｂｅｎｇｉｏ，Ｙｏｓｈｕａ（２０１４）．"Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ" Ｒｏｎｎｅｂｅｒｇｅｒ Ｏ．，Ｆｉｓｃｈｅｒ Ｐ．，Ｂｒｏｘ Ｔ．（２０１５）Ｕ−Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃｌａ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ．Ｉｎ：Ｎａｖａｂ Ｎ．，Ｈｏｒｎｅｇｇｅｒ Ｊ．，Ｗｅｌｌｓ Ｗ．，Ｆｒａｎｇｉ Ａ．（ｅｄｓ）Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ−ＭＩＣＣＡＩ ２０１５．Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，ｖｏｌ ９３１５．Ｓｐｒｉｎｇｅｒ，Ｃｈａｍ

本発明は、人工知能を利用して解剖学的特性を反映して区画される領域を提供することで、眼底映像読取の便宜を適用することを目的とする。

また、本発明は論理的に適切な項目のみを選別してラベリングシステムに含ませることで、疾病の排他的関係をラベリング項目に反映するだけでなく、所見と診断を互いに区分して効率的にデータがまとめられるようにすることを目的とする。

そして、本発明は、主要所見の位置的特性と眼球の構造的特性を考慮した区画設定、特に黄斑と視神経乳頭の位置を自動的に探知して区画分割を容易にすることを目的とする。

上述した本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は下記のとおりである。

本発明の一様態によると、被検体に対する眼底映像の読取を支援する方法が提供されるが、その方法は、（ａ）コンピューティング装置が、前記被検体の眼底映像を獲得するか、前記コンピューティング装置に連動される他の装置をして獲得するように支援するステップと、（ｂ）前記コンピューティング装置が、前記眼底映像の属性情報を抽出するための機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）に基づいて前記眼底映像から前記属性情報を抽出するか、前記他の装置をして抽出するように支援するステップと、（ｃ）前記コンピューティング装置が、抽出された前記属性情報を外部エンティティに提供するか、前記他の装置をして提供するように支援するステップと、を含む。

好ましくは、前記方法は、（ｄ）前記抽出された属性情報に関して評価した評価情報または前記抽出された属性情報を任意に修正した修正情報が獲得されたら、前記コンピューティング装置が、前記評価情報または前記修正情報に基づいて前記機械学習モデルを更新するか、前記他の装置をして更新するように支援するステップを更に含む。

本発明の他の一様態によると、被検体に対する眼底映像の読取を支援する方法が提供されるが、その方法は、（ａ）コンピューティング装置が、前記被検体の眼底映像を獲得するか、前記コンピューティング装置に連動される他の装置をして獲得するように支援するステップと、（ｂ）前記コンピューティング装置が、（ｉ）前記眼底映像の正常可否情報を生成するか、前記他の装置をして生成するように支援するプロセスと、（ｉｉ）少なくとも一つのユーザから前記正常可否情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行うステップと、（ｃ）前記コンピューティング装置が、前記眼底映像の個別区画を示す区画区分情報を生成するか、前記他の装置をして生成するように支援し、（ｉ）前記個別区画に対応する所見情報を生成するか、前記他の装置をして生成するように支援するプロセルと、（ｉｉ）前記少なくとも一つのユーザから前記所見情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行うステップと、（ｄ）前記コンピューティング装置が、（ｉ）前記所見情報に基づいて前記眼底映像に対する診断情報を生成するか、前記他の装置をして生成するように支援するプロセスと、（ｉｉ）前記少なくとも一つのユーザから前記眼底映像及び前記所見情報に対応する前記診断情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行うステップと、（ｅ）前記コンピューティング装置が、前記眼底映像に対する前記所見情報及び前記診断情報を貯蔵または外部エンティティに提供するか、前記他の装置をして貯蔵または提供するように支援するステップと、を含む。

本発明の他の様態によると、本発明による他の方法を行うように具現された命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含む、機械読取可能な非一時的記録媒体に貯蔵された、コンピュータプログラムも提供される。

本発明のまた他の様態によると、被検体に対する眼底映像の読取を支援する方法が提供されるが、そのコンピューティング装置は、前記被検体の眼底映像を獲得する通信部と、前記通信部を介して獲得された前記眼底映像の属性情報を抽出するための機械学習モデルに基づいて前記眼底映像から前記属性情報を抽出するか、前記通信部を介して前記他の装置をして抽出するように支援するプロセッサと、を含むが、前記プロセッサは、抽出された前記属性情報を外部エンティティに提供するか、前記他の装置をして提供するように支援する。

好ましくは、前記抽出された属性情報に関して評価した評価情報または前記抽出された属性情報を任意に修正した修正情報が前記通信部を介して獲得されたら、前記プロセッサは、前記評価情報または前記修正情報に基づいて前記機械学習モデルを更新するか、前記他の装置をして更新するように支援する。

本発明のまた他の一様態によると、被検体に対する眼底映像の読取を支援するコンピューティング装置が提供されるが、そのコンピューティング装置は、前記被検体の眼底映像を獲得する入力モジュールを具現する通信部と、（１−ｉ）前記眼底映像の正常可否情報を生成するか、前記通信部を介して連動される他の装置をして生成するように支援するプロセスと、（１−ｉｉ）前記通信部を介して少なくとも一つのユーザから前記正常可否情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行う判別モジュールを具現するプロセッサと、を含むが、前記判別モジュールは、前記眼底映像の個別区画を示す区画区分情報を生成するか、前記他の装置をして生成するように支援し、前記プロセッサは、（２−ｉ）前記個別区画に対応する所見情報を生成するか、前記他の装置をして生成するように支援するプロセスと、（２−ｉｉ）前記通信部を介して前記少なくとも一つのユーザから前記所見情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行う所見入力モジュールと、（３−ｉ）前記所見情報に基づいて前記眼底映像に対する診断情報を生成するか、前記他の装置をして生成するように支援するプロセスと、（３−ｉｉ）前記通信部を介して前記少なくとも一つのユーザから前記眼底映像及び前記所見情報に対応する前記診断情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行う診断結果入力モジュールと、前記眼底映像に対する前記所見情報及び前記診断情報を貯蔵または外部エンティティに提供するか、前記通信部を介して前記他の装置をして貯蔵または提供するように支援する貯蔵及び伝送モジュールと、を更に具現する。

本発明によると、従来の眼底映像ラベルイング方式のような論理的、病理学的に不必要であるか非合理的な読取を防止することができ、眼球の構造的特性を考慮した区画設定によって、所見に対応する位置を効果的に表示することができる効果がある。

また、本発明によると、効率的にデータをまとめることができて人工知能学習モデルのためのデータの取得が容易であり、事前に学習された情報を介して読取に容易に利用し得る初期の属性情報、例えば、両眼区分情報、黄斑及び視神経乳頭の位置情報、血管情報、Ｃ／Ｄ比（ｃｕｐ−ｔｏ−ｄｉｓｋ ｒａｔｉｏ）の情報などが提供される効果がある。

これによって、本発明には論理的、病理学的に不可能な読取をシステムから抜き出すようにして医療チームがミスをする余地を除去する効果があり、ユーザの使用経験が蓄積されるほど学習モデルが持続的に更新されることで正確度が上がる長所がある。

要するに、効率的で正確な読取を可能にすることで、医療チームの時間を節約し診療の質を上げて、医療現場におけるワークフロー（ｗｏｒｋｆｌｏｗ）を革新する効果がある。

そして、本発明によると、従来病院で利用されていた眼底撮影映像、例えば、眼底撮影機器及び医用画像保管電送システム（ＰＡＣＳ）から獲得された映像をそのまま活用することができるため、本発明の方法は、コンピュータ運営体制に従属されない。

本発明の実施例の説明に利用されるために添付された以下の図面は本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野における通常の知識を有する者（以下、「通常の技術者」という）にとっては発明的作業が行われずにこの図面に基づいて他の図面が得られる。

本発明に利用される機械学習モデルの一例示であって、ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；畳み込みニューラルネットワーク）の主要概念を示す図である。 本発明によって被検体に対する眼底映像の読取を支援する方法（以下、「眼底映像読取支援方法」という）を行うコンピューティング装置の例示的構成を概略的に示す概念図である。 本発明による眼底映像読取支援方法を行うコンピューティング装置のハードウェア及びソフトウェアアーキテクチャを例示的に示す概念図である。 本発明による眼底映像読取支援方法の一実施例において、血管の映像のみを分離して示す血管情報を例示的に示す図である。 視神経乳頭及び黄斑中心の位置を検出する従来の方式を説明するために示す図である。 本発明による眼底映像読取支援方法の一実施例において、視神経乳頭及び黄斑中心の位置を検出するための機械学習モデルを例示する図である。 本発明による眼底映像読取支援方法の一実施例において、抽出される眼底映像の区画を示す区画区分情報を例示的に示す図である。 本発明による眼底映像読取支援方法の一実施例を例示的に示すフローチャートである。 本発明による眼底映像読取支援方法の他の実施例を例示的に示すフローチャートである。 図９に例示した実施例の各ステップで提供されるユーザインタフェース（ＵＩ；ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を例示的に示す図である。 図９に例示した実施例の各ステップで提供されるユーザインタフェース（ＵＩ）を例示的に示す図である。 図９に例示した実施例の各ステップで提供されるユーザインタフェース（ＵＩ）を例示的に示す図である。 図９に例示した実施例の各ステップで提供されるユーザインタフェース（ＵＩ）を例示的に示す図である。 図９に例示した実施例の各ステップで提供されるユーザインタフェース（ＵＩ）を例示的に示す図である。 図９に例示した実施例において、所見情報から診断情報を生成する方式の一例としてベイジアンネットワークを示す図である。

後述する本発明に対する詳細な説明は、本発明の目的、技術的解法、及び長所を明確にするために、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。これらの実施例は通常の技術者が本発明を十分に実施し得るように詳細に説明される。

そして、本発明の詳細な説明及び請求項にわたって「学習」または「ラーニング」は手順によるコンピューティング（ｃｏｍｐｕｔｉｎｇ）を介して機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を行うことを意味する用語であるゆえ、人間の教育活動のような精神的作用を称するように意図されていないことを通常の技術者は理解できるはずである。

そして、本発明の詳細な説明及び請求項にわたって、「含む」という単語及びその変形は、他の技術的特徴、付加物、構成要素、またはステップを除外すると意図されていない。通常の技術者にとって本発明の他の目的、長所、及び特性は、一部は本説明書から、そして一部は本発明の実施例から明らかになるはずである。以下の例示及び図面は実例として提供され、本発明を限定するように意図されていない。

なお、本発明は、本明細書に示した実施例の全ての可能な組み合わせを網羅する。本発明の多様な実施例は、互いに異なるが相互排他的な必要はないことを理解すべきである。例えば、ここに記載されている特定の形状、構造、及び特性は、実施例に関して本発明の思想及び範囲を逸脱しないながらも他の実施例に具現されてもよい。また、それぞれの開示された実施例内の個別の構成要素の位置または配置は、本発明の思想及び範囲を逸脱しないながらも変更され得ることを理解すべきである。よって、後述する詳細な説明は限定的な意味で取られるのではなく、本発明の範囲は、適切に説明されるのであれば、その請求項が主張するものと均等な全ての範囲と共に添付した請求項によってのみ限られる。図面において、類似した参照符号は多様な側面にわたって同じであるか類似した機能を指す。

本明細書において、異なるように表示されるか明白に文脈に矛盾しない限り、単数に称された項目は、その文脈で異なるように要求されない限り、複数のものを併せる。また、本発明を説明するに当たって、関連する公知構成または機能に関する具体的な説明が本発明の要旨を不明確にする恐れがあると判断される場合、その詳細な説明は省略する。

以下、通常の技術者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について添付した図面を参照して詳細に説明する。

図１は、本発明に利用される機械学習モデルの一例示であって、ＣＮＮの主要概念を示す図である。

図１を参照すると、本発明で利用される機械学習モデルのうち、深い神経網モデルは人工神経網を多層に積み上げた形態に簡略に説明される。つまり、深い構造のネットワークという意味で深い神経網またはディープ神経網（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と表現し、図１に示したように、多層のネットワークからなる構造で多量のデータを学習させることでそれぞれの生体信号の特徴、生体信号間の関係を自動的に学習し、それを介して目的関数、つまり、致命的症状の予測正確度のエラー（ｅｒｒｏｒ）を最小化する方法でネットワークを学習させていく形態である。これは、一見人間の頭脳の神経細胞間の連結とも表現されるゆえ、このような深い神経網は人工知能の次世代モデルとして位置づけられている。

次に、図２は本発明による眼底映像読取支援方法を行うコンピューティング装置の例示的構成を概略的に示す概念図である。

図２を参照すると、本発明の一実施例によるコンピューティング装置２００は、通信部２１０及びプロセッサ２２０を含み、前記通信部２１０を介して外部コンピューティング装置（図示せず）と直間接的に通信する。

詳しくは、前記コンピューティング装置２００は、典型的なコンピュータハードウェア（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の従来のコンピューティング装置の構成要素を含む装置と、ルータ、スイッチなどのような電子通信装置と、ネットワークアタッチトストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）とコンピュータソフトウェア（つまり、コンピューティング装置をして特定の方式で機能するようにするインストラクション）の組み合わせとを利用して所望のシステム性能を達成するものである。

このようなコンピューティング装置の通信部２１０は、連動される他のコンピューティング装置と要請と応答を送受信するゆえ、一実施例としてそのような要請と応答は同じＴＣＰセッションによって行われるが、それに限らず、例えば、ＵＤＰデータグラムとして送受信されてもよい。なお、広い意味で前記通信部２１０は命令語または指示などを伝達されるためのキーボード、マウス、その他の外部入力装置を含む。

また、コンピューティング装置のプロセッサ２２０は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含む。また、運営体制、特定の目的を行うアプリケーションのソフトウェア構成を更に含んでもよい。

図３は、本発明による眼底映像読取支援方法を行うコンピューティング装置のハードウェア及びソフトウェアアーキテクチャを例示的に示す概念図である。

図３を参照して本発明による方法及び装置の構成を調べると、コンピューティング装置２００はその一構成要素として映像獲得モジュール３１０を含む。このような映像獲得モジュール３１０は、前記コンピューティング装置２００に含まれた通信部２１０、または前記通信部２１０及びプロセッサ２２０の連動によって具現されることは通常の技術者なら理解できるはずである。

映像獲得モジュール３１０は、被検体の眼底映像を獲得する。例えば、これは前記被検体の眼底映像撮影機器または医用画像保管電送システム（ＰＡＣＳ）から獲得されるが、これに限らない。大部分の眼底映像が中間映像であるため、糖尿病患者の７−ｓｅｇｍｅｎｔ ｍｏｎｔａｇｅにも対応可能である。

次に、その獲得された眼底映像は判別モジュール３２０に伝達されるが、判別モジュール３２０では機械学習モデルに基づいて眼底映像の属性情報を抽出する。

例えば、眼底映像の属性情報は、（ｉ）前記眼底映像に含まれた視神経血管の映像のみを分離して示す血管情報、（ｉｉ）前記眼底映像が左眼の映像であるのか右眼の映像であるのかを示す両眼区分情報、（ｉｉｉ）前記眼底映像に含まれた黄斑及び視神経乳頭のうち少なくとも一つの位置を示す位置情報、（ｉｖ）前記眼底映像の区画を示す区画区分情報、（ｖ）前記眼底映像によるＣ／Ｄ比の情報などを含む。

第一、前記血管情報の場合、判別モジュールの機械学習モデルは畳み込みニューラルネットワーク及びＧＡＮ（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ）を含む。

ＧＡＮに関する論文である、非特許文献１：［Ｇｏｏｄｆｅｌｌｏｗ，Ｉａｎ Ｊ．；Ｐｏｕｇｅｔ−Ａｂａｄｉｅ，Ｊｅａｎ；Ｍｉｒｚａ，Ｍｅｈｄｉ；Ｘｕ，Ｂｉｎｇ；Ｗａｒｄｅ−Ｆａｒｌｅｙ，Ｄａｖｉｄ；Ｏｚａｉｒ，Ｓｈｅｒｊｉｌ；Ｃｏｕｒｖｉｌｌｅ，Ａａｒｏｎ；Ｂｅｎｇｉｏ，Ｙｏｓｈｕａ（２０１４）．“Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ”］によると、ＧＡＮの生成器は実際と類似したデータを生成することで判別機を騙して、その類似したデータを実際データと判別するようにすることを目標とし、判別機は実際データと生成された類似データを区分することを目標とする。このＧＡＮによる学習が行われる過程において、生成器と判別機はそれぞれの目標を達成するためにネットワーク加重値を更新するが、十分に学習した後は生成器が実際と類似したデータを生成し、判別機による判別率が理論的に０．５に収束されることが明らかになっている。結果的に、ＧＡＮによって十分に学習された生成器は実際データと近いデータを生成するようになるため、機械学習におけるデータの不均衡問題が解決される。

このような畳み込みニューラルネットワーク（ＣＮＮ）とＧＡＮを共に利用する方式で十分な繰り返し（ｉｎｔｅｒａｔｉｏｎ）を経て学習を行うと、この機械学習モデルに基づいて前記視神経血管の映像が抽出されるが、図４は本発明による眼底映像読取支援方法の一実施例において、血管の映像のみを分離して示す血管情報を例示的に示す図である。

第二、前記両眼区分情報の場合、前記機械学習モデルは分画ネットワーク（ｓｅｇｍｅｎｔａｔｉｏｎ ｎｅｔｗｏｒｋｓ）を含み、前記機械学習モデルに基づいて前記眼底映像の視神経乳頭（ｏｐｔｉｃ ｄｉｓｋ）の形状及び前記視神経乳頭から出る血との走行のうち少なくとも一つを判別することで、前記視神経乳頭の形状及び前記血管の走行によって前記眼底映像の両眼区分情報が抽出される。

詳しくは、この両眼区分情報の抽出において、視神経乳頭の位置のみでは該当眼底映像が左眼の映像なのか右眼の映像なのかを判断することができないことがあるゆえ、それに対する判別の正確度を上げるために、視神経乳頭の位置のみで判断が不可能な場合の眼底映像を学習データとして利用して前記機械学習モデルの学習を行った。右眼の場合、眼科で通常に撮影する映像はその中央に焦点が合わせられるため視神経乳頭が右側にあるが、学習データには右眼であるにも関わらず、視神経乳頭が左側または下側に位置するイメージを含ませることで、両眼区分の正確度を上げることができる。

眼底映像の個別チャネル（ｃｈａｎｎｅｌ）のｚ−ｓｃｏｒｅ（標準化点数）を求めて畳み込みニューラルネットワークの入力として利用するが、ｚ−ｓｃｏｒｅは下記数式１のようである。

このｚ−ｓｃｏｒｅを利用することで眼底映像の明るさ（ｉｎｔｅｎｓｉｔｙ）や明暗（ｃｏｎｔｒａｃｔ）に影響を受けずに、完全に映像に現れた形態情報を利用して両眼を区分することができる。ここに利用される例示的な分画ネットワークの形態は以下のようである。

ｃｏｎｖ（２）−ｃｏｎｖ−ｍａｘｐｏｏｌ（２）−ｃｏｎｖ（２）−ｃｏｎｖ−ｃｏｎｖ−ｍａｘｐｏｏｌ（２）−ｃｏｎｖ−ｃｏｎｖ−ｃｏｎｖ−ｍａｘｐｏｏｌ（２２）−ｃｏｎｖ−ｃｏｎｖ−ｃｏｎｖ−ｍａｘｐｏｏｌ（２）−ｃｏｎｖ−ｃｏｎｖ−ｄｅｎｓｅ（２５６）−ｄｅｎｓｅ（１）

ここで、入力データは５１２×５１２のｚ−ｓｃｏｒｅで変換されたＲＧＢ映像であり、ｃｏｎｖとｍａｘｐｏｏｌのｓｔｒｉｄｅは（ｘ）で表現されている。また、ここで、活性化（ａｃｔｉｖａｔｉｏｎ）関数はｓｌｅｕが、最後のｄｅｎｓｅ ｌａｙｅｒにはｓｉｇｍｏｉｄが利用されており、損失（ｌｏｓｓ）関数としてはｂｉｎａｒｙ ｃｒｏｓｓ ｅｎｔｒｏｐｙが利用されている。

次に、第三、前記位置情報の場合、前記機械学習モデルは分画ネットワークを含み、それに基づいて前記黄斑及び前記視神経乳頭のうち少なくとも一つの位置が抽出される。

図５は視神経乳頭及び黄斑中心の位置を検出する従来の方式を説明するために示した図であるが、視神経乳頭及び黄斑は眼底映像読取の際に基準点の役割をし、従来は黄斑の位置をＯＣＴ（ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ）撮影を介して検出しおり、視神経乳頭は眼底映像で明るくて鮮明に現わされる部分であってその位置の判定が比較的容易なため、視神経乳頭は眼底映像から検出していた。このような従来の技法とは異なって、本発明ではＯＣＴ撮影映像を利用せずも黄斑と視神経乳頭の位置をいずれも眼底映像から検出することができる。

図６は、本発明による眼底映像読取支援方法の一実施例において、視神経乳頭及び黄斑中心の位置を検出するための機械学習モデルを例示する図である。

詳しくは、この視神経乳頭及び黄斑中心位置の検出において、正常の眼底映像だけでなく病変がある眼底映像に対しても利用専門家がラベリング（詳しくは、位置座標をつける）したデータを学習データとして利用して前記機械学習モデルの学習を行っているが、機械学習モデルの一例として、非特許文献２：［Ｒｏｎｎｅｂｅｒｇｅｒ Ｏ．，Ｆｉｓｃｈｅｒ Ｐ．，Ｂｒｏｘ Ｔ．（２０１５）Ｕ−Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃｌａ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ．Ｉｎ：Ｎａｖａｂ Ｎ．，Ｈｏｒｎｅｇｇｅｒ Ｊ．，Ｗｅｌｌｓ Ｗ．，Ｆｒａｎｇｉ Ａ．（ｅｄｓ）Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ−ＭＩＣＣＡＩ２０１５．Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，ｖｏｌ ９３１５．Ｓｐｒｉｎｇｅｒ，Ｃｈａｍ］に開示されているように、パッディング（ｐａｄｄｉｎｇ）の形態、層（ｌａｙｅｒ）の個数、個別層の深さ（ｄｅｐｔｈ）をパラメータとするＵ−Ｎｅｔで利用されたｄｅｐｔｈ ｃｏｎｃａｔｅｎａｔｉｏｎ技法が活用される。その具体的なネットワークの形態は図６に示した通りである。

図６に示したこのネットワークでは、６４０×６４０のＲＧＢ映像に対して個別チャネルごとにｚ−ｓｃｏｒｅを求め、分画（ｓｅｇｍｅｎｔ）された血管（ｖｅｓｓｅｌ）を入力として利用し、ｂａｔｃｈ−ｎｏｒｍａｌｉｚａｔｉｏｎが利用されており、損失関数としてはｂｉｎａｒｙ ｃｒｏｓｓ ｅｎｔｒｏｐｙが利用されている。図６において、ｏｐｅｒａｔｉｏｎは個別ｂｌｏｃｋの演算（ｏｐｅｒａｔｉｏｎ）を示し、ｓｋｉｐ−ｃｏｎｎｅｃｔｅｄはＵ−Ｎｅｔにおいてｄｅｐｔｈ ｃｏｎｃａｔ ｌａｙｅｒを意味し、ｕｐｓａｍｐｌｅはｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎで長さと幅をそれぞれ２倍に増やしたことを意味する。

第四、前記区画区分情報の場合、前記機械学習モデルは分画ネットワークを含み、それに基づいて前記黄斑及び前記視神経乳頭の位置が抽出されることで、前記黄斑の中心位置及び前記視神経乳頭の中心位置に基づいて前記眼底映像を個別区画に区分する情報である前記区画区分情報が抽出される。好ましくは、前記個別区画は３つ以上に構成されるが、医療チームの必要に応じて多様に構成されてもよい。

個別区画を区分する一実施例として、前記個別区画は、黄斑（ｍａｃｕｌａ）領域、視神経乳頭上側（ｓｕｐｅｒｉｏｒ ｄｉｓｋ）領域、視神経乳頭下側（ｉｎｆｅｒｉｏｒ ｄｉｓｋ）領域、外側（ｔｅｍｐｏｒａｌ）領域、上外側（ｓｕｐｅｒｏｔｅｍｐｏｒａｌ）領域、下外側（ｉｎｆｅｒｏｔｅｍｐｏｒａｌ）領域、上鼻側（ｓｕｐｅｒｏｎａｓａｌ）領域、及び下鼻側（ｉｎｆｅｒｏｎａｓａｌ）領域を含む。

図７は、この実施例で抽出される眼底映像の区画を示す区画区分情報を例示的に示す図である。

図７を参照すると、前記黄斑領域は、前記黄斑の中心位置と前記視神経乳頭の中心位置との間の距離がｄであれば、０＜ｋ１≦１を満足する所定のｋ１に対し、ｋ１×ｄを半径にし、前記黄斑の中心位置を中心点とする黄斑中心円の内部領域である。

また、前記視神経乳頭上側領域は、前記距離ｄ及び０＜ｋ２≦１を満足する所定のｋ２に対し、ｋ２×ｄを半径にし、前記視神経乳頭の中心位置を中心点とする視神経乳頭中心円の内部領域である視神経乳頭領域が、前記黄斑の中心位置と前記視神経乳頭の中心位置を通る直線ｌ１によって分割される領域のうち上側の領域である。

そして、前記視神経乳頭下側領域は、前記視神経乳頭領域が前記直線ｌ１によって分割される領域のうち下側の領域である。

また、前記上鼻側領域は、前記直線ｌ１に垂直に前記視神経乳頭の中心位置を通る直線ｌ２及び前記直線ｌ１によって分割される領域のうち、前記黄斑から遠い上側の領域から前記視神経乳頭上側領域を除外した領域である。

次に、前記下鼻側領域は、前記直線ｌ２及び前記直線ｌ１によって分割される領域のうち、前記黄斑から遠い下側の領域から前記視神経乳頭下側領域を除外した領域である。

また、前記外側領域は、前記直線ｌ１に平行し前記黄斑中心円に接するが前記視神経乳頭から遠くなる方向に延長される２つの半直線ｌ３及びｌ４と前記黄斑中心円によって分割される領域のうち、前記直線ｌ１を含む領域から前記黄斑領域を除外した領域である。

前記上外側領域は、前記直線ｌ２及び前記直線ｌ１によって分割される領域のうち、前記黄斑に近い上側の領域のから前記視神経乳頭上側領域、前記黄斑領域、及び前記外側領域を除外した領域である。

そして、前記下外側領域は、前記直線ｌ２及び前記直線ｌ１によって分割される領域のうち、前記黄斑に近い下側の領域から前記視神経乳頭下側領域、前記黄斑領域、及び前記外側領域を除外した領域である。

好ましくはｋ１＝２／３、ｋ２＝２／５であり、その結果は図７に例示的に示した通りである。

第五、前記Ｃ／Ｄ比情報である場合、前記機械学習モデルは分画ネットワークを含み、それに基づいて視神経乳頭及び眼杯（ｏｐｔｉｃ ｃｕｐ）を識別することで前記Ｃ／Ｄ比が抽出される。

眼底読取の臨床において、眼杯は視神経乳頭の内側に血管が脳の方に連結された部分を意味し、視神経束が眼杯と視神経乳頭との間に入るため、Ｃ／Ｄ比が高ければ視神経の損傷を意味し、これは緑内障を疑う一つの根拠となり得る。

ここで利用された分画ネットワークモデルは、例えば、ＶＧＧ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ）ネットワーク形態の畳み込みブロック（ｃｏｎｖｏｌｕｔｉｏｎ ｂｌｏｋ）を積層し、その畳み込みブロックに完全連結層（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を連結したモデルあり、それを介して緑内障が高い正確度で自動的に読み取られる（ＲＯＣ＿ＡＵＣ ０．８６１７以上）。

上述したように、判別モジュール３２０で利用される機械学習モデルの学習は判別モジュール３２０で行われてもよく、別途の学習モデル３３０によって学習されてもよい。

機械学習モデルに基づいて個別眼底映像に関して属性情報が抽出されたら、その属性情報は貯蔵及び伝送モジュール３４０を介して貯蔵されるか、外部エンティティに提供されるが、コンピューティング装置２００に連動される他の装置（図示せず）に提供される。

更に図３を参照すると、前記抽出された属性情報に関して評価した評価情報及び抽出された属性情報を任意に修正した修正情報を獲得する結果入力モジュール３５０、及び前記評価情報または前記修正情報に基づいて前記機械学習モデルを更新する更新モジュール３６０がコンピューティング装置２００の構成要素として更に提供されるが、このようなモジュール３１０乃至３６０は通信部２１０及びプロセッサ２２０によって具現される。

より詳しくは、前記結果入力モジュール３５０は、後述する眼底映像読取支援方法の第２実施例で所見入力モジュール３５２（図示せず）及び診断結果入力モジュール３５４（図示せず）を更に含む。

以下、本発明による眼底映像読取支援方法の第１実施例を図８を参照して詳しく説明する。図８は、本発明の第１実施例による眼底映像読取支援方法を例示的に示すフローチャートである。

図８を参照すると、この実施例による眼底映像読取支援方法は、前記図３に関して説明したように、まず、コンピューティング装置２００の通信部２１０によって具現される映像獲得モジュール３１０が、前記被検体の眼底映像を獲得するか、コンピューティング装置２００に連動される他の装置（図示せず）をして獲得するように支援するステップＳ８１０を含む。

次に、本発明の一実施例による眼底映像読取支援方法は、前記コンピューティング装置２００のプロセッサ２２０によって具現される判別モジュール３２０が、前記眼底映像の属性情報を抽出するための機械学習モデルに基づいて前記眼底映像から前記属性情報を抽出するか、前記他の装置をして抽出するように支援するステップＳ８２０と、前記コンピューティング装置２００の通信部２１０及びプロセッサ２２０によって具現される貯蔵及び伝送モジュール３４０が抽出された前記属性情報を外部エンティティに提供するか、前記他の装置をして提供するように支援するステップＳ８３０と、を更に含む。

ここで、外部エンティティとは前記コンピューティング装置のユーザ、管理者、前記被検体を担当する担当医療専門家などを含むが、その他にも前記眼底映像を読み取ることができる主体であればどの主体でも含まれると理解すべきである。

一方、この実施例による眼底映像読取支援方法を行う前に、前記機械学習モデルが予め学習されるステップ（図示せず）を経る必要があるが、そのための学習モジュール３３０が前記プロセッサ２２０によって実行される。

例えば、前記学習モジュール３３０は、多数の従来の被検体に対する個別眼底映像及びそれをラベリングしたデータを学習データとして利用して前記機械学習モデルを学習する。

この実施例では、予め学習された機械学習モデルに基づいて眼底映像の読み取りを支援するが、抽出された属性情報を評価するか、修正した情報を更に前記機械学習モデルに対する再学習の資料とする活用すれば前記機械学習モデルがより正確になる長所があるため、このような長所を取るために、本発明のこの実施例による眼底映像読取支援方法は、前記プロセッサ２２０が、前記抽出された属性情報に関して評価した評価情報または前記抽出された属性情報を任意に修正した修正情報を結果入力モジュール３５０を介して獲得し、前記評価情報または前記修正情報に基づいて更新モジュール３６０を介して前記機械学習モデルを更新するか、前記他の装置をして更新するように支援するステップＳ８４０を更に含む。この際、以前の学習では考慮されていなかった眼底映像及びラベリングデータが追加に考慮され、以前の学習の際にあったエラーを直すことができて、前記機械学習モデルの正確度が上がるゆえ、データが蓄積されるほど前記機械学習の性能が持続的に向上される長所がある。

ここで、前記評価情報、前記修正情報は前記医療専門家などの外部エンティティから提供される。

次に、図９及び図１０ａ乃至図１０ｅを参照して、本発明による眼底映像読取支援方法の第２実施例を説明する。

図９は本発明による眼底映像読取支援方法の第２実施例を例示的に示すフローチャートであり、図１０ａ乃至図１０ｅは図９に例示した実施例の各ステップで提供されるユーザインタフェース（ＵＩ）を例示的に示す図である。

図９を参照すると、この第２実施例による眼底映像読取支援方法は、まず、コンピューティング装置２００の通信部２１０によって具現される映像獲得モジュール３１０が、前記被検体の眼底映像を獲得するか、前記コンピューティング装置２００に連動される他の装置をして獲得するように支援するステップＳ９１０を含む。

図１０ａに例示的に示したように、このステップＳ９１０において、ユーザ、つまり、読取者の便宜のために前記被検体の識別番号、年齢、性別、及び前記眼底映像の両眼区分情報のうち少なくとも一つがユーザに提供される。また、読取は多数のユーザによって行われてもよく、この実施例にの方法によって眼底映像の読取を支援する少なくとも一つのユーザは、全体Ｍ個のユーザグループのうち第ｎユーザグループに含まれたｋｎ名のユーザのうちから選択されることで、一つの前記眼底映像に対して多数の読取が行われることができ、それを介して読取結果としてのラベリングデータに対する交差検証が行われる。

更に図９を参照すると、この実施例による眼底映像読取支援方法は、前記コンピューティング装置２００のプロセッサ２２０によって具現される判別モジュール３２０が、（ｉ）前記眼底映像の正常可否を生成するか、前記他の装置をして生成するように支援するプロセスと、（ｉｉ）少なくとも一つのユーザから前記正常可否情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとの うち少なくとも一つを行うステップＳ９２０を更に含む。

図１０ｂに例示的に示したように、ここで前記正常可否情報は、異常眼底（ａｂｎｏｒｍａｌ ｆｕｎｄｕｓ）及び正常眼底（ｎｏｒｍａｌ ｆｕｎｄｕｓ）のうち一つである。例えば、このうちから正常眼底が選択される場合、該当眼底映像に対するこの実施例の方法が完了されてから次の眼底映像がローディング（ｌｏａｄｉｎｇ）される。

ところが、ステップＳ９２０の前に、前記眼底映像の品質が先に評価されるべきである場合、前記眼底映像読取支援方法は、前記判別モジュール３２０が、（ｉ）前記眼底映像の品質を評価する映像品質情報を生成するか、前記他の装置をして生成するように支援するプロセスと、（ｉｉ）前記少なくとも一つのユーザから前記映像品質情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうちから少なくとも一つを行うステップＳ９１５（図示せず）を更に含む。

図１０ａに例示的に示したように、ここで前記映像品質情報は、良好、媒体混濁（ｍｅｄｉａ ｏｐａｃｉｔｙ）、小さい瞳孔／焦点ぼけ（ｓｍａｌｌ ｐｕｐｉｌ／ｄｅｆｏｃｕｓｉｎｇ）、及び判定不可（ｕｎｇｒａｄａｂｌｅ）のうち少なくとも一つを含む。例えば、このうちから判定不可が選択される場合、該当眼底映像に対するこの実施例の方法が完了されてから次の眼底映像がローディングされる。

ステップＳ９２０を行った後、この実施例による前記眼底映像読取支援方法は、前記コンピューティング装置２００のプロセッサ２２０が、前記判別モジュール３２０を介して、前記眼底映像の個別区画を示す区画区分情報を生成するか、前記他の装置をして生成するように支援し、前記所見入力モジュール３５２を介して、（ｉ）前記個別区画に対応する所見情報を生成するか、前記他の装置をして生成するように支援するプロセスと、（ｉｉ）前記通信部２１０を介して前記少なくとも一つのユーザから前記所見情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行うステップＳ９３０を更に含む。

図１０ｃに例示的に示したように、ここで眼底映像の個別区画に対応する所見情報は、出血、硬性滲出物、棉花状白斑、ドルーゼン及びドルーゼノイド沈着物（ｄｒｕｓｅｎ＆ｄｒｕｓｅｎｏｉｄ ｄｅｐｏｓｉｔｓ）、網膜色素変化（ｒｅｔｉｎａｌ ｐｉｇｍｅｎｔａｒｙ ｃｈａｎｇｅ）を含むが、これに限らず、ｍａｃｕｌａｒ ｈｏｌｅ、ｖａｓｃｕｌａｒ ａｂｎｏｒｍａｌｉｔｙ、ｍｅｍｂｒａｎｅ、ｆｌｕｉｄ ａｃｃｕｍｕｌａｔｉｏｎ、ｃｈｒｏｉｏｒｅｔｉｎａｌ ａｔｒｏｐｈｙ／ｓｃａｒ、ｃｈｏｒｏｉｄａｌ ｌｅｓｉｏｎ、ｍｙｅｌｉｎａｔｅｄ ｎｅｒｖｅ ｆｉｂｅｒ、ＲＮＦＬ ｄｅｆｅｃｔ、ｇａｌｕｃｏｍａｔｏｕｓ ｄｉｓｃ ｃｈａｎｇｅ、ｎｏｎ−ｇａｌｕｃｏｍａｔｏｕｓ ｄｉｓｃ ｃｈａｎｇｅ、ｏｔｈｅｒ ｆｉｄｉｎｇｓ ｏｒ ａｒｔｉｆａｃｔなどを含む。

次に、この実施例による前記眼底映像読取支援方法は、前記コンピューティング装置２００のプロセッサ２２０が、前記診断結果入力モジュール３５４を介して、（ｉ）前記所見情報に基づいて前記眼底映像に対する診断情報を生成するか、前記他の装置をして生成するように支援するプロセスと、（ｉｉ）前記少なくとも一つのユーザから前記眼底映像及び前記所見情報に対応する前記診断情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行うステップＳ９４０を更に含む。

図１０ｄに例示的に示したように、ここで診断情報は、Ｄｒｙ ＡＭＤ、Ｗｅｔ ＡＭＤ、Ｅａｒｌｙ ＤＲ、Ａｄｖａｎｃｅｄ ＤＲ、ＣＲＶＯ、ＢＲＶＯ／Ｈｅｍｉ−ＣＲＶＯ、Ｅｐｉｒｅｔｉｎａｌ ｍｅｍｂｒａｎｅ、Ｍａｃｕｌａｒ Ｈｏｌｅ、Ｏｔｈｅｒ Ｒｅｔｉｎａｌ／Ｃｈｏｒｏｉｄａｌ Ｄｉｓｅａｓｅｓ／Ｆｉｎｄｉｎｇｓ、Ｇｌａｕｃｏｍａ Ｓｕｓｐｅｃｔ、Ｏｔｈｅｒ Ｄｉｓｃ Ｄｉｓｅａｓｅｓ／Ｆｉｎｄｉｎｇｓ、Ｆｌｏａｔｅｒｓ／Ａｒｔｉｆａｃｔｓ Ｓｕｓｐｅｃｔを含む。

このような診断情報は一つだけでなく多数個が選択されてもよい。但し、この診断情報の間には排他的関係があるゆえ、Ｄｒｙ ＡＭＤとＷｅｔ ＡＭＤの選択は互いに排他的で、Ｅａｒｌｙ ＤＲとＡｄｖａｎｃｅｄ ＤＲの選択も互いに排他的で、ＣＲＶＯとＢＲＶＯ／Ｈｅｍｉ−ＣＲＶＯの選択も互いに排他的である。これは論理的、病理学的に不必要であるか非合理的な読取を防止するためである。

上述したように、所見情報に基づいて診断情報を生成する機械学習モデルにＣＮＮなどディープラーニング技法が利用されてもよいが、ベイジアンネットワークのように従来よく知られているその他の統計方法が活用されてもよい。

図１１は、図９に例示した実施例において、所見情報から診断情報を生成する方式の一つとしてベイジアンネットワークを示す図である。

ベイジアンネットワークは入力値である所見情報から最終的な診断情報を確率的に推論するのに利用されるゆえ、図１１に例示的に示した各ノード間の連結はその確率値に対応する。

次に、本発明のこの実施例による眼底映像読取支援方法は、前記プロセッサ２２０が、貯蔵及び伝送モジュール３４０を介して前記眼底映像に対する前記所見情報及び前記診断情報を貯蔵または外部エンティティに提供するか、前記他の装置をして貯蔵または提供するように支援するステップＳ９５０を更に含む。

図１０ｅに例示的に示したユーザインタフェースのように、ステップＳ９５０において、前記少なくとも一つのユーザの選択によって前記眼底映像に対する所見情報及び前記診断情報を眼科医に提供することで、前記眼科医をして前記所見情報及び前記診断情報を修正するように支援することもできる。

第１実施例と同じく、第２実施例による眼底映像読取支援方法も、所見情報及び診断情報に関して評価情報または機械学習モデルによって判定された所見情報及び診断情報を任意に修正した修正情報を所見入力モジュール３５２または診断結果入力モジュール３５４を介して獲得し、前記評価情報または前記修正情報に基づいて更新モジュール３６０を介して前記機械学習モデルを更新するか、前記他の装置をして更新するように支援するステップＳ９６０（図示せず）を更に含む。この際、以前の学習の際にあったエラーを直すことができて、前記機械学習モデルの正確度が上がるゆえ、データが蓄積されるほど前記機械学習モデルの性能が持続的に向上される長所がある。

このように本発明は上述した全ての実施例にわたって、従来の医療専門家がその経験や知識に依存して一々眼底映像を読み取ることに比べ効率的で正確な読取を可能にすることで、医療チームの時間を節約し、診療の質を上げ、医療現場におけるワークフローを革新することができる効果がある。

前記実施例の説明に基づいて該当技術分野の通常の技術者は、本発明がソフトウェア及びハードウェアの結合を介して達成されるか、ハードウェアのみで達成されることを明確に理解できるはずである。本発明の技術的解法及び対象物、または先行技術に寄与する部分は、多様なコンピュータ構成要素を介して行われるプログラム命令語の形態で具現されて機械で読取可能な記録媒体に記録される。前記機械で読取可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独にまたは組み合わせて含む。前記機械で読取可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の通常の技術者に公知されて使用可能なものであってもよい。機械で読取可能な記録媒体としては、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ)のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ)、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を貯蔵し行うように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例としては、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードも含まれる。

前記ハードウェア装置は、本発明による処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成されるが、その逆も同じである。前記ハードウェア装置は、プログラム命令語を貯蔵するためのＲＯＭ／ＲＡＭなどのようなメモリと結合され、前記メモリに貯蔵された命令語を実行するように構成されるＣＰＵやＧＰＵのようなプロセッサを含み、外部装置と信号を交換する通信部を含む。なお、前記ハードウェア装置は開発者によって作成された命令語を伝達されるためのキーボード、マウス、その他の外部入力装置を含む。

これまで本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限らないものであって、本発明の属する技術分野の通常的な知識を有する者であれば、このような記載から多様な修正及び変形を図ることができるはずである。

よって、本発明の思想は上述した実施例に限って決められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等にまたは等価的に変形された全てのものは本発明の思想の範疇に属するといえる。

そのように均等にまたは等価的に変形されたものには、例えば、本発明による他の方法を実施したことと同じ結果を出す、論理的に同値（ｌｏｇｉｃａｌｌｙ ｅｑｕｉｖａｌｅｎｔ）の方法が含まれる。

Claims (19)

1. 被検体に対する眼底映像の読取を支援する方法において、
   （ａ）コンピューティング装置が、前記被検体の眼底映像を獲得するか、前記コンピューティング装置に連動される他の装置をして獲得するように支援するステップと、
   （ｂ）前記コンピューティング装置が、前記眼底映像の属性情報を抽出するための機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）に基づいて前記眼底映像から前記属性情報を抽出するか、前記他の装置をして抽出するように支援するステップと、
   （ｃ）前記コンピューティング装置が、抽出された前記属性情報を外部エンティティ（ｅｎｔｉｔｙ）に提供するか、前記他の装置をして提供するように支援するステップと、
   を含む眼底映像読取支援方法。
2. （ｄ）前記抽出された属性情報に関して評価した評価情報または前記抽出された属性情報を任意に修正した修正情報が獲得されたら、前記コンピューティング装置が、前記評価情報または前記修正情報に基づいて前記機械学習モデルを更新するか、前記他の装置をして更新するように支援するステップ
   を更に含む請求項１に記載の眼底映像読取支援方法。
3. 前記眼底映像の属性情報は、
   前記眼底映像が左眼の映像であるのか右眼の映像であるのかを示す両眼区分情報、
   前記眼底映像に含まれた黄斑及び視神経乳頭のうち少なくとも一つの位置を示す位置情報、
   前記眼底映像の区画を示す区画区分情報、
   前記眼底映像に含まれた視神経血管の映像のみを分離して示す血管情報、及び
   前記眼底映像によるＣ／Ｄ比（ｃｕｐ−ｔｏ−ｄｉｓｋ ｒａｔｉｏ）の情報
   のうち少なくとも一つを含むことを特徴とする請求項１に記載の眼底映像読取支援方法。
4. 前記属性情報が前記血管情報である場合、
   前記機械学習モデルは畳み込みニューラルネットワーク（ＣＮＮ；ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）及びＧＡＮ（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ）を含み、
   前記視神経血管の映像は前記機械学習モデルに基づいて抽出されることを特徴とする請求項３に記載の眼底映像読取支援方法。
5. 前記属性情報が前記両眼区分情報である場合、
   前記機械学習モデルは分画ネットワーク（ｓｅｇｍｅｎｔａｔｉｏｎ ｎｅｔｗｏｒｋｓ）を含み、
   前記機械学習モデルに基づいて前記眼底映像の視神経乳頭（ｏｐｔｉｃ ｄｉｓｋ）の形状及び前記視神経乳頭から出る血管の走行のうち少なくとも一つを判別することで、前記視神経乳頭の形状及び前記血管の走行によって前記眼底映像の両眼区分情報が抽出されることを特徴とする請求項３に記載の眼底映像読取支援方法。
6. 前記属性情報が前記位置情報である場合、
   前記機械学習モデルは分画ネットワークを含み、
   前記黄斑及び前記視神経乳頭のうち少なくとも一つの位置は前記機械学習モデルに基づいて抽出されることを特徴とする請求項３に記載の眼底映像読取支援方法。
7. 前記属性情報が前記区画区分情報である場合、
   前記機械学習モデルは分画ネットワークを含み、
   前記黄斑及び前記視神経乳頭の位置は前記機械学習モデルに基づいて抽出されることで、前記黄斑の中心位置及び前記視神経乳頭の中心位置に基づいて前記眼底映像を３つ以上の個別区画に区分する情報である前記区画区分情報が抽出されることを特徴とする請求項３に記載の眼底映像読取支援方法。
8. 前記個別区画は、黄斑領域、視神経乳頭上側領域、視神経乳頭下側領域、外側（ｔｅｍｐｏｒａｌ）領域、上外側（ｓｕｐｅｒｏｔｅｍｐｏｒａｌ）領域、下外側（ｉｎｆｅｒｏｔｅｍｐｏｒａｌ）領域、上鼻側（ｓｕｐｅｒｏｎａｓａｌ）領域、及び下鼻側（ｉｎｆｅｒｏｎａｓａｌ）領域を含み、
   前記黄斑領域は、
   前記黄斑の中心位置と前記視神経乳頭の中心位置との間の距離ｄ、及び０＜ｋ１≦１を満足する所定のｋ１に対し、ｋ１×ｄを半径にし、前記黄斑の中心位置を中心点とする黄斑中心円の内部領域であり、
   前記視神経乳頭上側領域は、
   前記距離ｄ及び０＜ｋ２≦１を満足する所定のｋ２に対し、ｋ２×ｄを半径にし、前記視神経乳頭の中心位置を中心点とする視神経乳頭中心円の内部領域である視神経乳頭領域が、前記黄斑の中心位置と前記視神経乳頭の中心位置を通る直線ｌ１によって分割される領域のうち上側の領域であり、
   前記視神経乳頭下側領域は、
   前記視神経乳頭領域が前記直線ｌ１によって分割される領域のうち下側の領域であり、
   前記上鼻側領域は、
   前記直線ｌ１に垂直に前記視神経乳頭の中心位置を通る直線ｌ２及び前記直線ｌ１によって分割される領域のうち、前記黄斑から遠い上側の領域から前記視神経乳頭上側領域を除外した領域であり、
   前記下鼻側領域は、
   前記直線ｌ２及び前記直線ｌ１によって分割される領域のうち、前記黄斑から遠い下側の領域から前記視神経乳頭下側領域を除外した領域であり、
   前記外側領域は、
   前記直線ｌ１に平行し前記黄斑中心円に接するが前記視神経乳頭から遠くなる方向に延長される２つの半直線ｌ３及びｌ４と前記黄斑中心円によって分割される領域のうち、前記直線ｌ１を含む領域から前記黄斑領域を除外した領域であり、
   前記上外側領域は、
   前記直線ｌ２及び前記直線ｌ１によって分割される領域のうち、前記黄斑に近い上側の領域のから前記視神経乳頭上側領域、前記黄斑領域、及び前記外側領域を除外した領域であり、
   前記下外側領域は、前記直線ｌ２及び前記直線ｌ１によって分割される領域のうち、前記黄斑に近い下側の領域から前記視神経乳頭下側領域、前記黄斑領域、及び前記外側領域を除外した領域であることを特徴とする請求項７に記載の眼底映像読取支援方法。
9. 前記属性情報が前記Ｃ／Ｄ比情報である場合、
   前記機械学習モデルは分画ネットワークを含み、
   前記機械学習モデルに基づいて視神経乳頭及び眼杯（ｏｐｔｉｃ ｃｕｐ）を識別することで前記Ｃ／Ｄ比が抽出されることを特徴とする請求項３に記載の眼底映像読取支援方法。
10. 被検体に対する眼底映像の読取を支援する方法において、
    （ａ）コンピューティング装置が、前記被検体の眼底映像を獲得するか、前記コンピューティング装置に連動される他の装置をして獲得するように支援するステップと、
    （ｂ）前記コンピューティング装置が、（ｉ）前記眼底映像の正常可否情報を生成するか、前記他の装置をして生成するように支援するプロセスと、（ｉｉ）少なくとも一つのユーザから前記正常可否情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行うステップと、
    （ｃ）前記コンピューティング装置が、前記眼底映像の個別区画を示す区画区分情報を生成するか、前記他の装置をして生成するように支援し、（ｉ）前記個別区画に対応する所見情報を生成するか、前記他の装置をして生成するように支援するプロセルと、（ｉｉ）前記少なくとも一つのユーザから前記所見情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行うステップと、
    （ｄ）前記コンピューティング装置が、（ｉ）前記所見情報に基づいて前記眼底映像に対する診断情報を生成するか、前記他の装置をして生成するように支援するプロセスと、（ｉｉ）前記少なくとも一つのユーザから前記眼底映像及び前記所見情報に対応する前記診断情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行うステップと、
    （ｅ）前記コンピューティング装置が、前記眼底映像に対する前記所見情報及び前記診断情報を貯蔵または外部エンティティに提供するか、前記他の装置をして貯蔵または提供するように支援するステップと、
    を含む眼底映像読取支援方法。
11. 前記ステップ（ｂ）の前に、
    （ｂ０）前記コンピューティング装置が、（ｉ）前記眼底映像の品質を評価する映像品質情報を生成するか、前記他の装置をして生成するように支援するプロセスと、（ｉｉ）前記少なくとも一つのユーザから前記映像品質情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうちから少なくとも一つを行うステップ
    を更に含むことを特徴とする請求項１０に記載の眼底映像読取支援方法。
12. 前記ステップ（ａ）は、
    前記被検体の識別番号、年齢、性別、及び前記眼底映像の両眼区分情報のうち少なくとも一つが前記少なくとも一つのユーザに提供されることを特徴とする請求項１０に記載の眼底映像読取支援方法。
13. 前記少なくとも一つのユーザは、全体Ｍ個のユーザグループのうち第ｎユーザグループに含まれたｋｎ名のユーザのうちから選択されることで、一つの前記眼底映像に対して多数の読取が行われることを特徴とする請求項１０に記載の眼底映像読取支援方法。
14. 前記ステップ（ｃ）は、
    生成された前記区画区分情報が前記少なくとも一つのユーザに提供されることで、前記区画区分情報の前記少なくとも一つのユーザによる修正を可能にすることを特徴とする請求項１０に記載の眼底映像読取支援方法。
15. コンピューティング装置をして、請求項１に乃至請求項１４のうちいずれか一項に記載の方法を行うように具現された命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含む、機械読取可能な非一時的記録媒体に貯蔵された、コンピュータプログラム。
16. 被検体に対する眼底映像の読取を支援するコンピューティング装置において、
    前記被検体の眼底映像を獲得する通信部と、
    前記通信部を介して獲得された前記眼底映像の属性情報を抽出するための機械学習モデルに基づいて前記眼底映像から前記属性情報を抽出するか、前記通信部を介して連動される他の装置をして抽出するように支援するプロセッサと、
    を含むが、
    前記プロセッサは、
    抽出された前記属性情報を外部エンティティに提供するか、前記他の装置をして提供するように支援することを特徴とする眼底映像読取支援装置。
17. 前記抽出された属性情報に関して評価した評価情報または前記抽出された属性情報を任意に修正した修正情報が前記通信部を介して獲得されたら、
    前記プロセッサは、
    前記評価情報または前記修正情報に基づいて前記機械学習モデルを更新するか、前記他の装置をして更新するように支援することを特徴とする請求項１６に記載の眼底映像読取支援装置。
18. 前記眼底映像の属性情報は、
    前記眼底映像が左眼の映像であるのか右眼の映像であるのかを示す両眼区分情報、
    前記眼底映像に含まれた黄斑及び視神経乳頭のうち少なくとも一つの位置を示す位置情報、
    前記眼底映像の区画を示す区画区分情報、
    前記眼底映像に含まれた視神経血管の映像のみを分離して示す血管情報、及び
    前記眼底映像によるＣ／Ｄ比の情報
    のうち少なくとも一つを含むことを特徴とする請求項１６に記載の眼底映像読取支援装置。
19. 被検体に対する眼底映像の読取を支援するコンピューティング装置において、
    前記被検体の眼底映像を獲得する入力モジュールを具現する通信部と、
    （１−ｉ）前記眼底映像の正常可否情報を生成するか、前記通信部を介して連動される他の装置をして生成するように支援するプロセスと、（１−ｉｉ）前記通信部を介して少なくとも一つのユーザから前記正常可否情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行う判別モジュールを具現するプロセッサと、
    を含むが、
    前記判別モジュールは、
    前記眼底映像の個別区画を示す区画区分情報を生成するか、前記他の装置をして生成するように支援し、
    前記プロセッサは、
    （２−ｉ）前記個別区画に対応する所見情報を生成するか、前記他の装置をして生成するように支援するプロセルと、（２−ｉｉ）前記通信部を介して前記少なくとも一つのユーザから前記所見情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行う所見入力モジュールと、
    （３−ｉ）前記所見情報に基づいて前記眼底映像に対する診断情報を生成するか、前記他の装置をして生成するように支援するプロセスと、（３−ｉｉ）前記通信部を介して前記少なくとも一つのユーザから前記眼底映像及び前記所見情報に対応する前記診断情報を入力されるか、前記他の装置をして入力されるように支援するプロセスとのうち少なくとも一つを行う診断結果入力モジュールと、
    前記眼底映像に対する前記所見情報及び前記診断情報を貯蔵または外部エンティティに提供するか、前記通信部を介して前記他の装置をして貯蔵または提供するように支援する貯蔵及び伝送モジュールと、を更に具現することを特徴とする眼底映像読取支援装置。