JP2023066198A - 情報出力装置、眼底画像撮影装置、情報出力方法、及び情報出力プログラム - Google Patents

Abstract

【課題】被検眼の眼底に存在する構造物の眼底上の位置、大きさ又は範囲に係る特徴量に基づいて病態を診断する。【解決手段】被検眼の眼底が撮影された眼底画像を取得し、取得した眼底画像から被検眼の特徴量として、第１特徴量と第２特徴量とを各々抽出し、抽出した第１特徴量と第２特徴量とから、被検眼の疾患リスクに関する情報を出力する。【選択図】図３

Description

本発明は、情報出力装置、眼底画像撮影装置、情報出力方法、及び情報出力プログラムに関する。

機械学習済みのモデルを用いて、被検眼の眼底に存在する構造物の眼底上の位置、大きさ又は範囲に係る特徴量に基づいて病態を診断することが求められている。

特開２０２１－０３９７４８号公報

本開示の技術の第１の態様の情報出力装置は、被検眼の眼底が撮影された眼底画像を取得する取得部と、前記眼底画像から前記被検眼の特徴量として、第１特徴量と第２特徴量とを抽出する抽出部と、前記第１特徴量と前記第２特徴量とから、前記被検眼の疾患リスクに関する情報を出力する出力部と、を備える。

本開示の技術の第２の態様の情報出力方法は、被検眼の眼底が撮影された眼底画像を取得するステップと、前記眼底画像から前記被検眼の特徴量として、第１特徴量と第２特徴量とを各々抽出するステップと、前記第１特徴量と前記第２特徴量とから、前記被検眼の疾患リスクに関する情報を出力するステップと、からなる。

本開示の技術の第３の態様の情報出力プログラムは、コンピュータを、被検眼の眼底が撮影された眼底画像を取得する取得部、前記眼底画像から前記被検眼の特徴量として、第１特徴量と第２特徴量とを抽出する抽出部、及び前記第１特徴量と前記第２特徴量とから、前記被検眼の疾患リスクに関する情報を出力する出力部と、して機能させる。

眼科システム１００のブロック図である。 眼科装置１１０の全体構成を示す概略構成図である。 管理サーバ１４０の電気系の構成のブロック図である。 管理サーバ１４０のＣＰＵ２６２の機能のブロック図である。 管理サーバ１４０のＣＰＵ２６２の画像処理部２０６の機能のブロック図である。 本実施形態における予測モデル構築の処理の一例を示したフローチャートである。 脈絡膜血管画像ＣＬＡの概略図である。 脈絡膜血管画像ＣＬＡから生成された二値化画像３００を示した概略図である。 眼底画像において疾患リスクの判断対象となる領域を示した説明図である。 学習後の疾患リスクの予測モデルを用いた処理の一例を示したフローチャートである。 管理サーバ１４０のディスプレイ２５６に表示される表示画像５００を示した概略図である。 管理サーバ１４０のディスプレイ２５６に表示される表示画像５００の眼底画像の経時変化を示した概略図である。

以下、図面を参照して本実施形態を詳細に説明する。

図１を参照して、眼科システム１００の構成を説明する。図１に示すように、眼科システム１００は、眼科装置１１０と、管理サーバ装置（以下、「管理サーバ」という）１４０と、表示装置（以下、「ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。管理サーバ１４０は、眼科装置１１０によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のＩＤに対応して記憶する。ビューワ１５０は、管理サーバ１４０により取得した眼底画像や解析結果を表示する。

ビューワ１５０は、管理サーバ１４０により取得した眼底画像や解析結果を表示するディスプレイ１５６、操作に供されるマウス１５５Ｍ及びキーボード１５５Ｋを備える。

眼科装置１１０、管理サーバ１４０、ビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。ビューワ１５０は、クライアントサーバシステムにおけるクライアントであり、ネットワークを介して接続される。当該ネットワーク１３０にビューワ１５０が複数台接続される場合もある。また、システムの冗長性を担保するために、管理サーバ１４０が複数台、ネットワーク１３０を介して接続されていてもよい。

眼科装置１１０が画像処理機能及びビューワ１５０の画像閲覧機能を備えるのであれば、眼科装置１１０がスタンドアロン状態で、眼底画像の取得、画像処理及び画像閲覧が可能となる。また、管理サーバ１４０がビューワ１５０の画像閲覧機能を備えるのであれば、眼科装置１１０と管理サーバ１４０との構成で、眼底画像の取得、画像処理及び画像閲覧が可能となる。

なお、他の眼科機器（視野測定、眼圧測定などの検査機器）やＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた画像解析を行う診断支援装置がネットワーク１３０を介して、眼科装置１１０、管理サーバ１４０、及びビューワ１５０に接続されていてもよい。本開示において、各構成要素（装置等）は、矛盾が生じない限りは、１つのみ存在しても２つ以上存在してもよい 。

次に、図２を参照して、眼科装置１１０の構成を説明する。 説明の便宜上、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を「ＳＬＯ」と称する。また、光干渉断層計（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を「ＯＣＴ」と称する。

なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、及びＺ方向は互いに垂直である。

眼科装置１１０は、撮影装置１４及び制御装置１６を含む。撮影装置１４は、ＳＬＯユニット１８及びＯＣＴユニット２０を備えており、被検眼１２の眼底の眼底画像を取得する。以下、ＳＬＯユニット１８により取得された二次元眼底画像をＳＬＯ画像と称する。また、ＯＣＴユニット２０により取得されたＯＣＴデータに基づいて作成された網膜の断層画像や正面画像（ｅｎ－ｆａｃｅ画像）などをＯＣＴ画像と称する。

制御装置１６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（中央処理装置））１６Ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６Ｂ、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ ｍｅｍｏｒｙ）１６Ｃ、及び入出力（Ｉ／Ｏ）ポート１６Ｄを有するコンピュータを備えている。

制御装置１６は、Ｉ／Ｏポート１６Ｄを介してＣＰＵ１６Ａに接続された入力／表示装置１６Ｅを備えている。入力／表示装置１６Ｅは、被検眼１２の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。

また、制御装置１６は、Ｉ／Ｏポート１６Ｄに接続された画像処理装置１７を備えている。画像処理装置１７は、撮影装置１４によって得られたデータに基づき被検眼１２の画像を生成する。なお、制御装置１６は、通信インターフェース（Ｉ／Ｆ）１６Ｆを介してネットワーク１３０に接続される。

上記のように、図２では、眼科装置１１０の制御装置１６が入力／表示装置１６Ｅを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置１１０の制御装置１６は入力／表示装置１６Ｅを備えず、眼科装置１１０とは物理的に独立した別個の入力／表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置１６のＣＰＵ１６Ａの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、ＣＰＵ１６Ａが出力指示した画像信号に基づいて、ＳＬＯ画像等を表示するようにしてもよい。

撮影装置１４は、制御装置１６のＣＰＵ１６Ａの制御下で作動する。撮影装置１４は、ＳＬＯユニット１８、撮影光学系１９、及びＯＣＴユニット２０を含む。撮影光学系１９は、スキャナ２２、及び広角光学系３０を含む。

スキャナ２２は、ＳＬＯユニット１８から射出された光をＸ方向、及びＹ方向に２次元走査すると共に、ＯＣＴユニット２０から射出された光をＸ方向、及びＹ方向に２次元走査する。スキャナ２２は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。

広角光学系３０は、被検眼１２側に設けられた対物光学系（図２では不図示）、及びＳＬＯユニット１８からの光とＯＣＴユニット２０からの光を合成する合成部（図２では不図示）を含む。

なお、対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。

楕円鏡を含むシステムを用いる場合には、国際公開ＷＯ２０１６／１０３４８４あるいは国際公開ＷＯ２０１６／１０３４８９に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開ＷＯ２０１６／１０３４８４の開示及び国際公開ＷＯ２０１６／１０３４８９の開示の各々は、その全体が参照により本明細書に取り込まれる。

広角光学系３０によって、眼底において広い視野（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）１２Ａでの観察が実現される。ＦＯＶ１２Ａは、撮影装置１４によって撮影可能な範囲を示している。ＦＯＶ１２Ａは、視野角として表現され得る。視野角は、本実施形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置１１０から被検眼１２へ照射される光束の照射角を、瞳孔２７を基準として規定した照射角である。また、内部照射角とは、眼底へ照射される光束の照射角を、眼球中心Ｏを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が１２０度の場合、内部照射角は約１６０度に相当する。本実施形態では、内部照射角は２００度としている。

ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＳＬＯ眼底画像をＵＷＦ－ＳＬＯ眼底画像と称する。なお、ＵＷＦとは、ＵｌｔｒａＷｉｄｅ Ｆｉｅｌｄ（超広角）の略称を指す。

ＳＬＯシステムは、図２に示す制御装置１６、ＳＬＯユニット１８、及び撮影光学系１９によって実現される。ＳＬＯシステムは、広角光学系３０を備えるため、広いＦＯＶ１２Ａでの眼底撮影を可能とする。

ＳＬＯユニット１８は、Ｂ（青色光）の光源４０、Ｇ光（緑色光）の光源４２、Ｒ光（赤色光）の光源４４、及びＩＲ光（赤外線（例えば、近赤外光））の光源４６と、光源４０、４２、４４、４６からの光を、反射又は透過して１つの光路に導く光学系４８、５０、５２、５４、５６とを備えている。光学系４８、５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタ―である。Ｂ光は、光学系４８で反射し、光学系５０を透過し、光学系５４で反射し、Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５２、５６で反射して、それぞれ１つの光路に導かれる。

ＳＬＯユニット１８は、Ｇ光、Ｒ光、及びＢ光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図２に示す例では、Ｂ光（青色光）の光源４０、Ｇ光の光源４２、Ｒ光の光源４４、及びＩＲ光の光源４６の４つの光源を備えるが、本開示の技術は、これに限定されない。例えば、ＳＬＯユニット１８は、更に、白色光の光源を更に備え、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。

ＳＬＯユニット１８から撮影光学系１９に入射された光は、スキャナ２２によってＸ方向及びＹ方向に走査される。走査光は広角光学系３０及び瞳孔２７を経由して、被検眼１２の後眼部（眼底）に照射される。眼底により反射された反射光は、広角光学系３０及びスキャナ２２を経由してＳＬＯユニット１８へ入射される。

ＳＬＯユニット１８は、被検眼１２の後眼部（眼底）からの光の内、Ｂ光を反射し且つＢ光以外を透過するビームスプリッタ６４、ビームスプリッタ６４を透過した光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット１８は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット１８は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。ＳＬＯユニット１８は、ビームスプリッタ６４により反射したＢ光を検出するＢ光検出素子７０、ビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、及びビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。

広角光学系３０及びスキャナ２２を経由してＳＬＯユニット１８へ入射された光（眼底により反射された反射光）は、Ｂ光の場合、ビームスプリッタ６４で反射してＢ光検出素子７０により受光され、Ｇ光の場合、ビームスプリッタ６４を透過し、ビームスプリッタ５８で反射してＧ光検出素子７２により受光される。上記入射された光は、Ｒ光の場合、ビームスプリッタ６４、５８を透過し、ビームスプリッタ６０で反射してＲ光検出素子７４により受光される。上記入射された光は、ＩＲ光の場合、ビームスプリッタ６４、５８、６０を透過し、ビームスプリッタ６２で反射してＩＲ光検出素子７６により受光される。ＣＰＵ１６Ａの制御下で動作する画像処理装置１７は、Ｂ光検出素子７０、Ｇ光検出素子７２、Ｒ光検出素子７４、及びＩＲ光検出素子７６で検出された信号を用いてＵＷＦ－ＳＬＯ画像を生成する。Ｂ光検出素子７０、Ｇ光検出素子７２、Ｒ光検出素子７４、及びＩＲ光検出素子７６として、例えば、ＰＤ（ｐｈｏｔｏｄｉｏｄｅ）及びＡＰＤ（ａｖａｌａｎｃｈｅ ｐｈｏｔｏｄｉｏｄｅ：アバランシェ・フォトダイオード）が挙げられる。

ＳＬＯユニット１８では、対象物である眼底で反射（散乱）して戻ってきた光はスキャナ２２を通って光検出素子に届くので、常に同じ位置、すなわちＢ光検出素子７０、Ｇ光検出素子７２、Ｒ光検出素子７４、及びＩＲ光検出素子７６が存在する位置に戻ってくる。従って、光検出素子をエリアセンサのように平面状（２次元）に構成する必要はなく、ＰＤ又はＡＰＤ等のような点状（０次元）の検出器が本実施形態では最適である。しかしながら、ＰＤ又はＡＰＤ等に限らず、ラインセンサ（１次元）又はエリアセンサ（２次元）を用いることも可能である。

ＵＷＦ－ＳＬＯ画像には、眼底がＧ色光で撮影されて得られた（Ｇ色眼底画像）と、眼底がＲ色光で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｒ色眼底画像）とがある。ＵＷＦ－ＳＬＯ画像には、眼底がＢ色光で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｂ色眼底画像）と、眼底がＩＲ光で撮影されて得られたＵＷＦ－ＳＬＯ画像（ＩＲ眼底画像）とがある。

また、制御装置１６が、同時に発光するように光源４０、４２、４４を制御する。Ｂ光、Ｇ光及びＲ光で同時に被検眼１２の眼底が撮影されることにより、各位置が互いに対応するＧ色眼底画像、Ｒ色眼底画像、及びＢ色眼底画像が得られる。Ｇ色眼底画像、Ｒ色眼底画像、及びＢ色眼底画像からＲＧＢカラー眼底画像が得られる。制御装置１６が、同時に発光するように光源４２、４４を制御し、Ｇ光及びＲ光で同時に被検眼１２の眼底が撮影されることにより、各位置が互いに対応するＧ色眼底画像及びＲ色眼底画像が得られる。Ｇ色眼底画像及びＲ色眼底画像を所定の混合比で混合することにより、ＲＧカラー眼底画像が得られる。

ＵＷＦ－ＳＬＯ画像には、ＩＣＧ蛍光撮影されたＵＷＦ－ＳＬＯ画像（動画）もある。インドシアニン・グリーン（ＩＣＧ）が血管に注入されると、眼底に到達し、最初は網膜に到達し、次に、脈絡膜に到達し、脈絡膜を通過する。ＵＷＦ－ＳＬＯ画像（動画）は、インドシアニン・グリーン（ＩＣＧ）が血管に注入され網膜に到達した時から、脈絡膜を通過した後までの動画像である。

Ｂ色眼底画像、Ｇ色眼底画像、Ｒ色眼底画像、ＩＲ眼底画像、ＲＧＢカラー眼底画像、ＲＧカラー眼底画像、及びＵＷＦ－ＳＬＯ画像の各画像データは、通信Ｉ／Ｆ１６Ｆを介して眼科装置１１０から管理サーバ１４０へ送付される。

ＯＣＴシステムは、図２に示す制御装置１６、ＯＣＴユニット２０、及び撮影光学系１９によって実現される。ＯＣＴシステムは、広角光学系３０を備えるため、上述したＳＬＯ眼底画像の撮影にくわえて、広いＦＯＶ１２Ａでの眼底撮影を可能とする。ＵＷＦ－ＳＬＯ画像上で、ＯＣＴ画像を取得する位置がユーザによって指定され、指定された位置をスキャンする（撮影する）ことによりＯＣＴ画像が取得される。

ＯＣＴユニット２０は、光源２０Ａ、センサ（検出素子）２０Ｂ、第１の光カプラ２０Ｃ、参照光学系２０Ｄ、コリメートレンズ２０Ｅ、及び第２の光カプラ２０Ｆを含む。

光源２０Ａから射出された光は、第１の光カプラ２０Ｃで分岐される。分岐された一方の光は、測定光として、コリメートレンズ２０Ｅで平行光にされた後、撮影光学系１９に入射される。測定光は、スキャナ２２によってＸ方向及びＹ方向に走査される。走査光は広角光学系３０及び瞳孔２７を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系３０とスキャナ２２とを経由してＯＣＴユニット２０へ入射され、コリメートレンズ２０Ｅと第１の光カプラ２０Ｃとを介して、第２の光カプラ２０Ｆに入射する。

光源２０Ａから射出され、第１の光カプラ２０Ｃで分岐された他方の光は、参照光として、参照光学系２０Ｄへ入射され、参照光学系２０Ｄを経由して、第２の光カプラ２０Ｆに入射する。

第２の光カプラ２０Ｆに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第２の光カプラ２０Ｆで干渉されて干渉光を生成する。干渉光はセンサ２０Ｂで受光される。画像処理部２０６の制御下で動作する画像処理装置１７は、センサ２０Ｂで検出されたＯＣＴデータに基づいて断層画像やｅｎ－ｆａｃｅ画像などのＯＣＴ画像を生成する。

ＯＣＴ画像の画像データとＯＣＴの取得位置に関する位置情報（ＯＣＴ撮影時にスキャンした領域、場所を示す情報であり、例えば、ＵＷＦ－ＳＬＯ画像上の画素位置や座標データ、あるいはスキャナの駆動信号などである）は、通信Ｉ／Ｆ１６Ｆを介して眼科装置１１０から管理サーバ１４０へ送付され、記憶装置２５４に記憶される。

なお、本実施形態では、光源２０Ａが波長掃引タイプのＳＳ－ＯＣＴ（Ｓｗｅｐｔ－Ｓｏｕｒｃｅ ＯＣＴ）を例示するが、ＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ－Ｄｏｍａｉｎ ＯＣＴ）、ＴＤ－ＯＣＴ（Ｔｉｍｅ－Ｄｏｍａｉｎ ＯＣＴ）など、様々な方式のＯＣＴシステムであってもよい。

次に、図３を参照して、管理サーバ１４０の電気系の構成を説明する。図３に示すように、管理サーバ１４０は、コンピュータ本体２５２を備えている。コンピュータ本体２５２は、ＣＰＵ２６２、ＲＡＭ２６６、ＲＯＭ２６４、入出力（Ｉ／Ｏ）ポート２６８を有する。Ｉ／Ｏポート２６８には、記憶装置２５４、ディスプレイ２５６、マウス２５５Ｍ、キーボード２５５Ｋ、及び通信インターフェース（Ｉ／Ｆ）２５８が接続されている。記憶装置２５４は、例えば、ＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）などの不揮発メモリで構成される。入出力（Ｉ／Ｏ）ポート２６８は、通信Ｉ／Ｆ２５８を介して、ネットワーク１３０に接続されている。従って、管理サーバ１４０は、眼科装置１１０、及びビューワ１５０と通信することができる。記憶装置２５４には、後述する画像処理プログラムが記憶されている。なお、画像処理プログラムを、ＲＯＭ２６４に記憶してもよい。ＣＰＵ２６２は、本開示の技術の「プロセッサ」に相当する。また、ＲＯＭ２６４及びＲＡＭ２６６は、本開示の技術の「メモリ」に相当する。

管理サーバ１４０は、眼科装置１１０から受信した各データを、記憶装置２５４に記憶するとともに、ＣＰＵ２６２による様々な画像処理やデータ処理を実行する。

次に、図４を参照して、管理サーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、表示制御機能、画像処理機能、及び処理機能を備えている。ＣＰＵ２６２がこの各機能を有する画像処理プログラムを実行することで、ＣＰＵ２６２は、図４に示すように、表示制御部２０４、画像処理部２０６、及び処理部２０８として機能する。

次に、図５を参照して、画像処理部２０６の各種機能について説明する。画像処理部２０６は、眼底画像から脈絡膜血管等を鮮明化した画像を生成する等の画像処理を行ったり、眼底画像から渦静脈等の眼底の構造物を特定する画像処理を行ったり、当該構造物の眼底上の位置、大きさ又は範囲を示す特徴量を取得したりする画像処理を行う画像特徴量取得部２０６０と、機械学習によって眼底上の構造物の特徴量から疾患の有無、当該疾患の治療効果、又は病態の進行度を診断する機械学習解析部２０６２として機能する。画像特徴量取得部２０６０、及び機械学習解析部２０６２は、本開示の技術の「抽出部」に相当する。

図６は、本実施形態における予測モデル構築の処理の一例を示したフローチャートである。図６に示した処理は管理サーバ１４０において実行される。

ステップ１００で、画像処理部２０６は、ＵＷＦ－ＳＬＯ画像を入力画像として記憶装置２５４から取得する。

ステップ１０２で、画像処理部２０６は、取得したＵＷＦ－ＳＬＯ画像（Ｒ色眼底画像及びＧ色眼底画像）から渦静脈を検出するための前処理を行う。ステップ１０２ではＵＷＦ－ＳＬＯ画像からノイズを除去するデノイズ処理を行う。ノイズ除去には、メディアンフィルタ等を適用する。

画像処理部２０６は、ノイズ除去後のＧ色眼底画像にブラックハットフィルタ処理を施すことにより、Ｇ色眼底画像から網膜血管を抽出する。

画像処理部２０６は、Ｇ色眼底画像から抽出された網膜血管の位置情報を用いてＲ色眼底画像の網膜血管構造を周囲の画素と同じ値に塗りつぶすインペインティング処理等により、網膜血管を除去する。この処理により、Ｒ色眼底画像から網膜血管が除去され脈絡膜血管のみが可視化された画像が生成される。

また、画像処理部２０６は、インペインティング処理後のＲ色眼底画像から低周波成分を除去した画像を得る。低周波成分を除去するには、周波数フィルタリングや空間フィルタリングなどの周知の画像処理を適用する。

さらに、画像処理部２０６は、網膜血管が除去され脈絡膜血管が残ったＲ色眼底画像の画像データに対し、たとえば適応ヒストグラム均等化処理（Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｐｈ Ｅｑｕａｌｉｚａｔｉｏｎ）を施すことにより、Ｒ色眼底画像において、脈絡膜血管を強調する。その結果、図７に示す脈絡膜血管画像ＣＬＡが作成される。作成された脈絡膜血管画像ＣＬＡは記憶装置２５４に記憶されることによりステップ１０２における前処理は終了し、手順はステップ１０４に移行する。

上記例では、Ｒ色眼底画像とＧ色眼底画像とから脈絡膜血管画像ＣＬＡを生成している。これにかぎらず、画像処理部２０６は、Ｇ色眼底画像とＩＲ眼底画像とから脈絡膜血管画像ＣＬＡを生成してもよい。また、画像処理部２０６は、Ｂ色眼底画像と、Ｒ色眼底画像あるいはＩＲ眼底画像とから、脈絡膜血管画像ＣＬＡを生成してもよい。

ステップ１０４で、画像処理部２０６は、脈絡膜血管画像ＣＬＡから眼底の構造物である渦静脈が検出された二値化画像を生成して渦静脈を検出する。二値化画像は、脈絡膜血管画像ＣＬＡを二値化することによって生成される。

渦静脈は、細い血管で構成された線状部と、線状部を構成する血管が収束して太い血管を構成する膨大部とを含む。本実施形態では、膨大部の検出に適した第一の二値化処理後の眼底画像と、線状部の検出に適した第二の二値化処理後の眼底画像とを合成することにより、渦静脈の線状部と膨大部とが明瞭に描写された眼底画像を得ることができる。

そして、第一の二値化処理による画像と、第二の二値化処理による画像とを統合（合成）して図８に示したような統合画像を得る。画像の統合は論理和である。本実施形態では、第一の二値化処理による画像及び第二の二値化処理による画像のいずれかにおいて明部である画素は、脈絡膜血管を示す明部の画素とする処理が行われる。

図８は、ステップ１０４で生成された二値化画像３００を示した概略図である。二値化画像３００は、黒い背景に渦静脈３０２Ｖ１、３０２Ｖ２、３０２Ｖ３、３０２Ｖ４（以下、必要に応じて「各渦静脈」と略記）が白く表示される。従って、二値化画像３００において輝度値が閾値以上の画素の集合を各渦静脈として検出できる。

ステップ１０６で、画像処理部２０６は、二値化画像３００で検出された各渦静脈等の特徴量を複数算出する。ステップ１０６で算出する特徴量は、各渦静脈の個数、眼底の所定の位置から各渦静脈までの距離、眼底の所定の位置から各渦静脈の角度、及び各渦静脈の周辺血管の太さ、及び血管壁の厚み等であり、さらに眼軸長を含む。位置・角度の値は球面上で球面三角法を用いて算出されることが好ましい。

図８では、所定の位置として黄斑、又はＯＮＨ（視神経乳頭）を原点３０４とした座標を設定している。画像処理部２０６は、ＵＷＦ－ＳＬＯ画像において最も明るい点を検出することにより、視神経乳頭を検出する。また、画像処理部２０６は、ＵＷＦ－ＳＬＯ画像において最も暗い点を検出することにより、黄斑を検出する。

そして、画像処理部２０６は、特徴量として、原点３０４と各渦静脈の膨大部の中心との距離３０６、原点３０４と各渦静脈の膨大部の中心とを結ぶ線と直交座標の横軸との角度θ、各渦静脈の周辺血管である各渦静脈の線状部の血管の太さ等を被検眼１２に係る球面上で各々算出する。各渦静脈の線状部の血管の太さは、例えば、解析円３０２Ｃ１、３０２Ｃ２、３０２Ｃ３、３０２Ｃ４と各渦静脈との交叉部における画素数をカウントし、各渦静脈の線状部の断面が円形であると仮定してカウントした画素数から各渦静脈の線状部の太さを算出する。血管壁の厚みは、断層画像であるＯＣＴ画像を併用して算出する。

また、各渦静脈の特徴量として、各渦静脈の線状部の先端を結ぶ線で囲まれた領域３０２Ａ１、３０２Ａ２、３０２Ａ３、３０２Ａ４の各々の面積を各渦静脈の特徴量として採用してもよい。

ステップ１０８では、被検眼１２の疾患リスクの情報を取得する。取得する疾患リスクの情報は、例えば、加齢黄斑変性やPolypoidal Choroidal Vasculopathy (PCV)などのパキコロイド疾患群、糖尿病黄斑変性等である。

ステップ１１０では、眼底画像にステップ１０６で算出した複数の特徴量と疾患リスクの情報とを対応付けた教師データを用いた機械学習を行う。機械学習の方法に特に制限はないが、好ましくはＮａｉｖｅ Ｂａｙｅｓ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、及びサポートベクターマシン、ＡｄａＢｏｏｓｔからなる手法群から選択してもよい。選択する特徴量は測定される測定量をそのまま用いてもよいが、ＰＣＡなどの方法で次元削減を行い主要な特徴量を選別して計算を行ってもよい。特徴量の値は正規化などを行い調整しておくことが好ましい。ステップ１１０では、各特徴量と疾患リスクの情報との相関関係を導出する。

本実施形態では、特徴量ごとに疾患のリスクを判断させる。特徴量のリスクについては、Ｒｅｌｉｅｆｆ法などで算出される重要予測子としての特徴量の重要度の値を用いてもよい。例えば、重要予測子が所定の閾値以上の特徴量を第１特徴量、当該閾値未満の特徴量を第２特徴量とする。なお、眼底全体の画像による判断のみならず、眼底画像をいくつかの領域に分割し、領域ごとに特徴量を抽出するようにしてもよい。

特徴量を分割して定義する目的で、分割して特徴量を定義してもよい。例えば、下鼻側の渦静脈の位置、大きさ及び範囲を第１特徴量、上耳側の渦静脈の位置、大きさ及び範囲を第２特徴量としてもよい。

図９は、眼底画像において疾患リスクの判断対象となる領域を示した説明図である。図９では、黄斑、又はＯＮＨ（視神経乳頭）である原点３０４を中心として、後極部３１０、中縁部３１２、及び辺縁部３１４に眼底を分割する。例えば、後極部３１０は、眼球中心から原点３０４方向への内部照射角に換算して５０度の範囲であり、中縁部３１２は、同５０度から１００度の範囲であり、辺縁部３１４は、同１００度から２２０度の範囲である。そして、眼底全体の画像から抽出した特徴量を第１特徴量とし、中縁部３１２及び辺縁部３１４又は辺縁部３１４から各々抽出した特徴量を第２特徴量としてもよい。第１特徴量を、渦静脈がある辺縁部３１４から抽出し、第２特徴量として、渦静脈に繋がる血管などの特徴量を後極部３１０や中縁部３１２より抽出してもよい。

ステップ１１２で画像処理部２０６は、教師データによる学習による疾患リスクの予測モデルを構築して処理を終了する。

図１０は、学習後の疾患リスクの予測モデルを用いた処理の一例を示したフローチャートである。ステップ２００からステップ２０６までの手順は、図６のステップ１００からステップ１０６までの手順と同じなので詳細な説明は省略する。

そして、ステップ２０８で、画像処理部２０６は、構築した予測モデルにより複数の特徴量を用いて疾患リスク、および／または特徴量ごとの疾患リスクを算出して処理を終了する。

図１１は、管理サーバ１４０のディスプレイ２５６に表示される表示画像５００を示した概略図である。表示画像５００は、管理サーバ１４０のディスプレイ２５６の他に、ビューワ１５０のディスプレイ１５６、又は眼科装置１１０の入力／表示装置１６Ｅに表示してもよい。

表示画像５００は、図１１に示すように、情報表示領域５０２と、画像表示領域５０４とを有する。情報表示領域５０２には、患者ＩＤ表示領域５１２、患者名表示領域５１４、年齢表示領域５１６、視力表示領域５１８、右眼／左眼表示領域５２０及び眼軸長表示領域５２２を有する。

画像表示領域５０４には、二値化されて各渦静脈が顕在化された眼底画像５４０と、眼底画像５４０から導出された疾患リスク５５０と、特定の疾患におけるパラメータ（重要予測子）の各々の影響度を示した疾患別の重要予測子パラメータ別リスク５５２とが表示可能となっている。また、画像表示領域５０４には、眼底画像５４０を取得した年月日５４０Ｔが表示されると共に、画像表示領域５０４の下段には、治療歴５５４が時系列で表示される。

画像表示領域５０４に表示される、疾患リスク５５０、及び疾患別の重要予測子パラメータ別リスク５５２の各々は、図１０に示した処理で算出され、百分率で表示される。また、画像表示領域５０４には、渦静脈の個数、眼底の所定位置に対する渦静脈の位置情報、渦静脈を構成する血管の太さ、渦静脈の血管壁の厚み、及び眼軸長等の特徴量を表示してもよい。

図１２は、管理サーバ１４０のディスプレイ２５６に表示される表示画像５００の眼底画像の経時変化を示した概略図である。表示画像５００は、図１１の場合と同様に、管理サーバ１４０のディスプレイ２５６の他に、ビューワ１５０のディスプレイ１５６、又は眼科装置１１０の入力／表示装置１６Ｅに表示してもよい。

図１２に示したように、画像表示領域５０４には、年月日５４０Ｔにおける眼底画像５４０と、年月日５４２Ｔにおける眼底画像５４２と、年月日５４４Ｔにおける眼底画像５４６とが表示されている。時系列では、年月日５４０Ｔから年月日５４２Ｔ、年月日５４４Ｔの順に眼底画像が取得されている。

図１２に示した患者の眼底画像５４０、５４２、５４４では、渦静脈３０２Ｖ１、３０２Ｖ２の各々が拡大傾向にあり、特定の疾患が疑われる。図１２では、特定の疾患リスクの時系列変化を疾患別リスク値経時変化５５６として表示する。疾患別リスク値経時変化５５６は、図１０に示した処理で算出され、百分率で表示される。

さらに、画像表示領域５０４には、疾患リスクの変化等に応じて、緊急を要する処置を示した緊急度５５８が表示可能である。

以上説明したように、本実施形態では、眼底画像と、渦静脈の位置等の情報を含む特徴量とによって疾患リスクを判定する。

眼底画像全体をＣＮＮモデルで処理すると、疾患位置の厳密な検討を行わずに疾患のリスクを判断する等の難点が生じ得るが、眼底画像と、渦静脈の位置等の情報を含む特徴量とによって疾患リスクを判定することにより、疾患位置を含めた詳細な疾患リスクを出力することが可能となる。

また、眼底画像の一部の領域を処理対象とすることにより、管理サーバ１４０の情報処理の演算負荷を抑制すると共に、迅速に疾患リスクを出力することができる。

以上説明した各実施形態における画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上説明した各実施形態では、コンピュータを利用したソフトウェア構成による画像処理を想定しているが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。

このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合とされない場合とを含むので、以下の技術を含む。

（第１の技術）
メモリと、前記メモリに接続するプロセッサとを備え、
前記プロセッサは、
被検眼の眼底が撮影された眼底画像を取得するステップと、
前記眼底画像から前記被検眼の特徴量として、第１特徴量と第２特徴量とを各々抽出するステップと、
前記第１特徴量と前記第２特徴量とから、前記被検眼の疾患リスクに関する情報を出力するステップと、
を実行する情報出力装置。

（第２の技術）
プロセッサが行う画像処理であって、
被検眼の眼底が撮影された眼底画像を取得するステップと、
前記眼底画像から前記被検眼の特徴量として、第１特徴量と第２特徴量とを各々抽出するステップと、
前記第１特徴量と前記第２特徴量とから、前記被検眼の疾患リスクに関する情報を出力するステップと、
を含む情報出力方法。

（第３の技術）
画像処理するためのコンピュータプログラム製品であって、
前記コンピュータプログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、コンピュータに、
被検眼の眼底が撮影された眼底画像を取得するステップと、
前記眼底画像から前記被検眼の特徴量として、第１特徴量と第２特徴量とを各々抽出するステップと、
前記第１特徴量と前記第２特徴量とから、前記被検眼の疾患リスクに関する情報を出力するステップと、
を実行させるコンピュータプログラム製品。

本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。

１２ 被検眼
１４ 撮影装置
１９ 撮影光学系
１００ 眼科システム
１１０ 眼科装置
１３０ ネットワーク
１４０ 管理サーバ
１５０ ビューワ
２０４ 表示制御部
２０６ 画像処理部
２０８ 処理部
２５２ コンピュータ本体
２５４ 記憶装置
２５６ ディスプレイ
２６２ ＣＰＵ
２６４ ＲＯＭ
２６６ ＲＡＭ
２６８ ポート
３００ 二値化画像
３０２Ａ１、３０２Ａ２、３０２Ａ３、３０２Ａ４ 領域
３０２Ｃ１、３０２Ｃ２、３０２Ｃ３、３０２Ｃ４ 解析円
３０２Ｖ１、３０２Ｖ２、３０２Ｖ３、３０２Ｖ４ 渦静脈
３０４ 原点
３０６ 距離
３１０ 後極部
３１２ 中縁部
３１４ 辺縁部
５００ 表示画像
５０２ 情報表示領域
５０４ 画像表示領域
２０６０ 画像特徴量取得部
２０６２ 機械学習解析部
θ 角度

Claims (15)

1. 被検眼の眼底が撮影された眼底画像を取得する取得部と、
   前記眼底画像から前記被検眼の特徴量として、第１特徴量と第２特徴量とを抽出する抽出部と、
   前記第１特徴量と前記第２特徴量とから、前記被検眼の疾患リスクに関する情報を出力する出力部と、
   を備える情報出力装置。
2. 前記抽出部は、前記眼底画像上の渦静脈から前記第１特徴量と前記第２特徴量の少なくともいずれか一方を抽出する、請求項１に記載の情報出力装置。
3. 前記抽出部は、前記眼底画像の異なる領域から第１特徴量と第２特徴量とを各々抽出する、請求項１又は２に記載の情報出力装置。
4. 前記抽出部は、前記眼底画像の画像全体の領域から前記第１特徴量を抽出し、前記眼底画像の黄斑の周辺領域から前記第２特徴量を抽出する、請求項１乃至請求項３のいずれか一項に記載の情報出力装置。
5. 前記抽出部は、前記周辺領域である後極部以外の領域から前記第２特徴量を抽出する、請求項４に記載の情報出力装置。
6. 前記抽出部は、前記眼底画像から抽出された渦静脈の個数、前記眼底の所定位置に対する渦静脈の位置情報、前記渦静脈を構成する血管の太さ、及び前記渦静脈の血管壁の厚み、並びに眼軸長の何れかを含む、前記第１特徴量および前記第２特徴量を抽出する、請求項１乃至請求項５のいずれか一項に記載の情報出力装置。
7. 前記第１特徴量と前記第２特徴量と前記情報とを表示する表示部を備える請求項１乃至請求項６のいずれか一項に記載の情報出力装置。
8. 前記表示部は、前記眼底画像を表示する請求項７に記載の情報出力装置。
9. 前記抽出部は、前記被検眼のＳＬＯ画像または前記被検眼のＯＣＴ画像から、前記第１特徴量と前記第２特徴量とを抽出する、請求項１乃至請求項８のいずれか一項に記載の情報出力装置。
10. 前記抽出部は、Ｎａｉｖｅ Ｂａｙｅｓ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、及びサポートベクターマシンのいずれかのアルゴリズムを用いて実行、又は該いずれかのアルゴリズムにＡｄａＢｏｏｓｔを組み合わせて実行し、前記第１特徴量と前記第２特徴量とを前記眼底画像に基づく学習によって学習モデルを構築する、請求項１乃至請求項９のいずれか一項に記載の情報出力装置。
11. 請求項１乃至請求項１０のいずれか一項に記載の情報出力装置と、
    前記眼底画像を撮影する撮像部と、を備える、眼底画像撮影装置。
12. 前記撮像部は、前記被検眼のＳＬＯ画像または前記被検眼のＯＣＴ画像を撮影する、請求項１１に記載の眼底画像撮影装置。
13. 被検眼の眼底が撮影された眼底画像を取得するステップと、
    前記眼底画像から前記被検眼の特徴量として、第１特徴量と第２特徴量とを各々抽出するステップと、
    前記第１特徴量と前記第２特徴量とから、前記被検眼の疾患リスクに関する情報を出力するステップと、
    からなる情報出力方法。
14. 請求項１乃至請求項７のいずれか一項に記載の情報出力装置を用いて、撮影した被検眼の眼底画像から前記被検眼の疾患リスクに関する情報を出力する情報出力方法。
15. コンピュータを、
    被検眼の眼底が撮影された眼底画像を取得する取得部、前記被検眼の特徴量として、前記眼底画像から第１特徴量と第２特徴量とを抽出する抽出部、及び前記第１特徴量と前記第２特徴量とから、前記被検眼の疾患リスクに関する情報を出力する出力部と、して機能させる情報出力プログラム。

Images