JP2022037486A - 眼科画像処理装置、眼科装置、画質評価方法、プログラム、及び眼科画像処理システム - Google Patents

Abstract

【課題】眼科画像内で被検眼の所望の部位に対応する領域の画質を評価可能な眼科画像処理装置、眼科装置、画質評価方法、プログラム、及び眼科画像処理システムを提供する。【解決手段】被検眼を撮影した眼科画像を取得する画像取得部と、眼科画像を複数の領域に区分する区分部と、区分部により複数の領域に区分された眼科画像に基づき、学習済みモデルを用いて、領域ごとの画質を評価する処理部と、を備える。【選択図】図８

Description

本発明は、眼科画像の画質を評価する眼科画像処理装置、眼科装置、画質評価方法、プログラム、及び眼科画像処理システムに関する。

眼科では、被検眼の眼底像、眼底断層像、及び前眼部像などの各種眼科画像の撮影を眼科装置により行う。この眼科画像に基づき、被検眼の各種の眼特性の測定、観察、及び診断等を行うことができる。この際に、眼科画像にフレアが発生したり、ピントずれ（焦点ずれ）によるピンぼけが発生したり、まつ毛の像が含まれていたり、白内障の影響で不鮮明であったり、小瞳孔により像が暗くなっていたりなどの画質不良（画質悪化）が発生していると、上述の眼特性の測定、観察、及び診断等に不具合が生じる。

そこで、特許文献１には、畳み込みニューラルネットワーク（Convolutional neural network：ＣＮＮ）を適用した学習済みモデル（判定器）を用いて、眼科画像の画質の良否を評価する眼科装置が開示されている。これにより、眼科画像の撮影時にその画質の良否を速やかに判定することができるので、眼科画像の画質が不良である場合には検者等に再撮影の実行を促すことができる。

特開２０２０－１０３４３３号公報

ところで、眼科では被検眼（被検者）ごとに、観察及び診断等を行う被検眼の部位が異なる。例えば、眼科画像として被検眼の眼底像を撮影する場合には、観察及び診断等の対象が眼底の視神経乳頭（以下、乳頭と略す）であったり或いは黄斑であったりする。この場合には、眼底の所望の特定部位（乳頭、黄斑等）に対応する領域の画質が良好であれば観察及び診断等には問題はない。しかしながら、上記特許文献１に記載の眼科装置では、眼科画像の全体で画質の良否の判定を行うため、上述の特定部位に対応する領域以外で画質不良が発生した場合においても、眼科画像の画質が不良であると判定される可能性がある。その結果、本来は不要であった被検眼の再撮影を検者に促してしまう。

本発明はこのような事情に鑑みてなされたものであり、眼科画像内で被検眼の所望の部位に対応する領域の画質を評価可能な眼科画像処理装置、眼科装置、画質評価方法、プログラム、及び眼科画像処理システムを提供することを目的とする。

本発明の目的を達成するための眼科画像処理装置は、被検眼を撮影した眼科画像を取得する画像取得部と、眼科画像を複数の領域に区分する区分部と、区分部により複数の領域に区分された眼科画像に基づき、学習済みモデルを用いて、領域ごとの画質を評価する処理部と、を備える。

この眼科画像処理装置によれば、眼科画像の複数の領域ごとの画質を個別に評価することができる。

本発明の他の態様に係る眼科画像処理装置において、処理部が、複数の眼科画像を訓練データとして機械学習させた学習済みモデルを用いる。これにより、眼科画像の複数の領域ごとの画質を個別に評価することができる。

本発明の他の態様に係る眼科画像処理装置において、処理部が、複数の領域の画像を訓練データとして機械学習させた学習済みモデルを用いる。これにより、眼科画像の複数の領域ごとの画質を個別に評価することができる。

本発明の他の態様に係る眼科画像処理装置において、眼科画像を被検眼の部位ごとに複数の領域に区分けし、処理部が、領域ごとに機械学習を行うことにより得られた領域ごとの学習済みモデルを有し、処理部が、区分部により区分された眼科画像の領域ごとに、領域に対応する学習済みモデルを用いて画質の評価を行う。これにより、領域ごとに異なる判断基準で画質評価を行うことができるので、領域ごとの画質評価を精度よく行うことができる。

本発明の他の態様に係る眼科画像処理装置において、眼科画像をモニタに表示させる第１表示制御部であって、且つモニタに表示される眼科画像に対して、処理部から出力された領域ごとの画質の評価結果を段階的に識別可能に重畳表示させる第１表示制御部を備える。これにより、検者等が領域ごとの画質を容易に判別することができる。

本発明の他の態様に係る眼科画像処理装置において、処理部が、区分部により複数の領域に区分された眼科画像に基づき、画質の良否を判定しさらに画質の不良の原因を判定する学習済みモデルを用いて、領域ごとの画質の良否と、画質が不良となる領域の原因とを評価する詳細評価を実行する。これにより、検者等が原因の判定を行う手間を減らすことができ、さらに原因の判定精度を向上させることができる。

本発明の他の態様に係る眼科画像処理装置において、処理部による原因の評価結果をモニタに表示させる第２表示制御部を備える。これにより、検者等が原因の判定を行う手間を減らすことができ、さらに原因の判定精度を向上させることができる。

本発明の他の態様に係る眼科画像処理装置において、原因と原因に対する対策とを対応付けた対策情報に基づき、処理部が評価した原因に対応する対策を決定する対策決定部を備え、第２表示制御部が、原因の評価結果と共に対策決定部が決定した対策をモニタに表示させる。これにより、検者等に対して対策の実行を促すことができ、その結果、眼科画像の再撮影時において画質不良となる領域の発生を防止することができる。

本発明の他の態様に係る眼科画像処理装置において、被検眼を撮影する撮影部を制御する撮影制御部を備え、対策決定部が決定した対策が撮影部の撮影制御を変更するものである場合、撮影制御部が対策に基づき撮影制御を変更する。これにより、眼科画像の再撮影時において画質不良となる領域の発生を防止することができる。

本発明の他の態様に係る眼科画像処理装置において、画像取得部が、被検眼の撮影が繰り返されるごとに眼科画像を取得し、画像取得部が眼科画像を取得するごとに、区分部が眼科画像の区分を実行し且つ処理部が領域ごとの詳細評価を実行し、処理部による領域ごとの詳細評価の結果に基づき、複数の眼科画像の共通の領域において同一の原因が発生している場合に、警告情報を出力する警告情報出力部を備える。これにより、検者等に対して上述の原因の対策の実行を促すことができ、その結果、眼科画像の再撮影時において画質不良となる領域の発生を防止することができる。

本発明の他の態様に係る眼科画像処理装置において、画像取得部が、被検眼の撮影が繰り返されるごとに眼科画像を取得し、画像取得部が眼科画像を取得するごとに、区分部が眼科画像の区分を実行し且つ処理部が領域ごとの画質の評価を実行し、処理部による複数の眼科画像の領域ごとの画質の評価結果に基づき、眼科画像内で画質が不良の領域である不良領域を、別の眼科画像内の不良領域に対応する領域であって且つ画質が良好な領域を用いて補完する補完処理部と、を備える。これにより、良好な眼科画像が得られる。

本発明の他の態様に係る眼科画像処理装置において、画像取得部が、被検眼を複数の撮影範囲に分割して撮影して得られた複数の眼科画像を取得し、画像取得部が眼科画像を取得するごとに、区分部が眼科画像の区分を実行し且つ処理部が領域ごとの画質の評価を実行し、画像取得部が取得した複数の眼科画像を連結して被検眼のパノラマ画像を生成するパノラマ画像生成部と、を備え、パノラマ画像生成部が、互いに撮影範囲の一部が重複する眼科画像を第１眼科画像及び第２眼科画像とした場合に、処理部による複数の眼科画像の領域ごとの画質の評価結果に基づき、第１眼科画像と第２眼科画像との重複領域を、第１眼科画像及び第２眼科画像のうちで画質が良い方を用いて生成する。これにより、良好な眼科画像が得られる。

本発明の他の態様に係る眼科画像処理装置において、画像取得部が、眼科画像として被検眼の眼底像を取得する。

本発明の目的を達成するための眼科装置は、被検眼を撮影して眼科画像を出力する撮影部と、上述の眼科画像処理装置と、を備える。

本発明の目的を達成するための画質評価方法は、プロセッサが、被検眼を撮影した眼科画像を取得する処理と、眼科画像を複数の領域に区分する処理と、複数の領域に区分された眼科画像に基づき、学習済みモデルを用いて、領域ごとの画質を評価する処理と、を実行する。

本発明の目的を達成するためのプログラムは、被検眼を撮影した眼科画像を取得する処理と、眼科画像を複数の領域に区分する処理と、複数の領域に区分された眼科画像に基づき、学習済みモデルを用いて、領域ごとの画質を評価する処理と、をコンピュータに実行させる。なお、本発明は、上述のプログラムが記録されたコンピュータ読み取り可能な記録媒体を含む。

本発明の目的を達成するための眼科画像処理システムは、被検眼を撮影して眼科画像を出力する撮影装置と、撮影装置とネットワークで接続されたサーバと、を備え、サーバが、撮影装置からネットワーク経由で眼科画像を取得する処理と、眼科画像を複数の領域に区分する処理と、複数の領域に区分された眼科画像に基づき、学習済みモデルを用いて、領域ごとの画質を評価する処理と、を実行する。

本発明は、眼科画像内で被検眼の所望の部位に対応する領域の画質を評価することができる。

第１実施形態の眼科装置の斜視図である。 第１実施形態の眼科装置の構成を示したブロック図である。 区分部による眼底像の区分処理を説明するための説明図である。 ＣＮＮを適用した学習済みモデルの代表的な構成例を示した模式図である。 訓練データの第１例を説明するための説明図である。 訓練データの第２例を説明するための説明図である。 訓練データの第３例を説明するための説明図である。 第１実施形態の処理部による眼底像の領域ごとの画質評価の一例を説明するための説明図である。 表示制御部による眼底像の領域ごとの画質の評価結果の表示の一例を説明するための説明図である。 第１実施形態の眼科装置による眼底像の撮影処理の流れを示したフローチャートである。 第２実施形態の眼科装置の構成を示したブロック図である。 第２実施形態の区分部による眼底像の区分処理について説明するための説明図である。 第１学習済みモデルから第９学習済みモデルの機械学習（教師あり学習）に用いられる訓練データの一例を説明するための説明図である。 第２実施形態の処理部による眼底像の領域ごとの画質評価の一例を説明するための説明図である。 ＣＮＮを適用した第３実施形態の学習済みモデルの代表的な構成例を示した模式図である。 第３実施形態の学習済みモデルの機械学習（教師あり学習）に用いられる訓練データを説明するための説明図である。 第３実施形態の学習済みモデルの機械学習（教師あり学習）に用いられる訓練データを説明するための説明図である。 第３実施形態の処理部による眼底像の領域ごとの画質評価の一例を説明するための説明図である。 第３実施形態の表示制御部による眼底像及びカラーマップの重畳表示を説明するための説明図である。 第４実施形態の眼科装置の構成を示したブロック図である。 第４実施形態の表示制御部による眼底像及びカラーマップの重畳表示を説明するための説明図である。 第５実施形態の眼科装置の構成を示したブロック図である。 警告制御部による警告情報の表示制御を説明するための説明図である。 第６実施形態の眼科装置の構成を示したブロック図である。 補完処理部による補完処理を説明するための説明図である。 補完処理部による補完処理の応用例を説明するための説明図である。 第７実施形態の眼科装置の構成を示したブロック図である。 パノラマ画像生成部によるパノラマ画像の生成を説明するための説明図である。 本発明を適用した眼科画像処理システム１００の概略図である。

［第１実施形態］
図１は、第１実施形態の眼科装置１０の斜視図である。なお、図中のＸ方向は被検者を基準とした左右方向であり、Ｙ方向は上下方向であり、Ｚ方向は被検者に近づく前方向と被検者から遠ざかる後方向とに平行な前後方向（作動距離方向ともいう）である。

図１に示すように、眼科装置１０は、眼底カメラと、光コヒーレンストモグラフィ（Optical Coherence Tomography：OCT）を用いて断層像を得る光干渉断層計と、を組み合わせた複合機である。眼科装置１０は、被検眼の眼底の正面画像である眼底像２４（図２参照）と眼底のＯＣＴ画像２５（図２参照）との撮影を行う。この眼科装置１０は、ベース１１と、顔支持部１２と、架台１３と、測定ヘッド１４と、を備える。

ベース１１上には架台１３が設けられている。

顔支持部１２は、測定ヘッド１４のＺ方向の前方向側の位置において、ベース１１と一体に設けられている。この顔支持部１２は、Ｙ方向（上下方向）に位置調整可能な顎受け１２ａ及び額当て１２ｂを有しており、被検者の顔を測定ヘッド１４の対物レンズ１９に対向する位置に支持する。

顔支持部１２には外部固視灯１５が設けられている。外部固視灯１５は、固視光を出射する光源を有し、この光源の位置及び固視光の出射方向を任意に調整することができる。この外部固視灯１５は外部固視に用いられる。外部固視は、外部固視灯１５の光源の位置を調整することで被検眼を任意の方向に回旋させたり、或いは内部固視時よりも大きく回旋させたり、或いは内部固視が行えない場合に被検眼又は僚眼の視線を誘導することで被検眼の向きを調整したりする固視方式である。

架台１３は、ベース１１に対してＸ方向及びＺ方向（前後左右方向）に移動可能に設けられている。この架台１３上には操作部１６が設けられている。また、架台１３上には測定ヘッド１４がＹ方向（上下方向）に移動可能に設けられている。

また、架台１３には電動駆動機構１７（図２参照）が設けられている。電動駆動機構１７は、モータ駆動機構等の公知のアクチュエータであり、後述の演算制御ユニット２２（図２参照）の制御の下、架台１３をＸＺ方向に移動させると共に測定ヘッド１４をＹ方向に移動させる。これにより、被検眼に対して測定ヘッド１４がＸＹＺ方向に相対移動される。

操作部１６は、架台１３上で且つ測定ヘッド１４のＺ方向の後方向側（検者側）の位置に設けられている。操作部１６には、眼科装置１０の各種操作を行うための操作ボタンの他、操作レバー１６ａが設けられている。

操作レバー１６ａは、測定ヘッド１４をＸＹＺの各方向に手動で移動させるための操作部材である。例えば、操作レバー１６ａがＺ方向（前後方向）又はＸ方向（左右方向）に傾倒操作されると、上述の電動駆動機構１７（図２参照）により測定ヘッド１４がＺ方向又はＸ方向に移動される。また、操作レバー１６ａがその長手軸周りに回転操作されると、その回転操作方向に応じて、電動駆動機構１７により測定ヘッド１４がＹ方向（上下方向）に移動される。

測定ヘッド１４には、後述の図２に示す眼底カメラユニット１４ａ及びＯＣＴユニット１４ｂが内蔵されている。また、測定ヘッド１４のＺ方向の後方向側（検者側）の背面にはモニタ１８（図２参照）が設けられている。また、測定ヘッド１４のＺ方向の前方向側（被検者側）の正面には対物レンズ１９が設けられている。

モニタ１８（図２参照）は、例えばタッチパネル式の液晶表示装置が用いられる。このモニタ１８は、被検眼の各種の撮影データ、及び各種の設定操作のための入力画面などを表示する。

対物レンズ１９は、眼底カメラユニット１４ａ（図２参照）の一部を構成し且つＺ方向に平行な光軸を有する。

測定ヘッド１４の正面には、対物レンズ１９を囲むように、対物レンズ１９の周方向に沿って等間隔で配置された複数の固視灯（図示は省略）が設けられている。各固視灯は、操作部１６での操作に応じて選択的に固視光をＺ方向に出射する。各固視孔は、周辺固視及び被検眼の隅角（虹彩の端）の撮影等に用いられる。周辺固視は、各固視孔を選択的に点灯させることで所望の方向に被検眼を大きく回旋させる固視方式である。

また、測定ヘッド１４の正面には、対物レンズ１９をその左右から挟み込むようにステレオカメラ２０が設けられている。このステレオカメラ２０は、被検眼に対する測定ヘッド１４のオートアライメントに用いられる。なお、眼底カメラユニット１４ａがオートアライメント用の被検眼の前眼部像２６（図２参照）を撮影可能である場合には、ステレオカメラ２０を省略してもよい。

図２は、第１実施形態の眼科装置１０の構成を示したブロック図である。図２に示すように、眼底カメラユニット１４ａは、本発明の撮影部に相当するものであり、対物レンズ１９を通して被検眼の眼底を撮影して、この眼底の正面画像である眼底像２４（本発明の眼科画像に相当）を後述の演算制御ユニット２２へ出力する。この眼底カメラユニット１４ａの具体的な構成については公知技術（上記特許文献１参照）であるので、ここでは具体的な説明は省略する。

ＯＣＴユニット１４ｂは、被検眼の眼底のＯＣＴ画像２５の取得に用いられる干渉光学系を備える。なお、ＯＣＴユニット１４ｂの具体的な構成についても公知技術（上記特許文献１参照）であるので、ここでは具体的な説明は省略する。ＯＣＴユニット１４ｂは、眼底を経由した信号光と参照光路を経由した参照光とを干渉させて干渉光を生成し、この干渉光のスペクトル成分を検出して検出信号ＳＤを演算制御ユニット２２へ出力する。

ステレオカメラ２０は、被検眼に対する測定ヘッド１４のオートアライメント時に、被検眼の前眼部を連続撮影し、この前眼部の観察像である前眼部像２６を演算制御ユニット２２へ出力する。

演算制御ユニット２２は、本発明の眼科画像処理装置及びコンピュータに相当するものであり、例えばベース１１、架台１３、又は測定ヘッド１４の内部に設けられている。なお、演算制御ユニット２２が眼科装置１０の筐体の外部に設けられていてもよい。演算制御ユニット２２には、眼底カメラユニット１４ａ、ＯＣＴユニット１４ｂ、操作部１６、電動駆動機構１７、及びモニタ１８等が接続されている。

演算制御ユニット２２は、統括制御部３０、記憶部３２、画像形成部３４、及びデータ処理部３６を備える。

記憶部３２は、統括制御部３０が実行するプログラム３８及び後述する学習済みモデル３９を記憶する記録媒体（記憶媒体）であり、公知の各種ストレージが用いられる。また、記憶部３２には、眼底像２４及びＯＣＴ画像２５等の画像データの他に、被検者情報なども記憶される。

画像形成部３４は、ＯＣＴユニット１４ｂから出力された検出信号ＳＤを解析して被検眼の眼底のＯＣＴ画像２５を形成する。なお、ＯＣＴ画像２５の具体的な形成方法は公知技術であるのでここでは説明は省略する。データ処理部３６は、眼底カメラユニット１４ａにより撮影された眼底像２４、及び画像形成部３４により形成されたＯＣＴ画像２５などに対して画像処理等を施す。

統括制御部３０は、眼底カメラユニット１４ａ、ＯＣＴユニット１４ｂ、操作部１６、電動駆動機構１７、及びモニタ１８等の眼科装置１０の各部の動作を統括制御する。また、統括制御部３０は、オートアライメント及び眼底像２４の画質の評価を実行する。

統括制御部３０の機能は、各種のプロセッサ（Processor）を用いて実現される。各種のプロセッサには、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、及びプログラマブル論理デバイス［例えばＳＰＬＤ（Simple Programmable Logic Devices）、ＣＰＬＤ（Complex Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Arrays）］等が含まれる。なお、統括制御部３０の各種機能は、１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサで実現されてもよい。

統括制御部３０は、記憶部３２から読み出したプログラム３８を実行することにより、アライメント制御部４０、ユニット制御部４２、画像取得部４４、区分部４６、処理部４８、及び表示制御部５０として機能する。なお、演算制御ユニット２２の「～部」として説明するものは「～回路」、「～装置」、又は「～機器」であってもよい。すなわち、「～部」として説明するものは、ファームウェア、ソフトウェア、及びハードウェアまたはこれらの組み合わせのいずれで構成されていてもよい。

アライメント制御部４０は、ステレオカメラ２０から出力された被検眼の前眼部像２６に基づき、測定ヘッド１４に対する被検眼の相対位置（三次元位置）を演算する（特開２０１３－２４８３７６号公報参照）。次いで、アライメント制御部４０は、被検眼の相対位置の演算結果に基づき電動駆動機構１７を駆動して、被検眼に対する測定ヘッド１４のオートアライメントを実行する。

ユニット制御部４２は、オートアライメントの完了後に作動して、被検眼の眼底像２４及びＯＣＴ画像２５の撮影を実行する。具体的にはユニット制御部４２は、眼底カメラユニット１４ａを駆動して被検眼の眼底を撮影する。これにより、眼底カメラユニット１４ａから眼底像２４（画像データ）が出力される。また、ユニット制御部４２は、ＯＣＴユニット１４ｂ、及び画像形成部３４等を駆動して眼底のＯＣＴ画像２５の撮影を実行する。

画像取得部４４は、眼底カメラユニット１４ａからの眼底像２４の入力と、ＯＣＴユニット１４ｂからの検出信号ＳＤの入力とを受け付ける入力インタフェースとして機能する。画像取得部４４は、眼底カメラユニット１４ａから眼底像２４が入力されるごとに、この眼底像２４を区分部４６へ出力する。また、画像取得部４４は、ＯＣＴユニット１４ｂから検出信号ＳＤが入力されるごとに、この検出信号ＳＤを画像形成部３４へ出力する。

図３は、区分部４６による眼底像２４の区分（分割）処理を説明するための説明図である。図３の符号３Ａ，３Ｂに示すように、区分部４６は、画像取得部４４から入力された眼底像２４を複数の領域２４ａに区分けする。具体的には区分部４６が、眼底像２４を格子状に３×３＝９個の領域２４ａ（第１領域２４ａから第９領域２４ａ）に区分けする。これにより、眼底像２４がその中心領域（第５領域２４ａ）とその周囲の８個の周辺領域（第１領域２４ａ～第４領域２４ａ、第６領域２４ａ～第９領域２４ａ）とに区分けされる。

なお、ここでいう区分けとは、眼底像２４を仮想的に９個の領域２４ａに分けること（すなわち領域設定）と、眼底像２４を実際に９個の領域２４ａに分割することの両方が含まれる。また、後者の場合には、眼底像２４内での各領域２４ａの位置を示す領域情報５４（図６参照）を領域２４ａごとに付加することが好ましい。以下、区分部４６は、画像取得部４４から眼底像２４が入力されるごとに、その区分けを行う。

また、本実施形態では、区分部４６により眼底像２４を格子状に区分けしているが、例えば同心円状に区分けしたり、或いはＥＴＤＲＳ（Early Treatment Diabetic Retinopathy Study）グリッドのような形状に区分けしたりしてもよく、区分形状は特に限定はされない（後述の第２実施形態以降も同様）。さらに、眼底像２４の区分数も９個に限定されるものではなく適宜変更可能である。

図２に戻って、処理部４８は、プログラム３８に基づいて、区分部４６により区分された眼底像２４の領域２４ａごとに領域２４ａの画質の良否を評価する。具体的には処理部４８は、記憶部３２から取得した学習済みモデル３９を用いて、眼底像２４の領域２４ａごとにその画質の良否の判定（分類）を行う。なお、図中ではプログラム３８と学習済みモデル３９とが記憶部３２内に別々に記憶されているが、プログラム３８に学習済みモデル３９が包含されていてもよい。また、処理部４８が、学習済みモデル３９を記憶部３２から取得する代わりに、例えば眼科装置１０のメーカのサーバ（不図示）から学習済みモデル３９を取得してもよい（第２実施形態以降も同様）。

図４は、公知のＣＮＮを適用した学習済みモデル３９の代表的な構成例を示した模式図である。図４に示すように、学習済みモデル３９は、区分部４６により区分された各領域２４ａ（画像）内の色情報及び画素値の勾配等に基づき各領域２４ａ内の特徴量を算出し、各領域２４ａ内の特徴量に基づき各領域２４ａの画質を「ＧＯＯＤ」及び「ＢＡＤ」の２クラスのいずれかに分類する。

学習済みモデル３９（ＣＮＮ）は、入力層３９ａと中間層３９ｂと出力層３９ｃとを備える。入力層３９ａ、中間層３９ｂ、及び出力層３９ｃは、複数の「ノード」が「エッジ」で結ばれる構造となっている。

入力層３９ａには、区分部４６により各領域２４ａに区分された眼底像２４が入力される（図８参照）。

中間層３９ｂは、畳み込み層とプーリング層から構成された複数セット、及び全結合層を有しており、入力層３９ａから入力された眼底像２４（各領域２４ａ）から特徴量を抽出する。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。このように「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。

なお、中間層３９ｂは、畳み込み層及びプーリング層を１セットとする構成に限らず、畳み込み層が連続する構成又は正規化層を有する構成も含まれる。

全結合層は、前の層の全てのノードと重み付き結合し、活性化関数によって変換された値（特徴変数）を出力する部分である。本実施形態の全結合層は、各領域２４ａの画質の分類（「ＧＯＯＤ」、「ＢＡＤ」）ごとの特徴変数を出力する。

出力層３９ｃは、推論部として機能し、全結合層からの出力値（特徴変数）に基づき、ソフトマックス関数等を用いて、分類する各クラス（「ＧＯＯＤ」、「ＢＡＤ」）に対するスコア（０～１又は０％～１００％）を算出する。各クラスのスコアの合計は「１」又は「１００％」である。次いで、出力層３９ｃは、各クラスのうちでスコアが最大となるクラスと、そのクラスのスコアとを分類結果として出力する。なお、出力層３９ｃから出力されるスコアは、領域２４ａの画質を示す評価値（画質評価値）となる。

このような学習済みモデル３９の中間層３９ｂの各畳み込み操作にて使用されるフィルタのパラメータ、及び全結合層の重み係数等は、予め多数の訓練データ５２（学習データともいう、図５～図７参照）を用いた機械学習により最適化されている。機械学習には、教師あり学習、教師なし学習、強化学習などがある。また、転移学習によりパラメータ及び重み付け係数を更新してもよい。なお、本実施形態では、機械学習として「教師あり学習」を例に挙げて説明を行う。以下、学習済みモデル３９の機械学習（教師あり学習）に用いられる訓練データ５２の第１例から第３例の説明を行う。

図５は、訓練データ５２の第１例を説明するための説明図である。図５に示すように、第１例の訓練データ５２としては、各領域２４ａに区分け（領域設定）された複数の眼底像２４が用いられる。なお、複数の訓練データ５２（眼底像２４）の領域２４ａごとに、予め画質（「ＧＯＯＤ」又は「ＢＡＤ」）を評価した結果である正解ラベルが対応付けられている。従って、教師あり学習に用いられる訓練データ５２は教師データともいう。各領域２４ａに区分された１枚の眼底像２４を訓練データ５２として用いることで、学習済みモデル３９が各領域２４ａの画質と位置関係との関連を学習させたものになるので、学習済みモデル３９により各領域２４ａの位置関係も考慮した画質評価が可能となる。その結果、画質評価の精度を向上させることができる。

図６は、訓練データ５２の第２例を説明するための説明図である。図６に示すように、第２例の訓練データ５２としては、正解ラベルが対応付けられた複数の領域２４ａ（画像データ）が用いられる。この際に、第１例の訓練データ５２と同様に、学習済みモデル３９により各領域２４ａの位置関係も考慮した画質評価を行うために、訓練データ５２を構成する各領域２４ａに眼底像２４内での位置（位置座標）を示す領域情報５４が付加されていることが好ましい。なお、領域情報５４については省略してもよい。

図７は、訓練データ５２の第３例を説明するための説明図である。図７に示すように、第３例の訓練データ５２としては、各領域２４ａに区分されていない複数の眼底像２４が用いられる。各訓練データ５２（眼底像２４）には正解ラベルが対応付けられている。各領域２４ａに区分されていない訓練データ５２であっても画質の「ＧＯＯＤ」の特徴及び「ＢＡＤ」の特徴を学習済みモデル３９に学習させられるので、各領域２４ａの画質の評価に用いることができる。

図８は、第１実施形態の処理部４８による眼底像２４の領域２４ａごとの画質評価、すなわち画質の良否の判定（分類）の一例を説明するための説明図である。

図８に示すように、処理部４８は、記憶部３２から学習済みモデル３９を取得することで、眼底像２４の領域２４ａごとの画質の良否を判定する判定器（分類する分類器）として機能する。この処理部４８は、区分部４６により各領域２４ａに区分けされた眼底像２４を学習済みモデル３９に入力する。ここでいう学習済みモデル３９に対する「各領域２４ａに区分けされた眼底像２４」の入力には、仮想的に９個の領域２４ａに区分けされた眼底像２４を入力すること、及び実際に分割された９個の領域２４ａを入力することの両方が含まれる。なお、後者の場合には既述の通り、領域情報５４を各領域２４ａに付加することが好ましい。

処理部４８は、各領域２４ａに区分けされた眼底像２４を学習済みモデル３９に入力することで、眼底像２４の領域２４ａごとにその画質の評価結果、すなわち画質の良否の判定結果（分類結果）であるクラス（「ＧＯＯＤ」又は「ＢＡＤ」）を出力すると共にそのスコアを出力する。以下、処理部４８は、区分部４６が眼底像２４の区分けを行うごとに、学習済みモデル３９に対して「各領域２４ａに区分けされた眼底像２４」を入力して、領域２４ａごとの画質の評価結果を出力する。

図２に戻って、表示制御部５０はモニタ１８の表示を制御する。この表示制御部５０は、処理部４８による眼底像２４の領域２４ａごとの画質の評価結果をモニタ１８に表示させる。

図９は、表示制御部５０による眼底像２４の領域２４ａごとの画質の評価結果の表示の一例を説明するための説明図である。図９に示すように、表示制御部５０は、本発明の第１表示制御部に相当するものであり、処理部４８による領域２４ａごとの画質の評価結果に基づき、眼底像２４と、その領域２４ａごとの画質を段階的に識別可能なカラーマップ５６と、をモニタ１８に重畳表示させる。

具体的には表示制御部５０は、眼底像２４の各領域２４ａの中で「ＧＯＯＤ」のスコアが任意の閾値［例えば０．７（７０％）］以上である領域２４ａを、画質が「ＧＯＯＤ」であるとして例えば「緑色」で表示する。また、表示制御部５０は、眼底像２４の各領域２４ａの中で「ＧＯＯＤ」のスコアが０．５（５０％）よりも大きく且つ上記閾値未満である領域２４ａを、画質が「ＮＯＲＭＡＬ」であるとして例えば「黄色」で表示する。さらに、表示制御部５０は、眼底像２４の各領域２４ａの中で「ＢＡＤ」のスコアが０．５（５０％）よりも大きい領域２４ａを、画質が「ＢＡＤ」であるとして例えば「赤色」で表示する。これにより、眼底像２４の領域２４ａごとの画質を３段階で識別可能なカラーマップ５６を眼底像２４に重畳表示させることができる。

なお、上述の３段階の区別基準については上述の方法に限定されるものではなく、適宜変更可能である。また、本実施形態では、領域２４ａごとの画質を３段階で識別可能なカラーマップ５６を眼底像２４に重畳表示させているが、画質を２段階又は４段階以上で識別可能なカラーマップ５６を眼底像２４に重畳表示させてもよい。さらに、眼底像２４にカラーマップ５６を重畳表示させる代わりに、「ＧＯＯＤ」、「ＮＯＲＭＡＬ」、及び「ＢＡＤ」の文字情報、或いは既述の図８に示したようなクラス（「ＧＯＯＤ」又は「ＢＡＤ」）及びそのスコアを重畳表示させてもよい。

［第１実施形態の作用］
図１０は、本発明の画質評価方法に係る第１実施形態の眼科装置１０による眼底像２４の撮影処理の流れを示したフローチャートである。なお、ＯＣＴ画像２５の撮影については公知技術であるので、ここでは具体的な説明は省略する。

図１０に示すように、眼科装置１０の電源がＯＮされると、統括制御部３０が記憶部３２からプログラム３８を読み出して実行する（ステップＳ１）。これにより、統括制御部３０が、アライメント制御部４０、ユニット制御部４２、画像取得部４４、区分部４６、処理部４８、及び表示制御部５０として機能する。

顔支持部１２による被検者の顔の支持が完了すると、操作部１６に対する測定開始操作の入力に応じて、ステレオカメラ２０による被検眼の前眼部の撮影及び前眼部像２６の出力とが実行される（ステップＳ２）。そして、アライメント制御部４０が、ステレオカメラ２０から入力された前眼部像２６に基づき測定ヘッド１４に対する被検眼の相対位置を検出した後、電動駆動機構１７を駆動して被検眼に対する測定ヘッド１４のオートアライメントを実行する（ステップＳ３）。

オートアライメントが完了すると、ユニット制御部４２は、眼底カメラユニット１４ａを作動させて被検眼の眼底の撮影を実行させる。これにより、眼底カメラユニット１４ａから眼底像２４が出力され、この眼底像２４を画像取得部４４が取得する（ステップＳ４）。そして、画像取得部４４は、眼底像２４を区分部４６に出力する。

そして、既述の図３に示したように、区分部４６が、眼底像２４を複数の領域２４ａに区分けする区分け処理を実行し、各領域２４ａに区分けされた眼底像２４を処理部４８に入力する（ステップＳ５）。

次いで、既述の図８に示したように、処理部４８が、記憶部３２から学習済みモデル３９を取得し、この学習済みモデル３９に対して各領域２４ａに区分けされた眼底像２４を入力することで、領域２４ａごとの画質の評価結果（クラス及びスコア）を出力する（ステップＳ６）。これにより、被検眼の眼底の所望の部位（乳頭、黄斑等）に対応する領域２４ａの画質を評価することができる。

そして、既述の図９に示したように、表示制御部５０が、処理部４８による領域２４ａごとの画質の評価結果に基づき、領域２４ａごとの画質を段階的に識別可能なカラーマップ５６を眼底像２４に重畳表示させる（ステップＳ７）。これにより、検者等は、眼底像２４内の所望の部位（乳頭、黄斑等）に対応する領域２４ａの画質の良否を容易に判別することができる。

検者は、眼底像２４内の所望の部位に対応する領域２４ａの画質が不良である場合には、操作部１６に対して再測定操作を入力する（ステップＳ８でＹＥＳ）。これにより、既述のステップＳ４からステップＳ７までの処理が繰り返し実行される。以下、眼底像２４内の所望の部位に対応する領域２４ａの画質が良好になるまで、上述の一連の処理が繰り返し実行される（ステップＳ８でＮＯ）。

以上のように第１実施形態では、学習済みモデル３９を用いて眼底像２４の領域２４ａごとの画質を評価することで、眼底像２４の画質をその部位ごとに評価することができる。これにより、眼底像２４内の所望の部位に対応する領域２４ａの画質の良否が判定可能となる。また、この部位に対応する領域２４ａ以外で画質不良が発生した場合に、眼底像２４の再撮影を検者に促してしまうことが防止される。

［第２実施形態］
図１１は、第２実施形態の眼科装置１０の構成を示したブロック図である。上記第１実施形態の眼科装置１０（処理部４８）では、共通の学習済みモデル３９を用いて眼底像２４の領域２４ａごとの画質評価を行っているが、第２実施形態では、領域２４ａごとに互いに異なる学習済みモデル３９を用いて領域２４ａごとの画質評価を行う。すなわち、第２実施形態では、領域２４ａごとに異なる判断基準で画質評価を行う。

図１１に示すように、第２実施形態の眼科装置１０は、上記第１実施形態とは異なる学習済みモデル３９が記憶部３２内に記憶されている点を除けば、上記第１実施形態と基本的に同じ構成である。このため、上記第１実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

図１２は、第２実施形態の区分部４６による眼底像２４の区分処理について説明するための説明図である。図１２に示すように、第２実施形態の区分部４６は、第１実施形態と同様に、眼底像２４を格子状に複数（例えば９個）の領域２４ａに区分する。この際に、第２実施形態の区分部４６は、既知の眼底の各部位（組織）の形状及び位置関係に基づき、眼底像２４を眼底の部位ごとに複数の領域２４ａに区分けする、より具体的には眼底の複数の特定部位（乳頭、黄斑等）の画像を互いに異なる領域２４ａに区分けする。これにより、例えば、眼底像２４内において乳頭（第４領域２４ａ）と黄斑（第５領域２４ａ）とが互いに異なる領域２４ａに区分けされる。

図１１に戻って、第２実施形態の学習済みモデル３９は、区分部４６により区分けされる９個の領域２４ａに対応した第１学習済みモデル３９Ａ、第２学習済みモデル３９Ｂ、第３学習済みモデル３９Ｃ、第４学習済みモデル３９Ｄ、第５学習済みモデル３９Ｅ、第６学習済みモデル３９Ｆ、第７学習済みモデル３９Ｇ、第８学習済みモデル３９Ｈ、及び第９学習済みモデル３９Ｉを含む。

第１学習済みモデル３９Ａから第９学習済みモデル３９Ｉは、第１実施形態の学習済みモデル３９と同様に、ＣＮＮを適用したものである。第１学習済みモデル３９Ａは、第１領域２４ａの画質評価、すなわちクラス（「ＧＯＯＤ」又は「ＢＡＤ」）及びスコアの出力を行う。第２学習済みモデル３９Ｂは、第２領域２４ａの画質評価を行う。以下同様に、第３学習済みモデル３９Ｃから第９学習済みモデル３９Ｉは、それぞれ第３領域２４ａから第９領域２４ａの画質評価を行う。

図１３は、第１学習済みモデル３９Ａから第９学習済みモデル３９Ｉの機械学習（教師あり学習）に用いられる訓練データ５２の一例を説明するための説明図である。図１３に示すように、「Ｎ」を１から９の任意の自然数とした場合に、第Ｎ学習済みモデル３９Ａの訓練データ５２としては、正解ラベルが対応付けられた複数の第Ｎ領域２４ａの画像データが用いられる。これにより、領域２４ａごとに異なる判断基準で画質評価を行うことができる。なお、図示は省略するが、上記第１実施形態と同様に各訓練データ５２に領域情報５４（図６参照）が付加されていてもよい。

図１４は、第２実施形態の処理部４８による眼底像２４の領域２４ａごとの画質評価の一例を説明するための説明図である。

図１４に示すように、第２実施形態の処理部４８は、記憶部３２から各学習済みモデル３９Ａ～３９Ｉを予め取得する。そして、処理部４８は、区分部４６により区分けされた眼底像２４の第１領域２４ａを第１学習済みモデル３９Ａに入力し、第２領域２４ａを第２学習済みモデル３９Ｂに入力し、以下同様に第３領域２４ａから第９領域２４ａをそれぞれ対応する第３学習済みモデル３９Ｃから第９学習済みモデル３９Ｉに入力する。これにより、処理部４８は、第１実施形態と同様に眼底像２４の領域２４ａごとにその画質の評価結果（クラス及びスコア）を出力する。

以下、第１実施形態と同様に表示制御部５０が、眼底像２４の領域２４ａごとの画質の評価結果に基づき、眼底像２４及びカラーマップ５６をモニタ１８に重畳表示させる。

以上のように第２実施形態では、眼底像２４の各領域２４ａ（特に乳頭及び黄斑等の特定部位）にそれぞれ対応（特化）した各学習済みモデル３９Ａ～３９Ｉを用いて領域２４ａごとの画質評価を個別に行うことで、領域２４ａごとに異なる判断基準で画質評価を行うことができる。その結果、領域２４ａごとの画質評価を精度よく行うことができる。

なお、第２実施形態では、眼底像２４の各領域２４ａにそれぞれ対応した各学習済みモデル３９Ａ～３９Ｉを用いて領域２４ａごとの画質評価を行っているが、さらに左右眼で異なる各学習済みモデル３９Ａ～３９Ｉを用いて、左右眼の眼底像２４の領域２４ａごとの画質評価を行ってもよい。この場合には、処理部４８は、眼底像２４内のマスクの形状、黄斑の位置、及び血管走行形状等から眼底像２４が左右眼のいずれを撮影したものであるかを判別し、各領域２４ａを対応する各学習済みモデル３９Ａ～３９Ｉ（左眼用又は右眼用）に入力する。

［第３実施形態］
次に、本発明の第３実施形態の眼科装置１０について説明を行う。上記各実施形態では、処理部４８による眼底像２４の領域２４ａごとの画質の良否を判定（分類）しているが、さらに第３実施形態では画質不良の原因の分類も行う詳細評価を行う。

第３実施形態の眼科装置１０は、上記第１実施形態とは異なる学習済みモデル３９が記憶部３２内に記憶されている点を除けば、上記第１実施形態と基本的に同じ構成である。このため、上記第１実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

図１５は、公知のＣＮＮを適用した第３実施形態の学習済みモデル３９の代表的な構成例を示した模式図である。図１５に示すように、第３実施形態の学習済みモデル３９は、上記第１実施形態と基本的に同じ構成であるが、各領域２４ａの画質を「ＧＯＯＤ」及び複数種類の画質不良の原因のいずれかに分類する。この画質不良の原因としては、フレアが発生する「フレア」、ピントずれ（焦点ずれ）による「ピンぼけ」、被検眼が小瞳孔になることで画像が暗くなる「小瞳孔（暗）」、白内障により画像が不鮮明になる白内障、画像の位置ずれが発生している「位置ずれ」、ゴーストが発生する「ゴースト」、涙液が映る「涙液」、まつ毛が映る「まつ毛」、その他の異物が映る「異物」等が例として挙げられる。

第３実施形態の中間層３９ｂの全結合層は、各領域２４ａの画質の分類（「ＧＯＯＤ」、「フレア」、「ピンぼけ」、…）ごとの特徴変数を出力する。また、第３実施形態の出力層３９ｃは、全結合層からの出力値（特徴変数）に基づき、ソフトマックス関数等を用いて、分類する各クラス（「ＧＯＯＤ」、「フレア」、「ピンぼけ」、…）に対するスコア（０～１又は０％～１００％）を算出し、各クラスのうちでスコアが最大となるクラスとそのスコアとを出力する。

図１６及び図１７は、第３実施形態の学習済みモデル３９の機械学習（教師あり学習）に用いられる訓練データ５２を説明するための説明図である。図１６及び図１７に示すように、第３実施形態の学習済みモデル３９の教師あり学習に用いられる訓練データ５２は、基本的には既述の図５及び図６に示した第１実施形態の訓練データ５２と同じであるが、各領域２４ａには第１実施形態とは異なる正解ラベル（「ＧＯＯＤ」、「フレア」、「ピンぼけ」、…）が対応付けられている。

図１８は、第３実施形態の処理部４８による眼底像２４の領域２４ａごとの画質評価の一例を説明するための説明図である。図１８に示すように、第３実施形態の処理部４８は、区分部４６により各領域２４ａに区分けされた眼底像２４を学習済みモデル３９に入力して、領域２４ａごとの画質の評価結果、すなわち画質の良否及び画質不良原因の判定結果（分類結果）であるクラス（「ＧＯＯＤ」、「フレア」、「ピンぼけ」、…のいずれか）及びそのスコアを出力する。これにより、眼底像２４の領域２４ａごとの画質の良否に加えてさらに画質不良の原因を評価する詳細評価を実行することができる。

図１９は、第３実施形態の表示制御部５０による眼底像２４及びカラーマップ５６の重畳表示を説明するための説明図である。図１９に示すように、第３実施形態の表示制御部５０は、本発明の第１表示制御部及び第２表示制御部として機能する。この表示制御部５０は、処理部４８による眼底像２４の領域２４ａごとの画質の詳細評価結果に基づき、既述の図９に示した第１実施形態と同様のカラーマップ５６と眼底像２４とをモニタ１８に重畳表示させるが、さらに画質不良（「ＢＡＤ」）の領域２４ａにはその原因を示す情報も合わせてモニタ１８に表示させる。これにより、検者（被検者でも可）が画質不良の領域２４ａの原因を容易に判別することができる。

以上のように第３実施形態では、処理部４８が眼底像２４の領域２４ａごとの画質の良否だけではなく、画質不良の領域２４ａの原因についても学習済みモデル３９を用いて自動的に判定（分類）可能であるので、検者等が原因の判定を行う手間を減らすことができ、さらに原因の判定精度を向上させることができる。

なお、上記第３実施形態において上記第２実施形態と同様に、区分部４６により区分けされる９個の領域２４ａに対応した９個の各学習済みモデル３９Ａ～３９Ｉを用いて眼底像２４の領域２４ａごとの画質の詳細評価を行ってもよい（後述の第４実施形態以降も同様）。

また、上記第３実施形態では、処理部４８が１つの学習済みモデル３９を用いて眼底像２４の領域２４ａごとの画質の良否及び画質不良の領域２４ａの原因の判定を行っているが、画質の良否の判定に用いられる学習済みモデル３９と、画質不良の領域２４ａの原因の判定に用いられる学習済みモデル３９とを分けてもよい。

［第４実施形態］
図２０は、第４実施形態の眼科装置１０の構成を示したブロック図である。上記第３実施形態の眼科装置１０では処理部４８が学習済みモデル３９を用いて画質不良の領域２４ａの原因の判定（分類）を行っているが、さらに第４実施形態では画質不良の原因に対する対策を被検者等に提示する。

図２０に示すように、第４実施形態の眼科装置１０は、記憶部３２内に対策情報６０が記憶され且つ統括制御部３０がさらに対策決定部６２として機能する点を除けば、上記第３実施形態と基本的に同じ構成である。このため、上記第３実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

対策情報６０は、領域２４ａが画質不良となる複数の原因（「フレア」、「ピンぼけ」、…）と、原因ごとの対策と、を関連付けた情報であり、眼科装置１０のメーカ等により生成されて予め記憶部３２内に記憶されている。なお、対策情報６０を予め記憶部３２に記憶させておく代わりにメーカ等のサーバから取得してもよい。

対策決定部６２は、処理部４８による眼底像２４の領域２４ａごとの画質の詳細評価結果に基づき、記憶部３２内の対策情報６０を参照して、画質不良となる領域２４ａごとに画質不良の原因に対応した対策を決定する。

図２１は、第４実施形態の表示制御部５０による眼底像２４及びカラーマップ５６の重畳表示を説明するための説明図である。図２１に示すように、第４実施形態の表示制御部５０は、既述の図１９に示した第３実施形態と同様に、眼底像２４とカラーマップ５６とをモニタ１８に重畳表示させると共に、画質不良の領域２４ａにはその原因を示す情報も合わせてモニタ１８に表示させる。さらに第４実施形態の表示制御部５０は、対策決定部６２の決定結果に基づき、画質不良となる領域２４ａごとに画質不良の原因に対する対策を表示させる。これにより、検者等に対して画質不良の原因に対する対策を提示することができる。

また、第４実施形態のユニット制御部４２は、画質不良の原因が「ピントずれ」であり、対策決定部６２が眼底カメラユニット１４ａの撮影制御（フォーカス制御）を変更する「対策Ａ」を決定した場合、この対策Ａに基づき眼底カメラユニット１４ａの撮影制御を変更する所謂フィードバック制御を行う。これにより、ピントずれの発生を抑えることができる。この場合、ユニット制御部４２は本発明の撮影制御部として機能する。

以上のように第４実施形態では、画質不良となる眼底像２４の領域２４ａごとに画質不良の原因に対する対策を表示させることで、検者等に対してその対策の実行を促すことができ、その結果、眼底像２４の再撮影時において画質不良となる領域２４ａの発生を防止することができる。これにより、眼底像２４の再撮影の回数を減らすことができる。

［第５実施形態］
図２２は、第５実施形態の眼科装置１０の構成を示したブロック図である。上記第３実施形態及び第４実施形態の眼科装置１０では、処理部４８が学習済みモデル３９を用いて眼底像２４の領域２４ａごとの画質の詳細評価（画質の良否及び画質不良の原因の評価）を行っているが、さらに第５実施形態では原因の評価結果が特定の条件を満たした場合に後述の警告情報６８（図２３参照）をモニタ１８に表示させる。

図２２に示すように、第５実施形態の眼科装置１０は、統括制御部３０がさらに警告制御部６６として機能する点を除けば、上記第３実施形態及び第４実施形態と基本的に同じ構成である。このため、上記各実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

警告制御部６６は、既述の表示制御部５０及びモニタ１８と共に本発明の警告情報出力部として機能する。この警告制御部６６は、画像取得部４４による眼底像２４の取得と、区分部４６による眼底像２４の区分処理と、処理部４８による眼底像２４の領域２４ａごとの画質の詳細評価と、が繰り返し実行された場合に作動する。

図２３は、警告制御部６６による警告情報６８の表示制御を説明するための説明図である。図２３に示すように、警告制御部６６は、処理部４８による複数の眼底像２４の領域２４ａごとの画質の詳細評価に基づき、共通の領域２４ａ（ここでは第１領域２４ａ）において同一の画質不良の原因（ここでは「異物」）が発生している特定の条件が満たされた場合に、表示制御部５０を介してモニタ１８に警告情報６８を表示させる。

例えば、警告制御部６６は、各眼底像２４の共通の領域２４ａにおいて眼底カメラユニット１４ａのレンズの傷或いはレンズへの異物付着等に起因する「異物」が発生している場合、眼底カメラユニット１４ａに異常が生じている旨の警告情報６８をモニタ１８に表示させる。なお、警告制御部６６は、警告情報６８をモニタ１８に表示させる代わりに、不図示のスピーカから警告情報６８を音声出力させてもよい。

以上のように第５実施形態では、各眼底像２４の共通の領域２４ａで同一の画質不良の原因が発生している場合に警告情報６８の出力を行うことで、検者等に対してその対策の実行を促すことができ、その結果、眼底像２４の再撮影時において画質不良となる領域２４ａの発生を防止することができる。これにより、眼底像２４の再撮影の回数を減らすことができる。

［第６実施形態］
図２４は、第６実施形態の眼科装置１０の構成を示したブロック図である。この第６実施形態の眼科装置１０では、処理部４８による複数の眼底像２４の領域２４ａごとの画質評価に基づき、画質不良の領域２４ａの補完処理を行う。

図２４に示すように、第６実施形態の眼科装置１０は、統括制御部３０がさらに補完処理部７０として機能する点を除けば、上記各実施形態と基本的に同じ構成である。このため、上記各実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

補完処理部７０は、眼底カメラユニット１４ａによる被検眼の眼底の同一（略同一を含む）の撮影範囲（画角）の撮影と、画像取得部４４による眼底像２４の取得と、区分部４６による眼底像２４の区分処理と、処理部４８による眼底像２４の領域２４ａごとの画質評価（詳細評価を含む）と、が繰り返し実行された場合に作動する。

図２５は、補完処理部７０による補完処理を説明するための説明図である。なお、図中において符号７１は、眼底像２４内で画質不良の領域２４ａである不良領域である。図２５に示すように、補完処理部７０は、処理部４８による複数の眼底像２４の領域２４ａごとの画質評価結果に基づき、ある眼底像２４内の不良領域７１を、この不良領域７１に対応する別の眼底像２４内の領域２４ａであって且つ画質が良好な領域２４ａを用いて公知の補完処理を実行する。眼底像２４の再撮影を行った場合に、眼底像２４ごとに画質不良（フレア、涙液等）となる領域２４ａの位置が変わる場合があるが、補完処理部７０により補完処理を行うことで画質が良好な眼底像２４を生成することができる。

図２６は、補完処理部７０による補完処理の応用例を説明するための説明図である。図２６の符号ＸＸＶＩＡに示すように、眼底像２４の撮影範囲（画角）の中心にはゴースト７２が発生し易い。このため、処理部４８による眼底像２４の領域２４ａごとの画質評価結果に基づき、眼底像２４の中心の領域２４ａにおいてゴースト７２等の不良が発生している場合には、図２６の符号ＸＸＶＩＢに示すように、既述の内部固視或いは外部固視により被検眼の向きを変えた状態で眼底カメラユニット１４ａによる眼底の再撮影を行う。これにより、新たな眼底像２４である眼底像２４－１が取得される。

そして、補完処理部７０は、眼底像２４及び眼底像２４－１内の黄斑の位置及び血管走行形状等を比較して、眼底像２４内のゴースト７２の発生部位に対応する眼底像２４－１内の対応部位７３の位置を判別する。次いで、補完処理部７０は、処理部４８による眼底像２４－１の領域２４ａごとの画質評価結果に基づき、対応部位７３を含む領域２４ａの画質が良好である場合は、眼底像２４内のゴースト７２の発生部位を、眼底像２４－１内の対応部位７３を用いて補完処理する。

以上のように第６実施形態では、処理部４８による複数の眼底像２４の領域２４ａごとの画質評価に基づき、画質不良の領域２４ａの補完処理を行うことで、良好な眼底像２４を生成することができる。

［第７実施形態］
図２７は、第７実施形態の眼科装置１０の構成を示したブロック図である。この第７実施形態の眼科装置１０ではパノラマ画像８２の生成を行う。

図２７に示すように、第７実施形態の眼科装置１０は、統括制御部３０がさらにパノラマ画像生成部８０として機能する点を除けば、上記各実施形態と基本的に同じ構成である。このため、上記各実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

第７実施形態の眼底カメラユニット１４ａは、被検眼の眼底を複数の撮影範囲（画角）に分割して撮影する。具体的には、既述の内部固視或いは外部固視により被検眼の向きを変えながら眼底の撮影を複数回実行する。これにより、眼底を複数に分割して撮影した眼底像２４が得られる。各眼底像２４の撮影範囲は、他の少なくとも１つの眼底像２４の撮影範囲と一部重複している。

第７実施形態の画像取得部４４は、眼底カメラユニット１４ａが被検眼の眼底を分割撮影するごとに、眼底カメラユニット１４ａから眼底像２４を取得する。また、画像取得部４４が眼底像２４を取得するごとに、上記各実施形態と同様に、第７実施形態の区分部４６による眼底像２４の区分処理と、第７実施形態の処理部４８による眼底像２４の領域２４ａごとの画質評価と、が繰り返し実行される。

図２８は、パノラマ画像生成部８０によるパノラマ画像８２の生成を説明するための説明図である。図２８に示すように、パノラマ画像生成部８０は、画像取得部４４が取得した複数の眼底像２４を公知の手法で連結してパノラマ画像８２を生成する。

この際にパノラマ画像生成部８０は、互いに撮影範囲の一部が重複する眼底像２４である隣接眼底像２４（本発明の第１眼科画像及び第２眼科画像に相当）同士を連結する場合に、処理部４８による複数の眼底像２４の領域２４ａごとの画質評価結果に基づき、隣接眼底像２４同士の重複領域８４の生成を行う。具体的にはパノラマ画像生成部８０は、一方の隣接眼底像２４内の重複領域８４に対応する領域２４ａと、他方の隣接眼底像２４内の重複領域８４に対応する領域２４ａとのうちで画質が良い方を用いて重複領域８４を生成する。

図２７に戻って、第７実施形態の表示制御部５０は、パノラマ画像生成部８０が生成したパノラマ画像８２をモニタ１８に表示させる。

以上のように第７実施形態では、処理部４８による複数の眼底像２４の領域２４ａごとの画質評価に基づきパノラマ画像８２の生成を行うことで、良好なパノラマ画像８２が得られる。

［その他］
上記各実施形態では、学習済みモデル３９の機械学習として教師あり学習を例に挙げて説明したが、機械学習として教師なし学習、強化学習、及び転移学習等を行ってもよい。

上記各実施形態では、ＣＮＮを適用した学習済みモデル３９の使用を例に挙げて説明を行ったが、ディープニューラルネットワーク、サポートベクタマシン、及びリカレントニューラルネットワーク等を適用したものを用いることができる。

上記第１実施形態及び第２実施形態等では、「ＧＯＯＤ」或いは「ＢＡＤ」の正解ラベルが対応付けられた訓練データ５２を用いて学習済みモデル３９の機械学習（教師あり学習）を行っているが、「ＧＯＯＤ」、「ＮＯＲＭＡＬ」、又は「ＢＡＤ」の正解ラベルが対応付けられた訓練データ５２を用いて学習済みモデル３９の機械学習を行ってもよい。

上記各実施形態では、本発明の眼科画像処理装置及びコンピュータに相当する演算制御ユニット２２が眼科装置１０に内蔵されているが、眼科装置１０とは独立して設けられていてもよい。この場合に、演算制御ユニット２２は、外部の眼科装置１０から眼底像２４等の眼科画像を取得して領域２４ａごとの画質評価を行い、その評価結果を外部の眼科装置１０或いは所定の送付先（病院等）に送信する。すなわち、眼科画像を撮影する装置と、学習済みモデル３９を用いて画質評価を行う装置と、が互いに異なる場所に設けられていてもよい。さらに、眼科画像の撮影装置から眼科画像を取得する装置と、眼科画像を複数の領域に区分けする装置と、学習済みモデル３９を用いて画質評価を行う装置と、が互いに異なる場所に設けられていてもよい。

図２９は、本発明を適用した眼科画像処理システム１００の概略図である。図２９に示すように、眼科画像処理システム１００は、小規模な診療所１０２Ａ或いは個人宅１０３Ｂに配置されている撮影装置１０３と、クラウドサーバ１０６と、病院１０８内の院内サーバ１１０とから構成されており、これらは互いにインターネット１０５（ネットワーク）で接続されている。

撮影装置１０３は、眼底像２４（眼科画像）を撮影可能な携帯型或いは簡易型の眼科装置（画質評価機能を有さない従来の眼科装置を含む）であり、被検者の眼底像２４を撮影する。なお、この眼科装置に通信機能が含まれていない場合には、眼科装置とインターネット１０５にアクセス可能な各種端末とが撮影装置１０３を構成する。この撮影装置１０３は、撮影した眼底像２４をインターネット１０５を介してクラウドサーバ１０６へ出力する。

クラウドサーバ１０６は、少なくとも１つのサーバ、例えば第１サーバ１０６Ａと第２サーバ１０６Ｂと第３サーバ１０６Ｃとを含む。第１サーバ１０６Ａのプロセッサは、上記各実施形態の画像取得部４４として機能する。第２サーバ１０６Ｂのプロセッサは、上記各実施形態の区分部４６として機能する。第３サーバ１０６Ｃのプロセッサは、上記各実施形態の処理部４８として機能する。このため、クラウドサーバ１０６は、上記各実施形態と同様に、撮影装置１０３からインターネット１０５によるネットワーク経由で眼底像２４を取得する処理と、眼底像２４を複数の領域２４ａに区分する処理と、区分された眼底像２４に基づき、学習済みモデル３９を用いて領域２４ａごとの画質を評価する処理と、を実行する。

なお、単独のサーバのプロセッサを、上記各実施形態の統括制御部３０と同様に、画像取得部４４、区分部４６、及び処理部４８として機能させてもよい。

そして、クラウドサーバ１０６は、ネットワーク経由で眼底像２４の領域２４ａごとの画質の評価結果を眼底像２４と共に病院１０８の院内サーバ１１０へ出力する。なお、眼底像２４の領域２４ａごとの画質の評価結果をクラウドサーバ１０６から診療所１０２Ａに出力してもよい。

院内サーバ１１０は、クラウドサーバ１０６から入力される眼底像２４及びその評価結果を、被検者の個人識別情報（患者ＩＤ：identification）に関連付けて記憶する。これにより、眼底像２４の撮影を診療所１０２或いは個人宅１０２Ｂで行い、この眼底像２４に基づいた被検眼の診察を専門の病院１０８で行う場合においても、眼底像２４の領域２４ａごとの画質評価を行い、必要に応じて撮影者に再撮影を促すことができる。

上記各実施形態では本発明の眼科画像として眼底像２４を撮影する眼科装置１０（複合機）を例に挙げて説明したが、眼底像２４、ＯＣＴ画像２５、及び前眼部像２６等の各種眼科画像を撮影する各種眼科装置（眼底カメラ、光干渉断層計、レフラクトメータ、オートレフケラトメータ、ケラトメータ、角膜トポグラファー装置等）に本発明を適用可能である。

１０ 眼科装置
１１ ベース
１２ 顔支持部
１２ａ 顎受け
１２ｂ 額当て
１３ 架台
１４ 測定ヘッド
１４ａ 眼底カメラユニット
１４ｂ ＯＣＴユニット
１５ 外部固視灯
１６ 操作部
１６ａ 操作レバー
１７ 電動駆動機構
１８ モニタ
１９ 対物レンズ
２０ ステレオカメラ
２２ 演算制御ユニット
２４，２４－１ 眼底像
２４ａ 領域（第１領域～第９領域）
２５ ＯＣＴ画像
２６ 前眼部像
３０ 統括制御部
３２ 記憶部
３４ 画像形成部
３６ データ処理部
３８ プログラム
３９ 学習済みモデル
３９Ａ～３９Ｉ 第１学習済みモデル～第９学習済みモデル
３９ａ 入力層
３９ｂ 中間層
３９ｃ 出力層
４０ アライメント制御部
４２ ユニット制御部
４４ 画像取得部
４６ 区分部
４８ 処理部
５０ 表示制御部
５２ 訓練データ
５４ 領域情報
５６ カラーマップ
６０ 対策情報
６２ 対策決定部
６６ 警告制御部
６８ 警告情報
７０ 補完処理部
７１ 不良領域
７２ ゴースト
７３ 対応部位
８０ パノラマ画像生成部
８２ パノラマ画像
８４ 重複領域
ＳＤ 検出信号

Claims (17)

1. 被検眼を撮影した眼科画像を取得する画像取得部と、
   前記眼科画像を複数の領域に区分する区分部と、
   前記区分部により複数の前記領域に区分された前記眼科画像に基づき、学習済みモデルを用いて、前記領域ごとの画質を評価する処理部と、
   を備える眼科画像処理装置。
2. 前記処理部が、複数の前記眼科画像を訓練データとして機械学習させた前記学習済みモデルを用いる請求項１に記載の眼科画像処理装置。
3. 前記処理部が、複数の前記領域の画像を訓練データとして機械学習させた前記学習済みモデルを用いる請求項１に記載の眼科画像処理装置。
4. 前記眼科画像を前記被検眼の部位ごとに複数の前記領域に区分けし、
   前記処理部が、前記領域ごとに前記機械学習を行うことにより得られた前記領域ごとの前記学習済みモデルを有し、
   前記処理部が、前記区分部により区分された前記眼科画像の前記領域ごとに、前記領域に対応する前記学習済みモデルを用いて前記画質の評価を行う請求項３に記載の眼科画像処理装置。
5. 前記眼科画像をモニタに表示させる第１表示制御部であって、且つ前記モニタに表示される前記眼科画像に対して、前記処理部から出力された前記領域ごとの前記画質の評価結果を段階的に識別可能に重畳表示させる第１表示制御部を備える請求項１から４のいずれか１項に記載の眼科画像処理装置。
6. 前記処理部が、前記区分部により複数の前記領域に区分された前記眼科画像に基づき、前記画質の良否を判定しさらに前記画質の不良の原因を判定する前記学習済みモデルを用いて、前記領域ごとの前記画質の良否と、前記画質が不良となる前記領域の前記原因とを評価する詳細評価を実行する請求項１から５のいずれか１項に記載の眼科画像処理装置。
7. 前記処理部による前記原因の評価結果をモニタに表示させる第２表示制御部を備える請求項６に記載の眼科画像処理装置。
8. 前記原因と前記原因に対する対策とを対応付けた対策情報に基づき、前記処理部が評価した前記原因に対応する前記対策を決定する対策決定部を備え、
   前記第２表示制御部が、前記原因の評価結果と共に前記対策決定部が決定した前記対策を前記モニタに表示させる請求項７に記載の眼科画像処理装置。
9. 前記被検眼を撮影する撮影部を制御する撮影制御部を備え、
   前記対策決定部が決定した前記対策が前記撮影部の撮影制御を変更するものである場合、前記撮影制御部が前記対策に基づき前記撮影制御を変更する請求項８に記載の眼科画像処理装置。
10. 前記画像取得部が、前記被検眼の撮影が繰り返されるごとに前記眼科画像を取得し、
    前記画像取得部が前記眼科画像を取得するごとに、前記区分部が前記眼科画像の区分を実行し且つ前記処理部が前記領域ごとの前記詳細評価を実行し、
    前記処理部による前記領域ごとの前記詳細評価の結果に基づき、複数の前記眼科画像の共通の前記領域において同一の前記原因が発生している場合に、警告情報を出力する警告情報出力部を備える請求項６から９のいずれか１項に記載の眼科画像処理装置。
11. 前記画像取得部が、前記被検眼の撮影が繰り返されるごとに前記眼科画像を取得し、
    前記画像取得部が前記眼科画像を取得するごとに、前記区分部が前記眼科画像の区分を実行し且つ前記処理部が前記領域ごとの前記画質の評価を実行し、
    前記処理部による複数の前記眼科画像の前記領域ごとの前記画質の評価結果に基づき、前記眼科画像内で前記画質が不良の前記領域である不良領域を、別の前記眼科画像内の前記不良領域に対応する前記領域であって且つ前記画質が良好な前記領域を用いて補完する補完処理部と、
    を備える請求項１から１０のいずれか１項に記載の眼科画像処理装置。
12. 前記画像取得部が、前記被検眼を複数の撮影範囲に分割して撮影して得られた複数の前記眼科画像を取得し、
    前記画像取得部が前記眼科画像を取得するごとに、前記区分部が前記眼科画像の区分を実行し且つ前記処理部が前記領域ごとの前記画質の評価を実行し、
    前記画像取得部が取得した複数の前記眼科画像を連結して前記被検眼のパノラマ画像を生成するパノラマ画像生成部と、
    を備え、
    前記パノラマ画像生成部が、互いに前記撮影範囲の一部が重複する前記眼科画像を第１眼科画像及び第２眼科画像とした場合に、前記処理部による複数の前記眼科画像の前記領域ごとの前記画質の評価結果に基づき、前記第１眼科画像と前記第２眼科画像との重複領域を、前記第１眼科画像及び前記第２眼科画像のうちで前記画質が良い方を用いて生成する請求項１から１０のいずれか１項に記載の眼科画像処理装置。
13. 前記画像取得部が、前記眼科画像として前記被検眼の眼底像を取得する請求項１から１２のいずれか１項に記載の眼科画像処理装置。
14. 被検眼を撮影して眼科画像を出力する撮影部と、
    請求項１から１３のいずれか１項に記載の眼科画像処理装置と、
    を備える眼科装置。
15. プロセッサが、
    被検眼を撮影した眼科画像を取得する処理と、
    前記眼科画像を複数の領域に区分する処理と、
    複数の前記領域に区分された前記眼科画像に基づき、学習済みモデルを用いて、前記領域ごとの画質を評価する処理と、
    を実行する画質評価方法。
16. 被検眼を撮影した眼科画像を取得する処理と、
    前記眼科画像を複数の領域に区分する処理と、
    複数の前記領域に区分された前記眼科画像に基づき、学習済みモデルを用いて、前記領域ごとの画質を評価する処理と、
    をコンピュータに実行させるプログラム。
17. 被検眼を撮影して眼科画像を出力する撮影装置と、
    前記撮影装置とネットワークで接続された少なくとも１つのサーバと、
    を備え、
    前記サーバが、
    前記撮影装置から前記ネットワーク経由で前記眼科画像を取得する処理と、
    前記眼科画像を複数の領域に区分する処理と、
    複数の前記領域に区分された前記眼科画像に基づき、学習済みモデルを用いて、前記領域ごとの画質を評価する処理と、
    を実行する眼科画像処理システム。

Images