JP2022134615A - 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム - Google Patents
医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2022134615A JP2022134615A JP2021033863A JP2021033863A JP2022134615A JP 2022134615 A JP2022134615 A JP 2022134615A JP 2021033863 A JP2021033863 A JP 2021033863A JP 2021033863 A JP2021033863 A JP 2021033863A JP 2022134615 A JP2022134615 A JP 2022134615A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- processing unit
- region
- tomographic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 742
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000001514 detection method Methods 0.000 claims abstract description 197
- 239000002131 composite material Substances 0.000 claims abstract description 55
- 210000001525 retina Anatomy 0.000 claims description 50
- 238000003384 imaging method Methods 0.000 claims description 43
- 238000005070 sampling Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 188
- 230000002207 retinal effect Effects 0.000 description 151
- 230000008569 process Effects 0.000 description 134
- 230000011218 segmentation Effects 0.000 description 84
- 238000012014 optical coherence tomography Methods 0.000 description 64
- 210000001508 eye Anatomy 0.000 description 62
- 238000012986 modification Methods 0.000 description 40
- 230000004048 modification Effects 0.000 description 40
- 238000003860 storage Methods 0.000 description 32
- 238000012856 packing Methods 0.000 description 29
- 238000010801 machine learning Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 21
- 210000003733 optic disk Anatomy 0.000 description 20
- 238000005259 measurement Methods 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 13
- 210000003161 choroid Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 206010025421 Macule Diseases 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 210000001775 bruch membrane Anatomy 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 210000004379 membrane Anatomy 0.000 description 5
- 239000012528 membrane Substances 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005429 filling process Methods 0.000 description 4
- 210000003786 sclera Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 210000004126 nerve fiber Anatomy 0.000 description 3
- 210000003583 retinal pigment epithelium Anatomy 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000003325 tomography Methods 0.000 description 3
- 210000004127 vitreous body Anatomy 0.000 description 3
- 208000003098 Ganglion Cysts Diseases 0.000 description 2
- 208000005400 Synovial Cyst Diseases 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 108091008695 photoreceptors Proteins 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000010412 Glaucoma Diseases 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 210000005081 epithelial layer Anatomy 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000028161 membrane depolarization Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000790 retinal pigment Substances 0.000 description 1
- 210000000844 retinal pigment epithelial cell Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
【課題】短い処理時間で断層画像における対象物の領域又は境界を検出することができる医用画像処理装置を提供する。【解決手段】被検眼の断層画像を取得する取得部と、取得した断層画像における層及び境界の少なくとも一方を検出する処理部と、を備え、処理部は、取得した断層画像における複数の部分領域の画像を合成することにより合成画像を生成し、学習済モデルを用いて、合成画像における層及び境界の少なくとも一方を検出し、学習済モデルを用いて得た検出結果を用いて、取得した断層画像における層及び境界の少なくとも一方を検出する、医用画像処理装置。【選択図】図4
Description
本発明は、医用画像処理装置、学習済モデル、医用画像処理方法及びプログラムに関する。
光干渉断層撮影法(OCT:Optical Coherence Tomography)を用いた装置(OCT装置)などの眼部の断層画像撮影装置は、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。
OCTの形態として、例えば、広帯域な光源とマイケルソン干渉計を組み合わせたTD-OCT(Time Domain OCT)がある。TD-OCTは、参照アームの遅延を走査することで、信号アームの後方散乱光との干渉光を計測し、深さ方向の情報を得るように構成されている。しかしながら、TD-OCTでは参照アームの遅延の走査に起因して高速な画像取得は難しい。
そのため、より高速に画像を取得する方法として、広帯域光源を用い、分光器でインターフェログラムを取得する手法によるSD-OCT(Spectral Domain OCT)が知られている。また、光源として、高速波長掃引光源を用い、単一チャネル光検出器でスペクトル干渉を計測する手法によるSS-OCT(Swept Source OCT)が知られている。
OCTを用いて断層画像が取得された場合には、神経線維層の厚みを計測できれば、緑内障などの疾病の進行度や治療後の回復具合を定量的に診断することができる。これに関連して、網膜の各層の厚みを定量的に計測するために、学習済モデルを用いて断層画像から網膜の各層を領域検出し、各層の厚みを計測する技術が、特許文献1に開示されている。
しかしながら、特許文献1に記載の技術では、OCTで撮影された断層画像の全領域を対象に、学習済モデルを用いて網膜層を領域検出している。そのため、重要ではない断層画像の領域でも処理対象になるため、データの転送や準備、網膜層領域の検出処理に余計な負荷がかかってしまい、多くの処理時間がかかっていた。
そこで、本発明の一実施態様では、短い処理時間で断層画像における対象物の領域又は境界を検出することができる医用画像処理装置、学習済モデル、医用画像処理方法及びプログラムを提供することを目的の一つとする。
本発明の一実施態様に係る医用画像処理装置は、被検眼の断層画像を取得する取得部と、前記取得した断層画像における層及び境界の少なくとも一方を検出する処理部と、を備え、前記処理部は、前記取得した断層画像における複数の部分領域の画像を合成することにより合成画像を生成し、学習済モデルを用いて、前記合成画像における層及び境界の少なくとも一方を検出し、前記学習済モデルを用いて得た検出結果を用いて、前記取得した断層画像における層及び境界の少なくとも一方を検出する。
本発明の一実施態様によれば、短い処理時間で断層画像における対象物の領域又は境界を検出することができる。
本発明のさらなる特徴が、添付の図面を参照して以下の例示的な実施形態の説明から明らかになる。
以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
なお、以下において、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な教師データ(学習データ)を用いてトレーニングした(学習を行った)モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。
(第1の実施形態)
以下、図1乃至図13を参照して、本発明の第1の実施形態に係る、眼部の断層画像を処理する医用画像処理装置を備える医用画像処理システム及び医用画像処理方法について説明する。本実施形態に係る網膜層の領域検出処理では、機械学習モデルに関する学習済モデルを用いて、網膜領域を含む注目領域における網膜層の領域検出(セグメンテーション)処理を行う。ここで、本実施形態では、領域検出処理の入力データに関して、断層画像から注目領域を抽出し、抽出した複数の注目領域のデータをまとめた合成画像を用いる。これにより、本実施形態によれば、転送するデータや領域検出処理対象のデータを減らし、領域検出効率を向上させ、処理を高速化することができる。
以下、図1乃至図13を参照して、本発明の第1の実施形態に係る、眼部の断層画像を処理する医用画像処理装置を備える医用画像処理システム及び医用画像処理方法について説明する。本実施形態に係る網膜層の領域検出処理では、機械学習モデルに関する学習済モデルを用いて、網膜領域を含む注目領域における網膜層の領域検出(セグメンテーション)処理を行う。ここで、本実施形態では、領域検出処理の入力データに関して、断層画像から注目領域を抽出し、抽出した複数の注目領域のデータをまとめた合成画像を用いる。これにより、本実施形態によれば、転送するデータや領域検出処理対象のデータを減らし、領域検出効率を向上させ、処理を高速化することができる。
図1は、本実施形態に係る画像処理装置(医用画像処理装置)を備える画像処理システムの概略的な構成の一例を示す。図1に示すように、画像処理システムには、断層画像撮影装置の一例であるOCT装置10、画像処理装置20、眼底画像撮影装置30、外部記憶装置40、表示部50、及び入力部60が設けられている。
OCT装置10は、被検眼の断層画像を撮影するための装置である断層画像撮影装置の一例である。OCT装置としては、任意の種類のOCT装置を用いることができ、例えばSD-OCT装置やSS-OCT装置を用いることができる。
画像処理装置20は、インターフェースを介してOCT装置10、眼底画像撮影装置30、外部記憶装置40、表示部50、及び入力部60と接続されており、これらを制御することができる。画像処理装置20は、OCT装置10、眼底画像撮影装置30、及び外部記憶装置40から取得する各種信号に基づいて、被検眼の断層画像やEn-Face画像(正面画像)等の各種画像を生成することができる。また、画像処理装置20は、これら画像について画像処理を施すことができる。
なお、画像処理装置20は、汎用のコンピュータによって構成されてもよいし、画像処理システムの専用のコンピュータによって構成されてもよい。画像処理装置20は、不図示のプロセッサ、及び光学ディスクやROM(Read Only Memory)等のメモリを含む記憶媒体を備えている。プロセッサは、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等であってよい。なお、プロセッサは、CPUやMPUに限定されるものではなく、GPU(Graphics Processing Unit)やFPGA(Field-Programmable Gate Array)等であってもよい。
眼底画像撮影装置30は、被検眼の眼底画像を撮影するための装置であり、当該装置としては、例えば、眼底カメラやSLO(Scanning Laser Ophthalmoscope)等を用いることができる。なお、OCT装置10と眼底画像撮影装置30の装置構成は、一体型でもよいし別体型でもよい。
外部記憶装置40は、被検眼に関する情報(患者の氏名、年齢、及び性別等)と、撮影した各種画像データ、撮影パラメータ、画像解析パラメータ、及び操作者によって設定されたパラメータをそれぞれ関連付けて保持している。外部記憶装置40は、任意の記憶装置によって構成されてよく、例えば、光学ディスクやメモリ等の記憶媒体によって構成されてよい。
表示部50は、任意のディスプレイによって構成され、画像処理装置20による制御に従い、被検眼に関する情報や各種画像等を表示することができる。入力部60は、例えば、マウス、キーボード、又はタッチディスプレイなどであり、操作者は、入力部60を介して、画像処理装置20やOCT装置10、眼底画像撮影装置30への指示を画像処理装置20に入力することができる。
なお、これら構成要素は図1では別体として示されているが、これら構成要素の一部又は全部を一体として構成してもよい。例えば、入力部60をタッチディスプレイとする場合には、入力部60を表示部50と一体として構成することができる。
次にOCT装置10について説明する。OCT装置10には、光源11、ガルバノミラー12、フォーカスレンズステージ13、コヒーレンスゲートステージ14、ディテクタ15、及び内部固視灯16が設けられている。なお、OCT装置10は既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置20からの指示により行われる断層画像の撮影について説明を行う。
画像処理装置20から撮影の指示が伝えられると、光源11が光を出射する。光源11からの光は不図示の分割部を用いて測定光と参照光に分割される。OCT装置10では、測定光を被検体(被検眼)に照射し、被検体からの戻り光と、参照光との干渉光を検出することで、被検体の断層情報を含む干渉信号を取得することができる。
ガルバノミラー12は、測定光を被検眼の眼底において走査するために用いられる走査部の一例であり、ガルバノミラー12による測定光の走査範囲により、OCT撮影による眼底の撮影範囲を規定することができる。画像処理装置20は、ガルバノミラー12の駆動範囲及び速度を制御することで、眼底における平面方向の撮影範囲及び走査線数(平面方向の走査速度)を規定することができる。図1では、説明を簡略化するため、ガルバノミラー12を1つのユニットとして示したが、ガルバノミラー12は、実際にはXスキャン用のミラーとYスキャン用の2枚のミラーで構成され、眼底上における所望の範囲を測定光で走査できる。なお、測定光を走査するための走査部の構成はガルバノミラーに限られず、他の任意の偏向ミラーを用いることができる。また、走査部として、例えば、MEMSミラーなどの1枚で二次元方向に測定光を走査することができる偏向ミラーを用いてもよい。
フォーカスレンズステージ13には不図示のフォーカスレンズが設けられている。フォーカスレンズステージ13を移動させることで、フォーカスレンズを測定光の光軸に沿って移動させることができる。このため、フォーカスレンズによって、被検眼の前眼部を介し、眼底の網膜層に測定光をフォーカスすることができる。眼底に照射された測定光は各網膜層で反射・散乱して、戻り光として光路を戻る。
コヒーレンスゲートステージ14は、被検眼の眼軸長の相違等に対応するため、参照光又は測定光の光路の長さを調整するために用いられる。本実施形態では、コヒーレンスゲートステージ14は、ミラーが設けられたステージによって構成され、参照光の光路において光軸方向に移動することで参照光の光路長を測定光の光路長に対応させることができる。ここで、コヒーレンスゲートの位置は、OCTにおける測定光と参照光の光学距離が等しい位置を表す。コヒーレンスゲートステージ14は、画像処理装置20により制御されることができる。画像処理装置20は、コヒーレンスゲートステージ14によりコヒーレンスゲートの位置を制御することで、被検眼の深さ方向の撮影範囲を制御することができ、網膜層側の撮影、又は網膜層より深部側の撮影等を制御することができる。
ディテクタ15は、不図示の干渉部において生じた、被検眼からの測定光の戻り光と参照光との干渉光を検出し、干渉信号を生成する。画像処理装置20は、ディテクタ15からの干渉信号を取得し、干渉信号に対してフーリエ変換等を行うことで被検眼の断層画像を生成することができる。
内部固視灯16には、表示部161及びレンズ162が設けられている。本実施形態では、表示部161の一例として複数の発光ダイオード(LD)がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、画像処理装置20の制御により撮影したい部位に応じて変更される。表示部161からの光は、レンズ162を介し、被検眼に導かれる。表示部161から出射される光は、例えば520nmの波長を有し、画像処理装置20による制御により所望のパターンで表示される。
なお、OCT装置10には、他の構成が含まれてもよい。例えば、OCT装置10に、画像処理装置20による制御に基づいて、各構成要素の駆動を制御するOCT装置10用の駆動制御部や測定光を遮るように駆動するシャッター等が更に設けられてもよい。
次に、図2(a)乃至図2(c)を参照して、画像処理システムで取得する眼の構造と画像について説明する。図2(a)は眼球の模式図である。図2(a)には、角膜C、水晶体CL、硝子体V、黄斑部M(黄斑の中心部は中心窩を表す)、及び視神経乳頭部Dが表されている。本実施形態では、主に、硝子体V、黄斑部M、及び視神経乳頭部Dを含む網膜の後極部を撮影する場合について説明を行う。なお、以下では説明しないが、OCT装置10は、角膜や水晶体等の前眼部を撮影することも可能である。
図2(b)は、OCT装置10を用いて網膜を撮影することで取得した断層画像の一例を示す。図2(b)において、ASは一回のAスキャンにより取得される画像単位を示す。ここで、Aスキャンとは、OCT装置10の上記一連の動作により、被検眼の一点における深さ方向の断層情報を取得することをいう。また、Aスキャンを任意の横断方向(主走査方向)において複数回行うことで被検眼の当該横断方向と深さ方向の二次元の断層情報を取得することをBスキャンという。Aスキャンによって取得されたAスキャン画像を複数集めることで、1つのBスキャン画像を構成することができる。以下、このBスキャン画像のことを、二次元の断層画像と呼ぶ。本例における断層画像では、横軸(OCTの主走査方向)をX軸とし、縦軸(深さ方向)をZ軸とする。
さらに、被検眼上の撮影範囲に対して、走査部によって走査位置を所定の方向(副走査方向)に移動させながら、主走査方向の走査を繰り返すことで、複数のBスキャン画像を取得することができる。例えば、走査位置をY方向において移動させながら、XZ面のBスキャンを繰り返すことで、XYZ空間の三次元情報を得ることができる。得られた複数のBスキャン画像を用いて構成されるデータをボリュームデータと呼ぶ。画像処理装置20は、このボリュームデータから被検眼の三次元の断層画像を生成することができる。このようなスキャン方式をCスキャンと呼び、得られる三次元の断層画像をCスキャン画像と呼ぶ。また、画像処理装置20は、三次元情報の少なくとも一部の深度範囲における情報を投影又は積算することにより、眼底のEn-Face画像(正面画像)を取得することもできる。
図2(b)には、血管Ve、硝子体V、黄斑部M、及び視神経乳頭部Dが表されている。また、境界線L1は内境界膜(ILM)、境界線L2は神経線維層(NFL)と神経節細胞層(GCL)との境界、境界線L3は内膜状層(IPL)と内顆粒層(INL)との境界を表す。さらに、境界線L4は網膜色素上皮層(RPE)、境界線L5はブルッフ膜(BM)、境界線L6は脈絡膜を表す。
図2(c)は、眼底画像撮影装置30を用いて被検眼の眼底を撮影することで取得した眼底画像の一例を示す。図2(c)には、黄斑部M、及び視神経乳頭部Dが表されており、網膜の血管が太い曲線で表されている。眼底画像において、横軸(OCTの主走査方向)をX軸とし、縦軸(OCTの副走査方向)をY軸とする。
次に、再び図1を参照して、画像処理装置20について説明する。画像処理装置20には、取得部21、画像処理部22、駆動制御部23、記憶部24、及び表示制御部25が設けられている。
取得部21は、OCT装置10から被検眼の干渉信号のデータを取得することができる。なお、取得部21が取得する干渉信号のデータは、アナログ信号でもデジタル信号でもよい。取得部21がアナログ信号を取得する場合には、画像処理装置20でアナログ信号をデジタル信号に変換することができる。また、取得部21は、画像処理部22で生成された断層データや、断層画像及びEn-Face画像等の各種画像を取得することができる。ここで、断層データとは、被検体の断層に関する情報を含むデータであり、OCTによる干渉信号に基づくデータ、及びこれに高速フーリエ変換(FFT:Fast Fourier Transform)や任意の信号処理を行ったデータを含むものをいう。
さらに、取得部21は、画像処理すべき断層画像の撮影条件群(例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像の画素サイズ、画像フィルタ、及び画像のデータ形式に関する情報など)を取得する。なお、撮影条件群については、例示したものに限られない。また、撮影条件群は、例示したもの全てを含む必要はなく、これらのうちの一部を含んでもよい。
また、取得部21は、眼底画像撮影装置30で取得した眼底情報を含むデータや眼底正面画像等を取得することができる。さらに、取得部21は、被検者識別番号等の被検眼を同定するための情報を入力部60や外部記憶装置40等から取得することができる。また、取得部21は、外部記憶装置40や不図示の外部装置に記憶された各種画像や、他の撮影装置を用いて得られた情報等を取得することもできる。取得部21は、取得した各種データや画像を記憶部24に記憶させることができる。
画像処理部22は、取得部21で取得されたデータや記憶部24に記憶されたデータから、断層画像やEn-Face画像等を生成し、生成又は取得した画像に画像処理を施すことができる。画像処理部22には、断層画像生成部221及び処理部222が設けられている。
断層画像生成部221は、取得部21で取得された干渉信号に対してフーリエ変換等の処理を施して断層データを生成し、断層データに基づいて断層画像を生成することができる。なお、断層画像の生成方法としては既知の任意の方法を採用してよく、詳細な説明は省略する。
処理部222は、断層画像において注目領域の検出処理を行う。なお、本実施形態において、処理部222は、注目領域として、網膜領域と脈絡膜を含む領域を検出する。また、処理部222は、検出した複数の注目領域のうち少なくとも2つの注目領域の画像を縦(被検眼の深さ方向)に並べて配置した合成画像を生成するパッキング処理を行う。さらに、処理部222は、合成画像から各注目領域の画像を分割し、分割した各注目領域の画像を断層画像に戻すアンパック処理を行う。これらの処理方法の詳細については後述する。
さらに、処理部222は、ディープラーニング等の機械学習アルゴリズムによる機械学習モデルに関する学習済モデルを含む。処理部222は、学習済モデルを用いて、断層画像において被検眼の網膜領域における層構造や層境界を検出するセグメンテーション処理を行う。機械学習モデルやセグメンテーション処理の詳細については後述する。
駆動制御部23は、画像処理装置20に接続されているOCT装置10や眼底画像撮影装置30の各構成要素の駆動を制御することができる。記憶部24は、取得部21で取得された断層データ、及び画像処理部22で生成・処理された断層画像等の各種画像やデータ等を記憶することができる。また、記憶部24は、プロセッサによって実行されることで画像処理装置20の各構成要素の機能を果たすためのプログラム等を記憶することもできる。
表示制御部25は、取得部21で取得された各種情報や画像処理部22で生成・処理された断層画像等の各種画像、及び操作者によって入力された情報等の表示部50における表示を制御することができる。
上述した画像処理装置20における記憶部24以外の各構成要素は、CPUやMPU、GPU等のプロセッサによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ASIC等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。記憶部24は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
次に、図3(a)乃至図10を参照して、処理部222による各種処理について説明する。上述のように、学習済モデルを用いた従来の網膜層の検出処理では、断層画像の全領域を対象として処理を行うため、データの転送や準備、網膜層の領域検出処理に余計な負荷がかかってしまい、多くの処理時間がかかっていた。そこで、本実施形態では、断層画像から網膜層の領域検出処理を行うべき注目領域を抽出し、抽出した複数の注目領域の画像をまとめるパッキング処理を行って合成画像を生成し、学習済モデルを用いて合成画像から網膜層の検出を行う。
(注目領域検出)
まず、図3(a)乃至図3(e)を参照して、本実施形態に係る注目領域の検出処理について説明する。上述のように、本実施形態では、注目領域として、断層画像における網膜領域と脈絡膜を含む領域を検出する。入力される断層画像全体の領域に対して、注目領域が占める割合が少ない場合には、有効な情報のない領域や網膜層の領域検出の処理をする必要がない領域が多く存在する。そのような領域についても領域検出処理を行うと余計な処理時間が発生し、全体の処理時間が多くなる。そのため、事前に注目領域(網膜層の存在する領域)を検出することで、効率よく網膜層の領域検出を行うことができる。
まず、図3(a)乃至図3(e)を参照して、本実施形態に係る注目領域の検出処理について説明する。上述のように、本実施形態では、注目領域として、断層画像における網膜領域と脈絡膜を含む領域を検出する。入力される断層画像全体の領域に対して、注目領域が占める割合が少ない場合には、有効な情報のない領域や網膜層の領域検出の処理をする必要がない領域が多く存在する。そのような領域についても領域検出処理を行うと余計な処理時間が発生し、全体の処理時間が多くなる。そのため、事前に注目領域(網膜層の存在する領域)を検出することで、効率よく網膜層の領域検出を行うことができる。
処理部222は、注目領域検出処理として、断層画像に対して二値化処理を行う。図3(a)は処理対象の断層画像の一例を示す。まず、処理部222は、断層画像に対してガウシアンフィルタリング処理を行う。図3(b)は、ガウシアンフィルタリング処理が行われた断層画像の一例を示す。なお、本実施形態では、ガウシアンフィルタのカーネルサイズを3×3とするが、ガウシアンフィルタのカーネルサイズはこれに限定されることなく、例えば5×5やその他のサイズでもよい。さらに、ガウシアンフィルタのようなノイズ軽減フィルタであれば、その他のフィルタでもよい。
次に、処理部222は、フィルタリング処理を行った断層画像に対して正規化処理を行う。ここでは、処理部222は、断層画像の画素値を、0~255の範囲で正規化する。さらに、処理部222は、正規化した画像に対して二値化処理を行い、マスク画像を生成する。図3(c)は、生成されたマスク画像の一例を示す。マスク画像の生成処理では、正規化された断層画像の画素値が閾値以上の場合には、処理部222は、その画素の位置に対応するマスク画像の画素値を1にする。また、断層画像の画素値が閾値未満の場合には、処理部222は、その画素の位置に対応するマスク画像の画素値を0にする。ここでは閾値は、50とする。ただし、閾値は、今回のように経験に基づいて決定してもよいし、例えば、断層画像のノイズレベルに基づいて定める等、断層画像の統計処理により動的に決定してもよい。なお、断層画像のノイズレベルに基づく二値化処理の方法は、上記方法に限られず、公知の任意の方法を用いて行われてよい。処理部222は、二値化処理により生成されたマスク画像において、画素値が1である領域を注目領域とする。
その後、処理部222は、処理対象の断層画像における注目領域を切り出すために、注目領域を囲む最小の長方形のマスク画像を設定する。図3(d)は設定されたマスク画像の一例を示す。処理部222は、設定したマスク画像を用いて、処理対象の断層画像から注目領域の抽出を行う。また、処理部222は、断層画像から注目領域の画像の抽出を行う際に、抽出が行われた断層画像の情報と、断層画像における、抽出した注目領域の位置情報とを記憶部24に記憶する。図3(e)は抽出された注目領域の画像の一例を示す。
なお、本実施形態では二値化処理を用いて注目領域検出処理を行った。しかしながら、注目領域検出処理の方法は二値化処理に限られず、例えばルールベースの領域検出を用いてもよい。ここで、ルールベースの処理とは既知の規則性を利用した処理をいい、ルールベースの領域検出とは、例えば網膜の形状の規則性等の既知の規則性を利用した領域検出処理をいう。
(パッキング処理及びアンパック処理)
次に、図4及び図5を参照して、本実施形態に係るパッキング処理及びアンパック処理について説明する。図4は、本実施形態に係るパッキング処理の概略を示し、図5は本実施形態に係るアンパック処理の概略を示す。
次に、図4及び図5を参照して、本実施形態に係るパッキング処理及びアンパック処理について説明する。図4は、本実施形態に係るパッキング処理の概略を示し、図5は本実施形態に係るアンパック処理の概略を示す。
処理部222は、パッキング処理として、図4に示すように、複数の断層画像401~404から抽出された複数の注目領域406~409の画像を、一つの画像に縦(被検眼の深さ方向)に並べて詰め込み(パッキングし)、合成画像405を生成する。なお、生成する合成画像405は後述する学習済モデルへの入力画像となるため、合成画像405の画像サイズは学習済モデルが処理可能な画像サイズとすることができる。本実施形態では、合成画像405の画像サイズは、学習済モデルに関する学習データの入力データとして用いられる画像の画像サイズと同じサイズとすることができる。
ここで、注目領域の深さ方向(Z方向)の大きさは、被検眼の網膜の状態に応じて変化する。そのため、処理部222は、合成画像405に詰め込む注目領域の画像の数を可変とすることができる。ここで、本実施形態に係る処理部222は、合成画像405になるべく多く注目領域の画像を詰め込むように構成される。
また、処理部222は、アンパック処理として、学習済モデルを用いたセグメンテーション処理により得られたラベル画像505をそれぞれの注目領域の画像にアンパック(分割)し、分割したそれぞれの領域の画像を元の断層画像の注目領域に上書きする。この際に、処理部222、記憶部24に記憶されたそれぞれの注目領域に対応する断層画像の情報と位置情報を用いて、対応する断層画像における注目領域の位置を特定し、分割された注目領域の画像を、対応する断層画像における注目領域の位置に戻す。当該アンパック処理により、処理部222は、図5に示すように、処理対象の断層画像401~404に対応する検出結果画像501~504を生成することができる。
(学習データ)
次に、図6(a)乃至図9(c)を参照して、本実施形態に係る機械学習モデルの学習について説明する。機械学習モデルの学習データは、1つ以上の入力データと出力データとのペア群で構成される。本実施形態に係る学習データでは、複数の断層画像における注目領域の画像をパッキング処理した合成画像を入力データとし、当該合成画像に対応するラベル画像を出力データとする。ここで、ラベル画像とは画素毎にラベル付けがなされた画像であり、本実施形態では、画素毎に当該画素に現れている(撮影されている)像に関するラベルが与えられた画像をいう。なお、本実施形態では領域毎にラベルを付したラベル画像を学習データの出力データに用いて領域検出を行うが、領域に限らず、境界を示す又は境界毎にラベルを付された境界画像を学習データの出力データに用いて境界検出を行ってもよい。
次に、図6(a)乃至図9(c)を参照して、本実施形態に係る機械学習モデルの学習について説明する。機械学習モデルの学習データは、1つ以上の入力データと出力データとのペア群で構成される。本実施形態に係る学習データでは、複数の断層画像における注目領域の画像をパッキング処理した合成画像を入力データとし、当該合成画像に対応するラベル画像を出力データとする。ここで、ラベル画像とは画素毎にラベル付けがなされた画像であり、本実施形態では、画素毎に当該画素に現れている(撮影されている)像に関するラベルが与えられた画像をいう。なお、本実施形態では領域毎にラベルを付したラベル画像を学習データの出力データに用いて領域検出を行うが、領域に限らず、境界を示す又は境界毎にラベルを付された境界画像を学習データの出力データに用いて境界検出を行ってもよい。
図6(a)及び図6(b)は、領域検出処理用の学習データの一例を説明するための図である。ただし、図6(a)及び図6(b)においては、説明の簡略化のため、断層画像と当該断層画像に対応するラベル画像を学習データの一例として示す。図6(a)はOCTの撮影によって取得された断層画像601の一例を示す。図6(b)は、断層画像601から任意の層にラベルを与えたラベル画像602を示す。以下、断層画像601及びラベル画像602のペア群によって構成される学習データを例に説明する。
ラベル画像602においては、境界線L1と境界線L2の間のラベルをNFLの領域603とする。また、境界線L2と境界線L3の間のラベルをGCL+IPLの領域604とする。さらに、境界線L3と境界線L4の間のラベルをINL+OPL+ONL+視細胞層の領域605とする。また、境界線L4の下部の領域のラベルをRPE層の領域606とする。なお、その他の領域として、神経節細胞層(GCL)、内網状層(IPL)、内顆粒層(INL)、外網状層(OPL)、外顆粒層(ONL)、視細胞層、及び網膜色素上皮層(RPE)のそれぞれの単独領域又は複数の層の集まりの領域を示してもよい。
ここで、例えば、学習データに用いるラベル画像に関して、脈絡膜についての領域ラベルを含めないことで、学習済モデルから出力されるラベル画像においても、脈絡膜の領域のラベルを省くことができる。この場合には、学習済モデルを用いて、脈絡膜と網膜領域を適切に区別したセグメンテーション処理を行うことができる。
なお、学習データは、1の入力データに対して、複数の出力データとの群で構成されてもよい。例えば、入力データとして断層画像601を用いて、出力データとして、図7(a)乃至図7(d)に示されているそれぞれの領域を特定するラベル画像707~710を用いてもよい。
なお、出力データとして用いられるラベル画像602は、医師等により断層画像において領域にラベルが付された画像であってもよいし、ルールベースの領域検出処理により領域が検出された画像であってもよい。さらに、出力データとして用いられるラベル画像602は、ルールベースの領域検出処理により領域が検出された画像について、医師等が修正を行った画像であってもよい。ただし、適切に領域検出が行われていない画像を学習データの出力データとして用いて機械学習を行うと、当該学習データを用いて学習した学習済モデルが出力する画像も適切に領域検出が行われていない画像となってしまう可能性がある。そのため、そのような領域画像を含むペアを学習データから取り除くことで、学習済モデルが適切でない領域画像を生成する可能性を低減させることができる。
なお、上述のように、学習データの出力データとして境界画像が用いられてもよい。この場合、出力データとして用いられる境界画像は、医師等により断層画像において境界が示された画像又は境界にラベルが付された境界画像であってもよいし、ルールベースの領域検出処理により境界が検出された境界画像であってもよい。この場合、出力データとして用いられる境界画像も、ルールベースの領域検出処理により領域が検出された画像について、医師等が修正を行った画像であってもよい。
さらに、図6(a)及び図6(b)においては、網膜のXY面内においてある一つのXZ断面の例を示しているが、断面はこれに限らない。図示しないが、XY面内における任意の複数のXZ断面を事前に学習しておき、ラスタスキャンやラジアルスキャン等、異なる様々なスキャンパターンで撮影された断面に対して対応できるようにしておくことができる。例えば、ラスタスキャンで三次元的に網膜を撮影した三次元の断層画像等のデータを用いる場合には、隣接する複数の断層画像間の位置合わせをしたボリュームデータを学習データに用いることができる。この場合には、1つのボリュームデータとこれに対応する1つの三次元ラベルデータ(三次元のラベル画像)とから、任意の角度のペア画像群を生成することが可能である。また、機械学習モデルは、実際に様々なスキャンパターンで撮影した画像を学習データとして用いて学習してもよい。
上記では、説明の簡略化のために、断層画像と対応するラベル画像を学習データの例としたが、本実施形態では、複数の注目領域をパッキング処理して生成した合成画像と当該合成画像に対応するラベル画像を学習データとして用いる。ここで、図8は、本実施形態に係る学習データの入力データとして用いる合成画像801と、合成画像801に対応するラベル画像802の一例を示す。なお、本実施形態に係る合成画像に対応するラベル画像の生成方法も、上述のラベル画像の生成方法と同様の方法であってよい。また、学習データとして用いる合成画像についても、XZ面内の断面に関する断層画像の注目領域を詰め込んだものに限られず、YZ面内の断面や様々なスキャンパターンで撮影した画像を学習データとして用いてもよい。
ここで、上述のように、注目領域の深さ方向(Z方向)の大きさは、被検眼の網膜の状態に応じて変化するため、本実施形態に係る処理部222は、合成画像になるべく多く注目領域の画像を詰め込むように構成される。これに対応して、学習データの入力データとして用いられる合成画像についても、合成画像に含まれる注目領域の数を可変とすることができる。このため、学習データに用いる合成画像801としては、2つ以上の様々な数の注目領域が合成画像を用いることができる。例えば、学習済モデルの出力データとして用いられる合成画像の群には、2つの注目領域が含まれる合成画像、3つの注目領域が含まれる合成画像、及び4つの注目領域が含まれる合成画像等が含まれてよい。なお、学習データの出力データとして用いられるラベル画像は、当該様々な数の注目領域が含まれる合成画像に対応するラベル画像であればよい。
次に、学習データとして用いる画像について説明する。本実施形態では、機械学習モデルの学習データを構成する、合成画像801とラベル画像802とのペア群については、位置関係が対応する一定の画像サイズの矩形領域画像のペアによって構成する。以下、図9(a)乃至図9(c)を参照して、当該画像のペアについて説明する。
まず、学習データを構成するペア群の1つを、合成画像801とラベル画像802とした場合について説明する。この場合には、図9(a)に示すように、合成画像801の全体である矩形領域画像901を入力データ、ラベル画像802の全体である矩形領域画像902を出力データとして、ペアを構成する。なお、図9(a)に示す例では各画像の全体により入力データと出力データのペアを構成しているが、ペアはこれに限らない。
例えば、図9(b)に示すように、合成画像801のうちの矩形領域画像911を入力データ、ラベル画像802における対応する画素位置の矩形領域画像913を出力データとして、ペアを構成してもよい。矩形領域画像911,913は、Aスキャン単位を基本としている。Aスキャン単位とは、1本のAスキャン単位でもよいし、数本のAスキャン単位でもよい。
なお、図9(b)ではAスキャン単位を基本としているが、画像に対して深さ方向の全てを矩形領域の範囲とするのではなく、上下に矩形領域外の部分を設けてもよい。すなわち、矩形領域の横方向のサイズはAスキャン数本分、矩形領域の深さ方向のサイズは、画像の深さ方向のサイズよりも小さく設定してもよい。例えば、図9(c)に示すように、合成画像801のうちの矩形領域画像921を入力データ、ラベル画像802における対応する画素位置の矩形領域画像923を出力データとして、ペアを構成してもよい。この場合、矩形領域のサイズは、1つの矩形領域内に複数のラベルを含むサイズとすることができる。
なお、学習時には、スキャン範囲(撮影画角)、スキャン密度(Aスキャン数)を正規化して画像サイズを揃えて、学習時の矩形領域サイズを一定に揃えることができる。また、図9(a)乃至図9(c)に示した矩形領域画像は、それぞれ別々に学習する際の矩形領域サイズの一例である。
矩形領域の数は、図9(a)に示す例では1つ、図9(b)及び図9(c)に示す例では複数設定可能である。例えば、図9(b)に示す例において、合成画像801のうちの矩形領域画像912を入力データ、ラベル画像802における対応する画素位置の矩形領域画像914を出力データとしてペアを構成することもできる。また、例えば、図9(c)に示す例において、合成画像801のうちの矩形領域画像922を入力データ、ラベル画像802における対応する画素位置の矩形領域画像924を出力データとしてペアを構成することもできる。このように、1枚ずつの合成画像及びラベル画像のペアから、互いに異なる矩形領域画像のペアを作成できる。なお、元となる合成画像及びラベル画像において、領域の位置を異なる座標に変えながら多数の矩形領域画像のペアを作成することで、学習データを構成するペア群を充実させることができる。
図9(b)及び図9(c)に示す例では、離散的に矩形領域を示しているが、実際には、元となる合成画像及びラベル画像を、隙間なく連続する一定の画像サイズの矩形領域画像群に分割することができる。また、元となる合成画像及びラベル画像について、互いに対応する、ランダムな位置の矩形領域画像群に分割してもよい。このように、矩形領域(又は、短冊領域)として、より小さな領域の画像を入力データ及び出力データのペアとして選択することで、もともとのペアを構成する合成画像801及びラベル画像802から多くのペアデータを生成できる。そのため、機械学習モデルのトレーニングにかかる時間を短縮することができる。一方で、完成した機械学習モデルの学習済モデルでは、実行するセグメンテーション処理の時間が長くなる傾向にある。ここで、セグメンテーション処理とは、画像内の領域や境界を識別したり、区別したりする処理をいう。
また、その他の機械学習モデルの学習データの例として、合成画像801と当該合成画像801について、ラベル画像707~710のように、それぞれの領域を示すラベルのみを付したラベル画像とのペア群を用いてもよい。さらに、このようなラベル単位での学習データと、図9(b)及び図9(c)に示すような合成画像内の領域単位での学習データの作成方法の組み合わせで学習データを作成し、学習データとして利用してもよい。例えば、学習データのペア群として、図8に示す合成画像801における矩形領域の画像を入力データとし、当該画像に対応する不図示の複数のラベル単位の画像を出力データとした学習データを利用してもよい。
(機械学習モデルの構成)
次に、本実施形態に係る機械学習モデルの一例として、入力された合成画像に対して、セグメンテーション処理を行う畳み込みニューラルネットワーク(CNN)に関して、図10を参照して説明する。図10は、処理部222が用いる学習済モデルに関する機械学習モデルの構成1001の一例を示している。
次に、本実施形態に係る機械学習モデルの一例として、入力された合成画像に対して、セグメンテーション処理を行う畳み込みニューラルネットワーク(CNN)に関して、図10を参照して説明する。図10は、処理部222が用いる学習済モデルに関する機械学習モデルの構成1001の一例を示している。
図10に示す機械学習モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該機械学習モデルの構成1001に含まれる層の種類としては、畳み込み(Convolution)層、ダウンサンプリング(Downsampling)層、アップサンプリング(Upsampling)層、及び合成(Merger)層がある。
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Max Pooling処理がある。
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
なお、図10に示す構成1001に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数を64とすることで、一定の精度のセグメンテーション処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、学習データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
また、上述したようなパラメータを変更するという方法だけでなく、CNNの構成を変更することによって、CNNがより良い特性を得られる場合がある。より良い特性とは、例えば、セグメンテーション処理の精度が高かったり、セグメンテーション処理の時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。図示しないが、CNNの構成の変更例として、例えば、畳み込み層の後にバッチ正規化(Batch Normalization)層や、正規化線形関数(Rectifier Linear Unit)を用いた活性化層を組み込む等をしてもよい。
このような機械学習モデルの学習済モデルにデータを入力すると、機械学習モデルの設計に従ったデータが出力される。例えば、学習データを用いてトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。
(領域検出処理)
本実施形態に係る学習済モデルでは、合成画像801が入力されると、学習データを用いてトレーニングされた傾向に従って、ラベル画像802が出力される。処理部222は、ラベル画像802についてアンパック処理を行うことで、図5に示すように合成画像の生成に使用された各断層画像に対応するラベル画像を取得することができる。処理部222は、取得したラベル画像に基づいて、処理対象である断層画像における網膜層の領域を検出することができる。なお、学習データの出力データとして境界を示す又は境界毎にラベルが付された境界画像を用いている場合には、処理部222は、処理対象である断層画像における網膜層の境界を検出することができる。
本実施形態に係る学習済モデルでは、合成画像801が入力されると、学習データを用いてトレーニングされた傾向に従って、ラベル画像802が出力される。処理部222は、ラベル画像802についてアンパック処理を行うことで、図5に示すように合成画像の生成に使用された各断層画像に対応するラベル画像を取得することができる。処理部222は、取得したラベル画像に基づいて、処理対象である断層画像における網膜層の領域を検出することができる。なお、学習データの出力データとして境界を示す又は境界毎にラベルが付された境界画像を用いている場合には、処理部222は、処理対象である断層画像における網膜層の境界を検出することができる。
なお、図9(b)及び図9(c)に示すように、画像の領域を分割して学習している場合には、処理部222は、複数の断層画像をパッキングした合成画像を学習データに対応する画像サイズの矩形領域画像に分割し、学習済モデルに入力する。学習済モデルは、それぞれの矩形領域に対応するラベル画像である矩形領域画像を出力する。これにより、処理部222は、各矩形領域において網膜層の領域を検出することができる。
また、処理部222は、学習済モデルから出力されたラベル画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合し、合成画像に対応するラベル画像を取得する。処理部222は、取得したラベル画像についてアンパック処理を行うことで、入力された断層画像に対応するラベル画像を取得することができる。これにより、処理部222は、取得されたラベル画像に基づいて、処理対象である断層画像における網膜層の領域を検出することができる。なお、学習データの出力データとして境界を示す又は境界毎にラベルが付された境界画像を用いている場合には、処理部222は、処理対象である断層画像における網膜層の境界を検出することができる。
なお、学習データの出力データとしてラベル単位でのラベル画像を用いる場合には、学習済モデルに合成画像が入力されると、ラベル画像707~710のように、合成画像に対応するそれぞれの領域毎のラベル画像が出力される。この場合には、処理部222は、出力された複数のラベル画像についてアンパック処理を行うことで、断層画像における網膜層の領域を検出することができる。
(一連の動作処理)
次に、図11(a)及び図11(b)を参照して、本実施形態に係る一連の処理について説明する。図11(a)は、本実施形態に係る一連の処理のフローチャートである。本実施形態に係る一連の処理が開始されると、処理はステップS1110に移行する。
次に、図11(a)及び図11(b)を参照して、本実施形態に係る一連の処理について説明する。図11(a)は、本実施形態に係る一連の処理のフローチャートである。本実施形態に係る一連の処理が開始されると、処理はステップS1110に移行する。
ステップS1110では、取得部21が、被検眼を同定する情報の一例である被検者識別番号を入力部60等の画像処理装置20の外部から取得する。取得部21は、被検者識別番号に基づいて、外部記憶装置40が保持している当該被検眼に関する情報を取得して記憶部24に記憶する。
ステップS1120では、駆動制御部23がOCT装置10を制御して被検眼をスキャンすることで撮影を行い、取得部21がOCT装置10から被検眼の断層情報を含む干渉信号を取得する。被検眼のスキャンは、操作者によるスキャン開始の指示に応じて、駆動制御部23がOCT装置10を制御し、光源11やガルバノミラー12等を動作させることで行われる。
ガルバノミラー12は、水平方向用のXスキャナと垂直方向用のYスキャナを含む。そのため、駆動制御部23は、これらのスキャナの向きをそれぞれ変更することで、装置座標系における水平方向(X)及び垂直方向(Y)のそれぞれの方向に測定光を走査することができる。なお、駆動制御部23は、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向にも測定光を走査することができる。そのため、駆動制御部23は、眼底平面上の任意の方向に測定光を走査することができる。
駆動制御部23は、撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、駆動制御部23は、内部固視灯16で表示するパターンの位置、ガルバノミラー12によるスキャン範囲やスキャンパターン、コヒーレンスゲート位置、及びフォーカスを少なくとも設定する。
駆動制御部23は、表示部161の発光ダイオードを制御して、被検眼の黄斑部中心や視神経乳頭部の撮影を行うように内部固視灯16で表示するパターンの位置を制御する。また、駆動制御部23は、ガルバノミラー12のスキャンパターンとして、三次元ボリュームを撮影するラスタスキャンや放射状スキャン、サークルスキャン、クロススキャンなどのスキャンパターンを設定する。なお、どのスキャンパターンを選択した場合においても、一つのライン上を繰り返し複数枚(繰り返し回数は2枚以上)撮影してもよい。本実施形態においては、スキャンパターンは、ボリュームデータ(三次元の断層画像)を取得するためのラスタスキャンとする。これら撮影パラメータの調整終了後、操作者による撮影開始の指示に応じて、駆動制御部23がOCT装置10を制御して被検眼の撮影を行い、三次元の断層データに対応する干渉信号を取得する。
なお、本開示においては詳細な説明を省略するが、OCT装置10は、加算平均用やOCTA(OCT Angiography)に関するモーションコントラストデータの算出用に同じ箇所を撮影するために、被検眼のトラッキングを行うことができる。これにより、OCT装置10は、固視微動の影響を少なくして被検眼のスキャンを行うことができる。
ステップS1130では、断層画像生成部221が、取得部21によって取得された干渉信号に基づいて三次元の断層画像の生成を行う。断層画像生成部221は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成することができる。
まず、断層画像生成部221は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は、取得した複数のAスキャンの信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。その後、断層画像生成部221は、有限区間で干渉信号をフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。断層画像生成部221は、窓関数処理を行った干渉信号に対して高速フーリエ変換(FFT)処理を行うことによって三次元の断層データを生成する。
断層画像生成部221は、生成した三次元の断層データに基づいて断層画像の各画素値を求め、三次元の断層画像を生成する。なお、断層画像の生成方法はこれに限られず、既知の任意の方法で行われてよい。
ステップS1140では、画像処理部22の処理部222が網膜層の検出処理を行う。ステップS1140の詳細は後述する。ステップS1140において、画像処理部22が網膜層の検出処理を行うと、処理はステップS1150に移行する。
ステップS1150では、表示制御部25が、処理部222によって検出した層領域又は境界と断層画像等を表示部50に表示する。ここで、図12は表示部50に表示する表示画面1200の一例を示す。
図12に示される表示画面1200には、眼底正面画像1201、眼底正面画像1201に重畳表示される厚みマップ1202、輝度のEn-Face画像1203、断層画像1211、及び網膜の厚みグラフ1212が示されている。断層画像1211には、網膜の境界1215,1216が重畳表示されている。
なお、本実施形態では網膜の範囲を、内境界膜を示す境界線L1から、網膜色素上皮を示す境界線L4までとしており、境界1215,1216はそれぞれ境界線L1及び境界線L4に対応する。網膜の範囲はこれに限られず、例えば、内境界膜を示す境界線L1~脈絡膜を示す境界線L6の範囲としてもよく、この場合、境界1215,1216はそれぞれ境界線L1及び境界線L6に対応することができる。
網膜の厚みグラフ1212は、境界1215,1216から求められる網膜の厚みを示すグラフである。また、厚みマップ1202は境界1215,1216から求められる網膜の厚みをカラーマップで表現したものである。なお、図12では、説明のため、厚みマップ1202に対応する色情報は示されていないが、実際には、厚みマップ1202は、眼底正面画像1201における各座標に対応する網膜の厚みを対応するカラーマップに従って表示することができる。輝度のEn-Face画像1203は、被検眼について取得した三次元の断層データのうち境界1215,1216の間の範囲のデータをXY方向に投影して生成した正面画像である。
ここで、厚みマップ1202、輝度のEn-Face画像1203、厚みグラフ1212、及び境界1215,1216の表示は、処理部222で検出した網膜層や境界に基づいて、画像処理装置20によって生成されることができるものの例である。なお、これらを生成する生成方法は既存の任意の方法を採用してよい。また、画像処理装置20は、例えば、検出した網膜層や境界に基づいて正面画像の生成範囲を決定し、当該生成範囲内のモーションコントラストデータをXY方向に投影して生成したOCTA正面画像(OCTA En-Face画像)等を表示してもよい。なお、OCTA正面画像やモーションコントラストデータの生成方法は公知の任意の方法を用いてよい。
また、上記では、厚みマップ1202等の生成に用いられる網膜層の範囲を、内境界膜と神経線維層との境界線L1~境界線L4としたが、当該範囲はこれに限られない。当該範囲は、処理部222で検出した境界や網膜層に基づいて定めることができる範囲であればよく、例えば、境界線L2~境界線L3や、境界線L1~境界線L3等、所望の構成に応じて設定や変更が可能に構成されてよい。
なお、表示部50の表示画面1200には、これらに加えて患者タブ、撮影タブ、レポートタブ、及び設定タブ等を設けてもよい。この場合、図12の表示画面1200に示されている内容は、レポートタブに表示されることとなる。また、表示画面1200には、患者情報表示部、検査ソートタブ、及び検査リスト等を表示することもできる。検査リストには、眼底画像や断層画像、OCTA正面画像のサムネイルを表示してもよい。なお、ステップS1150での処理が終了すると、本実施形態に係る一連の処理が終了する。
(網膜層の検出処理)
次に、図4、図5、図11(b)及び図13を用いて本実施形態に係るステップS1140での網膜層の検出処理に関する具体的な手順を説明する。図11(b)は、本実施形態に係る網膜層の検出処理のフローチャートである。ステップS1140において、網膜層の検出処理が開始されると、処理はステップS1141に移行する。
次に、図4、図5、図11(b)及び図13を用いて本実施形態に係るステップS1140での網膜層の検出処理に関する具体的な手順を説明する。図11(b)は、本実施形態に係る網膜層の検出処理のフローチャートである。ステップS1140において、網膜層の検出処理が開始されると、処理はステップS1141に移行する。
ステップS1141では、処理部222は、処理対象の断層画像から注目領域の検出を行う。具体的には、処理部222は、上述のように、取得された三次元の断層画像に含まれる二次元の断層画像401~404から、それぞれ注目領域406~409を検出し、注目領域406~409の画像を抽出する。また、処理部222は、抽出が行われた断層画像の情報と、各断層画像における、抽出されたそれぞれの注目領域の位置情報とを記憶部24に記憶する。
ステップS1142では、処理部222は、ステップS1141で複数の断層画像から抽出された注目領域の画像をパッキング処理し、合成画像を生成する。具体的には、処理部222は、上述のように、複数の断層画像401~404から抽出された注目領域406~409の画像を一枚の画像に縦(被検眼の深さ方向)に並べて詰め込み(合成し)、合成画像405を生成する。
ステップS1143では、処理部222は、学習済モデルを用いて、ステップS1142で生成された合成画像についてセグメンテーション処理を行う。具体的には、処理部222は、合成画像405を学習済モデルに入力し、出力されたラベル画像505を取得する。
ステップS1144では、処理部222は、ステップS1143で取得したラベル画像に対してアンパック処理を行い、それぞれの注目領域に対応する検出結果画像501~504を取得する。この際に、処理部222は、ステップS1142で、記憶部24に記憶されたそれぞれの注目領域に対応する断層画像の情報と位置情報を用いて、ラベル画像から分割されたそれぞれの注目領域の画像を、対応する断層画像における注目領域の位置に戻す。
ステップS1145では、処理部222は、ステップS1144の検出結果画像501~504に対して後処理を行う。本実施形態では、処理部222は、後処理として、網膜のそれぞれの層領域の検出結果画像の動的閾値による二値化処理と穴埋め処理を行う。検出結果画像501~504では、ノイズなどにより、検出された領域の中に穴が発生することがある。図13(a)は、検出結果画像1301の検出領域1302に穴1303が生じている例を示す。
本実施形態では、処理部222は、穴埋め処理として、画像の膨張・収縮アルゴリズムを用いて、穴を消すことができる。図13(b)は、当該穴埋め処理により、穴1303が消された検出領域1305を有する検出結果画像1304の例を示す。なお、本実施形態では、穴埋め処理として画像の膨張・収縮アルゴリズムを用いたが、穴埋め処理はこれに限られない。処理部222は、例えば、二値化された抽出領域の中を全て抽出領域とする(フィーリングする)などにより穴埋め処理を行ってもよい。
ステップS1146では、処理部222は、後処理が行われた検出結果画像に基づいて各断層画像における網膜層の領域を検出する。検出結果画像では、学習済モデルを用いたセグメンテーション処理により網膜層の領域についてラベルが付されているため、処理部222は、当該ラベルを用いて断層画像における網膜層の領域を検出することができる。また、処理部222は、網膜層の領域についてラベルが付された検出結果画像の各ラベルに基づいて各境界を検出してもよい。処理部222は、例えば、検出結果画像におけるラベル同士の境界を網膜層の境界として検出してもよい。
なお、学習データの出力データとして境界を示す又は境界毎にラベルが付された境界画像を用いる場合には、処理部222は、検出結果画像として境界画像を取得できる。この場合には、処理部222は、後処理が行われた検出結果画像に基づいて、網膜領域における各境界を検出することができる。また、この場合には、処理部222は、ルールベースの処理により、検出した各境界に基づいて、各網膜層の領域を検出することもできる。ステップS1146において、網膜層の領域が検出されると、本実施形態の網膜層の検出処理が終了し、処理はステップS1150に移行する。
上記のように、本実施形態に係る画像処理装置20は、被検眼の断層画像を取得する取得部21と、取得した断層画像における層及び境界の少なくとも一方を検出する処理部222とを備える。処理部222は、取得した断層画像における複数の部分領域である複数の注目領域の画像を合成することにより合成画像を生成する。さらに、処理部222は、学習済モデルを用いて、生成した合成画像における層及び境界の少なくとも一方を検出し、学習済モデルを用いて得た検出結果を用いて、取得した断層画像における層及び境界の少なくとも一方を検出する。
具体的には、本実施形態に係る処理部222は、複数の注目領域(部分領域)の画像を被検眼の深さ方向に並べて合成することにより合成画像を生成する。また、取得部21は、被検眼の複数の二次元の断層画像を含む三次元の断層画像を取得する。さらに、処理部222は、取得した三次元の断層画像に含まれる複数の二次元の断層画像を用いて、複数の二次元の断層画像における注目領域を複数検出する。本実施形態では、処理部222は、複数の二次元の断層画像の各々から1つの注目領域を検出する。また、処理部222は、取得した断層画像における画素値と閾値を用いて、複数の注目領域を検出する。ここで、注目領域は網膜を含む。
なお、処理部222は、三次元の断層画像に含まれる全ての注目領域を用いて1枚の合成画像を生成する必要はなく、少なくとも2つの注目領域を用いて1枚の合成画像を生成できればよい。そのため、処理部222は、1枚の合成画像の生成に用いる複数の注目領域として、三次元の断層画像に含まれる少なくとも2つの注目領域を検出できればよい。
また、用いられる学習済モデルは、被検眼の断層画像の複数の注目領域を含む合成画像と、合成画像における領域及び境界の少なくとも一方を示すラベル画像とを学習データとして用いて得た学習済モデルである。処理部222は、生成した合成画像をこのような学習済モデルに入力して、生成した合成画像における領域及び境界の少なくとも一方を示すラベル画像を取得する。また、処理部222は、学習済モデルを用いて得た検出結果を用いて、各注目領域における検出結果を取得し、取得した各注目領域における検出結果を用いて、各注目領域に対応する断層画像における層及び境界の少なくとも一方を検出する。
本実施形態に係る画像処理装置は、以上のような構成を有するため、学習済モデルを用いて断層画像から網膜層を領域検出する際に、断層画像から網膜領域を含む注目領域を検出する。また、画像処理装置は、検出した複数の注目領域の画像をまとめた合成画像を領域検出処理の対象データとする。これにより、学習済モデルを用いて対象となる全ての網膜層の領域検出(セグメンテーション)を行いつつ、転送するデータや領域検出処理の対象データを減らすことができ、領域検出処理の効率を向上させ、処理を高速化させることができる。
なお、本実施形態では、OCT装置10を用いて断層画像を撮影することで、干渉信号を取得し、三次元の断層画像を取得した。しかしながら、被検眼の三次元の断層画像を得る方法はこれに限られない。画像処理装置20は例えば、過去に撮影され、外部記憶装置40等に記憶されている三次元の断層データや断層画像を取得し、取得した三次元の断層データや断層画像に対してセグメンテーション処理を行ってもよい。なお、当該処理については、以下で説明する各変形例や実施形態についても適用することができる。
なお、本実施形態では、脈絡膜及び強膜の層についてはラベル付けしていないラベル画像を学習データに用いたが、脈絡膜及び強膜の層についてもラベル付けしたラベル画像を学習データに用いてもよい。この場合、処理部222は、学習済モデルを用いた処理により、脈絡膜や強膜の層についてもラベル付けされたラベル画像を取得することができ、脈絡膜や強膜の層も検出することができる。なお、当該処理については、以下で説明する各変形例や実施形態についても適宜適用することができる。
なお、本実施形態では、学習データの出力データとして領域のラベルを付したラベル画像を用いて学習を行った学習済モデルを用いて、合成画像からラベル画像を取得し、網膜層の領域検出を行った。これに対し、上述のように、学習データの出力データとして、境界を示す又は境界毎にラベルを付された境界画像を用いて学習を行った学習済モデルを用いて、合成画像から境界画像を取得し、網膜の境界を検出してもよい。なお、境界を示す境界画像に関しては、ルールベース処理により、示されている境界が網膜層のどの境界であるかを特定されてよい。なお、これらの処理については、以下で説明する各変形例や実施形態についても適用することができる。
また、処理部222は、検出された網膜層の領域や境界について、入力部60を介した操作者の指示に応じて、修正を行うように構成されることもできる。また、処理部222は、学習済モデルから取得したラベル画像について、入力部60を介した操作者の指示に応じて、修正を行うように構成されることもできる。この場合には、修正したラベル画像と対応する合成画像を学習データとして、学習済モデルについて追加学習を行うことができるように、画像処理装置20が構成されてもよい。なお、当該処理については、以下で説明する各変形例や実施形態についても適用することができる。
(第1の実施形態の変形例1)
第1の実施形態では、ステップS1143において、処理部222は、学習済モデルを用いて、複数の領域のラベルを有するラベル画像を取得する例を示したが、学習済モデルを用いて取得される画像はこれに限らない。例えば、学習データの出力データとして用いる合成画像のラベル画像として、図7に示すような、ラベル単位のラベル画像を用いてもよい。このような学習を行った学習済モデルを用いる場合には、学習済モデルから出力される画像もラベル単位でのラベル画像となり、それぞれの画像は各々の異なるラベルの領域検出結果に対応する。処理部222は、このような領域検出結果について、上記と同様にアンパック処理等を行い、網膜層の各領域や境界を検出することもできる。ただし、隣り合った網膜層の検出された領域の境界線に不整合性(共通の境界線の場所が一致しない場合)が発生する場合がある。この場合は、それぞれの領域の対応する境界線の中心線(平均線)を共通の境界線とすればよい。
第1の実施形態では、ステップS1143において、処理部222は、学習済モデルを用いて、複数の領域のラベルを有するラベル画像を取得する例を示したが、学習済モデルを用いて取得される画像はこれに限らない。例えば、学習データの出力データとして用いる合成画像のラベル画像として、図7に示すような、ラベル単位のラベル画像を用いてもよい。このような学習を行った学習済モデルを用いる場合には、学習済モデルから出力される画像もラベル単位でのラベル画像となり、それぞれの画像は各々の異なるラベルの領域検出結果に対応する。処理部222は、このような領域検出結果について、上記と同様にアンパック処理等を行い、網膜層の各領域や境界を検出することもできる。ただし、隣り合った網膜層の検出された領域の境界線に不整合性(共通の境界線の場所が一致しない場合)が発生する場合がある。この場合は、それぞれの領域の対応する境界線の中心線(平均線)を共通の境界線とすればよい。
(第1の実施形態の変形例2)
第1の実施形態に係るステップS1142では、処理部222は抽出された注目領域の画像を一つの画像に詰め込み(パッキングし)、合成画像を生成した。ここで、パッキング処理において、処理部222は、合成画像に詰め込む注目領域と注目領域の間に空白を設けてもよい。ここでは空白は、例えば10ピクセルとすることができる。ただし、空白の大きさは、注目領域を区別できる程度の大きさであればよく、所望の構成に応じて任意の値に設定されてよい。
第1の実施形態に係るステップS1142では、処理部222は抽出された注目領域の画像を一つの画像に詰め込み(パッキングし)、合成画像を生成した。ここで、パッキング処理において、処理部222は、合成画像に詰め込む注目領域と注目領域の間に空白を設けてもよい。ここでは空白は、例えば10ピクセルとすることができる。ただし、空白の大きさは、注目領域を区別できる程度の大きさであればよく、所望の構成に応じて任意の値に設定されてよい。
また、処理部222は、注目領域を解析することで、空白の大きさを決めてもよい。処理部222は、例えば、注目領域に肥大化した網膜が含まれる場合には空白を大きくすることができる。さらに、例えば、注目領域に傾いた網膜が含まれる場合には、空白をゼロにする、又は、注目領域に既に含まれている空白を考慮して、隣り合う注目領域の空白をマイナスにして、注目領域をオーバーラップさせてもよい。
(第1の実施形態の変形例3)
第1の実施形態では、学習データの出力データとして、網膜層の領域のラベルが付されたラベル画像を用いることで、学習済モデルから網膜層の領域を示すラベル画像が出力される構成とした。また、処理部222は、学習済モデルから出力されるラベル画像に対してアンパック処理した検出結果画像から網膜層の領域を検出する構成とした。これに対し、処理部222は、学習済モデルを用いて注目領域の画像から網膜領域の画像を検出し、網膜領域の画像に対してルールベースの処理を行うことで、網膜層の領域を検出してもよい。
第1の実施形態では、学習データの出力データとして、網膜層の領域のラベルが付されたラベル画像を用いることで、学習済モデルから網膜層の領域を示すラベル画像が出力される構成とした。また、処理部222は、学習済モデルから出力されるラベル画像に対してアンパック処理した検出結果画像から網膜層の領域を検出する構成とした。これに対し、処理部222は、学習済モデルを用いて注目領域の画像から網膜領域の画像を検出し、網膜領域の画像に対してルールベースの処理を行うことで、網膜層の領域を検出してもよい。
被検眼の断層画像において、網膜色素上皮と脈絡膜や強膜との境界は、ルールベースの領域検出処理では適切に検出できない場合があることが知られている。そのため、上述のように、学習済モデルを用いて断層画像における網膜領域を検出し、検出した網膜領域に対してルールベースの領域検出処理を行うことで、網膜層の領域や境界線の検出精度を向上させることができると期待される。
そこで、第1の実施形態の変形例3では、処理部222は、学習済モデルを用いて注目領域の画像から網膜領域の画像を検出し、網膜領域の画像に対してルールベースの処理を行う。この場合には、学習データの出力データとして、入力データである合成画像に対応する、網膜領域にラベルを付したラベル画像を用いる。なお、当該ラベル画像の作成方法は、第1の実施形態に係る学習データの出力データとして用いられるラベル画像の作成方法と同様であってよい。
ここで、本変形例に係る学習データの出力データとしては、NFLの領域~RPE層の領域を網膜の範囲とし、当該領域について網膜領域のラベルを付したラベル画像を用いることができる。なお、本変形例ではNFLの領域~RPE層の領域を網膜の範囲とするが、網膜の範囲はそれに限らない。例えば、網膜の範囲を、境界線L1~境界線L3の範囲、境界線L1~境界線L5の範囲、又は境界線L1~境界線L6の範囲等と定義してもよい。
本変形例に係る処理部222は、このような学習を行った学習済モデルに第1の実施形態で述べた合成画像を入力することで、合成画像に対応する網膜領域についてラベルが付されたラベル画像を取得することができる。処理部222は、第1の実施形態におけるアンパック処理と同様に、当該取得したラベル画像についてアンパック処理を行い、それぞれのラベル画像を元の断層画像の注目領域に上書きすることができる。処理部222は、アンパック処理が行われた断層画像に基づいて、網膜領域を検出することができる。
また、処理部222は、検出された網膜領域について、画像処理のエッジ検出(SobelフィルタやGradient edge detector)を用いて、画像特徴抽出を行うことで、領域の境界線検出処理を行うことができる。ここで、画像特徴としては、網膜層の境界線を抽出する。さらに、処理部222は、その結果をルールベースで判断して網膜層の領域検出(セグメンテーション)を行うことができる。
(境界検出処理)
ここで、図14(a)乃至図14(d)を参照して、本変形例に係る境界検出処理について説明する。図14(a)は入力となる断層画像の一例である断層画像1401を示す。図14(b)は、学習済モデルを用いて取得したラベル画像についてアンパック処理を行って取得した検出結果画像に対応するラベル画像1402であって、網膜領域のラベル1404とそれ以外に対応するラベル1403,1405を付与した画像を示す。本変形例に係る処理部222は、ラベル画像1402におけるラベル1404で示される網膜領域の範囲を層検出の対象領域とする。
ここで、図14(a)乃至図14(d)を参照して、本変形例に係る境界検出処理について説明する。図14(a)は入力となる断層画像の一例である断層画像1401を示す。図14(b)は、学習済モデルを用いて取得したラベル画像についてアンパック処理を行って取得した検出結果画像に対応するラベル画像1402であって、網膜領域のラベル1404とそれ以外に対応するラベル1403,1405を付与した画像を示す。本変形例に係る処理部222は、ラベル画像1402におけるラベル1404で示される網膜領域の範囲を層検出の対象領域とする。
処理部222は、ラベル画像1402におけるラベル1404で示される網膜領域内の輪郭を検出することで、対象となる境界を検出することができる。図14(c)は、処理部222が、網膜領域内の輪郭を検出する処理としてノイズ除去処理とエッジ強調処理を行った強調画像1406を示す。
ここで、ノイズ除去処理とエッジ強調処理について説明する。なお、図14(c)及び14(d)に示すように、視神経乳頭部については、網膜層が途切れるため、本変形例に係る処理部222による境界検出を行わないこととする。
処理部222は、処理の対象とする断層画像1401において、ラベル1404に対応する領域に対して、ノイズ除去とエッジ強調処理を行う。処理部222は、ノイズ除去処理として、例えばメディアンフィルタやガウシアンフィルタを適用する。また、処理部222は、エッジ強調処理として、SobelフィルタやHessianフィルタを適用する。
ここで、二次元のHessianフィルタを用いた、二次元断層画像に対するエッジ強調処理について説明する。Hessianフィルタは、ヘッセ行列の2つの固有値(λ1、λ2)の関係に基づいて、二次元濃淡分布の二次局所構造を強調することができる。そのため、本変形例では、ヘッセ行列の固有値と固有ベクトル(e1、e2)の関係を用いて、二次元の線構造を強調する。被検眼についての二次元断層画像における線構造は網膜層の構造に相当するため、当該Hessianフィルタの適用により、網膜層の構造を強調することができる。
なお、厚みの異なる網膜層を検出するには、ヘッセ行列を計算する際に行うガウス関数による平滑化の解像度を変更すればよい。また、二次元のHessianフィルタを適用する際には、画像のXZの物理サイズを合わせるようにデータを変形した後に適用することができる。一般的なOCTの場合、XY方向とZ方向の物理サイズが異なる。そのため、画素毎の網膜層の物理サイズを合わせて(正規化して)フィルタを適用する。なお、XY方向とZ方向の物理サイズは、OCT装置10の設計/構成から把握できるため、当該物理サイズに基づいて、断層画像のデータを変形させることができる。また、物理サイズを正規化しない場合には、ガウス関数による平滑化の解像度を変更することでも近似的に対応できる。
上記では、二次元の断層画像での処理について説明したが、Hessianフィルタを適用する対象はこれに限られない。断層画像を撮影した際のデータ構造がラスタスキャンによる三次元の断層画像である場合、三次元のHessianフィルタを適用することも可能である。この場合、画像処理部22によって、隣接する断層画像間においてXZ方向の位置合わせ処理を行った後に、処理部222がヘッセ行列の3つの固有値(λ1、λ2、λ3)の関係に基づいて、三次元濃淡分布の二次局所構造を強調することができる。そのため、ヘッセ行列の固有値と固有ベクトル(e1、e2、e3)の関係を用いて三次元の層構造を強調することで、三次元的にエッジを強調することも可能である。
強調画像1406においては、エッジを強調した部分が白線1407として現れる。なお、断層画像1401における、ラベル1404に対応しない領域については、エッジ検出されない領域として扱うことができる。また、ここでは、Hessianフィルタを用いてエッジ強調処理を行う構成について説明したが、エッジ強調処理の処理方法はこれに限られず、既存の任意の方法によって行われてよい。
図14(d)は、処理部222が、ラベル画像1402と強調画像1406を用いて検出した網膜層の境界を示す境界画像1408を示す。境界画像1408においては、黒線1409が境界の例を示す。
次に、処理部222が、ラベル画像1402と強調画像1406から網膜層の境界を検出する処理について説明する。処理部222は、強調画像1406からエッジ強調された境界を検出する。本変形例では、既にILMとNFLとの境界とRPEについて検出しているので、処理部222は、続けて、ISOS、NFLとGCL境界を検出する。なお、図示しないが、その他の境界として、外網状層(OPL)と外顆粒層(ONL)との境界、内網状層(IPL)と内顆粒層(INL)との境界、INLとOPLとの境界、又はGCLとIPLとの境界等を検出してもよい。
境界の検出方法としては、各Aスキャンにおいてエッジ強度が強い箇所を境界候補として複数検出し、隣接するAスキャンにおいて境界候補同士の連続性を基に、点(エッジ強度が強い箇所)を線としてつなげる処理を行う。また、処理部222は、点を線としてつなげた場合に、線の滑らかさを評価することで、外れ値を除去することができる。より具体的には、例えば、つなげた点同士のZ方向の位置を比較し、所定の閾値よりもZ方向の位置の差が大きい場合には、新しくつなげられた点を外れ値として判断し、つなげる処理から除外することができる。また、外れ値を除去した場合、除外した点のAスキャン位置に隣接するAスキャンにおける境界候補を線としてつなげてもよい。なお、外れ値の除去方法はこれに限られず、既存の任意の方法によって行われてよい。
処理部222は、点をつなげて形成した各線について、網膜層の境界のZ方向の上下の距離や位置関係に基づいて、対応する境界を決定する。なお、各Aスキャンにおいて外れ値を除去した結果として検出された境界がない場合には、周囲の境界から補間で求めてもよい。また、周囲の境界からエッジを頼りに水平方向(X又はY方向)に境界候補を探索していき、周囲の境界から探索した境界候補を基にして再度、境界を決定するようにしてもよい。
その後、処理部222は、検出した境界に対して、境界の形状を滑らかに補正する処理を実行する。例えば、SnakesやLevel Set法等の動的輪郭モデル等により、画像特徴と形状特徴とを用いて境界の形状を滑らかにしてもよい。また、境界形状の座標値を信号による時系列データとみなして、Savitzky-Golayフィルタや、単純移動平均、加重移動平均、指数移動平均等の平滑化処理で形状を滑らかにしてもよい。
このような処理により、処理部222は、検出した網膜領域内の網膜層を検出することができる。なお、前述した処理部222による網膜層の検出処理は一例であり、既存の任意のセグメンテーション処理を用いて網膜層を検出することもできる。
当該変形例では、学習済モデルを用いて網膜領域を検出し、網膜領域についてルールベースのセグメンテーション処理を行うことで網膜層の領域や境界を検出した。このような場合でも、学習済モデルに入力する画像として、注目領域の画像に対してパッキング処理を行った合成画像を用いることで、転送するデータや領域検出処理の対象データを減らすことができる。そのため、領域検出処理の効率を向上させ、処理を高速化させることができる。
なお、本変形例では、処理部222が学習済モデルから取得したラベル画像に対してアンパック処理を施した検出結果画像に対して、境界検出処理を行う例について述べた。これに対し、処理部222は、学習済モデルから取得したラベル画像に対して境界検出処理を行ってから、アンパック処理を行ってもよい。
なお、本変形例では、学習データの出力データとして、網膜領域のラベルを付したラベル画像を用いた。これに対し、学習データの出力データとして、入力データである合成画像に対応する、網膜領域の境界を示す境界画像を用いてもよい。なお、当該境界画像の作成方法は、第1の実施形態に係る学習データの出力データとして用いられる境界画像の作成方法と同様であってよい。
また、本変形例では、処理部222が、学習済モデルを用いた網膜領域の検出処理と、検出結果画像を用いた境界検出処理を行う構成としたが、これらの処理を別々に行う構成要素を設けてもよい。この場合には、処理部222がこれらの処理を別々に行う構成要素を含むような構成とすることができる。
(第1の実施形態の変形例4)
第1の実施形態では、処理部222は、網膜層の領域についてラベル付けされた検出結果画像における各ラベルに基づいて、境界線を検出してもよいとした。しかしながら、網膜領域の境界検出方法はこれに限られない。ここで、図15(a)乃至図15(c)を参照して、処理部222による境界検出処理の他の例について説明する。
第1の実施形態では、処理部222は、網膜層の領域についてラベル付けされた検出結果画像における各ラベルに基づいて、境界線を検出してもよいとした。しかしながら、網膜領域の境界検出方法はこれに限られない。ここで、図15(a)乃至図15(c)を参照して、処理部222による境界検出処理の他の例について説明する。
図15(a)は、処理部222が取得した、網膜層の領域についてラベル付けされた検出結果画像1500を示す。検出結果画像1500において、網膜領域1501は、網膜層のラベルが付された網膜領域を示す。処理部222は、検出結果画像1500の検出結果画像1500の網膜領域1501全体に対して二値化処理を行う。図15(b)は、当該二値化処理が行われた二値化画像1507を示す。
次に、処理部222は、二値化された網膜領域1501の中心線1502を算出する。具体的には、処理部222は、二値化された網膜領域1501について、画像の横方向(横断方向)の各画素位置において網膜領域1501の縦方向(深さ方向)の中心を算出し、これらをつなげることで中心線1502を算出する。なお、図15(b)においては、中心線1502を破線で示す。
その後、処理部222は、二値化画像1507において、中心線1502より上の境界線は、ILM1503であると判断し、ILM1503より上の領域は、硝子体領域1504であると判断する。さらに、処理部222は、二値化画像1507において、中心線1502より下の境界線は、ブルーフ膜1505であると判断し、ブルーフ膜1505より下の領域を脈略膜や強膜の領域1506として判断する。次に、処理部222は、例えば、第1の実施形態の変形例3で述べた境界検出処理等により、ILM1503とブルーフ膜1505の間の境界線を抽出し、図15(c)に示す境界線画像1508を取得する。このような処理によっても、処理部222は、網膜層の領域についてラベル付けされた検出結果画像を用いて、網膜領域の境界を検出することができる。
なお、本変形例では、処理部222が学習済モデルから取得したラベル画像に対してアンパック処理を施した検出結果画像を用いて、境界検出処理を行う例について述べた。これに対し、処理部222は、学習済モデルから取得したラベル画像を用いて境界検出処理を行ってから、アンパック処理を行ってもよい。
(第2の実施形態)
第1の実施形態においては、複数の断層画像から注目領域を抽出し、複数の注目領域をパッキング処理した合成画像を領域検出処理の入力データとし、転送するデータや領域検出処理の対象のデータを減らし、領域検出の効率を向上させ、処理の高速化を行った。これに対し、本発明の第2の実施形態に係る眼科装置では、注目領域の粒度(サイズ)を更に減らし、検出効率を更に向上させる。
第1の実施形態においては、複数の断層画像から注目領域を抽出し、複数の注目領域をパッキング処理した合成画像を領域検出処理の入力データとし、転送するデータや領域検出処理の対象のデータを減らし、領域検出の効率を向上させ、処理の高速化を行った。これに対し、本発明の第2の実施形態に係る眼科装置では、注目領域の粒度(サイズ)を更に減らし、検出効率を更に向上させる。
以下、図16乃至図19(b)を参照して、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との相違点を中心に説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。また、本実施形態に係る一連の処理は、図11(a)に示す第1の実施形態に係る一連の処理と、ステップS1140での処理以外は同様であるため、ステップS1140での処理以外の処理については説明を省略する。
まず、図16乃至図18(i)を参照して、本実施形態に係るステップS1140での網膜層の検出処理の具体的な手順について説明する。図16は、本実施形態に係る網膜層の検出処理のフローチャートである。本実施形態では、ステップS1140において網膜層の検出処理が開始されると、処理はステップS1601に移行する。
ステップS1601では、処理部222は、取得部21が取得した三次元の断層画像に含まれる各二次元の断層画像を、該断層画像の横断方向において複数のストライプ(短冊状の領域)に分割する。ここで、断層画像の横断方向は、深さ方向に交差する方向であればよく、例えばラスタスキャンにおける主走査方向であってよい。図17(a)は、処理対象となる断層画像1700を示し、図17(b)は、ステップS1601のストライプ分割処理後の複数のストライプ1701~1707の例を示す。ストライプ1701~1707は、それぞれ、断層画像1700を断層画像1700の横断方向において分割したストライプである。本実施形態では、ストライプの幅を128Aスキャンにするが、ストライプの幅はこれに限られず、例えば256Aスキャン等の処理部222が処理可能な幅であればよい。さらに、ストライプの幅は事前に決められる必要はなく、例えば、処理対象の断層画像を断層画像の横断方向において所定の数(N個)に分割した場合の幅のように動的に決められてもよい。
ステップS1602では、処理部222は処理対象の断層画像から注目領域を検出する。ステップS1602での処理は、第1の実施形態に係るステップS1141での処理と同様であるため、説明を省略する。ただし、本実施形態に係る注目領域検出は、ストライプ単位で行う。図17(c)は、ステップS1602での処理の結果例を示す。具体的には、処理部222は、第1の実施形態に係る注目領域の検出処理と同様の処理により、ストライプ1701~1707のそれぞれから、部分領域である注目領域1711~1717を検出し、注目領域1711~1717の画像を抽出する。また、処理部222は、ストライプから注目領域の画像の抽出を行う際に、抽出が行われたストライプの情報と、ストライプにおける、抽出された注目領域の位置情報とを記憶部24に記憶する。
ステップS1603では、処理部222は、ステップS1602において複数のストライプから抽出された複数の注目領域を、一つの画像にパッキング処理し、合成画像を生成する。ステップS1603での処理は、第1の実施形態に係るステップS1142での処理と同様である。ただし、本実施形態でのパッキング処理は、ストライプ単位で行う。なお、一つの合成画像に詰め込める注目領域の数は、注目領域のサイズ及び合成画像のサイズに依存するが、処理部222は、できる限り多くの注目領域を詰め込めるようにパッキング処理を行う。また、これに関連して、処理部222は、断層画像における注目領域を詰め込んだ合成画像において空きの領域がある場合には、他の断層画像における注目領域の画像を合成画像に詰め込むことができる。
図18(a)乃至図18(d)は、当該パッキング処理を説明するための図である。図18(a)は、処理部222によって、二次元の断層画像1800において検出された注目領域1801~1807の例を示す。図18(b)は、処理部222によって、三次元の断層画像における他の二次元の断層画像1810において検出された注目領域1811~1817の例を示す。図18(c)乃至図18(e)のそれぞれは、注目領域1801~1807,1811~1815についてパッキング処理を行って生成した、合成画像1820,1830,1840の例を示す。
本実施形態に係るステップS1603では、処理部222は、処理対象である断層画像1800から抽出された注目領域1801~1804の画像をパッキング処理し、合成画像1820を生成する。また、処理部222は、処理対象である断層画像1800から抽出された注目領域1805~1807及び処理対象である他の断層画像1810から抽出された注目領域1811の画像をパッキング処理し、合成画像1830を生成する。さらに、処理部222は、処理対象である断層画像1810から抽出された注目領域1812~1815の画像をパッキング処理し、合成画像1840を生成する。その後、処理部222は、以降の注目領域、例えば、注目領域1816~1817や、不図示の残りの二次元の断層画像における注目領域について同様にパッキング処理を行い、合成画像を生成する。
ステップS1604では、処理部222は、学習済モデルを用いて、ステップS1603において生成された合成画像のセグメンテーション処理を行い、合成画像に対応するラベル画像を取得する。ステップS1604での処理は、第1の実施形態に係るステップS1143での処理と同様である。具体的には、処理部222は、生成した合成画像1820等を学習済モデルに入力し、学習済モデルから出力されるラベル画像を取得する。ここで、図18(f)は、図18(c)に示す合成画像1820を学習済モデルに入力し、学習済モデルから出力されるラベル画像1850の例を示す。
なお、本実施形態に係る学習済モデルの学習データは、断層画像のストライプから抽出した注目領域の画像をパッキング処理した合成画像を入力データとし、合成画像に対応するラベル画像を出力データとすればよい。なお、合成画像及び合成画像に対応するラベル画像の作成方法は、注目領域の画像を断層画像のストライプから抽出した画像とする点を除き、第1の実施形態に係る合成画像及びラベル画像の作成方法と同様であってよい。
ステップS1605では、処理部222は、ステップS1604で取得したラベル画像に対してアンパック処理を行い、それぞれの注目領域に対応する検出結果画像を取得する。ステップS1605での処理は、第1の実施形態に係るステップS1144での処理と同様である。具体的には、処理部222は、ステップS1604で取得したラベル画像をそれぞれの注目領域の画像に分割する。また、処理部222は、記憶部24に記憶されたそれぞれの注目領域に対応するストライプの情報と位置情報を用いて、ラベル画像におけるそれぞれの注目領域を、対応するストライプにおける注目領域の位置に戻す。
ここで、図18(g)は、注目領域1851の画像を含む検出結果画像1855の例を示し、図18(h)は、注目領域1852の画像を含む検出結果画像1856の例を示す。また、図18(i)は、注目領域1853の画像を含む検出結果画像1857の例を示し、図18(j)は、注目領域1854の画像を含む検出結果画像1858の例を示す。この例によれば、処理部222は、ラベル画像1850を注目領域1851~1854の画像に分割し、注目領域1851~1854の画像を対応するストライプにおける注目領域の位置に戻し、検出結果画像1855~1858を取得することができる。
ステップS1606では、処理部222は、ステップS1605で取得した検出結果画像についてストライプ結合処理を行い、処理対象の断層画像に対応する検出結果画像を取得する。図19(a)は、ストライプの検出結果画像1855~1861について、ストライプ結合処理を行って取得した、処理対象の断層画像に対応する検出結果画像1910の例を示す。
ステップS1607では、処理部222は、ステップS1606で取得した検出結果画像に対して後処理を行う。ステップS1607での処理は、第1の実施形態に係るステップS1145での処理と同様であるため、説明を省略する。
ステップS1608では、処理部222は、ステップS1607で後処理が行われた検出結果画像に基づいて、各断層画像における網膜層の領域を検出する。検出結果画像では、学習済モデルを用いたセグメンテーション処理により網膜層の領域についてラベルが付されているため、処理部222は、当該ラベルを用いて断層画像における網膜層の領域を検出することができる。
また、処理部222は、網膜層の領域についてラベルが付された検出結果画像の各ラベルに基づいて各境界を検出してもよい。処理部222は、例えば、検出結果画像におけるラベル同士の境界を網膜層の境界として検出してもよい。また、処理部222は、第1の実施形態の変形例4で述べた方法で網膜層の境界を検出してもよい。図19(b)は、検出結果画像1910から境界線を抽出した境界画像1920の例を示す。ステップS1608において、網膜層の領域が検出されると、本実施形態の網膜層の検出処理が終了し、処理はステップS1150に移行する。
上記のように、本実施形態に係る処理部222は、二次元の断層画像を、被検眼の深さ方向に交差する方向(横断方向)において複数のストライプ(領域)に分割し、該分割した複数のストライプの各々から部分領域である注目領域を検出する。このため、処理部222は、取得した複数の二次元の断層画像の各々から複数の注目領域を検出する。なお、処理部222は、三次元の断層画像に含まれる全ての注目領域を用いて1枚の合成画像を生成する必要はなく、少なくとも2つの注目領域を用いて1枚の合成画像を生成できればよい。そのため、処理部222は、1枚の合成画像の生成に用いる複数の注目領域として、三次元の断層画像に含まれる少なくとも2つの注目領域を検出できればよい。
上記の構成を有するため、本実施形態に係る画像処理装置20は、処理対象の断層画像を複数のストライプに分割することで、領域検出処理の対象データの粒度(サイズ)を更に減らすことができる。このため、学習済モデルを用いて対象となる全ての網膜層の領域検出(セグメンテーション)を行いつつ、検出効率を更に向上させることができる。
なお、本実施形態では、画像処理装置20は、複数の二次元の断層画像を含む三次元の断層画像について網膜層の領域検出処理を行う構成とした。これに対し、画像処理装置20は、一枚の二次元の断層画像について、本実施形態に係るストライプの分割及び統合を含む網膜層の領域検出処理を行う構成としてもよい。
(第2の実施形態の変形例1)
第2の実施形態では、断層画像を複数のストライプに分割し、複数のストライプのそれぞれから注目領域を検出した。これに対して、第1の実施形態で説明したように、断層画像から網膜層に対応する注目領域を検出し、検出した注目領域を、第2の実施形態で説明したように複数のストライプに分割してもよい。この場合、処理部222は、分割した複数のストライプについて、所定の空白を空けて縦(深さ方向)に並べて合成画像を生成し、学習済モデルを用いた処理に用いてよい。このような場合には、一枚の断層画像から、学習済モデルに入力する合成画像を生成することができる。なお、合成画像を生成する際のストライプ間の空白は、第1の実施形態の変形例2で述べたように設定されてもよい。また、本変形例に係る処理は、後述する実施形態及び変形例に対して適宜適用されてもよい。
第2の実施形態では、断層画像を複数のストライプに分割し、複数のストライプのそれぞれから注目領域を検出した。これに対して、第1の実施形態で説明したように、断層画像から網膜層に対応する注目領域を検出し、検出した注目領域を、第2の実施形態で説明したように複数のストライプに分割してもよい。この場合、処理部222は、分割した複数のストライプについて、所定の空白を空けて縦(深さ方向)に並べて合成画像を生成し、学習済モデルを用いた処理に用いてよい。このような場合には、一枚の断層画像から、学習済モデルに入力する合成画像を生成することができる。なお、合成画像を生成する際のストライプ間の空白は、第1の実施形態の変形例2で述べたように設定されてもよい。また、本変形例に係る処理は、後述する実施形態及び変形例に対して適宜適用されてもよい。
(第2の実施形態の変形例2)
第2の実施形態に係るステップS1601では、処理対象の断層画像を横断方向において複数のストライプに分割する際に、128Aスキャン分の幅毎に分割した。これに対し、断層画像をストライプに分割する際に、後段でのストライプの結合処理におけるストライプ同士の位置合わせを容易にするため、ストライプにオーバーラップ領域(“のりしろ”とも称する)を設けてもよい。
第2の実施形態に係るステップS1601では、処理対象の断層画像を横断方向において複数のストライプに分割する際に、128Aスキャン分の幅毎に分割した。これに対し、断層画像をストライプに分割する際に、後段でのストライプの結合処理におけるストライプ同士の位置合わせを容易にするため、ストライプにオーバーラップ領域(“のりしろ”とも称する)を設けてもよい。
以下、図20(a)乃至図20(c)を参照して、第2の実施形態の変形例2に係る画像処理装置について説明する。本変形例に係る画像処理装置について、第2の実施形態に係る画像処理装置との相違点を中心に説明する。なお、本変形例に係る画像処理装置の構成は、第2の実施形態に係る画像処理装置の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。
本変形例では、処理部222は、ステップS1601において、断層画像をストライプに分割する際に、ストライプにオーバーラップ領域を設ける。ここで、オーバーラップ領域とは、隣り合うストライプ同士で、重複する領域(共通領域)である。このような構成によれば、ステップS1606でのストライプ連結処理において、オーバーラップ領域を隣接するストライプに適切に重ね合わせることで、隣り合うストライプ同士の位置合わせをよりスムースに行うことができる。
図20(a)乃至図20(c)は、オーバーラップ領域を有するストライプを作成する方法の一例を説明するための図である。図20(a)は、ストライプ1701~1707に分割された断層画像の例を示す。本変形例に係る処理部222は、ステップS1601において、断層画像を複数のストライプに分割する際に、隣接するストライプに重複するオーバーラップ領域をストライプに設ける。なお、処理部222は、ストライプに隣り合うストライプがない場合、つまり、断層画像の最初や最後のストライプに対しては、ストライプの端部を折り返した領域をオーバーラップ領域として設けることができる。これにより、ストライプに隣り合うストライプに関しても、オーバーラップ領域を設けることができ、後段の処理において処理するデータの大きさを同一にすることができる。なお、ストライプの端部を折り返した領域では、ストライプに含まれる断層像についてのミラーリング像が含まれることになる。
ここで、図20(b)及び図20(c)を参照して、ストライプ1703にオーバーラップ領域を設ける例について説明する。なお、図20(a)に示す断層画像ではストライプ1703については隣り合うストライプ1702が存在するが、図20(b)及び図20(c)では、処理の例示的な説明のため、隣り合うストライプ1702が存在しないものとしてストライプ1703を示す。
まず、処理部222は、ストライプ1703について、紙面左側に隣接するストライプがない場合、図20(b)に示すように、ストライプ1703の左側の端部の一部を折り返した領域をオーバーラップ領域2001としてストライプ1703の左側に設ける。なお、紙面右側に隣接するストライプがない場合には、処理部222は、ストライプ1703の右側の端部の一部を折り返した領域をオーバーラップ領域としてのストライプ1703右側に設ける。
また、処理部222は、紙面右側に隣接するストライプがある場合には、図20(c)に示すように、ストライプ1704の左側の端部の一部をストライプ1703の右側にオーバーラップ領域2002として設ける。なお、処理部222は、紙面左側に隣接するストライプがある場合には、当該隣接するストライプの右側の端部の一部をストライプ1703の左側にオーバーラップ領域として設ける。このような処理を全てのストライプに対して行うことで、処理部222は、処理対象となる断層画像から、隣接するストライプに重複するオーバーラップ領域を有する複数のストライプを取得することができる。
上記のように、本変形例に係る処理部222は、二次元の断層画像を、被検眼の深さ方向に交差する方向(横断方向)において複数のストライプ(領域)に分割し、該分割した複数のストライプの各々から注目領域を検出する。ここで、分割した複数の領域は、該分割した複数の領域における隣接する領域に重複する領域を有する。また、処理部222は、分割した複数の領域において、隣接する領域がない領域には、該領域の一部を反転させた領域を当該重複する領域として付加する。このような構成から、本変形例に係る画像処理装置は、断層画像を分割したストライプに対応するラベル画像のストライプについての結合処理の効率を向上させることができる。
なお、本変形例では、ストライプの幅が128Aスキャンの場合は、オーバーラップ領域の幅は32Aスキャンとする。ただし、オーバーラップ領域の幅は、このサイズに限定する必要はない。ここで、オーバーラップ領域が小さすぎるとストライプ連結処理の際にスムースな位置合わせを行えない可能性があり、逆にオーバーラップ領域が大きすぎるとオーバーヘッドが発生し、全体の処理時間が大きくなる。そのため、オーバーラップ領域の幅は予め行った処理結果等に基づいて定められてよい。また、処理部222は、網膜の形状を解析して、オーバーラップの幅を決めてもよい。
なお、処理部222は、オーバーラップ領域を生成する際にオーバーラップ領域に用いる隣り合うストライプの領域に含まれるAスキャンのデータ(Aスキャンデータ)を間引いてもよい。この場合、処理部222は、断層画像を分割した複数の領域において重複する領域の情報を間引き、重複する領域の情報が間引かれた複数の領域の各々から注目領域を検出する。このような構成によれば、オーバーラップ領域の情報を低減することができ、全体の処理時間を低減させることができる。なお、本変形例のように、ストライプにオーバーラップ領域を設ける場合には、学習データとして用いる合成画像及びラベル画像(又は境界画像)についてもオーバーラップ領域を含む注目領域を含んだ画像とすることができる。
なお、ステップS1606でのストライプ連結処理では、オーバーラップ領域のセグメンテーション処理結果について、隣接するストライプにおけるセグメンテーション処理結果との間で誤差が発生する可能性がある。この場合には、処理部222は、メインのストライプについてのセグメンテーション結果とオーバーラップ領域のセグメンテーション結果の平均処理を行ってもよい。なお、平均処理は、重み付けの平均処理であってもよい。例えば、メインのストライプ(例えばストライプ1703)のセグメンテーション処理結果の重みを重く(例えば4に)し、隣り合うストライプ1704の左オーバーラップ領域のセグメンテーション処理結果の重みを軽く(例えば1に)して、平均処理してよい。なお、その他の重み値は所望の構成に応じて任意に設定されてよい。
(第3の実施形態)
第2の実施形態の変形例においては、処理対象の断層画像を、オーバーラップ領域を含む複数のストライプに分割して、領域検出処理の対象データの粒度(サイズ)を更に減らし、検出効率を更に向上させる方法について説明を行った。これに対し、本発明の第3の実施形態では、ストライプにおけるオーバーラップ領域を減らすため、処理対象の三次元の断層画像において、サンプリング数の少ない方向で二次元の断層画像からストライプ分割を行い、処理対象となるストライプの画像を取得する。
第2の実施形態の変形例においては、処理対象の断層画像を、オーバーラップ領域を含む複数のストライプに分割して、領域検出処理の対象データの粒度(サイズ)を更に減らし、検出効率を更に向上させる方法について説明を行った。これに対し、本発明の第3の実施形態では、ストライプにおけるオーバーラップ領域を減らすため、処理対象の三次元の断層画像において、サンプリング数の少ない方向で二次元の断層画像からストライプ分割を行い、処理対象となるストライプの画像を取得する。
以下、図21及び図22を参照して、本実施形態に係る画像処理装置について、第2の実施形態の変形例に係る画像処理装置との相違点を中心に説明する。なお、本実施形態に係る画像処理装置の構成は、第2の実施形態の変形例に係る画像処理装置の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。また、本実施形態に係る網膜層の検出処理は、第2の実施形態の変形例に係る網膜層の検出処理と同様であるため、説明を省略する。
図21及び図22を参照して、本実施形態に係る一連の処理について説明する。図21は、本実施形態に係る一連の処理のフローチャートである。本実施形態に係る一連の処理が開始されると、処理はステップS2110に移行する。
ステップS2110では、取得部21が、被検眼を同定する情報の一例である被検者識別番号を入力部60等の画像処理装置20の外部から取得する。ステップS2110での処理は、ステップS1110での処理と同様であるため、説明を省略する。
ステップS2120では、駆動制御部23がOCT装置10を制御して被検眼をスキャンすることで撮影を行い、取得部21がOCT装置10から被検眼の断層情報を含む三次元の断層データに対応する干渉信号を取得する。ステップS2120での処理は、ステップS1120での処理と同様であるため、説明を省略する。
ステップS2130では、断層画像生成部221が、取得部21によって取得された干渉信号に基づいて断層画像の生成を行う。ステップS2130での処理は、ステップS1130での処理と同様であるため、説明を省略する。
ステップS2140では、断層画像生成部221が、ステップS2130で生成された断層画像の再構成を行う。ここでは、断層画像生成部221は、網膜の三次元の断層画像を撮影する際の主走査方向のサンプリング数(Aスキャン数)と、副走査方向のサンプリング数(Bスキャン数)を比較する。断層画像生成部221は、比較結果に基づいて、サンプリング数の少ない方向での断層画像を再構成する。
ここで、例えば、ステップS2120で取得された断層画像について、主走査方向のサンプリング数が1024(Aスキャン)、副走査方向のサンプリング数が128(Bスキャン)であるとする。この場合には、ステップS2140では、断層画像生成部221が、サンプリング数の少ない副走査方向を横断方向として断層画像を再構成する。これにより、取得部21は横断方向のサンプリング数が128(Aスキャン)である断層画像を1024枚取得することができる。
このステップS2120での処理例を、図22(a)及び図22(b)を参照して説明する。なお、図22(a)及び図22(b)において、網膜2201は撮影対象の網膜を示す。図22(a)は、主走査方向がX方向で、副走査方向がY方向であるラスタスキャンによる撮影によって得られる三次元の断層画像の概略を示す。この場合、断層画像生成部221は、ステップS2130において、副走査方向でのサンプリング数が20Bスキャン(U01~20)であり、主走査方向でのサンプリング数が29Aスキャン(T01~29)で構成される三次元の断層画像を生成する。このような三次元の断層画像に対し、断層画像生成部221は、ステップS2140での処理結果として、図22(b)に示すように、横断方向のサンプリング数が20Aスキャンである29枚の二次元の断層画像を取得する。
ステップS2150では、処理部222が網膜層の検出処理を行う。ステップS2150での処理は、ステップS1140での処理と同様であるため、説明を省略する。ただし、本実施形態での網膜層の検出処理は、ステップS2140で再構成された複数の二次元の断層画像について行われる。
ステップS2160では、断層画像生成部221が、ステップS2150で取得された検出結果画像を、元の横断方向での画像として再構成する。なお、画像の再構成の方法は任意の方法であってよい。例えば、断層画像生成部221は、ステップS2150で取得された複数の二次元の検出結果画像を三次元方向に並べて三次元の検出結果画像を構成し、三次元の検出結果画像から元の横断方向での二次元画像を再構成してよい。ステップS2160での処理によれば、断層画像生成部221は、ステップS2130で生成された断層画像と同じ横断方向での検出結果画像を取得することができる。
ステップS2170では、表示制御部25が、ステップS2160によって検出した網膜層の領域又は境界と断層画像等を表示部50に表示する。ステップS2170での処理はステップS1150での処理と同様であるため、説明を省略する。なお、ステップS2170での処理が終了すると、本実施形態に係る一連の処理が終了する。
上記のように、本実施形態に係る取得部21は、被検眼の深さ方向に交差する方向に対応する横断方向を、被検眼の三次元の断層画像におけるサンプリング数の少ない走査方向とした二次元の断層画像を取得する。これにより、ストライプにおけるオーバーラップ領域を減らすことができ、ストライプ化の効率を向上させるとともにパッキング処理の効率を向上させ、処理全体の時間が減らすことができる。
(第3の実施形態の変形例)
第3の実施形態に係るステップS2140では、主走査のサンプリング数(Aスキャン数)と、副走査のサンプリング数(Bスキャン数)を比較してサンプリング数の少ない方向を横断方向とした断層画像を再構成した。しかしながら、断層画像の再構成を行う方向は、その他の基準により判断されてもよい。例えば、断層画像生成部221は、横断方向を、網膜上の撮影領域のX方向のサイズとY方向のサイズを対比してサイズが小さい方向として断層画像を再構成してもよい。この場合、取得部21は、被検眼の三次元の断層画像における撮影領域サイズが小さい走査方向を横断方向とした二次元の断層画像を取得する。
第3の実施形態に係るステップS2140では、主走査のサンプリング数(Aスキャン数)と、副走査のサンプリング数(Bスキャン数)を比較してサンプリング数の少ない方向を横断方向とした断層画像を再構成した。しかしながら、断層画像の再構成を行う方向は、その他の基準により判断されてもよい。例えば、断層画像生成部221は、横断方向を、網膜上の撮影領域のX方向のサイズとY方向のサイズを対比してサイズが小さい方向として断層画像を再構成してもよい。この場合、取得部21は、被検眼の三次元の断層画像における撮影領域サイズが小さい走査方向を横断方向とした二次元の断層画像を取得する。
また、断層画像生成部221は、例えば、ステップS2130で取得された三次元の断層画像を用いて網膜の湾曲具合を解析し、XY方向において、より湾曲度が小さい方向を横断方向としてBスキャンを再構成してもよい。この場合、取得部21は、横断方向を網膜の湾曲度が小さい走査方向とした二次元の断層画像を取得する。なお、網膜の湾曲具合の解析に用いられる画像は三次元の断層画像に限られず、眼底画像撮影装置30を用いて得られた眼底正面画像等であってもよい。また、網膜の湾曲具合の解析は公知の任意の方法を用いてよい。
これらの処理を行う場合であっても、ストライプにおけるオーバーラップ領域を減らすことができ、ストライプ化の効率を向上させるとともにパッキング処理の効率を向上させ、処理全体の時間を減らすことができる。
(第4の実施形態)
第2の実施形態においては、処理対象の断層画像を複数のストライプに分割して、領域検出処理の対象データの粒度(サイズ)を更に減らし、検出効率を更に向上させる方法について説明を行った。これに対し、本発明の第4の実施形態では、網膜の湾曲度や傾きによる処理への影響を減らし、セグメンテーション処理の対象データをより減らすために、注目領域をフラット化する。
第2の実施形態においては、処理対象の断層画像を複数のストライプに分割して、領域検出処理の対象データの粒度(サイズ)を更に減らし、検出効率を更に向上させる方法について説明を行った。これに対し、本発明の第4の実施形態では、網膜の湾曲度や傾きによる処理への影響を減らし、セグメンテーション処理の対象データをより減らすために、注目領域をフラット化する。
以下、図23及び図24を参照して、本実施形態に係る画像処理装置について、第2の実施形態に係る画像処理装置との相違点を中心に説明する。なお、本実施形態に係る画像処理装置の構成は、第2の実施形態に係る画像処理装置20の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。また、本実施形態に係る一連の処理は、第2の実施形態に係る一連の処理と、ステップS1140での処理以外の処理は同様であるため、ステップS1140での処理以外の処理については説明を省略する。なお、本実施形態では、例示的に、学習データの出力データとして境界画像を用いた場合の処理について説明する。ただし、第1乃至第3の実施形態のように、学習データの出力データとしてラベル画像を用いて処理を行ってもよい。
図23及び図24を参照して、本実施形態に係るステップS1140での網膜層の検出処理の具体的な手順について説明する。図23は、本実施形態に係る網膜層の検出処理のフローチャートである。また、図24(a)乃至(f)は、本実施形態に係る網膜層の検出処理を説明するための図である。本実施形態では、ステップS1140において網膜層検出処理が開始されると、処理はステップS2301に移行する。
ステップS2301では、処理部222は、処理対象の断層画像のフラット化処理を行う。具体的には、処理部222は、二次元の断層画像(Bスキャン画像)を構成するAスキャン単位で断層画像をZ方向において移動し、二次元の断層画像における網膜の位置を揃える。なお、本実施形態では、処理部222は、断層画像におけるILMを基準にフラット化処理を行うが、それに限らず、RPE(網膜色素上皮細胞)層や、網膜の中心、その他の基準によりフラット化処理を行ってもよい。
本実施態様に係るフラット化処理では、処理部222は、例えば断層画像における各AスキャンデータについてZ方向において上から順に画素値を調べ、初めて検出した背景値でない画素値を有する画素を網膜の上部位置に対応する画素とする。処理部222は、断層画像の横断方向における全てのAスキャンデータにおける網膜の上部位置を揃えるように、断層画像におけるAスキャンデータを移動させる。また、処理部222は、例えば断層画像のAスキャンデータについてZ方向において上から順に画素値を調べ、隣り合う画素との間で画素値の変化が大きい画素をILMとみなし、その画素の位置を基準にAスキャンデータを揃えてもよい。また、処理部222は、ステップS2301における各Aスキャンデータの移動量の情報を、記憶部24に記憶する。
ここで、図24(a)は処理対象であるステップS1130で生成された断層画像2401の一例を示す。また、図24(b)に示される断層画像2402は、断層画像2401についてフラット化処理を行った、断層画像の一例である。図24(b)を参照すると、網膜層の上部(ILM)の位置が各Aスキャンデータで揃えられていることが分かる。
ステップS2302では、処理部222は、フラット化した断層画像2402を横断方向において複数のストライプに分割する。ステップS2302での処理は、ステップS1601での処理と同様であるため、説明を省略する。ここで、図24(b)に示される断層画像2402における各ストライプ2421~2427は、ステップS2302において分割されたストライプの例を示す。
ステップS2303では、処理部222は各ストライプから注目領域検出を行う。ステップS2303での処理は、ステップS1602での処理と同様であるため、説明を省略する。ここで、図24(c)は、注目領域検出が行われる断層画像2403における注目領域2431~2437は、ステップS2303において検出された注目領域の例を示す。
ステップS2304では、処理部222は、ステップS2303において複数のストライプから抽出された複数の注目領域の画像を、一つの画像にパッキング処理し、合成画像を生成する。ステップS2304での処理は、ステップS1603での処理と同様であるため、説明を省略する。図24(d)は、ステップS2304において生成された合成画像2404の一例を示す。
ステップS2305では、処理部222は、学習済モデルを用いて、ステップS2404で生成された合成画像のセグメンテーション処理を行い、合成画像に対応する境界画像を取得する。ステップS2305での処理は、ステップS1604での処理と同様であるため、説明を省略する。ただし、本実施形態では、学習データの出力データとして境界画像を用いているため、処理部222は、合成画像に対応する境界画像を取得する。
ステップS2306では、処理部222は、ステップS2305で取得した境界画像から、それぞれの注目領域の境界画像をアンパックし、注目領域の境界画像を、当該注目領域に対応するストライプにおける注目領域の位置に上書きする。これにより、処理部222は、各ストライプの検出結果画像を取得することができる。ステップS2306での処理は、ステップS1605での処理と同様であるため、説明を省略する。
ステップS2307では、処理部222は、ステップS2306で得られたストライプの検出結果画像についてストライプ結合処理を行い、フラット化された断層画像に関する検出結果画像を取得する。ステップS2307での処理は、ステップS1606での処理と同様であるため、説明を省略する。図24(e)は、フラット化された断層画像に関する検出結果画像2405の例を示す。
ステップS2308では、処理部222は、ステップS2307で得られた領域検出結果断層像の逆フラット化処理を行う。ここで、本実施形態に係る逆フラット化処理は、Aスキャン単位で、注目領域(網膜領域)を断層画像の深さ方向において元の位置に戻す処理である。そのため、処理部222は、ステップS2301で記憶部24に記憶された各Aスキャンデータの移動量の情報を用いて、フラット化された断層画像に関する検出結果画像における各Aスキャンデータの移動を行う。図24(f)は、検出結果画像2405に対して逆フラット化処理を行って生成した検出結果画像2406の一例を示す。
ステップS2309では、処理部222は、ステップS1606の検出結果画像の後処理を行う。ステップS2309での処理は、ステップS1607での処理と同様であるため、説明を省略する。ただし、本実施形態では、検出結果画像として、境界画像を取得しているため、ステップS2309での後処理は、穴埋め処理ではなく、途切れている境界線をつなぐ処理等であってもよい。このような処理に関しては、公知の任意の方法を用いて行ってよい。
ステップS2310では、処理部222は、ステップS2309で後処理が行われた検出結果画像に基づいて、各断層画像における網膜層の領域を検出する。ステップS2310での処理は、ステップS1608での処理と同様であってよい。ただし、本実施形態では、検出結果画像として境界画像を取得していることから、処理部222は、検出結果画像である境界画像についてルールベースの処理を行い、各境界間の領域を検出すればよい。
また、処理部222は、この段階で、境界画像である検出結果画像から網膜層の各境界を検出してもよい。このとき、検出結果画像に示される境界にラベルが付されていない場合には、処理部222は、ルールベースの処理を行い、各境界が網膜領域のどの境界を示すかを検出してもよい。ステップS2310において、網膜層の領域が検出されると、本実施形態の網膜層の検出処理が終了し、処理はステップS1150に移行する。
上記のように、本実施形態に係る処理部222は、二次元の断層画像における、又は、二次元の断層画像を、被検眼の深さ方向に交差する方向において分割した複数の領域の各々における、網膜又は注目領域の深さ方向の位置を揃える。また、処理部222は、学習済モデルを用いて得た検出結果と、網膜又は注目領域の深さ方向の位置を揃えた際の位置の移動量を用いて、取得部21によって取得した断層画像における層及び境界の少なくとも一方を検出する。
上記の構成を有するため、本実施形態に係る画像処理装置は、断層画像やストライプの画像に対して注目領域のフラット化処理を行うことによって、網膜の湾曲度や傾きの影響を減らすことができる。このため、領域検出(セグメンテーション)処理の対象となるストライプにより多くの注目領域が詰め込めることができ、領域検出(セグメンテーション)処理対象データを更に減らすことができ、検出効率(速度)を更に向上させることができる。
本実施形態に係るフラット化処理は、処理対象の断層画像に対して行われることとした。これに対し、処理部222は、ステップS2302のストライプ分割処理の後に、ストライプの画像に対してフラット化処理を行ってもよい。この場合は、逆フラット化処理は、ステップS2306のアンパック処理の後に行うことができる。
(第5の実施形態)
第2の実施形態においては、処理対象である断層画像を複数のストライプに分割して、領域検出処理対象データの粒度(サイズ)を更に減らし、検出効率を更に向上させる方法の説明を行った。これに対し、本発明の第5の実施形態では、注目領域の画像を解析し、学習済モデルを用いたセグメンテーション処理が困難と判断した場合には、当該注目領域について学習済モデルを用いたセグメンテーション処理から除外する。
第2の実施形態においては、処理対象である断層画像を複数のストライプに分割して、領域検出処理対象データの粒度(サイズ)を更に減らし、検出効率を更に向上させる方法の説明を行った。これに対し、本発明の第5の実施形態では、注目領域の画像を解析し、学習済モデルを用いたセグメンテーション処理が困難と判断した場合には、当該注目領域について学習済モデルを用いたセグメンテーション処理から除外する。
以下、本実施形態に係る画像処理装置について、第2の実施形態に係る画像処理装置との相違点を中心に説明する。なお、本実施形態に係る画像処理装置の構成は、第2の実施形態に係る画像処理装置20の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。また、本実施形態に係る処理は、図16に示す第2の実施形態に係る処理と、ステップS1602での処理以外の処理は同様であるため、同じ参照符号を用いて説明を省略する。
本実施形態では、ステップS1602において、処理部222は断層画像から注目領域を検出し、且つ、検出された注目領域について学習済モデルを用いたセグメンテーション処理から除外するか否かの判定を行う。ステップS1602での注目領域の検出処理は、第2の実施形態に係るステップS1601での処理と同じであるため、説明を省略する。以下、本実施形態に係るステップS1602における、検出された注目領域について学習済モデルを用いたセグメンテーション処理から除外するか否かの判定について説明する。
処理部222は、まず、検出された注目領域において、画素値が低い又はノイズが多いか否かを判定する。具体的には、処理部222は、注目領域における画素値(信号値)に関して信号対雑音比(SNR:Signal-to-Noise Ratio)を算出する。処理部222は、算出したSNRが閾値以下である場合には、当該注目領域について学習済モデルを用いたセグメンテーション処理から除外すると判定する。また、処理部222は、注目領域における画素値(信号値)の最大値を計算し、当該最大値が閾値以下である場合には、当該注目領域について学習済モデルを用いたセグメンテーション処理から除外すると判断してもよい。
また、処理部222は、注目領域に断層像の虚像(折り返し像)が含まれているか否かを判定する。具体的な判定方法は、公知の方法を用いてよい。処理部222は、注目領域に断層像の虚像が含まれている場合には、当該注目領域について学習済モデルを用いたセグメンテーション処理から除外すると判断する。なお、処理部222は、注目領域における虚像の存在を判定するために、処理対象である断層画像の全体を解析してもよい。
ステップS1602において、セグメンテーション処理から除外すると判断された注目領域は、ステップS1603のパッキング処理に用いられない。ただし、処理部222は、当該注目領域について、学習済モデルを用いたセグメンテーション処理の代わりに、ルールベースでのセグメンテーション処理を行ってもよい。このようなセグメンテーション処理は公知の任意の方法により行われてよい。
なお、表示制御部25は、ステップS1602において、学習済モデルを用いたセグメンテーション処理から除外された注目領域について、ステップS1150での表示処理において、セグメンテーションされていない領域であることを提示してもよい。この場合、処理部222は、検出結果画像において、当該注目領域について、信頼できない領域(セグメンテーション処理なし領域)であることを示すラベルを付けてもよい。
上記のように本実施形態に係る処理部222は、検出した注目領域における画素値の信号対雑音比若しくは最大値が閾値より小さい場合又は該注目領域に折り返し像が含まれる場合には、該注目画像を合成画像の生成に用いない。このような構成を有することから、本実施形態に係る画像処理装置は、注目領域の画像に基づいて、学習済モデルを用いたセグメンテーション処理が困難か否かを判定する。処理部222は、学習済モデルを用いたセグメンテーション処理が困難であると判定した注目領域について、学習済モデルを用いたセグメンテーション処理から除外することで不必要な処理を避けることができ、検出効率(速度)を向上させることができる。
(第6の実施形態)
第2の実施形態においては、処理対象の断層画像を複数のストライプに分割して、領域検出処理対象データの粒度(サイズ)を更に減らし、検出効率を更に向上させる方法について説明を行った。しかしながら、網膜が疾病などで肥大化した場合には、注目領域が大きくなり、注目領域のパッキング処理において一つの合成画像にパッキングできる注目領域の数が少なくなるため、処理効率が下がる可能性がある。これに対し、本発明の第6の実施形態では、注目領域を解析し、注目領域が大きい場合には、ルールベースのセグメンテーション処理に切り替える。
第2の実施形態においては、処理対象の断層画像を複数のストライプに分割して、領域検出処理対象データの粒度(サイズ)を更に減らし、検出効率を更に向上させる方法について説明を行った。しかしながら、網膜が疾病などで肥大化した場合には、注目領域が大きくなり、注目領域のパッキング処理において一つの合成画像にパッキングできる注目領域の数が少なくなるため、処理効率が下がる可能性がある。これに対し、本発明の第6の実施形態では、注目領域を解析し、注目領域が大きい場合には、ルールベースのセグメンテーション処理に切り替える。
以下、図25を参照して、第6の実施形態に係る画像処理装置について、第2の実施形態に係る画像処理装置との相違点を中心に説明する。なお、本実施形態に係る画像処理装置の構成は、第2の実施形態に係る画像処理装置の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。また、本実施形態に係る一連の処理は、第2の実施形態に係る一連の処理と、ステップS1140での処理以外の処理は同様であるため、ステップS1140での処理以外の処理については説明を省略する。
図25を参照して、本実施形態に係るステップS1140の網膜層の検出処理の具体的な手順について説明する。図25は、本実施形態に係る網膜層の検出処理のフローチャートである。本実施形態では、ステップS1140において網膜層検出処理が開始されると、処理はステップS2501に移行する。
ステップS2501では、処理部222は断層画像を横断方向において複数のストライプに分割する。ステップS2501での処理はステップS1601での処理と同様であるため、説明を省略する。
ステップS2502では、処理部222は断層画像から注目領域検出を行う。ステップS2502での処理はステップS1602での処理と同様であるため、説明を省略する。
ステップS2503では、処理部222はステップS2502で検出された注目領域の解析を行う。本実施形態では、処理部222は、注目領域の画像を解析し、注目領域のZ方向(深さ方向)の大きさを算出する。
ステップS2504では、処理部222は、ステップS2503での注目領域の解析結果を用いて、学習済モデルを用いたセグメンテーションを行うか、ルールベースのセグメンテーション(第2のセグメンテーション)を行うかを選択する。ここでの選択基準は、例えば、注目領域のZ方向の大きさが、ストライプ(又は断層画像)の深さ方向の大きさの10分の1より小さいか否かとすることができる。
処理部222は、注目領域のZ方向の大きさが、ストライプの深さ方向の大きさの10分の1より小さい場合には、学習済モデルを用いたセグメンテーション処理を選択する。また、処理部222は、注目領域のZ方向の大きさが、ストライプの深さ方向の大きさの10分の1以上である場合には、ルールベースのセグメンテーション処理を選択する。ステップS2504において、処理部222が学習済モデルを用いたセグメンテーション処理を選択した場合には、処理はステップS2505に移行する。
ステップS2505では、処理部222は、ステップS2502において複数のストライプから抽出された複数の注目領域をパッキング処理し、合成画像を生成する。ステップS2505での処理は、ステップS1603での処理と同様であるため、説明を省略する。
ステップS2506では、処理部222は、学習済モデルを用いて、ステップS2505で生成された合成画像のセグメンテーション処理を行う。ステップS2506での処理は、ステップS1604での処理と同様であるため、説明を省略する。
ステップS2507では、処理部222は、ステップS2506で取得されたラベル画像に対してアンパック処理を行い、それぞれの注目領域に対応する検出結果画像を取得する。ステップS2507での処理は、ステップS1605での処理と同様であるので、説明を省略する。
一方で、ステップS2504において、処理部222が、ルールベースのセグメンテーション処理を選択した場合には、処理はステップS2508に移行する。ステップS2508では、処理部222は、ステップS2504での注目領域の解析結果に基づいて、代替の処理として、ルールベースのセグメンテーション処理(第2のセグメンテーション処理)を行い、注目領域におけるラベル画像を取得する。
また、ステップS2508では、処理部222は、取得した注目領域のラベル画像について、ステップS2507でのアンパック処理における、対応するストライプでの注目領域の位置へ注目領域のラベル画像を戻す処理と同様の処理を行う。これにより、処理部222は、ルールベースのセグメンテーション処理により取得した注目領域におけるラベル画像を用いて、当該注目領域に対応するストライプに関する検出結果画像を取得することができる。
ステップS2509では、処理部222は、ステップS2507及びS2508で取得した検出結果画像についてストライプ結合処理を行い、処理対象の断層画像の検出結果画像を取得する。ステップS2509での処理はステップS1606での処理と同様であるため、説明を省略する。
ステップS2510では、処理部222は、ステップS2509で取得した領域抽出結果画像に対して後処理を行う。ステップS2510での処理はステップS1607での処理と同様であるため、説明を省略する。
ステップS2511では、処理部222は、ステップS2510で後処理が行われた検出結果画像に基づいて、各断層画像における網膜層の領域を検出する。ステップS2511での処理はステップS1608での処理と同様であるため、説明を省略する。ステップS2511において、網膜層の領域が検出されると、本実施形態の網膜層の検出処理が終了し、処理はステップS1150に移行する。
上記のように、本実施形態に係る処理部222は、検出した注目領域における画素値と閾値を用いて、該検出した注目領域に対して行う処理を、学習済モデルを用いた処理とルールベースの処理とのうちから選択する。言い換えると、処理部222は、検出した注目領域を解析し、解析結果に基づいて、該検出した注目領域に対して行う処理を、学習済モデルを用いた処理とルールベースの処理とのうちから選択する。特に、本実施形態では、処理部222は、解析結果に対応する注目領域が閾値より大きい場合に、ルールベースの処理を選択する。
上記の構成を有するため、本実施形態に係る画像処理装置は、注目領域を解析し、注目領域が大きく、注目領域のパッキング処理において一つの合成画像にパッキングできる注目領域の数が少なくなる場合には、ルールベースのセグメンテーション処理を行う。これにより、網膜が疾病などで肥大化した場合等の注目領域が大きい場合でも、全体のセグメンテーション処理を効率よく、高速に行うことができる。
なお、本実施形態では、ステップS2504の選択基準として、注目領域のZ方向の大きさが、ストライプの深さ方向の10分の1より小さいか否かとした。しかしながら、ステップS2504での選択基準はこれに限られない。当該選択基準は、例えば、注目領域のZ方向の大きさがストライプの深さ方向の5分の1より小さいか否かであってもよく、当該大きさの基準は所望の構成に応じて任意に設定されてよい。
また、本実施形態では、ルールベースのセグメンテーション処理を行ってラベル画像を取得する構成とした。しかしながら、ルールベースのセグメンテーション処理による網膜層の領域検出結果は画像である必要はなく、各領域や境界を識別できる情報であればよい。この場合には、処理部222は、最終的に、ルールベースのセグメンテーション処理で取得した領域や境界を識別するための情報と、学習済モデルを用いたセグメンテーション処理の結果とを統合できればよい。
(第7の実施形態)
第6の実施形態においては、注目領域の解析により、注目領域が大きいと判断した場合に、ルールベースのセグメンテーション処理を選択する方法について説明を行った。これに対し、本発明の第7の実施形態では、注目領域を解析し、網膜の部位に基づいて、セグメンテーション処理を選択する。
第6の実施形態においては、注目領域の解析により、注目領域が大きいと判断した場合に、ルールベースのセグメンテーション処理を選択する方法について説明を行った。これに対し、本発明の第7の実施形態では、注目領域を解析し、網膜の部位に基づいて、セグメンテーション処理を選択する。
以下、図25を参照して、第7の実施形態に係る画像処理装置について、第6の実施形態の変形例に係る画像処理装置との相違点を中心に説明する。なお、本実施形態に係る画像処理装置の構成は、第6の実施形態に係る画像処理装置の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。また、本実施形態に係る処理は、ステップS2503、ステップS2504、及びステップS2508以外の処理は第6の実施形態に係る処理と同様であるため、説明を省略する。本実施形態に係る網膜層の検出処理では、ステップS2502において注目領域が検出されると処理はステップS2503に移行する。
ステップS2503では、処理部222はステップS2502で検出された注目領域の解析を行う。具体的には、処理部222は、注目領域の部位を解析し、注目領域の部位が視神経乳頭部であるか否かを判断する。ここで、処理部222は、注目領域の部位が視神経乳頭部であるか否かを判断するために、取得部21により取得された被検眼についての眼底正面画像を用いる。なお、眼底正面画像は、ステップS1120における断層画像の撮影の際に、眼底画像撮影装置30を用いて被検眼を撮影して取得してもよい。なお、処理対象の断層画像が外部記憶装置40等から取得されている場合には、当該断層画像の撮影時に取得された眼底正面画像を用いればよい。
処理部222は、断層画像及び眼底正面画像の撮影条件等に応じて眼底正面画像と断層画像の位置合わせを行い、断層画像における視神経乳頭部の位置を認識する。例えば、処理部222は、眼底正面画像上の視神経乳頭部を認識するため、眼底正面画像上の視神経乳頭部の特有な輝度値に基づいて認識を行ってよい。また、処理部222は、断層画像において視神経乳頭部の形状を確認しながら、例えば視神経が通る箇所を視神経乳頭部の位置として認識してよい。なお、これらの処理は公知の任意の処理を用いて行ってもよい。
ステップS2504では、処理部222はステップS2503での注目領域の解析結果を用いて、セグメンテーション処理を選択する。当該選択基準は、注目領域に視神経乳頭部が含まれているか否かとすることができる。処理部222は、注目領域に視神経乳頭部が含まれていると判断する場合には、学習済モデルを用いたセグメンテーション処理を選択する。一方で、処理部222は、注目領域に視神経乳頭部が含まれていないと判断する場合には、ルールベースのセグメンテーション処理を選択する。ステップS2504において、処理部222が学習済モデルを用いたセグメンテーション処理を選択した場合には、処理はステップS2505へ移行する。ステップS2505~ステップS2507での処理は、第6の実施形態に係る同ステップでの処理と同様であるため説明を省略する。
ステップS2504において、処理部222がルールベースのセグメンテーション処理を選択した場合には、処理はステップS2508へ移行する。ステップS2508では、処理部222は、ステップS2504での注目領域の解析結果に基づいて、視神経乳頭部に関するルールベースのセグメンテーション処理(第2のセグメンテーション処理)を行い、注目領域におけるラベル画像を取得する。なお、視神経乳頭部に関するルールベースのセグメンテーション処理は公知の方法を用いて行ってよい。
また、ステップS2508では、処理部222は、取得した注目領域のラベル画像について、ステップS2507でのアンパック処理における、対応するストライプでの注目領域の位置へ注目領域のラベル画像を戻す処理と同様の処理を行う。これにより、処理部222は、ルールベースのセグメンテーション処理により取得した注目領域におけるラベル画像を用いて、当該注目領域に対応するストライプに関する検出結果画像を取得することができる。以降の処理は、第6の実施形態に係る処理と同様であるため説明を省略する。
なお、本実施形態では、注目領域の部位が視神経乳頭部である場合に当該注目領域に対してルールベースのセグメンテーション処理を行う構成とした。しかしながら、ルールベースのセグメンテーション処理を行う対象の注目領域の部位は視神経乳頭部に限られない。例えば、注目領域の部位が中心窩等のその他の部位である場合に、ルールベースのセグメンテーション処理を行うように構成してもよい。また、例えば、処理部222は、注目領域に疾病部が含まれるかを解析し、注目領域に疾病部が含まれる場合にルールベースのセグメンテーション処理を選択するようにしてもよい。
上記のように、本実施形態に係る処理部222は、解析される注目領域の部位に基づいて、ルールベースの処理を選択する。また、処理部222は、複数の注目領域に疾病部が存在する場合に、ルールベースの処理を選択してもよい。
このような構成を有することから、本実施形態に係る画像処理装置20は、注目領域を解析し、網膜の部位又は疾病状況に基づいて、セグメンテーション処理を適切に選択することができる。このため、全体のセグメンテーション処理を効率よく、高速に行うことができる。
なお、本実施形態では、ルールベースのセグメンテーション処理を行ってラベル画像を取得する構成とした。しかしながら、ルールベースのセグメンテーション処理による網膜層の領域検出結果は画像である必要はなく、各領域や境界を識別できる情報であればよい。この場合には、処理部222は、最終的に、ルールベースのセグメンテーション処理で取得した領域や境界を識別するための情報と、学習済モデルを用いたセグメンテーション処理の結果とを統合できればよい。
なお、上述した様々な実施形態及び変形例では、処理部222が、ストライプの分割・統合処理、注目領域の検出処理、セグメンテーションの選択処理、パッキング・アンパック処理、及び学習済モデルを用いたセグメンテーション処理等を行う構成とした。これに対し、これらの処理を行う構成要素を別々に設けてもよい。この場合には、このような別々に設けられた構成要素を含むように処理部222を構成してよい。
なお、上述した様々な実施形態及び変形例では、学習済モデルに入力する画像のサイズと学習データの入力データとして用いられる画像のサイズを一致させた。しかしながら、機械学習モデルの構成によっては、これらの画像のサイズを一致させなくてもよい。例えば、CNN等では、フィルタのカーネルサイズに応じて処理が行われることから、学習済モデルに入力する画像のサイズと学習データの入力データの画像サイズは一致していなくても処理が可能であると期待される。このため、学習済モデルに入力する画像のサイズは任意であってよく、学習データの入力データの画像サイズも任意であってもよい。
このため、例えば、処理対象となる複数の注目領域を合成画像に詰め込んでいった際に、最終的に1つの注目領域が残ってしまった場合等には、処理部222は、残った1つの注目領域を学習済モデルに入力してもよい。これに関連して、学習済モデルによって、当該1つの注目領域を処理することができるように、学習データに、一つの注目領域の画像を入力データとし、当該注目領域の画像に対応するラベル画像を出力データとしたペア群を含めることもできる。
また、上述した様々な実施形態及び変形例では、取得部21は、OCT装置10で取得された干渉信号や断層画像生成部221で生成された断層データ等を取得した。しかしながら、取得部21がこれらの信号や画像を取得する構成はこれに限られない。例えば、取得部21は、画像処理装置20とLAN、WAN、又はインターネット等を介して接続される外部記憶装置40やサーバ、撮影装置等からこれらの信号やデータを取得してもよい。
なお、上述した様々な実施形態及び変形例に係る学習済モデルは画像処理装置20に設けられることができる。学習済モデルは、例えば、CPUや、MPU、GPU、FPGA等のプロセッサによって実行されるソフトウェアモジュール等で構成されてもよいし、ASIC等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、画像処理装置20と接続される別のサーバの装置等に設けられてもよい。この場合には、画像処理装置20は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。また、学習済モデルの学習データは、実際の撮影を行うOCT装置10自体を用いて得たデータに限られず、所望の構成に応じて、同型のOCT装置を用いて得たデータや、同種のOCT装置を用いて得たデータ等であってもよい。
なお、GPUは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、GPUで処理を行うことが有効である。そこで、学習部(不図示)の一例である処理部222による処理には、CPUに加えてGPUを用いてもよい。この場合には、学習モデルを含む学習プログラムを実行する場合に、CPUとGPUが協働して演算を行うことで学習を行う。なお、学習部の処理は、CPU又はGPUのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部(推定部)も、学習部と同様にGPUを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
また、上述した様々な実施形態及び変形例において、モーションコントラストデータとは、被検眼の同一領域(同一位置)において測定光が複数回走査されるように制御して得た複数のリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するOCTアンギオグラフィ(OCTA)に関するOCTA正面画像(OCTAのEn-Face画像)とも呼ばれ、モーションコントラストデータはOCTAデータとも呼ばれる。モーションコントラストデータは、例えば、2枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値(最大値/最小値)として求めることができ、公知の任意の方法により求められてよい。このとき、2枚の断層画像は、例えば、被検眼の同一領域(同一位置)において測定光が複数回走査されるように制御して得ることができる。
また、En-Face画像は、例えば、2つの層境界の間の範囲のデータをXY方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ(三次元の断層画像)の少なくとも一部の深度範囲であって、2つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影又は積算して生成される。En-Face画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを二次元平面に投影して生成された正面画像である。なお、2つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。ここで、代表値は、2つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、En-Face画像に係る深度範囲は、例えば、検出された網膜層に関する2つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、En-Face画像に係る深度範囲は、例えば、検出された網膜層に関する2つの層境界の間の範囲から、操作者の指示に応じて変更された(オフセットされた)範囲であってもよい。
また、上述した様々な実施形態及び変形例に係るOCT装置としては、公知の任意のOCT装置を用いてよい。例えば、OCT装置は、SLDを光源として用いたスペクトラルドメインOCT(SD-OCT)装置や、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型OCT(SS-OCT)装置等の他の任意の種類のOCT装置であってもよい。また、OCT装置は、ライン光を用いたLine-OCT装置(あるいはSS-Line-OCT装置)や、エリア光を用いたFull Field-OCT装置(あるいはSS-Full Field-OCT装置)であってもよい。さらに、OCT装置は、波面補償光学系を用いた波面補償OCT(AO-OCT)装置、又は偏光位相差や偏光解消に関する情報を可視化するための偏光OCT(PS-OCT)装置であってもよい。
(その他の実施例)
本発明は、上述の実施形態及び変形例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読み出し実行する処理でも実現可能である。コンピュータは、一つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。
本発明は、上述の実施形態及び変形例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読み出し実行する処理でも実現可能である。コンピュータは、一つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。
プロセッサ又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。
以上、実施形態及び変形例を参照して本発明について説明したが、本発明は上記実施形態及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
20:医用画像処理装置、21:取得部、222:処理部
Claims (26)
- 被検眼の断層画像を取得する取得部と、
前記取得した断層画像における層及び境界の少なくとも一方を検出する処理部と、
を備え、
前記処理部は、
前記取得した断層画像における複数の部分領域の画像を合成することにより合成画像を生成し、
学習済モデルを用いて、前記合成画像における層及び境界の少なくとも一方を検出し、
前記学習済モデルを用いて得た検出結果を用いて、前記取得した断層画像における層及び境界の少なくとも一方を検出する、医用画像処理装置。 - 前記処理部は、前記複数の部分領域の画像を被検眼の深さ方向に並べて合成することにより合成画像を生成する、請求項1に記載の医用画像処理装置。
- 前記断層画像は、二次元の断層画像又は複数の二次元の断層画像を含む三次元の断層画像である、請求項1又は2に記載の医用画像処理装置。
- 前記処理部は、
前記二次元の断層画像を、被検眼の深さ方向に交差する方向において複数の領域に分割し、該分割した複数の領域の各々から部分領域を検出する、又は、
前記二次元の断層画像から部分領域を検出し、検出した部分領域の画像を前記深さ方向に交差する方向において複数の部分領域に分割する、請求項3に記載の医用画像処理装置。 - 前記分割した複数の領域又は前記分割した複数の部分領域は、該分割した複数の領域又は該分割した複数の部分領域における隣接する領域に重複する領域を有する、請求項4に記載の医用画像処理装置。
- 前記処理部は、前記分割した複数の領域又は前記分割した複数の部分領域において前記重複する領域の情報を間引く、請求項5に記載の医用画像処理装置。
- 前記処理部は、前記分割した複数の領域又は前記分割した複数の部分領域において、隣接する領域がない領域には、該領域の一部を反転させた領域を前記重複する領域として付加する、請求項5又は6に記載の医用画像処理装置。
- 前記取得部は、前記深さ方向に交差する方向を、被検眼の三次元の断層画像におけるサンプリング数の少ない走査方向とした二次元の断層画像を取得する、請求項4乃至7のいずれか一項に記載の医用画像処理装置。
- 前記取得部は、前記深さ方向に交差する方向を、被検眼の三次元の断層画像における撮影領域サイズ又は網膜の湾曲度が小さい走査方向とした二次元の断層画像を取得する、請求項4乃至7のいずれか一項に記載の医用画像処理装置。
- 前記処理部は、
前記二次元の断層画像における、又は、前記二次元の断層画像を被検眼の深さ方向に交差する方向において分割した複数の領域の各々における、網膜又は部分領域の深さ方向の位置を揃え、
前記学習済モデルを用いて得た検出結果と、網膜又は部分領域の深さ方向の位置を揃えた際の位置の移動量を用いて、前記取得した断層画像における層及び境界の少なくとも一方を検出する、請求項3乃至9のいずれか一項に記載の医用画像処理装置。 - 前記処理部は、前記複数の二次元の断層画像を用いて、前記複数の二次元の断層画像における部分領域を複数検出する、請求項3乃至10のいずれか一項に記載の医用画像処理装置。
- 前記処理部は、前記複数の二次元の断層画像の各々から1つの部分領域を検出する、請求項11に記載の医用画像処理装置。
- 前記処理部は、前記複数の二次元の断層画像の各々から複数の部分領域を検出する、請求項11に記載の医用画像処理装置。
- 前記処理部は、被検眼の断層画像の複数の部分領域の画像を合成して得た合成画像と、合成画像における領域及び境界の少なくとも一方を示すラベル画像とを学習データとして用いて得た学習済モデルに前記生成した合成画像を入力して、前記生成した合成画像における領域及び境界の少なくとも一方を示すラベル画像を取得する、請求項1乃至13のいずれか一項に記載の医用画像処理装置。
- 前記処理部は、前記取得した断層画像における画素値と閾値を用いて、前記複数の部分領域を検出する、請求項1乃至14のいずれか一項に記載の医用画像処理装置。
- 前記処理部は、前記取得した断層画像に対してルールベースの処理により、前記複数の部分領域を検出する、請求項1乃至14のいずれか一項に記載の医用画像処理装置。
- 前記部分領域は網膜を含む、請求項1乃至16のいずれか一項に記載の医用画像処理装置。
- 前記処理部は、
前記学習済モデルを用いて得た検出結果を用いて、各部分領域における検出結果を取得し、
前記取得した各部分領域における検出結果を用いて、各部分領域に対応する断層画像における層及び境界の少なくとも一方を検出する、請求項1乃至17のいずれか一項に記載の医用画像処理装置。 - 前記処理部は、前記検出した部分領域における画素値と閾値を用いて、該検出した部分領域に対して行う処理を、前記学習済モデルを用いた処理とルールベースの処理とのうちから選択する、請求項1乃至18のいずれか一項に記載の医用画像処理装置。
- 前記処理部は、前記検出した部分領域を解析し、解析結果に基づいて、該検出した部分領域に対して行う処理を、前記学習済モデルを用いた処理とルールベースの処理とのうちから選択する、請求項1乃至18のいずれか一項に記載の医用画像処理装置。
- 前記処理部は、前記解析結果に対応する部分領域が閾値より大きい場合、又は前記解析結果に対応する部分領域に疾病部が存在する場合、前記ルールベースの処理を選択する、請求項20に記載の医用画像処理装置。
- 前記処理部は、前記解析結果に対応する部分領域の部位に基づいて、前記ルールベースの処理を選択する、請求項20に記載の医用画像処理装置。
- 前記処理部は、検出した部分領域における画素値の信号対雑音比若しくは最大値が閾値より小さい場合又は該部分領域に折り返し像が含まれるには、該部分領域の画像を合成画像の生成に用いない、請求項1乃至18のいずれか一項に記載の医用画像処理装置。
- 被検眼の断層画像の複数の部分領域の画像を合成して得た合成画像と、該合成画像における領域及び境界の少なくとも一方を示すラベル画像とを学習データとして用いて得た、学習済モデル。
- 被検眼の断層画像を取得することと、
前記取得した断層画像における複数の部分領域の画像を合成することにより合成画像を生成することと、
学習済モデルを用いて、前記合成画像における層及び境界の少なくとも一方を検出することと、
前記学習済モデルを用いて得た検出結果を用いて、前記取得した断層画像における層及び境界の少なくとも一方を検出することと、
を含む、医用画像処理方法。 - コンピュータによって実行されると、該コンピュータに請求項25に記載の医用画像処理方法の各工程を実行させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021033863A JP2022134615A (ja) | 2021-03-03 | 2021-03-03 | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021033863A JP2022134615A (ja) | 2021-03-03 | 2021-03-03 | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022134615A true JP2022134615A (ja) | 2022-09-15 |
Family
ID=83231598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021033863A Pending JP2022134615A (ja) | 2021-03-03 | 2021-03-03 | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022134615A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116823977A (zh) * | 2023-03-16 | 2023-09-29 | 闽都创新实验室 | 一种微纳结构透射电子断层图像重构的深度学习方法 |
-
2021
- 2021-03-03 JP JP2021033863A patent/JP2022134615A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116823977A (zh) * | 2023-03-16 | 2023-09-29 | 闽都创新实验室 | 一种微纳结构透射电子断层图像重构的深度学习方法 |
CN116823977B (zh) * | 2023-03-16 | 2024-04-30 | 闽都创新实验室 | 一种微纳结构透射电子断层图像重构的深度学习方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210158525A1 (en) | Medical image processing apparatus, medical image processing method, computer-readable medium, and learned model | |
US11935241B2 (en) | Image processing apparatus, image processing method and computer-readable medium for improving image quality | |
US20210104313A1 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
JP7269413B2 (ja) | 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム | |
US9418423B2 (en) | Motion correction and normalization of features in optical coherence tomography | |
JP6105852B2 (ja) | 画像処理装置及びその方法、プログラム | |
US20210224957A1 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
US20210183019A1 (en) | Image processing apparatus, image processing method and computer-readable medium | |
JP7374615B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2015160105A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN114760906A (zh) | 医用图像处理装置、光学相干断层摄影装置、医用图像处理方法和程序 | |
JP2020163100A (ja) | 画像処理装置および画像処理方法 | |
JP7220509B2 (ja) | 眼科装置及び眼科画像処理方法 | |
WO2020075719A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2020050308A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2022134615A (ja) | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム | |
JP7254682B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6243957B2 (ja) | 画像処理装置、眼科システム、画像処理装置の制御方法および画像処理プログラム | |
JP7111874B2 (ja) | 眼科撮影装置 | |
JP2020058615A (ja) | 画像処理装置、学習済モデル、画像処理方法およびプログラム | |
JP2022062620A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018020224A (ja) | 画像処理装置、眼科システム、画像処理装置の制御方法及び画像処理プログラム | |
WO2020049828A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022062619A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019080614A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20220630 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240222 |