JP2021164535A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2021164535A JP2021164535A JP2020068611A JP2020068611A JP2021164535A JP 2021164535 A JP2021164535 A JP 2021164535A JP 2020068611 A JP2020068611 A JP 2020068611A JP 2020068611 A JP2020068611 A JP 2020068611A JP 2021164535 A JP2021164535 A JP 2021164535A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- image quality
- quality
- octa
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 358
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000006872 improvement Effects 0.000 claims abstract description 229
- 238000003384 imaging method Methods 0.000 claims abstract description 110
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 claims abstract 10
- 238000000034 method Methods 0.000 claims description 220
- 238000004458 analytical method Methods 0.000 claims description 148
- 230000008569 process Effects 0.000 claims description 147
- 238000012549 training Methods 0.000 claims description 68
- 210000004204 blood vessel Anatomy 0.000 claims description 57
- 230000002159 abnormal effect Effects 0.000 claims description 37
- 230000011218 segmentation Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 2
- 238000012014 optical coherence tomography Methods 0.000 description 141
- 239000010410 layer Substances 0.000 description 94
- 230000033001 locomotion Effects 0.000 description 91
- 238000003745 diagnosis Methods 0.000 description 75
- 230000003287 optical effect Effects 0.000 description 65
- 238000010801 machine learning Methods 0.000 description 61
- 238000012986 modification Methods 0.000 description 52
- 230000004048 modification Effects 0.000 description 52
- 230000008859 change Effects 0.000 description 50
- 238000011156 evaluation Methods 0.000 description 42
- 230000004044 response Effects 0.000 description 41
- 238000003860 storage Methods 0.000 description 37
- 238000005259 measurement Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 20
- 230000007704 transition Effects 0.000 description 20
- 238000007689 inspection Methods 0.000 description 18
- 238000013528 artificial neural network Methods 0.000 description 17
- 238000007726 management method Methods 0.000 description 15
- 210000001525 retina Anatomy 0.000 description 14
- 238000009826 distribution Methods 0.000 description 13
- 210000004127 vitreous body Anatomy 0.000 description 13
- 206010025421 Macule Diseases 0.000 description 12
- 201000010099 disease Diseases 0.000 description 12
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 12
- 208000010412 Glaucoma Diseases 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000003902 lesion Effects 0.000 description 11
- 230000002207 retinal effect Effects 0.000 description 11
- 238000013519 translation Methods 0.000 description 10
- 239000013307 optical fiber Substances 0.000 description 9
- 230000036961 partial effect Effects 0.000 description 9
- 230000002792 vascular Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000002372 labelling Methods 0.000 description 8
- 238000003058 natural language processing Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 210000003733 optic disk Anatomy 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 6
- 230000017531 blood circulation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 239000000835 fiber Substances 0.000 description 5
- 239000002344 surface layer Substances 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 239000002775 capsule Substances 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000002583 angiography Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 210000003161 choroid Anatomy 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 206010047642 Vitiligo Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000004323 axial length Effects 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 1
- 208000005590 Choroidal Neovascularization Diseases 0.000 description 1
- 206010060823 Choroidal neovascularisation Diseases 0.000 description 1
- 206010012667 Diabetic glaucoma Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 206010067013 Normal tension glaucoma Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 206010047555 Visual field defect Diseases 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 235000019646 color tone Nutrition 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 230000004410 intraocular pressure Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 201000002978 low tension glaucoma Diseases 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000649 photocoagulation Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 208000000318 vitreous detachment Diseases 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【課題】従来よりも画像診断に適した画像を生成することができる画像処理装置を提供する。【解決手段】画像処理装置は、被検眼の前眼OCTA正面画像である第1の医用画像を取得する取得部と、被検眼の眼底OCTA正面画像を学習データとして用いて得た学習済モデルを用いて、取得された第1の医用画像に対して画質向上処理して得た第2の医用画像を表示部に表示させる表示制御部と、を備える。【選択図】図6
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
生体などの被検体の断層画像を非破壊、非侵襲で取得する方法として、光干渉断層撮像法(OCT:Optical Coherence Tomography)を利用した装置(OCT装置)が実用化されている。OCT装置は、特に眼科診断のための画像を取得する眼科装置として広く利用されている。
OCTでは、測定対象から反射した光と参照鏡から反射した光を干渉させ、その干渉光の強度を解析することにより被検体の断層画像を得ることができる。このようなOCTとして、タイムドメインOCT(TD−OCT:Time Domain OCT)が知られている。TD−OCTでは、参照鏡の位置を順次変えることで被検体の深さ情報を得る。
また、スペクトラルドメインOCT(SD−OCT:Spectral DomainOCT)、及び波長掃引型OCT(SS−OCT:Swept Source OCT)が知られている。SD−OCTでは、低コヒーレンス光を用いて干渉させた干渉光を分光し、深さ情報を周波数情報に置き換えて取得する。また、SS−OCTでは、波長掃引光源を用いて先に波長を分光した光を用いて干渉光を取得する。なお、SD−OCTとSS−OCTは総称してフーリエドメインOCT(FD−OCT:Fourier Domain OCT)とも呼ばれる。
OCTを用いることで、被検体の深さ情報に基づく断層画像を取得することができる。また、取得した三次元の断層画像を深度方向に統合し、二次元平面上に投影することで、測定対象の正面画像を生成することができる。従来、これら画像の画質を向上させるため、複数回画像を取得し重ね合わせ処理を施すことが行われている。しかしながら、このような場合、複数回の撮影に時間がかかる。
特許文献1には、医用技術の急激な進歩や緊急時の簡易な撮影に対応するため、以前に取得した画像を、人工知能エンジンによって、より解像度の高い画像に変換する技術が開示されている。このような技術によれば、例えば、より少ない撮影によって取得された画像をより解像度の高い画像に変換することができる。
しかしながら、解像度が高い画像であっても、画像診断に適した画像とは言えない場合もある。例えば、解像度が高い画像であっても、ノイズが多い場合やコントラストが低い場合等には観察すべき対象が適切に把握できないことがある。
そこで、本発明の目的の一つは、従来よりも画像診断に適した画像を生成することができる画像処理装置、画像処理方法、及びプログラムを提供することである。
本発明の一実施態様に係る画像処理装置は、被検眼の前眼OCTA正面画像である第1の医用画像を取得する取得部と、被検眼の眼底OCTA正面画像を学習データとして用いて得た学習済モデルを用いて、前記取得された第1の医用画像に対して画質向上処理して得た第2の医用画像を表示部に表示させる表示制御部と、を備える。
本発明の一つによれば、従来よりも画像診断に適した画像を生成することができる。
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。
ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
以下の実施例では、被検体(被検者)として被検眼を例に挙げるが、人の他の臓器等を被検体としてもよい。また、機械学習モデル(機械学習エンジン)に関する学習済モデルを用いて画質向上処理を施す画像として、被検眼のOCTA(OCT Angiography)画像を例に挙げて説明する。なお、OCTAとは、OCTを用いた、造影剤を用いない血管造影法である。OCTAでは、被検体の深さ情報に基づいて取得される三次元のモーションコントラストデータを深度方向に統合し、二次元平面上に投影することでOCTA画像(正面血管画像、あるいはモーションコントラスト正面画像)を生成する。
ここで、モーションコントラストデータとは、被検体の略同一箇所を繰り返し撮影し、その撮影間における被写体の時間的な変化を検出したデータである。なお、略同一箇所とは、モーションコントラストデータを生成するのに許容できる程度に同一である位置をいい、厳密に同一である箇所から僅かにずれた箇所も含むものをいう。モーションコントラストデータは、例えば、複素OCT信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる。
ここで、機械学習モデルに関する学習済モデルを用いた画質向上処理に関する注意点を記載する。画像について機械学習モデルに関する学習済モデルを用いて画質向上処理を行うことで、少ない画像から高画質な画像が得られる一方で、現実には存在しない組織を画像上に描出してしまったり、本来存在している組織を消してしまったりすることがある。そのため、学習済モデルを用いた画質向上処理によって高画質化された画像では、画像上に描出された組織の真偽が判断しにくいという問題があった。
そのため、以下の実施例では、機械学習モデルを用いて、従来よりも画像診断に適した画像を生成するとともに、このような画像について、画像上に描出された組織の真偽を容易に判断できる画像処理装置を提供する。
なお、以下の実施例ではOCTA画像について説明するが、画質向上処理を施す画像はこれに限られず、断層画像や輝度のEn−Face画像等であってもよい。ここで、En−Face画像とは、被検体の三次元のデータにおいて、2つの基準面に基づいて定められる所定の深さ範囲内のデータを二次元平面に投影又は積算して生成した正面画像である。En−Face画像には、例えば、輝度の断層画像に基づく輝度のEn−Face画像やモーションコントラストデータに基づくOCTA画像(モーションコントラスト正面画像、あるいはモーションコントラストEn−Face画像)が含まれる。
(実施例1)
以下、図1乃至7を参照して、本発明の実施例1に係る光干渉断層撮像装置(OCT装置)及び画像処理方法について説明する。図1は、本実施例に係るOCT装置の概略構成を示す。
以下、図1乃至7を参照して、本発明の実施例1に係る光干渉断層撮像装置(OCT装置)及び画像処理方法について説明する。図1は、本実施例に係るOCT装置の概略構成を示す。
本実施例に係るOCT装置1には、OCT撮影部100、制御部(画像処理装置)200、入力部260、表示部270が設けられている。
OCT撮影部100は、SD−OCT装置の撮影光学系を含み、走査部を介して測定光が照射された被検眼Eからの戻り光と、測定光に対応する参照光とを干渉させた干渉光に基づいて、被検眼Eの断層の情報(断層情報)を含む信号を取得する。OCT撮影部100には、光干渉部110、及び走査光学系150が設けられている。
制御部200は、OCT撮影部100を制御したり、OCT撮影部100や不図示の他の装置から得られた信号から画像を生成したり、生成/取得した画像を処理したりすることができる。表示部270は、LCDディスプレイ等の任意のディスプレイであり、OCT撮影部100及び制御部200を操作するためのGUIや生成した画像、任意の処理を施した画像、及び患者情報等の各種の情報を表示することができる。
入力部260は、GUIを操作したり、情報を入力したりすることで、制御部200を操作するために用いられる。入力部260は、例えば、マウスやタッチパッド、トラックボール、タッチパネルディスプレイ、スタイラスペン等のポインティングデバイス及びキーボード等を含む。なお、タッチパネルディスプレイを用いる場合には、表示部270と入力部260を一体的に構成できる。なお、本実施例では、OCT撮影部100、制御部200、入力部260、及び表示部270は別々の要素とされているが、これらのうちの一部又は全部を一体的に構成してもよい。
OCT撮影部100における光干渉部110には、光源111、カプラ113、コリメート光学系121、分散補償光学系122、反射ミラー123、レンズ131、回折格子132、結像レンズ133、及びラインセンサ134が設けられている。光源111は、近赤外光を発光する低コヒーレンス光源である。光源111から発光した光は、光ファイバ112aを伝搬し、光分岐部であるカプラ113に入射する。カプラ113に入射した光は、走査光学系150側に向かう測定光と、コリメート光学系121、分散補償光学系122、及び反射ミラー123を含む参照光学系側に向かう参照光に分割される。測定光は、光ファイバ112bに入射され、走査光学系150に導かれる。一方、参照光は、光ファイバ112cに入射され、参照光学系へ導かれる。
光ファイバ112cに入射した参照光は、ファイバ端から射出され、コリメート光学系121を介して、分散補償光学系122に入射し、反射ミラー123へと導かれる。反射ミラー123で反射した参照光は、光路を逆にたどり再び光ファイバ112cに入射する。分散補償光学系122は、走査光学系150及び被検体である被検眼Eにおける光学系の分散を補償し、測定光と参照光の分散を合わせるためのものである。反射ミラー123は、制御部200によって制御される不図示の駆動手段により、参照光の光軸方向に駆動可能なように構成されており、参照光の光路長を、測定光の光路長に対して相対的に変化させ、参照光と測定光の光路長を一致させることができる。
一方、光ファイバ112bに入射した測定光はファイバ端より射出され、走査光学系150に入射する。走査光学系150は被検眼Eに対して相対的に移動可能なように構成された光学系である。走査光学系150は、制御部200によって制御される不図示の駆動手段により、被検眼Eの眼軸に対して前後上下左右方向に駆動可能なように構成され、被検眼Eに対してアライメントを行うことができる。なお、走査光学系150は、光源111、カプラ113及び参照光学系等を含むように構成されてもよい。
走査光学系150には、コリメート光学系151、走査部152、及びレンズ153が設けられている。光ファイバ112bのファイバ端より射出した光は、コリメート光学系151により略平行化され、走査部152へ入射する。
走査部152は、ミラー面を回転可能なガルバノミラーを2つ有し、一方は水平方向に光を偏向し、他方は垂直方向に光を偏向する。走査部152は、入射した光を制御部200による制御に従って偏向する。これにより、走査部152は、紙面垂直方向(X方向)の主走査方向と紙面内方向(Y方向)の副走査方向の2方向に、被検眼Eの眼底Er上で測定光を走査することができる。なお、主走査方向と副走査方向は、X方向及びY方向に限られず、被検眼Eの深さ方向(Z方向)に対して垂直な方向であり、主走査方向と副走査方向が互いに交差する方向であればよい。そのため、例えば、主走査方向がY方向であってもよいし、副走査方向がX方向であってもよい。
走査部152により走査された測定光は、レンズ153を経由して被検眼Eの眼底Er上に、照明スポットを形成する。走査部152により面内偏向を受けると、各照明スポットは被検眼Eの眼底Er上を移動(走査)する。この照明スポットの位置における眼底Erから反射・散乱された測定光の戻り光が光路を逆にたどり光ファイバ112bに入射して、カプラ113に戻る。
以上のように、反射ミラー123で反射された参照光、及び被検眼Eの眼底Erからの測定光の戻り光は、カプラ113に戻され、互いに干渉して干渉光となる。干渉光は光ファイバ112dを通過し、レンズ131に射出される。干渉光は、レンズ131により略平行化され、回折格子132に入射する。回折格子132は周期構造を有し、入力した干渉光を分光する。分光された干渉光は、合焦状態を変更可能な結像レンズ133によりラインセンサ134に結像される。ラインセンサ134は、各センサ部に照射される光の強度に応じた信号を制御部200に出力する。制御部200は、ラインセンサ134から出力される干渉信号に基づいて、被検眼Eの断層画像を生成することができる。
上記一連の動作により、被検眼Eの一点における深さ方向の断層情報を取得することができる。このような動作をAスキャンという。
また、走査部152のガルバノミラーを駆動させることで、被検眼Eの隣接する一点の干渉光を発生させ、被検眼Eの隣接する一点における深さ方向の断層情報を取得する。この一連の制御を繰り返すことにより、Aスキャンを任意の横断方向(主走査方向)において複数回行うことで被検眼Eの当該横断方向と深さ方向の二次元の断層情報を取得することができる。このような動作をBスキャンという。制御部200は、Aスキャンによって取得された干渉信号に基づくAスキャン画像を複数集めることで、一つのBスキャン画像を構成することができる。以下、このBスキャン画像のことを、二次元断層画像と呼ぶ。
さらに、走査部152のガルバノミラーを主走査方向に直交する副走査方向に微小に駆動させ、被検眼Eの別の箇所(隣接する走査ライン)における断層情報を取得することができる。制御部200は、この動作を繰り返すことにより、Bスキャン画像を複数集めることで、被検眼Eの所定範囲における三次元断層画像を取得することができる。
次に、図2を参照して制御部200について説明する。図2は制御部200の概略構成を示す。制御部200には、取得部210、画像処理部220、駆動制御部230、記憶部240、及び表示制御部250が設けられている。
取得部210は、OCT撮影部100から、被検眼Eの干渉信号に対応するラインセンサ134の出力信号のデータを取得することができる。なお、取得部210が取得する出力信号のデータは、アナログ信号でもデジタル信号でもよい。取得部210がアナログ信号を取得する場合には、制御部200でアナログ信号をデジタル信号に変換することができる。
また、取得部210は、画像処理部220で生成された断層データや、二次元断層画像、三次元断層画像、モーションコントラスト画像、及びEn−Face画像等の各種画像を取得することができる。ここで、断層データとは、被検体の断層に関する情報を含むデータであり、OCTによる干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含むものをいう。
さらに、取得部210は、画像処理すべき画像の撮影条件群(例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像の画像サイズ、画像フィルタ、及び画像のデータ形式に関する情報など)を取得する。なお、撮影条件群については、例示したものに限られない。また、撮影条件群は、例示したもの全てを含む必要はなく、これらのうちの一部を含んでもよい。
具体的には、取得部210は、画像を撮影した際のOCT撮影部100の撮影条件を取得する。また、取得部210は、画像のデータ形式に応じて、画像を構成するデータ構造に保存された撮影条件群を取得することもできる。なお、画像のデータ構造に撮影条件が保存されていない場合には、取得部210は、別途撮影条件を保存している記憶装置等から撮影条件群を含む撮影情報群を取得することもできる。
また、取得部210は、被検者識別番号等の被検眼を同定するための情報を入力部260等から取得することもできる。なお、取得部210は、記憶部240や、制御部200に接続される不図示のその他の装置から各種データや各種画像、各種情報を取得してもよい。取得部210は、取得した各種データや画像を記憶部240に記憶させることができる。
画像処理部220は、取得部210で取得されたデータや記憶部240に記憶されたデータから断層画像やEn−Face画像等を生成したり、生成又は取得した画像に画像処理を施したりすることができる。画像処理部220には、断層画像生成部221、モーションコントラスト生成部222、En−Face画像生成部223、及び画質向上部224が設けられている。
断層画像生成部221は、取得部210が取得した干渉信号のデータに対して波数変換やフーリエ変換、絶対値変換(振幅の取得)等を施して断層データを生成し、断層データに基づいて被検眼Eの断層画像を生成することができる。ここで、取得部210で取得される干渉信号のデータは、ラインセンサ134から出力された信号のデータであってもよいし、記憶部240や制御部200に接続された不図示の装置から取得された干渉信号のデータであってもよい。なお、断層画像の生成方法としては公知の任意の方法を採用してよく、詳細な説明は省略する。
また、断層画像生成部221は、生成した複数部位の断層画像に基づいて三次元断層画像を生成することができる。断層画像生成部221は、例えば、複数部位の断層画像を1の座標系に並べて配置することで三次元断層画像を生成することができる。ここで、断層画像生成部221は、記憶部240や制御部200に接続された不図示の装置から取得された複数部位の断層画像に基づいて三次元断層画像を生成してもよい。
モーションコントラスト生成部222は、略同一箇所を撮影して得た複数の断層画像を用いて二次元モーションコントラスト画像を生成することができる。また、モーションコントラスト生成部222は、生成した各部位の二次元モーションコントラスト画像を1の座標系に並べて配置することで三次元モーションコントラスト画像を生成することができる。
本実施例では、モーションコントラスト生成部222は被検眼Eの略同一箇所を撮影して得た複数の断層画像間の脱相関値に基づいてモーションコントラスト画像を生成する。
具体的には、モーションコントラスト生成部222は、撮影時刻が互いに連続する略同一箇所を撮影して得た複数の断層画像について、位置合わせが行われた複数の断層画像を取得する。なお、位置合わせは、種々の公知の方法を使用することができる。例えば、複数の断層画像のうちの1つを基準画像として選択し、基準画像の位置及び角度を変更しながら、その他の断層画像との類似度が算出され、各断層画像の基準画像との位置ずれ量が算出される。算出結果に基づいて各断層画像を補正することで、複数の断層画像の位置合わせが行われる。なお、当該位置合わせの処理は、モーションコントラスト生成部222とは別個の構成要素によって行われてもよい。また、位置合わせの方法はこれに限られず、公知の任意の手法により行われてよい。
モーションコントラスト生成部222は、位置合わせが行われた複数の断層画像のうち撮影時刻が互いに連続する2枚の断層画像ずつについて、以下の数式1により脱相関値を算出する
モーションコントラスト生成部222は、各位置(画素位置)での脱相関値M(x、z)に基づいて、モーションコントラスト画像の画素値を決定し、モーションコントラスト画像を生成する。なお、本実施例では、モーションコントラスト生成部222は、撮影時刻が互いに連続する断層画像について脱相関値を算出したが、モーションコントラストデータの算出方法はこれに限定されない。脱相関値Mを求める2つの断層画像は、互いに対応する各断層画像に関する撮影時間が所定の時間間隔以内であればよく、撮影時間が連続していなくてもよい。そのため、例えば、時間的変化が少ない対象物の抽出を目的として、取得した複数の断層画像から撮影間隔が通常の規定時間より長くなるような2つの断層画像を抽出して脱相関値を算出してもよい。また、脱相関値に代えて、分散値や、最大値を最小値で割った値(最大値/最小値)等を求めてもよい。
なお、モーションコントラスト画像の生成方法は、上述の方法に限られず、公知の他の任意の方法を用いてもよい。
En−Face画像生成部223は、モーションコントラスト生成部222が生成した三次元モーションコントラスト画像から正面画像であるEn−Face画像(OCTA画像)を生成することができる。具体的には、En−Face画像生成部223は、三次元モーションコントラスト画像を、例えば、被検眼Eの深さ方向(Z方向)における2つの任意の基準面に基づいて、二次元平面に投影した正面画像であるOCTA画像を生成することができる。また、En−Face画像生成部223は、断層画像生成部221が生成した三次元断層画像から同様に輝度のEn−Face画像を生成することもできる。
En−Face画像生成部223は、より具体的には、例えば、2つの基準面に囲まれた領域のXY方向の各位置において深さ方向における画素値の代表値を決定し、その代表値に基づいて各位置における画素値を決定して、En−Face画像を生成する。ここで、代表値は、2つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含む。
なお、基準面は被検眼Eの断層の層境界に沿った面でもよいし、平面であってもよい。以下、En−Face画像を生成するための基準面間の深さ方向の範囲をEn−Face画像の生成範囲という。また、本実施例に係るEn−Face画像の生成方法は一例であり、En−Face画像生成部223は、公知の任意の方法を用いてEn−Face画像を生成してよい。
画質向上部224は、後述する学習済モデルを用いて、En−Face画像生成部223で生成されたOCTA画像に基づく、高画質なOCTA画像を生成する。また、画質向上部224は、断層画像生成部221により生成された断層画像やEn−Face画像生成部223により生成された輝度のEn−Face画像に基づく、高画質な断層画像や高画質な輝度のEn−Face画像を生成してもよい。なお、画質向上部224は、OCT撮影部100を用いて撮影されたOCTA画像等だけでなく、取得部210が、記憶部240や制御部200に接続される不図示のその他の装置から取得した各種画像に基づいて高画質な画像を生成することもできる。さらに、画質向上部224はOCTA画像や断層画像だけでなく、三次元モーションコントラスト画像や三次元断層画像の画質向上処理を行ってもよい。
駆動制御部230は、制御部200に接続されている、OCT撮影部100の光源111や、走査光学系150、走査部152、結像レンズ133等の構成要素の駆動を制御することができる。記憶部240は、取得部210で取得された各種データ、及び画像処理部220で生成・処理された断層画像やOCTA画像等の各種画像やデータ等を記憶することができる。また、記憶部240は、被検者の属性(氏名や年齢など)や他の検査機器を用いて取得した計測結果(眼軸長や眼圧など)などの被検眼に関する情報、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータを記憶することができる。なお、これらの画像及び情報は、不図示の外部記憶装置に記憶する構成にしてもよい。また、記憶部240は、プロセッサーによって実行されることで制御部200の各構成要素の機能を果たすためのプログラム等を記憶することもできる。
表示制御部250は、取得部210で取得された各種情報や画像処理部220で生成・処理された断層画像やOCTA画像、三次元モーションコントラスト画像等の各種画像を表示部270に表示させることができる。また、表示制御部250は、ユーザによって入力された情報等を表示部270に表示させることができる。
制御部200は、例えば汎用のコンピュータを用いて構成されてよい。なお、制御部200は、OCT装置1の専用のコンピュータを用いて構成されてもよい。制御部200は、不図示のCPU(Central Processing Unit)やMPU(Micro Processing Unit)、及び光学ディスクやROM(Read Only Memory)等のメモリを含む記憶媒体を備えている。制御部200の記憶部240以外の各構成要素は、CPUやMPU等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ASIC等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。記憶部240は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
なお、制御部200が備えるCPU等のプロセッサー及びROM等の記憶媒体は1つであってもよいし複数であってもよい。そのため、制御部200の各構成要素は、少なくとも1以上のプロセッサーと少なくとも1つの記憶媒体とが接続され、少なくとも1以上のプロセッサーが少なくとも1以上の記憶媒体に記憶されたプログラムを実行した場合に機能するように構成されてもよい。なお、プロセッサーはCPUやMPUに限定されるものではなく、GPU(Graphics Processing Unit)等であってもよい。
次に、図3(a)乃至図4を参照して、本実施例に係るディープラーニング等の機械学習アルゴリズムに従った機械学習モデルに関する学習済モデルについて説明する。本実施例に係る学習済モデルは、学習の傾向に従って、入力された画像に基づいて、画質向上処理が行われたような画像を生成して出力する。
本明細書における画質向上処理とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。ここで、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成の過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。
学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ(学習データ)を用いてトレーニング(学習)を行ったモデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。教師データは、一つ以上の、入力データと出力データとのペア群で構成される。本実施例では、入力データ及び出力データのペアを、OCTA画像と、該OCTA画像を含む複数のOCTA画像について加算平均等の重ね合わせ処理が行われたOCTA画像によって構成する。
重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域と高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。
なお、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した学習済モデルが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、学習済モデルが画像診断に適さない画質の画像を生成する可能性を低減させることができる。
また、ペアである画像群の平均輝度や輝度分布が大きく異なる場合には、当該教師データを用いて学習した学習済モデルが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。
さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した学習済モデルが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。
このように学習を行った学習済モデルを用いることで、画質向上部224は、一回の撮影(検査)で取得されたOCTA画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質なOCTA画像を生成できる。このため、画質向上部224は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。
次に、学習時の画像について説明する。教師データを構成する、OCTA画像301と高画質なOCTA画像302とのペア群を構成する画像群を、位置関係が対応する一定の画像サイズの矩形領域画像によって作成する。当該画像の作成について、図3(a)及び(b)を参照して説明する。
まず、教師データを構成するペア群の1つを、OCTA画像301と高画質なOCTA画像302とした場合について説明する。この場合には、図3(a)に示すように、OCTA画像301の全体を入力データ、高画質なOCTA画像302の全体を出力データとして、ペアを構成する。なお、図3(a)に示す例では各画像の全体により入力データと出力データのペアを構成しているが、ペアはこれに限らない。
例えば、図3(b)に示すように、OCTA画像301のうちの矩形領域画像311を入力データ、OCTA画像302における対応する撮影領域である矩形領域画像321を出力データとして、ペアを構成してもよい。
なお、学習時には、スキャン範囲(撮影画角)、スキャン密度(Aスキャン数、Bスキャン数)を正規化して画像サイズを揃えて、学習時の矩形領域サイズを一定に揃えることができる。また、図3(a)及び(b)に示した矩形領域画像は、それぞれ別々に学習する際の矩形領域サイズの一例である。
また、矩形領域の数は、図3(a)に示す例では1つ、図3(b)に示す例では複数設定可能である。例えば、図3(b)に示す例において、OCTA画像301のうちの矩形領域画像312を入力データ、高画質なOCTA画像302における対応する撮影領域である矩形領域画像322を出力データとしてペアを構成することもできる。このように、1枚ずつのOCTA画像及び高画質なOCTA画像のペアから、互いに異なる矩形領域画像のペアを作成できる。なお、元となるOCTA画像及び高画質なOCTA画像において、領域の位置を異なる座標に変えながら多数の矩形領域画像のペアを作成することで、教師データを構成するペア群を充実させることができる。
なお、図3(b)に示す例では、離散的に矩形領域を示しているが、元となるOCTA画像及び高画質なOCTA画像を、隙間なく連続する一定の画像サイズの矩形領域画像群に分割することができる。また、元となるOCTA画像及び高画質なOCTA画像について、互いに対応する、ランダムな位置の矩形領域画像群に分割してもよい。このように、矩形領域として、より小さな領域の画像を入力データ及び出力データのペアとして選択することで、もともとのペアを構成するOCTA画像301及び高画質なOCTA画像302から多くのペアデータを生成できる。そのため、機械学習モデルのトレーニングにかかる時間を短縮することができる。
次に、本実施例に係る学習済モデルの一例として、入力された断層画像に対して、画質向上処理を行う畳み込みニューラルネットワーク(CNN)に関して、図4を参照して説明する。図4は、画質向上部224が用いる学習済モデルの構成401の一例を示している。
図4に示す学習済モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該学習済モデルの構成401に含まれる層の種類としては、畳み込み(Convolution)層、ダウンサンプリング(Downsampling)層、アップサンプリング(Upsampling)層、及び合成(Merger)層がある。
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Max Pooling処理がある。
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
なお、図4に示す構成401に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数を64とすることで、一定の精度の画質向上処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
また、上述したようなパラメータを変更するという方法だけでなく、CNNの構成を変更することによって、CNNがより良い特性を得られる場合がある。より良い特性とは、例えば、画質向上処理の精度が高かったり、画質向上処理の時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
図示しないが、CNNの構成の変更例として、例えば、畳み込み層の後にバッチ正規化(Batch Normalization)層や、正規化線形(ReLU:Rectifier Linear Unit)関数を用いた活性化層を組み込む等してもよい。
このような機械学習モデルの学習済モデルにデータを入力すると、機械学習モデルの設計に従ったデータが出力される。例えば、教師データを用いてトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。本実施例に係る学習済モデルでは、OCTA画像301が入力されると、教師データを用いてトレーニングされた傾向に従って、高画質なOCTA画像302を出力する。
なお、画像の領域を分割して学習している場合、学習済モデルは、それぞれの矩形領域に対応する高画質なOCTA画像である矩形領域画像を出力する。この場合、画質向上部224は、まず、入力画像であるOCTA画像301を学習時の画像サイズに基づいて矩形領域画像群に分割し、分割した矩形領域画像群を学習済モデルに入力する。その後、画質向上部224は、学習済モデルから出力された高画質なOCTA画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合する。これにより、画質向上部224は、入力されたOCTA画像301に対応する、高画質なOCTA画像302を生成することができる。
次に、図5乃至図7を参照して、本実施例に係る一連の画像処理について説明する。図5は、本実施例に係る一連の画像処理のフローチャートである。
まず、ステップS501では、取得部210が、被検眼Eを複数回撮影して得た複数の三次元の断層情報を取得する。取得部210は、OCT撮影部100を用いて被検眼Eの断層情報を取得してもよいし、記憶部240や制御部200に接続される他の装置から断層情報を取得してもよい。
ここで、OCT撮影部100を用いて被検眼Eの断層情報を取得する場合について説明する。まず、操作者は、走査光学系150の前に被検者である患者を着座させ、アライメントを行ったり、患者情報等を制御部200に入力したりした後にOCT撮影を開始する。制御部200の駆動制御部230は、走査部152のガルバノミラーを駆動し、被検眼の略同一箇所を複数回走査して被検眼の略同一箇所における複数の断層情報(干渉信号)を取得する。その後、駆動制御部230は、走査部152のガルバノミラーを主走査方向に直交する副走査方向に微小に駆動させ、被検眼Eの別の箇所(隣接する走査ライン)における複数の断層情報を取得する。この制御を繰り返すことにより、取得部210は、被検眼Eの所定範囲における複数の三次元の断層情報を取得する。
次に、ステップS502において、断層画像生成部221は、取得された複数の三次元の断層情報に基づいて、複数の三次元断層画像を生成する。なお、取得部210が、ステップS501において、記憶部240や制御部200に接続される他の装置から複数の三次元断層画像を取得する場合には、ステップS502は省略されてよい。
ステップS503では、モーションコントラスト生成部222が、複数の三次元断層画像に基づいて、三次元モーションコントラストデータ(三次元モーションコントラスト画像)を生成する。なお、モーションコントラスト生成部222は、略同一箇所について取得した3枚以上の断層画像に基づいて複数のモーションコントラストデータを求め、それらの平均値を最終的なモーションコントラストデータとして生成してもよい。なお、取得部210が、ステップS501において、記憶部240や制御部200に接続される他の装置から三次元モーションコントラストデータを取得する場合には、ステップS502及びステップS503は省略されてよい。
ステップS504では、En−Face画像生成部223が、三次元モーションコントラストデータについて、操作者の指示に応じた又は所定のEn−Face画像の生成範囲に基づいて、OCTA画像を生成する。なお、取得部210が、ステップS501において、記憶部240や制御部200に接続される他の装置からOCTA画像を取得する場合には、ステップS502乃至ステップS504は省略されてよい。
ステップS505では、画質向上部224が、学習済モデルを用いて、OCTA画像の画質向上処理を行う。画質向上部224は、OCTA画像を学習済モデルに入力し、学習済モデルからの出力に基づいて高画質なOCTA画像を生成する。なお、学習済モデルが画像の領域を分割して学習している場合には、画質向上部224は、まず、入力画像であるOCTA画像を学習時の画像サイズに基づいて矩形領域画像群に分割し、分割した矩形領域画像群を学習済モデルに入力する。その後、画質向上部224は、学習済モデルから出力された高画質なOCTA画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合することで、最終的な高画質なOCTA画像を生成する。
ステップS506では、表示制御部250が、表示部270に、画質向上部224によって生成された高画質なOCTA画像(第2の医用画像)を元のOCTA画像(第1の医用画像)と切り替えて表示させる。上述のように、機械学習モデルを用いた画質向上処理では、現実には存在しない血管をOCTA画像上に描出してしまったり、本来存在している血管を消してしまったりすることがある。これに対し、表示制御部250は、表示部270に、生成された高画質なOCTA画像を元のOCTA画像と切り替えて表示させることで、画質向上処理によって新たに生成された血管か、元の画像にも存在していた血管かの判断を容易にすることができる。表示制御部250による表示処理が終了すると、一連の画像処理が終了する。
次に、図6(a)乃至図7を参照して、制御部200の操作方法について説明する。図6(a)及び(b)は、画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。図6(a)に示すレポート画面600には、断層画像611と画質向上処理前のOCTA画像601が示されている。図6(b)に示すレポート画面600には、断層画像611と画質向上処理後のOCTA画像602(高画質なOCTA画像)が示されている。
図6(a)に示すレポート画面600において、操作者が入力部260の一例であるマウスを用い、OCTA画像601上でマウスの右ボタンを押下すると、画質向上処理を行うか否かを選択するポップアップメニュー620が表示される。操作者がポップアップメニュー620上で画質向上処理を行うことを選択すると、画質向上部224はOCTA画像601に対する画質向上処理を実行する。
そして、図6(b)に示すように、表示制御部250は、レポート画面600に表示された画質向上処理を行う前のOCTA画像601を、画質向上処理を行った後のOCTA画像602に切り替えて表示させる。なお、OCTA画像602上でマウスの右ボタンを再度押下することでポップアップメニュー620を開き、画質向上処理を行う前のOCTA画像601に切り替えて表示させることもできる。
なお、マウスの右ボタンの押下に応じて表示されるポップアップメニュー620によって画質向上処理前後の画像の切替表示を行う例を示したが、画像の切替方法はポップアップメニュー以外の任意の方法で行ってもよい。例えば、レポート画面上に配置されたボタン(後述する図20(a)及び(b)の高画質化ボタン3420の一例)、プルダウンメニュー、ラジオボタン、チェックボックス、又はキーボード操作などで画像の切替を行ってもよい。さらに、マウスホイールの操作やタッチパネルディスプレイのタッチ操作によって画像を切替表示してもよい。
操作者は上記方法により、画質向上処理を行う前のOCTA画像601と、画質向上処理を行った後のOCTA画像602を任意に切替表示することができる。そのため、操作者は、画質向上処理の前後のOCTA画像を容易に見比べることができ、画質向上処理によるOCTA画像の変化を容易に確認することができる。従って、操作者は、画質向上処理によってOCTA画像に現実には存在しない血管が描出されてしまったり、本来存在している血管が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。
なお、上述の表示方法では、画質向上処理前後の画像を切り替えて表示したが、これらの画像を並べて表示したり、重ねて表示したりすることでも、同様の効果を奏することができる。図7は、画質向上処理前後の画像を並べて表示する場合のレポート画面の一例を示す。図7に示すレポート画面700には、画質向上処理前のOCTA画像701と画質向上処理後のOCTA画像702が並べて表示されている。
この場合でも、操作者は、画質向上処理前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため、操作者は画質向上処理によってOCTA画像に現実には存在しない血管が描出されてしまったり、本来存在している血管が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。なお、画質向上処理前後の画像を重ねて表示する場合には、表示制御部250は、画質向上処理前後の画像の少なくとも一方について、透明度を設定し、表示部270に画質向上処理前後の画像を重ねて表示させることができる。
また、上述のように、画質向上部224は、OCTA画像だけでなく、断層画像や輝度のEn−Face画像について学習済モデルを用いた画質向上処理を行ってもよい。この場合には、学習済モデルの教師データのペアとして、重ね合わせ前の断層画像や輝度のEn−Face画像を入力データとし、重ね合わせ後の断層画像や輝度のEn−Face画像を出力データとしたペアを用いることができる。なお、この場合、学習済モデルは、OCTA画像や断層画像等の教師データを用いて学習を行った1つの学習済モデルとしてもよいし、画像の種類毎に学習を行った複数の学習済モデルとしてもよい。複数の学習済モデルを用いる場合には、画質向上部224は、画質向上処理を行う対象である画像の種類に応じた学習済モデルを用いることができる。なお、画質向上部224は、三次元モーションコントラスト画像や三次元断層画像について学習済モデルを用いた画質向上処理を行ってもよく、この場合の学習データも上述と同様に用意することができる。
図7には、画質向上処理前の断層画像711と、画質向上処理後の断層画像712が並べて表示されている。なお、表示制御部250は、図6(a)及び(b)に示す画質向上処理前後のOCTA画像のように、画質向上処理前後の断層画像や輝度のEn−Face画像を切り替えて、表示部270に表示させてもよい。また、表示制御部250は、画質向上処理前後の断層画像や輝度のEn−Face画像を重ねて表示部270に表示させてもよい。これらの場合でも、操作者は、画質向上処理の前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。
上記のように、本実施例に係る制御部200は、画質向上部224と表示制御部250を備える。画質向上部224は、学習済モデルを用いて、被検眼の第1の医用画像から、該第1の医用画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第2の医用画像を生成する。表示制御部250は、表示部270に第1の医用画像と第2の医用画像とを切り替えて、並べて、又は重ねて表示させる。なお、表示制御部250は、操作者からの指示に応じて、第1の医用画像及び第2の医用画像を切り替えて、表示部270に表示させることができる。
これにより、制御部200は、元の画像から、ノイズが低減されていたり、コントラストが強調されていたりする高画質な画像を生成することができる。このため、制御部200は、より明瞭な画像や観察したい部位や病変が強調されている画像等の、従来よりも画像診断に適した画像を生成することができる。
また、操作者は、画質向上処理の前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。
本実施例に係る学習済モデルでは、教師データの出力データとして、重ね合わせ画像を用いたが、教師データはこれに限られない。例えば、教師データの出力データとして、元画像群に対して最大事後確率推定処理(MAP推定処理)を行うことで得られる高画質画像を用いてもよい。MAP推定処理では、複数の画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値(画素値)を推定する。
MAP推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、MAP推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、MAP推定処理により得られた高画質画像を教師データとして用いることで、学習済モデルは、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
また、教師データの出力データとして、元画像に平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、学習済モデルは、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。さらに、教師データの出力データとして、元画像に階調変換処理を適用した画像を用いてもよい。この場合には、学習済モデルは、入力画像から、コントラスト強調された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
なお、教師データの入力データは、OCT撮影部100と同じ画質傾向を持つ撮影装置から取得された画像でもよい。また、教師データの出力データは、逐次近似法等の高コストな処理によって得られた高画質画像であってもよいし、入力データに対応する被検体を、OCT撮影部100よりも高性能な撮影装置で撮影することで取得した高画質画像であってもよい。さらに、出力データは、被検体の構造等に基づくルールベースによるノイズ低減処理を行うことによって取得された高画質画像であってもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである1画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、学習済モデルは、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を教師データとしてもよい。
なお、画質向上部224が、学習済モデルを用いて、ノイズが低減されていたり、コントラストが強調されていたりする高画質な画像を生成することについて述べたが、画質向上部224による画質向上処理はこれに限られない。画質向上部224は、画質向上処理により、上述のように、画像診断により適した画質の画像を生成できればよい。
また、表示制御部250は、表示部270に画質向上処理前後の画像を並べて表示させる場合、操作者からの指示に応じて、表示部270に並べて表示されている画質向上処理前後の画像のいずれかを拡大表示させてもよい。より具体的には、例えば、図7に示すレポート画面700において、操作者がOCTA画像701を選択したら、表示制御部250は、レポート画面700においてOCTA画像701を拡大表示させることができる。また、操作者が画質向上処理後のOCTA画像702を選択したら、表示制御部250は、レポート画面700においてOCTA画像702を拡大表示させることができる。この場合には、操作者は画質向上処理前後の画像のうち観察したい画像をより詳細に観察することができる。
さらに、制御部200は、操作者の指示に応じてOCTA画像等のEn−Face画像の生成範囲が変更された場合、並べて表示されている画像を、変更された生成範囲に基づく画像及び高画質化した画像に変更して表示してもよい。より具体的には、操作者が入力部260を介して、En−Face画像の生成範囲を変更すると、En−Face画像生成部223が変更された生成範囲に基づいて、画質向上処理前のEn−Face画像を生成する。画質向上部224は、学習済モデルを用いて、En−Face画像生成部223によって新たに生成されたEn−Face画像から、高画質なEn−Face画像を生成する。その後、表示制御部250は、表示部270に並べて表示されている画質向上処理前後のEn−Face画像を、新たに生成された画質向上処理前後のEn−Face画像に変更して表示させる。このような場合には、操作者が観察したい深さ方向の範囲を任意に変更しながら、変更された深さ方向の範囲に基づく画質向上処理前後のEn−Face画像を観察することができる。
(変形例1)
上述のように、学習済モデルを用いて画質向上処理を行った画像では、現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりする。そのため、当該画像に基づいて操作者が画像診断を行うことにより誤診断が生じてしまう場合がある。そこで、表示制御部250は、画質向上処理後のOCTA画像や断層画像等を表示部270に表示させる際に、当該画像が学習済モデルを用いて画質向上処理を行った画像である旨をともに表示させてもよい。この場合には、操作者による誤診断の発生を抑制することができる。なお、学習済モデルを用いて取得した高画質画像である旨が理解できる態様であれば、表示の態様については任意であってよい。
上述のように、学習済モデルを用いて画質向上処理を行った画像では、現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりする。そのため、当該画像に基づいて操作者が画像診断を行うことにより誤診断が生じてしまう場合がある。そこで、表示制御部250は、画質向上処理後のOCTA画像や断層画像等を表示部270に表示させる際に、当該画像が学習済モデルを用いて画質向上処理を行った画像である旨をともに表示させてもよい。この場合には、操作者による誤診断の発生を抑制することができる。なお、学習済モデルを用いて取得した高画質画像である旨が理解できる態様であれば、表示の態様については任意であってよい。
(変形例2)
実施例1では一回の撮影(検査)で得られたOCTA画像や断層画像等に対して画質向上処理を適用する例について述べた。これに対し、複数回の撮影(検査)で得られた複数のOCTA画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用することもできる。変形例2では、図8(a)及び(b)を参照して、複数のOCTA画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用した画像を同時に表示させる構成について説明する。
実施例1では一回の撮影(検査)で得られたOCTA画像や断層画像等に対して画質向上処理を適用する例について述べた。これに対し、複数回の撮影(検査)で得られた複数のOCTA画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用することもできる。変形例2では、図8(a)及び(b)を参照して、複数のOCTA画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用した画像を同時に表示させる構成について説明する。
図8(a)及び(b)は、同一被検眼を経時的に複数回撮影することによって取得された複数のOCTA画像を表示するための時系列レポート画面の一例を示す。図8(a)に示すレポート画面800では、画質向上処理を行う前の複数のOCTA画像801が時系列に並んで表示されている。また、レポート画面800にはポップアップメニュー820も含まれており、操作者は、入力部260を介してポップアップメニュー820を操作することで、画質向上処理の適用有無を選択することが可能である。
操作者が画質向上処理の適用を選択すると、画質向上部224は表示されている全てのOCTA画像に対して、学習済モデルを用いた画質向上処理を適用する。そして、表示制御部250は、図8(b)に示すように、画質向上処理を行った後の複数のOCTA画像802を、表示されていた複数のOCTA画像801と切り替えて表示する。
また、操作者が、ポップアップメニュー820にて画質向上処理を適用しないことを選択すると、表示制御部250は、画質向上処理前の複数のOCTA画像801を、表示されていた画質向上処理後の複数のOCTA画像802と切り替えて表示する。
なお、本変形例では、学習済モデルを用いた画質向上処理前後の複数のOCTA画像について同時に切り替えて表示する例を示した。しかしながら、学習済モデルを用いた画質向上処理前後の複数の断層画像や輝度のEn−Face画像等を同時に切り替えて表示してもよい。なお、操作方法はポップアップメニュー820を用いる方法に限られず、レポート画面上に配置されたボタン(後述する図20(a)及び(b)の高画質化ボタン3420の一例)やプルダウンメニュー、ラジオボタン、チェックボックス、又はキーボードやマウスホイール、タッチパネルの操作等の任意の操作方法を採用してよい。
(実施例2)
学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そこで、実施例2では、撮影部位等の撮影条件やEn−Face画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって画質向上処理を行うことで、より効果的に画質向上処理を行う。
学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そこで、実施例2では、撮影部位等の撮影条件やEn−Face画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって画質向上処理を行うことで、より効果的に画質向上処理を行う。
以下、図9及び図10を参照して本実施例に係るOCT装置について説明する。なお、本実施例に係るOCT装置の構成は、制御部を除いて実施例1に係るOCT装置1と同様であるため、図1に示す構成と同様の構成については、同一の参照符号を用いて示し、説明を省略する。以下、実施例1に係るOCT装置1との違いを中心に、本実施例に係るOCT装置について説明する。
図9は、本実施例に係る制御部900の概略構成を示す。なお、本実施例に係る制御部900における画像処理部920及び選択部925以外の構成は実施例1に係る制御部200の各構成と同様である。そのため、図2に示す構成と同様の構成については、同一の参照符号を用いて示し説明を省略する。
制御部900の画像処理部920には、断層画像生成部221、モーションコントラスト生成部222、En−Face画像生成部223、及び画質向上部224に加えて、選択部925が設けられている。
選択部925は、画質向上部224によって画質向上処理を行うべき画像の撮影条件やEn−Face画像の生成範囲に基づいて、複数の学習済モデルのうち、画質向上部224が用いるべき学習済モデルを選択する。画質向上部224は、選択部925によって選択された学習済モデルを用いて、対象となるOCTA画像や断層画像等に画質向上処理を行い、高画質なOCTA画像や高画質な断層画像を生成する。
次に、本実施例に係る複数の学習済モデルについて説明する。上述のように、学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そこで、本実施例では、撮影部位、撮影方式、撮影領域、撮影画角、スキャン密度、及び画像の解像度等を含む撮影条件やEn−Face画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルを用意する。
より具体的には、例えば、黄斑部を撮影部位としたOCTA画像を教師データとした学習済モデル、及び乳頭部を撮影部位としたOCTA画像を教師データとした学習済モデル等の複数の学習済モデルを用意する。なお、黄斑部や乳頭部は撮影部位の一例であり、他の撮影部位を含んでもよい。また、黄斑部や乳頭部等の撮影部位における特定の撮影領域毎のOCTA画像を教師データとした学習済モデルを用意してもよい。
また、例えば、網膜を広画角・低密度で撮影した場合と、網膜を狭画角・高密度で撮影した場合とでは、OCTA画像に描出される血管等の構造物の描出が大きく異なる。そのため、撮影画角やスキャン密度に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。さらに、撮影方式の例としては、SD−OCTとSS−OCT等の撮影方式があり、これらの撮影方式の違いにより、画質、撮影範囲、及び深さ方向の深達度等が異なる。このため、撮影方式に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。
また、通常、網膜の全ての層の血管を一度に抽出したOCTA画像を生成することは稀であり、所定の深度範囲に存在する血管のみを抽出したOCTA画像を生成することが一般的である。例えば、網膜の浅層、深層、外層、及び脈絡膜浅層等の深度範囲において、それぞれの深度範囲で血管を抽出したOCTA画像を生成する。一方、OCTA画像に描出される血管の態様は、深度範囲に応じて大きく異なる。例えば、網膜の浅層で描出される血管は低密度で細く明瞭な血管網を形成するのに対し、脈絡膜浅層で描出される血管は高密度で一本一本の血管を明瞭に識別することは困難である。このため、OCTA画像等のEn−Face画像の生成範囲に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。
ここではOCTA画像を教師データとする例について述べたが、実施例1と同様に、断層画像や輝度のEn−Face画像等について画質向上処理を行う場合には、これらの画像を教師データとすることができる。この場合には、これら画像の撮影条件やEn−Face画像の生成範囲に応じた教師データ毎に学習を行った複数の学習済モデルを用意する。
次に、図10を参照して、本実施例に係る一連の画像処理について説明する。図10は、本実施例に係る一連の画像処理のフローチャートである。なお、実施例1に係る一連の画像処理と同様の処理に関しては、適宜説明を省略する。
まず、ステップS1001において、実施例1に係るステップS501と同様に、取得部210は、被検眼Eを複数回撮影して得た複数の三次元の断層情報を取得する。取得部210は、OCT撮影部100を用いて被検眼Eの断層情報を取得してもよいし、記憶部240や制御部200に接続される他の装置から断層情報を取得してもよい。
また、取得部210は、断層情報に関する撮影条件群を取得する。具体的には、取得部210は、断層情報に関する撮影を行った際の撮影部位や撮影方式等の撮影条件を取得することができる。なお、取得部210は、断層情報のデータ形式に応じて、断層情報のデータを構成するデータ構造に保存された撮影条件群を取得してもよい。また、断層情報のデータ構造に撮影条件が保存されていない場合には、取得部210は、撮影条件を記載したファイルを記憶したサーバやデータベース等から撮影情報群を取得することができる。また、公知の任意の方法により、取得部210は、断層情報に基づく画像から撮影情報群を推定してもよい。
また、取得部210が、複数の三次元断層画像や三次元モーションコントラストデータ、OCTA画像等を取得する場合には、取得部210は取得した画像やデータに関する撮影条件群を取得する。なお、OCTA画像や輝度のEn−Face画像の生成範囲に応じた教師データ毎に学習を行った複数の学習済モデルのみを画質向上処理に用いる場合には、取得部210は断層画像の撮影条件群を取得しなくてもよい。
ステップS1002乃至ステップS1004は、実施例1に係るステップS502乃至S504と同様であるため説明を省略する。ステップS1004において、En−Face画像生成部223がOCTA画像を生成すると、処理はステップS1005に移行する。
ステップS1005では、選択部925が、生成されたOCTA画像に関する撮影条件群や生成範囲及び複数の学習済モデルに関する教師データの情報に基づいて、画質向上部224が用いるべき学習済モデルを選択する。より具体的には、例えば、選択部925は、OCTA画像の撮影部位が乳頭部である場合には、乳頭部のOCTA画像を教師データとして学習を行った学習済モデルを選択する。また、例えば、選択部925は、OCTA画像の生成範囲が網膜の浅層である場合には、網膜の浅層を生成範囲としたOCTA画像を教師データとして学習を行った学習済モデルを選択する。
なお、選択部925は、生成されたOCTA画像に関する撮影条件群や生成範囲と学習済モデルの教師データの情報が完全には一致していなくても、画質が似た傾向の画像を教師データとして学習を行った学習済モデルを選択してもよい。この場合には、例えば、選択部925は、OCTA画像に関する撮影条件群や生成範囲と、用いるべき学習済モデルとの対応関係を記載したテーブルを備えてもよい。
ステップS1006では、画質向上部224が、選択部925によって選択された学習済モデルを用いて、ステップS1004で生成されたOCTA画像について画質向上処理を行い、高画質なOCTA画像を生成する。高画質なOCTA画像の生成方法は、実施例1に係るステップS505と同様であるため説明を省略する。
ステップS1007は、実施例1に係るステップS506と同様であるため説明を省略する。ステップS1007において、高画質なOCTA画像が表示部270に表示されると、本実施例に係る一連の画像処理が終了する。
上記のように、本実施例に係る制御部900は、複数の学習済モデルから、画質向上部224によって用いられる学習済モデルを選択する選択部925を備える。選択部925は、画質向上処理を行うべきOCTA画像を生成するための深さ方向の範囲に基づいて、画質向上部224によって用いられる学習済モデルを選択する。
例えば、選択部925は、画質向上処理をすべきOCTA画像における表示部位及び当該OCTA画像を生成するための深さ方向の範囲に基づいて、学習済モデルを選択することができる。また、例えば、選択部925は、画質向上処理を行うべきOCTA画像における表示部位を含む撮影部位及び当該OCTA画像を生成するための深さ方向の範囲に基づいて、画質向上部224によって用いられる学習済モデルを選択してもよい。さらに、例えば、選択部925は、画質向上処理を行うべきOCTA画像の撮影条件に基づいて、画質向上部224によって用いられる学習済モデルを選択してもよい。
このため、制御部900は、撮影条件やEn−Face画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって画質向上処理を行うことで、より効果的に画質向上処理を行うことができる。
なお、本実施例では、選択部925が、OCTA画像に関する撮影部位等の撮影条件又は生成範囲に基づいて、学習済モデルを選択する例を説明したが、上記以外の条件に基づいて学習済モデルを変更するようにしてもよい。選択部925は、例えば、OCTA画像や輝度のEn−Face画像を生成する際の投影方法(最大値投影法又は平均値投映法)や、血管影によって生じるアーチファクトの除去処理の有無に応じて、学習済モデルを選択してもよい。この場合には、投影方法やアーチファクト除去処理の有無に応じた教師データ毎に学習を行った学習済モデルを用意することができる。
(変形例3)
実施例2では、選択部925が、撮影条件やEn−Face画像の生成範囲等に応じて適切な学習済モデルを自動的に選択した。これに対し、操作者が画像に適用する画質向上処理を手動で選択することを望む場合もある。そのため、選択部925は、操作者の指示に応じて、学習済モデルを選択してもよい。
実施例2では、選択部925が、撮影条件やEn−Face画像の生成範囲等に応じて適切な学習済モデルを自動的に選択した。これに対し、操作者が画像に適用する画質向上処理を手動で選択することを望む場合もある。そのため、選択部925は、操作者の指示に応じて、学習済モデルを選択してもよい。
また、操作者が、画像に対して適用された画質向上処理を変更することを望む場合もある。そのため、選択部925は、操作者の指示に応じて、学習済モデルを変更し、画像に対して適用される画質向上処理を変更してもよい。
以下、図11(a)及び(b)を参照して、画像に対して適用される画質向上処理を手動で変更する際の操作方法について説明する。図11(a)及び(b)は、画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。図11(a)に示すレポート画面1100には、断層画像1111と自動選択された学習済モデルを用いた画質向上処理が適用されたOCTA画像1101が示されている。図11(b)に示すレポート画面1100には、断層画像1111と操作者の指示に応じた学習済モデルを用いた画質向上処理が適用されたOCTA画像1102が示されている。また、図11(a)及び(b)に示すレポート画面1100には、OCTA画像に適用する画質向上処理を変更するための処理指定部1120が示されている。
ここで、図11(a)に示すレポート画面1100に表示されているOCTA画像1101は、黄斑部の深層血管(Deep Capillary)を描出したものである。一方で、選択部925によって自動選択された学習済モデルを用いてOCTA画像に適用された画質向上処理は、乳頭部の浅層血管(RPC)に適したものである。そのため、図11(a)に示すレポート画面1100に表示されているOCTA画像1101に関して、OCTA画像に適用されている画質向上処理は、OCTA画像に抽出されている血管に対して最適なものではない。
そこで、操作者は、入力部260を介して処理指定部1120にて、Deep Capillaryを選択する。選択部925は、操作者による選択指示に応じて、画質向上部224によって用いられる学習済モデルを、黄斑部の深層血管に関するOCTA画像を教師データとして学習を行った学習済モデルに変更する。
画質向上部224は、選択部925によって変更された学習済モデルを用いてOCTA画像について画質向上処理を再度行う。表示制御部250は、図11(b)に示すように、画質向上部224によって改めて生成された高画質なOCTA画像1102を表示部270に表示させる。
このように、選択部925が、操作者の指示に応じて、学習済モデルを変更するように構成することで、操作者は同じOCTA画像に対して適切な画質向上処理を指定し直すことができる。また、当該画質向上処理の指定は何度も行われてもよい。
ここでは、OCTA画像に対して適用される画質向上処理を手動で変更することができるように、制御部900を構成する例を示した。これに対して、制御部900は、断層画像や輝度のEn−Face画像等に対して適用される画質向上処理を手動で変更可能なように構成されてもよい。
また、図11(a)及び(b)に示すレポート画面は、画質向上処理前後の画像を切り替えて表示する態様を有するが、画質向上処理前後の画像を並べて表示したり、重ねて表示したりする態様のレポート画面としてもよい。さらに、処理指定部1120の態様は、図11(a)及び(b)に示す態様に限られず、画質向上処理又は学習済モデルを指示できる任意の態様であってよい。また、図11(a)及び(b)に示す画質向上処理の種類は一例であり、学習済モデルについての教師データに応じた他の画質向上処理の種類を含んでよい。
また、変形例2と同様に、画質向上処理が適用された複数の画像を同時に表示させてもよい。また、この際に、どの画質向上処理を適用するかの指定を行うことができるように構成することもできる。この場合の、レポート画面の一例を図12(a)及び(b)に示す。
図12(a)及び(b)は、画質向上処理前後の複数の画像を切り替えて表示するレポート画面の一例を示す。図12(a)に示すレポート画面1200には、画質向上処理前のOCTA画像1201が示されている。図12(b)に示すレポート画面1200には、操作者の指示に応じた画質向上処理が適用されたOCTA画像1202が示されている。また、図12(a)及び(b)に示すレポート画面1200には、OCTA画像に適用する画質向上処理を変更するための処理指定部1220が示されている。
この場合には、選択部925は、処理指定部1220を用いて指示された画質向上処理に応じた学習済モデルを、画質向上部224が用いる学習済モデルとして選択する。画質向上部224は、選択部925により選択された学習済モデルを用いて、複数のOCTA画像1201に対して画質向上処理を行う。表示制御部250は、生成された高画質な複数のOCTA画像1202を、図12(b)に示すようにレポート画面1200に一度に表示させる。
なお、OCTA画像についての画質向上処理について説明したが、断層画像や輝度のEn−Face画像等についての画質向上処理に関して、操作者の指示に応じて、学習済モデルを選択・変更してもよい。なお、レポート画面に画質向上処理前後の複数の画像を並べて表示したり、重ねて表示したりしてもよい。この場合にも、操作者からの指示に応じた画質向上処理が適用された複数の画像を一度に表示することができる。
(実施例3)
実施例1及び2では、画質向上部224は、断層画像やOCTA画像を撮影した後、自動的に画質向上処理を実行した。しかしながら、画質向上部224が実行する学習済モデルを用いた画質向上処理は、処理に長時間を要する場合がある。また、モーションコントラスト生成部222によるモーションコントラストデータの生成及びEn−Face画像生成部223によるOCTA画像の生成にも時間を要する。そのため、撮影後に画質向上処理が完了するのを待ってから画像を表示する場合には、撮影から表示までに長時間を要する場合がある。
実施例1及び2では、画質向上部224は、断層画像やOCTA画像を撮影した後、自動的に画質向上処理を実行した。しかしながら、画質向上部224が実行する学習済モデルを用いた画質向上処理は、処理に長時間を要する場合がある。また、モーションコントラスト生成部222によるモーションコントラストデータの生成及びEn−Face画像生成部223によるOCTA画像の生成にも時間を要する。そのため、撮影後に画質向上処理が完了するのを待ってから画像を表示する場合には、撮影から表示までに長時間を要する場合がある。
これに対し、OCT装置を用いた被検眼の撮影では、まばたきや被検眼の意図しない移動等により、撮影が失敗することがある。そのため、撮影の成否を早い段階で確認することで、OCT装置の利便性を高めることができる。そこで、実施例3では、高画質なOCTA画像の生成や表示に先立って、被検眼を撮影して得た断層情報に基づく輝度のEn−Face画像やOCTA画像を表示することにより、早い段階で撮影画像の確認が行えるようにOCT装置を構成する。
以下、図13を参照して本実施例に係るOCT装置について説明する。なお、本実施例に係るOCT装置の構成は、実施例1に係るOCT装置1と同様であるため、同一の参照符号を用いて示し、説明を省略する。以下、実施例1に係るOCT装置1との違いを中心に、本実施例に係るOCT装置について説明する。
図13は、本実施例に係る一連の画像処理のフローチャートである。まず、ステップS1301では、取得部210は、OCT撮影部100により、被検眼Eを撮影して複数の三次元の断層情報を取得する。
ステップS1302は、実施例1に係るステップS502と同様であるため説明を省略する。ステップS1302において三次元断層画像が生成されると、処理はステップS1303に移行する。
ステップS1303では、En−Face画像生成部223が、ステップS1302において生成された三次元断層画像を二次元平面上に投影することで、眼底の正面画像(輝度のEn−Face画像)を生成する。その後、ステップS1304において、表示制御部250が、生成された輝度のEn−Face画像を表示部270に表示させる。
ステップS1305及びステップS1306は、実施例1に係るステップS503及びS504と同様であるため説明を省略する。ステップS1306においてOCTA画像が生成されると処理はステップS1307に移行する。ステップS1307では、表示制御部250が、ステップS1306で生成された画質向上処理前のOCTA画像を輝度のEn−Face画像と切り替えて表示部270に表示させる。
ステップS1308では、実施例1に係るステップS505と同様に、画質向上部224が、ステップS1306で生成されたOCTA画像に対して、学習済モデルを用いて画質向上処理を行い、高画質なOCTA画像を生成する。ステップS1309では、表示制御部250が、生成された高画質なOCTA画像を画質向上処理前のOCTA画像と切り替えて表示部270に表示させる。
上記のように、本実施例に係る表示制御部250は、取得部210によるOCTA画像の取得前に、被検眼の深さ方向における断層データに基づいて生成された正面画像である輝度のEn−Face画像(第3の画像)を表示部270に表示させる。また、表示制御部250は、OCTA画像の取得直後に、表示されている輝度のEn−Face画像をOCTA画像に切り替えて表示部270に表示させる。さらに、表示制御部250は、画質向上部224によって高画質なOCTA画像が生成された後に、表示されているOCTA画像を高画質なOCTA画像に切り替えて表示部270に表示させる。
これにより、操作者は撮影後ただちに被検眼の正面画像を確認することができ、撮影の成否をすぐに判断することができる。また、OCTA画像が生成された直後にOCTA画像が表示されるため、操作者は、モーションコントラストデータを生成するための複数の三次元の断層情報が適切に取得されているか否かを早い段階で判断することができる。
なお、断層画像や輝度のEn−Face画像等についても、画質向上処理を行う前の断層画像や輝度のEn−Face画像等を表示することで、操作者は早い段階で撮影の成否を判断することができる。
本実施例では、輝度のEn−Face画像の表示処理(ステップS1304)後にモーションコントラストデータの生成処理(ステップS1305)が開始されているが、モーションコントラストデータの生成処理のタイミングはこれに限られない。モーションコントラスト生成部222は、例えば、輝度のEn−Face画像の生成処理(ステップS1303)や表示処理(ステップS1304)と並行して、モーションコントラストデータの生成処理を開始してもよい。同様に、画質向上部224は、OCTA画像の表示処理(ステップS1307)と並行して、画質向上処理(ステップS1308)を開始してもよい。
(実施例4)
実施例1では、画質向上処理前後のOCTA画像を切り替えて表示する例について述べた。これに対し、実施例4では、画質向上処理前後の画像の比較を行う。
実施例1では、画質向上処理前後のOCTA画像を切り替えて表示する例について述べた。これに対し、実施例4では、画質向上処理前後の画像の比較を行う。
以下、図14及び15を参照して本実施例に係るOCT装置について説明する。なお、本実施例に係るOCT装置の構成は、制御部を除いて実施例1に係るOCT装置1と同様であるため、図1に示す構成と同様の構成については、同一の参照符号を用いて示し、説明を省略する。以下、実施例1に係るOCT装置1との違いを中心に、本実施例に係るOCT装置について説明する。
図14は、本実施例に係る制御部1400の概略構成を示す。なお、本実施例に係る制御部1400における画像処理部1420及び比較部1426以外の構成は実施例1に係る制御部200の各構成と同様である。そのため、図2に示す構成と同様の構成については、同一の参照符号を用いて示し説明を省略する。
制御部1400の画像処理部1420には、断層画像生成部221、モーションコントラスト生成部222、En−Face画像生成部223、及び画質向上部224に加えて、比較部1426が設けられている。
比較部1426は、画質向上部224によって画質向上処理が行われる前の画像(元の画像)と画質向上処理が行われた後の画像の比較を行う。より具体的には、比較部1426は、画質向上処理前後の画像を比較し、画質向上処理前後の画像の対応する画素位置における画素値の差分を算出する。
そして、比較部1426は、差分値の大小に応じて色付けされたカラーマップ画像を生成する。例えば、画質向上処理前の画像に対して、画質向上処理後の画像の画素値が大きくなっている場合には暖色(黄〜橙〜赤)系の色調を、画質向上処理後の画像の画素値が小さくなっている場合には寒色(黄緑〜緑〜青)系の色調を用いる。このような配色を用いることで、カラーマップ画像上において暖色系で示された箇所は、画質向上処理によって復元された(又は新たに生み出された)組織であることが容易に識別できる。同様に、カラーマップ画像上において寒色系で示された箇所は、画質向上処理で除去されたノイズ(又は消されてしまった組織)であることも容易に識別できる。
なお、当該カラーマップ画像の配色は一例である。例えば、画質向上処理前の画像における画素値に対する画質向上処理後の画像における画素値の大小に応じて異なる色調の配色を行う等、カラーマップ画像の配色は所望の構成に応じて任意に設定されてよい。
表示制御部250は、比較部1426によって生成されたカラーマップ画像を画質向上処理前の画像又は画質向上処理後の画像に重畳して、表示部270に表示させることができる。
次に、図15を参照して本実施例に係る一連の画像処理について説明する。なお、ステップS1501乃至ステップS1505は、実施例1に係るステップS501乃至S505と同様であるため説明を省略する。ステップS1505において、画質向上部224により高画質なOCTA画像が生成されたら、処理はステップS1506に移行する。
ステップS1506では、比較部1426が、ステップS1504で生成されたOCTA画像とステップS1505で生成された高画質なOCTA画像を比較して各画素値の差分を算出し、各画素値の差分に基づいてカラーマップ画像を生成する。なお、比較部1426は、高画質処理前後の画像における画素値の差分に代えて、高画質処理前後の画像における画素値の比や相関値など別の手法を用いて画像の比較を行い、比較結果に基づいてカラーマップ画像を生成してもよい。
ステップS1507では、表示制御部250が、カラーマップ画像を画質向上処理前の画像又は画質向上処理後の画像に重畳して、表示部270に表示させる。このとき、表示制御部250は、カラーマップ画像が重畳される画像を隠さないように、カラーマップについて透過度を設定して対象となる画像に重畳表示させることができる。
また、表示制御部250は、カラーマップ画像において、画質向上処理前後の画像の差が少ない(カラーマップ画像の画素値が低い)箇所の透過度を高く設定したり、差が所定値以下の箇所が完全に透明になるように透明度を設定したりしてもよい。このようにすることで、カラーマップ画像の下に表示された画像とカラーマップ画像の両方を良好に視認することができる。なお、カラーマップ画像の透明度については、比較部1426が透明度の設定を含んだカラーマップ画像を生成してもよい。
上記のように、本実施例に係る制御部1400は、第1の医用画像と画質向上処理が行われた第2の医用画像を比較する比較部1426を備える。比較部1426は、第1の医用画像と第2の医用画像の差分を算出し、該差分に基づいて色分けされたカラーマップ画像を生成する。表示制御部250は、比較部1426による比較結果に基づいて表示部270の表示を制御する。より具体的には、表示制御部250は、第1の医用画像又は第2の医用画像にカラーマップ画像を重畳して表示部270に表示させる。
これにより、画質向上処理前後の画像に重畳されたカラーマップ画像を観察することで、画質向上処理による画像の変化をより容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても、そのような組織をより容易に識別することができ、組織の真偽をより容易に判断することができる。また、操作者は、カラーマップ画像の配色に応じて、画質向上処理により新たに描出された箇所であるか、消された箇所であるかを容易に識別することができる。
なお、表示制御部250は、操作者の指示に応じてカラーマップ画像の重畳表示を有効にしたり、無効にしたりすることができる。このカラーマップ画像の重畳表示のオン/オフ操作は、表示部270に表示されている複数の画像に対して同時に適用するようにしてもよい。この場合、比較部1426は、対応する画質向上処理前後の画像毎にカラーマップ画像を生成し、表示制御部250は、カラーマップ画像を対応する画質向上処理前の画像又は画質向上処理後の画像に重畳表示させることができる。また、表示制御部250は、カラーマップ画像の表示の前に、画質向上処理前の画像や画質向上処理後の画像を表示部270に表示させてもよい。
なお、本実施例ではOCTA画像を例に説明したが、断層画像や輝度のEn−Face画像等について画質向上処理を行う場合についても同様の処理を行うことができる。また、本実施例に係る比較処理及びカラーマップの表示処理は、実施例2及び実施例3に係るOCT装置にも適用することができる。
(変形例4)
また、比較部1426が画質向上処理前後の画像の比較を行い、表示制御部250が比較部1426による比較結果に応じて、表示部270に警告を表示させてもよい。より具体的には、比較部1426が算出した、画質向上処理前後の画像における画素値の差分が所定値よりも大きい場合に、表示制御部250が表示部270に警告を表示させる。このような構成によれば、生成された高画質画像において、学習済モデルによって、現実には存在しない組織が生成されてしまったり、本来存在している組織が消されてしまったりした場合に、操作者に注意を促すことができる。なお、差分と所定値の比較は、比較部1426によって行われてもよいし、表示制御部250によって行われてもよい。また、差分に代えて差分の平均値等の統計的な値が所定値と比較されてもよい。
また、比較部1426が画質向上処理前後の画像の比較を行い、表示制御部250が比較部1426による比較結果に応じて、表示部270に警告を表示させてもよい。より具体的には、比較部1426が算出した、画質向上処理前後の画像における画素値の差分が所定値よりも大きい場合に、表示制御部250が表示部270に警告を表示させる。このような構成によれば、生成された高画質画像において、学習済モデルによって、現実には存在しない組織が生成されてしまったり、本来存在している組織が消されてしまったりした場合に、操作者に注意を促すことができる。なお、差分と所定値の比較は、比較部1426によって行われてもよいし、表示制御部250によって行われてもよい。また、差分に代えて差分の平均値等の統計的な値が所定値と比較されてもよい。
さらに、表示制御部250は、画質向上処理前後の画像の差分が所定値よりも大きい場合に、画質向上処理を行った後の画像の表示を表示部270に表示させないようにしてもよい。この場合には、生成された高画質画像において、学習済モデルによって、現実には存在しない組織が生成されてしまったり、本来存在している組織が消されてしまったりした場合に、当該高画質画像に基づく誤診断を抑制することができる。なお、差分と所定値の比較は、比較部1426によって行われてもよいし、表示制御部250によって行われてもよい。また、差分に代えて差分の平均値等の統計的な値が所定値と比較されてもよい。
(変形例5)
また、比較部1426は、画質向上処理前後の画像をそれぞれ解析して得た解析結果の比較を行ってもよい。より具体的には、比較部1426は、画質向上処理前後の画像をそれぞれ解析して得た解析結果の差分(増減又は減衰の度合)を画素位置毎に算出する。例えば、図16(a)のように、画質向上処理前後の画像(取得画像1601、取得画像1602)から、差分画像1603を取得し、差分画像において差分が増加している個所及び減少している個所を色分けする等し、ユーザに分かり易く、画像改善した個所などの情報を表示部270に表示させる。なお、差分画像1603を画質向上処理前後の画像(取得画像1601、高画質画像1602)の少なくとも1つに重畳してもよい。また、ピクセル単位ではなく、変化の大きい領域を、評価マップ1604の様なマップ表示を実施してもよい。具体的には、複数の象限に分割された各領域に評価結果を示す評価マップとして表示部270に表示させてもよい。このとき、象限の数は、例えば、表示エリア1607に示すように、2つ、4つ、8つ等が考えられるが、これに限らない。また、象限の数が2つである場合、例えば、上下に領域分割してもよいし、左右に領域分割してもよい。また、象限の中心は、例えば、黄斑部や視神経乳頭部等の注目部位が考えられるが、これに限らない。また、操作者が象限の中心として、画質向上処理後の画像や差分画像上で任意の位置を指定できるようにしてもよい。また、また、画質向上処理前後の画像をそれぞれ解析して得た解析結果の差分として算出した結果の一致率を数値化し、例えば、画質向上処理の評価結果1605、図16(b)の画質向上処理の評価値1615のように表示することもできる。このとき、評価マップ1604は各象限において、例えば、評価値が高い程、濃く表示させ、逆に、評価値が低い程、薄く表示させる等、濃淡で各象限の評価を示してもよいし、象限毎に評価値を表示させてもよい。ここで、眼の動きや瞬き等によるアーチファクトを、主走査方向に沿った血管であると誤って認識して画質向上処理を行ってしまう可能性がある。このような場合、例えば、視神経乳頭部を象限の中心とした場合には、黄斑部側に主走査方向に沿った血管が多いため、黄斑部とは逆側よりも一致率が低くなる可能性がある。そこで、象限毎に評価値を示すことにより、操作者は画質向上処理結果を効率的に評価することができる。
また、比較部1426は、画質向上処理前後の画像をそれぞれ解析して得た解析結果の比較を行ってもよい。より具体的には、比較部1426は、画質向上処理前後の画像をそれぞれ解析して得た解析結果の差分(増減又は減衰の度合)を画素位置毎に算出する。例えば、図16(a)のように、画質向上処理前後の画像(取得画像1601、取得画像1602)から、差分画像1603を取得し、差分画像において差分が増加している個所及び減少している個所を色分けする等し、ユーザに分かり易く、画像改善した個所などの情報を表示部270に表示させる。なお、差分画像1603を画質向上処理前後の画像(取得画像1601、高画質画像1602)の少なくとも1つに重畳してもよい。また、ピクセル単位ではなく、変化の大きい領域を、評価マップ1604の様なマップ表示を実施してもよい。具体的には、複数の象限に分割された各領域に評価結果を示す評価マップとして表示部270に表示させてもよい。このとき、象限の数は、例えば、表示エリア1607に示すように、2つ、4つ、8つ等が考えられるが、これに限らない。また、象限の数が2つである場合、例えば、上下に領域分割してもよいし、左右に領域分割してもよい。また、象限の中心は、例えば、黄斑部や視神経乳頭部等の注目部位が考えられるが、これに限らない。また、操作者が象限の中心として、画質向上処理後の画像や差分画像上で任意の位置を指定できるようにしてもよい。また、また、画質向上処理前後の画像をそれぞれ解析して得た解析結果の差分として算出した結果の一致率を数値化し、例えば、画質向上処理の評価結果1605、図16(b)の画質向上処理の評価値1615のように表示することもできる。このとき、評価マップ1604は各象限において、例えば、評価値が高い程、濃く表示させ、逆に、評価値が低い程、薄く表示させる等、濃淡で各象限の評価を示してもよいし、象限毎に評価値を表示させてもよい。ここで、眼の動きや瞬き等によるアーチファクトを、主走査方向に沿った血管であると誤って認識して画質向上処理を行ってしまう可能性がある。このような場合、例えば、視神経乳頭部を象限の中心とした場合には、黄斑部側に主走査方向に沿った血管が多いため、黄斑部とは逆側よりも一致率が低くなる可能性がある。そこで、象限毎に評価値を示すことにより、操作者は画質向上処理結果を効率的に評価することができる。
ここで、解析結果は、図16(b)の表示エリア1612に示す解析パラメータの少なくとも1つに関する値であって、例えば、血管に関する値(例えば、血管面積密度、血管長さ密度、血管長)、無血管領域に関する値(例えば、円周長、体積、面積、円形度)、浮腫領域(脈絡膜新生血管等の疾病領域)に関する値(例えば、体積、面積)の少なくとも1つである。また、解析結果は、例えば、解析パラメータの少なくとも1つに関する値の2次元マップ(解析マップ)であってもよい。このとき、表示制御部250は、比較部1426による比較結果(解析結果を比較した結果)を表示部270に表示させてもよい。より具体的には、図16(a)の評価マップ1604として示すように、表示制御部250は、比較結果として、差分値の大小に応じて色付けされたカラーマップ画像を表示部270に表示させてもよい。また、図16(a)の評価結果1605に示すように、解析結果の差分が所定値よりも大きい場合に、表示制御部250が表示部270に、警告を表示させてもよい。また、表示制御部250は、解析結果の差分が所定値よりも大きい領域に対して、解析結果の差分が所定値以下である他の領域とは識別可能に、表示部270に表示させてもよい。また、表示制御部250は、差分が所定値よりも大きい画素の数が別の所定値よりも多い場合に、表示制御部250が表示部270に警告を表示させてもよい。また、これらの表示のいくつかを同時に行ってもよい。
このような構成によれば、学習済モデルによって生成された高画質画像において、例えば、現実には存在しない組織が生成された場合や、本来存在している組織が消された場合に、操作者に注意を促すことが容易にできる。なお、画素位置毎の差分に代えて、差分の平均値等の統計的な値が所定値と比較されてもよい。ここで、画質向上処理前後の画像同士を直接比較して評価するだけだと、注目していない箇所についても評価されてしまう可能性がある。一方、解析の種類(例えば、血管密度、特定の層厚)によって、種々の注目部位(例えば、血管、特定の層)が存在する。このため、画質向上処理前後の画像の解析結果を比較して評価すると、画像同士で直接比較して評価するよりも、注目部位の評価結果を効果的に得ることができると考えられる。なお、画像の種類に応じて、上述した画像の直接比較と解析結果の比較とを選択的に実行させてもよいし、いずれも実行させた後にいずれかの評価結果を選択的に表示部207に表示させるようにしてもよい。例えば、OCTA画像の場合には、上述したようなアーチファクトを血管と誤認識してしまう問題が生じる可能性があるため、解析結果を比較した評価値を選択的に表示部207に表示させてもよい。
(変形例6)
また、比較部1426は、被検眼の略同一箇所を異なる時間に撮影して得た複数の画像と、該複数の画像を用いて画質向上処理して得た複数の画像とを、画質向上処理前後において比較してもよい。より具体的には、比較部1426は、複数の画像において、画質向上処理前後の画像における互いに対応する画素位置の画素値の差分を算出する。このとき、表示制御部250は、複数の画像において、比較部1426による比較結果(差分)を表示部270に表示させてもよい。これにより、操作者は、それぞれの比較結果(差分)を考慮して、複数の画像のいずれかを選択してもよい。また、表示制御部250は、複数の画像に対応する複数の比較結果(差分)の平均値等の統計的な値を表示部270に表示させてもよい。また、比較部1426は、複数の画像を重ね合わせ(加算平均)して得た1つの画像と、該1つの画像を用いて画質向上処理して得た画像とを比較してもよい。なお、複数の画像が、被検眼の深さ方向の範囲における情報に基づいて生成された正面画像である場合には、深さ方向の範囲が互いに共通する方がよい。このとき、例えば、操作者からの指示に応じて一方の画像の深さ方向の範囲が設定されたら、他方の画像の深さ方向の範囲が設定されてもよい。
また、比較部1426は、被検眼の略同一箇所を異なる時間に撮影して得た複数の画像と、該複数の画像を用いて画質向上処理して得た複数の画像とを、画質向上処理前後において比較してもよい。より具体的には、比較部1426は、複数の画像において、画質向上処理前後の画像における互いに対応する画素位置の画素値の差分を算出する。このとき、表示制御部250は、複数の画像において、比較部1426による比較結果(差分)を表示部270に表示させてもよい。これにより、操作者は、それぞれの比較結果(差分)を考慮して、複数の画像のいずれかを選択してもよい。また、表示制御部250は、複数の画像に対応する複数の比較結果(差分)の平均値等の統計的な値を表示部270に表示させてもよい。また、比較部1426は、複数の画像を重ね合わせ(加算平均)して得た1つの画像と、該1つの画像を用いて画質向上処理して得た画像とを比較してもよい。なお、複数の画像が、被検眼の深さ方向の範囲における情報に基づいて生成された正面画像である場合には、深さ方向の範囲が互いに共通する方がよい。このとき、例えば、操作者からの指示に応じて一方の画像の深さ方向の範囲が設定されたら、他方の画像の深さ方向の範囲が設定されてもよい。
ここで、本変形例では、簡単のために、二枚のOCTA画像を取得した場合について、記述する。図17の第1の取得画像1701と第2の取得画像1703のように、二枚のOCTA画像を取得する。各々を画質向上処理して得た画像(図17では、第1の高画質画像、第2の高画質画像と表記)を取得する。まず、第1の取得画像1701のように、OCTA画像取得中に、硝子体などの混濁物が撮影範囲に入ると、影1708が存在するOCTA画像が出力される。このため、第1の取得画像1701に対して画質向上処理を実施すると、影1709を有する第1の高画質画像1702が出力される。また、第2の取得画像1703のような影のない画像を画質向上させた際は、画質向上が適正に実施され、第2の高画質画像1704を得ることができる。これにより、第1の取得画像1701と第2の取得画像1703それぞれに対する画質向上処理の評価を数値で提供する事で、医師の判断を適正に実施する事をサポートすることができる。更に、混濁などの影響が生じている画像の方が低い評価値となるため、評価値の高い画像を優先的に表示させてもよい。例えば、評価値の低い画像は表示させずに、評価値の高い画像を選択的に表示させてもよい。なお、第1の取得画像1701と第2の取得画像1703それぞれを平均化処理した後、画質向上処理を実施してもよい。
(変形例7)
また、上述した様々な実施例及び変形例においては、複数の画質向上部(異なる学習データにより学習して得た複数の学習済モデル)を有する装置を用いて同様の評価を実施する事で、医師に多様な診断情報を提供する事ができる。ここで、複数の画質向上部は、図16(b)の第2の画質向上処理1613のように、主要なリーディングセンターが選定した教師画像でそれぞれ学習して得た学習済モデルを用いた画質向上処理を選択的に実行することができるものである。例えば、ユーザは、予め用意されていた第1の画質向上処理とは異なる第2の画質向上処理1613として複数の施設(病院や研究所等)のいずれかを選択することにより、第1の画質向上処理を実施して得た画像(第1の高画質画像1609)だけでなく、第2の画質向上処理を実施して得た画像(第2の高画質画像1614)も表示させる事ができる。また、第2の画質向上処理1613には、施設名と共に、国名(人種)を記述する事で、遺伝子に依存する疾患や、特異な眼底画像(近視、正常眼圧緑内障、血管走行)を適正に画質向上させる事ができる。このとき、取得画像1608と第1の高画質画像1610(1609)とを比較することにより、評価値1615のような評価結果を得た後、取得画像1608と第2の高画質画像1611とを比較することにより、評価値1614のような評価結果を得ることができる。これにより、例えば、各々の評価結果から、適切な画質向上処理を選択し、次回以降の診断に反映させる事ができる。また、変形例4乃至変形例7に記述した画質向上処理の評価について、適正な処理であると評価した際(複数画像取得した際の選択画像、複数の画質向上処理の選択処理)は、表示エリア1606や表示エリア1706に示すように、施設名と処理内容をデータ送信する事で、追加学習を実施し、よりフレキシブルな画質向上処理が可能となる。追加学習は、サーバで実施しても良く、クラウドや、機器の製造メーカにて、実施されてもよい。また、追加学習を行う事で、変形例6の様な、影がある画像1701から、画質向上処理を実施する事で陰の存在しない画像1704を得る事ができるようになる。
また、上述した様々な実施例及び変形例においては、複数の画質向上部(異なる学習データにより学習して得た複数の学習済モデル)を有する装置を用いて同様の評価を実施する事で、医師に多様な診断情報を提供する事ができる。ここで、複数の画質向上部は、図16(b)の第2の画質向上処理1613のように、主要なリーディングセンターが選定した教師画像でそれぞれ学習して得た学習済モデルを用いた画質向上処理を選択的に実行することができるものである。例えば、ユーザは、予め用意されていた第1の画質向上処理とは異なる第2の画質向上処理1613として複数の施設(病院や研究所等)のいずれかを選択することにより、第1の画質向上処理を実施して得た画像(第1の高画質画像1609)だけでなく、第2の画質向上処理を実施して得た画像(第2の高画質画像1614)も表示させる事ができる。また、第2の画質向上処理1613には、施設名と共に、国名(人種)を記述する事で、遺伝子に依存する疾患や、特異な眼底画像(近視、正常眼圧緑内障、血管走行)を適正に画質向上させる事ができる。このとき、取得画像1608と第1の高画質画像1610(1609)とを比較することにより、評価値1615のような評価結果を得た後、取得画像1608と第2の高画質画像1611とを比較することにより、評価値1614のような評価結果を得ることができる。これにより、例えば、各々の評価結果から、適切な画質向上処理を選択し、次回以降の診断に反映させる事ができる。また、変形例4乃至変形例7に記述した画質向上処理の評価について、適正な処理であると評価した際(複数画像取得した際の選択画像、複数の画質向上処理の選択処理)は、表示エリア1606や表示エリア1706に示すように、施設名と処理内容をデータ送信する事で、追加学習を実施し、よりフレキシブルな画質向上処理が可能となる。追加学習は、サーバで実施しても良く、クラウドや、機器の製造メーカにて、実施されてもよい。また、追加学習を行う事で、変形例6の様な、影がある画像1701から、画質向上処理を実施する事で陰の存在しない画像1704を得る事ができるようになる。
ここで、画質向上処理の学習の精度を上げるためには、上述した一致率を数値化した評価値がある程度高い画像のペアを学習データとする追加学習を行ってもよい。そこで、図17の表示エリア1707に示すように、追加学習の学習データとして利用するか否かの基準となる評価値を選択できるようにしてもよい。例えば、上記基準として75%と85%のいずれかが選択できるようにした場合、85%の方が学習データの質は高いが、学習データの数が多く得られない可能性があり、一方、75%の方だと質が比較的低い学習データが含まれるが、学習データの数を多く得られる可能性がある。なお、選択可能な評価値はこれらに限らないし、また、3つ以上から選択できるようにしてもよい。また、複数の画像を画質向上処理する場合には、それぞれについて上記基準を選択できるようにしてもよい。また、予め用意しておいた評価値を基準としてもよいし、また、基準として設定した評価値と比較して差分が大きい場合には追加しないようにしてもよい。
以上の変形例4乃至変形例7に示したように、画質向上処理を実施した画像と元画像を用い、評価する事で、医師に画質向上処理を実施した画像を用いて診断してよいのかという事の判断をサポートする事ができる。数値如何によっては、再検査(OCTA画像再取得)を判断する事ができる。また、閾値を装置に記憶させ、自動で再検査を実施してもよい。評価機能を有する装置において、追加学習機能を付加させる事で、より適正な画質向上処理プログラムを提供する事ができる。
(実施例5)
次に、図20(a)及び(b)を参照して、実施例5に係る画像処理装置(制御部200)について説明する。本実施例では、画質向上部224での処理結果を表示制御部250が表示部270に表示を行う例について説明を行う。なお、本実施例では、図20(a)及び(b)を用いて説明を行うが表示画面はこれに限らない。経過観察のように、異なる日時で得た複数の画像を並べて表示する表示画面においても同様に高画質化処理(画質向上処理)は適用可能である。また、撮影確認画面のように、検者が撮影直後に撮影成否を確認する表示画面においても同様に高画質化処理は適用可能である。表示制御部250は、画質向上部224が生成した複数の高画質画像や高画質化を行っていない低画質画像を表示部270に表示させることができる。これにより、検者の指示に応じて低画質画像、高画質画像をそれぞれ出力することができる。
次に、図20(a)及び(b)を参照して、実施例5に係る画像処理装置(制御部200)について説明する。本実施例では、画質向上部224での処理結果を表示制御部250が表示部270に表示を行う例について説明を行う。なお、本実施例では、図20(a)及び(b)を用いて説明を行うが表示画面はこれに限らない。経過観察のように、異なる日時で得た複数の画像を並べて表示する表示画面においても同様に高画質化処理(画質向上処理)は適用可能である。また、撮影確認画面のように、検者が撮影直後に撮影成否を確認する表示画面においても同様に高画質化処理は適用可能である。表示制御部250は、画質向上部224が生成した複数の高画質画像や高画質化を行っていない低画質画像を表示部270に表示させることができる。これにより、検者の指示に応じて低画質画像、高画質画像をそれぞれ出力することができる。
以下、図20(a)及び(b)を参照して、当該インターフェース3400の一例を示す。3400は画面全体、3401は患者タブ、3402は撮影タブ、3403はレポートタブ、3404は設定タブを表している。また、3403のレポートタブにおける斜線は、レポート画面のアクティブ状態を表している。本実施例においては、レポート画面を表示する例について説明をする。Im3405はSLO画像、Im3406は、Im3407に示すOCTAのEn−Face画像をSLO画像Im3405に重畳表示している。ここでSLO画像とは、不図示のSLO(Scanning Laser Ophthalmoscope:走査型検眼鏡)光学系によって取得した眼底の正面画像である。Im3407とIm3408はOCTAのEn−Face画像、Im3409は輝度のEn−Face画像、Im3411とIm3412は断層画像を示している。3413と3414は、それぞれIm3407とIm3408に示したOCTAのEn−Face画像の上下範囲の境界線を断層画像に重畳表示している。高画質化ボタン3420は、高画質化処理の実行を指定するためのボタンである。もちろん、後述するように、高画質化ボタン3420は、高画質画像の表示を指示するためのボタンであってもよい。
本実施例において、高画質化処理の実行は高画質化ボタン3420を指定して行うか、データベースに保存(記憶)されている情報に基づいて実行の有無を判断する。初めに、検者からの指示に応じて高画質化ボタン3420を指定することで高画質画像の表示と低画質画像の表示を切り替える例について説明をする。なお、高画質化処理の対象画像はOCTAのEn−Face画像として説明する。
検者がレポートタブ3403を指定してレポート画面に遷移した際には、低画質なOCTAのEn−Face画像Im3407とIm3408を表示する。その後、検者が高画質化ボタン3420を指定することで、画質向上部224は画面に表示している画像Im3407とIm3408に対して高画質化処理を実行する。高画質化処理が完了後、表示制御部250は画質向上部224が生成した高画質画像をレポート画面に表示する。なお、Im3406は、Im3407をSLO画像Im3405に重畳表示しているものであるため、Im3406も高画質化処理した画像を表示する。そして、高画質化ボタン3420の表示をアクティブ状態に変更し、高画質化処理を実行したことが分かるような表示をする。
ここで、画質向上部224における処理の実行は、検者が高画質化ボタン3420を指定したタイミングに限る必要はない。レポート画面を開く際に表示するOCTAのEn−Face画像Im3407とIm3408の種類は事前に分かっているため、レポート画面に遷移する際に高画質化処理の実行をしてもよい。そして、高画質化ボタン3420が押下されたタイミングで、表示制御部250が高画質画像をレポート画面に表示するようにしてもよい。さらに、検者からの指示に応じて、又はレポート画面に遷移する際に高画質化処理を行う画像の種類は2種類である必要はない。表示する可能性の高い画像、例えば、図21で示すような表層(Im2910)、深層(Im2920)、外層(Im2930)、及び脈絡膜血管網(Im2940)などの複数のOCTAのEn−Face画像に対して処理を行うようにしてもよい。この場合、高画質化処理を行った画像を一時的にメモリに記憶、あるいはデータベースに記憶しておくようにしてもよい。
次に、データベースに保存(記録)されている情報に基づいて高画質化処理を実行する場合について説明をする。データベースに高画質化処理の実行を行う状態が保存されている場合、レポート画面に遷移した際に、高画質化処理を実行して得た高画質画像をデフォルトで表示する。そして、高画質化ボタン3420がアクティブ状態としてデフォルトで表示されることで、検者に対しては高画質化処理を実行して得た高画質画像が表示されていることが分かるように構成することができる。検者は、高画質化処理前の低画質画像を表示したい場合には、高画質化ボタン3420を指定してアクティブ状態を解除することで、低画質画像を表示することができる。高画質画像に戻したい場合、検者は高画質化ボタン3420を指定する。
データベースへの高画質化処理の実行有無は、データベースに保存されているデータ全体に対して共通、及び撮影データ毎(検査毎)など、階層別に指定するものとする。例えば、データベース全体に対して高画質化処理を実行する状態を保存してある場合において、個別の撮影データ(個別の検査)に対して、検者が高画質化処理を実行しない状態を保存した場合、その撮影データを次回表示する際には高画質化処理を実行しない状態で表示を行う。撮影データ毎(検査毎)に高画質化処理の実行状態を保存するために、不図示のユーザーインターフェース(例えば、保存ボタン)を用いてもよい。また、他の撮影データ(他の検査)や他の患者データに遷移(例えば、検者からの指示に応じてレポート画面以外の表示画面に変更)する際に、表示状態(例えば、高画質化ボタン3420の状態)に基づいて、高画質化処理の実行を行う状態が保存されるようにしてもよい。これにより、撮影データ単位(検査単位)で高画質化処理実行の有無が指定されていない場合、データベース全体に対して指定されている情報に基づいて処理を行い、撮影データ単位(検査単位)で指定されている場合には、その情報に基づいて個別に処理を実行することができる。
本実施例におけるOCTAのEn−Face画像として、Im3407とIm3408を表示する例を示しているが、表示するOCTAのEn−Face画像は検者の指定により変更することが可能である。そのため、高画質化処理の実行が指定されている時(高画質化ボタン3420がアクティブ状態)における画像の変更について説明をする。
画像の変更は、不図示のユーザーインターフェース(例えば、コンボボックス)を用いて変更を行う。例えば、検者が画像の種類を表層から脈絡膜血管網に変更した時に、画質向上部224は脈絡膜血管網画像に対して高画質化処理を実行し、表示制御部250は画質向上部224が生成した高画質な画像をレポート画面に表示する。すなわち、表示制御部250は、検者からの指示に応じて、第1の深度範囲の高画質画像の表示を、第1の深度範囲とは少なくとも一部が異なる第2の深度範囲の高画質画像の表示に変更してもよい。このとき、表示制御部250は、検者からの指示に応じて第1の深度範囲が第2の深度範囲に変更されることにより、第1の深度範囲の高画質画像の表示を、第2の深度範囲の高画質画像の表示に変更してもよい。なお、上述したようにレポート画面遷移時に表示する可能性の高い画像に対しては、既に高画質画像が生成済みである場合、表示制御部250は生成済みの高画質な画像を表示すればよい。
なお、画像の種類の変更方法は上記したものに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したOCTAのEn−Face画像を生成することも可能である。その場合、基準となる層、あるいはオフセット値が変更された時に、画質向上部224は任意のOCTAのEn−Face画像に対して高画質化処理を実行し、表示制御部250は高画質な画像をレポート画面に表示する。基準となる層やオフセット値の変更は、不図示のユーザーインターフェース(例えば、コンボボックスやテキストボックス)を用いて行われることができる。また、断層画像Im3411とIm3412に重畳表示している境界線3413と3414のいずれかをドラッグ(層境界を移動)することで、OCTAのEn−Face画像の生成範囲を変更することができる。
境界線をドラッグによって変更する場合、高画質化処理の実行命令が連続的に実施される。そのため、画質向上部224は実行命令に対して常に処理を行ってもよいし、ドラッグによる層境界の変更後に実行するようにしてもよい。あるいは、高画質化処理の実行は連続的に命令されるが、次の命令が来た時点で前回の命令をキャンセルし、最新の命令を実行するようにしてもよい。
なお、高画質化処理には比較的時間がかかる場合がある。このため、上述したどのようなタイミングで命令が実行されたとしても、高画質画像が表示されるまでに比較的時間がかかる場合がある。そこで、検者からの指示に応じてOCTAのEn−Face画像を生成するための深度範囲が設定されてから、高画質画像が表示されるまでの間、該設定された深度範囲に対応するOCTAのEn−Face画像(低画質画像)が表示されてもよい。すなわち、上記深度範囲が設定されると、該設定された深度範囲に対応するOCTAのEn−Face画像(低画質画像)が表示され、高画質化処理が終了すると、該OCTAのEn−Face画像(該低画質画像)の表示が高画質画像の表示に変更されるように構成されてもよい。また、上記深度範囲が設定されてから、高画質画像が表示されるまでの間、高画質化処理が実行されていることを示す情報が表示されてもよい。なお、これらは、高画質化処理の実行が既に指定されている状態(高画質化ボタン3420がアクティブ状態)を前提とする場合だけでなく、例えば、検者からの指示に応じて高画質化処理の実行が指示された際に、高画質画像が表示されるまでの間においても、適用することが可能である。
本実施例では、OCTAのEn−Face画像として、Im3407とIm3408に異なる層を表示し、低画質と高画質な画像は切り替えて表示する例を示したが、これに限らない。例えば、Im3407には低画質なOCTAのEn−Face画像、Im3408には高画質なOCTAのEn−Face画像を並べて表示するようにしてもよい。画像を切り替えて表示する場合には、同じ場所で画像を切り替えるので変化がある部分の比較を行いやすく、並べて表示する場合には、同時に画像を表示することができるので画像全体を比較しやすい。
次に、図20(a)と(b)を用いて、画面遷移における高画質化処理の実行について説明を行う。図20(b)は、図20(a)におけるOCTAのEn−Face画像Im3407を拡大表示した画面例である。図20(b)においても、図20(a)と同様に高画質化ボタン3420を表示する。図20(a)から図20(b)への画面遷移は、例えば、OCTAのEn−Face画像Im3407をダブルクリックすることで遷移し、図20(b)から図20(a)へは閉じるボタン3430で遷移する。なお、画面遷移に関しては、ここで示した方法に限らず、不図示のユーザーインターフェースを用いてもよい。
画面遷移の際に高画質化処理の実行が指定されている場合(高画質化ボタン3420がアクティブ)、画面遷移時においてもその状態を保つ。すなわち、図20(a)の画面で高画質画像を表示している状態で図20(b)の画面に遷移する場合、図20(b)の画面においても高画質画像を表示する。そして、高画質化ボタン3420はアクティブ状態にする。図20(b)から図20(a)へ遷移する場合にも同様である。図20(b)において、高画質化ボタン3420を指定して低画質画像に表示を切り替えることもできる。
画面遷移に関して、ここで示した画面に限らず、経過観察用の表示画面、又はパノラマ用の表示画面など同じ撮影データを表示する画面への遷移であれば、高画質画像の表示状態を保ったまま遷移を行う。すなわち、遷移後の表示画面において、遷移前の表示画面における高画質化ボタン3420の状態に対応する画像が表示される。例えば、遷移前の表示画面における高画質化ボタン3420がアクティブ状態であれば、遷移後の表示画面において高画質画像が表示される。また、例えば、遷移前の表示画面における高画質化ボタン3420のアクティブ状態が解除されていれば、遷移後の表示画面において低画質画像が表示される。なお、経過観察用の表示画面における高画質化ボタン3420がアクティブ状態になると、経過観察用の表示画面に並べて表示される異なる日時(異なる検査日)で得た複数の画像が高画質画像に切り換わるようにしてもよい。すなわち、経過観察用の表示画面における高画質化ボタン3420がアクティブ状態になると、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。
なお、経過観察用の表示画面の例を、図22に示す。検者からの指示に応じてタブ3801が選択されると、図22のように、経過観察用の表示画面が表示される。このとき、En−Face画像の深度範囲を、リストボックスに表示された既定の深度範囲セット(3802及び3803)から検者が選択することで変更できる。例えば、リストボックス3802では網膜表層が選択され、また、リストボックス3803では網膜深層が選択されている。上側の表示領域には網膜表層のEn−Face画像の解析結果が表示され、また、下側の表示領域には網膜深層のEn−Face画像の解析結果が表示されている。すなわち、深度範囲が選択されると、異なる日時の複数の画像について、選択された深度範囲の複数のEn−Face画像の解析結果の並列表示に一括して変更される。
このとき、解析結果の表示を非選択状態にすると、異なる日時の複数のEn−Face画像の並列表示に一括して変更されてもよい。そして、検者からの指示に応じて高画質化ボタン3420が指定されると、複数のEn−Face画像の表示が複数の高画質画像の表示に一括して変更される。
また、解析結果の表示が選択状態である場合には、検者からの指示に応じて高画質化ボタン3420が指定されると、複数のEn−Face画像の解析結果の表示が複数の高画質画像の解析結果の表示に一括して変更される。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像(例えば、2次元マップ)の表示への変更であってもよい。
また、深度範囲の指定に用いる層境界の種類とオフセット位置をそれぞれ、3805,3806のようなユーザーインターフェースから一括して変更することができる。なお、断層画像も一緒に表示させ、断層画像上に重畳された層境界データを検者からの指示に応じて移動させることにより、異なる日時の複数のEn−Face画像の深度範囲を一括して変更されてもよい。このとき、異なる日時の複数の断層画像を並べて表示し、1つの断層画像上で上記移動が行われると、他の断層画像上でも同様に層境界データが移動されてもよい。
また、画像投影法やプロジェクションアーチファクト抑制処理の有無を、例えば、コンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。
また、選択ボタン3807を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択された画像が表示されてもよい。なお、図22の上部に表示されている矢印3804は現在選択されている検査であることを示す印であり、基準検査(Baseline)はFollow−up撮影の際に選択した検査(図22の一番左側の画像)である。もちろん、基準検査を示すマークを表示部に表示させてもよい。
また、「Show Difference」チェックボックス3808が指定された場合には、基準画像上に基準画像に対する計測値分布(マップもしくはセクタマップ)を表示する。さらに、この場合には、それ以外の検査日に対応する領域に基準画像に対して算出した計測値分布と当該領域に表示される画像に対して算出した計測分布との差分計測値マップを表示する。計測結果としては、レポート画面上にトレンドグラフ(経時変化計測によって得られた各検査日の画像に対する計測値のグラフ)を表示させてもよい。すなわち、異なる日時の複数の画像に対応する複数の解析結果の時系列データ(例えば、時系列グラフ)が表示されてもよい。このとき、表示されている複数の画像に対応する複数の日時以外の日時に関する解析結果についても、表示されている複数の画像に対応する複数の解析結果と判別可能な状態で(例えば、時系列グラフ上の各点の色が画像の表示の有無で異なる)時系列データとして表示させてもよい。また、該トレンドグラフの回帰直線(曲線)や対応する数式をレポート画面に表示させてもよい。
本実施例においては、OCTAのEn−Face画像に関して説明を行ったが、これに限らない。本実施例に係る表示、高画質化、及び画像解析等の処理に関する画像は、輝度のEn−Face画像でもよい。さらには、En−Face画像だけではなく、断層画像やSLO画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。
このような構成により、本実施例に係る画質向上部224が処理した画像を表示制御部250が表示部270に表示することができる。このとき、上述したように、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも1つが選択された状態である場合には、表示画面が遷移されても、選択された状態が維持されてもよい。
また、上述したように、複数の条件のうち少なくとも1つが選択された状態である場合には、他の条件が選択された状態に変更されても、該少なくとも1つが選択された状態が維持されてもよい。例えば、表示制御部250は、解析結果の表示が選択状態である場合に、検者からの指示に応じて(例えば、高画質化ボタン3420が指定されると)、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部250は、解析結果の表示が選択状態である場合に、検者からの指示に応じて(例えば、高画質化ボタン3420の指定が解除されると)、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。
また、表示制御部250は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示の指定が解除されると)、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部250は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示が指定されると)、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部250は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示の指定が解除されると)、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部250は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示が指定されると)、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
また、高画質画像の表示が非選択状態で且つ第1の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部250は、検者からの指示に応じて(例えば、第2の種類の解析結果の表示が指定されると)、低画質画像の第1の種類の解析結果の表示を低画質画像の第2の種類の解析結果の表示に変更してもよい。また、高画質画像の表示が選択状態で且つ第1の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部250は、検者からの指示に応じて(例えば、第2の種類の解析結果の表示が指定されると)、高画質画像の第1の種類の解析結果の表示を高画質画像の第2の種類の解析結果の表示に変更してもよい。
なお、経過観察用の表示画面においては、上述したように、これらの表示の変更が、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像(例えば、2次元マップ)の表示への変更であってもよい。
(変形例8)
上述した様々な実施例及び変形例において、表示制御部250は、画質向上部224によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部270に表示させることができる。また、表示制御部250は、検者からの指示に応じて、表示部270上の表示を撮影画像(入力画像)から高画質画像に切り替えてもよい。すなわち、表示制御部250は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。
上述した様々な実施例及び変形例において、表示制御部250は、画質向上部224によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部270に表示させることができる。また、表示制御部250は、検者からの指示に応じて、表示部270上の表示を撮影画像(入力画像)から高画質画像に切り替えてもよい。すなわち、表示制御部250は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。
さらに、画質向上部224が、高画質化エンジン(高画質化用の学習済モデル)による高画質化処理の開始(高画質化エンジンへの画像の入力)を検者からの指示に応じて実行し、表示制御部250が、画質向上部224によって生成された高画質画像を表示部270に表示させてもよい。これに対し、撮影装置(OCT撮影部100)によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、表示制御部250が、検者からの指示に応じて高画質画像を表示部270に表示させてもよい。ここで、高画質化エンジンとは、上述した画質向上処理(高画質化処理)を行う学習済モデルを含む。
なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、表示制御部250は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。もちろん、表示制御部250は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
また、表示制御部250は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。
ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像(例えば、2次元マップ)の表示への変更であってもよい。
なお、本変形例に係る表示、高画質化、及び画像解析等の処理に関する画像は、OCTA画像(モーションコントラスト正面画像)だけでなく、断層画像でもよい。さらには、B−スキャンによる断層画像だけではなく、SLO画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。
例えば、B−スキャンによる断層画像Im3411、Im3412を高画質化して表示する場合には、表示される少なくとも1つの断層画像を高画質化して表示してもよい。また、OCTA正面画像が表示されている領域に高画質化された断層画像が表示されてもよい。また、B−スキャンによる断層画像Im3411、Im3412は、輝度の断層画像だけでなく、モーションコントラストデータを用いて得たB−スキャンによる断層画像であってもよい。
また、高画質化モデルは、入力データである各種画像の種類毎に用意されてもよい。例えば、前眼画像用の高画質化モデルや、眼底正面画像用の高画質化モデル、断層画像用の高画質化モデル、OCTA正面画像用の高画質化モデル等が用意されてよい。また、OCTA正面画像やEn−Face画像については、画像を生成するための深度範囲毎に高画質化モデルが用意されてもよい。例えば、表層用の高画質化モデルや深層用の高画質化モデル等が用意されてよい。さらに、高画質化モデルは、撮影部位(例えば、黄斑部中心、視神経乳頭部中心)毎の画像について学習を行ったものでもよいし、撮影部位を関わらず学習を行ったものであってもよい。
このとき、例えば、眼底OCTA正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底OCTA正面画像を高画質化し、さらに、前眼OCTA正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼OCTA正面画像を高画質化してもよい。また、高画質化モデルは、撮影部位を関わらず学習を行ったものであってもよい。ここで、例えば、眼底OCTA正面画像及び前眼OCTA正面画像は、撮影対象である血管の分布の様子が互いに比較的類似していることがある。このように、撮影対象の様子が互いに比較的類似しているような複数の種類の医用画像では、互いの特徴量が比較的類似していることがある。そこで、例えば、眼底OCTA正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底OCTA正面画像を高画質化するだけでなく、前眼OCTA正面画像も高画質化可能に構成されてもよい。また、例えば、前眼OCTA正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼OCTA正面画像を高画質化するだけでなく、眼底OCTA正面画像も高画質化可能に構成されてもよい。すなわち、眼底OCTA正面画像と前眼OCTA正面画像との少なくとも一つの種類の正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底OCTA正面画像と前眼OCTA正面画像との少なくとも一つの種類の正面画像を高画質化可能に構成されてもよい。
ここで、眼底撮影可能なOCT装置において、前眼も撮影可能である場合を考える。このとき、Im3407とIm3408に示したOCTAのEn−Face画像には、例えば、眼底撮影モードにおいては眼底OCTA正面画像が適用され、また、前眼撮影モードにおいては前眼OCTA正面画像が適用されてもよい。このとき、高画質化ボタン3420が押下されると、例えば、眼底撮影モードにおいては、Im3407とIm3408に示したOCTAのEn−Face画像の表示領域において、低画質の眼底OCTA正面画像と高画質の眼底OCTA正面画像とのうち一方の表示を他方の表示に変更されるように構成されてもよい。また、高画質化ボタン3420が押下されると、例えば、前眼撮影モードにおいては、Im3407とIm3408に示したOCTAのEn−Face画像の表示領域において、低画質の前眼OCTA正面画像と高画質の前眼OCTA正面画像とのうち一方の表示を他方の表示に変更されるように構成されてもよい。
なお、眼底撮影可能なOCT装置において、前眼も撮影可能とする場合に、前眼アダプタが装着可能に構成されてもよい。また、前眼アダプタを用いずに、OCT装置の光学系が被検眼の眼軸長程度の距離、移動可能に構成されてもよい。このとき、OCT装置のフォーカス位置が前眼に結像する程度、正視側に大きく変更可能に構成されてもよい。
また、Im3411とIm3412に示した断層画像には、例えば、眼底撮影モードにおいては眼底OCT断層画像が適用され、また、前眼撮影モードにおいては前眼OCT断層画像が適用されてもよい。また、上述した眼底OCTA正面画像及び前眼OCTA正面画像の高画質化処理は、例えば、眼底OCT断層画像及び前眼OCT断層画像の高画質化処理として適用することも可能である。このとき、高画質化ボタン3420が押下されると、例えば、眼底撮影モードにおいては、Im3411とIm3412に示した断層画像の表示領域において、低画質の眼底OCT断層画像と高画質の眼底OCT断層画像とのうち一方の表示を他方の表示に変更されるように構成されてもよい。また、高画質化ボタン3420が押下されると、例えば、前眼撮影モードにおいては、Im3411とIm3412に示した断層画像の表示領域において、低画質の前眼OCT断層画像と高画質の前眼OCT断層画像とのうち一方の表示を他方の表示に変更されるように構成されてもよい。
また、Im3411とIm3412に示した断層画像には、例えば、眼底撮影モードにおいては眼底OCTA断層画像が適用され、また、前眼撮影モードにおいては前眼OCTA断層画像が適用されてもよい。また、上述した眼底OCTA正面画像及び前眼OCTA正面画像の高画質化処理は、例えば、眼底OCTA断層画像及び前眼OCTA断層画像の高画質化処理として適用することも可能である。このとき、例えば、眼底撮影モードにおいては、Im3411とIm3412に示した断層画像の表示領域において、眼底OCTA断層画像における血管領域(例えば、閾値以上のモーションコントラストデータ)を示す情報が、対応する位置の眼底OCT断層画像に重畳して表示されるように構成されてもよい。また、例えば、前眼撮影モードにおいては、Im3411とIm3412に示した断層画像の表示領域において、前眼OCTA断層画像における血管領域を示す情報が、対応する位置の前眼OCT断層画像に重畳して表示されてもよい。
このように、例えば、複数の種類の医用画像の特徴量(撮影対象の様子)が互いに比較的類似していると考えられるような場合には、複数の種類の医用画像の少なくとも一つの種類の医用画像を学習データとして学習して得た高画質化モデルを用いて、複数の種類の医用画像の少なくとも一つの種類の医用画像を高画質化可能に構成されてもよい。これにより、例えば、共通の学習済モデル(共通の高画質化モデル)を用いて、複数の種類の医用画像の高画質化を実行可能に構成することができる。
なお、眼底撮影モードの表示画面と前眼撮影モードの表示画面とは、同じ表示レイアウトであってもよいし、それぞれの撮影モードに対応する表示レイアウトであってもよい。眼底撮影モードと前眼撮影モードとで、撮影条件や解析条件等の種々の条件が同じであってもよいし、異なっていてもよい。
ここで、高画質化処理の対象画像は、例えば、(複数の深度範囲に対応する)複数のOCTA正面画像(OCTAのEn−Face画像、モーションコントラストのEn−Face画像)Im3407、Im3408であってもよい。また、高画質化処理の対象画像は、例えば、1つの深度範囲に対応する1つのOCTA正面画像であってもよい。また、高画質化処理の対象画像は、OCTA正面画像の代わりに、例えば、輝度の正面画像(輝度のEn−Face画像)Im3409、あるいはBスキャン画像であるOCT断層画像Im3411、Im3412やモーションコントラストデータの断層画像(OCTA断層画像)であってもよい。また、高画質化処理の対象画像は、OCTA正面画像だけでなく、例えば、輝度の正面画像Im3409及びBスキャン画像であるOCT断層画像Im3411、Im3412やモーションコントラストデータの断層画像(OCTA断層画像)等の種々の医用画像であってもよい。すなわち、高画質化処理の対象画像は、例えば、表示部の表示画面上に表示されている種々の医用画像の少なくとも一つであればよい。このとき、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタン3420が押下されると、OCTA正面画像に対応する高画質化用の学習済モデルを用いてOCTA正面画像Im3407、Im3408を高画質化処理するだけでなく、OCT断層画像に対応する高画質化用の学習済モデルを用いてOCT断層画像Im3411、Im3412も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタン3420が押下されると、OCTA正面画像(第1の医用画像の一例)に対応する高画質化用の学習済モデルを用いて生成された高画質なOCTA正面画像(第2の医用画像の一例)の表示に変更されるだけでなく、OCT断層画像(第1の断層画像)に対応する高画質化用の学習済モデルを用いて生成された高画質なOCT断層画像(第2の断層画像)の表示に変更されるように構成されてもよい。このとき、OCT断層画像の位置を示すラインがOCTA正面画像Im3407、Im3408に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてOCTA正面画像上で移動可能に構成されてもよい。また、高画質化ボタン3420の表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応するOCT断層画像(第1の断層画像)を高画質化処理して得た高画質なOCT断層画像(第2の断層画像)の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタン3420が表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。
また、OCTA断層画像における血管領域(例えば、閾値以上のモーションコントラストデータ)を示す情報が、対応する位置のBスキャン画像であるOCT断層画像Im3411、Im3412に重畳して表示されてもよい。このとき、例えば、OCT断層画像Im3411、Im3412が高画質化されると、対応する位置のOCTA断層画像が高画質化されてもよい。そして、高画質化して得たOCTA断層画像における血管領域を示す情報が、高画質化して得たOCT断層画像Im3411、Im3412に重畳して表示されてもよい。なお、血管領域を示す情報は、色等の識別可能な情報であれば何でもよい。また、血管領域を示す情報の重畳表示と非表示とが検者からの指示に応じて変更可能に構成されてもよい。また、OCT断層画像の位置を示すラインがOCTA正面画像上で移動されると、ラインの位置に応じてOCT断層画像Im3411、Im3412の表示が更新されてもよい。このとき、対応する位置のOCTA断層画像も更新されるため、OCTA断層画像から得られる血管領域を示す情報の重畳表示が更新されてもよい。これにより、例えば、任意の位置において、血管領域と注目領域との位置関係を容易に確認しながら、血管領域の3次元の分布や状態を効果的に確認することができる。また、OCTA断層画像の高画質化は、高画質化用の学習済モデルを用いる代わりに、対応する位置で取得した複数のOCTA断層画像の加算平均処理等による高画質化処理であってもよい。また、OCT断層画像は、OCTボリュームデータにおける任意の位置の断面として再構成された疑似OCT断層画像であってもよい。また、OCTA断層画像は、OCTAボリュームデータにおける任意の位置の断面として再構成された疑似OCTA断層画像であってもよい。なお、任意の位置は、少なくとも1つの任意の位置であればよく、また、検者からの指示に応じて変更可能に構成されてもよい。このとき、複数の位置に対応する複数の疑似断層画像が再構成されるように構成されてもよい。
なお、高画質化され、表示される断層画像(例えば、OCT断層画像あるいはOCTA断層画像)は、1つだけ表示されてもよいし、複数表示されてもよい。1つだけ表示される場合には、例えばサークルスキャン等により得られた断層画像を高画質化して表示されてもよい。また、複数の断層画像が表示される場合には、それぞれ異なる副走査方向の位置で取得された断層画像が表示されてもよいし、例えばクロススキャン等により得られた複数の断層画像を高画質化して表示する場合には、異なる走査方向の画像がそれぞれ表示されてもよい。なお、クロススキャン等により得られた複数の断層画像の画像特徴は似ていることが多いため、例えば、これらの断層画像を学習データとして学習して得た共通の学習済モデルを用いて、各走査方向の画像を高画質化してもよい。また、例えばラジアルスキャン等により得られた複数の断層画像を高画質化して表示する場合には、一部選択された複数の断層画像(例えば基準ラインに対して互いに対称な位置の2つの断層画像)がそれぞれ表示されてもよい。さらに、経過観察用の表示画面に異なる日時に得られた複数の断層画像を表示し、高画質化の指示や解析結果(例えば、特定の層の厚さ等)の表示が行われてもよい。また、データベースに保存されている情報に基づいて断層画像に高画質化処理を実行してもよい。
同様に、SLO眼底画像を高画質化して表示する場合には、例えば、同一の表示画面に表示されるSLO眼底画像(SLO画像Im3405)を高画質化して表示してよい。さらに、輝度のEn−Face画像を高画質化して表示する場合には、例えば、同一の表示画面に表示される輝度のEn−Face画像Im3409を高画質化して表示してよい。さらに、経過観察用の表示画面に異なる日時に得られた複数のSLO眼底画像や複数の輝度のEn−Face画像を表示し、高画質化の指示や解析結果(例えば、特定の層の厚さ等)の表示が行われてもよい。また、データベースに保存されている情報に基づいてSLO眼底画像や輝度のEn−Face画像に高画質化処理を実行してもよい。なお、断層画像、SLO眼底画像、及び輝度のEn−Face画像の表示は例示であり、これらの画像は所望の構成に応じて任意の態様で表示されてよい。また、OCTA正面画像、断層画像、SLO眼底画像、及び輝度のEn−Face画像の少なくとも2つ以上が、一度の指示で高画質化され表示されてもよい。
このような構成により、高画質化処理して得た高画質画像を表示制御部250が表示部270に表示させることができる。なお、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも1つの条件が選択されている場合には、表示画面が遷移されても、選択された条件が維持されるように構成されてもよい。なお、各種高画質画像や上記ライン、血管領域を示す情報等の表示の制御は、表示制御部250によって行われてよい。
また、高画質化モデルは、表示制御部250によって表示部270に表示されるプレビュー画面において、ライブ動画像のすくなくとも1つのフレーム毎に用いられてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。例えば、アライメント処理に用いる前眼画像について、前眼画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。同様に、各種画像における所定領域の検出処理について用いられる各種画像について、それぞれの画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。
このとき、例えば、検者からの指示に応じて高画質化ボタンが押下された場合には、異なる種類の複数のライブ動画像(例えば、前眼画像、眼底正面画像、断層画像)の表示を(同時に)、それぞれ高画質化処理されることにより得た高画質動画像の表示に変更されるように構成されてもよい。このとき、高画質動画像の表示は、各フレームを高画質化処理して得た高画質画像の連続表示であってもよい。また、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて前眼画像を高画質化処理するだけでなく、眼底正面画像に対応する高画質化モデルを用いて眼底正面画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて生成された高画質な前眼画像の表示に変更されるだけでなく、眼底正面画像に対応する高画質化モデルを用いて生成された高画質な眼底正面画像の表示に変更されるように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、眼底正面画像に対応する高画質化モデルを用いて眼底正面画像を高画質化処理するだけでなく、断層画像に対応する高画質化モデルを用いて断層画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、眼底正面画像に対応する高画質化モデルを用いて生成された高画質な眼底正面画像の表示に変更されるだけでなく、断層画像に対応する高画質化モデルを用いて生成された高画質な断層画像の表示に変更されるように構成されてもよい。このとき、断層画像の位置を示すラインが眼底正面画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じて眼底正面画像上で移動可能に構成されてもよい。また、高画質化ボタンの表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応する断層画像を高画質化処理して得た高画質な断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。
これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、プレビュー画面を確認しながら操作者がアライメント位置を修正する場合に、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。
ここで、オートアライメント中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像(Bスキャン画像)の画質評価等の評価値が閾値を超えたら、高画質動画像の表示(高画質フレームの連続表示)を自動的に開始するように構成してもよい。また、断層画像の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態(アクティブ状態)に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。
また、スキャンパターン等が異なる撮影モード毎に異なる高画質化モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た1つの高画質化モデルが用いられてもよい。
ここで、眼科装置、例えばOCT装置では、撮影モード毎に測定に用いる光束のスキャンパターンや撮影部位が異なる。そのため、断層画像を入力データとする学習済モデルに関しては、撮影モード毎に学習済モデルを用意し、操作者の指示に応じて選択された撮影モードに対応する学習済モデルが選択されるように構成してもよい。この場合、撮影モードとしては、例えば、網膜撮影モード、前眼部撮影モード、硝子体撮影モード、黄斑部撮影モード、及び視神経乳頭部撮影モード、OCTA撮影モード等が含まれてよい。また、スキャンパターンとしては、3Dスキャン、ラジアルスキャン、クロススキャン、サークルスキャン、ラスタスキャン、及びリサージュスキャン(リサージュ曲線に沿った走査)等が含まれてよい。なお、OCTA撮影モードでは、被検眼の同一領域(同一位置)において測定光が複数回走査されるように、駆動制御部230が走査部152を制御する。OCTA撮影モードでも、スキャンパターンとして、例えばラスタスキャンや、ラジアルスキャン、クロススキャン、サークルスキャン、リサージュスキャン等を設定することができる。また、断層画像を入力データとする学習済モデルに関しては、異なる方向の断面に応じた断層画像を学習データに用いて学習を行うことができる。例えば、xz方向の断面の断層画像やyz方向の断面の断層画像等を学習データに用いて学習を行ってよい。
なお、高画質化モデルによる高画質化処理の実行(又は高画質化処理して得た高画質画像の表示)の要否の判断は、表示画面に設けられる高画質化ボタン3420について、操作者の指示に応じて行われてもよいし、予め記憶部240に記憶されている設定に応じて行われてもよい。なお、学習済モデル(高画質化モデル)を用いた高画質化処理である旨を高画質化ボタン3420のアクティブ状態等で表示してもよいし、その旨をメッセージとして表示画面に表示させてもよい。また、高画質化処理の実行は、眼科装置の前回の起動時における実行状態を維持してもよいし、被検者毎に前回の検査時の実行状態を維持してもよい。
また、上述した様々な実施例及び変形例における画像処理部220には、画質向上部224等に加えて、解析部(不図示)が設けられていてもよい。解析部は、画質向上部224によって生成された高画質な断層画像について、領域毎に設定された解析条件に基づいて、画像解析を行う。ここで、領域毎に設定される解析条件としては、例えば、網膜部の領域や脈絡膜部の領域では、層抽出や血管抽出、硝子体部の領域では硝子体や硝子体の剥離の検出が設定される。なお、解析条件は、あらかじめ設定されていてもよいし、操作者によって適宜設定されてもよい。解析部は、解析条件として層抽出が設定されている場合には、当該解析条件が設定されている領域について層抽出を行い、抽出された層について層厚値計測等を行うことができる。また、解析部は、解析条件として血管抽出が設定されている場合には、当該解析条件が設定されている領域について血管抽出を行い、抽出された血管について血管密度計測等を行うことができる。さらに、解析部は、解析条件として硝子体や硝子体の剥離の検出が設定されている場合には、当該解析条件が設定されている領域について硝子体や硝子体の剥離の検出を行う。その後、解析部は、検出された硝子体や硝子体の剥離について定量化を行い硝子体や硝子体の剥離の厚みや、幅、面積、体積等を求めることができる。なお、解析条件はこれらに限られず、所望の構成に応じて任意に設定されてよい。例えば、硝子体部の領域について硝子体の線維構造の検出が設定されてもよい。この場合には、解析部は、検出した硝子体の線維構造の定量化を行い、線維構造の厚みや、幅、面積、体積等を求めることができる。また、解析条件に従った解析処理も、上記処理に限られず所望の構成に応じて任意に設定されてよい。また、表示制御部250は、解析部によって行われた画像解析の結果を、高画質な断層画像とともに又は高画質な断層画像とは別に表示部270に表示させてもよい。
(変形例9)
上述した様々な実施例及び変形例における表示制御部250は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、毛細血管領域、動脈領域、静脈領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも1つを含む注目部位に関するパラメータの値(分布)を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態(動きや瞬き等)によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、表示制御部250は、上述したような様々なアーチファクト(写損領域)の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示部270に表示させてもよい。また、ドルーゼン、新生血管、白斑(硬性白斑)、シュードドルーゼン等の異常部位等の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示させてもよい。また標準データベースを用いて得た標準値や標準範囲と、解析結果とを比較して得た比較結果が表示されてもよい。
上述した様々な実施例及び変形例における表示制御部250は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、毛細血管領域、動脈領域、静脈領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも1つを含む注目部位に関するパラメータの値(分布)を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態(動きや瞬き等)によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、表示制御部250は、上述したような様々なアーチファクト(写損領域)の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示部270に表示させてもよい。また、ドルーゼン、新生血管、白斑(硬性白斑)、シュードドルーゼン等の異常部位等の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示させてもよい。また標準データベースを用いて得た標準値や標準範囲と、解析結果とを比較して得た比較結果が表示されてもよい。
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル(解析結果生成エンジン、解析結果生成用の学習済モデル)を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。また、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は輝度のEn−Face画像に対応し、モーションコントラスト正面画像はOCTAのEn−Face画像に対応する。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。なお、高画質化用の学習済モデルは、第一の画像を入力データとし、第一の画像よりも高画質な第二の画像を正解データとする学習データを学習して得たものであってもよい。このとき、第二の画像は、例えば、複数の第一の画像の重ね合わせ処理(例えば、位置合わせして得た複数の第一の画像の平均化処理)等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像であってもよい。
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、解析領域を解析して得た解析値(例えば、平均値や中央値等)、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも1つを含む情報を(教師あり学習の)正解データとして、入力データにラベル付け(アノテーション)したデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。
また、上述した様々な実施例及び変形例における表示制御部250は、表示画面のレポート画面において、糖尿病網膜症や、緑内障、加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位等の位置を画像上に表示されてもよいし、また、異常部位の状態等を文字等によって表示されてもよい。また、異常部位等の分類結果(例えば、カーティン分類)が診断結果として表示されてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報(例えば、割合を示す数値)が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、OCTA画像における血管領域に異常部位が検出された場合には、OCTAよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。また、診断結果は、被検者の今後の診療方針等に関する情報であってもよい。また、診断結果は、例えば、診断名、病変(異常部位)の種類や状態(程度)、画像における病変の位置、注目領域に対する病変の位置、所見(読影所見等)、診断名の根拠(肯定的な医用支援情報等)、診断名を否定する根拠(否定的な医用支援情報)等の少なくとも1つを含む情報であってもよい。
このとき、例えば、検者からの指示に応じて入力された診断名等の診断結果よりも確からしい診断結果を医用支援情報として表示させてもよい。また、複数の種類の医用画像が用いられた場合には、例えば、診断結果の根拠となり得る種類の医用画像が識別可能に表示されてもよい。また、診断結果の根拠としては、学習済モデルが抽出した特徴量を可視化したマップで、例えば、特徴量をカラーで示したカラーマップ(ヒートマップ)であってもよい。このとき、例えば、ヒートマップを入力データとした医用画像に重畳表示させてもよい。
なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル(診断結果生成エンジン、診断結果生成用の学習済モデル)を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変(異常部位)の種類や状態(程度)、画像における病変の位置、注目領域に対する病変の位置、所見(読影所見等)、診断名の根拠(肯定的な医用支援情報等)、診断名を否定する根拠(否定的な医用支援情報)等の少なくとも1つを含む情報を(教師あり学習の)正解データとして、入力データにラベル付け(アノテーション)したデータであってもよい。なお、表示制御部250は、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果を表示部270に表示させるように構成されてもよい。
また、例えば、緑内障の診断結果を得たい場合には、視神経乳頭を含む医用画像(断層画像や、カラー眼底正面画像、輝度正面画像、OCTA正面画像等)や解析マップ(OCTデータから得た層厚マップや、OCTAデータから得た血管密度マップ等)を入力データとしてもよい。このとき、これらのうちの1つの情報を入力データとしてもよいし、複数の種類の情報を入力データとしてもよい。また、例えば、複数の種類の情報の入力データが輝度正面画像及びOCTA正面画像である場合には、これら正面画像は少なくとも一部が共通であるOCTデータを用いて得た共通の深度範囲の正面画像であってもよいし、互いに異なる深度範囲の正面画像であってもよい。また、例えば、緑内障の診断結果を得たい場合には、視神経乳頭の周辺をサークルスキャンして得た断層画像やOCTA断層画像を入力データとしてもよい。また、例えば、緑内障の診断結果を得たい場合には、視神経乳頭をクロススキャンして得た複数の断層画像や複数のOCTA断層画像を入力データとしてもよい。また、例えば、緑内障の診断結果は、緑内障の種類や状態(程度)であってもよい。このとき、例えば、緑内障の診断結果は、緑内障の前視野緑内障(PPG:Preperimetric Glaucoma)、前期、中期、後期等であってもよい。また、緑内障の診断結果は、視野欠損等の視野異常の疑いは低いが、視神経乳頭陥凹の拡大や視神経線維の欠損等の網膜に関する形態的な変化(異常)の疑いが高い状態、緑内障の疑いが低い状態等であってもよい。
なお、入力データとして用いる情報毎又は情報の種類毎に学習済モデルを用意し、学習済モデルを用いて、診断結果を取得してもよい。この場合、各学習済モデルから出力された情報に統計的な処理を行い、最終的な診断結果を決定してもよい。例えば、各学習済モデルから出力された情報の割合を各種類の情報毎に加算し、他の情報よりも割合の合計が高い情報を最終的な診断結果として決定してもよい。なお、統計的な処理は合計の算出に限られず、平均値や中央値の算出等であってもよい。また、例えば、各学習済モデルから出力された情報のうち、他の情報よりも割合の高い情報(最も割合の高い情報)を用いて診断結果を決定してもよい。同様に、各学習済モデルから出力された情報のうち、閾値以上である割合の情報を用いて診断結果を決定してもよい。
また、操作者の指示(選択)に応じて、決定された診断結果の良否の判定(承認)が可能に構成されてもよい。また、操作者の指示(選択)に応じて、各学習済モデルから出力された情報から診断結果を決定してもよい。このとき、例えば、表示制御部250が、各学習済モデルから出力された情報及びその割合を並べて表示部270に表示させてもよい。そして、操作者が、例えば、他の情報よりも割合の高い情報を選択することにより、選択された情報を診断結果として決定するように構成されてもよい。さらに、各学習済モデルから出力された情報から、機械学習モデルを用いて、診断結果を決定してもよい。この場合には、機械学習アルゴリズムとして、診断結果生成に用いられた機械学習アルゴリズムとは異なる種類の機械学習アルゴリズムであってもよく、例えば、サポートベクターマシン、アダブースト、ベイジアンネットワーク、又はランダムフォレスト等を用いてよい。
なお、上述した種々の学習済モデルの学習は、教師あり学習(ラベル付きの学習データで学習)だけでなく、半教師あり学習であってもよい。半教師あり学習は、例えば、複数の識別器(分類器)がそれぞれ教師あり学習を行った後、ラベルのない学習データを識別(分類)し、識別結果(分類結果)の信頼度に応じて(例えば、確からしさが閾値以上の識別結果を)自動的にラベル付け(アノテーション)し、ラベル付けされた学習データで学習を行う手法である。半教師あり学習は、例えば、共訓練(Co−Training、あるいはMultiview)であってもよい。このとき、診断結果生成用の学習済モデルは、例えば、正常な被検体の医用画像を識別する第1の識別器と、特定の病変を含む医用画像を識別する第2の識別器とを用いて半教師あり学習(例えば、共訓練)して得た学習済モデルであってもよい。なお、診断目的に限らず、例えば撮影支援等を目的としてもよい。この場合、第2の識別器は、例えば、注目部位やアーチファクト領域等の部分領域を含む医用画像を識別するものであってもよい。
また、上述した様々な実施例及び変形例における表示制御部250は、表示画面のレポート画面において、上述したような注目部位、アーチファクト領域、異常部位等の部分領域の物体認識結果(物体検出結果)やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け(アノテーション)した学習データを学習して得た学習済モデル(物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル)を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
また、異常部位を検出する場合には、画像処理部220は、敵対的生成ネットワーク(GAN:Generative Adversarial Netwoks)や変分オートエンコーダ―(VAE:Variational auto−encoder)を用いてもよい。例えば、断層画像の生成を学習して得た生成器と、生成器が生成した新たな断層画像と本物の眼底正面画像との識別を学習して得た識別器とからなるDCGAN(Deep Convolutional GAN)を機械学習モデルとして用いることができる。
DCGANを用いる場合には、例えば、識別器が入力された断層画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出することができる。また、VAEを用いる場合には、例えば、入力された断層画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像像との差分を異常部位として抽出することができる。なお、入力データの例として断層画像を例として説明したが、眼底画像や前眼の正面画像等を用いてもよい。
さらに、画像処理部220は、畳み込みオートエンコーダ(CAE:Convolutional Auto−Encoder)を用いて、異常部位を検出してもよい。CAEを用いる場合には、学習時に入力データ及び出力データとして同じ画像を学習させる。これにより、推定時に異常部位がある画像をCAEに入力すると、学習の傾向に従って異常部位がない画像が出力される。その後、CAEに入力された画像とCAEから出力された画像の差分を異常部位として抽出することができる。なお、この場合にも、断層画像だけでなく、眼底画像や前眼の正面画像等を入力データとして用いてもよい。
これらの場合、画像処理部220は、敵対的生成ネットワーク又はオートエンコーダ(AE)を用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、画像処理部220は、高速に精度よく異常部位を検出することが期待できる。ここで、オートエンコーダには、VAEやCAE等が含まれる。例えば、画像処理部220は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部250は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として表示部270に表示させることができる。
また、疾病眼では、疾病の種類に応じて画像特徴が異なる。そのため、上述した様々な実施例や変形例において用いられる学習済モデルは、疾病の種類毎又は異常部位毎にそれぞれ生成・用意されてもよい。この場合には、例えば、制御部200は、操作者からの被検眼の疾病の種類や異常部位等の入力(指示)に応じて、処理に用いる学習済モデルを選択することができる。なお、疾病の種類や異常部位毎に用意される学習済モデルは、網膜層の検出や領域ラベル画像等の生成に用いられる学習済モデルに限られず、例えば、画像の評価用のエンジンや解析用のエンジン等で用いられる学習済モデルであってもよい。このとき、制御部200は、別に用意された学習済モデルを用いて、画像から被検眼の疾病の種類や異常部位を識別してもよい。この場合には、制御部200は、当該別に用意された学習済モデルを用いて識別された疾病の種類や異常部位に基づいて、上記処理に用いる学習済モデルを自動的に選択することができる。なお、当該被検眼の疾病の種類や異常部位を識別するための学習済モデルは、断層画像や眼底画像等を入力データとし、疾病の種類やこれら画像における異常部位を出力データとした学習データのペアを用いて学習を行ってよい。ここで、学習データの入力データとしては、断層画像や眼底画像等を単独で入力データとしてもよいし、これらの組み合わせを入力データとしてもよい。
また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像(あるいは輝度断層画像)をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像(Bスキャン画像)及びカラー眼底画像(あるいは蛍光眼底画像)をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。
また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像(Bスキャン画像)と前眼部の断層画像(Bスキャン画像)とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元OCT画像(三次元断層画像)と眼底の視神経乳頭のサークルスキャン(又はラスタスキャン)断層画像とをセットとする入力データ等も考えられる。
なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した種々の学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。例えば、推定時(予測時)において、広画角画像における複数の位置で異常部位が検出された場合に、各異常部位の拡大画像を順次表示可能に構成させる。これにより、複数の位置における異常部位を効率よく確認することができるため、例えば、検者の利便性を向上することができる。このとき、例えば、異常部位が検出された広画角画像上の各位置を検者が選択可能に構成され、選択された位置における異常部位の拡大画像が表示されるように構成されてもよい。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも1つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、表示制御部250によって表示部270に表示される、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面(各種のライブ動画像が表示される表示画面)等の少なくとも1つの表示画面に表示されてもよい。例えば、上述した種々の学習済モデルを用いて得た上記少なくとも1つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、例えば、特定の物体が認識されると、認識された物体を囲う枠がライブ動画像に重畳表示させるように構成されてもよい。このとき、物体認識結果の確からしさを示す情報(例えば、割合を示す数値)が閾値を超えた場合には、例えば、物体を囲う枠の色が変更される等のように強調表示されてもよい。これにより、検者は、物体をライブ動画上で容易に識別することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。
なお、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け(アノテーション)等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け(アノテーション)して得た正解データを(順次)追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。また、例えば、結果の精度が低い医用画像については、検者が該医用画像上に、学習済モデルが抽出した特徴量を可視化したマップ(ヒートマップ)を確認しながらラベル付け(アノテーション)した画像を入力データとして追加学習するように構成されてもよい。例えば、学習済モデルにおける結果を出力する直前等のレイヤー上のヒートマップにおいて、注目すべき箇所が検者の意図と異なる場合には、検者が注目すべきと考える箇所にラベル付け(アノテーション)した医用画像を追加学習してもよい。これにより、例えば、学習済モデルは、医用画像上の部分領域であって、学習済モデルの出力結果に対して比較的影響が大きな部分領域の特徴量を、他の領域よりも優先して(重みを付けて)追加学習することができる。
ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習(Deep Learning)がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ(自己符号化器)に関する技術が用いられてもよい。また、学習には、バックプロパゲーション(誤差逆伝搬法)に関する技術が用いられてもよい。また、学習には、各ユニット(各ニューロン、あるいは各ノード)をランダムに不活性化する手法(ドロップアウト)が用いられてもよい。また、学習には、多階層のニューラルネットワークの各層に伝わったデータを、活性化関数(例えばReLu関数)が適用される前に、正規化する手法(バッチ正規化)が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出(表現)可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした(学習を行った)モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ(正解データ)のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。
なお、GPUは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、GPUで処理を行うことが有効である。そこで、本変形例では、学習部(不図示)の一例である画像処理部220による処理には、CPUに加えてGPUを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、CPUとGPUが協働して演算を行うことで学習を行う。なお、学習部の処理は、CPUまたはGPUのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部(推定部)も、学習部と同様にGPUを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するU−net型の機械学習モデルが適用可能である。U−net型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報(空間情報)を、デコーダーとして構成される複数の階層において、同次元の階層(互いに対応する階層)で用いることができるように(例えば、スキップコネクションを用いて)構成される。
また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、例えば、FCN(Fully Convolutional Network)、又はSegNet等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、RCNN(Region CNN)、fastRCNN、又はfasterRCNNを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、YOLO(YouOnly Look Onse)、又はSSD(Single Shot Detector、あるいはSingle Shot MultiBox Detector)を用いることもできる。
また、機械学習モデルは、例えば、カプセルネットワーク(Capsule Network;CapsNet)でもよい。ここで、一般的なニューラルネットワークでは、各ユニット(各ニューロン、あるいは各ノード)はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係(相対位置)に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット(各カプセル)は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
また、高画質化エンジン(高画質化用の学習済モデル)は、高画質化エンジンにより生成された少なくとも1つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。なお、これらの構成は、高画質化用の学習済モデルに限らず、上述した様々な学習済モデルに対しても適用可能である。また、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け(アノテーション)等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け(アノテーション)して得た正解データを(順次)追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。
また、上述した様々な実施例及び変形例において、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて被検眼の部分領域(例えば、注目部位、アーチファクト領域、異常部位等)を検出する場合には、検出した領域毎に所定の画像処理を施すこともできる。例えば、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも2つの領域を検出する場合を考える。この場合には、検出された少なくとも2つの領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は領域毎の疾病等をより適切に診断することができる。なお、検出された領域毎に異なる画像処理のパラメータを用いる構成については、例えば、学習済モデルを用いずに検出された被検眼の領域について同様に適用されてもよい。
(変形例10)
上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも1つのフレーム毎に上述した種々の学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。
上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも1つのフレーム毎に上述した種々の学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。
なお、複数のライブ動画像は、例えば、XYZ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やOCTフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、OCTのコヒーレンスゲート調整(測定光路長と参照光路長との光路長差の調整)のための眼底の断層動画像等であってもよい。このとき、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように構成されてもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やRPE等の所定の網膜層等に関する値(例えば、コントラスト値あるいは強度値)が閾値を超える(あるいはピーク値になる)ように、OCTフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やRPE等の所定の網膜層が深さ方向における所定の位置になるように、OCTのコヒーレンスゲート調整が行われるように構成されてもよい。
これらの場合には、画質向上部224は、学習済モデルを用いて、動画像について高画質化処理を行って、高画質な動画像を生成することができる。また、駆動制御部230は、高画質な動画像が表示された状態で、セグメンテーション処理等により得た注目部位等の部分領域が表示領域における所定の位置になるように、参照光学系における反射ミラー123等の撮影範囲を変更するための光学部材を駆動制御することができる。このような場合には、駆動制御部230は、精度の高い情報に基づいて、所望される領域が表示領域の所定の位置になるように自動的にアライメント処理を行うことができる。なお、撮影範囲を変更する光学部材としては、例えばコヒーレンスゲート位置を調整する光学部材であってよく、具体的には参照光学系における反射ミラー123等であってよい。また、コヒーレンスゲート位置は、測定光路長及び参照光路長の光路長差を変更する光学部材によって調整されることができ、当該光学部材は、例えば、不図示の測定光の光路長を変更するためのミラー等であってもよい。なお、撮影範囲を変更する光学部材は、例えばステージ部(不図示)であってもよい。また、駆動制御部230は、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーチファクト領域等の部分領域が再度撮影(リスキャン)されるように、上述した走査部を駆動制御してもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報(例えば、割合を示す数値)が閾値を超えた場合には、各調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報(例えば、割合を示す数値)が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更(実行禁止状態を解除)するように構成されてもよい。
また、上述した種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部240に記憶(保存)された動画像であってもよい。このとき、例えば、記憶部240に記憶(保存)された眼底の断層動画像の少なくとも1つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、XZ方向の断層画像(Bスキャン像)である。そして、選択された基準フレームに対して他のフレームがXZ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも1つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像(高画質フレーム)を連続表示させるように構成してもよい。
なお、上述したフレーム間の位置合わせの手法としては、X方向の位置合わせの手法とZ方向(深度方向)の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像(Bスキャン像)をセグメンテーション処理して得た網膜層境界を用いた(Z方向の粗い)位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報(類似度)を用いた(X方向やZ方向の精密な)位置合わせ、断層画像(Bスキャン像)毎に生成した1次元投影像を用いた(X方向の)位置合わせ、2次元正面画像を用いた(X方向の)位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
(変形例11)
また、上述した様々な実施例及び変形例においては、学習済モデルが追加学習の実行中である場合、追加学習の実行中の学習済モデル自体を用いて出力(推論・予測)することが難しい可能性がある。例えば、追加学習の実行中の画質向上部では画質向上処理を実行することが難しい可能性がある。このため、追加学習の実行中の学習済モデルに対する学習データ以外の医用画像の入力を禁止するように構成されることがよい。また、追加学習の実行前の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習の実行中には、予備の学習済モデルに対する学習データ以外の医用画像の入力を実行可能なように構成されることがよい。追加学習が完了した後に、追加学習の実行後の学習済モデルを評価し、問題がなければ、予備の学習済モデルから追加学習の実行後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、追加学習して得た学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け(アノテーション)されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時(予測時)の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報(例えば、割合を示す数値)と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理(例えば、位置合わせして得た複数の低画質画像の平均化処理)等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。また、追加学習の実行後の学習済モデルの評価としては、例えば、追加学習の実行後の学習済モデルと追加学習の実行前の学習済モデル(予備の学習済モデル)とをそれぞれ用いて同一の画像から得た複数の高画質画像を比較、あるいは該複数の高画質画像の解析結果を比較してもよい。このとき、例えば、該複数の高画質画像の比較結果(追加学習による変化の一例)、あるいは該複数の高画質画像の解析結果の比較結果(追加学習による変化の一例)が所定の範囲であるか否かを判定し、判定結果が表示されてもよい。
また、上述した様々な実施例及び変形例においては、学習済モデルが追加学習の実行中である場合、追加学習の実行中の学習済モデル自体を用いて出力(推論・予測)することが難しい可能性がある。例えば、追加学習の実行中の画質向上部では画質向上処理を実行することが難しい可能性がある。このため、追加学習の実行中の学習済モデルに対する学習データ以外の医用画像の入力を禁止するように構成されることがよい。また、追加学習の実行前の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習の実行中には、予備の学習済モデルに対する学習データ以外の医用画像の入力を実行可能なように構成されることがよい。追加学習が完了した後に、追加学習の実行後の学習済モデルを評価し、問題がなければ、予備の学習済モデルから追加学習の実行後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、追加学習して得た学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け(アノテーション)されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時(予測時)の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報(例えば、割合を示す数値)と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理(例えば、位置合わせして得た複数の低画質画像の平均化処理)等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。また、追加学習の実行後の学習済モデルの評価としては、例えば、追加学習の実行後の学習済モデルと追加学習の実行前の学習済モデル(予備の学習済モデル)とをそれぞれ用いて同一の画像から得た複数の高画質画像を比較、あるいは該複数の高画質画像の解析結果を比較してもよい。このとき、例えば、該複数の高画質画像の比較結果(追加学習による変化の一例)、あるいは該複数の高画質画像の解析結果の比較結果(追加学習による変化の一例)が所定の範囲であるか否かを判定し、判定結果が表示されてもよい。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第1の撮影部位(肺、被検眼等)を含む学習データを用いて得た第1の学習済モデルと、第1の撮影部位とは異なる第2の撮影部位を含む学習データを用いて得た第2の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、制御部200は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、制御部200は、選択された学習済モデルに対して追加学習として実行する制御手段を有してもよい。制御手段は、操作者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってもよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
なお、選択手段及び制御手段は、制御部200のCPUやMPU等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ASIC等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
また、追加学習用の学習データを、上述したような施設等の外部のサーバ等からネットワークを介して取得する際には、改ざん、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わないものとする。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。
また、上述したような一致性の確認によるデータの保護は、追加学習用の学習データに限らず、医用画像を含むデータに適用可能である。また、複数の施設のサーバの間の医用画像を含むデータの取引が分散型のネットワークにより管理されるように画像管理システムが構成されてもよい。また、取引履歴と、前のブロックのハッシュ値とが一緒に記録された複数のブロックを時系列につなぐように画像管理システムが構成されてもよい。なお、一致性の確認等を行うための技術としては、量子ゲート方式等の量子コンピュータを用いても計算が困難な暗号(例えば、格子暗号、量子鍵配送による量子暗号等)が用いられてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムであってもよい。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム(PACS)を含むことができる。また、画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。
(変形例12)
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示(例えば、ユーザーインターフェース等を用いた指示)以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル(音声認識エンジン、音声認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル(文字認識エンジン、文字認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル(ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示(例えば、ユーザーインターフェース等を用いた指示)以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル(音声認識エンジン、音声認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル(文字認識エンジン、文字認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル(ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。
また、検者からの指示は、表示部270における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部270における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ(波形データ)等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データ又は音声データ等を入力データとし、高画質画像の表示の実行命令及び高画質化ボタン3420をアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク(RNN:Recurrernt Neural Network)を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるRNNに関して、図18(a)及び(b)を参照して説明する。また、RNNの一種であるLong short−term memory(以下、LSTM)に関して、図19(a)及び(b)を参照して説明する。
図18(a)は、機械学習モデルであるRNNの構造を示す。RNN3520は、ネットワークにループ構造を持ち、時刻tにおいてデータxt3510を入力し、データht3530を出力する。RNN3520はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図18(b)には時刻tにおけるパラメータベクトルの入出力の一例を示す。データxt3510にはN個(Params1〜ParamsN)のデータが含まれる。また、RNN3520より出力されるデータht3530には入力データに対応するN個(Params1〜ParamsN)のデータが含まれる。
しかし、RNNでは誤差逆伝搬時に長期時間の情報を扱うことができないため、LSTMが用いられることがある。LSTMは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図19(a)にLSTMの構造を示す。LSTM3540において、ネットワークが次の時刻tに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ct−1と出力データht−1である。なお、図の小文字(c、h、x)はベクトルを表している。
次に、図19(b)にLSTM3540の詳細を示す。図19(b)において、FGは忘却ゲートネットワーク、IGは入力ゲートネットワーク、OGは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が0から1の値となるベクトルを出力する。忘却ゲートネットワークFGは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークIGはどの値を更新するかを判定するものである。CUは、セル更新候補ネットワークであり、活性化関数tanh層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークOGは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
なお、上述したLSTMのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。LSTMではなく、QRNN(Quasi Recurrent Neural Network)を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術(例えば、Sequence toSequence)が適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン(対話モデル、対話用の学習済モデル)が適用されてもよい。
また、自然言語処理に関する技術としては、文書データを教師なし学習により事前学習して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、事前学習して得た学習済モデルを更に目的に応じて転移学習(あるいはファインチューニング)して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、例えば、BERT(Bidirectional Encoder Representations from Transformers)が適用されてもよい。また、自然言語処理に関する技術としては、文章内の特定の単語を左右両方の文脈から予測することで、文脈(特徴量)を自ら抽出(表現)可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、入力される時系列データにおける2つのシーケンス(センテンス)の関係性(連続性)を判断可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、隠れ層にTransformerのEncoderが用いられ、ベクトルのシーケンスが入力、出力されるモデルが適用されてもよい。
ここで、本変形例が適用可能な検者からの指示は、上述した様々な実施例及び変形例に記載のような種々の画像や解析結果の表示の変更、En−Face画像の生成のための深度範囲の選択、追加学習用の学習データとして用いるか否かの選択、学習済モデルの選択、種々の学習済モデルを用いて得た結果の出力(表示や送信等)や保存等、に関する少なくとも1つの指示であれば何でもよい。また、本変形例が適用可能な検者からの指示は、撮影後の指示だけでなく、撮影前の指示であってもよく、例えば、種々の調整に関する指示、種々の撮影条件の設定に関する指示、撮影開始に関する指示であってもよい。また、本変形例が適用可能な検者からの指示は、表示画面の変更(画面遷移)に関する指示であってもよい。
なお、機械学習モデルとしては、CNN等の画像に関する機械学習モデルとRNN等の時系列データに関する機械学習モデルとを組み合わせた機械学習モデルであってもよい。このような機械学習モデルでは、例えば、画像に関する特徴量と時系列データに関する特徴量との関係性を学習することができる。機械学習モデルの入力層側がCNNで、出力層側がRNNである場合には、例えば、医用画像を入力データとし、該医用画像に関する文章(例えば、病変の有無、病変の種類、次の検査のレコメンド等)を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、医用画像に関する医療情報が自動的に文章で説明されるため、医療経験が浅い検者であっても、医用画像に関する医療情報を容易に把握することができる。また、機械学習モデルの入力層側がRNNで、出力層側がCNNである場合には、例えば、病変、所見、診断等の医療に関する文章を入力データとし、該医療に関する文章に対応する医用画像を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、検者が確認したい症例に関係する医用画像を容易に検索することができる。
また、検者からの指示や検者に対する出力には、文字や音声等の文章を任意の言語に機械翻訳する機械翻訳エンジン(機械翻訳モデル、機械翻訳用の学習済モデル)が用いられてもよい。なお、任意の言語は、検者からの指示に応じて選択可能に構成されてもよい。また、任意の言語は、言語の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、自動選択された言語の種類を検者からの指示に応じて修正可能に構成されてもよい。機械翻訳エンジンには、例えば、上述した自然言語処理に関する技術(例えば、Sequence to Sequence)が適用されてもよい。例えば、機械翻訳エンジンに入力された文章が機械翻訳された後に、機械翻訳された文章を文字認識エンジン等に入力するように構成されてもよい。また、例えば、上述した種々の学習済モデルから出力された文章を機械翻訳エンジンに入力し、機械翻訳エンジンから出力された文章が出力されるように構成されてもよい。
また、上述した種々の学習済モデルが組み合わせて用いられてもよい。例えば、検者からの指示に対応する文字が文字認識エンジンに入力され、入力された文字から得た音声を他の種類の機械学習エンジン(例えば、機械翻訳エンジン等)に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された文字が文字認識エンジンに入力され、入力された文字から得た音声が出力されるように構成されてもよい。また、例えば、検者からの指示に対応する音声が音声認識エンジンに入力され、入力された音声から得た文字を他の種類の機械学習エンジン(例えば、機械翻訳エンジン等)に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された音声が音声認識エンジンに入力され、入力された音声から得た文字が表示部に表示されるように構成されてもよい。このとき、検者に対する出力として文字による出力か音声による出力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示として文字による入力か音声による入力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示による選択によって、上述した種々の構成が採用されるようにしてもよい。
(変形例13)
上述した様々な実施例及び変形例において、高画質画像等は、検者からの指示に応じて記憶部240に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所(例えば、最初の箇所、最後の箇所)に、高画質化用の学習済モデルを用いた処理(高画質化処理)により生成された画像であることを示す情報(例えば、文字)を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。
上述した様々な実施例及び変形例において、高画質画像等は、検者からの指示に応じて記憶部240に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所(例えば、最初の箇所、最後の箇所)に、高画質化用の学習済モデルを用いた処理(高画質化処理)により生成された画像であることを示す情報(例えば、文字)を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。
また、レポート画面等の種々の表示画面において、表示部に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、ユーザは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。
このとき、レポート画面等の表示画面は、検者からの指示に応じて、画像データとして記憶部240に保存されてもよい。例えば、高画質画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ1つの画像としてレポート画面が記憶部240に保存されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部270に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部270に表示されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報(例えば、文字)を、高画質画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域(例えば、画像の端)であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。
また、レポート画面の初期表示画面として、高画質化ボタン3420がアクティブ状態(高画質化処理がオン)となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、高画質化ボタン3420がアクティブ状態となるようにデフォルト設定されている場合には、検査終了時(例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合)に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに(自動的に)送信されるように構成されてもよい。このとき、デフォルト設定における各種設定(例えば、レポート画面の初期表示画面におけるEn−Face画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも1つに関する設定)に基づいて生成されたレポート画像がサーバに送信されるように構成されてもよい。
なお、記憶部240を用いて保存する構成を上述したが、記憶部240は、ネットワークのデータサーバ、クラウド、データベース等であってもよい。また、表示部270の表示制御は、記憶部240、データ管理媒体、画像管理システムを通じて実行されてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム(PACS)を含むことができる。特に、下記実施形態に係る画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。また、画像管理システムにおいて、上述した様々な実施例及び変形例における学習に関する内容を識別するための情報(上述したように、画像に重畳させる、ファイル名に記述する、ファイル内部のヘッダに情報を記載する)を画像および情報に紐付けしてもよい。これにより、例えば、保存されている画像が、学習済モデルを用いた処理後の画像であるかどうかを容易に識別することができる。また、画像管理システムは、このような画像データを受信した際に、受信した画像データが学習済モデルを用いて処理して得たデータであるか否かを、送信元に確認するように構成されてもよい。また、紐付けする情報は、学習モデル情報(他の処理、疾患、装置、リーディングセンター)であってもよい。また、本変形例における保存される情報及び表示される情報は、上述したような、学習済の画像評価結果(数値、評価内容、追加学習などの情報)であってもよい。
(変形例14)
上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第1の種類の学習済モデルで得た画像(例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像)を、第1の種類とは異なる第2の種類の学習済モデルに入力してもよい。このとき、第2の種類の学習済モデルの処理による結果(例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果)が生成されるように構成されてもよい。
上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第1の種類の学習済モデルで得た画像(例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像)を、第1の種類とは異なる第2の種類の学習済モデルに入力してもよい。このとき、第2の種類の学習済モデルの処理による結果(例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果)が生成されるように構成されてもよい。
また、上述したような種々の学習済モデルのうち、第1の種類の学習済モデルの処理による結果(例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果)を用いて、第1の種類の学習済モデルに入力した画像から、第1の種類とは異なる第2の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第2の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第2の種類の学習済モデルに入力して得た画像(例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像)の精度を向上することができる。
なお、共通の画像が、第1の種類の学習済モデルと第2の種類の学習済モデルとに入力されることで、これらの学習済モデルを用いた各処理結果の生成(あるいは表示)を実行するように構成されてもよい。このとき、例えば、検者からの指示に応じて、これらの学習済モデルを用いた各処理結果の生成(あるいは表示)を一括して(連動して)実行するように構成されてもよい。また、入力させる画像の種類(例えば、高画質画像、物体認識結果、セグメンテーション結果、類似症例画像)、生成(あるいは表示)させる処理結果の種類(例えば、高画質画像、診断結果、解析結果、物体認識結果、セグメンテーション結果、類似症例画像)、入力の種類や出力の種類(例えば、文字、音声、言語)等をそれぞれ検者からの指示に応じて選択可能に構成されてもよい。また、入力の種類は、入力の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、出力の種類は、入力の種類と対応する(例えば、同じ種類になる)ように自動選択可能に構成されてもよい。また、自動選択された種類を検者からの指示に応じて修正可能に構成されてもよい。このとき、選択された種類に応じて少なくとも1つの学習済モデルが選択されるように構成されてもよい。このとき、複数の学習済モデルが選択された場合には、選択された種類に応じて複数の学習済モデルの組み合わせ方(例えば、データを入力させる順番等)が決定されてもよい。なお、例えば、入力させる画像の種類と、生成(あるいは表示)させる処理結果の種類とが、異なるように選択可能に構成されてもよいし、同じである場合には異なるように選択することを促す情報を検者に対して出力するように構成されてもよい。また、各学習済モデルはどの場所で実行されてもよい。例えば、複数の学習済モデルのうちの一部がクラウドサーバで用いられ、他はフォグサーバやエッジサーバ等の別のサーバで用いられるように構成されてもよい。
なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。これらにより、例えば、硝子体、白内障、緑内障、角膜屈折矯正、外眼等の手術や、レーザー光凝固等の治療が、遠隔であってもリアルタイムに支援することができる。このとき、例えば、これらの手術や治療に関する装置により得た種々の医用画像の少なくとも1つを無線により受信したフォグサーバやエッジサーバ等が種々の学習済モデルの少なくとも1つを用いて得た情報を手術や治療に関する装置に無線で送信するように構成されてもよい。また、例えば、手術や治療に関する装置に無線で受信した情報が、上述したような光学系や光学部材の移動量(ベクトル)であってもよく、この場合、手術や治療に関する装置が自動制御されるように構成されてもよい。また、例えば、検者による操作の支援を目的として、検者の許可を伴う自動制御(半自動制御)として構成されてもよい。
また、上述したような種々の学習済モデルは、被検体の2次元の医用画像を含む学習データを学習して得た学習済モデルであってもよいし、また、被検体の3次元の医用画像を含む学習データを学習して得た学習済モデルであってもよい。
また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。また、上述したような種々の学習済モデルの処理による物体認識結果やセグメンテーション結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似症例画像検索エンジン(類似症例画像検査モデル、類似症例画像検索用の学習済モデル)が用いられてもよい。例えば、制御部200は、(高画質化用の学習済モデルとは異なる)類似症例画像検索用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する類似症例画像の検索を行うことができる。また、例えば、表示制御部250は、種々の医用画像から類似症例画像検索用の学習済モデルを用いて得た類似症例画像を表示部270に表示させることができる。このとき、類似症例画像は、例えば、学習済モデルに入力された医用画像の特徴量と類似する特徴量の画像である。また、類似症例画像は、例えば、学習済モデルに入力された医用画像において異常部位等の部分領域が含まれる場合には、異常部位等の部分領域の特徴量と類似する特徴量の画像である。このため、例えば、類似症例画像を精度よく検索するための学習を効率的に行うことができるだけでなく、医用画像において異常部位が含まれる場合には、検者は異常部位の診断を効率よく行うことができる。また、複数の類似症例画像が検索されてもよく、特徴量が類似する順番が識別可能に複数の類似症例画像が表示されてもよい。また、複数の類似症例画像のうち、検者からの指示に応じて選択された画像と該画像との特徴量とを含む学習データを用いて、類似症例画像検索用の学習済モデルが追加学習されるように構成されてもよい。
また、上述した実施例及び変形例に係る所定領域検出用、高画質化用、画像セグメンテーション処理用等の学習済モデルでは、断層画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推定処理に用いているものと考えらえる。一方で、音声認識用や文字認識用、ジェスチャー認識用等の学習済モデルでは、時系列のデータを用いて学習を行っているため、入力される連続する時系列のデータ値間の傾きも特徴量の一部として抽出し、推定処理に用いているものと考えられる。そのため、このような学習済モデルは、具体的な数値の時間的な変化による影響を推定処理に用いることで、精度のよい推定を行うことができると期待される。
また、各種学習済モデルの学習データは、実際の撮影を行う眼科装置自体を用いて得たデータに限られず、所望の構成に応じて、同型の眼科装置を用いて得たデータや、同種の眼科装置を用いて得たデータ等であってもよい。
なお、上述した実施例及び変形例に係る各種学習済モデルは制御部200に設けられることができる。学習済モデルは、例えば、CPUや、MPU、GPU、FPGA等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ASIC等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御部200と接続される別のサーバの装置等に設けられてもよい。この場合には、制御部200は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。
(変形例15)
なお、上記実施例及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、OCT撮影部100で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。
なお、上記実施例及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、OCT撮影部100で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。
分割手段としてカプラを使用したファイバ光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、OCT撮影部100の構成は、上記の構成に限られず、OCT撮影部100に含まれる構成の一部をOCT撮影部100と別体の構成としてもよい。
また、上記実施例及び変形例では、OCT撮影部100の干渉光学系としてマッハツェンダー型干渉計の構成を用いているが、干渉光学系の構成はこれに限られない。例えば、OCT装置1の干渉光学系はマイケルソン干渉計の構成を有していてもよい。
さらに、上記実施例及び変形例では、OCT装置として、SLDを光源として用いたスペクトラルドメインOCT(SD−OCT)装置について述べたが、本発明によるOCT装置の構成はこれに限られない。例えば、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型OCT(SS−OCT)装置等の他の任意の種類のOCT装置にも本発明を適用することができる。また、ライン光を用いたLine−OCT装置(あるいはSS−Line−OCT装置)に対して本発明を適用することもできる。また、エリア光を用いたFull Field−OCT装置(あるいはSS−Full Field−OCT装置)にも本発明を適用することもできる。
また、上記実施例及び変形例では、取得部210は、OCT撮影部100で取得された干渉信号や画像処理部220で生成された三次元断層画像等を取得した。しかしながら、取得部210がこれらの信号や画像を取得する構成はこれに限られない。例えば、取得部210は、制御部とLAN、WAN、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。
なお、学習済モデルは、画像処理装置である制御部200,900,1400に設けられることができる。学習済モデルは、例えば、CPU等のプロセッサーによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、制御部200,900,1400と接続される別のサーバ等に設けられてもよい。この場合には、制御部200,900,1400は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて画質向上処理を行うことができる。なお、学習済モデルが設けられるサーバは、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。
(変形例16)
また、上述した様々な実施例及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ(撮影装置、撮影方法)を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施例及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。
また、上述した様々な実施例及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ(撮影装置、撮影方法)を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施例及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。
さらに、処理される医用画像は、被検者(被検体)の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造(形態)を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、OCTA画像、ドップラーOCT画像、fMRI画像、及び超音波ドップラー画像等の血流動態(血流量、血流速度等)を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼(被検眼)、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、OCTで取得したデータについて撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したEn−Face画像を含む。En−Face画像は、三次元のOCTAデータ(三次元のモーションコントラストデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したOCTAのEn−Face画像(モーションコントラスト正面画像)でもよい。また、三次元のOCTデータや三次元のモーションコントラストデータは、三次元の医用画像データの一例である。
ここで、モーションコントラストデータとは、被検眼の同一領域(同一位置)において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するOCTアンギオグラフィ(OCTA)に関するOCTA正面画像(OCTAのEn−Face画像)とも呼ばれ、モーションコントラストデータはOCTAデータとも呼ばれる。モーションコントラストデータは、例えば、2枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値(最大値/最小値)として求めることができ、公知の任意の方法により求められてよい。このとき、2枚の断層画像は、例えば、被検眼の同一領域(同一位置)において測定光が複数回走査されるように制御して得ることができる。
ここで、モーションコントラストデータとは、被検眼の同一領域(同一位置)において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するOCTアンギオグラフィ(OCTA)に関するOCTA正面画像(OCTAのEn−Face画像)とも呼ばれ、モーションコントラストデータはOCTAデータとも呼ばれる。モーションコントラストデータは、例えば、2枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値(最大値/最小値)として求めることができ、公知の任意の方法により求められてよい。このとき、2枚の断層画像は、例えば、被検眼の同一領域(同一位置)において測定光が複数回走査されるように制御して得ることができる。
なお、略同一位置を測定光が複数回走査されるように走査手段を制御する際に、一つの走査(一つのBスキャン)と次の走査(次のBスキャン)との時間間隔(タイムインターバル)が変更(決定)されるように構成されてもよい。これにより、例えば、血管の状態によって血流速度が異なる場合があっても、血管領域を精度よく可視化することができる。このとき、例えば、検者からの指示に応じて、上記時間間隔が変更可能に構成されてもよい。また、例えば、検者からの指示に応じて、予め設定されている複数の時間間隔に対応する複数のモーションコントラスト画像から、いずれかのモーションコントラスト画像が選択可能に構成されてもよい。また、例えば、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータとを対応づけて記憶部240に記憶可能に構成されてもよい。また、例えば、表示制御部250は、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータに対応するモーションコントラスト画像とを表示部270に表示させてもよい。また、例えば、上記時間間隔が自動的に決定、あるいは上記時間間隔の少なくとも1つの候補が決定されるように構成されてもよい。このとき、例えば、機械学習モデルを用いて、モーションコントラスト画像から、上記時間間隔が決定(出力)されるように構成されてもよい。このような機械学習モデルは、例えば、複数の時間間隔に対応する複数のモーションコントラスト画像を入力データとし、該複数の時間間隔から所望のモーションコントラスト画像を取得した際の時間間隔までの差を正解データとする学習データを学習することにより得ることができる。
また、En−Face画像は、例えば、2つの層境界の間の範囲のデータをXY方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ(三次元の断層画像)の少なくとも一部の深度範囲であって、2つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影又は積算して生成される。En−Face画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを二次元平面に投影して生成された正面画像である。なお、2つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。ここで、代表値は、2つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、En−Face画像に係る深度範囲は、例えば、検出された網膜層に関する2つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、En−Face画像に係る深度範囲は、例えば、検出された網膜層に関する2つの層境界の間の範囲から、操作者の指示に応じて変更された(オフセットされた)範囲であってもよい。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、X線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、X線撮影装置、CT装置、MRI装置、PET装置、SPECT装置、SLO装置、OCT装置、OCTA装置、眼底カメラ、及び内視鏡等を含む。
なお、OCT装置としては、タイムドメインOCT(TD−OCT)装置やフーリエドメインOCT(FD−OCT)装置を含んでよい。また、フーリエドメインOCT装置はスペクトラルドメインOCT(SD−OCT)装置や波長掃引型OCT(SS−OCT)装置を含んでよい。また、OCT装置は、Doppler−OCT装置を含んでよい。また、SLO装置やOCT装置として、波面補償光学系を用いた波面補償SLO(AO−SLO)装置や波面補償OCT(AO−OCT)装置等を含んでよい。また、SLO装置やOCT装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光SLO(PS−SLO)装置や偏光OCT(PS−OCT)装置等を含んでよい。また、SLO装置やOCT装置として、病理顕微鏡SLO装置や病理顕微鏡OCT装置等を含んでよい。また、SLO装置やOCT装置として、ハンドヘルド型のSLO装置やハンドヘルド型のOCT装置等を含んでよい。また、SLO装置やOCT装置として、カテーテルSLO装置やカテーテルOCT装置等を含んでよい。また、SLO装置やOCT装置として、ヘッドマウント型のSLO装置やヘッドマウント型のOCT装置等を含んでよい。また、SLO装置やOCT装置として、双眼鏡型のSLO装置や双眼鏡型のOCT装置等を含んでよい。また、SLO装置やOCT装置は、光学変倍可能な構成によって、撮影画角を変更可能なものであってもよい。また、SLO装置は、RGBの各光源を用いて、1つの受光素子で時分割に受光する構成又は複数の受光素子で同時に受光する構成によって、カラー画像や蛍光画像を取得可能なものであってもよい。
上記実施例及び変形例の一つによれば、従来よりも画像診断に適した画像を生成することができる。
(その他の実施例)
本発明は、上述した様々な実施例及び変形例の1以上の機能を実現するソフトウェア(プログラム)を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
本発明は、上述した様々な実施例及び変形例の1以上の機能を実現するソフトウェア(プログラム)を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
このとき、プロセッサー又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。
以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
Claims (17)
- 被検眼の前眼OCTA正面画像である第1の医用画像を取得する取得部と、
被検眼の眼底OCTA正面画像を学習データとして用いて得た学習済モデルを用いて、前記取得された第1の医用画像に対して画質向上処理して得た第2の医用画像を表示部に表示させる表示制御部と、
を備える、画像処理装置。 - 被検眼の眼底OCTA正面画像である第1の医用画像を取得する取得部と、
被検眼の前眼OCTA正面画像を学習データとして用いて得た学習済モデルを用いて、前記取得された第1の医用画像に対して画質向上処理して得た第2の医用画像を表示部に表示させる表示制御部と、
を備える、画像処理装置。 - 前記表示制御部は、被検眼の第1の断層画像に対して画質向上処理して得た第2の断層画像の位置を示すラインが重畳表示された前記第2の医用画像を前記表示部に表示させ、前記第2の医用画像上の該ラインの位置に対応する該第2の断層画像を前記表示部に表示させる、請求項1又は2に記載の画像処理装置。
- 前記表示制御部は、前記ラインの位置に対応する第2の断層画像における血管領域を示す情報を、前記ラインの位置に対応する前記第2の断層画像に重畳表示させる、請求項3に記載の画像処理装置。
- 前記学習済モデルの学習データは、重ね合わせ処理、最大事後確率推定処理、平滑化フィルタ処理及び階調変換処理のうちの一つの処理により得られた画像を含む、請求項1乃至4のいずれか一項に記載の画像処理装置。
- 前記学習済モデルの学習データは、前記第1の医用画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は前記第1の医用画像の撮影工程よりも工数の多い撮影工程で取得された画像を含む、請求項1乃至5のいずれか一項に記載の画像処理装置。
- 前記表示制御部は、被検体の医用画像を学習して得た解析結果生成用の学習済モデルを用いて生成された解析結果であって、前記第1の医用画像又は前記第2の医用画像に関する解析結果を前記表示部に表示させる、請求項1乃至6のいずれか一項に記載の画像処理装置。
- 前記表示制御部は、被検体の医用画像を学習して得た診断結果生成用の学習済モデルを用いて生成された診断結果であって、前記第1の医用画像又は前記第2の医用画像に関する診断結果を前記表示部に表示させる、請求項1乃至7のいずれか一項に記載の画像処理装置。
- 前記表示制御部は、前記第1の医用画像又は前記第2の医用画像が入力された敵対的生成ネットワーク又はオートエンコーダを用いて生成された画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として前記表示部に表示させる、請求項1乃至8のいずれか一項の記載の画像処理装置。
- 前記表示制御部は、被検体の医用画像を学習して得た類似症例画像検索用の学習済モデルを用いて検索された類似症例画像であって、前記第1の医用画像又は前記第2の医用画像に関する類似症例画像を前記表示部に表示させる、請求項1乃至9のいずれか一項に記載の画像処理装置。
- 前記表示制御部は、被検体の医用画像を学習して得た物体認識用の学習済モデルまたはセグメンテーション用の学習済モデルを用いて生成された物体検出結果またはセグメンテーション結果であって、前記第1の医用画像又は前記第2の医用画像に関する物体検出結果またはセグメンテーション結果を、前記表示部に表示させる、請求項1乃至10のいずれか一項に記載の画像処理装置。
- 前記表示制御部は、前記第1の医用画像及び前記第2の医用画像を学習済モデルに入力して得た画像、情報、又は結果を、前記表示部に表示させる、請求項7乃至11のいずれか一項に記載の画像処理装置。
- 前記画質向上処理に関する検者からの指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうち少なくとも1つの学習済モデルを用いて得た情報である、請求項1乃至12のいずれか一項に記載の画像処理装置。
- 前記第2の医用画像のファイル名は、前記画質向上処理を行って生成された画像であることを示す情報を、検者からの指示に応じて編集可能な状態で含む、請求項1乃至13のいずれか一項に記載の画像処理装置。
- 被検眼の前眼OCTA正面画像である第1の医用画像を取得する工程と、
被検眼の眼底OCTA正面画像を学習データとして用いて得た学習済モデルを用いて、前記取得された第1の医用画像に対して画質向上処理して得た第2の医用画像を表示部に表示させる工程と、
を含む、画像処理方法。 - 被検眼の眼底OCTA正面画像である第1の医用画像を取得する工程と、
被検眼の前眼OCTA正面画像を学習データとして用いて得た学習済モデルを用いて、前記取得された第1の医用画像に対して画質向上処理して得た第2の医用画像を表示部に表示させる工程と、
を含む、画像処理方法。 - プロセッサーによって実行されると、該プロセッサーに請求項15又は16に記載の画像処理方法の各工程を実行させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068611A JP2021164535A (ja) | 2020-04-06 | 2020-04-06 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068611A JP2021164535A (ja) | 2020-04-06 | 2020-04-06 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021164535A true JP2021164535A (ja) | 2021-10-14 |
Family
ID=78021297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020068611A Pending JP2021164535A (ja) | 2020-04-06 | 2020-04-06 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021164535A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023149274A1 (en) * | 2022-02-03 | 2023-08-10 | Denso Corporation | Machine learning generation for real-time location |
WO2023244008A1 (ko) * | 2022-06-15 | 2023-12-21 | 경상국립대학교산학협력단 | 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 안과질환 진단 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 |
-
2020
- 2020-04-06 JP JP2020068611A patent/JP2021164535A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023149274A1 (en) * | 2022-02-03 | 2023-08-10 | Denso Corporation | Machine learning generation for real-time location |
WO2023244008A1 (ko) * | 2022-06-15 | 2023-12-21 | 경상국립대학교산학협력단 | 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 안과질환 진단 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7341874B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7250653B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7229881B2 (ja) | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム | |
JP7269413B2 (ja) | 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム | |
JP7305401B2 (ja) | 画像処理装置、画像処理装置の作動方法、及びプログラム | |
JP7478216B2 (ja) | 眼科装置、眼科装置の制御方法、及びプログラム | |
JP7413147B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2020183791A1 (ja) | 画像処理装置および画像処理方法 | |
JP7362403B2 (ja) | 画像処理装置および画像処理方法 | |
WO2020202680A1 (ja) | 情報処理装置及び情報処理方法 | |
WO2020075719A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2022155690A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7332463B2 (ja) | 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム | |
JP7194136B2 (ja) | 眼科装置、眼科装置の制御方法、及びプログラム | |
WO2020138128A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2021164535A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7344847B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7406901B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2021086560A (ja) | 医用画像処理装置、医用画像処理方法及びプログラム | |
JP2021069667A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7488934B2 (ja) | 画像処理装置、画像処理装置の作動方法、及びプログラム | |
JP2021119973A (ja) | 撮影装置、撮影方法、及びプログラム | |
JP2022121202A (ja) | 画像処理装置および画像処理方法 | |
JP2023010308A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20200616 |