JP2022109721A - 画像処理方法、画像処理装置、及びプログラム - Google Patents
画像処理方法、画像処理装置、及びプログラム Download PDFInfo
- Publication number
- JP2022109721A JP2022109721A JP2021005188A JP2021005188A JP2022109721A JP 2022109721 A JP2022109721 A JP 2022109721A JP 2021005188 A JP2021005188 A JP 2021005188A JP 2021005188 A JP2021005188 A JP 2021005188A JP 2022109721 A JP2022109721 A JP 2022109721A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- dimensional image
- eye
- superimposed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 title claims description 78
- 210000001508 eye Anatomy 0.000 claims abstract description 126
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 106
- 230000003287 optical effect Effects 0.000 claims description 73
- 210000001747 pupil Anatomy 0.000 claims description 33
- 206010025421 Macule Diseases 0.000 claims description 31
- 210000003733 optic disk Anatomy 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 25
- 210000003462 vein Anatomy 0.000 claims description 20
- 210000004204 blood vessel Anatomy 0.000 claims description 16
- 230000003902 lesion Effects 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims 1
- 206010038848 Retinal detachment Diseases 0.000 abstract description 6
- 230000004264 retinal detachment Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 112
- 238000012014 optical coherence tomography Methods 0.000 description 73
- 238000005516 engineering process Methods 0.000 description 32
- 238000000034 method Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 14
- 210000000695 crystalline len Anatomy 0.000 description 13
- 238000005259 measurement Methods 0.000 description 13
- 210000001525 retina Anatomy 0.000 description 12
- 238000005286 illumination Methods 0.000 description 11
- 238000002075 inversion recovery Methods 0.000 description 11
- 210000004087 cornea Anatomy 0.000 description 10
- 210000001328 optic nerve Anatomy 0.000 description 8
- 210000004127 vitreous body Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000002583 angiography Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000001110 axial length eye Anatomy 0.000 description 2
- 238000009530 blood pressure measurement Methods 0.000 description 2
- 210000003161 choroid Anatomy 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 229910052739 hydrogen Inorganic materials 0.000 description 2
- 239000001257 hydrogen Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000004410 intraocular pressure Effects 0.000 description 2
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 201000002287 Keratoconus Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010046851 Uveitis Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 238000000098 azimuthal photoelectron diffraction Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004240 ciliary body Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004220 fundus oculi Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 150000002431 hydrogen Chemical class 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 201000000766 irregular astigmatism Diseases 0.000 description 1
- 230000007433 nerve pathway Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 208000019793 rhegmatogenous retinal detachment Diseases 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0066—Optical coherence imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Ophthalmology & Optometry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Eye Examination Apparatus (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
【解決手段】画像処理方法は、被検眼の三次元画像と被検眼の二次元画像とを取得するステップと、前記三次元画像において第一基準点を特定するステップと、前記二次元画像において第二基準点を特定するステップと、前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、を備える。【効果】二次元眼底画像を重畳するので、網膜剥離が眼球の外側から見てどの位置にあるのか、把握するのに役立つ。【選択図】図6
Description
本開示の技術は、画像処理方法、画像処理装置、及びプログラムに関する。
MRI(Magnetic Resonance Imaging(磁気共鳴撮像))画像から眼球モデルを構築することが知られている(特許文献1)。
本開示の技術の第1の態様の画像処理方法は、被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、前記三次元画像において第一基準点を特定するステップと、前記二次元画像において第二基準点を特定するステップと、前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、を備える。
本開示の技術の第2の態様の画像処理装置は、メモリと、前記メモリに接続するプロセッサと、を備え、前記プロセッサは、被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、前記三次元画像において第一基準点を特定するステップと、前記二次元画像において第二基準点を特定するステップと、前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、を含む画像処理方法を実行する。
本開示の技術の第3の態様のプログラムは、コンピュータに、被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、前記三次元画像において第一基準点を特定するステップと、前記二次元画像において第二基準点を特定するステップと、前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、を含む画像処理方法を実行させる。
本開示の技術の第4の態様の画像処理方法は、被検眼を第1のモダリティで撮像した、三次元画像である第1画像を取得するステップと、前記第1のモダリティとは異なる第2のモダリティで前記被検眼を撮像した第2画像を取得するステップと、前記第1画像において第一構造的特徴を特定するステップと、前記第2画像において前記第一構造的特徴に対応する第二構造的特徴を特定するステップと、前記第一構造的特徴及び前記第二構造的特徴を基準にして、前記第1画像の少なくとも一部に前記第2画像の少なくとも一部を重畳した画像を生成するステップと、を備える。
以下、図面を参照して本開示の技術の実施の形態を詳細に説明する。
図1を参照して、本開示の技術の実施の形態に係る眼科システム100の構成について説明する。図1は、本実施形態に係る眼科システム100の構成を示すブロック図である。図1に示すように、眼科システム100は、UWF(Ultra Wide Field(超広角))眼科装置110と、MRI画像取得装置120と、ネットワーク130と、管理サーバ装置(以下、「管理サーバ」という)140と、画像表示装置(以下、「画像ビューワ」という)150とを備えて構成される。
UWF眼科装置110、MRI画像取得装置120、管理サーバ140、及び画像ビューワ150は、ネットワーク130を介して、相互に接続されている。ネットワーク130は、LAN、WAN、インターネットや広域イーサ網等の任意のネットワークである。例えば、眼科システム100が1つの病院に構築される場合には、ネットワーク130にLANを採用することができる。
MRI画像取得装置120は、被検眼を強力な静磁場(超電導、常電導、又は永久磁石による)に置き、各種のパルス系列の電磁波を被検眼に与えた後、核磁気共鳴現象を応用して水素原子核の生化学情報を信号として処理し、画像化する装置である(非特許文献1)。画像構成要素は緩和時間(T,T2)と水素原子核密度である。適当なパルス系列を選ぶことにより、緩和時間T1,T2や水素原子核密度を強調した画像(MRI三次元眼球画像)が得られる。パルス系列として飽和回復法(Saturation Recovery, SR)、反復回復法(Inversion Recovery, IR)、スピンエコー法(Spin Echo, SE)、又はSTIR法などを用いることができる。なお、MRI画像取得装置120により得られるMRI三次元眼球画像は、三次元形状をモデリングして得られるサーフェスの画像(球面画像)である。MRI三次元眼球画像は、眼球及び視神経の各々の構造部分を有する。
(非特許文献1)中 尾 雄 三,”眼 科 に お け る磁 気 共 鳴 画 像(MRI)検 査” ,第1頁,[online],日本視能訓練士協会第5回 講 演 会,インターネット <https://www.jstage.jst.go.jp/article/jorthoptic1977/18/0/18_0_1/_pdf/-char/ja>
(非特許文献1)中 尾 雄 三,”眼 科 に お け る磁 気 共 鳴 画 像(MRI)検 査” ,第1頁,[online],日本視能訓練士協会第5回 講 演 会,インターネット <https://www.jstage.jst.go.jp/article/jorthoptic1977/18/0/18_0_1/_pdf/-char/ja>
管理サーバ140は、UWF眼科装置110により眼底が撮影されて得られた後述する各種UWF眼底画像及びOCT(Optical Coherence Tomography)画像と、MRI画像取得装置120により取得された被検眼のMRI三次元眼球画像とを、患者IDに対応して、ネットワーク130を介して受信し、メモリ164(図3も参照)に格納する。よって、管理サーバ140のメモリ164には、各患者の患者IDに対応して、各種UWF眼底画像及びOCT画像とMRI三次元眼球画像とが記憶されている。また、管理サーバ140は、画像ビューワ150に、ネットワーク130を介して各種画像を送信する。
画像ビューワ150は、タッチパネルやディスプレイ等であり、通信機能を有する。画像ビューワ150は、管理サーバ140により取得した眼底画像を表示する。
なお、他の眼科機器(視野測定、眼圧測定などの検査機器)や人工知能を用いた画像解析を行う診断支援装置がネットワーク130を介して、UWF眼科装置110、MRI画像取得装置120、管理サーバ140、及び画像ビューワ150に接続されていてもよい。
次に、図2を参照してUWF眼科装置110の構成を説明する。図2は、本実施形態に係るUWF眼科装置110のハードウェア構成を示すブロック図である。図2に示すように、UWF眼科装置110は、撮影装置14及び制御装置16を含む。
なお、UWF眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、撮影光学系19の光軸方向を「Z方向」とする。方向の光軸上に被検眼の瞳孔27の中心が位置するように装置が被検眼12に対して配置される。X方向、Y方向、及びZ方向は互いに垂直である。
制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read-Only memory)16C、入出力(I/O)ポート16D、入力/表示装置16E、及び通信インターフェース(I/F)16Fを有するコンピュータを備える。制御装置16の各構成は、バスを介して相互に通信可能に接続されている。
CPU16Aは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU16Aは、ROM16Cからプログラムを読み出し、RAM16Bを作業領域としてプログラムを実行する。CPU16Aは、ROM16Cに記憶されているプログラムに従って、各構成の制御及び各種の演算処理を行う。本実施形態では、ROM16Cには、スキャン処理を実行するためのスキャンプログラムが記憶されている。
RAM16Bは、作業領域として一時的にプログラム又はデータを記憶する。ROM16Cは、各種プログラム及び各種データを記憶する。なお、制御装置16は、更に、HDD(Hard Disk Drive)又はSSD(Solid State Drive)等の記憶装置により構成されるストレージを備える構成としてもよい。この場合、ストレージには、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。
入力/表示装置16Eは、I/Oポート16Dを介してCPU16Aに接続される。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィカルユーザインターフェース(GUI)を有する。GUIとしては、タッチパネルやディスプレイを採用することができる。また、制御装置16は、I/Oポート16Dに接続された画像処理装置17を備えている。
制御装置16は、通信インターフェース16Fを介してネットワーク130に接続する。通信インターフェース16Fは、他の機器と通信するためのインターフェースであり、例えば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)等の規格が用いられる。
なお、図2では、UWF眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示の技術はこれに限定されない。例えば、UWF眼科装置110の制御装置16は入力/表示装置16Eを備えず、UWF眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置16のCPU16Aの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、CPU16Aが出力指示した画像信号に基づいて、取得した画像等を表示するようにしてもよい。
画像処理装置17は、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。なお、画像処理装置17を省略し、CPU16Aが、撮影装置14によって得られたデータに基づき被検眼12の画像を生成するようにしてもよい。
撮影装置14は、被検眼12の画像を撮影する。撮影装置14は、制御装置16の制御下で作動する。説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalを「SLO」と称する。撮影装置14は、撮影光学系19、SLOユニット18及びOCTユニット20を含む。SLOユニット18は被検眼12の眼底12Aの画像を取得する。OCTユニット20は被検眼12の断層画像を取得する。
以下では、SLOユニット18により取得されたSLOデータに基づいて作成された網膜の正面視画像をSLO画像と称し、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)等をOCT画像と称する。なお、SLO画像は、二次元眼底画像と言及されることもある。また、OCT画像は、被検眼12の撮影部位に応じて、眼底断層画像、前眼部断層画像と言及されることもある。
撮影光学系19自体は、CPU16Aの制御下で、図示しない撮影光学系駆動部によりX、Y、Z方向に移動される。撮影装置14と被検眼12とのアラインメント(位置合わせ)は、例えば、撮影装置14のみばかりではなく、UWF眼科装置110全体をX、Y、Z方向に移動させることにより、行われてもよい。
撮影光学系19は、光路合成素子21、第1スキャナ22、第2スキャナ24、及び対物光学系26を含む。光路合成素子21はハーフミラー又はビームスプリッタであり、第1スキャナ22及び第2スキャナ24は、光学スキャナである。
対物光学系26は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。
楕円鏡を含むシステムを用いる場合には、国際公開WO2016/103484あるいは国際公開WO2016/103489に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開WO2016/103484の開示および国際公開WO2016/103489の開示の各々は、その全体が参照により本明細書に取り込まれる。
撮影光学系19によって、眼底において広い視野(FOV:Field of View)での観察が実現される。FOVは、撮影装置14によって撮影可能な範囲を示している。FOVは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、UWF眼科装置110から被検眼へ照射される光束の照射角を、瞳孔を基準として規定した照射角である。また、内部照射角とは、眼底12Aへ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角は、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施の形態では、内部照射角は200度としている。
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWF-SLO眼底画像と称する。
まず、SLO画像取得について説明する。
SLOユニット18は、複数の光源を備えている。図2に示すように、SLOユニット18は、B光(青色光)の光源40、G光(緑色光)の光源42、R光(赤色光)の光源44、及びIR光(赤外線(例えば、近赤外光))の光源46と、各光源40、42、44、46から出射された光を、反射又は透過して1つの光路に導く光学系48、50、52、54、56とを備えている。光学系48、50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。B光は、光学系48で反射し、光学系50を透過し、光学系54で反射し、G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系52、56で反射して、それぞれ1つの光路に導かれる。
なお、光源40、42、44、46としては、LED光源や、レーザ光源を用いることができる。なお、以下には、レーザ光源を用いた例を説明する。光学系48、56として、全反射ミラーを用いることができる。また、光学系50、52、54として、ダイクロイックミラー、ハーフミラー等を用いることができる。
SLOユニット18は、G光、R光、B光およびIR光をそれぞれ個別に発する発光モードや、それらすべてを同時にもしくは幾つかを同時に発する発光モードなど、各種発光モードを切り替え可能に構成されている。図2に示す例では、B光(青色光)の光源40、G光の光源42、R光の光源44、およびIR光の光源46の4つの光源を備えるが、本開示の技術は、これに限定されない。例えば、SLOユニット18は、更に、白色光の光源を更に備えていてもよい。この場合、上記各種発光モードに加えて、白色光のみを発する発光モード等を設定してもよい。
SLOユニット18から撮影光学系19に入射されたレーザ光は、撮影光学系19の第1スキャナ22及び第2スキャナ24によってX方向およびY方向に走査される。走査光は瞳孔27を経由して、被検眼12の後眼部(例えば、眼底12A)に照射される。眼底12Aにより反射された反射光は、撮影光学系19を経由してSLOユニット18へ入射される。
眼底12Aで反射された反射光は、SLOユニット18に設けられた光検出素子70、72、74、76で検出される。本実施形態では、複数の光源、すなわち、B光源40、G光源42、R光源44およびIR光源46に対応させて、SLOユニット18は、B光検出素子70、G光検出素子72、R光検出素子74およびIR光検出素子76を備える。B光検出素子70は、ビームスプリッタ64で反射されたB光を検出する。G光検出素子72は、ビームスプリッタ64を透過し、ビームスプリッタ58で反射されたG光を検出する。R光検出素子74は、ビームスプリッタ64、58を透過し、ビームスプリッタ60で反射されたR光を検出する。IR光検出素子76は、ビームスプリッタ64、58、60を透過し、ビームスプリッタ62で反射されたIR光を検出する。光検出素子70、72、74、76として、例えば、APD(avalanche photodiode:アバランシェ・フォトダイオード)が挙げられる。
画像処理装置17は、CPU16Aの制御のもと、B光検出素子70、G光検出素子72、R光検出素子74、およびIR光検出素子76のそれぞれで検出された信号を用いて、各色に対応するSLO画像を生成する。各色に対応するSLO画像には、B光検出素子70で検出された信号を用いて生成されたB-SLO画像、G光検出素子72で検出された信号を用いて生成されたG-SLO画像、R光検出素子74で検出された信号を用いて生成されたR-SLO画像、及びIR光検出素子76で検出された信号を用いて生成されたIR-SLO画像である。また、B光源40、G光源42、R光源44が同時に発光する発光モードの場合、R光検出素子74、G光検出素子72、及びB光検出素子70で検出されたそれぞれの信号を用いて生成されたB-SLO画像、G-SLO画像およびR-SLO画像から、RGB-SLO画像を合成してもよい。また、G光源42、R光源44が同時に発光する発光モードの場合、R光検出素子74及びG光検出素子72で検出されたそれぞれの信号を用いて生成されたG-SLO画像およびR-SLO画像から、RG-SLO画像を合成してもよい。
ビームスプリッタ58、60、62、64には、ダイクロイックミラー、ハーフミラー等を用いることができる。
次にOCT画像取得について説明する。OCTシステムは、図2に示す制御装置16、OCTユニット20、および撮影光学系19によって実現される三次元画像取得装置である。OCTユニット20は、光源20A、センサ(検出素子)20B、第1の光カプラ20C、参照光学系20D、コリメートレンズ20E、および第2の光カプラ20Fを含む。
光源20Aは、光干渉断層撮影のための光を発生する。光源20Aとしては、例えば、スーパールミネセントダイオード(Super Luminescent Diode;SLD)を用いることができる。光源20Aは、広いスペクトル幅をもつ広帯域光源の低干渉性の光を発生する。光源20Aから射出された光は、第1の光カプラ20Cで分割される。分割された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は、撮影光学系19の第1スキャナ22及び第2スキャナ24によってX方向およびY方向に走査される。走査光は、被検眼の前眼部や、瞳孔27を経由して後眼部に照射される。前眼部又は後眼部で反射された測定光は、撮影光学系19を経由してOCTユニット20へ入射され、コリメートレンズ20Eおよび第1の光カプラ20Cを介して、第2の光カプラ20Fに入射する。なお、本実施形態では、光源20AとしてSLDを用いるSD-OCTが例示されているが、これに限定されず、SLDに替えて波長掃引光源を用いるSS-OCTが採用されてもよい。
光源20Aから射出され、第1の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。
被検眼12で反射および散乱された測定光(戻り光)と、参照光とは、第2の光カプラ20Fで合成されて干渉光が生成される。干渉光はセンサ20Bで検出される。画像処理装置17は、センサ20Bからの検出信号(OCTデータ)に基づいて、被検眼12の断層画像を生成する。
OCTシステムは、被検眼12の前眼部又は後眼部の断層画像を生成する。
被検眼12の前眼部は、前眼セグメントとして、例えば、角膜、虹彩、隅角、水晶体、毛様体、および硝子体の一部を含む部分である。被検眼12の後眼部は、後眼セグメントとして、例えば、硝子体の残りの一部、網膜、脈絡膜、及び強膜を含む部分である。なお、前眼部に属する硝子体は、硝子体の内、水晶体の最も眼球中心に近い点を通るX-Y平面を境界として、角膜側の部分であり、後眼部に属する硝子体は、硝子体の内、前眼部に属する硝子体以外の部分である。
OCTシステムは、被検眼12の前眼部が撮影対象部位である場合、例えば、角膜の断層画像を生成する。また、被検眼12の後眼部が撮影対象部位である場合、OCTシステムは、例えば、網膜の断層画像を生成する。以下、角膜の断層画像を前眼部OCT画像、網膜の断層画像を後眼部OCT画像、と称することもある。前眼部OCT画像と後眼部OCT画像とを含むOCT画像を、Whole-EyeOCT画像(被検眼全体のOCT画像)と称することもある。
OCTユニット20から射出され、光路合成素子21を通過した光を、第1スキャナ22によりX軸方向に走査する。第2スキャナ24は、OCTユニット20から射出された光をY方向に走査する。第1スキャナ22及び第2スキャナ24は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。なお、第1スキャナ22及び第2スキャナ24を1つの光学スキャナとして構成してもよい。
対物光学系26は、第1スキャナ22及び第2スキャナ24により導かれた光を、被検眼12に導く光学系である。なお、対物光学系26は、楕円鏡などの凹面ミラーを用いた反射光学系、広角レンズ等を用いた屈折光学系、又は凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。
そして、OCTユニット20から測定光のフォーカス調整を行うフォーカス調整機構28を備える。フォーカス調整機構28は、後述する光学調整機構の1つである。
光源20Aから射出された光は、第1の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は、第1スキャナ22及び第2スキャナ24によってX方向及びY方向に走査される。走査光は対物光学系26及び瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、対物光学系26、第2スキャナ24及び第1スキャナ22を経由してOCTユニット20へ入射され、コリメートレンズ20E及び第1の光カプラ20Cを介して、第2の光カプラ20Fに入射する。
光源20Aから射出され、第1の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。第2の光カプラ20Fに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第2の光カプラ20Fで干渉されて干渉光を生成する。干渉光はセンサ20Bで受光される。画像処理部182(図5も参照)の制御下で動作する画像処理装置17は、センサ20Bで検出されたOCTデータに基づいて断層画像やen-face画像等のOCT画像を生成する。
図3を参照して、管理サーバ140の構成を説明する。図3に示すように、管理サーバ140は、制御ユニット160、及び表示/操作ユニット170を備えている。制御ユニット160は、CPU162を含むコンピュータ、記憶装置であるメモリ164、及び通信インターフェース(I/F)166等を備えている。なお、メモリ164には、図6に示す画像処理プログラムが記憶されている。表示/操作ユニット170は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ172及びタッチパネル174を備えている。
制御ユニット160は、本開示の技術の「コンピュータープログラム製品」の一例である。
メモリ164は、本開示の技術の「メモリ」の一例である。CPU162は、本開示の技術の「プロセッサ」の一例である。画像処理プログラムは、本開示の技術の「プログラム」の一例である。
図4を参照して、画像ビューワ150の電気系の構成を説明する。図4に示すように、画像ビューワ150は、コンピュータ本体252を備えている。
コンピュータ本体252は、バス270を介して相互に接続されたCPU262、RAM266、ROM264、および入出力(I/O)ポート268を有する。入出力(I/O)ポート268には、記憶装置254、ディスプレイ256、マウス255M、キーボード255K、および通信インターフェース(I/F)258が接続されている。記憶装置254は、例えば、不揮発メモリで構成される。入出力(I/O)ポート268は、通信インターフェース(I/F)258を介して、ネットワーク130に接続されている。従って、画像ビューワ150は、UWF眼科装置110および管理サーバ140と通信することができる。記憶装置254は、後述するデータ作成プログラムが記憶されている。
管理サーバ140のCPU162は図5に示すように、画像処理部182、表示制御部184、及び出力部186として機能する。
画像処理部182は、本開示の技術の「取得部」、「特定部」、及び「生成部」の一例である。
次に、図6を用いて、管理サーバ140による画像処理を詳細に説明する。管理サーバ140のCPU162が画像処理プログラムを実行することで、図6のフローチャートに示された画像処理(画像処理方法)が実現される。画像処理プログラムは、オペレータによりタッチパネル174を介してスタートする指示がされると、スタートする。
画像処理プログラムをスタートする指示をする際、オペレータは、タッチパネル174を介して患者IDを入力する。
ステップ302で、画像処理部182は、タッチパネル174を介して入力された患者IDを特定する。
上記のようにメモリ164には、患者IDに対応して、UWF二次元眼底画像と、OCT画像と、MRI三次元眼球画像とが対応して記憶されている。尚、UWF二次元眼底画像は、眼底の後極部及び周辺部の血管を撮像した画像、即ち、眼底の血管が可視化された画像である。UWF二次元眼底画像は、網膜及び/又は脈絡膜の血管が可視化された画像である。周辺部まで撮像された画像であるため、UWF二次元眼底画像は渦静脈の画像を有する。
UWF二次元眼底画像は、本開示の技術の「二次元画像」の一例である。MRI三次元眼球画像は、本開示の技術の「三次元画像」の一例である。
UWF二次元眼底画像は、本開示の技術の「二次元画像」の一例である。MRI三次元眼球画像は、本開示の技術の「三次元画像」の一例である。
ステップ304で画像処理部182は、メモリ164から、上記特定した患者IDに対応して記憶されているUWF二次元眼底画像を取得し、ステップ306で、画像処理部182は、上記患者IDに対応して記憶されたMRI三次元眼球画像を取得する。尚、ステップ304とステップ306との実行する順番はこれに限定されず、その逆でもよい。ステップ304とステップ306との何れかにおいて、画像処理部182は、OCT画像を取得する。
ステップ308で、画像処理部182は、UWF二次元眼底画像とMRI三次元眼球画像とに互いに対応する基準点を特定する。一例として、基準点は、共通して撮像される被検眼の眼底における構造的特徴である。よって、基準点は、UWF二次元眼底画像とMRI三次元眼球画像とに共通する構造的特徴である。基準点は一つであっても複数であってもよい。基準点が複数である場合には、UWF二次元眼底画像及びMRI三次元眼球画像の一方の画像において互いに異なる位置に位置する複数の構造的特徴の位置をそれぞれの基準点として特定する。そして、他方の画像においても、UWF二次元眼底画像において複数の基準点が特定された複数の構造的特徴について、複数の基準点を特定する。なお、構造的特徴とは、第1に、視神経乳頭、瞳孔、及び黄斑などの被検眼の解剖学的特徴、第2に、渦静脈などの血管構造、第3に、ぶどう膜炎などで見られる不均一な眼底陥没構造などの構造要素があげられる。
ここで、複数の基準点は、第1構造的特徴と、第1構造的特徴とは異なる位置に位置する第2構造的特徴とに設定される。第1構造的特徴及び第2構造的特徴は、例えば、視神経乳、瞳孔、及び黄斑の中から選択される。例えば、第1構造的特徴は、視神経乳頭であり、第2構造的特徴は、例えば、黄斑である。複数の基準点は、2つ以上であればよく、例えば、3つでもよく、4つでもよく、5つでもよい。複数の基準点は、第1構造的特徴と、第1構造的特徴とは異なる位置に位置する第2構造的特徴と、さらに第1構造的特徴及び第2構造的特徴とは異なる位置に位置する第3構造的特徴とに設定されてもよい。例えば、第1構造的特徴は視神経乳頭であり、第2構造的特徴は黄斑であり、第3構造的特徴は瞳孔である。この場合、第1構造的特徴である視神経乳頭ついて、MRI三次元眼球画像においては第一基準点を特定し、UWF二次元眼底画像においては第二基準点を特定する。第2構造的特徴である黄斑について、MRI三次元眼球画像においては第2の第一基準点を特定し、UWF二次元眼底画像においては第2の第二基準点を特定する。そして、第3構造的特徴である瞳孔について、UWF二次元眼底画像においては第3の第一基準点を特定し、MRI三次元眼球画像においては第3の第二基準点を特定する。
UWF二次元眼底画像とMRI三次元眼球画像とにおいて上記複数の基準点を特定する方法には、まず、UWF二次元眼底画像とMRI三次元眼球画像との何れか一方において複数の基準点を特定し、次に、特定した複数の基準点に対応する点を、UWF二次元眼底画像とMRI三次元眼球画像との何れか他方において特定する第1の方法と、UWF二次元眼底画像とMRI三次元眼球画像との各々において互いに独立して、複数の基準点を特定する第2の方法と、がある。なお、第2の方法では、複数の基準点を特定する順番としては、まず、UWF二次元眼底画像から特定し、次に、MRI三次元眼球画像から特定する順番でもよい、その逆の順番でもよい。
まず、第1の方法を説明する。画像処理部182は、図7に示すように、UWF二次元眼底画像350において最も明るい点を検出することにより、視神経乳頭352を検出する。また、画像処理部182は、UWF二次元眼底画像350において最も暗い点を検出することにより、黄斑356を検出する。
次に、画像処理部182は、UWF二次元眼底画像350において検出した視神経乳頭352と黄斑356との各々に対応する点を、図8に示すように、MRI三次元眼球画像370から検出する。以下、当該検出方法を説明する。
例えば、まず、画像処理部182は、UWF二次元眼底画像350を、ステレオ画像投影法の関係式を基に三次元仮想球面上に投影させる。これにより、UWF二次元眼底画像350が投影された球面画像が得られる。この場合、画像処理部182は、視神経乳頭の位置を三次元仮想球面上の例えば北極に位置させる。そして、画像処理部182は、黄斑の三次元仮想球面上の緯度及び経度の座標を算出する。
画像処理部182は、MRI三次元眼球画像370上において視神経乳頭373の位置を検出する。具体的には、画像処理部182は、予め定められた視神経構造部の三次元形状を用いて、MRI三次元眼球画像370において、三次元ボリューム画像の解析により、当該三次元形状に対応する三次元形状を、視神経構造部として検出する。画像処理部182は、視神経構造部を2値画像化し、細線化処理を行って中心線を算出し、当該中心線とMRI三次元眼球画像の交点部分を、視神経乳頭373の位置として求める。画像処理部182は、MRI三次元眼球画像370において、北極を、視神経乳頭373の位置として設定する。画像処理部182は、UWF二次元眼底画像350が投影された上記球面画像において算出された緯度及び経度の位置を、MRI三次元眼球画像370において検出し、検出された位置を黄斑375の位置として設定する。
以上のように、本開示の技術は、UWF二次元眼底画像350において視神経乳頭352と黄斑356とを検出した後、視神経乳頭352と黄斑356との各々に対応する点を、MRI三次元眼球画像370から検出する方法を用いることに限定されない。その逆の方法を用いてもよい。即ち、MRI三次元眼球画像370から視神経乳頭373と黄斑375とを検出した後、視神経乳頭373と黄斑375との各々に対応する点を、UWF二次元眼底画像350から検出するようにしてもよい。
具体的には、画像処理部182は、図9及び図10に示すように、予め定められた視神経の経路及び眼球の各々の三次元形状を用いて、MRI三次元眼球画像370において、三次元ボリューム画像の解析により、当該三次元形状に対応する三次元形状を抽出する。抽出された三次元形状は、視神経の経路374及び眼球面である。画像処理部182は、視神経の経路374と眼球との交点を視神経乳頭373として検出する。
画像処理部182は、予め定められた網膜の三次元形状を用いて、MRI三次元眼球画像370において、三次元ボリューム画像の解析により、当該三次元形状に対応する三次元形状を抽出する。抽出された三次元形状は、網膜である。画像処理部182は、網膜の中心部を検出することにより、黄斑を検出する。黄斑は網膜の中央に位置するのが一般的であるからである。
次に、画像処理部182は、MRI三次元眼球画像370において抽出された視神経乳頭373と黄斑との各々に対応する点を、UWF二次元眼底画像350から検出する。具体的には、画像処理部182は、上記のようにUWF二次元眼底画像350において視神経乳頭352を検出すると共に、UWF二次元眼底画像350を、ステレオ画像投影法の関係式を基に球面上に投影させる。この場合、画像処理部182は、視神経乳頭の位置を球面上の例えば北極に位置させる。MRI三次元眼球画像370において抽出された視神経乳頭373と黄斑との各々に対応する点の位置関係を、当該球面上に適用する。この適用により、当該球面上の黄斑の位置を検出する。画像処理部182は、当該球面上で検出された黄斑の位置に対応する位置を、ステレオ画像投影法の関係式の逆関係式を用いて、UWF二次元眼底画像350において、検出する。
なお、MRI三次元眼球画像370から視神経乳頭を検出する方法は、UWF二次元眼底画像350において視神経乳頭352を検出する方法と同様に、MRI三次元眼球画像370画像の明度を用いて行うようにしてもよい。
次に、第2の方法を説明する。第1の方法で説明した方法により、画像処理部182は、UWF二次元眼底画像350において、視神経乳頭352及び黄斑356を検出し、MRI三次元眼球画像において、視神経乳頭の位置を検出する。画像処理部182は、MRI三次元眼球画像において、眼球凸部の頂点を角膜中心の位置とし、その対極にある点を黄斑として検出する。
次に、MRI三次元眼球画像370において、基準点として瞳孔を検出する方法を説明する。
画像処理部182は、図8に示すように、MRI三次元眼球画像370において黄斑375と眼球中心とを検出する。具体的には、眼球中心は、MRI三次元眼球画像370に内接する球体を算出し、その重心等を算出する方法等により求められる。そして、画像処理部182は、黄斑375に対して、眼球中心を挟んで、反対側の点を検出することにより、瞳孔354を検出する。
あるいは、画像処理部182は、図11A及び図11Bに示すように、局所的に凸極大となっている部分を角膜中心376として検出する。通常、MRI三次元眼球画像370(三次元のサーフェス球面画像)上での角膜中心376の位置は、硝子体よりもさらに曲率半径の小さい凸部構造部の頂点として検出できる。次に、MRI三次元眼球画像370から水晶体に当たる仮想面を外挿し、外挿した面に角膜中心376から下した垂線377と上記仮想面との交点を瞳孔354として設定する。なお、角膜手術等により角膜379の形状が平坦化している場合や不正乱視や円錐角膜などの角膜形状異常がある場合など、角膜の頂点が角膜中心に位置しない場合がある。このような場合には、得られたMRI三次元眼球画像370から正常な場合の角膜形状を推定して、仮想の角膜頂点を特定してもよく、あるいは角膜の平坦部の中心点を角膜中心として特定してもよい。
画像処理部182は、図8に示すように、MRI三次元眼球画像370において黄斑375と眼球中心とを検出する。具体的には、眼球中心は、MRI三次元眼球画像370に内接する球体を算出し、その重心等を算出する方法等により求められる。そして、画像処理部182は、黄斑375に対して、眼球中心を挟んで、反対側の点を検出することにより、瞳孔354を検出する。
あるいは、画像処理部182は、図11A及び図11Bに示すように、局所的に凸極大となっている部分を角膜中心376として検出する。通常、MRI三次元眼球画像370(三次元のサーフェス球面画像)上での角膜中心376の位置は、硝子体よりもさらに曲率半径の小さい凸部構造部の頂点として検出できる。次に、MRI三次元眼球画像370から水晶体に当たる仮想面を外挿し、外挿した面に角膜中心376から下した垂線377と上記仮想面との交点を瞳孔354として設定する。なお、角膜手術等により角膜379の形状が平坦化している場合や不正乱視や円錐角膜などの角膜形状異常がある場合など、角膜の頂点が角膜中心に位置しない場合がある。このような場合には、得られたMRI三次元眼球画像370から正常な場合の角膜形状を推定して、仮想の角膜頂点を特定してもよく、あるいは角膜の平坦部の中心点を角膜中心として特定してもよい。
ところで、MRI三次元眼球画像370(図9及び図10参照)においてぶどう腫375B等が角膜にあたる凸部として検出される場合がある。しかし、ぶどう腫375Bと瞳孔354(図8も参照)とは曲面の曲率が異なる。そこで、画像処理部182は、凸部が検出された後、各々の凸部の曲面の曲率を計算し、所定の閾値より大きい曲率の部分を、ぶどう腫375Bとして、角膜から除去する。また、ぶどう腫375Bと瞳孔354とはMRI三次元眼球画像370において位置する座標が異なる。そこで、画像処理部182は、凸部が検出された後、各々の凸部の三次元座標を特定し、黄斑や視神経乳頭など他の構造的特徴物との相対的位置関係からぶどう腫375Bを判定し、ぶどう腫375Bと判定された場合除去する。
次に、UWF二次元眼底画像350において、基準点として瞳孔を検出する方法を説明する。瞳孔は、図12に示すように、眼底351を撮影することにより得られたUWF二次元眼底画像350には存在しない。そのため、UWF二次元眼底画像350上での瞳孔の位置は、UWF二次元眼底画像350をステレオ画像投影法の関係式に基づき球面に投影した後、黄斑と眼球中心を挟んで対極側にある点を瞳孔378の位置とする。あるいは、UWF二次元眼底画像350をステレオ画像投影法の関係式に基づき球面に投影した近似球面から外挿して、瞳孔の位置を求める。
UWF二次元眼底画像350上の瞳孔位置と、MRI三次元眼球画像370上の瞳孔354の位置と対応させるには、両者の球面上の緯度及び経度情報を用いて対応させる。瞳孔の位置は、位置合わせを行うための基準点として用いることができる。
なお、基準点は、渦静脈でもよい。渦静脈は眼底の周辺部に位置しており、被検眼の二次元画像がUWF眼底画像である場合には眼底の周辺部まで撮像されているため、渦静脈が撮像されている。UWF二次元眼底画像において渦静脈を検出するには、画像処理部182は、まず、血管を検出する。そして、血管が放射状になっており、放射の中心位置を、渦静脈として検出する。UWF二次元眼底画像は、渦静脈が可視化された画像である。
なお、国際公開(WO)第2019/203309号パンフレットに記載された内容は、本明細書に具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。
なお、国際公開(WO)第2019/203309号パンフレットに記載された内容は、本明細書に具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。
MRI三次元眼球画像においては、脈絡膜静脈が眼外に流出する流出路を特定することにより、渦静脈を特定してもよい。また、渦静脈を検出するには、MRI三次元眼球画像を解析し、血管が集中する部分を渦静脈として検出してもよい。具体的にはMRI三次元眼球画像(三次元のサーフェス球面画像)上で赤道周辺に存在する血管集中構造物を渦静脈の位置として検出することができる。位置の検出方法は血管集中構造の三次元構造部分を2値画像化し、細線化処理を行って中心線を算出し、当該中心線とMRI三次元眼球画像(三次元のサーフェス球面画像)の交点部分として求めることができる。
なお、三次元画像がMRIではなくOCTボリューム画像である場合などには、血管が集中する部分を渦静脈として検出できる。
なお、三次元画像がMRIではなくOCTボリューム画像である場合などには、血管が集中する部分を渦静脈として検出できる。
ステップ310で、画像処理部182は、図13Aに示すように、UWF二次元眼底画像とMRI三次元眼球画像とに共通する基準点を対応させ、UWF二次元眼底画像をMRI三次元眼球画像の少なくとも一部、例えば、全部に重畳する。基準点は上記の通り、少なくとも2以上あることが好ましい。
具体的には、まず、画像処理部182は、上述の通り、図13Bに示すように、UWF二次元眼底画像を三次元仮想球面392にステレオ投影する。なお、三次元仮想球面392は、例えば、直径が24mmの球である。図13Bに示す例では、黄斑356、瞳孔378、渦静脈357が検出されている。
次に、UWF二次元眼底画像とMRI三次元眼球画像との各々における上記複数の基準点、例えば、黄斑356、375、瞳孔378、354、及び渦静脈357、379を用いて、UWF二次元眼底画像を投影した三次元仮想球面392及びMRI三次元眼球画像370の各々において相対的な位置を対応させる。より詳細には、画像処理部182は、三次元仮想球面の緯度及び経度と、MRI三次元眼球画像の緯度及び経度を互いに対応させる。図13Bには、MRI三次元眼球画像370の眼球面が強調して示されている。
そして、画像処理部182は、UWF二次元眼底画像が投影された三次元仮想球面392上の点と、MRI三次元眼球画像370上の点とが対応するように、UWF二次元眼底画像をMRI三次元眼球画像に重畳する。すなわち、三次元仮想球面392に投影されたUWF二次元眼底画像の各点を、MRI三次元眼球画像370の眼球面に存在する各画素の位置座標に関する情報を用いて正しい位置に再投影する。より詳細には、画像処理部182は、UWF球面投影画像球面上の各点において、その点の緯度及び経度と同じ緯度及び経度を有するMRI三次元眼球画像の点を探索し、探索された点にUWF球面投影画像球面上の点の画素を投影する。以上を、UWF球面投影画像の全ての点に対して実行する。
上記のステップ310の三次元仮想球面及びMRI三次元眼球画像の各々において相対的な位置を対応させる処理で必要な情報は、三次元仮想球面及びMRI三次元眼球画像における緯度及び経度の情報であり、長さ、サイズ及び縮尺の情報は必ずしも必要ない。よって、三次元仮想球面及びMRI三次元眼球画像の各々において互いに長さが異なる場合もある。例えば、黄斑356と瞳孔354との間の距離は、三次元仮想球面とMRI三次元眼球画像とでは異なる場合もある。しかし、眼軸長計測により計測された眼軸長の値又は超音波装置により測定された赤道径などの値を用いて、三次元仮想球面とMRI三次元眼球画像との大きさを同じにしてもよい。
ステップ312で、表示制御部184は、GUI(Graphical User Interface)のための、後述する情報や画像を表示するためのディスプレイ・スクリーン400を作成する。
ステップ314で、出力部186は、ディスプレイ・スクリーン400のデータを出力する。具体的には、メモリ164に患者IDに対応して記憶し、患者IDと共に画像ビューワ150に送信する。
ステップ314が終了すると、画像処理プログラムが終了する。
ステップ314が終了すると、画像処理プログラムが終了する。
次に、図14を参照して、ディスプレイ・スクリーン400を説明する。図14に示すように、ディスプレイ・スクリーン400は、インフォメーションエリア402と、イメージディスプレイエリア404とを有する。インフォメーションエリア402には、患者IDディスプレイフィールド406、患者名ディスプレイフィールド408、年齢ディスプレイフィールド410、視力ディスプレイフィールド412、右眼/左眼ディスプレイフィールド414、及び眼軸長ディスプレイフィールド416を有する。患者IDディスプレイフィールド406から眼軸長ディスプレイフィールド416の各ディスプレイフィールドには、画像ビューワ150が、管理サーバ140から受信した情報に基づいて、各々の情報を表示する。
イメージディスプレイエリア404のレイアウトは、眼科医が興味を持ちそうな画面のレイアウトである。具体的には、以下の通りである。
イメージディスプレイエリア404は、UWF二次元眼底画像を表示するための第1のセクション420と、UWF二次元眼底画像をMRI三次元眼球画像に重畳した画像を表示するための第2のセクション422と、を有する。
第2のセクション422に表示される、UWF二次元眼底画像をMRI三次元眼球画像に重畳した画像は、例えば、眼球中心を基準に、係員の操作に従って回転可能である。
イメージディスプレイエリア404は、UWF二次元眼底画像とOCT断層画像とによる後眼部断層画像を表示するための第3のセクション424と、眼底のOCT断層像を表示する第4のセクション426と、脈絡膜のen-face(OCTによる測定光軸に対して垂直な面)のパノラマ画像(即ち、二次元正面画像)を表示する第5のセクション428と、を有する。
イメージディスプレイエリア404は、コメントを表示するための第6のセクション430を有する。
以上説明したように、本実施の形態では、MRI三次元眼球画像に、UWF二次元眼底画像を重畳した画像を生成するので、眼底の様子、例えば、眼底の血管や渦静脈の様子を、三次元的に認識することができる画像を生成することができる。よって、眼科医の診断に役立つ。従って、眼科医は、精度の高い診断や疾患評価が可能になる。
例えば、MRI三次元眼球画像に、UWF二次元眼底画像を重畳するので、斜視の診断の際、関連する網膜疾患の状態と結び付けて斜視を診断できる。
また、広角光学系を介して眼底を撮影することにより、UWF二次元眼底画像を取得しているので、眼底のより広い部分の様子を、三次元的に認識することができる。
次に、本実施の形態の変形例を説明する。
第1の変形例を説明する。上記実施の形態では、図14のディスプレイ・スクリーン400のイメージディスプレイエリア404の第2のセクション422に、UWF二次元眼底画像をMRI三次元眼球画像に重畳した画像を表示するようにしている。本開示の技術は、これに限定されない。例えば、図15に示すように、UWF二次元眼底画像をMRI三次元眼球画像に重畳した画像を、前眼部と後眼部の被検眼全体のOCT断層画像に重畳するようにしてもよい。眼底の様子を、その断層の様子との関係で、三次元的に認識することができる。
第2の変形例を説明する。上記実施の形態では、図14の第2のセクション422に、UWF二次元眼底画像の全体をMRI三次元眼球画像に重畳した画像を表示するようにしている。本開示の技術は、これに限定されない。例えば、図16に示すように、MRI三次元眼球画像370に重畳されるUWF二次元眼底画像は、UWF二次元眼底画像の一部領域画像382、384である。一部の領域としては、例えば、二次元画像の一部をトリミングした画像であってもよく、病変部画像でもよく、また、眼底画像から血管だけを抽出した眼底血管画像でもよい。
病変部画像は、例えば眼底画像において、医師やAIにより特定された領域を切り出した画像である。病変部の例として、網膜剥離部がある。網膜剥離部の画像382は、例えば、緑色で表示される。血管の部分の画像384は、例えば、赤色で表示される。MRI三次元眼球画像370は、半透明で表示される。なお、病変部の画像及び血管の部分の画像の何れを選択的に順次に表示するようにしてもよい。よって、半透明で表示されているMRI三次元眼球画像370に、病変部の画像のみが表示されたり、血管の部分の画像のみが表示されたりする。
病変部画像は、例えば眼底画像において、医師やAIにより特定された領域を切り出した画像である。病変部の例として、網膜剥離部がある。網膜剥離部の画像382は、例えば、緑色で表示される。血管の部分の画像384は、例えば、赤色で表示される。MRI三次元眼球画像370は、半透明で表示される。なお、病変部の画像及び血管の部分の画像の何れを選択的に順次に表示するようにしてもよい。よって、半透明で表示されているMRI三次元眼球画像370に、病変部の画像のみが表示されたり、血管の部分の画像のみが表示されたりする。
第3の変形例を説明する。上記のようにメモリ164には、患者IDに対応して、UWF二次元眼底画像と、MRI三次元眼球画像とが対応して記憶されている。本開示の技術は、これに限定されない。例えば、メモリ164には、患者IDに対応して、UWF二次元眼底画像、後眼部OCT画像、及び前眼部OCT画像を対応して記憶する。ステップ304で、画像処理部182は、患者IDに対応して記憶されているUWF二次元眼底画像、後眼部OCT画像、及び前眼部OCT画像をメモリ164から取得する。
ステップ310で、画像処理部182は、MRI三次元眼球画像の少なくとも一部にUWF二次元眼底画像を重畳した第1重畳画像を生成し、後眼部OCT画像に第1重畳画像を重畳した第2重畳画像を生成する。第2セクション422は、第1重畳画像及び第2重畳画像が表示される。また、後眼部OCT画像から被検眼の後眼部の形状データを取得し、形状データに基づいて第1重畳画像を、例えば、被検眼の後眼部の形状に対応するように、変形する画像処理を行ってもよい。
又は、ステップ310で、画像処理部182は、MRI三次元眼球画像にUWF二次元眼底画像を重畳した画像を、前眼部OCT画像に重畳した画像を生成する。第2セクションには、MRI三次元眼球画像の少なくとも一部にUWF二次元眼底画像を重畳した画像を、前眼部OCT画像に重畳した画像が表示される。また、前眼部OCT画像から被検眼の角膜の形状データを取得し、形状データに基づいて第1重畳画像を変形する画像処理を行ってもよい。
又は、ステップ310で、画像処理部182は、MRI三次元眼球画像にUWF二次元眼底画像を重畳した画像を、前眼部OCT画像に重畳した画像を生成する。第2セクションには、MRI三次元眼球画像の少なくとも一部にUWF二次元眼底画像を重畳した画像を、前眼部OCT画像に重畳した画像が表示される。また、前眼部OCT画像から被検眼の角膜の形状データを取得し、形状データに基づいて第1重畳画像を変形する画像処理を行ってもよい。
第4の変形例を説明する。上記のようにメモリ164に患者IDに対応して記憶されている二次元画像は、ある時期に得られた1つの二次元画像である。本開示の技術は、これに限定されない。例えば、メモリ164には、二次元画像として、第1被検眼眼底画像と、第1被検眼画像とは異なる時期に眼底を撮像することにより得られた第2被検眼眼底画像とを含む複数の被検眼眼底画像を患者IDに対応して記憶するようにしてもよい。第1被検眼画像が得られた時と、第2被検眼画像が得られた時との間には所定のイベントが生じている。所定のイベントは、例えば、被検眼に対する手術である。以下、例として、二次元画像が第1UWF二次元眼底画像及び第2UWF二次元眼底画像である場合を記す。
第1UWF二次元眼底画像及び第2UWF二次元眼底画像は、本開示の技術の「第一の二次元画像」及び「第二の二次元画像」の一例である。
第1UWF二次元眼底画像及び第2UWF二次元眼底画像は、本開示の技術の「第一の二次元画像」及び「第二の二次元画像」の一例である。
ステップ304で、画像処理部182は、メモリ164から患者IDに対応する第1UWF二次元眼底画像と第2UWF二次元眼底画像とを取得する。
ステップ310で、画像処理部182は、MRI三次元眼球画像に、第1UWF二次元眼底画像と第2UWF二次元眼底画像とを重畳する。この場合、画像処理部182は、MRI三次元眼球画像に、第1UWF二次元眼底画像と第2UWF二次元眼底画像と差分を重畳してもよい。又は、画像処理部182は、MRI三次元眼球画像に、第1UWF二次元眼底画像と第2UWF二次元眼底画像との各々を重畳し、画像処理部182は、MRI三次元眼球画像に重畳された第1UWF二次元眼底画像と第2UWF二次元眼底画像との差分を抽出してもよい。
このように、MRI三次元眼球画像に、第1UWF二次元眼底画像と第2UWF二次元眼底画像とを重畳するので、被検眼に対する手術前後の眼底の様子を、三次元的に認識することができる。なお、MRI三次元眼球画像に重畳する第1UWF二次元眼底画像と第2UWF二次元眼底画像と差分と、MRI三次元眼球画像に重畳する第1UWF二次元眼底画像と第2UWF二次元眼底画像との各々は、手術の部分を含む所定領域のみの画像でもよい。
上記手術としては、例えば、強膜バックリング手術、即ち、眼球の外側(強膜)からシリコンを押し付けることで裂孔原性網膜剥離が進行するのを防ぐ治療がある。
MRI三次元眼球画像に、手術前の第1UWF二次元眼底画像を重畳するので、網膜剥離が眼球の外側から見てどの位置にあるのか、把握するのに役立つ。また、MRI三次元眼球画像に、手術後の第2UWF二次元眼底画像を重畳するので、網膜剥離部にシリコンが押し付けられていることを確認できる。
以下、更に種々の変形例を説明する。
以上の例では、被検眼の三次元画像としてMRI三次元眼球画像を用いているが、本開示の技術はこれに限定されない。三次元画像としては、被検眼の三次元画像データを生成する装置を用いて得られた画像であればよい。三次元画像としては、他にも例えば、X線CT(Computed Tomography)三次元眼球画像、超音波三次元眼球画像、被検眼全体のOCT画像(Whole-eye OCT画像)、被検眼全体のOCTアンギオグラフィー(OCT Angiography)画像(OCTA画像)などがあげられる。また、被検眼の三次元画像は、被検眼の三次元画像データを生成する第1のモダリティ(医用画像診断装置)の第1装置である、MRI装置、X線CT装置、超音波撮影装置、OCT装置などを用いて得られた被検眼の三次元画像と言い換えることもできる。三次元画像としてX線CT(Computed Tomography)三次元眼球画像、超音波三次元眼球画像を用いた場合、基準点としては、視神経乳頭、渦静脈、瞳孔などを用いることができる。また、被検眼の三次元画像が後極部を含むOCT画像である場合には、画像上の視神経乳頭、渦静脈を用いることができる。また、後極部のみを撮像したOCT画像である場合には、実形状表示から推定した瞳孔の位置を基準点として用いることができる。
ところで、上記各三次元画像は、被検眼の三次元画像データを生成する装置(MRI装置、X線CT装置、超音波撮影装置、OCT装置など)を用いて得られた画像であるので、三次元的に(立体的に)表示されていないものも含む。本開示の技術はこれに限定されない。
例えば、被検眼の三次元画像としては、立体的印象をもつように平面に描かれた画像であり、両眼視差を利用して脳において立体として再構築させ認識させる画像でもよい。
また、被検眼の三次元画像としては、三次元画像に対して画像処理(セグメンテーションなど)を施して得られた立体画像を用いてもよい。被検眼の立体画像は、被検眼の少なくとも一部を、立体的に(三次元的に)表示する画像である。
以上の例では、被検眼の三次元画像としてMRI三次元眼球画像を用いているが、本開示の技術はこれに限定されない。三次元画像としては、被検眼の三次元画像データを生成する装置を用いて得られた画像であればよい。三次元画像としては、他にも例えば、X線CT(Computed Tomography)三次元眼球画像、超音波三次元眼球画像、被検眼全体のOCT画像(Whole-eye OCT画像)、被検眼全体のOCTアンギオグラフィー(OCT Angiography)画像(OCTA画像)などがあげられる。また、被検眼の三次元画像は、被検眼の三次元画像データを生成する第1のモダリティ(医用画像診断装置)の第1装置である、MRI装置、X線CT装置、超音波撮影装置、OCT装置などを用いて得られた被検眼の三次元画像と言い換えることもできる。三次元画像としてX線CT(Computed Tomography)三次元眼球画像、超音波三次元眼球画像を用いた場合、基準点としては、視神経乳頭、渦静脈、瞳孔などを用いることができる。また、被検眼の三次元画像が後極部を含むOCT画像である場合には、画像上の視神経乳頭、渦静脈を用いることができる。また、後極部のみを撮像したOCT画像である場合には、実形状表示から推定した瞳孔の位置を基準点として用いることができる。
ところで、上記各三次元画像は、被検眼の三次元画像データを生成する装置(MRI装置、X線CT装置、超音波撮影装置、OCT装置など)を用いて得られた画像であるので、三次元的に(立体的に)表示されていないものも含む。本開示の技術はこれに限定されない。
例えば、被検眼の三次元画像としては、立体的印象をもつように平面に描かれた画像であり、両眼視差を利用して脳において立体として再構築させ認識させる画像でもよい。
また、被検眼の三次元画像としては、三次元画像に対して画像処理(セグメンテーションなど)を施して得られた立体画像を用いてもよい。被検眼の立体画像は、被検眼の少なくとも一部を、立体的に(三次元的に)表示する画像である。
以上の例では、MRI三次元眼球画像に重畳する被検眼の二次元画像としては、UWF二次元眼底画像を用いているが、本開示の技術はこれに限定されない。二次元画像としては、他にも例えば、眼底カメラ画像、en-face OCT、en-face OCTA画像などがあげられる。二次元画像はOCTボリュームデータを用いて作られた二次元断層像等であってもよい。また、眼底画像は、被検眼の二次元画像データを生成する第2のモダリティの第2装置である、SLO装置、OCT装置(OCTボリュームデータからen-face画像を生成する)や眼底カメラなどを用いて得られた被検眼の二次元画像(平面画像や正面画像ともいわれる)と言い換えることもできる。
また、MRI三次元眼球画像に重畳する被検眼の画像は、MRIとは異なるモダリティの装置で取得された画像であればよく、必ずしも二次元画像でなくてもよい。例えば、被検眼全体のOCTボリュームデータなどの三次元画像であってもよく、被検眼全体のOCTアンギオグラフィー画像などの三次元画像に時間情報が付加された画像データであってもよい。MRI三次元眼球画像にOCTボリュームデータを重畳することにより、被検眼の三次元情報を互いに補完可能である。具体的には、MRI三次元眼球画像にOCTボリュームデータを重畳することにより、OCT装置では光走査されない領域についてはMRI三次元眼球画像によるラフな情報が得られ、OCT装置では光走査された領域については詳細な血管情報が得られる、被検眼の三次元画像が取得される。MRI画像にOCTボリューム画像を重畳する場合にも、基準点として渦静脈、瞳孔、ONHを用いることができる。同様に、被検眼のCT画像や超音波画像に、OCTボリューム画像を重畳してもよい。
また、MRI三次元眼球画像に重畳する被検眼の画像は、MRIとは異なるモダリティの装置で取得された画像であればよく、必ずしも二次元画像でなくてもよい。例えば、被検眼全体のOCTボリュームデータなどの三次元画像であってもよく、被検眼全体のOCTアンギオグラフィー画像などの三次元画像に時間情報が付加された画像データであってもよい。MRI三次元眼球画像にOCTボリュームデータを重畳することにより、被検眼の三次元情報を互いに補完可能である。具体的には、MRI三次元眼球画像にOCTボリュームデータを重畳することにより、OCT装置では光走査されない領域についてはMRI三次元眼球画像によるラフな情報が得られ、OCT装置では光走査された領域については詳細な血管情報が得られる、被検眼の三次元画像が取得される。MRI画像にOCTボリューム画像を重畳する場合にも、基準点として渦静脈、瞳孔、ONHを用いることができる。同様に、被検眼のCT画像や超音波画像に、OCTボリューム画像を重畳してもよい。
以上の例では、管理サーバ140が画像処理プログラムを実行しているが、本開示の技術はこれに限定されず、例えば、UWF眼科装置110、MRI画像取得装置120、画像ビューワ150、他の眼科機器(視野測定、眼圧測定などの検査機器)、及び人工知能を用いた画像解析を行う診断支援装置の何れかが実行してもよい。
UWF眼科装置110は、OCTユニット20を省略することが可能である。この場合、撮影光学系19のフォーカス調整機構28及び光路合成素子21も省略される。
本開示において、各構成要素(装置等)は、矛盾が生じない限りは、1つのみ存在しても2つ以上存在してもよい。
以上説明した各例では、コンピュータを利用したソフトウェア構成により画像処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合とされない場合とを含むので、以下の技術を含む。
(第1の技術)
被検眼の三次元画像と前記被検眼の二次元画像とを取得する取得部と、
前記三次元画像において第一基準点と、前記二次元画像において第二基準点と、を特定する特定部と、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成する生成部と、
を備える画像処理装置。
被検眼の三次元画像と前記被検眼の二次元画像とを取得する取得部と、
前記三次元画像において第一基準点と、前記二次元画像において第二基準点と、を特定する特定部と、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成する生成部と、
を備える画像処理装置。
(第2の技術)
取得部が、被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
特定部が、前記三次元画像において第一基準点と、前記二次元画像において第二基準点と、を特定するステップと、
生成部が、前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、
を含む、画像処理方法。
取得部が、被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
特定部が、前記三次元画像において第一基準点と、前記二次元画像において第二基準点と、を特定するステップと、
生成部が、前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、
を含む、画像処理方法。
以上の開示内容から以下の技術が提案される。
(第3の技術)
画像処理するためのコンピュータープログラム製品であって、
前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、
コンピュータに、
被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、
を実行させる、コンピュータープログラム製品。
(第3の技術)
画像処理するためのコンピュータープログラム製品であって、
前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、
コンピュータに、
被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、
を実行させる、コンピュータープログラム製品。
以上の開示内容から以下の技術が提案される。
(第4の技術)
被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、
前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像に基づいて、前記被検眼を診断するステップと、
を備える被検眼診断方法。
(第4の技術)
被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、
前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像に基づいて、前記被検眼を診断するステップと、
を備える被検眼診断方法。
以上説明した画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。
140 管理サーバ
160 制御ユニット
162 CPU
164 メモリ
182 画像処理部
184 表示制御部
186 出力部
160 制御ユニット
162 CPU
164 メモリ
182 画像処理部
184 表示制御部
186 出力部
Claims (27)
- 被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、
を備える画像処理方法。 - 前記重畳した画像を出力するステップを更に含む請求項1に記載の画像処理方法。
- 前記三次元画像の少なくとも一部に重畳される前記二次元画像は、眼底の少なくとも一部領域を撮像した画像である、請求項1又は請求項2に記載の画像処理方法。
- 前記三次元画像の少なくとも一部に重畳される前記二次元画像は、眼底の血管が可視化された画像である、請求項1から請求項3の何れか1項に記載の画像処理方法。
- 前記三次元画像の少なくとも一部に重畳される前記二次元画像は、渦静脈が可視化された画像である、請求項1から請求項4の何れか1項に記載の画像処理方法。
- 前記二次元画像は、広角光学系を介して眼底を撮像することにより得られた眼底画像である、請求項1から請求項5の何れか1項に記載の画像処理方法。
- 前記第一基準点及び前記第二基準点は、前記三次元画像と前記二次元画像とに共通する構造的特徴を含む、請求項1から請求項6の何れか1項に記載の画像処理方法。
- 前記三次元画像において、互いに異なる位置に位置する複数の第一基準点を特定し、
前記二次元画像において、互いに異なる位置に位置する複数の第二基準点を特定し、
前記複数の第二基準点は、各々前記複数の第一基準点に対応する構造的特徴である、
請求項1から請求項7の何れか1項に記載の画像処理方法。 - 前記第一基準点及び第二基準点は、黄斑、視神経乳頭、及び瞳孔の何れかの位置である、請求項1から請求項8の何れか1項に記載の画像処理方法。
- 前記重畳した画像を生成するステップは、
前記二次元画像を三次元仮想球面上に投影するステップと、
前記三次元仮想球面上に投影された前記二次元画像の第二基準点と前記三次元画像の第一基準点とが一致するように、前記三次元仮想球面上に投影された前記二次元画像と前記三次元画像とを重畳するステップと、
を含む、請求項1から請求項9の何れか1項に記載の画像処理方法。 - 前記被検眼の二次元画像は、第一の二次元画像及び第二の二次元画像を含む複数の二次元画像を含み、
前記重畳した画像を生成するステップは、
前記三次元画像の少なくとも一部に前記第一の二次元画像を重畳した第1重畳画像を生成するステップと、
前記第1重畳画像の少なくとも一部に前記第二の二次元画像を重畳した第2重畳画像を生成するステップと、
を含む、請求項1から請求項10の何れか1項に記載の画像処理方法。 - 前記二次元画像は、SLO画像及び後眼部OCT画像であり、
前記重畳した画像を生成するステップは、
前記三次元画像の少なくとも一部に、前記SLO画像及び前記後眼部OCT画像を重畳するステップ
を含む、請求項1から請求項11の何れか1項に記載の画像処理方法。 - 前記二次元画像は、眼底画像及び前眼部OCT画像であり、
前記重畳した画像を生成するステップは、
前記三次元画像の少なくとも一部に、前記眼底画像及び前記前眼部OCT画像に重畳した画像を生成するステップを含む、請求項1から請求項11の何れか1項に記載の画像処理方法。 - 前記二次元画像は、眼底画像及び被検眼全体のOCT画像であり、
前記重畳した画像を生成するステップは、前記三次元画像の少なくとも一部に、前記眼底画像及び前記被検眼全体のOCT画像に重畳した画像を生成するステップを含む、請求項1から請求項11の何れか1項に記載の画像処理方法。 - 前記三次元画像に重畳される前記二次元画像は、病変部を示す領域を含む画像である、請求項1から請求項14の何れか1項に記載の画像処理方法。
- 前記二次元画像は、第1被検眼画像と、前記第1被検眼画像とは異なる時期に前記被検眼を撮影することにより得られた第2被検眼画像と、を含む、請求項1から請求項15の何れか1項に記載の画像処理方法。
- 前記三次元画像に重畳される前記二次元画像は、前記第1被検眼画像と前記第2被検眼画像との差分である、請求項16に記載の画像処理方法。
- 前記重畳した画像を生成するステップは、前記三次元画像に前記第1被検眼画像及び前記第2被検眼画像を重畳した画像を生成することを含み、
前記三次元画像に前記重畳した画像から、前記第1被検眼画像と前記第2被検眼画像との差分を抽出するステップを更に含む、請求項16に記載の画像処理方法。 - 前記三次元画像は、MRI三次元眼球画像である、請求項1から請求項18の何れか1項に記載の画像処理方法。
- メモリと、前記メモリに接続するプロセッサと、を備え、
前記プロセッサは、
被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、
を含む画像処理方法を実行する、画像処理装置。 - コンピュータに、
三次元画像と二次元画像とを取得するステップと、
被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、
を含む画像処理方法を実行させるプログラム。 - 被検眼を第1のモダリティで撮像した、三次元画像である第1画像を取得するステップと、
前記第1のモダリティとは異なる第2のモダリティで前記被検眼を撮像した第2画像を取得するステップと、
前記第1画像において第一構造的特徴を特定するステップと、
前記第2画像において前記第一構造的特徴に対応する第二構造的特徴を特定するステップと、
前記第一構造的特徴及び前記第二構造的特徴を基準にして、前記第1画像の少なくとも一部に前記第2画像の少なくとも一部を重畳した画像を生成するステップと、
を備える画像処理方法。 - 前記第1のモダリティは、MRIであり、
前記第2のモダリティは、SLO、OCT、あるいは、眼底カメラである、請求項22に記載の画像処理方法。 - 前記第1画像は、前記三次元画像に対して画像処理を施して得られた立体画像である、請求項22または請求項23に記載の画像処理方法。
- 前記立体画像は、OCT装置で撮影されたOCTボリュームデータから生成されたOCT立体画像、あるいは、前記MRIで撮影されたMRIボリュームデータから生成されたMRI立体画像である、請求項23に従属する請求項24に記載の画像処理方法。
- 前記第2画像は、平面画像である、請求項22から請求項25の何れか1項に記載の画像処理方法。
- 前記平面画像は、SLO画像、あるいは、OCTボリュームデータから生成されたen-face画像である、請求項26に記載の画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021005188A JP2022109721A (ja) | 2021-01-15 | 2021-01-15 | 画像処理方法、画像処理装置、及びプログラム |
US17/576,054 US20220230371A1 (en) | 2021-01-15 | 2022-01-14 | Image processing method, image processing device and program memory medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021005188A JP2022109721A (ja) | 2021-01-15 | 2021-01-15 | 画像処理方法、画像処理装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022109721A true JP2022109721A (ja) | 2022-07-28 |
JP2022109721A5 JP2022109721A5 (ja) | 2023-10-18 |
Family
ID=82406509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021005188A Pending JP2022109721A (ja) | 2021-01-15 | 2021-01-15 | 画像処理方法、画像処理装置、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220230371A1 (ja) |
JP (1) | JP2022109721A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116491893B (zh) * | 2023-06-28 | 2023-09-15 | 依未科技(北京)有限公司 | 高度近视眼底改变评估方法及装置、电子设备及存储介质 |
CN117437231B (zh) * | 2023-12-21 | 2024-04-26 | 依未科技(北京)有限公司 | 近视眼底结构改变的定位方法及装置、图像处理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150037147A (ko) * | 2013-09-30 | 2015-04-08 | 삼성전자주식회사 | 광간섭 단층 촬영을 이용한 혈관 카테터 경로 제어 방법 및 이를 수행하기 위한 혈관 조영검사 장치 |
DE102014010350A1 (de) * | 2014-07-10 | 2016-01-14 | Carl Zeiss Meditec Ag | Augenchirurgiesystem |
CN108601522A (zh) * | 2016-02-11 | 2018-09-28 | 爱德华多·斯威特莉莎 | 广角立体眼底镜检查 |
JP6843602B2 (ja) * | 2016-12-05 | 2021-03-17 | キヤノン株式会社 | 画像表示装置、画像表示方法、及びプログラム |
FR3106740A1 (fr) * | 2020-02-03 | 2021-08-06 | Imagine Eyes | Procédés et systèmes de contrôle de l’alignement de l’œil dans un appareil d’imagerie ophtalmologique |
US20220095909A1 (en) * | 2020-09-25 | 2022-03-31 | Alcon Inc. | Imaging markers for verifying biometry |
-
2021
- 2021-01-15 JP JP2021005188A patent/JP2022109721A/ja active Pending
-
2022
- 2022-01-14 US US17/576,054 patent/US20220230371A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220230371A1 (en) | 2022-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10105052B2 (en) | Ophthalmic imaging apparatus and ophthalmic information processing apparatus | |
CN112822972A (zh) | 图像处理装置、图像处理方法和程序 | |
US10561311B2 (en) | Ophthalmic imaging apparatus and ophthalmic information processing apparatus | |
JP2023009530A (ja) | 画像処理方法、画像処理装置、及びプログラム | |
US20220151483A1 (en) | Ophthalmic apparatus, method for controlling ophthalmic apparatus, and computer-readable medium | |
US20220230371A1 (en) | Image processing method, image processing device and program memory medium | |
JP2023120308A (ja) | 画像処理方法、画像処理装置、及び画像処理プログラム | |
JP7362403B2 (ja) | 画像処理装置および画像処理方法 | |
EP3628212A1 (en) | Ophthalmic imaging apparatus, controlling method thereof, ophthalmic imaging method, and recording medium | |
CN111989030A (zh) | 图像处理方法、程序及图像处理装置 | |
JP2022060588A (ja) | 眼科装置、及び眼科装置の制御方法 | |
JP7286283B2 (ja) | 眼科装置 | |
JP7204345B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20240153203A1 (en) | Image processing method, image processing device, and program | |
WO2023282339A1 (ja) | 画像処理方法、画像処理プログラム、画像処理装置及び眼科装置 | |
JP7272453B2 (ja) | 画像処理方法、画像処理装置、およびプログラム | |
WO2022113409A1 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
US11954872B2 (en) | Image processing method, program, and image processing device | |
US20230419451A1 (en) | Image processing method, image processing apparatus, and recording medium | |
JP7306482B2 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
WO2021210295A1 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
JP2024008246A (ja) | 画像処理方法、画像処理装置、プログラム、及び記録媒体 | |
JP2024003982A (ja) | 画像処理方法、画像処理装置、プログラム、及び記録媒体 | |
JP2023066198A (ja) | 情報出力装置、眼底画像撮影装置、情報出力方法、及び情報出力プログラム | |
JP2024004792A (ja) | 画像処理方法、画像処理装置、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231010 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231010 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240522 |