JP2021083919A - 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム - Google Patents
医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2021083919A JP2021083919A JP2019216516A JP2019216516A JP2021083919A JP 2021083919 A JP2021083919 A JP 2021083919A JP 2019216516 A JP2019216516 A JP 2019216516A JP 2019216516 A JP2019216516 A JP 2019216516A JP 2021083919 A JP2021083919 A JP 2021083919A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- tomographic
- tomographic image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 139
- 230000003287 optical effect Effects 0.000 title claims description 92
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000003325 tomography Methods 0.000 title claims description 7
- 238000005259 measurement Methods 0.000 claims abstract description 100
- 238000003384 imaging method Methods 0.000 claims abstract description 63
- 238000012937 correction Methods 0.000 claims abstract description 62
- 210000001508 eye Anatomy 0.000 claims description 108
- 230000010354 integration Effects 0.000 claims description 52
- 238000004458 analytical method Methods 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 22
- 238000010191 image analysis Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 198
- 230000008569 process Effects 0.000 description 154
- 238000012014 optical coherence tomography Methods 0.000 description 110
- 210000001525 retina Anatomy 0.000 description 41
- 210000000695 crystalline len Anatomy 0.000 description 37
- 239000000835 fiber Substances 0.000 description 34
- 230000008859 change Effects 0.000 description 21
- 238000003702 image correction Methods 0.000 description 20
- 238000012986 modification Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 19
- 238000010801 machine learning Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 16
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 description 15
- 210000004204 blood vessel Anatomy 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 230000002207 retinal effect Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 230000010287 polarization Effects 0.000 description 11
- 206010025421 Macule Diseases 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000004323 axial length Effects 0.000 description 4
- 239000002775 capsule Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 210000004127 vitreous body Anatomy 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000002583 angiography Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 229910003460 diamond Inorganic materials 0.000 description 3
- 239000010432 diamond Substances 0.000 description 3
- 235000019557 luminance Nutrition 0.000 description 3
- 210000004126 nerve fiber Anatomy 0.000 description 3
- 210000003733 optic disk Anatomy 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000001775 bruch membrane Anatomy 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000004379 membrane Anatomy 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 210000005081 epithelial layer Anatomy 0.000 description 1
- 210000000873 fovea centralis Anatomy 0.000 description 1
- 208000016339 iris pattern Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000608 photoreceptor cell Anatomy 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000790 retinal pigment Substances 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
以下、図1乃至図11Bを参照して、本発明の実施例1に係るOCT装置について説明する。図1は、本実施例におけるOCT装置の概略的な構成例を示す。OCT装置には、OCT光学系(SS−OCT光学系)100、SLO(Scanning Laser Ophthalmoscope:走査型検眼鏡)光学系140、前眼部撮像部160、内部固視灯170、及び制御装置200が設けられている。
まず、図1を参照して、OCT光学系100の構成について説明する。OCT光学系100には、光源101、偏光コントローラ103、ファイバカプラ104,106、及びPM(Power Meter)131が設けられている。また、OCT光学系100には、コリメータ117、Xスキャナ107、レンズ108,109、Yスキャナ110、ファイバカプラ126、及び差動検出器(balanced receiver)129が設けられている。さらに、OCT光学系100には、コリメータ120−a,120−b、分散補償ガラス121、コヒーレンスゲートステージ122、及びミラー123−a,123−bが設けられている。
次に、SLO光学系140の構成について説明する。SLO光学系140は、被検眼の眼底画像を取得する眼底画像取得部の一例として機能する。SLO光学系140には、光源141、偏光コントローラ145、コリメータ143、穴あきミラー144、レンズ155、Xスキャナ146、レンズ147,148、Yスキャナ149、レンズ150、及びAPD(アバランシェフォトダイオード)152が設けられている。
次に前眼部撮像部160の構成について説明する。前眼部撮像部160には、レンズ162,163,164、及び前眼部カメラ165が設けられている。前眼部撮像部160で撮影を行う場合には、例えば、波長850nmの照明光を発するLED115−a,115−bを含む照明光源115が前眼部Eaに照明光を照射する。前眼部Eaで反射され光は、フォーカスレンズ114、レンズ112、ダイクロイックミラー111,154を介し、ダイクロイックミラー161に到達する。ダイクロイックミラー161は、例えば820nm〜900nmの光を反射し、それ以外の光を透過する特性を有する。なお、照明光源115は駆動制御部180によって制御されてよい。
次に、内部固視灯170について説明する。内部固視灯170には、固視灯表示部171、及びレンズ172が設けられている。固視灯表示部171としては、例えば複数の発光ダイオード(LD)がマトリックス状に配置されたものを用いることができる。発光ダイオードの点灯位置は、駆動制御部180の制御により撮像したい部位に合わせて変更される。固視灯表示部171からの光は、レンズ172を介し、被検眼に導かれる。固視灯表示部171から出射される光は例えば520nmの波長を有する。また、固視灯としては、駆動制御部180の制御により所望のパターンが表示されることができる。
次に、制御装置200(医用画像処理装置)について説明する。制御装置200には、駆動制御部180、信号処理部190、制御部191、及び表示部192が設けられている。駆動制御部180は、上述の通り、OCT光学系100、SLO光学系140、前眼部撮像部160、及び内部固視灯170におけるXスキャナ107等の構成要素を制御する。
ステップS401では、制御装置200は、被検眼を同定する情報として被検者識別番号を外部から取得する。なお、被検者識別番号は、不図示の入力部を介して操作者によって入力されてよい。制御装置200は、被検者識別番号に基づいて、不図示の外部記憶部が保持している当該被検眼に関する情報を取得して不図示の記憶部に記憶する。なお、記憶部は、制御装置200に設けられた任意のメモリや記憶媒体であってよい。
ステップS402では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者によるスキャン開始の指示に応じて行われてよい。制御装置200は、スキャン開始の指示が入力されると、駆動制御部180によりXスキャナ107及びYスキャナ110の動作を制御し、OCT光学系100を用いて被検眼のスキャンを行う。
ステップS403では、再構成部1901が差動検出器129から出力された干渉信号に対して、上述した再構成処理を行うことで、断層画像を生成する。まず、再構成部1901は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は、例えば検出した複数のAスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、再構成部1901は、有限区間でフーリエ変換した場合にトレードオフの関係となる、深さ分解能とダイナミックレンジとを最適化するために、所望の窓関数処理を行う。次に、再構成部1901は、FFT処理を行うことによって、断層画像を生成する。なお、上述のように再構成処理はこれに限られず、公知の任意の方法により行われてよい。
ステップS404では、三次元データの生成を行う。以下、図4(b)のフローチャート及び図6(a)乃至図11を参照して、三次元データの生成に関して詳細に説明する。三次元データの生成処理が開始されると、処理はステップS441に移行する。
ステップS441では、断層画像の位置合わせを行うために、検出部1905が網膜の境界線を検出する。位置合わせを行うための層として、例えば、図3(b)に示したILMとNFLの境界L1と、視細胞内節外節接合部L3を検出する。検出部1905は、処理対象とする断層画像に対して、メディアンフィルタとSobelフィルタをそれぞれ適用して画像を作成する(以下、メディアン画像、Sobel画像とする)。次に、作成したメディアン画像とSobel画像から、Aスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Sobel画像では勾配のプロファイルとなる。そして、Sobel画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界線を検出する。なお、境界線の検出方法はこれに限られず、公知の任意の方法を用いてよい。例えば、検出部1905は、機械学習モデルに関する学習済モデルを用いて断層画像から境界線を検出してもよい。この場合、学習済モデルに関する学習データとしては、例えば、断層画像を入力データとし、該断層画像について医師等が境界線のラベルを付したラベル画像を出力データとしてもよい。
ステップS442では、位置合わせ部1902が隣接する断層画像の位置合わせを行う。高密度な放射状スキャンを撮影している間に眼は動いている。XY面内の移動に関しては、リアルタイムにトラッキングを行いながら撮影を行うため、撮影時にほとんど位置合わせができている。しかしながら、深さ方向に関しては、リアルタイムトラッキングをしていないため、断層画像同士のデータ間で位置合わせを行う必要がある。そのため、ここでは放射状スキャンによって得られた断層画像のデータ間の位置合わせに関して、図6(a)乃至図6(c)を用いて説明する。
ステップS443では、データ統合部1903が放射状にスキャンして取得し、位置合わせを行った断層画像を三次元空間に配置するとともに、複数の断層画像に関するデータの統合を行う。当該処理に関して、図7(a)乃至(c)を参照して説明する。
ステップS444では、データ統合部1903が放射状にスキャンして取得した断層画像を三次元空間に配置・統合したデータに基づいて、データ生成部1904が三次元データの構築を行う。当該処理に関して、図8(a)乃至図8(c)を参照して説明する。図8(a)は図7(a)で示した実際に放射状にスキャンして取得した断層画像を配置した後に、スキャンをしていない残りの空間に対して推定断層画像803(推定Aスキャンデータ)を生成した例である。図8(b)は、スキャンして取得した断層画像702と推定断層画像803から生成された三次元データ804を示す。図8(c)は、図8(a)の放射状スキャンにおいてxy面の中心の領域を一部拡大した例であり、ひし形のパターンの四角813は、図8(a)における推定断層画像803の位置を示している。なお、図8(c)における、ひし形のパターンの四角814は、ひし形のパターンの四角813を含む面において、撮影したAスキャンデータが存在する位置を示している。
ステップS405では、放射状スキャンで取得した断層画像から生成した三次元データを制御部191が表示部192に表示させる。本実施例における表示画面の一例を図11A及び図11Bに示す。基本的な画面の説明は、図11Aを参照して行う。図11Aには、表示画面1100が示されており、表示画面1100には、患者タブ1101、撮影タブ1102、レポートタブ1103、及び設定タブ1104が設けられている。レポートタブ1103における斜線は、レポート画面のアクティブ状態を表している。本実施例においては、撮影処理終了後に画像確認のため、レポート画面を表示する例について説明する。
実施例1においては、駆動制御部180がXスキャナ107及びYスキャナ110を制御して、放射状に走査する例について説明した。本実施例では、放射状の走査に加えて、円形状に走査することで、より精度良く三次元データを生成する例について説明する。
実施例1及び2においては、駆動制御部180がXスキャナ107及びYスキャナ110を制御して、放射状及び円形状に走査して断層画像を取得する例について説明した。本実施例では、これらの走査により断層画像を取得するとともに、モーションコントラスト画像を生成する。以下、図13乃至図14(b)を参照して、本実施例に係るOCT装置について、実施例1に係るOCT装置との違いを中心について説明する。本実施例に係るOCT装置の各構成要素は、信号処理部190において、モーションコントラスト画像生成部1906が更に設けられている点を除いて、実施例1に係るOCT装置の各構成要素と同様であるため、同じ参照符号を用いて説明を省略する。
実施例1乃至3においては、駆動制御部180がXスキャナ107及びYスキャナ110を制御して、放射状、さらには円形状に走査して断層画像やモーションコントラスト画像を取得する例について説明した。ここで、一般的なOCT装置によって取得した断層画像は空間的な形状を正しく表示していない。これに関して、図15を参照して説明する。
上述のように、断層画像に示される眼底の形状と実際の眼球における眼底Efの形状は異なる。具体的には、通常の断層画像はスキャンミラーの角度に対応したデータを平行に並べて生成されるが、実際には、これらの画像データはスキャンの中心(ピボットポイント)を中心とする極座標上に表されるべき画像データである。
実施例1乃至4においては、放射状、さらには円形状に走査して断層画像及びモーションコントラスト画像を取得し、画像補正部1907が実形状補正処理を行った断層画像及びモーションコントラスト画像から三次元データを生成する例について説明した。本実施例では、これら断層画像又はモーションコントラスト画像に対して解析処理を実行する例について説明する。
上述した様々な実施例において、測定光を放射状に走査して得た断層画像、又は放射状と円形状に走査して得た断層画像から三次元データを生成する例について説明した。これに対して、測定光を水平方向や垂直方向に走査(ラスタスキャン)した断層画像と、測定光を放射状又は円形状に走査して得た断層画像とを組み合わせて、正確な三次元データを生成してもよい。この場合、測定光を水平方向や垂直方向に走査して得た断層画像に対して、交差する位置で、別の走査により得た断層画像を用いて位置合わせを行うことができる。なお、位置合わせ処理やデータ統合処理、主走査と副走査方向でのAスキャン間隔が等方でない場合の画像補間処理等は上述した実施例で説明した処理と同様に行うことが可能である。
上述した様々な実施例において、測定光を放射状に走査して得た断層画像、又は放射状と円形状に走査して得た断層画像から三次元データを生成する例について説明した。これに対して、必ずしも三次元データを生成して表示する必要はなく、表示するデータは、密に撮影した放射状スキャンの画像としてもよい。言い換えると、上述した実施例においてチェックボックス1116を設けない構成としてもよい。ただし、表示をしないだけで、解析などのために内部では三次元データを生成してもよい。生成した三次元データは必ずしも保存する必要はなく、実行の度に生成してもよい。
上述した様々な実施例において、機械学習を用いて、補間で生成した断層画像から実際に撮影したような断層画像を生成する例について示した。これに対して、機械学習モデルを用いて、三次元データに関する補間処理自体を行ってもよい。例えば、敵対的生成ネットワーク(GAN:Generative Adversarial Networks)を用いて画像を生成することができる。GANは、生成器(Generator)と識別器(Discriminator)という二つのニューラルネットワークで構成される。生成器は訓練データと同じようなデータを生成しようとし、識別器はデータが訓練データから来たものか、それとも生成モデルから来たものかを識別する。この場合、図9(b)の断層画像911で示したような放射状スキャンデータから構築した三次元データの任意断面位置の断層画像を入力した際に、実際に撮影したような断層画像を生成する生成モデルとなるように学習を行う。それにより、データ生成部1904は、補間処理を自身では行わずに、学習済モデルを用いて、放射状スキャンにより得た複数の断層画像から直接三次元データを生成してもよい。
上述した様々な実施例において、複数の異なる時刻に撮影した放射状スキャンの断層画像やモーションコントラス画像を用いて重ね合わせ処理を実行してもよい。例えば、複数の異なる時刻に同一の箇所について撮影した放射状スキャンの断層画像について位置合わせを行う。異なる時間に撮影した複数データの位置合わせの方法としては、上述した方法のいずれかの方法を用いて放射状スキャンから三次元データを生成する。複数の三次元データにおいて特徴的なXY面のデータを用いて位置合わせを行う。XY面内の位置合わせにおいては、XYのシフトだけではなく回転や歪みを考慮して位置合わせを行ってもよい。さらに深度方向Zにおいても位置合わせを行う。深度方向Zにおいては、Bスキャン単位やAスキャン単位で位置合わせを行ってもよい。その後、重ね合わせ処理することで、ノイズが低減された三次元データを生成することができる。なお、重ね合わせ処理については、例えば加算平均処理を用いてよい。
上述した様々な実施例において、位置合わせ済みの三次元データを3Dプリンタで印刷できるような形式で出力できるようにしてもよい。例えば、位置合わせ済み、又は位置合わせ後に実形状補正処理済みの断層画像やモーションコントラスト画像をRAW形式で出力したり、サーフェスレンダリング後の形式で出力したり、STL(Standard Triangulated Language、又はStereolithography)形式で出力することで、3Dプリンタで印刷することが可能である。
なお、実施例2においては、放射状にスキャンして得た断層画像を、円形状にスキャンして得た断層画像を基準として位置合わせ処理を行った。ここで、断層画像の位置合わせについて、基準となる断層画像を、放射状にスキャンして得た断層画像(第1の断層画像)と円形状にスキャンして得た断層画像(第2の断層画像)とで切り替えることができるように位置合わせ部1902を構成してもよい。この場合、位置合わせ部1902は、操作者の指示に応じてこれらの位置合わせ処理を切り替えてよい。
上述した様々な実施例では、撮影して得た断層画像やモーションコントラスト画像以外の位置については補間処理によりデータを生成した。これに対し、例えば、Xスキャナ107及びYスキャナ110による測定光の帰線期間にも干渉信号を取得し、これに基づく断層画像等をデータ生成部1904が補間用のデータとして用いてもよい。ここで、帰線期間とは、測定光を所望の走査線に沿って走査した後に、次の走査線の開始位置まで測定光を移動させるために各スキャナの角度を変更する期間をいう。なお、当該帰線期間に得た断層画像について間引いたものを補間用のデータとして用いてもよい。
本発明は、上述の実施例及び変形例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、一つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
Claims (23)
- 被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の断層画像、及び各断層画像に対応する撮影パラメータを取得する取得部と、
前記撮影パラメータを用いて、前記撮影パラメータに対応する断層画像の形状を補正する補正部と、
前記形状が補正された複数の断層画像を互いに位置合わせする位置合わせ部と、
を備える、医用画像処理装置。 - 前記位置合わせ部は、前記形状が補正された複数の断層画像を、少なくとも前記断層画像における深さ方向において互いに位置合わせする、請求項1に記載の医用画像処理装置。
- 前記位置合わせを行った複数の断層画像を用いて、三次元データを生成するデータ生成部を更に備える、請求項1又は2に記載の医用画像処理装置。
- 三次元空間において、前記位置合わせを行った複数の断層画像のうち少なくとも二つの断層画像が交わる位置の画素値を、該少なくとも二つ断層画像の該位置の画素値を統合した値を用いて定めるデータ統合部を更に備え、
前記データ生成部は、前記位置合わせを行った複数の断層画像及び前記データ統合部が定めた前記画素値を用いて三次元データを生成する、請求項3に記載の医用画像処理装置。 - 前記データ統合部は、前記画素値を統合した値として、前記位置における前記少なくとも二つの断層画像の画素値の統計値又は該画素値のうちの1つの画素値を用いる、請求項4に記載の医用画像処理装置。
- 前記データ生成部は、前記三次元データにおける前記複数箇所間のデータを、前記位置合わせを行った複数の断層画像のうちの二つを用いた補間処理により生成する、請求項3乃至5のいずれか一項に記載の医用画像処理装置。
- 前記データ生成部は、被検眼を撮影して得た三次元データを学習データとして学習を行った学習済みモデルを用いて、前記位置合わせを行った複数の断層画像から前記三次元データを生成する、請求項3乃至5のいずれか一項に記載の医用画像処理装置。
- 前記データ生成部は、前記三次元データの少なくとも一部のデータを二次元平面に投影した正面画像を生成する、請求項2乃至7のいずれか一項に記載の医用画像処理装置。
- 前記断層画像は、輝度の断層画像又はモーションコントラストの断層画像であり、
前記正面画像は、En−Face画像又はモーションコントラスト正面画像である、請求項8に記載の医用画像処理装置。 - 前記撮影パラメータは、前記測定光の走査情報、前記被検眼と対物レンズとの距離、及び前記測定光の光軸に対する前記被検眼の偏芯量の少なくとも1つを含む、請求項1乃至9のいずれか一項に記載の医用画像処理装置。
- 前記補正部は、前記測定光の走査情報、前記測定光を走査する走査部と共役である前記被検眼内の位置、及び前記被検眼内の屈折要素の屈折率を用いて、前記断層画像の形状を補正する、請求項10に記載の医用画像処理装置。
- 前記補正部は、前記被検眼と前記対物レンズとの距離及び前記測定光の光軸に対する前記被検眼の偏芯量の少なくとも一方を用いて、前記断層画像の形状を補正する、請求項10又は11に記載の医用画像処理装置。
- 被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の断層画像を取得する取得部と、
前記複数の断層画像を、少なくとも前記断層画像における深さ方向において互いに位置合わせする位置合わせ部と、
前記位置合わせを行った複数の断層画像を用いて、三次元データを生成するデータ生成部と、
を備える、医用画像処理装置。 - 前記取得部は、前記被検眼上で前記測定光を円形状に走査して得られた、前記被検眼の少なくとも一箇所に対応する断層画像を更に取得し、
前記位置合わせ部は、前記測定光を円形状に走査して得られた断層画像を基準として、前記複数の断層画像を位置合わせする、請求項1乃至13のいずれか一項に記載の医用画像処理装置。 - 複数の断層画像を用いてモーションコントラスト画像を生成する画像生成部を更に備え、
前記取得部は、前記複数箇所について所定時間内に同一箇所を走査して得られた断層画像群を取得し、
前記画像生成部は、前記断層画像群を用いてモーションコントラスト画像を生成する、請求項1乃至14のいずれか一項に記載の医用画像処理装置。 - 前記位置合わせ部は、前記複数の断層画像に対応する複数のモーションコントラスト画像を互いに位置合わせし、
該医用画像処理装置は、前記位置合わせを行った複数のモーションコントラスト画像を用いて、三次元データを生成するデータ生成部を更に備える、請求項15に記載の医用画像処理装置。 - 前記位置合わせを行った断層画像について画像解析を行う解析部を更に備える、請求項1乃至16のいずれか一項に記載の医用画像処理装置。
- 被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の第1の断層画像、及び前記被検眼上で前記測定光を円形状に走査して得られた、前記被検眼の少なくとも一箇所に対応する第2の断層画像を取得する取得部と、
前記複数の第1の断層画像及び前記第2の断層画像を、少なくとも断層画像における深さ方向において互いに位置合わせする位置合わせ部と、
を備え、
前記位置合わせ部は、前記複数の第1の断層画像を基準とした位置合わせと、前記第2の断層画像を基準とした位置合わせとを操作者の指示に応じて切り替える、医用画像処理装置。 - 請求項1乃至18のいずれか一項に記載の医用画像処理装置と、
測定光を走査する走査部を含む光学系と、
を備える、光干渉断層撮影装置。 - 被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の断層画像、及び各断層画像に対応する撮影パラメータを取得することと、
前記撮影パラメータを用いて、前記撮影パラメータに対応する断層画像の形状を補正することと、
前記形状が補正された複数の断層画像を互いに位置合わせすることと、
を含む、医用画像処理方法。 - 被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の断層画像を取得することと、
前記複数の断層画像を、少なくとも前記断層画像における深さ方向において互いに位置合わせすることと、
前記位置合わせを行った複数の断層画像を用いて、三次元データを生成することと、
を含む、医用画像処理方法。 - 被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の第1の断層画像、及び前記被検眼上で前記測定光を円形状に走査して得られた、前記被検眼の少なくとも一箇所に対応する第2の断層画像を取得することと、
前記複数の第1の断層画像及び前記第2の断層画像を、少なくとも断層画像における深さ方向において互いに位置合わせすることと、
を含み、
前記位置合わせすることは、前記複数の第1の断層画像を基準とした位置合わせと、前記第2の断層画像を基準とした位置合わせとを操作者の指示に応じて切り替えることを含む、医用画像処理方法。 - コンピュータによって実行されると、該コンピュータに請求項20乃至22のいずれか一項に記載の医用画像処理方法を実行させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019216516A JP7419042B2 (ja) | 2019-11-29 | 2019-11-29 | 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム |
PCT/JP2020/043963 WO2021106987A1 (ja) | 2019-11-29 | 2020-11-26 | 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム |
CN202080081569.9A CN114760906A (zh) | 2019-11-29 | 2020-11-26 | 医用图像处理装置、光学相干断层摄影装置、医用图像处理方法和程序 |
US17/824,038 US12087001B2 (en) | 2019-11-29 | 2022-05-25 | Medical image processing apparatus, optical coherence tomography apparatus, medical image processing method, and computer-readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019216516A JP7419042B2 (ja) | 2019-11-29 | 2019-11-29 | 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021083919A true JP2021083919A (ja) | 2021-06-03 |
JP2021083919A5 JP2021083919A5 (ja) | 2022-12-06 |
JP7419042B2 JP7419042B2 (ja) | 2024-01-22 |
Family
ID=76086358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019216516A Active JP7419042B2 (ja) | 2019-11-29 | 2019-11-29 | 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US12087001B2 (ja) |
JP (1) | JP7419042B2 (ja) |
CN (1) | CN114760906A (ja) |
WO (1) | WO2021106987A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022181729A1 (ja) * | 2021-02-25 | 2022-09-01 | 株式会社ニコン | 画像処理方法、画像処理装置、及び画像処理プログラム |
WO2023140469A1 (ko) * | 2022-01-18 | 2023-07-27 | 가톨릭대학교 산학협력단 | 병적 근시 진단 장치 및 방법 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114343565B (zh) * | 2021-11-30 | 2022-10-11 | 图湃(北京)医疗科技有限公司 | 一种光学相干层析视网膜图像校正方法及装置 |
CN116309194B (zh) * | 2023-05-24 | 2023-08-08 | 广东麦特维逊医学研究发展有限公司 | Oct图像畸变校正方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018175258A (ja) * | 2017-04-10 | 2018-11-15 | キヤノン株式会社 | 画像生成装置、画像生成方法、及びプログラム |
JP2019187551A (ja) * | 2018-04-19 | 2019-10-31 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2021062077A (ja) * | 2019-10-15 | 2021-04-22 | 株式会社トーメーコーポレーション | 眼科装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4921201B2 (ja) | 2007-02-23 | 2012-04-25 | 株式会社トプコン | 光画像計測装置及び光画像計測装置を制御するプログラム |
JP5436076B2 (ja) | 2009-07-14 | 2014-03-05 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP5582772B2 (ja) | 2009-12-08 | 2014-09-03 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5025715B2 (ja) | 2009-12-08 | 2012-09-12 | キヤノン株式会社 | 断層画像撮影装置、画像処理装置、画像処理システム、画像処理装置の制御方法及びプログラム |
JP5733960B2 (ja) | 2010-11-26 | 2015-06-10 | キヤノン株式会社 | 撮像方法および撮像装置 |
JP5794664B2 (ja) | 2011-01-20 | 2015-10-14 | キヤノン株式会社 | 断層画像生成装置及び断層画像生成方法 |
JP5782262B2 (ja) | 2011-01-20 | 2015-09-24 | キヤノン株式会社 | 断層画像補正方法および断層画像補正装置 |
JP5836634B2 (ja) | 2011-05-10 | 2015-12-24 | キヤノン株式会社 | 画像処理装置及び方法 |
JP5847510B2 (ja) * | 2011-09-20 | 2016-01-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6105852B2 (ja) | 2012-04-04 | 2017-03-29 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム |
JP6598466B2 (ja) | 2015-01-30 | 2019-10-30 | キヤノン株式会社 | 断層撮像装置、断層撮像方法、およびプログラム |
US10973406B2 (en) | 2018-03-06 | 2021-04-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer readable medium |
JP7229881B2 (ja) * | 2018-08-14 | 2023-02-28 | キヤノン株式会社 | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム |
US11819275B2 (en) | 2020-12-16 | 2023-11-21 | Canon Kabushiki Kaisha | Optical coherence tomography apparatus, control method for optical coherence tomography apparatus, and computer-readable storage medium |
-
2019
- 2019-11-29 JP JP2019216516A patent/JP7419042B2/ja active Active
-
2020
- 2020-11-26 WO PCT/JP2020/043963 patent/WO2021106987A1/ja active Application Filing
- 2020-11-26 CN CN202080081569.9A patent/CN114760906A/zh active Pending
-
2022
- 2022-05-25 US US17/824,038 patent/US12087001B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018175258A (ja) * | 2017-04-10 | 2018-11-15 | キヤノン株式会社 | 画像生成装置、画像生成方法、及びプログラム |
JP2019187551A (ja) * | 2018-04-19 | 2019-10-31 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2021062077A (ja) * | 2019-10-15 | 2021-04-22 | 株式会社トーメーコーポレーション | 眼科装置 |
Non-Patent Citations (1)
Title |
---|
田中優ほか: "放射状断面画像からの眼底ボリュームデータの高精度再構成手法", MIRU 2007 画像の認識・理解シンポジウム論文集, JPN6023037183, July 2007 (2007-07-01), JP, pages 487 - 492, ISSN: 0005149315 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022181729A1 (ja) * | 2021-02-25 | 2022-09-01 | 株式会社ニコン | 画像処理方法、画像処理装置、及び画像処理プログラム |
WO2023140469A1 (ko) * | 2022-01-18 | 2023-07-27 | 가톨릭대학교 산학협력단 | 병적 근시 진단 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
WO2021106987A1 (ja) | 2021-06-03 |
US12087001B2 (en) | 2024-09-10 |
US20220335633A1 (en) | 2022-10-20 |
JP7419042B2 (ja) | 2024-01-22 |
CN114760906A (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7250653B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2021106987A1 (ja) | 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム | |
US8096658B2 (en) | Fundus oculi observation device and program for controlling the same | |
US10561311B2 (en) | Ophthalmic imaging apparatus and ophthalmic information processing apparatus | |
JP6143422B2 (ja) | 画像処理装置及びその方法 | |
JP6898724B2 (ja) | 画像処理方法、画像処理装置およびプログラム | |
CN113543695B (zh) | 图像处理装置和图像处理方法 | |
JP2022040372A (ja) | 眼科装置 | |
JP2021037239A (ja) | 領域分類方法 | |
US10321819B2 (en) | Ophthalmic imaging apparatus | |
JP2022189963A (ja) | 眼科装置 | |
WO2021100694A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7378557B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
US20220273170A1 (en) | Method of processing ophthalmic data, ophthalmic data processing apparatus, and ophthalmic examination apparatus | |
JP2020032072A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2020039667A (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP7410481B2 (ja) | 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体 | |
JP7286283B2 (ja) | 眼科装置 | |
JP6860884B2 (ja) | 画像処理装置、眼底撮像システム、画像処理方法、およびプログラム | |
JP2019208845A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7325675B2 (ja) | 眼科撮影装置 | |
JP7355331B2 (ja) | 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体 | |
US20240350003A1 (en) | Ophthalmic imaging apparatus, controlling method of the same, and recording medium | |
US20210204809A1 (en) | Ophthalmic imaging apparatus, controlling method of the same, and recording medium | |
WO2024004455A1 (ja) | 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20220630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7419042 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |