CN112750141A - 基于as-oct图像的3d虹膜表面重建和量化方法及分割网络 - Google Patents
基于as-oct图像的3d虹膜表面重建和量化方法及分割网络 Download PDFInfo
- Publication number
- CN112750141A CN112750141A CN202011585366.1A CN202011585366A CN112750141A CN 112750141 A CN112750141 A CN 112750141A CN 202011585366 A CN202011585366 A CN 202011585366A CN 112750141 A CN112750141 A CN 112750141A
- Authority
- CN
- China
- Prior art keywords
- iris
- sub
- band
- convolution
- curvature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000011002 quantification Methods 0.000 title claims abstract description 13
- 201000002862 Angle-Closure Glaucoma Diseases 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 238000003745 diagnosis Methods 0.000 claims abstract description 6
- 238000005457 optimization Methods 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 238000013139 quantization Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 201000010099 disease Diseases 0.000 abstract description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 208000010412 Glaucoma Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000008506 pathogenesis Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000002159 anterior chamber Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002966 stenotic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开一种基于AS‑OCT图像的3D虹膜表面重建和量化方法及分割网络，使用基于小波变换的U型分割网络获取虹膜，提取精确的虹膜上边缘；利用提取到的虹膜上边缘，采用基于自适应泊松圆盘采样的引导优化算法进行3D虹膜表面的重建；从3D虹膜表面提取与曲率相关的特征，用于辅助闭角型青光眼的筛查和诊断。本发明首次提出了一种有效的用于3D虹膜重建和量化的框架，为评估虹膜形态，研究虹膜和眼科疾病的相关性提供了新的途径。本发明将小波变换引入到分割网络，在减少冗余信息的同时可以保留足够的细节信息，进而获得更高的分割精度。
Description
技术领域
本发明涉及一种基于AS-OCT图像的3D虹膜表面重建和量化方法，属于图像处理领域，可用于虹膜形态分析及闭角型青光眼的辅助筛查等方面。
背景技术
前节OCT(AS-OCT)成像是一种非接触，非侵入性的方法，用于横断面观察前节结构。在AS-OCT中观察到的解剖结构，例如虹膜形状和前房角(ACA)在促进闭角型青光眼的检查和诊断中起关键作用。然而，人工鉴定闭角型青光眼既费时又容易发生人为错误，为此，自动提取形态特征(例如ACA，虹膜和其他前节结构)将有益于临床诊断和各种自动化筛查系统。
流行病学研究表明，虹膜参数与狭窄的ACA存在相关性，且前弓虹膜可能与闭角进展程度有关。同时虹膜表面的形态变化是一个重要标志，使得眼科医生能够借此了解闭角型青光眼的发病机理。基于以上原因，从AS-OCT自动提取虹膜对未来的诊断和预后具有重要意义，使其成为一个活跃的研究领域。但是，目前的相关方法都是基于AS-OCT的2D切片，基于2D切片提取的特征在需要进一步区分闭角型青光眼时很难起到有效作用。这主要是由于AS-OCT仅提供了整个眼前节的单个横截面切片视图，在确定角度状态时并没有考虑周围邻域的信息。与仅使用单个2D切片的常规方法相比，对虹膜3D表面的全局信息的分析可能会显著提高检测的精度和鲁棒性。
发明内容
本发明针对现有的基于AS-OCT图像的自动分析算法在进行青光眼筛查时缺少3D空间信息的问题，提出了一种基于AS-OCT图像的3D虹膜表面重建和量化方法。
本发明实现上述目的的技术方案如下：
一种基于AS-OCT图像的3D虹膜表面重建和量化方法，其特征在于包括如下步骤：
1)使用基于小波变换的U型分割网络获取虹膜，提取精确的虹膜上边缘；
2)利用提取到的虹膜上边缘，采用基于自适应泊松圆盘采样的引导优化算法进行3D虹膜表面的重建；
3)从3D虹膜表面提取与曲率相关的特征，用于辅助闭角型青光眼的筛查和诊断。
本发明还提出一种基于小波变换实现虹膜分割的网络，其特征在于以U-net为基础框架，包括编码器和解码器，在所述编码器第1、2、3个卷积块之后分别插入一个2D离散小波变换模块，所述2D离散小波变换模块包含四个卷积滤波器：低通滤波器fLL、高通滤波器fLH，fHL和fHH，所述四个卷积滤波器将输入特征X分解为四个子频带特征YLL，YLH，YHL和YHH，每个子频带特征分别经1×1卷积后，与解码器的对应卷积块的输出特征图进行级联；
四个卷积滤波器分别定义如下：
子频带特征
其中
表示卷积操作，↓2表示因子为2的标准下采样操作。
本发明与现有技术相比，具有如下优势：
1.本发明首次提出使用3D虹膜特征来检测闭角型青光眼，为探究青光眼的发病机理提供了一种有效的工具；
2.本发明首次提出了一种有效的用于3D虹膜重建和量化的框架，为评估虹膜形态，研究虹膜和眼科疾病的相关性提供了新的途径；
3.本发明将小波变换引入到分割网络，在减少冗余信息的同时可以保留足够的细节信息，进而获得更高的分割精度；
4.本发明提出了使用引导优化算法来进行虹膜重建，借助自适应泊松圆盘采样技术，可以获得更精确的虹膜表面；
5.本发明在一批AS-OCT图像上对算法进行了验证，并使用获得的3D虹膜及特征进行了闭角型青光眼的筛查。结果表明，相比2D特征，3D特征能够获得更高的分类精度。
附图说明
图1本发明方法流程；
图2基于AS-OCT图像的3D虹膜表面重建和量化流程；
图3分割网络结构及细节；
图4虹膜分割实验结果；
图5虹膜重建结果及特征提取结果可视化。
具体实施方式
如图1、图2所示，本发明的基于AS-OCT图像的3D虹膜表面重建和量化方法包括如下步骤：
1.基于小波变换实现虹膜分割网络
以往的用于分割的卷积神经网络中，通过跳连接将编码器的高分辨率特征图与解码器特征组合在一起，从而将细节信息引入到解码器，来弥补由于池化和卷积操作导致的信息丢失。但是，该操作也会将大量无关的信息引入到解码器，干扰并削弱网络的学习能力。为了解决这个问题，本发明在U型分割网络中加入了一个新的网络组件，即小波优化模块(WRB)。该模块能够在减少冗余信息的同时，为解码器提供足够的细节，从而获得更加准确的分割结果。图3所示是所提出网络的结构图。
1)离散小波变换：给定输入特征X，使用带有四个卷积滤波器(低通滤波器fLL和高通滤波器fLH，fHL和fHH)的2D离散小波变换(DWT)，将X分解为四个子频带特征YLL，YLH，YHL和YHH。由于其简洁有效的特性，该发明使用Haar小波进行小波变换操作，四个滤波器定义为：
上面提到的卷积的步长都是2。DWT操作定义为
其中
表示卷积操作，↓2表示因子为2的标准下采样操作。
2)网络结构：本发明使用U-Net作为基础框架，它由编码器和解码器组成。为了在上采样过程中获得足够的细节信息，在编码器的第1、2、3个卷积块之后分别插入一个WRB，这三个模块可以将多层次的细节信息送到解码器。具体来说，使用Haar小波将相应的特征图逐通道地分解为四个子频带，其中每个频带的尺寸为输入分辨率的一半。值得注意的是，低频频段YLL存储了输入数据的局部平均值，相应地，高频频段YLH，YHL和YHH编码了对恢复边缘信息有用的细节。然后，分别对每个WRB中的子频带使用1×1卷积，并将输出与解码器的对应卷积块的输出特征图进行级联。与通用的U-Net中直接将特征图从编码器通过跳连接加入解码器相比，本发明所用的WRB在保留细节的同时减少了冗余信息的引入，使网络在预测细节时更加准确和鲁棒。
2.3D虹膜表面重建和量化
目前，房角角度评估的金标准是通过房角镜观察ACA。简单来说，眼科医生会逆时针移动房角镜，每15°作一次标注。以类似的方式，AS-OCT通过自动扫描可以获得15°区域内的多个连续的切片，然后可以将其用于重建3D虹膜表面。
1)表面重建：使用先前获得的分割结果，可以得到虹膜的上边界，使用这些上边界可以得到虹膜表面的3D点云。但这些点云是不均匀且稀疏的，对应生成的曲面网格也很粗糙并且缺乏局部细节。如图4所示，网格的粗糙会导致虹膜表面的错误显示。此外，由于虹膜褶皱的存在，某些区域的几何变化比其他区域更显着，意味着这些区域需要更高密度的点来表示，对重建要求更高。
为此，本发明采用基于泊松圆盘采样的优化算法来细化表面网格。这种方法可以产生更均匀和密集的点云，同时保证了目标点将根据采样方案进行分布而不会重叠。在实际操作中，使用了自适应半径r来获得更精确的点云表示。具体而言，如果给定点的最大曲率大于全局平均值，则将r设置为r1；否则，将其设置为r2。根据经验测试，本发明将r1和r2分别设置为6和10。对初始曲面使用自适应采样得到点集后，将其和初始点云合并，再次进行重建得到更优的曲面。图中展示了优化后的点云和曲面网格，它们在保留几何细节方面更为有效。
2)特征提取：研究表明，定量虹膜参数(例如虹膜曲率)与闭角的程度相关。因此，在虹膜表面重建后，本发明计算了以下与曲率相关的特征，用于后续与闭角相关疾病的诊断，包括主曲率，高斯曲率，平均曲率和形状指数，如图5所示。
Claims (8)
1.一种基于AS-OCT图像的3D虹膜表面重建和量化方法，其特征在于包括如下步骤：
1)使用基于小波变换的U型分割网络获取虹膜，提取精确的虹膜上边缘；
2)利用提取到的虹膜上边缘，采用基于自适应泊松圆盘采样的引导优化算法进行3D虹膜表面的重建；
3)从3D虹膜表面提取与曲率相关的特征，用于辅助闭角型青光眼的筛查和诊断。
2.如权利要求1所述的基于AS-OCT图像的3D虹膜表面重建和量化方法，其特征在于步骤1)，所述U型分割网络以U-net为基础框架，包括编码器和解码器，在所述编码器第1、2、3个卷积块之后分别插入一个2D离散小波变换模块，所述2D离散小波变换模块包含四个卷积滤波器：低通滤波器fLL、高通滤波器fLH，fHL和fHH，所述四个卷积滤波器将输入特征X分解为四个子频带特征YLL，YLH，YHL和YHH，每个子频带特征分别经1×1卷积后，与解码器的对应卷积块的输出特征图进行级联；
四个卷积滤波器分别定义如下：
子频带特征
其中
表示卷积操作，↓2表示因子为2的标准下采样操作。
3.如权利要求2所述的基于AS-OCT图像的3D虹膜表面重建和量化方法，其特征在于每个子频带的尺寸为输入分辨率的一半。
4.如权利要求1所述的基于AS-OCT图像的3D虹膜表面重建和量化方法，其特征在于步骤2)，使用自适应半径r来获得更精确的点云表示，根据给定点的最大曲率是否大于全局平均值，将自适应半径r设置成不同的值。
5.如权利要求4所述的基于AS-OCT图像的3D虹膜表面重建和量化方法，其特征在于：如果给定点的最大曲率大于全局平均值，则将r设置为6；否则，将其设置为10。
6.如权利要求1所述的基于AS-OCT图像的3D虹膜表面重建和量化方法，其特征在于步骤3)，从3D虹膜表面提取的与曲率相关的特征包括：主曲率，高斯曲率，平均曲率和形状指数。
7.一种基于小波变换实现虹膜分割的网络，其特征在于以U-net为基础框架，包括编码器和解码器，在所述编码器第1、2、3个卷积块之后分别插入一个2D离散小波变换模块，所述2D离散小波变换模块包含四个卷积滤波器：低通滤波器fLL、高通滤波器fLH，fHL和fHH，所述四个卷积滤波器将输入特征X分解为四个子频带特征YLL，YLH，YHL和YHH，每个子频带特征分别经1×1卷积后，与解码器的对应卷积块的输出特征图进行级联；
四个卷积滤波器分别定义如下：
子频带特征
其中
表示卷积操作，↓2表示因子为2的标准下采样操作。
8.如权利要求7所述的基于小波变换实现虹膜分割的网络，其特征在于每个子频带的尺寸为输入分辨率的一半。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011585366.1A CN112750141A (zh) | 2020-12-28 | 2020-12-28 | 基于as-oct图像的3d虹膜表面重建和量化方法及分割网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011585366.1A CN112750141A (zh) | 2020-12-28 | 2020-12-28 | 基于as-oct图像的3d虹膜表面重建和量化方法及分割网络 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112750141A true CN112750141A (zh) | 2021-05-04 |
Family
ID=75646461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011585366.1A Pending CN112750141A (zh) | 2020-12-28 | 2020-12-28 | 基于as-oct图像的3d虹膜表面重建和量化方法及分割网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112750141A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517235A (zh) * | 2019-08-19 | 2019-11-29 | 苏州大学 | 一种基于GCS-Net进行OCT图像脉络膜自动分割方法 |
| CN110796086A (zh) * | 2019-10-30 | 2020-02-14 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 一种基于局部相位张量算法的as-oct图像的虹膜分割方法 |
-
2020
- 2020-12-28 CN CN202011585366.1A patent/CN112750141A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517235A (zh) * | 2019-08-19 | 2019-11-29 | 苏州大学 | 一种基于GCS-Net进行OCT图像脉络膜自动分割方法 |
| CN110796086A (zh) * | 2019-10-30 | 2020-02-14 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 一种基于局部相位张量算法的as-oct图像的虹膜分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| JINKUI HAO.ET AL: ""Reconstruction and Quantication of 3D Iris Surface for Angle-Closure Glaucoma Detection in Anterior Segment OCT"", 《ARXIV:2006.05179V1》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101819028B1 (ko) | 초음파 영상 처리 방법 및 장치 | |
| CN111815766B (zh) | 基于2d-dsa图像重建血管三维模型处理方法及系统 | |
| CN105894483B (zh) | 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法 | |
| CN106023200A (zh) | 一种基于泊松模型的x光胸片图像肋骨抑制方法 | |
| US8139891B2 (en) | System and method for structure enhancement and noise reduction in medical images | |
| CN114240797A (zh) | 一种oct图像去噪方法、装置、设备及介质 | |
| CN111951279B (zh) | 颅脑超声图像的脑白质区域分割方法、装置及电子设备 | |
| CN117726537A (zh) | 自适应多尺度特征融合AMFFD-Net的SAR图像去噪网络方法及系统 | |
| Mentl et al. | Noise reduction in low-dose ct using a 3D multiscale sparse denoising autoencoder | |
| CN114266924A (zh) | 一种基于多模态的胺区肿瘤图像分类方法及终端设备 | |
| Sinthura et al. | Bone Fracture Detection System using CNN Algorithm | |
| CN112750141A (zh) | 基于as-oct图像的3d虹膜表面重建和量化方法及分割网络 | |
| Bhonsle et al. | Medical Image De-Noising Using Combined Bayes Shrink and Total Variation Techniques | |
| CN103632353A (zh) | 基于nsct的多聚焦图像融合算法 | |
| Sarkar et al. | Follicle Segmentation from Ultrasound images of Ovary by using sub-band Entropy-based Wavelet thresholding and object contours | |
| Naidana et al. | Glaucoma classification using a polynomial-driven deep learning approach | |
| Niwas et al. | Complex wavelet based texture features of cancer cytology images | |
| CN112927169A (zh) | 一种基于小波变换和改进的加权核范数最小化的遥感影像去噪方法 | |
| CN113269765A (zh) | 可扩张卷积神经网络训练方法及ct影像分割模型构建方法 | |
| CN108961171B (zh) | 一种乳腺dti图像去噪方法 | |
| CN117876691B (zh) | 基于人工智能的主动脉夹层术后神经系统并发症预警方法 | |
| AlSalman | A Repeated Median Filtering Method for Denoising Mammogram Images | |
| Patil et al. | Osteoporosis Detection in Lumbar Spine L1-L4 Based on Trabecular Bone Texture Features. | |
| Sharma et al. | A Review on CLAHE Based Enhancement Techniques | |
| Dhannya et al. | Enhancing Leaf Image Quality Using Deep Learning Denoising Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210504 |
|
| RJ01 | Rejection of invention patent application after publication |