CN112712531B - 一种基于卷积循环神经网络的as-oct图像的房角分类方法 - Google Patents
一种基于卷积循环神经网络的as-oct图像的房角分类方法 Download PDFInfo
- Publication number
- CN112712531B CN112712531B CN202011612754.4A CN202011612754A CN112712531B CN 112712531 B CN112712531 B CN 112712531B CN 202011612754 A CN202011612754 A CN 202011612754A CN 112712531 B CN112712531 B CN 112712531B
- Authority
- CN
- China
- Prior art keywords
- neural network
- oct
- image
- aca
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 28
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 9
- 206010061274 Malocclusion Diseases 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000012014 optical coherence tomography Methods 0.000 claims description 26
- 238000005286 illumination Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 229910003460 diamond Inorganic materials 0.000 claims description 12
- 239000010432 diamond Substances 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims 9
- 230000007787 long-term memory Effects 0.000 claims 1
- 208000010412 Glaucoma Diseases 0.000 abstract description 20
- 239000000853 adhesive Substances 0.000 abstract description 3
- 230000001070 adhesive effect Effects 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 abstract description 2
- 210000000554 iris Anatomy 0.000 description 34
- 210000002159 anterior chamber Anatomy 0.000 description 10
- 208000036460 primary closed-angle glaucoma Diseases 0.000 description 10
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 210000001585 trabecular meshwork Anatomy 0.000 description 6
- 210000001328 optic nerve Anatomy 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 206010030348 Open-Angle Glaucoma Diseases 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 201000002862 Angle-Closure Glaucoma Diseases 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 3
- 208000028389 Nerve injury Diseases 0.000 description 3
- 208000036758 Postinfectious cerebellitis Diseases 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002427 irreversible effect Effects 0.000 description 3
- 230000008764 nerve damage Effects 0.000 description 3
- 201000006366 primary open angle glaucoma Diseases 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 208000002177 Cataract Diseases 0.000 description 2
- 206010061818 Disease progression Diseases 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 230000005750 disease progression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000004410 intraocular pressure Effects 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 210000004126 nerve fiber Anatomy 0.000 description 2
- 210000003733 optic disk Anatomy 0.000 description 2
- 201000004616 primary angle-closure glaucoma Diseases 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000004393 visual impairment Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101710116822 Atrochrysone carboxylic acid synthase Proteins 0.000 description 1
- 206010003694 Atrophy Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 206010022948 Iris atrophy Diseases 0.000 description 1
- 208000022873 Ocular disease Diseases 0.000 description 1
- 208000037273 Pathologic Processes Diseases 0.000 description 1
- 206010047555 Visual field defect Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000001742 aqueous humor Anatomy 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000004406 elevated intraocular pressure Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 208000013403 hyperactivity Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 208000018769 loss of vision Diseases 0.000 description 1
- 231100000864 loss of vision Toxicity 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 1
- IHKWXDCSAKJQKM-SRQGCSHVSA-N n-[(1s,6s,7r,8r,8ar)-1,7,8-trihydroxy-1,2,3,5,6,7,8,8a-octahydroindolizin-6-yl]acetamide Chemical compound O[C@H]1[C@H](O)[C@@H](NC(=O)C)CN2CC[C@H](O)[C@@H]21 IHKWXDCSAKJQKM-SRQGCSHVSA-N 0.000 description 1
- 230000009054 pathological process Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于卷积循环神经网络的AS‑OCT图像的房角分类方法，使用全局扫描对齐方法对AS‑OCT切片进行对齐操作，解决眼睛不自主运动和眼睛的光轴不适当放置的可能性导致的图像错位；采用深度学习分割算法对虹膜进行分割，从而由虹膜根部确定ACA的区域；基于卷积循环神经网络同时对二维图像和图像序列信息进行建模，提高网络对窄角和粘连的分类性能。本发明能够对开、狭窄和粘连的青光眼进行准确分类，达到世界先进水平。
Description
技术领域
本发明涉及一种基于深度学习的AS-OCT图像的分类方法，属于图像处理领域，不仅可以从单张AS-OCT图像中判断开角和闭角型青光眼，还可以从AS-OCT图像序列中识别动态特征，进而实现准确的开、窄和粘连ACA分类。
背景技术
青光眼、白内障和糖尿病视网膜病变合称致盲的“三大杀手”。据统计，在全球范围内，青光眼是第二大致盲性眼科疾病，致盲率仅次于白内障。不仅如此，青光眼也是世界上首位不可逆的眼科疾病，其中，70％青光眼患者将最终失去光明，成为盲人。青光眼的不可逆转性是因为青光眼疾病会导致一系列视神经受损，从而造成视力逐渐衰退或完全丧失的眼疾病。青光眼通常以眼压骤然升高、眼底视神经萎缩和视力大幅度下降作为其显著的生理特征。然而，对于青光眼患者而言，当发现视力大幅下降、很难看清事物时，患者往往已经处于病情的晚期阶段，视野缺损极度严重，病情不可复原。因此，早期的青光眼诊断和治疗对于减缓患者病情的恶化、逆转眼疾的进展十分关键。
根据眼睛内部前房角(Anterior chamber angle，ACA)的大小，青光眼可分为两种疾病类型：原发性开角型青光眼(Primary open angle glaucoma，POAG)和原发性闭角型青光眼(Primary angle-closure glaucoma，PACG)。POAG是一种由小梁网机能逐渐亢进导致的青光眼；PACG是亚洲的一种主要形式的青光眼，其中虹膜和角膜之间狭窄的ACA阻塞了房水的引流通道，导致眼压升高，导致视神经损害。由于PACG病程较长，发病隐匿，起病初期不易觉察，早期临床诊断困难，因此，ACA的成像和对ACA的准确评估对诊断、及时治疗和减少不可逆视力丧失的风险至关重要。目前为止，原发性青光眼的诊断及评估依赖于房角镜、前节光学相干断层扫描(Anterior Segment Optical Coherence Tomography，AS-OCT)、超声生物显微镜等检查技术和裂隙灯显微镜检查等检查技术。AS-OCT技术是一种无接触、无创的前段结构横断面观察技术，如图1中(a)所示，它能提供角膜、虹膜、ACA等前段结构的清晰横断面；图1中(b)和(c)分别表示一个开的ACA和两个闭合的ACA。
近年来，利用AS-OCT图像自动地将青光眼分为开、闭角型的研究已经得到开展，准确的角度评估可为指导青光眼不同阶段的临床治疗提供快速诊断工具。目前，Foster等人根据病理过程中提出了一种新的分类方法：国际区域性流行病学眼科学会(InternationalSociety of Geographical and Epidemiological Ophthalmology，ISGEO)分类系统。该系统将原发性闭角青光眼分为3个子阶段[9]：可疑原发性前房角关闭(Primary AngleClosure Suspect，PACS)、原发性前房角关闭(Primary Angle Closure，PAC)和PACG。
(1)PACS阶段是指前房角隐窝处房角宽度异常狭窄，其周边虹膜的位置靠近但未接触到小梁网，容易导致原发性前房角关闭。
(2)PAC阶段是前房角隐窝处房角宽度狭窄，并且出现周边虹膜阻塞小梁网的现象：如虹膜周边前粘连、虹膜萎缩、眼压升高等，也具有视乳头、视网膜神经纤维层等视神经损伤的发展趋势。
(3)PACG阶段是指PAC阶段发生了视乳头、视网膜神经纤维层等视神经的损伤。
根据ISGEO分类系统，临床医生认为原发性闭角型青光眼的疾病发展过程为：先从PACS发展到原发性角闭合(PAC)，再到PACG。具体地说，眼科医生将具有更窄但不接触或不粘连的ACA的眼睛定义为PACS，如图1中(c1)所示；将完全闭合或阻塞的ACA的眼睛称为PAC/PACG，临床上称这种形式的ACA为房角粘连，如图1中(c2)所示。由于房角粘连导致小梁虹膜接触(Trabecular iriscontact，TIC)的存在，因此TIC是确定闭合角诊断的关键特征。PACS期间的手术治疗可以打开周边虹膜和小梁网之间的任何不牢固的粘连。这可能避免或减轻进展为PACG时出现的永久性粘连。因此，准确诊断PACS和PACG，评估周边虹膜与小梁网的动态粘连，是临床医生进一步制定治疗方案的基础。因此，根据AS-OCT将ACA分为开放型、狭窄型和粘连型，对指导青光眼不同阶段的临床治疗具有重要意义。
目前，ACA角度评估的金标准是用房角镜观察ACA。房角镜检查分为静态和动态房角镜检查。静态检查是指在眼睛没有任何压力的情况下，确定前房室的角度是否关闭。相比之下，动态检查是指故意施加一定程度的压力，以确定静态检查发现的闭合角是窄角还是粘连。眼科医生将房角镜逆时针方向移动，每15°做一次标注，标注准确描述了该15°扇形区ACA的闭合程度。图2的左图显示了一个示例，其中3-4点钟扇形区域和12-1点钟扇形区域表示这些ACA的手动标注分别为完全闭合角和窄角，而其余ACA为开放角。然而，房角镜检查需要房角镜和病人眼睛之间直接接触，这对病人来说是不舒服的，并且可能使ACA变形，导致错误的结果。
近年来，所有现有的自动方法都停留在研究开角和闭角的二分类工作。基于AS-OCT成像的开角、窄角和粘连的自动分类很少被探索，虽然它在了解疾病进展方面具有潜在的意义。这是因为仅基于一幅静态AS-OCT图像可能很难区分窄角和全闭角区域。本发明受到动态房角镜原理的启发，介绍了一种多序列深度网络，该网络能够从一系列AS-OCT图像中识别出有区别的特征，通过学习在两种不同光照条件下(明亮和黑暗)采集的AS-OCT数据的时间和空间表示来对ACA区域进行分类。以提高从全闭合角和窄角分类的性能。
发明内容
本发明提出的算法借助于AS-OCT成像技术，例如由CASIA-2 AS-OCT机器(日本Tomey公司)提供的在15°扇形区内捕获11次连续扫描的AS-OCT成像技术，基于深度学习技术将整个3D眼前节结构处理成二维图像序列进行分析。
本发明实现上述目的的技术方案如下：
一种基于卷积循环神经网络的AS-OCT图像的房角分类方法，其特征在于包括如下步骤：
1)分别采集黑暗和明亮光照条件下的AS-OCT图像，得到两个AS-OCT图像序列；
2)使用全局扫描对齐方法分别对两个AS-OCT图像序列进行对齐操作；
3)采用深度学习分割算法对虹膜进行分割，由虹膜根部确定ACA区域，分别得到黑暗和明亮光照条件下ACA区域的AS-OCT图像序列；
4)构建卷积循环神经网络，分别将黑暗和明亮光照条件下ACA区域的AS-OCT图像序列输入卷积循环神经网络，提取二维图像特征，并对两种光照条件下的二维图像特征序列进行动态分析，最后将两种光照条件下获得的动态特征融合并进行ACA分类。
优选地，步骤1)具体包括如下步骤：
首先定义一个平移量(Δx，Δy)，其中Δx为水平方向平移，Δy为垂直方向平移，并应用于所有连续的OCT扫描；假设Bi是参考扫描图像，Bi与其先前的扫描图像Bi-1对齐，使用迭代搜索方法从相邻点迭代搜索进行Bi和Bi-1之间的对齐，直到Bi和Bi-1之间的差达到稳定值，即：假设一个将目标函数最小化的平移量(Δx，Δy)，如下所示：
优选地，所述迭代搜索方法为diamond搜索，采用两种搜索模式，第一种模式是由9个相邻点组成的大型迭代菱形搜索模式LDSP，第二种模式是由5个相邻点组成的小菱形搜索模式SDSP；首先采用LDSP进行搜索，直到Bi和Bi-1之间的差达到最小值；然后使用SDSP进行搜索，确定Bi和Bi-1之间的最佳匹配，即最小差的位置。
优选地，步骤2)采用U-Net算法对虹膜区域进行分割，虹膜根部由分割后的虹膜区域的最左侧或最右侧像素定位得到，虹膜根部为ACA区域的中心。
优选地，所述卷积循环神经网络包括卷积神经网络编码器模块和改进的卷积长短时记忆卷积神经网络模块，所述卷积神经网络编码器模块用于对输入的ACA区域的AS-OCT图像序列提取二维图像特征，所述改进的卷积长短时记忆卷积神经网络模块对两种光照条件下的二维图像融合特征进行动态分析，获得用于ACA分类的动态特征。
优选地，采用加权灵敏度Sen、特异性Spe以及kappa和F1指标评估分类结果的质量：
其中，TPi、TNi、FPi、FNi分别表示第i个类别的真阳性、真阴性、假阳性、假阴性；ωi表示ground truth类别为i的图像的比例；ai表示每个类的真样本数，bi表示每个类的预测样本数，N表示总样本数，Nc表示类别个数。
本发明与现有技术相比，具有如下优势：
1.本发明利用AS-OCT数据将ACA分为开、狭窄和粘连的青光眼分类工作，与其他先进算法相比，达到了最好的分类效果。
2.本发明开发了一种深度学习方法，通过从AS-OCT图像序列而不是从单个图像中推断特征的时间动态，实验结果表明从序列推断前房角类别更加符合临床的诊断。
3.本发明构在黑暗和明亮的光照条件下获取每只眼睛的AS-OCT，该方法倾向于用瞳孔大小的变化来模拟虹膜的压力，这样可以推动角度打开，帮助确定真实的角度类别。
4.本发明在ACA分类的准确率、敏感度等指标上都能达到最先进的水平。
附图说明
图1青光眼不同类型图示；其中，(a)AS-OCT图像样例：所选区域表示用于ACA分类的感兴趣区域；(b)开角；(c1)窄角；(c2)粘连。
图2通过房角镜检查对15°扇形区域中的AS-OCT图像序列进行手动注释的图解；其中，左图：通过角度检查对手动注释进行视觉演示：在3-4点钟扇形区域观察ACA角度为全封闭ACA，12-1点钟扇形区域观察ACA角度为窄ACA。中图：眼前节前房的三维重建图像。右图：15°扇形区域中的AS-OCT图像序列，以及这些图像的对齐以生成三维可视化效果。
图3发明方法总体框架概述；其中，(a)从15°扇形区域选取的三幅AS-OCT图像样本。(b)图像对齐。(c)基于U-Net的虹膜分割。(d)ACA检测。(e)对齐的ACA图像序列。(f)利用所提出的网络进行ACA分类。
图4关键点匹配流程；其中(a)输入AS-OCT图像。(b)分割图像。(c)用U-Net进行虹膜分割，指示点表示虹膜根部。(d)具有两种不同比例的ACA区域。小边框和大边框的大小分别为224×224和448×448。
图5前房角度分类的深度网络结构；
图6 ConvLSTM单元架构的示意图；
图7在黑暗和明亮照明条件下采集的AS-OCT图像示例。
具体实施方式
一种基于卷积循环神经网络的AS-OCT图像的房角分类方法，其特征在于包括如下步骤：
1)分别采集黑暗和明亮光照条件下的AS-OCT图像，得到两个AS-OCT图像序列；
2)使用全局扫描对齐方法分别对两个AS-OCT图像序列进行对齐操作，以解决眼睛不自主运动和眼睛的光轴不适当放置的可能性导致的图像错位问题；
3)采用深度学习分割算法对虹膜进行分割，由虹膜根部确定ACA区域，分别得到黑暗和明亮光照条件下ACA区域的AS-OCT图像序列；
4)构建卷积循环神经网络，分别将黑暗和明亮光照条件下ACA区域的AS-OCT图像序列输入卷积循环神经网络，提取二维图像特征，并对两种光照条件下的二维图像特征序列进行动态分析，最后将两种光照条件下获得的动态特征融合并进行ACA分类，以提高网络对窄角和粘连的分类性能。
下面结合图3-7对本发明方法涉及的主要内容进行详细描述：
1.基于全局扫描对齐方法的AS-OCT图像对齐方法
在本章提出的框架中，采用了一种全局AS-OCT对齐方法来解决对齐误差。首先定义一个平移量(Δx，Δy)包括垂直和水平方向，并应用于所有连续的OCT扫描。例如，如果Bi是参考扫描图像，Bi与其先前的扫描图像Bi-1对齐，并且可以在扫描Bi和Bi-1之间检查对齐效果(Δx，Δy)，以使它们的差最小化。同时也可以使用图像对齐的完全搜索方法，但是这很耗时。在这项工作中，本章使用了迭代搜索策略(diamond)，因为它的效率和易于实现。迭代搜索策略从相邻点迭代搜索进行Bi和Bi-1之间的对齐，直到Bi和Bi-1之间的差达到稳定值。更具体地说，假设一个将目标函数最小化的平移量(Δx，Δy)，如下所示：
本发明中采用的diamond搜索算法使用了两种搜索模式。第一种模式是大型迭代菱形搜索模式(LDSP)，由9个相邻点组成菱形。第二种模式是由5个相邻点组成的小菱形搜索模式(SDSP)，也形成菱形。本发明中的对齐方法首先采用LDSP，直到Bi和Bi-1之间的差达到最小值。然后使用SDSP确定Bi和Bi-1之间的最佳匹配，即最小差的位置。图3中(b)展示了来自随机选择的图像序列的图像对齐的示例。
2.基于深度学习的虹膜分割和ACA定位
本发明提出了一种有效的基于深度学习算法的ACA定位方法。虹膜根部为ACA区域的中心(有两个不同大小的边界框)。本发明为虹膜分割任务构建了一个AS-OCT虹膜分割子数据集，里面包含200张AS-OCT图像，两位专业眼科专家对每张图像的虹膜区域进行了像素级的标注，因此，分割子数据集里面共包含200张AS-OCT图像和200张对应的虹膜区域标注掩膜图像。在本发明中采用简单高效的U-Net算法对虹膜区域进行分割。U-Net是一种具有对称跨层连接的编码器-解码器结构，是目前最流行的医学图像分割网络。它能够保留编码器中不同分辨率的特征图的细节信息，使得解码器可以更好的修复目标细节。如图4所示，ACA区域可由虹膜根部的位置确定(图4中(c))，其中虹膜根部可由分割后的虹膜区域的最左侧或最右侧像素定位得到。在实验中，可以得到ACA区域的两个尺度(图4中(d))：两个大小分别为以虹膜根部为中心，224×224和448×448的ACA区域。
3.基于多序列深度网络的的房角分类
本发明提供了一个用于ACA分类的多序列深度网络(即卷积循环神经网络)，用于提取ACA区域的判别性特征。该网络由两个子网络组成：卷积神经网络(CNN)编码器模块和改进的卷积长短时记忆卷积神经网络(ConvLSTM)模块。本发明网络的提出是基于CNN在提取图像特征方面的成功和LSTM在提取序列数据时间和空间特征方面的成功。前房角度分类的深度网络结构如图5所示。首先，分别将黑暗和明亮光照条件下ACA区域的AS-OCT图像序列输入到多序列深度网络的CNN编码模块中以获得二维图像特征，然后采用多层ConvLSTM对CNN编码模块最后一个输出层的特征进行动态分析。最后，网络设计了两个并行支路分别从暗和亮的数据集中收集动态特征，融合后进行ACA分类。
(1)CNN编码模块
考虑到过拟合和网络参数过多等问题，网络在特征编码模块中采用了ResNet-34作为基础网络。具体来说，ResNet具有防止梯度消失和加速网络收敛的快捷机制，本章提出的网络结构保留ResNet-34的前四个特征提取块，去除平均池层和完全连接层，并且将输入到CNN编码器模块的图像调整为224×224像素大小，这些数据来自同一患者在两种不同照明条件下的图像。
(2)ConvLSTM-TC模块
循环网络LSTM在视频的异常检测和识别等方面显示了其优越性。最近，研究学者提出了一种新的ConvLSTM方法，通过学习空间信息来进行状态分类。本发明利用ConvLSTM对序列AS-OCT图像进行处理，并且提出了一种新的时间加权交叉熵损失(Time weightedCross entropy loss，TC-loss)来捕捉图像序列的时间和空间特征。ConvLSTM可定义为：
其中Xt和
是ConvLSTM在时间t的输入和输出(t表示图像序列中的第t帧)，it、ft和ot分别表示输入门、遗忘门和输出门。存储单元Ct存储历史信息。*表示卷积运算，ο表示元素相乘，σ表示激活函数。Wuv表示卷积函数的权重，bv表示偏差，其中u＝c、h、x和v＝c、0f分别表示卷积层的输入和输出。
如图5所示，ft d和ft l(t＝1，2...n)表示来自黑暗和明亮照明的序列中第t帧被卷积模块编码的特征，n表示序列中的图像个数。这些特征被输入到2层ConvLSTM-TC中，ConvLSTM-TC存储所有帧图像的特征并对特征进行分析。图6表示ConvLSTM单元架构。为了保持与临床诊断结果的一致性，网络对ConvLSTM-TC的输出进行了整合，使用1×1卷积核，对特征进行融合，从而降低了权值的维数和计算量。最后，Lt d和Lt l被定义为ConvLSTM-TC在时间步长t的输出，因此，It代表F(·)(1×1卷积核)对两个特征图融合的输出，可定义为：
最后，网络将特征融合后的输出信息输入到全连接层，从而对青光眼进行分类。理想情况下，对于ConvLSTM-TC来说，图像序列越长，处理的分类信息越多，ACA类型的分类可信度就越高。因此本发明定义了一个新的损失函数TC-loss，它使用每个时间步长的所有中间输出，并用ωt加权，而不是在最后一个时间步长上最小化损耗：
其中C和k分别表示分类器和分类标签。n表示序列中的图像个数。Ck(It)表示分类器C在时间t识别最终输出I，yk∈{0，1，2}是分类标签，K＝3表示标签总数。wt是序列中每个帧的权重。因此这种TC损失能够确保最终分类结构由一个序列中的所有AS-OCT图像的特征共同决定。
4.实验结果
在训练模型的过程中，本发明将1584个AS-OCT图像序列(每个序列11张图像)作为网络的训练数据集，此数据集有两个子集，在本发明中称为暗集和亮集。每个患者的成像首先在黑暗条件下进行，然后在明亮条件下进行，使用测量的标准光源：黑暗(0.4lux)和明亮(104lux)照明。在不同的光照条件下，瞳孔表现出不同的反应，瞳孔大小的变化可能会拉伸虹膜，导致ACA的形态变化。图7显示了不同照明条件下的两个AS-OCT图像。如图所示，当瞳孔大小改变时，窄角呈现不同的形态，而粘连保持相对一致的形态。因此本发明利用瞳孔大小的变化来模拟角透镜所产生的压力，它可以将角度推开并帮助确定真实的ACA类别。
本发明采用公开可用的Pytorch库实现，通过CNN编码器模块中预先训练好的ResNet-34模型进行初始化操作，然后对每个网络流程进行微调。房角分类模型是一个两层的ConvLSTM，每层有512个隐藏单元。本发明使用Adam优化器来优化深度模型，以及从0.0001开始逐渐下降的学习率和0.9的动量。此外，本发明还采用在线数据增强技术对训练序列数据进行增强和扩充。对序列中的所有图像，包括亮度、颜色、对比度和锐度变换，使用相同级别的数据增强，并设置1到4的随机种子进行增强。
遵循多类别分类的标准性能评估方法，本发明使用加权灵敏度(Sen)、特异性(Spe)。为了更可靠地反映Spe和Sen之间的权衡，并评估分类结果的质量，本发明进一步提供了kappa和F-measure(F1 score)指标。这两个评估方法比其他评价指标更为有力，因为它们考虑到结果随机发生的可能性。kappa值在0.81-1.00之间表示几乎完全一致，0.61-0.80之间表示基本一致，0.41-0.60之间表示中等一致，小于0.40的表示较差。F1得分在1时达到最佳值，在0时达到最差值。这些指标定义如下：
其中，TPi表示第i个类别的真阳性、TNi代表真阴性、FPi代表假阳性、FNi代表假阴性；ωi表示ground truth类别为i的图像的比例。ai表示每个类的真样本数，bi表示每个类的预测样本数，N表示总样本数，Nc表示类别个数。
本发明提出的方法使用了三个模块来形成分类框架：ResNet-34模块、ConvLSTM模块和精心设计的损失函数模块TC-loss。为了评估每个模块的有效性，本发明报告了这些模块在三个数据集上的不同组合的结果，结果如表1所示。
表1在暗、亮和合并数据集上将ACAS分为开放、狭窄和粘连的不同模块组合的性能
结果表明，当将相同的模块应用于暗数据集和亮数据集时，分类结果相似，并且在合并后的数据集上这些方法获得了最佳的总体性能。更具体地说，实验结果可以看出ResNet+ConvLSTM方法明显优于ResNet的方法，kappa的提升率分别为9.23％和10.79％。这表明ConvLSTM可以从AS-OCT图像序列保存空间信息，从而记忆与运动信息相对应的外观变化(相邻的B扫描)，从而提高分离窄角和全闭合角的性能。表1还表明，当网络应用TC-loss后，网络组合(ResNet+ConvLSTM+TC)，分类性能显著提高，与ResNet+ConvLSTM方法相比，在暗、亮和合并数据集上Kappa的提升率分别约为2.31％、0.94％和0.73％。可能的原因是，在TC-loss作用的情况下，convlsm网络学习到AS-OCT序列外观特征的时间动态，并进一步聚合这些特征以进行房角分类。此外，本发明报告了在缺少图像对齐步骤(Ours w/oalignment)的情况下获得的结果。正如可以观察到的，图像对齐明显有助于分类效果的提升，在所有指标上都表现出更好的性能；与应用于原始图像相比(w/o alignment)，kappa、Sen和Spe在暗数据集上分别提高了0.82％、1.62％和4.15％。结果表明，图像对齐是提高后续分类精度的一个关键预处理步骤。
ACA区域大小的选择通常是经验性的，并且对于大多数的角度闭合检测方法来说，ACA区域大小是特定的。一方面，ACA过大会导致计算过于密集；另一方面，过小的ACA区域会导致特征的丢失。本发明实验比较了两种大小的ACA区域：224×224像素和448×448像素。如表1所示，使用224×224像素大小ACA区域的方法比使用448×448像素大小ACA区域的方法表现更好。这意味着当图像大小为224×224像素时，ACA区域关注的是最相关的细节，例如虹膜和小梁网结构。相比之下，当ACA区域被放大到448×448像素时，较大的区域可能包含更多不相关的局部特征，这可能会干扰深层网络。
Claims (9)
1.一种基于卷积循环神经网络的AS-OCT图像的房角分类方法，其特征在于包括如下步骤：
1)分别采集黑暗和明亮光照条件下的AS-OCT图像，得到两个AS-OCT图像序列；
2)使用全局扫描对齐方法分别对两个AS-OCT图像序列进行对齐操作；
3)采用深度学习分割算法对虹膜进行分割，由虹膜根部确定ACA区域，分别得到黑暗和明亮光照条件下ACA区域的AS-OCT图像序列；
4)构建卷积循环神经网络，分别将黑暗和明亮光照条件下ACA区域的AS-OCT图像序列输入卷积循环神经网络，提取二维图像特征，并对两种光照条件下的二维图像特征序列进行动态分析，最后将两种光照条件下获得的动态特征融合并进行ACA分类。
2.如权利要求1所述的基于卷积循环神经网络的AS-OCT图像的房角分类方法，其特征在于步骤1)具体包括如下步骤：
首先定义一个平移量(Δx，Δy)，其中Δx为水平方向平移，Δy为垂直方向平移，并应用于所有连续的OCT扫描；假设Bi是参考扫描图像，Bi与其先前的扫描图像Bi-1对齐，使用迭代搜索方法从相邻点迭代搜索进行Bi和Bi-1之间的对齐，直到Bi和Bi-1之间的差达到稳定值，即：假设一个将目标函数最小化的平移量(Δx，Δy)，如下所示：
3.如权利要求2所述的基于卷积循环神经网络的AS-OCT图像的房角分类方法，其特征在于所述迭代搜索方法为diamond搜索，采用两种搜索模式，第一种模式是由9个相邻点组成的大型迭代菱形搜索模式LDSP，第二种模式是由5个相邻点组成的小菱形搜索模式SDSP；首先采用LDSP进行搜索，直到Bi和Bi-1之间的差达到最小值；然后使用SDSP进行搜索，确定Bi和Bi-1之间的最佳匹配，即最小差的位置。
4.如权利要求1所述的基于卷积循环神经网络的AS-OCT图像的房角分类方法，其特征在于步骤2)采用U-Net算法对虹膜区域进行分割，虹膜根部由分割后的虹膜区域的最左侧或最右侧像素定位得到，虹膜根部为ACA区域的中心。
5.如权利要求1所述的基于卷积循环神经网络的AS-OCT图像的房角分类方法，其特征在于所述卷积循环神经网络包括卷积神经网络编码器模块和改进的卷积长短时记忆卷积神经网络模块，所述卷积神经网络编码器模块用于对输入的ACA区域的AS-OCT图像序列提取二维图像特征，所述改进的卷积长短时记忆卷积神经网络模块用于对两种光照条件下的二维图像特征序列进行动态分析，获得动态特征。
6.如权利要求5所述的基于卷积循环神经网络的AS-OCT图像的房角分类方法，其特征在于所述卷积神经网络编码器模块采用ResNet-34作为基础网络，保留ResNet-34的前四个特征提取块，去除平均池层和完全连接层。
7.如权利要求5所述的基于卷积循环神经网络的AS-OCT图像的房角分类方法，其特征在于输入到卷积神经网络编码器模块的图像调整为224×224像素大小。
8.如权利要求5所述的基于卷积循环神经网络的AS-OCT图像的房角分类方法，其特征在于所述改进的卷积长短时记忆卷积神经网络模块利用ConvLSTM对序列AS-OCT图像进行处理，并利用时间加权交叉熵损失捕捉图像序列的时间和空间特征；所述时间加权交叉熵损失函数表示如下：
其中，n表示序列中的图像个数；Ck(It)表示分类器C在时间t识别最终输出I，yk∈{0，1，2}是分类标签，K表示标签总数；wt是序列中每个帧的权重。
9.如权利要求1所述的基于卷积循环神经网络的AS-OCT图像的房角分类方法，其特征在于采用加权灵敏度Sen、特异性Spe以及kappa和F1指标评估分类结果的质量：
其中，TPi、TNi、FPi、FNi分别表示第i个类别的真阳性、真阴性、假阳性、假阴性；ωi表示ground truth类别为i的图像的比例；ai表示每个类的真样本数，bi表示每个类的预测样本数，N表示总样本数，Nc表示类别个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612754.4A CN112712531B (zh) | 2020-12-29 | 2020-12-29 | 一种基于卷积循环神经网络的as-oct图像的房角分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612754.4A CN112712531B (zh) | 2020-12-29 | 2020-12-29 | 一种基于卷积循环神经网络的as-oct图像的房角分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112712531A CN112712531A (zh) | 2021-04-27 |
| CN112712531B true CN112712531B (zh) | 2022-05-31 |
Family
ID=75547336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011612754.4A Active CN112712531B (zh) | 2020-12-29 | 2020-12-29 | 一种基于卷积循环神经网络的as-oct图像的房角分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112712531B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033499A (zh) * | 2021-04-30 | 2021-06-25 | 中国工商银行股份有限公司 | 虹膜识别方法和装置 |
| CN113850203B (zh) * | 2021-09-28 | 2023-01-03 | 北京百度网讯科技有限公司 | 粘连检测模型训练、粘连检测方法及相关装置 |
| CN113989198B (zh) * | 2021-10-09 | 2022-04-29 | 中国医学科学院生物医学工程研究所 | 一种房角开合角度获取方法 |
| CN113822928B (zh) * | 2021-11-22 | 2022-03-15 | 杭州目乐医疗科技股份有限公司 | 角膜地形图重建方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104050664A (zh) * | 2014-06-09 | 2014-09-17 | 杭州电子科技大学 | 基于oct影像的眼前房角开放程度多特征分类方法 |
| US10361802B1 (en) * | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
| CN110992382A (zh) * | 2019-12-30 | 2020-04-10 | 四川大学 | 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统 |
| CN111340087A (zh) * | 2020-02-21 | 2020-06-26 | 腾讯医疗健康(深圳)有限公司 | 图像识别方法、装置、计算机可读存储介质和计算机设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8687866B2 (en) * | 2011-03-04 | 2014-04-01 | Nanyang Technological University | Methods and systems for processing images of the anterior chamber angle of an eye |
| WO2014021782A1 (en) * | 2012-08-02 | 2014-02-06 | Agency For Science, Technology And Research | Methods and systems for characterizing angle closure glaucoma for risk assessment or screening |
-
2020
- 2020-12-29 CN CN202011612754.4A patent/CN112712531B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10361802B1 (en) * | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
| CN104050664A (zh) * | 2014-06-09 | 2014-09-17 | 杭州电子科技大学 | 基于oct影像的眼前房角开放程度多特征分类方法 |
| CN110992382A (zh) * | 2019-12-30 | 2020-04-10 | 四川大学 | 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统 |
| CN111340087A (zh) * | 2020-02-21 | 2020-06-26 | 腾讯医疗健康(深圳)有限公司 | 图像识别方法、装置、计算机可读存储介质和计算机设备 |
Non-Patent Citations (3)
| Title |
|---|
| "Segmentation and Quantification for Angle-Closure Glaucoma Assessment in Anterior Segment OCT";Huazhu Fu.et al;《IEEE》;20170510;全文 * |
| "U-Net: Convolutional Networks for Biomedical Image Segmentation";Olaf Ronneberger.et al;《arXiv:1505.04597v1》;20150518;全文 * |
| "原发性开角型青光眼患者注意力与焦虑的关系";孙懿等;《中山大学学报（医学科学版）》;20200331;第41卷(第2期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112712531A (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112712531B (zh) | 一种基于卷积循环神经网络的as-oct图像的房角分类方法 | |
| Li et al. | A large-scale database and a CNN model for attention-based glaucoma detection | |
| Fu et al. | Angle-closure detection in anterior segment OCT based on multilevel deep network | |
| Abdullah et al. | Localization and segmentation of optic disc in retinal images using circular Hough transform and grow-cut algorithm | |
| Fu et al. | Age challenge: angle closure glaucoma evaluation in anterior segment optical coherence tomography | |
| Hao et al. | Anterior chamber angles classification in anterior segment OCT images via multi-scale regions convolutional neural networks | |
| Hassan et al. | CDC-Net: Cascaded decoupled convolutional network for lesion-assisted detection and grading of retinopathy using optical coherence tomography (OCT) scans | |
| WO2016108755A1 (en) | Method and apparatus for aligning a two-dimensional image with a predefined axis | |
| Borwankar et al. | Improved glaucoma diagnosis using deep learning | |
| Pavithra et al. | Computer aided diagnosis of diabetic macular edema in retinal fundus and OCT images: A review | |
| Tsai et al. | Diagnosis of polypoidal choroidal vasculopathy from fluorescein angiography using deep learning | |
| Hao et al. | Open-narrow-synechiae anterior chamber angle classification in AS-OCT sequences | |
| Raza et al. | Hybrid classifier based drusen detection in colored fundus images | |
| Balakrishnan et al. | A hybrid PSO-DEFS based feature selection for the identification of diabetic retinopathy | |
| Mehmood et al. | EDDense-Net: Fully Dense Encoder Decoder Network for Joint Segmentation of Optic Cup and Disc | |
| Ahmed et al. | An effective deep learning network for detecting and classifying glaucomatous eye. | |
| Karn et al. | Enhancing Retinal Disease Classification with Dual Scale Twin Vision Transformers using OCT Imaging | |
| Sharmila et al. | An Effective Approach Based on Deep Residual Google Net Convolutional Neural Network Classifier for the Detection of Glaucoma | |
| Ganapathy et al. | Evaluation of deep learning framework for detection and diagnosis of glaucoma | |
| David et al. | Optic disc and optic cup segmentation based on deep learning methods | |
| Maheswari et al. | Exploration of image processing techniques and datasets for retina image analysis | |
| Mathew et al. | Early-stage Glaucoma Disease Prediction Using Ensemble Optimized Deep Learning Classifier Model. | |
| Bhardwaj et al. | A computational framework for diabetic retinopathy severity grading categorization using ophthalmic image processing | |
| Elangovan et al. | An improved approach for classification of glaucoma stages from color fundus images using Efficientnet-b0 convolutional neural network and recurrent neural network | |
| Smida et al. | Classification of Fluid Filled Abnormalities In Retinal Optical Coherence Tomography Images Using Chicken Swarm Optimized Deep Learning Classifier |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |