CN112418290B - 实时oct图像的roi区域预测方法及显示方法 - Google Patents
实时oct图像的roi区域预测方法及显示方法 Download PDFInfo
- Publication number
- CN112418290B CN112418290B CN202011288531.7A CN202011288531A CN112418290B CN 112418290 B CN112418290 B CN 112418290B CN 202011288531 A CN202011288531 A CN 202011288531A CN 112418290 B CN112418290 B CN 112418290B
- Authority
- CN
- China
- Prior art keywords
- model
- oct image
- real
- roi
- roi area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012014 optical coherence tomography Methods 0.000 title abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 241000282326 Felis catus Species 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 208000007502 anemia Diseases 0.000 description 15
- 238000002474 experimental method Methods 0.000 description 12
- 210000000795 conjunctiva Anatomy 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012733 comparative method Methods 0.000 description 2
- 210000004905 finger nail Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 208000017442 Retinal disease Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000282 nail Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种实时OCT图像的ROI区域预测方法，包括构建OCT图像的ROI区域初始预测模型；获取历史OCT图像数据并标定；对构造的OCT图像的ROI区域初始预测模型进行训练得到实时OCT图像的ROI区域预测模型；采用得到的实时OCT图像的ROI区域预测模型对获取的实时OCT图像进行处理得到实时OCT图像的ROI区域预测结果。本发明还公开了包括所述实时OCT图像的ROI区域预测方法的显示方法。本发明通过分组卷积的应用，以及对传统模型的修正和优化，实现了实时OCT图像的ROI区域预测，而且可靠性高、准确性高、有效性好且实用性好。
Description
技术领域
本发明属于图像处理领域，具体涉及一种实时OCT图像的ROI区域预测方法及显示方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人们对于健康的关注程度也越来越高。
光学相干断层扫描(Optical Coherence Tomography,OCT)是一种使用低相干光来捕获生物组织的高分辨率信息的非侵入性成像技术，已广泛用于医学领域，尤其是眼科领域的视网膜成像。相对于眼底照相机、超声波等传统医学影像技术而言，OCT图像能够获得更多的眼睛生理组织的三维结构信息，从而为医生提供更多的辅助信息。
OCT图像能够更好的展现眼睛生理组织的三维结构信息。但是，正是由于OCT图像包含了太多的信息，这种情况容易导致医生在使用OCT图像时无法集中注意力，针对感兴趣区域(ROI，region of interest)进行集中处理。因此，针对原始OCT图像的ROI区域的预测和标注，就显得较为重要。
目前，OCT图像的ROI区域预测技术，依旧存在准确性不高、有效性较差的问题，从而影响了OCT图像在实际中的具体应用。
发明内容
本发明的目的之一在于提供一种可靠性高、准确性高、有效性好且实用性好的实时OCT图像的ROI区域预测方法。
本发明的目的之二在于提供一种包括了所述实时OCT图像的ROI区域预测方法的显示方法。
本发明提供的这种实时OCT图像的ROI区域预测方法，包括如下步骤：
S1.构建OCT图像的ROI区域初始预测模型；
S2.获取历史OCT图像数据，并对获取的包含ROI区域的OCT图像进行标定；
S3.采用步骤S2得到的标定后OCT图像，对步骤S1构造的OCT图像的ROI区域初始预测模型进行训练，从而得到实时OCT图像的ROI区域预测模型；
S4.采用步骤S3得到的实时OCT图像的ROI区域预测模型，对获取的实时OCT图像进行处理，从而得到实时OCT图像的ROI区域预测结果。
步骤S1所述的构建OCT图像的ROI区域初始预测模型，具体为采用如下步骤构建初始预测模型：
A.采用分组卷积策略构建模型，从而降低计算量并提高模型精度；
B.对SENet模型中的SE模块进行修改，得到SE2M模型，从而促进信息在不同分组卷积之间的流动；
C.将步骤B得到的SE2M模型修改ShuffleNet模型，得到本发明提出的Anenet模型，从而得到最终的OCT图像的ROI区域初始预测模型。
步骤A所述的分组卷积策略，具体为在分组卷积中，滤波器被参数g分组，卷积操作在每个分组里执行其中C1×C2×K2/g为要学习的参数量，cat为连接操作，Vn,:,:为每个通道分组卷积输出特征图；Ui为前一个分组特征图；Fi n为前一个分组滤波器；Ug为后一个分组特征图；/>为后一个分组滤波器。
步骤B所述的对SENet模型中的SE模块进行修改，得到SE2M模型，具体为针对SENet模型中的SE模块，采用卷积层替换SE模块中的全连接层，并在两个卷积层之间增加批量归一化处理，从而得到SE2M模型。
步骤C所述的将步骤B得到的SE2M模型修改ShuffleNet模型，具体为针对ShuffleNet模型，采用步骤B得到的SE2M模型替换ShuffleNet模型中的shuffle模块。
本发明还提供了一种包括所述实时OCT图像的ROI区域预测方法的显示方法，还包括如下步骤：
S5.根据步骤S4得到的实时OCT图像的ROI区域预测结果，将ROI区域在OCT图像上进行标记和显示。
本发明提供的这种实时OCT图像的ROI区域预测方法及显示方法，通过分组卷积的应用，以及对传统模型的修正和优化，实现了实时OCT图像的ROI区域预测，而且可靠性高、准确性高、有效性好且实用性好。
附图说明
图1为本发明的预测方法的方法流程示意图。
图2为本发明的预测方法的促进分组卷积获取关联特征策略示意图。
图3为本发明的预测方法的SE2M模型示意图。
图4为本发明的预测方法的采用SE2M模型修改ShuffleNet模型的示意图。
图5为本发明的预测方法的预测效果示意图。
图6为本发明的显示方法的方法流程示意图。
具体实施方式
如图1所示为本发明的预测方法的方法流程示意图：本发明提供的这种实时OCT图像的ROI区域预测方法，包括如下步骤：
S1.构建OCT图像的ROI区域初始预测模型；具体为采用如下步骤构建初始预测模型：
A.采用分组卷积策略构建模型，从而降低计算量并提高模型精度；因为在经典卷积中，每个过滤器仅对上一层所有特征图的子集进行卷积，对于输入特征图为则输出特征图为/>每个通道上的滤波器/>的大小为C1×K×K；然而，在分组卷积中，滤波器被参数g分组，卷积操作在每个分组里执行/>其中C1×C2×K2/g为要学习的参数量，cat为连接操作，Vn,:,:为每个通道分组卷积输出特征图；Ui为前一个分组特征图；Fi n为前一个分组滤波器；Ug为后一个分组特征图；/>为后一个分组滤波器；
具体实施时，
在经典卷积中，每个内核过滤器对上一层的所有特征图进行卷积，但分组卷积中的每个过滤器仅对上一层所有特征图的子集进行卷积。对于输入特征图为则输出特征图为/>则每个通道上的滤波器/>的大小为C1×K×K；对于经典的卷积：
Vn,:,:＝U*Fn,n∈{1,2,...,C2}
其中*为卷积操作，并且Vn,:,:∈RH×W，需要学习的参数量为C1×C2×K2；但是，在分组卷积中，滤波器被参数g分组，卷积操作在每个分组里执行：
其中C1×C2×K2/g为要学习的参数量，cat为连接操作；
通过引入和调整分组参数g，模型可以在表示能力和计算量之间取得平衡；另外，分组卷积中的不完全连接方案使连接的数量保持在合理范围内，并且由于不同的输入，使得不同的组学习不同的特征(通常更高效更好)。因此，在模型中采用了分组卷积，以达到更低的计算量和更高的精度；
B.对SENet模型中的SE模块进行修改，得到SE2M模型，从而促进信息在不同分组卷积之间的流动；具体为针对SENet模型中的SE模块，采用卷积层替换SE模块中的全连接层，并在两个卷积层之间增加批量归一化处理，从而得到SE2M模型；
具体实施时，图2为促进信息在不同分组卷积之间的流动策略；卷积堆叠在一起以构成一个完整的网络，例如著名的VGG或ResNet；但是分组卷积的堆叠带来了一个副作用：来自特定组的输出仅与输入特征图的子集卷积相关；换句话说，不同分组之间的特征是不相关的，这会阻止分组的信息流并可能削弱性能；
因此，需要一些策略来帮助分组卷积获取、编码和重新关联来自不同分组(而不仅仅是一个组)的表示。图2说明了实现这一目标的几种方法。图2(a)为分组卷积的简单堆栈，将组间的特征去关联。图2(b)变换组之间的通道，使下一个分组卷积编码来自其他组的特征。这个洗牌操作是通过简单的转置来实现的，不需要额外的可训练参数。而且，它是可微的，可以嵌入到任何网络结构中。但实现转置需要大量的指针跳转和更大程度的内存设置。此外，该模块不能直接了解通道之间的关系，只能重新排序。更高层次的表现可能会带来学习或表现的提高。另外，图2(c)中一个简单的卷积层(不含组)也可以达到同样的效果。此外，在SENet中，信道注意可以有效地构建信道之间的关系，并通过这个过程交换信息。受此启发，本发明提出SE2M来对组间特征进行关联：
SENet中的SE模块通过一个很小的多层感知器来学习通道之间的相互依赖性。考虑到CNN中的通道冗余，此通道重新校准操作可以使用来自所有组的全局信息来有选择地强调信息功能并抑制不太有用的功能。在SE模块中，暗示全局信息的学习权重直接强调通道，并且此过程也仅考虑权重就隐含了考虑整个通道的组间表示。与图2中的Shuffle模块或卷积相比，图3(a)说明了原始的SE模块，而(b)是本发明的改进版本，称为SE2M。与原始层相比，本发明用卷积层替换了全连接层，并在两个卷积层之间添加了批量归一处理。这些修改使本发明的模块端到端，更易于收敛并更好地学习表示
C.将步骤B得到的SE2M模型修改ShuffleNet模型，得到本发明提出的Anenet模型，从而得到最终的OCT图像的ROI区域初始预测模型；具体为针对ShuffleNet模型，采用步骤B得到的SE2M模型替换ShuffleNet模型中的shuffle模块；
具体实施时，为了利用分组卷积和提出的SE2M的优势，构造了专为轻量级网络设计的新型SeExchange block。该模块采用了图4(a)中ResNet中的瓶颈单元的原理。对于(a)中的卷积层，ShuffleNet中的Shuffle模块将其替换为具有组的分组卷积。此外，本发明在第一层和第二层之间插入了随机播放操作以对特征进行重新排序。为了更好地集成和关联组内的信息，本发明方法用SE2M替换了shuffle操作以构造SeExchange block。除此之外，其他设置与Shuffle模块保持相同；
S2.获取历史OCT图像数据，并对获取的包含ROI区域的OCT图像进行标定；
S3.采用步骤S2得到的标定后OCT图像，对步骤S1构造的OCT图像的ROI区域初始预测模型进行训练，从而得到实时OCT图像的ROI区域预测模型；
S4.采用步骤S3得到的实时OCT图像的ROI区域预测模型，对获取的实时OCT图像进行处理，从而得到实时OCT图像的ROI区域预测结果；
如图5所示：从测试集中随机选择两个样本来生成CAM图，也称为特定类的热图。图中使用的colormap是来自公共python库“matplotlib”的“HSV”颜色条，其中区域的值越高，模型越关注。在之前的工作中，首先利用了OCT图像中血管和阴影区域与贫血发生的关系。这在图5中也可以看到，几乎所有的模型都聚焦于OCT图像中的容器和阴影区域(输入图像中红色虚线所描绘的)和容器阴影区域(黄色方框所标记的)。此外，由于精度较高，本发明方法更侧重于这些区域。
如图6所示为本发明的显示方法的方法流程示意图：本发明还提供了一种包括所述实时OCT图像的ROI区域预测方法的显示方法，还包括如下步骤：
S1.构建OCT图像的ROI区域初始预测模型；具体为采用如下步骤构建初始预测模型：
A.采用分组卷积策略构建模型，从而降低计算量并提高模型精度；具体为在分组卷积中，滤波器被参数g分组，卷积操作在每个分组里执行其中C1×C2×K2/g为要学习的参数量，cat为连接操作，Vn,:,:为每个通道分组卷积输出特征图；Ui为前一个分组特征图；Fi n为前一个分组滤波器；Ug为后一个分组特征图；/>为后一个分组滤波器；
B.对SENet模型中的SE模块进行修改，得到SE2M模型，从而促进信息在不同分组卷积之间的流动；具体为针对SENet模型中的SE模块，采用卷积层替换SE模块中的全连接层，并在两个卷积层之间增加批量归一化处理，从而得到SE2M模型；
C.将步骤B得到的SE2M模型修改ShuffleNet模型，得到本发明提出的Anenet模型，从而得到最终的OCT图像的ROI区域初始预测模型；具体为针对ShuffleNet模型，采用步骤B得到的SE2M模型替换ShuffleNet模型中的shuffle模块；
S2.获取历史OCT图像数据，并对获取的OCT图像的ROI区域进行标定；
S3.采用步骤S2得到的标定后OCT图像，对步骤S1构造的OCT图像的ROI区域初始预测模型进行训练，从而得到实时OCT图像的ROI区域预测模型；
S4.采用步骤S3得到的实时OCT图像的ROI区域预测模型，对获取的实时OCT图像进行处理，从而得到实时OCT图像的ROI区域预测结果；
S5.根据步骤S4得到的实时OCT图像的ROI区域预测结果，将ROI区域在OCT图像上进行标记。
图6所述的方法，可以用于OCT图像获取的医疗设备，从而实现ROI区域的标记和显示。
以下，结合一个实施例，对本发明方法的具体应用效果，进行说明：
采用本发明方法，对实时OCT图像的贫血筛查，进行具体应用和分析。
本研究使用的数据集包括17例贫血患者和13例正常人的221张贫血和207张正常OCT图像。从中南大学湘雅二医院眼科和血液科收集该数据集及其注释。训练模型，随机选择80％的贫血和正常数据作为训练集，其余作为测试集。病人之间没有重叠的训练和测试集。为了节省内存的使用在训练阶段，调整正确的部分。然后引入水平翻转和垂直翻转操作，将训练和测试集分别扩大到1369和343幅图像。为了避免可能的过拟合情况，在结果部分采用k-fold交叉验证策略。
贫血的筛查可以看作是一个经典的二分类任务，该任务中常用的指标主要包括准确性、敏感性和特异性。在本文中，采用上述指标对本发明方法和其他比较方法进行了评价。这些度量标准的表述如下：
式中TP，FP，TN和FN分别表示真阳性(预测的贫血者为贫血)，假阳性(预测的贫血为非贫血)，真阴性(预测的非贫血为非贫血)和假阴性(预测的非贫血为贫血)。此外，还将AUC用作指标之一
基于这些指标，本发明方法和其他比较方法的结果如表1所示。从这个表中，本发明方法在4个指标中的3个中取得了最好的性能，在精度上提高了0.15，并且在所有指标上都优于之前的基于手工制作的方法。除了OCT之外，其他类型的图像，如眼底、指甲上的照片、结膜上的照片，也被用作其他自动化方法的输入图像。与之相比，本发明方法可以获得更高的准确性、灵敏度和特异性，因为OCT图像获得的信息更加全面。因此，OCT图像可能是一种适合贫血或其他视网膜疾病的无创筛查的图像类型。综上所述，本发明方法在与主要方法的比较中达到了最先进的性能。
表1本发明方法与文献中最新的无创性贫血筛查方法的比较
| Method | Type | Accuracy | AUC | Sensitivity | Specificity |
| Mitani’s | Fundus | - | 0.870 | - | - |
| Mannino’s-1 | Fingernails | - | - | 0.900 | 0.820 |
| Mannino’s-1 | Fingernails | - | - | 0.920 | 0.760 |
| Tamir’s | Conjunctiva | 0.789 | - | - | - |
| Chen’s-1 | Conjunctiva | - | - | 0.762 | 0.809 |
| Chen’s-2 | Conjunctiva | 0.810 | - | 0.780 | 0.830 |
| Khurshid’s | Conjunctiva | 0.818 | - | 0.714 | 0.895 |
| Bauskar’s | Conjunctiva | 0.930 | - | 1.00 | 0.880 |
| Dimauro’s | Conjunctiva | 0.844 | - | 1.00 | 0.824 |
| Collings’s | Conjunctiva | - | - | 0.930 | 0.780 |
| Chen’s-3 | OCT | 0.836 | - | 0.824 | 0.820 |
| 本发明方法 | OCT | 0.9865 | 0.9983 | 0.9838 | 0.9594 |
此外，还将本发明提出的方法与其他领先的方法在类似的图像分类任务中进行了比较，在表2中给出了更全面的评价。在这些实验中，采用了五重交叉验证策略。比较方法包括经典的VGG、ResNet、SENet和轻量级网络ShuffleNet V1、ShuffleNet V2。这些方法最初用于ImageNet中的对象分类，其中数百万幅图像需要数百万个参数。由于本发明方法的轻量级特点，减少了VGG、ResNet、SENet中的信道，减少了ShuffleNet阶段中的层数，减少了可学习参数，以便进行公平比较。从表2的结果可以看出，本发明方法在参数最小的情况下，几乎在所有指标上都取得了最好的性能。与VGG-11相比，本发明方法仅保留了VGG-11 5％的参数，但在精度上取得了更好的性能。对于ShuffleNet(V1或V2)，所提出的SeExchangeblock可以有效地改善组间的信息交换，增强网络的表示能力。轻量级的结构设计和提出的SeExchange block不仅可以获得几乎100％准确的准确率，而且具有很高的灵敏度和特异性，显示了临床辅助诊断的潜力。除了结果的高精度，推断的速度是实时的(0.018秒/96幅图像或0.19毫秒/幅图像)。在临床中，速度越快，效率越高。
表2相关方法比较结果示意表
表2中，“//16”表示通道数除以16。在这些实验中，测试批次大小设置为96。
为了验证本发明创新的有效性以及超参数对最终性能的影响，在本发明的数据集上设计了以下消融实验，由于这些实验的验证目的，只使用k-fold交叉验证框架中的第一个fold。
首先，讨论了所提出的SeExchange block和SeNet中的压缩比，以探讨其对最终性能的影响。在接下来的表3的实验中，将分组卷积中的组数控制不变，只是设置不同。随着值的增加，精度先上升后下降。这可能是由于块开始过拟合训练集的通道相互依赖关系。在大多数实验中，本发明方法取得了比SENet更好的结果。根据结果，在本发明方法中，达到了最好的准确率，并且在所有的实验中，都使用这个设置作为默认值，除非另有规定。
表3对最终性能的影响结果示意表
| Ratior | Method | Params | Time | Accuracy | AUC | Sensitivity | Specificity |
| 1 | 本发明 | 74,208 | 0.0239 | 0.9738 | 0.9962 | 0.9719 | 0.9447 |
| 1 | SENet | 49,853 | 0.0130 | 0.8863 | 0.9506 | 0.8933 | 0.8346 |
| 2 | 本发明 | 49,848 | 0.0263 | 0.9738 | 0.9939 | 0.9663 | 0.9446 |
| 2 | SENet | 47,133 | 0.0142 | 0.9796 | 0.9972 | 0.9775 | 0.9295 |
| 4 | 本发明 | 37,668 | 0.0234 | 0.9767 | 0.9949 | 0.9831 | 0.9373 |
| 4 | SENet | 45,773 | 0.0133 | 0.9796 | 0.9968 | 0.9775 | 0.9400 |
| 8 | 本发明 | 31,578 | 0.0240 | 0.9767 | 0.9977 | 0.9663 | 0.9596 |
| 8 | SENet | 45,101 | 0.0128 | 0.9767 | 0.9982 | 0.9663 | 0.9508 |
| 16 | 本发明 | 28,484 | 0.0232 | 0.9825 | 0.9983 | 0.9719 | 0.9485 |
| 16 | SENet | 44,781 | 0.0135 | 0.9738 | 0.9954 | 0.9719 | 0.9239 |
| 24 | 本发明 | 27,518 | 0.0225 | 0.9738 | 0.9954 | 0.9663 | 0.9465 |
| 24 | SENet | 44,653 | 0.0136 | 0.9563 | 0.9939 | 0.927 | 0.9536 |
另外，另一个超参数g也会影响模型的精度和计算代价。因此，采用最优r＝16和不同的g考察其对性能的影响并找到折中，其中还添加了ShuffleNetV1作为比较方法。对于分组卷积，g控制层与层之间的连接稀疏性，在输出通道不变的情况下，g越大意味着可学习参数越少。在实验中，改变了每个阶段的g和输出通道，使总参数尽可能保持不变(ShuffleNetV1的通道与本发明方法是一致的)。在表1中，组数越大，需要更多的输出通道才能达到给定的计算代价(主要是可学习参数)。更多的输出通道带来更多的滤波器，这有助于编码更多的细节，但可能会导致单个滤波器由于有限的输入而退化。从表4的结果可以看出，性能并不是随着g的增加而单调提高的。在较大的组数下，每个滤波器的输入通道越少，可能会损害其表示能力，从而导致性能下降。当g＝2时，网络达到最优，在接下来的所有实验中都采用此设置。
表4性能与组数g的比较
| g | Method | Params | Time | Accuracy | AUC | Sensitivity | Specificity |
| 1 | 本发明 | 28,356 | 0.0141 | 0.9534 | 0.9881 | 0.9382 | 0.9065 |
| 1 | ShuffleNetV1 | 36,612 | 0.0140 | 0.9767 | 0.9975 | 0.9719 | 0.9571 |
| 2 | 本发明 | 28,828 | 0.0185 | 0.9942 | 0.9987 | 0.9888 | 0.9554 |
| 2 | ShuffleNetV1 | 37,408 | 0.0196 | 0.9913 | 0.9996 | 0.9888 | 0.9727 |
| 4 | 本发明 | 28,830 | 0.0199 | 0.9825 | 0.9985 | 0.9775 | 0.9664 |
| 4 | ShuffleNetV1 | 32,688 | 0.0201 | 0.9708 | 0.9968 | 0.9607 | 0.9555 |
| 6 | 本发明 | 28,432 | 0.0259 | 0.9854 | 0.9979 | 0.9719 | 0.9657 |
| 6 | ShuffleNetV1 | 33,036 | 0.0246 | 0.9825 | 0.9987 | 0.9775 | 0.9378 |
| 8 | 本发明 | 28,484 | 0.0251 | 0.9825 | 0.9983 | 0.9719 | 0.9485 |
| 8 | ShuffleNetV1 | 32,112 | 0.0251 | 0.9767 | 0.9966 | 0.9663 | 0.9448 |
其中，在本发明方法的每个实验中，r＝16；由于GPU的运行时间测量可能存在错误，并且在测试时，CPU压力在不同时间有所不同。
以上实验讨论了网络中不同超参数对性能的影响。此外，在表5中进行了实验，以验证所提出的SeExchange block的新新性。基线表示本发明方法的架构，在r＝16和g＝8，但没有SE2M情况下。在此基础上，比较了shuffle模块、原始SE模块、正常的1×1卷积和本发明提出的模块的有效性。在基线中，多组卷积被堆叠在一起，阻断了组间的通信，削弱了表示能力。shuffle模块的引入可以缓解这种情况，提高性能。1×1的卷积也带来了通信但更多的参数。因此，SE模块不仅可以促进通信，而且可以学会有选择地强调功能，使性能从0.9504提高到0.9796。此外，提议的SeExchange模块将其再次改进到0.9825。在最优组数g＝2的基础上，该性能可以进一步提高到0.9942。
表5本发明模块的有效性示意表
| Method | Params | Time | Accuracy | AUC | Sensitivity | Specificity |
| Baseline | 25,488 | 0.0202 | 0.9504 | 0.9920 | 0.9269 | 0.9377 |
| +Shuffle | 25,488 | 0.0196 | 0.9563 | 0.9920 | 0.9382 | 0.9366 |
| +SE | 28,128 | 0.0225 | 0.9796 | 0.9963 | 0.9719 | 0.9534 |
| +1×1 | 49,680 | 0.0221 | 0.9854 | 0.9967 | 0.9831 | 0.9365 |
| +SeExchange | 28,484 | 0.0251 | 0.9825 | 0.9983 | 0.9719 | 0.9485 |
| +SeExchange* | 28,828 | 0.0185 | 0.9942 | 0.9987 | 0.9888 | 0.9554 |
在表5的实验中，g＝2，而其他设置为g＝8；
此外，将方法的热图可视化在表5中，以探讨不同模块对重点区域的影响。在图5中，从左到右观察到随着性能的提高，模型越来越关注血管区域的趋势。性能越高，输入图像中红色虚线标注的血管区域和黄色方框标注的血管阴影区域就越受关注。
Claims (5)
1.一种实时OCT图像的ROI区域预测方法，包括如下步骤：
S1.构建OCT图像的ROI区域初始预测模型；具体为采用如下步骤构建初始预测模型：
A.采用分组卷积策略构建模型，从而降低计算量并提高模型精度；
B.对SENet模型中的SE模块进行修改，得到SE2M模型，从而促进信息在不同分组卷积之间的流动；
C.将步骤B得到的SE2M模型修改ShuffleNet模型，从而得到最终的OCT图像的ROI区域初始预测模型；
S2.获取历史OCT图像数据，并对获取的包含ROI区域的OCT图像进行标定；
S3.采用步骤S2得到的标定后OCT图像，对步骤S1构造的OCT图像的ROI区域初始预测模型进行训练，从而得到实时OCT图像的ROI区域预测模型；
S4.采用步骤S3得到的实时OCT图像的ROI区域预测模型，对获取的实时OCT图像进行处理，从而得到实时OCT图像的ROI区域预测结果。
2.根据权利要求1所述的实时OCT图像的ROI区域预测方法，其特征在于步骤A所述的分组卷积策略，具体为：在经典卷积中，每个过滤器仅对上一层所有特征图的子集进行卷积，对于输入特征图为U∈RC1×H×W，则输出特征图为V∈RC2×H×W，每个通道上的滤波器{F1,F2,...,FC2}的大小为C1×K×K；在分组卷积中，滤波器被参数g分组，卷积操作在每个分组里执行Vn,:,:＝cat(Ui*Fi n,...,Ug*Fg n)，其中C1×C2×K2/g为要学习的参数量，cat为连接操作，Vn,:,:为每个通道分组卷积输出特征图；Ui为前一个分组特征图；Fi n为前一个分组滤波器；Ug为后一个分组特征图；Fg n为后一个分组滤波器。
3.根据权利要求2所述的实时OCT图像的ROI区域预测方法，其特征在于步骤B所述的对SENet模型中的SE模块进行修改，得到SE2M模型，具体为针对SENet模型中的SE模块，采用卷积层替换SE模块中的全连接层，并在两个卷积层之间增加批量归一化处理，从而得到SE2M模型。
4.根据权利要求3所述的实时OCT图像的ROI区域预测方法，其特征在于步骤C所述的将步骤B得到的SE2M模型修改ShuffleNet模型，具体为针对ShuffleNet模型，采用步骤B得到的SE2M模型替换ShuffleNet模型中的shuffle模块。
5.一种包括了权利要求1～4之一所述的实时OCT图像的ROI区域预测方法的显示方法，其特征在于还包括如下步骤：
S5.根据步骤S4得到的实时OCT图像的ROI区域预测结果，将ROI区域在OCT图像上进行标记和显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011288531.7A CN112418290B (zh) | 2020-11-17 | 2020-11-17 | 实时oct图像的roi区域预测方法及显示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011288531.7A CN112418290B (zh) | 2020-11-17 | 2020-11-17 | 实时oct图像的roi区域预测方法及显示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112418290A CN112418290A (zh) | 2021-02-26 |
| CN112418290B true CN112418290B (zh) | 2024-03-26 |
Family
ID=74830927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011288531.7A Active CN112418290B (zh) | 2020-11-17 | 2020-11-17 | 实时oct图像的roi区域预测方法及显示方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112418290B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034548B (zh) * | 2021-04-25 | 2023-05-26 | 安徽科大擎天科技有限公司 | 一种适用于嵌入式终端的多目标跟踪方法及其系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961261A (zh) * | 2018-03-14 | 2018-12-07 | 中南大学 | 一种基于空间连续性约束的视盘区域oct图像层次分割方法 |
| CN111210436A (zh) * | 2019-12-24 | 2020-05-29 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 晶状体分割方法、装置及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9639917B2 (en) * | 2015-05-19 | 2017-05-02 | Novartis Ag | OCT image modification |
| US9943225B1 (en) * | 2016-09-23 | 2018-04-17 | International Business Machines Corporation | Early prediction of age related macular degeneration by image reconstruction |
| CN109544534B (zh) * | 2018-11-26 | 2020-10-16 | 上海联影智能医疗科技有限公司 | 一种病灶图像检测装置、方法和计算机可读存储介质 |
-
2020
- 2020-11-17 CN CN202011288531.7A patent/CN112418290B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961261A (zh) * | 2018-03-14 | 2018-12-07 | 中南大学 | 一种基于空间连续性约束的视盘区域oct图像层次分割方法 |
| CN111210436A (zh) * | 2019-12-24 | 2020-05-29 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 晶状体分割方法、装置及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Angle-Closure Detection in Anterior Segment OCT Based on Multilevel Deep Network;H. Fu et al.;《IEEE Transactions on Cybernetics》;第50卷(第7期);3358-3366 * |
| OCT图像增强及无创血糖检测标定建模研究;刘会清;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》(第1期);E065-167 * |
| 图像感兴趣区域提取方法研究;陈再良;《中国博士学位论文全文数据库 (信息科技辑)》(第12期);I138-21 * |
| 基于SD-OCT 图像的中心性浆液性脉络膜视网膜病变区域检测与分割;何晓俊;《中国优秀硕士学位论文全文数据库(医药卫生科技辑)》(第6期);参见第1.6节，第4章，图4.1，图4.13-4.14 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112418290A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111656357B (zh) | 眼科疾病分类模型的建模方法、装置及系统 | |
| Islam et al. | Applying supervised contrastive learning for the detection of diabetic retinopathy and its severity levels from fundus images | |
| CN107358606B (zh) | 用于识别糖尿病视网膜病变的人工神经网络装置及系统装置 | |
| CN110544274B (zh) | 一种基于多光谱的眼底图像配准方法及系统 | |
| CN109325942A (zh) | 基于全卷积神经网络的眼底图像结构分割方法 | |
| Abdani et al. | Compact convolutional neural networks for pterygium classification using transfer learning | |
| Wang et al. | Learning two-stream CNN for multi-modal age-related macular degeneration categorization | |
| CN112308830A (zh) | 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法 | |
| CN117058676B (zh) | 一种基于眼底检查影像的血管分割方法、装置和系统 | |
| CN112418290B (zh) | 实时oct图像的roi区域预测方法及显示方法 | |
| CN110013216A (zh) | 一种人工智能白内障分析系统 | |
| Zhen et al. | Performance assessment of the deep learning technologies in grading glaucoma severity | |
| Yilmaz et al. | Comparison of two different deep learning architectures on breast cancer | |
| CN115035127A (zh) | 一种基于生成式对抗网络的视网膜血管分割方法 | |
| CN114155190A (zh) | 基于病灶注意条件生成对抗网络的视网膜图像合成方法 | |
| BAKIR et al. | Using transfer learning technique as a feature extraction phase for diagnosis of cataract disease in the eye | |
| Sharma et al. | Harnessing the Strength of ResNet50 to Improve the Ocular Disease Recognition | |
| Shi et al. | GoogLeNet-based Diabetic-retinopathy-detection | |
| Himami et al. | Deep learning in image classification using dense networks and residual networks for pathologic myopia detection | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| CN112598028B (zh) | 眼底图像配准模型训练方法、眼底图像配准方法和装置 | |
| CN112614112A (zh) | Mcsli图像中条纹损伤的分割方法 | |
| Hatode et al. | Evolution and Testimony of Deep Learning Algorithm for Diabetic Retinopathy Detection | |
| Boyina et al. | Classification of Uncertain ImageNet Retinal Diseases using ResNet Model | |
| Mohanty et al. | Analysis of Machine Learning Technologies for the Detection of Diabetic Retinopathy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |