CN111369506B - 一种基于眼部b超图像的晶状体浑浊度分级方法 - Google Patents
一种基于眼部b超图像的晶状体浑浊度分级方法 Download PDFInfo
- Publication number
- CN111369506B CN111369506B CN202010120005.3A CN202010120005A CN111369506B CN 111369506 B CN111369506 B CN 111369506B CN 202010120005 A CN202010120005 A CN 202010120005A CN 111369506 B CN111369506 B CN 111369506B
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- eye
- residual
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/259—Fusion by voting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于眼部B超图像的晶状体浑浊度分级方法，通过目标检测网络对原始眼部B超图像进行眼球检测，以解决眼球只占原始图像的一小部分以及无关背景中强回声干扰的问题，多个特征提取网络分别提取眼球区域的特征，在每个特征提取网络中，加入额外的注意力模块，使特征提取网络更加关注眼球中的晶状体区域，即重点提取区域的特征，从而提高晶状体浑浊度分级的准确率，最后的模型集成模块将多个特征提取网络进行集成，综合各个特征提取网络的优点，获得更可靠的晶状体特征和浑浊度识别结果。
Description
技术领域
本发明属于医学图像处理技术领域，具体涉及一种基于眼部B超图像的晶状体浑浊度分级方法。
背景技术
晶状体是眼球中的主要屈光结构，也是具有调节能力的屈光间质。晶状体最重要的作用是对不同距离进行对焦，通过改变屈光度使观看远近物体时的眼球聚光的焦点都能准确的落在视网膜上。晶状体呈双凸形扁圆体、透明、富有弹性，随着年龄的增长，晶状体会发生老化，影响透明度和弹性。如果由于各种原因造成晶状体部分或全部浑浊，导致原本透明的晶状体变得不透明或变成乳白色，就会阻碍光线进入眼内，使人看不清楚周围的东西。晶状体轻度浑浊就是白内障早期，而晶状体浑浊发展到重度会产生很多严重的并发症，如青光眼、色素膜炎等，还会出现眼红、眼痛伴头痛等症状，同时视力急剧下降甚至失去光感。晶状体浑浊如果及时发现并采取相应的应对措施，将会对视神经造成永久性损害。
通过眼部B超图像识别晶状体浑浊度需要眼科医生的准确判断，在低收入的偏远地区，眼科医生的极度缺乏使晶状体重度浑浊患者无法及时的被发现；目前，眼部B超检查具有无损伤、无痛苦、操作简便、重复性高和准确性好的优点，已被用作眼底检查的常规方法。在进行晶状体识别中，深度学习方法在计算机视觉领域取得了巨大的成功，已被用于各种复杂的图像任务。深度学习方法能够自动学习出模式特征，并将特征提取融入到模型的构建过程中，减少了人为设计特征造成的不完备性。在医学图像领域，卷积神经网络也已成功用于提取肺结节和皮肤癌等疾病的特征。对于眼部图像，Gao等人提出了一种递归卷积网络，从裂隙灯图像中自动学习其分级的特征。Zhang等人使用八层的卷积神经网络对视网膜眼底图像进行自动检测和分级，并可视化pool5层上的某些特征图。然而上述方法都是针对裂隙灯和眼底图像的，对眼部B超图像的晶状体浑浊度分级还没有简单快捷的有效方法。眼部B超图像因其自身的两个特点，导致晶状体浑浊度分级的特征提取较为困难。第一个是眼部B超图像范围大，晶状体只占很小的一部分。第二个是图像噪声多，导致正负样本之间的相似度高。同时，由于医学影像的特殊性，获取临床样本的成本很高，我们还面临训练数据量少的问题。
发明内容
针对现有技术中的上述不足，本发明提供的基于眼部B超图像的晶状体浑浊度分级方法解决了现有的眼部B超图像难以进行晶状体浑浊度分级的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于眼部B超图像的晶状体浑浊度分级方法，包括以下步骤：
S1、获取原始眼部B超图像，并对其进行预处理；
S2、将预处理后的眼部B超图像输入到训练好的目标检测网络YOLOv3中，得到眼球图像；
S3、将眼球图像分别输入到训练好的卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101中，得到对应的晶状体浑浊度预测结果；
S4、对三个晶状体浑浊度预测结果进行多数投票，得到最终的晶状体浑浊度分级结果。
进一步地，所述步骤S1中，对原始眼部B超图像进行预处理的方法具体为：
将DICOM格式的原始眼部B超图像转换为尺寸为720×576的PNG格式的眼部B超图像。
进一步地，所述步骤S2中训练目标检测网络YOLOv3的方法具体为：
A1、构建原始眼部B超图像数据集，并对每个原始眼部B超图像进行预处理；
A2、将预处理后的眼部B超图像数据集划分为目标检测数据集和特征提取数据集；
A3、手工标注目标检测数据集中眼部B超图像中的眼球位置，并对标注的眼球位置进行眼球坐标归一化；
A4、将标注有眼球坐标的眼部B超图像的尺寸调整为416×416，并输入到目标检测网络YOLOv3中进行眼球图像的提取，完成目标检测网络YOLOv3的训练；
其中，目标检测网络YOLOv3使用提取的三个特征图进行眼球检测，并输出大小为13×13×(a+b+c)，26×26×(a+b+c)和52×52×(a+b+c)的眼球图像，a、b和c分别为边框位置、边框置信度和类别概率三个参数的维度；
所述目标检测网络YOLOv3的损失函数为边框位置、边框置信度和类别概率的加权和，其中，边框位置为均方误差函数、边框置信度和类别概率均为交叉熵函数。
进一步地，所述步骤S3中的卷积神经网络DenseNet161包括依次连接的7×7卷积层、3×3最大池化层、6个密集块、1个过渡块、12个密集块、1个过渡块、36个密集块、1个残差注意力模块、1个过渡块、24个密集块、1个过渡块、1个全局平均池化层和1个全连接层；
每个所述密集块包括依次连接的1×1卷积层和3×3卷积层，相邻密集块之间为直接连接；每个所述过渡块包括依次连接的1×1卷积层和2×2平均池化层；
所述卷积神经网络ResNet152包括依次连接的7×7卷积层、3×3最大池化层、3个残差块、8个残差块、36个残差块、1个残差注意力模块、3个残差块、1个全局平均池化层和1个全连接层；
所述卷积神经网络ResNet101包括依次连接的7×7卷积层、3×3最大池化层、3个残差块、4个残差块、23个残差块、1个残差注意力模块、3个残差块、1个全局平均池化层和1个全连接层；
每个所述残差块包括依次连接的1×1卷积层、3×3卷积层和1×1卷积层。
进一步地，每个所述残差注意力模块包括输入残差块、主干分支、注意力分支和输出残差块；
所述输入残差块的输入端与前一密集块或残差块的输出端连接，所述输入残差块的输出端分别与主干分支的输入端和注意力分支的输入端连接，所述主干分支的输出端分别与输出残差块的输入端和注意力分支的输出端连接，所述输出残差块的输出端作为残差注意力模块的输出端；
所述主干分支包括两个依次连接的残差块；
所述注意力分支包括依次连接的最大池化层、2个残差块、1个上采样层、2个1×1卷积层和1个sigmoid函数。
进一步地，所述步骤S3中训练卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101的方法具体为：
B1、将特征提取数据集中的眼部B超图像输入到训练好的目标检测网络YOLOv3中，得到眼球图像，并对其进行预处理；
B2、将预处理后的眼球图像划分为训练集、验证集和测试集；
B3、将训练集分别输入到卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101中进行网络训练，提取晶状体浑浊特征；
B4、对完成当前epoch的卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101，使用验证集进行特征预测，得到对应的三个预测结果；
B5、对三个预测结果进行多数投票，得到预测的晶状体浑浊度；
B6、将预测的晶状体浑浊度与验证集的真实标签进行比较，得到完成一次epoch训练后的晶状体浑浊度分级准确率；
B7、重复步骤B4～B6，直至训练150个epoch，保留晶状体浑浊度分级准确率最高时对应的网络参数，并通过测试集对其进行验证，完成卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101的训练。
进一步地，所述步骤B1中的对眼球图像进行预处理的方法为：
将眼球图像大小调整为224x224，并进行图像变形操作；
所述图像变形操作包括根据眼球图像最长边填充、随机水平翻转、随机旋转一定角度、色彩抖动和归一化。
进一步地，所述步骤B3中对卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101中进行网络训练时，使用批量大小为8、动量为0.9、权重衰减值为0.0001的随机梯度下降法训练。
本发明的有益效果为：
本发明提供的基于眼部B超图像的晶状体浑浊度分级方法，使用已有的小样本的眼部B超图像数据集，通过深度学习技术识别晶状体浑浊程度，对缺乏专业眼科医生、治疗手段落后的偏远地区提供简单、迅速、准确的智能分级。本发明提供的基于额外注意力的卷积神经网络集成的特征提取方法具有重点关注晶状体区域的特点，同时，多个网络集成的方法可以综合各个网络的优点，获得更可靠的晶状体特征和浑浊程度识别结果，提高了晶状体浑浊度分级的准确率。
附图说明
图1为本发明提供的基于眼部B超图像的晶状体浑浊度分级方法。
图2为本发明提供的卷积神经网络DenseNet161结构图。
图3为本发明提供的卷积神经网络DenseNet152结构图。
图4为本发明提供的卷积神经网络DenseNet101结构图。
图5为本发明提供的残差注意力模块结构图。
图6为本发明提供的晶状体不浑浊眼部B超图像。
图7为本发明提供的晶状体轻度浑浊眼部B超图像。
图8为本发明提供的晶状体重度浑浊眼部B超图像。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例1：
如图1所示，一种基于眼部B超图像的晶状体浑浊度分级方法，包括以下步骤：
S1、获取原始眼部B超图像，并对其进行预处理；
S2、将预处理后的眼部B超图像输入到训练好的目标检测网络YOLOv3中，得到眼球图像；
S3、将眼球图像分别输入到训练好的卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101中，得到对应的晶状体浑浊度预测结果；
S4、对三个晶状体浑浊度预测结果进行多数投票，得到最终的晶状体浑浊度分级结果。
实施例2：
上述实施例的步骤S1中对原始眼部B超图像进行预处理的方法具体为：
将DICOM格式的原始眼部B超图像转换为尺寸为720×576的PNG格式的眼部B超图像。
实施例3：
上述实施例1中的步骤S2中训练目标检测网络YOLOv3的方法具体为：
A1、构建原始眼部B超图像数据集，并对每个原始眼部B超图像进行预处理；
A2、将预处理后的眼部B超图像数据集划分为目标检测数据集和特征提取数据集；
A3、手工标注目标检测数据集中眼部B超图像中的眼球位置，并对标注的眼球位置进行眼球坐标归一化；
A4、将标注有眼球坐标的眼部B超图像的尺寸调整为416×416，并输入到目标检测网络YOLOv3中进行眼球图像的提取，完成目标检测网络YOLOv3的训练；
其中，目标检测网络YOLOv3使用提取的三个特征图进行眼球检测，并输出大小为13×13×(a+b+c)，26×26×(a+b+c)和52×52×(a+b+c)的眼球图像，a、b和c分别为边框位置、边框置信度和类别概率三个参数的维度；其中，置信度分数反映是否包含物体以及包含物体情况下边框位置的准确性；目标检测网络YOLOv3的损失函数为边框位置、边框置信度和类别概率的加权和，其中，边框位置为均方误差函数、边框置信度和类别概率均为交叉熵函数。
本实施例中的目标检测网络YOLOv3的主干网络DarkNet53，DarkNet53由2层3x3卷积，1个残差块(第1个模块)，1层3x3卷积，2个残差块(第2个模块)，1层3x3卷积，8个残差块(第3个模块)，1层3x3卷积，8个残差块(第4个模块)，1层3x3卷积和4个残差块(第5个模块)构成；每个残差块由1层1x1卷积和1层3x3卷积构成，并在输入和输出之间加入了快捷连接。
在进行眼球检测时，第5个模块的输出大小为13x13；将第5个模块的输出通过1个卷积块，1层3x3卷积和1层1x1卷积，得到第一个预测，即第一个可能的眼球位置；其中，1个卷积块由1层1x1卷积，1层3x3卷积，1层1x1卷积，1层3x3卷积和1层1x1卷积构成；
第4个模块的输出大小为26x26；将第5个模块的输出通过1个卷积块，1层1x1卷积和1层上采样后，与第4个模块的输出进行第1个拼接操作，将第1个拼接操作的输出通过1个卷积块，1层3x3卷积和1层1x1卷积，得到第二个预测，即第二个可能的眼球位置；
第3个模块的输出大小为52x52。将第1个拼接操作的输出通过1个卷积块，1层1x1卷积和1层上采样后，与第3个模块的输出进行第2个拼接操作；将第2个拼接操作的输出通过1个卷积块，1层3x3卷积和1层1x1卷积，得到第三个预测，即第三个可能的眼球位置；
目标检测网络YOLOv3使用三个尺寸的特征图进行预测，在眼球检测中，对应的三个输出大小为13×13×(4+1+1)，26×26×(4+1+1)和52×52×(4+1+1)。
实施例4：
如图2所示，上述实施例1中步骤S3中的卷积神经网络DenseNet161包括依次连接的7×7卷积层、3×3最大池化层、6个密集块、1个过渡块、12个密集块、1个过渡块、36个密集块、1个残差注意力模块、1个过渡块、24个密集块、1个过渡块、1个全局平均池化层和1个全连接层；
在卷积神经网络DenseNet161中，每个密集块包括依次连接的1×1卷积层和3×3卷积层，相邻密集块之间为直接连接，即每个密集块都把之前所有的密集块的输出作为输入；过渡块在连续的密集块之后，作用是下采样；每个过渡块包括依次连接的1×1卷积层和2×2平均池化层；
如图3所示，卷积神经网络ResNet152包括依次连接的7×7卷积层、3×3最大池化层、3个残差块、8个残差块、36个残差块、1个残差注意力模块、3个残差块、1个全局平均池化层和1个全连接层；
如图4所示，卷积神经网络ResNet101包括依次连接的7×7卷积层、3×3最大池化层、3个残差块、4个残差块、23个残差块、1个残差注意力模块、3个残差块、1个全局平均池化层和1个全连接层；
每个残差块包括依次连接的1×1卷积层、3×3卷积层和1×1卷积层，并在输入和输出之间加入了快捷连接。
如图5所示，每个残差注意力模块包括输入残差块、主干分支、注意力分支和输出残差块；输入残差块的输入端与前一密集块或残差块的输出端连接，输入残差块的输出端分别与主干分支的输入端和注意力分支的输入端连接，主干分支的输出端分别与输出残差块的输入端和注意力分支的输出端连接，输出残差块的输出端作为残差注意力模块的输出端；
主干分支包括两个依次连接的残差块；
注意力分支包括依次连接的最大池化层、2个残差块、1个上采样层、2个1×1卷积层和1个sigmoid函数。
上述残差注意力模块的输入是x，大小为14×14，通过一个残差块后分别输入到主干分支和注意力分支，主干分支的输出为T(x)，注意力分支的输出是M(x)，区间为[0,1]，将T(x)M(x)+T(x)通过1个输出残差块，得到残差注意力模块的输出，大小与输入一致，为14×14。
本发明实施例中训练卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101的方法具体为：
B1、将特征提取数据集中的眼部B超图像输入到训练好的目标检测网络YOLOv3中，得到眼球图像，并对其进行预处理；
其中，对眼球图像进行预处理的方法为：
将眼球图像大小调整为224x224，并进行图像变形操作；
图像变形操作包括根据眼球图像最长边填充、随机水平翻转、随机旋转一定角度、色彩抖动和归一化。
B2、将预处理后的眼球图像划分为训练集、验证集和测试集；
B3、将训练集分别输入到卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101中进行网络训练，提取晶状体浑浊特征；
B4、对完成当前epoch的卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101，使用验证集进行特征预测，得到对应的三个预测结果；
B5、对三个预测结果进行多数投票，得到预测的晶状体浑浊度；
B6、将预测的晶状体浑浊度与验证集的真实标签进行比较，得到完成一次epoch训练后的晶状体浑浊度分级准确率；
B7、重复步骤B4～B6，直至训练150个epoch，保留晶状体浑浊度分级准确率最高时对应的网络参数，并通过测试集对其进行验证，完成卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101的训练。
上述步骤B3中对卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101中进行网络训练时，使用批量大小为8、动量为0.9、权重衰减值为0.0001的随机梯度下降法训练；将学习率设置为0.001，学习率衰减率为0.1，当已训练的epoch数量为全部epoch的30％、60％和90％时发生衰减，损失函数使用交叉熵损失。另外，为了解决眼部B超图像样本少的问题，使用在ImageNet数据集上预训练的DenseNet161、ResNet152和ResNet101，如果不使用迁移学习，直接使用小样本从头开始训练，效果差且容易过拟合，将这三个模型迁移到识别晶状体浑浊程度的任务上，将最后1000维的全连接层替换为3维的全连接层，从只调整最后一层开始，分别逐层微调这三个网络。
另外，需要说明的是在对待分级的原始眼部B超图像进行浑浊度分级时，需要对目标检测网络YOLOv3对提取的眼球图像进行预处理，将眼球图像大小调整为224×224，并对其进行最长边扩充和归一化的变形操作。
在晶状体浑浊度分级结果中，
当晶状体浑浊度分级结果为0时，则晶状体不浑浊(图6)；
当晶状体浑浊度分级结果为1时，则晶状体轻度浑浊(图7)；
当晶状体浑浊度分级结果为2时，则晶状体重度浑浊(图8)。
本发明的有益效果为：
本发明提供的基于眼部B超图像的晶状体浑浊度分级方法，使用已有的小样本的眼部B超图像数据集，通过深度学习技术识别晶状体浑浊程度，对缺乏专业眼科医生、治疗手段落后的偏远地区提供简单、迅速、准确的智能分级。本发明提供的基于额外注意力的卷积神经网络集成的特征提取方法具有重点关注晶状体区域的特点，同时，多个网络集成的方法可以综合各个网络的优点，获得更可靠的晶状体特征和浑浊程度识别结果，提高了晶状体浑浊度分级的准确率。
Claims (3)
1.一种基于眼部B超图像的晶状体浑浊度分级方法，其特征在于，包括以下步骤：
S1、获取原始眼部B超图像，并对其进行预处理；
S2、将预处理后的眼部B超图像输入到训练好的目标检测网络YOLOv3中，得到眼球图像；
S3、将眼球图像分别输入到训练好的卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101中，得到对应的晶状体浑浊度预测结果；
S4、对三个晶状体浑浊度预测结果进行多数投票，得到最终的晶状体浑浊度分级结果；
所述步骤S1中，对原始眼部B超图像进行预处理的方法具体为：
将DICOM格式的原始眼部B超图像转换为尺寸为720×576的PNG格式的眼部B超图像；
所述步骤S2中训练目标检测网络YOLOv3的方法具体为：
A1、构建原始眼部B超图像数据集，并对每个原始眼部B超图像进行预处理；
A2、将预处理后的眼部B超图像数据集划分为目标检测数据集和特征提取数据集；
A3、手工标注目标检测数据集中眼部B超图像中的眼球位置，并对标注的眼球位置进行眼球坐标归一化；
A4、将标注有眼球坐标的眼部B超图像的尺寸调整为416×416，并输入到目标检测网络YOLOv3中进行眼球图像的提取，完成目标检测网络YOLOv3的训练；
其中，目标检测网络YOLOv3使用提取的三个特征图进行眼球检测，并输出大小为13×13×(a+b+c)，26×26×(a+b+c)和52×52×(a+b+c)的眼球图像，a、b和c分别为边框位置、边框置信度和类别概率三个参数的维度；
所述目标检测网络YOLOv3的损失函数为边框位置、边框置信度和类别概率的加权和，其中，边框位置为均方误差函数、边框置信度和类别概率均为交叉熵函数；
所述步骤S3中的卷积神经网络DenseNet161包括依次连接的7×7卷积层、3×3最大池化层、6个密集块、1个过渡块、12个密集块、1个过渡块、36个密集块、1个残差注意力模块、1个过渡块、24个密集块、1个过渡块、1个全局平均池化层和1个全连接层；
每个所述密集块包括依次连接的1×1卷积层和3×3卷积层，相邻密集块之间为直接连接；每个所述过渡块包括依次连接的1×1卷积层和2×2平均池化层；
所述卷积神经网络ResNet152包括依次连接的7×7卷积层、3×3最大池化层、3个残差块、8个残差块、36个残差块、1个残差注意力模块、3个残差块、1个全局平均池化层和1个全连接层；
所述卷积神经网络ResNet101包括依次连接的7×7卷积层、3×3最大池化层、3个残差块、4个残差块、23个残差块、1个残差注意力模块、3个残差块、1个全局平均池化层和1个全连接层；
每个所述残差块包括依次连接的1×1卷积层、3×3卷积层和1×1卷积层；
每个所述残差注意力模块包括输入残差块、主干分支、注意力分支和输出残差块；
所述输入残差块的输入端与前一密集块或残差块的输出端连接，所述输入残差块的输出端分别与主干分支的输入端和注意力分支的输入端连接，所述主干分支的输出端分别与输出残差块的输入端和注意力分支的输出端连接，所述输出残差块的输出端作为残差注意力模块的输出端；
所述主干分支包括两个依次连接的残差块；
所述注意力分支包括依次连接的最大池化层、2个残差块、1个上采样层、2个1×1卷积层和1个sigmoid函数；
所述步骤S3中训练卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101的方法具体为：
B1、将特征提取数据集中的眼部B超图像输入到训练好的目标检测网络YOLOv3中，得到眼球图像，并对其进行预处理；
B2、将预处理后的眼球图像划分为训练集、验证集和测试集；
B3、将训练集分别输入到卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101中进行网络训练，提取晶状体浑浊特征；
B4、对完成当前epoch的卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101，使用验证集进行特征预测，得到对应的三个预测结果；
B5、对三个预测结果进行多数投票，得到预测的晶状体浑浊度；
B6、将预测的晶状体浑浊度与验证集的真实标签进行比较，得到完成一次epoch训练后的晶状体浑浊度分级准确率；
B7、重复步骤B4～B6，直至训练150个epoch，保留晶状体浑浊度分级准确率最高时对应的网络参数，并通过测试集对其进行验证，完成卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101的训练。
2.根据权利要求1所述的基于眼部B超图像的晶状体浑浊度分级方法，其特征在于，所述步骤B1中的对眼球图像进行预处理的方法为：
将眼球图像大小调整为224x224，并进行图像变形操作；
所述图像变形操作包括根据眼球图像最长边填充、随机水平翻转、随机旋转一定角度、色彩抖动和归一化。
3.根据权利要求1所述的基于眼部B超图像的晶状体浑浊度分级方法，其特征在于，所述步骤B3中对卷积神经网络DenseNet161、卷积神经网络ResNet152和卷积神经网络ResNet101中进行网络训练时，使用批量大小为8、动量为0.9、权重衰减值为0.0001的随机梯度下降法训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010120005.3A CN111369506B (zh) | 2020-02-26 | 2020-02-26 | 一种基于眼部b超图像的晶状体浑浊度分级方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010120005.3A CN111369506B (zh) | 2020-02-26 | 2020-02-26 | 一种基于眼部b超图像的晶状体浑浊度分级方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111369506A CN111369506A (zh) | 2020-07-03 |
| CN111369506B true CN111369506B (zh) | 2022-08-02 |
Family
ID=71208185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010120005.3A Active CN111369506B (zh) | 2020-02-26 | 2020-02-26 | 一种基于眼部b超图像的晶状体浑浊度分级方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111369506B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065400A (zh) * | 2021-03-04 | 2021-07-02 | 国网河北省电力有限公司 | 基于无锚框两阶段网络检测发票印章的方法及装置 |
| CN112733968B (zh) * | 2021-03-31 | 2021-07-27 | 中国气象科学研究院 | 嵌入超图卷积层的深度学习冰晶粒子图像分类方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN109886780A (zh) * | 2019-01-31 | 2019-06-14 | 苏州经贸职业技术学院 | 基于眼球跟踪的商品目标检测方法及装置 |
| CN110009641A (zh) * | 2019-03-08 | 2019-07-12 | 广州视源电子科技股份有限公司 | 晶状体分割方法、装置及存储介质 |
| CN110176012A (zh) * | 2019-05-28 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 图像中的目标分割方法、池化方法、装置及存储介质 |
| CN110276356A (zh) * | 2019-06-18 | 2019-09-24 | 南京邮电大学 | 基于r-cnn的眼底图像微动脉瘤识别方法 |
| CN110415252A (zh) * | 2018-04-26 | 2019-11-05 | 北京连心医疗科技有限公司 | 一种基于cnn的眼周器官分割方法、设备和存储介质 |
| CN110516685A (zh) * | 2019-05-31 | 2019-11-29 | 沈阳工业大学 | 基于卷积神经网络的晶状体浑浊程度检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107527069A (zh) * | 2017-08-22 | 2017-12-29 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
| CN110175986B (zh) * | 2019-04-23 | 2021-01-08 | 浙江科技学院 | 一种基于卷积神经网络的立体图像视觉显著性检测方法 |
-
2020
- 2020-02-26 CN CN202010120005.3A patent/CN111369506B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN110415252A (zh) * | 2018-04-26 | 2019-11-05 | 北京连心医疗科技有限公司 | 一种基于cnn的眼周器官分割方法、设备和存储介质 |
| CN109886780A (zh) * | 2019-01-31 | 2019-06-14 | 苏州经贸职业技术学院 | 基于眼球跟踪的商品目标检测方法及装置 |
| CN110009641A (zh) * | 2019-03-08 | 2019-07-12 | 广州视源电子科技股份有限公司 | 晶状体分割方法、装置及存储介质 |
| CN110176012A (zh) * | 2019-05-28 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 图像中的目标分割方法、池化方法、装置及存储介质 |
| CN110516685A (zh) * | 2019-05-31 | 2019-11-29 | 沈阳工业大学 | 基于卷积神经网络的晶状体浑浊程度检测方法 |
| CN110276356A (zh) * | 2019-06-18 | 2019-09-24 | 南京邮电大学 | 基于r-cnn的眼底图像微动脉瘤识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| Attention-Based Multi-Model Ensemble for Automatic Cataract Detection in B-Scan Eye Ultrasound Images;Xiaofei Zhang et al.;《2020 International Joint Conference on Neural Networks》;20200928;1-10 * |
| Recognition of Anthracnose Injuries on Apple Surfaces using YOLOV 3-Dense;Mr. Rahul Sharma;《International Journal of New Practices in Management and Engineering》;20150630;第4卷(第2期);8-14 * |
| 白内障诊断的注意力模型集成方法;张小菲;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20220215(第2期);E073-111 * |
| 虹膜分割算法评价基准;王财勇 等;《计算机研究与发展》;20200215;第57卷(第2期);395-412 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111369506A (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ran et al. | Cataract detection and grading based on combination of deep convolutional neural network and random forests | |
| Hossain et al. | Automatic detection of eye cataract using deep convolution neural networks (DCNNs) | |
| Khan et al. | Cataract detection using convolutional neural network with VGG-19 model | |
| CN111259982A (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| CN110837803A (zh) | 基于深度图网络的糖尿病视网膜病变分级方法 | |
| CN111369506B (zh) | 一种基于眼部b超图像的晶状体浑浊度分级方法 | |
| CN114724231A (zh) | 一种基于迁移学习的青光眼多模态智能识别系统 | |
| Zhang et al. | Attention-based multi-model ensemble for automatic cataract detection in B-scan eye ultrasound images | |
| CN111160431B (zh) | 一种基于多维特征融合的圆锥角膜识别方法及装置 | |
| Simanjuntak et al. | Cataract Classification Based on Fundus Images Using Convolutional Neural Network | |
| Jagadale et al. | Computer aided system for early detection of nuclear cataract using circle Hough transform | |
| Sharma et al. | Harnessing the Strength of ResNet50 to Improve the Ocular Disease Recognition | |
| CN113705670A (zh) | 基于磁共振成像和深度学习的脑部图像分类方法及设备 | |
| CN113284140B (zh) | 一种基于多模态数据的双眼圆锥角膜诊断方法 | |
| Ferreira et al. | Multilevel cnn for angle closure glaucoma detection using as-oct images | |
| CN114998300A (zh) | 一种基于多尺度信息融合网络的角膜溃疡分类方法 | |
| CN115619814A (zh) | 一种视盘和视杯联合分割方法与系统 | |
| US11723630B2 (en) | Method for positioning key features of a lens based on ocular B-mode ultrasound images | |
| Roy et al. | Retnet: Retinal disease detection using convolutional neural network | |
| CN115424319A (zh) | 一种基于深度学习的斜视识别系统 | |
| Hatode et al. | Evolution and Testimony of Deep Learning Algorithm for Diabetic Retinopathy Detection | |
| Bygari et al. | Blindness (Diabetic Retinopathy) Severity Scale Detection | |
| Chakraborty et al. | Early Prediction of Cataract using Convolutional Neural Network | |
| CN110969117A (zh) | 一种基于Attention机制的全卷积神经网络的眼底图像分割方法 | |
| Chauhan et al. | Cataract detection from eye fundus image using an ensemble of transfer learning models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |