CN116563647B - 年龄相关性黄斑病变图像分类方法及装置 - Google Patents

年龄相关性黄斑病变图像分类方法及装置 Download PDF

Info

Publication number
CN116563647B
CN116563647B CN202310813147.1A CN202310813147A CN116563647B CN 116563647 B CN116563647 B CN 116563647B CN 202310813147 A CN202310813147 A CN 202310813147A CN 116563647 B CN116563647 B CN 116563647B
Authority
CN
China
Prior art keywords
module
hcsp
image
net model
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310813147.1A
Other languages
English (en)
Other versions
CN116563647A (zh
Inventor
张少冲
杨卫华
赵佳妮
姚雪
吴星阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Eye Hospital (shenzhen Institute Of Eye Disease Prevention And Control)
Original Assignee
Shenzhen Eye Hospital (shenzhen Institute Of Eye Disease Prevention And Control)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Eye Hospital (shenzhen Institute Of Eye Disease Prevention And Control) filed Critical Shenzhen Eye Hospital (shenzhen Institute Of Eye Disease Prevention And Control)
Priority to CN202310813147.1A priority Critical patent/CN116563647B/zh
Publication of CN116563647A publication Critical patent/CN116563647A/zh
Application granted granted Critical
Publication of CN116563647B publication Critical patent/CN116563647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例提供一种年龄相关性黄斑病变图像分类方法及装置，具体涉及一种基于卷积神经网络的年龄相关性黄斑病变图像分类方法及装置，包括：获取彩色眼底图像；对所述彩色眼底图像进行轮廓筛选，确定视网膜区域；将确认视网膜区域的图像分为训练集和测试集，对图像进行预处理；利用训练集的数据对HCSP‑Net模型进行训练，所述HCSP‑Net模型是在CSPDarknet53网络的基础上添加了基于自注意力机制的Transformer模块；利用测试集数据测试所述HCSP‑Net模型的性能。本公开的实施例提供了一种使用卷积神经网络与Transformer相结合的新的分类方法，能够对年龄相关性黄斑病变图像进行准确分类，提高识别率。

Description

年龄相关性黄斑病变图像分类方法及装置
技术领域
本公开的实施例属于图像处理领域，具体涉及一种基于卷积神经网络的年龄相关性黄斑病变图像分类方法及装置。
背景技术
因年龄相关性黄斑病变(Age-related Macular Degeneration, AMD)而导致视力严重损伤甚至失明的人数数量巨大，庞大的患者人群将会给眼科专家带来巨大的负担。年龄相关性黄斑病变根据其临床表现和影像学特征，可分为正常黄斑、干性年龄相关性黄斑病变和湿性年龄相关性黄斑病变。彩色眼底图像是年龄相关性黄斑病变常用的检查方法，如何对不同的年龄相关性黄斑病变图像进行准确的识别和分类，是本领域面临的技术难题。
彩色眼底图像是检查年龄相关性黄斑病变的常用方法，并在长期的实践中具有规范统一、可用性强和质量高等优点。对于年龄相关性黄斑病变的诊断方式普遍为眼科医生对病人的眼底彩色图像进行人工检查。但是这种判断方法的缺点是眼科医生人工检查判断，会造成眼科医生疲劳，增加眼科医生的负担。同时，由于眼科医生的专业水平的差异，也存在一些误诊或漏诊。
深度学习(Deep Learning)技术是机器学习(Machine Learning)学科中的一种方法，对改善传统诊断方法是非常显著的。深度学习在图像分类中的应用主要在于利用卷积神经网络(ConvolutionalNeural Network ,CNN)进行特征的学习，不需要人工进行特征的设计。深度学习能够客观分析大量数据，实现高效准确的诊断，从而避免依赖主观评价出现误诊的情况，并减少医生的负担。其中，卷积神经网络(Convolutional neural network,CNN)是深度学习采用的主要模型，随着其深度的加深，利用反向传播算法解决每一层网络的贡献度分配问题，使模型具有预测未知事物能力。
现有的技术中，Heo等人利用VGG16对年龄相关性黄斑病变图像进行划分，在保证图像以黄斑区域为中心的前提下，对图像进行裁剪，通过手动提取感兴趣区域，取得了90.86%的准确率。
Priya等人提出使用概率图模型对年龄相关性黄斑病变图像进行分类。该方法使用了大量的预处理操作。首先对图像的绿色通道进行提取，然后利用离散小波变化和Kirsch算子完成血管的定位和病变的检测，最终取得了96%的分类准确率。
Felix等人提出利用随机森林算法对多个独立训练的卷积神经网络进行集成，该集成模型展示现出比人类专家更高的年龄相关性黄斑病变图像分类精度，其准确率可提高到63.3%。
然而上述模型存在需要进行手动特征提取、繁琐的预处理手段以及识别准确度偏低的问题，不能满足对年龄相关性黄斑病变图像的准确识别及分类。
发明内容
本公开的实施例旨在至少解决现有技术中存在的技术问题之一，提供一种基于卷积神经网络的年龄相关性黄斑病变图像分类方法。
本公开的实施例的一个方面，提供一种年龄相关性黄斑病变图像分类方法，其包括如下步骤：
获取彩色眼底图像；
对所述彩色眼底图像进行轮廓筛选，确定视网膜区域；
将确认视网膜区域的图像划分为训练集和测试集，并进行数据预处理；
利用训练集的数据对HCSP-Net模型进行训练，所述HCSP-Net模型是在CSPDarknet53网络的基础上添加了基于自注意力机制的Transformer模块；
利用测试集数据测试所述HCSP-Net模型的性能。
进一步的，所述对所述彩色眼底图像进行轮廓筛选，确定所述视网膜区域，包括如下步骤：
将所述彩色眼底图像转化为二值图；
对所述二值图进行取反；
对所述取反后的二值图进行形态学闭运算；
进行轮廓检测，筛选闭合曲线面积最大的矩形轮廓；
根据所述闭合曲线面积最大的矩形轮廓确定所述视网膜区域。
进一步的，所述CSPDarknet53网络包括卷积层1、卷积层2、CSP模块1、卷积层3、CSP模块2、CSP模块3、卷积层4、CSP模块4、CSP模块5、CSP模块6、卷积层5和CSP模块7，其中，每一部分输出特征图的通道数、宽和高分别为：32x112x112、64x56x56、64x56x56、128x28x28、128x28x28、128x28x28、256x14x14、256x14x14、256x14x14、256x14x14、512x7x7和512x7x7。
进一步的，所述CSP模块由上下两条支路输出结果通道维度进行拼接形成。
进一步的，所述HCSP-Net模型还包括：SFPS模块，所述SFPS模块通过三次最大池化提取特征图不同尺寸的空间特征信息，使所述HCSP-Net模型对物体变形更具鲁棒性，其中所述SFPS模块由卷积层1、最大池化1、分组卷积1、最大池化2、分组卷积2、最大池化3，分组卷积3和卷积层2组成，通过在通道维度拼接所述卷积层1、分组卷积1、分组卷积2和分组卷积3的输出，并将拼接结果输入所述卷积层2得到所述SFPS模块的运算结果；其中所述卷积层1和卷积层2的结构相同，所述最大池化1、最大池化2、最大池化3的结构均相同，所述分组卷积1、分组卷积2、分组卷积3的结构均相同。
进一步的，所述Transformer模块将所述SFPS模块输出的特征图展平成序列，转化为特征向量X，然后进行自注意力计算。
进一步的，所述自注意力计算包括两部分，其中第一部分的公式如下：
Y1 = Layer_Norm(self-attentation(X)) + X
其中Y1代表第一部分的输出，Layer_Norm表示层归一化；self-attentation代表自注意力模块，计算公式如下：
其中Q、K和V均为乘数矩阵，为所述HCSP-Net模型在训练集中学习输出的乘数参数；Q代表查询(Query)，K代表键值(Key)，V代表值(Value)，是固定值为512；self-attentation是将每个查询向量与所有键向量进行矩阵乘法运算，并将结果除以缩放因子获得注意力权重，然后再将注意力权重与对应的值向量相乘；
其中第二部分的计算公式如下：
Y2 = Layer_Norm(w*Y1 + b)) + Y1
其中Y2代表最终的输出序列，w和b分别是所述HCSP-Net模型在训练集中学习输出的乘数参数和常量参数。
进一步的，所述方法还包括类别判断，包括步骤：
通过全连接层对特征向量Y2做线性变化，线性变化的公式为：
p= W*Y2 + b
其中p表示经过线性变换后的向量，W为乘数矩阵，为所述HCSP-Net模型在训练集中学习输出的乘数参数，b为常量矩阵，为所述HCSP-Net在训练集数据中学习输出的常数参数；
其中p包括3个元素，分别对应正常黄斑图像、干性年龄相关性黄斑病变图像和湿性年龄相关性黄斑病变图像的概率，3个元素中最大的元素为所述黄斑病变的类别。
进一步的，所述方法还包括更新网络，包括步骤：
使用交叉熵损失函数比较分类结果和真实结果之间的差异，并计算损失函数关于神经网络的参数梯度，用所述参数梯度去更新所述HCSP-Net模型的网络参数。
本公开的实施例的另一个方面，提供一种年龄相关性黄斑病变图像分类装置，所述装置包括：
获取模块，获取彩色眼底图像；
定位模块，对所述彩色眼底图像进行轮廓筛选，确定视网膜区域；
数据集划分和预处理模块，将确认视网膜区域的图像划分为训练集和测试集，并进行数据预处理；
训练模块，利用训练集的数据对HCSP-Net模型进行训练，所述HCSP-Net模型是在CSPDarknet53网络的基础上添加了基于自注意力机制的Transformer模块；
测试模块，利用测试集数据测试所述HCSP-Net模型的性能。
本公开的实施例具有如下有益效果：
本公开的实施例首次提出一种基于CSPDarket53网络和Transformer模块相结合的HCSP-Net模型，用于年龄相关性黄斑病变图像的自动分类，能够高效识别和诊断年龄相关性黄斑病变。
本公开的实施例提出一种融合多尺度特征图的SFPS模块。一方面，所述SFPS模块通过三次最大池化提取特征图不同尺寸的空间特征信息，使HCSP-Net模型对物体变形更具鲁棒性。另一方面利用分组卷积对最大池化后的特征图进行进一步融合，使得网络的深度加深但是又不过多的增加模型参数量。
本公开的实施例引入基于自注意力机制的Transformer模块，对所述SFPS模块输出的特征图进行进一步计算，避免模型由于没有充分学习年龄相关性黄斑病变的特点而出现的误判。例如，干性年龄相关性黄斑病变图像表现出的黄斑萎缩和色素混乱，和湿性年龄相关性黄斑病变图像的脉络膜新生血管导致的黄斑区的出血和水肿，HCSP-Net模块增强了模型自主学习的能力，从而提高年龄相关性黄斑病变图像分类的准确率。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例中基于卷积神经网络的年龄相关性黄斑病变图像分类方法的流程示意图；
图2是本公开实施例中基于卷积神经网络的年龄相关性黄斑病变图像分类方法对所述彩色眼底图像进行轮廓筛选，确定视网膜区域的流程示意图；
图3是本公开实施例中基于卷积神经网络的年龄相关性黄斑病变图像分类方法对所述彩色眼底图像进行轮廓筛选，确定视网膜区域的图像示意图；
图4是本公开实施例中利用HCSP-Net模型进行数据处理的流程示意图；
图5是本公开实施例中HCSP-Net模型的结构示意图；
图6是本公开实施例中HCSP-Net模型中CSP模块的结构示意图；
图7是本公开实施例中HCSP-Net模型中SFPS模块的结构示意图；
图8是本公开实施例中HCSP-Net模型中Transformer模块的结构示意图；
图9是本公开实施例中基于卷积神经网络的年龄相关性黄斑病变图像分类装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
如图1所示，本公开的实施例提供一种基于卷积神经网络的年龄相关性黄斑病变图像分类方法，该方法包括：
步骤S101，获取彩色眼底图像；
步骤S102，对所述彩色眼底图像进行轮廓筛选，确定视网膜区域；
步骤S103，将确认视网膜区域的图像划分为训练集和测试集，并进行预处理步骤；
步骤S104，利用训练集的数据对HCSP-Net模型进行训练，所述HCSP-Net模型是在CSPDarknet53网络的基础上添加了基于自注意力机制的Transformer模块；
步骤S105，利用测试集的数据测试所述HCSP-Net模型性能。
在步骤S101中，使用本地数据集，共包括745张年龄相关性黄斑病变的彩色眼底图像，其中包含295张正常黄斑图像、142张干性年龄相关性黄斑病变图像和308张湿性年龄相关性黄斑病变图像。
如图2所示，为步骤S102中，对所述彩色眼底图像进行轮廓筛选确定视网膜区域的步骤，包括：
步骤S201，将包含患者信息的原始彩色眼底图像进行转化，将其转化为二值图；
步骤S202，对上述二值图进行取反操作，即将像素值为0的点设置为1，像素值为1的点设置为0；
步骤S203，对上述取反后的二值图进行形态学闭运算，除去图像中与年龄相关性黄斑病变分类无关的信息，比如患者的姓名和年龄等信息；
步骤S204，对步骤S203得到的图像，进行轮廓检测，筛选闭合曲线面积最大的矩形轮廓；
步骤S205，根据上述闭合曲线面积最大的矩形轮廓确定视网膜区域。
如图3所示，为本公开实施例中，使用上述步骤S201-S205对所述彩色眼底图像进行轮廓筛选确定视网膜区域的图像示意图。其中原始图像先被转化为二值图，然后对二值图取反，之后对取反后的二值图进行形态学闭运算，除去图像中与年龄相关性黄斑病变分类无关的信息；接着进行轮廓检测，筛选闭合曲线面积最大的矩形轮廓；最后根据上述闭合曲线面积最大的矩形轮廓确定视网膜区域。
其中，步骤S204中，对图像进行轮廓检测，可以使用OpenCV工具包中的findContours函数对图像进行轮廓检测，并利用BoundingRect函数将所有轮廓坐标转化为包含轮廓中心点和轮廓的高和宽的矩形坐标；
其中，步骤S205中，通过筛选面积最大的轮廓对应的中心点坐标(x, y)、高(h)和宽(w)可以确认视网膜区域左上角和右下角的坐标，从而裁剪视网膜区域，并统一下采样到224*224。其中左上角坐标定义为[x-(w/2), y-(h/2) ]，右下角坐标定义为[x+(w/ 2), y+(h/2) ]。
在步骤S103中, 将确认视网膜区域的图像划分100张作为测试集其余数据作为训练集，并进行预处理，包括数据增强和归一化处理。
其中，数据增强包括分别以0.2、0.2、0.5、1.0的概率对训练集数据进行彩色空间变化、随机亮度对比度变化、平移缩放、随机方向旋转。 其中，对训练集和测试集数据进行归一化处理，其中，RGB三个通道对应的均值为[0.485, 0.456, 0.406]，对应方差为[0.229, 0.224, 0.225]。
如图4所示，是本公开实施例中利用HCSP-Net模型进行数据处理的流程示意图，具体包括如下步骤：
步骤S401，将数据传入CSPDarknet53网络；
步骤S402，将CSPDarknet53网络的输出传入SFPS模块；
步骤S403，将SFPS模块处理的数据传入Transformer模块；
步骤S404，对Transformer模块输出的结果进行类别判别并更新网络。
如图5所示，为本公开是实施例的所述HCSP-Net模型的结构示意图。 所述HCSP-Net模型包括CSPDarknet53网络、SFPS模块以及Transformer模块。
其中，所述CSPDarknet53网络包括卷积层1、卷积层2、CSP模块1、卷积层3、CSP模块2、CSP模块3、卷积层4、CSP模块4、CSP模块5、CSP模块6、卷积层5和CSP模块7。 每一部分输出特征图的通道数、宽和高分别为：32x112x112、64x56x56、64x56x56、128x28x28、128x28x28、128x28x28、256x14x14、256x14x14、256x14x14、256x14x14、512x7x7和512x7x7。
其中，上述的各个卷积层结构相同，均包括卷积操作、批量归一化和激活函数SiLU；
其中上述卷积层的卷积核大小均为3，步长均为2，像素填充均为1；
其中激活函数SiLU对应的计算公式如下：
其中，z表示经过批量归一化后的张量。
如图6所示，为本公开实施例所述HCSP-Net模型中所述CSP模块的结构示意图。其中，所述CSP模块由上下两条支路输出结果通道维度进行拼接形成，其中k1代表卷积核大小为1、s1代表步长为1、p0代表无像素填充，⊕表示张量加法，即输入直接加到输出上，从而形成残差连接，减轻梯度消失或爆炸等问题。
如图7所示，为本公开实施例所述HCSP-Net模型中所述SFPS模块的结构示意图。所述SFPS模块由卷积层1、最大池化1、分组卷积1、最大池化2、分组卷积2、最大池化3，分组卷积3和卷积层2组成。通过在通道维度拼接卷积层1、分组卷积1、分组卷积2和分组卷积3的输出，并将拼接结果输入卷积层2得到SFPS的运算结果。其中各个卷积层结构相同，各个最大池化结构相同，各个分组卷积结构相同。其中，k1和k5分别代表卷积核大小为1和5，s1代表步长为1，p0和p2分别代表无像素填充和像素填充为2，g128代表分组数为128。
如图8所示，为本公开实施例中所述HCSP-Net模型中Transformer模块的结构示意图，所述Transformer模块包括第一部分和第二部分。
具体的，参照图4，将步骤S403的数据传入Transformer模块中具体的操作如下：
(1)将SFPS模块输出的特征图展平成序列，转化为特征向量X；
(2)进行自注意力计算。其中，所述自注意力计算包括两个部分，
其中第一部分的公式如下：
Y1 = Layer_Norm(self-attentation(X))+X
其中Y1代表第一部分的输出，Layer_Norm表示层归一化。self-attentation代表自注意力模块，计算公式如下：
其中Q、K和V均为乘数矩阵，为HCSP-Net在训练集中学习输出的乘数参数。Q代表查询(Query)，K代表键值(Key)，V代表值(Value)，是固定值为512。具体来说，self-attentation是将每个查询向量与所有键向量进行矩阵乘法运算，并将结果除以缩放因子获得注意力权重，然后再将注意力权重与对应的值向量相乘。
第二部分的计算公式如下：
Y2 = Layer_Norm(w*Y1 + b)) + Y1
其中Y2代表最终的输出序列，w和b是HCSP-Net在训练集中学习输出的乘数参数和常量参数。
在步骤S404中，进行类别判断的步骤如下：
通过全连接层对特征向量Y2做线性变化，线性变化的公式为：
p= W*Y2+b
其中p表示经过线性变换后的向量，W为乘数矩阵，为HCSP-Net在训练集中学习输出的乘数参数，b为常量矩阵，为HCSP-Net在训练集数据中学习输出的常数参数。
其中p包括3个元素，分别对应正常黄斑图像干性年龄相关性黄斑病变图像和湿性年龄相关性黄斑病变图像的概率，3个元素中最大的元素为所属黄斑病变的类别。
在步骤S404中，更新网络参数的步骤如下：
使用交叉熵损失函数比较分类结果和真实结果之间的差异，并计算损失函数关于神经网络的参数梯度，用梯度去更新所述HCSP-Net模型的网络参数，使网络分类结果接近人工标注的真实结果，从而不断提升网络性能。
实验结果对比：本实施例在整个数据集中采用5折交叉验证来分别评估和对比CSPDarknet53网络和本公开实施例所提出的HCSP-Net模型。实验结果对应的混淆矩阵如表1和表2所示。
表1 CSPDarknet53的混淆矩阵
表2 HCSP-Net的混淆矩阵
表1和表2分别展示了CSPDarknet53、以及HCSP-Net两种模型的对年龄相关性黄斑病变图像的混淆矩阵。从预测值的结果来看，本公开实施例中HCSP-Net模块的预测值准确率整体优于CSPDarknet53的分类准确率。
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
如图9所示，为本公开实施例提供的一种基于卷积神经网络的年龄相关性黄斑病变图像分类装置500，包括：
获取模块501，获取彩色眼底图像；
定位模块502，对所述彩色眼底图像进行轮廓筛选，确定视网膜区域；
数据集划分和预处理模块503，将确认视网膜区域的图像划分为训练集和测试集，并进行数据预处理；
训练模块504，利用训练集的数据对HCSP-Net模型进行训练，所述HCSP-Net模型是在CSPDarknet53网络的基础上添加了基于自注意力机制的Transformer模块；
测试模块505，利用测试集数据测试所述HCSP-Net模型的性能。
本公开的实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机 可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质但不限于：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、 可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读 存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变形和改进，这些变形和改进也视为本公开的保护范围。

Claims (8)

1.一种年龄相关性黄斑病变图像分类方法，其包括如下步骤：
获取彩色眼底图像；
对所述彩色眼底图像进行轮廓筛选，确定视网膜区域；
将确认视网膜区域的图像划分为训练集和测试集，并进行数据预处理；
利用训练集的数据对HCSP-Net模型进行训练，所述HCSP-Net模型是在CSPDarknet53网络的基础上添加了基于自注意力机制的Transformer模块；
利用测试集数据测试所述HCSP-Net模型的性能，
其中，所述HCSP-Net模型包括SFPS模块，所述Transformer模块将所述SFPS模块输出的特征图展平成序列，转化为特征向量X，然后进行自注意力计算；
所述自注意力计算包括两部分，其中第一部分的公式如下：
Y1 = Layer_Norm(self-attentation(X)) + X
其中Y1代表第一部分的输出，Layer_Norm表示层归一化；self-attentation代表自注意力模块，计算公式如下：
其中Q、K和V均为乘数矩阵，为所述HCSP-Net模型在训练集中学习输出的乘数参数；Q代表查询(Query)，K代表键值(Key)，V代表值(Value)， 是固定值为512；self-attentation是将每个查询向量与所有键向量进行矩阵乘法运算，并将结果除以缩放因子获得注意力权重，然后再将注意力权重与对应的值向量相乘；
其中第二部分的计算公式如下：
Y2 = Layer_Norm(w*Y1 + b) + Y1
其中Y2代表最终的输出序列，w和b分别是所述HCSP-Net模型在训练集中学习输出的乘数参数和常量参数。
2.根据权利要求1所述的方法，其特征在于，所述对所述彩色眼底图像进行轮廓筛选，确定所述视网膜区域，包括如下步骤：
将所述彩色眼底图像转化为二值图；
对所述二值图进行取反；
对取反后的所述二值图进行形态学闭运算；
进行轮廓检测，筛选闭合曲线面积最大的矩形轮廓；
根据所述闭合曲线面积最大的矩形轮廓确定所述视网膜区域。
3.根据权利要求1或2所述的方法，其特征在于，所述CSPDarknet53网络包括卷积层1、卷积层2、CSP模块1、卷积层3、CSP模块2、CSP模块3、卷积层4、CSP模块4、CSP模块5、CSP模块6、卷积层5和CSP模块7，其中，每一部分输出特征图的通道数、宽和高分别为：32x112x112、64x56x56、64x56x56、128x28x28、128x28x28、128x28x28、256x14x14、256x14x14、256x14x14、256x14x14、512x7x7和512x7x7。
4.根据权利要求3所述的方法，其特征在于，所述CSP模块由上下两条支路输出结果通道维度进行拼接形成。
5.根据权利要求4所述的方法，其特征在于，所述SFPS模块通过三次最大池化提取特征图不同尺寸的空间特征信息，使所述HCSP-Net模型对物体变形更具鲁棒性，其中所述SFPS模块由卷积层1、最大池化1、分组卷积1、最大池化2、分组卷积2、最大池化3，分组卷积3和卷积层2组成，通过在通道维度拼接所述卷积层1、分组卷积1、分组卷积2和分组卷积3的输出，并将拼接结果输入所述卷积层2得到所述SFPS模块的运算结果；其中所述卷积层1和卷积层2的结构相同，所述最大池化1、最大池化2、最大池化3的结构均相同，所述分组卷积1、分组卷积2、分组卷积3的结构均相同。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括类别判断，包括步骤：
通过全连接层对特征向量Y2做线性变化，线性变化的公式为：
p= W*Y2 + b
其中p表示经过线性变换后的向量，W为乘数矩阵，为所述HCSP-Net模型在训练集中学习输出的乘数参数，b为常量矩阵，为所述HCSP-Net在训练集数据中学习输出的常数参数；
其中p包括3个元素，分别对应正常黄斑图像、干性年龄相关性黄斑病变图像和湿性年龄相关性黄斑病变图像的概率，3个元素中最大的元素为所述黄斑病变的类别。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括更新网络，包括步骤：
使用交叉熵损失函数比较分类结果和真实结果之间的差异，并计算损失函数关于神经网络的参数梯度，用所述参数梯度去更新所述HCSP-Net模型的网络参数。
8.一种年龄相关性黄斑病变图像分类装置，其特征在于，所述装置包括：
获取模块，获取彩色眼底图像；
定位模块，对所述彩色眼底图像进行轮廓筛选，确定视网膜区域；
数据集划分和预处理模块，将确认视网膜区域的图像划分为训练集和测试集，并进行数据预处理；
训练模块，利用训练集的数据对HCSP-Net模型进行训练，所述HCSP-Net模型是在CSPDarknet53网络的基础上添加了基于自注意力机制的Transformer模块；
测试模块，利用测试集数据测试所述HCSP-Net模型的性能，
其中，所述HCSP-Net模型包括SFPS模块，所述Transformer模块将所述SFPS模块输出的特征图展平成序列，转化为特征向量X，然后进行自注意力计算；
所述自注意力计算包括两部分，其中第一部分的公式如下：
Y1 = Layer_Norm(self-attentation(X)) + X
其中Y1代表第一部分的输出，Layer_Norm表示层归一化；self-attentation代表自注意力模块，计算公式如下：
其中Q、K和V均为乘数矩阵，为所述HCSP-Net模型在训练集中学习输出的乘数参数；Q代表查询(Query)，K代表键值(Key)，V代表值(Value)， 是固定值为512；self-attentation是将每个查询向量与所有键向量进行矩阵乘法运算，并将结果除以缩放因子获得注意力权重，然后再将注意力权重与对应的值向量相乘；
其中第二部分的计算公式如下：
Y2 = Layer_Norm(w*Y1 + b) + Y1
其中Y2代表最终的输出序列，w和b分别是所述HCSP-Net模型在训练集中学习输出的乘数参数和常量参数。
CN202310813147.1A 2023-07-05 2023-07-05 年龄相关性黄斑病变图像分类方法及装置 Active CN116563647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310813147.1A CN116563647B (zh) 2023-07-05 2023-07-05 年龄相关性黄斑病变图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310813147.1A CN116563647B (zh) 2023-07-05 2023-07-05 年龄相关性黄斑病变图像分类方法及装置

Publications (2)

Publication Number Publication Date
CN116563647A CN116563647A (zh) 2023-08-08
CN116563647B true CN116563647B (zh) 2023-09-12

Family

ID=87500361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310813147.1A Active CN116563647B (zh) 2023-07-05 2023-07-05 年龄相关性黄斑病变图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN116563647B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269198B (zh) * 2023-05-11 2023-11-14 深圳市眼科医院(深圳市眼病防治研究所) 基于卷积神经网络的眼球旋转角测量方法及装置
CN117372744A (zh) * 2023-09-21 2024-01-09 深圳市眼科医院(深圳市眼病防治研究所) 眼表彩色照相图像分类方法、系统、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161268A (zh) * 2019-12-12 2020-05-15 科大讯飞股份有限公司 图像处理方法、装置、电子设备及计算机存储介质
CN113397475A (zh) * 2021-07-23 2021-09-17 平安科技（深圳）有限公司 基于oct图像的阿尔茨海默症风险的预测方法、系统及介质
CN114998210A (zh) * 2022-04-29 2022-09-02 华南理工大学 一种基于深度学习目标检测的早产儿视网膜病变检测系统
WO2023087063A1 (en) * 2021-11-17 2023-05-25 Eyetelligence Limited Method and system for analysing medical images to generate a medical report

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220351373A1 (en) * 2021-03-18 2022-11-03 Duke University Systems and Methods Related to Age-Related Macular Degeneration
US20230196572A1 (en) * 2021-12-21 2023-06-22 Carl Zeiss Meditec, Inc. Method and system for an end-to-end deep learning based optical coherence tomography (oct) multi retinal layer segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161268A (zh) * 2019-12-12 2020-05-15 科大讯飞股份有限公司 图像处理方法、装置、电子设备及计算机存储介质
CN113397475A (zh) * 2021-07-23 2021-09-17 平安科技（深圳）有限公司 基于oct图像的阿尔茨海默症风险的预测方法、系统及介质
WO2023087063A1 (en) * 2021-11-17 2023-05-25 Eyetelligence Limited Method and system for analysing medical images to generate a medical report
CN114998210A (zh) * 2022-04-29 2022-09-02 华南理工大学 一种基于深度学习目标检测的早产儿视网膜病变检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于增强特征融合YOLOV5的视网膜病变检测;韩璐 等;《应用科技》;第49卷(第1期);第66-72页 *

Also Published As

Publication number Publication date
CN116563647A (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN109376636B (zh) 基于胶囊网络的眼底视网膜图像分类方法
EP3674968B1 (en) Image classification method, server and computer readable storage medium
CN116563647B (zh) 年龄相关性黄斑病变图像分类方法及装置
CN109886179B (zh) 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN110120040B (zh) 切片图像处理方法、装置、计算机设备和存储介质
CN108389201B (zh) 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法
CN108898160B (zh) 基于cnn和影像组学特征融合的乳腺癌组织病理学分级方法
CN109543719B (zh) 基于多模态注意力模型的宫颈非典型病变诊断模型和装置
CN107665492B (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
CN111488921B (zh) 一种全景数字病理图像智能分析系统及方法
Omonigho et al. Breast cancer: tumor detection in mammogram images using modified alexnet deep convolution neural network
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN108734138B (zh) 一种基于集成学习的黑色素瘤皮肤病图像分类方法
CN110119710A (zh) 细胞分类方法、装置、计算机设备和存储介质
WO2020087838A1 (zh) 血管壁斑块识别设备、系统、方法及存储介质
CN111008974A (zh) 多模型融合的股骨颈骨折区域定位和分割方法及系统
CN111986202B (zh) 青光眼辅助诊断装置、方法及存储介质
WO2019184851A1 (zh) 图像处理方法和装置及神经网络模型的训练方法
CN111161278A (zh) 一种基于深层网络聚合的眼底图像病灶分割方法
CN114332572B (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN113012093B (zh) 青光眼图像特征提取的训练方法及训练系统
US20210073595A1 (en) Classification device, classification method, program, and information recording medium
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant