CN111242933B - 视网膜图像动静脉的分类装置、设备及存储介质 - Google Patents
视网膜图像动静脉的分类装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111242933B CN111242933B CN202010046060.2A CN202010046060A CN111242933B CN 111242933 B CN111242933 B CN 111242933B CN 202010046060 A CN202010046060 A CN 202010046060A CN 111242933 B CN111242933 B CN 111242933B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- artery
- vein
- retinal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 69
- 210000001367 artery Anatomy 0.000 title claims abstract description 68
- 230000004256 retinal image Effects 0.000 title claims abstract description 55
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 210000001525 retina Anatomy 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 18
- 210000001927 retinal artery Anatomy 0.000 claims description 15
- 210000001957 retinal vein Anatomy 0.000 claims description 14
- 230000002207 retinal effect Effects 0.000 claims description 10
- 238000007635 classification algorithm Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 6
- 210000001210 retinal vessel Anatomy 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract description 2
- 210000004204 blood vessel Anatomy 0.000 description 23
- 230000011218 segmentation Effects 0.000 description 10
- 230000006872 improvement Effects 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 206010025421 Macule Diseases 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010061323 Optic neuropathy Diseases 0.000 description 1
- 208000014139 Retinal vascular disease Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 208000020911 optic nerve disease Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种视网膜图像动静脉的分类装置，涉及医学图像处理领域，包括：图像获取模块，用于获取待分类图像；预处理模块，用于对所述待分类图像进行预处理，得到预处理图像；对抗网络模块，包括预先训练的生成器单元，所述预先训练的生成器单元用于根据所述预处理图像输出每个像素点的动静脉分类概率；结果输出模块，用于根据所述预处理图像中每个像素点的动静脉分类概率，生成动静脉分类结果。本发明还提供了一种视网膜图像动静脉的分类设备及存储介质，能降低分类算法的复杂度，并且不需要手工设计视网膜血管拓扑结构的特征和度量函数，提高了对视网膜图像进行动静脉分类的分类速度和准确性。
Description
技术领域
本发明涉及医学图像处理领域，尤其涉及一种视网膜图像动静脉的分类装置、设备及存储介质。
背景技术
眼底有非常重要的结构，包括视神经、视网膜动静脉血管、黄斑等，通过眼底检查，医生可以发现视神经病变、视网膜血管病变等眼科疾病，以及高血压动脉硬化、糖尿病视网膜病变等心脑血管、内分泌系统疾病。视网膜血管是人体内唯独采用无损伤手段就能直接观察到的较深层次的微血管系统，其动静脉宽度的改变、弯曲程度的变动等都与全身性疾病的发展进程密切相关，是致使人眼视觉出现问题的主要原因。因此，全自动的视网膜血管分割和计算方法，在临床上具有非常实用的价值，对提高医学诊疗水平以及疾病诊断、分型等具有重要临床意义。
归纳起来，视网膜动静脉血管分类算法可以分为两大类：传统图像处理的方法和深度学习的方法。传统图像处理的方法，如：基于分类器学习的分类法、基于图算法学习的分类法。深度学习的方法，主要是卷积神经网络。
基于分类器学习的方法，首先，采用图像处理方法，如直方图均衡化、伽马校正等，对图像进行预处理；其次，使用已有的视网膜血管分割方法对其进行血管精分割；再者，对已分割好的血管上进行特征提取，包括RGB值，色彩空间特征，曲率，直径等，再训练分类器对视网膜血管分成动脉和静脉；而最近的深度学习在图像处理上取得巨大成功，部分方法则是将传统的人工设计的特征，如SIFT、HOG等，使用深度特征代替，再使用神经网络、SVM等分类器去训练和测试，进而得到视网膜图像的动静脉分类结果。
基于图算法学习的方法，首先，使用现有视网膜血管分割方法对视网膜图像做血管分割，通过骨架细化操作检测出血管的交叉点和分支点，通过检测的交叉点和分支点构造图，以交叉点和分支点作为图的节点，节点与节点之间的血管段为同一类血管，即动脉或者静脉，血管段作为图的边，得到了血管的图结构，根据图节点的类型，使用Dijkstra等图搜索算法将血管图通过分成多个子图，进而使用聚类、分类器等方法对每个子图分成动脉或者静脉，此类方法增强了血管段的连续性。
基于深度学习的方法，使用FCN、U－net等框架进行视网膜动静脉端到端的分类，部分方法使用多个深度神经网络架构进行视网膜动静脉分类，最后将各个模型得到的结果集成起来；而部分方法则是将视网膜动静脉分类任务转换为两个分割任务，即视网膜动脉分割和静脉分割，使用两个并行的U－net同时对动脉和静脉进行分割。
基于分类器学习的方法，需要人工设计分类能力强的特征，这给人们在设计特征时带来很大的困难，基于图算法学习的方法，需要准确检测出血管的分支点和交叉点，还有一些图的特征，如果在血管的某个分支点或者交叉点将血管分错，则会把后序与之相连的血管分错，这类方法依赖于精准的血管分割和特征提取。而基于深度学习的方法，在图像分割任务上普遍使用的是交叉熵损失函数，这是基于像素点的损失，并没有把血管的拓扑结构信息考虑进去，导致动静脉的分割结果出现分段连续，而不是一段完整的动脉或静脉血管。
发明内容
本发明实施例提供一种视网膜图像动静脉的分类装置、设备及存储介质，能降低分类算法的复杂度，并且不需要手工设计视网膜血管拓扑结构的特征和度量函数，提高了对视网膜图像进行动静脉分类的分类速度和准确性。
本发明实施例提供一种视网膜图像动静脉的分类装置，包括：
图像获取模块，用于获取待分类图像；
预处理模块，用于对所述待分类图像进行预处理，得到预处理图像；
对抗网络模块，包括预先训练的生成器单元，所述预先训练的生成器单元用于根据所述预处理图像输出每个像素点的动静脉分类概率；
结果输出模块，用于根据所述预处理图像中每个像素点的动静脉分类概率，生成动静脉分类结果。
作为上述方案的改进，所述预先训练包括步骤：
构建生成器模型、鉴别器模型和拓扑结构模型；其中，所述拓扑结构模型为VGG模型；
以经过预处理的视网膜图像作为所述生成器模型的输入，所述生成器模型输出所述经过预处理的视网膜图像的像素点的概率；
合并视网膜动静脉标签和所述经过预处理的视网膜图像作为第一合并信息、合并所述经过预处理的视网膜图像和所述生成器模型的输出作为第二合并信息，以所述第一合并信息和所述第二合并信息作为所述鉴别器模型的输入，所述鉴别器模型输出所述第一合并信息和所述第二合并信息的真假信息；
将所述视网膜动静脉标签和所述像素点的概率输入所述拓扑结构模型，得到固定的拓扑结构模型；
根据所述固定的拓扑结构模型和所述拓扑结构模型的损失函数，对所述生成器模型和所述鉴别器模型进行交替训练，已得到的生成器模型作为所述预先训练的生成器单元。
作为上述方案的改进，所述生成器模型的损失函数包括交叉熵损失和总变差损失，所述交叉熵损失和所述总变差损失满足：
其中，Lwce为交叉熵损失，
分别为视网膜动静脉标签和生成器的预测概率结果，wa、wv和wb为超参数；ya是y的第一通道的值，并且是动脉的标签，当ya值为1代表是动脉；yv是y的第二通道的值，并且是静脉的标签，当yv值为1代表是静脉；yb是视网膜背景的标签，并且是y的第三通道的值，当yb值为1代表是背景；Ltv为所述总变差损失，/>
表示所述生成器模型的输出的第i行，第j列的像素点的值；wa、wv和wb均为范围[0，1]的实数；
所述鉴别器模型的损失函数满足：
其中，Ladv为所述鉴别器模型的损失函数，D是所述鉴别器模型，G是所述生成器模型，(x,y)分别为所述预处理的视网膜图像和所述视网膜动静脉标签；
所述拓扑结构模型的损失函数满足：
其中，MSSIM表征图像之间的相似度，并且满足：
其中，
和/>
为y和/>
对应拓扑结构模型的第n层特征输出；以图像的任意像素点为中心，在图像中取出预设边长的块作为图像块，令x，y为特征图/>
的图像块(patch)，总共M个所述图像块，则SSIM(x,y)满足：
其中，C1和C2均为超参数；所述图像块的平均亮度μx，μy满足：
所述图像块的标准差σx，σy满足：
所述图像块的协方差σxy满足：
作为上述方案的改进，设所述生成器模型的参数为WG、所述鉴别器模型的参数为WD，所述交替训练包括WD更新步骤和WG更新步骤；
所述WD更新步骤包括：固定WG，将所述预处理的视网膜图像输入所述生成器模型，得到预测概率结果并与所述预处理后的视网膜图像合并输入到所述鉴别器模型，将所述鉴别器模型的输出与所述视网膜动静脉标签计算Ladv，梯度回传，更新WD；
所述WG更新步骤包括：固定WD，将所述预处理的视网膜图像输入所述生成器模型，得到预测概率结果并计算Lwce，Ltv和Lts，梯度回传，更新WG。
作为上述方案的改进，所述交替训练的执行次数为预先设定。
作为上述方案的改进，所述真假信息包括真样本标签和假样本标签；
所述预处理的视网膜图像和所述视网膜动静脉标签的合并图像为真样本，所述真样本标签为1；
所述预处理的视网膜图像和所述生成器模型的输出的合并图像为假样本，所述假样本标签为0。
作为上述方案的改进，当所述鉴别器模型输出的概率与0.5的差值小于预设值时，结束所述交替训练。
作为上述方案的改进，所述拓扑结构模型为使用在数据集ImageNet进行了预训练的VGG19模型。
本发明实施例还提供了一种视网膜图像动静脉的分类设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的视网膜图像动静脉的分类装置。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备实现如上任意一项所述的视网膜图像动静脉的分类装置。
本发明实施例提供的一种视网膜图像动静脉的分类装置、设备和存储介质，通过图像获取模块获取待分类图像，并通过预处理模块对所述待分类图像进行预处理，得到预处理图像，进而通过对抗网络模块中预先训练的生成器单元，根据所述预处理图像输出每个像素点的动静脉分类概率；最终由结果输出模块根据所述预处理图像中每个像素点的动静脉分类概率，生成动静脉分类结果。通过对抗网络对视网膜图像进行动静脉分类，降低了分类算法的复杂度，并且不需要手工设计视网膜血管拓扑结构的特征和度量函数，还可以使用GPU进行加速，提高了对视网膜图像进行动静脉分类的分类速度和准确性。
附图说明
图1是本发明实施例1提供的一种视网膜图像动静脉的分类装置的结构示意图。
图2是本发明实施例1提供的分类装置的预先训练的流程示意图。
图3是本发明实施例2提供的一种视网膜图像动静脉的分类设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例1提供了一种视网膜图像动静脉的分类装置100。参见图1，是所述视网膜图像动静脉的分类装置100的结构示意图，包括图像获取模块110、预处理模块120、对抗网络模块130和结果输出模块140。
所述图像获取模块110，用于获取待分类图像。所述预处理模块120，用于对所述待分类图像进行预处理，得到预处理图像。所述对抗网络模块130，包括预先训练的生成器单元，所述预先训练的生成器单元用于根据所述预处理图像输出每个像素点的动静脉分类概率。所述结果输出模块140，用于根据所述预处理图像中每个像素点的动静脉分类概率，生成动静脉分类结果。
在所述视网膜图像动静脉的分类装置100的工作过程中，首先由所述图像获取模块110获取所述待分类图像，然后由所述预处理模块120对所述待分类图像进行预处理，得到预处理图像，再通过对抗网络模块130中预先训练的生成器单元，根据所述预处理图像输出每个像素点的动静脉分类概率，所述结果输出模块140根据所述预处理图像中每个像素点的动静脉分类概率，生成动静脉分类结果，完成对所述待分类图像的分类任务。
优选地，所述待分类图像为视网膜图像，所述预处理模块120对所述待分类图像进行的预处理包括以下过程：将视网膜图像边缘的黑色区域去掉，保留中间视网膜信息，将得到的图像调整尺寸到512＊512，接着将彩色图像进行灰度化，对其每个像素值进行归一化，使用对比度受限直方图均衡化、伽马校正进行图像预处理，降低视网膜背景区域信息，包括视盘和黄斑等区域，增强视网膜图像的血管信息，从而得到所述预处理图像。
优选地，参见图2，可以通过如步骤S110至步骤S150所示流程进行所述预先训练。
S110、构建生成器模型、鉴别器模型和拓扑结构模型；其中，所述拓扑结构模型为VGG模型。
具体地，所述拓扑结构模型还可以是使用在数据集ImageNet进行了预训练的VGG19模型。
更优选地，还可以对所述生成器模型、所述鉴别器模型和所述拓扑结构模型的损失函数进行定义。具体地，可以定义所述生成器模型的损失函数包括交叉熵损失和总变差损失，所述交叉熵损失和所述总变差损失满足：
其中，Lwce为交叉熵损失，
分别为视网膜动静脉标签和生成器的预测概率结果，wa、wv和wb为超参数；ya是y的第一通道的值，并且是动脉的标签，当ya值为1代表是动脉；yv是y的第二通道的值，并且是静脉的标签，当yv值为1代表是静脉；yb是视网膜背景的标签，并且是y的第三通道的值，当yb值为1代表是背景Ltv为所述总变差损失，/>
表示所述生成器模型的输出的第i行，第j列的像素点的值；wa、wv和wb均为范围[0，1]的实数。例如，y人工标注的视网膜动静脉标签图像，维度是：H＊W＊3，其中H是标签图像的高，W是图像的宽，3是图像的RGB通道，当中每个像素点的值表示为一个三维向量(R，G，B)，其中R为红色通道的值，G为绿色通道的值，B为蓝色通道的值，即第一通道为R通道、第二通道为G通道，第三通道为B通道，标签图像中每个像素点的取值为以下的其中一个：(1，0，0)，(0，1，0)和(0，0，1)，其中(1，0，0)对应第一通道为1，表示该像素点为动脉，(0，1，0)对应第三通道的值为1，表示该像素点为视网膜背景，(0，0，1)对应第二通道的值为1，表示该像素点为静脉；/>
为所述生成器模型的输出，即/>
x和/>
的维度均为H＊W＊3，/>
的每个值的范围为[0，1]。
定义所述鉴别器模型的损失函数满足：
其中，Ladv为所述鉴别器模型的损失函数，D是所述鉴别器模型，G是所述生成器模型，(x,y)分别为所述预处理的视网膜图像和所述视网膜动静脉标签。
定义所述拓扑结构模型的损失函数满足：
MSSIM为MeanStructuralSimilarity的缩写，作用为衡量图像之间的相似度，并且满足：
其中，
和/>
为y和/>
对应拓扑结构模型的第n层特征输出；以图像的任意像素点为中心，在图像中取出预设边长的块作为图像块，令x，y为特征图/>
的图像块(patch)，总共M个所述图像块，则SSIM(x,y)满足：
其中，C1和C2均为超参数；所述图像块的平均亮度μx，μy满足：
所述图像块的标准差σx，σy满足：
所述图像块的协方差σxy满足：
具体地，公式SSIM(x,y)的推导过程可以参考文章“ImageQualityAssessment：FromErrorVisibilitytoStructuralSimilarity”。
通过对抗损失函数联合拓扑结构损失函数，使得训练得到的模型能够学习到更好的深度特征，从而提高对视网膜图像进行动静脉分类的速度和准确性。
S120、以经过预处理的视网膜图像作为所述生成器模型的输入，所述生成器模型输出所述经过预处理的视网膜图像的像素点的概率。
S130、合并视网膜动静脉标签和所述经过预处理的视网膜图像作为第一合并信息、合并所述经过预处理的视网膜图像和所述生成器模型的输出作为第二合并信息，以所述第一合并信息和所述第二合并信息作为所述鉴别器模型的输入，所述鉴别器模型输出所述第一合并信息和所述第二合并信息的真假信息。
具体地，所述真假信息包括真样本标签和假样本标签。所述预处理的视网膜图像和所述视网膜动静脉标签的合并图像为真样本，所述真样本标签为1；所述预处理的视网膜图像和所述生成器模型的输出的合并图像为假样本，所述假样本标签为0。例如，设所述视网膜动静脉标签的维度为H＊W＊3，所述预处理的视网膜图像的维度为H＊W＊3，所述生成器模型的输出的维度为H＊W＊3，其中H是图像的高、W是图像的宽、3是图像的通道数，所述视网膜动静脉标签和所述预处理的视网膜图像合并后的维度为H＊W＊6，记为真样本，所述生成器模型的输出与所述预处理的视网膜图像合并后的维度为H＊W＊6，记为假样本。真样本输入到所述鉴别器模型中对应的标签为1，假样本输入到所述鉴别器模型中对应的标签为0。
S140、将所述视网膜动静脉标签和所述像素点的概率输入所述拓扑结构模型，得到固定的拓扑结构模型。
S150、根据所述固定的拓扑结构模型和所述拓扑结构模型的损失函数，对所述生成器模型和所述鉴别器模型进行交替训练，已得到的生成器模型作为所述预先训练的生成器单元。
具体地，所述交替训练的执行次数可以是预先设定，例如预先设定执行次数，从中选择损失最低的参数作为模型的结果。也可以是当所述鉴别器模型输出的概率与0.5的差值小于预设值时，结束所述交替训练。
具体地，可以设所述生成器模型的参数为WG、所述鉴别器模型的参数为WD，所述交替训练包括WD更新步骤和WG更新步骤。
所述WD更新步骤包括：固定WG，将所述预处理的视网膜图像输入所述生成器模型，得到预测概率结果并与所述预处理后的视网膜图像合并输入到所述鉴别器模型，将所述鉴别器模型的输出与所述视网膜动静脉标签计算Ladv，梯度回传，更新WD；
所述WG更新步骤包括：固定WD，将所述预处理的视网膜图像输入所述生成器模型，得到预测概率结果并计算Lwce，Ltv和Lts，梯度回传，更新WG。
本发明实施例提供的一种视网膜图像动静脉的分类装置，通过图像获取模块获取待分类图像，并通过预处理模块对所述待分类图像进行预处理，得到预处理图像，进而通过对抗网络模块中预先训练的生成器单元，根据所述预处理图像输出每个像素点的动静脉分类概率；最终由结果输出模块根据所述预处理图像中每个像素点的动静脉分类概率，生成动静脉分类结果。通过对抗网络对视网膜图像进行动静脉分类，降低了分类算法的复杂度，并且不需要手工设计视网膜血管拓扑结构的特征和度量函数，还可以使用GPU进行加速，提高了对视网膜图像进行动静脉分类的分类速度和准确性。
参见图3，本发明实施例2提供的一种视网膜图像动静脉的分类设备200，包括处理器210、存储器220以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器210执行所述计算机程序时实现如实施例1所述的视网膜图像动静脉的分类装置，在此不作赘述。
另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行所述计算机程序时实现如实施例1所述的视网膜图像动静脉的分类装置，在此不作赘述。
参见图3，是本发明实施例2提供的视网膜图像动静脉的分类设备200的示意图。所述视网膜图像动静脉的分类设备200包括：处理器210、存储器220以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如病灶图像分割程序。所述处理器执行所述计算机程序时实现上述各个病灶图像分割方法实施例中的步骤，例如图2所示的病灶图像分割方法的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如实施例1所述的视网膜图像动静脉的分类装置的各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器220中，并由所述处理器210执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述病灶图像分割终端设备中的执行过程。例如，所述计算机程序可以被分割成图像获取模块、预处理模块、对抗网络模块和结果输出模块，各模块具体功能如下：所述图像获取模块，用于获取待分类图像；所述预处理模块，用于对所述待分类图像进行预处理，得到预处理图像；所述对抗网络模块，包括预先训练的生成器单元，所述预先训练的生成器单元用于根据所述预处理图像输出每个像素点的动静脉分类概率；所述结果输出模块，用于根据所述预处理图像中每个像素点的动静脉分类概率，生成动静脉分类结果。
所述视网膜图像动静脉的分类设备200可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述视网膜图像动静脉的分类设备200可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是视网膜图像动静脉的分类设备200的示例，并不构成对视网膜图像动静脉的分类设备200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述视网膜图像动静脉的分类设备200还可以包括输入输出设备、网络接入设备、总线等。
所称处理器210可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器210是所述视网膜图像动静脉的分类设备200的控制中心，利用各种接口和线路连接整个病灶图像分割终端设备的各个部分。
所述存储器220可用于存储所述计算机程序或模块，所述处理器210通过运行或执行存储在所述存储器内的计算机程序或模块，以及调用存储在存储器内的数据，实现所述病灶图像分割终端设备的各种功能。所述存储器220可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述视网膜图像动静脉的分类设备200集成的模块或单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
实施本发明实施例2提供的一种视网膜图像动静脉的分类设备，在处理器执行存储在存储器中的计算机程序时，通过图像获取模块获取待分类图像，并通过预处理模块对所述待分类图像进行预处理，得到预处理图像，进而通过对抗网络模块中预先训练的生成器单元，根据所述预处理图像输出每个像素点的动静脉分类概率；最终由结果输出模块根据所述预处理图像中每个像素点的动静脉分类概率，生成动静脉分类结果。通过对抗网络对视网膜图像进行动静脉分类，降低了分类算法的复杂度，并且不需要手工设计视网膜血管拓扑结构的特征和度量函数，还可以使用GPU进行加速，提高了对视网膜图像进行动静脉分类的分类速度和准确性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (8)
1.一种视网膜图像动静脉的分类装置，其特征在于，包括：
图像获取模块，用于获取待分类图像；
预处理模块，用于对所述待分类图像进行预处理，得到预处理图像；
对抗网络模块，包括预先训练的生成器单元，所述预先训练的生成器单元用于根据所述预处理图像输出每个像素点的动静脉分类概率；
结果输出模块，用于根据所述预处理图像中每个像素点的动静脉分类概率，生成动静脉分类结果；
所述预先训练包括步骤：
构建生成器模型、鉴别器模型和拓扑结构模型；其中，所述拓扑结构模型为VGG模型；
以经过预处理的视网膜图像作为所述生成器模型的输入，所述生成器模型输出所述经过预处理的视网膜图像的像素点的概率；
合并视网膜动静脉标签和所述经过预处理的视网膜图像作为第一合并信息、合并所述经过预处理的视网膜图像和所述生成器模型的输出作为第二合并信息，以所述第一合并信息和所述第二合并信息作为所述鉴别器模型的输入，所述鉴别器模型输出所述第一合并信息和所述第二合并信息的真假信息；
将所述视网膜动静脉标签和所述像素点的概率输入所述拓扑结构模型，得到固定的拓扑结构模型；
根据所述固定的拓扑结构模型和所述拓扑结构模型的损失函数，对所述生成器模型和所述鉴别器模型进行交替训练，已得到的生成器模型作为所述预先训练的生成器单元；
所述生成器模型的损失函数包括交叉熵损失和总变差损失，所述交叉熵损失和所述总变差损失满足：
其中，Lwce为交叉熵损失，
分别为视网膜动静脉标签和生成器的预测概率结果，wa、wv和wb为超参数；ya是y的第一通道的值，并且是动脉的标签，当ya值为1代表是动脉；yv是y的第二通道的值，并且是静脉的标签，当yv值为1代表是静脉；yb是视网膜背景的标签，并且是y的第三通道的值，当yb值为1代表是背景；Ltv为所述总变差损失，/>
表示所述生成器模型的输出的第i行，第j列的像素点的值；wa、wv和wb均为范围[0，1]的实数；
所述鉴别器模型的损失函数满足：
Ladv(x，y)＝-logD(x，y)-log(1-D(x，G(x)))
其中，Ladv为所述鉴别器模型的损失函数，D是所述鉴别器模型，G是所述生成器模型，(x，y)分别为所述预处理的视网膜图像和所述视网膜动静脉标签；
所述拓扑结构模型的损失函数满足：
其中，MSSIM表征图像之间的相似度，并且满足：
其中，
和/>
为y和/>
对应拓扑结构模型的第n层特征输出；以图像的任意像素点为中心，在图像中取出预设边长的块作为图像块，令x，y为特征图/>
的图像块(patch)，总共M个所述图像块，则SSIM(x，y)满足：
其中，C1和C2均为超参数；所述图像块的平均亮度μx，μy满足：
其中，N为图像块中的像素点数量，xi和yi分别为对应图像块中的第i个像素点的亮度值；所述图像块的标准差σx，σy满足：
所述图像块的协方差σxy满足：
2.如权利要求1所述的视网膜图像动静脉的分类装置，其特征在于，设所述生成器模型的参数为WG、所述鉴别器模型的参数为WD，所述交替训练包括WD更新步骤和WG更新步骤；
所述WD更新步骤包括：固定WG，将所述预处理的视网膜图像输入所述生成器模型，得到预测概率结果并与所述预处理后的视网膜图像合并输入到所述鉴别器模型，将所述鉴别器模型的输出与所述视网膜动静脉标签计算Ladv，梯度回传，更新WD；
所述WG更新步骤包括：固定WD，将所述预处理的视网膜图像输入所述生成器模型，得到预测概率结果并计算Lwce，Ltv和Lts，梯度回传，更新WG。
3.如权利要求2所述的视网膜图像动静脉的分类装置，其特征在于，所述交替训练的执行次数为预先设定。
4.如权利要求2所述的视网膜图像动静脉的分类装置，其特征在于，所述真假信息包括真样本标签和假样本标签；
所述预处理的视网膜图像和所述视网膜动静脉标签的合并图像为真样本，所述真样本标签为1；
所述预处理的视网膜图像和所述生成器模型的输出的合并图像为假样本，所述假样本标签为0。
5.如权利要求4所述的视网膜图像动静脉的分类装置，其特征在于，当所述鉴别器模型输出的概率与0.5的差值小于预设值时，结束所述交替训练。
6.如权利要求1所述的视网膜图像动静脉的分类装置，其特征在于，所述拓扑结构模型为使用在数据集ImageNet进行了预训练的VGG19模型。
7.一种视网膜图像动静脉的分类设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的视网膜图像动静脉的分类装置。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备实现如权利要求1至6中任意一项所述的视网膜图像动静脉的分类装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010046060.2A CN111242933B (zh) | 2020-01-15 | 2020-01-15 | 视网膜图像动静脉的分类装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010046060.2A CN111242933B (zh) | 2020-01-15 | 2020-01-15 | 视网膜图像动静脉的分类装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111242933A CN111242933A (zh) | 2020-06-05 |
| CN111242933B true CN111242933B (zh) | 2023-06-20 |
Family
ID=70872671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010046060.2A Active CN111242933B (zh) | 2020-01-15 | 2020-01-15 | 视网膜图像动静脉的分类装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111242933B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111861999A (zh) * | 2020-06-24 | 2020-10-30 | 北京百度网讯科技有限公司 | 动静脉交叉压迫征的检测方法、装置、电子设备及可读存储介质 |
| CN111863206A (zh) * | 2020-07-24 | 2020-10-30 | 上海联影医疗科技有限公司 | 一种图像预处理方法、装置、设备及存储介质 |
| CN112233789A (zh) * | 2020-10-12 | 2021-01-15 | 辽宁工程技术大学 | 一种区域特征融合的高血压视网膜病变分类方法 |
| CN112561864B (zh) * | 2020-12-04 | 2024-03-29 | 深圳格瑞健康科技有限公司 | 龋齿图像分类模型的训练方法、系统和存储介质 |
| CN112949431A (zh) * | 2021-02-08 | 2021-06-11 | 证通股份有限公司 | 视频篡改检测方法和系统、存储介质 |
| CN113269737B (zh) * | 2021-05-17 | 2024-03-19 | 北京鹰瞳科技发展股份有限公司 | 一种眼底视网膜动静脉血管直径计算方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018201647A1 (zh) * | 2017-05-05 | 2018-11-08 | 平安科技（深圳）有限公司 | 视网膜病变程度等级检测方法、装置及存储介质 |
| CN109800789A (zh) * | 2018-12-18 | 2019-05-24 | 中国科学院深圳先进技术研究院 | 基于图网络的糖尿病视网膜病变分类方法及装置 |
| CN110276763A (zh) * | 2018-03-15 | 2019-09-24 | 中南大学 | 一种基于可信度和深度学习的视网膜血管分割图生成方法 |
-
2020
- 2020-01-15 CN CN202010046060.2A patent/CN111242933B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018201647A1 (zh) * | 2017-05-05 | 2018-11-08 | 平安科技（深圳）有限公司 | 视网膜病变程度等级检测方法、装置及存储介质 |
| CN110276763A (zh) * | 2018-03-15 | 2019-09-24 | 中南大学 | 一种基于可信度和深度学习的视网膜血管分割图生成方法 |
| CN109800789A (zh) * | 2018-12-18 | 2019-05-24 | 中国科学院深圳先进技术研究院 | 基于图网络的糖尿病视网膜病变分类方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111242933A (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111242933B (zh) | 视网膜图像动静脉的分类装置、设备及存储介质 | |
| US11487995B2 (en) | Method and apparatus for determining image quality | |
| CN110874594B (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
| US10789499B2 (en) | Method for recognizing image, computer product and readable storage medium | |
| CN109222972B (zh) | 一种基于深度学习的fMRI全脑数据分类方法 | |
| CN111882566B (zh) | 视网膜图像的血管分割方法、装置、设备及存储介质 | |
| Abbasi-Sureshjani et al. | Automatic detection of vascular bifurcations and crossings in retinal images using orientation scores | |
| US11967181B2 (en) | Method and device for retinal image recognition, electronic equipment, and storage medium | |
| CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
| CN110276408B (zh) | 3d图像的分类方法、装置、设备及存储介质 | |
| WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
| CN112446891A (zh) | 基于U-Net网络脑胶质瘤的医学图像分割方法 | |
| KR102160390B1 (ko) | 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템 | |
| Jian et al. | Triple-DRNet: A triple-cascade convolution neural network for diabetic retinopathy grading using fundus images | |
| CN111784665B (zh) | 基于傅里叶变换的oct图像质量评估方法、系统及装置 | |
| CN113486752A (zh) | 基于心电信号的情感识别方法及系统 | |
| Guru Prasad et al. | Glaucoma detection using clustering and segmentation of the optic disc region from retinal fundus images | |
| CN106780404A (zh) | 图像增强方法、装置及血管显像设备 | |
| CN110473176B (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
| Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
| Miron et al. | Efficient and robust eye images iris segmentation using a lightweight U-net convolutional network | |
| Sivapriya et al. | Segmentation of Hard exudates for the detection of Diabetic Retinopathy with RNN based sematic features using fundus images | |
| CN113486925A (zh) | 模型训练方法、眼底图像生成方法、模型评估方法及装置 | |
| CN112801238B (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
| Marjusalinah et al. | Classification of finger spelling American sign language using convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |