CN117392470B - 基于知识图谱的眼底图像多标签分类模型生成方法及系统 - Google Patents
基于知识图谱的眼底图像多标签分类模型生成方法及系统 Download PDFInfo
- Publication number
- CN117392470B CN117392470B CN202311684312.4A CN202311684312A CN117392470B CN 117392470 B CN117392470 B CN 117392470B CN 202311684312 A CN202311684312 A CN 202311684312A CN 117392470 B CN117392470 B CN 117392470B
- Authority
- CN
- China
- Prior art keywords
- label
- fundus image
- graph
- label classification
- classification model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013145 classification model Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000013598 vector Substances 0.000 claims abstract description 101
- 239000011159 matrix material Substances 0.000 claims abstract description 60
- 238000012098 association analyses Methods 0.000 claims abstract description 18
- 238000012546 transfer Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000005096 rolling process Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 238000013526 transfer learning Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000010845 search algorithm Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000010219 correlation analysis Methods 0.000 claims 1
- 201000010099 disease Diseases 0.000 abstract description 24
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 24
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000003860 storage Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 208000017442 Retinal disease Diseases 0.000 description 5
- 206010038923 Retinopathy Diseases 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 208000010412 Glaucoma Diseases 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 201000004569 Blindness Diseases 0.000 description 3
- 208000002177 Cataract Diseases 0.000 description 3
- 206010012689 Diabetic retinopathy Diseases 0.000 description 3
- 206010064930 age-related macular degeneration Diseases 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 208000001491 myopia Diseases 0.000 description 3
- 230000004379 myopia Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 208000030533 eye disease Diseases 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 208000002780 macular degeneration Diseases 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000004220 fundus oculi Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 208000004644 retinal vein occlusion Diseases 0.000 description 1
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及人工智能技术领域，揭露了一种基于知识图谱的眼底图像多标签分类模型生成方法及系统，该方法包括：根据知识图谱标签信息对眼底图像集进行关联分析，根据关联分析的结果生成初始图数据库；对初始图数据库进行样本平衡，得到目标图数据库；对目标图数据库中的眼底图像进行特征提取，得到图像特征向量；对目标图数据库中的知识图谱进行词嵌入向量表示，利用图卷积网络对嵌入标签向量进行传递学习，得到标签分类矩阵；根据图像特征向量及标签分类矩阵进行多标签分类，确定预测分类标签；根据预测分类标签及真实标签优化多标签分类模型。本发明可以提高多标签分类模型进行眼底图像多标签识别时疾病标签之间的相关性以及识别结果的准确性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于知识图谱的眼底图像多标签分类模型生成方法及系统。
背景技术
在全世界范围内，糖尿病视网膜病变、近视相关视网膜病变、青光眼视网膜病变、年龄相关性黄斑变性等发病率逐渐上升，已成为眼健康的主要杀手，不少患者由于错过最佳救治时机导致不可逆性的严重视力丧失甚至失明。早期眼底疾病筛选是预防由糖尿病、青光眼、白内障和许多其他疾病引起的失明的经济有效方法，能够提高患者生活质量，减轻社会、家庭及患者的负担。但是，目前基于眼底图像的疾病诊断主要通过人工确认损伤位置并分析其严重程度，需要眼科医生花费大量时间，在医疗保健系统中产生了高昂的成本。
在临床应用中，通过人工智能辅助医学图像精准分析与诊断具有重大意义，能够通过提供的高质量眼底图像。医学影像成像是一种以非侵入方式获取人体内组织图像的一种技术手段，成像图片中包含了大量的健康信息，利用计算机视觉和深度学习对眼睛的疾病进行分类，达到快速智能检测眼部疾病的效果，医学图像的精准分析是早期筛查和鉴别诊断的重要依据。
现有技术中，基于深度图像分类模型（如VGG、ResNet等）在医学图像处理领域已取得不错的效果，但是却没有真正意义上理解图像中所蕴含的知识信息（实体对象间的关系），导致模型的识别能力很大程度上取决于训练数据集样本的覆盖性，特别是真实场景中眼底疾病存在相关性或共生性的特性；而普通的卷积神经网络只提取图像特征或只注意图像局部的特征关系，忽略了疾病之间的相关性；现有的AI算法模型网络主要由特征提取器和softmax分类器组成，其可解释性差，用于眼底影像诊断的精度较低。
综上所述，现有技术中存在多标签分类模型进行眼底图像多标签识别时疾病标签之间的相关性以及识别结果的准确性较低的问题。
发明内容
本发明提供一种基于知识图谱的眼底图像多标签分类模型生成方法、系统、电子设备及计算机可读存储介质，其主要目的在于解决多标签分类模型进行眼底图像多标签识别时疾病标签之间的相关性以及识别结果的准确性较低的问题。
为实现上述目的，本发明提供的一种基于知识图谱的眼底图像多标签分类模型生成方法，包括：
获取眼底图像集，根据预设的知识图谱标签信息对所述眼底图像集进行关联分析，根据关联分析的结果生成初始图数据库；
对所述初始图数据库进行样本平衡，得到目标图数据库；
利用预构建的多标签分类模型中的卷积神经网络对所述目标图数据库中的眼底图像进行特征提取，得到所述眼底图像对应的图像特征向量；其中，预构建的多标签分类模型包括卷积神经网络以及图卷积网络；
对所述目标图数据库中的知识图谱进行词嵌入向量表示，得到嵌入标签向量，并利用所述图卷积网络对所述嵌入标签向量进行传递学习，得到标签分类矩阵；
根据所述图像特征向量以及所述标签分类矩阵进行多标签分类，并根据多标签分类的结果确定所述眼底图像对应的预测分类标签；
根据所述预测分类标签以及所述眼底图像对应的真实标签对所述多标签分类模型进行模型优化，得到眼底图像多标签分类模型。
本发明一实施例中，所述根据预设的知识图谱标签信息对所述眼底图像集进行关联分析，包括：
根据知识图谱标签信息提取所述眼底图像集中眼底图像的语义标签；
以所述语义标签为节点，并且以所述语义标签之间的实体关系为边构建知识图谱。
本发明一实施例中，所述对所述初始图数据库进行样本平衡，得到目标图数据库，包括：
利用广度优先搜索算法遍历所述初始图数据库中知识图谱，并根据遍历的结果依次选取目标节点；其中，所述目标节点在所述眼底图像集中对应有子数据集，所述子数据集包括阳性样例和阴性样例；
根据所述目标节点从所述眼底图像集中抽取所述目标节点对应的目标阳性样例与目标阴性样例；
对所述目标阳性样例与所述目标阴性样例进行样本统计，得到平衡数量；
根据所述平衡数量对所述目标阳性样例或所述目标阴性样例中的图像样本进行样本剔除，得到更新的眼底图像集；
将所述知识图谱以及更新的眼底图像集作为目标图数据库。
本发明一实施例中，所述利用预构建的多标签分类模型中的卷积神经网络对所述目标图数据库中的眼底图像进行特征提取之前，所述方法还包括：
对所述眼底图像进行数据转换，得到转换图像；
对所述转换图像进行归一化处理，得到归一化图像；
对所述归一化图像进行数据增强，得到增强图像。
本发明一实施例中，所述利用预构建的多标签分类模型中的卷积神经网络对所述目标图数据库中的眼底图像进行特征提取，得到所述眼底图像对应的图像特征向量，包括：
对所述眼底图像进行卷积神经网络计算，得到图像级特征；
对所述图像级特征进行全局最大池化，得到图像特征向量。
本发明一实施例中，所述对所述目标图数据库中的知识图谱进行词嵌入向量表示，得到嵌入标签向量，包括：
利用知识图谱嵌入的方法对所述知识图谱进行低维向量表征，得到知识图谱低维向量；
利用预设的向量计算方法对所述知识图谱低维向量进行训练，得到嵌入标签向量。
本发明一实施例中，所述利用所述图卷积网络对所述嵌入标签向量进行传递学习，得到标签分类矩阵，包括：
在所述图卷积网络的多层分类器中利用预设的相关性矩阵以及下述公式对所述嵌入标签进行传递计算，得到目标节点特征；
利用下式对所述嵌入标签进行传递计算：
其中，表示为第/>层分类器的输出节点特征，即第l+1器的输入，/>表示为第l+1层分类器的输出节点特征，/>表示为相关性矩阵，h示为非线性激活函数，/>表示为第l层分类器对应的转移矩阵；
根据预设的输出格式对所述目标节点特征进行分类计算，得到标签分类矩阵。
本发明一实施例中，所述根据所述图像特征向量以及所述标签分类矩阵进行多标签分类，包括：对所述图像特征向量以及所述标签分类矩阵进行点乘，得到标签矩阵，并将所述标签矩阵作为多标签分类的结果。
本发明一实施例中，所述根据所述预测分类标签以及所述眼底图像对应的真实标签对所述多标签分类模型进行模型优化，得到眼底图像多标签分类模型，包括：
利用多标签分类损失函数根据所述预测分类标签以及所述真实标签进行损失计算；
根据损失计算的结果对所述多标签分类模型进行参数优化，得到眼底图像多标签分类模型。
为了解决上述问题，本发明还提供一种基于知识图谱的眼底图像多标签分类模型生成系统，所述系统包括：
知识图谱分析模块，用于获取眼底图像集，根据预设的知识图谱标签信息对所述眼底图像集进行关联分析，根据关联分析的结果生成初始图数据库；
图数据库构建模块，用于对所述初始图数据库进行样本平衡，得到目标图数据库；
眼底图像特征提取模块，用于利用预构建的多标签分类模型中的卷积神经网络对所述目标图数据库中的眼底图像进行特征提取，得到所述眼底图像对应的图像特征向量；其中，预构建的多标签分类模型包括卷积神经网络以及图卷积网络；
嵌入向量学习模块，用于对所述目标图数据库中的知识图谱进行词嵌入向量表示，得到嵌入标签向量，并利用所述图卷积网络对所述嵌入标签向量进行传递学习，得到标签分类矩阵；
多分类标签生成模块，用于根据所述图像特征向量以及所述标签分类矩阵进行多标签分类，并根据多标签分类的结果确定所述眼底图像对应的预测分类标签；
眼底图像多标签分类模型生成模块，用于根据所述预测分类标签以及所述眼底图像对应的真实标签对所述多标签分类模型进行模型优化，得到眼底图像多标签分类模型。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于知识图谱的眼底图像多标签分类模型生成方法的步骤。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述基于知识图谱的眼底图像多标签分类模型生成方法的步骤。
本发明通过对眼底数据集进行数据划分与样本平衡，可以保证数据的平衡，使得模型训练的效果更加准确；通过知识图谱对多标签分类模型中的图卷积网络进行网络层之间的传递学习，有效提高了网络模型对不同眼底疾病标签的学习能力，提高标签特征之间的相关性；通过预测分类标签以及真实标签进行模式优化，提高了模型标签分类的准确性，对眼底疾病分类具有较高的可解释性及良好的预测性能。因此本发明提出的基于知识图谱的眼底图像多标签分类模型生成方法、系统、电子设备及计算机可读存储介质，其主要目的在于解决多标签分类模型进行眼底图像多标签识别时疾病标签之间的相关性以及识别结果的准确性较低的问题。
附图说明
图1为本发明一实施例提供的基于知识图谱的眼底图像多标签分类模型生成方法的流程示意图；
图2为本发明一实施例提供的对初始图数据库进行样本平衡的流程示意图；
图3为本发明一实施例提供的对目标图数据库中的知识图谱进行词嵌入向量表示的流程示意图；
图4为本发明一实施例提供的基于知识图谱的眼底图像多标签分类模型生成系统的功能模块图；
图5为本发明一实施例提供的实现所述基于知识图谱的眼底图像多标签分类模型生成方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于知识图谱的眼底图像多标签分类模型生成方法。所述基于知识图谱的眼底图像多标签分类模型生成方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于知识图谱的眼底图像多标签分类模型生成方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本发明所提供的基于知识图谱的眼底图像多标签分类模型生成方法，根据知识图谱自动化划分数据集并完成模型的训练（还可以包括验证、测试以及应用）。眼底图像多标签分类模型包括卷积神经网络（例如，ResNet-50）和图卷积神经网络（GraphConvolutional Network，GCN）组成。该模型基于知识图谱的指导而生成，能有效提升神经网络模型对眼底不同病理特征的学习能力，提高标签特征之间的相关性、具有较高的可解释性及良好的预测性能。
参照图1所示，为本发明一实施例提供的基于知识图谱的眼底图像多标签分类模型生成方法的流程示意图。在本实施例中，所述基于知识图谱的眼底图像多标签分类模型生成方法包括：
S1、获取眼底图像集，根据预设的知识图谱标签信息对所述眼底图像集进行关联分析，根据关联分析的结果生成初始图数据库。
本发明实施例中，所述眼底图像集包含糖尿病视网膜病变、青光眼、白内障、老年黄斑变性、高血压、近视等各类眼底疾病的图像；通过大量的眼底图像对后续的多标签分类模型进行训练，可以提高模型的识别能力以及准确性。
本发明实施例中，知识图谱标签信息所对应的知识图谱的结构可以依据“疾病类别-病变特征-细节特征”三层结构模型所构建，其中，一级节点为疾病类别，二级节点为病变特征，三级节点为细节特征；所述知识图谱中包含了眼底图像中常见的不同类别眼底疾病及其特征。
本发明实施例中，所述根据预设的知识图谱标签信息对所述眼底图像集进行关联分析，包括：
根据知识图谱标签信息提取所述眼底图像集中眼底图像的语义标签；
以所述语义标签为节点，并且以所述语义标签之间的实体关系为边构建知识图谱。
详细地，本发明实施例中，通过边连接节点，构建知识图谱，还可以利用节点间的关联信息为边赋予权重，遍历完眼底图像集中的每个眼底图像，实现眼底图像知识图谱的构建。
参阅表1所示，为所述知识图谱标签信息的表结构，该表举例表示了眼底级别的知识图谱的类别关系。
表1 知识图谱标签信息的表结构
本发明实施例中，可以使用数据库映射存储知识图谱的节点和关系，以及节点对应的眼底图像；所述知识图谱中的节点与眼底图像集中的眼底图像对应，通过所述知识图谱的节点可以从所述眼底图像集中抽取对应的眼底图像，抽取的眼底图像可能存在多个不同的眼底图像。
S2、对所述初始图数据库进行样本平衡，得到目标图数据库。
本发明实施例中，根据知识图谱从所述眼底图像集中抽取对应的眼底图像包括阳性样例以及阴性样例，阳性样例可以为正常眼底图像，阴性样例可以为异常眼底图像；通过对图数据库中的节点对应的眼底图像进行样本平衡可以保证数据的平衡，并且使得后续在训练多标签分类模型时训练样本的平衡，模型训练效果更加准确。
参阅图2所示，本发明实施例中，所述对所述初始图数据库进行样本平衡，得到目标图数据库，包括：
S21、利用广度优先搜索算法遍历所述初始图数据库中知识图谱，并根据遍历的结果依次选取目标节点；其中，所述目标节点在所述眼底图像集中对应有子数据集，所述子数据集包括阳性样例和阴性样例；
S22、根据所述目标节点从所述眼底图像集中抽取所述目标节点对应的目标阳性样例与目标阴性样例；
S23、对所述目标阳性样例与所述目标阴性样例进行样本统计，得到平衡数量；
S24、根据所述平衡数量对所述目标阳性样例或所述目标阴性样例中的图像样本进行样本剔除，得到更新的眼底图像集；
S25、将所述知识图谱以及更新的眼底图像集作为目标图数据库。
本发明实施例中，眼底图像集包含图像信息和标签信息，如果标签信息中具有该节点异常的标签，则说明当前图像样本属于阴性样例；知识图谱中各节点的子数据集由眼底图像集在该节点的阳性样例与阴性样例构成。
具体地，本发明实施例中，可以根据广度优先搜索算法遍历知识图谱，得到未遍历的节点，从眼底影像数据集中取出所有该节点对应的阴性样例以及阳性样例。阴性样例数应等于阳性样例数，如果阴性样例数远大于阳性样例数，可以对阴性样例进行随机采样，使得最终该节点的阴性样例数远等于阳性样例数；再通过广度优先搜索算法遍历知识图谱的下一个节点，直至知识图谱中的节点遍历完为止。
本发明实施例中，还可以将知识图谱中各个节点的子数据集（即节点在眼底图像集对应的眼底图像所构成的集合）随机划分训练集、验证集和测试集，分别占比80%、10%和10%；通过划分的训练集、验证集和测试集可以对多标签分类模型进行训练、验证以及测试。
S3、利用预构建的多标签分类模型中的卷积神经网络对所述目标图数据库中的眼底图像进行特征提取，得到所述眼底图像对应的图像特征向量；其中，预构建的多标签分类模型包括卷积神经网络以及图卷积网络。
本发明实施例中，为了提高多标签分类模型的性能、加速模型的收敛，在模型训练前，可以先对眼底图像进行数据标准化；为了增强训练模型的鲁棒性，扩大训练数据量，在模型训练前，可以对眼底图像进行数据增强处理。
本发明实施例中，所述利用预构建的多标签分类模型中的卷积神经网络对所述目标图数据库中的眼底图像进行特征提取之前，所述方法还包括：
对所述眼底图像进行数据转换，得到转换图像；
对所述转换图像进行归一化处理，得到归一化图像；
对所述归一化图像进行数据增强，得到增强图像。
本发明实施例中，可以利用ToTensor（）对眼底图像进行数据转换；ToTensor（）函数是一个常用于将数据转换为张量（tensor）的函数；具体地，可以将图像数据从原始类型（例如，像素值范围为[0，255]的整数）转换为浮点类型（通常为32位浮点数）；根据图像的通道数进行相应的维度变换，例如将图像由（H，W，C）变换为（C，H，W）的顺序。
本发明实施例中，可以利用Normalize()函数对图像数据进行归一化处理，将像素值范围缩放到[0，1]或者[-1，1]。
具体地，图像标准化有助于使数据处于一定范围内并减少偏度，从而有助于多标签分类模型更快更好地学习，同时归一化还可以解决梯度递减和爆炸的问题。
本发明实施例中，可以采用旋转图像，剪切图像，改变图像色差，扭曲图像特征，改变图像尺寸大小，增强图像噪音等图像增强方式进行数据增强；通过图像增强可以丰富图像数据的训练集，更好的提取图像特征，泛化标签分类模型（防止模型过拟合）。
本发明实施例中，所述多标签分类模型由卷积神经网络（Convolutional NeuralNetwork，CNN）和图卷积神经网络（Graph Convolutional Network，GCN）组成，通过知识图谱记录病变实体之间的关系，模拟医生对医学成像的分析，利用已存在的基础知识推理可能存在的眼底病变体特征。
详细地，所述卷积神经网络可以为ResNet-50，使用ResNet-50网络以提取眼底图像特征矩阵；使用GCN分类器用词向量标签与图结构的方式得到标签相关性矩阵；将卷积神经网络与图卷积神经网络生成的矩阵进行卷积操作，根据图像特征与标签相关性共同作用最终得出分类结果，整个网络是一个统一的框架，以端到端的方式实现训练。
本发明实施例中，所述利用预构建的多标签分类模型中的卷积神经网络对所述目标图数据库中的眼底图像进行特征提取，得到所述眼底图像对应的图像特征向量，包括：
对所述眼底图像进行卷积神经网络计算，得到图像级特征；
对所述图像级特征进行全局最大池化，得到图像特征向量。
本发明实施例中，所述卷积神经网络通过如下公式进行特征提取：
其中，表示为图像特征向量，I为眼底图像，/>表示为ResNet网络，/>表示为全局最大池化。
本发明另一可选实施例中，还可以对图像级特征进行自适应平均池化，以得到图像特征向量。
本发明实施例中，所述多标签分类模型中的卷积神经网络输出的图像特征向量可以为1×D维的特征矩阵，与后续多标签分类模型中的图卷积网络输出的标签分类矩阵的矩阵列向量维度相同。
S4、对所述目标图数据库中的知识图谱进行词嵌入向量表示，得到嵌入标签向量，并利用所述图卷积网络对所述嵌入标签向量进行传递学习，得到标签分类矩阵。
本发明实施例中，所述图卷积网络通过多个堆叠的GCN分类器构成，利用堆叠的GCN在多个分类标签之间传播信息，这些分类器从标签结构中吸收信息，并将这些信息进一步应用于预测全局图像特征。
参阅图3所示，本发明实施例中，所述对所述目标图数据库中的知识图谱进行词嵌入向量表示，得到嵌入标签向量，包括：
S31、利用知识图谱嵌入的方法对所述知识图谱进行低维向量表征，得到知识图谱低维向量；
S32、利用预设的向量计算方法对所述知识图谱低维向量进行训练，得到嵌入标签向量。
本发明实施例中，所述向量计算方法可以为Glove，通过Glove训练所需要分类类别的词向量，该词向量可以表示标签之间的关系，并作为GCN分类器第0层的输入。此外，还可以用FastText、GoogleNews等向量计算方法训练标签词向量。
本发明实施例中，通过使用知识图谱嵌入（Knowledge Graph Embedding）的方法将知识图谱中的先验知识代入到标签的词嵌入向量中（Glove训练所需要分类类别的词向量）。具体地，知识图谱嵌入是指将由组成知识的实体和关系在低维连续向量空间中进行表示，在知识图谱中，实体和关系可以用节点和边来表示，而知识图谱嵌入的目标是将这些节点和边映射到一个连续的向量空间中，以便能够利用向量空间中的距离和相似度来推理和分析知识图谱的结构和语义。
具体地，可以基于距离模型的嵌入方法实现知识图谱嵌入，如TransE、TransH、TransR等，上述方法通过定义损失函数来学习实体和关系的嵌入向量，使得在向量空间中的相似关系在原始知识图谱中也能得到保持；还可以基于神经网络的嵌入方法实现知识图谱嵌入，如Graph Convolutional Networks（GCN）和GraphSAGE等，这些方法通过构建图神经网络来学习实体和关系的嵌入向量，以捕捉更复杂的语义信息。
本发明实施例中，所述利用所述图卷积网络对所述嵌入标签向量进行传递学习，得到标签分类矩阵，包括：
在所述图卷积网络的多层分类器中利用预设的相关性矩阵对所述嵌入标签进行传递计算，得到目标节点特征；
根据预设的输出格式对所述目标节点特征进行分类计算，得到标签分类矩阵。
详细地，可以利用下式对所述嵌入标签进行传递计算：
其中，表示为第/>层分类器的输出节点特征，即第l+1器的输入，/>表示为第l +1层分类器的输出节点特征，/>表示为相关性矩阵，h示为非线性激活函数，/>表示为第l层分类器对应的转移矩阵。
本发明实施例中，所述相关性矩阵是一个经过处理的相关矩阵，表示图卷积网络中标签节点之间的相关性，表示各个分类器节点之间的信息传递；所述转移矩阵在分类器中为第层可以学习的参数。
本发明实施例中，利用图谱结构进行信息传递并训练GCN分类器，在图卷积网络的最后一层的输出是分类器，输出格式可以设置为C×D维矩阵，C为眼底疾病标签类数，D为特征维数。
S5、根据所述图像特征向量以及所述标签分类矩阵进行多标签分类，并根据多标签分类的结果确定所述眼底图像对应的预测分类标签。
本发明实施例中，所述根据所述图像特征向量以及所述标签分类矩阵进行多标签分类，包括：
对所述图像特征向量以及所述标签分类矩阵进行点乘，得到标签矩阵，并将所述标签矩阵作为多标签分类的结果。
本发明实施例中，对所述图像特征向量1×D以及所述标签分类矩阵C×D进行点乘，得到标签矩阵1×C；其中，C代表眼底疾病标签类数，在所述标签矩阵中，每类标签若为眼底图像对应的眼底疾病，则在标签矩阵中表示为1；若不为眼底图像对应的眼底疾病，则在标签矩阵中表示为0；因此，通过标签矩阵中的1与0可以确定眼底图像对应的预测分类标签。
S6、根据所述预测分类标签以及所述眼底图像对应的真实标签对所述多标签分类模型进行模型优化，得到眼底图像多标签分类模型。
本发明实施例中，所述根据所述预测分类标签以及所述眼底图像对应的真实标签对所述多标签分类模型进行模型优化，得到眼底图像多标签分类模型，包括：
利用多标签分类损失函数根据所述预测分类标签以及所述真实标签进行损失计算；
根据损失计算的结果对所述多标签分类模型进行参数优化，得到眼底图像多标签分类模型。
本发明实施例中，优化损失函数是指通过调整模型的参数来最小化或最大化损失函数的值，从而实现更好的模型表现；所述多标签分类损失函数可以为均方差损失函数（Mean Squared Error，MSE）、交叉熵损失函数（Cross-Entropy Loss）、对数损失函数（LogLoss）等。
进一步地，根据损失函数进行参数优化的过程可以通过梯度下降（GradientDescent）、Adam（Adaptive Moment Estimation，自适应矩估计）优化算法等实现，即是通过计算损失函数关于模型参数的梯度，并沿着梯度的反方向进行参数更新，直到损失函数达到最小值或最大值。
具体地，可以将“视网膜病变”“视网膜静脉堵塞”“黄斑前膜”“白内障”作为嵌入向量，用d表示嵌入向量在分类器节点的特征维数，d’可以表示嵌入向量在分类器节点更新后的特征维数，D表示为多标签分类模型的图卷积神经网络最后一个分类器节点的嵌入向量的特征维数，也为卷积神经网络对眼底图像进行特征提取的特征维度，卷积神经网络对眼底图像进行特征提取可以得到D×h×w的维度特征，C表示为眼底疾病标签类数。
本发明实施例中，在得到眼底图像多标签分类模型之后，可以将测试集的眼底影像作为输入，利用眼底图像多标签分类模型所提取到的图像特征与知识图谱中的节点特征进行点乘，作为各标签节点的置信度；根据目标图数据库中知识图谱对应的模型，以及预设的置信度阈值，将标签节点的置信度大于置信度阈值的标签作为模型的输出。
本发明另一可选实施中，对待识别眼底图像进行标签识别也可以通过上述步骤S3-S5的方法进行标签分类，进而确定所述待识别眼底图像对应的眼底疾病类别。
如图4所示，是本发明一实施例提供的基于知识图谱的眼底图像多标签分类模型生成系统的功能模块图。根据实现的功能，所述基于知识图谱的眼底图像多标签分类模型生成系统400可以包括知识图谱分析模块401、图数据库构建模块402、眼底图像特征提取模块403、嵌入向量学习模块404、多分类标签生成模块405及眼底图像多标签分类模型生成模块406。本发明所述模块也可以称之为单元，是指一种能够被基于知识图谱的眼底图像多标签分类模型生成系统的处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在基于知识图谱的眼底图像多标签分类模型生成系统的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述知识图谱分析模块401，用于获取眼底图像集，根据预设的知识图谱标签信息对所述眼底图像集进行关联分析，根据关联分析的结果生成初始图数据库；
所述图数据库构建模块402，用于对所述初始图数据库进行样本平衡，得到目标图数据库；
所述眼底图像特征提取模块403，用于利用预构建的多标签分类模型中的卷积神经网络对所述目标图数据库中的眼底图像进行特征提取，得到所述眼底图像对应的图像特征向量；其中，预构建的多标签分类模型包括卷积神经网络以及图卷积网络；
所述嵌入向量学习模块404，用于对所述目标图数据库中的知识图谱进行词嵌入向量表示，得到嵌入标签向量，并利用所述图卷积网络对所述嵌入标签向量进行传递学习，得到标签分类矩阵；
所述多分类标签生成模块405，用于根据所述图像特征向量以及所述标签分类矩阵进行多标签分类，并根据多标签分类的结果确定所述眼底图像对应的预测分类标签；
所述眼底图像多标签分类模型生成模块406，用于根据所述预测分类标签以及所述眼底图像对应的真实标签对所述多标签分类模型进行模型优化，得到眼底图像多标签分类模型。
详细地，本发明实施例中所述基于知识图谱的眼底图像多标签分类模型生成系统400中所述的各模块在使用时采用与附图中所述的基于知识图谱的眼底图像多标签分类模型生成方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图5所示，是本发明一实施例提供的实现基于知识图谱的眼底图像多标签分类模型生成方法的电子设备的结构示意图。
所述电子设备1000可以包括处理器1001、存储器1002、通信总线1003以及通信接口1004，还可以包括存储在所述存储器1002中并可在所述处理器1001上运行的计算机程序，如基于知识图谱的眼底图像多标签分类模型生成程序。
其中，所述处理器1001在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing Unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器1001是所述电子设备的控制核心（ControlUnit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器1002内的程序或者模块（例如执行基于知识图谱的眼底图像多标签分类模型生成程序等），以及调用存储在所述存储器1002内的数据，以执行电子设备的各种功能和处理数据。
所述存储器1002至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器1002在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器1002在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（SecureDigital，SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器1002还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器1002不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于知识图谱的眼底图像多标签分类模型生成程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线1003可以是外设部件互连标准（Peripheral ComponentInterconnect，简称PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器1002以及至少一个处理器1001等之间的连接通信。
所述通信接口1004用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1000的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器1001逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1000中的所述存储器1002存储的基于知识图谱的眼底图像多标签分类模型生成程序是多个指令的组合，在所述处理器1001中运行时，可以实现上述基于知识图谱的眼底图像多标签分类模型生成方法中的步骤。
具体地，所述处理器1001对上述指令的具体实现系统可参考附图对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1000集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现上述基于知识图谱的眼底图像多标签分类模型生成方法中的步骤。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
本发明涉及人工智能技术领域，揭露了一种基于知识图谱的眼底图像多标签分类模型生成方法及系统，该方法包括：根据知识图谱标签信息对眼底图像集进行关联分析，根据关联分析的结果生成初始图数据库；对初始图数据库进行样本平衡，得到目标图数据库；对目标图数据库中的眼底图像进行特征提取，得到图像特征向量；对目标图数据库中的知识图谱进行词嵌入向量表示，利用图卷积网络对嵌入标签向量进行传递学习，得到标签分类矩阵；根据图像特征向量及标签分类矩阵进行多标签分类，确定预测分类标签；根据预测分类标签及真实标签优化多标签分类模型。本发明可以提高多标签分类模型进行眼底图像多标签识别时疾病标签之间的相关性以及识别结果的准确性。
Claims (10)
1.一种基于知识图谱的眼底图像多标签分类模型生成方法，其特征在于，所述方法包括：
获取眼底图像集，根据预设的知识图谱标签信息对所述眼底图像集进行关联分析，根据关联分析的结果生成初始图数据库；
对所述初始图数据库进行样本平衡，得到目标图数据库；
利用预构建的多标签分类模型中的卷积神经网络对所述目标图数据库中的眼底图像进行特征提取，得到所述眼底图像对应的图像特征向量；其中，预构建的多标签分类模型包括卷积神经网络以及图卷积网络；
对所述目标图数据库中的知识图谱进行词嵌入向量表示，得到嵌入标签向量，并利用所述图卷积网络对所述嵌入标签向量进行传递学习，得到标签分类矩阵；
根据所述图像特征向量以及所述标签分类矩阵进行多标签分类，并根据多标签分类的结果确定所述眼底图像对应的预测分类标签；
根据所述预测分类标签以及所述眼底图像对应的真实标签对所述多标签分类模型进行模型优化，得到眼底图像多标签分类模型。
2.根据权利要求1所述的基于知识图谱的眼底图像多标签分类模型生成方法，其特征在于，所述根据预设的知识图谱标签信息对所述眼底图像集进行关联分析，包括：
根据知识图谱标签信息提取所述眼底图像集中眼底图像的语义标签；
以所述语义标签为节点，并且以所述语义标签之间的实体关系为边构建知识图谱。
3.根据权利要求1所述的基于知识图谱的眼底图像多标签分类模型生成方法，其特征在于，所述对所述初始图数据库进行样本平衡，得到目标图数据库，包括：
利用广度优先搜索算法遍历所述初始图数据库中知识图谱，并根据遍历的结果依次选取目标节点；其中，所述目标节点在所述眼底图像集中对应有子数据集，所述子数据集包括阳性样例和阴性样例；
根据所述目标节点从所述眼底图像集中抽取所述目标节点对应的目标阳性样例与目标阴性样例；
对所述目标阳性样例与所述目标阴性样例进行样本统计，得到平衡数量；
根据所述平衡数量对所述目标阳性样例或所述目标阴性样例中的图像样本进行样本剔除，得到更新的眼底图像集；
将所述知识图谱以及更新的眼底图像集作为目标图数据库。
4.根据权利要求1所述的基于知识图谱的眼底图像多标签分类模型生成方法，其特征在于，所述利用预构建的多标签分类模型中的卷积神经网络对所述目标图数据库中的眼底图像进行特征提取之前，所述方法还包括：
对所述眼底图像进行数据转换，得到转换图像；
对所述转换图像进行归一化处理，得到归一化图像；
对所述归一化图像进行数据增强，得到增强图像。
5.根据权利要求1所述的基于知识图谱的眼底图像多标签分类模型生成方法，其特征在于，所述利用预构建的多标签分类模型中的卷积神经网络对所述目标图数据库中的眼底图像进行特征提取，得到所述眼底图像对应的图像特征向量，包括：
对所述眼底图像进行卷积神经网络计算，得到图像级特征；
对所述图像级特征进行全局最大池化，得到图像特征向量。
6.根据权利要求1所述的基于知识图谱的眼底图像多标签分类模型生成方法，其特征在于，所述对所述目标图数据库中的知识图谱进行词嵌入向量表示，得到嵌入标签向量，包括：
利用知识图谱嵌入的方法对所述知识图谱进行低维向量表征，得到知识图谱低维向量；
利用预设的向量计算方法对所述知识图谱低维向量进行训练，得到嵌入标签向量。
7.根据权利要求1所述的基于知识图谱的眼底图像多标签分类模型生成方法，其特征在于，所述利用所述图卷积网络对所述嵌入标签向量进行传递学习，得到标签分类矩阵，包括：
在所述图卷积网络的多层分类器中利用预设的相关性矩阵以及下述公式对所述嵌入标签进行传递计算，得到目标节点特征；
利用下式对所述嵌入标签进行传递计算：
其中，表示为第/>层分类器的输出节点特征，即第l+1器的输入，/>表示为第l+1层分类器的输出节点特征，/>表示为相关性矩阵，h示为非线性激活函数，/>表示为第l层分类器对应的转移矩阵；
根据预设的输出格式对所述目标节点特征进行分类计算，得到标签分类矩阵。
8.根据权利要求1所述的基于知识图谱的眼底图像多标签分类模型生成方法，其特征在于，所述根据所述图像特征向量以及所述标签分类矩阵进行多标签分类，包括：对所述图像特征向量以及所述标签分类矩阵进行点乘，得到标签矩阵，并将所述标签矩阵作为多标签分类的结果。
9.根据权利要求1所述的基于知识图谱的眼底图像多标签分类模型生成方法，其特征在于，所述根据所述预测分类标签以及所述眼底图像对应的真实标签对所述多标签分类模型进行模型优化，得到眼底图像多标签分类模型，包括：
利用多标签分类损失函数根据所述预测分类标签以及所述真实标签进行损失计算；
根据损失计算的结果对所述多标签分类模型进行参数优化，得到眼底图像多标签分类模型。
10.一种基于知识图谱的眼底图像多标签分类模型生成系统，其特征在于，所述系统包括：
知识图谱分析模块，用于获取眼底图像集，根据预设的知识图谱标签信息对所述眼底图像集进行关联分析，根据关联分析的结果生成初始图数据库；
图数据库构建模块，用于对所述初始图数据库进行样本平衡，得到目标图数据库；
眼底图像特征提取模块，用于利用预构建的多标签分类模型中的卷积神经网络对所述目标图数据库中的眼底图像进行特征提取，得到所述眼底图像对应的图像特征向量；其中，预构建的多标签分类模型包括卷积神经网络以及图卷积网络；
嵌入向量学习模块，用于对所述目标图数据库中的知识图谱进行词嵌入向量表示，得到嵌入标签向量，并利用所述图卷积网络对所述嵌入标签向量进行传递学习，得到标签分类矩阵；
多分类标签生成模块，用于根据所述图像特征向量以及所述标签分类矩阵进行多标签分类，并根据多标签分类的结果确定所述眼底图像对应的预测分类标签；
眼底图像多标签分类模型生成模块，用于根据所述预测分类标签以及所述眼底图像对应的真实标签对所述多标签分类模型进行模型优化，得到眼底图像多标签分类模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311684312.4A CN117392470B (zh) | 2023-12-11 | 2023-12-11 | 基于知识图谱的眼底图像多标签分类模型生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311684312.4A CN117392470B (zh) | 2023-12-11 | 2023-12-11 | 基于知识图谱的眼底图像多标签分类模型生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117392470A CN117392470A (zh) | 2024-01-12 |
| CN117392470B true CN117392470B (zh) | 2024-03-01 |
Family
ID=89472450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311684312.4A Active CN117392470B (zh) | 2023-12-11 | 2023-12-11 | 基于知识图谱的眼底图像多标签分类模型生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117392470B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117558393B (zh) * | 2024-01-12 | 2024-03-19 | 成都市龙泉驿区中医医院 | 基于人工智能的肛肠患者信息整理方法及系统 |
| CN118013376A (zh) * | 2024-04-09 | 2024-05-10 | 安徽思高智能科技有限公司 | 基于知识图谱的rpa多任务多标签分类方法、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816009A (zh) * | 2019-01-18 | 2019-05-28 | 南京旷云科技有限公司 | 基于图卷积的多标签图像分类方法、装置及设备 |
| CN112487207A (zh) * | 2020-12-09 | 2021-03-12 | Oppo广东移动通信有限公司 | 图像的多标签分类方法、装置、计算机设备及存储介质 |
| CN113378965A (zh) * | 2021-06-25 | 2021-09-10 | 齐鲁工业大学 | 一种基于dcgan和gcn的多标签图像识别方法及系统 |
| CN116129286A (zh) * | 2023-02-10 | 2023-05-16 | 北京数慧时空信息技术有限公司 | 基于知识图谱的图神经网络遥感图像分类方法 |
| CN116664944A (zh) * | 2023-06-12 | 2023-08-29 | 浙江大学 | 一种基于属性特征知识图谱的葡萄园害虫识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11853903B2 (en) * | 2017-09-28 | 2023-12-26 | Siemens Aktiengesellschaft | SGCNN: structural graph convolutional neural network |
-
2023
- 2023-12-11 CN CN202311684312.4A patent/CN117392470B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816009A (zh) * | 2019-01-18 | 2019-05-28 | 南京旷云科技有限公司 | 基于图卷积的多标签图像分类方法、装置及设备 |
| CN112487207A (zh) * | 2020-12-09 | 2021-03-12 | Oppo广东移动通信有限公司 | 图像的多标签分类方法、装置、计算机设备及存储介质 |
| WO2022121485A1 (zh) * | 2020-12-09 | 2022-06-16 | Oppo广东移动通信有限公司 | 图像的多标签分类方法、装置、计算机设备及存储介质 |
| CN113378965A (zh) * | 2021-06-25 | 2021-09-10 | 齐鲁工业大学 | 一种基于dcgan和gcn的多标签图像识别方法及系统 |
| CN116129286A (zh) * | 2023-02-10 | 2023-05-16 | 北京数慧时空信息技术有限公司 | 基于知识图谱的图神经网络遥感图像分类方法 |
| CN116664944A (zh) * | 2023-06-12 | 2023-08-29 | 浙江大学 | 一种基于属性特征知识图谱的葡萄园害虫识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Classification of Diabetic Retinopathy Severity in Fundus Images Using the Vision Transformer and Residual Attention;Zongyun Gu 等;Computational Intelligence and Neuroscience;20230103;第2023卷;1-12 * |
| MG-GCN: Multi-Granularity Graph Convolutional Neural Network for Multi-Label Classification in Multi-Label Information System;Bin Yu 等;IEEE Transactions on Emerging Topics in Computational Intelligence;20230811;1-12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117392470A (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117392470B (zh) | 基于知识图谱的眼底图像多标签分类模型生成方法及系统 | |
| JP7058373B2 (ja) | 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体 | |
| CN109376636B (zh) | 基于胶囊网络的眼底视网膜图像分类方法 | |
| CN108806792B (zh) | 深度学习面诊系统 | |
| Mishra et al. | Diabetic retinopathy detection using deep learning | |
| US20190191988A1 (en) | Screening method for automated detection of vision-degenerative diseases from color fundus images | |
| WO2022001123A1 (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| JP2019125340A (ja) | 時空間画像の変化を自動推論するためのシステムおよび方法 | |
| CN110458217A (zh) | 图像识别方法及装置、眼底图像识别方法和电子设备 | |
| CN111524093A (zh) | 一种异常舌象的智能筛查方法及其系统 | |
| CN116311539B (zh) | 基于毫米波的睡眠动作捕捉方法、装置、设备及存储介质 | |
| CN113240655B (zh) | 一种自动检测眼底图像类型的方法、存储介质及装置 | |
| CN112396588A (zh) | 一种基于对抗网络的眼底图像识别方法、系统及可读介质 | |
| CN111110192A (zh) | 一种皮肤异常症状辅助诊断系统 | |
| CN116681923A (zh) | 一种基于人工智能的眼科疾病自动分类方法及系统 | |
| CN113610118A (zh) | 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质 | |
| CN117457192A (zh) | 智能远程诊断方法及系统 | |
| CN117557840B (zh) | 一种基于小样本学习的眼底病变分级方法 | |
| CN117010971B (zh) | 一种基于人像识别的智能健康险提供方法及系统 | |
| CN117274278B (zh) | 基于模拟感受野的视网膜图像病灶部位分割方法及系统 | |
| CN110378353A (zh) | 一种舌象特征提取方法、系统和计算机可读存储介质 | |
| CN114864093B (zh) | 基于眼底图像进行疾病预测的装置、方法及存储介质 | |
| CN115565018A (zh) | 图像分类方法及装置、设备、存储介质 | |
| CN115170492A (zh) | 一种基于ai技术的白内障患者术后视力智能预测评估系统 | |
| CN114882284A (zh) | 一种彩色眼底图像分类系统、方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |