CN114627078A - 视网膜病变识别设备、装置及存储介质 - Google Patents
视网膜病变识别设备、装置及存储介质 Download PDFInfo
- Publication number
- CN114627078A CN114627078A CN202210254666.4A CN202210254666A CN114627078A CN 114627078 A CN114627078 A CN 114627078A CN 202210254666 A CN202210254666 A CN 202210254666A CN 114627078 A CN114627078 A CN 114627078A
- Authority
- CN
- China
- Prior art keywords
- target
- network
- lesion
- identification
- retinopathy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000017442 Retinal disease Diseases 0.000 title claims abstract description 161
- 206010038923 Retinopathy Diseases 0.000 title claims abstract description 159
- 230000003902 lesion Effects 0.000 claims abstract description 209
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000003066 decision tree Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000002207 retinal effect Effects 0.000 claims abstract description 27
- 238000012937 correction Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 69
- 238000012549 training Methods 0.000 claims description 57
- 238000000605 extraction Methods 0.000 claims description 42
- 238000005516 engineering process Methods 0.000 abstract description 18
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 201000010099 disease Diseases 0.000 description 14
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000001525 retina Anatomy 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 206010012689 Diabetic retinopathy Diseases 0.000 description 4
- 208000010412 Glaucoma Diseases 0.000 description 4
- 206010064930 age-related macular degeneration Diseases 0.000 description 4
- 230000036285 pathological change Effects 0.000 description 4
- 231100000915 pathological change Toxicity 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 206010002329 Aneurysm Diseases 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 2
- 206010012688 Diabetic retinal oedema Diseases 0.000 description 2
- 208000001351 Epiretinal Membrane Diseases 0.000 description 2
- 208000008069 Geographic Atrophy Diseases 0.000 description 2
- 206010018341 Gliosis Diseases 0.000 description 2
- 208000031471 Macular fibrosis Diseases 0.000 description 2
- 208000009857 Microaneurysm Diseases 0.000 description 2
- 208000002367 Retinal Perforations Diseases 0.000 description 2
- 201000007527 Retinal artery occlusion Diseases 0.000 description 2
- 206010038848 Retinal detachment Diseases 0.000 description 2
- 206010038862 Retinal exudates Diseases 0.000 description 2
- 206010038895 Retinal scar Diseases 0.000 description 2
- 208000007014 Retinitis pigmentosa Diseases 0.000 description 2
- 208000037875 astrocytosis Diseases 0.000 description 2
- 230000007341 astrogliosis Effects 0.000 description 2
- 230000037444 atrophy Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 208000001309 degenerative myopia Diseases 0.000 description 2
- 230000004340 degenerative myopia Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 201000011190 diabetic macular edema Diseases 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 208000002780 macular degeneration Diseases 0.000 description 2
- 208000029233 macular holes Diseases 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 208000012035 myelinated optic nerve fibers Diseases 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 230000004379 myopia Effects 0.000 description 2
- 230000004264 retinal detachment Effects 0.000 description 2
- 208000004644 retinal vein occlusion Diseases 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 201000010183 Papilledema Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及人工智能与数字医疗技术，其实施例提供了视网膜病变识别设备、装置及存储介质，该视网膜病变识别设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现视网膜病变识别方法，方法包括：获取原始眼底图像；将原始眼底图像输入至目标视网膜病变识别网络，得到由目标视网膜病变识别网络输出的图像级识别结果；将原始眼底图像输入至目标病灶检测网络，得到由目标病灶检测网络输出的像素级病灶识别结果；将图像级识别结果和像素级病灶识别结果输入至目标决策树进行结果修正处理，得到目标决策树输出的视网膜病变识结果。能够有效提高视网膜病变识别的准确率。
Description
技术领域
本发明实施例涉及但不限于人工智能数字医疗技术领域，尤其涉及一种视网膜病变识别设备、装置及存储介质。
背景技术
现有关于视网膜病变识别的方法多集中在单一病种的识别，如青光眼、糖尿病视网膜病变等，然而实际医疗场景中患者可能同时患有多种眼底疾病，因此单一的解决方案在临床应用存在明显的局限性。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例的主要目的在于提出一种视网膜病变识别设备、装置及存储介质，能够有效提高视网膜病变识别的准确率。
第一方面，本发明实施例提供了一种视网膜病变识别设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现视网膜病变识别方法，所述方法包括：
获取原始眼底图像；
将所述原始眼底图像输入至目标视网膜病变识别网络，得到由所述目标视网膜病变识别网络输出的图像级识别结果；
将所述原始眼底图像输入至目标病灶检测网络，得到由所述目标病灶检测网络输出的像素级病灶识别结果；
将所述图像级识别结果和所述像素级病灶识别结果输入至目标决策树进行结果修正处理，得到所述目标决策树输出的视网膜病变识结果，所述目标决策树由所述图像级识别结果和所述像素级病灶识别结果所构建得到。
在一实施例中，所述将所述原始眼底图像输入至目标视网膜病变识别网络，得到由所述目标视网膜病变识别网络输出的图像级识别结果之前，所述处理器执行的所述方法包括：
将所述原始眼底图像输入至黄斑视盘区域提取网络进行第一阶段训练，得到目标黄斑视盘区域提取网络；
将所述原始眼底图像输入至所述目标黄斑视盘区域提取网络，得到黄斑区定位图像和视盘区定位图像；
将所述黄斑区定位图像、所述视盘区定位图像和所述原始眼底图像分别输入至黄斑区病变识别网络分支、视盘区病变识别网络分支以及其他视网膜病变识别网络分支进行第二阶段训练，得到目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支；
根据所述目标黄斑区病变识别网络分支、所述目标视盘区病变识别网络分支以及所述目标其他视网膜病变识别网络分支得到目标视网膜病变识别网络。
在一实施例中，所述处理器执行的所述将所述原始眼底图像输入至目标视网膜病变识别网络，得到由所述目标视网膜病变识别网络输出的图像级识别结果的方法包括：
将所述原始眼底图像输入至所述目标黄斑视盘区域提取网络，得到黄斑区定位图像和视盘区定位图像；
将所述黄斑区定位图像、所述视盘区定位图像和所述原始眼底图像分别输入至所述目标黄斑区病变识别网络分支、所述目标视盘区病变识别网络分支以及所述目标其他视网膜病变识别网络分支，得到图像级识别结果，所述图像级识别结果包括黄斑区病变识别结果、视盘区病变识别结果和整体视网膜病变识别结果。
在一实施例中，所述将所述原始眼底图像输入至黄斑视盘区域提取网络进行第一阶段训练，得到目标黄斑视盘区域提取网络，所述处理器执行的所述方法包括：
将所述原始眼底图像输入至所述黄斑视盘区域提取网络进行区域定位处理，得到黄斑区定位图像和视盘区定位图像；
将所述黄斑区定位图像和所述视盘区定位图像分别通过第一损失函数进行计算，得到第一损失函数值；
根据所述第一损失函数值对所述黄斑视盘区域提取网络进行迭代训练，得到目标黄斑视盘区域提取网络。
在一实施例中，所述将所述黄斑区定位图像、所述视盘区定位图像和所述原始眼底图像分别输入至黄斑区病变识别网络分支、视盘区病变识别网络分支以及其他视网膜病变识别网络分支进行第二阶段训练，得到目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支，所述处理器执行的所述方法包括：
将所述黄斑区定位图像输入至所述黄斑区病变识别网络分支进行识别分类处理，得到黄斑区病变识别结果；
将所述黄斑区病变识别结果通过第二损失函数进行计算，得到第二损失函数值；
根据第二损失函数值对所述黄斑区病变识别网络分支进行迭代训练，得到目标黄斑区病变识别网络分支；
将所述视盘区定位图像输入至所述视盘区病变识别网络分支进行识别分类处理，得到视盘区病变识别结果；
将所述视盘区病变识别结果通过第二损失函数进行计算，得到第三损失函数值；
根据第三损失函数值对所述视盘区病变识别网络分支进行迭代训练，得到目标视盘区病变识别网络分支；
将所述原始眼底图像输入至所述其他视网膜病变识别网络分支进行识别分类处理，得到其他视盘区病变识别结果；
将所述其他视网膜病变识别结果通过第二损失函数进行计算，得到第四损失函数值；
根据第四损失函数值对所述其他视网膜病变识别网络分支进行迭代训练，得到目标其他视网膜病变识别网络分支。
在一实施例中，在将所述原始眼底图像输入至目标病灶检测网络，得到由所述目标病灶检测网络输出的像素级病灶识别结果之前，所述处理器执行的所述方法包括：
将所述原始眼底图像输入至病灶检测网络进行第三阶段训练，得到目标病灶检测网络。
在一实施例中，所述将所述原始眼底图像输入至病灶检测网络进行第三阶段训练，得到目标病灶检测网络，所述处理器执行的所述方法包括：
将所述原始眼底图像输入至所述病灶检测网络进行识别处理，得到病灶类别；
将所述病灶类别与病灶标注进行比较，得到第五损失函数值；
根据所述第五损失函数值对所述病灶检测网络进行迭代训练，得到所述病灶检测网络。
在一实施例中，所述将所述图像级识别结果和所述像素级病灶识别结果输入至目标决策树进行结果修正处理，得到所述目标决策树输出的视网膜病变识结果之前，所述处理器执行的所述方法包括：
将所述图像级识别结果和所述像素级病灶识别结果进行合并处理，得到识别特征集合；
根据识别特征集合构建得到目标决策树。
第二方面，本发明实施例提供了一种视网膜病变识别装置，其特征在于，包括：
获取模块，用于获取原始眼底图像；
第一识别模块，用于将所述原始眼底图像输入至目标视网膜病变识别网络，得到由所述目标视网膜病变识别网络输出的图像级识别结果；
第二识别模块，用于将所述原始眼底图像输入至目标病灶检测网络，得到由所述目标病灶检测网络输出的像素级病灶识别结果；
决策模块，用于将所述图像级识别结果和所述像素级病灶识别结果输入至目标决策树进行结果修正处理，得到所述目标决策树输出的视网膜病变识结果，所述目标决策树由所述图像级识别结果和所述像素级病灶识别结果所构建得到。
第三方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行的方法包括：
获取原始眼底图像；
将所述原始眼底图像输入至目标视网膜病变识别网络，得到由所述目标视网膜病变识别网络输出的图像级识别结果；
将所述原始眼底图像输入至目标病灶检测网络，得到由所述目标病灶检测网络输出的像素级病灶识别结果；
将所述图像级识别结果和所述像素级病灶识别结果输入至目标决策树进行结果修正处理，得到所述目标决策树输出的视网膜病变识结果，所述目标决策树由所述图像级识别结果和所述像素级病灶识别结果所构建得到
本发明实施例公开了一种视网膜病变识别设备，识别设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现视网膜病变识别方法，方法包括：获取原始眼底图像；将原始眼底图像输入至目标视网膜病变识别网络，得到由目标视网膜病变识别网络输出的图像级识别结果；将原始眼底图像输入至目标病灶检测网络，得到由目标病灶检测网络输出的像素级病灶识别结果；将图像级识别结果和像素级病灶识别结果输入至目标决策树进行结果修正处理，得到目标决策树输出的视网膜病变识结果，目标决策树由图像级识别结果和像素级病灶识别结果所构建得到。本实施例的技术方案一方面根据发病区域的不同将常见视网膜病变进行分组识别，另一方面对具体病灶进行检测识别，并通过构建特征规则对识别结果进行修正，能够有效提高视网膜病变识别的准确率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本发明一个实施例提供的视网膜病变识别设备的示意图；
图2是本发明一个实施例提供的视网膜病变识别设备执行的方法的流程图；
图3是本发明一个实施例提供的视网膜病变识别方法中训练视网膜病变识别网络的流程图；
图4是本发明一个实施例提供的视网膜病变识别网络框图的示意图；
图5是本发明一个实施例提供的视网膜病变识别方法中训练病灶检测网络的流程图；
图6是本发明一个实施例提供的病灶检测网络框图的示意图；
图7是本发明一个实施例提供的视网膜病变识别装置的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
数字医疗是把现代计算机技术、信息技术应用于整个医疗过程的一种新型的现代化医疗方式，是公共医疗的发展方向和管理目标。随着数字医疗设备的出现，大大丰富医学信息的内涵和容量。从原来的一维信息的可视化，如心电(ECG) 和脑电(EEG)等重要的电生理信息；到二维信息，如CT、MRI、彩超、数字X 线机(DR)等医学影像信息；进而三维可视化，甚至可以获得四维信息，如实时动态显示的三维心脏。这些信息极大地丰富了医生的诊断技术，使医学进入了一个全新的可视化的信息时代。而数字医疗不仅仅是数字化医疗设备的简单集合，是把当代计算机技术、信息技术应用于整个医疗过程的一种新型的现代化医疗方式。在数字化医疗中，病人能以最少的流程完成就诊、医生诊断准确率大幅度提高、病人病历信息档案记录着所有当前和历史病人的健康信息，可以大大方便医生诊断和病人自查、真正能实现远程会诊所需要的病人综合数据调用，实现快速有效服务。
视觉是人类信息量最大的感知和获取信息的渠径和手段，人类80％以上的信息都是通过视觉获取的，因此人类视觉系统的健康状况尤为重要。依托大数据和人工智能技术的发展，研发一种智能便捷的视网膜健康筛查系统，能够缓解医生的压力，弥补基层地区医生资源不足的缺陷，实现眼病早发现早治疗，降低致盲率。现有关于视网膜病变识别的方法多集中在单一病种的识别，如青光眼、糖尿病视网膜病变等，然而实际医疗场景中患者可能同时患有多种眼底疾病，因此单一的解决方案在临床应用存在明显的局限性。
为解决以上存在的问题，本发明实施例提供了一种视网膜病变识别设备、装置及存储介质，其中该视网膜病变识别设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现视网膜病变识别方法，方法包括：获取原始眼底图像；将原始眼底图像输入至目标视网膜病变识别网络，得到由目标视网膜病变识别网络输出的图像级识别结果；将原始眼底图像输入至目标病灶检测网络，得到由目标病灶检测网络输出的像素级病灶识别结果；将图像级识别结果和像素级病灶识别结果输入至目标决策树进行结果修正处理，得到目标决策树输出的视网膜病变识结果，目标决策树由图像级识别结果和像素级病灶识别结果所构建得到。本实施例的技术方案一方面根据发病区域的不同将常见视网膜病变进行分组识别，另一方面对具体病灶进行检测识别，并通过构建特征规则对识别结果进行修正，能够有效提高视网膜病变识别的准确率。
下面结合附图，对本发明实施例作进一步阐述。
如图1所示，图1是本发明一个实施例提供的用于执行视网膜病变识别方法的视网膜病变识别设备100的示意图。
在图1的示例中，该视网膜病变识别设备100设置有处理器110和存储器 120，其中，处理器110和存储器120可以通过总线或者其他方式连接，图1中以通过总线连接为例。
存储器120作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器120可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器120可选包括相对于处理器 110远程设置的存储器，这些远程存储器可以通过网络连接至该系统架构平台。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解的是，该系统架构平台可以应用于现有的通信网络系统以及后续演进的移动通信网络系统等，本实施例对此并不作具体限定。
本领域技术人员可以理解的是，图1中示出的系统架构平台并不构成对本发明实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
视网膜病变识别设备100可以是独立的设备，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云视网膜病变识别设备100。
视网膜病变识别设备100还可以包括：射频(Radio Frequency，简称RF)电路、存储器、输入单元、显示单元、传感器、音频电路、无线保真(wireless fidelity，简称WiFi)模块、处理器、以及电源等部件。本领域技术人员可以理解，本实施例不对计算机的结构进行唯一限定，可以包括比本实施例更多或更少的部件，或者组合某些部件，或者不同的部件布置。
RF电路可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，简称LNA)、双工器等。此外，RF电路还可以通过无线通信与网络和其他装置通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System ofMobile communication，简称GSM)、通用分组无线服务(General Packet Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、长期演进(Long TermEvolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行计算机的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元可用于接收输入的数字或字符信息，以及产生与视网膜病变识别设备100的设置以及功能控制有关的键信号输入。具体地，输入单元可包括触控面板以及其他输入装置。触控面板，也称为触摸屏，可收集在其上或附近的触摸操作(比如使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器，并能接收处理器发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类别实现触控面板。除了触控面板，输入单元还可以包括其他输入装置。具体地，其他输入装置可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元可用于显示输入的信息或提供的信息以及计算机的各种菜单。显示单元可包括显示面板，可选的，可以采用液晶显示器(Liquid Crystal Display，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板。进一步的，触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器以确定触摸事件的类别，随后处理器根据触摸事件的类别在显示面板上提供相应的视觉输出。虽然触控面板与显示面板是作为两个独立的部件来实现计算机的输入和输入功能，但是在某些实施例中，可以将触控面板与显示面板集成而实现计算机的输入和输出功能。
视网膜病变识别设备100还可包括至少一种传感器，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在计算机移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于分割计算机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动分割相关功能(比如计步器、敲击)等；至于计算机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路、扬声器、传声器可提供音频接口。音频电路可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路接收后转换为音频数据，再将音频数据输出处理器处理后，经RF电路以发送给比如另一计算机，或者将音频数据输出至存储器以便进一步处理。
WiFi属于短距离无线传输技术，计算机通过WiFi模块可以收发电子邮件、浏览网页和访问流式媒体等，它提供了无线的宽带互联网访问。WiFi模块并不属于计算机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器是计算机的控制中心，利用各种接口和线路连接整个计算机的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行计算机的各种功能和处理数据，从而对计算机进行整体监控。可选的，处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、操作界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
视网膜病变识别设备100还包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理系统与处理器逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，计算机还可以包括摄像头、蓝牙模块等，在此不再赘述。
基于上述视网膜病变识别设备，下面提出本发明的视网膜病变识别方法的各个实施例。
如图2所示，图2是本发明一个实施例提供的视网膜病变识别方法的流程图，该视网膜病变识别方法应用于上述视网膜病变识别设备，并且该视网膜病变识别方法包括但不限于有步骤S100、步骤S200、步骤S300和步骤S400。
步骤S100，获取原始眼底图像。
具体地，实际处理过程中，原始眼底图像为通常为具有视网膜病变问题的眼底图像，为未经处理的，对眼底进行拍摄的图像，原始眼底图像可以是历史数据库中的眼底图像，也可以是在公开网络中公开的眼底图像，也可以是实时拍摄的眼底图像，本实施例对其不作具体限定，可以根据实际使用需要对原始眼底图像的数量、种类进行增加或者减少。
步骤S200，将原始眼底图像输入至目标视网膜病变识别网络，得到由目标视网膜病变识别网络输出的图像级识别结果。
在一实施例中，对视网膜病变的识别分析，通常需要对眼底的黄斑区和视盘区情况进行分析，因此，目标视网膜病变识别网络可以包括目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支，将原始眼底图像输入至目标黄斑视盘区域提取网络，得到黄斑区定位图像和视盘区定位图像；将黄斑区定位图像、视盘区定位图像分别输入至目标黄斑区病变识别网络分支以及目标视盘区病变识别网络分支得到图像级识别结果，图像级识别结果包括黄斑区病变识别结果和视盘区病变识别结果。
在一实施例中，目标视网膜病变识别网络可以包括目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支和目标其他视网膜病变识别网络分支时，可以将原始眼底图像输入至目标黄斑视盘区域提取网络，得到黄斑区定位图像和视盘区定位图像；将黄斑区定位图像、视盘区定位图像和原始眼底图像分别输入至目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支，得到图像级识别结果，图像级识别结果包括黄斑区病变识别结果、视盘区病变识别结果和整体视网膜病变识别结果。
需要说明的是，黄斑区病变识别结果可以包括如下至少之一：年龄相关性黄斑变性、黄斑前膜、黄斑裂孔、中浆、糖尿病性黄斑水肿，本实施例对黄斑区病变识别结果不作具体限定。
需要说明的是，视盘区病变识别结果可以包括如下至少之一：青光眼、视盘水肿、有髓视神经纤维，本实施例对视盘区病变识别结果不作具体限定。
需要说明的是，整体视网膜病变识别结果可以包括如下至少之一：糖尿病性视网膜病变、视网膜静脉阻塞、视网膜动脉阻塞、病理性近视、视网膜色素变性、视网膜脱离、星状玻璃体变性，本实施例对整体视网膜病变识别结果不作具体限定。
步骤S300，将原始眼底图像输入至目标病灶检测网络，得到由目标病灶检测网络输出的像素级病灶识别结果。
具体地，除了图像级识别结果，即图像级病种识别外，本专利提案还对像素级别的眼底的病灶进行检测，即将原始眼底图像输入至目标病灶检测网络，得到由目标病灶检测网络输出的像素级病灶识别结果，像素级病灶识别结果包括至少如下之一：出血、硬性渗出、玻璃膜疣、微动脉瘤、棉絮斑、斑块状萎缩、地图样萎缩、视网膜瘢痕、近视弧，本实施例对像素级病灶识别结果不作具体限定。
步骤S400，将图像级识别结果和像素级病灶识别结果输入至目标决策树进行结果修正处理，得到目标决策树输出的视网膜病变识结果，目标决策树由图像级识别结果和像素级病灶识别结果所构建得到。
具体地，将图像级识别结果和像素级病灶识别结果输入至由图像级识别结果和像素级病灶识别结果所构建的目标决策树进行结果修正处理，得到目标决策树输出的视网膜病变识结果,本实施的技术方案一方面根据发病区域的不同将常见视网膜病变进行分组识别，另一方面对具体病灶进行检测识别，并通过构建特征规则对识别结果进行修正，能够有效提高视网膜病变识别的准确率。
需要说明的是，目标决策树的构建方法包括：首先将图像级识别结果和像素级病灶识别结果进行合并处理得到识别特征集合，然后根据识别特征集合构建得到目标决策树。
在一实施例中，首先对病者的眼睛进行拍照得到原始眼底图像，并将患者的原始眼底图像存储或者发送至视网膜病变识别设备，视网膜病变识别设备获取原始眼底图像，然后将原始眼底图像输入至目标视网膜病变识别网络得到由目标视网膜病变识别网络输出的图像级识别结果，同时将原始眼底图像输入至目标病灶检测网络得到由目标病灶检测网络输出的像素级病灶识别结果，接着将图像级识别结果和像素级病灶识别结果输入至目标决策树进行结果修正处理得到目标决策树输出的视网膜病变识结果，目标决策树由图像级识别结果和像素级病灶识别结果所构建得到。本实施例的技术方案一方面根据发病区域的不同将常见视网膜病变进行分组识别，另一方面对具体病灶进行检测识别，并通过构建特征规则对识别结果进行修正，能够有效提高视网膜病变识别的准确率。
本技术方案实现对眼底图像的视网膜区域的定位，包括黄斑区和视盘区，然后通过三个子网络分别对黄斑区疾病、视盘区疾病、其他视网膜疾病分别进行识别，之后通过基于Mask-RCNN网络对眼底图像进行病灶检测，并且结合病灶检测结果通过构建决策树的方式对病种识别结果进行修正。本技术方案从实际需求出发实现一种能够同时识别多类视网膜疾病的通用方案，大大提升了人工智能识别视网膜疾病的可应用性。另一方面结合具体的病灶信息对疾病识别结果进行修正，更贴近临床诊疗逻辑，增加算法的可解释性，提升识别的准确率。
参照图3，在一实施例中，步骤S300包括但不限于步骤S310、步骤S320、步骤S330和步骤S340。
步骤S310，将原始眼底图像输入至黄斑视盘区域提取网络进行第一阶段训练，得到目标黄斑视盘区域提取网络；
步骤S320，将原始眼底图像输入至目标黄斑视盘区域提取网络，得到黄斑区定位图像和视盘区定位图像；
步骤S330，将黄斑区定位图像、视盘区定位图像和原始眼底图像分别输入至黄斑区病变识别网络分支、视盘区病变识别网络分支以及其他视网膜病变识别网络分支进行第二阶段训练，得到目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支；
步骤S340，根据目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支得到目标视网膜病变识别网络。
在一实施例中，参照图4，图4为视网膜病变识别网络框架图，包括黄斑视盘区域提取网络、黄斑区病变识别网络分支、视盘区病变识别网络分支以及其他视网膜病变识别网络分支，其中黄斑视盘区域提取网络用于对原始眼底图像进行区域提取，输出黄斑区定位图像和视盘区定位图像,并将输出的黄斑区定位图像和视盘区定位图像分别输入至黄斑区病变识别网络分支和视盘区病变识别网络分支，黄斑区病变识别网络分支用于对黄斑区定位图像进行识别并输出黄斑区病变识别结果，视盘区病变识别网络分支用于对视盘区定位图像进行识别并输出视盘区病变识别结果，其他视网膜病变识别网络分支与其他两个分支有区分第三网络支路，其输入的是整个视网膜的原始眼底图像，用于对整个视网膜进行识别并输出整体视网膜病变识别结果。在本实施例的技术方案中，目标视网膜病变识别网络是通过对视网膜病变识别网络进行两个阶段的训练所得到的，首先将原始眼底图像输入至黄斑视盘区域提取网络进行第一阶段训练，得到目标黄斑视盘区域提取网络，然后将原始眼底图像输入至目标黄斑视盘区域提取网络，得到黄斑区定位图像和视盘区定位图像，接着将黄斑区定位图像、视盘区定位图像和原始眼底图像分别输入至黄斑区病变识别网络分支、视盘区病变识别网络分支以及其他视网膜病变识别网络分支进行第二阶段训练，得到目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支，最后根据目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支得到目标视网膜病变识别网络。
需要说明的是，将原始眼底图像输入至黄斑视盘区域提取网络进行第一阶段训练，得到目标黄斑视盘区域提取网络，处理器执行的方法包括：将原始眼底图像输入至黄斑视盘区域提取网络进行区域定位处理，得到黄斑区定位图像和视盘区定位图像；将黄斑区定位图像和视盘区定位图像分别通过第一损失函数进行计算，得到第一损失函数值；根据第一损失函数值对黄斑视盘区域提取网络进行迭代训练，得到目标黄斑视盘区域提取网络。
需要说明的是，将黄斑区定位图像、视盘区定位图像和原始眼底图像分别输入至黄斑区病变识别网络分支、视盘区病变识别网络分支以及其他视网膜病变识别网络分支进行第二阶段训练，得到目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支，处理器执行的方法包括：将黄斑区定位图像输入至黄斑区病变识别网络分支进行识别分类处理，得到黄斑区病变识别结果；将黄斑区病变识别结果通过第二损失函数进行计算，得到第二损失函数值；根据第二损失函数值对黄斑区病变识别网络分支进行迭代训练，得到目标黄斑区病变识别网络分支；将视盘区定位图像输入至视盘区病变识别网络分支进行识别分类处理，得到视盘区病变识别结果；将视盘区病变识别结果通过第二损失函数进行计算，得到第三损失函数值；根据第三损失函数值对视盘区病变识别网络分支进行迭代训练，得到目标视盘区病变识别网络分支；将原始眼底图像输入至其他视网膜病变识别网络分支进行识别分类处理，得到其他视盘区病变识别结果；将其他视网膜病变识别结果通过第二损失函数进行计算，得到第四损失函数值；根据第四损失函数值对其他视网膜病变识别网络分支进行迭代训练，得到目标其他视网膜病变识别网络分支。
在一实施例中，首先实现基于Mask-RCNN的黄斑视盘区域提取网络，能够实现对原始眼底图像的黄斑区、视盘区定位。根据Mask-RCNN输出的视盘mask 计算视盘直径，并基于Mask-RCNN输出的黄斑中心坐标和视盘中心坐标裁剪3 个视盘直径大小的区域作为分类子网络的输入，分别输出黄斑区定位图像和视盘区定位图像。
根据发病机制和发病区域将训练数据进行分组，包括黄斑区病变5种(年龄相关性黄斑变性、黄斑前膜、黄斑裂孔、中浆、糖尿病性黄斑水肿)、视盘区病变3种(青光眼、视盘水肿、有髓视神经纤维)以及其他视网膜区域病变7种(糖尿病性视网膜病变、视网膜静脉阻塞、视网膜动脉阻塞、病理性近视、视网膜色素变性、视网膜脱离、星状玻璃体变性)。然后将3组数据分别用于训练三个分类子网络(黄斑区病变识别网络分支、视盘区病变识别网络分支以及其他视网膜病变识别网络分支)，其网络结构为稠密注意力机制的分类网络，在常规卷积网络基础上加入了SENet的注意力机制。
本实施例的技术方案采用两段式训练策略。如图4所示，首先训练 Mask-RCNN模型实现视盘区和黄斑区的定位。其输入为原始的眼底彩照图像，输出为黄斑区和视盘区的定位框[x,y,w,h,c]，其中x、y表示定位框的左上角坐标， w、h表示定位框的宽和高，c表示类别(0代表背景；1代表视盘；2代表黄斑)，该视网膜病变识别网络的第一损失损失函数为：
Ldetection＝Lbox+Lcls
第二阶段训练三个分类子网络(黄斑区病变识别网络分支、视盘区病变识别网络分支以及其他视网膜病变识别网络分支)。如图4所示，黄斑区病变识别网络分支的输入为黄斑区图像，输出为5种黄斑区病变的二值分类结果[0,0,0,0,1]， 0表示没有该类病变，1表示有该类病变。同理，视盘区病变识别网络分支的输入为视盘区图像，输出为3种视盘区病变的二值分类结果[0,0,0]。其他视网膜病变识别网络分支的输入为整个视网膜图像，输出为7种视网膜病变的二值分类结果[1,0,0,0,0,0,0]。采用二值交叉熵作为第二损失函数分别对3个分类子网络进行训练得到目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支。
应用过程中，综合3个网络的识别结果作为15类病变的识别结果，图像级识别结果的可以包括15类病变的识别结果中的一个或者多个。
参照图5，在一实施例中，将原始眼底图像输入至病灶检测网络进行第三阶段训练得到目标病灶检测网络的步骤包括但不限于步骤S510、步骤S520和步骤 S530。
步骤S510，将原始眼底图像输入至进行识别处理，得到病灶类别；
步骤S520，将病灶类别与病灶标注进行比较，得到第五损失函数值；
步骤S530，根据第五损失函数值对病灶检测网络进行迭代训练，得到病灶检测网络。
在一实施例中，参照图6，为基于Mask-RCNN的病灶检测网络，用于对原始眼底图像进行像素级别的病灶进行检测，像素级病灶识别结果包括出血、硬性渗出、玻璃膜疣、微动脉瘤、棉絮斑、斑块状萎缩、地图样萎缩、视网膜瘢痕、近视弧等10余种常见病灶。像素级病灶识别结果与视网膜病变(图像级识别结果) 之间具有因果关联性。因此本实施例的技术方案中需要对病灶检测网络进行训练，得到目标病灶检测网络，病灶检测网络结构主体选用Mask-RCNN网络，输出为识别出的病灶类别、病灶框位置、病灶的分割mask，而本实施例的技术方案中主要用到的是病灶类别进行训练，即将原始眼底图像输入至进行识别处理得到病灶类别，然后将病灶类别与病灶标注进行比较得到第五损失函数值，再根据第五损失函数值对病灶检测网络进行迭代训练，得到病灶检测网络。
基于上述视网膜病变识别设备，下面分别提出本发明的视网膜病变识别装置、计算机和计算机可读存储介质的各个实施例。
参照图7，本发明的一个实施例还提供了视网膜病变识别装置，包括：
获取模块710，用于获取原始眼底图像；
第一识别模块720，用于将原始眼底图像输入至目标视网膜病变识别网络，得到由目标视网膜病变识别网络输出的图像级识别结果；
第二识别模块730，用于将原始眼底图像输入至目标病灶检测网络，得到由目标病灶检测网络输出的像素级病灶识别结果；
决策模块740，用于将图像级识别结果和像素级病灶识别结果输入至目标决策树进行结果修正处理，得到目标决策树输出的视网膜病变识结果，目标决策树由图像级识别结果和像素级病灶识别结果所构建得到。
在一实施例中，还包括第一训练模块，第一训练模块用于将原始眼底图像输入至黄斑视盘区域提取网络进行第一阶段训练，得到目标黄斑视盘区域提取网络；将原始眼底图像输入至目标黄斑视盘区域提取网络，得到黄斑区定位图像和视盘区定位图像；将黄斑区定位图像、视盘区定位图像和原始眼底图像分别输入至黄斑区病变识别网络分支、视盘区病变识别网络分支以及其他视网膜病变识别网络分支进行第二阶段训练，得到目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支；根据目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支得到目标视网膜病变识别网络。
在一实施例中，第一识别模块720还用于将原始眼底图像输入至目标黄斑视盘区域提取网络，得到黄斑区定位图像和视盘区定位图像；将黄斑区定位图像、视盘区定位图像和原始眼底图像分别输入至目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支，得到图像级识别结果，图像级识别结果包括黄斑区病变识别结果、视盘区病变识别结果和整体视网膜病变识别结果。
在一实施例中，还包括第二训练模块，第二训练模块用于将原始眼底图像输入至黄斑视盘区域提取网络进行区域定位处理，得到黄斑区定位图像和视盘区定位图像；将黄斑区定位图像和视盘区定位图像分别通过第一损失函数进行计算，得到第一损失函数值；根据第一损失函数值对黄斑视盘区域提取网络进行迭代训练，得到目标黄斑视盘区域提取网络。
在一实施例中，第二训练模块还用于将黄斑区定位图像输入至黄斑区病变识别网络分支进行识别分类处理，得到黄斑区病变识别结果；将黄斑区病变识别结果通过第二损失函数进行计算，得到第二损失函数值；根据第二损失函数值对黄斑区病变识别网络分支进行迭代训练，得到目标黄斑区病变识别网络分支；将视盘区定位图像输入至视盘区病变识别网络分支进行识别分类处理，得到视盘区病变识别结果；将视盘区病变识别结果通过第二损失函数进行计算，得到第三损失函数值；根据第三损失函数值对视盘区病变识别网络分支进行迭代训练，得到目标视盘区病变识别网络分支；将原始眼底图像输入至其他视网膜病变识别网络分支进行识别分类处理，得到其他视盘区病变识别结果；将其他视网膜病变识别结果通过第二损失函数进行计算，得到第四损失函数值；根据第四损失函数值对其他视网膜病变识别网络分支进行迭代训练，得到目标其他视网膜病变识别网络分支。
在一实施例中，还包括第三训练模块，第二训练模块将原始眼底图像输入至病灶检测网络进行第三阶段训练，得到目标病灶检测网络。
在一实施例中，第三训练模块还用于将原始眼底图像输入至进行识别处理，得到病灶类别；将病灶类别与病灶标注进行比较，得到第五损失函数值；根据第五损失函数值对病灶检测网络进行迭代训练，得到病灶检测网络。
在一实施例中，还包括构建模块，构建模块用于将图像级识别结果和像素级病灶识别结果进行合并处理，得到识别特征集合；根据识别特征集合构建得到目标决策树。
需要说明的是，上述视网膜病变识别装置的各个实施例与视网膜病变识别设备的实施例中所使用的技术手段、解决的技术问题以及达到的技术效果一致，此处不作具体赘述，详见视网膜病变识别设备的实施例。
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，当计算机可执行指令用于执行上述视网膜病变识别方法，例如，执行以上描述的图2中的方法步骤S100至S400、图3中的方法步骤S310至S340和图5中的方法步骤S510至S530。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。
Claims (10)
1.一种视网膜病变识别设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现视网膜病变识别方法，所述方法包括：
获取原始眼底图像；
将所述原始眼底图像输入至目标视网膜病变识别网络，得到由所述目标视网膜病变识别网络输出的图像级识别结果；
将所述原始眼底图像输入至目标病灶检测网络，得到由所述目标病灶检测网络输出的像素级病灶识别结果；
将所述图像级识别结果和所述像素级病灶识别结果输入至目标决策树进行结果修正处理，得到所述目标决策树输出的视网膜病变识结果，所述目标决策树由所述图像级识别结果和所述像素级病灶识别结果所构建得到。
2.根据权利要求1所述的视网膜病变识别设备，其特征在于，所述将所述原始眼底图像输入至目标视网膜病变识别网络，得到由所述目标视网膜病变识别网络输出的图像级识别结果之前，所述处理器执行的所述方法包括：
将所述原始眼底图像输入至黄斑视盘区域提取网络进行第一阶段训练，得到目标黄斑视盘区域提取网络；
将所述原始眼底图像输入至所述目标黄斑视盘区域提取网络，得到黄斑区定位图像和视盘区定位图像；
将所述黄斑区定位图像、所述视盘区定位图像和所述原始眼底图像分别输入至黄斑区病变识别网络分支、视盘区病变识别网络分支以及其他视网膜病变识别网络分支进行第二阶段训练，得到目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支；
根据所述目标黄斑区病变识别网络分支、所述目标视盘区病变识别网络分支以及所述目标其他视网膜病变识别网络分支得到目标视网膜病变识别网络。
3.根据权利要求2所述的视网膜病变识别设备，其特征在于，所述处理器执行的所述将所述原始眼底图像输入至目标视网膜病变识别网络，得到由所述目标视网膜病变识别网络输出的图像级识别结果的方法包括：
将所述原始眼底图像输入至所述目标黄斑视盘区域提取网络，得到黄斑区定位图像和视盘区定位图像；
将所述黄斑区定位图像、所述视盘区定位图像和所述原始眼底图像分别输入至所述目标黄斑区病变识别网络分支、所述目标视盘区病变识别网络分支以及所述目标其他视网膜病变识别网络分支，得到图像级识别结果，所述图像级识别结果包括黄斑区病变识别结果、视盘区病变识别结果和整体视网膜病变识别结果。
4.根据权利要求2所述的视网膜病变识别设备，其特征在于，所述处理器执行的所述将所述原始眼底图像输入至黄斑视盘区域提取网络进行第一阶段训练，得到目标黄斑视盘区域提取网络的方法包括：
将所述原始眼底图像输入至所述黄斑视盘区域提取网络进行区域定位处理，得到黄斑区定位图像和视盘区定位图像；
将所述黄斑区定位图像和所述视盘区定位图像分别通过第一损失函数进行计算，得到第一损失函数值；
根据所述第一损失函数值对所述黄斑视盘区域提取网络进行迭代训练，得到目标黄斑视盘区域提取网络。
5.根据权利要求2所述的视网膜病变识别设备，其特征在于，所述处理器执行的所述将所述黄斑区定位图像、所述视盘区定位图像和所述原始眼底图像分别输入至黄斑区病变识别网络分支、视盘区病变识别网络分支以及其他视网膜病变识别网络分支进行第二阶段训练，得到目标黄斑区病变识别网络分支、目标视盘区病变识别网络分支以及目标其他视网膜病变识别网络分支的方法包括：
将所述黄斑区定位图像输入至所述黄斑区病变识别网络分支进行识别分类处理，得到黄斑区病变识别结果；
将所述黄斑区病变识别结果通过第二损失函数进行计算，得到第二损失函数值；
根据第二损失函数值对所述黄斑区病变识别网络分支进行迭代训练，得到目标黄斑区病变识别网络分支；
将所述视盘区定位图像输入至所述视盘区病变识别网络分支进行识别分类处理，得到视盘区病变识别结果；
将所述视盘区病变识别结果通过第二损失函数进行计算，得到第三损失函数值；
根据第三损失函数值对所述视盘区病变识别网络分支进行迭代训练，得到目标视盘区病变识别网络分支；
将所述原始眼底图像输入至所述其他视网膜病变识别网络分支进行识别分类处理，得到其他视盘区病变识别结果；
将所述其他视网膜病变识别结果通过第二损失函数进行计算，得到第四损失函数值；
根据第四损失函数值对所述其他视网膜病变识别网络分支进行迭代训练，得到目标其他视网膜病变识别网络分支。
6.根据权利要求1所述的视网膜病变识别设备，其特征在于，在将所述原始眼底图像输入至目标病灶检测网络，得到由所述目标病灶检测网络输出的像素级病灶识别结果之前，所述处理器执行的所述方法包括：
将所述原始眼底图像输入至病灶检测网络进行第三阶段训练，得到目标病灶检测网络。
7.根据权利要求6所述的视网膜病变识别设备，其特征在于，所述将所述原始眼底图像输入至病灶检测网络进行第三阶段训练，得到目标病灶检测网络，所述处理器执行的所述方法包括：
将所述原始眼底图像输入至所述病灶检测网络进行识别处理，得到病灶类别；
将所述病灶类别与病灶标注进行比较，得到第五损失函数值；
根据所述第五损失函数值对所述病灶检测网络进行迭代训练，得到所述病灶检测网络。
8.根据权利要求1所述的视网膜病变识别设备，其特征在于，所述将所述图像级识别结果和所述像素级病灶识别结果输入至目标决策树进行结果修正处理，得到所述目标决策树输出的视网膜病变识结果之前，所述处理器执行的所述方法包括：
将所述图像级识别结果和所述像素级病灶识别结果进行合并处理，得到识别特征集合；
根据识别特征集合构建得到目标决策树。
9.一种视网膜病变识别装置，其特征在于，包括：
获取模块，用于获取原始眼底图像；
第一识别模块，用于将所述原始眼底图像输入至目标视网膜病变识别网络，得到由所述目标视网膜病变识别网络输出的图像级识别结果；
第二识别模块，用于将所述原始眼底图像输入至目标病灶检测网络，得到由所述目标病灶检测网络输出的像素级病灶识别结果；
决策模块，用于将所述图像级识别结果和所述像素级病灶识别结果输入至目标决策树进行结果修正处理，得到所述目标决策树输出的视网膜病变识结果，所述目标决策树由所述图像级识别结果和所述像素级病灶识别结果所构建得到。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行的方法包括：
获取原始眼底图像；
将所述原始眼底图像输入至目标视网膜病变识别网络，得到由所述目标视网膜病变识别网络输出的图像级识别结果；
将所述原始眼底图像输入至目标病灶检测网络，得到由所述目标病灶检测网络输出的像素级病灶识别结果；
将所述图像级识别结果和所述像素级病灶识别结果输入至目标决策树进行结果修正处理，得到所述目标决策树输出的视网膜病变识结果，所述目标决策树由所述图像级识别结果和所述像素级病灶识别结果所构建得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210254666.4A CN114627078B (zh) | 2022-03-15 | 2022-03-15 | 视网膜病变识别设备、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210254666.4A CN114627078B (zh) | 2022-03-15 | 2022-03-15 | 视网膜病变识别设备、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114627078A true CN114627078A (zh) | 2022-06-14 |
| CN114627078B CN114627078B (zh) | 2024-09-27 |
Family
ID=81901646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210254666.4A Active CN114627078B (zh) | 2022-03-15 | 2022-03-15 | 视网膜病变识别设备、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114627078B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823828A (zh) * | 2023-08-29 | 2023-09-29 | 武汉楚精灵医疗科技有限公司 | 黄斑变性程度参数确定方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490860A (zh) * | 2019-08-21 | 2019-11-22 | 北京大恒普信医疗技术有限公司 | 糖尿病视网膜病变识别方法、装置及电子设备 |
| CN110648344A (zh) * | 2019-09-12 | 2020-01-03 | 电子科技大学 | 一种基于局部病灶特征的糖尿病视网膜病变分类装置 |
| WO2020259209A1 (zh) * | 2019-06-26 | 2020-12-30 | 平安科技（深圳）有限公司 | 眼底图像识别方法、装置、设备和存储介质 |
| US20210327051A1 (en) * | 2018-06-08 | 2021-10-21 | Shanghai Sixth People's Hospital | Method, computer device and storage medium of fundus oculi image analysis |
| EP3944185A1 (en) * | 2020-07-23 | 2022-01-26 | INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência | Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images |
-
2022
- 2022-03-15 CN CN202210254666.4A patent/CN114627078B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210327051A1 (en) * | 2018-06-08 | 2021-10-21 | Shanghai Sixth People's Hospital | Method, computer device and storage medium of fundus oculi image analysis |
| WO2020259209A1 (zh) * | 2019-06-26 | 2020-12-30 | 平安科技（深圳）有限公司 | 眼底图像识别方法、装置、设备和存储介质 |
| CN110490860A (zh) * | 2019-08-21 | 2019-11-22 | 北京大恒普信医疗技术有限公司 | 糖尿病视网膜病变识别方法、装置及电子设备 |
| CN110648344A (zh) * | 2019-09-12 | 2020-01-03 | 电子科技大学 | 一种基于局部病灶特征的糖尿病视网膜病变分类装置 |
| EP3944185A1 (en) * | 2020-07-23 | 2022-01-26 | INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência | Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823828A (zh) * | 2023-08-29 | 2023-09-29 | 武汉楚精灵医疗科技有限公司 | 黄斑变性程度参数确定方法、装置、设备及存储介质 |
| CN116823828B (zh) * | 2023-08-29 | 2023-12-08 | 武汉楚精灵医疗科技有限公司 | 黄斑变性程度参数确定方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114627078B (zh) | 2024-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160259888A1 (en) | Method and system for content management of video images of anatomical regions | |
| CN117480565A (zh) | 用于控制外科数据叠加项的系统和方法 | |
| US11921278B2 (en) | Image status determining method an apparatus, device, system, and computer storage medium | |
| CN114529535B (zh) | 眼底豹纹图像分割方法、计算机及存储介质 | |
| US20150124067A1 (en) | Physiological measurement obtained from video images captured by a camera of a handheld device | |
| US11107212B2 (en) | Methods and systems for displaying a region of interest of a medical image | |
| JP2017127664A (ja) | 個人における連続心臓モニタリングのための方法、システム及び装置 | |
| CN110875092B (zh) | 一种基于远程眼底筛查的健康大数据服务方法和系统 | |
| CN204698510U (zh) | 图像质量保证的糖尿病性视网膜病变眼底筛查照相装置 | |
| US11351312B2 (en) | Use of infrared light absorption for vein finding and patient identification | |
| CN110432985B (zh) | 介入消融方案模拟方法、系统、电子设备及存储介质 | |
| CN113177928A (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN104657603A (zh) | 一种用于健康监控预警的方法、用户设备和网络设备 | |
| KR20170106374A (ko) | 해부학적 수술 동안 수술 거즈의 검출을 위한 방법 및 시스템 | |
| CA3137699A1 (en) | Compact mobile three-lead cardiac monitoring device | |
| US20180014903A1 (en) | Head-mountable computing device, method and computer program product | |
| CN114627078B (zh) | 视网膜病变识别设备、装置及存储介质 | |
| CN105512490B (zh) | 一种基于虹膜信息检测健康的可穿戴设备 | |
| US20230030572A1 (en) | Diagnosis Report Generation Method and Apparatus, Terminal Device, and Readable Storage Medium | |
| CN213488763U (zh) | 一种便携式智能化舌诊仪 | |
| CN114627071A (zh) | 视杯视盘分割方法、装置、计算机及存储介质 | |
| CN108837271A (zh) | 电子装置、提示信息的输出方法及相关产品 | |
| CN114267453A (zh) | Ercp术后胰腺炎的风险评估方法、装置及存储介质 | |
| CN115375603A (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN113223694A (zh) | 心电图机的心电分析方法、心电图机和存储装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |