CN116309235A - 一种针对糖尿病预测的眼底图像的处理方法和系统 - Google Patents
一种针对糖尿病预测的眼底图像的处理方法和系统 Download PDFInfo
- Publication number
- CN116309235A CN116309235A CN202111516971.8A CN202111516971A CN116309235A CN 116309235 A CN116309235 A CN 116309235A CN 202111516971 A CN202111516971 A CN 202111516971A CN 116309235 A CN116309235 A CN 116309235A
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- fundus
- fundus blood
- image
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010012601 diabetes mellitus Diseases 0.000 title claims abstract description 28
- 238000003672 processing method Methods 0.000 title claims description 16
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 243
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012216 screening Methods 0.000 claims abstract description 12
- 230000000877 morphologic effect Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 210000001367 artery Anatomy 0.000 claims description 26
- 210000003462 vein Anatomy 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000002792 vascular Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 9
- 238000000265 homogenisation Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 210000001525 retina Anatomy 0.000 claims description 3
- 201000010099 disease Diseases 0.000 description 13
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 13
- 238000000605 extraction Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000011176 pooling Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 208000006550 Mydriasis Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000002207 retinal effect Effects 0.000 description 4
- 230000004256 retinal image Effects 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000004220 fundus oculi Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000007502 anemia Diseases 0.000 description 1
- 210000002565 arteriole Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000001736 capillary Anatomy 0.000 description 1
- 208000027129 choroid disease Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000032839 leukemia Diseases 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 201000008383 nephritis Diseases 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 208000020911 optic nerve disease Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 210000001927 retinal artery Anatomy 0.000 description 1
- 210000001957 retinal vein Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008337 systemic blood flow Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
一种针对糖尿病预测的眼底图像的处理方法和系统,包括步骤:步骤S100,对原始眼底血管图像进行预处理;步骤S200,识别眼底血管图像中的血管信息,并转换为眼底血管的坐标和形态数据进行存储;其具体包括:步骤S210,提取眼底的动静脉血管中心线;步骤S220,识别眼底血管关键点;步骤S230,对识别出的眼底血管断点进行连接;在属于同一眼底血管的两个血管断点之间使用直角折线方式进行连接。步骤S240,对眼底血管中心线坐标、眼底血管分叉关系进行存储;步骤S300,根据眼底血管坐标和形态数据提取眼底血管特征。该方法还可包括:步骤S400,通过元分类器模型对步骤S300中提取的眼底血管特征进行处理,以进行糖尿病的早期筛查或预测,能够大幅提升预测准确性。
Description
技术领域
本发明涉及一种数字图像处理和应用技术,具体涉及一种针对糖尿病预测的眼底图像的处理方法和系统,属于医学数字图像处理技术领域。
背景技术
眼底是人体内不多的能用肉眼直接、集中观察到动脉、静脉和毛细血管的部位。这些血管可以反映人体全身血液循环的动态以及健康状况,眼底检查不仅是检查视网膜、脉络膜和视神经疾病的重要方法,也是许多全身性疾病监测的“窗口”。眼底血管的变化在一定程度上也反映了全身的血管改变情况,这些改变可以借由眼底图像的手段无创地显示出来,医生可据此来分析、判断相关疾病的严重程度。
目前通过眼底相机获取视网膜图像是筛查常见眼疾病最有效也是最基本的方式,其亦可识别肾炎、白血病、贫血、心脏病等引起眼底病变,但是目前借助神经网络诊断的视网膜图像一般需要具有明显的病变特征,专业医生也能直接根据这种图像判断疾病情况;而且这些病变是在疾病很严重的情况下才会产生,疾病已对人体造成了长期、不可逆的损伤,因此医疗界希望不仅能够通过视网膜图像进行疾病的诊断和筛查,同时更希望能够通过视网膜图像进行疾病的早期预测。
对于眼底,眼科形态学上普遍认为眼底血管直径、弯曲度等参数变化能反映特定疾病的严重程度。而现有眼底血管的提取算法主要有手动提取与半自动化软件提取两种方式。医学上眼底血管特征的手动提取方法主要借助结合机械和光学的仪器,而这种手段在测量单张眼底图像时花费时间过长,效率低下,不适合大批量的特征提取;而且此类方法与测量人员的经验有着直接关系,受主观因素影响。半自动化眼底血管测量软件如AVRnet、SIVA(Singapore I Vessel Analyzer)、CAIAR(Computer-Assisted Image Analysis ofthe Retina)以及IDX系统主要将输入的眼底图识别出眼底血管边界,然后借助人工辅助进行眼底血管特征测量,虽然已经很大程度上解放了人力,但是在眼底血管选取以及眼底血管范围划定还是因人而异。
对于基于眼底血管特征的疾病筛查和预测上面,现有技术一般仅使用眼底图像的某几个特征如眼底血管直径、弯曲度,但是某种疾病的发生可能不仅仅影响血管的形态,还可能对视网膜本身产生应影响,所以只通过眼底血管特征对疾病进行早期筛查和预测是不够的,缺失了很多信息,为了能够更准确地进行疾病的筛查和预测,需要更多信息去辅助诊断。
发明内容
因此,为了解决上述现有技术的诸多不足和缺陷,本发明提供了一种针对糖尿病预测的眼底血管图像处理方法,包括步骤:
步骤S100,对原始眼底血管图像进行预处理;
步骤S200,识别眼底血管图像中的血管信息,并转换为眼底血管的坐标和形态数据进行存储;所述步骤S200具体包括:
步骤S210,提取眼底的动静脉血管中心线;
步骤S220,识别眼底血管关键点;
步骤S230,对识别出的眼底血管断点进行连接;在属于同一眼底血管的两个血管断点之间使用直角折线方式进行连接;
步骤S240,对眼底血管中心线坐标、眼底血管分叉关系进行存储;
步骤S300,根据眼底血管坐标和形态数据提取眼底血管特征。
在上述技术方案中,所述步骤S100具体包括:
步骤S110,对原始眼底血管图像进行尺寸均一化处理;
步骤S120,对经过尺寸均一化处理的眼底血管图像进行色彩均一化处理;
步骤S130,对经过色彩均一化处理的眼底血管图像进行尺寸校正处理。
在上述技术方案中,所述步骤S110具体包括:
步骤S112,将RGB三通道彩色的原始眼底血管图像转换成单通道的灰度图;
步骤S114,根据灰度图获取黑边区域灰度阈值,根据黑边区域灰度阈值获得灰度图上有效图像区域遮罩;
步骤S116,对彩色的原始眼底血管图像的RGB三个通道分别使用有效图像区域遮罩进行像素点的过滤,全部完成后重新将RGB三个通道拼接成彩色的眼底血管图像。
在上述技术方案中,所述步骤S120具体采用高斯滤波方式进行亮度和对比度调整;所述步骤S130的校正后使得图像中的1像素对应10微米长度。
在上述技术方案中,所述步骤S220中通过中心点的8邻域的连通性来提取关键点,从而判断关键点类型,采用的公式为:
其中p代表中心像素点,N(p)代表像素点P的类型,It(p)代表中心像素点P的八邻域值;当N(p)值为1,则像素点P为眼底血管的端点;当N(p)值为2,则像素P点为眼底血管的连续点;当N(p)值为3,则像素点P为眼底血管的分叉关键点;当N(p)值为4,则像素点P为眼底血管的交叉关键点。
在上述技术方案中,所述步骤S300具体包括以下步骤中的一项或多项:
步骤S310:提取眼底血管的直径特征;
步骤S320:提取眼底血管的血管当量特征;
步骤S330:提取眼底血管的弯曲度特征;
步骤S340:提取眼底血管的分支特征;
步骤S350:提取眼底血管的分形维数特征。
在上述技术方案中,所述步骤S320包括挑选视网膜眼底图片中感兴趣区域的大于40微米的最粗的6条动静脉进行计算,不足六条则全部参与计算,每次挑选最大和最小的两条血管按照一定权重折算方均根,然后将计算结果重新加入到数据中进行下一轮迭代,直到求出最终的当量;
折算方均根的具体计算方法为:
其中,Wa为较窄的血管宽度,Wb为较宽的血管宽度,Wc为血管宽度估计值。
在上述技术方案中,进一步地包括:
步骤S400,通过元分类器模型对步骤S300中提取的眼底血管特征进行处理,进行糖尿病的早期筛查或预测,其中元分类器模型为Resnet-Meta-Classifier Model。
在上述技术方案中,该元分类器模型包括输入层和全连接输出层;
该输入层包括第一输入处理模块、第二输入处理模块;其中,该第一输入处理模块采用深度残差卷积神经网络,用于处理输入的眼底图像,所述深度残差卷积神经网络为Resnet50;该第二输入处理模块采用三层结构的多层感知机,用于处理输入的眼底血管特征;
该全连接输出层包括Scores模块和Softmax模块;该第一输入处理模块、第二输入处理模块输出的结果在Scores模块进行权重计分拼接,其处理结果输入到Softmax模块处理得到最终结果。
本发明还提供了一种数据处理系统,包括至少一个处理器以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述方法。
本发明还提供了一种计算机指令存储介质,其存储有使计算机处理器执行上述方法的指令。
与现有技术相比,本发明的有益效果在于:。
(1)本发明提出的血管中心线断点连接的方法,能自动识别断点,并且判断断点是否属于同一血管,可以将由于动静脉交叉产生的断点进行补全,补全后实现血管特征的提取,能够将同一条血管的特征连接起来,保证血管特征的完整性,为后续预测的数据提供质量保障,并且也便于机器自动处理断点信息。
(2)本发明构建了根据眼底图像以及眼底血管特征的元分类器模型(Resnet-Meta-Classifier Model)来进行糖尿病的早期筛查和预测。该模型能够同时高效处理多模态数据,将血管特征与血管图像相结合克服了只使用血管图像可能导致模型学习效果不佳的问题,大大提升了预测准确性。
结果显示,本发明将血管断点进行补全后提取的血管特征更准确,并且使用提出的Resnet-Meta-Classifier Model在基于图像和血管特征进行糖尿病预测的效果有明显提升。
附图说明
图1为本发明的眼底血管特征提取流程示意图。
图2为本发明的识别特殊关键点的示例图。
图3为本发明的遍历中心线坐标的示例图。
图4为本发明的血管分叉关系的示例图。
图5为本发明的分叉关系算法的示意图。
图6为本发明的计算血管当量的方法示意图。
图7为本发明的元分类器模型示意图。
具体实施方式
下面通过优选实施例来描述本发明的最佳实施方式,这里的具体实施方式在于详细地说明本发明,而不应理解为对本发明的限制,在不脱离本发明的精神和实质范围的情况下,可以做出各种变形和修改,这些都应包含在本发明的保护范围之内。
为了解决上述技术问题,本发明提供一种针对糖尿病预测的眼底血管图像的处理方法和系统,以实现糖尿病的早期筛查和预测。
本发明提供的一种针对糖尿病预测的眼底血管图像的处理方法,包括如下步骤:
步骤S100,对原始眼底血管图像预处理。
本发明所采用的眼底血管图像测试数据集为,使用Topcon TRC-NW8散瞳/无散瞳一体眼底照相机设备或Cannon CR-2免散瞳数字眼底照相机以免散瞳方式拍摄的20312张45°视场的眼底图像,图像分辨率是2464*2248,颜色为8bit RGB3色。每位受试者拍摄一张或两张眼底图,若拍摄两张则为左眼和右眼眼底图像各一张。以下以上述测试数据集中受试者的右眼眼底图像作为原始眼底血管图像为例介绍本发明的具体技术方案,通过对原始眼底血管图像进行水平翻转即可实现右眼眼底图像和左眼眼底图像的一致处理操作方式。
对于眼底图像,由于不同环境拍摄的设备不同、环境的光照不同会导致照片整体位置与颜色曲线存在差异,不同设备给出的照片差异会影响特征提取的效果而导致指标的整体偏移,从而影响到后续模型的有效性和准确度,所以必须对所有图片进行均一化处理,消除设备与环境带来的差异。
均一化处理包含位置尺寸信息的均一化和图像色彩的均一化两部分。
对原始眼底血管图像预处理的步骤S100具体包括:
步骤S110,对原始眼底血管图像进行尺寸均一化处理。
由于眼底血管图像是圆形,而拍摄的照片背景是矩形,因此眼底血管图像的四周可能出现黑边,且眼底血管图像在矩形背景上不一定严格居中,这些偏差不但影响特征提取的效率同时也会干扰特征提取,形成噪声,所以需要针对具体图像切除不需要的背景数据,并将眼底血管图像放置居中,保证感兴趣区域完全保留并用于下一步的处理。
步骤S110的具体处理步骤包括:
步骤S112,将RGB三通道的彩色原始眼底血管图像转换成单通道的灰度图。
步骤S114,获取黑边区域灰度阈值,根据黑边区域灰度阈值获得有效图像区域遮罩。
由于黑色背景与实际眼底图像灰度值差别明显,经过对原始数据的统计分析,确认将阈值设置为刚好可以完整涵盖所有照片的黑边区域。将图片读入内存后,将所有灰度值大于阈值的像素点进行保存,获得有效图像区域的遮罩。
步骤S116,将彩色的原始眼底血管图像的RGB三个通道分别使用有效图像区域遮罩进行像素点的过滤,全部完成后将三个通道拼接成一张完整图像。
由于眼底血管照片图像中的有效区域为圆形,所以保存后的图片天然可以保证有效区域的居中,所获得的完整图像是获得的感兴趣区域。
步骤S120,对经过尺寸均一化处理的眼底血管图像进行色彩均一化处理。
受拍摄设备与拍摄环境影响,眼底图像中存在过亮或者过暗看不清血管的情况,这种情况需要对图像亮度和对比度做调整。由于眼底血管呈发散状分布,越向四周血管越弯曲也越细小,与背景越相近,调整对比度和亮度时,为了保证图像边缘的血管可见,图像中心的大血管很容易出现数值溢出,而如果要控制图像中心的大血管的亮度不超出范围,则难以对图像边缘的血管形成良好的对比度。由此本发明采用高斯滤波方式对图像对比度和亮度进行调整,通过高斯滤波对临近像素的变化幅度进行检测,从而动态调整关注区域的颜色,有效避免了边缘区域对比度不足容易丢失精度的问题。本发明优选的参数组合为:高斯滤波的内核大小设置为(0,0),具体大小根据sigma算出,其中将X方向上的高斯核标准偏差sigmaX设置为30;将高斯滤波处理好的图像与原图加权融合,其中提取好目标区域的图的权重设置为4,高斯处理后的图像权重设置为-3.5,加权后图像的偏移量设置为100。
步骤S130,对经过色彩均一化处理的眼底血管图像进行尺寸校正处理。
由于实际拍摄的眼底血管图像的大小和布局存在差异,导致图像本身并不能直接准确体现血管宽度长度等尺寸指标,同时这些差异对于弯曲度等对尺度敏感的指标会造成较大影响,所以需要对血管图像做更精确的尺寸矫正以保证下一步的数据精准性。因此为了提高精度,在进行特征提取之前,需要对图像进行矫正,使其像素长度与实际长度等比例,节约后续换算时间以及提高效率,优选地,校正后使得图像中的1像素对应10微米长度。
步骤S200,识别眼底血管图像中的血管信息,并转换为眼底血管的坐标和形态数据进行存储。
该步骤主要流程如图1所示,其将眼底血管图像中的动静脉分开后分别进行血管中心线的提取,保存血管中心线的坐标;具体是识别关键点,然后根据关键点使用生长算法配合递归来进行血管中心线的保存。根据所保存的血管坐标将血管分段,后续可以进行血管直径、血管弯曲度、分叉角度、分叉不对称性、分形维数等特征的计算。基于此,可以对这些特征进行医学上的统计分析,分析所提取特征的正确性与合理性,以及与糖尿病之间的关联性。
眼底血管的坐标数据包括但不限于动静脉血管的中心线坐标、血管关键点坐标等;眼底血管的形态数据包括但不限于血管关键点类型、血管分叉关系等。
所述步骤S200具体包括:
步骤S210,提取动静脉血管中心线。
在生理功能上,动脉主要是为眼底运送营养物质,静脉主要为眼底运输代谢产物;形态上,动脉颜色为鲜红,血管更细小,静脉颜色则为暗红以及血管更粗。动静脉无论在功能还是形态上均有明显区别,所以需要对动静脉分别进行血管特征的提取。本发明根据眼底血管图像中动静脉像素颜色不同将动脉和静脉分开。分开之后,虽然人眼可以直接判断动静脉血管走向,但是计算机并不能直接识别动静脉血管的走向和网络拓扑结构,所以需要获取动静脉血管的拓扑结构,根据拓扑结构获得动静脉血管走向。
为了获取动静脉血管中心线,需要对动静脉血管进行细化,本发明使用的方法是细化算法(Zhan Suen),该方法采取逐次去除边界的方法进行,得到的在血管两端没有分叉。
步骤S220,识别血管关键点。
获取血管中心线之后,计算机并不能直接读取血管中心点的位置信息,需要进一步对血管中心线进行处理。眼底血管图像中血管中心线的起止点被定义为端点,实际上一条完整的动静脉血管在眼底血管图像中可能不止有2个端点。眼底血管图像中主干血管与两条或两条以上分支血管的交点则被定义为分叉点,这个点对于记录主干与分支关系至关重要。眼底血管是由中心向四周生长,所以在进行血管坐标位置统计的时候从靠近中心的点开始记录。基于此,本发明通过中心点的8邻域的连通性来提取关键点,从而判断关键点类型,公式为:
其中p代表中心像素点,N(p)代表像素点P的类型,It(p)代表中心像素点P的八邻域值。当N(p)值为1,则像素点P为血管的端点;当N(p)值为2,则像素P点为血管的连续点;当N(p)值为3,则像素点P为血管的分叉关键点;当N(p)值为4,则像素点P为血管的交叉关键点。经过步骤S220的处理,识别出的关键点根据靠近视盘端点、远视盘端点、交叉点分别保存列表中,用于后续断点连接以及分叉关系保存。
步骤S230,对血管断点进行连接。
识别出关键点之后,由于在眼底中动静脉存在交叉,分离动静脉之后交叉处则变成了断点,为了保证血管特征的完整性,需要将属于同一根血管的断点进行连接。一般需要根据两个端点的距离来识别是否是同一血管,经数据统计,眼底血管直径的范围最大为268微米,所以可以将距离小于300微米的血管断点识别为属于同一根血管。而且为了防止出现实际上不是同一根血管的血管断点,但是由于血管断点离得很近导致血管断点二次连接的情况,对每个血管断点限制为只能进行一次判断和连接。
眼底血管断点连接操作是将两个血管断点之间的中间点的像素值由0设置为与中心线相同的值,即1。由于血管断点a(xa,ya)和血管断点b(xb,yb)的位置变化不定,若使用直接连接两个血管断点,则该操作可以根据两血管断点的坐标计算得到该连线的线性表达式,但是两个血管断点之间的像素点的坐标均为整数,不存在小数,所以存在有的点与上述连线的线性表达式相匹配,而无法进行连接。基于此,本方法使用直角线连接两个血管断点,即将(xb,ya)与(xb,yb)的中间点和(xb,ya)与(xa,ya)的中间点全部连接。
该步骤S220分别对动脉和静脉进行处理,有效解决了血管断点导致血管不连续的问题,为后续眼底血管特征提取奠定了基础。
步骤S240,对血管中心线坐标、血管分叉关系进行存储。
连接血管中心线的断点之后,需要将原始的png图片被转换为含有位置信息的数据序列。由于眼底血管呈中心发散状,血管中心线坐标保存需从近视盘端开始,而常用的方法是生长算法,现有的生长算法原理是根据种子点的8邻域像素值来出入队列进而直到遍历最后一个点。由于血管是从视盘中央像四周延伸,所以遍历过程也是从图片坐标中心开始螺旋向外遍历,如图3所示。但是现有的生长算法得到的同一根血管的坐标不连续,无法直接输入到计算机使用,所以本发明对现有的生长算法进行改进,将种子点的保存方式由队列改成栈,从而得到有序的血管坐标。
经过本步骤处理,存储为的PNG格式图片的眼底血管图像被转换为一组序列,其中序列的成员是由一系列二元组坐标组成的列表,优选采用JSON格式进行存储。同时也将每一个血管中心点序列的近端和远端分别保存在列表中,用于后续计算使用。
按照上述操作,已经可以将每一条动脉和静脉血管的中心线坐标保存下来,并且用于后续的直径/宽度以及分型等指标的计算,但是在血管特征中存在另一类指标,以分叉角和对称性等为代表,不仅需要单独的血管的指标,同时要结合分叉的血管的父子关系进行联合计算,由于单纯将血管坐标序列保存为列表的方式无法体现血管之间的关系,所以还需要专门设计数据结构用于保存父子之间的联系,并有效的进行双向查找。
对于分叉的场景,本发明在生长算法基础上应用递归的思想,即同一血管有多个关键点,按照遇到的顺序,两个关键点之间均使用生长算法,生长过程中遇到下一个关键点的时候停止生长,从下一个关键点开始统计血管坐标,并将该坐标保存到对应的父支,其中同一父分支的子分支按逆时针编号。
本发明采用基于序号的分支保存方式,由于血管处理过程中几乎不会存在一次性分叉4条以上的极端情况,所以定义每一个节点的最大分叉数为3,对于标号为n的血管,如果后续产生了分叉,则将其子分支的标号定义为3n,3n+1,3n+2。而从视盘中央所查找的到的第一根主干定义为编号1,这样对于任何一根血管,如果其id>1,则其父血管的id就是id/3(向下取整),具体关系图如图5所示。通过上述方式,即可快捷的实现从父节点到子节点和子节点按到父节点的双向索引,同时又可以简单的使用JSON进行数据的导出和导入。
步骤S300,根据眼底血管坐标和形态数据提取眼底血管特征。
步骤S300可以分别对动脉和静脉血管的特征进行提取,其具体包括:
步骤S310:提取眼底血管的直径特征。
根据已保存的血管中心线的结构,对于血管直径进行计算,采用将血管分段的方式分段计算血管直径,并且将计算得到的血管直径全部保存在与该血管坐标同级的数据结构中,用于后续计算。
对于单支血管直径测量:将血管分段,将每8个像素点选取为一个血管段,使用最小二乘法得到血管的线性回归模型,根据得到的血管段模型,确定其垂直方向向量,将该垂直方向向量向血管两端延伸,根据血管与背景像素值来判断边界,边界两侧端点的距离即为直径。
步骤S320:提取眼底血管的血管当量特征。
根据血管直径还可以进一步提取血管当量:虽然血管在不同分支的粗细差异很大,但是其中最粗的若干条主干对疾病的相关性影响最大。挑选视网膜眼底图片的B区(0.5-1.5DD)其中最粗的6条动静脉进行计算,不足六条则全部参与计算。血管当量不是对血管的宽度进行简单平均,而是每次挑选最大和最小的两条血管按照一定权重折算方均根,然后将计算结果重新加入到数据中进行下一轮迭代,直到求出最终的当量,其过程如图6所示。
两根血管的当量算法:
其中,Wa为较窄的血管宽度,Wb为较宽的血管宽度,Wc为血管宽度估计值。
由于实际血管图比较多样,存在分支血管宽度大于主干血管宽度的异常情况,在此种情况下,需要针对“显著性”进行更有效地分析,明确主干地位和血管粗细这两个因素对实际相关性的影响。因此取用直径满足大于40微米的最粗6条动静脉,来计算中央视网膜动脉当量和中央视网膜静脉当量。如果部分主干太短不足以计算直径,则通过该主干的子分支来计算得出主干直径。
在此基础上,可以进一步包括计算中央血管动静脉当量比AVR。测量的血管直径一般在距离实盘边缘的0.5倍视盘直径距离至1.5倍视盘直径距离区域内,测量的AVR值为伴行的血管动脉当量和静脉当量的比值,即:
AVR=CRAE/CRVE
CRAE和CRVE分别为伴行的血管动脉当量和静脉当量。
步骤S330:提取眼底血管的弯曲度特征。
与步骤S320类似,挑选视网膜眼底图片的B区(0.5-1.5DD)的血管用于特征提取,选取直径满足大于40微米的最粗6条动静脉。现有技术中常用的弯曲度计算方法是DF(Distance Factor),DF计算只考虑血管两端,对血管内部弯曲程度走向没有关系,导致DF不能真实有效的反应眼底血管弯曲度。因此该步骤采用利用血管的曲率与弧长的比值来描述眼底血管的弯曲度特征。
步骤S340:提取眼底血管的分支特征。
对于分支特征,主要计算范围是血管的一级分叉,具体计算的特征是分叉角与分支不对称性,由于分支血管走向随意并不是直的血管,所以计算近分叉点以及远分叉点的分支特征,计算子支与父支的不对称性来描述子支与父支的关系。
对于分叉角:借助拟和血管段的方法,分别得出两个分支血管的最佳线性模型。于是计算出两个分支的方向向量,其中共同的起点是分叉点(x0,y0),较粗的分支的方向向量为(x1,y1),较细的分支方向向量为(x2,y2)。则首先计算两个向量的长度,然后计算夹角的cos值,最后通过arccos函数得到向量夹角。
对于分支不对称性:对于靠近分叉处的血管直径,将较粗的分支血管的直径平方比上较细的分支血管的直径平方来描述两分支的不对称性。
步骤S350:提取眼底血管的分形维数特征。
以上描述都是以单只眼底血管为基础计算而来的指标,为了描述眼底血管的全局复杂程度,引入了分形维数这一特征。
分形维数是用来描述一个分形对空间填充程度的统计量,分形维数的定义方法有豪斯多夫维数、计盒维数和分配维数等。本发明将分形维数用于反应血管整体的复杂程度,优选使用的是计盒维数方法,其原理是:用给定大小的许多格子来完全覆盖眼底血管对象,计算需要多少格子来覆盖对象,并对不同大小的格子重复该过程。覆盖对象的格子数量随格子尺寸的缩放比例给出了对象分形维数的估计值。
通过上述步骤S300获得的眼底血管特征可以与眼底图像一起对糖尿病进行早期筛查或预测,即进一步地包括:
步骤S400,通过元分类器模型(Resnet-Meta-Classifier Model)对步骤S300中提取的特征进行处理,进行早期筛查或预测。
本发明提出的元分类器模型(Resnet-Meta-Classifier Model),具体结构如图7所示,其总体上可分为两层结构,即图7中左侧的输入层,图7中右侧的全连接输出层。其中,输入层包括两个模块,即图7中左侧输入层从上之下分别为第一输入处理模块、第二输入处理模块。其中,第一输入处理模块采用卷积神经网络(Resnet),用于处理输入像具体为五通道眼底彩色图像,即在眼底彩色图像(RGB三通道)上的眼底图像,该眼底图像优选为融合图像,该融合图融合动脉、静脉数据;具体地,眼底彩色图像是三通道的RGB图像,动脉和静脉血管标注图是红蓝双通道图像,将三通道图像与双通道图并联构成五通道的融合图像。第二输入处理模块采用三层结构的多层感知机(Multilayer Perceptron,MLP),用于处理输入的一维眼底血管特征。全连接输出层包括Scores模块和Softmax模块;第一输入处理模块、第二输入处理模块输出的结果在Scores模块进行权重计分拼接,其处理结果输入到Softmax模块处理得到最终结果。
其中,用于处理眼底图像的卷积神经网络优选为深度残差网络(Deep residualnetwork,Resnet),Resnet有5种常用深度结构,分别为18、34、50、101、152,本发明优选使用50的深度结构,即Resnet50。具体地,Resnet50主要包括5个处理阶段(不含全局平均池化层和全连接层);其中,第0阶段(Stage0)为对输入数据的预处理,包括卷积层(Conv)和最大池化层(Max Pooling),其中卷积层(Conv)卷积核大小为7×7;第1阶段(Stage1)、第2阶段(Stage2)、第3阶段(Stage3)、第4阶段(Stage4)为由残差单元(ResBlock)组成的处理层,第1阶段(Stage1)由残差单元组成3层结构,第2阶段(Stage2)由残差单元组成4层结构,第3阶段(Stage3)由残差单元组成6层结构,第4阶段(Stage4)由残差单元组成3层结构。Resnet50还可进一步包括全局平均池化层(Avg Pooling)和全连接层,全连接层包括FC和Softmax,其中FC进行全连接,Softmax进行归一化输出。
上述三层结构的多层感知机优选采用三个隐含层,每个隐含层优选采用128个神经元节点,激活函数使用线性整流函数(ReLu)。
测试结果:
为了验证本发明方法与模型,测试使用全数据集共计10000张图像来验证。所选择的输入特征具体为,对于眼底血管特征,主要包括动脉血管个数、动脉全局弯曲度、动脉分形维数、动脉分叉角、动脉分叉不对称性、动脉直径特征、静脉血管个数、静脉全局弯曲度、静脉分形维数、静脉分叉角、静脉分叉不对称性、静脉直径特征、中央动脉当量、中央静脉当量、中央动静脉当量比等。其中,该模型优选采用Stacking集成结合策略。通过模型训练和测试,可以获得各个数据特征的信息增益,即各个典型数据特征对于分类结果的权重。
实验结果表明,加入眼底血管特征和进行预测比仅使用单一眼底血管图像的效果更好,本发明提出的眼底血管特征图像处理方法将血管断点进行补全后提取的血管特征更准确,能够配合Resnet-Meta-Classifier Model模型最大化发挥预测糖尿病的作用,达到糖尿病早期筛查和预测的目的。
本发明不限于上述具体实施例。可以理解的是,在不脱离本发明的精神和实质范围的情况下,可以做出各种变形和修改,这些都应包含在本发明的保护范围之内。
Claims (10)
1.一种针对糖尿病预测的眼底血管图像处理方法,其特征在于包括:
步骤S100,对原始眼底血管图像进行预处理;
步骤S200,识别眼底血管图像中的血管信息,并转换为眼底血管的坐标和形态数据进行存储;所述步骤S200具体包括:
步骤S210,提取眼底的动静脉血管中心线;
步骤S220,识别眼底血管关键点;
步骤S230,对识别出的眼底血管断点进行连接;在属于同一眼底血管的两个血管断点之间使用直角折线方式进行连接;
步骤S240,对眼底血管中心线坐标、眼底血管分叉关系进行存储;
步骤S300,根据眼底血管坐标和形态数据提取眼底血管特征。
2.如权利要求1所述的一种针对糖尿病预测的眼底血管图像处理方法,其特征在于:所述步骤S100具体包括:
步骤S110,对原始眼底血管图像进行尺寸均一化处理;
步骤S120,对经过尺寸均一化处理的眼底血管图像进行色彩均一化处理;
步骤S130,对经过色彩均一化处理的眼底血管图像进行尺寸校正处理。
3.如权利要求2所述的一种针对糖尿病预测的眼底血管图像处理方法,其特征在于:所述步骤S110具体包括:
步骤S112,将RGB三通道彩色的原始眼底血管图像转换成单通道的灰度图;
步骤S114,根据灰度图获取黑边区域灰度阈值,根据黑边区域灰度阈值获得灰度图上有效图像区域遮罩;
步骤S116,对彩色的原始眼底血管图像的RGB三个通道分别使用有效图像区域遮罩进行像素点的过滤,全部完成后重新将RGB三个通道拼接成彩色的眼底血管图像。
4.如权利要求3所述的一种针对糖尿病预测的眼底血管图像处理方法,其特征在于:所述步骤S120具体采用高斯滤波方式进行亮度和对比度调整;所述步骤S130的校正后使得图像中的1像素对应10微米长度。
6.如权利要求5所述的一种针对糖尿病预测的眼底血管图像处理方法,其特征在于:所述步骤S300具体包括以下步骤中的一项或多项:
步骤S310:提取眼底血管的直径特征;
步骤S320:提取眼底血管的血管当量特征;
步骤S330:提取眼底血管的弯曲度特征;
步骤S340:提取眼底血管的分支特征;
步骤S350:提取眼底血管的分形维数特征。
8.如权利要求1-7中任一项所述的一种针对糖尿病预测的眼底血管图像处理方法,其特征在于进一步地包括:
步骤S400,通过元分类器模型对步骤S300中提取的眼底血管特征进行处理,进行糖尿病的早期筛查或预测,其中元分类器模型为Resnet-Meta-Classifier Model。
9.如权利要求8所述的一种针对糖尿病预测的眼底血管图像处理方法,其特征在于:该元分类器模型包括输入层和全连接输出层;
该输入层包括第一输入处理模块、第二输入处理模块;其中,该第一输入处理模块采用深度残差卷积神经网络,用于处理输入的眼底图像,所述深度残差卷积神经网络为Resnet50;该第二输入处理模块采用三层结构的多层感知机,用于处理输入的眼底血管特征;
该全连接输出层包括Scores模块和Softmax模块;该第一输入处理模块、第二输入处理模块输出的结果在Scores模块进行权重计分拼接,其处理结果输入到Softmax模块处理得到最终结果。
10.一种针对糖尿病预测的眼底血管图像处理系统,包括至少一个处理器以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-9中任意一项所述的一种针对糖尿病预测的眼底血管图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111516971.8A CN116309235A (zh) | 2021-12-07 | 2021-12-07 | 一种针对糖尿病预测的眼底图像的处理方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111516971.8A CN116309235A (zh) | 2021-12-07 | 2021-12-07 | 一种针对糖尿病预测的眼底图像的处理方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116309235A true CN116309235A (zh) | 2023-06-23 |
Family
ID=86776580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111516971.8A Pending CN116309235A (zh) | 2021-12-07 | 2021-12-07 | 一种针对糖尿病预测的眼底图像的处理方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116309235A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117876801A (zh) * | 2024-03-13 | 2024-04-12 | 中国人民解放军总医院第一医学中心 | 基于眼底血管特征和人工智能预测糖尿病肾病的方法 |
CN117893836A (zh) * | 2024-03-13 | 2024-04-16 | 中国人民解放军总医院第一医学中心 | 基于眼底血管几何参数预测糖尿病肾病的方法和系统 |
-
2021
- 2021-12-07 CN CN202111516971.8A patent/CN116309235A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117876801A (zh) * | 2024-03-13 | 2024-04-12 | 中国人民解放军总医院第一医学中心 | 基于眼底血管特征和人工智能预测糖尿病肾病的方法 |
CN117893836A (zh) * | 2024-03-13 | 2024-04-16 | 中国人民解放军总医院第一医学中心 | 基于眼底血管几何参数预测糖尿病肾病的方法和系统 |
CN117893836B (zh) * | 2024-03-13 | 2024-05-28 | 中国人民解放军总医院第一医学中心 | 基于眼底血管几何参数预测糖尿病肾病的方法和系统 |
CN117876801B (zh) * | 2024-03-13 | 2024-05-28 | 中国人民解放军总医院第一医学中心 | 基于眼底血管特征和人工智能预测糖尿病肾病的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109784337B (zh) | 一种黄斑区识别方法、装置及计算机可读存储介质 | |
Goldbaum et al. | Automated diagnosis and image understanding with object extraction, object classification, and inferencing in retinal images | |
US9848765B2 (en) | Quantifying a blood vessel reflection parameter of the retina | |
Patton et al. | Retinal image analysis: concepts, applications and potential | |
CN109697719B (zh) | 一种图像质量评估方法、装置及计算机可读存储介质 | |
US20240074658A1 (en) | Method and system for measuring lesion features of hypertensive retinopathy | |
CN116309235A (zh) | 一种针对糖尿病预测的眼底图像的处理方法和系统 | |
CN104102899B (zh) | 视网膜血管识别方法及装置 | |
TWI746287B (zh) | 影像處理系統及影像處理方法 | |
CN113436070B (zh) | 一种基于深度神经网络的眼底图像拼接方法 | |
Wan et al. | Retinal image enhancement using cycle-constraint adversarial network | |
CN106446805B (zh) | 一种眼底照中视杯的分割方法及系统 | |
JP2008073280A (ja) | 眼底画像処理装置 | |
US20240312016A1 (en) | Classification and improvement of quality of vascular images | |
CN111797900A (zh) | 一种oct-a图像的动静脉分类方法及装置 | |
Ding et al. | Multi-scale morphological analysis for retinal vessel detection in wide-field fluorescein angiography | |
CN116313037A (zh) | 一种基于多模态数据的糖尿病预测方法和系统 | |
Thanh et al. | A real-time classification of glaucoma from retinal fundus images using AI technology | |
Zhou et al. | Computer aided diagnosis for diabetic retinopathy based on fundus image | |
Carmona et al. | Modeling, localization, and segmentation of the foveal avascular zone on retinal OCT-angiography images | |
JPH06125876A (ja) | 眼神経乳頭診断装置 | |
Sindhusaranya et al. | Hybrid algorithm for retinal blood vessel segmentation using different pattern recognition techniques | |
Sathishkumar et al. | A novel on 2 D Modeling for Width Measurement from Retinal Vessel | |
Srivastava et al. | Retinal Image Segmentation based on Machine Learning Techniques | |
Ghorab et al. | Computer-Based Detection of Glaucoma Using Fundus Image Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |