CN111784641B - 一种基于拓扑结构的神经图像弯曲度估计方法及装置 - Google Patents
一种基于拓扑结构的神经图像弯曲度估计方法及装置 Download PDFInfo
- Publication number
- CN111784641B CN111784641B CN202010512030.6A CN202010512030A CN111784641B CN 111784641 B CN111784641 B CN 111784641B CN 202010512030 A CN202010512030 A CN 202010512030A CN 111784641 B CN111784641 B CN 111784641B
- Authority
- CN
- China
- Prior art keywords
- nerve
- cornea
- curvature
- neural
- corneal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001537 neural effect Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 48
- 210000005036 nerve Anatomy 0.000 claims abstract description 183
- 210000004087 cornea Anatomy 0.000 claims abstract description 114
- 238000013528 artificial neural network Methods 0.000 claims abstract description 42
- 230000002776 aggregation Effects 0.000 claims abstract description 35
- 238000004220 aggregation Methods 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 230000000877 morphologic effect Effects 0.000 claims abstract description 14
- 238000006116 polymerization reaction Methods 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 38
- 238000011156 evaluation Methods 0.000 claims description 13
- 230000002792 vascular Effects 0.000 claims description 8
- 210000004204 blood vessel Anatomy 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 230000000379 polymerizing effect Effects 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000011524 similarity measure Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000003759 clinical diagnosis Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 description 13
- 206010012601 diabetes mellitus Diseases 0.000 description 10
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 201000001119 neuropathy Diseases 0.000 description 2
- 230000007823 neuropathy Effects 0.000 description 2
- 208000033808 peripheral neuropathy Diseases 0.000 description 2
- 210000001210 retinal vessel Anatomy 0.000 description 2
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明属于神经图像处理领域，公开一种基于拓扑结构的神经图像弯曲度估计方法，包括获取角膜神经图像信息，通过深度学习网络分隔角膜神经图像信息得到角膜神经网络片段；计算角膜神经网络片段的弯曲度指标，采用加权平均聚合算法对角膜神经网络片段进行弯曲度指标聚合并得出弯曲度聚合指标；建立基于角膜神经图像信息的角膜神经拓扑结构；通过对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度；充分考虑不同角膜神经片段的形态结构和功能各异性，对不同的神经分支进行个体化分析，能够有效的将临床诊断经验和角膜神经弯曲度自动计算相结合，从而实现基于角膜神经图像的临床诊断。
Description
技术领域
本发明属于神经图像处理领域，特别的涉及一种基于拓扑结构的神经图像弯曲度估计方法及装置。
背景技术
糖尿病目前是全球高发的全身性疾病，已经严重影响了人们的生命健康安全，早期的筛查、诊断和干预可以一定程度上降低糖尿病及其并发症的发病率，因此简单有效的诊断方法对于糖尿病的早期筛查具有非常重要的意义。研究表明，糖尿病会引起视网膜血管以及角膜神经的形态变化，且糖尿病角膜神经病变( Diabetic Corneal Neuropathy,以下简称为DCN)发生在视网膜血管病变之前。因此，基于角膜神经形态的变化对糖尿病进行早期的筛查、诊断具有非常重要的临床意义。目前在临床中，医生普遍采用体内共焦显微镜 (in vivo confocal microscopy，以下简称为IVCM) 对角膜进行扫描拍摄，用来观察角膜各层组织中神经丛的分布和形态。并通过观察角膜基底下神经纤维丛（Sub-basal nerveplexus，以下简称SBP）的形态特征来进行疾病分析。
然而目前广泛使用的IVCM设备没有自带量化角膜神经弯曲度的功能，对角膜神经的弯曲度评估很大程度上依赖于医生的临床经验。随着设备技术的不断提高和角膜神经检测的普及，角膜神经图像数据呈现爆炸式增长，因此依赖专家的人工诊断方式已经不能满足实际临床需求；同时由于医生临床经验的差异以及人工诊断的主观性，可能会导致不同的医生对于同一幅角膜神经病变图像给出不同的诊断结果。由此可见，基于人工诊断的糖尿病角膜神经弯曲度的评估具有诊断效率低、主观性强、复现性差以及标准不统一等缺点，容易导致出现错诊或漏诊，使患者不能够及时接受相应的治疗。
同时目前存在的角膜神经图像弯曲度自动评估方法大都针对单一的神经片段，临床上对于疾病的诊断多以整幅图像为最小单位，单支神经的弯曲度无法直接应用于糖尿病自动诊断，因此常见的方式是将图像中包含的角膜神经片段参数进行无差别聚合来实现整幅图像的弯曲度分级，然而医生在进行角膜神经弯曲度评估时实际上包含了对典型神经结构的选取，简单的使用平均法忽略了神经结构以及功能的各异性，不能够精确描述整幅图像角膜神经的弯曲度，无法直接用于相关疾病的临床检查。
发明内容
本发明目的是提供一种基于拓扑结构的神经图像弯曲度估计方法及装置，用以解决上述提到的目前存在的角膜神经图像弯曲度自动评估方法大都针对单一的神经片段，临床上对于疾病的诊断多以整幅图像为最小单位，单支神经的弯曲度无法直接应用于糖尿病自动诊断，因此常见的方式是将图像中包含的角膜神经片段参数进行无差别聚合来实现整幅图像的弯曲度分级，然而医生在进行角膜神经弯曲度评估时实际上包含了对典型神经结构的选取，简单的使用平均法忽略了神经结构以及功能的各异性，不能够精确描述整幅图像角膜神经的弯曲度，无法直接用于相关疾病的临床检查。
本发明解决其技术问题采用的技术方案是，提出一种基于拓扑结构的神经图像弯曲度估计方法，其包括以下步骤：
获取角膜神经图像信息，通过深度学习网络分隔所述角膜神经图像信息得到角膜神经网络片段；
计算所述角膜神经网络片段的弯曲度指标，采用加权平均聚合算法对所述角膜神经网络片段进行弯曲度指标聚合并得出弯曲度聚合指标；
建立基于所述角膜神经图像信息的角膜神经拓扑结构；
通过角膜神经拓扑结构对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度。
进一步优选地，所述“弯曲度指标”具体包括基于曲率评估指标、基于方向角变化指标和基于拱到弦的距离指标。
进一步优选地，所述“建立基于所述角膜神经图像信息的角膜神经拓扑结构”具体包括：采用形态学细化算法迭代去除角膜神经外部像素，得到特定血管结构；采用3*3滑动窗口检测关键节点，在分叉点和交叉点处将分割图像断开，得到多个独立的血管段，并采用三次样条拟合进行中心线拟合，得到每一段神经的中心线信息；将每一段神经的起点和终点作为图论中的点V，根据邻域信息连接相邻的点形成图论中的边E，以此建立角膜神经网络的无向图G(V，E)；提取神经段的特征向量，在相邻点集处使用优势集进行特征向量聚类，并以此作为两点之间的相似性度量W，建立角膜神经的带权无向图G（V，E，W）；将落在图像边缘像素内的点作为起始点S，引入虚拟点并与各角膜神经树起点相连，采用最小生成树算法计算最小子图，最后去除虚拟点，得到/>个独立神经树，完成角膜神经的拓扑估计。
进一步优选地，所述关键节点具体包括终点节点、连接点、分叉点和交叉点。
进一步优选地，所述“通过角膜神经拓扑结构对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度”具体为：根据角膜神经的拓扑分级信息定义优先级（I1，I2，…In），根据角膜神经长度定义优先级（L1，L2，…Ln）；按照优先级I > L对拓扑树中各神经段进行排序，并使用IGOWA计算出神经树个体弯曲度；调整权重向量的值，可聚合出神经树个体化的弯曲度度量值；按照长度诱导广义有序加权平均对个体化的神经树进行聚合得到角膜神经图像的弯曲度。
本发明解决其技术问题采用的另一技术方案是，提出一种基于拓扑结构的神经图像弯曲度估计装置，包括以下：
获取分析模块，用于获取角膜神经图像信息，通过深度学习网络分隔所述角膜神经图像信息得到角膜神经网络片段；
弯曲度度量模块，用于计算所述角膜神经网络片段的弯曲度指标，采用加权平均聚合算法对所述角膜神经网络片段进行弯曲度指标聚合并得出弯曲度聚合指标；
角膜神经建立拓扑模块，用于建立基于所述角膜神经图像信息的角膜神经拓扑结构；
聚合处理模块，用于通过角膜神经拓扑结构对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度。
进一步优选地，所述“弯曲度指标”具体包括基于曲率评估指标、基于方向角变化指标和基于拱到弦的距离指标。
进一步优选地，所述“建立基于所述角膜神经图像信息的角膜神经拓扑结构”具体包括：采用形态学细化算法迭代去除角膜神经外部像素，得到特定血管结构；采用3*3滑动窗口检测关键节点，在分叉点和交叉点处将分割图像断开，得到多个独立的血管段，并采用三次样条拟合进行中心线拟合，得到每一段神经的中心线信息；将每一段神经的起点和终点作为图论中的点V，根据邻域信息连接相邻的点形成图论中的边E，以此建立角膜神经网络的无向图G(V，E)；提取神经段的特征向量，在相邻点集处使用优势集进行特征向量聚类，并以此作为两点之间的相似性度量W，建立角膜神经的带权无向图G（V，E，W）；将落在图像边缘像素内的点作为起始点S，引入虚拟点并与各角膜神经树起点相连，采用最小生成树算法计算最小子图，最后去除虚拟点，得到/>个独立神经树，完成角膜神经的拓扑估计。
进一步优选地，所述关键节点具体包括终点节点、连接点、分叉点和交叉点。
进一步优选地，所述“通过角膜神经拓扑结构对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度”具体为：根据角膜神经的拓扑分级信息定义优先级（I1，I2，…In），根据角膜神经长度定义优先级（L1，L2，…Ln）；按照优先级I > L对拓扑树中各神经段进行排序，并使用IGOWA计算出神经树个体弯曲度；调整权重向量的值，可聚合出神经树个体化的弯曲度度量值；按照长度诱导广义有序加权平均对个体化的神经树进行聚合得到角膜神经图像的弯曲度。
本发明的有益效果：
1.本发明引入拓扑结构，充分考虑不同角膜神经片段的形态结构和功能各异性，对不同的神经分支进行个体化分析，能够有效的将临床诊断经验和角膜神经弯曲度自动计算相结合，从而实现基于角膜神经图像的临床诊断；
2.本发明首次提出融合角膜神经结构特异性的图像级的角膜神经弯曲度的度量方法，该描述子更符合临床诊断的主观判断，可用做角膜神经弯曲度的临床检查指标；
3.本发明首次提出角膜神经拓扑结构的建立方法，为角膜神经结构的个体化分析提供了工具；
4.本发明采用有序加权平均聚合算法，充分考虑多个单一的弯曲度评价指标的优势，获得更稳健的角膜神经片段的弯曲度评估算子。
附图说明
图1为本发明实施例的一种基于拓扑结构的神经图像弯曲度估计方法的整体流程示意图；
图2为本发明实施例的一种基于拓扑结构的神经图像弯曲度估计方法的又一流程示意图；
图3为本发明实施例的单一角膜神经弯曲度指标提取图解中完整角膜神经中心线及按照曲率极大值分段示意图；
图4为本发明实施例的单一角膜神经弯曲度指标提取图解中角膜神经曲率曲线；
图5为本发明实施例的角膜神经拓扑结构建立预实验结果示意图；
图6为本发明实施例的一种基于拓扑结构的神经图像弯曲度估计装置的整体流程示意图。
具体实施方式
为了更清楚地说明本发明实施例和/或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。另，涉及方位的属于仅表示各部件间的相对位置关系，而不是绝对位置关系。
请参阅图1、图2、图3、图4和图5，本实施例提出基于拓扑结构的神经图像弯曲度估计方法，其包括以下步骤：
S1获取角膜神经图像信息，通过深度学习网络分隔所述角膜神经图像信息得到角膜神经网络片段；
由于U-net被证明在医学图像分割中表现出非常高的性能，因此本发明通过将成对的角膜神经图像与只含有神经结构的二值化的金标准图像输入U-net神经网络，训练一个鲁棒性强的分割模型，并将此模型用于其他角膜神经图像进行角膜神经的完整分割；其中U-net模型包括一个特征编码器用来提取高阶语义特征，一个特征解码器用来将提取到的高级特征映射到血管分割图中；同时采用跳接的方式将每一层的编码器得到的结果传到对应的解码器当中，以提高血管结构的一致性，并且有效的避免了梯度消失的出现。
S2计算所述角膜神经网络片段的弯曲度指标，采用加权平均聚合算法对所述角膜神经网络片段进行弯曲度指标聚合并得出弯曲度聚合指标；
本发明提取三类评价线状结构弯曲度形态特征：基于曲率评估，基于方向角变化和基于拱到弦的距离指标；数学上角膜神经可看作是独立的曲线段并可以用如下所示的曲线公式表示：
其中表示二维空间上定义的曲线坐标。
三类弯曲度评估指标计算如下：
（1）基于曲率评估指标
根据曲率公式计算每个像素点曲率值，计算公式如下：
（2）基于方向角变化指标
设为曲线段上第i个点，/>表示点/>与/>之间的向量，/>，/>，曲线段上每个点的方向可以如下所示定义：
（3）基于拱到弦的距离指标
曲线段的弦长可如下所示定义为：
曲线段弧长可如下所示定义为：
通常将作为弯曲度评价指标。
如图3和图4所示，考虑到以上指标未涉及局部变化，可能导致给形态差异很大的结构赋予相同的度量值，因此本发明基于以上指标并考虑到拐点信息，将曲率极大值作为拐点并设置阈值，在满足阈值的拐点处将角膜神经分段，提取局部弯曲度特征，最后根据局部段的形态特征（长度，直径等）进行加权组合，以获得局部加权的弯曲度评估指标；其中图4中的虚线代表阈值选取。
此外，由于多个指标不能提供临床上对于弯曲度的直观评价，因此本发明采用有序加权平均聚合算法（OWA），该方法是一类在多属性群决策中常用的解决方法；该类运算符的关键步骤为对输入变量按其降序重新排列，然后给每一个变量赋予相应的权重。设（b1，b2…bn）为单支角膜神经的n个形态特征，则使用OWA计算出该图像的特征如下所示：
其中为b1，b2…bn中第i大的值，/>为聚合时的权重向量，满足。通过调整权重向量的值，可以聚合出不同的形态特征。权重向量可以通过调节应力函数和态度特征的方式确定。
S3建立基于所述角膜神经图像信息的角膜神经拓扑结构；
步骤S3具体包括：S301采用形态学细化算法迭代去除角膜神经外部像素，得到特定血管结构；S302采用3*3滑动窗口检测关键节点，在分叉点和交叉点处将分割图像断开，得到多个独立的血管段，并采用三次样条拟合进行中心线拟合，得到每一段神经的中心线信息；S303将每一段神经的起点和终点作为图论中的点V，根据邻域信息连接相邻的点形成图论中的边E，以此建立角膜神经网络的无向图G(V，E)；S304提取神经段的特征向量，在相邻点集处使用优势集进行特征向量聚类，并以此作为两点之间的相似性度量W，建立角膜神经的带权无向图G（V，E，W）；S305将落在图像边缘像素内的点作为起始点S，引入虚拟点并与各角膜神经树起点相连，采用最小生成树算法计算最小子图，最后去除虚拟点，得到/>个独立神经树，完成角膜神经的拓扑估计。
本发明将角膜神经的拓扑估计转化为图优化问题，即将复杂的神经网络用包含点和边的图G来表示，然后在图G中使用最小生成树算法实现拓扑估计，预实验结果可如图5所示；具体如下：
首先，在分割图像的基础上采用形态学细化算法，迭代的去除角膜神经外部像素，得到只有一个像素宽的血管结构；然后采用3*3的滑动窗口检测关键节点，其中将检测到的点分为：终点节点（邻域内只有一个相邻像素），连接点（邻域内有两个相邻像素），分叉点（邻域内有三个相邻像素），交叉点（邻域内相邻像素数量大于三），在分叉点和交叉点处将分割图像断开，得到多个独立的血管段，接下来采用三次样条拟合进行中心线拟合，得到每一段神经的中心线信息。将每一段神经的起点和终点作为图论中的点V，根据邻域信息连接相邻的点形成图论中的边E，以此建立角膜神经网络的无向图G(V，E)；然后提取神经段的特征向量，其中包括方向以及直径信息，在相邻点集处使用优势集进行特征向量聚类来降低特征向量维数，并以此作为两点之间的相似性度量W，并建立角膜神经的带权无向图G（V，E，W）；将落在图像边缘像素内的点作为起始点S；引入虚拟的点，并与各角膜神经树的起点相连，将角膜神经拓扑估计问题转化为以该虚拟的点为起点的最小图问题，采用最小生成树算法计算最小子图，最后去除虚拟的点，即可得到|S|个独立的神经树，完成角膜神经的拓扑估计。
为解决图优化问题，关键在于如何建立邻接矩阵，即如何计算相邻节点之间的相似性，本发明提出使用优势集聚类来实现相邻神经段之间的相似性度量，具体来说，图优化问题就是需要寻找在关键点处神经段之间的连接关系，使得损失误差最小；然而由于特征向量之间的二范数无法准确的反映不同神经段之间的相似性，因此本发明使用优势集的方法实现相邻神经段之间的聚类，有效的缩小相同类别的类内间距并且增大不同类别之间的类间距；其中优势集可通过解决一个标准的二次规划问题来获得，具体公式如下：
其中A是图G的邻接矩阵，得到为上式的局部解，如果/>中的第i个元素大于零，就意味着G中的第i个元素是属于优势集。
S4通过角膜神经拓扑结构对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度。
其中，步骤“S4通过角膜神经拓扑结构对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度”具体为：根据角膜神经的拓扑分级信息定义优先级（I1，I2，…In），根据角膜神经长度定义优先级（L1，L2，…Ln）；按照优先级I > L对拓扑树中各神经段进行排序，并使用IGOWA计算出神经树个体弯曲度；调整权重向量的值，可聚合出神经树个体化的弯曲度度量值；按照长度诱导广义有序加权平均对个体化的神经树进行聚合得到角膜神经图像的弯曲度。
考虑到角膜神经存在分级，不同层级的角膜神经对于临床诊断具有不同的意义，因此在拓扑结构的基础上对每一个神经树状结构进行各异性分析，根据拓扑结构中角膜神经的分级信息以及连通性。本发明采用诱导广义有序加权平均方法，与普通的OWA相比，该方法考虑到了角膜神经的形态各异性。首先根据角膜神经的拓扑分级信息定义优先级（I1，I2，…In），n为神经树中神经段的个数，该神经段越接近根节点且拓扑分级级数越高则Ii越大，其次根据角膜神经长度定义优先级（L1，L2，…Ln），神经段越长Li越大。按照优先级I > L对拓扑树中各神经段进行排序。因此使用IGOWA计算出神经树个体弯曲度如下式所示：
其中为按照优先级排列的序列中第i个神经段的弯曲度指标，/>为聚合时的权重向量，满足/>，/>。通过调整权重向量的值，可聚合出神经树个体化的弯曲度度量值。权重向量可以通过调节应力函数和态度特征的方式确定。最后按照长度诱导广义有序加权平均对个体化的神经树进行聚合得到角膜神经图像的弯曲度。
如图6所示，本实施例还公开一种基于拓扑结构的神经图像弯曲度估计装置，其包括以下：
获取分析模块，用于获取角膜神经图像信息，通过深度学习网络分隔所述角膜神经图像信息得到角膜神经网络片段；
弯曲度度量模块，用于计算所述角膜神经网络片段的弯曲度指标，采用加权平均聚合算法对所述角膜神经网络片段进行弯曲度指标聚合并得出弯曲度聚合指标；
角膜神经建立拓扑模块，用于建立基于所述角膜神经图像信息的角膜神经拓扑结构；
聚合处理模块，用于通过角膜神经拓扑结构对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度。
特别的，“弯曲度指标”具体包括基于曲率评估指标、基于方向角变化指标和基于拱到弦的距离指标。
特别的，“建立基于所述角膜神经图像信息的角膜神经拓扑结构”具体包括：采用形态学细化算法迭代去除角膜神经外部像素，得到特定血管结构；采用3*3滑动窗口检测关键节点，在分叉点和交叉点处将分割图像断开，得到多个独立的血管段，并采用三次样条拟合进行中心线拟合，得到每一段神经的中心线信息；将每一段神经的起点和终点作为图论中的点V，根据邻域信息连接相邻的点形成图论中的边E，以此建立角膜神经网络的无向图G(V，E)；提取神经段的特征向量，在相邻点集处使用优势集进行特征向量聚类，并以此作为两点之间的相似性度量W，建立角膜神经的带权无向图G（V，E，W）；将落在图像边缘像素内的点作为起始点S，引入虚拟点并与各角膜神经树起点相连，采用最小生成树算法计算最小子图，最后去除虚拟点，得到/>个独立神经树，完成角膜神经的拓扑估计。
特别的，关键节点具体包括终点节点、连接点、分叉点和交叉点。
特别的，“通过角膜神经拓扑结构对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度”具体为：根据角膜神经的拓扑分级信息定义优先级（I1，I2，…In），根据角膜神经长度定义优先级（L1，L2，…Ln）；按照优先级I > L对拓扑树中各神经段进行排序，并使用IGOWA计算出神经树个体弯曲度；调整权重向量的值，可聚合出神经树个体化的弯曲度度量值；按照长度诱导广义有序加权平均对个体化的神经树进行聚合得到角膜神经图像的弯曲度。
本实施例还可公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
本实施例还可一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于拓扑结构的神经图像弯曲度估计方法，其特征在于，包括以下步骤：
S1获取角膜神经图像信息，通过深度学习网络分隔所述角膜神经图像信息得到角膜神经网络片段；
S2计算所述角膜神经网络片段的弯曲度指标，采用加权平均聚合算法对所述角膜神经网络片段进行弯曲度指标聚合并得出弯曲度聚合指标；
S3建立基于所述角膜神经图像信息的角膜神经拓扑结构；
S4通过角膜神经拓扑结构对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度；
其中，所述步骤S3建立基于所述角膜神经图像信息的角膜神经拓扑结构具体包括：S301采用形态学细化算法迭代去除角膜神经外部像素，得到特定血管结构；S302采用3*3滑动窗口检测关键节点，在分叉点和交叉点处将分割图像断开，得到多个独立的血管段，并采用三次样条拟合进行中心线拟合，得到每一段神经的中心线信息；S303将每一段神经的起点和终点作为图论中的点V，根据邻域信息连接相邻的点形成图论中的边E，以此建立角膜神经网络的无向图G(V，E)；S304提取神经段的特征向量，在相邻点集处使用优势集进行特征向量聚类，并以此作为两点之间的相似性度量W，建立角膜神经的带权无向图G（V，E，W）；S305将落在图像边缘像素内的点作为起始点S，引入虚拟点并与各角膜神经树起点相连，采用最小生成树算法计算最小子图，最后去除虚拟点，得到/>个独立神经树，完成角膜神经的拓扑估计；其中，所述步骤S4通过角膜神经拓扑结构对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度具体为：根据角膜神经的拓扑分级信息定义优先级（I1，I2，…In），n为神经树中神经段的个数，根据角膜神经长度定义优先级（L1，L2，…Ln）；按照优先级I > L对拓扑树中各神经段进行排序，并使用IGOWA计算出神经树个体弯曲度；调整权重向量的值，可聚合出神经树个体化的弯曲度度量值；按照长度诱导广义有序加权平均对个体化的神经树进行聚合得到角膜神经图像的弯曲度；
其中，IGOWA计算出神经树个体弯曲度的方式如下所示：
为按照优先级排列的序列中第i个神经段的弯曲度指标，/>为聚合时的权重向量，满足/>，/>。
2.根据权利要求1所述的一种基于拓扑结构的神经图像弯曲度估计方法，其特征在于，所述步骤S2中弯曲度指标具体包括基于曲率评估指标、基于方向角变化指标和基于拱到弦的距离指标。
3.根据权利要求1所述的一种基于拓扑结构的神经图像弯曲度估计方法，其特征在于，所述关键节点具体包括终点节点、连接点、分叉点和交叉点。
4.一种基于拓扑结构的神经图像弯曲度估计装置，其特征在于，包括以下：
获取分析模块，用于获取角膜神经图像信息，通过深度学习网络分隔所述角膜神经图像信息得到角膜神经网络片段；
弯曲度度量模块，用于计算所述角膜神经网络片段的弯曲度指标，采用加权平均聚合算法对所述角膜神经网络片段进行弯曲度指标聚合并得出弯曲度聚合指标；
角膜神经建立拓扑模块，用于建立基于所述角膜神经图像信息的角膜神经拓扑结构；
聚合处理模块，用于通过角膜神经拓扑结构对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度；
其中，所述建立基于所述角膜神经图像信息的角膜神经拓扑结构具体包括：采用形态学细化算法迭代去除角膜神经外部像素，得到特定血管结构；采用3*3滑动窗口检测关键节点，在分叉点和交叉点处将分割图像断开，得到多个独立的血管段，并采用三次样条拟合进行中心线拟合，得到每一段神经的中心线信息；将每一段神经的起点和终点作为图论中的点V，根据邻域信息连接相邻的点形成图论中的边E，以此建立角膜神经网络的无向图G(V，E)；提取神经段的特征向量，在相邻点集处使用优势集进行特征向量聚类，并以此作为两点之间的相似性度量W，建立角膜神经的带权无向图G（V，E，W）；将落在图像边缘像素内的点作为起始点S，引入虚拟点并与各角膜神经树起点相连，采用最小生成树算法计算最小子图，最后去除虚拟点，得到/>个独立神经树，完成角膜神经的拓扑估计；其中，所述通过角膜神经拓扑结构对角膜神经网络片段各异性分析，采用诱导广义有序加权平均方法对弯曲度聚合指标融合得到角膜神经图像的弯曲度具体为：根据角膜神经的拓扑分级信息定义优先级（I1，I2，…In），n为神经树中神经段的个数，根据角膜神经长度定义优先级（L1，L2，…Ln）；按照优先级I > L对拓扑树中各神经段进行排序，并使用IGOWA计算出神经树个体弯曲度；调整权重向量的值，可聚合出神经树个体化的弯曲度度量值；按照长度诱导广义有序加权平均对个体化的神经树进行聚合得到角膜神经图像的弯曲度；
其中，IGOWA计算出神经树个体弯曲度的方式如下所示：
为按照优先级排列的序列中第i个神经段的弯曲度指标，/>为聚合时的权重向量，满足/>，/>。
5.根据权利要求4所述的一种基于拓扑结构的神经图像弯曲度估计装置，其特征在于，所述弯曲度指标具体包括基于曲率评估指标、基于方向角变化指标和基于拱到弦的距离指标。
6.根据权利要求4所述的一种基于拓扑结构的神经图像弯曲度估计装置，其特征在于，所述关键节点具体包括终点节点、连接点、分叉点和交叉点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010512030.6A CN111784641B (zh) | 2020-06-08 | 2020-06-08 | 一种基于拓扑结构的神经图像弯曲度估计方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010512030.6A CN111784641B (zh) | 2020-06-08 | 2020-06-08 | 一种基于拓扑结构的神经图像弯曲度估计方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111784641A CN111784641A (zh) | 2020-10-16 |
| CN111784641B true CN111784641B (zh) | 2024-04-05 |
Family
ID=72754713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010512030.6A Active CN111784641B (zh) | 2020-06-08 | 2020-06-08 | 一种基于拓扑结构的神经图像弯曲度估计方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784641B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114305391A (zh) * | 2021-11-04 | 2022-04-12 | 上海市儿童医院 | 一种深度学习对尿道下裂阴茎弯曲度的测量方法 |
| CN115511883B (zh) * | 2022-11-10 | 2023-04-18 | 北京鹰瞳科技发展股份有限公司 | 确定视网膜眼底血管的弯曲度的方法、设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685770A (zh) * | 2018-12-05 | 2019-04-26 | 合肥奥比斯科技有限公司 | 视网膜血管弯曲度确定方法 |
| CN110796086A (zh) * | 2019-10-30 | 2020-02-14 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 一种基于局部相位张量算法的as-oct图像的虹膜分割方法 |
| CN111134613A (zh) * | 2019-11-21 | 2020-05-12 | 明灏科技（北京）有限公司 | 一种基于图像识别的角膜塑形镜验配方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9757022B2 (en) * | 2015-05-12 | 2017-09-12 | The Johns Hopkins University | Automated methods to count corneal subbasal nerves |
-
2020
- 2020-06-08 CN CN202010512030.6A patent/CN111784641B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685770A (zh) * | 2018-12-05 | 2019-04-26 | 合肥奥比斯科技有限公司 | 视网膜血管弯曲度确定方法 |
| CN110796086A (zh) * | 2019-10-30 | 2020-02-14 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 一种基于局部相位张量算法的as-oct图像的虹膜分割方法 |
| CN111134613A (zh) * | 2019-11-21 | 2020-05-12 | 明灏科技（北京）有限公司 | 一种基于图像识别的角膜塑形镜验配方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| Automated Tortuosity Analysis of Nerve Fibers in Corneal Confocal Microscopy;Yitian Zhao等;《IEEE Transactions on Medical Imaging》;第39卷(第9期);2725-2737 * |
| Topology Reconstruction of Tree-Like Structure in Images via Structural Similarity Measure and Dominant Set Clustering;Jianyang Xie等;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;8505-8513 * |
| 一种基于改进ResU-Net的角膜神经分割算法;郝华颖 等;《计算机工程》;217-223 * |
| 一种基于眼底图像的视网膜血管三维重建方法;车辉;《中国优秀硕士学位论文全文数据库信息科技辑》;I138-980 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111784641A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109166124A (zh) | 一种基于连通区域的视网膜血管形态量化方法 | |
| CN111784641B (zh) | 一种基于拓扑结构的神经图像弯曲度估计方法及装置 | |
| Ghosh et al. | Grid color moment features in glaucoma classification | |
| WO2010117573A2 (en) | Automated measurement of brain injury indices using brain ct images, injury data, and machine learning | |
| CN106815853A (zh) | 对眼底图像中视网膜血管的分割方法和装置 | |
| CN112465772B (zh) | 眼底彩照图像血管评估方法、装置、计算机设备和介质 | |
| CN104573712A (zh) | 基于眼底图像的动静脉视网膜血管分类方法 | |
| CN116236150A (zh) | 基于眼底图像的动静脉血管图像分割方法 | |
| CN113243887B (zh) | 一种老年黄斑变性智能诊疗仪 | |
| CN104545792A (zh) | 眼底图像的动静脉视网膜血管视盘定位方法 | |
| CN102567734A (zh) | 基于比值的视网膜细小血管分割方法 | |
| CN106446805B (zh) | 一种眼底照中视杯的分割方法及系统 | |
| Zheng et al. | Five-category intelligent auxiliary diagnosis model of common fundus diseases based on fundus images | |
| Maqsood et al. | Detection of macula and recognition of aged-related macular degeneration in retinal fundus images | |
| CN113256638A (zh) | 基于卷积神经网络模型的眼球角膜神经分割方法及装置 | |
| Poletti et al. | Automatic nerve tracking in confocal images of corneal subbasal epithelium | |
| KR20220052166A (ko) | 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(ct)을 이용한 갑상선안병증(go) 진단 방법 | |
| CN114898882B (zh) | 基于超声对右心功能进行评估的方法和系统 | |
| CN116452571A (zh) | 一种基于深度神经网络的图像识别方法 | |
| CN116453700A (zh) | 一种基于血管特征的多层次递阶结构式分型方法 | |
| EP4365829A1 (en) | Binocular keratoconus diagnosis method based on multi-modal data | |
| CN115511883A (zh) | 确定视网膜眼底血管的弯曲度的方法、设备和存储介质 | |
| CN112419256A (zh) | 基于模糊图神经网络的糖网病眼底图像分级方法 | |
| CN116596950B (zh) | 特征加权聚类的视网膜眼底血管追踪方法 | |
| George et al. | Oct segmentation using convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |