CN114119579A - 一种基于血管结构相似度的视网膜图像主血管识别方法 - Google Patents
一种基于血管结构相似度的视网膜图像主血管识别方法 Download PDFInfo
- Publication number
- CN114119579A CN114119579A CN202111451650.4A CN202111451650A CN114119579A CN 114119579 A CN114119579 A CN 114119579A CN 202111451650 A CN202111451650 A CN 202111451650A CN 114119579 A CN114119579 A CN 114119579A
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- image
- retinal image
- retinal
- retina
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 299
- 210000001525 retina Anatomy 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000004256 retinal image Effects 0.000 claims abstract description 143
- 230000002792 vascular Effects 0.000 claims abstract description 13
- 238000005452 bending Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013138 pruning Methods 0.000 claims description 4
- 230000002207 retinal effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 210000003462 vein Anatomy 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 208000017442 Retinal disease Diseases 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000001994 temporal artery Anatomy 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 241000735234 Ligustrum Species 0.000 description 1
- 241000830535 Ligustrum lucidum Species 0.000 description 1
- 208000003435 Optic Neuritis Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及一种基于血管结构相似度的视网膜图像主血管识别方法，属于图像处理及目标识别技术领域。包括：1)视网膜图像血管跟踪，得到视网膜图像血管的跟踪图；2)利用视网膜图像血管的跟踪图计算视网膜图像血管的相关参数；其中，相关参数包括血管直径、血管长度、血管角度以及血管弯曲度；3)确定视网膜图像主血管识别的视网膜参考图像；4)视网膜图像血管结构相似度计算，得到血管结构相似度代价得分；5)对视网膜图像主血管进行识别，得到视网膜图像主血管的识别结果。所述方法能实现视网膜主血管的自动识别，且识别结果更加准确；具有一定应用和商业价值；从而减少了医生的工作量，提高了诊断的速度、效率和精度。
Description
技术领域
本发明涉及一种基于血管结构相似度的视网膜图像主血管识别方法，属于图像处理及目标识别技术领域。
背景技术
视网膜图像主血管是视网膜图像中央血管进入眼底后分为的颞区上动脉、颞区上静脉、颞区下动脉、颞区下静脉、鼻区上动脉、鼻区上静脉、鼻区下动脉、鼻区下静脉这八大主血管。已有研究表明，视网膜图像主血管的形态结构与眼底的许多疾病都有所联系，例如糖尿病视网膜病变、黄斑病变、视神经炎、青光眼等。另一方面，视网膜疾病的发病率逐年升高，如何有效的进行早期诊断和治疗成为当下亟待解决的问题。所以视网膜图像主血管在预防与诊断相关视网膜病变等方面具有越来越重要的意义。
目前，视网膜图像主血管在视网膜图像上的位置标注大多数由专业眼科医生通过肉眼观察实现的，这一过程耗时耗力。所以完成视网膜图像主血管的自动识别方法具有极大的应用前景。目前已有的视网膜图像血管识别方法主要针对的是视网膜图像血管的动静脉，对于视网膜图像主血管的识别方法比较少。
发明内容
本发明的目的在于实现视网膜图像主血管识别，提出了一种基于血管结构相似度的视网膜图像主血管识别方法，能较精确地实现视网膜图像主血管的识别，并得到视网膜图像主血管的标签。
为了达到上述目的，本发明采取如下技术方案。
1.一种基于血管结构相似度的视网膜图像主血管识别方法，其特征在于：包括如下步骤：
步骤一：视网膜图像血管跟踪，得到视网膜图像血管的跟踪图，具体为：首先，进行视网膜图像血管分割，得到视网膜图像血管的分割图；然后，利用视盘定位方法对视网膜图像的视盘进行定位，定位好视盘后，确定视网膜图像血管跟踪的起始点和方向；同时利用特征点检测方法检测出视网膜图像血管的特征点；最后，利用动态半椭圆方法对视网膜图像血管进行跟踪，得到视网膜图像血管的跟踪图；
步骤一、具体包括如下步骤：
步骤1.1：视网膜图像血管分割，具体为：利用U-Net深度学习方法得到视网膜图像血管分割的预测图，然后再使用多尺度线性检测方法对视网膜图像血管分割的预测图进行二值化，得到视网膜图像血管的分割图；
步骤1.2：视网膜图像血管跟踪起始点检测；具体为：利用视盘定位方法对视网膜图像的视盘进行定位，得到视盘的中心点坐标以及视盘的半径；然后选取距离视盘中心N倍半径的圆与视网膜图像血管的交点即作为视网膜图像的血管跟踪的起始点，将视盘中心与起始点连线的方向确定为血管跟踪的方向；
步骤1.3：视网膜图像血管的特征点检测，具体为：利用细化方法对视网膜图像血管分割图进行细化；然后遍历细化图中每个血管的像素点，寻找它的8个相邻像素点组成相邻领域，并依次计算相邻两个像素点相减的绝对值后再相加除以二，得到视网膜图像血管的特征点；
步骤1.4：对视网膜图像血管进行跟踪，得到视网膜图像血管的跟踪图，具体为：利用一个可自动调节尺寸的动态半椭圆方法来检测视网膜图像血管的边界点，在视网膜图像血管跟踪的过程中动态半椭圆方法会根据视网膜图像中血管的直径动态的改变其长轴和短轴，得到视网膜图像血管的跟踪图，从而完成视网膜图像血管的跟踪；
步骤二：利用视网膜图像血管的跟踪图计算视网膜图像血管的相关参数；
其中，视网膜图像血管的相关参数，包括血管直径、血管长度、血管角度以及血管弯曲度；
其中，血管直径的计算采用视网膜图像血管跟踪得到的边界点所在的直线为基准，左右选取0～60度中合适的角度范围进行旋转，每隔x度计算一次两边界的距离，选取最小的作为血管直径，再累加平均得到；其中，x的取值范围为0～5度；
血管长度的计算，具体为：先找到视网膜图像中血管直径所在边界的两个交点的中心点，然后计算每两中心点间的距离，再累加；
血管角度的计算，具体为：计算视网膜图像中血管与水平方向的夹角；
血管弯曲度的计算，具体为：计算视网膜图像中每段血管的弯曲度即弧长除以弦长，再累加；
步骤三：确定视网膜图像主血管识别的视网膜参考图像，具体为：利用视网膜图像数据集中医生给的视网膜图像主血管的标签，选择视网膜图像中主血管分布比较均匀、结构形态比较规整且血管根数较多的视网膜图像作为视网膜图像主血管识别的视网膜参考图像；
步骤四：视网膜图像血管结构相似度计算，具体为：首先建立血管树，对视网膜图像中的血管树进行剪枝、合并及排序，把视网膜图像中的血管建立成一棵棵血管树；然后对视网膜图像中的血管树的参数赋予相应的权重系数；再者判断视网膜图像是左眼图还是右眼图，如果是左眼图，则将其反转为右眼图；最后利用血管结构相似方法计算视网膜图像血管之间的相似程度，得到血管结构相似度代价得分，具体包括如下步骤：
步骤4.1：建立血管树，具体为：利用视网膜图像中血管结构的特点，将每根血管进行剪枝和合并，再利用后序排序对血管树中的节点进行排序，得到排序后的血管树；
其中，血管树中的节点为血管段，且血管树的父亲节点为一级血管段，血管树的左右孩子节点为二级以上血管段；血管树中的分支节点为血管的分支点，且血管段和分支点构成血管树；
步骤4.2：对血管树赋予权重；具体为：利用血管段所在的级别对血管的参数赋予不同的权重；对于血管长度、血管直径，一级血管段参数赋予的权重要大于二级血管段，二级血管段参数权重大于三级，三级血管段参数赋予的权重大于四级，四级之后的血管段参数赋予的参数相同；对于血管弯曲度，根据血管弯曲度的不同赋予不同的权重；
步骤4.3：判断视网膜图像是左眼图还是右眼图，并将左眼图进行反转变成右眼图，具体为：利用视网膜图像的视盘中心位置判断左右眼图，如果视盘中心点坐标小于视网膜图像的中心点的坐标，则该图是左眼图，反之，则为右眼图；判断好左右眼图后，将左眼图进行反转变成右眼图；
步骤4.4：利用血管结构相似性方法，得到视网膜图像血管结构相似度代价得分，具体为：利用树编辑距离方法将视网膜图像中一棵血管树经过多种的树编辑操作序列转换为另外一棵血管树，在操作过程中，为每一步基本编辑操作赋予一定的代价；再利用动态分析方法，选取操作序列中代价总和最小的作为树编辑距离，即为视网膜图像血管结构相似度代价得分；
其中，树编辑距离方法的基本操作，包括插入一个节点、删除一个节点、将一个节点改变为另一个节点；
步骤五：对视网膜图像主血管进行识别，得到视网膜图像主血管的识别结果，具体为：将视网膜图像血管结构相似度代价得分结合控制条件，对视网膜图像中的血管与视网膜参考图像中的血管进行匹配，得到对视网膜图像主血管的识别结果；
其中，控制条件，包括视网膜图像中血管的空间位置、视网膜图像血管的动静脉标签、视网膜图像血管之间的角度差以及视网膜图像血管直径；
视网膜图像中血管的空间位置，指该血管位于视网膜图像视盘之上区域还是之下区域；
视网膜图像血管的动静脉标签，具体利用U-Net深度学习框架对视网膜图像血管的动静脉进行预测得到；
视网膜图像血管之间的角度差，即两张视网膜图像中血管之间的角度差；
至此，从步骤一到步骤五，完成了一种基于血管结构相似度的视网膜图像主血管识别方法。
有益效果
本发明提出了一种基于血管结构相似度的视网膜图像主血管识别方法，与现有技术相比，具有如下有益效果：
1、所述方法，步骤1.3具体实施时，为了确保视网图像血管跟踪结果的准确性，利用人工对跟踪不好的视网膜图像血管进行修正，得到最终的视网膜图像血管跟踪结果；
2、所述方法采用树编辑距离结合视网膜图像血管的参数对视网膜图像血管结构相似度计算，并且结合控制条件，能实现视网膜主血管的自动识别，并且识别结果更加准确；
3、所述方法具有一定的应用和商业价值，它能嵌入视网膜图像血管参数测量软件中，帮助识别视网膜图像主血管，从而测量相关的视网膜图像血管参数；
4、所述方法也应用于临床科研与临床诊断中，自动识别视网膜图像主血管并给出对应的标签，从而减少了医生的工作量，提高了诊断的速度、效率和精度。
附图说明
图1为本发明一种基于血管结构相似度的视网膜图像主血管识别方法以及实例中的流程示意图。
具体实施方式
下面结合附图并举例实施例，对本发明一种基于血管结构相似度的视网膜图像主血管识别方法进行详细的描述。
实施例1
图1是本发明具体实施中视网膜图像主血管识别方法的流程图，所述方法包括：1)视网膜图像血管跟踪，得到视网膜图像血管的跟踪图；2)利用视网膜图像血管的跟踪图计算视网膜图像血管的相关参数；其中，相关参数包括血管直径、血管长度、血管角度以及血管弯曲度；3)确定视网膜图像主血管识别的视网膜参考图像；4)视网膜图像血管结构相似度计算，得到血管结构相似度代价得分；5)对视网膜图像主血管进行识别，得到视网膜图像主血管的识别结果。应用于临床科研与临床诊断中，自动识别视网膜图像主血管并给出对应的标签，从而减少了医生的工作量，提高了诊断的速度、效率和精度，具体包括如下步骤：
步骤A：视网膜图像血管跟踪，选取了由安贞医院提供的1087张彩色眼底图。首先进行视网膜图像血管分割，然后进行视网膜图像血管跟踪，最后通过人工修改得到最终的视网膜图像血管跟踪结果。
步骤A.1：首先利用U-Net对视网膜图像血管进行分割，得到视网膜图像血管的分割预测图，然后再使用多尺度线性检测方法对视网膜图像血管分割预测图进行二值化。
步骤A.2：为了确定视网膜图像血管跟踪的起始点和跟踪方向，首先输入原始视网膜图像进行视盘定位和视盘半径的计算，然后以视网膜图像视盘中心为圆心，1～1.5倍视盘半径为半径画圆；再逐个判断圆与视网膜图像血管的交点从而确定视网膜图像血管跟踪的起始点；视网膜图像中视盘中心与血管跟踪起始点连线方向作为视网膜图像血管跟踪的方向。
步骤A.3：为了让视网膜图像血管跟踪的效果更好，在视网膜图像血管跟踪前需要判断视网膜图像中血管的特征点，其中包括端点、分支点与交叉点等。视网膜图像血管的特征点检测需要视网膜图像血管分割图像。首先需要细化视网膜图像血管的分割图，然后寻找它的8个相邻领域，依次计算相邻两个像素点相减的绝对值后再相加除以二，如公式(1)所示，得到特征点的坐标并且保存。
其中Pi和Pi+1为相邻像素点的像素值。若I(V)值为1，则该像素点为端点；若I(V)的值为2，则该像素点为内部点；若I(V)的值为3则为分支点；若I(V)的值为4则为交叉点。
步骤A.4：视网膜图像血管跟踪过程中采用的是半椭圆动态搜索的方法，该方法需要根据视网膜图像血管的起始点和跟踪方向以及特征点的位置对血管进行跟踪，同时也会删除跟踪重复的点，保证跟踪的准确性。为了确保视网膜图像血管跟踪的准确性，对跟踪错误的血管进行人工修正。即体现了有益效果第一条的优势：利用人工对跟踪不好的视网膜图像血管进行修正，得到最终的视网膜图像血管跟踪结果。
步骤B：视网膜图像血管参数测量：为了更加准确的描述视网膜图像中血管结构的相似度，需要增加视网膜图像血管结构的信息。选取的血管参数为血管直径、血管长度、血管角度和血管弯曲度。此处体现了有益效果第三条，即所述方法具有一定的应用和商业价值，它能嵌入视网膜图像血管参数测量软件中，帮助识别视网膜图像主血管，从而测量相关的视网膜图像血管参数。
步骤C：视网膜参考图像的选取，为了更加准确的识别视网膜图像主血管，需要一个具有真实标签的视网膜图像作为引导。因此从安贞医院提供的视网膜图像中进行筛查，选择一张视网膜图像中血管分布较为均匀并且结构形态较为正常的图像作为参考图。
步骤D：为了计算视网膜图像血管结构相似度代价，首先需要将视网膜图像中的血管构建成血管树；然后对血管树的参数赋予不同的权重，对于不同等级的血管段参数赋予不同的参数；再者进行视网膜图像左右眼的判断，将左眼反转为右眼是为了更好的进行血视网膜图像血管结构相似度代价计算；最后利用树编辑距离方法结合视网膜图像血管参数进行血管相似度代价的计算。
步骤D.1：将视网膜图像中的血管构建为血管树，需要在视网膜图像血管跟踪的结果上进行。血管可以分为一级血管、二级血管、三级血管等，对应构建血管树就是父亲节点和孩子节点；构造好血管树后根据需求将血管树进行合并和剪枝的操作，进一步简化血管树。
步骤D.2：对视网膜图像中的血管树赋予权重，如公式(2)是对视网膜图像血管的长度、直径所赋予权重的判断，公式(3)是对视网膜图像血管的弯曲度赋予权重的判断，当进行树编辑操作时需要根据所操作的对象选取不同的权重系数。
其中，
和
是视网膜图像血管段i的长度权重和直径权重。
其中，Tori是视网膜图像血管段i的弯曲度参数值，
是视网膜图像血管段i弯曲度的权重值。
步骤D.3：为了让视网膜图像血管相似度代价计算的更加准确，需要根据左右眼对视网膜图像进行处理。根据视网膜图像的视盘中心处于图像中的位置判断左右眼，如果视盘中心点坐标小于视网膜图像中心点的坐标，则该图是左眼图，反之，则为右眼图；判断左右眼图后，将左眼图进行反转变成右眼图。
步骤D.4：根据树编辑距离方法对输入的视网膜图像中每根血管和参考图像中每根血管计算相似度代价，得到相似度代价矩阵。对视网膜图像中血管树的操作包括三个基本步骤插入、删除和改变一个节点，为了更加准确地计算视网膜图像中血管结构的相似度，在计算过程中加入了视网膜图像血管的直径、长度、弯曲度和角度，代价公式如(4)(5)(6)所示；最后树编辑距离，即为视网膜图像中血管结构相似代价，是利用动态分析的方法进行计算，如公式(7)所示。
其中，Finsert(i)表示插入一个血管段i的代价，Li、Di、Tori分别是该血管段i的长度、直径、弯曲度参数，
分别是血管段i的长度、直径、弯曲度的权重系数。
其中，Fdelete(j)表示删除一个血管段j的代价，Lj、Dj、Torj分别是血管段j的长度、直径、弯曲度参数，
分别是血管段j的长度、直径、弯曲度的权重系数。
Fchange(i,j)＝ε1*(Dij+θij)+ε2*Lij+Torij (6)
其中，Fchange(i,j)表示将血管段i改变为血管段j，Dij是血管段i和血管段j的直径差，θij是血管段i和血管段j的角度差，Lij是血管段i和血管段j的长度差，Torij是血管段i和血管段j的弯曲度差，ε1和ε2是权重因子，ε1＝3，ε2＝2。
其中，F(T1,T2)表示将血管树T1转换为血管树T2的树编辑距离，即血管树T1和血管树T2的相似度代价，F(T1-i,T2)是除去血管段i后T1剩余节点与T2的树编辑距离。
步骤E：根据步骤D.4得到的相似度代价矩阵，对视网膜图像中每根血管所对应的得分进行从小到大的排序，然后依次进行匹配；在匹配的过程中需要满足，首先两根视网膜图像血管是在视网膜图像的同一个区域内；其次两根视网膜图像血管的类型相同；再者两根视网膜图像血管的角度差不超过50度；视网膜图像血管的直径大于4pixel，满足上述四个条件才可以进行视网膜图像的血管匹配，最终识别视网膜图像中血管的类型。此处体现了有益效果第二条，即所述方法采用树编辑距离结合视网膜图像血管的参数对视网膜图像血管结构相似度计算，并结合控制条件，能实现视网膜主血管的自动识别，并且识别结果更加准确。如表一所示。
表一：视网膜主血管识别准确率对比
其中，没有控制条件，指只使用血管相似度算法对视网膜主血管进行识别。
加上控制条件，指血管相似度算法结合控制条件对视网膜主血管进行识别。
准确率，指识别正确的类别数除以该类别的总数目。
自此，就实现了视网膜图像主血管识别方法的全部过程。实验验证，该方法能有效实现视网膜图像主血管的识别，并且可以应用于不同的数据集上进行视网膜图像主血管的识别。实验结果表明视网膜图像主血管的识别结果与医生标注绝大数相同，因此能够辅助临床诊断。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于血管结构相似度的视网膜图像主血管识别方法，其特征在于：包括如下步骤：
步骤一：视网膜图像血管跟踪，得到视网膜图像血管的跟踪图，具体为：首先，进行视网膜图像血管分割，得到视网膜图像血管的分割图；然后，利用视盘定位方法对视网膜图像的视盘进行定位，定位好视盘后，确定视网膜图像血管跟踪的起始点和方向；同时利用特征点检测方法检测出视网膜图像血管的特征点；最后，利用动态半椭圆方法对视网膜图像血管进行跟踪，得到视网膜图像血管的跟踪图；
步骤二：利用视网膜图像血管的跟踪图计算视网膜图像血管的相关参数；
其中，视网膜图像血管的相关参数，包括血管直径、血管长度、血管角度以及血管弯曲度；
步骤三：确定视网膜图像主血管识别的视网膜参考图像，具体为：利用视网膜图像数据集中医生给的视网膜图像主血管的标签，选择视网膜图像中主血管分布比较均匀、结构形态比较规整且血管根数较多的视网膜图像作为视网膜图像主血管识别的视网膜参考图像；
步骤四：视网膜图像血管结构相似度计算，具体为：首先建立血管树，对视网膜图像中的血管树进行剪枝、合并及排序，把视网膜图像中的血管建立成一棵棵血管树；然后对视网膜图像中的血管树的参数赋予相应的权重系数；再者判断视网膜图像是左眼图还是右眼图，如果是左眼图，则将其反转为右眼图；最后利用血管结构相似方法计算视网膜图像血管之间的相似程度，得到血管结构相似度代价得分，具体包括如下步骤：
步骤4.1：建立血管树，具体为：利用视网膜图像中血管结构的特点，将每根血管进行剪枝和合并，再利用后序排序对血管树中的节点进行排序，得到排序后的血管树；
其中，血管树中的节点为血管段，且血管树的父亲节点为一级血管段，血管树的左右孩子节点为二级以上血管段；血管树中的分支节点为血管的分支点，且血管段和分支点构成血管树；
步骤4.2：对血管树赋予权重；具体为：利用血管段所在的级别对血管的参数赋予不同的权重；对于血管长度、血管直径，一级血管段参数赋予的权重要大于二级血管段，二级血管段参数权重大于三级，三级血管段参数赋予的权重大于四级，四级之后的血管段参数赋予的参数相同；对于血管弯曲度，根据血管弯曲度的不同赋予不同的权重；
步骤4.3：判断视网膜图像是左眼图还是右眼图，并将左眼图进行反转变成右眼图；
步骤4.4：利用血管结构相似性方法，得到视网膜图像血管结构相似度代价得分，具体为：利用树编辑距离方法将视网膜图像中一棵血管树经过多种的树编辑操作序列转换为另外一棵血管树，在操作过程中，为每一步基本编辑操作赋予一定的代价；再利用动态分析方法，选取操作序列中代价总和最小的作为树编辑距离，即为视网膜图像血管结构相似度代价得分；
步骤五：对视网膜图像主血管进行识别，得到视网膜图像主血管的识别结果，具体为：将视网膜图像血管结构相似度代价得分结合控制条件，对视网膜图像中的血管与视网膜参考图像中的血管进行匹配，得到对视网膜图像主血管的识别结果；
其中，控制条件，包括视网膜图像中血管的空间位置、视网膜图像血管的动静脉标签、视网膜图像血管之间的角度差以及视网膜图像血管直径。
2.根据权利要求1所述的一种基于血管结构相似度的视网膜图像主血管识别方法，其特征在于：步骤一、具体包括如下步骤：
步骤1.1：视网膜图像血管分割，具体为：利用U-Net深度学习方法得到视网膜图像血管分割的预测图，然后再使用多尺度线性检测方法对视网膜图像血管分割的预测图进行二值化，得到视网膜图像血管的分割图；
步骤1.2：视网膜图像血管跟踪起始点检测；具体为：利用视盘定位方法对视网膜图像的视盘进行定位，得到视盘的中心点坐标以及视盘的半径；然后选取距离视盘中心N倍半径的圆与视网膜图像血管的交点即作为视网膜图像的血管跟踪的起始点，将视盘中心与起始点连线的方向确定为血管跟踪的方向；
步骤1.3：视网膜图像血管的特征点检测，具体为：利用细化方法对视网膜图像血管分割图进行细化；然后遍历细化图中每个血管的像素点，寻找它的8个相邻像素点组成相邻领域，并依次计算相邻两个像素点相减的绝对值后再相加除以二，得到视网膜图像血管的特征点；
步骤1.4：对视网膜图像血管进行跟踪，得到视网膜图像血管的跟踪图，具体为：利用一个可自动调节尺寸的动态半椭圆方法来检测视网膜图像血管的边界点，在视网膜图像血管跟踪的过程中动态半椭圆方法会根据视网膜图像中血管的直径动态的改变其长轴和短轴，得到视网膜图像血管的跟踪图，从而完成视网膜图像血管的跟踪。
3.根据权利要求2所述的一种基于血管结构相似度的视网膜图像主血管识别方法，其特征在于：步骤二中，血管直径的计算采用视网膜图像血管跟踪得到的边界点所在的直线为基准，左右选取0～60度中合适的角度范围进行旋转，每隔x度计算一次两边界的距离，选取最小的作为血管直径，再累加平均得到；其中，x的取值范围为0～5度。
4.根据权利要求3所述的一种基于血管结构相似度的视网膜图像主血管识别方法，其特征在于：步骤二中，血管长度的计算，具体为：先找到视网膜图像中血管直径所在边界的两个交点的中心点，然后计算每两中心点间的距离，再累加。
5.根据权利要求4所述的一种基于血管结构相似度的视网膜图像主血管识别方法，其特征在于：步骤二中，血管角度的计算，具体为：计算视网膜图像中血管与水平方向的夹角。
6.根据权利要求5所述的一种基于血管结构相似度的视网膜图像主血管识别方法，其特征在于：步骤二中，血管弯曲度的计算，具体为：计算视网膜图像中每段血管的弯曲度即弧长除以弦长，再累加。
7.根据权利要求6所述的一种基于血管结构相似度的视网膜图像主血管识别方法，其特征在于：步骤4.3，具体为：利用视网膜图像的视盘中心位置判断左右眼图，如果视盘中心点坐标小于视网膜图像的中心点的坐标，则该图是左眼图，反之，则为右眼图；判断好左右眼图后，将左眼图进行反转变成右眼图；步骤4.4中，树编辑距离方法的基本操作，包括插入一个节点、删除一个节点、将一个节点改变为另一个节点。
8.根据权利要求7所述的一种基于血管结构相似度的视网膜图像主血管识别方法，其特征在于：步骤五中，视网膜图像中血管的空间位置，指该血管位于视网膜图像视盘之上区域还是之下区域。
9.根据权利要求8所述的一种基于血管结构相似度的视网膜图像主血管识别方法，其特征在于：步骤五中，视网膜图像血管的动静脉标签，具体利用U-Net深度学习框架对视网膜图像血管的动静脉进行预测得到。
10.根据权利要求9所述的一种基于血管结构相似度的视网膜图像主血管识别方法，其特征在于：步骤五中，视网膜图像血管之间的角度差，即两张视网膜图像中血管之间的角度差。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111169643 | 2021-10-08 | ||
| CN2021111696435 | 2021-10-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114119579A true CN114119579A (zh) | 2022-03-01 |
Family
ID=80369222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111451650.4A Pending CN114119579A (zh) | 2021-10-08 | 2021-12-01 | 一种基于血管结构相似度的视网膜图像主血管识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119579A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI803254B (zh) * | 2022-03-23 | 2023-05-21 | 國立中正大學 | 眼底影像之動靜脈辨識方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011022783A1 (en) * | 2009-08-28 | 2011-03-03 | Centre For Eye Research Australia | Feature detection and measurement in retinal images |
| US20170112372A1 (en) * | 2015-10-23 | 2017-04-27 | International Business Machines Corporation | Automatically detecting eye type in retinal fundus images |
| CN109685770A (zh) * | 2018-12-05 | 2019-04-26 | 合肥奥比斯科技有限公司 | 视网膜血管弯曲度确定方法 |
| CN109829942A (zh) * | 2019-02-21 | 2019-05-31 | 韶关学院 | 一种眼底图像视网膜血管管径自动量化方法 |
| CN110853020A (zh) * | 2019-11-13 | 2020-02-28 | 北京理工大学 | 基于拓扑结构和图谱的衡量视网膜血管网络相似性的方法 |
| CN111127447A (zh) * | 2019-12-26 | 2020-05-08 | 河南工业大学 | 基于生成式对抗网络的血管分割网络及方法 |
| CN113379741A (zh) * | 2021-08-10 | 2021-09-10 | 湖南师范大学 | 基于血管特征的视网膜血管分割方法、设备和存储介质 |
-
2021
- 2021-12-01 CN CN202111451650.4A patent/CN114119579A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011022783A1 (en) * | 2009-08-28 | 2011-03-03 | Centre For Eye Research Australia | Feature detection and measurement in retinal images |
| US20170112372A1 (en) * | 2015-10-23 | 2017-04-27 | International Business Machines Corporation | Automatically detecting eye type in retinal fundus images |
| CN109685770A (zh) * | 2018-12-05 | 2019-04-26 | 合肥奥比斯科技有限公司 | 视网膜血管弯曲度确定方法 |
| CN109829942A (zh) * | 2019-02-21 | 2019-05-31 | 韶关学院 | 一种眼底图像视网膜血管管径自动量化方法 |
| CN110853020A (zh) * | 2019-11-13 | 2020-02-28 | 北京理工大学 | 基于拓扑结构和图谱的衡量视网膜血管网络相似性的方法 |
| CN111127447A (zh) * | 2019-12-26 | 2020-05-08 | 河南工业大学 | 基于生成式对抗网络的血管分割网络及方法 |
| CN113379741A (zh) * | 2021-08-10 | 2021-09-10 | 湖南师范大学 | 基于血管特征的视网膜血管分割方法、设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI803254B (zh) * | 2022-03-23 | 2023-05-21 | 國立中正大學 | 眼底影像之動靜脈辨識方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Automatic cataract grading methods based on deep learning | |
| CN107730497B (zh) | 一种基于深度迁移学习的血管内斑块属性分析方法 | |
| CN107341812B (zh) | 一种基于超像素和密度聚类的序列肺结节图像分割方法 | |
| CN108073918B (zh) | 眼底视网膜的血管动静脉交叉压迫特征提取方法 | |
| CN116030061A (zh) | 一种基于视觉的硅胶成型效果检测方法 | |
| CN111932554A (zh) | 一种肺部血管分割方法、设备及存储介质 | |
| CN108961273B (zh) | 一种从ct影像中分割肺动脉和肺静脉的方法及系统 | |
| CN111161287A (zh) | 基于对称双向级联网络深度学习的视网膜血管分割方法 | |
| CN113240684B (zh) | 对提取出含冠脉中心线的掩膜数据转换为中心线点集方法 | |
| CN113011509B (zh) | 肺部支气管的分类方法、装置、电子设备和存储介质 | |
| CN114283407A (zh) | 一种自适应的白细胞自动分割、亚类检测方法及系统 | |
| CN111797900B (zh) | 一种oct-a图像的动静脉分类方法及装置 | |
| CN114119579A (zh) | 一种基于血管结构相似度的视网膜图像主血管识别方法 | |
| CN113516644B (zh) | 一种血管内光学相干层析成像分支血管识别方法 | |
| CN113313715B (zh) | 心脏动脉血管的分割方法、分割装置、设备和介质 | |
| CN108416769B (zh) | 基于预处理的ivoct图像易损斑块自动检测方法 | |
| CN114098779A (zh) | 尘肺病等级智能判别方法 | |
| Lau et al. | The singapore eye vessel assessment system | |
| CN116453700A (zh) | 一种基于血管特征的多层次递阶结构式分型方法 | |
| Zhao et al. | Automatic aortic dissection centerline extraction via morphology-guided CRN tracker | |
| CN116310114A (zh) | 一种多任务标签模型的冠脉点云数据处理优化方法 | |
| CN114693622B (zh) | 一种基于人工智能的斑块侵蚀自动检测系统 | |
| CN114332072A (zh) | 一种主动脉夹层疾病分型方法和装置、存储介质 | |
| CN111210436B (zh) | 晶状体分割方法、装置及存储介质 | |
| CN114445419A (zh) | 一种基于支气管拓扑结构的肺段分割方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |