CN108764286B - 一种基于迁移学习的血管图像中特征点的分类识别方法 - Google Patents

一种基于迁移学习的血管图像中特征点的分类识别方法 Download PDF

Info

Publication number
CN108764286B
CN108764286B CN201810372015.9A CN201810372015A CN108764286B CN 108764286 B CN108764286 B CN 108764286B CN 201810372015 A CN201810372015 A CN 201810372015A CN 108764286 B CN108764286 B CN 108764286B
Authority
CN
China
Prior art keywords
blood vessel
vessel image
feature points
points
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810372015.9A
Other languages
English (en)
Other versions
CN108764286A (zh
Inventor
秦臻
魏婉婉
秦志光
丁熠
周尔强
邓伏虎
赵洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810372015.9A priority Critical patent/CN108764286B/zh
Publication of CN108764286A publication Critical patent/CN108764286A/zh
Application granted granted Critical
Publication of CN108764286B publication Critical patent/CN108764286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于迁移学习的血管图像中特征点的分类识别方法，包括血管图像模拟训练和血管图像类型识别两部分；在血管图像模拟训练中通过制作特征点数据集，并利用特征点数据集对深度学习模型进行训练，获得基于迁移学习的血管图像中特征点的分类模型，在血管图像类型识别中提取血管图像的特征点，将提取的特征点输入到血管图像模拟训练中得到的基于迁移学习的血管图像中特征点的分类模型，获得血管图像中特征点的的类型。本发明利用分类模型能准确快速的识别血管图像中特征点是分叉点还是交叉点，解决了现有方法存在的步骤繁杂、准确性和效率低的问题，对临床医学有莫大的帮助作用。

Description

一种基于迁移学习的血管图像中特征点的分类识别方法
技术领域
本发明涉及迁移学习与图像处理的技术领域，具体涉及一种基于迁移学习的血管图像中特征点的分类识别方法。
背景技术
医学图像处理是随着计算机技术的发展和成熟以及临床诊断技术的进步而迅速发展起来的一门新兴学科与技术，如今医学图像处理技术在临床上的应用越来越广泛。同时，由于全球财富日益增长和老龄化，所有影响血管网络的全身性疾病变得越来越普遍，如年龄相关性黄斑变性、糖尿病性视网膜病变、青光眼、高血压，动脉硬化和多发性硬化糖等。而眼底图像常用于诊断这些病理,血管系统在分叉和交叉处的几何特性，如交叉角度、血管宽度、分叉不对称性和分支角度的改变等都是不健康血管的指标，究其原因是由于几种疾病如视网膜分支静脉阻塞，糖尿病性视网膜病变和阿尔茨海默病导致的。在这些情况下，分叉点和交叉点(一起被称为特征点)都是衡量血管系统健康的关键的标志。因为疾病会导致分叉和交叉点形状的改变，而如果要使用交叉点的诊断信息，那么首先要识别并分类它们。研究分叉交叉点的识别和分类在临床医学上有很大的意义，因为它可以展示由于年龄或者疾病导致的形态变异。同时分支交叉等特征点是预测心血管疾病、图像分析、图像拼接和生物学应用(例如基于视网膜血管的身份识别)的重要特征点。所构成的网点结构，可以预报和诊断诸如血管阻塞、高血压和糖尿病等疾病的发生及其程度。而对于血管分级领域，由于分级的依据是分叉的级数，所以分支分叉点的检测和分类是对于分级来讲是至关重要的。因此，对血管图像中特征点的识别和分类在临床诊疗中越来越被重视，血管的检查对这些疾病的早期识别和预防至关重要。
在图像配准方面，分叉点和交叉点作为特征向量用来匹配相应的图像。图像配准是指依据一些相似性度量决定图像间的变换参数,使从不同传感器、不同视角、不同时间获取的同一场景的两幅或多幅图像,变换到同一坐标系下,在像素层上得到最佳匹配的过程。它是图像融合、目标识别、目标变化检测、计算机视觉等问题中的一个重要前期步骤,在军事、遥感、医学等领域有着广泛地应用。其中用于配准的关键特征点之一就是分叉交叉点，将分叉交叉点构成的网络进行匹配是图像配准的一个关键步骤。所以，特征点的提取在图像配准方面亦是非常重要的操作。
当今，临床上进行血管图像中特征点的识别主要基于骨架，基于骨架的方法的缺点是它们对血管分割不准确性非常敏感。因为骨架获取过程的产生的错误将直接导致特征点检测出错。过去，基于骨架的操作先是对图像二值化和细化处理，然后通过对整幅图像进行扫描搜索目标像素的连接数，如果连接数为3或者4时即为节点。当连接数为3时为分叉点，连接数为4时为交叉点。这些方法不仅对噪声和血管宽度的轻微波动比较敏感，而且往往在同一个节点位置检测出过多的伪节点，并且当交叉角为钝角即两个血管相交部分重叠比较多时，很容易将一个交叉点判定为两个分叉点，因此，过去对特征点识别及分类的方法存在步骤繁杂、准确性和效率低的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于迁移学习的血管图像中特征点的分类识别方法，该方法通过制作特征点数据集，并利用特征点数据集对深度学习模型进行训练，获得基于迁移学习的血管图像中特征点的分类模型，利用分类模型能准确快速的识别血管图像中特征点是分叉点还是交叉点。
为实现上述发明目的，本发明一种基于迁移学习的血管图像中特征点的分类识别方法，包括血管图像的模型训练和血管图像的特征点类型识别两部分，具体为：
血管图像模型训练：
(1)提取血管图像的特征点，并制作特征点数据集，所述特征点数据集包括分叉点数据集和交叉点数据集；
(2)基于迁移学习，利用所述特征点数据集对深度学习模型进行训练，获得基于迁移学习的血管图像中特征点的分类模型；
血管图像中特征点的类型识别：
(3)提取血管图像的特征点，将提取的特征点输入到血管图像模型训练中得到的基于迁移学习的血管图像中特征点的分类模型，获得血管图像中特征点的类型。
本发明有益效果：
本发明是一种基于迁移学习的血管图像中特征点的分类识别方法，该方法通过制作包括分叉点数据集和交叉点的数据集的特征点数据集，并利用特征点数据集对深度学习模型进行训练，获得基于迁移学习的血管图像中特征点的分类模型。由于缺少足够多的数据来完成训练，在这种情况下通过迁移学习来实现分类模型本身的泛化能力以及减少由于数据量太少造成的过拟合现象。由于训练时，迁移学习会对所有属于分叉点和交叉点的数据集进行特征学习，进而当输入一张血管图像后，利用所述分类模型便能很快的识别出特征点是分叉点还是交叉点，极大的提高了分叉点和交叉点的识别准确率和效率，直接采用迁移学习提取特征来进行识别，简化了处理步骤，避免了将一个交叉点错当成两个分叉点的情况，并且本发明效果稳定可靠，解决了现有方法存在的步骤繁杂、准确性和效率低的问题，对临床医学有莫大的帮助作用。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述步骤(1)具体包括如下步骤：
(11)利用基于Hessian矩阵的多尺度滤波方法对血管图像进行血管增强预处理；
(12)利用训练好的FCN全卷积神经网络得到的最优血管分割模型对预处理后的血管图像进行血管分割；
(13)利用zhang-suen细化算法对分割后的血管图像进行血管细化；
(14)使用卷积方法对血管细化后的血管图像中的所有像素点进行卷积操作，获得各特征点的位置，并将各特征点的位置信息存入二维矩阵中；
(15)将步骤(12)分割出来的血管图像的像素值存入二维矩阵中，分别以所述各特征点的位置为中心截取周围的像素值，分别得到包含特征点的图像；
(16)将截取的各特征点按照分叉点数据集和交叉点数据集进行人工分类，以此制作特征点数据集。
采用上述进一步方案的有益效果是：解决由于拍摄条件和拍摄工具导致的图像不清晰的问题，同时使用FCN全卷积网络可以得到更精细化的血管分割图像，更便于下一步的血管细化操作，使用卷积方法则可以更快速和更精确的得到特征点的位置，同时将各特征点按照分叉点数据集和交叉点数据集进行人工分类，制作特征点数据集，以便利用特征点数据集对深度学习模型进行训练。
进一步，所述步骤(11)的血管增强预处理后进一步包括，利用中值滤波器对增强预处理后的血管图像进行血管填充预处理。
采用上述进一步方案的有益效果是：用于解决血管反射造成的血管中心线上的像素值太高的问题，避免了将一条血管误以为是两条平行血管，从而提高了识别率。
进一步，所述步骤(11)的血管增强预处理前还包括：若所述血管图像为彩色图像，则对所述彩色血管图像样本血管图像进行灰度处理。
采用上述进一步方案的有益效果是：统一图像格式，将三通道的彩色图灰度化处理成单通道的灰度图，便于下一步的血管分割操作。
进一步，所述步骤(14)进一步包括：使用拓扑分类法计算所有特征点的两两之间的欧式距离，若满足下面条件的两个特征点，则将两个特征点合并成一个特征点：
(1)两点之间必须连接；
(2)两点之间的距离小于预设值。
采用上述进一步方案的有益效果是：解决血管太粗或者两条血管重叠部分太多导致的将一个交叉点错分为两个分叉点的情况，提高了识别率。
进一步，所述步骤(2)具体包括如下步骤：
(21)裁剪深度学习模型Inception-v3：以单层神经网络代替深度学习模型Inception-v3的全连接层，并进行初始化网络；
(22)输入特征点数据集；
(23)通过裁剪掉全连接层后的深度学习模型Inception-v3计算特征点数据集中各特征点图像对应的维度为(1,2048)的特征向量；
(24)将得到的各特征向量作为单层神经网络的输入神经元，并利用梯度下降优化器进行参数训练优化，获得基于迁移学习的血管图像中特征点的分类模型。
采用上述进一步方案的有益效果是：利用深度学习模型提取特征然后进行识别，简化了处理步骤，避免了传统方法存在的将一个交叉点错当成两个分叉点的情况，并且效果稳定可靠，解决了步骤繁杂、准确性和效率低的问题。
进一步，所述血管图像中特征点的类型识别：
(3)提取血管图像的特征点，将提取的特征点输入到血管图像训练中得到的基于迁移学习的血管特征点分类模型，获得血管图像中特征点的类型，其具体包括如下步骤：
(31)利用基于Hessian矩阵的多尺度滤波方法对血管图像进行血管增强预处理；
(32)利用训练好的FCN全卷积神经网络得到的最优血管分割模型对预处理后的血管图像进行血管分割；
(33)利用zhang-suen细化算法对分割后的血管图像进行血管细化；
(34)使用卷积方法对血管细化后的血管图像中的所有像素点进行卷积操作，获得各特征点的位置，并将各特征点的位置信息存入二维矩阵中；
(35)将步骤(32)分割出来的血管图像的像素值存入二维矩阵中，分别以所述各特征点的位置为中心截取周围的像素值，分别得到包含特征点的图像。
采用上述进一步方案的有益效果是：解决由于拍摄条件和拍摄工具导致的图像不清晰的问题，同时使用FCN全卷积网络可以得到更精细化的血管分割图像，更便于下一步的血管细化操作，使用卷积方法则可以更快速和更精确的得到特征点的位置。
进一步，所述步骤(31)的血管增强预处理后进一步包括，利用中值滤波器对增强预处理后的血管图像进行血管填充预处理。
采用上述进一步方案的有益效果是：用于解决血管反射造成的血管中心线上的像素值太高的问题，避免了将一条血管误以为是两条平行血管，从而提高了识别率。
进一步，所述步骤(31)的血管增强预处理前还包括：若所述血管图像为彩色图像，则对所述彩色血管图像样本血管图像进行灰度处理。
采用上述进一步方案的有益效果是：统一图像格式，将三通道的彩色图灰度化处理成单通道的灰度图，便于下一步的血管分割操作。
进一步，所述步骤(34)进一步包括：使用拓扑分类法计算所有特征点的两两之间的欧式距离，若满足下面条件的两个特征点，则将两个特征点合并成一个特征点：
(1)两点之间必须连接；
(2)两点之间的距离小于预设值。
采用上述进一步方案的有益效果是：解决血管太粗或者两条血管重叠部分太多导致的将一个交叉点错分为两个分叉点的情况，提高了识别率。
附图说明
图1是本发明提出的基于迁移学习的血管图像中特征点的分类识别方法流程图；
图2是本发明提出的制作特征点数据集的方法流程图；
图3是本发明血管反射现象展示图；
图4是本发明将一个交叉点错分成两个分叉点现象展示图；
图5是本发明制作的特征点数据集对深度学习模型进行训练的流程示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
如图1所示，针对现有方法中血管特征点的识别过程繁杂、效率和准确率低的问题，本发明提出了一种基于迁移学习的血管图像中特征点的分类识别方法，包括血管图像的模型训练和血管图像中特征点的类型识别两部分，具体为：
血管图像的模型训练：
(1)选用血管图像，并提取血管图像的特征点，制作特征点数据集，所述特征点数据集包括分叉点数据集和交叉点数据集；
如图2所示，本步骤中，制作特征点数据集包括如下步骤：
(11)利用基于Hessian矩阵的多尺度滤波方法对血管图像进行血管增强预处理；由于Hessian矩阵特征值能够很好地描述常见的几何形状的信息，不同几何形状特征值特征不同，所以本发明利用基于Hessian矩阵的多尺度滤波方法对血管图像进行增强预处理。
这里如果输入的血管图像是彩色血管图像，则首先进行灰度处理操作，若输入的图像是造影图像，则不用进行灰度处理操作，灰度处理即如果输入的图像是一张彩色图像，则将图像处理成黑白图像，其中灰度值的范围为0～255，表示亮度从深到浅，颜色从黑到白。然后进行预处理，即图像增强。
如图3所示，为血管反射现象示意图，当出现反射现象时，血管中心线上的像素值太高，很容易引起将一条血管误以为是两条平行血管的问题，可先在血管分割前对此反射现象进行血管扩张(填充)填充，再做血管分割操作。本发明利用中值滤波器对增强预处理后的血管图像进行血管填充预处理。
(12)利用训练好的FCN全卷积神经网络得到的最优血管分割模型对预处理后的血管图像进行血管分割。其中，训练模型使用的数据集为公开数据集，利用公开数据集对FCN全卷积神经网络进行训练得到最优血管分割模型的训练过程为：
使用vgg16网络初始化参数，得到pool池化层1、pool池化层2、pool池化层3、pool池化层4和pool池化层5，将数据集中的图像经过卷积和5次pooling池化以后，每层血管图像的分辨率依次为原来的1/2、1/4、1/8、1/16和1/32倍；
利用FCN全卷积神经网络对每层缩小后的血管图像进行上采样，具体包括：对于为原来血管图像的1/32倍的输出血管图像，通过反卷积，进行32倍的上采样，得到FCN-32S的结果；
将为原来血管血管图像的1/32倍的输出图像放大2倍，然后与为原来血管图像的1/16倍的输出血管图像相加，最后再进行16倍的上采样，得到FCN-16S的结果；
依次类推，得到FCN-8s，FCN-4s，FCN-2s的结果；
对每层得到的结果进行损失函数计算，然后将损失函数相加，得到误差函数，再进行反向传播，调节参数，得到最优血管分割模型。
(13)利用zhang-suen细化算法对分割后的血管图像进行血管细化；
(14)使用卷积方法对血管细化后的血管图像中的所有像素点进行卷积操作，获得各特征点的位置，并将各特征点的位置信息存入二维矩阵中；具体过程为：
对所有像素点进行卷积操作，卷积核的值分别为20，21…28共9个值，然后进行计算九宫格中每个像素值和卷积核的值的乘积，最后进行求和，如果结果等于{424、394、298、418、297、402、325、340、337、277、330、420、329、404、293、338、426、341}集合中的任何一个值，则判断此像素点为特征点，以此获取所有特征点的位置。
如图4所示，由于血管太粗或者血管交叉角度太小导致两条血管重叠部分较多，血管细化操作之后将会导致将一个交叉点错分为两个分叉点的情况，使用拓扑分类对所有的特征点两两进行计算欧式距离，然后对满足下面两个条件的点对进行合二为一：
1.两点之间必须连接；
2.两点之间的距离小于预设值；
其中，预设值的取值为在实验中获得，本发明的结果是预设值为40时最佳。
(15)将步骤(12)分割出来的血管图像样本的像素值存入二维矩阵中，分别以所述各特征点的位置为中心截取周围的像素值，分别得到包含特征点的图像。本步骤中，二维矩阵可以为30*30的二维矩阵，则最后得到包含各特征点的图像为30像素*30像素大小的图像。
(16)将包含特征点的图像按照分叉点数据集和交叉点数据集进行人工分类，以此制作特征点数据集。本步骤中，可从1000张血管图像中截取以特征点为中心，30像素*30像素的包含特征点的图像(每张图像约截取58张分叉点图像和10张交叉点图像)，将获取到的图像进行人工分类，将所有包含分叉点的图像放入分叉点数据集中，将所有包含交叉点的图像放入交叉点数据集中。
(2)基于迁移学习，利用所述特征点数据集对深度学习模型进行训练，获得基于迁移学习的血管图像中特征点的分类模型；如图5所示，具体包括如下步骤：
(21)裁剪深度学习模型Inception-v3：以单层神经网络代替深度学习模型Inception-v3的全连接层，并进行初始化网络；
(22)输入特征点数据集；
(23)通过裁剪掉全连接层后的深度学习模型Inception-v3计算特征点数据集中各特征点图像对应的维度为(1,2048)的特征向量；
(24)将得到的各特征向量作为单层神经网络的输入神经元，并利用梯度下降优化器进行参数训练优化，获得基于迁移学习的血管图像中特征点的分类模型。在整个模型的训练过程中，我们将已经训练好的InceptionV3模型参数迁移到本发明的模型中来帮助训练，这与传统的随机初始化向量，并且从第一层开始训练深度学习网络相比，缩短了训练时间，并且效果会更好，同时可以减少过拟合现象。
血管图像中特征点的类型识别：
(3)提取血管图像的特征点，将提取的特征点输入到血管图像训练中得到的基于迁移学习的血管图像中特征点的分类模型，获得血管图像中特征点的类型。
本步骤中，提取血管图像的特征点具体包括如下步骤：
(31)利用基于Hessian矩阵的多尺度滤波方法对血管图像进行血管增强预处理；由于Hessian矩阵特征值能够很好地描述常见的几何形状的信息，不同几何形状特征值特征不同，所以本发明利用基于Hessian矩阵的多尺度滤波方法对血管图像进行增强预处理。
这里如果输入的血管图像是彩色血管图像，则首先进行灰度处理操作，若输入的图像是造影图像，则不用进行灰度处理操作，灰度处理即如果输入的图像是一张彩色图像，则将图像处理成黑白图像，其中灰度值的范围为0～255，表示亮度从深到浅，颜色从黑到白。然后进行预处理，即图像增强。
如图3所示，为血管反射现象示意图，当出现反射现象时，血管中心线上的像素值太高，很容易引起将一条血管误以为是两条平行血管的问题，可先在血管分割前对此反射现象进行血管扩张(填充)填充，再做血管分割操作。本发明利用中值滤波器对增强预处理后的血管图像进行血管填充预处理。
(32)利用训练好的FCN全卷积神经网络得到的最优血管分割模型对预处理后的血管图像进行血管分割；
(33)利用zhang-suen细化算法对分割后的血管图像进行血管细化；
(34)使用卷积方法对血管细化后的血管图像中的所有像素点进行卷积操作，获得各特征点的位置，并将各特征点的位置信息存入二维矩阵中；具体过程为：
对所有像素点进行卷积操作，卷积核的值分别为20，21…28共9个值，然后进行计算九宫格中每个像素值和卷积核的值的乘积，最后进行求和，如果结果等于{424、394、298、418、297、402、325、340、337、277、330、420、329、404、293、338、426、341}集合中的任何一个值，则判断此像素点为特征点，以此获取所有特征点的位置。
如图4所示，由于血管太粗或者血管交叉角度太小导致两条血管重叠部分较多，血管细化操作之后将会导致将一个交叉点错分为两个分叉点的情况，使用拓扑分类对所有的特征点两两进行计算欧式距离，然后对满足下面两个条件的点对进行合二为一：
1.两点之间必须连接；
2.两点之间的距离小于预设值；
其中，预设值的取值为在实验中获得，本发明的结果是预设值为40时最佳。
(35)将步骤(32)分割出来的血管图像样本的像素值存入二维矩阵中，分别以所述各特征点的位置为中心截取周围的像素值，分别得到包含特征点的图像。本步骤中，二维矩阵可以为30*30的二维矩阵，则最后得到包含各特征点的图像为30像素*30像素大小的图像。
本发明是一种基于迁移学习的血管图像中特征点的分类识别方法，该方法通过包括分叉点数据集和交叉点的数据集的特征点数据集进行迁移学习，获得分类模型，由于缺少足够多的数据来完成训练，在这种情况下通过迁移学习来实现分类模型本身的泛化能力以及减少由于数据量太少造成的过拟合现象。由于训练时，迁移学习会对所有属于分叉点和交叉点的数据集进行特征学习，进而当输入一张血管测试图像后，利用所述分类模型便能很快的识别出特征点是分叉点还是交叉点，极大的提高了分叉点和交叉点的识别准确率和效率，采用直接使用迁移学习提取特征进行识别，简化了处理步骤，避免了将一个交叉点错当成两个分叉点的情况，并且本发明效果稳定可靠，解决了现有方法存在的步骤繁杂、准确性和效率低的问题，对临床医学有莫大的帮助作用。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (9)

1.一种基于迁移学习的血管图像中特征点的分类识别方法，其特征在于，包括血管图像的模型训练和血管图像中特征点的类型识别两部分，具体为：
血管图像的模型训练：
(1)提取血管图像的特征点，并制作特征点数据集，所述特征点数据集包括分叉点数据集和交叉点数据集；
(2)基于迁移学习，利用所述特征点数据集对深度学习模型进行训练，获得基于迁移学习的血管图像中特征点的分类模型；
血管图像中特征点的类型识别：
(3)提取血管图像的特征点，将提取的特征点输入到血管图像模型训练中得到的基于迁移学习的血管图像中特征点的分类模型，获得血管图像中特征点的类型；所述步骤(1)具体包括如下步骤：
(11)利用基于Hessian矩阵的多尺度滤波方法对血管图像进行血管增强预处理；
(12)利用训练好的FCN全卷积神经网络得到的最优分割模型对预处理后的血管图像进行血管分割；
(13)利用zhang-suen细化算法对分割后的血管图像进行血管细化；
(14)使用卷积方法对血管细化后的血管图像中的所有像素点进行卷积操作，获得各特征点的位置，并将各特征点的位置信息存入二维矩阵中；
(15)将步骤(12)分割出来的血管图像的像素值存入二维矩阵中，分别以所述各特征点的位置为中心截取周围像素值，分别得到包含特征点的图像；
(16)将截取的包含特征点的图像按照分叉点数据集和交叉点数据集进行人工分类，以此制作特征点数据集。
2.根据权利要求1所述的基于迁移学习的血管图像中特征点的分类识别方法，其特征在于，所述步骤(11)的血管增强预处理后进一步包括，利用中值滤波器对增强预处理后的血管图像进行血管填充预处理。
3.根据权利要求1所述的基于迁移学习的血管图像中特征点的分类识别方法，其特征在于，所述步骤(11)的血管增强预处理前还包括：若血管图像为彩色图像，则对彩色血管图像进行灰度处理。
4.根据权利要求1所述的基于迁移学习的血管图像中特征点的分类识别方法，其特征在于，所述步骤(14)进一步包括：使用拓扑分类法计算所有特征点的两两之间的欧式距离，若满足下面条件的两个特征点，则将两个特征点合并成一个特征点：
(1)两点之间必须连接；
(2)两点之间的距离小于预设值。
5.根据权利要求1所述的基于迁移学习的血管图像中特征点的分类识别方法，其特征在于，所述步骤(2)具体包括如下步骤：
(21)裁剪深度学习模型Inception-v3：以单层神经网络代替深度学习模型Inception-v3的全连接层，并进行初始化网络；
(22)输入特征点数据集；
(23)通过裁剪掉全连接层后的深度学习模型Inception-v3计算特征点数据集中各特征点图像对应的维度为(1,2048)的特征向量；
(24)将得到的各特征向量作为单层神经网络的输入神经元，并利用梯度下降优化器进行参数训练优化，获得基于迁移学习的血管图像中特征点的分类模型。
6.根据权利要求1所述的基于迁移学习的血管图像中特征点的分类识别方法，其特征在于，所述血管图像中特征点的类型识别：
(3)提取血管图像的特征点，将提取的特征点输入到血管图像模型训练中得到的基于迁移学习的血管图像中特征点的分类模型，获得血管图像中特征点的类型，其具体包括如下步骤：
(31)利用基于Hessian矩阵的多尺度滤波方法对血管图像进行血管增强预处理；
(32)利用训练好的FCN全卷积神经网络得到的最优血管分割模型对预处理后的血管图像进行血管分割；
(33)利用zhang-suen细化算法对分割后的血管图像进行血管细化；
(34)使用卷积方法对血管细化后的血管图像中的所有像素点进行卷积操作，获得各特征点的位置，并将各特征点的位置信息存入二维矩阵中；
(35)将步骤(32)分割出来的血管图像的像素值存入二维矩阵中，分别以所述各特征点的位置为中心截取周围像素值，分别得到包含特征点的图像。
7.根据权利要求6所述的基于迁移学习的血管图像中特征点的分类识别方法，其特征在于，所述步骤(31)的血管增强预处理后进一步包括，利用中值滤波器对增强预处理后的血管图像进行血管填充预处理。
8.根据权利要求6所述的基于迁移学习的血管图像中特征点的分类识别方法，其特征在于，所述步骤(31)的血管增强预处理前还包括：若血管图像为彩色图像，则对彩色血管图像进行灰度处理。
9.根据权利要求6所述的基于迁移学习的血管图像中特征点的分类识别方法，其特征在于，所述步骤(34)进一步包括：使用拓扑分类法计算所有特征点的两两之间的欧式距离，若满足下面条件的两个特征点，则将两个特征点合并成一个特征点：
(1)两点之间必须连接；
(2)两点之间的距离小于预设值。
CN201810372015.9A 2018-04-24 2018-04-24 一种基于迁移学习的血管图像中特征点的分类识别方法 Active CN108764286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810372015.9A CN108764286B (zh) 2018-04-24 2018-04-24 一种基于迁移学习的血管图像中特征点的分类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810372015.9A CN108764286B (zh) 2018-04-24 2018-04-24 一种基于迁移学习的血管图像中特征点的分类识别方法

Publications (2)

Publication Number Publication Date
CN108764286A CN108764286A (zh) 2018-11-06
CN108764286B true CN108764286B (zh) 2022-04-19

Family

ID=64011521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810372015.9A Active CN108764286B (zh) 2018-04-24 2018-04-24 一种基于迁移学习的血管图像中特征点的分类识别方法

Country Status (1)

Country Link
CN (1) CN108764286B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543728A (zh) * 2018-11-07 2019-03-29 湖北工业大学 一种基于迁移学习的甲状腺相关性眼病检测方法
CN109348865B (zh) * 2018-11-13 2023-08-29 杭州电子科技大学 一种朱砂桔采摘机器人及其采摘方法
CN110163852B (zh) * 2019-05-13 2021-10-15 北京科技大学 基于轻量化卷积神经网络的输送带实时跑偏检测方法
CN110517279B (zh) * 2019-09-20 2022-04-05 北京深睿博联科技有限责任公司 头颈血管中心线提取方法及装置
CN111063018A (zh) * 2019-11-08 2020-04-24 山东大学 一种基于深度学习的血管内超声图像三维重建方法及系统
CN111882542A (zh) * 2020-07-29 2020-11-03 南通大学 一种基于AA R2Unet和HMM的高精密螺纹全自动精确测量方法
CN111862123B (zh) * 2020-07-29 2024-01-23 南通大学 一种基于深度学习的ct腹部动脉血管分级识别方法
CN111932554B (zh) * 2020-07-31 2024-03-22 青岛海信医疗设备股份有限公司 一种肺部血管分割方法、设备及存储介质
CN112220532B (zh) * 2020-08-24 2022-04-05 同济大学 一种静脉分叉避让方法及静脉穿刺机器人
CN112396565A (zh) * 2020-11-19 2021-02-23 同济大学 静脉穿刺机器人的图像及视频血管增强与分割方法和系统
CN112669256B (zh) * 2020-11-23 2024-02-20 西安电子科技大学 一种基于迁移学习的医学图像分割与显示方法
CN112365489A (zh) * 2020-11-25 2021-02-12 同济大学 一种超声图像血管分叉检测方法
CN112819828A (zh) * 2021-04-19 2021-05-18 北京至真互联网技术有限公司 眼底图像处理方法和装置
CN113239992B (zh) * 2021-04-28 2024-05-07 深圳睿心智能医疗科技有限公司 血管分类方法及装置
CN113902692B (zh) * 2021-09-26 2022-09-02 北京医准智能科技有限公司 一种血管分割的方法、装置及计算机可读介质
CN114880961B (zh) * 2021-10-12 2024-03-12 青岛埃米博创医疗科技有限公司 基于流体动力学的血管分割和命名方法
KR102580279B1 (ko) * 2021-10-25 2023-09-19 아주대학교산학협력단 알츠하이머병 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치
CN114287880A (zh) * 2021-12-08 2022-04-08 四川大学华西医院 一种基于红外图像处理的动物实验肿瘤早期成瘤监测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544686A (zh) * 2013-10-25 2014-01-29 天津工业大学 基于相位一致性的眼底图像微动脉瘤检测方法
CN104573712A (zh) * 2014-12-31 2015-04-29 浙江大学 基于眼底图像的动静脉视网膜血管分类方法
CN104574413A (zh) * 2015-01-22 2015-04-29 深圳大学 一种肺部ct图像的血管分叉点提取方法及系统
CN104881862A (zh) * 2015-04-03 2015-09-02 南通大学 一种基于眼底镜图像的视网膜血管迂曲度计算方法及其应用
CN105825509A (zh) * 2016-03-17 2016-08-03 电子科技大学 基于3d卷积神经网络的脑血管分割方法
CN105912611A (zh) * 2016-04-05 2016-08-31 中国科学技术大学 一种基于cnn的快速图像检索方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106934816A (zh) * 2017-03-23 2017-07-07 中南大学 一种基于elm的眼底图像视网膜血管分割方法
CN107229937A (zh) * 2017-06-13 2017-10-03 瑞达昇科技(大连)有限公司 一种视网膜血管分类方法及装置
CN107886127A (zh) * 2017-11-10 2018-04-06 深圳市唯特视科技有限公司 一种基于卷积神经网络的组织病理学图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053551B2 (en) * 2012-05-23 2015-06-09 International Business Machines Corporation Vessel identification using shape and motion mapping for coronary angiogram sequences

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544686A (zh) * 2013-10-25 2014-01-29 天津工业大学 基于相位一致性的眼底图像微动脉瘤检测方法
CN104573712A (zh) * 2014-12-31 2015-04-29 浙江大学 基于眼底图像的动静脉视网膜血管分类方法
CN104574413A (zh) * 2015-01-22 2015-04-29 深圳大学 一种肺部ct图像的血管分叉点提取方法及系统
CN104881862A (zh) * 2015-04-03 2015-09-02 南通大学 一种基于眼底镜图像的视网膜血管迂曲度计算方法及其应用
CN105825509A (zh) * 2016-03-17 2016-08-03 电子科技大学 基于3d卷积神经网络的脑血管分割方法
CN105912611A (zh) * 2016-04-05 2016-08-31 中国科学技术大学 一种基于cnn的快速图像检索方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106934816A (zh) * 2017-03-23 2017-07-07 中南大学 一种基于elm的眼底图像视网膜血管分割方法
CN107229937A (zh) * 2017-06-13 2017-10-03 瑞达昇科技(大连)有限公司 一种视网膜血管分类方法及装置
CN107886127A (zh) * 2017-11-10 2018-04-06 深圳市唯特视科技有限公司 一种基于卷积神经网络的组织病理学图像分类方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Automatic Detection and Distinction of Retinal Vessel Bifurcations and Crossings in Colour Fundus Photography;Harry Pratt等;《www.mdpi.com/journal/jimaging》;20171222;摘要、正文第2-4节、表5 *
Blood vessel extraction and bifurcations detection using hessian matrix of gaussian and euclidian distance;D.T. Susetianingtias等;《Journal of Theoretical and Applied Information Technology》;20170815;第95卷(第15期);3471-3478 *
Detection and Classification of Bifurcation and Branch Points on Retinal Vascular Network;Alauddin Bhuiyan等;《DOI:10.1109/DICTA.2012.6411742》;20121231;1-8 *
一种针对造影图像中血管狭窄的自动识别技术;冯瑶等;《生物医学工程学杂志》;20130425;第30卷(第02期);第380-386、394页 *
手指静脉识别技术研究;欧宇然;《doi：10.7666/d.y2061976》;20120630;第1-55页 *
视网膜血管图像特征点自动提取和分类;赵晓芳等;《计算机工程与应用》;20110311;第47卷(第08期);第14-17页 *

Also Published As

Publication number Publication date
CN108764286A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108764286B (zh) 一种基于迁移学习的血管图像中特征点的分类识别方法
Veena et al. A novel optic disc and optic cup segmentation technique to diagnose glaucoma using deep learning convolutional neural network over retinal fundus images
WO2021169128A1 (zh) 眼底视网膜血管识别及量化方法、装置、设备及存储介质
Yin et al. Accurate image analysis of the retina using hessian matrix and binarisation of thresholded entropy with application of texture mapping
WO2022063198A1 (zh) 一种肺部图像处理方法、装置及设备
CN110766643A (zh) 一种面向眼底图像的微动脉瘤检测方法
Panda et al. New binary Hausdorff symmetry measure based seeded region growing for retinal vessel segmentation
CN112348082B (zh) 深度学习模型构建方法、影像处理方法及可读存储介质
US20220383661A1 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
Valizadeh et al. Presentation of a segmentation method for a diabetic retinopathy patient’s fundus region detection using a convolutional neural network
CN111612756B (zh) 冠状动脉特异性钙化检测方法及装置
WO2019232910A1 (zh) 眼底图像分析方法、计算机设备和存储介质
Ngugi et al. A new approach to learning and recognizing leaf diseases from individual lesions using convolutional neural networks
Vij et al. A systematic review on diabetic retinopathy detection using deep learning techniques
CN114600155A (zh) 用于细胞检测和分割的弱监督多任务学习
CN108876772A (zh) 一种基于大数据的肺癌图像诊断系统及方法
CN111797900A (zh) 一种oct-a图像的动静脉分类方法及装置
Du et al. Retinal microaneurysm detection based on transformation splicing and multi-context ensemble learning
Qin et al. A review of retinal vessel segmentation for fundus image analysis
US20220061920A1 (en) Systems and methods for measuring the apposition and coverage status of coronary stents
WO2021046418A1 (en) Systems and methods for detection and grading of diabetic retinopathy
Ahamed et al. Automated system for retinal vessel segmentation
Liu et al. Retinal vessel segmentation using densely connected convolution neural network with colorful fundus images
Jelinek et al. Quality control and multi-lesion detection in automated retinopathy classification using a visual words dictionary
CN114757944A (zh) 一种血管图像的分析方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant