CN108198184A - 造影图像中血管分割的方法和系统 - Google Patents
造影图像中血管分割的方法和系统 Download PDFInfo
- Publication number
- CN108198184A CN108198184A CN201810019388.8A CN201810019388A CN108198184A CN 108198184 A CN108198184 A CN 108198184A CN 201810019388 A CN201810019388 A CN 201810019388A CN 108198184 A CN108198184 A CN 108198184A
- Authority
- CN
- China
- Prior art keywords
- image
- full
- picture
- neural networks
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种造影图像中血管分割的方法和系统,包括:将盈片图像中的每个像素坐标作为基准坐标,从蒙片图像中选取一个与该基准坐标匹配的像素坐标,作为对比坐标;分别在盈片图像和蒙片图像中提取相同大小的子图像,构成一个图像对;将所有图像对输入至双通道卷积神经网络,输出第一血管分割图像;根据预设规则对每个参考图像提取多个不同尺度的图像,将所有不同尺度的图像输入至多尺度卷积神经网络,输出第二血管分割图像,对所述第二血管分割图像进行显示。本发明通过双通道卷积神经网络和多尺度卷积神经网络进行两次分类,使得最终的显示图像中血管边界清楚、细节明显,同时整个过程实现了全自动交互,效率极高。
Description
技术领域
本发明涉及图像处理技术领域,更具体地,涉及一种造影图像中血管分割的方法和系统。
背景技术
如今,冠状动脉疾病已经成为了威胁人类健康的主要威胁。在冠心病的诊疗当中,心血管造影图像已成为诊断的金标准,基于造影图像的计算机辅助诊疗系统能够很好的帮助医生诊断病情和制定治疗方案,具有十分重要的研究意义。在造影图像计算机辅助诊断系统中,血管分割技术是尤为关键的技术,是中心线提取、半径测量、三维重建等技术的基础。
造影图像存在对比度低、造影剂分布不均匀、噪声严重等缺点,自动的提取从造影图像中提取血管结构非常具有挑战性。目前血管分割方法可以分为:
基于阈值的分割方法,该方法通常首先对血管结构进行增强,然后采用不同的阈值策略进行分割,最常见的做法是人工设计特定的滤波器,使得在对血管图像进行滤波后管状结构得到增强,而非管状结构得到抑制。该方法对于一些简单的问题,例如眼底血管图像的分割,有着比较不错的效果。但是由于冠脉图像血管对比度比较低,基于阈值的方法无法很好的区分造影图像的冠脉结构和背景区域。
基于机器学习的血管分割技术,该方法主要将血管分割看作一个二分类问题,通过手工选取特征或者深度学习获取特征,结合相应的分类器进行前景和背景的分类实现分割效果。但是,血管背景区域有许多和冠脉结构相似的伪血管结构,基于机器学习的方法往往很难将这些结构和冠脉结构进行有效的区分。该方法往往结合一些形状先验知识进行分割,并采用半自动的分割方式,例如水平集和活动轮廓方法采用人工标注种子点的方式获取初始轮廓,血管跟踪模型则需要人为给予其初始点和方向信息以进行血管段跟踪。
基于模型的分割方法,该方法的优点是精度比较高,并可以通过初始选择种子点的方式规避背景噪声,但缺点是需要交互。由于造影图像背景区域存在大量的伪影结构,因此,最为广泛采用的分割算法几乎都是半自动的分割算法,因为这些算法可以很好的规避复杂的背景噪声,但这些算法的缺点是需要比繁琐的交互操作,加重了医生的工作量,限制了计算机辅助诊疗在造影图像中的应用。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的造影图像中血管分割的方法和系统。
根据本发明的一个方面,提供一种造影图像中血管分割的方法,包括:
获取待分割的盈片图像与蒙片图像,将所述盈片图像中的每个像素坐标作为基准坐标,从所述蒙片图像中选取一个与该基准坐标匹配的像素坐标,作为对比坐标;
以每个基准坐标和匹配的对比坐标为中心,分别在所述盈片图像和蒙片图像中提取相同大小的子图像,构成一个图像对;将所有图像对输入至双通道卷积神经网络,输出第一血管分割图像;
从经过图像膨胀处理后的第一血管分割图像中选择目标区域,逐个提取以所述目标区域中的每个像素坐标为中心的子图像,作为参考图像,根据预设规则对每个参考图像提取多个不同尺度的图像,将所有不同尺度的图像输入至多尺度卷积神经网络,输出第二血管分割图像,对所述第二血管分割图像进行显示。
优选地,所述双通道卷积神经网络包括两个卷积通道;
相应地,所述将所有图像对输入至双通道卷积神经网络的步骤,具体包括:
对任意一个图像对,将该图像对中盈片图像的子图像输入至其中一个卷积通道,将蒙片图像的子图像输入至另一个卷积通道。
优选地,所述多尺度卷积神经网络中卷积通道的个数与所述尺度的个数匹配;
相应地,所述将所有不同尺度的图像输入至多尺度卷积神经网络的步骤,具体包括:将每个参考图像提取出的不同尺度的图像分别输入至相应的卷积通道中。
优选地,所述双通道卷积神经网络的训练方法包括:
获取用于训练的所有图像对,构成训练图像对集合,对所述训练图像对集合中的任意一个图像对,若该图像对中盈片图像的子图像中心位于血管区域,则将该图像对作为双通道卷积神经网络的正样本;若该图像对中盈片图像的子图像中心位于背景区域,则将该图像对作为双通道卷积神经网络的负样本;
采用Xaiver方法初始化所述双通道卷积神经网络,以手动分割的血管图像作为标准,结合所有双通道卷积神经网络的正样本和负样本构成训练集,采用所述训练集训练双通道卷积神经网络。
优选地,所述多尺度卷积神经网络的训练方法包括:
获取用于训练的第一血管分割图像,对所述用于训练的第一血管分割图像进行图像膨胀操作,将图像膨胀前的区域作为原始区域,将图像膨胀产生的新区域作为判断区域;
若用于训练的盈片图像的子图像中心位于所述原始区域,则将该子图像作为多尺度卷积神经网络的正样本,若用于训练的盈片图像的子图像中心位于所述判断区域,则将该子图像作为多尺度卷积神经网络的负样本;
采用Xaiver方法初始化所述多尺度卷积神经网络,以手动分割的血管图像作为标准,结合所有多尺度卷积神经网络的正样本和负样本构成训练集,采用所述训练集训练多尺度卷积神经网络。
优选地,所述双通道卷积神经网络中的每个卷积通道包含6个卷积层和3个最大池化层,所有卷积层的卷积核大小均为3×3;
所述双通道卷积神经网络还包括1个全连接通道,所述全连接通道包含2个全连接层,第1个全连接层包含1024个神经元,第2个全连接层包含2个神经元;
其中,所述第1个全连接层和所有卷积层采用ReLU作为激活函数,所述第2个全连接层采用Softmax作为激活函数。
优选地,所述多尺度卷积神经网络中的每个卷积通道包含5个卷积层和1个最大池化层,所有卷积层卷积核大小均为3×3;
所述多尺度卷积神经网络还包括1个全连接通道,所述全连接通道包含2个全连接层,所述全连接通道包含2个全连接层,第1个全连接层包含1024个神经元,第2个全连接层包含2个神经元;
其中,所述第1个全连接层和所有卷积层采用ReLU作为激活函数,所述第2个全连接层采用Softmax作为激活函数。
优选地,所述从所述蒙片图像中选取一个与该基准坐标匹配的像素坐标的步骤,具体包括:
在所述蒙片图像上等间距均匀地选取一定数量的像素坐标,作为控制点;
根据各控制点的位置,初始化薄板样条模型参数;
根据powell算法更新所述薄板样条模型;
采用更新后的薄板样条模型对所述蒙片图像进行形变;
判断形变后的蒙片图像与盈片图像之间的互信息值达到最大值,根据所述更新后的薄板样条模型,从所述蒙片图像中选取与每个基准坐标匹配的像素坐标。
优选地,所述将所述盈片图像中的每个像素坐标作为基准坐标的步骤,之前还包括:
对所述待分割的盈片图像和蒙片图像进行顶帽变换处理。
根据本发明的另一个方面,还提供一种造影图像中血管分割的系统,包括;
匹配模块,用于获取待分割的盈片图像与蒙片图像,将所述盈片图像中的每个像素坐标作为基准坐标,从所述蒙片图像中选取一个与该基准坐标匹配的像素坐标,作为对比坐标;
粗分割模块,用于以每个基准坐标和匹配的对比坐标为中心,分别在所述盈片图像和蒙片图像中提取相同大小的子图像,构成一个图像对;将所有图像对输入至双通道卷积神经网络,输出第一血管分割图像;
细分割模块,用于从经过图像膨胀处理后的第一血管分割图像中选择目标区域,逐个提取以所述目标区域中的每个像素坐标为中心的子图像,作为参考图像,根据预设规则对每个参考图像提取多个不同尺度的图像,将所有不同尺度的图像输入至多尺度卷积神经网络,输出第二血管分割图像,对所述第二血管分割图像进行显示。
本发明提出的造影图像中血管分割的方法和系统,通过双通道卷积神经网络进行去噪和血管结构的粗分割,对粗分割后的图像采用多尺度卷积神经网络进行血管结构的精细分割,使得最终的显示图像中血管边界清楚、细节明显,同时整个过程实现了全自动交互,效率极高。
附图说明
图1为根据本发明实施例的造影图像中血管分割的方法的流程示意图;
图2为根据本发明实施例的对一个参考图像提取多个不同尺度的图像的流程示意图;
图3为根据本发明实施例的双通道卷积神经网络的结构示意图;
图4为根据本发明实施例的多尺度卷积神经网络的结构示意图;
图5为本发明实施例的从蒙片图像中选取一个与该基准坐标匹配的像素坐标的步骤的流程示意图;
图6为本发明实施例的造影图像中血管分割的系统的功能框图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
结合图1,是本发明实施例提供一种造影图像中血管分割的方法的流程示意图,该实施例描述了基于本发明的一种对造影图像中的血管进行多尺度显示的方法,需要注意的是,本发明各实施例所述的多尺度,可以是血管的口径,也可以是其他能够区分不同类型血管的参数。
该方法包括:
101、获取待分割的盈片图像与蒙片图像,将盈片图像中的每个像素坐标作为基准坐标,从蒙片图像中选取一个与该基准坐标匹配的像素坐标,作为对比坐标。
作为本领域技术人员可以理解的是,蒙片图像是指造影尚未注入时拍摄的图像,盈片图像是指造影剂充溢完成后拍摄的图像。换句话说,蒙片图像中并没有显示血管,而盈片图像中显示有血管,但是盈片图像中并不仅仅显示有血管,还显示有伪血管机结构,例如导管、伪影等,通过将盈片图像和蒙片图像的相同区域进行对比,若相同区域的显示不一致,说明盈片中不一致的部分为血管。因此,本发明实施例的血管分割方法首先获取盈片图像与蒙片图像之间具有匹配关系的像素坐标,为后续获取相同区域打下基础。
102、以每个基准坐标和匹配的对比坐标为中心,分别在盈片图像和蒙片图像中提取相同大小的子图像,构成一个图像对;将所有图像对输入至双通道卷积神经网络,输出第一血管分割图像。
需要说明的是,以具有匹配关系的一对像素坐标分别提取图像,即可获得具有对应关系的区域,本发明实施例将具有对应关系的区域看作是相同的区域,通过双通道卷积神经网络的运算,即可获得出第一血管分割图像,显然,由于双通道卷积神经网络是以背景图像和在背景图像上具有额外内容的图像作为输入项,该卷积神经网络最终输出结果实现了去除背景区域,将血管分割出来的目的,但该卷积神经网络对血管分割的细节缺乏优化,存在分割结果不平滑,血管细节粗糙的问题。
103、从经过图像膨胀处理后的第一血管分割图像中选择目标区域,逐个提取以目标区域中的每个像素坐标为中心的子图像,作为参考图像,根据预设规则对每个参考图像提取多个不同尺度的图像,将所有不同尺度的图像输入至多尺度卷积神经网络,输出第二血管分割图像,对第二血管分割图像进行显示。
需要说明的是,在已经去除了背景区域的第一血管分割图像中选择一个目标区域,以对该区域的血管的细节进行完善,在实际应用时,目标区域的选择可以基于联通域的大小进行选择,比如将最大连通域作为目标区域。在目标区域中逐个以每个像素坐标作为中心坐标获取子图像,作为参考图像,参考图像为正方形,例如可以为65*65像素点大小,需要说明的是,步骤103中参考图像的大小与步骤102中图像对中每个图像的大小一致。
图2示出了对一个参考图像提取多个不同尺度的图像的流程示意图,图2左侧上排的图像为一个参考图像,参考图像中的深色阴影表示血管,方框表示不同的尺度提取策略,显然,方框越小,方框中的血管占整个方框的面积越多,通过将不同尺度的图像进行归一化处理,即获得图2中下排的三个图像,不同口径的血管在同一种尺度的图像中所占的面积显然是不同的,因此将不同尺度的图像输入至多尺度卷积神经网络,即可对参考图像中不同口径的血管分割清楚,实现不同口径的血管直接平滑过渡,血管边界更清楚、细节更明显。
需要说明的是,本发明实施例通过双通道卷积神经网络进行去噪和血管结构的粗分割,对粗分割后的图像采用多尺度卷积神经网络进行血管结构的精细分割,使得最终的显示图像中血管边界清楚、细节明显,同时整个过程实现了全自动交互,效率极高。
在上述各实施例的基础上,双通道卷积神经网络包括两个卷积通道;相应地,将所有图像对输入至双通道卷积神经网络的步骤,具体包括:对任意一个图像对,将该图像对中盈片图像的子图像输入至其中一个卷积通道,将蒙片图像的子图像输入至另一个卷积通道。
需要说明的是,由于粗分割图像的目的在于消除图像的背景,分割出基本的血管结构,因此输入双通道卷积神经网络中的输入项为蒙片和盈片两类,本发明实施例通过设计两个卷积通道,两个卷积通道分别用于分类背景和血管结构,实现了粗分割图像的目的。
在上述各实施例的基础上,多尺度卷积神经网络中卷积通道的个数与尺度的个数匹配;相应地,将所有不同尺度的图像输入至多尺度卷积神经网络的步骤,具体包括:将每个参考图像提取出的不同尺度的图像分别输入至相应的卷积通道中。
需要说明的是,由于精细分割图像的目的在于使血管之间的连接更加平滑、消除血管结构断断续续的情况,本发明实施例中的多尺度卷积神经网络中卷积通道的个数与尺度的个数匹配,每种尺度的图像与一个卷积通道相对应,能够获取不同尺度的血管。
在上述各实施例的基础上,双通道卷积神经网络的训练方法包括:
获取用于训练的所有图像对,构成训练图像对集合,对训练图像对集合中的任意一个图像对进行判断,若该图像对中盈片图像的子图像中心位于血管区域,则将该图像对作为双通道卷积神经网络的正样本;若该图像对中盈片图像的子图像中心位于背景区域,则将该图像对作为双通道卷积神经网络的负样本。
需要说明的是,获得用于训练的所有图像对的方法与上述的获取待分割的蒙片图像和盈片图像的图像对的方法大体一致,包括:
将用于训练的盈片图像和蒙片图像进行匹配,获得蒙片图像和盈片图像的每个像素坐标的匹配关系;对于蒙片图像和盈片图像上的每个像素坐标,截取以像素坐标为中心的子图像,形成一个图像对。
采用Xaiver方法初始化双通道卷积神经网络,以手动分割的血管图像作为标准,结合所有双通道卷积神经网络的正样本和负样本构成训练集,采用训练集训练双通道卷积神经网络。
在上述各实施例的基础上,多尺度卷积神经网络的训练方法包括:
获取用于训练的第一血管分割图像,对用于训练的第一血管分割图像进行图像膨胀操作,将图像膨胀前的区域作为原始区域,将图像膨胀产生的新区域作为判断区域。
若用于训练的盈片图像的子图像中心位于原始区域,则将该子图像作为多尺度卷积神经网络的正样本,若用于训练的盈片图像的子图像中心位于判断区域,则将该子图像作为多尺度卷积神经网络的负样本;
采用Xaiver方法初始化多尺度卷积神经网络,以手动分割的血管图像作为标准,结合所有多尺度卷积神经网络的正样本和负样本构成训练集,采用训练集训练多尺度卷积神经网络。
图3示出了本发明实施例的双通道卷积神经网络的结构示意图,如图所示,双通道卷积神经网络具有两个卷积通道,中的每个卷积通道包含6个卷积层和3个最大池化层,所有卷积层的卷积核大小均为3×3;双通道卷积神经网络还包括1个全连接通道,全连接通道包含2个全连接层,第1个全连接层包含1024个神经元,第2个全连接层包含2个神经元;第1个全连接层和所有卷积层采用ReLU作为激活函数,第2个全连接层采用Softmax作为激活函数。
图4示出了本发明实施例的多尺度卷积神经网络的结构示意图,如图所示,多尺度卷积神经网络具有三个卷积通道,多尺度卷积神经网络中的每个卷积通道包含5个卷积层和1个最大池化层,所有卷积层卷积核大小均为3×3;多尺度卷积神经网络还包括1个全连接通道,全连接通道包含2个全连接层,全连接通道包含2个全连接层,第1个全连接层包含1024个神经元,第2个全连接层包含2个神经元;第1个全连接层和所有卷积层采用ReLU作为激活函数,第2个全连接层采用Softmax作为激活函数。
图5示出了本发明实施例的从蒙片图像中选取一个与该基准坐标匹配的像素坐标的步骤的流程示意图,具体包括:
501、在蒙片图像上等间距均匀地选取一定数量的像素坐标,作为控制点;
502、根据各控制点的位置,初始化薄板样条模型参数;
503、采用优化的薄板样条模型对蒙片图像进行形变;
504、判断形变后的蒙片图像与盈片图像之间的互信息值达到最大值,转向步骤506,否则,撰写步骤505;
505、采用Powell算法优化薄板样条模型参数,转向步骤503;
506、根据更新后的薄板样条模型,从蒙片图像中选取与每个基准坐标匹配的像素坐标。
在上述各实施例的基础上,步骤101中的将盈片图像中的每个像素坐标作为基准坐标的步骤,之前还包括:
对待分割的盈片图像和蒙片图像进行顶帽变换(英文名称:TopHat变换)处理,顶帽变换能够提高图像中血管的对比度。
根据本发明的另一个方面,还提供一种造影图像中血管分割的系统,参见图6,包括;
匹配模块601,用于获取待分割的盈片图像与蒙片图像,将盈片图像中的每个像素坐标作为基准坐标,从蒙片图像中选取一个与该基准坐标匹配的像素坐标,作为对比坐标。
作为本领域技术人员可以理解的是,蒙片图像是指造影尚未注入时拍摄的图像,盈片图像是指造影剂充溢完成后拍摄的图像。换句话说,蒙片图像中并没有显示血管,而盈片图像中显示有血管,但是盈片图像中不仅显示有血管,还显示有伪血管机结构,例如导管、伪影等,通过将盈片图像和蒙片图像的相同区域进行对比,若相同区域的显示不一致,说明盈片中不一致的部分为血管。因此,本发明实施例的血管分割系统首先通过匹配模块获取盈片图像与蒙片图像之间具有匹配关系的像素坐标,为后续获取相同区域打下基础。
粗分割模块602,用于以每个基准坐标和匹配的对比坐标为中心,分别在盈片图像和蒙片图像中提取相同大小的子图像,构成一个图像对;将所有图像对输入至双通道卷积神经网络,输出第一血管分割图像。
需要说明的是,以具有匹配关系的一对像素坐标分别提取图像,即可获得具有对应关系的区域,本发明实施例将具有对应关系的区域看作是相同的区域,通过双通道卷积神经网络的运算,即可获得出第一血管分割图像,显然,由于双通道卷积神经网络是以背景图像和在背景图像上具有额外内容的图像作为输入项,该卷积神经网络最终输出结果实现了去除背景区域,将血管分割出来的目的,但该卷积神经网络对血管分割的细节缺乏优化,存在分割结果不平滑,血管细节粗糙的问题。
细分割模块603,用于从经过图像膨胀处理后的第一血管分割图像中选择目标区域,逐个提取以目标区域中的每个像素坐标为中心的子图像,作为参考图像,根据预设规则对每个参考图像提取多个不同尺度的图像,将所有不同尺度的图像输入至多尺度卷积神经网络,输出第二血管分割图像,对第二血管分割图像进行显示。
需要说明的是,在已经去除了背景区域的第一血管分割图像中选择一个目标区域,以对该区域的血管的细节进行完善,在实际应用时,目标区域的选择可以基于联通域的大小进行选择,比如将最大连通域作为目标区域。在目标区域中逐个以每个像素坐标作为中心坐标获取子图像,作为参考图像,参考图像为正方形,例如可以为65*65像素点大小,需要说明的是,步骤103中参考图像的大小与步骤102中图像对中每个图像的大小一致。
本发明实施例的血管分割系统通过双通道卷积神经网络进行去噪和血管结构的粗分割,对粗分割后的图像采用多尺度卷积神经网络进行血管结构的精细分割,使得最终的显示图像中血管边界清楚、细节明显,同时整个过程实现了全自动交互,效率极高。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种造影图像中血管分割的方法,其特征在于,包括:
获取待分割的盈片图像与蒙片图像,将所述盈片图像中的每个像素坐标作为基准坐标,从所述蒙片图像中选取一个与该基准坐标匹配的像素坐标,作为对比坐标;
以每个基准坐标和匹配的对比坐标为中心,分别在所述盈片图像和蒙片图像中提取相同大小的子图像,构成一个图像对;将所有图像对输入至双通道卷积神经网络,输出第一血管分割图像;
从经过图像膨胀处理后的第一血管分割图像中选择目标区域,逐个提取以所述目标区域中的每个像素坐标为中心的子图像,作为参考图像,根据预设规则对每个参考图像提取多个不同尺度的图像,将所有不同尺度的图像输入至多尺度卷积神经网络,输出第二血管分割图像,对所述第二血管分割图像进行显示。
2.如权利要求1所述的方法,其特征在于,所述双通道卷积神经网络包括两个卷积通道;
相应地,所述将所有图像对输入至双通道卷积神经网络的步骤,具体包括:
对任意一个图像对,将该图像对中盈片图像的子图像输入至其中一个卷积通道,将蒙片图像的子图像输入至另一个卷积通道。
3.如权利要求1所述的方法,其特征在于,所述多尺度卷积神经网络中卷积通道的个数与所述尺度的个数匹配;
相应地,所述将所有不同尺度的图像输入至多尺度卷积神经网络的步骤,具体包括:将每个参考图像提取出的不同尺度的图像分别输入至相应的卷积通道中。
4.如权利要求1所述的方法,其特征在于,所述双通道卷积神经网络的训练方法包括:
获取用于训练的所有图像对,构成训练图像对集合,对所述训练图像对集合中的任意一个图像对进行判断,若该图像对中盈片图像的子图像中心位于血管区域,则将该图像对作为双通道卷积神经网络的正样本;若该图像对中盈片图像的子图像中心位于背景区域,则将该图像对作为双通道卷积神经网络的负样本;
初始化所述双通道卷积神经网络,以手动分割的血管图像作为标准,结合所有双通道卷积神经网络的正样本和负样本构成训练集,采用所述训练集训练双通道卷积神经网络。
5.如权利要求4所述的方法,其特征在于,所述多尺度卷积神经网络的训练方法包括:
获取用于训练的第一血管分割图像,对所述用于训练的第一血管分割图像进行图像膨胀操作,将图像膨胀前的区域作为原始区域,将图像膨胀产生的新区域作为判断区域;
若用于训练的盈片图像的子图像中心位于所述原始区域,则将该子图像作为多尺度卷积神经网络的正样本,若用于训练的盈片图像的子图像中心位于所述判断区域,则将该子图像作为多尺度卷积神经网络的负样本;
初始化所述多尺度卷积神经网络,以手动分割的血管图像作为标准,结合所有多尺度卷积神经网络的正样本和负样本构成训练集,采用所述训练集训练多尺度卷积神经网络。
6.如权利要求1-5任意一项所述的方法,其特征在于,所述双通道卷积神经网络中的每个卷积通道包含6个卷积层和3个最大池化层,所有卷积层的卷积核大小均为3×3;
所述双通道卷积神经网络还包括1个全连接通道,所述全连接通道包含2个全连接层,第1个全连接层包含1024个神经元,第2个全连接层包含2个神经元;
其中,所述第1个全连接层和所有卷积层采用ReLU作为激活函数,所述第2个全连接层采用Softmax作为激活函数。
7.如权利要求任意一项所述的方法,其特征在于,所述多尺度卷积神经网络中的每个卷积通道包含5个卷积层和1个最大池化层,所有卷积层卷积核大小均为3×3;
所述多尺度卷积神经网络还包括1个全连接通道,所述全连接通道包含2个全连接层,所述全连接通道包含2个全连接层,第1个全连接层包含1024个神经元,第2个全连接层包含2个神经元;
其中,所述第1个全连接层和所有卷积层采用ReLU作为激活函数,所述第2个全连接层采用Softmax作为激活函数。
8.如权利要求1所述的方法,其特征在于,所述从所述蒙片图像中选取一个与该基准坐标匹配的像素坐标的步骤,具体包括:
在所述蒙片图像上等间距均匀地选取一定数量的像素坐标,作为控制点;
根据各控制点的位置,初始化薄板样条模型参数;
根据powell算法更新所述薄板样条模型;
采用更新后的薄板样条模型对所述蒙片图像进行形变;
判断形变后的蒙片图像与盈片图像之间的互信息值达到最大值,根据所述更新后的薄板样条模型,从所述蒙片图像中选取与每个基准坐标匹配的像素坐标。
9.如权利要求1所述的方法,其特征在于,所述将所述盈片图像中的每个像素坐标作为基准坐标的步骤,之前还包括:
对所述待分割的盈片图像和蒙片图像进行顶帽变换处理。
10.一种造影图像中血管分割的系统,其特征在于,包括;
匹配模块,用于获取待分割的盈片图像与蒙片图像,将所述盈片图像中的每个像素坐标作为基准坐标,从所述蒙片图像中选取一个与该基准坐标匹配的像素坐标,作为对比坐标;
粗分割模块,用于以每个基准坐标和匹配的对比坐标为中心,分别在所述盈片图像和蒙片图像中提取相同大小的子图像,构成一个图像对;将所有图像对输入至双通道卷积神经网络,输出第一血管分割图像;
细分割模块,用于从经过图像膨胀处理后的第一血管分割图像中选择目标区域,逐个提取以所述目标区域中的每个像素坐标为中心的子图像,作为参考图像,根据预设规则对每个参考图像提取多个不同尺度的图像,将所有不同尺度的图像输入至多尺度卷积神经网络,输出第二血管分割图像,对所述第二血管分割图像进行显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810019388.8A CN108198184B (zh) | 2018-01-09 | 2018-01-09 | 造影图像中血管分割的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810019388.8A CN108198184B (zh) | 2018-01-09 | 2018-01-09 | 造影图像中血管分割的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108198184A true CN108198184A (zh) | 2018-06-22 |
CN108198184B CN108198184B (zh) | 2020-05-05 |
Family
ID=62588875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810019388.8A Active CN108198184B (zh) | 2018-01-09 | 2018-01-09 | 造影图像中血管分割的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108198184B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086753A (zh) * | 2018-10-08 | 2018-12-25 | 新疆大学 | 基于双通道卷积神经网络的交通标志识别方法、装置 |
CN109087306A (zh) * | 2018-06-28 | 2018-12-25 | 众安信息技术服务有限公司 | 动脉血管图像模型训练方法、分割方法、装置及电子设备 |
CN109300136A (zh) * | 2018-08-28 | 2019-02-01 | 众安信息技术服务有限公司 | 一种基于卷积神经网络的危及器官自动分割方法 |
CN109447964A (zh) * | 2018-10-23 | 2019-03-08 | 上海鹰瞳医疗科技有限公司 | 眼底图像处理方法及设备 |
CN109583364A (zh) * | 2018-11-27 | 2019-04-05 | 上海鹰瞳医疗科技有限公司 | 图像识别方法及设备 |
CN109741344A (zh) * | 2018-12-28 | 2019-05-10 | 上海联影智能医疗科技有限公司 | 血管分割方法、装置、医疗影像设备及存储介质 |
CN109741335A (zh) * | 2018-11-28 | 2019-05-10 | 北京理工大学 | 血管oct图像中血管壁及血流区域的分割方法与装置 |
WO2020001217A1 (zh) * | 2018-06-27 | 2020-01-02 | 东南大学 | 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法 |
CN111325756A (zh) * | 2020-02-18 | 2020-06-23 | 广州柏视医疗科技有限公司 | 基于深度学习网络的三维影像动静脉分割方法及系统 |
CN111539917A (zh) * | 2020-04-09 | 2020-08-14 | 北京深睿博联科技有限责任公司 | 一种基于粗细粒度融合的血管分割方法、系统、终端及存储介质 |
CN111657883A (zh) * | 2020-06-03 | 2020-09-15 | 北京理工大学 | 基于序列造影的冠脉syntax分数自动计算方法与系统 |
CN112561868A (zh) * | 2020-12-09 | 2021-03-26 | 深圳大学 | 一种基于多视角级联深度学习网络的脑血管分割方法 |
CN113160165A (zh) * | 2021-04-15 | 2021-07-23 | 强联智创(北京)科技有限公司 | 一种血管分割方法、装置以及设备 |
CN113469258A (zh) * | 2021-07-08 | 2021-10-01 | 中国科学院自动化研究所 | 基于两阶段cnn的x射线血管造影图像匹配方法和系统 |
CN113538419A (zh) * | 2021-08-30 | 2021-10-22 | 上海联影医疗科技股份有限公司 | 一种图像处理方法和系统 |
CN114565621A (zh) * | 2022-03-01 | 2022-05-31 | 推想医疗科技股份有限公司 | 冠脉分割模型的训练方法及装置、冠脉分割方法及装置 |
CN114596247A (zh) * | 2020-11-30 | 2022-06-07 | 宏碁股份有限公司 | 血管检测装置和基于图像的血管检测方法 |
US11861501B2 (en) | 2018-10-16 | 2024-01-02 | Tencent Technology (Shenzhen) Company Limited | Semantic segmentation method and apparatus for three-dimensional image, terminal, and storage medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103606138A (zh) * | 2013-08-28 | 2014-02-26 | 内蒙古科技大学 | 一种基于纹理区域划分的医学图像的融合方法 |
CN104067314A (zh) * | 2014-05-23 | 2014-09-24 | 中国科学院自动化研究所 | 人形图像分割方法 |
CN105005998A (zh) * | 2015-08-05 | 2015-10-28 | 大连理工大学 | 一种基于多角度序列化图像空间特征点集的脑血管图像分割方法 |
CN105957063A (zh) * | 2016-04-22 | 2016-09-21 | 北京理工大学 | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 |
CN106803241A (zh) * | 2017-01-20 | 2017-06-06 | 深圳市安健科技股份有限公司 | 血管造影图像的处理方法及装置 |
CN107369160A (zh) * | 2017-06-28 | 2017-11-21 | 苏州比格威医疗科技有限公司 | 一种oct图像中脉络膜新生血管分割算法 |
-
2018
- 2018-01-09 CN CN201810019388.8A patent/CN108198184B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103606138A (zh) * | 2013-08-28 | 2014-02-26 | 内蒙古科技大学 | 一种基于纹理区域划分的医学图像的融合方法 |
CN104067314A (zh) * | 2014-05-23 | 2014-09-24 | 中国科学院自动化研究所 | 人形图像分割方法 |
CN105005998A (zh) * | 2015-08-05 | 2015-10-28 | 大连理工大学 | 一种基于多角度序列化图像空间特征点集的脑血管图像分割方法 |
CN105957063A (zh) * | 2016-04-22 | 2016-09-21 | 北京理工大学 | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 |
CN106803241A (zh) * | 2017-01-20 | 2017-06-06 | 深圳市安健科技股份有限公司 | 血管造影图像的处理方法及装置 |
CN107369160A (zh) * | 2017-06-28 | 2017-11-21 | 苏州比格威医疗科技有限公司 | 一种oct图像中脉络膜新生血管分割算法 |
Non-Patent Citations (2)
Title |
---|
E. SHELHAMER 等: "Fully convolutional networks for", 《COMPUTER VISION AND PATTERN RECOGNITION》 * |
OLAF RONNEBERGER 等: "U-Net: Convolutional Networks for Biomedical", 《SPRINGER INTERNATIONAL PUBLISHING SWITZERLAND 2015》 * |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020001217A1 (zh) * | 2018-06-27 | 2020-01-02 | 东南大学 | 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法 |
CN109087306A (zh) * | 2018-06-28 | 2018-12-25 | 众安信息技术服务有限公司 | 动脉血管图像模型训练方法、分割方法、装置及电子设备 |
CN109300136A (zh) * | 2018-08-28 | 2019-02-01 | 众安信息技术服务有限公司 | 一种基于卷积神经网络的危及器官自动分割方法 |
CN109300136B (zh) * | 2018-08-28 | 2021-08-31 | 众安信息技术服务有限公司 | 一种基于卷积神经网络的危及器官自动分割方法 |
CN109086753A (zh) * | 2018-10-08 | 2018-12-25 | 新疆大学 | 基于双通道卷积神经网络的交通标志识别方法、装置 |
CN109086753B (zh) * | 2018-10-08 | 2022-05-10 | 新疆大学 | 基于双通道卷积神经网络的交通标志识别方法、装置 |
US11861501B2 (en) | 2018-10-16 | 2024-01-02 | Tencent Technology (Shenzhen) Company Limited | Semantic segmentation method and apparatus for three-dimensional image, terminal, and storage medium |
CN109447964A (zh) * | 2018-10-23 | 2019-03-08 | 上海鹰瞳医疗科技有限公司 | 眼底图像处理方法及设备 |
CN109583364A (zh) * | 2018-11-27 | 2019-04-05 | 上海鹰瞳医疗科技有限公司 | 图像识别方法及设备 |
CN109741335B (zh) * | 2018-11-28 | 2021-05-14 | 北京理工大学 | 血管oct图像中血管壁及血流区域的分割方法与装置 |
CN109741335A (zh) * | 2018-11-28 | 2019-05-10 | 北京理工大学 | 血管oct图像中血管壁及血流区域的分割方法与装置 |
CN109741344A (zh) * | 2018-12-28 | 2019-05-10 | 上海联影智能医疗科技有限公司 | 血管分割方法、装置、医疗影像设备及存储介质 |
CN109741344B (zh) * | 2018-12-28 | 2022-03-18 | 上海联影智能医疗科技有限公司 | 血管分割方法、装置、医疗影像设备及存储介质 |
US11348233B2 (en) | 2018-12-28 | 2022-05-31 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image processing |
CN111325756A (zh) * | 2020-02-18 | 2020-06-23 | 广州柏视医疗科技有限公司 | 基于深度学习网络的三维影像动静脉分割方法及系统 |
CN111539917A (zh) * | 2020-04-09 | 2020-08-14 | 北京深睿博联科技有限责任公司 | 一种基于粗细粒度融合的血管分割方法、系统、终端及存储介质 |
CN111539917B (zh) * | 2020-04-09 | 2023-08-25 | 北京深睿博联科技有限责任公司 | 一种基于粗细粒度融合的血管分割方法、系统、终端及存储介质 |
CN111657883A (zh) * | 2020-06-03 | 2020-09-15 | 北京理工大学 | 基于序列造影的冠脉syntax分数自动计算方法与系统 |
CN114596247A (zh) * | 2020-11-30 | 2022-06-07 | 宏碁股份有限公司 | 血管检测装置和基于图像的血管检测方法 |
CN112561868A (zh) * | 2020-12-09 | 2021-03-26 | 深圳大学 | 一种基于多视角级联深度学习网络的脑血管分割方法 |
CN112561868B (zh) * | 2020-12-09 | 2021-12-07 | 深圳大学 | 一种基于多视角级联深度学习网络的脑血管分割方法 |
CN113160165A (zh) * | 2021-04-15 | 2021-07-23 | 强联智创(北京)科技有限公司 | 一种血管分割方法、装置以及设备 |
CN113469258B (zh) * | 2021-07-08 | 2022-03-11 | 中国科学院自动化研究所 | 基于两阶段cnn的x射线血管造影图像匹配方法和系统 |
CN113469258A (zh) * | 2021-07-08 | 2021-10-01 | 中国科学院自动化研究所 | 基于两阶段cnn的x射线血管造影图像匹配方法和系统 |
CN113538419B (zh) * | 2021-08-30 | 2023-04-21 | 上海联影医疗科技股份有限公司 | 一种图像处理方法和系统 |
CN113538419A (zh) * | 2021-08-30 | 2021-10-22 | 上海联影医疗科技股份有限公司 | 一种图像处理方法和系统 |
CN114565621A (zh) * | 2022-03-01 | 2022-05-31 | 推想医疗科技股份有限公司 | 冠脉分割模型的训练方法及装置、冠脉分割方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108198184B (zh) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108198184A (zh) | 造影图像中血管分割的方法和系统 | |
CN109035255B (zh) | 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法 | |
Gao et al. | Classification of CT brain images based on deep learning networks | |
CN109754361B (zh) | 3d各向异性的混合网络:将来自2d图像的卷积特征传递到3d各向异性体积 | |
CN107808377B (zh) | 一种肺叶中病灶的定位装置 | |
CN104992430B (zh) | 基于卷积神经网络的全自动的三维肝脏分割方法 | |
Araújo et al. | Data augmentation for improving proliferative diabetic retinopathy detection in eye fundus images | |
Tian et al. | Multi-path convolutional neural network in fundus segmentation of blood vessels | |
CN105913432B (zh) | 基于ct序列图像的主动脉提取方法及装置 | |
Farnell et al. | Enhancement of blood vessels in digital fundus photographs via the application of multiscale line operators | |
Selver et al. | Patient oriented and robust automatic liver segmentation for pre-evaluation of liver transplantation | |
CN108471995A (zh) | 确定医学图像中乳房区域的系统和方法 | |
US10878574B2 (en) | 3D quantitative analysis of retinal layers with deep learning | |
Panda et al. | New binary Hausdorff symmetry measure based seeded region growing for retinal vessel segmentation | |
Kang et al. | 3D cephalometric landmark detection by multiple stage deep reinforcement learning | |
CN107203999A (zh) | 一种基于全卷积神经网络的皮肤镜图像自动分割方法 | |
CN107977952A (zh) | 医学图像分割方法及装置 | |
CN109785399B (zh) | 合成病变图像的生成方法、装置、设备及可读存储介质 | |
CN104346799B (zh) | 一种ct图像中脊髓的提取方法 | |
CN108986115A (zh) | 医学图像分割方法、装置及智能终端 | |
CN110364250B (zh) | 乳腺钼靶图像的自动标注方法、系统及存储介质 | |
CN107909588A (zh) | 基于三维全卷积神经网络的mri皮质下分区系统 | |
Kumar et al. | Image processing in diabetic related causes | |
CN110008992A (zh) | 一种用于前列腺癌辅助诊断的深度学习方法 | |
Wu et al. | Diabetic macular edema grading based on improved Faster R-CNN and MD-ResNet |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |