CN114299357A - 一种用于血管壁影像分割的自定义卷积路径方法 - Google Patents
一种用于血管壁影像分割的自定义卷积路径方法 Download PDFInfo
- Publication number
- CN114299357A CN114299357A CN202111558647.2A CN202111558647A CN114299357A CN 114299357 A CN114299357 A CN 114299357A CN 202111558647 A CN202111558647 A CN 202111558647A CN 114299357 A CN114299357 A CN 114299357A
- Authority
- CN
- China
- Prior art keywords
- image
- sampling
- mapping
- blood vessel
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003709 image segmentation Methods 0.000 title claims description 32
- 238000005070 sampling Methods 0.000 claims abstract description 223
- 238000013507 mapping Methods 0.000 claims abstract description 132
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 230000002792 vascular Effects 0.000 claims abstract description 21
- 210000004204 blood vessel Anatomy 0.000 claims description 169
- 238000001514 detection method Methods 0.000 claims description 101
- 238000012549 training Methods 0.000 claims description 62
- 230000006870 function Effects 0.000 claims description 50
- 238000004422 calculation algorithm Methods 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 27
- 238000013527 convolutional neural network Methods 0.000 abstract description 11
- 238000009826 distribution Methods 0.000 description 16
- 238000005457 optimization Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000007917 intracranial administration Methods 0.000 description 7
- 208000006011 Stroke Diseases 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 210000001367 artery Anatomy 0.000 description 5
- 208000032382 Ischaemic stroke Diseases 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 239000011295 pitch Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 210000001715 carotid artery Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 210000002376 aorta thoracic Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037260 Atherosclerotic Plaque Diseases 0.000 description 1
- 208000016988 Hemorrhagic Stroke Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000020658 intracerebral hemorrhage Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请涉及图像识别,具体为一种用于血管壁影像分割的自定义卷积路径方法,该自定义卷积路径方法包括以下步骤:获取输入图像的中心位置、轮廓区域和轮廓线;由图像的中心位置向外依次部署环向采样路径,并沿环向依次向外发射有纵向采样路径,其中,环向采样路径与轮廓线的形状相对应;获取各环向采样路径和纵向采样路径交叉点处的输入图像像素信息并作为采样点信息;建立映射空间,其中,映射空间的行序对应于环向采样路径序次,映射空间的列序对应于纵向采样路径序次;将采样点信息由原空间映射于映射空间中以生成映射图像。本申请具有提高卷积神经网络模型对血管壁影像的分割效果的优点。
Description
技术领域
本申请涉及图像识别的领域,尤其是涉及一种用于血管壁影像分割的自定义卷积路径方法。
背景技术
脑卒中是我国死亡率和致残率最高的疾病,已成为我国医疗支出和社会家庭的严重负担。脑卒中包括出血性脑卒中和缺血性脑卒中两种,我国脑卒中以缺血性脑卒中为主,占全部脑卒中病例的79%,而且有增加趋势。研究表明,动脉粥样硬化斑块破裂引发血栓形成是缺血性脑卒中的主要发病机制,其中罪犯斑块48%来源于颅内动脉,30%来源于颈动脉,其余22%主要来源于心脏和胸主动脉。因此,及时发现脑卒中相关血管床,包括颅内动脉、颈动脉和胸主动脉的易损斑块或其他管壁病变是缺血性脑卒中早期预防和精准治疗的关键。
为了进行脑卒中相关血管床的自动化分析任务,需要对相关血管壁进行三维重建。由于动脉形态弯曲,尤其是颅内动脉的走行反复卷绕,不能在同一个平面内显示血管壁的全程。因此,一个好的方法是从MR影像中提取血管中心线坐标,利用该中心线为地图,对存在血管的横断面图像的进行位置标识,并获取一系列血管位于中心的连续切片,用于血管壁的分割等任务。
在常规的思路里,可以选择将血管影像切片的训练集直接放入U-net进行训练,并选用Dice Loss作为损失函数,直至模型在测试集上的损失函数收敛后,完成模型训练,再使用保存的U-net模型对需要分析的影像进行评价以获得血管图像,再基于血管图像获得血管中心线。但是在该方法下,卷积神经网络在训练时只能沿着水平垂直方向进行卷积运算提取特征,获取血管环形分布特征的效果较差,影响实例分割效果。
发明内容
为了提高卷积神经网络模型对血管壁影像的分割效果,本申请提供一种用于血管壁影像分割的自定义卷积路径方法。
第一方面,本申请提供的一种用于血管壁影像分割的自定义卷积路径方法,采用如下的技术方案:
一种用于血管壁影像分割的自定义卷积路径方法,包括以下步骤:
获取输入图像的中心位置、轮廓区域和轮廓线,其中,输入图像位于原空间,轮廓区域对应于血管壁区域,轮廓线用于反映轮廓区域的形状,中心位置用于反映轮廓区域的中心;
由图像的中心位置向外依次部署环向采样路径,并沿环向依次向外发射有纵向采样路径,其中,环向采样路径与轮廓线的形状相对应;
获取各环向采样路径和纵向采样路径交叉点处的输入图像像素信息并作为采样点信息,其中,轮廓区域内采样点密度大于等于原始像素密度;
建立映射空间,其中,映射空间的行序对应于环向采样路径序次,映射空间的列序对应于纵向采样路径序次;
将采样点信息由原空间映射于映射空间中以生成映射图像。
通过采用上述技术方案,输入待检测图片经预处理得到的血管中心位置、轮廓区域和轮廓线,由于预处理的精确度相对较差,难以精确地提取出高精准度的轮廓区域,因此轮廓线和中心位置也只是一个大致的区域,也就是说,轮廓区域用于反映血管壁的区域,为一具有一定面积的闭合环状区域,轮廓线用于反映轮廓区域的环状区域延伸路径,中心位置并非血管严格意义上的中心,而是位于血管中心区域的某个位置。然后基于中心位置向外部署环向采样路径,环向采样路径层层嵌套且形状与轮廓线的形状相对应,以便于利用血管壁环状分布的先验信息。而后布置纵向采样路径,纵向采样路径用于与环向采样路径配合确定采样点,并使得采样点在纵向发生对应性。由于输入图像在输入时可能进行预处理,在原始像素之间进行像素插补,以进行图像放大,因此轮廓区域内采样点密度大于等于原始像素密度,以保证轮廓区域进行充分采样。由内向外依次将各采样路径上的采样点写入到映射空间中生成映射图像,从而使得待检测图像上环向上的特征被转化到映射空间的行向上,在模型学习和模型处理时卷积核能够连续地对特征部分进行卷积,减少背景的干扰,从而提高了卷积神经网络模型对血管壁影像的学习效果和分割效果。
可选的,所述的由图像的中心位置向外依次部署环向采样路径,并沿环向依次向外发射有纵向采样路径的步骤,包括:
基于所述的血管中心位置建立极坐标系,其中极坐标系位于原空间;
基于极轴方向依次部署若干环向采样路径,其中,各环向采样路径为半径不同且以极坐标原点为圆心的闭环;
基于坐标原点向外发射有若干纵向采样路径,其中,各纵向采样路径为依次沿环向采样路径排列的射线。
可选的,所述获取各环向采样路径和纵向采样路径交叉点处的输入图像像素信息并作为采样点信息的步骤,包括:
基于极轴方向由坐标原点向外依次遍历依次沿各环向采样路径;
沿环向采样路径对输入图像的像素信息进行采样并作为采样点信息,其中,采样的起始点为极轴与环向采样路径的交叉点,采样点为采样路径和纵向采样路径的交叉点。
通过采用上述技术方案,以该中心位置为坐标原点建立极坐标系,极坐标系的极轴即为一条从血管中心位置向外发射的射线,且极坐标系上的线条在原空间中均为连续的。在极轴方向上依次定定义采样路径,即为在远离坐标原点的方向上定义有若干的采样圆环,同一采样路径上的采样点半径坐标均相等。采样结束后,由内向外依次将各采样路径上的采样点写入到映射空间中形成映射图像,映射图像每一行的像素对应于采样路径上采样点。由于图像中血管具有非常明显的分布特征,即血管壁绕着图片中心以环形特征分布,利用极坐标系连续采样到血管壁特征后映射到映射图像的同一行或连续多行上,以使得在模型学习和模型处理时卷积核能够连续地对特征部分进行卷积,减少背景的干扰,从而提高了卷积神经网络模型对血管壁影像的学习效果和分割效果。
可选的,所述环向采样路径的间距均相同。
可选的,所述环向采样路径的间距为一个像素。
可选的,所述环向采样路径在轮廓区域的密度大于非轮廓区域的密度。
可选的,所述环向采样路径的间距沿中心位置向外的方向逐渐缩小。
通过采用上述技术方案,能够加强血管环形分布的先验效果,提高卷积神经网络模型对血管壁影像的学习效果和分割效果。
可选的,所述环向采样路径向外依次布置直至抵达输入图像的边缘。
通过采用上述技术方案,轮廓区域外的部分为无效特征,由于输入图像在经过预处理时会进行外接框分割以减少轮廓区域外的部分,最外圈的环向采样路径止步于输入图像的边缘,能够进一步减少轮廓区域外的部分的采样,从而降低运算量。
可选的,所述纵向采样路径的间距相等。
可选的,相邻的所述纵向采样路径均形成1°夹角。
通过采用上述技术方案,能够加强血管环形分布的先验效果,提高卷积神经网络模型对血管壁影像的学习效果和分割效果。
第二方面,本申请提供的一种用于血管壁影像分割的神经网络模型训练方法,采用如下的技术方案:
一种用于血管壁影像分割的神经网络模型训练方法,包括以下步骤:
训练集收集,确定训练图像和模板信息;其中,所述训练图像为标记好的血管影像图片,所述模板信息包含模板外接框和模板个体集合;所述模板外接框能够反映所述血管在所述训练图像中的成像位置,所述模板个体集合包含所述血管在所述训练图像中的成像所具有的像素点;
基于上述的用于血管壁影像分割的自定义卷积路径方法,将训练图像内的信息采样为映射图像,并将模板信息与训练图像的坐标对应关系转化与映射图像的坐标对应关系;
将映射图像输入到初始算法模型,确定预测信息;其中,所述预测信息包括预测外接框和预测个体集合;所述预测外接框用于反映所述血管在所述训练图像中的成像位置,所述预测个体集合用于反映所述血管在所述训练图像中的成像所具有的像素点;
基于模板信息、预测信息和初始算法模型所对应的总损失函数,确定总损失值;其中,所述总损失函数关联于所述初始算法模型的权重参数;所述总损失函数包括检测损失函数和分割误差函数;其中,所述检测损失函数基于所述模板外接框和所述预测外接框确定,所述分割误差函数基于所述模板个体集合和所述预测个体集合确定;
基于总损失函数以及当前批次的总损失值,进行通过反向传播的方式计算权重的下降梯度,并对初始算法模型的权重参数进行更新,基于更新结果确定目标检测模型。
通过采用上述技术方案,将预先收集的训练图像放入初始算法中进行分析计算,可以得到预测信息。以模板信息作为预测信息的学习对象,并结合初始算法模型所对应的总损失函数,可以计算该批次中初始算法模型的总损失值。总损失值能够反映模板信息和预测信息之间的误差大小。基于总损失函数以及当前批次的总损失值,计算当前批次的初始算法模型的权重参数所对应的梯度,并且按照梯度的下降的方向对权重参数进行更新,可以对初始算法模型进行更新优化,使总损失函数的总损失值朝逐渐变小的趋势进行优化。经过多次的权重更新优化后,去满足预设条件的初始算法模型为目标检测模型。
利用模型训练的方式,在大量现场图像数据基础上进行深度学习模型训练,得到目标检测模型,由于利用了血管特征环形分布的先验信息设计卷积核和全连接层,有效提高训练速度和训练精准度。具体的,模型设计中可将颈部和/或其它身体部位的血管的识别功能集成于单个目标检测模型中,其内部参数由算法自动化计算回归,可更加精确地分割出画面内的血管区域,且目标外接框的边缘可精确至像素级,具有高泛化能力和通用性,容易批量化应用。
第三方面,本申请提供的一种血管壁影像检测方法,采用如下的技术方案:
一种血管壁影像检测方法,包括以下步骤:
获取待检测影像;其中,所述的待检测影像的成像内容中至少包括有一个血管切面;
基于上述的用于血管壁影像分割的自定义卷积路径方法,将待检测影像内的信息采样为映射图像;
将映射图像输入到检测模型,以得到血管壁影像对应的输出矩阵;
基于原空间与映射空间的映射关系将输出矩阵反映射回原空间,得到分割结果。
通过采用上述技术方案,利用血管壁影像分割的自定义卷积路径方法,将待检测影像进行预处理并提取特征信息至映射图像,特征信息在映射图像上呈行状分布,能够反映出血管的环形分布,因此可以利用卷积核对映射图像对应的矩阵进行卷积,以对血管壁进行分割,从而获取血管的中心线。由于在模型学习和模型处理时卷积核能够连续地对特征部分进行卷积,减少背景和其它特征的干扰,从而使得模型对映射图像的识别效果较为理想。在基于训练好的检测模型对映射图像进行处理后,将得到的输出矩阵映射回原空间,即可以得到分割结果。
可选的,所述检测模型由上述的神经网络模型训练方法训练得到。
可选的,所述检测前预处理步骤包括:
将检测图像输入到目标检测模型中,基于目标框检测确定目标外接框,并基于语义分割确定目标个体集合以作为轮廓区域;其中,所述目标为血管,所述目标外接框用于反映所述血管在输入的检测图片中的成像位置,所述目标个体集合用于反映位于所述血管的成像区域内的像素点;
基于轮廓区域生成轮廓线,并基于轮廓线选取中心位置;
结合目标外接框和目标个体集合,输出目标的特征信息;其中,所述特征信息为像素点的像素信息。
通过采用上述技术方案,目标框检测能够在检测图像中框选出关联于血管的区域,通过目标外接框在检测图像中把血管与其他物体区分开。语义分割能够在检测图像中对属于血管区域成像的像素点和属于非血管区域成像的像素点进行分类,得到目标个体集合。结合目标外接框和目标个体集合,可以减少检测图像中非血管物体和背景环境对于特征信息提取的干扰,减少特征信息的提取过程中的占用计算量,提高运算速度和准确率。
另外,将检测图像进行目标框检测和语义分割后获得的轮廓区域,可以生成相应的轮廓线和中心位置,轮廓线用于教导后期取样路径的走向,以适应于不同形状的血管壁,提高对血管壁形状分布先验信息的利用率。
可选的,所述检测前预处理步骤包括:基于目标外接框对检测图像分割为各包含有一血管切面的图像。
通过采用上述技术方案,由于每个目标外接框分别对应有一个血管切面,该步骤将检测图像分割为数张,使得每一血管切面分别位于一图像的中心。
可选的,所述检测前预处理步骤包括:基于所述检测图像的相邻像素点的像素信息,在各相邻像素之间进行像素插补插补以放大检测图像。
通过采用上述技术方案,降低原始像素的像素密度,以保证后期对检测图像的轮廓区域进行百分百采样。
第四方面,本申请提供的一种自定义卷积路径系统,采用如下的技术方案:
一种自定义卷积路径系统,包括:
输入模块,用于获取输入图像的中心位置、轮廓区域和轮廓线,其中,输入图像位于原空间,轮廓区域对应于血管壁区域,轮廓线用于反映轮廓区域的形状,中心位置用于反映轮廓区域的中心;
部署模块,用于由图像的中心位置向外依次部署环向采样路径,并沿环向依次向外发射有纵向采样路径,其中,环向采样路径与轮廓线的形状相对应;
采样模块,用于获取各环向采样路径和纵向采样路径交叉点处的输入图像像素信息并作为采样点信息,其中,轮廓区域内采样点密度大于等于原始像素密度;转化模块,用于建立映射空间,并将采样点信息由原空间映射于映射空间中以生成映射图像,其中,映射空间的行序对应于环向采样路径序次,映射空间的列序对应于纵向采样路径序次。
第五方面,本申请提供的一种血管壁影像检测系统,采用如下的技术方案:
一种血管壁影像检测系统,包括:
检测模块,用于待检测影像;其中,所述的待检测影像的成像内容中至少包括有一个血管切面;
映射模块,包括上述的自定义卷积路径系统,用于基于上述的自定义卷积路径系统,将待检测影像内的信息采样为映射图像;
检测模块,用于将映射图像输入到检测模型,以得到血管壁影像对应的输出矩阵;
反映射模块,用于基于原空间与映射空间的映射关系将输出矩阵反映射回原空间,得到分割结果。
第六方面,本申请提供的一种电子设备,采用如下的技术方案:
一种电子设备,其包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:
执行上述的用于血管壁影像分割的自定义卷积路径方法;
和/或,执行上述的用于血管壁影像分割的神经网络模型训练方法;
和/或,执行上述的血管壁影像检测方法。
第七方面,本申请提供的一种计算机可读存储介质,采用如下的技术方案:
一种计算机可读存储介质,存储有能够被处理器加载并执行如上的上述方法的计算机程序。
所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现:
如上述的用于血管壁影像分割的自定义卷积路径方法;
和/或,上述的用于血管壁影像分割的神经网络模型训练方法;
和/或,上述的血管壁影像检测方法。
综上所述,本申请包括以下至少一种有益技术效果:
1、利用模型训练的方式,在大量带有被标记血管的训练图像上进行深度学习模型训练,得到目标检测模型,可将不同身体部位的血管识别功能集成于单个目标检测模型中,其内部参数由算法自动化计算回归,可更加精确地分割出画面内的血管区域,且目标外接框的边缘可精确至像素级,具有高泛化能力和通用性,容易批量化应用。
2、模型训练是基于训练图像中的特征进行训练学习,利用大量差异化多样的训练图像,可以提高目标检测模型对影像切片位置、切片角度、血管粗细变化等情况的适应性和稳定性。
3、结合目标框检测和语义分割,对待识别图像中的血管部分进行精确提取,基于血管的环形分布特征进行分析,可实现对血管壁高精度高准确性的识别。
附图说明
图1用于示出本申请某一实施例中一种血管壁影像检测方法。
图2用于示出本申请某一实施例中可选的预处理操作。
图3用于示出本申请某一实施例中一种用于血管壁影像分割的自定义卷积路径方法。
图4用于示出图3所示的自定义卷积路径方法在圆形血管壁切面下的具体实施。
图5用于示出本申请某一实施例中一种用于血管壁影像分割的神经网络模型训练方法。
图6用于示出输入图像在进行映射、卷积和反映射时的操作和变化关系。
具体实施方式
以下结合附图,对本申请作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在以下描述中,为了解释的目的,阐述了很多具体细节,以便提供对发明构思的彻底理解。作为本说明书的一部分,本公开的附图中的一些附图以框图形式表示结构和设备,以避免使所公开的原理复杂难懂。为了清晰起见,实际具体实施的并非所有特征都有必要进行描述。此外,本公开中所使用的语言已主要被选择用于可读性和指导性目的,并且可能没有被选择为划定或限定本发明的主题,从而诉诸于所必需的权利要求以确定此类发明主题。在本公开中对“一个具体实施”或“具体实施”的提及意指结合该具体实施所述的特定特征、结构或特性被包括在至少一个具体实施中,并且对“一个具体实施”或“具体实施”的多个提及不应被理解为必然地全部是指同一具体实施。
本申请实施例公开一种血管壁影像检测方法。参照图1,该血管壁影像检测方法,包括以下步骤:
S1.获取待检测影像;其中,所述的待检测影像的成像内容中至少包括有一个血管切面。
在不同的实施例中,待检测影像的来源可以是核磁共振设备传输到处理器中的影像信息,也可以是由存储器中读取的影像文件。待检测图像为频域的K空间数据,能够方便地使用V-net模型进行三维提取。待检测影像的成像内容中的血管,可以是颅内血管、颈部血管或其它部位的血管,作为实例的,在本实施例中,待检测影像中的成像内容为颅内动脉,该类动脉形态弯曲,走行反复卷绕,难以在同一个平面内显示血管壁的全程。
在一些实施例中,可以对待检测图像进行检测前预处理,以便于进行后续的影像检测。具体的,参照图2,检测前预处理可以包括以下的任一步骤,或任几个步骤的组合。
S101.将检测图像输入到目标检测模型中,基于目标框检测确定目标外接框,并基于语义分割确定目标个体集合以作为轮廓区域。其中,所述目标为血管,所述目标外接框用于反映所述血管在输入的检测图片中的成像位置,所述目标个体集合用于反映位于所述血管的成像区域内的像素点。
目标检测模型为预先训练好的实例分割模型,能够进行目标框检测和语义分割。目标框检测能够在检测图像中框选出关联于血管的区域,通过目标外接框在检测图像中把血管与其他物体区分开。语义分割能够在检测图像中对属于血管区域成像的像素点和属于非血管区域成像的像素点进行分类,得到目标个体集合。
S102.基于轮廓区域生成轮廓线,并基于轮廓线选取中心位置。
将检测图像进行目标框检测和语义分割后获得的轮廓区域,可以生成相应的轮廓线和中心位置,轮廓线用于教导后期取样路径的走向,以适应于不同形状的血管壁,提高对血管壁形状分布先验信息的利用率。在具体实用中,轮廓线的走向可以是圆形,可以是椭圆,也可以是其它的形状。
S103.基于目标外接框对检测图像分割为各包含有一血管切面的图像。
检测图像中可能出现一个或多个血管的切面,且位于检测图像中的不同位置。由于每个目标外接框分别对应有一个血管切面,该步骤可以利用目标外接框将检测图像分割为数张,使得每一血管切面分别位于一图像的中心,并避免不同的血管壁分割过程中互相干扰,同时缩小后的检测图像包含无关特征减少,有利于减少后续模型处理产生的参数,提高处理效率。
S104.基于所述检测图像的相邻像素点的像素信息,在各相邻像素之间进行像素插补插补以放大检测图像。
通过对降低原始像素的像素密度,以保证后期对检测图像的轮廓区域进行百分百采样。举个例子,以三维血管壁磁共振成像(3D VW MRI)的切片作为原始输入图像,原始输入图像为720*720*120px大小,0.35mm/px空间分辨率,以获取的中心位置为中心截取边长为若干px的正方形切片,并插值形成256*256px的切片。不同的检测图像中血管的直径通常不同,需要基于检测图像的血管种类来确定所述正方形切片的边长,比如颅内影像的脑血管通常取64px,颈动脉取96px。
S105.结合目标外接框和目标个体集合,输出目标的特征信息;其中,所述特征信息为像素点的像素信息。
结合目标外接框和目标个体集合,可以减少检测图像中非血管物体和背景环境对于特征信息提取的干扰,减少特征信息的提取过程中的占用计算量,提高运算速度和准确率。
S2.基于一种用于血管壁影像分割的自定义卷积路径方法,将待检测影像内的信息采样为映射图像。
在常规的卷积神经网络中,通常采用将原图像的信息分解到多通道的矩阵上,再利用卷积核沿水平垂直方向进行卷积运算,以提取特征。但是由于血管图像具有环形分布的特征,该种卷积方式难以利用到该先验信息,实例分割效果差,因此本申请提出一种自定义卷积路径方法将待检测影像进行处理,使得待检测图像上的环形特征能够逐行分布。
具体的,参照图3,该用于血管壁影像分割的自定义卷积路径方法包括以下步骤:
S21.获取输入图像的中心位置、轮廓区域和轮廓线,其中,输入图像位于原空间,轮廓区域对应于血管壁区域,轮廓线用于反映轮廓区域的形状,中心位置用于反映轮廓区域的中心。
输入待检测图片经预处理得到的血管中心位置、轮廓区域和轮廓线,由于预处理中实例分割的精确度相对较差,难以精确地提取出像素级的轮廓区域,轮廓的边缘并不精确,因此轮廓线和中心位置也只是一个大致的区域,也就是说,轮廓区域用于反映血管壁的区域,为一具有一定面积的闭合环状区域,轮廓线用于反映轮廓区域的环状区域延伸路径,中心位置并非血管严格意义上的中心,而是位于血管中心区域的某个位置。
S22.由图像的中心位置向外依次部署环向采样路径,并沿环向依次向外发射有纵向采样路径,其中,环向采样路径与轮廓线的形状相对应。
该在步骤中,由中心位置向外部署多个环向采样路径,环向采样路径层层嵌套且形状与轮廓线的形状相对应,以便于利用血管壁环状分布的先验信息。由于血管的形状并不统一,可以为圆形、椭圆形或者其它形状,在S1的预处理步骤中获取血管图像处理获得的轮廓线作为环向采样路径的设计形状,使得轮廓区域里面和附近的环状采样路径的采样效率提升。在不同的实施例中,环向采样路径的间距可以相同,也可以不同,例如,在某些实施例中,环向采样路径的间距均为1px,在另一些实施例中,环向采样路径在轮廓区域的密度大于非轮廓区域的密度,比如环向采样路径的间距沿中心位置向外的方向逐渐缩小。
作为示例的,基于血管壁切片为圆环状的先验条件,参照图4,在某一实施例中,S22包括:
S221.基于所述的血管中心位置建立极坐标系,其中极坐标系位于原空间。
S222.基于极轴方向依次部署若干环向采样路径,其中,各环向采样路径为半径不同且以极坐标原点为圆心的闭环。
S223.基于坐标原点向外发射有若干纵向采样路径,其中,各纵向采样路径为依次沿环向采样路径排列的射线。
极坐标系的坐标原点设定为血管中心,极轴为一条从血管中心位置向外发射的射线,极坐标系上的线条在原空间中均为连续的,同一采样路径上的采样点的半径坐标均相等,且相邻采样点的极角坐标差均相等。举个例子,极坐标系内曲线为F(r,θ),则采样路径为F(C,θ),C∈R+,θ∈(0,2π)。
在不同的实施例中,采样路径的采样起点能够有所不同,但凡沿采样路径依次采样获取采样点即可。为了便于采样,在一些实施例中,采样路径的起点均位于同一条射线上且该射线的起点为极坐标系的原点。作为示例的,在本实施例中,采样路径的起点均位于极轴上。
在不同的实施例中,采样路径上采样点的选取能够等间距也可以变间距,但凡每一条采样路径上的采样点数量相等即可。为了提高图像特征的采样效果,在本实施例中,采样路径上的采样步长对应的极角为1°。举个例子,对于采样路径F(C,θ),C∈R+,θ∈(0,2π),其上的采样点为(C,1°),(C,2°),(C,3°),……,(C,359°)。
另外,在不同的实施例中,相邻采样路径之间的间距可以为固定的,也可以是变化的,采样路径越密集,采样点的数量越多。作为示例的,在本实施例中,相邻采样路径的间距为一个像素点。
S23.获取各环向采样路径和纵向采样路径交叉点处的输入图像像素信息并作为采样点信息,其中,轮廓区域内采样点密度大于等于原始像素密度。
纵向采样路径用于与环向采样路径配合确定采样点,并使得采样点在纵向发生对应性。由于输入图像在输入时可能进行预处理,在原始像素之间进行像素插补,比如前例将64px的颅内影像插值为256*256px的切片,从而使得图像放大。通过设置轮廓区域内采样点密度大于等于原始像素密度,能够保证轮廓区域进行充分采样,从而提高识别效果,
具体的,继续参照图4,基于前述S221-223的实施例,S23还包括以下步骤:
S231.基于极轴方向由坐标原点向外依次遍历依次沿各环向采样路径。
S232.沿环向采样路径对输入图像的像素信息进行采样并作为采样点信息,其中,采样的起始点为极轴与环向采样路径的交叉点,采样点为采样路径和纵向采样路径的交叉点。
以该中心位置为坐标原点建立极坐标系,极坐标系的极轴即为一条从血管中心位置向外发射的射线,且极坐标系上的线条在原空间中均为连续的。在极轴方向上依次定定义采样路径,即为在远离坐标原点的方向上定义有若干的采样圆环,同一采样路径上的采样点半径坐标均相等。采样结束后,由内向外依次将各采样路径上的采样点重排形成映射图像,映射图像上行内像素对应于采样路径上的采样点。由于图像中血管具有非常明显的分布特征,即血管壁绕着图片中心以环形特征分布,利用极坐标系连续采样到血管壁特征后映射到映射图像的同一行或连续多行上,以使得在模型学习和模型处理时卷积核能够连续地对特征部分进行卷积,减少背景的干扰,从而提高了卷积神经网络模型对血管壁影像的学习效果和分割效果。
S24.建立映射空间,其中,映射空间的行序对应于环向采样路径序次,映射空间的列序对应于纵向采样路径序次。
举个例子,比如输入的图像为图片为三维图像,三个维度分别为:[Channel,Y,X],其中,Channel为色彩通道,Y和X为坐标,映射空间与原空间的维度相同。若以原空间内点的坐标为[Channel,Y,X],映射空间内点的坐标为[Channel,B,A],则F为[Y,X]到[B,A]的映射组成的族,[Y,X]与[B,A]一一映射,在F上引入拓扑使之成为拓扑空间,则称F为映射空间。
S25.将采样点信息由原空间映射于映射空间中以生成映射图像。
由于图像中血管具有非常明显的分布特征,即血管壁绕着图片中心以环形特征分布,在待检测图像映射处理形成映射图像后,血管壁特征被映射到同一行或连续多行上,以使得在模型学习和模型处理时卷积核能够连续地对特征部分进行卷积,减少背景的干扰,从而提高了卷积神经网络模型对血管壁影像的学习效果和分割效果。
S3.将映射图像输入到检测模型,以得到血管壁影像对应的输出矩阵。
作为示例的,参照图5,在一些实施例中,检测模型基于由以下的神经网络模型训练方法训练得到。
S31.训练集收集,确定训练图像和模板信息。
其中,训练图像为标记好的血管影像图片,训练图像用于对待检测图像进行模拟训练,训练图像应能够模拟多种类型的血管影像,如不同的切片位置、不同的切片角度、血管粗细变化等情况。
模板信息为使用者手动标注出来的数据信息,是人为测量出来的真实值,用于作为模型学习训练的参考。
模板信息包括有模板分类信息、模板外接框、模板分割信息和模板个体集合。其中,模板分类信息用于指示监控图像中的血管类型。模板分割信息为血管的轮廓区域边界。模板外接框为基于血管的轮廓区域在训练图像中框选出来的矩形框。监控图像中的所有像素点均对应有一个分类标签,分类标签用于记录该像素点属于血管区域或非血管区域,而模板个体集合包含所有属于血管区域的像素点。
S32.基于S2中所述的用于血管壁影像分割的自定义卷积路径方法,将训练图像内的信息采样为映射图像,并将模板信息与训练图像的坐标对应关系转化与映射图像的坐标对应关系。
训练图像中血管具有非常明显的分布特征,即血管壁绕着图片中心以环形特征分布,在采样到血管壁特征后映射到映射图像的同一行或连续多行上,以使得在模型学习时卷积核能够连续地对特征部分进行卷积,减少背景的干扰,从而提高了卷积神经网络模型对血管壁影像的学习效果和分割效果。
S33.将映射图像输入到初始算法模型,确定预测信息。
其中,初始算法模型为目标检测模型的前身,与原始的初始算法模型的计算误差较大,难以得到满足检测需要的预测结果,因此需要对初始算法模型进行训练,使初始算法模型的权重参数进行迭代更新,最终确定目标检测模型。
预测信息为训练图像输入初始算法模型后的得到的输出结果,预测信息包括有预测分类信息、预测外接框和预测个体集合。
其中,预测分类信息用于反映初始算法模型识别的监控图像中的血管类别。预测外接框为初始算法模型基于血管的轮廓区域在训练图像中框选出来的矩形框。预测个体集合包含初始算法模型识别的所有属于血管区域的像素点。
S34.基于模板信息、预测信息和初始算法模型所对应的总损失函数,确定总损失值;其中,总损失函数关联于所述初始算法模型的权重参数,通过将模板信息和预测信息输入总损失函数,可以确定当前批次的初始算法模型所对应的总损失值。总损失值用于反映当前批次的初始算法模型所预测的结果与真实结果之间的误差。
在本实施例中,总损失函数包括有分类损失函数、检测损失函数和分割误差函数,其中,分类损失函数基于检测分类信息和标准分类信息之间的误差进行计算,检测损失函数基于目标外接框和模板外接框之间的误差进行计算,分割误差函数基于预测个体集合和模板个体集合之间的误差进行计算。
S35.基于总损失函数以及当前批次的总损失值,进行通过反向传播的方式计算权重的下降梯度,并对初始算法模型的权重参数进行更新,基于更新结果确定目标检测模型。
其中,通过采用权重梯度下降的方式,对初始算法模型的权重进行更新,每更新一次便需要计算依次总损失值并进行分析,直到至权重优化达到收敛,则确定对应批次的初始算法模型为最终的目标检测模型。
在步骤S35中,在总损失函数中采用引入正则化参数,并对总损失函数进行梯度下降计算。
一个批次的训练具体说明如下:
本部分包括的缩写字母及其含义:X代表映射空间的血管切片影像;Y代表对应映射空间的血管切片的标注结果;Y^代表深度神经网络的预测结果;Loss代表深度神经网络的预测结果Y^与真实结果Y的误差;函数FModel代表深度神经网络模型;WModel代表网络模型参数;WModel_New代表更新的网络模型参数;函数FLoss代表损失函数;Lr代表学习率;代表在当前模型参数WModel下,偏差Loss的梯度。
将血管切片影像和标注数据分别转换到映射空间,得到映射空间的血管切片X和映射空间的标注数据Y。
将深度神经网络看成一个函数FModel,将需要预测的影像X输入神经网络(与网络参数WModel进行规定的运算)可以得到预测的分割结果Y^,即:
Y^=FModel(X)
网络的预测结果Y^和标注数据所代表的真实结果Y不可避免地会有所偏差。这个偏差Loss可以由损失函数FLoss计算获得,可以反应模型预测结果的准确度,即:
Loss=FLoss(Y,Y^)
然后使用梯度下降算法更新模型权重。使WModel向梯度相反的方向移动即可使结果的偏差Loss更小(其中学习率Lr为常数,可以由优化器如Adam获得),即:
在初始算法模型的算法学习过程中,算法优化的直接量化目标是使损失函数下降,而实际操作中则是通过逐步改变优化权重,使得与之相关的损失函数下降。因此,实际上是通过将所有权重参数沿着总损失函数的梯度下降的方向去增加或减小不同的值(由于权重参数一开始是随机初始化的,可能大可能小,不同权重参数的变化方向可能不同),最终获得满足要求的算法模型。
在本实施例中,当总损失函数在连续多个批次的权重优化后不再明显下降,同时初始算法模型在测试集上的表现(即准确率,召回率)不再提高,则表明当前批次的初算法模型的权重优化已经达到收敛,可以确定当前批次的初算法模型为目标检测模型。
在本实施例中,初始算法模型或目标检测模型的网络结构为全卷积特征提取网络结构,且全卷积特征提取网络结构的骨干网络可用多种目标检测网络结构替代,如残差网络(resnet)、特征金字塔网络(FPN)、路径聚合网络(PANet)及Transformer网络等。
在某一实施例中,不同方法的对比效果如下表所示:
其中,前4列为不同的神经网络配置,分别为:模型(Model)、是否采用了映射(Map)、使用Pading的模式(pading mod)、损失函数(Loss function)。
后8列为不同的评价指标,其中前三个越高代表性能越好,后面5个低代表性能越好,分别为:总的DSC系数(DSC)、血管的DSC系数(DSCL)、血管壁的DSC系数(DSCW)、血管内区域的面积差异系数(ADL)、血管壁的面积差异系数(ADW)、正则化血管壁差异性指数(NDW)、血管内区域的豪斯多夫距离(HDL),血管壁的豪斯多夫距离(HDW)。
下划线线标注的是该模型中最优的评价指数,粗体标注的是所有模型中最优的评价指数。
基于该表可以证明,无论使用哪个神经网络模型,映射之后的图像分割效果都有明显的提升。针对改环形映射,使用circular pading也是合理的优化,使用映射后的损失函数同样促进了模型的拟合。
S4.基于原空间与映射空间的映射关系将输出矩阵反映射回原空间,得到分割结果。
图6中的图(a)用于示意原空间中的待检测图像,其中网格状圆形区域为血管区域,即特征区域。图(b)用于示出待检测图像在映射空间中对应的映射图像,其中图(b)的网格状区域与图(a)的网格状区域相对应,均为特征区域。图(c)用于示出映射图像进行卷积的过程,其中卷积轨迹方向与映射图像中特征区域的延伸方向相同。图(d)用于示出反向映射至原图像空间后的卷积轨迹示意图。
参照图6,本申请实施例的实现原理:
利用血管壁影像分割的自定义卷积路径方法,将待检测影像(a)进行预处理并提取特征信息并生成映射图像(b),特征信息能够反映出血管的环形分布形状,因此可以基于特征信息对血管壁进行分割,以用于获取准确的血管壁范围和血管的中心线。由于血管壁特征被卷积路径方法映射到映射空间的同一行或连续多行上,以使得在模型学习和模型处理时卷积核能够连续地对特征部分进行卷积(c),减少背景和其它特征的干扰,从而使得模型对映射图像的识别效果较为理想。在基于训练好的检测模型对映射图像进行处理后,将得到的输出矩阵映射回原空间,即可以得到分割结果(d)。
应该理解的是,虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行;除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行;并且图1-3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
另外,本实施例中各步骤的标号仅为方便说明,不代表对各步骤执行顺序的限定,在实际应用时,可以根据需要各步骤执行顺序进行调整,或同时进行,这些调整或者替换均属于本发明的保护范围。
本申请实施例还公开一种用于血管壁影像分割的自定义卷积路径系统,其包括:
输入模块,用于获取输入图像的中心位置、轮廓区域和轮廓线,其中,输入图像位于原空间,轮廓区域对应于血管壁区域,轮廓线用于反映轮廓区域的形状,中心位置用于反映轮廓区域的中心;
部署模块,用于由图像的中心位置向外依次部署环向采样路径,并沿环向依次向外发射有纵向采样路径,其中,环向采样路径与轮廓线的形状相对应;
采样模块,用于获取各环向采样路径和纵向采样路径交叉点处的输入图像像素信息并作为采样点信息,其中,轮廓区域内采样点密度大于等于原始像素密度;转化模块,用于建立映射空间,并将采样点信息由原空间映射于映射空间中以生成映射图像,其中,映射空间的行序对应于环向采样路径序次,映射空间的列序对应于纵向采样路径序次。
本申请实施例还公开一种血管壁影像检测系统,其包括:
检测模块,用于待检测影像;其中,所述的待检测影像的成像内容中至少包括有一个血管切面;
映射模块,包括上述的用于血管壁影像分割的自定义卷积路径系统,用于利用该用于血管壁影像分割的自定义卷积路径系统,将待检测影像内的信息采样为映射图像;
检测模块,用于将映射图像输入到检测模型,以得到血管壁影像对应的输出矩阵;
反映射模块,用于基于原空间与映射空间的映射关系将输出矩阵反映射回原空间,得到分割结果。
本申请实施例还公开一种电子设备,包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行如上述用于血管壁影像分割的自定义卷积路径方法、和/或用于血管壁影像分割的神经网络模型训练方法、和/或血管壁影像检测方法的计算机程序。本实施例方法的执行主体可以是一种控制装置,该控制装置设置在主机上,当前设备可以是具有WIFI功能的手机,平板电脑,笔记本电脑等电子设备,本实施例方法的执行主体也可以直接是电子设备的CPU(central processing unit,中央处理器)。
本申请实施例还公开一种可读存储介质,存储有能够被处理器加载并执行如上的用于血管壁影像分割的自定义卷积路径方法、和/或用于血管壁影像分割的神经网络模型训练方法、和/或血管壁影像检测方法的计算机程序。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
以上均为本申请的较佳实施例,并非依此限制本申请的保护范围,故:凡依本申请的结构、形状、原理所做的等效变化,均应涵盖于本申请的保护范围之内。
Claims (17)
1.一种用于血管壁影像分割的自定义卷积路径方法,其特征在于,包括以下步骤:
获取输入图像的中心位置、轮廓区域和轮廓线,其中,输入图像位于原空间,轮廓区域对应于血管壁区域,轮廓线用于反映轮廓区域的形状,中心位置用于反映轮廓区域的中心;
由图像的中心位置向外依次部署环向采样路径,并沿环向依次向外发射有纵向采样路径,其中,环向采样路径与轮廓线的形状相对应;
获取各环向采样路径和纵向采样路径交叉点处的输入图像像素信息并作为采样点信息,其中,轮廓区域内采样点密度大于等于原始像素密度;
建立映射空间,其中,映射空间的行序对应于环向采样路径序次,映射空间的列序对应于纵向采样路径序次;
将采样点信息由原空间映射于映射空间中以生成映射图像。
2.根据权利要求1所述的用于血管壁影像分割的自定义卷积路径方法,其特征在于,所述的由图像的中心位置向外依次部署环向采样路径,并沿环向依次向外发射有纵向采样路径的步骤,包括:
基于所述的血管中心位置建立极坐标系,其中极坐标系位于原空间;
基于极轴方向依次部署若干环向采样路径,其中,各环向采样路径为半径不同且以极坐标原点为圆心的闭环;
基于坐标原点向外发射有若干纵向采样路径,其中,各纵向采样路径为依次沿环向采样路径排列的射线。
3.根据权利要求1所述的用于血管壁影像分割的自定义卷积路径方法,其特征在于,所述获取各环向采样路径和纵向采样路径交叉点处的输入图像像素信息并作为采样点信息的步骤,包括:
基于极轴方向由坐标原点向外依次遍历依次沿各环向采样路径;
沿环向采样路径对输入图像的像素信息进行采样并作为采样点信息,其中,采样的起始点为极轴与环向采样路径的交叉点,采样点为采样路径和纵向采样路径的交叉点。
4.根据权利要求1所述的用于血管壁影像分割的自定义卷积路径方法,其特征在于,所述环向采样路径的间距均相同;优选的,所述环向采样路径的间距为一个像素;或,所述环向采样路径在轮廓区域的密度大于非轮廓区域的密度;优选的,所述环向采样路径的间距沿中心位置向外的方向逐渐缩小。
5.根据权利要求1所述的用于血管壁影像分割的自定义卷积路径方法,其特征在于,所述环向采样路径向外依次布置直至抵达输入图像的边缘。
6.根据权利要求1所述的用于血管壁影像分割的自定义卷积路径方法,其特征在于,所述纵向采样路径的间距相等。
7.根据权利要求2所述的用于血管壁影像分割的自定义卷积路径方法,其特征在于,相邻的所述纵向采样路径均形成1°夹角。
8.一种用于血管壁影像分割的神经网络模型训练方法,其特征在于,包括以下步骤:
训练集收集,确定训练图像和模板信息;其中,所述训练图像为标记好的血管影像图片,所述模板信息包含模板外接框和模板个体集合;所述模板外接框能够反映所述血管在所述训练图像中的成像位置,所述模板个体集合包含所述血管在所述训练图像中的成像所具有的像素点;
基于如权利要求1-7任意一项所述的用于血管壁影像分割的自定义卷积路径方法,将训练图像内的信息采样为映射图像,并将模板信息与训练图像的坐标对应关系转化与映射图像的坐标对应关系;
将映射图像输入到初始算法模型,确定预测信息;其中,所述预测信息包括预测外接框和预测个体集合;所述预测外接框用于反映所述血管在所述训练图像中的成像位置,所述预测个体集合用于反映所述血管在所述训练图像中的成像所具有的像素点;
基于模板信息、预测信息和初始算法模型所对应的总损失函数,确定总损失值;其中,所述总损失函数关联于所述初始算法模型的权重参数;所述总损失函数包括检测损失函数和分割误差函数;其中,所述检测损失函数基于所述模板外接框和所述预测外接框确定,所述分割误差函数基于所述模板个体集合和所述预测个体集合确定;
基于总损失函数以及当前批次的总损失值,进行通过反向传播的方式计算权重的下降梯度,并对初始算法模型的权重参数进行更新,基于更新结果确定目标检测模型。
9.一种血管壁影像检测方法,其特征在于,包括以下步骤:
获取待检测影像;其中,所述的待检测影像的成像内容中至少包括有一个血管切面;
基于如权利要求1-7所述的用于血管壁影像分割的自定义卷积路径方法,将待检测影像内的信息采样为映射图像;
将映射图像输入到检测模型,以得到血管壁影像对应的输出矩阵;
基于原空间与映射空间的映射关系将输出矩阵反映射回原空间,得到分割结果。
10.根据权利要求9所述的血管壁影像检测方法,其特征在于,所述检测模型基于如权利要求8所述的神经网络模型训练方法训练得到。
11.根据权利要求9所述的血管壁影像检测方法,其特征在于,还包括检测前预处理步骤,所述检测前预处理步骤包括:
将检测图像输入到目标检测模型中,基于目标框检测确定目标外接框,并基于语义分割确定目标个体集合以作为轮廓区域;其中,所述目标为血管,所述目标外接框用于反映所述血管在输入的检测图片中的成像位置,所述目标个体集合用于反映位于所述血管的成像区域内的像素点;
基于轮廓区域生成轮廓线,并基于轮廓线选取中心位置;
结合目标外接框和目标个体集合,输出目标的特征信息;其中,所述特征信息为像素点的像素信息。
12.根据权利要求12所述的血管壁影像检测方法,其特征在于,所述检测前预处理步骤包括:
基于目标外接框对检测图像分割为各包含有一血管切面的图像。
13.根据权利要求12或13所述的血管壁影像检测方法,其特征在于,所述检测前预处理步骤包括:
基于所述检测图像的相邻像素点的像素信息,在各相邻像素之间进行像素插补插补以放大检测图像。
14.一种用于血管壁影像分割的自定义卷积路径系统,其特征在于,包括:
输入模块,用于获取输入图像的中心位置、轮廓区域和轮廓线,其中,输入图像位于原空间,轮廓区域对应于血管壁区域,轮廓线用于反映轮廓区域的形状,中心位置用于反映轮廓区域的中心;
部署模块,用于由图像的中心位置向外依次部署环向采样路径,并沿环向依次向外发射有纵向采样路径,其中,环向采样路径与轮廓线的形状相对应;
采样模块,用于获取各环向采样路径和纵向采样路径交叉点处的输入图像像素信息并作为采样点信息,其中,轮廓区域内采样点密度大于等于原始像素密度;
转化模块,用于建立映射空间,并将采样点信息由原空间映射于映射空间中以生成映射图像,其中,映射空间的行序对应于环向采样路径序次,映射空间的列序对应于纵向采样路径序次。
15.一种血管壁影像检测系统,其特征在于,包括:
检测模块,用于待检测影像;其中,所述的待检测影像的成像内容中至少包括有一个血管切面;
映射模块,包括权利要求14所述的用于血管壁影像分割的自定义卷积路径系统,用于利用该自定义卷积路径系统将待检测影像内的信息采样为映射图像;
检测模块,用于将映射图像输入到检测模型,以得到血管壁影像对应的输出矩阵;
反映射模块,用于基于原空间与映射空间的映射关系将输出矩阵反映射回原空间,得到分割结果。
16.一种电子设备,其特征在于,其包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:
执行根据权利要求1至7任一项所述的用于血管壁影像分割的自定义卷积路径方法;
和/或,执行根据权利要求8所述的用于血管壁影像分割的神经网络模型训练方法;
和/或,执行根据权利要求9至13任一项所述的血管壁影像检测方法。
17.一种计算机可读存储介质,其特征在于,所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现:
如权利要求1至7任一项所述的用于血管壁影像分割的自定义卷积路径方法;
和/或,如权利要求8所述的用于血管壁影像分割的神经网络模型训练方法;
和/或,如权利要求9至13任一项所述的血管壁影像检测方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111558647.2A CN114299357B (zh) | 2021-12-18 | 2021-12-18 | 一种用于血管壁影像分割的自定义卷积路径方法 |
PCT/CN2022/137705 WO2023109658A1 (zh) | 2021-12-18 | 2022-12-08 | 一种用于血管壁影像分割的自定义卷积路径方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111558647.2A CN114299357B (zh) | 2021-12-18 | 2021-12-18 | 一种用于血管壁影像分割的自定义卷积路径方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114299357A true CN114299357A (zh) | 2022-04-08 |
CN114299357B CN114299357B (zh) | 2024-05-03 |
Family
ID=80968217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111558647.2A Active CN114299357B (zh) | 2021-12-18 | 2021-12-18 | 一种用于血管壁影像分割的自定义卷积路径方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114299357B (zh) |
WO (1) | WO2023109658A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115463806A (zh) * | 2022-08-04 | 2022-12-13 | 东莞市慧视智能科技有限公司 | 一种速度可控的点胶方法及点胶系统 |
WO2023109658A1 (zh) * | 2021-12-18 | 2023-06-22 | 深圳先进技术研究院 | 一种用于血管壁影像分割的自定义卷积路径方法 |
WO2024001747A1 (zh) * | 2022-06-28 | 2024-01-04 | 上海市胸科医院 | 肺部血管模型的建立方法、装置及服务器 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116703948B (zh) * | 2023-08-03 | 2023-11-14 | 杭州脉流科技有限公司 | 基于深度神经网络的颅内血管树分割方法和分割装置 |
CN117547367B (zh) * | 2024-01-10 | 2024-04-30 | 上海交通大学医学院附属第九人民医院 | 一种牙科修复体设计系统 |
CN118071750A (zh) * | 2024-04-22 | 2024-05-24 | 中国医学科学院北京协和医院 | 股动脉穿刺超声影像实时处理方法、装置及工作方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6385332B1 (en) * | 1999-02-19 | 2002-05-07 | The John P. Roberts Research Institute | Automated segmentation method for 3-dimensional ultrasound |
US6842638B1 (en) * | 2001-11-13 | 2005-01-11 | Koninklijke Philips Electronics N.V. | Angiography method and apparatus |
US20120093388A1 (en) * | 2010-10-18 | 2012-04-19 | Fujifilm Corporation | Medical image processing apparatus, method, and program |
CN102646193A (zh) * | 2012-03-23 | 2012-08-22 | 河海大学 | 一种环形排布字符图像分割方法 |
CN102800088A (zh) * | 2012-06-28 | 2012-11-28 | 华中科技大学 | 超声颈动脉斑块自动分割方法 |
CN107180431A (zh) * | 2017-04-13 | 2017-09-19 | 辽宁工业大学 | Ct图像中一种有效的半自动血管分割方法 |
US20180000441A1 (en) * | 2016-06-30 | 2018-01-04 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for extracting blood vessel |
US20200294659A1 (en) * | 2019-03-17 | 2020-09-17 | Lightlab Imaging, Inc. | Arterial Imaging and Assessment Systems and Methods and Related User Interface Based-Workflows |
CN113066091A (zh) * | 2021-03-29 | 2021-07-02 | 昆明同心医联科技有限公司 | 基于黑血管壁曲面重建的脑血管分割方法、装置及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7970187B2 (en) * | 2005-09-06 | 2011-06-28 | Pie Medical Imaging B.V. | Method, apparatus and computer program for contour detection of vessels using x-ray densitometry |
EP2339538B1 (en) * | 2009-12-23 | 2014-02-12 | Intrasense | Artifact-free filet view for virtual endoscopy of lumen structures |
CN110136157B (zh) * | 2019-04-09 | 2021-03-26 | 华中科技大学 | 一种基于深度学习的三维颈动脉超声图像血管壁分割方法 |
CN114299357B (zh) * | 2021-12-18 | 2024-05-03 | 深圳先进技术研究院 | 一种用于血管壁影像分割的自定义卷积路径方法 |
-
2021
- 2021-12-18 CN CN202111558647.2A patent/CN114299357B/zh active Active
-
2022
- 2022-12-08 WO PCT/CN2022/137705 patent/WO2023109658A1/zh unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6385332B1 (en) * | 1999-02-19 | 2002-05-07 | The John P. Roberts Research Institute | Automated segmentation method for 3-dimensional ultrasound |
US6842638B1 (en) * | 2001-11-13 | 2005-01-11 | Koninklijke Philips Electronics N.V. | Angiography method and apparatus |
US20120093388A1 (en) * | 2010-10-18 | 2012-04-19 | Fujifilm Corporation | Medical image processing apparatus, method, and program |
CN102646193A (zh) * | 2012-03-23 | 2012-08-22 | 河海大学 | 一种环形排布字符图像分割方法 |
CN102800088A (zh) * | 2012-06-28 | 2012-11-28 | 华中科技大学 | 超声颈动脉斑块自动分割方法 |
US20180000441A1 (en) * | 2016-06-30 | 2018-01-04 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for extracting blood vessel |
CN107180431A (zh) * | 2017-04-13 | 2017-09-19 | 辽宁工业大学 | Ct图像中一种有效的半自动血管分割方法 |
US20200294659A1 (en) * | 2019-03-17 | 2020-09-17 | Lightlab Imaging, Inc. | Arterial Imaging and Assessment Systems and Methods and Related User Interface Based-Workflows |
CN113066091A (zh) * | 2021-03-29 | 2021-07-02 | 昆明同心医联科技有限公司 | 基于黑血管壁曲面重建的脑血管分割方法、装置及存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023109658A1 (zh) * | 2021-12-18 | 2023-06-22 | 深圳先进技术研究院 | 一种用于血管壁影像分割的自定义卷积路径方法 |
WO2024001747A1 (zh) * | 2022-06-28 | 2024-01-04 | 上海市胸科医院 | 肺部血管模型的建立方法、装置及服务器 |
CN115463806A (zh) * | 2022-08-04 | 2022-12-13 | 东莞市慧视智能科技有限公司 | 一种速度可控的点胶方法及点胶系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114299357B (zh) | 2024-05-03 |
WO2023109658A1 (zh) | 2023-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114299357A (zh) | 一种用于血管壁影像分割的自定义卷积路径方法 | |
US10235755B2 (en) | High-throughput adaptive sampling for whole-slide histopathology image analysis | |
WO2021244661A1 (zh) | 确定图像中血管信息的方法和系统 | |
CN110503630B (zh) | 一种基于三维深度学习模型的脑出血分类、定位与预测方法 | |
CN108416802B (zh) | 一种基于深度学习的多模医学图像非刚性配准方法及系统 | |
Birenbaum et al. | Longitudinal multiple sclerosis lesion segmentation using multi-view convolutional neural networks | |
US20190298204A1 (en) | Systems and methods for digitizing electrocardiograms | |
EP3718079B1 (en) | Segmentation system for segmenting an object in an image | |
US20100189320A1 (en) | Method of Segmenting Anatomic Entities in 3D Digital Medical Images | |
JP2023511300A (ja) | 医用画像における解剖学的構造を自動的に発見するための方法及びシステム | |
CN105931226A (zh) | 基于深度学习的自适应椭圆拟合细胞自动检测分割方法 | |
WO2021249439A1 (en) | Systems and methods for image processing | |
CN112614133B (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
US10410355B2 (en) | Methods and systems for image analysis using non-euclidean deformed graphs | |
CN111680755A (zh) | 医学图像识别模型构建及医学图像识别方法、装置、介质及终端 | |
CN114732431B (zh) | 对血管病变进行检测的计算机实现方法、装置及介质 | |
CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
WO2021011775A1 (en) | Systems and methods for generating classifying and quantitative analysis reports of aneurysms from medical image data | |
Nie et al. | Recent advances in diagnosis of skin lesions using dermoscopic images based on deep learning | |
He et al. | Automatic left ventricle segmentation from cardiac magnetic resonance images using a capsule network | |
CN113362360B (zh) | 基于流体速度场的超声颈动脉斑块分割方法 | |
CN113436127A (zh) | 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质 | |
CN117058170A (zh) | 基于双分支多尺度交叉融合网络的颈动脉斑块分割方法 | |
Dong et al. | Hole-filling based on content loss indexed 3D partial convolution network for freehand ultrasound reconstruction | |
CN110111318A (zh) | 一种环形伪影的检测方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |