CN112132777A - 一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法 - Google Patents
一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法 Download PDFInfo
- Publication number
- CN112132777A CN112132777A CN202010802087.XA CN202010802087A CN112132777A CN 112132777 A CN112132777 A CN 112132777A CN 202010802087 A CN202010802087 A CN 202010802087A CN 112132777 A CN112132777 A CN 112132777A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- global
- training
- resolution
- tip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000008447 perception Effects 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000007499 fusion processing Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 30
- 210000000115 thoracic cavity Anatomy 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 210000000038 chest Anatomy 0.000 description 7
- 238000011976 chest X-ray Methods 0.000 description 3
- 238000001802 infusion Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- 210000002620 vena cava superior Anatomy 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 239000002085 irritant Substances 0.000 description 1
- 231100000021 irritant Toxicity 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 210000005245 right atrium Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000001321 subclavian vein Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
- G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法，包括以下步骤：步骤1：预处理过程；步骤2：全局粗分割过程：采用步骤1所得的最低分辨率的训练样本训练全局粗分割网络，构建全局粗分割网络的初始模型。并输出训练样本的全局粗分割结果；步骤3：局部精分割过程：将全局粗分割结果和步骤一中训练样本进行裁剪，用裁剪过的样本和全局粗分割结果共同来训练精分割网络，构建局部精分割模型；步骤4：全局和局部分割融合过程；步骤5：后处理过程。本发明可以扩大感受野，保证PICC的全局信息；既能获得细节信息，同时减少误分割出现的几率；结构灵活，达到更好的分割效果。
Description
技术领域
本发明涉及人工智能计算机视觉图像领域，更具体地，是一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法。
技术背景
外周静脉植入的中心静脉导管(Peripherally Inserted Central Catheter，简称 PICC),是一种薄而软的塑料导管，主要应用于长期静脉输液、输注刺激性药物以及间歇性输液治疗的患者。导管从手臂的静脉插入，通过锁骨下静脉进入上腔静脉，导管尖端向下引导，理想的位置是位于上腔静脉和右心房的交界处。放置不放的PICC可能会有潜在的并发症。因此，在PICC植入后，会立即用X光图像来确认位置。尽管放射科医生解释PICC位置的错误率较低，但是会需要较长的时间，以及需要医生有足够的经验。
计算机辅助检测技术已经被用来帮助放射科医生解释医学图像，提高工作效率。语义分割是深度学习进行图像解释的一项基本任务，目的是为图像中的所有像素分配一个标签。使用更高分辨率的特征对于语义分割有至关重要的作用，但这将直接导致昂贵的计算成本，因此针对高分辨率图像，在应用深度学习方法的之前一般会采用下采样的方式减少数据量，但与此同时会损失了大量信息。对于医学影像中的X光图像而言，得到的分辨率水平比较高，直接对原始数据进行下采样、缩小数据大小，尤其在PICC这种细小的目标，在下采样中会直接损失分割所需要的边界信息，影响深度学习的模型效果。除此之外，如附图中所示，在胸部X光图像中，肋骨的成像与PICC管线成像的位置有交叉和重叠，尤其是PICC的尖端位置受骨骼的遮挡非常严重，因此给PICC管线的分割和定位任务造成了极大的困难。
对PICC的分割任务的目的是确定导管尖端的位置，但目前深度学习的图像分割技术上更多侧重于边界的保持上，并没有对尖端的位置有额外的精度要求，因此本发明设计的方法就是利用多分辨率丰富的信息，在图像分割的基础上对尖端定位，达到精确分割同时定位准确的目的。其中，全局的分割中使用了金字塔池化操作，可以扩大感受野，保证PICC的全局信息；其次，在局部的分割中使用了更高的分辨率图像，并且和粗分割结果的共同作用下，既能获得细节信息，同时减少误分割出现的几率；最后使用针对尖端位置的损失函数对整个系统进行训练，是从PICC分割任务的根本目的出发，更适合实际使用。
发明内容
为了解决背景技术中的问题，针对现有技术的不足，本发明提出了一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法，可以扩大感受野，保证 PICC的全局信息；既能获得细节信息，同时减少误分割出现的几率；结构灵活，达到更好的分割效果。
本发明解决其技术问题所采用的技术方案是：
一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法，所述的方法包括以下步骤：
步骤1：预处理过程：收集并预处理外周穿刺中心静脉导管PICC的X光片以及医生对PICC所做的标注，将数据集处理为三个分辨率级别，建立训练样本和测试样本；
步骤2：全局粗分割过程：采用步骤1所得的最低分辨率的训练样本训练全局粗分割网络，构建全局粗分割网络的初始模型。并输出训练样本的全局粗分割结果；
步骤3：局部精分割过程：将全局粗分割结果和步骤一中训练样本进行裁剪，用裁剪过的样本和全局粗分割结果共同来训练精分割网络，构建局部精分割模型；
步骤4：全局和局部分割融合过程：将步骤3中精分割的结果与步骤2中的分割结果相融合，作为整个系统的最终输出，使用对尖端位置加权的损失函数对整个系统进行训练，通过梯度反向传播训练整个分割模型；其中，全局和局部相融合采用的方法是用局部中的值与全局分割图中对应位置的值做平均，作为整个系统的最后输出；使用的损失函数是交叉熵损失函数和针对尖端位置的准确度所提出的损失函数Ltip所做的加权和；
步骤5：后处理过程：对分割系统的输出概率图用阈值的方法生成二值分割图，对该二值分割图通过形态学方法进行膨胀，消除断裂和空洞点，得到每个X 光片的最终分割结果，使用的形态学方法为闭运算，先膨胀运算再腐蚀运算。
进一步，所述步骤1的过程如下：
1.1数据集格式的转换是将X光片中的无关信息删除，转换成矩阵数据类型的数据格式，减少无用的数据量，提高后续模型训练训练效率；
1.2胸腔感兴趣区域ROI裁剪，使用的方法是使用深度学习图像分割任务中经典的UNet网络，使用胸腔样本和医生标注的胸腔轮廓训练模型，输出的结果经过阈值分割得到ROI，使用可以包含ROI的最小矩形对胸腔样本进行裁剪；
1.3多分辨率数据集构建是为了后续步骤的需要，将数据构建出低、中、高三个分辨率级别的数据集；划分数据集，将数据样本和标注样本划分为训练集和测试集；
1.4图像增强具体指的是，对训练集进行直方图均衡化和随机高斯模糊，可以使得模型更加具有鲁棒性，对训练集进行直方图均衡化。
再进一步，所述步骤2中，全局粗分割网络结构包含四个特征编码块、一个金字塔多尺度池化层和四个特征解码块，过程为：
2.1编码块包含两个卷积层和一个池化层，每一个卷积层中包含卷积、标准化、激活函数的操作，池化层中包含最大池化的操作，其中金字塔多尺度池化层由四条级联的池化分支构成，每一个池化分支包含一个卷积核为K的最大池化操作和一个卷积操作，其中K＝1，3，5，6，可以得到不同感受野大小的特征图，将四个池化分支所产生的特征图统一尺寸之后进行合并；
2.2其中特征解码块中：前三个解码块包含反卷积层和两个卷积层，反卷积层中包括转置卷积操作，卷积层中包括卷积、标准化和激活函数的操作；第四个解码块包含转置卷积操作和卷积操作，最后对特征图进行sigmoid激活操作，作为全局粗分割网络结构的输出。
更进一步，所述步骤3中，精分割的过程包括以下子步骤：
3.1将全局粗分割网络的分割结果、中分辨率级样本进行同样的裁剪，裁剪的方法是以标注中PICC的尖端为中心，裁剪出原图1/4的局部图；
3.2将胸腔的裁剪图和全局粗分割结果组合起来，形成多通道图像，输入到局部精分割网络中，使用裁剪的标注进行训练，得到精分割模型；
3.3其中精分割模型包括三个编码块和三个解码块，其中编码块中包括卷积、标准化和激活函数构成的残差结构，解码块是包含反卷积、标准化和激活函数构成的残差结构。
所述步骤4的过程为：
4.1交叉熵损失函数的计算为：
其中yi代表标注图像中的值，fi(xi)代表预测图中的值，n代表样本数；
4.2损失函数Ltip的计算方式受Distance-IOU的启发，计算步骤如下：
4.2.1首先确定预测图和标注图中PICC的尖端位置坐标b,bgt；
4.2.2以这两个坐标为中心，以标注图中PICC的宽度为边长，分别构造两个矩形A和B；
4.2.3构造可以包含这两个矩形的最小闭包C，c为闭包C的对角线；
4.2.4
4.2.5
其中ρ2()代表计算两个尖端点之间的欧式距离；
4.2.6 Ltip＝1-DIOU。
本发明的有益效果表现在：首先，在全局的分割中使用了金字塔池化操作，可以扩大感受野，保证PICC的全局信息；其次，在局部的分割中使用了更高的分辨率图像，并且和粗分割结果的共同作用下，既能获得细节信息，同时减少误分割出现的几率；最后使用针对尖端位置的损失函数对整个系统进行训练，是从 PICC分割任务的根本目的出发，更适合实际使用；此外，本系统结构灵活，其中的全局分割网络和局部分割网络均可与更先进的网络结构相结合，达到更好的分割效果。
附图说明
图1是基于多分辨率感知学习的中心静脉导管分割和尖端定位方法的流程图。
图2是预处理过程流程图。
图3是全局粗分割网络网络结构图。
图4是局部精分割网络网络结构图。
图5是胸部X光片和PICC标注图像，其中，(a)是胸部X光片，(b)是PICC 标注图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
参照图1～图5，一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法，通过多个分辨率级别的胸片图像和医生所做的标注对系统进行训练，并将测试图像输入到训练好的系统中，从而获得PICC的分割掩码，从而实现分割任务。
如图1所示，为本发明实例提供的一种适用于PICC图像的分割方法的流程示意图，包括以下步骤：
步骤1：预处理过程：将DICOM和NII格式的胸片图像和标注图像进行格式转换，再使用图像金字塔的方法，获得三个分辨率级别的胸片和标注数据，作为后续步骤的训练集和测试集，过程为：
1.1为减少后续步骤所耗的时间，首先将所有的DICOM格式的胸片图像、 NII格式的标注图像进行格式转换，去掉病人的信息，转换之后的格式是numpy 的矩阵格式。之后，将医生所做的胸腔轮廓标注进行填充，使用的方法是形态学的孔洞填充方法。
1.2将原图和填充过的胸腔标注图像进行下采样到256×256。使用经典的 UNet网络对降采样后的原图和胸腔标注进行训练，得到粗略的胸腔分割模型。使用胸腔分割模型对所有的数据进行预测，根据胸腔的分割掩膜对原图和PICC的标注图图像进行裁剪。
1.3将裁剪的原图和PICC的标注图像进行三层图像金字塔的处理，得到三个分辨率级别的数据集(原图分辨率、缩小一倍分辨率和缩小两倍的分辨率)，然后对每个级别的数据集进行尺寸统一(512×512，1024×1024，2048×2048)。
1.4对所有的数据集中的原图做直方图均衡化处理。
步骤2：全局粗分割：使用低分辨率级别的图像作为数据集，对全局粗分割网络进行训练，得到全局粗分割模型，使用该模型得到的分割结果作为后续步骤的训练数据，过程为：
2.1使用的低分辨率数据作为数据集，分辨率调整为512×512。其中全局粗分割网络的具体结构为：采用了四个编码块和四个解码块，其中前三个解码块与前三个编码块一一对应，使用快捷连接。
2.2每个编码块中由两个卷积块和一个池化层构成，每个卷积块包含3×3的卷积、标准化层(BatchNorm)和激活函数(Relu)，池化层使用全局平均池化层。
2.3前三个解码快包含转置卷积层和两个卷积块，其中的卷积块与编码器的卷积块相同。第四个解码块包含一个转置卷积层、一个1×1的卷积和sigmoid激活函数，在编码块结束后，输出1024×1024分辨率的粗分割图像。
2.4在编码部分和解码部分之间，为金字塔池化块，该池化块可以在增加少量数据量的同时，扩大感受野，提取全局上下文信息，同时利用局部和全局信息，提高分割性能。金字塔池化块中包含四个分支，其中包括四个不同池化核的全局平均池化层，在全局平均池化层之后使用上采样将池化的结果统一到与输入图像相同的尺寸上，将输入和四个分支的结果进行拼接，通过Relu激活函数调整之后作为金字塔池化块的输出，输入到编码部分。
2.5使用二元交叉熵损失函数训练模型直至梯度下降到一定程度。
步骤3：局部精分割：使用全局粗分割模型的分割结果和中分辨率级别的图像作为数据集，对局部精分割网络进行训练，使用该模型的分割结果与全局粗分割模型的分割结果进行融合，过程为：
3.1根据粗分割结果对粗分割结果、中分辨率级别的图像和标注做裁剪，裁剪的方法为：对粗分割结果做阈值分割，找到包含分割结果的最小矩形闭包，如果闭包偏离胸腔中央太远，适当扩大闭包的范围，得到512×512的裁剪区域，对粗分割结果、中分辨率级别的图像和标注做相同的裁剪。
3.2全局粗分割模型的粗分割输出与中分辨率级别的数据进行合并，得到的二通道的数据作为局部细分割模型的训练和测试数据。
3.3局部精分割网络结构是由三个残差的编码块和三个残差的解码器组成，其中，如图4所示，每个编码块中包含两个残差块，每个解码块中包含两个残差解码块。
步骤4：尖端定位算法：该算法应用于步骤(3)，作为局部精分割模型训练过程中损失函数的一部分，将分割结果的尖端位置和标注的尖端位置之间的距离与交叉熵损失函数的加权和作为最终的损失函数来指导导梯度下降。因为普遍适用的损失函数针对是目标的整体，而没有特别地加大对尖端或者边缘的权重，因此在PICC的分割任务上不够精确，因此设计了尖端定位算法，该算法应用于步骤(3)中精分割网络训练时的损失函数中。损失函数由两部分构成：一个是全局分割概率图与同分辨率级别标注的交叉熵损失，另一个是全局预测图中的PICC 的尖端与标注中尖端位置的距离损失。
所述步骤4的过程为：
4.1交叉熵损失函数计算如下：
其中yi代表标注图像中的值，fi(xi)代表预测图中的值，n代表样本数；
4.2损失函数Ltip的计算方式受Distance-IOU的启发，计算步骤如下：
4.2.1首先确定预测图和标注图中PICC的尖端位置坐标b,bgt；
4.2.2以这两个坐标为中心，以标注图中PICC的宽度为边长，分别构造两个矩形A和B；
4.2.3构造可以包含这两个矩形的最小闭包C，c为闭包C的对角线；
4.2.4
4.2.5
其中ρ2()代表计算两个尖端点之间的欧式距离；
4.2.6 Ltip＝1-DIOU。
因此得到最终的损失函数为：
L＝α*Ltip+β*LBCE，其中α和β为常数。
在本发明实例中，在步骤(3)得到的细分割结果与步骤(2)中的分割结果进行平均求和，使用阈值分割得到最后的分割结果。之后使用形态学运算中的闭运算，得到连续的分割结果。
Claims (5)
1.一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法，其特征在于，所述的方法包括以下步骤：
步骤1：预处理过程：收集并预处理外周穿刺中心静脉导管PICC的X光片以及医生对PICC所做的标注，将数据集处理为三个分辨率级别，建立训练样本和测试样本；
步骤2：全局粗分割过程：采用步骤1所得的最低分辨率的训练样本训练全局粗分割网络，构建全局粗分割网络的初始模型，并输出训练样本的全局粗分割结果；
步骤3：局部精分割过程：将全局粗分割结果和步骤一中训练样本进行裁剪，用裁剪过的样本和全局粗分割结果共同来训练精分割网络，构建局部精分割模型；
步骤4：全局和局部分割融合过程：将步骤3中精分割的结果与步骤2中的分割结果相融合，作为整个系统的最终输出，使用对尖端位置加权的损失函数对整个系统进行训练，通过梯度反向传播训练整个分割模型；其中，全局和局部相融合采用的方法是用局部中的值与全局分割图中对应位置的值做平均，作为整个系统的最后输出；使用的损失函数是交叉熵损失函数和针对尖端位置的准确度所提出的损失函数Ltip所做的加权和；
步骤5：后处理过程：对分割系统的输出概率图用阈值的方法生成二值分割图，对该二值分割图通过形态学方法进行膨胀，消除断裂和空洞点，得到每个X光片的最终分割结果，使用的形态学方法为闭运算，先膨胀运算再腐蚀运算。
2.如权利要求1所述的一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法，其特征在于，所述步骤1的过程如下：
1.1数据集格式的转换是将X光片中的无关信息删除，转换成矩阵数据类型的数据格式，减少无用的数据量，提高后续模型训练训练效率；
1.2胸腔感兴趣区域ROI裁剪，使用的方法是使用深度学习图像分割任务中经典的UNet网络，使用胸腔样本和医生标注的胸腔轮廓训练模型，输出的结果经过阈值分割得到ROI，使用可以包含ROI的最小矩形对胸腔样本进行裁剪；
1.3多分辨率数据集构建是为了后续步骤的需要，将数据构建出低、中、高三个分辨率级别的数据集；划分数据集，将数据样本和标注样本划分为训练集和测试集；
1.4图像增强具体指的是，对训练集进行直方图均衡化和随机高斯模糊，可以使得模型更加具有鲁棒性，对训练集进行直方图均衡化。
3.如权利要求1或2所述的一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法，其特征在于，所述步骤2中，全局粗分割网络结构包含四个特征编码块、一个金字塔多尺度池化层和四个特征解码块，过程为：
2.1编码块包含两个卷积层和一个池化层，每一个卷积层中包含卷积、标准化、激活函数的操作，池化层中包含最大池化的操作，其中金字塔多尺度池化层由四条级联的池化分支构成，每一个池化分支包含一个卷积核为K的最大池化操作和一个卷积操作，其中K＝1，3，5，6，可以得到不同感受野大小的特征图，将四个池化分支所产生的特征图统一尺寸之后进行合并；
2.2其中特征解码块中：前三个解码块包含反卷积层和两个卷积层，反卷积层中包括转置卷积操作，卷积层中包括卷积、标准化和激活函数的操作；第四个解码块包含转置卷积操作和卷积操作，最后对特征图进行sigmoid激活操作，作为全局粗分割网络结构的输出。
4.如权利要求1或2所述的一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法，其特征在于，所述步骤3中，精分割的过程包括以下子步骤：
3.1将全局粗分割网络的分割结果、中分辨率级样本进行同样的裁剪，裁剪的方法是以标注中PICC的尖端为中心，裁剪出原图1/4的局部图；
3.2将胸腔的裁剪图和全局粗分割结果组合起来，形成多通道图像，输入到局部精分割网络中，使用裁剪的标注进行训练，得到精分割模型；
3.3其中精分割模型包括三个编码块和三个解码块，其中编码块中包括卷积、标准化和激活函数构成的残差结构，解码块是包含反卷积、标准化和激活函数构成的残差结构。
5.如权利要求1或2所述的一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法，其特征在于，所述步骤4的过程为：
4.1交叉熵损失函数的计算为：
其中yi代表标注图像中的值，fi(xi)代表预测图中的值，n代表样本数；
4.2损失函数Ltip的计算方式受Distance-IOU的启发，计算步骤如下：
4.2.1首先确定预测图和标注图中PICC的尖端位置坐标b,bgt；
4.2.2以这两个坐标为中心，以标注图中PICC的宽度为边长，分别构造两个矩形A和B；
4.2.3构造可以包含这两个矩形的最小闭包C，c为闭包C的对角线；
4.2.4
4.2.5
其中ρ2()代表计算两个尖端点之间的欧式距离；
4.2.6 Ltip＝1-DIOU。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010802087.XA CN112132777B (zh) | 2020-08-11 | 2020-08-11 | 一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010802087.XA CN112132777B (zh) | 2020-08-11 | 2020-08-11 | 一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112132777A true CN112132777A (zh) | 2020-12-25 |
| CN112132777B CN112132777B (zh) | 2024-06-18 |
Family
ID=73850329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010802087.XA Active CN112132777B (zh) | 2020-08-11 | 2020-08-11 | 一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112132777B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914948A (zh) * | 2020-08-20 | 2020-11-10 | 上海海事大学 | 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法 |
| CN112785592A (zh) * | 2021-03-10 | 2021-05-11 | 河北工业大学 | 基于多重扩张路径的医学影像深度分割网络 |
| CN113223004A (zh) * | 2021-05-07 | 2021-08-06 | 西安智诊智能科技有限公司 | 一种基于深度学习的肝脏图像分割方法 |
| CN114998307A (zh) * | 2022-07-06 | 2022-09-02 | 重庆大学 | 基于双分辨率网络的两阶段全3d腹部器官分割方法及系统 |
| CN114999608A (zh) * | 2022-05-23 | 2022-09-02 | 首都医科大学附属北京朝阳医院 | Picc居家维护评估方法、系统、存储介质及电子设备 |
| KR20230145836A (ko) * | 2022-04-11 | 2023-10-18 | 사회복지법인 삼성생명공익재단 | 딥러닝 모델 기반의 말초 삽입형 중심 정맥관 검출 방법 및 영상처리장치 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| CN110874842A (zh) * | 2019-10-10 | 2020-03-10 | 浙江大学 | 一种基于级联残差全卷积网络的胸腔多器官分割方法 |
| CN111027575A (zh) * | 2019-12-13 | 2020-04-17 | 广西师范大学 | 一种自注意对抗学习的半监督语义分割方法 |
| CN111160351A (zh) * | 2019-12-26 | 2020-05-15 | 厦门大学 | 基于块推荐网络的快速高分辨率图像分割方法 |
| CN111275712A (zh) * | 2020-01-15 | 2020-06-12 | 浙江工业大学 | 一种面向大尺度图像数据的残差语义网络训练方法 |
| US20200211185A1 (en) * | 2018-12-29 | 2020-07-02 | Shenzhen Malong Technologies Co., Ltd. | 3d segmentation network and 3d refinement module |
-
2020
- 2020-08-11 CN CN202010802087.XA patent/CN112132777B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| US20200211185A1 (en) * | 2018-12-29 | 2020-07-02 | Shenzhen Malong Technologies Co., Ltd. | 3d segmentation network and 3d refinement module |
| CN110874842A (zh) * | 2019-10-10 | 2020-03-10 | 浙江大学 | 一种基于级联残差全卷积网络的胸腔多器官分割方法 |
| CN111027575A (zh) * | 2019-12-13 | 2020-04-17 | 广西师范大学 | 一种自注意对抗学习的半监督语义分割方法 |
| CN111160351A (zh) * | 2019-12-26 | 2020-05-15 | 厦门大学 | 基于块推荐网络的快速高分辨率图像分割方法 |
| CN111275712A (zh) * | 2020-01-15 | 2020-06-12 | 浙江工业大学 | 一种面向大尺度图像数据的残差语义网络训练方法 |
Non-Patent Citations (2)
| Title |
|---|
| 余玉琴;蔡晨;: "基于Gloabl-Local评估方法的U-Net图像分割", 计算机与数字工程, no. 04, 20 April 2019 (2019-04-20) * |
| 周芳芳;王一达;宋阳;杨光;: "基于2.5D级联卷积神经网络的CT图像胰腺分割方法", 中国医学物理学杂志, no. 06, 25 June 2020 (2020-06-25) * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914948A (zh) * | 2020-08-20 | 2020-11-10 | 上海海事大学 | 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法 |
| CN111914948B (zh) * | 2020-08-20 | 2024-07-26 | 上海海事大学 | 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法 |
| CN112785592A (zh) * | 2021-03-10 | 2021-05-11 | 河北工业大学 | 基于多重扩张路径的医学影像深度分割网络 |
| CN113223004A (zh) * | 2021-05-07 | 2021-08-06 | 西安智诊智能科技有限公司 | 一种基于深度学习的肝脏图像分割方法 |
| KR20230145836A (ko) * | 2022-04-11 | 2023-10-18 | 사회복지법인 삼성생명공익재단 | 딥러닝 모델 기반의 말초 삽입형 중심 정맥관 검출 방법 및 영상처리장치 |
| KR102680374B1 (ko) | 2022-04-11 | 2024-07-01 | 사회복지법인 삼성생명공익재단 | 딥러닝 모델 기반의 말초 삽입형 중심 정맥관 검출 방법 및 영상처리장치 |
| CN114999608A (zh) * | 2022-05-23 | 2022-09-02 | 首都医科大学附属北京朝阳医院 | Picc居家维护评估方法、系统、存储介质及电子设备 |
| CN114998307A (zh) * | 2022-07-06 | 2022-09-02 | 重庆大学 | 基于双分辨率网络的两阶段全3d腹部器官分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112132777B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132777A (zh) | 一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法 | |
| Li et al. | Lvit: language meets vision transformer in medical image segmentation | |
| EP3961500B1 (en) | Medical image detection method based on deep learning, and related device | |
| CN118334070A (zh) | 用于在图像分析中进行解剖结构分割的系统和方法 | |
| CN111260705B (zh) | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 | |
| CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
| Shu et al. | LVC-Net: Medical image segmentation with noisy label based on local visual cues | |
| CN112561877B (zh) | 多尺度双通道卷积模型训练方法、图像处理方法及装置 | |
| KR20210115223A (ko) | 인공지능 기술을 이용한 혈관 구조 추출 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| CN113936011A (zh) | 基于注意力机制的ct影像肺叶图像分割系统 | |
| CN112598656A (zh) | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 | |
| CN114022491B (zh) | 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法 | |
| CN115205298B (zh) | 肝部区域血管分割的方法及设备 | |
| CN115471470A (zh) | 一种食管癌ct图像分割方法 | |
| CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
| CN113450359A (zh) | 医学图像分割、显示、模型训练方法、系统、设备和介质 | |
| CN114119547A (zh) | 一种三维肝胆管图像分割算法及系统 | |
| CN111091575A (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| CN114820658A (zh) | 一种肝静脉和门静脉分割方法及装置 | |
| Wang et al. | Accurate lung nodule segmentation with detailed representation transfer and soft mask supervision | |
| CN111192320A (zh) | 一种位置信息确定方法、装置、设备和存储介质 | |
| Tran et al. | Deep learning-based inpainting for chest X-ray image | |
| Zeeshan Aslam et al. | AML‐Net: Attention‐based multi‐scale lightweight model for brain tumour segmentation in internet of medical things | |
| CN117611596A (zh) | 基于LesionMix和熵最小化的半监督肺癌医学影像分割方法及装置 | |
| CN113177957A (zh) | 一种细胞图像的分割方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |