CN113538475B - 基于多任务算法的实时多器械分割方法和系统 - Google Patents
基于多任务算法的实时多器械分割方法和系统 Download PDFInfo
- Publication number
- CN113538475B CN113538475B CN202110815335.9A CN202110815335A CN113538475B CN 113538475 B CN113538475 B CN 113538475B CN 202110815335 A CN202110815335 A CN 202110815335A CN 113538475 B CN113538475 B CN 113538475B
- Authority
- CN
- China
- Prior art keywords
- loss function
- feature
- module
- image
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000006870 function Effects 0.000 claims abstract description 124
- 238000011176 pooling Methods 0.000 claims description 49
- 238000002156 mixing Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims 2
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000002679 ablation Methods 0.000 description 5
- 239000002872 contrast media Substances 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000011976 chest X-ray Methods 0.000 description 3
- 208000002223 abdominal aortic aneurysm Diseases 0.000 description 2
- 208000007474 aortic aneurysm Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013152 interventional procedure Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 208000001647 Renal Insufficiency Diseases 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001105 femoral artery Anatomy 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910052740 iodine Inorganic materials 0.000 description 1
- 239000011630 iodine Substances 0.000 description 1
- 201000006370 kidney failure Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003589 nefrotoxic effect Effects 0.000 description 1
- 231100000381 nephrotoxic Toxicity 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像分析领域，具体涉及了一种基于多任务算法的实时多器械分割方法和系统，旨在解决现有的X涉嫌图像器械分割无法同时分割出多种器械、透视图像中多种器械像素重叠和实时性差的问题。本发明包括：获取X光视频序列，作为被测视频序列，基于所述被测视频序列，通过训练好的基于多任务学习的轻量级深度特征细化网络获取预设类别器械的预测分割结果。本发明的基于多任务学习的轻量级深度特征细化网络通过添加特征细化模块和通道标定模块，并结合混合损失函数、交叉熵损失函数和多任务损失函数，实现了在X射线图像中进行实时多仪器分割，解决了同时仪器分割的像素重叠的问题，提高了预测分割的准确性和鲁棒性。
Description
技术领域
本发明属于图像分析领域，具体涉及了一种基于多任务算法的实时多器械分割方法和系统。
背景技术
腹主动脉瘤(Abdominal aortic aneurysm,AAA)是一种局部扩张的主动脉，在破裂前通常不会展现出典型症状，因此导致其致死率为85％——90％。
在血管内介入手术中，导丝经股动脉插入血管，在X射线透视图像的引导下送入血管狭窄处，进行支架植入、消融等治疗。由于介入手术的复杂性，手术过程中通常需要高剂量的辐射照射和大剂量肾毒性碘造影剂，这将导致患者出现常见的术后并发症，如肾功能不全。因此，减少造影剂的使用十分重要。
手术前，医生可通过三维CT(3D computed tomography)图像获取血管信息。目前已有研究证明融合术前信息与术中透视来指导介入手术可以减少造影剂的使用，并加快手术进程。然而，由于患者的运动或介入器械引起的血管变形，融合可能变得不准确。了解导丝、导管、支架等器械的存在及其形状和位置有助于评估融合质量和重校准，也可作为术中变形校正算法的输入，直接辅助再配准。因此，实时、准确的多器械分割必不可少。
然而，这项任务并不简单，目前面临的主要挑战如下:导丝和导管像素与背景像素的比例较低，导致像素类别不平衡；不同介入手术中支架形态不同，具有不同的形状、大小等视觉特征；造影剂和脊柱的伪影会干扰器械边缘像素的分类精度。
目前有很多针对x射线图像中器械的检测和分割任务的研究，主要包括两大类方法，分别为基于特征的方法和基于学习的方法。其中，基于特征的方法需要经验丰富的操作人员与之配合，因此大大影响了其鲁棒性和临床适用性。近年来，卷积神经网络(CNN)在这一领域取得了令人瞩目的成果。然而，大多数方法都是针对某一种特定器械，从而无法适用于其他器械，并且在存在其他器械的情况下，自身性能还可能会下降。常规的多类分割种每个像素可能只有一个类关联，而在透视图像中，导丝、导管、支架的像素严重重叠，因此这是一个多任务学习问题。Laina等人提出过一个器械分割和姿态估计的多任务学习算法，但该算法无法满足实时性要求。近年，Islam等人尝试通过多阶段训练来优化多任务学习模型，但仍无法解决速度较慢的问题。
发明内容
为了解决现有技术中的上述问题，即现有的X涉嫌图像器械分割无法同时分割出多种器械、透视图像中多种器械像素重叠和实时性差的问题，本发明提供了一种基于多任务算法的实时多器械分割方法，包括：
步骤S100，获取X光视频序列，作为被测视频序列；
步骤S200，基于所述被测视频序列，通过训练好的基于多任务学习的轻量级深度特征细化网络获取预设类别器械的预测分割结果；所述预测分割结果为包含预设类别器械的二值分割掩膜；
所述基于多任务学习的轻量级深度特征细化网络基于多级编码器-解码器结构构建，包括顺次连接的第一卷积层、编码器部分、解码器部分、特征拼接模块、通道标定模块和多任务输出通道；其中解码器部分包括解码器模块和特征细化模块。
在一些优选的实施方式中，步骤S200包括：
步骤S210，基于所述被测视频序列，抽取一张图像作为当前图像；
步骤S220，基于所述当前图像，通过所述第一卷积层获得第一特征图；
步骤S230，基于所述第一特征图，通过所述编码器部分分级编码获得分级特征压缩图像；
步骤S240，将各级编码器部分的输入信息作为低层特征LF通过残差连接传递至解码器部分的特征细化模块；
步骤S250，基于所述低层特征和各级编码器部分的输入信息，通过所述解码器部分分级解码和捕获远程依赖关系，获得精确化后的分级特征；
步骤S260，基于所述精确化后的分级特征，通过所述特征拼接模块进行特征拼接，获得精确化后的拼接特征；
步骤S270，基于所述精确化后的拼接特征，通过通道标定模块捕获跨通道关系重新校准多层特征的融合权重，获得通道标定特征图像；
步骤S280，基于所述通道标定特征图像，通过多任务输出通道，获得预设类别器械的预测分割结果。
在一些优选的实施方式中，步骤S250包括：
步骤S251，通过解码器部分的解码器模块，对所述分级特征压缩图像进行分级解码，获得高层特征；
步骤S252，将所述高层特征和低层特征在通道维度拼接，具体为，对于第k层的高层特征
和低层特征
通过两个空间池化核(H，1)和(1，W)将全局平均池化操作分解为两个一维特征编码操作，混合池化在高度h和宽度w处的输出的混合池化特征为：
其中，kc表示第k层的第c个通道，
表示第k层的第c个通道的高层特征
和低层特征
在通道维度拼接获得的混合特征，i表示当前像素的纵坐标，j表示当前像素的横坐标，zc(h)表示高度h通道c的混合特征，zc(w)表示宽度h通道c的混合特征；
步骤S253，计算每一个像素的混合池化特征，通过卷积操作、一组归一化和一组参数整流线性单元PReLU，在垂直和水平方向编码空间信息，获得中间特征f：
f＝δ(WTFc(zc(h)，zc(w)))
其中，δ表示PReLU的激活函数，W表示权值，Fc表示通道维度拼接，其中f∈R2C /r×(H+W)；
步骤S254，将所述中间特征图f，在空间维度分为两个独立的张量fh∈R2C/r×H和fw∈R2C/r×W，r表示预设的衰减比例；
步骤S255，基于两个独立的张量，通过两个1*1的卷积转变为与混合特征
通道数相同的张量，输出精确化后的分级特征
在一些优选的实施方式中，步骤S270包括：
基于所述精确化后的分级特征
获取的精确化后的拼接特征和中间特征图像F，通过通道标定模块推断出通道标定的特征图像F′：
F表示中间特征f构成的中间特征图像，Mc表示一维通道精确图；
其中，Mc(F)＝σ(Wfmix(x))
其中，W表示权重，fmix(x)表示融合平均池化特征和最大池化特征的混合池化：
fmix(x)＝σ(wTx)fmax(x)+(1-σ(wTx))favg(x)
其中，σ表示Sigmoid激活函数，fmax(x)表示最大池化特征，favg(x)表示平均池化特征，w表示调制权重。
在一些优选的实施方式中，所述基于多任务学习的轻量级深度特征细化网络，其训练方法包括：
获取带标签的训练数据作为被测视频序列；
通过步骤S220-步骤S280的方法生成预设类别器械的预测分割结果；
基于所述预设类别器械的预测分割结果，通过随机梯度下降算法调整网络参数直至混合损失函数、交叉熵损失函数和多任务损失函数都低于各自预设的阈值，获得训练好的基于多任务学习的轻量级深度特征细化网络；其中，混合损失函数为混合了focal损失函数和dice损失函数的混合损失函数。
在一些优选的实施方式中，所述混合损失函数为：
lSeg(ps，ys)＝lFocal(ps，ys)+λlDice(ps，ys)
其中，lSeg表示混合损失函数，lDice表示Dice损失函数，lFocal表示focal损失函数，ps表示预测掩膜且ps∈RH×W，ys表示实际标签掩膜，i表示第i个像素，ε表示平滑参数，λ是表示用于调整focal损失函数和Dice损失函数之间平衡的超参数，γ表示速率调节因子，s表示标签属于掩膜，α表示平衡因子。
在一些优选的实施方式中，所述交叉熵损失函数lCon(pc，yc)为：
其中，pc表示预测的连接度且pc∈RH×W，yc表示实际连接度且yc∈RH×W。
在一些优选的实施方式中，所述多任务损失函数L为：
l＝∑(wSlS+wClC+wGlG)
lS＝lSeg(ps，ys)
lC＝lSeg(ps，ys)+ηClCon(pc，yc)
lG＝lSeg(ps，ys)+ηGlCon(pc，yc)
其中，lS表示预测支架图像的损失函数，lC表示预测导管图像的损失函数，lG表示预测导丝图像的损失函数，wS为预测支架图像任务的权重，wC表示预测导管图像任务的权重，wG示预测导丝图像任务的权重，ηC表示预测导管图像的损失函数中连接度损失函数的权重，ηG表示预测导丝图像的损失函数中连接度损失函数的权重。
在一些优选的实施方式中，所述编码器部分，基于MobileNetV2构建。
本发明的另一方面，提出了一种基于多任务算法的实时多器械分割系统，包括视频获取单元和多任务分割单元；
所述视频获取单元，配置为获取X光视频序列，作为被测视频序列；
所述多任务分割单元，配置为基于所述被测视频序列，通过训练好的基于多任务学习的轻量级深度特征细化网络获取预设类别器械的预测分割结果；
所述基于多任务学习的轻量级深度特征细化网络基于多级编码器-解码器结构构建，包括顺次连接的第一卷积层、编码器部分、解码器部分、特征拼接模块、通道标定模块和多任务输出通道；其中解码器部分包括解码器模块和特征细化模块。
本发明的有益效果：
本发明基于多任务算法的实时多器械分割方法，通过添加特征细化模块和通道标定模块，并结合混合损失函数、交叉熵损失函数和多任务损失函数，实现了在X射线图像中进行实时多仪器分割，解决了同时仪器分割的像素重叠的问题，提高了预测分割的准确性和鲁棒性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于多任务算法的实时多器械分割方法的流程示意图；
图2是基于多任务学习的轻量级深度特征细化网络结构示意图；
图3是本发明实施例中的特征细化模块的结构示意图；
图4是本发明实施例中的通道标定模块的结构示意图；
图5是本发明实施例提供的网络中提出的连通度示意图；
图6是本发明实施例提供的网络中提出的连通度损失函数实际效果图；
图7是本发明是本发明实施例提供的网络与其他方法对比的效果示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于多任务算法的实时多器械分割方法，本方法实现了在X射线图像中进行实时多仪器分割，解决了同时仪器分割的像素重叠的问题，提高了预测分割的准确性和鲁棒性。
本发明的一种基于多任务算法的实时多器械分割方法，步骤S100，获取X光视频序列，作为被测视频序列；
步骤S200，基于所述被测视频序列，通过训练好的基于多任务学习的轻量级深度特征细化网络预设类别器械的预测分割结果；所述预测分割结果为包含预设类别器械的二值分割掩膜；
所述基于多任务学习的轻量级深度特征细化网络基于多级编码器-解码器结构构建，包括顺次连接的第一卷积层、编码器部分、解码器部分、特征拼接模块、通道标定模块和多任务输出通道；其中解码器部分包括解码器模块和特征细化模块。
为了更清晰地对本发明基于多任务算法的实时多器械分割方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于多任务算法的实时多器械分割方法，包括步骤S100-步骤S200，各步骤详细描述如下：
步骤S100，获取X光视频序列，作为被测视频序列；
步骤S200，基于所述被测视频序列，通过训练好的基于多任务学习的轻量级深度特征细化网络获取预设类别器械的预测分割结果；所述预测分割结果为包含预设类别器械的二值分割掩膜；
所述基于多任务学习的轻量级深度特征细化网络(Light-Weight Deep FeatureRefinement Network，DFR-Net)基于多级编码器-解码器结构构建，如图2所示，包括顺次连接的第一卷积层、编码器部分、解码器部分、特征拼接模块、通道标定模块(CCM)和多任务输出通道；其中解码器部分包括解码器模块和特征细化模块(FRM)。其中，编码器部分的编码器模块尺寸分别为128×128×128、64×64×256、32×32×512、16×16×1024；对应的特征细化模块的尺寸为256×256×64、128×128×128、64×64×256、32×32×512。输入基于多任务学习的轻量级深度特征细化网络的是原始的X光图像，输出的是分割结果。
在本实施例中，所述特征细化模块，如图3所示，包括高层特征和低层特征的拼接模块、高层特征混合池化模块和低层特征混合池化模块、一个组归一化(GN)和一个参数整流线性单元、两个卷积模块、两个Sigmoid模块；Sigmoid模块输出的图像与高层特征图像和低层特征图像的对应元素相乘获得精确化的特征。图3中
和
分别表示高和宽方向中间特征图的张量加权后通过sigmoid之后的结果。
在本实施例中，所述通道标定模块，如图4所示，包括一个混合池化层、卷积模块和Sigmoid模块组成，Sigmoid模块的输出与混合池化层的输入进行对应元素的相乘。
在本实施例中，所述编码器部分，基于MobileNetV2构建。MobileNetV2的深度可分卷积减少了大量的计算负担，可用于提取不同层次的视觉特征。
在本实施例中，步骤S200包括：
步骤S210，基于所述被测视频序列，抽取一张图像作为当前图像；
步骤S220，基于所述当前图像，通过所述第一卷积层获得第一特征图；
步骤S230，基于所述第一特征图，通过所述编码器部分分级编码获得分级特征压缩图像；
步骤S240，将各级编码器部分的输入信息作为低层特征LF通过残差连接传递至解码器部分的特征细化模块；
步骤S250，基于所述低层特征和各级编码器部分的输入信息，通过所述解码器部分分级解码和捕获远程依赖关系，获得精确化后的分级特征；解码器部分将特征压缩图像恢复特征图的分辨率，并将这些特征图在通道维度拼接；
在本实施例中，步骤S250包括：
步骤S251，通过解码器部分的解码器模块，对所述分级特征压缩图像进行分级解码，获得高层特征；
为了促使模块使用精确的位置信息在空间上捕获远程依赖关系，需进行全局平均池化并结合最大池化信息以提高表征能力。
步骤S252，将所述高层特征和低层特征在通道维度拼接，具体为，对于第k层的高层特征
和低层特征
通过两个空间池化核(H，1)和(1，W)将全局平均池化操作分解为两个一维特征编码操作，平均池化和最大池化的混合池化在高度h和宽度w处的输出的混合池化特征如公式(1)和(2)所示：
其中，kc表示第k层的第c个通道，
表示第k层的第c个通道的高层特征
和低层特征
在通道维度拼接获得的混合特征，i表示当前像素的纵坐标，j表示当前像素的横坐标，zc(h)表示高度h通道c的混合特征，zc(w)表示宽度h通道c的混合特征；
步骤S253，计算每一个像素的混合池化特征，通过卷积操作、一个组归一化(GN)和一组参数整流线性单元PReLU，在垂直和水平方向编码空间信息，采用组归一化而非批归一化是因为组归一化在很大范围的批大小上都呈现出很强的稳定性，获得中间特征f如公式(3)所示：
f＝δ(WTFc(zc(h)，zc(w))) (3)
其中，δ表示PReLU的激活函数，W表示权值，Fc表示通道维度拼接，其中f∈R2C /r×(H+W)；
步骤S254，将所述中间特征图f，在空间维度分为两个独立的张量fh∈R2C/r×H和fw∈R2C/r×W，r表示预设的衰减比例；
步骤S255，基于两个独立的张量，通过两个1*1的卷积转变为与混合特征
通道数相同的张量，输出精确化后的分级特征
如公式(4)所示：
FRM能在一个空间方向上捕获远程依赖关系，同时在另一个空间方向上保留精确的位置信息，帮助模型更加准确地定位前景物体，减少不相关噪声。该模块不仅能捕获跨通道信息，还能捕获方向敏感和位置敏感的信息，帮助模型识别感兴趣的前景目标和消除歧义的不相关响应。
步骤S260，基于所述精确化后的分级特征，通过所述特征拼接模块进行特征拼接，获得精确化后的拼接特征；
步骤S270，基于所述精确化后的拼接特征，通过通道标定模块捕获跨通道关系重新校准多层特征的融合权重，获得通道标定特征图像；通道标定模块可以对多层次特征的融合权值进行重新标定，帮助模型平衡语义信息和表征信息的重要性。
在本实施例中，步骤S270包括：
基于所述精确化后的分级特征
获取的精确化后的拼接特征和中间特征图像F，通过通道标定模块推断出通道标定的特征图像F′如公式(5)所示：
F表示中间特征f构成的中间特征图像，Mc表示一维通道精确图；为了提高计算的效率，将输入特征图在空间维度压缩。融合平均池化特征和最大池化特征，同时在两个池化层之间增加可学习的调制权重wT，从而增加模型表征能力；
其中，Mc(F)＝σ(Wfmix(x))
其中，W表示权重，fmix(x)表示融合平均池化特征和最大池化特征的混合池化如公式(6)所示：
fmix(x)＝σ(wTx)fmax(x)+(1-σ(wTx))favg(x) (6)
其中，σ表示Sigmoid激活函数，fmax(x)表示最大池化特征，favg(x)表示平均池化特征，w表示调制权重。为了利用通道和其权重直接的直接关系，采用局部跨通道交互策略而免去了维度衰减。CCM通过捕获跨通道关系来重新校准多层特征的融合权重，从而帮助模型平衡语义信息和表征信息之间的重要性。
步骤S280，基于所述通道标定特征图像，通过多任务输出通道，获得预设类别器械的预测分割结果。网络的最后部分是包含多个独立单元的多任务输出通道，通过1*1卷积生成每类器械的预测分割结果。本实施例中，预设类别器械仅以支架、导管和导丝为例，若是需要添加新的器械类别，也可以靠添加新的损失函数项实现。
在本实施例中，所述基于多任务学习的轻量级深度特征细化网络，其训练方法包括：
获取带标签的训练数据作为被测视频序列；
通过步骤S220-步骤S280的方法生成预设类别器械的预测分割结果；
基于所述预设类别器械的预测分割结果，通过随机梯度下降算法调整网络参数直至混合损失函数、交叉熵损失函数和多任务损失函数都低于各自预设的阈值，获得训练好的基于多任务学习的轻量级深度特征细化网络；其中，混合损失函数为混合了focal损失函数和dice损失函数的混合损失函数。
所述混合损失函数为如公式(7)、(8)、(9)所示：
lSeg(ps，ys)＝lFocal(ps，ys)+λlDice(ps，ys) (7)
其中，lSeg表示混合损失函数，lDice表示Dice损失函数，lFocal表示focal损失函数，ps表示预测掩膜且ps∈RH×W，ys表示实际标签掩膜，i表示第i个像素，ε表示平滑参数，λ是表示用于调整focal损失函数和Dice损失函数之间平衡的超参数，γ表示速率调节因子，s表示标签属于掩膜，α表示平衡因子。在本实施例中，λ优选的可设置0.75。在多仪器分割任务中，前景像素的低比率导致了类间数据不平衡的问题。同时，造影剂不均匀的分布使边缘像素难以分类。当训练样本高度不平衡时，Dice损失函数比交叉熵损失表现更好。然而，Dice损失函数无法捕获边界上的难以分类的像素。Focal损失函数中的比例因子可以自动减少简单样本的权重，并快速聚焦到易错分类的样本上。因此，采用混合了focal损失函数和dice损失函数的混合损失函数
在本实施例中，为了解决如导丝、导管等丝状结构带来的断点问题，如图5所示，提出一种连接度监督方法，连接核是一个3*3矩阵，构建连接图来通过滑窗操作描述物体的连接度。在原图中采用0-padding来保证连接图与原图的高和宽一致。通过优化多类别的交叉熵损失来训练模型，公式如下：
所述交叉熵损失函数lCon(pc，yc)如公式(10)所示：
其中，pc表示预测的连接度且pc∈RH×W，yc表示实际连接度且yc∈RH×W。连接度只操作于导丝和导管两种细长结构的器械，具体体现在损失函数中，只对预测好的掩膜进行计算连接度。
所述多任务损失函数L如公式(11)、(12)、(13)、(14)所示：
L＝∑(wSlS+wClC+wGlG) (11)
lS＝lSeg(ps，ys) (12)
lC＝lSeg(ps，ys)+ηClCon(pc，yc) (13)
lG＝lSeg(ps，ys)+ηGlCon(pc，yc) (14)
其中，lS表示预测支架图像的损失函数，lC表示预测导管图像的损失函数，lG表示预测导丝图像的损失函数，wS为预测支架图像任务的权重，wC表示预测导管图像任务的权重，wG示预测导丝图像任务的权重，ηC表示预测导管图像的损失函数中连接度损失函数的权重，ηG表示预测导丝图像的损失函数中连接度损失函数的权重，在本实施例中，ηC和ηG优选的设置为0.1。
本实施例中将本发明提出的模型分别在两个不同的数据集上进行测试，分别为TeInX数据集和NLM胸部X光数据集。TeInX是一个包括1307张训练图像、373张测试集图像和187张验证集图像的数据集，数据大小均为512*512。NLM胸部X光数据集是一个针对结核的标准数字图像数据集，包括1365张训练图像、385张测试集图像和206张验证集图像，数据大小均为1024*1024。
本发明提出的模型采用的优化器是随机梯度下降算法(Stochastic gradientdecent，SGD)，并采用多元学习率策略，当验证准确度饱和时，会给学习率乘以0.9。每次训练模型的batch size为8，epoch为150。
为了评估FRM和CCM对于本发明所述方法的贡献，本实施例在TeInX数据集上进行了消融实验，结果如表1所示。所有实验中采用F1值和丝状结构空间精确度(WSP)来评估分割结果。所有的距离均为像素单位(px)。
表1向baseline加入不同结构的消融实验结果
从表1中可看出，加入FRM后模型的平均F1值对于每种器械分别提升了0.023，0.026和0.027，加入CCM后模型的平均F1值对于每种器械分别提升了0.014，0.015和0.009。同时加入FRM和CCM后，模型对于每种器械的F1值分别达到了0.952，0.936和0.931，比起baseline分别提升了4.04％，4.35％和4.61％，并将导管和导丝的平均WSP分别从1.342和1.871降低到了0.597和0.643。此外，无需复杂的启发信息就可以将FRM和CCM加入模型中，且模型的推理速度只有轻微下降，达到11.2FPS。
为了进一步验证FRM和CCM的效果，将其与其他已有的特征精细化结构和通道注意力结构进行对比，结果如表2所示。
表2不同特征精细化结构和通道注意力结构的消融实验结果
从表2中可以看出，本发明设计的FRM和CCM在F1值和WSP方面均优于最先进的技术。相比于已有特征精细化结构，本发明提出的FRM将导丝的F1值分别提升了0.012，0.014和0.008，导丝的平均WSP分别降低了0.191，0.228和0.129。相比于已有通道注意力结构，本发明提出的CCM将支架的F1值分别提高了0.017和0.009。此外，本方法的推理速度仅略有降低，降至11.2FPS。
为了评估多任务训练的效果，我们训练了具有共享特征提取和特定任务头部的网络，以及对于每项任务仅具有一个特定任务头部特征的单任务对应实验，对比结果如表3所示。
表3多任务(MT)与单任务(ST)消融实验结果
表3中可看出，多任务训练可以帮助模型提高导管和导丝的分割性能，但没有提高支架的效果。原因可能是权重损失函数中的支架因子小，导致硬支架边界区域的样本没有准确分类。
为了验证主干网络的影响，将DFR-Net的主干网络与常用的ResNet和VGGNet进行对比，结果如表4所示。从表4中可看出，虽然MobileNetV2的分割准确度比ResNet-101略有下降，但其运算效率远高于ResNet-101。因此考虑到实时性要求和分割性能，采用MobileNetV2作为主干网络。
表4不同主干网络和损失函数的笑容实验结果
其中，HL和CL分别代表混合损失函数和连接度损失函数，DL和FL分别代表dice损失函数和focal损失函数。
为了验证混合损失函数和连接度损失函数可以改进实验结果，在DFR-Net上实验了不同的损失函数组合，且每个基本损失函数均设置了最好的超参数。从表4中可看出，混合损失函数相比单独使用两个基本损失函数具有更好的性能。此外，连接度损失函数也可以提高导丝和导管的F1值。参照图6，在没有连通性监督的情况下，分割结果容易出现断点，这表明连接度损失函数可以使分割结果更平滑、更准确。
为了进一步探索DFR-Net在其他类型医学图像上的效果，我们将其在NLM胸部X射线数据集上进行实验，并与其他7个广泛使用的网络进行比较，包括U-Net、RefineNet、TernausNet、Attention U-Net、CS-Net、U-Net++和U-Net 3+，实验结果如表5所示。
表5与先进技术的对比实验结果
从表5中可看出，本发明提出的DFR-Net在10个序列上F1值都优于最新技术。
与TernausNet和U-Net++对比的定性结果参照图7，我们提出的DFR-Net可以更好地对通常较难分类的边界像素进行分类，从而获得更加准确和平滑的分割图像。
本发明第二实施例的基于多任务算法的实时多器械分割系统，包括：视频获取单元和多任务分割单元；
所述视频获取单元，配置为获取X光视频序列，作为被测视频序列；
所述多任务分割单元，配置为基于所述被测视频序列，通过训练好的基于多任务学习的轻量级深度特征细化网络获取预设类别器械的预测分割结果；
所述基于多任务学习的轻量级深度特征细化网络基于多级编码器-解码器结构构建，包括顺次连接的第一卷积层、编码器部分、解码器部分、特征拼接模块、通道标定模块和多任务输出通道；其中解码器部分包括解码器模块和特征细化模块。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于多任务算法的实时多器械分割系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于多任务算法的实时多器械分割方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于多任务算法的实时多器械分割方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种基于多任务算法的实时多器械分割方法，其特征在于，所述方法包括：
步骤S100，获取X光视频序列，作为被测视频序列；
步骤S200，基于所述被测视频序列，通过训练好的基于多任务学习的轻量级深度特征细化网络获取预设类别器械的预测分割结果；所述预测分割结果为包含预设类别器械的二值分割掩膜；
所述基于多任务学习的轻量级深度特征细化网络基于多级编码器-解码器结构构建，包括顺次连接的第一卷积层、编码器部分、解码器部分、特征拼接模块、通道标定模块和多任务输出通道；其中解码器部分包括解码器模块和特征细化模块；
所述通道标定模块，包括一个混合池化层、卷积模块和Sigmoid模块组成，Sigmoid模块的输出与混合池化层的输入进行对应元素的相乘；
所述特征细化模块，包括高层特征和低层特征的拼接模块、高层特征混合池化模块和低层特征混合池化模块、一个组归一化(GN)和一个参数整流线性单元、两个卷积模块和两个Sigmoid模块；Sigmoid模块输出的图像与高层特征图像和低层特征图像的对应元素相乘获得精确化的特征；
所述步骤S200包括：
步骤S210，基于所述被测视频序列，抽取一张图像作为当前图像；
步骤S220，基于所述当前图像，通过所述第一卷积层获得第一特征图；
步骤S230，基于所述第一特征图，通过所述编码器部分分级编码获得分级特征压缩图像；
步骤S240，将各级编码器部分的输入信息作为低层特征通过残差连接传递至解码器部分的特征细化模块；
步骤S250，基于所述低层特征和各级编码器部分的输入信息，通过所述解码器部分分级解码和捕获远程依赖关系，获得精确化后的分级特征；
步骤S260，基于所述精确化后的分级特征，通过所述特征拼接模块进行特征拼接，获得精确化后的拼接特征；
步骤S270，基于所述精确化后的拼接特征，通过通道标定模块捕获跨通道关系重新校准多层特征的融合权重，获得通道标定特征图像；
步骤S280，基于所述通道标定特征图像，通过多任务输出通道，获得预设类别器械的预测分割结果；
所述基于多任务学习的轻量级深度特征细化网络，其训练方法包括：
获取带标签的训练数据作为被测视频序列；
通过步骤S220-步骤S280的方法生成预设类别器械的预测分割结果；
基于所述预设类别器械的预测分割结果，通过随机梯度下降算法调整网络参数直至混合损失函数、交叉熵损失函数和多任务损失函数都低于各自预设的阈值，获得训练好的基于多任务学习的轻量级深度特征细化网络；其中，混合损失函数为混合了focal损失函数和dice损失函数的混合损失函数；
所述多任务损失函数L为：
L＝∑(wslS+wClC+wGlG)
lS＝lSeg(ps，ys)
lC＝lSeg(ps，ys)+ηClCon(pc，yc)
lG＝lSeg(ps，ys)+ηGlCon(pc，yc)
其中，lS表示预测支架图像的损失函数，lC表示预测导管图像的损失函数，lG表示预测导丝图像的损失函数，wS为预测支架图像任务的权重，wC表示预测导管图像任务的权重，wG示预测导丝图像任务的权重，ηC表示预测导管图像的损失函数中连接度损失函数的权重，ηG表示预测导丝图像的损失函数中连接度损失函数的权重；lSeg(ps，ys)表示混合损失函数，ps表示预测掩膜且ps∈RH×W，ys表示实际标签掩膜，lCon(pc，yc)表示交叉熵损失函数。
2.根据权利要求1所述的基于多任务算法的实时多器械分割方法，其特征在于，步骤S250包括：
步骤S251，通过解码器部分的解码器模块，对所述分级特征压缩图像进行分级解码，获得高层特征；
步骤S252，将所述高层特征和低层特征在通道维度拼接，具体为，对于第k层的高层特征
和低层特征
通过两个空间池化核(H，1)和(1，W)将全局平均池化操作分解为两个一维特征编码操作，平均池化和最大池化的混合池化在高度h和宽度w处的输出的特征为：
其中，kc表示第k层的第c个通道，
表示第k层的第c个通道的高层特征
和低层特征
在通道维度拼接获得的混合特征，i表示当前像素的纵坐标，j表示当前像素的横坐标，zc(h)表示高度h通道c的混合特征，zc(w)表示宽度h通道c的混合特征；
步骤S253，计算每一个像素的混合池化特征，通过卷积操作、一组归一化和一组参数整流线性单元PReLU，在垂直和水平方向编码空间信息，获得中间特征f：
f＝δ(WTFc(zc(h)，zc(w)))
其中，δ表示PReLU的激活函数，W表示权值，Fc表示通道维度拼接，其中f∈R2C/r×(H+W)；
步骤S254，将所述中间特征f，在空间维度分为两个独立的张量fh∈R2C/r×H和fw∈R2C /r×W，r表示预设的衰减比例；
步骤S255，基于两个独立的张量，通过两个1*1的卷积转变为与混合特征
通道数相同的张量，输出精确化后的分级特征
3.根据权利要求2所述的基于多任务算法的实时多器械分割方法，其特征在于，步骤S270包括：
基于所述精确化后的分级特征
获取的精确化后的拼接特征和中间特征图像F，通过通道标定模块推断出通道标定的特征图像F′：
F表示中间特征f构成的中间特征图像，Mc表示一维通道精确图；
其中，Mc(F)＝σ(Wfmix(x))
其中，W表示权重，fmix(x)表示融合平均池化特征和最大池化特征的混合池化：
fmix(x)＝σ(wTx)fmax(x)+(1-σ(wTx))favg(x)
其中，σ表示Sigmoid激活函数，fmax(x)表示最大池化特征，favg(x)表示平均池化特征，w表示调制权重。
4.根据权利要求1所述的基于多任务算法的实时多器械分割方法，其特征在于，所述混合损失函数为：
lSeg(ps，ys)＝lFocal(ps，ys)+λlDice(ps，ys)
其中，lSeg表示混合损失函数，lDice表示Dice损失函数，lFocal表示focal损失函数，ps表示预测掩膜且ps∈RH×W，ys表示实际标签掩膜，i表示第i个像素，ε表示平滑参数，λ是表示用于调整focal损失函数和Dice损失函数之间平衡的超参数，γ表示速率调节因子，s表示标签属于掩膜，α表示平衡因子。
5.根据权利要求1所述的基于多任务算法的实时多器械分割方法，其特征在于，所述交叉熵损失函数lCon(pc，yc)为：
其中，pc表示预测的连接度且pc∈RH×W，yc表示实际连接度且yc∈RH×W。
6.根据权利要求1所述的基于多任务算法的实时多器械分割方法，其特征在于，所述编码器部分，基于MobileNetV2构建。
7.一种基于多任务算法的实时多器械分割系统，其特征在于，所述系统包括：视频获取单元和多任务分割单元；
所述视频获取单元，配置为获取X光视频序列，作为被测视频序列；
所述多任务分割单元，配置为基于所述被测视频序列，通过训练好的基于多任务学习的轻量级深度特征细化网络获取预设类别器械的预测分割结果；
所述基于多任务学习的轻量级深度特征细化网络基于多级编码器-解码器结构构建，包括顺次连接的第一卷积层、编码器部分、解码器部分、特征拼接模块、通道标定模块和多任务输出通道；其中解码器部分包括解码器模块和特征细化模块；
所述通道标定模块，包括一个混合池化层、卷积模块和Sigmoid模块组成，Sigmoid模块的输出与混合池化层的输入进行对应元素的相乘；
所述特征细化模块，包括高层特征和低层特征的拼接模块、高层特征混合池化模块和低层特征混合池化模块、一个组归一化(GN)和一个参数整流线性单元、两个卷积模块和两个Sigmoid模块；Sigmoid模块输出的图像与高层特征图像和低层特征图像的对应元素相乘获得精确化的特征；
所述多任务分割单元，具体包括：
基于所述被测视频序列，抽取一张图像作为当前图像；
基于所述当前图像，通过所述第一卷积层获得第一特征图；
基于所述第一特征图，通过所述编码器部分分级编码获得分级特征压缩图像；
将各级编码器部分的输入信息作为低层特征通过残差连接传递至解码器部分的特征细化模块；
基于所述低层特征和各级编码器部分的输入信息，通过所述解码器部分分级解码和捕获远程依赖关系，获得精确化后的分级特征；
基于所述精确化后的分级特征，通过所述特征拼接模块进行特征拼接，获得精确化后的拼接特征；
基于所述精确化后的拼接特征，通过通道标定模块捕获跨通道关系重新校准多层特征的融合权重，获得通道标定特征图像；
基于所述通道标定特征图像，通过多任务输出通道，获得预设类别器械的预测分割结果；
所述基于多任务学习的轻量级深度特征细化网络，其训练方法包括：
获取带标签的训练数据作为被测视频序列；
通过多任务分割单元生成预设类别器械的预测分割结果；
基于所述预设类别器械的预测分割结果，通过随机梯度下降算法调整网络参数直至混合损失函数、交叉熵损失函数和多任务损失函数都低于各自预设的阈值，获得训练好的基于多任务学习的轻量级深度特征细化网络；其中，混合损失函数为混合了focal损失函数和dice损失函数的混合损失函数；
所述多任务损失函数L为：
L＝∑(wslS+wClC+wGlG)
lS＝lSeg(ps，ys)
lC＝lSeg(ps，ys)+ηClCon(pc，yc)
lG＝lSeg(ps，ys)+ηGlCon(pc，yc)
其中，lS表示预测支架图像的损失函数，lC表示预测导管图像的损失函数，lG表示预测导丝图像的损失函数，wS为预测支架图像任务的权重，wC表示预测导管图像任务的权重，wG示预测导丝图像任务的权重，ηC表示预测导管图像的损失函数中连接度损失函数的权重，ηG表示预测导丝图像的损失函数中连接度损失函数的权重；lSeg(ps，ys)表示混合损失函数，ps表示预测掩膜且ps∈RH×W，ys表示实际标签掩膜，lCon(pc，yc)表示交叉熵损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110815335.9A CN113538475B (zh) | 2021-07-19 | 2021-07-19 | 基于多任务算法的实时多器械分割方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110815335.9A CN113538475B (zh) | 2021-07-19 | 2021-07-19 | 基于多任务算法的实时多器械分割方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538475A CN113538475A (zh) | 2021-10-22 |
| CN113538475B true CN113538475B (zh) | 2022-03-25 |
Family
ID=78100225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110815335.9A Active CN113538475B (zh) | 2021-07-19 | 2021-07-19 | 基于多任务算法的实时多器械分割方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538475B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984209B (zh) * | 2022-12-27 | 2023-10-24 | 江西理工大学 | 浓度与组分含量协同优化的稀土元素组分含量预测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985485A (zh) * | 2020-08-24 | 2020-11-24 | 中国科学院自动化研究所 | 基于金字塔形注意力循环网络的手术介入器械追踪方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021000362A1 (zh) * | 2019-07-04 | 2021-01-07 | 浙江大学 | 一种基于深度神经网络模型的地址信息特征抽取方法 |
| CN111461085B (zh) * | 2020-06-01 | 2022-05-31 | 青岛大学 | 一种基于权值共享和上下特征融合的原木检测方法 |
| CN111986181B (zh) * | 2020-08-24 | 2021-07-30 | 中国科学院自动化研究所 | 基于双注意力机制的血管内支架图像分割方法和系统 |
| CN112241966B (zh) * | 2020-09-21 | 2022-11-04 | 西北大学 | 多任务多分类的胸部器官分割模型建立、分割方法及系统 |
-
2021
- 2021-07-19 CN CN202110815335.9A patent/CN113538475B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985485A (zh) * | 2020-08-24 | 2020-11-24 | 中国科学院自动化研究所 | 基于金字塔形注意力循环网络的手术介入器械追踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113538475A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986181B (zh) | 基于双注意力机制的血管内支架图像分割方法和系统 | |
| US10867384B2 (en) | System and method for automatically detecting a target object from a 3D image | |
| CN109003267B (zh) | 从3d图像自动检测目标对象的计算机实现方法和系统 | |
| CN111612756B (zh) | 冠状动脉特异性钙化检测方法及装置 | |
| CN109949300B (zh) | 解剖树结构分析的方法、系统和计算机可读介质 | |
| EP3973508A1 (en) | Sampling latent variables to generate multiple segmentations of an image | |
| CN113205524A (zh) | 基于U-Net的血管图像分割方法、装置和设备 | |
| CN116228690A (zh) | 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法 | |
| CN118247284B (zh) | 图像处理模型的训练方法、图像处理方法 | |
| CN113538475B (zh) | 基于多任务算法的实时多器械分割方法和系统 | |
| CN117392082A (zh) | 基于全尺度跳跃连接的肝脏ct图像分割方法及系统 | |
| JP2006506163A (ja) | 肺結節のコンピュータ支援検出 | |
| CN111080569A (zh) | 一种骨抑制图像的生成方法、装置、存储介质及电子设备 | |
| CN112837218B (zh) | 基于双流边界感知的动脉瘤图像分析系统、方法和设备 | |
| CN110599444A (zh) | 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质 | |
| CN114581402B (zh) | 胶囊内窥镜质检方法、装置及存储介质 | |
| US20100202674A1 (en) | Voting in mammography processing | |
| CN112233126B (zh) | 医学图像的加窗方法及装置 | |
| CN118297941B (zh) | 三维腹主动脉瘤及脏器血管管腔提取方法及装置 | |
| CN113052930A (zh) | 一种胸部dr双能量数字减影图像生成方法 | |
| CN114514558A (zh) | 分割管状特征 | |
| Wang et al. | Probing perfection: The relentless art of meddling for pulmonary airway segmentation from HRCT via a human-AI collaboration based active learning method | |
| CN118297941A (zh) | 三维腹主动脉瘤及脏器血管管腔提取方法及装置 | |
| EP4104767A1 (en) | Controlling an alert signal for spectral computed tomography imaging | |
| US20230169633A1 (en) | Apparatus for determining decomposed spectral image data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |