CN116543167B - Ct图像分割方法及设备 - Google Patents

Ct图像分割方法及设备 Download PDF

Info

Publication number
CN116543167B
CN116543167B CN202310808690.2A CN202310808690A CN116543167B CN 116543167 B CN116543167 B CN 116543167B CN 202310808690 A CN202310808690 A CN 202310808690A CN 116543167 B CN116543167 B CN 116543167B
Authority
CN
China
Prior art keywords
module
image
features
feature
balance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310808690.2A
Other languages
English (en)
Other versions
CN116543167A (zh
Inventor
张昊任
陈向前
史纪鹏
杜立翠
张欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
True Health Guangdong Hengqin Medical Technology Co ltd
Truehealth Beijing Medical Technology Co Ltd
Original Assignee
Truehealth Beijing Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Truehealth Beijing Medical Technology Co Ltd filed Critical Truehealth Beijing Medical Technology Co Ltd
Priority to CN202310808690.2A priority Critical patent/CN116543167B/zh
Publication of CN116543167A publication Critical patent/CN116543167A/zh
Application granted granted Critical
Publication of CN116543167B publication Critical patent/CN116543167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种CT图像分割方法及设备，所述方法包括：利用神经网络模型对CT图像进行分割，所述神经网络模型包括编码模块、平衡特征融合模块和解码模块，所述编码模块用于对所述CT图像进行特征提取，得到尺度不同、维度不同的多个图像特征，所述平衡特征融合模块用于将所述多个图像特征的尺度统一为预设尺度，并将预设尺度的多个的图像特征按维度进行聚合，再将聚合图像特征还原成尺度不同、维度不同的多个平衡特征，所述解码模块用于对多个平衡特征进行处理，得到针对所述CT图像中感兴趣目标的分割结果。

Description

CT图像分割方法及设备
技术领域
本发明涉及医学图像处理领域，具体涉及CT图像分割方法及设备。
背景技术
U-net是一种常用于医疗图像分割的卷积神经网络架构，包含编码器和解码器两个部分。U-net的主要优势是能够针对少量数据集进行高质量的分割，且在医学图像分割领域有很好的应用前景；U-net的网络结构包括编码器和解码器两部分，其中编码器通过逐步对输入图像进行下采样操作，提取特征信息；解码器则通过上采样将编码器的特征信息还原到原图尺度，并对特征进行融合操作，生成最终的分割结果。为了避免信息丢失和梯度消失等问题，U-net引入了跳跃式连接（skip connection）和卷积核大小为1的卷积层，用以增加网络的深度和可训练参数，保证图像信息不会丢失，同时有助于加快模型的收敛。在医疗图像分割任务中，U-net不仅可以分割出感兴趣区域，还可以提取图像中的不同组织结构特征，被广泛应用于心脏、脑部、肺部和血管等领域。相比其他深度学习方法，U-net可以在不同病例的数据集上进行高效的训练，且在保证可靠性和较短的计算时间上具有较好的性能，因此在医学图像分割中有广泛的应用。
但在实际临床应用中，如对医学图像中的皮肤、支气管或定位小球等小目标进行分割时，由于其小目标的像素数太少，而一般的特征提取网络都会下采样到32x，这样就会导致最后一层特征层中很有可能已经不包含目标像素了，导致信息丢失，分割目标不准确。
发明内容
有鉴于此，本发明提供一种CT图像分割方法，包括：利用神经网络模型对CT图像进行分割，所述神经网络模型包括编码模块、平衡特征融合模块和解码模块，所述编码模块用于对所述CT图像进行特征提取，得到尺度不同、维度不同的多个图像特征，所述平衡特征融合模块用于将所述多个图像特征的尺度统一为预设尺度，并将预设尺度的多个的图像特征按维度进行聚合，再将聚合图像特征还原成尺度不同、维度不同的多个平衡特征，所述解码模块用于对多个平衡特征进行处理，得到针对所述CT图像中感兴趣目标的分割结果。
可选地，所述编码模块包括多阶编码模块，其中第一阶编码模块针对所述CT图像提取得到尺度为CT图像1/2的初阶图像特征，后续各阶编码模块均针对前一阶的编码模块提取得到的图像特征进行特征提取，得到尺度逐阶递减且维度逐渐增加的各阶图像特征。
可选地，所述平衡特征融合模块对除所述初阶图像特征外的各阶图像特征进行处理得到多个平衡特征；所述解码模块用于对多个平衡特征和所述初阶图像特征进行处理得到所述分割结果。
可选地，所述平衡特征融合模块包括第一线性插值模块和第一卷积模块，所述第一线性插值模块用于将所述多个图像特征中的一个尺度作为所述预设尺度，对其它图像特征进行线性插值处理，使其它图像特征的尺度增大或减小至所述预设尺度；所述第一卷积模块用于对预设尺度的多个图像特征进行卷积处理，使得多个图像特征的维度相同。
可选地，所述平衡特征融合模块包括连接模块，用于将经过第一卷积模块处理得到的各个所述图像特征按维度进行连接，得到聚合图像特征。
可选地，所述平衡特征融合模块包括加权聚合模块，用于利用如下方式对经过第一卷积模块处理得到的图像特征进行处理：
，
其中，表示聚合图像特征，/>表示第一卷积模块处理得到的第i个图像特征，/>编码模块处理得到的图像特征总数量，1≤/>≤/>。
可选地，所述平衡特征融合模块包括：
第一连接模块，用于将经过第一卷积模块处理的各个所述图像特征按维度进行连接，得到第一聚合图像特征；加权聚合模块，用于利用如下方式对经过第一卷积模块处理得到的图像特征进行处理：
，
其中，表示第二聚合图像特征，/>表示第一卷积模块处理得到的第i个图像特征，/>编码模块处理得到的图像特征总数量，1≤/>≤/>；
第二连接模块，用于将所述第一聚合图像特征与所述第二聚合图像特征按维度进行连接，得到聚合图像特征。
可选地，所述平衡特征融合模块包括第三卷积模块，用于对聚合图像特征进行卷积处理，以降低模型参数，去除聚合处理所形成的混叠效应。
可选地，所述平衡特征融合模块包括第二线性插值模块和第二卷积模块，所述第二线性插值模块用于将聚合图像特征还原成尺度不同的多个平衡特征，还原后的尺度与所述编码模块输出的多个图像特征的尺度相同；所述第二卷积模块用于对尺度不同的多个平衡特征进行卷积处理，卷积处理后的维度与所述编码模块输出的多个图像特征的维度相同。
可选地，所述解码模块包括多阶解码模块和输出模块，所述多阶解码模块用于根据特征尺度对所述多个平衡特征以及所述初阶图像特征逐阶段进行上采样处理，所述输出模块根据所述多阶解码模块的上采样处理结果输出所述分割结果。
可选地，各阶解码模块均包括上采样模块或反卷积模块，以及连接模块和算子融合模块；所述上采样模块或反卷积模块用于对前一阶的尺度较小的平衡特征进行上采样操作或反卷积操作，以使其尺度与后一阶的尺度较大的平衡特征或者所述初阶特征的尺度一致，所述连接模块用于将上采样模块或反卷积模块的处理结果与所述后一阶的尺度较大的平衡特征或者所述初阶特征按特征维度进行连接，所述算子融合模块用于对所述连接模块的处理结果进行卷积、归一化和激活处理。
可选地，所述输出模块包括上采样模块或反卷积模块、算子融合模块，所述上采样模块或反卷积模块用于将所述多阶解码模块的上采样处理结果进行上采样操作或反卷积操作，以使其尺度与所述CT图像的尺度一致，所述算子融合模块用于对上采样模块或反卷积模块的处理结果进行卷积、归一化和激活处理，得到所述分割结果。
相应地，本发明提供一种CT图像分割设备，包括：处理器以及与所述处理器连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器执行上述CT图像分割方法。
根据本发明提供的CT图像分割方法及设备，通过编码模块将CT图像进行特征提取，得到尺度不同、维度不同的多个图像特征，尺度不同的图像特征提供了不同程度的图像细节信息，能够提高图像特征的质量和准确性，并且使用尺度不同、维度不同的多个特征图还能加快网络收敛速度，同时提高网络的稳定性；平衡特征融合模块聚合不同层级的图像特征，再将其还原回原来图像特征的大小得到的平衡特征，使得不同层级的图像特征都拥有其它层级图像特征的信息，即浅层图像特征包含了语义信息，深层图像特征融合了浅层的细粒度信息，大大提升了网络特征提取能力，避免丢失一些重要特征信息，解码结构将平衡特征融合模块的平衡特征作为跳层连接，使得相同的特征被思考和应用了两次，对小目标的分割非常有利，能够显著提高对CT图像中较小的病灶或组织结构的识别精度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种CT图像分割方法的示意图；
图2为本发明实施例提供的一种具体的神经网络模型的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明的一个实施例提供了一种CT图像分割方法，该方法可以由计算机或服务器等电子设备执行。
本方案应用神经网络模型对CT图像中的感兴趣目标进行识别，对图像中的一个或多个医学相关的感兴趣目标进行提取，在本领域中称为图像分割。感兴趣目标具体可以是病灶或者人体器官和组织，也可以是置于人体表或体内的医疗器械或耗材等。
如图1所示，本实施例所使用的神经网络模型包括编码模块、平衡特征融合模块和解码模块。CT图像输入到编码模块中进行特征提取，得到尺度不同、维度不同的多个图像特征，可以将编码模块提取的图像特征记为（w*h*d），w*h表示尺度，d表示维度。在本实施例中编码模块输出n个图像特征：C1（w1*h1*d1）、C2（w2*h2*d2）…Cn（wn*hn*dn），其中w1*h1……wn*hn均小于CT图像的尺度，维度d1…dn与尺度呈反比，即尺度越小的图像特征具有更高的维度。
平衡特征融合模块用于将多个图像特征的尺度统一为预设尺度。具体地，预设尺度小于CT图像的尺度，例如是CT图像尺度的1/2、1/4等。将预设尺度记为w’*h’，平衡特征融合模块首先将C1（w1*h1*d1）、C2（w2*h2*d2）…Cn（wn*hn*dn）处理为C1’（w’*h’*d1）、C2’（w’*h’*d2）…Cn’（w’*h’*dn），在具体实施例中w’*h’可以等于w1*h1、w2*h2…wn*hn中的某一个，优选为其中大小适中的尺度。平衡特征融合模块需要执行增大特征尺度或减小特征尺度的操作，具体可通过上采样的方式对尺度较小的特征进行处理提高其尺度、通过下采样的方式对尺度较大的特征进行处理降低其尺度。
平衡特征融合模块将预设尺度的多个的图像特征按维度进行聚合。作为举例，聚合图像特征（聚合处理结果）可以表示为（w’*h’*[d1+d2+…+dn]）, 其中[d1+d2+…+dn]表示维度聚合，目的是同时融合浅层和深层的信息来获取更平衡的特征，以提升编码器的表征能力。可选的聚合处理有多种，例如维度连接、加权以及二者的结合等等。为了便于后续描述，在此将聚合图像特征记为C’（w’*h’*δd），其特征数量(本领域一般称为channel方向、通道方向)是聚合前特征的数倍。
平衡特征融合模块将聚合图像特征还原成尺度不同、维度不同的多个平衡特征，具体是将C’（w’*h’*δd）还原成n个平衡特征P1（w1*h1*d1）、P2（w2*h2*d2）…Pn（wn*hn*dn），可通过卷积的方式进行处理，由此得到的P1与之前的特征C1的尺度和维度是相同，同样的，P2与C2的尺度和维度相同、Pn与Cn的尺度和维度相同。需要说明的是，特征的尺度和维度相同，但是内容显示是不同的，平衡特征融合模块实质上对特征的内容进行了平衡。
解码模块用于对多个平衡特征进行处理，得到针对CT图像中感兴趣目标的分割结果。解码模块根据P1（w1*h1*d1）、P2（w2*h2*d2）…Pn（wn*hn*dn）识别出感兴趣目标，解码模块在此过程中执行的处理包括但不限于上采样、卷积、归一化和激活等，具体实施方式有多种。
另外需要说明的是，上述实施例介绍的是经过训练的神经网络执行感兴趣目标分割的实施方案，本领域技术人员应当理解，在实施分割之前需要进行模型训练，训练方案中所使用的训练数据包括CT图像以及对其中感兴趣目标的标注内容，在训练过程中神经网络模型同样执行上述处理，将其分割的感兴趣目标与标注内容进行比对，并根据二者的差异更新、优化编码模块、平衡特征融合模块和解码模块的参数，直至性能达到预期。
该实施例通过编码模块将CT图像进行特征提取，得到尺度不同、维度不同的多个图像特征，尺度不同的图像特征提供了不同程度的图像细节信息，能够提高图像特征的质量和准确性，并且使用尺度不同、维度不同的多个特征图还能加快网络收敛速度，同时提高网络的稳定性；平衡特征融合模块聚合不同层级的图像特征，再将其还原回原来图像特征的大小得到的平衡特征，使得不同层级的图像特征都拥有其它层级图像特征的信息，即浅层图像特征包含了语义信息，深层图像特征融合了浅层的细粒度信息，大大提升了网络特征提取能力，避免丢失一些重要特征信息，解码结构将平衡特征融合模块的平衡特征作为跳层连接，使得相同的特征被思考和应用了两次，对小目标的分割非常有利，能够显著提高对CT图像中较小的病灶或组织结构的识别精度。
如图2所示，本发明的一个实施例，提供了一种优选的神经网络模型结构及其分割方法。本实施例中的编码模块Encoder包括多阶编码模块，具体为stem模块、stage2模块、stage3模块、stage4模块和stage5模块。其中stem模块对输入的CT图像进行特征提取得到尺度为CT图像1/2的初阶图像特征；stage2模块对初阶图像特征进行特征提取得到尺度为CT图像1/4的图像特征；stage3模块对图像特征/>进行特征提取得到尺度为CT图像1/8的图像特征/>；stage4模块对图像特征/>进行特征提取得到尺度为CT图像1/16的图像特征/>；stage5模块对图像特征/>进行特征提取得到尺度为CT图像1/32的图像特征/>。
平衡特征模块包括第一线性插值模块Bilinear interpolation 1、第一卷积模块conv1、聚合模块Aggregation、第三卷积模块DS conv、第二线性插值模块Bilinearinterpolation 2和第二卷积模块conv2。
将经过特征提取得到的图像特征、图像特征/>、图像特征/>和图像特征/>输入到平衡特征融合模块。第一线性插值模块Bilinear interpolation 1用于将多个图像特征中的一个尺度作为预设尺度，对其它图像特征进行线性插值处理，使其它图像特征的尺度增大或减小至所述预设尺度。
在本实施例中，以图像特征的尺度为预设尺度，将图像特征/>经过下采样将其尺度减小至图像特征/>的尺度，图像特征/>和图像特征/>经过上采样将其尺度增大至图像特征/>的尺度，由此得到4个尺度相同的图像特征。在其它实施例中，也可以将/>的尺度为预设尺度，但通常不宜将/>、/>的尺度作为预设尺度。
第一卷积模块conv1对4个尺度相同的图像特征进行1*1的卷积，调整通道数，使得融合前的特征尺寸和维度均相同，输出图像特征、/>、/>和/>，在图2中记为/>。
聚合模块Aggregation将尺度相同（预设尺度）、维度相同的多个的图像特征的维度进行聚合，具体可通过多种方式将特征进行聚合，下面介绍三种可用的聚合实施方式。
作为第一种实施方式，聚合模块Aggregation包括连接模块，用于将经过第一卷积模块处理的图像特征按维度连接（concat）在一起。将特征…/>连接到一起，由此得到的结果的特征数量（channel方向）变成/>的4倍。
作为第二种实施方式，聚合模块Aggregation包括加权聚合模块，用于利用如下方式对经过第一卷积模块处理得到的图像特征进行处理：
，
其中，表示聚合图像特征，式中/>表示第一卷积模块处理得到的第i个图像特征，/>编码模块处理得到的图像特征总数量，1≤/>≤/>。在如图2所示的具体实施例中，/>=5，min的取值可以是1、2、3、4。
第三种实施方式，是将上述两种实施方式进行结合，聚合模块Aggregation包括第一连接模块、加权聚合模块和第二连接模块。由第一连接模块将特征按维度连接到一起，将其结果称为第一聚合图像特征；加权聚合模块对特征/>进行上述加权聚合计算，将其结果称为第二聚合图像特征；第二连接模块将第一聚合图像特征与第二聚合图像特征按维度进行连接，得到最终的聚合图像特征。
配置在聚合模块Aggregation之后的第三卷积模块DS conv，用于对聚合图像特征进行卷积处理，以降低模型参数，去除聚合处理所形成的混叠效应。该实施例中，使用了深度可分卷积（Depthwise separable convolution）替代普通的卷积，由此降低参数量，从而降低模型训练的复杂度和计算成本。同时由于深度可分离卷积中的深度卷积和空间卷积分别考虑影响独立维度，可以减少不相关信息的干扰，并且有助于捕捉空间上的细节特征，因此，更适合于一些对特征细节敏感且精度要求较高的任务。并在聚合后进行卷积操作来去除特征融合后的混叠效应，在对聚合后的特征图进行了DS conv卷积操作之后，可以改进模型表示学习能力，从而更好地提取数据中的更深层的特征信息，丰富特征处理的层次结构。
第二线性插值模块Bilinear interpolation 2用于将聚合图像特征还原成尺度不同的多个平衡特征，还原后的尺度与编码模块输出的多个图像特征的尺度相同。
在如图2所示的实施例中，第二线性插值模块Bilinear interpolation 2将聚合卷积得到的图像特征还原成尺度不同的多个平衡特征，即平衡特征/>、平衡特征/>、平衡特征/>、平衡特征/>，分别与图像特征/>、图像特征/>、图像特征/>和图像特征/>的尺度相同。通过将聚合卷积得到的图像特征的尺度还原，避免了普通图像特征融合造成的显著信息丢失的现象，通过第二线性插值模块对聚合卷积得到的图像特征进行还原，得到尺度不同的多个平衡特征，使用了相同的缩放比例，使得不同尺度特征之间同步，保持了物体不同尺度信息的表达。此外，由于第二线性插值模块还原得到的多个平衡特征具有不同尺度，因此它们对应的尺度信息更加完整和细致，表示能力更强。
第二卷积模块conv2用于对尺度不同的多个平衡特征进行卷积处理，卷积处理后的维度与编码模块输出的多个图像特征的维度相同。
该实施例中，采用1*1卷积处理以使平衡特征即平衡特征/>、平衡特征/>、平衡特征/>、平衡特征/>分别与图像特征/>、图像特征/>、图像特征/>和图像特征/>的维度相同，通过指定卷积核的大小，可以调整输出的特征的维度，从而使得多个图像特征的维度与经过平衡特征模块处理之前的维度保持一致，这样可以更好地将多个图像特征进行组合，得到更加准确的特征表达式。
解码模块Decoder包括多阶解码模块upx，用于根据特征尺度对多个平衡特征以及初阶图像特征逐阶段进行上采样处理。在如图2所示的实施例中配置了四阶解码模块up1、up2、up3和up4。多个平衡特征作为解码模块Decoder的跳层输入，具体地，平衡特征/>、/>、和/>中，将尺度最小的/>经过卷积或者不进行处理作为中心特征center（center是/>，或者是对/>进行卷积的结果），up1对center进行上采样或者反卷积，目的是增大其尺度，使其能够与/>的尺度一致，从而使这两个特征进行融合；up1的输出解码结果后，进入up2进行上采样或者反卷积，使其与/>的尺度一致，然后融合并基于此输出解码结果；up3、up4执行同样的处理，up4输出的解码结果的尺度与CT图像的尺度一致。
在该实施例中，up4是对up3输出的解码结果与编码模块中的stem模块所输出的初阶图像特征进行融合并基于此输出解码结果，与其它解码模块有所区别，因为其它解码模块所融合的是平衡特征/>，而up4融合的是平衡特征和原始图像特征。
进一步地，各阶解码模块均包括上采样模块或反卷积模块，以及连接模块和算子融合模块；上采样模块或反卷积模块用于对前一阶的尺度较小的平衡特征进行上采样操作或反卷积操作，以使其尺度与后一阶的尺度较大的平衡特征或者初阶特征的尺度一致，连接模块用于将上采样模块或反卷积模块的处理结果与后一阶的尺度较大的平衡特征或者初阶特征按特征维度进行连接，算子融合模块用于对连接模块的处理结果进行卷积、归一化和激活处理。
具体地，up1…up4分别包括上采样模块或反卷积模块Upsample or Transposeconvolution、连接模块concat、算子融合模块CBACBA。以up1为例进行说明，首先由上采样模块或反卷积模块对center（或者）进行上采样或者反卷积，使其尺度与/>一致，然后由连接模块对上采样或者反卷积的结果与/>按维度连接，算子融合模块对连接后的特征进行卷积、归一化和激活处理，得到解码结果。具体地，算子融合模块的CBA表示Conv（卷积）、BN（一种归一化方式，Batch Normalization，批量归一化）和Act（激活函数，Activefunction），在该实施例中执行了两次CBA处理得到解码结果。
输出模块根据多阶解码模块的上采样处理结果输出最终的分割结果。具体地，在该实施例中输出模块包括上采样模块或反卷积模块Upsample or Transposeconvolution、算子融合模块CBACBA，上采样模块或反卷积模块用于将多阶解码模块的上采样处理结果进行上采样操作或反卷积操作，以使其尺度与CT图像的尺度一致，算子融合模块用于对上采样模块或反卷积模块的处理结果进行卷积、归一化和激活处理，得到分割结果。
在如图2所示的实施例中，up4输出的解码结果的尺度为CT图像尺度的1/2，输出模块首先对up4提供的解码结果进行上采样或反卷积，使其尺寸与CT图像一致（将特征尺度提高一倍），然后对其进行两次Conv、BN和Act，从而得到最终的分割结果。
根据上述优选解码方式，通过多次的上采样操作，以实现图像分辨率的还原和信息重建，以提高图像质量，直到图像特征与输入分辨率一致，输出模块输出多阶解码模块处理后的针对CT图像中感兴趣目标的分割结果，解码结构将平衡特征融合模块的平衡特征作为跳层连接，使得相同的特征被思考和应用了两次，对小目标的分割非常有利，提高了CT图像小目标分割的精度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种CT图像分割方法，其特征在于，包括：
利用神经网络模型对CT图像进行分割，所述神经网络模型包括编码模块、平衡特征融合模块和解码模块，所述编码模块用于对所述CT图像进行特征提取，得到尺度不同、维度不同的多个图像特征；
所述平衡特征融合模块用于将所述多个图像特征的尺度统一为预设尺度，并将预设尺度的多个图像特征按维度进行聚合，再将聚合图像特征还原成尺度不同、维度不同的多个平衡特征，所述平衡特征融合模块包括第一线性插值模块和第一卷积模块，所述第一线性插值模块用于将所述多个图像特征中的一个尺度作为所述预设尺度，对其它图像特征进行线性插值处理，使其它图像特征的尺度增大或减小至所述预设尺度，所述第一卷积模块用于对预设尺度的多个图像特征进行卷积处理，使得多个图像特征的维度相同；
所述平衡特征融合模块包括连接模块，用于将经过第一卷积模块处理得到的各个所述图像特征按维度进行连接，得到聚合图像特征；
或者，所述平衡特征融合模块包括加权聚合模块，用于利用如下方式对经过第一卷积模块处理得到的图像特征进行处理：
,
其中，表示聚合图像特征，/>表示第一卷积模块处理得到的第i个图像特征，/>编码模块处理得到的图像特征总数量，1≤/>≤/>；
或者，所述平衡特征融合模块包括：
第一连接模块，用于将经过第一卷积模块处理的各个所述图像特征按维度进行连接，得到第一聚合图像特征；
加权聚合模块，用于利用如下方式对经过第一卷积模块处理得到的图像特征进行处理：
,
其中，表示第二聚合图像特征，/>表示第一卷积模块处理得到的第i个图像特征，/>编码模块处理得到的图像特征总数量，1≤/>≤/>；
第二连接模块，用于将所述第一聚合图像特征与所述第二聚合图像特征按维度进行连接，得到聚合图像特征；
所述解码模块用于对多个平衡特征进行处理，得到针对所述CT图像中感兴趣目标的分割结果。
2.根据权利要求1所述的方法，其特征在于，所述编码模块包括多阶编码模块，其中第一阶编码模块针对所述CT图像提取得到尺度为CT图像1/2的初阶图像特征，后续各阶编码模块均针对前一阶的编码模块提取得到的图像特征进行特征提取，得到尺度逐阶递减且维度逐渐增加的各阶图像特征。
3.根据权利要求2所述的方法，其特征在于，所述平衡特征融合模块对除所述初阶图像特征外的各阶图像特征进行处理得到多个平衡特征；所述解码模块用于对多个平衡特征和所述初阶图像特征进行处理得到所述分割结果。
4.根据权利要求1所述的方法，其特征在于，所述平衡特征融合模块包括第三卷积模块，用于对聚合图像特征进行卷积处理，以降低模型参数，去除聚合处理所形成的混叠效应。
5.根据权利要求1所述的方法，其特征在于，所述平衡特征融合模块包括第二线性插值模块和第二卷积模块，所述第二线性插值模块用于将聚合图像特征还原成尺度不同的多个平衡特征，还原后的尺度与所述编码模块输出的多个图像特征的尺度相同；所述第二卷积模块用于对尺度不同的多个平衡特征进行卷积处理，卷积处理后的维度与所述编码模块输出的多个图像特征的维度相同。
6.根据权利要求2所述的方法，其特征在于，所述解码模块包括多阶解码模块和输出模块，所述多阶解码模块用于根据特征尺度对所述多个平衡特征以及所述初阶图像特征逐阶段进行上采样处理，所述输出模块根据所述多阶解码模块的上采样处理结果输出所述分割结果。
7.根据权利要求6所述的方法，其特征在于，各阶解码模块均包括上采样模块或反卷积模块，以及连接模块和算子融合模块；所述上采样模块或反卷积模块用于对前一阶的尺度较小的平衡特征进行上采样操作或反卷积操作，以使其尺度与后一阶的尺度较大的平衡特征或者所述初阶图像特征的尺度一致，所述连接模块用于将上采样模块或反卷积模块的处理结果与所述后一阶的尺度较大的平衡特征或者所述初阶图像特征按特征维度进行连接，所述算子融合模块用于对所述连接模块的处理结果进行卷积、归一化和激活处理。
8.根据权利要求6所述的方法，其特征在于，所述输出模块包括上采样模块或反卷积模块、算子融合模块，所述上采样模块或反卷积模块用于将所述多阶解码模块的上采样处理结果进行上采样操作或反卷积操作，以使其尺度与所述CT图像的尺度一致，所述算子融合模块用于对上采样模块或反卷积模块的处理结果进行卷积、归一化和激活处理，得到所述分割结果。
9.一种CT图像分割设备，其特征在于，包括：处理器以及与所述处理器连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器执行如权利要求1-8中任意一项所述的CT图像分割方法。
CN202310808690.2A 2023-07-04 2023-07-04 Ct图像分割方法及设备 Active CN116543167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310808690.2A CN116543167B (zh) 2023-07-04 2023-07-04 Ct图像分割方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310808690.2A CN116543167B (zh) 2023-07-04 2023-07-04 Ct图像分割方法及设备

Publications (2)

Publication Number Publication Date
CN116543167A CN116543167A (zh) 2023-08-04
CN116543167B true CN116543167B (zh) 2023-09-05

Family

ID=87452769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310808690.2A Active CN116543167B (zh) 2023-07-04 2023-07-04 Ct图像分割方法及设备

Country Status (1)

Country Link
CN (1) CN116543167B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332133A (zh) * 2022-01-06 2022-04-12 福州大学 基于改进CE-Net的新冠肺炎CT图像感染区分割方法及系统
CN114612479A (zh) * 2022-02-09 2022-06-10 苏州大学 一种基于全局与局部特征重建网络的医学图像分割方法
CN114693698A (zh) * 2020-12-30 2022-07-01 四川大学华西医院 一种基于神经网络的计算机辅助肺气道分割方法
CN116012320A (zh) * 2022-12-26 2023-04-25 南开大学 基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法
CN116188352A (zh) * 2022-07-26 2023-05-30 长春工业大学 一种基于增强边缘特征的肺结节分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436211B (zh) * 2021-08-03 2022-07-15 天津大学 一种基于深度学习的医学图像活动轮廓分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693698A (zh) * 2020-12-30 2022-07-01 四川大学华西医院 一种基于神经网络的计算机辅助肺气道分割方法
CN114332133A (zh) * 2022-01-06 2022-04-12 福州大学 基于改进CE-Net的新冠肺炎CT图像感染区分割方法及系统
CN114612479A (zh) * 2022-02-09 2022-06-10 苏州大学 一种基于全局与局部特征重建网络的医学图像分割方法
CN116188352A (zh) * 2022-07-26 2023-05-30 长春工业大学 一种基于增强边缘特征的肺结节分割方法
CN116012320A (zh) * 2022-12-26 2023-04-25 南开大学 基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肝脏肿瘤CT图像深度学习分割方法综述;马金林;邓媛媛;马自萍;;中国图象图形学报(第10期);全文 *

Also Published As

Publication number Publication date
CN116543167A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
Xie et al. Denoising arterial spin labeling perfusion MRI with deep machine learning
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
CN110378913B (zh) 图像分割方法、装置、设备及存储介质
WO2020034469A1 (en) Method and apparatus for classifying a brain anomaly based on a 3d mri image
CN115546570A (zh) 一种基于三维深度网络的血管图像分割方法及系统
CN111369567A (zh) 三维图像中目标对象的分割方法、装置及电子设备
CN112669247A (zh) 一种用于多任务医学图像合成的先验指导型网络
CN115526857A (zh) 一种pet图像去噪的方法、终端设备及可读存储介质
CN111696119A (zh) 核磁共振影像海马体分割方法及装置
US20190139259A1 (en) Determining a Correspondence between Frames of a Set of Medical Image Data
CN112070752A (zh) 一种医学图像的心耳分割方法、装置及存储介质
WO2021168745A1 (zh) 一种磁共振成像模型的训练方法及装置
KR102419270B1 (ko) Mlp 기반 아키텍처를 통한 의료영상 세그먼테이션 장치 및 그 방법
CN110786840B (zh) 基于生理参数获取血管评定参数的方法、装置及存储介质
CN112001923A (zh) 一种视网膜图像分割方法及装置
CN116543167B (zh) Ct图像分割方法及设备
CN108537789A (zh) 管腔识别方法、装置及计算机存储介质
CN115829962B (zh) 医学图像分割装置、训练方法及医学图像分割方法
CN115965596A (zh) 血管识别方法、装置、电子设备及可读存储介质
CN112734726B (zh) 一种血管造影的分型方法、装置以及设备
CN113177938B (zh) 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件
CN115375706A (zh) 图像分割模型训练方法、装置、设备及存储介质
CN114565623A (zh) 肺血管分割方法、装置、存储介质及电子设备
CN114648463A (zh) 一种灰度图像动态范围调整方法、装置、设备及介质
CN106897975A (zh) 一种超立方体粒计算的图像去噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 806, Research Headquarters Building, Guangdong Macao Cooperative Traditional Chinese Medicine Technology Industrial Park, No. 1 Doukou Road, Hengqin New District, Zhuhai City, Guangdong Province, 519000

Patentee after: True Health (Guangdong Hengqin) Medical Technology Co.,Ltd.

Address before: 100192 Room 308, floor 3, building 2, Tiandi Linfeng, No. 1, yongtaizhuang North Road, Haidian District, Beijing

Patentee before: ZHENJIANKANG (BEIJING) MEDICAL TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231102

Address after: B101, 1st Floor, Building B-2, North Territory, Zhongguancun Dongsheng Science and Technology Park, No. 66 Xixiaokou Road, Haidian District, Beijing, 100192

Patentee after: ZHENJIANKANG (BEIJING) MEDICAL TECHNOLOGY Co.,Ltd.

Address before: Room 806, Research Headquarters Building, Guangdong Macao Cooperative Traditional Chinese Medicine Technology Industrial Park, No. 1 Doukou Road, Hengqin New District, Zhuhai City, Guangdong Province, 519000

Patentee before: True Health (Guangdong Hengqin) Medical Technology Co.,Ltd.