CN113936011A - 基于注意力机制的ct影像肺叶图像分割系统 - Google Patents
基于注意力机制的ct影像肺叶图像分割系统 Download PDFInfo
- Publication number
- CN113936011A CN113936011A CN202111225135.4A CN202111225135A CN113936011A CN 113936011 A CN113936011 A CN 113936011A CN 202111225135 A CN202111225135 A CN 202111225135A CN 113936011 A CN113936011 A CN 113936011A
- Authority
- CN
- China
- Prior art keywords
- lung
- fissure
- feature
- image
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 228
- 238000003709 image segmentation Methods 0.000 title claims abstract description 28
- 230000007246 mechanism Effects 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 46
- 238000001914 filtration Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000000877 morphologic effect Effects 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000004044 response Effects 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 24
- 238000007726 management method Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012805 post-processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000002085 persistent effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000011161 development Methods 0.000 claims description 2
- 230000018109 developmental process Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 239000004576 sand Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 13
- 238000000926 separation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000001370 mediastinum Anatomy 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 240000007087 Apium graveolens Species 0.000 description 1
- 235000015849 Apium graveolens Dulce Group Nutrition 0.000 description 1
- 235000010591 Appio Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Abstract
一种基于注意力机制的CT影像肺叶图像分割系统,包括:前景预处理模块、显著性特征分析模块、形态特征提取模块、分割重建模块以及I/O管理模块,本发明通过显著性区域分割网络提取与肺裂区域相关的图像显著性特征,由此实现肺裂特征空间的定位,该网络基于注意力机制实现高低层语义特征的融合,从而降低模型对无关特征的关注程度,提升肺裂图像检测效率的同时,将三维方向信息与显著性特征融入DoS(Derivative ofStick,窄条微分)滤波过程,以此指导肺裂形态特征的提取,提升肺叶图像分割的准确性。
Description
技术领域
本发明涉及的是一种图像处理领域的技术,具体是一种基于注意力机制的CT影像肺叶图像分割系统。
背景技术
基于肺裂生理结构的肺叶图像分割技术能够实现不同肺叶内的病灶区域可视化及容积占比计算,从而辅助医生实现病情诊断与监测。现有的肺叶图像分割技术存在以下问题:第一,肺裂结构存在影像学特征表征不明显的问题,特别是在部分CT图层中由于病灶干扰、肺部组织遮挡等因素导致其图像特征识别困难。现有方案通常基于人工先验知识或添加额外后处理操作的方式进行肺裂特征的筛选。此类方法依赖于大量监督数据或人工交互,难以满足临床应用的需求;第二,肺裂区域占全肺比重相对较低,而现有的基于全肺迭代扫描的特征提取算法未对无关特征信息进行筛除,导致算法整体计算量较大,执行效率不高。
发明内容
本发明针对现有技术存在的上述不足,提出一种基于注意力机制的CT影像肺叶图像分割系统,通过显著性区域分割网络提取与肺裂区域相关的图像显著性特征,由此实现肺裂特征空间的定位,该网络基于注意力机制实现高低层语义特征的融合,从而降低模型对无关特征的关注程度,提升肺裂图像检测效率的同时,将三维方向信息与显著性特征融入DoS(Derivative of Stick,窄条微分)滤波过程,以此指导肺裂形态特征的提取,提升肺叶图像分割的准确性。
本发明是通过以下技术方案实现的:
本发明涉及一种基于注意力机制的CT影像肺叶图像分割系统,包括:前景预处理模块、显著性特征分析模块、形态特征提取模块、分割重建模块以及I/O管理模块,其中:前景预处理模块加载肺部CT原始图像数据,通过医学图像分割网络U-Net进行肺实质前景分割和预处理,得到肺窗标准化图像矩阵以及肺实质二值掩码矩阵;显著性特征分析模块通过基于通道与空间注意力机制的显著性区域分割网络提取肺裂区域的显著性语义特征,得到肺裂区域显著性特征归一化权重矩阵,实现肺裂区域的定位;形态特征提取模块采用改进的DoS滤波算法计算肺裂特征响应归一化权重矩阵,经筛选得到候选肺裂体素;分割重建模块根据候选肺裂体素进行三维曲面重建,根据与曲面的相对位置关系为每一个体素标记其所属的肺叶类别,最终输出肺叶类别掩模矩阵作为肺叶图像分割的结果;I/O管理模块通过标准医学影像格式对输出输入数据进行持久化存储,并定义数据访问接口实现算法模型的动态配置。
所述的前景预处理模块,采用但不限于U-Net进行肺实质前景提取。
为了提升分割准确性,降低复杂病灶对肺实质边缘分割效果的影响,本发明将肺部CT原始数据分别在肺窗(窗宽=1500Hu,窗位=-650Hu)以及纵隔窗(窗宽=400Hu,窗位=-40Hu)下分别进行CT值标准化,其中:肺窗标准化结果为后续模块提供肺实质灰度信息,纵隔窗标准化结果用于前景提取。
所述的预处理是指:由于左肺和右肺在解剖结构上存在显著差异,划分左右肺有助于提升肺叶图像分割的准确性。本发明逐层分析横断面分割结果,计算前两处最大连通域的面积比,由此判定是否存在粘连。当存在粘连,则去除该层水平轴中心位置处的部分体素,即可实现二维层面左右肺分离。对各冠状面执行相似操作,即可实现三维左右肺分离。最终,前景预处理模块输出肺窗标准化图像矩阵以及肺实质二值掩码矩阵,为后续各模块提供肺实质灰度信息。
所述的显著性区域分割网络并行地融合通道注意力机制以及空间注意力机制,并仅使用有限的粗粒度标注信息进行弱监督,该显著性区域分割网络包括:多尺度特征编码单元、注意力控制单元以及显著性特征解码单元,其中:多尺度特征编码单元利用残差卷积块与空洞卷积块对输入肺实质图像进行多尺度下采样,得到与肺裂区域相关的显著性语义特征;注意力控制单元并行地采用通道注意力与空间注意力机制分析与监督信息最相关的特征通道与空间位置,并利用归一化特征级联操作实现特征更新与融合,得到注意力调控后的融合特征图;显著性特征解码单元利用解码卷积块对融合特征图进行多尺度上采样,根据显著性语义特征还原肺裂区域,最终输出肺裂区域显著性特征掩码结果。
所述的多尺度特征编码单元包含6个编码卷积层,其中:首层采用尺寸为3×3×64、步长为1的卷积核,随后4层依次采用大小分别为3×3×64、3×3×128、3×3×256、3×3×512、块数分别为3、4、6、3的残差卷积块进行特征提取。为了进一步分析全局信息,利用3次3×3×512的空洞卷积块提取最后2层特征图。除最后一层外,其余各层中的第一个卷积块均通过设置步长为2实现下采样。每个卷积层后接批量归一化层并通过线性整流函数(Rectified Liner Unit,ReLU)激活,即其中:l(i)为第i层编码后的特征图;I为原始输入图像;σReLU为ReLU激活函数,其一般形式为σReLU=max(0,x);ΦBN为批量归一化操作;convi对应第i层的卷积块。
所述的与肺裂区域相关的语义特征包括:高层特征和低层特征,其中:高层特征包含复杂的抽象语义信息,低层特征则保留边缘、纹理、位置等低级语义信息。
为了充分利用高低层语义信息的相关性,抑制无关干扰特征,显著性区域分割网络在每一层解码过程中嵌入注意力控制单元,对来自上层的高级语义及来自当前层的编码特征进行基于显著性监督信息的注意力分析,从而实现针对肺裂区域的显著性特征提取。
所述的注意力控制单元包括:通道注意力分析子单元、空间注意力分析子单元及特征融合子单元,其中:通道注意力分析子单元利用全局平均池化操作将特征图的各个通道转化为高维语义特征,并通过Softmax函数归一化权重占比,计算通道注意力特征权重向量,以此对各个通道进行权重更新,并最终与低层特征进行融合,从而有效降低网络对无关特征的关注程度,突出与监督信息相关的语义特征,得到通道注意力加权后的特征图;空间注意力分析子单元根据高低层特征在空间维度上的语义关系,利用加法器融合高低层关键特征并通过ReLU函数进行激活,随后采用1×1卷积全连接操作将通道数降为1,得到特征图各个位置对应的空间注意力特征权重向量,将Sigmoid函数归一化后的权重与原始低层特征图进行加权,实现动态调整背景区域的权重,突出具有较高响应的区域,得到空间注意力加权后的特征图;特征融合子单元利用级联操作拼接通道与空间注意力加权后的结果,得到肺裂区域融合特征图。
所述的通道注意力特征权重向量Ac(h,l)=σSoftmax(W3(σReLU(W1ΦGAP(h)+b1)+σReLU(W2ΦGAP(l)+b2))+b3),其中:h为来自上一解码层的高层特征图;l为来自同级编码层的低层特征图;Wi,bi(i=1,2,3)分别为对应下标为i的1×1卷积核的权重参数以及偏置参数;σSoftmax表示Softmax归一化激活函数,其一般形式为其中zi为肺裂区域或背景区域对应输出值;ΦGAP为全局平均池化操作;ΦUpsample为上采样操作;σReLU表示ReLU激活函数,其一般形式为σReLU(x)=max(0,x);通道特征最终更新为:Fc(h,l)=W4ΦUpsample(h)Ac(h,l)+b4+l,其中:Fc(h,l)为由高层特征图h和低层特征图l生成的通道特征结果;W4,b4分别为1×1卷积核的权重参数以及偏置参数;ΦUpsample为上采样操作。
所述的空间注意力特征权重向量 其中,h为来自上一解码层的高层特征图;l为来自同级编码层的低层特征图;Wi,bi(i=5,6,7)分别为对应下标为i的1×1卷积核的权重参数以及偏置参数;ΦUpsample为上采样操作;σReLU表示ReLU激活函数,其一般形式为σReLU(x)=max(0,x);σsigmoid表示Sigmoid激活函数,其一般形式为空间特征最终更新为:FS(h,l)=l*AS(h,l),其中:FS(h,l)为由高层特征图h和低层特征图l生成的空间特征结果。
所述的特征融合子单元的级联操作是指:由高层特征图h和低层特征图l生成的最终融合特征图F(h,l)=Fc(h,l)⊙FS(h,l),其中:⊙表示通道维度特征图拼接操作。
所述的显著性特征解码单元包含5个解码卷积层,其中:每层均由3个解码卷积块组成,每个卷积块采用与对应编码层相同的大小3×3、步长为1的卷积核,其中首个卷积块的通道数额外缩小一倍。
所述的解码过程表示为:其中:h(i)为第i层解码特征图;l(i)为第i层编码特征图;F(h,l)表示由高层特征图h和低层特征图l生成融合特征图;σReLU表示ReLU激活函数,其一般形式为σReLU(x)=max(0,x);ΦBN为批量归一化操作。经逐层解码后,显著性特征解码单元最终输出与原图尺寸一致的肺裂区域显著性特征掩码矩阵,对应肺裂区域归一化权重得分,经阈值筛选实现肺裂区域的定位。
所述的形态特征提取模块通过改进的DoS滤波算法检测肺裂图像体素:改进的方法以显著性特征分析模块输出的肺裂区域作为搜索空间,从而减少无关区域的干扰,提升检测效率;此外,在横断面滤波的同时,改进的方法考虑了矢状面和冠状面的肺裂方向信息以及显著性特征信息,并利用后处理方法进行噪点去除,提升肺裂图像体素检测的准确性。
所述的改进的DoS滤波算法,具体步骤包括:
1)DoS滤波算子生成:根据二维平面上的一段连续肺裂具有的较低曲率的特点,采用不同方向、具有一定间距的三段平行窄带结构提取局部曲率变化特征。在二维平面上,对于L×L的滤波核,窄带结构的起点和终点分别有2(L-1)种选择。设核旋转顺序为顺时针,在第n个滤波核中,对于(x,y)处的坐标,当满足:时,同时令(x,y)和(L-x-1,L-y-1)处的算子值为1,其余部分算子值为0。
2)DoS响应计算:根据中心窄带得到的平均响应值为Gm,靠左一侧的窄带得到的平均响应值为Gl,靠右一侧的窄带得到的平均响应值为Gr,计算最大差值响应 其中:L为以(x,y)为中心点的滤波空间。最大差值响应能够对肺裂形态结构产生较高的响应值。为了抑制无关区域的响应,沿窄带径向计算强度标准差作为平行方向局部响应;然后在各方向中选择最大响应作为最终的DoS滤波结果其中:E表示径向强度标准差,KL,θ为对应方向的DoS滤波核,正系数k用于调整轴向强度不均匀性。
3)方向响应计算:为了充分利用肺裂在三维空间中的方向信息,本发明计算各体素的平均方向向量其中:θx,y,z向量表示坐标(x,y,z)处的平均方向向量,其分量分别记录其在横断面、矢状面和冠状面三个方向上的局部响应方向角;r为感受野大小参数。随着r的增大,可融合的d局部方向信息越多,但计算量会相应增加。根据分别计算横断面、矢状面和冠状面的DoS中心窄带滤波响应。
4)显著性特征融合:利用中心窄带滤波响应计算显著性特征矩阵对应位置处的方向权值w(x,y|θ)=∑0<i<L∑0<j<LS(x+i,y+j)K(x,y|θ),其中:S为肺裂区域显著性特征矩阵;K为DoS中心窄带滤波核。该权重反映了空间方向上的肺裂显著性权重。将该系数与DoS滤波响应值融合,具体为:R(x,y,z)=(RT(x,y,z),RM(x,y,z),RC(x,y,z))=(RDoS(x,y)w(x,y|θx,y),RDoS(s,z)w(x,z|θx,z),RDoS(y,z)w(y,z|θy,z)),其中:滤波响应值R(x,y,z)=|R(x,y,z)|反映了三维方向上的DoS滤波结果,表示体素(x,y,z)处的融合响应向量,RT、RM、RC分别表示水平面、矢状面和冠状面的响应值。
优选地,所述的改进的DoS滤波算法可针对左右肺进行更为高效的处理:对于左肺,其斜裂在矢状面上表现为45°~60°的斜线。根据这一特性,仅保留内的L个方向的滤波算子用以左肺滤波,从而提升算法执行效率;相较于左肺,右肺同时存在斜裂和水平裂,其在二维矢状面上具有相对清晰的结构,而在横断面上往往难以观测。因此,本发明仅利用矢状面和冠状面的影像进行右肺DoS滤波,即: 左右肺的处理过程可通过多线程并行化。
优选地,所述的形态特征提取模块对融合后的形态特征进行后处理:为了去除滤波过程产生的边界噪声,后处理步骤在三个正交视图方向上依次对每一层肺实质区域ROI二维截面进行腐蚀,删去其在肺裂滤波特征结果矩阵中对应位置的体素;为了去除孤立噪点的影响,后处理步骤进一步针对矢状面图层进行图像骨架化处理并移除分支点,保留面积较大的连通域,即可得到最终的去噪后的肺裂形态特征归一化响应矩阵。
所述的分割重建模块通过多级B样条方法实现三维肺裂面重建,从而在保证拟合精度的同时兼顾重建曲面的光滑程度,具体包括:首先基于肺裂形态特征归一化响应矩阵进行候选特征采样,选取最有可能是真实肺裂面上的体素。对于横断面上的任一位置,其在三维空间中可能对应多个具有不同垂直位置的体素。对这些体素自下而上地进行当干轮间隔选点,每一轮选点结束后得到垂直方向唯一映射的采样体素矩阵。对该矩阵进行三维连通域分析,保留最大的连通域作为该轮的待拟合候选肺裂点集。分割重建模块选择连通域总体素数最多的点集重建肺裂面。根据体素与曲面的相对位置关系,分割重建模块对每一个体素标记唯一的类别,最终输出类别标签掩模矩阵作为肺叶图像分割结果。
优选地,所述的分割重建模块同样针对左右肺采用不同的并行化后处理过程,从而提升算法执行效率:根据右肺斜裂在矢状面发育方向上的规律,斜裂拟合步骤首先筛选矢状面中肺裂特征方向角位于一三象限的体素,基于其最大连通域进行候选点采样以及肺裂面重建。为了区分右肺水平裂与斜裂,后处理单元计算重建肺裂面对应的两个肺叶区域的矢状面垂直跨度。当跨度在全肺的占比超过一定阈值,则该肺裂面为右斜裂,否则为右水平裂;对于右肺另一肺裂面及左肺斜裂面,系统执行类似的重建操作,最终拟合左肺斜裂、右肺斜裂、右肺水平裂三处曲面。
所述的I/O管理模块包括:DICOM(Digital Imaging and Communications inMedicine,医学数字成像与通信)解析单元、NIfTI(Neuroimaging InformaticsTechnology Initiative,神经影像信息学技术倡议)封装单元和模型管理单元,其中:DICOM解析单元将来自输入文件的原始CT值转化为对应的像素值,并提供了数据上传接口,以实现与PACS(Picture Archiving and Communication Systems,医疗影像与通信系统)的集成;NIfTI封装单元将肺叶图像分割结果持久化为标准nii格式文件,并通过gz格式进行压缩转储,在节省存储空间的同时提升数据传输效率;模型管理单元提供模型参数配置、增量特征管理、模型训练以及模型动态装载的操作接口。
技术效果
与现有常规技术手段相比,本发明通过分析图像显著性特征实现弱监督条件下肺裂区域的定位,从而减少肺裂图像检测的特征搜索空间,降低现有肺裂区域定位方法对高精度标注数据、人工交互操作等外部知识的需求,提升算法实用性;设计了肺裂区域显著性分割网络,通过嵌入通道与空间注意力分析机制,保障了弱监督条件下显著性区域分割的准确性;利用肺裂结构的三维空间方向信息以及显著性特征信息指导DoS形态特征提取过程,提升对含有复杂病灶病例影像的肺裂图像识别的适应性以及肺叶图像分割的准确性;针对左右肺不同的解剖结构特点,分别在前景提取、形态特征提取以及分割重建模块采用不同的处理策略并添加相应的后处理操作,提升算法执行效率。通过标准医学影像格式DICOM与NIfTI管理输入输出数据,实现高效的数据存储与资源访问。
附图说明
图1为本发明方法流程图;
图2为显著性区域分割网络示意图;
图3为注意力控制单元示意图;
图4为本发明系统示意图。
具体实施方式
如图1所示,为本实施例涉及的一种基于注意力机制的CT影像肺叶图像分割方法,以肺部CT DICOM影像文件作为输入,在纵隔窗下提取肺实质前景区域,随后利用融合通道与空间注意力机制的显著性区域分割网络分析肺裂区域显著性特征,实现肺裂特征空间的定位;基于显著性特征,利用改进的DoS滤波提取肺裂体素,并以此重建肺裂面,从而将全肺图像划分为不同的肺叶图像。
如图4所示,为本实施例涉及的一种基于注意力机制的CT影像肺叶图像分割系统,包括前景预处理模块、显著性特征分析模块、形态特征提取模块、分割重建模块、I/O管理模块以及资源访问接口。
所述的I/O管理模块实现DICOM CT影像的加载、模型数据的交换以及NIfTI检测结果的持久化,其中的DICOM数据解析单元维护一个轻量级PACS影像数据服务器,并通过WADO-URI(Web Access to DICOM Persistent Objects-Uniform Resource Identifier,用于DICOM持久化对象的Web统一资源访问标识符)实现对DICOM影像文件及其元信息字段的访问,并将原始数据通过消息队列Celery划分为独立的检测任务,利用内存数据结构存储系统Redis实现任务的执行与中断调度,保障并发检测能力;模型管理单元以pkl文件格式将训练完毕的前景模型、肺裂区域显著性分割模型以及外部特征数据序列化存储,并通过json文件管理相关阈值参数,实现在系统运行时动态装载网络模型并配置相关参数;NIfTI封装单元将肺叶图像分割结果以nii.gz的格式进行压缩转储,实现对历史检测结果查询的支持。
所述的前景预处理模块实现前景分割与左右肺ROI分离预处理,其中的窗宽窗位标准化单元分别设置窗宽参数1500Hu、窗位参数-650Hu以及窗宽参数400Hu,窗位参数-40Hu计算肺窗和纵隔窗下的图像灰度值,随后调用U-Net执行前景分割,保留前景类别得分大于0.5的体素作为前景分割结果,设置面积比差异限度参数为10,并将横坐标范围在[220,280]内的像素作为水平轴中心区域,依次执行二维、三维ROI预处理操作,得到左右肺分离去噪后的肺实质分割结果。
所述的显著性特征分析模块通过加载显著性区域分割网络,肺实质图像经多尺度特征编码、注意力分析以及显著性特征解码实现肺裂显著性特征的提取以及肺裂区域的定位,其中的显著性区域分割网络设置基础学习率为0.002、权重衰减系数为0.0001,并通过动能参数为0.9的Adam优化器更新显著性区域分割模型权重,其训练过程采用Dice损失函数,并利用概率为0.2的随机左右翻转、随机上下翻转以及随机0~360°旋转操作进行数据增广,其推理过程保留得分大于0.3的体素作为显著性肺裂定位区域。
所述的形态特征提取模块实现肺裂形态特征的分析以及候选肺裂体素的筛选,其中的左右肺DoS滤波单元设置DoS核大小L为11、轴向强度不均匀性系数k为7、三维感受野大小r为5,采用多线程并行化方式实现滤波算子生成、DoS响应值计算、方向响应值计算以及显著性特征融合,最终计算肺裂形态特征;形态特征后处理单元利用半径为3的图像腐蚀操作去除边界噪点,并通过移除骨架分支点去除孤立噪点,最终计算去噪后的肺裂形态特征提取结果。
所述的分割重建模块实现三维肺裂面的拟合以及肺叶划分,其中的候选特征采样单元设置肺裂候选点采样轮数为5,选取具有最大连通域的采样结果用以重建肺裂面;肺叶图像分割单元设置矢状面垂直跨度比值参数为0.7,采用多线程并行化方式,通过B样条插值分别重建左肺斜裂面、右肺水平裂面与右肺斜裂面,最终计算得到肺叶划分结果。
所述的资源访问接口以REST(Representational State Transfer,表征性状态转移)资源形式提供服务调用接口,其中的新增影像服务用以启动单套肺部CT影像的肺叶图像分割处理流程;模型配置服务通过yaml配置文件实现模型参数配置、增量特征管理、模型训练等功能;结果查询服务用以获取肺叶掩模NIfTI文件,进而用于容积计算、肺叶可视化、病灶占比计算、辅助诊断等上层应用。
上述实施过程与国内外同类产品的技术参数比较见表1。
表1技术特性对比
相较于同类技术方案,在系统功能方面,本发明通过重建肺裂面实现肺叶图像分割,从而为影像科医生提供图像数据定量分析。技术方法方面,本发明基于通道及空间注意力机制提取肺裂图像显著性特征,降低模型对无关语义特征的关注程度,实现肺裂区域的图像定位;利用融合三维方向信息的改进DoS滤波分析肺裂图像结构形态特征,增强特征对肺裂结构的表达能力。本发明提出的方法不仅提升了肺叶图像分割准确性与算法执行效率,同时降低了对外部高精度标注数据的需求,具有良好的适应性。可扩展性方面,本系统采用医疗影像通用的文件存储格式对输入输出进行标准化,便于与现有PACS基础设施集成;通过REST接口对数据进行资源化管理,便于上层应用的扩展。易用性方面,本系统由服务端实现肺叶图像分割任务,并利用消息队列对来自不同终端的任务进行调度,提升硬件资源利用率;为了便于影像科医生对同一病例的追踪随访,系统对同一病例不同时期的检测结果进行持久化,避免冗余检测。可维护性方面,系统在服务端开放模型管理单元配置功能,能够灵活地实现模型参数配置、增量特征管理以及模型动态装载,便于算法模型的迭代更新与维护。
与现有技术相比,本发明提升了肺裂结构的图像识别效率与肺叶图像分割准确性,降低了对外部知识的需求,提升了系统的适应性与易用性。本发明利用嵌入通道空间注意力的显著性区域分割网络分析肺裂区域的图像显著性特征,实现弱监督条件下肺裂图像特征空间的定位,在提升检测效率的同时降低对高精度标注数据的需求;基于显著性特征,本发明利用空间方向信息指导原始DoS滤波过程,从而提升复杂条件下的肺裂结构图像检测适应性以及肺叶图像分割准确性;本发明采用标准医学影像格式作为输入输出,实现了高效的资源访问与管理。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。
Claims (10)
1.一种基于注意力机制的CT影像肺叶图像分割系统,其特征在于,包括:前景预处理模块、显著性特征分析模块、形态特征提取模块、分割重建模块以及I/O管理模块,其中:前景预处理模块加载肺部CT原始图像数据,通过医学图像分割网络U-Net进行肺实质前景分割和预处理,得到肺窗标准化图像矩阵以及肺实质二值掩码矩阵;显著性特征分析模块通过基于通道与空间注意力机制的显著性区域分割网络提取肺裂区域的显著性语义特征,得到肺裂区域显著性特征归一化权重矩阵,实现肺裂区域的定位;形态特征提取模块采用改进的DoS滤波算法计算肺裂特征响应归一化权重矩阵,经筛选得到候选肺裂体素;分割重建模块根据候选肺裂体素进行三维曲面重建,根据与曲面的相对位置关系为每一个体素标记其所属的肺叶类别,最终输出肺叶类别掩模矩阵作为肺叶图像分割的结果;I/O管理模块通过标准医学影像格式对输出输入数据进行持久化存储,并定义数据访问接口实现算法模型的动态配置。
2.根据权利要求1所述的CT影像肺叶图像分割系统,其特征是,所述的显著性区域分割网络并行地融合通道注意力机制以及空间注意力机制,并仅使用有限的粗粒度标注信息进行弱监督,该显著性区域分割网络包括:多尺度特征编码单元、注意力控制单元以及显著性特征解码单元,其中:多尺度特征编码单元利用残差卷积块与空洞卷积块对输入肺实质图像进行多尺度下采样,得到与肺裂区域相关的显著性语义特征;注意力控制单元并行地采用通道注意力与空间注意力机制分析与监督信息最相关的特征通道与空间位置,并利用归一化特征级联操作实现特征更新与融合,得到注意力调控后的融合特征图;显著性特征解码单元利用解码卷积块对融合特征图进行多尺度上采样,根据显著性语义特征还原肺裂区域,最终输出肺裂区域显著性特征掩码结果。
3.根据权利要求2所述的CT影像肺叶图像分割系统,其特征是,所述的多尺度特征编码单元包含6个编码卷积层,其中:首层采用尺寸为3×3×64、步长为1的卷积核,随后4层依次采用大小分别为3×3×64、3×3×128、3×3×256、3×3×512、块数分别为3、4、6、3的残差卷积块进行特征提取,为了进一步分析全局信息,利用3次3×3×512的空洞卷积块提取最后2层特征图,除最后一层外,其余各层中的第一个卷积块均通过设置步长为2实现下采样,每个卷积层后接批量归一化层并通过线性整流函数(Rectified Liner Unit,ReLU)激活,即 其中:l(i)为第i层编码后的特征图;I为原始输入图像;σReLU为ReLU激活函数,其一般形式为σReLU=max(0,x);ΦBN为批量归一化操作;convi对应第i层的卷积块。
4.根据权利要求2所述的CT影像肺叶图像分割系统,其特征是,所述的注意力控制单元包括:通道注意力分析子单元、空间注意力分析子单元及特征融合子单元,其中:通道注意力分析子单元利用全局平均池化操作将特征图的各个通道转化为高维语义特征,并通过Softmax函数归一化权重占比,计算通道注意力特征权重向量,以此对各个通道进行权重更新,并最终与低层特征进行融合,从而有效降低网络对无关特征的关注程度,突出与监督信息相关的语义特征,得到通道注意力加权后的特征图;空间注意力分析子单元根据高低层特征在空间维度上的语义关系,利用加法器融合高低层关键特征并通过ReLU函数进行激活,随后采用1×1卷积全连接操作将通道数降为1,得到特征图各个位置对应的空间注意力特征权重向量,将Sigmoid函数归一化后的权重与原始低层特征图进行加权,实现动态调整背景区域的权重,突出具有较高响应的区域,得到空间注意力加权后的特征图;特征融合子单元利用级联操作拼接通道与空间注意力加权后的结果,得到肺裂区域融合特征图。
5.根据权利要求4所述的CT影像肺叶图像分割系统,其特征是,所述的通道注意力特征权重向量Ac(h,l)=σSoftmax(W3(σReLU(W1ΦGAP(h)+b1)+σReLU(W2ΦGAP(l)+b2))+b3),其中:h为来自上一解码层的高层特征图;l为来自同级编码层的低层特征图;Wi,bi(i=1,2,3)分别为对应下标为i的1×1卷积核的权重参数以及偏置参数;σSoftmax表示Softmax归一化激活函数,其一般形式为其中zi为肺裂区域或背景区域对应输出值;ΦGAP为全局平均池化操作;ΦUpsample为上采样操作;σReLU表示ReLU激活函数,其一般形式为σReLU(x)=max(0,x);通道特征最终更新为:Fc(h,l)=W4ΦUpsample(h)Ac(h,l)+b4+l,其中:Fc(h,l)为由高层特征图h和低层特征图l生成的通道特征结果;W4,b4分别为1×1卷积核的权重参数以及偏置参数;ΦUpsample为上采样操作;
6.根据权利要求2所述的CT影像肺叶图像分割系统,其特征是,所述的显著性特征解码单元包含5个解码卷积层,其中:每层均由3个解码卷积块组成,每个卷积块采用与对应编码层相同的大小3×3、步长为1的卷积核,其中首个卷积块的通道数额外缩小一倍;
7.根据权利要求1所述的CT影像肺叶图像分割系统,其特征是,所述的改进的DoS滤波算法,具体步骤包括:
1)DoS滤波算子生成:根据二维平面上的一段连续肺裂具有的较低曲率的特点,采用不同方向、具有一定间距的三段平行窄带结构提取局部曲率变化特征;在二维平面上,对于L×L的滤波核,窄带结构的起点和终点分别有2(L-1)种选择;设核旋转顺序为顺时针,在第n个滤波核中,对于(x,y)处的坐标,当满足:时,同时令(x,y)和(L-x-1,L-y-1)处的算子值为1,其余部分算子值为0;
2)DoS响应计算:根据中心窄带得到的平均响应值为Gm,靠左一侧的窄带得到的平均响应值为Gl,靠右一侧的窄带得到的平均响应值为Gr,计算最大差值响应 其中:L为以(x,y)为中心点的滤波空间;最大差值响应能够对肺裂形态结构产生较高的响应值;为了抑制无关区域的响应,沿窄带径向计算强度标准差作为平行方向局部响应;然后在各方向中选择最大响应作为最终的DoS滤波结果其中:E表示径向强度标准差,KL,θ为对应方向的DoS滤波核,正系数k用于调整轴向强度不均匀性;
3)方向响应计算:为了充分利用肺裂在三维空间中的方向信息,本发明计算各体素的平均方向向量其中:θx,y,z向量表示坐标(x,y,z)处的平均方向向量,其分量分别记录其在横断面、矢状面和冠状面三个方向上的局部响应方向角;r为感受野大小参数;随着r的增大,可融合的d局部方向信息越多,但计算量会相应增加;根据分别计算横断面、矢状面和冠状面的DoS中心窄带滤波响应;
4)显著性特征融合:利用中心窄带滤波响应计算显著性特征矩阵对应位置处的方向权值w(x,y|θ)=∑0<i<L∑0<j<LS(x+i,y+j)K(x,y|θ),其中:S为肺裂区域显著性特征矩阵;K为DoS中心窄带滤波核;该权重反映了空间方向上的肺裂显著性权重;将该系数与DoS滤波响应值融合,具体为:R(x,y,z)=(RT(x,y,z),RM(x,y,z),RC(x,y,z))=(RDoS(x,y)w(x,y|θx,y),RDoS(x,z)w(x,z|θx,z),RDoS(y,z)w(y,z|θy,z)),其中:滤波响应值R(x,y,z)=|R(x,y,z)|反映了三维方向上的DoS滤波结果,表示体素(x,y,z)处的融合响应向量,RT、RM、RC分别表示水平面、矢状面和冠状面的响应值。
9.根据权利要求1所述的CT影像肺叶图像分割系统,其特征是,所述的分割重建模块通过多级B样条方法实现三维肺裂面重建,从而在保证拟合精度的同时兼顾重建曲面的光滑程度,具体包括:首先基于肺裂形态特征归一化响应矩阵进行候选特征采样,选取最有可能是真实肺裂面上的体素;对于横断面上的任一位置,其在三维空间中可能对应多个具有不同垂直位置的体素;对这些体素自下而上地进行当干轮间隔选点,每一轮选点结束后得到垂直方向唯一映射的采样体素矩阵;对该矩阵进行三维连通域分析,保留最大的连通域作为该轮的待拟合候选肺裂点集;分割重建模块选择连通域总体素数最多的点集重建肺裂面;根据体素与曲面的相对位置关系,分割重建模块对每一个体素标记唯一的类别,最终输出类别标签掩模矩阵作为肺叶图像分割结果。
10.根据权利要求1或9所述的CT影像肺叶图像分割系统,其特征是,所述的分割重建模块同样针对左右肺采用不同的并行化后处理过程,从而提升算法执行效率:根据右肺斜裂在矢状面发育方向上的规律,斜裂拟合步骤首先筛选矢状面中肺裂特征方向角位于一三象限的体素,基于其最大连通域进行候选点采样以及肺裂面重建;为了区分右肺水平裂与斜裂,后处理单元计算重建肺裂面对应的两个肺叶区域的矢状面垂直跨度;当跨度在全肺的占比超过一定阈值,则该肺裂面为右斜裂,否则为右水平裂;对于右肺另一肺裂面及左肺斜裂面,系统执行类似的重建操作,最终拟合左肺斜裂、右肺斜裂、右肺水平裂三处曲面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111225135.4A CN113936011A (zh) | 2021-10-21 | 2021-10-21 | 基于注意力机制的ct影像肺叶图像分割系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111225135.4A CN113936011A (zh) | 2021-10-21 | 2021-10-21 | 基于注意力机制的ct影像肺叶图像分割系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113936011A true CN113936011A (zh) | 2022-01-14 |
Family
ID=79280673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111225135.4A Pending CN113936011A (zh) | 2021-10-21 | 2021-10-21 | 基于注意力机制的ct影像肺叶图像分割系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113936011A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114792315A (zh) * | 2022-06-22 | 2022-07-26 | 浙江太美医疗科技股份有限公司 | 医学图像视觉模型训练方法和装置、电子设备和存储介质 |
CN114821074A (zh) * | 2022-07-01 | 2022-07-29 | 湖南盛鼎科技发展有限责任公司 | 机载liDAR点云语义分割方法、电子设备及存储介质 |
CN116030078A (zh) * | 2023-03-29 | 2023-04-28 | 之江实验室 | 多任务学习框架下结合注意力的肺叶分割方法及系统 |
CN116152278A (zh) * | 2023-04-17 | 2023-05-23 | 杭州堃博生物科技有限公司 | 医疗图像的分割方法及装置、非易失性存储介质 |
CN117036613A (zh) * | 2023-08-18 | 2023-11-10 | 武汉大学 | 一种基于多重感受野交融网络的偏振三维重建方法和系统 |
CN117788474A (zh) * | 2024-02-27 | 2024-03-29 | 陕西省人民医院(陕西省临床医学研究院) | 一种基于机器视觉的泌尿结石图像识别方法 |
-
2021
- 2021-10-21 CN CN202111225135.4A patent/CN113936011A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114792315A (zh) * | 2022-06-22 | 2022-07-26 | 浙江太美医疗科技股份有限公司 | 医学图像视觉模型训练方法和装置、电子设备和存储介质 |
CN114792315B (zh) * | 2022-06-22 | 2022-10-11 | 浙江太美医疗科技股份有限公司 | 医学图像视觉模型训练方法和装置、电子设备和存储介质 |
CN114821074A (zh) * | 2022-07-01 | 2022-07-29 | 湖南盛鼎科技发展有限责任公司 | 机载liDAR点云语义分割方法、电子设备及存储介质 |
CN116030078A (zh) * | 2023-03-29 | 2023-04-28 | 之江实验室 | 多任务学习框架下结合注意力的肺叶分割方法及系统 |
CN116030078B (zh) * | 2023-03-29 | 2023-06-30 | 之江实验室 | 多任务学习框架下结合注意力的肺叶分割方法及系统 |
CN116152278A (zh) * | 2023-04-17 | 2023-05-23 | 杭州堃博生物科技有限公司 | 医疗图像的分割方法及装置、非易失性存储介质 |
CN117036613A (zh) * | 2023-08-18 | 2023-11-10 | 武汉大学 | 一种基于多重感受野交融网络的偏振三维重建方法和系统 |
CN117036613B (zh) * | 2023-08-18 | 2024-04-02 | 武汉大学 | 一种基于多重感受野交融网络的偏振三维重建方法和系统 |
CN117788474A (zh) * | 2024-02-27 | 2024-03-29 | 陕西省人民医院(陕西省临床医学研究院) | 一种基于机器视觉的泌尿结石图像识别方法 |
CN117788474B (zh) * | 2024-02-27 | 2024-05-03 | 陕西省人民医院(陕西省临床医学研究院) | 一种基于机器视觉的泌尿结石图像识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113936011A (zh) | 基于注意力机制的ct影像肺叶图像分割系统 | |
WO2020108525A1 (zh) | 图像分割方法、装置、诊断系统、存储介质及计算机设备 | |
CN110706246B (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
CN112862830B (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
CN112258514B (zh) | 一种ct影像肺血管的分割方法 | |
CN113808146B (zh) | 一种医学图像多器官分割方法及系统 | |
CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
CN111275712B (zh) | 一种面向大尺度图像数据的残差语义网络训练方法 | |
An et al. | Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model | |
CN112862805B (zh) | 听神经瘤图像自动化分割方法及系统 | |
CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
CN114758137A (zh) | 超声图像分割方法、装置及计算机可读存储介质 | |
CN114445904A (zh) | 基于全卷积神经网络的虹膜分割方法和装置、介质和设备 | |
CN113421228A (zh) | 一种基于参数迁移的甲状腺结节识别模型训练方法及系统 | |
CN115018863A (zh) | 基于深度学习的图像分割方法及装置 | |
CN113192067B (zh) | 基于图像检测的智能预测方法、装置、设备及介质 | |
Singh et al. | Detection and classification of brain tumor using hybrid feature extraction technique | |
Zhang et al. | Feature decomposition and enhancement for unsupervised medical ultrasound image denoising and instance segmentation | |
CN116245832B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
Pezeshki et al. | Mass classification of mammograms using fractal dimensions and statistical features | |
CN115100731B (zh) | 一种质量评价模型训练方法、装置、电子设备及存储介质 | |
CN111209946A (zh) | 三维图像处理方法、图像处理模型训练方法及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |