CN113516640B - 基于分类分支的ct图像细小裂缝分割装置和方法 - Google Patents

基于分类分支的ct图像细小裂缝分割装置和方法 Download PDF

Info

Publication number
CN113516640B
CN113516640B CN202110758223.4A CN202110758223A CN113516640B CN 113516640 B CN113516640 B CN 113516640B CN 202110758223 A CN202110758223 A CN 202110758223A CN 113516640 B CN113516640 B CN 113516640B
Authority
CN
China
Prior art keywords
feature map
layer
feature
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110758223.4A
Other languages
English (en)
Other versions
CN113516640A (zh
Inventor
朱溢佞
张慧滔
赵星
李文斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guangying Intelligent Measurement Technology Co.,Ltd.
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN202110758223.4A priority Critical patent/CN113516640B/zh
Publication of CN113516640A publication Critical patent/CN113516640A/zh
Application granted granted Critical
Publication of CN113516640B publication Critical patent/CN113516640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于分类分支的CT图像细小裂缝分割装置和方法，该装置包括3D CS_UNet网络；3D CS_UNet网络具有：分割分支，其用于对输入的CT图像进行分割，获得CT图像的裂缝；分类分支，其用于提取分割分支下采样得到的特征图的特征，并判断CT图像中是否含有裂缝，并输出判断结果。本发明能够直接对输入CT图像进行三维卷积和池化操作，有效地利用了图像的空间信息，具有较好的分割性能。

Description

基于分类分支的CT图像细小裂缝分割装置和方法
技术领域
本发明涉及CT图像分割技术领域，特别是关于一种基于分类分支的CT图像细小裂缝分割装置及方法。
背景技术
CT(computedtomography，计算机断层扫描)技术通过对工业工件内部进行扫描，可以清晰地获得工件的内部结构图像，被广泛应用在工业无损检测领域。工件在制造过程中由于其自身生产工艺的特点，常常会产生裂缝。这些细微裂缝会严重影响工件的使用性能和安全性，通常需要对裂缝进行测量和量化分析，因此对三维CT图像裂缝进行分割提取具有重要意义。然而，工业工件的细微裂缝往往与背景对比度低，而且裂缝区域与背景区域极度不平衡，这些特性使得对CT图像的裂缝分割成为一项颇具挑战的任务。
发明内容
本发明的目的在于提供一种基于分类分支的CT图像细小裂缝分割方法来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种基于分类分支的CT图像细小裂缝分割装置，该装置包括3D CS_UNet网络；
所述3D CS_UNet网络具有：
分割分支，其用于对输入的CT图像进行分割，获得CT图像的裂缝，并输出；
分类分支，其用于提取所述分割分支下采样得到的特征图的特征，并判断CT图像中是否含有裂缝，并输出判断结果。
进一步地，所述分割分支包括：
编码器，其用于对所述CT图像进行预设卷积核尺寸的卷积操作、批归一化和ReLu激活函数以及下采样处理，获得所述特征图；
解码器，其用于对所述特征图进行预设卷积核尺寸的反卷积操作、批归一化和ReLu激活函数以及上采样处理，获得与所述CT图像图像尺寸相同的特征图；
分割分支模块，其用于接收所述第一特征图以及所述第六特征图，并进行分割处理，获得CT图像的裂缝，并输出。
进一步地，所述编码器包括：
卷积层，其用于对输入的CT图像进行卷积处理，获得第一特征图，并输出给所述分割分支模块；
第一个下采样层，其用于接收所述第一特征图，并进行卷积处理，获得第二特征图，并输出；
第二个下采样层，其用于接收所述第二特征图，并进行卷积处理，获得第三特征图，并输出；
第三个下采样层，其用于接收所述第三特征图，并进行卷积处理，获得第四特征图，并输出；
第一SE模块，其输入端连接所述第二个下采样层的输出端，所述第一SE模块用于对所述第三特征图进行SE操作，并赋予所述第三特征图的各特征通道不同的权重，并输出给所述解码器；
第二SE模块，其输入端连接所述第一个下采样层的输出端，所述第二SE模块用于对所述第二特征图进行SE操作，并赋予所述第二特征图的各特征通道不同的权重，并输出给所述解码器；
所述分类分支包括：
分类分支模块，其输入端连接所述第三个下采样层的输出端，用于接收所述第四特征图，并判断CT图像中是否含有裂缝，并输出判断结果。
进一步地，所述分类分支模块具有依次以串联的方式连接在所述第三个下采样层的输出端的两个卷积层、全局池化层、两个全连接层和Softmax函数，经由最大池化操作的所述第四特征图经由所述卷积层特征提取后，再通过所述全局池化层进行全局池化操作，将提取的特征图变成全局特征向量，然后通过所述两个全连接层进行分类操作，最后通过Softmax函数输出所述判断结果。
进一步地，SE操作的具体方法包括：
输入高、宽和通道数分别为H、W和C的特征图X，通过全局平均池化生成一个1×1×C大小的通道描述符后，先经过一个全连接层把通道数由C缩小为C/r，使用ReLU函数激活；然后再经过一个全连接层将通道数由C/r还原为C，使用Sigmoid函数激活；最后将生成的1×1×C大小的特征向量和输入的H×W×C的特征图X逐通道相乘，得到各特征通道赋有不同的权重的特征图；其中，1x1xC中的C为各特征通道对应的权重值。
进一步地，所述解码器包括：
第一个上采样层，其输入端连接第一SE模块的输出端、以及所述第三个下采样层的输出端，所述第一个上采样层用于接收经由所述第一SE模块SE操作后的所述第三特征图以及所述第四特征图，将二者进行深层信息与浅层信息融合，获得第五特征图，并输出；
第二个上采样层，其输入端连接第二SE模块的输出端、以及所述第一个上采样层的输出端，所述第二个上采样层用于接收经由所述第二SE模块SE操作后的所述第二特征图以及所述第五特征图，将二者进行深层信息与浅层信息融合，获得第六特征图，并输出给所述分割分支模块。
本发明还提供一种基于分类分支的CT图像细小裂缝分割方法，该方法包括：
构建3D CS_UNet网络，其具有分割分支和分类分支；
通过分割分支对输入的CT图像进行分割，获得CT图像的裂缝，并输出；
通过分类分支提取所述分割分支下采样得到的特征图的特征，并判断CT图像中是否含有裂缝，并输出判断结果；
其中，所述分割分支包括编码器、解码器和分割分支模块：
通过编码器对所述CT图像进行预设卷积核尺寸的卷积操作、批归一化和ReLu激活函数以及下采样处理，获得所述特征图；
通过解码器对所述特征图进行预设卷积核尺寸的反卷积操作、批归一化和ReLu激活函数以及上采样处理，获得与所述CT图像图像尺寸相同的特征图；
通过分割分支模块接收所述第一特征图以及所述第六特征图，并进行分割处理，获得CT图像的裂缝，并输出。
进一步地，所述分类分支模块具有依次以串联的方式连接在所述第三个下采样层的输出端的两个卷积层、全局池化层、两个全连接层和Softmax函数，经由最大池化操作的所述第四特征图经由所述卷积层特征提取后，再通过所述全局池化层进行全局池化操作，将提取的特征图变成全局特征向量，然后通过所述两个全连接层进行分类操作，最后通过Softmax函数输出所述判断结果。
进一步地，所述编码器包括卷积层、第一个下采样层、第二个下采样层、第三个下采样层、第一SE模块和第二SE模块；
通过卷积层对输入的CT图像进行卷积处理，获得第一特征图，并输出给所述分割分支模块；
通过第一个下采样层接收所述第一特征图，并进行卷积处理，获得第二特征图，并输出；
通过第二个下采样层接收所述第二特征图，并进行卷积处理，获得第三特征图，并输出；
通过第三个下采样层接收所述第三特征图，并进行卷积处理，获得第四特征图，并输出；
通过第一SE模块对所述第三特征图进行SE操作，并赋予所述第三特征图的各特征通道不同的权重，并输出给所述解码器；
通过第二SE模块对所述第二特征图进行SE操作，并赋予所述第二特征图的各特征通道不同的权重，并输出给所述解码器；
所述解码器包括第一个上采样层和第二个上采样层；
通过第一个上采样层接收经由所述第一SE模块SE操作后的所述第三特征图以及所述第四特征图，将二者进行深层信息与浅层信息融合，获得第五特征图，并输出；
通过第二个上采样层接收经由所述第二SE模块SE操作后的所述第二特征图以及所述第五特征图，将二者进行深层信息与浅层信息融合，获得第六特征图，并输出给所述分割分支模块。
进一步地，SE操作的具体方法包括：
输入高、宽和通道数分别为H、W和C的特征图X，通过全局平均池化生成一个1×1×C大小的通道描述符后，先经过一个全连接层把通道数由C缩小为C/r，使用ReLU函数激活；然后再经过一个全连接层将通道数由C/r还原为C，使用Sigmoid函数激活；最后将生成的1×1×C大小的特征向量和输入的H×W×C的特征图X逐通道相乘，得到各特征通道赋有不同的权重的特征图；其中，1x1xC中的C为各特征通道对应的权重值。
本发明可以直接输入三维图像，通过三维卷积和池化操作有效利用图像的空间信息，具有较好的分割性能。
附图说明
图1为本发明实施例提供的基于分类分支的CT图像细小裂缝分割装置的结构示意图。
图2为图1中的分类分支模块的结构示意图。
图3为图1中的SE操作方法的流程示意图。
图4为本发明实施例中使用的训练数据集的示意图。
图5为本发明实施例中使用的测试数据集的示意图。
图6为使用本发明方法和现有方法获得的测试集结果的二维展示图。
图7为使用本发明方法和现有方法获得的测试集结果的三维展示图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
本发明实施例提供的基于分类分支的CT图像细小裂缝分割装置包括3DCS_UNet网络，3D CS_UNet网络具有分割分支和分类分支，其中：
分割分支用于对输入的CT图像P进行分割，获得CT图像P的裂缝P’，并输出。
分类分支用于提取所述分割分支下采样得到的特征图的特征，并判断图中是否含有裂缝，并输出判断结果。
结合图1，作为所述分割分支的一种优选实施方式，所述分割分支包括编码器、解码器和分割分支模块9，其中：
编码器用于对CT图像P进行预设卷积核尺寸的卷积操作、批归一化和ReLu激活函数以及下采样处理，获得所述特征图。
解码器用于对所述特征图进行预设卷积核尺寸的反卷积操作、批归一化和ReLu激活函数以及上采样处理，获得与所述CT图像P图像尺寸相同的特征图。
分割分支模块9用于接收所述第一特征图以及所述第六特征图，并进行分割处理，获得CT图像P的裂缝P’，并输出。
在一个实施例中，所述编码器包括卷积层1、第一个下采样层2、第二个下采样层3、第三个下采样层4、第一SE模块6和第二SE模块8，其中：
卷积层1用于对输入的CT图像P进行卷积处理，获得第一特征图，并输出给所述分割分支模块9。
第一个下采样层2用于接收所述第一特征图，并进行卷积处理，获得第二特征图，并输出。
第二个下采样层3用于接收所述第二特征图，并进行卷积处理，获得第三特征图，并输出。
第三个下采样层4用于接收所述第三特征图，并进行卷积处理，获得第四特征图，并输出。
第一SE模块6的输入端连接所述第二个下采样层3的输出端，所述第一SE模块6用于对所述第三特征图进行SE操作，并赋予所述第三特征图的各特征通道不同的权重，并输出给所述解码器。
第二SE模块8的输入端连接所述第一个下采样层2的输出端，所述第二SE模块8用于对所述第二特征图进行SE操作，并赋予所述第二特征图的各特征通道不同的权重，并输出给所述解码器。
通过SE模块，能够提升裂缝的权重，降低背景的权重，从而提高模型的分割精度。
需要说明的是，第一SE模块6和第二SE模块8SE操作过程中，每个特征通道的权重初值随机赋予，通过不断训练优化网络，不断优化数值。当训练过程区域收敛时，才可获得权重的最优值。
所述分类分支包括分类分支模块10，其输入端连接所述第三个下采样层4的输出端，用于接收所述第四特征图，并判断图像中是否含有裂缝，并输出判断结果。所述判断结果为“0”或“1”，其中，“0”代表CT图像P没有裂缝，“1”代表CT图像P有裂缝。
其中，输入图像、卷积层、池化层、SE模块以及输出图像可以但不限于都是三维。
例如：如图1所示，本发明实施例提供的三维分割网络3D CS_UNet在基准网络3DUNet上添加了分类分支和SE模块。网络呈U型对称结构，左边的编码器提取特征信息，主要包括三个卷积层和三个最大池化层。编码器将输入图像尺寸缩小为原来的1/8，特征通道数扩大为256，在此过程中获得了丰富的特征信息。右边的解码器将特征图的尺寸恢复到输入图像大小，通道数变为2(类别数)，此过程将池化操作中可能丢失的空间信息恢复，得到每个类别的概率矩阵。每个卷积层后都加入了BN(Batch Normalization)层，这样有助于提升网络训练的速度，防止发生过拟合现象。在特征提取部分的后面，本发明增加了一个分类分支模块，该分支用于降低前景与背景不平衡带来的影响以及提高模型的泛化能力。
在一个实施例中，参考图2，所述分类分支模块10具有依次以串联的方式连接在所述第三个下采样层4的输出端的两个卷积层101、全局池化层102、两个全连接层103和Softmax函数104，经由最大池化操作的所述第四特征图经由所述卷积层101特征提取后，再通过所述全局池化层102进行全局池化操作，将提取的特征图变成全局特征向量，然后通过所述两个全连接层103进行分类操作，最后通过Softmax函数104输出所述判断结果。Softmax函数104输出两个概率值，通过这两个概率值来判断CT图像P含有裂缝(判断结果为“1”)和不含有裂缝(判断结果为“0”)。图2中的每一层的参数和网络里的其他参数一样，初始值都是随机的，然后就要经过对网络的训练来不断优化，最终得到最优值。
分类分支是在编码阶段末端开始，将特征图先进行最大池化操作，然后进入两个卷积核中提取特征，接着使用全局池化操作将提取的特征图变成全局特征向量输入到两个全连接层中进行分类。引入分类任务的主要目的有两个：(1)降低前景与背景不平衡带来的影响。分类分支的特征向量中既包含CT图像的裂缝特征信息，又包含全局信息。利用多任务进行训练，能让分割网络理解CT图像的全局特征，学会关注CT图像P是否有裂缝，从而一定程度上解决样本不平衡的问题。(2)提高模型的泛化能力。由于CT图像数据集较少，单一任务下的网络容易发生过拟合，使得网络在测试集上效果很差，泛化能力较弱。引入分类分支，相当于加入了噪声，可以提高模型的泛化能力。在对网络进行测试的时候，将分类分支移除。
在一个实施例中，参考图3，SE操作的具体方法包括：
输入高、宽和通道数分别为H、W和C的特征图X，通过全局平均池化生成一个1×1×C大小的通道描述符后，先经过一个全连接层把通道数由C缩小为C/r，使用ReLU函数激活；然后再经过一个全连接层将通道数由C/r还原为C，使用Sigmoid函数激活；最后将生成的1×1×C大小的特征向量和输入的H×W×C的特征图X逐通道相乘，得到各特征通道赋有不同的权重的特征图；其中，1x1xC中的C为各特征通道对应的权重值。该值是在训练过程中不断迭代更新的，待网络训练完成后，此时的C即为最优权重。其中，r为待训练学习的参数。
如图3所示，本发明实施例提供的SE模块建立了下采样特征图与上采样特征图通道之间的桥梁，通过学习不同通道之间的关联性，以此为每个通道赋予不同的权重系数，从而来强化重要的特征、抑制非重要的特征。
在一个实施例中，参考图1，所述解码器包括第一个上采样层5和第二个上采样层7，其中：
第一个上采样层5的输入端连接第一SE模块6的输出端、以及所述第三个下采样层4的输出端，所述第一个上采样层5用于接收经由所述第一SE模块6SE操作后的所述第三特征图以及所述第四特征图，将二者进行深层信息与浅层信息融合，获得第五特征图，并输出。
第二个上采样层7的输入端连接第二SE模块8的输出端、以及所述第一个上采样层5的输出端，所述第二个上采样层7用于接收经由所述第二SE模块8SE操作后的所述第二特征图以及所述第五特征图，将二者进行深层信息与浅层信息融合，获得第六特征图，并输出给所述分割分支模块9。
其中，融合是基准网络3D Unet的操作，在此不再展开说明。本领域人员可以知晓的是，下采样越多，得到的信息越丰富，即为深层信息。相对深层信息来说，第一个下采样得到的信息比第二个下采样得到的信息较浅，即为浅层信息。
如图1所示，本发明实施例还提供一种基于分类分支的CT图像细小裂缝分割方法，其包括：
构建3D CS_UNet网络，其具有分割分支和分类分支；
通过分割分支对输入的CT图像P进行分割，获得CT图像P的裂缝P’，并输出；
通过分类分支提取所述分割分支下采样得到的特征图的特征，并判断图中是否含有裂缝，并输出判断结果；
其中，所述分割分支包括编码器、解码器和分割分支模块9：
通过编码器对所述CT图像P进行预设卷积核尺寸的卷积操作、批归一化和ReLu激活函数以及下采样处理，获得所述特征图；
通过解码器对所述特征图进行预设卷积核尺寸的反卷积操作、批归一化和ReLu激活函数以及上采样处理，获得与所述CT图像P图像尺寸相同的特征图；
通过分割分支模块9接收所述第一特征图以及所述第六特征图，并进行分割处理，获得CT图像P的裂缝P’，并输出。
在一个实施例中，参考图2，所述分类分支模块10具有依次以串联的方式连接在所述第三个下采样层4的输出端的两个卷积层101、全局池化层102、两个全连接层103和Softmax函数104，经由最大池化操作的所述第四特征图经由所述卷积层101特征提取后，再通过所述全局池化层102进行全局池化操作，将提取的特征图变成全局特征向量，然后通过所述两个全连接层103进行分类操作，最后通过Softmax函数104输出所述判断结果。
在一个实施例中，参考图1，所述编码器包括卷积层1、第一个下采样层2、第二个下采样层3、第三个下采样层4、第一SE模块6和第二SE模块8，其中：
通过卷积层1对输入的CT图像P进行卷积处理，获得第一特征图，并输出给所述分割分支模块9。
通过第一个下采样层2接收所述第一特征图，并进行卷积处理，获得第二特征图，并输出。
通过第二个下采样层3接收所述第二特征图，并进行卷积处理，获得第三特征图，并输出。
通过第三个下采样层4接收所述第三特征图，并进行卷积处理，获得第四特征图，并输出。
通过第一SE模块6对所述第三特征图进行SE操作，并赋予所述第三特征图的各特征通道不同的权重，并输出给所述解码器。
通过第二SE模块8对所述第二特征图进行SE操作，并赋予所述第二特征图的各特征通道不同的权重，并输出给所述解码器。
所述解码器包括第一个上采样层5和第二个上采样层7，其中：
通过第一个上采样层5接收经由所述第一SE模块6SE操作后的所述第三特征图以及所述第四特征图，将二者进行深层信息与浅层信息融合，获得第五特征图，并输出。
通过第二个上采样层7接收经由所述第二SE模块8SE操作后的所述第二特征图以及所述第五特征图，将二者进行深层信息与浅层信息融合，获得第六特征图，并输出给所述分割分支模块9。
在一个实施例中，参考图3，SE操作的具体方法包括：
输入高、宽和通道数分别为H、W和C的特征图X，通过全局平均池化生成一个1×1×C大小的通道描述符后，先经过一个全连接层把通道数由C缩小为C/r，使用ReLU函数激活；然后再经过一个全连接层将通道数由C/r还原为C，使用Sigmoid函数激活；最后将生成的1×1×C大小的特征向量和输入的H×W×C的特征图X逐通道相乘，得到各特征通道赋有不同的权重的特征图；其中，1x1xC中的C为各特征通道对应的权重值。该值是在训练过程中不断迭代更新的，待网络训练完成后，此时的C即为最优权重。
如图4所示，图4介绍本发明使用的训练数据集。对网络进行训练时需要CT图像P的标签，(a)是训练集I中的一张CT图像P展示，(c)为其对应的标签。训练集Ⅱ同理。
如图5所示，图5介绍本发明使用的测试数据集。网络训练完以后需要用测试集来测试网络的性能，(a)是测试集中的一张CT图像P展示，(b)为其对应的标签。
如图6所示，图6利用不同方法得到的二维分割结果发比较，其中的(b)、(c)、(d)、(e)和(f)分别是现有的迭代阈值分割法、Otsu算法、UNet模型、FCN模型、SegNet模型以及3DCS_UNet等不同方法得到的切片分割结果。(g)是本发明提出方法获得切片分割结果。
如图7所示，图7利用不同方法得到的三维分割结果发比较，其中的(b)、(c)、(d)、(e)和(f)分别是现有的迭代阈值分割法、Otsu算法、UNet模型、FCN模型、SegNet模型以及3DCS_UNet等不同方法得到的切片分割结果。(g)是本发明提出方法获得切片分割结果。
由上述图像对比结果可知：本发明提出的基于分类分支的分割网络(3DCS_UNet)在对CT图像细微裂缝进行分割时，无论是在减少噪声还是在增强细节上，都要优于现有传统分割方法以及经典深度学习方法。
而且，如下表1所示列出的各个网络的参数结果比较：
表1
Figure BDA0003148631480000101
从表1可以看出：添加了SE模块的SE_UNet网络中，整体裂缝区域分割指标优于UNet，mIoU相比未改进的U-Net网络提高了4％，Recall和精确率也得到了很大的提升，说明加入SE模块的U-Net可以提取出更多的裂缝细节信息，加强了对裂缝边缘和形状等特征的权重分配。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于分类分支的CT图像细小裂缝分割装置，其特征在于，包括3D CS_UNet网络；
所述3D CS_UNet网络具有分割分支和分类分支；所述分割分支用于对输入的CT图像(P)进行分割，获得CT图像(P)的裂缝(P’)，并输出；分类分支，其用于提取所述分割分支下采样得到的特征图的特征，并判断CT图像(P)中是否含有裂缝，并输出判断结果；
所述分割分支包括编码器、解码器和分割分支模块(9)；
所述编码器用于对所述CT图像(P)进行预设卷积核尺寸的卷积操作、批归一化和ReLu激活函数以及下采样处理，获得所述特征图；所述编码器包括：
卷积层(1)，其用于对输入的CT图像(P)进行卷积处理，获得第一特征图，并输出给所述分割分支模块(9)；
第一个下采样层(2)，其用于接收所述第一特征图，并进行卷积处理，获得第二特征图，并输出；
第二个下采样层(3)，其用于接收所述第二特征图，并进行卷积处理，获得第三特征图，并输出；
第三个下采样层(4)，其用于接收所述第三特征图，并进行卷积处理，获得第四特征图，并输出；
第一SE模块(6)，其输入端连接所述第二个下采样层(3)的输出端，所述第一SE模块(6)用于对所述第三特征图进行SE操作，并赋予所述第三特征图的各特征通道不同的权重，并输出给所述解码器；
第二SE模块(8)，其输入端连接所述第一个下采样层(2)的输出端，所述第二SE模块(8)用于对所述第二特征图进行SE操作，并赋予所述第二特征图的各特征通道不同的权重，并输出给所述解码器；
所述解码器用于对所述特征图进行预设卷积核尺寸的反卷积操作、批归一化和ReLu激活函数以及上采样处理，获得与所述CT图像(P)图像尺寸相同的特征图；所述解码器包括：
第一个上采样层(5)，其输入端连接第一SE模块(6)的输出端、以及所述第三个下采样层(4)的输出端，所述第一个上采样层(5)用于接收经由所述第一SE模块(6)SE操作后的所述第三特征图以及所述第四特征图，将二者进行深层信息与浅层信息融合，获得第五特征图，并输出；
第二个上采样层(7)，其输入端连接第二SE模块(8)的输出端、以及所述第一个上采样层(5)的输出端，所述第二个上采样层(7)用于接收经由所述第二SE模块(8)SE操作后的所述第二特征图以及所述第五特征图，将二者进行深层信息与浅层信息融合，获得第六特征图，并输出给所述分割分支模块(9)；
所述分割分支模块(9)用于接收所述第一特征图以及所述第六特征图，并进行分割处理，获得CT图像(P)的裂缝(P’)，并输出；
所述分类分支包括：
分类分支模块(10)，其输入端连接所述第三个下采样层(4)的输出端，用于接收所述第四特征图，并判断CT图像(P)中是否含有裂缝，并输出判断结果。
2.如权利要求1所述基于分类分支的CT图像细小裂缝分割装置，其特征在于，所述分类分支模块(10)具有依次以串联的方式连接在所述第三个下采样层(4)的输出端的两个卷积层(101)、全局池化层(102)、两个全连接层(103)和Softmax函数(104)，经由最大池化操作的所述第四特征图经由所述卷积层(101)特征提取后，再通过所述全局池化层(102)进行全局池化操作，将提取的特征图变成全局特征向量，然后通过所述两个全连接层(103)进行分类操作，最后通过Softmax函数(104)输出所述判断结果。
3.如权利要求1所述基于分类分支的CT图像细小裂缝分割装置，其特征在于，SE操作的具体方法包括：
输入高、宽和通道数分别为H、W和C的特征图X，通过全局平均池化生成一个1×1×C大小的通道描述符后，先经过一个全连接层把通道数由C缩小为C/r，使用ReLU函数激活；然后再经过一个全连接层将通道数由C/r还原为C，使用Sigmoid函数激活；最后将生成的1×1×C大小的特征向量和输入的H×W×C的特征图X逐通道相乘，得到各特征通道赋有不同的权重的特征图；其中，1x1xC中的C为各特征通道对应的权重值。
4.一种基于分类分支的CT图像细小裂缝分割方法，其特征在于，包括：
构建3D CS_UNet网络，其具有分割分支和分类分支；
通过分割分支对输入的CT图像(P)进行分割，获得CT图像(P)CT图像的裂缝(P’)，并输出；
通过分类分支提取所述分割分支下采样得到的特征图的特征，并判断CT图像(P)中是否含有裂缝，并输出判断结果；
其中，所述分割分支包括编码器、解码器和分割分支模块(9)：
所述编码器包括卷积层(1)、第一个下采样层(2)、第二个下采样层(3)、第三个下采样层(4)、第一SE模块(6)和第二SE模块(8)；
通过卷积层(1)对输入的CT图像(P)进行卷积处理，获得第一特征图，并输出给所述分割分支模块(9)；
通过第一个下采样层(2)接收所述第一特征图，并进行卷积处理，获得第二特征图，并输出；
通过第二个下采样层(3)接收所述第二特征图，并进行卷积处理，获得第三特征图，并输出；
通过第三个下采样层(4)接收所述第三特征图，并进行卷积处理，获得第四特征图，并输出；
通过第一SE模块(6)对所述第三特征图进行SE操作，并赋予所述第三特征图的各特征通道不同的权重，并输出给所述解码器；
通过第二SE模块(8)对所述第二特征图进行SE操作，并赋予所述第二特征图的各特征通道不同的权重，并输出给所述解码器；
所述解码器包括第一个上采样层(5)和第二个上采样层(7)；
通过第一个上采样层(5)接收经由所述第一SE模块(6)SE操作后的所述第三特征图以及所述第四特征图，将二者进行深层信息与浅层信息融合，获得第五特征图，并输出；
通过第二个上采样层(7)接收经由所述第二SE模块(8)SE操作后的所述第二特征图以及所述第五特征图，将二者进行深层信息与浅层信息融合，获得第六特征图，并输出给所述分割分支模块(9)；
通过编码器对所述CT图像(P)进行预设卷积核尺寸的卷积操作、批归一化和ReLu激活函数以及下采样处理，获得所述特征图；
通过解码器对所述特征图进行预设卷积核尺寸的反卷积操作、批归一化和ReLu激活函数以及上采样处理，获得与所述CT图像(P)图像尺寸相同的特征图；
通过分割分支模块(9)接收所述第一特征图以及所述第六特征图，并进行分割处理，获得CT图像(P)CT图像的裂缝(P’)，并输出。
5.如权利要求4所述基于分类分支的CT图像细小裂缝分割方法，其特征在于，所述分类分支模块(10)具有依次以串联的方式连接在所述第三个下采样层(4)的输出端的两个卷积层(101)、全局池化层(102)、两个全连接层(103)和Softmax函数(104)，经由最大池化操作的所述第四特征图经由所述卷积层(101)特征提取后，再通过所述全局池化层(102)进行全局池化操作，将提取的特征图变成全局特征向量，然后通过所述两个全连接层(103)进行分类操作，最后通过Softmax函数(104)输出所述判断结果。
6.如权利要求4所述基于分类分支的CT图像细小裂缝分割方法，其特征在于，SE操作的具体方法包括：
输入高、宽和通道数分别为H、W和C的特征图X，通过全局平均池化生成一个1×1×C大小的通道描述符后，先经过一个全连接层把通道数由C缩小为C/r，使用ReLU函数激活；然后再经过一个全连接层将通道数由C/r还原为C，使用Sigmoid函数激活；最后将生成的1×1×C大小的特征向量和输入的H×W×C的特征图X逐通道相乘，得到各特征通道赋有不同的权重的特征图；其中，1x1xC中的C为各特征通道对应的权重值。
CN202110758223.4A 2021-07-05 2021-07-05 基于分类分支的ct图像细小裂缝分割装置和方法 Active CN113516640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110758223.4A CN113516640B (zh) 2021-07-05 2021-07-05 基于分类分支的ct图像细小裂缝分割装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110758223.4A CN113516640B (zh) 2021-07-05 2021-07-05 基于分类分支的ct图像细小裂缝分割装置和方法

Publications (2)

Publication Number Publication Date
CN113516640A CN113516640A (zh) 2021-10-19
CN113516640B true CN113516640B (zh) 2022-03-18

Family

ID=78066593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110758223.4A Active CN113516640B (zh) 2021-07-05 2021-07-05 基于分类分支的ct图像细小裂缝分割装置和方法

Country Status (1)

Country Link
CN (1) CN113516640B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372958A (zh) * 2021-12-15 2022-04-19 西安铂力特增材技术股份有限公司 基于深度学习的扫描缺陷识别方法
CN118262184B (zh) * 2024-05-31 2024-08-09 苏州元脑智能科技有限公司 图像情感识别方法及装置、存储介质及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109447120A (zh) * 2018-09-26 2019-03-08 佛山市幻云科技有限公司 一种图像自动分割的方法、装置及计算机可读存储介质
CN109685776A (zh) * 2018-12-12 2019-04-26 华中科技大学 一种基于ct图像的肺结节检测方法及系统
CN110176012A (zh) * 2019-05-28 2019-08-27 腾讯科技（深圳）有限公司 图像中的目标分割方法、池化方法、装置及存储介质
CN110246145A (zh) * 2019-06-21 2019-09-17 福州大学 一种腹部ct图像的分割方法
CN110502972A (zh) * 2019-07-05 2019-11-26 广东工业大学 一种基于深度学习的路面裂缝分割与识别方法
CN112465790A (zh) * 2020-12-03 2021-03-09 天津大学 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN112598613A (zh) * 2019-09-16 2021-04-02 苏州速游数据技术有限公司 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法
CN112699937A (zh) * 2020-12-29 2021-04-23 江苏大学 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN112785617A (zh) * 2021-02-23 2021-05-11 青岛科技大学 残差UNet直肠癌肿瘤磁共振图像自动分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103364410B (zh) * 2013-07-23 2015-07-08 三峡大学 一种基于模板搜索的水工混凝土结构水下表面裂缝检测方法
CN107480611B (zh) * 2017-07-31 2020-06-30 浙江大学 一种基于深度学习卷积神经网络的裂缝识别方法
CN112906706A (zh) * 2021-03-31 2021-06-04 西南科技大学 一种改进的基于编解码器的图像语义分割方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109447120A (zh) * 2018-09-26 2019-03-08 佛山市幻云科技有限公司 一种图像自动分割的方法、装置及计算机可读存储介质
CN109685776A (zh) * 2018-12-12 2019-04-26 华中科技大学 一种基于ct图像的肺结节检测方法及系统
CN110176012A (zh) * 2019-05-28 2019-08-27 腾讯科技（深圳）有限公司 图像中的目标分割方法、池化方法、装置及存储介质
CN110246145A (zh) * 2019-06-21 2019-09-17 福州大学 一种腹部ct图像的分割方法
CN110502972A (zh) * 2019-07-05 2019-11-26 广东工业大学 一种基于深度学习的路面裂缝分割与识别方法
CN112598613A (zh) * 2019-09-16 2021-04-02 苏州速游数据技术有限公司 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法
CN112465790A (zh) * 2020-12-03 2021-03-09 天津大学 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN112699937A (zh) * 2020-12-29 2021-04-23 江苏大学 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN112785617A (zh) * 2021-02-23 2021-05-11 青岛科技大学 残差UNet直肠癌肿瘤磁共振图像自动分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Improving the Efficiency of Encoder-Decoder Architecture for Pixel-Level Crack Detection》;HANSHEN CHEN等;《IEEE Access》;20191223;第7卷;第186657-187770页 *
《Research on Crack Detection Based on Improved UNet》;Xinwen Gao等;《2020 7th International Conference on Information Science and Control Engineering (ICISCE)》;20201231;第2098-2103页 *
《基于U型全卷积神经网络的路面裂缝检测》;陈涵深等;《光电工程》;20201231;第47卷(第12期);第1-11页 *

Also Published As

Publication number Publication date
CN113516640A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN111325751A (zh) 基于注意力卷积神经网络的ct图像分割系统
CN106599854B (zh) 基于多特征融合的人脸表情自动识别方法
CN113516640B (zh) 基于分类分支的ct图像细小裂缝分割装置和方法
CN113628178B (zh) 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN113486981A (zh) 基于多尺度特征注意力融合网络的rgb图像分类方法
CN113205520B (zh) 一种对图像进行语义分割的方法及系统
CN110210492B (zh) 一种基于深度学习的立体图像视觉显著性检测方法
CN115880298B (zh) 一种基于无监督预训练的玻璃表面缺陷检测系统
CN112905828B (zh) 一种结合显著特征的图像检索器、数据库及检索方法
CN112070727A (zh) 一种基于机器学习的金属表面缺陷检测方法
CN114998756B (zh) 一种基于yolov5的遥感图像检测方法、装置及存储介质
CN113963170A (zh) 一种基于交互式特征融合的rgbd图像显著性检测方法
CN113065426A (zh) 基于通道感知的手势图像特征融合方法
CN116129242A (zh) 一种基于改进YOLOv4铝材表面缺陷识别方法
CN114821350A (zh) 多阶段信息融合的高分辨率遥感图像建筑物变化检测方法
CN114677349A (zh) 编解码端边缘信息增强和注意引导的图像分割方法及系统
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN117670860A (zh) 光伏玻璃缺陷检测方法及装置
CN112614113A (zh) 一种基于深度学习的带钢缺陷检测方法
CN112200766A (zh) 基于区域关联神经网络的工业产品表面缺陷检测方法
CN110033443B (zh) 一种显示面板缺陷检测方法
CN116229104A (zh) 一种基于边缘特征引导的显著性目标检测方法
CN113435389B (zh) 基于图像特征深度学习的小球藻和金藻分类识别方法
CN116188361A (zh) 一种基于深度学习的铝型材表面缺陷分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221021

Address after: No. 202-154, Floor 2, Building 18, District 17, No. 188, South Fourth Ring West Road, Fengtai District, Beijing, 100070 (house number)

Patentee after: Beijing Guangying Intelligent Measurement Technology Co.,Ltd.

Address before: 100048 No. 105 West Third Ring Road North, Beijing, Haidian District

Patentee before: Capital Normal University

TR01 Transfer of patent right