CN114494266A - 一种层级空洞金字塔卷积的宫颈及周边多器官分割方法 - Google Patents
一种层级空洞金字塔卷积的宫颈及周边多器官分割方法 Download PDFInfo
- Publication number
- CN114494266A CN114494266A CN202011159359.5A CN202011159359A CN114494266A CN 114494266 A CN114494266 A CN 114494266A CN 202011159359 A CN202011159359 A CN 202011159359A CN 114494266 A CN114494266 A CN 114494266A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- output
- multiplied
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000011218 segmentation Effects 0.000 title claims abstract description 36
- 230000002093 peripheral effect Effects 0.000 title claims abstract description 22
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 96
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000005284 excitation Effects 0.000 claims description 57
- 238000010586 diagram Methods 0.000 claims description 40
- 238000005070 sampling Methods 0.000 claims description 36
- 238000010606 normalization Methods 0.000 claims description 13
- 238000007526 fusion splicing Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 7
- 210000003679 cervix uteri Anatomy 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 6
- 239000011800 void material Substances 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 210000000056 organ Anatomy 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 238000003709 image segmentation Methods 0.000 abstract description 3
- 210000000813 small intestine Anatomy 0.000 abstract description 3
- 210000003932 urinary bladder Anatomy 0.000 abstract description 3
- 210000000664 rectum Anatomy 0.000 abstract description 2
- 210000001599 sigmoid colon Anatomy 0.000 abstract description 2
- 230000003190 augmentative effect Effects 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 365
- 238000002591 computed tomography Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 30
- 238000003384 imaging method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 206010008342 Cervix carcinoma Diseases 0.000 description 4
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 4
- 201000010881 cervical cancer Diseases 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种层级空洞金字塔卷积的宫颈及周边多器官分割方法，涉及图像处理技术领域，能够解决多尺度目标分割、边界难分和类别不平衡等问题。具体技术方案为：将获取的CT宫颈图像进行预处理，从预处理后的CT宫颈图像中随机选取P个作为训练图像，Q个作为测试图像；采用卷积组合结构、残差块结构、空洞金字塔卷积结构以及边缘细化结构构建MOS网络；将训练图像进行增广后，采用加权化损失函数训练构建好的MOS网络，用训练好的MOS网络对测试图像进行分割预测。本发明能有效地将3D CT图像中的宫颈残留、膀胱、小肠、直肠及乙状结肠等多个器官分割出来，提高了对多尺度目标的分割能力。本发明用于图像分割处理。
Description
技术领域
本公开涉及图像处理技术领域，特别涉及一种层级空洞金字塔卷积的宫颈及周边多器官分割方法，可用于对CT宫颈及周边多器官的识别。
背景技术
随着计算机处理技术和医学成像技术的高速发展，越来越多的医学成像手段被发明，主要包含X光成像、磁场成像、超声成像和核医学成像这四种成像技术，分别对应着计算机断层扫描CT、核磁共振成像MRI、B超和正字发射断层扫描这四种常用影像技术。在临床医学中，医学影像扮演着极为重要的角色，尤其是核磁共振成像MRI和计算机断层扫描CT技术，成为了疾病诊疗的重要工具。
宫颈癌是一种女性高发性癌症，并且逐渐趋于年轻化。宫颈癌病变过程是一个有相当长前期发展的过程，一旦药物和理疗均不能有效改善癌变时，手术治疗是最有效的治疗方式，这时会利用计算机辅助诊断结合多种医学影像，如CT图像等进行图像引导放射治疗。为了更加精准地向靶区输送射线，需要从具有复杂背景的腹部影像中勾画出宫颈癌病变区域，但是鉴于宫颈癌变区域的难分性，很多医生会将宫颈周边器官(膀胱、结肠、直肠及小肠等四个器官组织)边界一同勾画出来，从而缩小宫颈病变所在区域，实现更加准确地辅助定位。针对这个情况主要存在以下问题：首先，腹部器官黏连严重，边界难以区分，在膀胱和小肠位置明显存在这个问题；其次，这五类分割目标的尺寸大小差异较大，除了多尺度目标问题外，还存在类别不平衡的问题；最后，乙状结肠和残留宫颈等目标的形状多变，难以准确定位。这几个问题使得分割任务变得更加严峻。
在图像分割领域中，按照方法进行分类大致有基于图集(atlas-based)、基于学习(learning-based)和基于深度这三类分割方法。基于图集的分割方法需要构建图集，根据相似性准则找到与待分割图像最为相似的图集，随后进行图像配准和标签融合，这种方法的分割结果直接受到很多因素影响，例如相似性准则选取、配准精度等，而且过程时间消耗较大。而大多数基于学习的分割方法需要大量的预处理步骤，甚至有些需要手工制作的图像特征。因此，它们的性能往往不如基于图集的方法健壮。随着深度学习的深入研究，越来越多的深度学习方法在图像分割领域逐渐被提出，其中Jonathan Long等人提出的全卷积网络(FCN，Fully Convolutional Network)尤为意义深远，而之后的UNet更是成为全卷积网络的代表结构之一。由于宫颈及周边目标器官具有特定的形状和大小属性，如果直接采用传统的UNet网络，并不能得到较为理想的分割结果。
发明内容
本公开实施例提供一种层级空洞金字塔卷积的宫颈及周边多器官分割方法，能够提高了对多尺度目标的分割能力。所述技术方案如下：
根据本公开实施例的第一方面，提供一种层级空洞金字塔卷积的宫颈及周边多器官分割方法，该方法包括：
步骤1：CT宫颈图像预处理，具体包括：
将L个2D CT宫颈图像按照2D重建3D数据、空间分辨率的归一化、灰度归一化及中心裁剪进行宫颈CT数据预处理，得到L个空间分辨率为0.976×0.976×5.0mm3、尺寸为192×192×32的3D CT宫颈数据；
步骤2：图像选取，具体包括：
从L个3D CT宫颈图像中随机选取P个3D CT宫颈图像作为训练数据，Q个3D CT宫颈图像作为测试数据，L＝P+Q；
步骤3：构建基于层级空洞金字塔的3D CT宫颈及周边多器官分割的MOS网络，具体包括：
构建卷积组合结构、残差块结构、空洞金字塔卷积结构以及边缘细化结构，将卷积组合结构、残差块结构、空洞金字塔卷积结构以及边缘细化结构嵌入3D UNet网络中，形成MOS网络；
步骤4：训练MOS网络，具体包括：
将训练数据进行4倍随机增广后，按192×192×32图像作为输入传递到MOS网络中去，采用加权化损失函数weighted dice loss训练MOS网络，得到训练好的MOS网络；
步骤5：对测试数据进行分割，具体包括：
将测试数据逐一输入到训练好的MOS网络中，将网络输出矩阵根据argmax函数转变为与输入等维度的数据，得到每个测试数据对应的预测分割结果。
在一个实施例中，该方法步骤3中的卷积组合结构包括：
第1层为输入层，内嵌入网络时，为网络到卷积组合结构前的输出特征图或输入图像；
第2层为卷积层，卷积核个数为k，卷积核大小为f，滑动步长为s；
第3层为激励层，激活函数为LeakyRelu，对第2层输出进行激励，输出。
在一个实施例中，该方法步骤3中的残差块结构包括：
第1层为特征图输入层，内嵌入网络中时，为网络到残差块结构前的输出特征图；
第2层为卷积组合结构层，按照k＝k1、f＝3×3×3、s＝1×1×1设定参数；
第3层为Dropout层，采用SpatialDropout函数，对第2层输出进行丢弃dropout操作；
第4层为卷积组合结构层，按照k＝k1、f＝3×3×3、s＝1×1×1设定参数；
第5层为加和融合层，将第1层输入和第4层输出进行逐像素点求和之后，输出。
在一个实施例中，该方法步骤3中的空洞金字塔卷积结构包括：
第1层为特征图输入层，内嵌入网络中时，为网络到空洞金字塔卷积结构前的输出特征图；
第2层为n+1个并行组合层，包含1个单位卷积操作层和n个空洞卷积操作层，将第1层输出作为输入；单位卷积操作层包含：1层卷积核个数为k2、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层，1层激励函数LeakyRelu的激励层；第l(l＝n,n-1,...,2,1)个空洞卷积操作层包含：1层卷积核个数为k2、卷积核大小为3×3×3、空洞率d＝2l×2l×2l-1的卷积层，1层激励函数为LeakyRelu的激励层，激励后输出；
第3层为加和融合层，将第2层中n+1个并行各支路的最终输出进行逐点求和，输出。
在一个实施例中，该方法步骤3中的边缘细化结构包括：
第1层为特征图输入层，内嵌入网络中时，为网络到边缘细化结构前的输出特征图；
第2层包含2个并行组合操作层，将第1层作为输入，其中一个组合操作层包含：1层卷积核个数为k3、卷积核大小为3×3×1、滑动步长为1×1×1的卷积层，1层激励函数为LeakyRelu的激励层，重复上面操作一次后输出；另一个并行组合操作层包含：1层卷积核个数为k3、卷积核大小为1×1×3、滑动步长为1×1×1的卷积层，1层激励函数为LeakyRelu的激励层，重复上面操作一次后输出；
第3层为加和融合层，将第2层的2个并行层各支路的最终输出进行逐点求和，再与第1层的输入特征图逐点求和后输出。
在一个实施例中，该方法步骤3中的MOS网络包括：
第1层为图像输入层，输入3D图像块大小为192×192×32；
第2层为卷积组合结构层，按照k＝16、f＝3×3×3、s＝1×1×1设定参数，第1层的输出作为卷积组合结构的输入；
第3层为残差块结构层，按照k1＝16、dropout_rate＝0.3搭建残差块结构层，第2层输出作为残差块结构的输入；
第4层为卷积组合结构层，按照k＝32、f＝3×3×3、s＝2×2×1设定参数，第3层输出作为卷积组合结构的输入；
第5层为的残差块结构层，按照k1＝32、dropout_rate＝0.3搭建残差块结构层，第4层输出作为残差块结构的输入；
第6层为卷积组合结构层，按照k＝64、f＝3×3×3、s＝2×2×1设定参数第5层输出作为卷积组合结构的输入；
第7层为残差块结构层，按照k1＝64、dropout_rate＝0.3搭建残差块结构层，第6层输出作为残差块结构的输入；
第8层为卷积组合结构层，按照k＝128、f＝3×3×3、s＝2×2×2设定参数第7层输出作为卷积组合结构的输入；
第9层为残差块结构层，按照k1＝128、丢弃率dropout_rate＝0.3搭建残差块结构层，第8层输出作为残差块结构的输入；
第10层为卷积组合结构层，按照k＝256、f＝3×3×3、s＝2×2×2设定参数，第9层输出作为卷积组合结构的输入；
第11层为残差块结构层，按照k1＝256、dropout_rate＝0.3搭建残差块结构层，第10层输出作为残差块结构的输入；
第12层为上采样组合层，包含1层步长为2×2×2的上采样层，1层卷积核个数为128、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层和1层激励函数为LeakyRelu的激励层，对第11层输出进行上采样组合操作；
第13层为特征融合拼接层，将第9层的输出依次经过k2＝128、n＝4层级4的空洞金字塔卷积结构和k3＝128的边缘细化结构得到的输出，与第12层输出结果按通道进行特征拼接输出；
第14层为卷积组合结构层，按照k＝128、f＝3×3×3、s＝1×1×1设定参数，第13层输出作为卷积组合结构的输入；
第15层为残差块结构层，按照k1＝128、dropout_rate＝0.3搭建残差块结构层，第14层输出作为残差块结构的输入；
第16层为上采样组合层，包含1层步长为2×2×2的上采样层，1层卷积核个数为64、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层和1层激励函数为LeakyRelu的激励层，对第15层输出进行上采样组合操作；
第17层为特征融合拼接层，将第7层的输出依次经过k2＝64、n＝3层级3的空洞金字塔卷积结构和k3＝64的边缘细化结构得到的输出，与第16层输出结果按通道进行特征拼接输出；
第18层为卷积组合结构层，按照k＝64、f＝3×3×3、s＝1×1×1设定参数，第17层输出作为卷积组合结构的输入；
第19层为残差块层，按照k1＝64、dropout_rate＝0.3搭建残差块结构层，第18层输出作为残差块结构的输入；
第20层为上采样组合层，包含1层步长为2×2×1的上采样层，1层卷积核个数为32、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层和1层激励函数为LeakyRelu的激励层，对第19层输出进行上采样组合操作；
第21层为特征融合拼接层，将第5层的输出依次经过k2＝32、n＝2层级3的空洞金字塔卷积结构和k3＝32的边缘细化结构得到的输出，与第20层输出结果按通道进行特征拼接输出；
第22层为卷积组合结构层，按照k＝32、f＝3×3×3、s＝1×1×1设定参数，第21层输出作为卷积组合结构的输入；
第23层为残差块结构层，按照k1＝32、dropout_rate＝0.3搭建残差块结构层，第22层输出作为残差块结构层的输入；
第24层为上采样组合层，包含1层步长为2×2×1的上采样层，1层卷积核个数为16、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层和1层激励函数为LeakyRelu的激励层，对第23层输出进行上采样组合操作；
第25层为特征融合拼接层，将第3层的输出依次经过k2＝16、n＝1层级1的空洞金字塔卷积结构和k3＝16的边缘细化结构得到的输出，与第24层输出结果按通道进行特征拼接输出；
第26层为卷积组合结构层，按照k＝16、f＝3×3×3、s＝1×1×1设定参数第25层输出作为卷积组合结构的输入；
第27层为残差块结构层，按照k1＝16、dropout_rate＝0.3搭建残差块结构层，第26层输出作为残差块结构层的输入；
第28层为卷积层，卷积核个数为6，卷积核大小为1×1×1，滑动步长为1×1×1；
第29层为softmax层，对第28层输出结果进行概率归一化；
第30层为输出层，输出192×192×32×6的逐像素点类标矩阵。
在一个实施例中，该方法步骤4中采用加权化损失函数训练MOS网络的训练公式包括：
其中，p和g分别为网络预测结果和图像的标签ground truth，N为样本类别数量，ln表示第n类别像素点占比的倒数，应该归一化到[0.0,1.0]。
w表示相似性系数；h表示灵敏度；d表示Positive predictive value，与查准率对应，表示预测结果中正样本的比例；P表示模型预测结果；G表示图像的标签；W表示相似性系数的最大值，H表示灵敏度的最大值，D表示Positive predictive value的最大值。
本公开实施例目的在于针对宫颈及周边多器官的复杂结构问题，提出一种层级空洞金字塔卷积的宫颈及周边多器官分割方法，实现多尺度目标的准确分割。具体的，针对3DCT宫颈数据的多尺度目标这一特性，使用空洞金字塔卷积结构，不但利用空洞率不同的空洞卷积增加特征图的多尺度感受野，而且在不增加卷积核尺寸的前提下，能实现更大范围局部信息的提取；同时层级的概念更加充分地利用了金字塔结构，使得在不增加冗余操作的同时，最大程度地获取图像的多尺度局部、全局信息，提升对多尺度目标的识别。同时，通过构建边缘细化结构，分别从3D数据的层间、层内分别探索边缘特征，经过学习提升分割网络对于边缘的识别能力。另外，为了缓解类别不平衡的负面影响，首先从数据下手，通过中心裁剪的方式剔除部分背景区域，排除干扰像素点；其次，借鉴机器学习中不平衡学习思想，利用加权方式改进损失函数直接干预学习过程，缓解不平衡的影响。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开实施例提供的一种层级空洞金字塔卷积的宫颈及周边多器官分割方法的流程图；
图2是本公开实施例提供的一种对3D CT图像进行中心裁减的示意图；
图3是本公开实施例提供的一种残差块结构的示意图；
图4是本公开实施例提供的一种空洞金字塔卷积结构的示意图；
图5是本公开实施例提供的一种边缘细化结构的示意图；
图6是本公开实施例提供的一种MOS网络的示意图；
图7a)是本公开实施例提供的一种3D CT的2D切片图像；
图7b)是本公开实施例提供的一种带标签的2D切片图像；
图7c)是本公开实施例提供的一种目标标签3D立体图；
图8a)是本公开实施例提供的对图7)分割得到的带预测结果的2D切片图像；
图8b)是本公开实施例提供的对图7c)进行分割得到的目标预测结果的3D立体图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供一种层级空洞金字塔卷积的宫颈及周边多器官分割方法，如图1所示，该层级空洞金字塔卷积的宫颈及周边多器官分割方法包括以下步骤：
步骤1、CT宫颈图像预处理，具体包括：
将L个2D CT宫颈图像按照2D重建3D数据、空间分辨率归一化、灰度归一化及中心裁剪进行CT宫颈数据预处理，得到L个空间分辨率为0.976×0.976×5.0mm3、尺寸为192×192×32的3D CT宫颈图像。下面对步骤1进行具体描述，参考图2所示，对CT宫颈图像的数据预处理包括：
步骤1a、重建3D图像：对L个2D CT宫颈图像中的每个2D CT宫颈图像使用pydicom函数库重建出3D CT图像和标签图像；
步骤1b、空间分辨率归一化：为了减少病例数据间的差异，将所有3D病例数据的空间分辨率统一插值为0.976×0.976×5.0mm3下，图像按照双线性插值，对应标签按照最近邻插值；
步骤1c、灰度归一化：对每个3D病例数据进行灰度归一化，归一化函数为：
其中，x为图像某点像素点灰度值，μ为该图像灰度平均值，σ为该图像灰度标准差；
步骤1d、中心裁减：经过步骤1a、1b和1c处理之后的图像尺寸大小不一，参照图2所示，将所有图像按照中心向外对称取192×192×32大小的立体块作为本发明研究使用图像数据。
步骤2：图像选取，具体包括：
从L个3D CT宫颈图像中随机选取P个3D CT宫颈图像作为训练数据，剩下Q个3D CT宫颈图像作为测试数据，L＝P+Q。示例性的，若L为86，则从预处理后的所有病例中随机选取76例病人的3D CT宫颈图像作为训练图像使用，剩下的10例病人的3D CT宫颈图像作为测试图像。
步骤3：构建基于层级空洞金字塔的3D CT宫颈及周边多器官分割MOS网络，具体包括：
首先，构建卷积组合结构、残差块结构、空洞金字塔卷积结构以及边缘细化结构，然后，将所述卷积组合结构、残差块结构、空洞金字塔卷积结构以及边缘细化结构嵌入3DUNet网络中，按组件搭建得到MOS网络(即图1中的层级空洞金字塔卷积分割网络)。下面对各个组件以及搭建的MOS网络进行具体描述。
步骤3a、构建卷积组合结构。
本步骤所提供的卷积组合结构包括如下结构，其中：
第1层为输入层，内嵌入网络时，为网络到该卷积组合结构前的输出特征图或输入图像；
第2层为卷积层，卷积核个数为k，卷积核大小为f，滑动步长为s；
第3层为激励层，激活函数为LeakyRelu，对上层(第2层)输出进行激励，输出。
步骤3b、构建残差块结构。
参照图3所示，本步骤提供的残差块结构包括如下结构，其中：
第1层为特征图输入层，内嵌入网络中时，为网络到残差块结构之前的输出特征图；
第2层为3a)中卷积组合层，按照k＝k1、f＝3×3×3、s＝1×1×1设定参数；第1层的输出作为第2层卷积组合层的输入，参考图4所示，卷积组合层为虚线框所示部分，即图3中斜线填充所示的卷积层和白色填充所示的激励层组合得到的，；
第3层为Dropout层，采用SpatialDropout函数，对上层(即第2层)输出进行dropout操作；其中，图3中黑色点状填充所示为Dropout层；
第4层为3a)中卷积组合层，按照k＝k1、f＝3×3×3、s＝1×1×1设定参数，第3层输出作为第4层卷积组合层的输入；
第5层为加和融合层，将第1层输入层和上层(即第4层)输出进行逐像素点求和之后，输出。
步骤3c、构建空洞金字塔卷积结构。
参照图4所示，空洞金字塔卷积结构包含4个层级，每个层级为1个空洞金字塔卷积结构。本步骤设计的空洞金字塔卷积结构包括如下结构，其中：
第1层为特征图输入层，内嵌入网络中时，为网络到空洞金字塔卷积结构前的输出特征图；
第2层为n+1个并行组合层，包含1个单位卷积操作层和n个空洞卷积操作层，将第1层作为输入；单位卷积操作层包含：1层卷积核个数为k2、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层，1层激励函数为LeakyRelu的激励层，激励后输出；第l(l＝n,n-1,...,2,1)个空洞卷积操作层包含：1层卷积核个数为k2、卷积核大小为3×3×3、空洞率d＝2l×2l×2l-1的卷积层，1层激励函数为LeakyRelu的激励层，激励后输出；
第3层为加和融合层，将第2层的n+1个并行各支路的输出按照逐点求和，输出。
步骤3d、构建边缘细化结构。
参照图5所示，本步骤所提供的边缘细化结构包括如下结构，其中：
第1层为特征图输入层，内嵌入网络中时，为网络到边缘细化结构前的输出特征图；
第2层包含2个并行组合操作层，将上层(即第1层)做为输入，其中一个组合操作层包含：1层卷积核个数为k3、卷积核大小为3×3×1、滑动步长为1×1×1的卷积层，1层激励函数为LeakyRelu的激励层，重复上面操作一次后输出；另一个并行组合操作层包含：1层卷积核个数为k3、卷积核大小为1×1×3、滑动步长为1×1×1的卷积层，1层激励函数为LeakyRelu的激励层，重复上面操作一次后输出；其中，图5中斜线填充所示为卷积层，白色填充所示为激励层；
第3层为加和融合层，将上层(即第2层)的2个并行层各支路的最终输出进行逐点求和，再与边缘细化结构的第1层的输入特征图逐点求和后输出。
步骤3e、构建MOS网络。
将步骤3a、3b、3c和3d所构建的子结构嵌入3D UNet网络中去，得到MOS网络。参照图6所示，本步骤所提供的MOS网络结构如下，其中：
第1层为图像输入层，输入3D图像块大小为192×192×32；
第2层为3a)中卷积组合结构层，按照k＝16、f＝3×3×3、s＝1×1×1设定参数，第1层的输出作为卷积组合结构的输入；
第3层为3b)中的残差块结构层，按照k1＝16、dropout_rate＝0.3搭建残差块结构层，第2层输出作为残差块结构的输入；
第4层为3a)中卷积组合结构层，按照k＝32、f＝3×3×3、s＝2×2×1设定参数，第3层输出作为卷积组合结构的输入；
第5层为3b)中的残差块结构层，按照k1＝32、dropout_rate＝0.3搭建残差块结构层，第4层输出作为残差块结构的输入；
第6层为3a)中卷积组合结构层，按照k＝64、f＝3×3×3、s＝2×2×1设定参数，第5层输出作为卷积组合结构的输入；
第7层为3b)中的残差块结构层，按照k1＝64、dropout_rate＝0.3搭建残差块结构层，第6层输出作为残差块结构的输入；
第8层为3a)中卷积组合结构层，按照k＝128、f＝3×3×3、s＝2×2×2设定参数，第7层输出作为卷积组合结构的输入；
第9层为3b)中的残差块结构层，按照k1＝128、dropout_rate＝0.3搭建残差块结构层，第8层输出作为残差块结构的输入；
第10层为3a)中卷积组合结构层，按照k＝256、f＝3×3×3、s＝2×2×2设定参数，第9层输出作为卷积组合结构的输入；
第11层为3b)中的残差块结构层，按照k1＝256、dropout_rate＝0.3搭建残差块结构层，第10层输出作为残差块结构的输入；
第12层为上采样组合层，包含1层步长为2×2×2的上采样层，1层卷积核个数为128、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层和1层激励函数为LeakyRelu的激励层，对第11层输出进行上采样组合操作；
第13层为特征融合拼接层，将第9层的输出依次经过3c)中k2＝128、n＝4层级的空洞金字塔卷积结构和3d)中k3＝128的边缘细化结构得到的输出，与第12层输出按通道进行特征拼接输出；
第14层为3a)中卷积组合结构层，按照k＝128、f＝3×3×3、s＝1×1×1设定参数，第13层输出作为卷积组合结构的输入；
第15层为3b)中的残差块结构层，按照k1＝128、dropout_rate＝0.3搭建残差块结构层，第14层输出作为残差块结构的输入；
第16层为上采样组合层，包含1层步长为2×2×2的上采样层，1层卷积核个数为64、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层和1层激励函数为LeakyRelu的激励层，对第15层输出进行上采样组合操作；
第17层为特征融合拼接层，将第7层的输出依次经过3c)中k2＝64、n＝3层级3的空洞金字塔卷积结构和3d)中k3＝64的边缘细化结构得到的输出，与第16层输出按通道进行特征拼接输出；
第18层为3a)中卷积组合结构层，按照k＝64、f＝3×3×3、s＝1×1×1设定参数，第17层输出作为卷积组合结构的输入；
第19层为3b)中的残差块结构层，按照k1＝64、dropout_rate＝0.3搭建残差块结构层，第18层输出作为残差块结构的输入；
第20层为上采样组合层，包含1层步长为2×2×1的上采样层，1层卷积核个数为32、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层和1层激励函数为LeakyRelu的激励层，对第19层输出进行上采样组合操作；
第21层为特征融合拼接层，将第5层的输出依次经过3c)中k2＝32、n＝2层级3的空洞金字塔卷积结构和3d)中k3＝32的边缘细化结构得到的输出，与第20层输出按通道进行特征拼接输出；
第22层为3a)中卷积组合结构层，按照k＝32、f＝3×3×3、s＝1×1×1设定参数，第21层输出作为卷积组合结构的输入；
第23层为3b)中的残差块结构层，按照k1＝32、dropout_rate＝0.3搭建残差块结构层，第23层输出作为残差块结构的输入；
第24层为上采样组合层，包含1层步长为2×2×1的上采样层，1层卷积核个数为16、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层和1层激励函数为LeakyRelu的激励层，对第23层输出进行上采样组合操作；
第25层为特征融合拼接层，将第3层的输出依次经过3c)中k2＝16、n＝1层级1的空洞金字塔卷积结构和3d)中k3＝16的边缘细化结构得到的输出，与第24层输出按通道进行特征拼接输出；
第26层为3a)中卷积组合结构层，按照k＝16、f＝3×3×3、s＝1×1×1设定参数，第25层输出作为卷积组合结构的输入；
第27层为3b)中的残差块结构层，按照k1＝16、dropout_rate＝0.3搭建残差块结构层，第26层输出作为残差块结构输入；
第28层为卷积层，卷积核个数为6，卷积核大小为1×1×1，滑动步长为1×1×1，第27层输出作为卷积层的输入；
第29层为softmax层，对第28层输出进行概率归一化；
第30层为输出层，输出192×192×32×6的逐像素点类标矩阵。
步骤4:训练MOS网络。
将训练图像进行4倍随机增广后，按192×192×32图像作为输入传递到MOS网络中去，采用加权化损失函数weighted dice loss训练MOS网络，得到训练好的MOS网络。具体的，将训练图像按照翻转、缩放(缩放因子为[0.8,1.2])和旋转三种方式随机组合进行4倍增广后，传递到MOS网络中，然后以weighted dice loss损失函数训练该MOS网络，得到训练好的MOS网络，其中，训练表达式如下：
其中，p和g分别为网络预测结果和图像的标签ground truth，N为样本类别数量，ln表示第n类别像素点占比的倒数，应该归一化到[0.0,1.0]；
w表示相似性系数；h表示灵敏度；d表示Positive predictive value，与查准率对应，表示预测结果中正样本的比例；P表示模型预测结果；G表示图像的标签；W表示相似性系数的最大值，H表示灵敏度的最大值，D表示Positive predictive value的最大值。
步骤5：对测试图像进行分割。
将测试图像逐一输入到训练好的MOS网络中，将网络输出的192×192×32×6矩阵采用argmax函数转变为与输入等维度的数据，则得到每个测试图像对应的预测分割结果。
如图7和图8所示为采用本公开实施例所提供的层级空洞金字塔卷积的宫颈及周边多器官分割方法进行仿真，其中，图7中a)所示为3D CT的2D切片图像，图7中b)所示为将标签勾画在2D切片上，得到带标签的2D切片图像，图7中c)为该3D CT所有目标的3D立体图，即目标标签3D立体图。
对图7所示CT宫颈图像采用本公开实施例所提供的层级空洞金字塔卷积的宫颈及周边多器官分割方法进行分割处理，结果如图8所示。具体的，图8中a)所示为对图7中b)带标签的2D切片图像进行分割，得到带预测结果的2D切片图像，图8中b)所示为对图7中c)目标标签3D立体图进行分割，得到目标预测结果的3D立体图。从图8的结果得知，本公开实施例所提供的层级空洞金字塔卷积的宫颈及周边多器官分割方法取得了得到较好的分割结果。
本公开针对宫颈及周边多器官的复杂结构问题，提出一种层级空洞金字塔卷积的宫颈及周边多器官分割方法，实现多尺度目标的准确分割。针对3D CT宫颈数据的多尺度目标这一特性，使用空洞金字塔卷积结构，不但利用空洞率不同的空洞卷积增加特征图的多尺度感受野，而且在不增加卷积核尺寸的前提下，能实现更大范围局部信息的提取；同时层级的概念更加充分地利用了金字塔结构，使得在不增加冗余操作的同时，最大程度地获取图像的多尺度局部、全局信息，提升对多尺度目标的识别。同时，通过构建边缘细化结构，分别从3D数据的层间、层内分别探索边缘特征，经过学习提升分割网络对于边缘的识别能力。另外，为了缓解类别不平衡的负面影响，首先从数据下手，通过中心裁剪的方式剔除部分背景区域，排除干扰像素点；其次，借鉴机器学习中不平衡学习思想，利用加权方式改进损失函数直接干预学习过程，缓解不平衡的影响。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
Claims (7)
1.一种层级空洞金字塔卷积的宫颈及周边多器官分割方法，其特征在于，所述方法包括：
步骤1：CT宫颈图像预处理，具体包括：
将L个2D CT宫颈图像按照2D重建3D数据、空间分辨率归一化、灰度归一化及中心裁剪进行CT宫颈数据预处理，得到L个空间分辨率为0.976×0.976×5.0mm3、尺寸为192×192×32的3D CT宫颈图像；
步骤2：图像选取，具体包括：
从所述L个3D CT宫颈图像中随机选取P个3D CT宫颈图像作为训练图像，Q个3D CT宫颈图像作为测试图像，L＝P+Q；
步骤3：构建基于层级空洞金字塔的3D CT宫颈及周边多器官分割MOS网络，具体包括：
构建卷积组合结构、残差块结构、空洞金字塔卷积结构以及边缘细化结构，将所述卷积组合结构、残差块结构、空洞金字塔卷积结构以及边缘细化结构嵌入3D UNet网络中，形成MOS网络；
步骤4：训练MOS网络，具体包括：
将所述训练图像进行4倍随机增广后，按192×192×32图像作为输入传递到所述MOS网络中去，采用加权化损失函数weighted dice loss训练所述MOS网络，得到训练好的MOS网络；
步骤5：对测试图像进行分割，具体包括：
将所述测试图像逐一输入到所述训练好的MOS网络中，将网络输出矩阵根据argmax函数转变为与输入等维度的数据，得到每个测试图像对应的预测分割结果。
2.根据权利要求1所述的方法，其特征在于，所述步骤3中的卷积组合结构包括：
第1层为输入层，内嵌入网络时，为网络到所述卷积组合结构前的输出特征图或输入图像；
第2层为卷积层，卷积核个数为k，卷积核大小为f，滑动步长为s；
第3层为激励层，激活函数为LeakyRelu，对第2层输出进行激励，输出。
3.根据权利要求2所述的方法，其特征在于，所述步骤3中的残差块结构包括：
第1层为特征图输入层，内嵌入网络中时，为网络到所述残差块结构前的输出特征图；
第2层为卷积组合结构层，按照k＝k1、f＝3×3×3、s＝1×1×1设定参数；
第3层为Dropout层，采用SpatialDropout函数，对第2层输出进行丢弃dropout操作；
第4层为卷积组合结构层，按照k＝k1、f＝3×3×3、s＝1×1×1设定参数；
第5层为加和融合层，将第1层输入和第4层输出进行逐像素点求和之后，输出。
4.根据权利要求3所述的方法，其特征在于，所述步骤3中的空洞金字塔卷积结构包括：
第1层为特征图输入层，内嵌入网络中时，为网络到所述空洞金字塔卷积结构前的输出特征图；
第2层为n+1个并行组合层，包含1个单位卷积操作层和n个空洞卷积操作层，将第1层输出作为输入；单位卷积操作层包含：1层卷积核个数为k2、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层，1层激励函数LeakyRelu的激励层；第l(l＝n,n-1,...,2,1)个空洞卷积操作层包含：1层卷积核个数为k2、卷积核大小为3×3×3、空洞率d＝2l×2l×2l-1的卷积层，1层激励函数为LeakyRelu的激励层，激励后输出；
第3层为加和融合层，将第2层中n+1个并行各支路的最终输出进行逐点求和，输出。
5.根据权利要求4所述的方法，其特征在于，所述步骤3中的边缘细化结构包括：
第1层为特征图输入层，内嵌入网络中时，为网络到所述边缘细化结构前的输出特征图；
第2层包含2个并行组合操作层，将第1层作为输入，其中一个组合操作层包含：1层卷积核个数为k3、卷积核大小为3×3×1、滑动步长为1×1×1的卷积层，1层激励函数为LeakyRelu的激励层，重复上面操作一次后输出；另一个并行组合操作层包含：1层卷积核个数为k3、卷积核大小为1×1×3、滑动步长为1×1×1的卷积层，1层激励函数为LeakyRelu的激励层，重复上面操作一次后输出；
第3层为加和融合层，将第2层的2个并行层各支路的最终输出进行逐点求和，再与第1层的输入特征图逐点求和后输出。
6.根据权利要求5所述的方法，其特征在于，所述步骤3中的MOS网络包括：
第1层为图像输入层，输入3D图像块大小为192×192×32；
第2层为卷积组合结构层，按照k＝16、f＝3×3×3、s＝1×1×1设定参数，第1层的输出作为卷积组合结构的输入；
第3层为残差块结构层，按照k1＝16、dropout_rate＝0.3搭建残差块结构层，第2层输出作为残差块结构的输入；
第4层为卷积组合结构层，按照k＝32、f＝3×3×3、s＝2×2×1设定参数，第3层输出作为卷积组合结构的输入；
第5层为的残差块结构层，按照k1＝32、dropout_rate＝0.3搭建残差块结构层，第4层输出作为残差块结构的输入；
第6层为卷积组合结构层，按照k＝64、f＝3×3×3、s＝2×2×1设定参数第5层输出作为卷积组合结构的输入；
第7层为残差块结构层，按照k1＝64、dropout_rate＝0.3搭建残差块结构层，第6层输出作为残差块结构的输入；
第8层为卷积组合结构层，按照k＝128、f＝3×3×3、s＝2×2×2设定参数第7层输出作为卷积组合结构的输入；
第9层为残差块结构层，按照k1＝128、丢弃率dropout_rate＝0.3搭建残差块结构层，第8层输出作为残差块结构的输入；
第10层为卷积组合结构层，按照k＝256、f＝3×3×3、s＝2×2×2设定参数，第9层输出作为卷积组合结构的输入；
第11层为残差块结构层，按照k1＝256、dropout_rate＝0.3搭建残差块结构层，第10层输出作为残差块结构的输入；
第12层为上采样组合层，包含1层步长为2×2×2的上采样层，1层卷积核个数为128、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层和1层激励函数为LeakyRelu的激励层，对第11层输出进行上采样组合操作；
第13层为特征融合拼接层，将第9层的输出依次经过k2＝128、n＝4层级4的空洞金字塔卷积结构和k3＝128的边缘细化结构得到的输出，与第12层输出结果按通道进行特征拼接输出；
第14层为卷积组合结构层，按照k＝128、f＝3×3×3、s＝1×1×1设定参数，第13层输出作为卷积组合结构的输入；
第15层为残差块结构层，按照k1＝128、dropout_rate＝0.3搭建残差块结构层，第14层输出作为残差块结构的输入；
第16层为上采样组合层，包含1层步长为2×2×2的上采样层，1层卷积核个数为64、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层和1层激励函数为LeakyRelu的激励层，对第15层输出进行上采样组合操作；
第17层为特征融合拼接层，将第7层的输出依次经过k2＝64、n＝3层级3的空洞金字塔卷积结构和k3＝64的边缘细化结构得到的输出，与第16层输出结果按通道进行特征拼接输出；
第18层为卷积组合结构层，按照k＝64、f＝3×3×3、s＝1×1×1设定参数，第17层输出作为卷积组合结构的输入；
第19层为残差块层，按照k1＝64、dropout_rate＝0.3搭建残差块结构层，第18层输出作为残差块结构的输入；
第20层为上采样组合层，包含1层步长为2×2×1的上采样层，1层卷积核个数为32、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层和1层激励函数为LeakyRelu的激励层，对第19层输出进行上采样组合操作；
第21层为特征融合拼接层，将第5层的输出依次经过k2＝32、n＝2层级3的空洞金字塔卷积结构和k3＝32的边缘细化结构得到的输出，与第20层输出结果按通道进行特征拼接输出；
第22层为卷积组合结构层，按照k＝32、f＝3×3×3、s＝1×1×1设定参数，第21层输出作为卷积组合结构的输入；
第23层为残差块结构层，按照k1＝32、dropout_rate＝0.3搭建残差块结构层，第22层输出作为残差块结构层的输入；
第24层为上采样组合层，包含1层步长为2×2×1的上采样层，1层卷积核个数为16、卷积核大小为1×1×1、滑动步长为1×1×1的卷积层和1层激励函数为LeakyRelu的激励层，对第23层输出进行上采样组合操作；
第25层为特征融合拼接层，将第3层的输出依次经过k2＝16、n＝1层级1的空洞金字塔卷积结构和k3＝16的边缘细化结构得到的输出，与第24层输出结果按通道进行特征拼接输出；
第26层为卷积组合结构层，按照k＝16、f＝3×3×3、s＝1×1×1设定参数第25层输出作为卷积组合结构的输入；
第27层为残差块结构层，按照k1＝16、dropout_rate＝0.3搭建残差块结构层，第26层输出作为残差块结构层的输入；
第28层为卷积层，卷积核个数为6，卷积核大小为1×1×1，滑动步长为1×1×1；
第29层为softmax层，对第28层输出结果进行概率归一化；
第30层为输出层，输出192×192×32×6的逐像素点类标矩阵。
7.根据权利要求1所述的方法，其特征在于，所述步骤4中采用加权化损失函数训练所述MOS网络的训练公式包括：
其中，p和g分别为网络预测结果和图像的标签ground truth，N为样本类别数量，ln表示第n类别像素点占比的倒数，应该归一化到[0.0,1.0]；
w表示相似性系数；h表示灵敏度；d表示Positive predictive value，与查准率对应，表示预测结果中正样本的比例；P表示模型预测结果；G表示图像的标签；W表示相似性系数的最大值，H表示灵敏度的最大值，D表示Positive predictive value的最大值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011159359.5A CN114494266B (zh) | 2020-10-26 | 2020-10-26 | 一种层级空洞金字塔卷积的宫颈及周边多器官分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011159359.5A CN114494266B (zh) | 2020-10-26 | 2020-10-26 | 一种层级空洞金字塔卷积的宫颈及周边多器官分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114494266A true CN114494266A (zh) | 2022-05-13 |
| CN114494266B CN114494266B (zh) | 2024-05-28 |
Family
ID=81470510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011159359.5A Active CN114494266B (zh) | 2020-10-26 | 2020-10-26 | 一种层级空洞金字塔卷积的宫颈及周边多器官分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114494266B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1868157A1 (en) * | 2006-06-14 | 2007-12-19 | BrainLAB AG | Shape reconstruction using X-ray images |
| CN107633513A (zh) * | 2017-09-18 | 2018-01-26 | 天津大学 | 基于深度学习的3d图像质量的度量方法 |
| CN109859166A (zh) * | 2018-12-26 | 2019-06-07 | 上海大学 | 一种基于多列卷积神经网络的无参3d图像质量评估方法 |
| CN110211140A (zh) * | 2019-06-14 | 2019-09-06 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| WO2020047738A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
| CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
| WO2020108562A1 (zh) * | 2018-11-29 | 2020-06-04 | 中国科学院深圳先进技术研究院 | 一种ct图像内的肿瘤自动分割方法及系统 |
| CN111369563A (zh) * | 2020-02-21 | 2020-07-03 | 华南理工大学 | 一种基于金字塔空洞卷积网络的语义分割方法 |
-
2020
- 2020-10-26 CN CN202011159359.5A patent/CN114494266B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1868157A1 (en) * | 2006-06-14 | 2007-12-19 | BrainLAB AG | Shape reconstruction using X-ray images |
| CN107633513A (zh) * | 2017-09-18 | 2018-01-26 | 天津大学 | 基于深度学习的3d图像质量的度量方法 |
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| WO2020047738A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
| WO2020108562A1 (zh) * | 2018-11-29 | 2020-06-04 | 中国科学院深圳先进技术研究院 | 一种ct图像内的肿瘤自动分割方法及系统 |
| CN109859166A (zh) * | 2018-12-26 | 2019-06-07 | 上海大学 | 一种基于多列卷积神经网络的无参3d图像质量评估方法 |
| CN110211140A (zh) * | 2019-06-14 | 2019-09-06 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
| CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
| CN111369563A (zh) * | 2020-02-21 | 2020-07-03 | 华南理工大学 | 一种基于金字塔空洞卷积网络的语义分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114494266B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240078722A1 (en) | System and method for forming a super-resolution biomarker map image | |
| EP3480786A1 (en) | Medical image object detection with dense feature pyramid network architecture in machine learning | |
| CN107492071A (zh) | 医学图像处理方法及设备 | |
| CN111354002A (zh) | 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法 | |
| Hsiao et al. | A deep learning-based precision and automatic kidney segmentation system using efficient feature pyramid networks in computed tomography images | |
| Pradhan et al. | Transforming view of medical images using deep learning | |
| CN112529909A (zh) | 一种基于图像补全的肿瘤图像脑区分割方法及系统 | |
| US20220147768A1 (en) | Image data processing apparatus and method, a model training apparatus and a training method | |
| Molahasani Majdabadi et al. | Capsule GAN for prostate MRI super-resolution | |
| Haq et al. | BTS-GAN: computer-aided segmentation system for breast tumor using MRI and conditional adversarial networks | |
| CN112329844A (zh) | 图像目标分类方法及相关装置、设备、存储介质 | |
| CN116993793A (zh) | 基于自适应多门控混合专家模型的腹部多器官配准方法 | |
| Liu et al. | 3-D prostate MR and TRUS images detection and segmentation for puncture biopsy | |
| CN114066798B (zh) | 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法 | |
| Mourya et al. | Modified U-Net for fully automatic liver segmentation from abdominal CT-image | |
| CN113205496A (zh) | 一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法 | |
| CN117132616A (zh) | 一种医学图像器官分割方法、系统及病灶分类系统 | |
| CN113850816A (zh) | 一种宫颈癌mri图像的分割装置及方法 | |
| Merati et al. | A New Triplet Convolutional Neural Network for Classification of Lesions on Mammograms. | |
| CN110570416A (zh) | 多模态心脏图像的可视化和3d打印的方法 | |
| CN114494266B (zh) | 一种层级空洞金字塔卷积的宫颈及周边多器官分割方法 | |
| CN112967295B (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| CN115841457A (zh) | 一种融合多视图信息的三维医学图像分割方法 | |
| Himel et al. | A robust encoder decoder based weighted segmentation and dual staged feature fusion based meta classification for breast cancer utilizing ultrasound imaging | |
| Basher et al. | One step measurements of hippocampal pure volumes from MRI data using an ensemble model of 3-D convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |