CN113487622A - 头颈部器官影像分割方法、装置、电子设备和存储介质 - Google Patents
头颈部器官影像分割方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113487622A CN113487622A CN202110572149.7A CN202110572149A CN113487622A CN 113487622 A CN113487622 A CN 113487622A CN 202110572149 A CN202110572149 A CN 202110572149A CN 113487622 A CN113487622 A CN 113487622A
- Authority
- CN
- China
- Prior art keywords
- organ
- image
- head
- neck
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000056 organ Anatomy 0.000 title claims abstract description 237
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003709 image segmentation Methods 0.000 title claims description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 139
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000011176 pooling Methods 0.000 claims description 93
- 238000001514 detection method Methods 0.000 claims description 44
- 230000004913 activation Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种头颈部器官影像分割方法、装置、电子设备和存储介质，其中方法包括：确定待分割的头颈部影像中的器官区域图像；将所述器官区域图像输入至像素分割模型，得到所述像素分割模型输出的器官分割结果；所述像素分割模型是基于样本器官区域图像及其像素级分割标签训练得到的，所述像素分割模型包括残差结构下的主流网络和支流网络，所述支流网络通过线性插值提取所述器官区域图像的细微特征，并基于所述细微特征进行像素分割，解决了传统方法提取特征时，在多次增大感受野的情况下对细小器官的细微特征无法捕捉特征的问题，实现了对细微特征的提取，从而能够对器官区域图像进行准确的像素分割。
Description
技术领域
本发明涉及医学影像领域，尤其涉及一种头颈部器官影像分割方法、装置、电子设备和存储介质。
背景技术
多尺度头颈部器官图像分割技术利用CT(Computed Tomography,电子计算机断层扫描)影像的边缘特征和结构特征，通过像素值高低的分布信息，推算出CT影像中器官的位置和分类。这一技术在放射治疗领域具有很高的应用价值。
U-Net是一种基于深度学习的图像语义分割方法，尤其在医学图像分割中表现优异。传统的U-Net结构方法利用卷积核提取会使感受野成倍增加的特点，通过encoder-decoder(编码-解码)的形式收集并浓缩关键的特征信息，然后通过层层解码还原器官轮廓，并对其进行像素级分割。
但是，由于扩大感受野的过程是加权后求和，所以在U-Net架构中被扩大32倍的感受野不可避免地会将细小对象的特征忽略。此外，最终得到的特征图的解码也增加了多尺度器官分割的难度。
发明内容
本发明提供一种头颈部器官影像分割方法、装置、电子设备和存储介质，用以解决现有技术中U-Net架构卷积神经网络在多次增大感受野的情况下对细小器官的细微特征无法捕捉特征的问题，实现了对细微特征的提取，从而能够对器官区域图像进行准确的像素分割。
本发明提供一种头颈部器官影像分割方法，包括：
确定待分割的头颈部影像中的器官区域图像；
将所述器官区域图像输入至像素分割模型，得到所述像素分割模型输出的器官分割结果；
所述像素分割模型是基于样本器官区域图像及其像素级分割标签训练得到的，所述像素分割模型包括残差结构下的主流网络和支流网络，所述支流网络通过线性插值提取所述器官区域图像的细微特征，并基于所述细微特征进行像素分割。
根据本发明提供的一种头颈部器官影像分割方法，所述支流网络包括插值编码层和池化解码层；
其中，所述插值编码层包括串联的多个尺度逐个增大的插值编码模块，所述池化解码层包括串联的多个尺度逐个减小的池化解码模块；
所述插值编码模块输出的细微特征输入下一插值编码模块以及对应尺度下的池化解码模块。
根据本发明提供的一种头颈部器官影像分割方法，所述插值编码层用于对输入的细微特征进行线性插值、卷积和激活。
根据本发明提供的一种头颈部器官影像分割方法，所述主流网络包括池化编码层和插值解码层；
其中，所述池化编码层包括串联的多个尺度逐个减小的池化编码模块，所述插值解码层包括串联的多个尺度逐个增大的插值解码模块；
所述池化编码模块输出的图像特征输入下一池化编码模块以及对应尺度下的插值解码模块。
根据本发明提供的一种头颈部器官影像分割方法，所述插值编码层中的首个插值编码模块与所述池化编码层中的首个池化编码模块共享信息；
所述池化解码层中的最后一个池化解码模块和所述插值解码层中的最后一个插值解码模块共享信息。
根据本发明提供的一种头颈部器官影像分割方法，所述确定待分割的头颈部影像中的器官区域图像，包括：
将所述待分割的头颈部影像输入至器官检测模型，得到所述器官检测模型输出的器官区域图像，所述器官检测模型是基于样本头颈部影像以及其中标注的器官区域训练得到的。
根据本发明提供的一种头颈部器官影像分割方法，所述将所述器官区域图像输入至像素分割模型，得到所述像素模型输出的器官分割结果，之前还包括：
对所述器官区域图像进行边缘增强。
本发明还提供一种头颈部器官影像分割装置，包括：
图像确定单元，用于确定待分割的头颈部影像中的器官区域图像；
结果获取单元，用于将所述器官区域图像输入至像素分割模型，得到所述像素分割模型输出的器官分割结果；所述像素分割模型是基于样本器官区域图像及其像素级分割标签训练得到的，所述像素分割模型包括残差结构下的主流网络和支流网络，所述支流网络通过线性插值提取所述器官区域图像的细微特征，并基于所述细微特征进行像素分割。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述头颈部器官影像分割方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述头颈部器官影像分割方法的步骤。
本发明提供的头颈部器官影像分割方法、装置、电子设备和存储介质，从待分割的头颈部影像中的确定器官区域图像，通过像素分割模型包括的残差结构下的支流网络，提取器官区域图像中的细微特征，根据细微特征对器官区域图像进行像素分割，解决了传统方法提取特征时，在多次增大感受野的情况下对细小器官的细微特征无法捕捉特征的问题，实现了对细微特征的提取，从而能够对器官区域图像进行准确的像素分割，该方法适用于在共享权重的前提下对多尺度分割对象进行像素级分割，算法具有更高的精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的头颈部器官影像分割方法的流程示意图；
图2是本发明提供的像素分割模型的结构示意图；
图3是本发明提供的头颈部器官影像分割装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明提供的延误情况下的时刻表调整方法的流程示意图，如图1所示，该方法包括：
步骤110，确定待分割的头颈部影像中的器官区域图像。
此处，待分割的头颈部影像即需要进行像素分割，并从影像中获取器官分割结果的头颈部影像。待分割的头颈部影像可以是CT图像，也可以是核磁共振图像，本发明实施例对此不作具体限定。此处的待分割的头颈部影像可以是一张也可以是多张，在待分割的头颈部影像为多张的情况下，需要获取各张待分割的头颈部影像中的器官区域图像。器官区域图像即头颈部影像中各器官所在区域的图像。
具体地，获取待分割的头颈部影像后，需从待分割的头颈部影像中确定器官区域图像。由于每张待分割的头颈部影像可能是局部的影像，也可能是全局的影像，即待分割的头颈部影像中可能包含多个器官区域。因此，从任意一张待分割的头颈部影像中确定器官区域图像，即对该待分割的头颈部影像进行以器官为目标的目标检测，得到该头颈部影像中各个器官的检测框，进而得到该头颈部影像中的各器官区域图像。
例如，待分割的头颈部影像中包含眼睛区域、耳朵区域、鼻子区域和嘴巴区域，在从该待分割的头颈部影像中确定器官区域图像时，需确定该待分割的头颈部影像中眼睛区域图像、耳朵区域图像、鼻子区域图像和嘴巴区域图像。
步骤120，将所述器官区域图像输入至像素分割模型，得到所述像素分割模型输出的器官分割结果。所述像素分割模型是基于样本器官区域图像及其像素级分割标签训练得到的，所述像素分割模型包括残差结构下的主流网络和支流网络，所述支流网络通过线性插值提取所述器官区域图像的细微特征，并基于所述细微特征进行像素分割。
此处的像素分割模型即用于将步骤110检出的器官区域图像进行像素级的器官分割的模型。器官分割结果表征器官区域图像中的各像素点是否表示器官。
具体地，经过步骤110后得到待分割的头颈部影像中的器官区域图像，将待分割的头颈部影像中的器官区域图像输入至像素分割模型，像素分割模型根据输入的图像信息相应输出器官区域图像的器官分割结果。
在执行步骤120之前，还需对像素分割模型进行训练。根据样本器官区域图像及其像素级分割标签对像素分割模型进行训练，将训练完成的像素分割模型作为最终的像素分割模型。
像素分割模型的训练过程包括：获取样本头颈部影像中的样本器官区域图像，将样本器官区域图像输入至像素分割模型，像素分割模型根据输入的样本器官区域图像输出样本器官区域图像的样本器官分割结果，将输出的样本器官分割结果与样本器官区域图像的像素级分割标签进行对比，根据对比结果对像素分割模型的参数进行第一次调整；再将样本器官区域图像输入至第一次调整参数后的像素分割模型，得到第一次调整参数后的像素分割模型输出的样本器官区域图像的样本器官分割结果，再将输出的样本器官分割结果与样本器官区域图像的像素级分割标签进行对比，根据对比结果对像素分割模型的参数进行第二次调整；重复上述过程，直至像素分割模型输出的样本器官分割结果与样本器官区域图像的像素级分割标签一致，结束训练，获得训练好的像素分割模型，将训练好的像素分割模型作为最终的像素分割模型，即用于对器官区域图像进行像素分割的模型。
像素分割模型由残差结构下的两个网络构成，两个网络分别为主流网络和支流网络。残差结构下的网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。残差结构下的网络内部的模块之间使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
其中，残差结构下的支流网络通过对输入的器官区域图像进行线性插值，提取输入的器官区域图像的细微特征，并根据提取到的细微特征对器官区域图像进行像素分割，此处的细微特征即器官的细节性的特征。
残差结构下的主流网络可以是传统的U-Net架构下的卷积神经网络，主流网络通过对输入的器官区域图像进行池化，提取输入的器官区域图像的图像特征，并根据提取到的图像特征对器官区域图像进行像素分割。
本发明提供的头颈部器官影像分割装置方法，从待分割的头颈部影像中的确定器官区域图像，通过像素分割模型包括的残差结构下的支流网络，提取器官区域图像中的细微特征，根据细微特征对器官区域图像进行像素分割，解决了传统方法提取特征时，在多次增大感受野的情况下对细小器官的细微特征无法捕捉特征的问题，实现了对细微特征的提取，从而能够对器官区域图像进行准确的像素分割。本发明提供的方法适用于在共享权重的前提下对多尺度分割对象进行像素级分割，算法具有更高的精度。
基于上述实施例，所述支流网络包括插值编码层和池化解码层；
其中，所述插值编码层包括串联的多个尺度逐个增大的插值编码模块，所述池化解码层包括串联的多个尺度逐个减小的池化解码模块；
所述插值编码模块输出的细微特征输入下一插值编码模块以及对应尺度下的池化解码模块。
具体地，支流网络包括插值编码层和池化解码层。插值编码层用于对提取的细微特征进行线性插值、卷积和激活。插值编码层中包括多个插值编码模块，多个插值编码模块通过串联的方式进行连接，即当前插值编码模块输出的细微特征输入到下一个插值编码模块。且通过串联方式连接的多个插值编码模块的尺度是逐个增大的，即插值编码层中第一个插值编码模块的尺度小于第二个插值编码模块的尺度，第二个插值编码模块的尺度小于第三个插值编码模块的尺度，以此类推，第一个插值编码模块的尺度最小，最后一个插值编码模块的尺度最大。
池化解码层用于对插值编码层的编码结果进行池化、卷积和激活。池化解码层中包括多个池化解码模块，多个池化解码模块通过串联的方式进行连接，即当前池化解码模块输出的结果输入到下一个池化解码模块。且通过串联方式连接的多个池化解码模块的尺度是逐个减小的，即池化解码层中第一个池化解码模块的尺度大于第二个池化解码模块的尺度，第二个池化解码模块的尺度大于第三个池化解码模块的尺度，以此类推，第一个池化解码模块的尺度最大，最后一个池化解码模块的尺度最小。
需要说明的是，插值编码层中插值编码模块输出的细微特征不仅输入到下一个插值编码模块，还输入该插值编码模块对应尺度下的池化解码模块。池化解码层中池化解码模块的输入不仅包含上一个池化解码模块的输出，还包含该池化解码模块对应尺度下的插值编码模块的输出。
基于上述实施例，所述插值编码层用于对输入的细微特征进行线性插值、卷积和激活。
具体地，支流网络的插值编码层对输入的细微特征，依次进行线性插值、卷积和激活。此处的线性插值通过Upsample函数实现，卷积通过Conv2d函数实现，激活通过Relu函数来实现。
本发明实施例提供的头颈部器官影像分割方法，通过插值编码层对细微特征进行线性插值、卷积和激活，实现了通过直流网络对细小器官细微特征的提取。
基于上述实施例，所述主流网络包括池化编码层和插值解码层；
其中，所述池化编码层包括串联的多个尺度逐个减小的池化编码模块，所述插值解码层包括串联的多个尺度逐个增大的插值解码模块；
所述池化编码模块输出的图像特征输入下一池化编码模块以及对应尺度下的插值解码模块。
具体地，主流网络包括池化编码层和插值解码层。池化编码层用于对提取的图像特征进行池化、卷积和激活。池化编码层中包括多个池化编码模块，多个池化编码模块通过串联的方式进行连接，即当前池化编码模块输出的图像特征输入到下一个池化编码模块。且通过串联方式连接的多个插值编码模块的尺度是逐个减小的，即插值编码层中第一个池化编码模块的尺度大于第二个池化编码模块的尺度，第二个池化编码模块的尺度大于第三个池化编码模块的尺度，以此类推，第一个池化编码模块的尺度最大，最后一个池化编码模块的尺度最小。
插值解码层用于对池化编码层的编码结果进行线性插值、卷积和激活。插值解码层中包括多个插值解码模块，多个插值解码模块通过串联的方式进行连接，即当前插值解码模块输出的结果输入到下一个插值解码模块。且通过串联方式连接的多个插值解码模块的尺度是逐个增大的，即插值解码层中第一个插值解码模块的尺度小于第二个插值解码模块的尺度，第二个插值解码模块的尺度小于第三个插值解码模块的尺度，以此类推，第一个插值解码模块的尺度最小，最后一个插值解码模块的尺度最大。
需要说明的是，池化编码层中池化编码模块输出的图像特征不仅输入到下一个池化编码模块，还输入该池化编码模块对应尺度下的插值解码模块。插值解码层中插值解码模块的输入不仅包含上一个插值解码模块的输出，还包含该插值解码模块对应尺度下的池化编码模块的输出。
基于上述实施例，所述插值编码层中的首个插值编码模块与所述池化编码层中的首个池化编码模块共享信息；
所述池化解码层中的最后一个池化解码模块和所述插值解码层中的最后一个插值解码模块共享信息。
具体地，为了防止通过主流网络和支流网络提取出的特征存在较大差异，在通过主流网络和支流网络进行编码前，需对支流网络的插值编码层中首个插值编码模块与主流网络的池化编码层中首个池化编码模块进行信息共享，即保持支流网络的插值编码层中首个插值编码模块的信息与主流网络的池化编码层中首个池化编码模块的信息一致。
为了使得通过支流网络的池化解码层和主流网络的插值解码层的输出结果能够较为平滑的融合，在对主流网络和支流网络输出的结果进行融合前，需对支流网络的池化解码层中最后一个池化解码模块与主流网络的插值解码层中最后一个插值解码模块进行信息共享，即保持支流网络的池化解码层中最后一个池化解码模块的信息与主流网络的插值解码层中最后一个插值解码模块的信息一致。
需要说明的是，为了减少信息的流失，让主流网络和支流网络在解码时使用编码所得的数据进行基于注意力机制Attention的解码操作。
基于上述实施例，步骤110包括：
将所述待分割的头颈部影像输入至器官检测模型，得到所述器官检测模型输出的器官区域图像，所述器官检测模型是基于样本头颈部影像以及其中标注的器官区域训练得到的。
此处的器官检测模型即用于对待分割的头颈部影像进行器官检测的模型。进行器官检测的结果是从待分割的头颈部影像中确定器官区域图像。器官检测模型可以是R-CNN(Region-CNN)模型，也可以是其它模型，本发明实施例对此不作具体限定。
具体地，在对待分割的头颈部影像中的器官区域图像进行像素分割前，需确定待分割的头颈部影像中的器官区域图像。确定待分割的头颈部影像中的器官区域图像的步骤包括：将待分割的头颈部影像输入至器官检测模型，器官检测模型根据输入的待分割的头颈部影输出待分割的头颈部影中的器官区域图像。
例如，待分割的头颈部影像为CT图像，器官检测模型为R-CNN模型时，将头颈部CT图像输入至R-CNN模型，R-CNN模型中的FPN网络(Feature Pyramid Networks，特征图金字塔网络)对感兴趣区域进行响应，并得到初步检测框；再对初步检测框进行分类、合并和去重，得到每个器官的真实检测框，并对真实检测框进行补全。
需要说明的是，通过R-CNN模型从头颈部CT图像中检测器官时，将检测框边缘补充为32的倍数，这可使得在上采样和下采样时张量可以通过简单的插值无缝地互相补充信息，无需经过额外的卷积层对齐张量形状，减少信息丢失。
在通过器官检测模型确定器官区域图像之前，还需对器官检测模型进行训练。根据样本头颈部影像以及其中标注的器官区域对器官检测模型进行训练，将训练完成的器官检测模型作为最终的器官检测模型。
器官检测模型的训练过程包括：将样本头颈部影像输入至器官检测模型，器官检测模型根据输入的样本头颈部影输出样本器官区域图像，将输出的样本器官区域图像与样本头颈部影像中标注的器官区域进行对比，根据对比结果对器官检测模型的参数进行第一次调整；再将样本头颈部影像输入至第一次调整参数后的器官检测模型，得到第一次调整参数后的器官检测模型输出的样本器官区域图像，再将输出的样本器官区域图像与样本头颈部影像中标注的器官区域进行对比，根据对比结果对器官检测模型的参数进行第二次调整；重复上述过程，直至器官检测模型输出的样本器官区域图像与样本头颈部影像中标注的器官区域一致，结束训练，获得训练好的器官检测模型，将训练好的器官检测模型作为最终的器官检测模型，即用于对待分割的头颈部影像进行器官检测的模型。
基于上述实施例，步骤120中，将所述器官区域图像输入至像素分割模型，得到所述像素模型输出的器官分割结果，之前还包括：
对所述器官区域图像进行边缘增强。
具体地，在执行步骤120之前，还需对器官检测模型输出的器官区域图像进行预处理，预处理的方式为按照器官区域图像的像素值的分布，对器官区域图像进行边缘增强。
预处理完成后，执行步骤120。
本发明提供的头颈部器官影像分割方法，通过对器官区域图像的预处理，将像素值之间的关系使用非线性函数重新映射，重新归一化，增加器官区域与非器官区域区分度，使其更容易被像素分割模型提取出特征。
下面对本发明提供的头颈部器官影像分割装置进行描述，下文描述的头颈部器官影像分割装置与上文描述的头颈部器官影像分割方法可相互对应参照。
图2是本发明提供的像素分割模型的结构示意图；如图2所示，像素分割模型包括残差结构下的支流网络21和主流网络22。
其中，支流网络21包括插值编码层210和池化解码层211；插值编码层210包括串联的多个尺度逐个增大的插值编码模块，插值编码层210用于对输入的细微特征进行线性插值、卷积和激活；池化解码层211包括串联的多个尺度逐个减小的池化解码模块；池化解码层211用于对插值编码层的编码结果进行池化、卷积和激活。
主流网络22包括池化编码层220和插值解码层221；池化编码层220包括串联的多个尺度逐个减小的池化编码模块，池化编码层220用于对提取的图像特征进行池化、卷积和激活；插值解码层221包括串联的多个尺度逐个增大的插值解码模块，插值解码层221用于对池化编码层的编码结果进行线性插值、卷积和激活。
本发明提供的像素分割模型，其残差结构下的网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。残差结构下的网络内部的模块之间使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
图3是本发明提供的头颈部器官影像分割装置的结构示意图。如图3所示，该装置包括：
图像确定单元310，用于确定待分割的头颈部影像中的器官区域图像；
结果获取单元320，用于将所述器官区域图像输入至像素分割模型，得到所述像素分割模型输出的器官分割结果；所述像素分割模型是基于样本器官区域图像及其像素级分割标签训练得到的，所述像素分割模型包括残差结构下的主流网络和支流网络，所述支流网络通过线性插值提取所述器官区域图像的细微特征，并基于所述细微特征进行像素分割。
本发明提供的头颈部器官影像分割装置，从待分割的头颈部影像中的确定器官区域图像，通过像素分割模型包括的残差结构下的支流网络，提取器官区域图像中的细微特征，根据细微特征对器官区域图像进行像素分割，解决了传统方法提取特征时，在多次增大感受野的情况下对细小器官的细微特征无法捕捉特征的问题，实现了对细微特征的提取，从而能够对器官区域图像进行准确的像素分割，该装置适用于在共享权重的前提下对多尺度分割对象进行像素级分割，算法具有更高的精度。
基于上述实施例，所述支流网络包括插值编码层和池化解码层；
其中，所述插值编码层包括串联的多个尺度逐个增大的插值编码模块，所述池化解码层包括串联的多个尺度逐个减小的池化解码模块；
所述插值编码模块输出的细微特征输入下一插值编码模块以及对应尺度下的池化解码模块。
基于上述实施例，所述插值编码层用于对输入的细微特征进行线性插值、卷积和激活。
基于上述实施例，所述主流网络包括池化编码层和插值解码层；
其中，所述池化编码层包括串联的多个尺度逐个减小的池化编码模块，所述插值解码层包括串联的多个尺度逐个增大的插值解码模块；
所述池化编码模块输出的图像特征输入下一池化编码模块以及对应尺度下的插值解码模块。
基于上述实施例，所述插值编码层中的首个插值编码模块与所述池化编码层中的首个池化编码模块共享信息；
所述池化解码层中的最后一个池化解码模块和所述插值解码层中的最后一个插值解码模块共享信息。
基于上述实施例，图像确定单元310用于：
将所述待分割的头颈部影像输入至器官检测模型，得到所述器官检测模型输出的器官区域图像，所述器官检测模型是基于样本头颈部影像以及其中标注的器官区域训练得到的。
基于上述实施例，所述装置还包括边缘增强单元，用于：
对所述器官区域图像进行边缘增强。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行头颈部器官影像分割方法，该方法包括：确定待分割的头颈部影像中的器官区域图像；将所述器官区域图像输入至像素分割模型，得到所述像素分割模型输出的器官分割结果；所述像素分割模型是基于样本器官区域图像及其像素级分割标签训练得到的，所述像素分割模型包括残差结构下的主流网络和支流网络，所述支流网络通过线性插值提取所述器官区域图像的细微特征，并基于所述细微特征进行像素分割。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的头颈部器官影像分割方法，该方法包括：确定待分割的头颈部影像中的器官区域图像；将所述器官区域图像输入至像素分割模型，得到所述像素分割模型输出的器官分割结果；所述像素分割模型是基于样本器官区域图像及其像素级分割标签训练得到的，所述像素分割模型包括残差结构下的主流网络和支流网络，所述支流网络通过线性插值提取所述器官区域图像的细微特征，并基于所述细微特征进行像素分割。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的头颈部器官影像分割方法，该方法包括：确定待分割的头颈部影像中的器官区域图像；将所述器官区域图像输入至像素分割模型，得到所述像素分割模型输出的器官分割结果；所述像素分割模型是基于样本器官区域图像及其像素级分割标签训练得到的，所述像素分割模型包括残差结构下的主流网络和支流网络，所述支流网络通过线性插值提取所述器官区域图像的细微特征，并基于所述细微特征进行像素分割。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种头颈部器官影像分割方法，其特征在于，包括：
确定待分割的头颈部影像中的器官区域图像；
将所述器官区域图像输入至像素分割模型，得到所述像素分割模型输出的器官分割结果；
所述像素分割模型是基于样本器官区域图像及其像素级分割标签训练得到的，所述像素分割模型包括残差结构下的主流网络和支流网络，所述支流网络通过线性插值提取所述器官区域图像的细微特征，并基于所述细微特征进行像素分割。
2.根据权利要求1所述的头颈部器官影像分割方法，其特征在于，所述支流网络包括插值编码层和池化解码层；
其中，所述插值编码层包括串联的多个尺度逐个增大的插值编码模块，所述池化解码层包括串联的多个尺度逐个减小的池化解码模块；
所述插值编码模块输出的细微特征输入下一插值编码模块以及对应尺度下的池化解码模块。
3.根据权利要求2所述的头颈部器官影像分割方法，其特征在于，所述插值编码层用于对输入的细微特征进行线性插值、卷积和激活。
4.根据权利要求2所述的头颈部器官影像分割方法，其特征在于，所述主流网络包括池化编码层和插值解码层；
其中，所述池化编码层包括串联的多个尺度逐个减小的池化编码模块，所述插值解码层包括串联的多个尺度逐个增大的插值解码模块；
所述池化编码模块输出的图像特征输入下一池化编码模块以及对应尺度下的插值解码模块。
5.根据权利要求4所述的头颈部器官影像分割方法，其特征在于，所述插值编码层中的首个插值编码模块与所述池化编码层中的首个池化编码模块共享信息；
所述池化解码层中的最后一个池化解码模块和所述插值解码层中的最后一个插值解码模块共享信息。
6.根据权利要求1至5中任一项所述的头颈部器官影像分割方法，其特征在于，所述确定待分割的头颈部影像中的器官区域图像，包括：
将所述待分割的头颈部影像输入至器官检测模型，得到所述器官检测模型输出的器官区域图像，所述器官检测模型是基于样本头颈部影像以及其中标注的器官区域训练得到的。
7.根据权利要求1至5中任一项所述的头颈部器官影像分割方法，其特征在于，所述将所述器官区域图像输入至像素分割模型，得到所述像素模型输出的器官分割结果，之前还包括：
对所述器官区域图像进行边缘增强。
8.一种头颈部器官影像分割装置，其特征在于，包括：
图像确定单元，用于确定待分割的头颈部影像中的器官区域图像；
结果获取单元，用于将所述器官区域图像输入至像素分割模型，得到所述像素分割模型输出的器官分割结果；所述像素分割模型是基于样本器官区域图像及其像素级分割标签训练得到的，所述像素分割模型包括残差结构下的主流网络和支流网络，所述支流网络通过线性插值提取所述器官区域图像的细微特征，并基于所述细微特征进行像素分割。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述头颈部器官影像分割方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述头颈部器官影像分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110572149.7A CN113487622B (zh) | 2021-05-25 | 2021-05-25 | 头颈部器官影像分割方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110572149.7A CN113487622B (zh) | 2021-05-25 | 2021-05-25 | 头颈部器官影像分割方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487622A true CN113487622A (zh) | 2021-10-08 |
| CN113487622B CN113487622B (zh) | 2023-10-31 |
Family
ID=77933128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110572149.7A Active CN113487622B (zh) | 2021-05-25 | 2021-05-25 | 头颈部器官影像分割方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487622B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574379A (zh) * | 2014-12-24 | 2015-04-29 | 中国科学院自动化研究所 | 一种基于目标多部件学习的视频分割算法 |
| CN109145769A (zh) * | 2018-08-01 | 2019-01-04 | 辽宁工业大学 | 融合图像分割特征的目标检测网络设计方法 |
| CN109360208A (zh) * | 2018-09-27 | 2019-02-19 | 华南理工大学 | 一种基于单程多任务卷积神经网络的医学图像分割方法 |
| US20190080455A1 (en) * | 2017-09-12 | 2019-03-14 | Beihang University | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation |
| CN109584246A (zh) * | 2018-11-16 | 2019-04-05 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
| CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
| CN110223300A (zh) * | 2019-06-13 | 2019-09-10 | 北京理工大学 | Ct图像腹部多器官分割方法及装置 |
| CN110874842A (zh) * | 2019-10-10 | 2020-03-10 | 浙江大学 | 一种基于级联残差全卷积网络的胸腔多器官分割方法 |
| CN110889852A (zh) * | 2018-09-07 | 2020-03-17 | 天津大学 | 基于残差-注意力深度神经网络的肝脏分割方法 |
| CN110889853A (zh) * | 2018-09-07 | 2020-03-17 | 天津大学 | 基于残差-注意力深度神经网络的肿瘤分割方法 |
| AU2020100196A4 (en) * | 2020-02-08 | 2020-03-19 | Juwei Guan | A method of removing rain from single image based on detail supplement |
| CN110930418A (zh) * | 2019-11-27 | 2020-03-27 | 江西理工大学 | 融合W-net和条件生成对抗网络的视网膜血管分割方法 |
| CN110992373A (zh) * | 2019-11-25 | 2020-04-10 | 杭州电子科技大学 | 一种基于深度学习的胸腔器官分割方法 |
| CN111627032A (zh) * | 2020-05-14 | 2020-09-04 | 安徽慧软科技有限公司 | 基于U-Net网络的CT影像身体器官自动分割方法 |
| CN111932546A (zh) * | 2020-08-20 | 2020-11-13 | 展讯通信（上海）有限公司 | 图像分割模型训练方法、图像分割方法、装置、设备及介质 |
| CN112150428A (zh) * | 2020-09-18 | 2020-12-29 | 青岛大学 | 一种基于深度学习的医学图像分割方法 |
| CN112419338A (zh) * | 2020-12-08 | 2021-02-26 | 深圳大学 | 一种基于解剖先验知识的头颈部危及器官的分割方法 |
-
2021
- 2021-05-25 CN CN202110572149.7A patent/CN113487622B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574379A (zh) * | 2014-12-24 | 2015-04-29 | 中国科学院自动化研究所 | 一种基于目标多部件学习的视频分割算法 |
| US20190080455A1 (en) * | 2017-09-12 | 2019-03-14 | Beihang University | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation |
| CN109145769A (zh) * | 2018-08-01 | 2019-01-04 | 辽宁工业大学 | 融合图像分割特征的目标检测网络设计方法 |
| CN110889852A (zh) * | 2018-09-07 | 2020-03-17 | 天津大学 | 基于残差-注意力深度神经网络的肝脏分割方法 |
| CN110889853A (zh) * | 2018-09-07 | 2020-03-17 | 天津大学 | 基于残差-注意力深度神经网络的肿瘤分割方法 |
| CN109360208A (zh) * | 2018-09-27 | 2019-02-19 | 华南理工大学 | 一种基于单程多任务卷积神经网络的医学图像分割方法 |
| CN109584246A (zh) * | 2018-11-16 | 2019-04-05 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
| CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
| CN110223300A (zh) * | 2019-06-13 | 2019-09-10 | 北京理工大学 | Ct图像腹部多器官分割方法及装置 |
| CN110874842A (zh) * | 2019-10-10 | 2020-03-10 | 浙江大学 | 一种基于级联残差全卷积网络的胸腔多器官分割方法 |
| CN110992373A (zh) * | 2019-11-25 | 2020-04-10 | 杭州电子科技大学 | 一种基于深度学习的胸腔器官分割方法 |
| CN110930418A (zh) * | 2019-11-27 | 2020-03-27 | 江西理工大学 | 融合W-net和条件生成对抗网络的视网膜血管分割方法 |
| AU2020100196A4 (en) * | 2020-02-08 | 2020-03-19 | Juwei Guan | A method of removing rain from single image based on detail supplement |
| CN111627032A (zh) * | 2020-05-14 | 2020-09-04 | 安徽慧软科技有限公司 | 基于U-Net网络的CT影像身体器官自动分割方法 |
| CN111932546A (zh) * | 2020-08-20 | 2020-11-13 | 展讯通信（上海）有限公司 | 图像分割模型训练方法、图像分割方法、装置、设备及介质 |
| CN112150428A (zh) * | 2020-09-18 | 2020-12-29 | 青岛大学 | 一种基于深度学习的医学图像分割方法 |
| CN112419338A (zh) * | 2020-12-08 | 2021-02-26 | 深圳大学 | 一种基于解剖先验知识的头颈部危及器官的分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIANPENG ZHANG: ""Inter-Slice Context Residual Learning for 3D Medical Image Segmentation"", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
| 秦传波: ""联合多尺度和注意力-残差的深度监督乳腺癌分割"", 《中国优秀硕士学位论文全文数据库 工程科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487622B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10460447B2 (en) | Method and system for performing segmentation of image having a sparsely distributed object | |
| CN111259982B (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| US11170504B2 (en) | Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network | |
| CN109166130B (zh) | 一种图像处理方法及图像处理装置 | |
| CN115661144B (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
| CN112016626B (zh) | 基于不确定度的糖尿病视网膜病变分类系统 | |
| CN110569731A (zh) | 一种人脸识别方法、装置及电子设备 | |
| CN114511798B (zh) | 基于transformer的驾驶员分心检测方法及装置 | |
| WO2021120961A1 (zh) | 大脑成瘾结构图谱评估方法及装置 | |
| CN113724203B (zh) | 应用于oct图像中目标特征分割的模型训练方法及装置 | |
| CN113658040A (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
| CN111160229A (zh) | 基于ssd网络的视频目标检测方法及装置 | |
| CN114677349B (zh) | 编解码端边缘信息增强和注意引导的图像分割方法及系统 | |
| CN111626379A (zh) | 肺炎x光图像检测方法 | |
| CN116258632A (zh) | 一种基于文本辅助的文本图像超分辨率重建方法 | |
| US20220245806A1 (en) | Method for learning threshold value | |
| Zhang et al. | Consecutive context perceive generative adversarial networks for serial sections inpainting | |
| CN117058727B (zh) | 一种基于图像增强的手部静脉图像识别方法及装置 | |
| CN117437493A (zh) | 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 | |
| CN116385467B (zh) | 基于自监督学习的脑血管分割方法及相关设备 | |
| CN115862119B (zh) | 基于注意力机制的人脸年龄估计方法及装置 | |
| Shen et al. | Automatic extraction of blur regions on a single image based on semantic segmentation | |
| CN116580187A (zh) | 基于人工智能的膝关节图像分割方法、装置及电子设备 | |
| US20230206428A1 (en) | Tubular structure segmentation | |
| CN116030517A (zh) | 模型训练方法、人脸识别方法、装置以及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |