CN112967293A - 一种图像语义分割方法、装置及存储介质 - Google Patents
一种图像语义分割方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112967293A CN112967293A CN202110242567.XA CN202110242567A CN112967293A CN 112967293 A CN112967293 A CN 112967293A CN 202110242567 A CN202110242567 A CN 202110242567A CN 112967293 A CN112967293 A CN 112967293A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- module
- features
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000004927 fusion Effects 0.000 claims abstract description 132
- 230000007246 mechanism Effects 0.000 claims description 44
- 230000002452 interceptive effect Effects 0.000 claims description 34
- 230000003044 adaptive effect Effects 0.000 claims description 29
- 238000002591 computed tomography Methods 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 25
- 238000013519 translation Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 24
- 239000011159 matrix material Substances 0.000 description 23
- 230000008569 process Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 230000017105 transposition Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本申请提供一种图像语义分割方法、装置及存储介质，用于改善对图像进行语义分割的正确率不高的问题。该方法包括：获取待处理图像；使用语义分割网络模型中的纹理分支提取待处理图像的纹理特征，并使用语义分割网络模型中的形状分支提取待处理图像的形状特征；使用语义分割网络模型中的自适应特征融合模块对纹理特征和形状特征进行语义融合，获得融合特征；使用语义分割网络模型中的分割卷积网络对融合特征进行语义分割，获得语义分割后的图像。
Description
技术领域
本申请涉及计算机视觉和语义分割的技术领域，具体而言，涉及一种图像语义分割方法、装置及存储介质。
背景技术
语义分割(semantic segmentation)，从字面意思上理解就是让计算机根据图像的语义来进行分割；语义在语音识别中指的是语音的意思，在图像领域，语义指的是图像的内容，即对图片中表达的意思进行理解；分割的意思是从像素的角度分割出图片中的不同对象，对原图中的每个像素都进行分类标注。
计算机体层摄影(Computed Tomography，CT)，又被称为电子计算机断层扫描或者CT扫描，是指利用精确准直的X射线和γ射线等射线与探测器一同围绕人体的某一部位进行断面扫描，具有扫描时间快，图像清晰等特点，通常CT扫描获得的结果又被称为CT图像。
目前，使用电子计算机断层扫描获得的CT图像存在很多种情况，这些情况例如：在不同感染状态和不同患者的CT图像中，不同的CT图像中目标区域的位置不确定性高和目标区域的边界比较模糊等等；上述的目标区域具体例如：特定器官所在区域或者特定组织所在区域等等。因此，现有的语义分割技术中存在CT图像中目标区域的位置不确定性高和目标区域的边界比较模糊的困难，导致对图像进行语义分割的正确率不高。
发明内容
本申请实施例的目的在于提供一种图像语义分割方法、装置及存储介质，用于改善对图像进行语义分割的正确率不高的问题。
本申请实施例提供了一种图像语义分割方法，包括：获取待处理图像；使用语义分割网络模型中的纹理分支提取待处理图像的纹理特征，并使用语义分割网络模型中的形状分支提取待处理图像的形状特征；使用语义分割网络模型中的自适应特征融合模块对纹理特征和形状特征进行语义融合，获得融合特征；使用语义分割网络模型中的分割卷积网络对融合特征进行语义分割，获得语义分割后的图像。在上述的实现过程中，通过使用语义分割网络模型中的纹理分支和形状分支能够更好地提取出丰富且高分辨率的纹理特征和形状特征，从而降低图像中目标对象的位置不确定性所带来的影响，并使用自适应特征融合模块提取出纹理特征和形状特征之间的互补关系信息，有效地增强了分割区域边界，从而减小了目标区域的边界比较模糊所带来的影响，最终有效地提高了对图像进行语义分割的正确率。
可选地，在本申请实施例中，纹理分支包括：卷积残差模块和三重注意力机制模块；使用语义分割网络模型中的纹理分支提取待处理图像的纹理特征，包括：使用卷积残差模块对待处理图像进行卷积运算和残差运算，获得卷积残差特征；使用三重注意力机制模块从卷积残差特征中提取纹理特征。在上述的实现过程中，通过使用三重注意力机制模块，从而获得更加具有鉴别性的纹理特征，进一步提高了对图像进行语义分割的正确率。
可选地，在本申请实施例中，卷积残差模块包括：图像卷积层、特征融合层、第一残差层、第二残差层和第三残差层；使用卷积残差模块对待处理图像进行卷积运算和残差运算，包括：使用图像卷积层对待处理图像进行卷积运算，获得卷积特征；使用第一残差层对卷积特征进行残差运算，获得第一残差特征；使用第二残差层对第一残差特征进行残差运算，获得第二残差特征；使用第三残差层对第二残差特征进行残差运算，获得第三残差特征；使用特征融合层对第一残差特征、第二残差特征和第三残差特征进行融合，获得融合特征；分别对第一残差特征和融合特征进行卷积运算，对第二残差特征和融合特征进行卷积运算，以及对第三残差特征和融合特征进行卷积运算。
可选地，在本申请实施例中，三重注意力机制模块包括：通道注意力模块、空间注意力模块、交互注意力模块和卷积模块；使用三重注意力机制模块从卷积残差特征中提取纹理特征，包括：使用通道注意力模块从卷积残差特征中提取通道特征，并使用空间注意力模块从卷积残差特征中提取空间特征，以及使用交互注意力模块从卷积残差特征中提取通道与空间结合的交互特征；使用卷积模块对通道特征、空间特征和交互特征进行融合，获得纹理特征。在上述的实现过程中，通过使用TA机制模块中的交互注意力模块从卷积残差特征中提取通道与空间结合的交互特征，从而有效地利用了维度交叉的注意力机制来提取出通道与空间之间的交互交叉(Cross)信息，进一步提高了对图像进行语义分割的正确率。
可选地，在本申请实施例中，使用语义分割网络模型中的自适应特征融合模块对纹理特征和形状特征进行语义融合，包括：使用自适应特征融合模块提取形状特征中的非线性变换参数；使用非线性变换参数对纹理特征进行非线性融合运算。在上述的实现过程中，通过使用自适应特征融合模块提取形状特征中的非线性变换参数，并使用非线性变换参数对纹理特征进行非线性融合运算，从而有效地利用了CT图像具有较好的结构信息的特点，将边缘信息与纹理信息进行融合，进一步提高了对图像进行语义分割的正确率。
可选地，在本申请实施例中，自适应特征融合模块包括：缩放分支和平移分支，非线性变换参数包括：缩放尺度参数和平移尺度参数；使用自适应特征融合模块提取形状特征中的非线性变换参数，包括：使用缩放分支从形状特征中提取出缩放尺度参数，并使用平移分支从形状特征中提取出平移尺度参数。在上述的实现过程中，通过使用缩放分支从形状特征中提取出缩放尺度参数，并使用平移分支从形状特征中提取出平移尺度参数，从而有效地避免了目标区域在图像中的不同区域或者大小带来的影响，进一步提高了对图像进行语义分割的正确率。
可选地，在本申请实施例中，待处理图像是计算机体层摄影图像；获取待处理图像包括：接收终端设备发送的计算机体层摄影图像；在获得语义分割后的图像之后，还包括：输出语义分割后的图像，语义分割后的图像是从计算机体层摄影图像中分割出目标区域的图像。在上述的实现过程中，通过接收终端设备发送的计算机体层摄影图像，并输出语义分割后的图像，从而提升了对计算机体层摄影图像的处理效率，有效地提高了对计算机体层摄影图像进行语义分割的效率。
本申请实施例还提供了一种图像语义分割装置，包括：处理图像获取模块，用于获取待处理图像；纹理形状提取模块，用于使用语义分割网络模型中的纹理分支提取待处理图像的纹理特征，并使用语义分割网络模型中的形状分支提取待处理图像的形状特征；融合特征获得模块，用于使用语义分割网络模型中的自适应特征融合模块对纹理特征和形状特征进行语义融合，获得融合特征；分割图像获得模块，用于使用语义分割网络模型中的分割卷积网络对融合特征进行语义分割，获得语义分割后的图像。
可选地，在本申请实施例中，纹理分支包括：卷积残差模块和三重注意力机制模块；纹理形状提取模块，包括：卷积残差运算模块，用于使用卷积残差模块对待处理图像进行卷积运算和残差运算，获得卷积残差特征；纹理特征提取模块，用于使用三重注意力机制模块从卷积残差特征中提取纹理特征。
可选地，在本申请实施例中，卷积残差模块包括：图像卷积层、特征融合层、第一残差层、第二残差层和第三残差层；卷积残差运算模块，包括：卷积特征获得模块，用于使用图像卷积层对待处理图像进行卷积运算，获得卷积特征；第一残差运算模块，用于使用第一残差层对卷积特征进行残差运算，获得第一残差特征；第二残差运算模块，用于使用第二残差层对第一残差特征进行残差运算，获得第二残差特征；第三残差运算模块，用于使用第三残差层对第二残差特征进行残差运算，获得第三残差特征；残差特征融合模块，用于使用特征融合层对第一残差特征、第二残差特征和第三残差特征进行融合，获得融合特征；特征卷积运算模块，用于分别对第一残差特征和融合特征进行卷积运算，对第二残差特征和融合特征进行卷积运算，以及对第三残差特征和融合特征进行卷积运算。
可选地，在本申请实施例中，三重注意力机制模块包括：通道注意力模块、空间注意力模块、交互注意力模块和卷积模块；纹理特征提取模块，包括：注意力机制提取模块，用于使用通道注意力模块从卷积残差特征中提取通道特征，并使用空间注意力模块从卷积残差特征中提取空间特征，以及使用交互注意力模块从卷积残差特征中提取通道与空间结合的交互特征；纹理特征获得模块，用于使用卷积模块对通道特征、空间特征和交互特征进行融合，获得纹理特征。
可选地，在本申请实施例中，融合特征获得模块，包括：非线性变换参数提取模块，用于使用自适应特征融合模块提取形状特征中的非线性变换参数；非线性融合运算模块，用于使用非线性变换参数对纹理特征进行非线性融合运算。
可选地，在本申请实施例中，自适应特征融合模块包括：缩放分支和平移分支，非线性变换参数包括：缩放尺度参数和平移尺度参数；非线性变换参数提取模块，包括：缩放平移参数提取模块，用于使用缩放分支从形状特征中提取出缩放尺度参数，并使用平移分支从形状特征中提取出平移尺度参数。
可选地，在本申请实施例中，待处理图像是计算机体层摄影图像；处理图像获取模块，具体用于：接收终端设备发送的计算机体层摄影图像；图像语义分割装置，还包括：分割图像输出模块，用于输出语义分割后的图像，语义分割后的图像是从计算机体层摄影图像中分割出目标区域的图像。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的图像语义分割方法的流程示意图；
图2示出的本申请实施例提供的语义分割网络模型的其中一种网络结构示意图；
图3示出的本申请实施例提供的三重注意力机制模块的其中一种网络结构示意图；
图4示出的本申请实施例提供的空间注意力模块的其中一种网络结构示意图；
图5示出的本申请实施例提供的通道注意力模块的其中一种网络结构示意图；
图6示出的本申请实施例提供的交互注意力模块的其中一种网络结构示意图；
图7示出的本申请实施例提供的自适应特征融合模块的其中一种网络结构示意图；
图8示出的本申请实施例提供的训练语义分割网络模型的示意图；
图9示出的本申请实施例提供的电子设备与终端设备交互的流程示意图；
图10示出的本申请实施例提供的图像语义分割装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的图像语义分割方法之前，先介绍本申请实施例中所涉及的一些概念：
神经网络(Neural Network，NN)，又被称为人工神经网络(Artificial NeuralNetwork，ANN)或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络(例如：动物的中枢神经系统，可以是大脑)的结构和功能的数学模型或计算模型，人工神经网络用于对函数进行估计或近似；这里的神经网络由大量的人工神经元联结进行计算。
注意力机制(Attention Mechanism)源于对人类视觉的研究；在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息；上述机制通常被称为注意力机制。
需要说明的是，本申请实施例提供的图像语义分割方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者服务器，此处的服务器是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。
在介绍本申请实施例提供的图像语义分割方法之前，先介绍该图像语义分割方法适用的应用场景，这里的应用场景包括但不限于：地质检测领域、自动驾驶领域和医学领域等等。在地质检测领域的应用场景例如：识别卫星图像上每个像素的土地覆盖类型(例如，城市、农业、水等区域)，土地覆盖分类可以被视为多级语义分割任务，具体可以是自动识别道路建筑物等等；在自动驾驶领域的应用场景例如：使用该图像语义分割方法识别路上的行人、障碍物和交通标识等等；在医学领域的应用场景例如：使用该图像语义分割方法从医学临床的CT图像中识别出目标区域，此处的目标区域包括但不限于：特定器官所在区域或者特定组织所在区域等目标区域。在医学领域的应用场景中，虽然可以使用该图像语义分割方法从CT图像中识别出特定器官所在区域，但是无法识别出特定器官所在区域的具体病情种类，且该图像语义分割方法的直接目的不是获得同一主体的疾病诊断结果，普通技术人员无法根据识别出的特定器官所在区域直接得出疾病的诊断结果，需要结合专业医师的医学知识和实践经验进一步判断，才能够得出疾病诊断结果，因此，使用该图像语义分割方法识别出目标区域的直接目的是获得中间结果，该图像语义分割方法不属于疾病的诊断方法。将该图像语义分割方法使用在这些应用场景中，可以有效地减小图像中的目标对象的边界比较模糊所带来的影响，最终有效地提高了对图像进行语义分割的正确率。
请参见图1示出的本申请实施例提供的图像语义分割方法的流程示意图；该图像语义分割方法的主要思路是，通过使用语义分割网络模型中的纹理分支和形状分支能够更好地提取出丰富且高分辨率的纹理特征和形状特征，从而降低图像中目标对象的位置不确定性所带来的影响，并使用自适应特征融合模块提取出纹理特征和形状特征之间的互补关系信息，有效地增强了分割区域边界，从而减小了目标区域的边界比较模糊所带来的影响，最终有效地提高了对图像进行语义分割的正确率；上述图像语义分割方法可以包括：
步骤S110：获取待处理图像。
待处理图像是指需要进行语义分割的图像，即对图像中的每个像素点进行分类，确定图像中的每个像素点属于具体的类别，此处的待处理图像可以是医学临床上的CT图像，也可以是自动驾驶领域中无人车拍摄的图像，也可以是地质检测领域中的卫星拍摄的图像。
上述步骤S110中的待处理图像的获取方式包括：第一种获取方式，使用摄像机、录像机或彩色照相机等终端设备对目标对象进行拍摄，获得待处理图像；然后该终端设备向电子设备发送待处理图像，然后电子设备接收终端设备发送的待处理图像，电子设备可以将待处理图像存储至文件系统、数据库或移动存储设备中；第二种获取方式，获取预先存储的待处理图像，具体例如：从文件系统中获取待处理图像，或者从数据库中获取待处理图像，或者从移动存储设备中获取待处理图像；第三种获取方式，使用浏览器等软件获取互联网上的待处理图像，或者使用其它应用程序访问互联网获得待处理图像。
在步骤S110之后，执行步骤S120：使用语义分割网络模型中的纹理分支提取待处理图像的纹理特征，并使用语义分割网络模型中的形状分支提取待处理图像的形状特征。
语义分割网络模型，是指对图像进行语义分割的神经网络，该神经网络可以包括纹理分支和形状分支；由于该语义分割网络模型包括纹理分支和形状分支这两个分支，所以该语义分割网络模型又可以被称为双分支结构的语义分割网络模型。可以理解的是，上述的纹理分支可以用于提取纹理信息(Texture Information)相关的特征，上述的形状分支可以用于提取形状信息(Shape Information)相关的特征，例如形状边界等等。由于使用纹理分支可以有效地提取出纹理特征，使用形状分支可以有效地辅助识别出语义边界，因此，语义分割网络模型有可以被称为边界辅助和纹理特征提取网络(Boundary-assistedand Discriminative Feature extraction network，BDFnet)。
请参见图2示出的本申请实施例提供的语义分割网络模型的其中一种网络结构示意图；其中，上述的纹理分支可以直接采用训练过的ResNet-50网络来作为特征提取器，该纹理分支具体包括：卷积残差模块和三重注意力机制模块；上述的卷积残差模块可以包括：图像卷积层、特征融合层、第一残差层、第二残差层和第三残差层，此处的三重注意力机制模块的具体结构和作用将在下面详细地描述。当然在具体的实践过程中，第一残差层、第一残差特征与融合特征卷积运算后输入三重注意力机制模块可以理解为竖直方向的支路，此处竖直方向的支路个数可以根据具体情况进行设置，例如：将竖直方向的支路个数设置为2、5或者7等等，为了便于理解，图中仅示出竖直方向的支路个数设置为3的情况。
可以理解的是，图2中仅示出了3个三重注意力机制模块和3个自适应特征融合模块，在具体的实践过程中，三重注意力机制模块和自适应特征融合模块的个数可以根据具体情况进行调整；虽然三重注意力机制模块和自适应特征融合模块可以有多个，但三重注意力机制模块和自适应特征融合模块的网络结构是相同的，因此，三重注意力机制模块和自适应特征融合模块对不同特征数据的处理方式是相同的，为了便于描述，下面仅举例其中一个进行说明。
上述步骤S120中的使用语义分割网络模型中的纹理分支提取待处理图像的纹理特征的实施方式可以包括：
步骤S121：使用卷积残差模块对待处理图像进行卷积运算和残差运算，获得卷积残差特征。
上述的步骤S121的实施方式例如：如图2所示，使用图像卷积层对待处理图像进行卷积运算，获得卷积特征。使用第一残差层对卷积特征进行残差运算，获得第一残差特征。使用第二残差层对第一残差特征进行残差运算，获得第二残差特征。使用第三残差层对第二残差特征进行残差运算，获得第三残差特征。使用特征融合层对第一残差特征、第二残差特征和第三残差特征进行融合，获得融合特征。分别对第一残差特征和融合特征进行卷积运算，获得第一卷积残差特征；对第二残差特征和融合特征进行卷积运算，获得第二卷积残差特征；对第三残差特征和融合特征进行卷积运算，获得第三卷积残差特征。
步骤S122：使用三重注意力机制模块从卷积残差特征中提取纹理特征。
请参见图3示出的本申请实施例提供的三重注意力机制模块的其中一种网络结构示意图；三重注意力(Triplet Attention，TA)机制模块，是指使用注意力机制提取出通道特征、空间特征以及通道与空间结合的交互特征的神经网络模块；上述的三重注意力机制模块可以包括：空间注意力模块(Position Attention Module)、通道注意力模块(ChannelAttention Module)、交互注意力模块(Cross Attention Module)和卷积(Conv)模块；其中，空间注意力模块、通道注意力模块和交互注意力模块的具体结构和作用将在下面详细地说明。在本实施例中，使用TA机制模块能够有效地避免了标准卷积操作中的共享权重机制，带来的对相同标签的像素提取的特征差异，从而避免这些差异导致类内不一致性并影响分割精度的情况；通过使用TA机制模块中的交互注意力模块从卷积残差特征中提取通道与空间结合的交互特征，从而有效地利用了维度交叉的注意力机制来提取出通道与空间之间的交互交叉(Cross)信息，进一步提高了对图像进行语义分割的正确率。
上述的步骤S122的实施方式例如：如图3所示，TA机制模块接收的是卷积残差特征作为输入特征，此处的输入特征可以使用X表示，然后，使用TA机制模块中的通道注意力模块从卷积残差特征中提取通道相关性的通道特征，此处的通道特征可以使用C(X)表示，并使用TA机制模块中的空间注意力模块从卷积残差特征中提取位置相关性的空间特征，此处的空间特征可以使用P(X)表示，以及使用TA机制模块中的交互注意力模块从卷积残差特征中提取通道与空间交叉相关性的交互特征，该交互特征可以使用I(X)表示，此处的交互特征能够体现丰富的全局依赖性信息。使用卷积模块对通道特征、空间特征和交互特征进行融合，获得纹理特征；具体的融合方式例如：将通道特征、空间特征和交互特征进行级联(concatenate)运算，将连接后的特征输入卷积(Conv)模块进行卷积运算，从而输出获得纹理特征，上述的纹理特征的提取过程也可以使用公式来表示为：
Y＝Conv(Concat(P(X),C(X),I(X)))；
其中，Y表示输出获得的纹理特征，Conv()表示卷积(Convolute)运算，Concat()表示级联(concatenate)运算，P(X)表示从输入特征X中提取出的空间特征，C(X)表示从输入特征X中提取出的通道特征，I(X)表示从输入特征X中提取出的交互特征。
在上述的实现过程中，通过使用三重注意力机制模块，从而获得更加具有鉴别性的纹理特征，进一步提高了对图像进行语义分割的正确率；并且使用交互注意力模块从卷积残差特征中提取通道与空间结合的交互特征，从而有效地利用了维度交叉的注意力机制来提取出通道与空间之间的交互交叉(cross)信息，进一步提高了对图像进行语义分割的正确率。
上述步骤S120中的使用语义分割网络模型中的形状分支提取待处理图像的形状特征的实施方式例如：如图2所示，可以将待处理图像作为输入图像(Input Image)，可以理解的是，使用上述的第一卷积层、第二卷积层和第三卷积层来从待处理图像中提取出形状特征，此处的形状特征包括：第一卷积特征图、第二卷积特征图和第三卷积特征图；形状特征的具体提取过程例如：使用第一卷积层对待处理图像进行卷积运算，获得第一卷积特征图，然后，使用第二卷积层对第一卷积特征图进行卷积运算，获得第二卷积特征图，最后，使用第三卷积层对第二卷积特征图进行卷积运算，获得第三卷积特征图。可以理解的是，上述的第一卷积层、第二卷积层和第三卷积层可以输入AFF模块进行特征融合，这个特征融合的过程将在下面进行详细地描述。由于使用的第一卷积层、第二卷积层和第三卷积层进行卷积运算后融合的方式可以理解为多层级融合方式，使用多层级融合的方式能够提取到更大空间分辨率和包含更多的边界相关信息，进一步提高了对图像进行语义分割的正确率。
请参见图4示出的本申请实施例提供的空间注意力模块的其中一种网络结构示意图；使用上述的空间注意力模块来提取空间特征的主要过程包括：使用第一重映射(Reshape)层对将输入的卷积残差特征X进行运算，获得特征图A，并使用第二重映射(Reshape)层对卷积残差特征X进行运算，获得特征图B，然后对特征图A和特征图B进行矩阵相乘(Matrix Multiple)运算，获得第一特征矩阵；其次，使用第一归一化(Softmax)层对第一特征矩阵进行处理，获得特征图S。可以理解的是，该特征图S的计算过程也可以使用公式表示为：
其中，
表示特征图A，Ai表示特征图A中的第i个位置的元素(即像素点)，
表示特征图B，Bj表示特征图B中的第j个位置的元素(即像素点)，C表示通道数量，W表示特征图的宽度，H表示特征图的高度，Si,j表示特征图S中的第j个位置对第i个位置的影响。
同时，使用第三重映射(Reshape)层对卷积残差特征X进行运算，获得特征图C，并对特征图S和特征图C进行矩阵相乘运算，获得第二特征矩阵。最后，使用第四重映射(Reshape)层对第二特征矩阵进行运算，获得第一重映射矩阵，并将第一重映射矩阵与卷积残差特征X进行元素级相加(Element-wise Sum)，从而获得上述的空间特征，该空间特征的获取过程可以使用公式表示为：
其中，P(X)表示空间特征，α表示可以学习的第一比例参数，C表示通道数量，W表示特征图的宽度，Si,j表示特征图S中的第j个位置对第i个位置的影响，Xpi表示空间特征中与位置pi相关的变量，Xj表示输入特征的第j个位置的元素值(即像素值)。在上述实现过程中，使用了上述的空间注意力模块，使得语义分割网络模型能够有效地在空间维度上利用位置注意力机制来自适应地聚合空间上下文。
请参见图5示出的本申请实施例提供的通道注意力模块的其中一种网络结构示意图；使用上述的通道注意力模块来提取通道特征的主要过程包括：使用第五重映射(Reshape)层对卷积残差特征X进行运算，获得特征图D，并使用第六重映射(Reshape)层对卷积残差特征X进行运算，获得特征图E，然后对特征图D和特征图E进行矩阵相乘(MatrixMultiple)运算，获得第三特征矩阵；其次，使用第二归一化(Softmax)层对第三特征矩阵进行处理，获得特征图F。同理，该特征图F的计算过程可以表示为：
其中，Fi,j表示特征图F中的第i个通道对第j个通道的影响，C表示通道数量，Di表示重映射后的特征图D中的第i个元素值，Ej表示重映射后的特征图E中的第j个元素值。
同时，使用第七重映射(Reshape)层对卷积残差特征X进行运算，获得特征图G，并对特征图F和特征图G进行矩阵相乘运算，获得第四特征矩阵。最后，使用第八重映射(Reshape)层对第四特征矩阵进行运算，获得第二重映射矩阵，并将第二重映射矩阵与卷积残差特征X进行元素级相加(Element-wise Sum)，从而获得上述的通道特征，该通道特征的计算过程可以表示为：
其中，c(X)表示上述的通道特征，β表示可学习的第二比例参数，Fi,j表示特征图F中的第i个通道对第j个通道的影响，Xci表示通道特征中与通道ci相关的变量，Xj表示输入特征的第j个位置的元素值(即像素值)。
请参见图6示出的本申请实施例提供的交互注意力模块的其中一种网络结构示意图；使用上述的交互注意力模块来提取通道与空间结合相关性的交互特征的主要过程包括：使用第一维度转置(Permute)层对卷积残差特征X进行运算，获得第一转置特征图，并使用第一最大池化(MaxPool)层对第一转置特征图进行最大池化操作，获得特征图H；同时，使用第二维度转置(Permute)层对卷积残差特征X进行运算，获得第二转置特征图，并使用第二最大池化(MaxPool)层对第二转置特征图进行最大池化操作，获得特征图J；其次，对特征图H和特征图J进行矩阵相乘运算，获得第五特征矩阵，再使用第三归一化(Softmax)层对第五特征矩阵进行归一化运算，获得特征图K。与此同时，使用卷积运算(Conv)层对卷积残差特征X进行卷积运算，获得卷积后的特征图，并对特征图K和卷积后的特征图进行元素级相乘(Element-wise Multiple)运算，获得特征图L；然后，使用第九重映射(Reshape)层对特征图L进行重映射运算，获得第三重映射矩阵；最后，对第三重映射矩阵和卷积残差特征X进行元素级累加(Element-wise Sum)运算，获得上述的交互特征I(X)。
在步骤S120之后，执行步骤S130：使用语义分割网络模型中的自适应特征融合模块对纹理特征和形状特征进行语义融合，获得融合特征。
请参见图7示出的本申请实施例提供的自适应特征融合模块的其中一种网络结构示意图；自适应特征融合(Adaptive Feature Fusion，AFF)模块，是指融合纹理特征和形状特征的神经网络模块；其中，该自适应特征融合模块可以包括：多个卷积(Conv)层、多个激活(ReLu)层、上采样(Up-Sampling)层、缩放分支和平移分支；其中，缩放分支和平移分支的具体网络结构可以包括多个卷积(Conv)层和多个激活(ReLu)层，可以根据具体情况进行调整，包括但不限于图7中的个数，例如设置为4、7和10个等等。
上述步骤S130的实施方式包括：首先，使用卷积层和激活层对纹理特征进行卷积激活运算，获得第一特征图，并使用上采样(Up-Sampling)层对第一特征图进行上采样处理，获得上采样特征图。然后，再使用卷积层和激活层对形状特征进行卷积激活运算，获得第二特征图；使用自适应特征融合模块中的缩放分支和平移分支提取第二特征图中的非线性变换参数；其中，非线性变换参数包括：缩放尺度参数ε和平移尺度参数δ，上述非线性变换参数的提取方式例如：使用缩放分支从形状特征中提取出缩放尺度参数，并使用平移分支从形状特征中提取出平移尺度参数。最后，使用非线性变换参数对纹理特征进行非线性融合运算，具体例如：根据缩放尺度参数对上采样特征图进行缩小或者放大，获得缩放后的特征图，并根据平移尺度参数对缩放后的特征图进行平移处理，获得平移后的融合特征。
在步骤S130之后，执行步骤S140：使用语义分割网络模型中的分割卷积网络对融合特征进行语义分割，获得语义分割后的图像。
分割卷积网络，是指对融合特征进行语义分割的卷积神经网络，此处的对融合特征进行语义分割具体例如：对融合特征中的每个元素(即像素点)进行分类，从而确定该元素(即像素点)的类别。可以理解的是，当融合特征中的每个元素都被确定了类别，即可获得语义分割后的图像。
上述步骤S140的实施方式例如：由于第一自适应特征融合(AFF)模块、第二自适应特征融合(AFF)模块和第三自适应特征融合(AFF)模块分别输出三个融合特征：第一融合特征、第二融合特征和第三融合特征，可以先对第一融合特征、第二融合特征和第三融合特征求均值，获得平均特征图，再使用分割卷积网络对平均特征图中的每个元素(即像素点)进行分类，当平均特征图中的每个元素都被确定了类别，即可获得语义分割后的图像。
在上述的实现过程中，首先使用语义分割网络模型中的纹理分支提取待处理图像的纹理特征，并使用语义分割网络模型中的形状分支提取待处理图像的形状特征，然后，使用语义分割网络模型中的自适应特征融合模块对纹理特征和形状特征进行语义融合，最后，使用语义分割网络模型中的分割卷积网络对融合特征进行语义分割，从而获得正确率更高的语义分割图像；也就是说，通过使用语义分割网络模型中的纹理分支和形状分支能够更好地提取出丰富且高分辨率的纹理特征和形状特征，从而降低图像中目标对象的位置不确定性所带来的影响，并使用自适应特征融合模块提取出纹理特征和形状特征之间的互补关系信息，有效地增强了分割区域边界，从而减小了目标区域的边界比较模糊所带来的影响，最终有效地提高了对图像进行语义分割的正确率。
请参见图8示出的本申请实施例提供的训练语义分割网络模型的示意图；可以理解的是，在使用上述的语义分割网络模型之前，还需要对语义分割网络模型进行训练，该语义分割网络模型的具体训练过程可以包括：获得样本图像、纹理真值图和形状真值图；然后，分别使用语义分割网络模型中的纹理分支对样本图像中的纹理特征进行预测，获得纹理预测图，并使用语义分割网络模型中的形状分支对样本图像中的形状特征进行预测，获得形状预测图；其中，纹理预测图可以是对第一融合特征、第二融合特征和第三融合特征求平均值获得的，形状预测图可以是使用第三卷积层对第二卷积层输出的特征图进行卷积运算获得的。最后，分别计算纹理真值图和纹理预测图之间的纹理损失，并计算形状真值图和形状预测图之间的形状损失，根据该纹理损失和该形状损失计算出语义分割网络模型的联合损失，最终，根据联合损失来更新语义分割网络模型的网络参数，直到满足停止更新网络参数的条件。其中，停止更新网络参数的条件例如：语义分割网络模型的训练批次(epoch)数量达到了预设阈值，或者，语义分割网络模型的学习参数趋于收敛且超过预设比例。
可以理解的是，可以使用Dice损失函数来计算纹理损失，该Dice损失函数例如：
其中，P表示纹理预测图集合，T表示纹理真值图集合，pi∈P表示纹理预测图集合中的第i个纹理预测图，ti∈T表示纹理真值图集合中的第i个纹理真值图，Ldice(P，T)表示纹理真值图和纹理预测图之间的纹理损失，N是其中一个样本图像中像素值的总数量，τ是防止被零除的最小常数。
可以理解的是，可以使用二进制交叉熵(Binary Cross Entropy，BCE)函数来计算形状真值图和形状预测图之间的形状损失，该BCE函数表示为：
其中，Lboundary表示形状真值图和形状预测图之间的形状损失，W和H分别表示每个图的宽和高，Pb表示形状预测图中的预测边界，Tb表示形状真值图中的预测边界，Tb可以是根据语义分割结果的真值图T进行计算梯度获得的，(i,j)是形状预测图Pb和形状真值图Tb中的像素坐标；使用BCE损失函数使边界分割预测的概率分布更接近真实分布。
可以理解的是，使用联合损失函数计算出语义分割网络模型的联合损失，该联合损失函数可以表示为：
其中，Ljoint表示语义分割网络模型的联合损失，Lboundary表示形状真值图和形状预测图之间的形状损失，P表示纹理预测图集合，T表示纹理真值图集合，Ldice(P，T)表示纹理真值图和纹理预测图之间的纹理损失，λ表示纹理损失和形状损失之间的权重。在具体的实践过程中发现，经过联合损失函数训练过的语义分割网络模型可以通过Lboundary学会正确地预测目标区域边界，也可以通过Ldice学会定位目标区域。
请参见图9示出的本申请实施例提供的电子设备与终端设备交互的示意图；可选地，可以使用上述图像语义分割方法对计算机体层摄影图像进行处理，然后输出语义分割处理后的图像；该实施方式可以包括：
步骤S210：电子设备接收终端设备发送的计算机体层摄影图像。
上述步骤S210的实施方式例如：电子设备通过传输控制协议(TransmissionControl Protocol，TCP)或者用户数据报协议(User Datagram Protocol，UDP)接收终端设备发送的计算机体层摄影图像。
在步骤S210之后，执行步骤S220：电子设备使用语义分割网络模型中的纹理分支提取待处理图像的纹理特征，并使用语义分割网络模型中的形状分支提取待处理图像的形状特征。
在步骤S220之后，执行步骤S230：电子设备使用语义分割网络模型中的自适应特征融合模块对纹理特征和形状特征进行语义融合，获得融合特征。
在步骤S230之后，执行步骤S240：电子设备使用语义分割网络模型中的分割卷积网络对融合特征进行语义分割，获得语义分割后的图像。
其中，该步骤S220至步骤S240的实施原理和实施方式与步骤S120至步骤S140的实施原理和实施方式是类似的，因此，这里不再说明其实施原理和实施方式，如有不清楚的地方，可以参考对步骤S120至步骤S140的描述。
在步骤S240之后，执行步骤S250：电子设备输出语义分割后的图像。
上述步骤S250的实施方式例如：电子设备将语义分割后的图像输出在显示屏幕上，或者，将语义分割后的图像发送给其他设备进行处理或显示；其中，语义分割后的图像是从计算机体层摄影图像中分割出目标区域的图像，此处的目标区域可以是特定组织所在区域或者特定器官所在区域等等。
请参见图10示出的本申请实施例提供的图像语义分割装置的结构示意图。本申请实施例还提供了一种图像语义分割装置300，包括：
处理图像获取模块310，用于获取待处理图像。
纹理形状提取模块320，用于使用语义分割网络模型中的纹理分支提取待处理图像的纹理特征，并使用语义分割网络模型中的形状分支提取待处理图像的形状特征。
融合特征获得模块330，用于使用语义分割网络模型中的自适应特征融合模块对纹理特征和形状特征进行语义融合，获得融合特征。
分割图像获得模块340，用于使用语义分割网络模型中的分割卷积网络对融合特征进行语义分割，获得语义分割后的图像。
可选地，在本申请实施例中，纹理分支包括：卷积残差模块和三重注意力机制模块；纹理形状提取模块，包括：
卷积残差运算模块，用于使用卷积残差模块对待处理图像进行卷积运算和残差运算，获得卷积残差特征。
纹理特征提取模块，用于使用三重注意力机制模块从卷积残差特征中提取纹理特征。
可选地，在本申请实施例中，卷积残差模块包括：图像卷积层、特征融合层、第一残差层、第二残差层和第三残差层；卷积残差运算模块，包括：
卷积特征获得模块，用于使用图像卷积层对待处理图像进行卷积运算，获得卷积特征。
第一残差运算模块，用于使用第一残差层对卷积特征进行残差运算，获得第一残差特征。
第二残差运算模块，用于使用第二残差层对第一残差特征进行残差运算，获得第二残差特征。
第三残差运算模块，用于使用第三残差层对第二残差特征进行残差运算，获得第三残差特征。
残差特征融合模块，用于使用特征融合层对第一残差特征、第二残差特征和第三残差特征进行融合，获得融合特征。
特征卷积运算模块，用于分别对第一残差特征和融合特征进行卷积运算，对第二残差特征和融合特征进行卷积运算，以及对第三残差特征和融合特征进行卷积运算。
可选地，在本申请实施例中，三重注意力机制模块包括：通道注意力模块、空间注意力模块、交互注意力模块和卷积模块；纹理特征提取模块，包括：
注意力机制提取模块，用于使用通道注意力模块从卷积残差特征中提取通道特征，并使用空间注意力模块从卷积残差特征中提取空间特征，以及使用交互注意力模块从卷积残差特征中提取通道与空间结合的交互特征。
纹理特征获得模块，用于使用卷积模块对通道特征、空间特征和交互特征进行融合，获得纹理特征。
可选地，在本申请实施例中，融合特征获得模块，包括：
非线性变换参数提取模块，用于使用自适应特征融合模块提取形状特征中的非线性变换参数。
非线性融合运算模块，用于使用非线性变换参数对纹理特征进行非线性融合运算。
可选地，在本申请实施例中，自适应特征融合模块包括：缩放分支和平移分支，非线性变换参数包括：缩放尺度参数和平移尺度参数；非线性变换参数提取模块，包括：
缩放平移参数提取模块，用于使用缩放分支从形状特征中提取出缩放尺度参数，并使用平移分支从形状特征中提取出平移尺度参数。
可选地，在本申请实施例中，待处理图像是计算机体层摄影图像；处理图像获取模块，具体用于：接收终端设备发送的计算机体层摄影图像。
图像语义分割装置，还包括：分割图像输出模块，用于输出语义分割后的图像，语义分割后的图像是从计算机体层摄影图像中分割出目标区域的图像。
应理解的是，该装置与上述的图像语义分割方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块。
本申请实施例提供的一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器，电可擦除可编程只读存储器，可擦除可编程只读存储器，可编程只读存储器，只读存储器，磁存储器，快闪存储器，磁盘或光盘。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。
Claims (10)
1.一种图像语义分割方法，其特征在于，包括：
获取待处理图像；
使用语义分割网络模型中的纹理分支提取所述待处理图像的纹理特征，并使用所述语义分割网络模型中的形状分支提取所述待处理图像的形状特征；
使用所述语义分割网络模型中的自适应特征融合模块对所述纹理特征和所述形状特征进行语义融合，获得融合特征；
使用所述语义分割网络模型中的分割卷积网络对所述融合特征进行语义分割，获得语义分割后的图像。
2.根据权利要求1所述的方法，其特征在于，所述纹理分支包括：卷积残差模块和三重注意力机制模块；所述使用语义分割网络模型中的纹理分支提取所述待处理图像的纹理特征，包括：
使用所述卷积残差模块对所述待处理图像进行卷积运算和残差运算，获得卷积残差特征；
使用所述三重注意力机制模块从所述卷积残差特征中提取所述纹理特征。
3.根据权利要求2所述的方法，其特征在于，所述卷积残差模块包括：图像卷积层、特征融合层、第一残差层、第二残差层和第三残差层；所述使用所述卷积残差模块对所述待处理图像进行卷积运算和残差运算，包括：
使用所述图像卷积层对所述待处理图像进行卷积运算，获得卷积特征；
使用所述第一残差层对所述卷积特征进行残差运算，获得第一残差特征；
使用所述第二残差层对所述第一残差特征进行残差运算，获得第二残差特征；
使用所述第三残差层对所述第二残差特征进行残差运算，获得第三残差特征；
使用所述特征融合层对所述第一残差特征、所述第二残差特征和所述第三残差特征进行融合，获得融合特征；
分别对所述第一残差特征和所述融合特征进行卷积运算，对所述第二残差特征和所述融合特征进行卷积运算，以及对所述第三残差特征和所述融合特征进行卷积运算。
4.根据权利要求2所述的方法，其特征在于，所述三重注意力机制模块包括：通道注意力模块、空间注意力模块、交互注意力模块和卷积模块；所述使用所述三重注意力机制模块从所述卷积残差特征中提取所述纹理特征，包括：
使用所述通道注意力模块从所述卷积残差特征中提取通道特征，并使用所述空间注意力模块从所述卷积残差特征中提取空间特征，以及使用所述交互注意力模块从所述卷积残差特征中提取通道与空间结合的交互特征；
使用所述卷积模块对所述通道特征、所述空间特征和所述交互特征进行融合，获得所述纹理特征。
5.根据权利要求1所述的方法，其特征在于，所述使用所述语义分割网络模型中的自适应特征融合模块对所述纹理特征和所述形状特征进行语义融合，包括：
使用所述自适应特征融合模块提取所述形状特征中的非线性变换参数；
使用所述非线性变换参数对所述纹理特征进行非线性融合运算。
6.根据权利要求5所述的方法，其特征在于，所述自适应特征融合模块包括：缩放分支和平移分支，所述非线性变换参数包括：缩放尺度参数和平移尺度参数；所述使用所述自适应特征融合模块提取所述形状特征中的非线性变换参数，包括：
使用所述缩放分支从所述形状特征中提取出所述缩放尺度参数，并使用所述平移分支从所述形状特征中提取出所述平移尺度参数。
7.根据权利要求1-6任一所述的方法，其特征在于，所述待处理图像是计算机体层摄影图像；所述获取待处理图像包括：
接收终端设备发送的所述计算机体层摄影图像；
在所述获得语义分割后的图像之后，还包括：
输出所述语义分割后的图像，所述语义分割后的图像是从所述计算机体层摄影图像中分割出目标区域的图像。
8.一种图像语义分割装置，其特征在于，包括：
处理图像获取模块，用于获取待处理图像；
纹理形状提取模块，用于使用语义分割网络模型中的纹理分支提取所述待处理图像的纹理特征，并使用所述语义分割网络模型中的形状分支提取所述待处理图像的形状特征；
融合特征获得模块，用于使用所述语义分割网络模型中的自适应特征融合模块对所述纹理特征和所述形状特征进行语义融合，获得融合特征；
分割图像获得模块，用于使用所述语义分割网络模型中的分割卷积网络对所述融合特征进行语义分割，获得语义分割后的图像。
9.根据权利要求8所述的装置，其特征在于，所述待处理图像是计算机体层摄影图像；所述处理图像获取模块，具体用于：接收终端设备发送的所述计算机体层摄影图像；
所述图像语义分割装置，还包括：分割图像输出模块，用于输出所述语义分割后的图像，所述语义分割后的图像是从所述计算机体层摄影图像中分割出目标区域的图像。
10.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110242567.XA CN112967293A (zh) | 2021-03-04 | 2021-03-04 | 一种图像语义分割方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110242567.XA CN112967293A (zh) | 2021-03-04 | 2021-03-04 | 一种图像语义分割方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112967293A true CN112967293A (zh) | 2021-06-15 |
Family
ID=76276949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110242567.XA Pending CN112967293A (zh) | 2021-03-04 | 2021-03-04 | 一种图像语义分割方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112967293A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723419A (zh) * | 2021-09-03 | 2021-11-30 | 乐普（北京）医疗器械股份有限公司 | 一种基于语义分割网络对造影图像进行分割的方法和装置 |
| CN114764788A (zh) * | 2022-03-29 | 2022-07-19 | 首都医科大学附属北京天坛医院 | 一种颅内动脉狭窄检测方法及系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102880873A (zh) * | 2012-08-31 | 2013-01-16 | 公安部第三研究所 | 基于图像分割和语义提取实现人员行为识别的系统及方法 |
| CN104504734A (zh) * | 2014-09-16 | 2015-04-08 | 浙江工业大学 | 一种基于语义的图像颜色传输方法 |
| CN108876792A (zh) * | 2018-04-13 | 2018-11-23 | 北京迈格威科技有限公司 | 语义分割方法、装置和系统及存储介质 |
| CN109446951A (zh) * | 2018-10-16 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 三维图像的语义分割方法、装置、设备及存储介质 |
| CN109886933A (zh) * | 2019-01-25 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 一种医学图像识别方法、装置和存储介质 |
| EP3499890A1 (en) * | 2017-12-14 | 2019-06-19 | Thomson Licensing | Deep learning based image partitioning for video compression |
| CN110246578A (zh) * | 2019-06-12 | 2019-09-17 | 吉林大学第一医院 | 一种肺癌样本快速检测方法 |
| CN111104962A (zh) * | 2019-11-05 | 2020-05-05 | 北京航空航天大学青岛研究院 | 图像的语义分割方法、装置、电子设备及可读存储介质 |
| CN111476241A (zh) * | 2020-03-04 | 2020-07-31 | 上海交通大学 | 一种人物服饰转换方法及系统 |
| CN111563909A (zh) * | 2020-05-10 | 2020-08-21 | 中国人民解放军91550部队 | 一种复杂街景图像语义分割方法 |
| US20200288204A1 (en) * | 2019-03-05 | 2020-09-10 | Adobe Inc. | Generating and providing personalized digital content in real time based on live user context |
| KR20200132682A (ko) * | 2019-05-16 | 2020-11-25 | 삼성전자주식회사 | 이미지 최적화 방법, 장치, 디바이스 및 저장 매체 |
| WO2020233129A1 (zh) * | 2019-05-17 | 2020-11-26 | 深圳先进技术研究院 | 一种图像超分辨和着色方法、系统及电子设备 |
| CN112381846A (zh) * | 2020-12-11 | 2021-02-19 | 江南大学 | 一种基于非对称网络的超声甲状腺结节分割方法 |
-
2021
- 2021-03-04 CN CN202110242567.XA patent/CN112967293A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102880873A (zh) * | 2012-08-31 | 2013-01-16 | 公安部第三研究所 | 基于图像分割和语义提取实现人员行为识别的系统及方法 |
| CN104504734A (zh) * | 2014-09-16 | 2015-04-08 | 浙江工业大学 | 一种基于语义的图像颜色传输方法 |
| EP3499890A1 (en) * | 2017-12-14 | 2019-06-19 | Thomson Licensing | Deep learning based image partitioning for video compression |
| CN108876792A (zh) * | 2018-04-13 | 2018-11-23 | 北京迈格威科技有限公司 | 语义分割方法、装置和系统及存储介质 |
| CN109446951A (zh) * | 2018-10-16 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 三维图像的语义分割方法、装置、设备及存储介质 |
| CN109886933A (zh) * | 2019-01-25 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 一种医学图像识别方法、装置和存储介质 |
| US20200288204A1 (en) * | 2019-03-05 | 2020-09-10 | Adobe Inc. | Generating and providing personalized digital content in real time based on live user context |
| KR20200132682A (ko) * | 2019-05-16 | 2020-11-25 | 삼성전자주식회사 | 이미지 최적화 방법, 장치, 디바이스 및 저장 매체 |
| WO2020233129A1 (zh) * | 2019-05-17 | 2020-11-26 | 深圳先进技术研究院 | 一种图像超分辨和着色方法、系统及电子设备 |
| CN110246578A (zh) * | 2019-06-12 | 2019-09-17 | 吉林大学第一医院 | 一种肺癌样本快速检测方法 |
| CN111104962A (zh) * | 2019-11-05 | 2020-05-05 | 北京航空航天大学青岛研究院 | 图像的语义分割方法、装置、电子设备及可读存储介质 |
| CN111476241A (zh) * | 2020-03-04 | 2020-07-31 | 上海交通大学 | 一种人物服饰转换方法及系统 |
| CN111563909A (zh) * | 2020-05-10 | 2020-08-21 | 中国人民解放军91550部队 | 一种复杂街景图像语义分割方法 |
| CN112381846A (zh) * | 2020-12-11 | 2021-02-19 | 江南大学 | 一种基于非对称网络的超声甲状腺结节分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| 丁辉: "Spatial Attention-based Efficiently Features Fusion Network for 3D-MR Brain Tumor Segmentation", IEEE, pages 67 - 74 * |
| 代具亭;汤心溢;刘鹏;邵保泰;: "基于彩色-深度图像和深度学习的场景语义分割网络", 科学技术与工程, no. 20 * |
| 官恺;刘智;金飞;韩佳容;芮杰;: "一种用于DSM局部缺失的深度学习修复算法", 测绘科学技术学报, no. 03 * |
| 李阳;丁辉;王云飞;王怡蕾;: "多特征融合的交通标志检测与分类研究", 光学技术, no. 05 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723419A (zh) * | 2021-09-03 | 2021-11-30 | 乐普（北京）医疗器械股份有限公司 | 一种基于语义分割网络对造影图像进行分割的方法和装置 |
| CN113723419B (zh) * | 2021-09-03 | 2023-11-21 | 乐普（北京）医疗器械股份有限公司 | 一种基于语义分割网络对造影图像进行分割的方法和装置 |
| CN114764788A (zh) * | 2022-03-29 | 2022-07-19 | 首都医科大学附属北京天坛医院 | 一种颅内动脉狭窄检测方法及系统 |
| CN114764788B (zh) * | 2022-03-29 | 2022-12-16 | 首都医科大学附属北京天坛医院 | 一种颅内动脉狭窄检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112560876B (zh) | 解耦度量的单阶段小样本目标检测方法 | |
| CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
| CN112465828A (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
| CN112446380A (zh) | 图像处理方法和装置 | |
| CN112446834A (zh) | 图像增强方法和装置 | |
| CN109300151B (zh) | 图像处理方法和装置、电子设备 | |
| CN111369581A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113298815A (zh) | 一种半监督遥感图像语义分割方法、装置和计算机设备 | |
| CN109815931B (zh) | 一种视频物体识别的方法、装置、设备以及存储介质 | |
| US11430123B2 (en) | Sampling latent variables to generate multiple segmentations of an image | |
| Shu et al. | LVC-Net: Medical image segmentation with noisy label based on local visual cues | |
| CN112967293A (zh) | 一种图像语义分割方法、装置及存储介质 | |
| WO2021032062A1 (zh) | 图像处理模型生成方法、图像处理方法、装置及电子设备 | |
| CN111275686A (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN115861715B (zh) | 基于知识表示增强的图像目标关系识别算法 | |
| US11367206B2 (en) | Edge-guided ranking loss for monocular depth prediction | |
| CN111626134A (zh) | 一种基于隐密度分布的密集人群计数方法、系统及终端 | |
| CN113920538A (zh) | 目标检测方法、装置、设备、存储介质及计算机程序产品 | |
| CN113781488A (zh) | 舌象图像的分割方法、装置及介质 | |
| WO2023284255A1 (en) | Systems and methods for processing images | |
| CN113807185B (zh) | 一种数据处理方法和装置 | |
| CN114742840A (zh) | 一种图像分割方法、装置、终端设备及可读存储介质 | |
| CN114596440A (zh) | 语义分割模型的生成方法、装置、电子设备及存储介质 | |
| CN114463363A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
| CN113240699B (zh) | 图像处理方法及装置，模型的训练方法及装置，电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240311 Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Applicant after: Shenzhen Wanzhida Technology Co.,Ltd. Country or region after: China Address before: 105 West Third Ring Road North, Haidian District, Beijing Applicant before: Capital Normal University Country or region before: China |