CN112037237B - 一种图像处理方法、装置、计算机设备及介质 - Google Patents

一种图像处理方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN112037237B
CN112037237B CN202010905927.5A CN202010905927A CN112037237B CN 112037237 B CN112037237 B CN 112037237B CN 202010905927 A CN202010905927 A CN 202010905927A CN 112037237 B CN112037237 B CN 112037237B
Authority
CN
China
Prior art keywords
features
feature
fusion
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010905927.5A
Other languages
English (en)
Other versions
CN112037237A (zh
Inventor
赵瑞辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010905927.5A priority Critical patent/CN112037237B/zh
Publication of CN112037237A publication Critical patent/CN112037237A/zh
Application granted granted Critical
Publication of CN112037237B publication Critical patent/CN112037237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及人工智能技术领域，公开了一种图像处理方法、装置、计算机设备及介质，其中方法包括：可对待处理图像进行特征提取，得到N层与目标特征关联的空间特征和N层与目标特征关联的全局特征，根据属于同一层的空间特征和全局特征进行融合处理得到N层融合特征，进一步地，可以通过N层融合特征确定与目标图像区域关联的目标图像。实施本申请，可在对待处理图像的处理过程，对每层空间特征和全局特征进行融合得到N层融合特征，使得N层融合特征包含待处理图像丰富的空间特征和全局特征，不仅可以更加准确从待处理图像中分割出目标图像区域，还可以更加清晰的捕捉到目标图像区域的边界，从而使得分割出的目标图像区域更加准确。

Description

一种图像处理方法、装置、计算机设备及介质
技术领域
本申请涉及互联网技术领域，具体涉及人工智能技术领域，尤其涉及一种图像处理方法、一种图像处理装置、一种计算机设备及一种计算机存储介质。
背景技术
图像的语义分割是指让计算机将图像中具有不同语义特征的部分分割开来。目前，主流的语义分割算法主要是基于深度学习的，但是在将这些主流的语义分割算法应用到待处理图像中某些目标图像区域(例如颅内出血区域、腺体钙化区域或者细胞核所在区域等等)的探测时，仍然存在一些问题。以医疗领域，颅内出血区域的探测为例，一方面，出血块部位与正常的脑组织部分的边界不能够被很好的确定；另一方面，在待处理图像中可能还存在着一些与出血块相似的病理组织(比如钙化的腺体)等，这些问题都加大了从待处理图像中准确分割出颅内出血区域的难度。因此，如何更加准确地从待处理图像中分割出目标图像区域成为一个亟待解决的问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备及介质，可在从待处理图像分割出目标图像区域的处理过程，对每层空间特征和全局特征进行融合得到N层融合特征，使得N层融合特征包含待处理图像丰富的空间特征和全局特征，不仅可以更加准确从待处理图像中分割出目标图像区域，还可以更加清晰的捕捉到目标图像区域的边界，从而使得分割出的目标图像区域更加准确。
一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取待处理图像；
对待处理图像进行特征提取，得到N层与目标特征关联的空间特征和N层与目标特征关联的全局特征，其中，N为大于0的整数；
根据属于同一层的空间特征和全局特征进行融合处理，得到N层融合特征；
通过N层融合特征确定与目标图像区域关联的目标图像，目标图像区域为所述待处理图像中与所述目标特征关联的局部图像区域。
另一方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：
获取模块，用于获取待处理图像；
处理模块，用于对待处理图像进行特征提取，得到N层与目标特征关联的空间特征和N层与目标特征关联的全局特征，其中，N为大于0的整数；
上述处理模块，还用于根据属于同一层的空间特征和全局特征进行融合处理，得到N层融合特征；
上述处理模块，还用于通过N层融合特征确定与目标图像区域关联的目标图像，目标图像区域为待处理图像中与目标特征关联的局部图像区域。
在一个实施例中，各层空间特征、各层全局特征和各层融合特征均通过特征图形式表征，处理模块，具体用于从N层融合特征中获取第N层融合特征，其中，N层融合特征中的第j层融合特征是基于第i层空间特征Sj和第i层全局特征Cj融合得到的，第i层空间特征Sj和第i层全局特征Cj在特征图维度上与第j层融合特征Aj关联；依照第N层融合特征确定与目标图像区域关联的目标图像。
在一个实施例中，处理模块，还具体用于若j∈[2，N]，则对第j-1层融合特征Aj-1、第i层空间特征Sj、以及第i层全局特征Cj进行融合处理，得到N层融合特征中第j层融合特征Aj。
在一个实施例中，处理模块，还具体用于若j＝1，则获取全局池化特征，该全局池化特征是对N层全局特征中的第N层全局特征进行池化处理后得到；对全局池化特征、第i层空间特征Sj以及第i层全局特征Cj进行融合处理，得到所述N层融合特征中第j层融合特征Aj。
在一个实施例中，处理模块，还具体用于融合第j-1层融合特征Aj-1、第i层空间特征Sj和第i层全局特征Cj，得到特征f；对特征f进行m次卷积操作，并通过激活函数对卷积操作后的结果进行激活处理，得到m个特征矩阵，其中m为大于1的整数；基于m个特征矩阵确定N层融合特征中第j层融合特征Aj。
在一个实施例中，m为3，m个特征矩阵包括f1、f2和f3，处理模块，还具体用于依照目标维度重塑所述f1、f2和f3，并将重塑后的f1的转置矩阵与重塑后的f2相乘，得到注意力矩阵M；对注意力矩阵M进行归一化处理，得到目标矩阵；将目标矩阵与重塑后的f3相乘，并将相乘结果经过卷积后得到N层融合特征中第j层融合特征Aj。
在一个实施例中，处理模块，还具体用于对第N层融合特征进行指定卷积操作得到目标特征图，目标特征图的维度与待处理图像对应矩阵的维度相同；对目标特征图进行图像转换，得到与目标图像区域关联的目标图像。
相应地，本申请实施例还提供了一种计算机设备，该计算机设备包括输出设备、处理器和存储装置；存储装置，用于存储程序指令；处理器，用于调用程序指令并执行上述的图像处理方法。
相应地，本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，该程序指令被执行时，用于实现上述的图像处理方法。
相应地，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述提供的图像处理方法。
本申请实施例中，计算机设备可对待处理图像进行特征提取，得到N层与目标特征关联的空间特征和N层与目标特征关联的全局特征，根据属于同一层的空间特征和全局特征进行融合处理得到N层融合特征，进一步地，可以通过N层融合特征确定与目标图像区域关联的目标图像。实施本申请实施例，可在对待处理图像的处理过程，对每层空间特征和全局特征进行融合得到N层融合特征，使得N层融合特征包含待处理图像丰富的空间特征和全局特征，不仅可以更加准确从待处理图像中分割出目标图像区域，还可以更加清晰的捕捉到目标图像区域的边界，从而使得分割出的目标图像区域更加准确。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种图像分析模型的结构示意图；
图1b是本申请实施例提供的另一种图像分析模型的结构示意图；
图1c是本申请实施例提供的一种图像处理的场景示意图；
图2是本申请实施例提供的一种图像处理方法的流程示意图；
图3是本申请实施例提供的一种确定融合特征的流程示意图；
图4是本申请实施例提供的另一种图像处理方法的流程示意图；
图5是本申请实施例提供的又一种图像分析模型的结构示意图；
图6是本申请实施例提供的一种图像处理装置的结构示意图；
图7是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
AI(Artificial Intelligence，人工智能)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
ML(Machine Learning，机器学习)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的机器学习技术。具体通过如下实施例进行说明：
本申请实施例构建了一种图像分析模型，该图像分析模型包含N个注意力融合模块、N个网络层构成的空间特征模块、N(大于0的整数)个网络层构成的全局特征模块以及M(大于0的整数)个池化层，其中，该池化层可以为全局平均池化层，用于捕获全局语境，计算注意力向量，优化全局特征模块中第N层网络层输出的第N全局特征，便于整合全局语境信息，大大降低计算成本。参见图1a所示，空间特征模块通过各网络层的下采样提取输入图像的N层空间特征，全局特征模块通过各网络层的下采样以获得较大的感受野，从而提取输入图像的N层全局特征；对于空间特征模块中每一层网络层提取的空间特征，以及全局特征模块中每一层网络层提取的全局特征，均可以通过一个注意力融合模块将两者融合得到N层融合特征，使得N层融合特征中第N层融合特征(即图1a中第N个注意力融合模块输出的特征图)可以包含输入图像丰富的空间特征和全局特征。其中，空间特征主要指的是图像的局部细节特征，空间特征的学习有利于图像分析模型更加清晰地捕捉到边界，尤其是对于边缘丰富的图像(例如需要进行病理分析的医学图像)，空间特征更加重要。
可见，本申请实施例提出的图像分析模型可分别学习输入图像的空间特征和全局特征，并通过注意力融合模块将这两部分特征在每一层均进行融合，可以将底层的空间特征和高层的全局特征更加紧密的融合，有利于提高从输入图像中分割出目标图像区域的准确度。
在神经网络中，决定某一层输出结果中一个元素所对应的输入层的区域大小，被称作感受野；在对输入图像进行目标图像区域的分割时，只有感受野大才能充分考虑图像信息，使得分割结果完整、精确；对于神经网络而言，网络越深，感受野越大。除此之外，由于卷积网络规模大，一般要求输入图像尺寸较小，需要对原始图像进行剪切或者缩小，这个过程会损失细节的空间特征，不利于模型对边界的学习。因此，为了在图像分析模型对输入图像的分析过程中，保留丰富的空间特征，且获得较大的感受野，在本申请实施例中的空间特征模块可以包括较少数量的卷积层，全局特征模块可以使用Resnet(Residual NeuralNetwork，残差神经网络)、VGG(Visual Geometry Group Network，视觉几何群网络)、Xception、Resnet-18等深度骨架网络。以空间特征模块包括5个卷积层、全局特征模块使用Resnet-18捕捉全局信息为例，上述图像分析模型可以如图1b所示。
在图像分析模型构建完成后，可以基于目标任务对上述图像分析模型进行训练，后续可以直接通过训练完成的图像分析模型对待处理图像进行分析，并根据图像分析模型输出的分析结果数据确定与目标图像区域关联的目标图像，也即，从待处理图像中分割出目标图像区域。其中，该目标图像区域可以理解为待处理图像中与目标特征关联的局部图像区域。
其中，图像分析模型进行训练的具体方式为：获取大量标注有目标图像区域的图像样本，将这些标注有目标图像区域的图像样本作为训练集，并通过该训练集对图像分析模型进行训练，从而得到用于从输入图像中分割出目标图像区域的图像分析模型。
可以理解的是，上述图像分析模型可应用于任何需要进行目标图像区域分割的领域，例如医疗领域、生物领域等等，以医疗领域为例，待处理图像可包括以下任一种或者多种：脑部扫描图像、腺体扫描图像和细胞图像，目标特征包括以下任一种或者多种：颅内出血特征、腺体钙化特征和细胞核特征；目标图像区域包括以下任一种或者多种：颅内出血图像区域、腺体钙化图像区域和细胞核图像区域。其中，颅内出血是指颅内血管破裂引起出血，根据出血部位不同可分为硬膜外血肿、硬膜下血肿、蛛网膜下腔出血、脑出血和脑室出血；腺体钙化是指在病理学上指腺体局部组织中有钙盐沉积。
假设，对上述图像分析模型进行训练的目标任务为从脑部扫描图像中准确地分割出颅内出血区域，那么，可将标注有颅内出血图像区域的脑部扫描图像作为图像样本，并通过大量的图像样本对图像分析模型进行训练，在训练过程中，图像分析模型可以不断学习与颅内出血特征相关的图像特征，并基于每一次图像分析模型的输出结果调整图像分析模型中各网络层的权重参数，使得各网络层在提取图像特征时，更加关注与颅内出血特征关联的图像特征，从而得到用于从脑部扫描图像中分割出颅内出血图像区域的图像分析模型。
与之相似，可通过标注有腺体钙化图像区域的腺体扫描图像作为图像样本，对图像分析模型进行训练，得到用于从腺体扫描图像中分割出腺体钙化区域的图像分析模型；可通过标注有细胞核图像区域的细胞图像作为图像样本，对图像分析模型进行训练，得到用于从细胞图像中分割出细胞核图像区域的图像分析模型。
从上述内容可知，本申请实施例中可通过不同类型的图像样本训练用于分割出不同图像区域的图像分析模型。在一个实施例中，计算机设备可以调用用于分割出不同图像区域的图像分析模型，也即图像分析模型可以包括多个。这种情况下，当计算机设备获取到待处理图像之后，可以首先识别待处理图像的图像类型，并从多个图像分析模型中选取与该图像类型匹配的目标图像分析模型，进而通过目标图像分析模型对上述待处理图像进行数据分析，以从待处理图像中分割出目标图像区域。
示例性地，以图像分析模型包括第一图像分析模型、第二图像分析模型、第三图像分析模型为例，第一图像分析模型为用于从脑部扫描图像中分割出颅内出血图像区域的图像分析模型；第二图像分析模型为用于从腺体扫描图像中分割出腺体钙化区域的图像分析模型；第三图像分析模型为用于从细胞图像中分割出细胞核图像区域的图像分析模型，各个图像分析模型对应待处理图像的图像类型、和分割出的目标图像区域，如表1所示。这种情况下，当计算机设备获取到一张待处理图像P1之后，若识别到待处理图像P1的图像类型为脑部扫描图像，则可将调用第一图像分析模型，以从脑部扫描图像中分割出颅内出血图像区域，得到与该颅内出血图像区域关联的目标图像；若识别到待处理图像P1的图像类型为腺体扫描图像，则可将调用第二图像分析模型，以从脑部扫描图像中分割出腺体钙化图像区域，得到与该腺体钙化图像区域关联的目标图像；若识别到待处理图像P1的图像类型为细胞图像，则可将调用第三图像分析模型，以从细胞图像中分割出细胞核图像区域，得到与该细胞核图像区域关联的目标图像。
表1
图像分析模型 待处理图像的图像类型 分割出的目标图像区域
第一图像分析模型 脑部扫描图像 颅内出血图像区域
第二图像分析模型 腺体扫描图像 腺体钙化图像区域
第三图像分析模型 细胞图像 细胞核图像区域
或者，在另一个实施例中，计算机设备运行有一个图像处理平台，例如一个应用程序或者网页，用户可以通过登录该图像处理平台，上传待处理图像，并输入对待处理图像的处理需求信息，该处理需求信息用于指示从该待处理图像中分割出的目标图像区域的区域类型，该区域类型可以包括颅内出血图像区域、腺体钙化图像区域和细胞核图像区域等等。进一步地，计算机设备可以获取用户上传的待处理图像和处理需求信息，从多个图像分析模型中选取与处理需求信息所指示的上述区域类型匹配的目标图像分析模型，并通过目标图像分析模型对上述待处理图像进行数据分析，以从待处理图像中分割出目标图像区域。
示例性地，假设图像分析模型包括第一图像分析模型、第二图像分析模型、第三图像分析模型，第一图像分析模型为用于从脑部扫描图像中分割出颅内出血图像区域的图像分析模型；第二图像分析模型为用于从腺体扫描图像中分割出腺体钙化区域的图像分析模型；第三图像分析模型为用于从细胞图像中分割出细胞核图像区域的图像分析模型。计算机设备可以显示如图1c中左图所示的待处理图像处理页面，该页面包括多个目标图像区域选取项，每一个选取项对应一种区域类型。从图1c可以看出，用户上传了图像1，并选取了颅内出血区域这一选项(可以理解为用户输入了处理需求信息，该处理需求信息指示了从图像1中分割出的目标图像区域的区域类型为颅内出血区域)，这种情况下，当计算机设备检测到用户针对图像1的处理开启操作(例如点击图1c中的“确认按钮”)时，那么计算机设备可以将图像1确定为待处理图像，并从多个图像分析模型中选取第一图像分析模型为目标图像处理模型，调用该目标图像处理模型从待处理图像中分割出颅内出血图像区域，得到该颅内出血图像区域对应的目标图像。参见图1c最右边的目标图像，该目标图像中白色的图像区域即为颅内出血图像区域。
需要说明的是，图1a和图1b只是示意性地表征图像分析模型的模型结构，并不对本申请实施例所提出的图像分析模型的模型结构进行限定。例如，图1a中池化层的数量为1个，也可以是M个；图像分析模型中空间特征模块中卷积层的数量也并不局限于图1b所示的5个，也可以包括更多或者更少的数量，例如3个、4个等等。本申请对此不作具体限定。
基于上述图像分析模型的模型结构，本申请实施例提出了一种如图2所示的一种图像处理方法，该图像处理方法可以由计算机设备执行，该计算机设备可以调用上述图1a或者图1b所示的图像分析模型，此处的计算机设备可以包括但不限于：平板电脑、膝上计算机、笔记本电脑以及台式电脑，等等。请参见图2所示，该图像处理方法可包括以下步骤S201-S204：
S201，获取待处理图像。其中，待处理图像包括以下任一种或者多种：脑部扫描图像、腺体扫描图像和细胞图像。
S202，对待处理图像进行特征提取，得到N层与目标特征关联的空间特征和N层与目标特征关联的全局特征，其中，N为大于0的整数。
具体实现中，计算机设备可以调用上述图1a或者图1b所示的图像分析模型(为了描述便于描述，后续若无特别说明均以图1a所示的图像分析模型进行描述)，图像分析模型包含N个注意力融合模块、N个网络层构成的空间特征模块、以及N个网络层构成的全局特征模块。计算机设备可通过空间特征模块中的各网络层提取与目标特征关联的空间特征，得到N层空间特征；通过全局特征模块中的各网络层提取与目标特征关联的全局特征，得到N层全局特征。
在本申请实施例中，空间特征模块中第k1(k1∈[1，N])网络层的输出即为k1层空间特征，全局特征模块中第k2(k2∈[1，N])网络层的输出即为k2层空间特征。
S203，根据属于同一层的空间特征和全局特征进行融合处理，得到N层融合特征。其中，各层空间特征、各层全局特征和各层融合特征均可通过特征图形式表征，属于同一层的空间特征和全局特征对应的特征图维度相同。
从图1a示出的图像分析模型，可以看出，在全局特征模块的N个网络层与空间特征模块的N个网络层中，属于同一层的两个网络层对应一个注意力融合模块，该注意力融合模块可以近似的视为与上述两个网络层属于同一层。其中，属于同一层的两个网络层在特征图维度上，与同一层中注意力融合模块关联。也即，可以理解为属于同一层的两个网络层输出的特征图的维度，符合同一层中注意力融合模块对维度的需求。
具体实现中，计算机设备可通过各注意力融合模块对属于同一层的空间特征和全局特征进行融合处理，得到N层融合特征。在本申请实施例中，第j个注意力融合模块输出的特征图，即为第j层融合特征，j∈[1，N]。
以N个注意力融合模块中第j个注意力融合模块为例，第j个注意力融合模块，用于对空间特征模块的第i网络层和全局特征模块的第i网络层各自输出的特征图进行融合，并输出融合后的特征图(即第j层融合特征)。
可以看出，j层融合特征是基于第i层空间特征Sj和第i层全局特征Cj融合得到的。其中，空间特征模块的第i网络层和全局特征模块中第i网络层在特征图维度上与第j个注意力融合模块关联，也即，可以近似地理解为空间特征模块的第i网络层、全局特征模块中第i网络层与第j个注意力融合模块属于同一层。
S204，通过N层融合特征确定与目标图像区域关联的目标图像。
其中，目标图像区域为待处理图像中与目标特征关联的局部图像区域。例如目标特征为颅内出血特征，那么该局部图像区域则为颅内出血图像区域(即颅内出血位对应的图像区域)；又例如目标特征为腺体钙化特征，那么该局部图像区域则为腺体钙化图像区域(即腺体钙化部分对应的图像区域)；再例如目标特征为细胞核特征，那么该局部图像区域则为细胞核图像区域(即单个细胞核所对应的图像区域)。
在一个实施例中，计算机设备可从N层融合特征中获取第N层融合特征，并依照第N层融合特征确定与目标图像区域关联的目标图像。其中，第N层融合特征是以一个特征图的形式表征，计算机设备可以将表征该第N层融合特征的特征图直接转换为图像，从而得到与目标图像区域关联的目标图像。
通过图1a所示的图像分析模型图中可以看出，在对待处理图像进行分析的过程中，各个注意力融合模块之间通过上采样的形式进行数据处理，除了第一个注意力融合模块以外，剩余的N-1个注意力融合模块中各注意力融合模块的输出与属于同一层的两个网络层的输出(即空间特征和全局特征)，以及上一层注意力融合模块的输出均有关联。第一个注意力融合模块的输出与池化层输出的全局池化特征、空间特征模块的第N网络层、以及全局特征模块的第N网络层的输出关联。这种情况下，N层融合特征中第j层融合特征的具体确定方式可以为：
若j∈[2，N]，则对第j-1层融合特征Aj-1、第i层空间特征Sj、以及第i层全局特征Cj进行融合处理，得到N层融合特征中第j层融合特征Aj；
或者，若j＝1，则获取全局池化特征，该全局池化特征是对N层全局特征中的第N层全局特征进行池化处理后得到。进一步地，可对该全局池化特征、第i层空间特征Sj以及第i层全局特征Cj进行融合处理，得到N层融合特征中第j层融合特征Aj，此处的i等于N。
其中，参见图1a所示的图像分析模型图，图像分析模型包含N个注意力融合模块、N个网络层构成的空间特征模块、N个网络层构成的全局特征模块、以及池化层，该池化层可以为全局平均池化层，上述池化处理可以为平均池化。全局特征模块中的第N网络层得到第N层全局特征后，可以将第N层全局特征输入全局平均池化层，全局平均池化层可以对第N层全局特征中领域内特征点求平均(即平均池化)，得到全局池化特征，并将该全局池化特征输入第一个注意力融合模块。计算机设备可以通过第一个注意力融合模块对该全局池化特征、第1层空间特征S1以及第1层全局特征C1进行融合处理，得到N层融合特征中第1层融合特征A1。
在一个实施例中，上述对第j-1层融合特征Aj-1、第i层空间特征Sj、以及第i层全局特征Cj进行融合处理，得到N层融合特征中第j层融合特征A的具体实施方式可以为：融合(concat)第j-1层融合特征Aj-1、第i层空间特征Sj和第i层全局特征Cj，得到特征f，对特征f进行m(m为大于1的整数)次卷积操作，并通过激活函数对卷积操作后的结果进行激活处理，得到m个特征矩阵。进一步地，基于m个特征矩阵确定N层融合特征中第j层融合特征Aj。
具体实现中，当m＝3，上述m个特征矩阵包括f1、f2和f3，上述基于m个特征矩阵确定N层融合特征中第j层融合特征Aj的具体实施方式可以为：依照目标维度重塑(reshape)f1、f2和f3，并将重塑后的f1的转置矩阵与重塑后的f2相乘，得到注意力矩阵M，对注意力矩阵M进行归一化处理，得到目标矩阵。进一步地，将目标矩阵与重塑后的f3相乘，并相乘结果经过卷积后得到N层融合特征中第j层融合特征Aj。其中，上述目标维度与第i层空间特征Sj、第i层全局特征Cj的维度相同。
示例性地，以m＝3为例，上述N层融合特征中第j层融合特征的计算原理可以参见以下式1.1～式1.6，实现流程可以参见图3所示。
f＝Concat(St,Ct,At-1)   式1.1
Figure BDA0002661463650000111
M＝(Reshape(f1))T×Reshape(f2)   式1.3
Map＝Softmax(M)   式1.4
Aj＝Conv(Reshape(f3)×Map)   式1.5
参见图3所示的流程图，计算机设备可以通过第j个注意力融合模块，将空间特征模块中第i网络层输出的第i层空间特征Sj∈Rc×h×w、空间特征模块中第i网络层输出的第i层全局特征Cj∈Rc×h×w和第j-1个注意力融合模块输出的j-1层融合特征Aj-1∈Rc×h×w，沿着通道融合成一个特征f∈R3c×h×w。其中，空间特征Sj、全局特征Cj和融合特征Aj-1均通过特征图形式表征，特征图实质为一个矩阵，上述R的上标c×h×w用于表征矩阵的维度，c为通道数、h为矩阵的高，w为矩阵的宽；例如，Sj∈Rc×h×w，则表征Sj为一个维度为c×h×w的矩阵。
进一步地，可以对特征f分别进行3次卷积核为3×3的卷积操作，并将其通过激活函数(ReLU)激活，得到3个特征矩阵：f1∈R3c×h×w、f2∈R3c×h×w和f3∈R3c×h×w，并将f1、f2和f3均重塑为Rc×n(即目标维度)，n＝h×w；将f1的转置与f2相乘得到一个注意力矩阵M∈Rn×n，通过softmax函数对M进行归一化处理后得到目标矩阵Map，该目标矩阵Map可以看作是全局的注意力图，目标矩阵Map不仅包含待处理图像局部之间的相关信息，也包含全局的信息，能够引导特征f去更详细地找到待处理图像中目标图像区域的轮廓。然后，可将目标矩阵Map∈Rn×n与重塑后的f3∈Rc×n相乘，这样便可以将输出的维度重塑成Rc×h×w。进一步地，可以再通过一层卷积核大小为1×1的卷积层，对相乘结果进行卷积处理，得到N层融合特征中第j层融合特征Aj，以保证第j层融合特征Aj的维度符合下一层注意力融合模块的需要。
本申请实施例中，可对待处理图像进行特征提取，得到N层与目标特征关联的空间特征和N层与目标特征关联的全局特征，根据属于同一层的空间特征和全局特征进行融合处理得到N层融合特征，进一步地，可以通过N层融合特征确定与目标图像区域关联的目标图像。采用这样的方式，可在对待处理图像的处理过程，对每层空间特征和全局特征进行融合得到N层融合特征，使得N层融合特征包含待处理图像丰富的空间特征和全局特征，不仅可以更加准确从待处理图像中分割出目标图像区域，还可以更加清晰的捕捉到目标图像区域的边界，从而使得分割出的目标图像区域更加准确。
请参见图4，本申请实施例提出了另一种图像处理方法，该图像处理方法可以由计算机设备执行，此处的计算机设备可以包括但不限于：平板电脑、膝上计算机、笔记本电脑以及台式电脑等等。请参见图4所示，该图像处理方法可包括以下步骤S401-S405：
S401，获取待处理图像。
S402，对待处理图像进行特征提取，得到N层与目标特征关联的空间特征和N层与目标特征关联的全局特征。
S403，根据属于同一层的空间特征和全局特征进行融合处理，得到N层融合特征。其中，步骤S401～步骤S403的具体实施方式，可以参见上述实施例中步骤S201～步骤S203的相关描述，此处不再赘述。
S404，从N层融合特征中获取第N层融合特征，并对该第N层融合特征进行指定卷积操作，得到目标特征图。
S405，对目标特征图进行图像转换，得到与目标图像区域关联的目标图像。
在一个实施例中，可以对图1a或者图1b所示的图像分析模型进行优化，在第N个注意力融合模块后增加至少一个卷积层，该卷积层的作用为使得输出的特征图的维度与待处理图像对应矩阵的维度相同，从而保证确定的目标图像与待处理图像的尺寸相同。
示例性地，上述指定卷积操作可以包括卷积核为3×3的第一卷积操作和卷核为1×1的第二卷积操作。以图1b所示的图像分析模型为例，可以在该图像分析模型中的最后一个注意力融合模块后增加两层卷积核分别为3×3和1×1的卷积层，得到优化后的图像分析模型，如图5所示。这种情况下，可以将最后一个注意力融合模块输出的融合特征首先输入卷积核为3×3的第一卷积层，通过第一卷积层对融合特征进行卷积核为3×3的第一卷积操作，并将第一卷积操作后得到的特征图输入第二卷积层，通过第二卷积层对该特征图进行卷积核为1×1第二卷积操作，从而得到目标特征图。
本申请实施例中，可对待处理图像进行特征提取，得到N层与目标特征关联的空间特征和N层与目标特征关联的全局特征，根据属于同一层的空间特征和全局特征进行融合处理得到N层融合特征，进一步地，从N层融合特征中获取第N层融合特征，对第N层融合特征进行指定卷积操作得到目标特征图，所述目标特征图的维度与所述待处理图像对应矩阵的维度相同，对目标特征图进行图像转换，得到与目标图像区域关联的目标。通过实施本申请实施例，不仅可以提高所分割出的目标图像区域的准确性，还有利于保证目标图像与输入的待处理图像在尺寸上的一致性。
下面以将上述所提及图像处理方法运用于从脑部CT(Computed Tomography，计算机断层摄影)扫描图像中分割出颅内出血区域的应用场景为例，对图像分析模型的训练，以及图像处理方法的具体应用进行阐述。
其中，CT是一种结合X线摄影技术与重建数学、计算机技术结合产生的体层成像方法。CT可以采集X线扫描人体结构的信息，经模/数转换、计算机运算、数/模转换等处理，生成被扫描结构的重建横断层面影像。由于计CT能够准确及时而且无损伤地对病人的身体组织进行扫描并且找到新鲜的出血点，因此CT便成为了诊断颅内出血的首选方法。
在从脑部CT扫描图像中分割出颅内出血区域的应用场景中，目标图像区域为颅内出血区域，目标特征为颅内出血特征，待处理图像为脑部CT扫描图。具体地，参见图1a，计算机设备可以调用如图1a所示的图像分析模型，待处理图像为一张脑部CT扫描图像，该图像处理方法的大致流程如下：计算机设备获取脑部CT扫描图之后，可以调用图像分析模型，通过空间特征模块中的N个网络层依照下采样的方式提取N个与目标特征关联的空间特征，通过全局特征模块中的N+1个网络层依照下采用的方式提取N+1个与目标特征关联的全局特征，并通过与每一层的两个网络层近似属于同一层的注意力融合模块，对属于同一层的两个网络层各自输出的空间特征和全局特征进行融合处理，得到N层融合特征，并基于N层融合特征确定包含颅内出血区域的目标图像，该目标图像可以理解为仅包括颅内出血区域的局部图像。后续医生可以通过该目标图像对病人病情进行诊断，辅助医生更加快速的诊断疾病。
由此可见，本申请实施例所提出的图像处理方法，可以在对脑部CT扫描图的分析过程中，对每一层网络层提取的空间特征，以及全局特征模块中每一层网络层提取的全局特征，在每一层上均进行一次融合，得到N层融合特征，使得得到的融合特征可以包含脑部CT扫描图丰富的空间特征和全局特征。通过这些融合特征，不仅可以很好的区分脑部CT扫描图中一些与出血块相似的病理组织(比如钙化的腺体)，还可以更加清晰的捕捉出血块部位与正常的脑组织部分的边界，从而使得从脑部CT扫描图分割出的颅内出血图像区域更加准确。该方法图像处理在从脑部CT扫描图像中分割出颅内出血区域的应用场景中，效果尤为显著。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，该程序指令被执行时，用于实现上述实施例中描述的相应方法。
再请参见图6，是本申请实施例的一种图像处理装置的结构示意图，本申请实施例的图像处理装置可以设置在上述计算机设备中，也可以为运行于计算机设备中的一个计算机程序(包括程序代码)。
本申请实施例的装置的一个实现方式中，装置包括如下结构。
获取模块60，用于获取待处理图像；
处理模块61，用于对所述待处理图像进行特征提取，得到N层与目标特征关联的空间特征和N层与目标特征关联的全局特征，其中，所述N为大于0的整数；
所述处理模块61，还用于将属于同一层的所述空间特征和所述全局特征进行融合处理，得到N层融合特征；
所述处理模块61，还用于通过所述N层融合特征确定与目标图像区域关联的目标图像，所述目标图像区域为所述待处理图像中与所述目标特征关联的局部图像区域。
在一个实施例中，各层空间特征、各层全局特征和各层融合特征均通过特征图形式表征，所述处理模块61，具体用于从所述N层融合特征中获取第N层融合特征，其中，所述N层融合特征中的第j层融合特征是基于第i层空间特征Sj和第i层全局特征Cj融合得到的，所述第i层空间特征Sj和所述第i层全局特征Cj在特征图维度上与所述第j层融合特征Aj关联；依照所述第N层融合特征确定与目标图像区域关联的目标图像。
在一个实施例中，所述处理模块61，还具体用于若所述j∈[2，N]，则对第j-1层融合特征Aj-1、第i层空间特征Sj、以及第i层全局特征Cj进行融合处理，得到所述N层融合特征中第j层融合特征Aj。
在一个实施例中，处理模块61，还具体用于若所述j＝1，则获取全局池化特征，该全局池化特征是对N层全局特征中的第N层全局特征进行池化处理后得到；对全局池化特征、第i层空间特征Sj以及第i层全局特征Cj进行融合处理，得到所述N层融合特征中第j层融合特征Aj。
在一个实施例中，处理模块61，还具体用于融合第j-1层融合特征Aj-1、第i层空间特征Sj和第i层全局特征Cj，得到特征f；对所述特征f进行m次卷积操作，并通过激活函数对卷积操作后的结果进行激活处理，得到m个特征矩阵，其中所述m为大于1的整数；基于所述m个特征矩阵确定所述N层融合特征中第j层融合特征Aj。
在一个实施例中，所述m为3，所述m个特征矩阵包括f1、f2和f3，处理模块61，还具体用于依照目标维度重塑所述f1、f2和f3，并将重塑后的f1的转置矩阵与重塑后的f2相乘，得到注意力矩阵M；对所述注意力矩阵M进行归一化处理，得到目标矩阵；将所述目标矩阵与重塑后的f3相乘，并将相乘结果经过卷积后得到所述N层融合特征中第j层融合特征Aj。
在一个实施例中，处理模块61，还具体用于对所述第N层融合特征进行指定卷积操作得到目标特征图，所述目标特征图的维度与所述待处理图像对应矩阵的维度相同；对所述目标特征图进行图像转换，得到与目标图像区域关联的目标图像。
在一个实施例中，所述待处理图像包括以下任一种或者多种：脑部扫描图像、腺体扫描图像和细胞图像；所述目标特征包括以下任一种或者多种：所述颅内出血特征、腺体钙化特征和细胞核特征；所述目标图像区域包括以下任一种或者多种：颅内出血图像区域、腺体钙化图像区域和细胞核图像区域。
在本申请实施例中，上述各个模块的具体实现可参考前述各个附图所对应的实施例中相关内容的描述。
本申请实施例中的图像处理装置可对待处理图像进行特征提取，得到N层与目标特征关联的空间特征和N层与目标特征关联的全局特征，根据属于同一层的空间特征和全局特征进行融合处理得到N层融合特征，进一步地，可以通过N层融合特征确定与目标图像区域关联的目标图像。通过实施本申请实施例，可在对待处理图像的处理过程，对每层空间特征和全局特征进行融合得到N层融合特征，使得N层融合特征包含待处理图像丰富的空间特征和全局特征，不仅可以更加准确从待处理图像中分割出目标图像区域，还可以更加清晰的捕捉到目标图像区域的边界，从而使得分割出的目标图像区域更加准确。
再请参见图7，是本申请实施例的一种计算机设备的结构示意图，本申请实施例的计算机设备包括供电模块等结构，并包括处理器70、存储装置71以及输出设备72。处理器70、存储装置71以及输出设备72之间可以交互数据，由处理器70实现相应的图像处理功能。
存储装置71可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置71也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储装置71还可以包括上述种类的存储器的组合。
处理器70可以是中央处理器70(central processing unit，CPU)。在一个实施例中，处理器70还可以是图形处理器70(Graphics Processing Unit，GPU)。处理器70也可以是由CPU和GPU的组合。在计算机设备中，可以根据需要包括多个CPU和GPU进行相应的图像处理。
输出设备72可以包括显示器(LCD等)、扬声器等。
在一个实施例中，存储装置71用于存储程序指令。处理器70可以调用程序指令，实现如本申请实施例中上述涉及的各种方法。
在第一个可能的实施方式中，计算机设备的处理器70，调用存储装置71中存储的程序指令，用于获取待处理图像；对所述待处理图像进行特征提取，得到N层与目标特征关联的空间特征和N层与目标特征关联的全局特征，其中，所述N为大于0的整数；将属于同一层的所述空间特征和所述全局特征进行融合处理，得到N层融合特征；通过所述N层融合特征确定与目标图像区域关联的目标图像，所述目标图像区域为所述待处理图像中与所述目标特征关联的局部图像区域。
在一个实施例中，各层空间特征、各层全局特征和各层融合特征均通过特征图形式表征，所述处理器70，具体用于从所述N层融合特征中获取第N层融合特征，其中，所述N层融合特征中的第j层融合特征是基于第i层空间特征Sj和第i层全局特征Cj融合得到的，所述第i层空间特征Sj和所述第i层全局特征Cj在特征图维度上与所述第j层融合特征Aj关联；依照所述第N层融合特征确定与目标图像区域关联的目标图像。
在一个实施例中，所述处理器70，还具体用于若所述j∈[2，N]，则对第j-1层融合特征Aj-1、第i层空间特征Sj、以及第i层全局特征Cj进行融合处理，得到所述N层融合特征中第j层融合特征Aj。
在一个实施例中，处理器70，还具体用于若所述j＝1，则获取全局池化特征，该全局池化特征是对N层全局特征中的第N层全局特征进行池化处理后得到；对全局池化特征、第i层空间特征Sj以及第i层全局特征Cj进行融合处理，得到所述N层融合特征中第j层融合特征Aj。
在一个实施例中，处理器70，还具体用于融合第j-1层融合特征Aj-1、第i层空间特征Sj和第i层全局特征Cj，得到特征f；对所述特征f进行m次卷积操作，并通过激活函数对卷积操作后的结果进行激活处理，得到m个特征矩阵，其中所述m为大于1的整数；基于所述m个特征矩阵确定所述N层融合特征中第j层融合特征Aj。
在一个实施例中，所述m为3，所述m个特征矩阵包括f1、f2和f3，处理器70，还具体用于依照目标维度重塑所述f1、f2和f3，并将重塑后的f1的转置矩阵与重塑后的f2相乘，得到注意力矩阵M；对所述注意力矩阵M进行归一化处理，得到目标矩阵；将所述目标矩阵与重塑后的f3相乘，并将相乘结果经过卷积后得到所述N层融合特征中第j层融合特征Aj。
在一个实施例中，处理器70，还具体用于对所述第N层融合特征进行指定卷积操作得到目标特征图，所述目标特征图的维度与所述待处理图像对应矩阵的维度相同；对所述目标特征图进行图像转换，得到与目标图像区域关联的目标图像。
在一个实施例中，所述待处理图像包括以下任一种或者多种：脑部扫描图像、腺体扫描图像和细胞图像；所述目标特征包括以下任一种或者多种：所述颅内出血特征、腺体钙化特征和细胞核特征；所述目标图像区域包括以下任一种或者多种：颅内出血图像区域、腺体钙化图像区域和细胞核图像区域。
在本申请实施例中，上述处理器70的具体实现可参考前述各个附图所对应的实施例中相关内容的描述。
本申请实施例中的计算机设备可对待处理图像进行特征提取，得到N层与目标特征关联的空间特征和N层与目标特征关联的全局特征，根据属于同一层的空间特征和全局特征进行融合处理得到N层融合特征，进一步地，可以通过N层融合特征确定与目标图像区域关联的目标图像。通过实施本申请实施例，可在对待处理图像的处理过程，对每层空间特征和全局特征进行融合得到N层融合特征，使得N层融合特征包含待处理图像丰富的空间特征和全局特征，不仅可以更加准确从待处理图像中分割出目标图像区域，还可以更加清晰的捕捉到目标图像区域的边界，从而使得分割出的目标图像区域更加准确。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所描述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本申请的部分实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
调用图像分析模型，所述图像分析模型包括N个注意力融合模块、N个网络层构成的空间特征模块、以及N个网络层构成的全局特征模块，属于同一层的两个网络层对应一个注意力融合模块，其中，所述N为大于0的整数；
通过所述空间特征模块中的各网络层对所述待处理图像进行特征提取，得到与目标特征关联的空间特征，得到N层空间特征；通过所述全局特征模块中的各网络层提取与所述目标特征关联的全局特征，得到N层全局特征；
对于N层融合特征中的第j层融合特征，获取全局池化特征，所述全局池化特征是对所述N层全局特征中的第N层全局特征进行池化处理后得到，j=1；对所述全局池化特征、第i层空间特征Sj以及第i层全局特征Cj进行融合处理，得到所述N层融合特征中第j层融合特征Aj；
对于所述N层融合特征中的第j层融合特征，对第j-1层融合特征Aj-1、第i层空间特征Sj、以及第i层全局特征Cj进行融合处理，得到所述N层融合特征中第j层融合特征Aj，j∈[2，N]；
其中，各层空间特征、各层全局特征和各层融合特征均通过特征图形式表征，属于同一层的空间特征和全局特征对应的特征图维度相同，所述第i层空间特征Sj和所述第i层全局特征Cj在特征图维度上与所述第j层融合特征Aj关联，所述空间特征模块的第i网络层和所述全局特征模块中第i网络层在特征图维度上与第j个注意力融合模块关联；
从所述N层融合特征中获取第N层融合特征，依照所述第N层融合特征确定与目标图像区域关联的目标图像，所述目标图像区域为所述待处理图像中与所述目标特征关联的局部图像区域。
2.如权利要求1所述的方法，其特征在于，所述对第j-1层融合特征Aj-1、第i层空间特征Sj、以及第i层全局特征Cj进行融合处理，得到所述N层融合特征中第j层融合特征Aj，包括：
融合第j-1层融合特征Aj-1、第i层空间特征Sj和第i层全局特征Cj，得到特征f；
对所述特征f进行m次卷积操作，并通过激活函数对卷积操作后的结果进行激活处理，得到m个特征矩阵，其中所述m为大于1的整数；
基于所述m个特征矩阵确定所述N层融合特征中第j层融合特征Aj。
3.如权利要求2所述的方法，其特征在于，所述m为3，所述m个特征矩阵包括f1、f2和f3，所述基于所述m个特征矩阵确定所述N层融合特征中第j层融合特征Aj，包括：
依照目标维度重塑所述f1、f2和f3，并将重塑后的f1的转置矩阵与重塑后的f2相乘，得到注意力矩阵M；
对所述注意力矩阵M进行归一化处理，得到目标矩阵；
将所述目标矩阵与重塑后的f3相乘，并将相乘结果经过卷积后得到所述N层融合特征中第j层融合特征Aj。
4.如权利要求1所述的方法，其特征在于，所述依照所述第N层融合特征确定与目标图像区域关联的目标图像，包括：
对所述第N层融合特征进行指定卷积操作得到目标特征图，所述目标特征图的维度与所述待处理图像对应矩阵的维度相同；
对所述目标特征图进行图像转换，得到所述与目标图像区域关联的目标图像。
5.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理图像；
处理模块，用于调用图像分析模型，所述图像分析模型包括N个注意力融合模块、N个网络层构成的空间特征模块、以及N个网络层构成的全局特征模块，属于同一层的两个网络层对应一个注意力融合模块，其中，所述N为大于0的整数；通过所述空间特征模块中的各网络层对所述待处理图像进行特征提取，得到与目标特征关联的空间特征，得到N层空间特征；通过所述全局特征模块中的各网络层提取与所述目标特征关联的全局特征，得到N层全局特征；
所述处理模块，还用于对于N层融合特征中的第j层融合特征，获取全局池化特征，所述全局池化特征是对所述N层全局特征中的第N层全局特征进行池化处理后得到，j=1；对所述全局池化特征、第i层空间特征Sj以及第i层全局特征Cj进行融合处理，得到所述N层融合特征中第j层融合特征Aj；对于所述N层融合特征中的第j层融合特征，对第j-1层融合特征Aj-1、第i层空间特征Sj、以及第i层全局特征Cj进行融合处理，得到所述N层融合特征中第j层融合特征Aj，j∈[2，N]；
其中，各层空间特征、各层全局特征和各层融合特征均通过特征图形式表征，属于同一层的空间特征和全局特征对应的特征图维度相同，所述第i层空间特征Sj和所述第i层全局特征Cj在特征图维度上与所述第j层融合特征Aj关联，所述空间特征模块的第i网络层和所述全局特征模块中第i网络层在特征图维度上与第j个注意力融合模块关联；
所述处理模块，还用于从所述N层融合特征中获取第N层融合特征，依照所述第N层融合特征确定与目标图像区域关联的目标图像，所述目标图像区域为所述待处理图像中与所述目标特征关联的局部图像区域。
6.如权利要求5所述的装置，其特征在于，所述处理模块，还具体用于：
融合第j-1层融合特征Aj-1、第i层空间特征Sj和第i层全局特征Cj，得到特征f；
对所述特征f进行m次卷积操作，并通过激活函数对卷积操作后的结果进行激活处理，得到m个特征矩阵，其中所述m为大于1的整数；
基于所述m个特征矩阵确定所述N层融合特征中第j层融合特征Aj。
7.如权利要求6所述的装置，其特征在于，所述m为3，所述m个特征矩阵包括f1、f2和f3，所述处理模块，还具体用于：
依照目标维度重塑所述f1、f2和f3，并将重塑后的f1的转置矩阵与重塑后的f2相乘，得到注意力矩阵M；
对所述注意力矩阵M进行归一化处理，得到目标矩阵；
将所述目标矩阵与重塑后的f3相乘，并将相乘结果经过卷积后得到所述N层融合特征中第j层融合特征Aj。
8.如权利要求5所述的装置，其特征在于，所述处理模块，还具体用于：
对所述第N层融合特征进行指定卷积操作得到目标特征图，所述目标特征图的维度与所述待处理图像对应矩阵的维度相同；
对所述目标特征图进行图像转换，得到所述与目标图像区域关联的目标图像。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储装置，所述处理器和所述存储装置相互连接，其中，所述存储装置用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-4任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有程序指令，所述程序指令被执行时，用于实现如权利要求1-4任一项所述的方法。
CN202010905927.5A 2020-09-01 2020-09-01 一种图像处理方法、装置、计算机设备及介质 Active CN112037237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010905927.5A CN112037237B (zh) 2020-09-01 2020-09-01 一种图像处理方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010905927.5A CN112037237B (zh) 2020-09-01 2020-09-01 一种图像处理方法、装置、计算机设备及介质

Publications (2)

Publication Number Publication Date
CN112037237A CN112037237A (zh) 2020-12-04
CN112037237B true CN112037237B (zh) 2023-04-07

Family

ID=73592157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010905927.5A Active CN112037237B (zh) 2020-09-01 2020-09-01 一种图像处理方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN112037237B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN109886090A (zh) * 2019-01-07 2019-06-14 北京大学 一种基于多时间尺度卷积神经网络的视频行人再识别方法
CN110689083A (zh) * 2019-09-30 2020-01-14 苏州大学 一种上下文金字塔融合网络及图像分割方法
CN111291759A (zh) * 2020-01-17 2020-06-16 北京三快在线科技有限公司 文字检测方法、装置、电子设备及存储介质
CN111401201A (zh) * 2020-03-10 2020-07-10 南京信息工程大学 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830211A (zh) * 2018-06-11 2018-11-16 厦门中控智慧信息技术有限公司 基于深度学习的人脸识别方法及相关产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886090A (zh) * 2019-01-07 2019-06-14 北京大学 一种基于多时间尺度卷积神经网络的视频行人再识别方法
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN110689083A (zh) * 2019-09-30 2020-01-14 苏州大学 一种上下文金字塔融合网络及图像分割方法
CN111291759A (zh) * 2020-01-17 2020-06-16 北京三快在线科技有限公司 文字检测方法、装置、电子设备及存储介质
CN111401201A (zh) * 2020-03-10 2020-07-10 南京信息工程大学 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
https://blog.csdn.net/wumenglu1018/article/details/95949039;IronLavender;《DANet论文及代码阅读笔记》;20190715;第1-13页 *

Also Published As

Publication number Publication date
CN112037237A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
US20210365717A1 (en) Method and apparatus for segmenting a medical image, and storage medium
Tang et al. E 2 Net: An edge enhanced network for accurate liver and tumor segmentation on CT scans
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN103714536B (zh) 基于稀疏表示的多模态磁共振图像的分割方法及装置
Hu et al. AS-Net: Attention Synergy Network for skin lesion segmentation
CN113436173A (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
Shahsavari et al. Skin lesion detection using an ensemble of deep models: SLDED
CN111382807B (zh) 图像处理方法、装置、计算机设备和存储介质
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN113421228A (zh) 一种基于参数迁移的甲状腺结节识别模型训练方法及系统
CN110827283B (zh) 基于卷积神经网络的头颈血管分割方法及装置
CN116309615A (zh) 一种多模态mri脑肿瘤图像分割方法
Agarwal et al. Weakly supervised lesion co-segmentation on ct scans
CN117078941A (zh) 一种基于上下文级联注意力的心脏mri分割方法
CN113554668B (zh) 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件
Tursynova et al. Brain Stroke Lesion Segmentation Using Computed Tomography Images based on Modified U-Net Model with ResNet Blocks.
CN114663445A (zh) 一种基于多尺度边缘感知的三维心脏图像分割方法
Zhang et al. Regional context-based recalibration network for cataract recognition in AS-OCT
CN117934824A (zh) 一种超声影像的目标区域分割方法、系统及电子设备
CN112037237B (zh) 一种图像处理方法、装置、计算机设备及介质
Ovi et al. Infection segmentation from covid-19 chest ct scans with dilated cbam u-net
Sha et al. A robust segmentation method based on improved U-Net
Raina et al. Slim u-net: Efficient anatomical feature preserving u-net architecture for ultrasound image segmentation
Zeeshan Aslam et al. AML‐Net: Attention‐based multi‐scale lightweight model for brain tumour segmentation in internet of medical things
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40034954

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant