CN116246064A - 一种多尺度空间特征增强方法及装置 - Google Patents

一种多尺度空间特征增强方法及装置 Download PDF

Info

Publication number
CN116246064A
CN116246064A CN202211569881.XA CN202211569881A CN116246064A CN 116246064 A CN116246064 A CN 116246064A CN 202211569881 A CN202211569881 A CN 202211569881A CN 116246064 A CN116246064 A CN 116246064A
Authority
CN
China
Prior art keywords
feature map
feature
image
inputting
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211569881.XA
Other languages
English (en)
Inventor
高文
陈杰
田永鸿
徐凡
耿睿哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202211569881.XA priority Critical patent/CN116246064A/zh
Publication of CN116246064A publication Critical patent/CN116246064A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明所提供的一种多尺度空间特征增强方法及装置，所述方法包括：对待分割病理图像进行处理，得到目标病理图像；将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像；将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图；将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果。本发明通过将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，提取到了信息更丰富的特征图，可以更好地对图像上的目标进行识别和定位，避免了仅依赖于最后一个特征图上的像素，提高了分割精度。

Description

一种多尺度空间特征增强方法及装置
技术领域
本发明涉及医学病理图像分割技术领域，尤其涉及的是一种多尺度空间特征增强方法及装置。
背景技术
医学病理图像分割是医学图像分析和识别的关键步骤，细胞核分割又是病理图像分割的重要组成部分。近年来，很多细胞核分割算法通过利用具有位置信息和语义信息的多层次特征取得了优秀的性能。
随着深度学习的发展，与传统图像分割方法相比较，基于深度学习的图像分割方法在准确度上有了大幅度的提升，近年来得到了广泛的关注。现代视觉识别系统与环境息息相关，由于卷积神经网络的层次结构，上下文信息常常是通过池化、卷积步长或空洞卷积在逐渐变大的感受野上进行编码。因此，最后一层特征图输出的预测基本上是基于丰富的上下文信息，即使对于较小的对象，例如杯子，只有几个“特征像素”，但由于感知到较大的上下文，例如桌子，杯子也可以通过这些辅助信息被识别出来。与此同时，比例大小也很重要，杯子的识别应该分配更多的特征像素，而不仅仅是最后一个特征图上的像素，仅依赖于最后一个特征图上的像素就会忽略很多小物体。
也就是说，现有的细胞实例分割方法仅依赖于最后一个特征图上的像素导致分割精度较低。
因此，现有技术存在缺陷，有待改进与发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种多尺度空间特征增强方法及装置，旨在解决现有技术中细胞实例分割方法仅依赖于最后一个特征图上的像素导致分割精度较低的问题。
本发明解决技术问题所采用的技术方案如下：
一种多尺度空间特征增强方法，其中，包括：
对待分割病理图像进行处理，得到目标病理图像；
将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像；
将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图；
将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果。
在一种实现方式中，所述对待分割病理图像进行处理，得到目标病理图像，包括：
接收待分割病理图像，将所述待分割病理图像的边长缩放至预设范围，得到缩放图像；
对所述缩放图像进行随机裁剪，生成预设分辨率的目标病理图像。
在一种实现方式中，将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像，包括：
将所述目标病理图像输入图像特征提取网络，所述图像特征提取网络是以在图像数据集上预训练得到的50层网络作为基础特征提取器；
所述目标病理图像经所述网络每一阶段后输出不同尺度层级的特征图像。
在一种实现方式中，各个不同尺度层级的特征图像的分辨率分别为目标病理图像的1/4、1/8、1/16和1/32，维度分别为256维、512维、1024维与2048维。
在一种实现方式中，所述图像特征提取网络的预训练公式表示为：
I＝fresnet(V)；
其中，所述I为提取到的特征图像I＝{i1,i2,…,in}，n表示图像数据集中的图像数量，fresnet(.)为图像特征提取网络ResNet，所述V为图像数据集中的图像。
在一种实现方式中，所述将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图，包括：
根据各个不同尺度层级的特征图像构建特征金字塔结构；
获取所述特征金字塔结构中的高层次特征图和低层次特征图；
将所述低层次特征图转换映射为第一特征图和第二特征图，将所述高层次特征图映射为第三特征图；
通过所述第一特征图、所述第二特征图和所述第三特征图将所述低层次特征图上的粗粒度信息合并至所述高层次特征图，得到最终特征图。
在一种实现方式中，通过所述第一特征图、所述第二特征图和所述第三特征图将所述低层次特征图上的粗粒度信息合并至所述高层次特征图，得到最终特征图，包括：
将所述第二特征图输入一个全局平均池化层，得到权重；
将所述权重和所述第三特征图进行逐像素的相乘，得到加权信息；
将所述第一特征图通过步长不同的卷积层，得到低尺度特征图；
将所述加权信息和所述低尺度特征图进行逐像素相加，并通过自注意力机制处理，得到最终特征图。
在一种实现方式中，将所述加权信息和所述低尺度特征图进行逐像素相加，并通过自注意力机制处理，得到最终特征图，包括：
将所述加权信息和所述低尺度特征图进行逐像素相加，得到叠加特征图，所述叠加特征图通过1×1卷积层得到目标特征图；
对所述目标特征图中的像素进行特征空间的映射，获得学习到像素之间依赖关系的最终特征图。
在一种实现方式中，将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果，包括：
将所述最终特征图和属于前景的区域候选框输入感兴趣区域对其层，将所述区域候选框映射到所述最终特征图上，得到区域特征图；
将不同大小的区域特征图缩放到预设统一大小，得到目标区域特征图；将所述目标区域特征图输入维度为1024的两个全卷层，并通过一个激活层进行感兴趣区域的类别预测，同时进行边界框回归，得到检测框的位置坐标；
将所述目标区域特征图输入具有4层卷积层的特征金字塔网络，根据所述检测框的位置坐标，对所述目标区域特征图进行两倍上采样，并进行实例掩码的预测处理，得到分割结果。
在一种实现方式中，将所述最终特征图和属于前景的区域候选框输入感兴趣区域对其层，将所述区域候选框映射到所述最终特征图上，得到区域特征图，包括：
将所述最终特征图和属于前景的区域候选框输入感兴趣区域对其层；
识别所述最终特征图上的图像坐标，将所述图像坐标通过双线性插值转化为特征图坐标；
将所述特征图坐标通过双线性插值转化为感兴趣区域特征坐标；
根据所述感兴趣区域特征坐标将所述区域候选框映射到所述最终特征图上，得到区域特征图。
本发明还提供一种多尺度空间特征增强装置，所述装置包括：
预处理模块，用于对待分割病理图像进行处理，得到目标病理图像；
多尺度特征提取模块，用于将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像；
空间特征增强模块，用于将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图；
分割结果生成模块，用于将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果。
本发明还提供一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多尺度空间特征增强程序，所述多尺度空间特征增强程序被所述处理器执行时实现如上所述的多尺度空间特征增强方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的多尺度空间特征增强方法的步骤。
本发明的有益效果：本发明实施例通过对待分割病理图像进行处理，得到目标病理图像；将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像；将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图；将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果。本发明通过将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，提取到了信息更丰富的特征图，可以更好地对图像上的目标进行识别和定位，避免了仅依赖于最后一个特征图上的像素，提高了分割精度。
附图说明
图1是本发明中多尺度空间特征增强方法较佳实施例的流程图。
图2是本发明中基于多尺度特征增强的病理切片图像细胞核实例分割原理框图。
图3是本发明中空间信息增强模块的不同层级信息交互示意图。
图4是本发明中空间信息增强模块的自注意力机制示意图。
图5是本发明中多尺度空间特征增强装置的较佳实施例的功能原理框图。
图6是本发明中终端的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了有效地识别图像中多尺度的物体信息，为同一张图像生成图像金字塔，其中高级别语义信息就是对应低分辨率的图像，低级别语义信息对应高分辨率的图像，因此，可以在相应级别识别不同比例的对象。例如，在高分辨率图像中识别低语义级别的杯子和在低分辨率图像中识别高语义级别的电脑显示屏。但是由于每张图像都需要使用卷积神经网络进行识别，因此图像金字塔会使神经网络的费时呈几何级数倍增。特征金字塔网络是最具有代表性的算法之一，但它也存在一些明显的局限性。
对于具有像素级标签的实例分割任务而言，往往需要多个尺度的上下文信息。对于小物体而言，可能只需要较低级别特征的局部上下文信息就可以识别出来，但是对于大物体而言，低级别特征的局部上下文信息只包含了物体的一部分细节特征，还需要高级别特征的全局上下文信息才能准确地进行分辨，比如显示屏如果只有部分的细节特征也可能被认作固定电话的屏幕。通过使用非局部卷积和自注意力机制可以将非局部的上下文信息更明确地建模出来，这种空间特征的相互作用更能捕获到准确的信息，克服原始的特征金字塔网络仅仅将不同尺度的特征图进行逐像素的相加来进行信息的融合。
本发明通过对图像特征提取过程中存在的信息损失进行探讨，对细胞图像中细胞堆叠互相遮挡的问题进行分析，从多尺度信息的使用入手，提出了多尺度特征增强的细胞核分割算法，从特征金字塔不同特征层级之间信息传递的时所存在的信息损失出发，建立了多尺度空间信息增强模块。该算法能够保留不同尺度特征的内部信息，挖掘不同层级间更丰富的语义关系。该算法通过充分利用多尺度特征图上的局部与全局语义信息以得到更准确的分割结果。
请参见图1，本发明实施例中多尺度空间特征增强方法包括如下步骤：
步骤S100、对待分割病理图像进行处理，得到目标病理图像。
具体地，当接收到待分割病理图像时，首先进行预处理，得到符合规定的目标病理图像。
在一种实现方式中，所述步骤S100具体包括：
步骤S110、接收待分割病理图像，将所述待分割病理图像的边长缩放至预设范围，得到缩放图像；
步骤S120、对所述缩放图像进行随机裁剪，生成预设分辨率的目标病理图像。
具体地，所述预设范围为[800,1333]，所述预设分辨率为256×256。也就是说，本实施例先将待分割病理图像的边长重新缩放到[800,1333]的范围，对缩放后的图像进行随机裁剪生成256×256分辨率的目标病理图像，以便于将其输入卷积神经网络进行处理。
如图1所示，所述多尺度空间特征增强方法还包括如下步骤：
步骤S200、将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像。
具体地，请参阅图2，本发明是将整张图像输入到卷积神经网络中提取到图像的特征图，以便于将特征图输入到后续的RPN网络。
在一种实现方式中，所述步骤S200具体包括：
步骤S210、将所述目标病理图像输入图像特征提取网络，所述图像特征提取网络是以在图像数据集上预训练得到的50层网络作为基础特征提取器；
步骤S220、所述目标病理图像经所述网络每一阶段后输出不同尺度层级的特征图像。
具体地，图像特征提取网络是一个卷积神经网络，将目标病理图像输入图像特征提取网络，以获取对应的特征图。本发明采用在大规模图像数据集上预训练得到的50层网络作为基础特征提取器，以提高图像特征提取网络的计算精度。
在一种实施例中，各个不同尺度层级的特征图像的分辨率分别为目标病理图像的1/4、1/8、1/16和1/32，维度分别为256维、512维、1024维与2048维。
具体地，取网络每一阶段(C2,C3,C4,C5)的输出作为特征金字塔网络的输入，特征图的分辨率分别为原图的1/4、1/8、1/16和1/32。其维度分别为256维、512维、1024维与2048维。
在一种实现方式中，所述图像特征提取网络的预训练公式表示为：
I＝fresnet(V)；
其中，所述I为提取到的特征图像I＝{i1,i2,…,in}，n表示图像数据集中的图像数量，fresnet(.)为图像特征提取网络ResNet，所述V为图像数据集中的图像。
原始的特征金字塔网络中是首先将C5使用1×1卷积将特征图的通道数降维到256维，得到中间特征M5。M5通过最近邻插值进行上采样再与C4经过进行1×1卷积后的特征图进行逐像素相加得到M4。重复上述过程，分别得到M3与M2。最后将(M2,M3,M4,M5)都经过3×3卷积得到最终的(P2,P3,P4,P5)特征。本发明认为非局部的信息交互本身应该发生在交互对象(或部分)的相应尺度上，而不是像现有方法那样只发生在一个统一尺度上，仅在一个统一尺度的特征图中执行的非局部信息交互不足以充分的表示上下文信息。
如图1所示，所述多尺度空间特征增强方法还包括如下步骤：
步骤S300、将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图。
具体地，本发明将空间信息增强模块加入到原有的自顶向下的结构中，基于原始的特征金字塔网络提出了一种新的特征信息交互模块。基于注意力机制的空间信息增强模块的输入输出尺寸完全一样，所以可以方便地迁移到其他使用特征金字塔结构的实例分割网络中。本发明将其嵌入到一个常见的基于检测的实例分割网络中。
在一种实现方式中，所述步骤S300具体包括：
步骤S310、根据各个不同尺度层级的特征图像构建特征金字塔结构；
步骤S320、获取所述特征金字塔结构中的高层次特征图和低层次特征图；
步骤S330、将所述低层次特征图转换映射为第一特征图和第二特征图，将所述高层次特征图映射为第三特征图；
步骤S340、通过所述第一特征图、所述第二特征图和所述第三特征图将所述低层次特征图上的粗粒度信息合并至所述高层次特征图，得到最终特征图。
具体地，请参阅图3，空间信息增强模块可以通过合并低层次特征图上的粗粒度信息来呈现高层次特征上的细粒度概念，可以实现对不同尺度层级的特征图像进行特征信息上的交互融合。空间信息增强模块的输入是C2和Ch，将Ch所对应的高层次特征图转换映射为第三特征图Q，将C2所对应的低层次特征图映射为第一特征图V和第二特征图K。得到Q和K之后需要度量不同特征层级的特征图的每个位置之间的依赖关系，进而根据不同特征层级的特征图的每个位置之间的依赖关系得到最终特征图。
在一种实施例中，所述步骤S340具体包括：
步骤S341、将所述第二特征图输入一个全局平均池化层，得到权重；
步骤S342、将所述权重和所述第三特征图进行逐像素的相乘，得到加权信息；
步骤S343、将所述第一特征图通过步长不同的卷积层，得到低尺度特征图；
步骤S344、将所述加权信息和所述低尺度特征图进行逐像素相加，并通过自注意力机制处理，得到最终特征图。
具体地，首先K通过一个全局平均池化层得到一个权重w，然后通过w跟Q进行逐像素的相乘进行加权，得到Qatt，之后通过一个3×3卷积对这个Qatt进行微调。V则需要通过步长不同的卷积层来降低低层次特征图的尺度，得到Vdown，最后将Vdown与Qatt进行逐像素相加得到最终的输出。
具体的计算过程包括：
w＝GAP(K)；
Qatt＝w·Q；
Vdown＝fd(V)；
fo＝Vdown+fconv(Qatt)。
本发明提出的空间信息增强模块通过以上过程对不同尺度层级的特征图像进行特征信息上的交互融合。
在一种实施例中，所述步骤S344具体包括：
步骤S3441、将所述加权信息和所述低尺度特征图进行逐像素相加，得到叠加特征图，所述叠加特征图通过1×1卷积层得到目标特征图；
步骤S3442、对所述目标特征图中的像素进行特征空间的映射，获得学习到像素之间依赖关系的最终特征图。
具体地，空间信息增强模块还通过自注意力机制对同一尺度层级的特征图像进行全局空间上的特征融合，也就是说通过度量特征图的任意两个位置之间的依赖关系来获取全局上下文信息。请参阅图4，首先，通过1×1卷积层得到一个特征图V∈RC×H×W，然后通过两个不同的卷积操作得到两个特征图θ(V)和φ(V)，通过θ(V)和φ(V)计算得到注意力图A(Attention map)。最后，学习到了像素之间依赖关系的特征图fo'可以由下式得到：
fo'＝V+λ*A；
Figure BDA0003987565540000111
其中g、θ、φ分别代表三次不同的卷积操作，Softmax为激活函数，λ用于控制在特征图上采用的自注意力机制对最终特征图fo'的影响程度，为了自适应的调整自注意力机智的权重，将λ设置为可学习的参数。
如图1所示，所述多尺度空间特征增强方法还包括如下步骤：
步骤S400、将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果。
具体地，本发明使用基于两阶段检测器的经典实例分割方法作为基线模型来生成分割结果，具体可以分为：感兴趣区域对其层、检测层和分割层。
在一种实现方式中，所述步骤S400具体包括：
步骤S410、将所述最终特征图和属于前景的区域候选框输入感兴趣区域对其层，将所述区域候选框映射到所述最终特征图上，得到区域特征图；
步骤S420、将不同大小的区域特征图缩放到预设统一大小，得到目标区域特征图；将所述目标区域特征图输入维度为1024的两个全卷层，并通过一个激活层进行感兴趣区域的类别预测，同时进行边界框回归，得到检测框的位置坐标；
步骤S430、将所述目标区域特征图输入具有4层卷积层的特征金字塔网络，根据所述检测框的位置坐标，对所述目标区域特征图进行两倍上采样，并进行实例掩码的预测处理，得到分割结果。
具体地，在感兴趣区域对其层中，将特征图和属于前景的区域候选框一起输入到这一层，首先通过感兴趣区域Align层来将区域候选框映射到特征图上得到区域特征图，再将不同大小的区域特征图缩放到统一大小，送入后续的分支预测子网络进行判别。
在检测层中，利用大小为7×7的区域特征图，首先通过维度为1024的两个全卷层，然后通过一个激活层进行感兴趣区域的类别预测，同时进行边界框回归获得检测框最终的位置坐标。
在分割层中，通过具有4层卷积层的特征金字塔网络后，对区域特征图进行两倍上采样，然后进行实例掩码的预测任务。
在一种实施例中，所述步骤S410具体包括：
步骤S411、将所述最终特征图和属于前景的区域候选框输入感兴趣区域对其层；
步骤S412、识别所述最终特征图上的图像坐标，将所述图像坐标通过双线性插值转化为特征图坐标；
步骤S413、将所述特征图坐标通过双线性插值转化为感兴趣区域特征坐标；
步骤S414、根据所述感兴趣区域特征坐标将所述区域候选框映射到所述最终特征图上，得到区域特征图。
具体地，使用池化层(即感兴趣区域对其层)时，需要在图像坐标转换为特征图坐标时和特征图坐标转换为感兴趣区域特征坐标时进行两次量化，这里会引入两次量化误差造成图像中像素和感兴趣区域特征中像素的偏差，影响了性能。感兴趣区域对其通过用双线性插值来取代量化操作解决了区域不匹配的问题，减少坐标转化过程的误差。
本发明提出的一种多尺度空间信息增强的细胞实例分割方法，构建了一种用于不同尺度细胞特征上下文信息建模的空间自注意力机制，将特征信息在不同尺度和空间进行交互融合，得到更为丰富的特征图。首先，基于对图像特征上下文信息和尺度变化，提出了以基于空间信息增强的特征金字塔网络。空间信息增强模块的输入是卷积特征金字塔，输出的特征信息是原有特征信息进行跨越尺度和空间的重编码之后得到的。本发明引入了基于注意力机制的转换结构，将特征信息在不同尺度和空间进行交互融合，增强了空间特征，得到更为丰富的特征图。网络的目标就是通过提取到信息更丰富的特征图来更好地对图像上的目标进行识别和定位，并产生逐像素的预测结果，显著提高了病理切片细胞核分割精度。
在一种实施例中，如图5所示，基于上述多尺度空间特征增强方法，本发明还相应提供了一种多尺度空间特征增强装置，包括：
预处理模块100，用于对待分割病理图像进行处理，得到目标病理图像；
多尺度特征提取模块200，用于将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像；
空间特征增强模块300，用于将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图；
分割结果生成模块400，用于将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果。
在一种实施例中，如图6所示，基于上述多尺度空间特征增强方法，本发明还相应提供了一种终端，包括处理器10、存储器20。图6仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如安装所述终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有多尺度空间特征增强程序30，该多尺度空间特征增强程序30可被处理器10所执行，从而实现本申请中多尺度空间特征增强方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述多尺度空间特征增强方法等。
在一实施例中，当处理器10执行所述存储器20中多尺度空间特征增强程序30时实现以下步骤：
对待分割病理图像进行处理，得到目标病理图像；
将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像；
将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图；
将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果。
所述对待分割病理图像进行处理，得到目标病理图像，包括：
接收待分割病理图像，将所述待分割病理图像的边长缩放至预设范围，得到缩放图像；
对所述缩放图像进行随机裁剪，生成预设分辨率的目标病理图像。
将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像，包括：
将所述目标病理图像输入图像特征提取网络，所述图像特征提取网络是以在图像数据集上预训练得到的50层网络作为基础特征提取器；
所述目标病理图像经所述网络每一阶段后输出不同尺度层级的特征图像。
各个不同尺度层级的特征图像的分辨率分别为目标病理图像的1/4、1/8、1/16和1/32，维度分别为256维、512维、1024维与2048维。
所述图像特征提取网络的预训练公式表示为：
I＝fresnet(V)；
其中，所述I为提取到的特征图像I＝{i1,i2,…,in}，n表示图像数据集中的图像数量，fresnet(.)为图像特征提取网络ResNet，所述V为图像数据集中的图像。
所述将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图，包括：
根据各个不同尺度层级的特征图像构建特征金字塔结构；
获取所述特征金字塔结构中的高层次特征图和低层次特征图；
将所述低层次特征图转换映射为第一特征图和第二特征图，将所述高层次特征图映射为第三特征图；
通过所述第一特征图、所述第二特征图和所述第三特征图将所述低层次特征图上的粗粒度信息合并至所述高层次特征图，得到最终特征图。
通过所述第一特征图、所述第二特征图和所述第三特征图将所述低层次特征图上的粗粒度信息合并至所述高层次特征图，得到最终特征图，包括：
将所述第二特征图输入一个全局平均池化层，得到权重；
将所述权重和所述第三特征图进行逐像素的相乘，得到加权信息；
将所述第一特征图通过步长不同的卷积层，得到低尺度特征图；
将所述加权信息和所述低尺度特征图进行逐像素相加，并通过自注意力机制处理，得到最终特征图。
将所述加权信息和所述低尺度特征图进行逐像素相加，并通过自注意力机制处理，得到最终特征图，包括：
将所述加权信息和所述低尺度特征图进行逐像素相加，得到叠加特征图，所述叠加特征图通过1×1卷积层得到目标特征图；
对所述目标特征图中的像素进行特征空间的映射，获得学习到像素之间依赖关系的最终特征图。
将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果，包括：
将所述最终特征图和属于前景的区域候选框输入感兴趣区域对其层，将所述区域候选框映射到所述最终特征图上，得到区域特征图；
将不同大小的区域特征图缩放到预设统一大小，得到目标区域特征图；将所述目标区域特征图输入维度为1024的两个全卷层，并通过一个激活层进行感兴趣区域的类别预测，同时进行边界框回归，得到检测框的位置坐标；
将所述目标区域特征图输入具有4层卷积层的特征金字塔网络，根据所述检测框的位置坐标，对所述目标区域特征图进行两倍上采样，并进行实例掩码的预测处理，得到分割结果。
将所述最终特征图和属于前景的区域候选框输入感兴趣区域对其层，将所述区域候选框映射到所述最终特征图上，得到区域特征图，包括：
将所述最终特征图和属于前景的区域候选框输入感兴趣区域对其层；
识别所述最终特征图上的图像坐标，将所述图像坐标通过双线性插值转化为特征图坐标；
将所述特征图坐标通过双线性插值转化为感兴趣区域特征坐标；
根据所述感兴趣区域特征坐标将所述区域候选框映射到所述最终特征图上，得到区域特征图。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的多尺度空间特征增强方法的步骤。
综上所述，本发明公开的一种多尺度空间特征增强方法及装置，所述方法包括：对待分割病理图像进行处理，得到目标病理图像；将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像；将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图；将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果。本发明通过将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，提取到了信息更丰富的特征图，可以更好地对图像上的目标进行识别和定位，避免了仅依赖于最后一个特征图上的像素，提高了分割精度。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (13)

1.一种多尺度空间特征增强方法，其特征在于，包括：
对待分割病理图像进行处理，得到目标病理图像；
将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像；
将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图；
将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果。
2.根据权利要求1所述的多尺度空间特征增强方法，其特征在于，所述对待分割病理图像进行处理，得到目标病理图像，包括：
接收待分割病理图像，将所述待分割病理图像的边长缩放至预设范围，得到缩放图像；
对所述缩放图像进行随机裁剪，生成预设分辨率的目标病理图像。
3.根据权利要求1所述的多尺度空间特征增强方法，其特征在于，将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像，包括：
将所述目标病理图像输入图像特征提取网络，所述图像特征提取网络是以在图像数据集上预训练得到的50层网络作为基础特征提取器；
所述目标病理图像经所述网络每一阶段后输出不同尺度层级的特征图像。
4.根据权利要求3所述的多尺度空间特征增强方法，其特征在于，各个不同尺度层级的特征图像的分辨率分别为目标病理图像的1/4、1/8、1/16和1/32，维度分别为256维、512维、1024维与2048维。
5.根据权利要求3所述的多尺度空间特征增强方法，其特征在于，所述图像特征提取网络的预训练公式表示为：
I＝fresnet(V)；
其中，所述I为提取到的特征图像I＝{i1,i2,…,in}，n表示图像数据集中的图像数量，fresnet(.)为图像特征提取网络ResNet，所述V为图像数据集中的图像。
6.根据权利要求1所述的多尺度空间特征增强方法，其特征在于，所述将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图，包括：
根据各个不同尺度层级的特征图像构建特征金字塔结构；
获取所述特征金字塔结构中的高层次特征图和低层次特征图；
将所述低层次特征图转换映射为第一特征图和第二特征图，将所述高层次特征图映射为第三特征图；
通过所述第一特征图、所述第二特征图和所述第三特征图将所述低层次特征图上的粗粒度信息合并至所述高层次特征图，得到最终特征图。
7.根据权利要求6所述的多尺度空间特征增强方法，其特征在于，通过所述第一特征图、所述第二特征图和所述第三特征图将所述低层次特征图上的粗粒度信息合并至所述高层次特征图，得到最终特征图，包括：
将所述第二特征图输入一个全局平均池化层，得到权重；
将所述权重和所述第三特征图进行逐像素的相乘，得到加权信息；
将所述第一特征图通过步长不同的卷积层，得到低尺度特征图；
将所述加权信息和所述低尺度特征图进行逐像素相加，并通过自注意力机制处理，得到最终特征图。
8.根据权利要求7所述的多尺度空间特征增强方法，其特征在于，将所述加权信息和所述低尺度特征图进行逐像素相加，并通过自注意力机制处理，得到最终特征图，包括：
将所述加权信息和所述低尺度特征图进行逐像素相加，得到叠加特征图，所述叠加特征图通过1×1卷积层得到目标特征图；
对所述目标特征图中的像素进行特征空间的映射，获得学习到像素之间依赖关系的最终特征图。
9.根据权利要求8所述的多尺度空间特征增强方法，其特征在于，将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果，包括：
将所述最终特征图和属于前景的区域候选框输入感兴趣区域对其层，将所述区域候选框映射到所述最终特征图上，得到区域特征图；
将不同大小的区域特征图缩放到预设统一大小，得到目标区域特征图；将所述目标区域特征图输入维度为1024的两个全卷层，并通过一个激活层进行感兴趣区域的类别预测，同时进行边界框回归，得到检测框的位置坐标；
将所述目标区域特征图输入具有4层卷积层的特征金字塔网络，根据所述检测框的位置坐标，对所述目标区域特征图进行两倍上采样，并进行实例掩码的预测处理，得到分割结果。
10.根据权利要求9所述的多尺度空间特征增强方法，其特征在于，将所述最终特征图和属于前景的区域候选框输入感兴趣区域对其层，将所述区域候选框映射到所述最终特征图上，得到区域特征图，包括：
将所述最终特征图和属于前景的区域候选框输入感兴趣区域对其层；
识别所述最终特征图上的图像坐标，将所述图像坐标通过双线性插值转化为特征图坐标；
将所述特征图坐标通过双线性插值转化为感兴趣区域特征坐标；
根据所述感兴趣区域特征坐标将所述区域候选框映射到所述最终特征图上，得到区域特征图。
11.一种多尺度空间特征增强装置，其特征在于，所述装置包括：
预处理模块，用于对待分割病理图像进行处理，得到目标病理图像；
多尺度特征提取模块，用于将所述目标病理图像输入图像特征提取网络，提取所述目标病理图像中的不同尺度的特征，得到不同尺度层级的特征图像；
空间特征增强模块，用于将不同尺度层级的所述特征图像输入自注意力机制，进行空间特征增强处理，得到最终特征图；
分割结果生成模块，用于将所述最终特征图输入基于两阶段检测器的基线模型，生成分割结果。
12.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多尺度空间特征增强程序，所述多尺度空间特征增强程序被所述处理器执行时实现如权利要求1～10任意一项所述的多尺度空间特征增强方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如权利要求1～10任意一项所述的多尺度空间特征增强方法的步骤。
CN202211569881.XA 2022-12-08 2022-12-08 一种多尺度空间特征增强方法及装置 Pending CN116246064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211569881.XA CN116246064A (zh) 2022-12-08 2022-12-08 一种多尺度空间特征增强方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211569881.XA CN116246064A (zh) 2022-12-08 2022-12-08 一种多尺度空间特征增强方法及装置

Publications (1)

Publication Number Publication Date
CN116246064A true CN116246064A (zh) 2023-06-09

Family

ID=86628493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211569881.XA Pending CN116246064A (zh) 2022-12-08 2022-12-08 一种多尺度空间特征增强方法及装置

Country Status (1)

Country Link
CN (1) CN116246064A (zh)

Similar Documents

Publication Publication Date Title
CN111428586B (zh) 基于特征融合与样本增强的三维人体姿态估计方法
CN111369581B (zh) 图像处理方法、装置、设备及存储介质
CN110084299B (zh) 基于多头融合注意力的目标检测方法和装置
CN111191654B (zh) 道路数据生成方法、装置、电子设备及存储介质
CN111968064B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111932546A (zh) 图像分割模型训练方法、图像分割方法、装置、设备及介质
MX2007010180A (es) Importacion inteligente de informacion de la interfaz de usuario de aplicacion del exterior utilizando inteligencia artificial.
WO2019065703A1 (ja) 情報処理装置
CN114612289A (zh) 风格化图像生成方法、装置及图像处理设备
CN116071300A (zh) 一种基于上下文特征融合的细胞核分割方法及相关设备
CN110633640A (zh) 优化PointNet对于复杂场景的识别方法
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
CN113903022A (zh) 基于特征金字塔与注意力融合的文本检测方法及系统
Jiang et al. Tabcellnet: Deep learning-based tabular cell structure detection
CN114332894A (zh) 图像的文本检测方法及装置
Zheng et al. Transformer-based hierarchical dynamic decoders for salient object detection
CN113436287A (zh) 一种基于lstm网络与编解码网络的篡改图像盲取证方法
Vijayalakshmi K et al. Copy-paste forgery detection using deep learning with error level analysis
CN112232102A (zh) 一种基于深度神经网络和多任务学习的建筑物目标识别方法和系统
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN116246064A (zh) 一种多尺度空间特征增强方法及装置
CN114387489A (zh) 电力设备识别方法、装置和终端设备
CN114155540A (zh) 基于深度学习的文字识别方法、装置、设备及存储介质
Mujtaba et al. Automatic solar panel detection from high-resolution orthoimagery using deep learning segmentation networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination