CN116071300A - 一种基于上下文特征融合的细胞核分割方法及相关设备 - Google Patents

一种基于上下文特征融合的细胞核分割方法及相关设备 Download PDF

Info

Publication number
CN116071300A
CN116071300A CN202211580495.0A CN202211580495A CN116071300A CN 116071300 A CN116071300 A CN 116071300A CN 202211580495 A CN202211580495 A CN 202211580495A CN 116071300 A CN116071300 A CN 116071300A
Authority
CN
China
Prior art keywords
feature
region
feature map
output
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211580495.0A
Other languages
English (en)
Inventor
田永鸿
高文
陈杰
徐凡
耿睿哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202211580495.0A priority Critical patent/CN116071300A/zh
Publication of CN116071300A publication Critical patent/CN116071300A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于上下文特征融合的细胞核分割方法及相关设备，所述方法包括：获取医学细胞图像，将医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个特征图输入特征金字塔，特征金字塔中的上下文增强模块对特征图进行特征融合得到输出特征；将输出特征输入到区域提取网络得到候选框，感兴趣区域对齐层将根据候选框得到感兴趣区域特征；将感兴趣区域特征发送给特征自适应选择模块得到特征级别的组合特征表示；基于组合特征表示分别计算出感兴趣区域的类别分类、候选框坐标和边缘感知掩码，从而实现细胞核进行分割。本发明通过上下文增强模块和特征自适应选择模块对医学细胞图像进行处理，显著提高病理切片细胞核的分割精度。

Description

一种基于上下文特征融合的细胞核分割方法及相关设备
技术领域
本发明涉及医学图像处理领域，尤其涉及一种基于上下文特征融合的细胞核分割方法、系统、终端及计算机可读存储介质。
背景技术
医学图像分割是医学图像处理与分析过程的重要组成部分，也是计算机辅助诊断的关键步骤；医学图像分割的目的就是将医学图像中解剖或病理结构的变化更加清晰，它在计算机辅助诊断和智慧医疗中发挥着至关重要的作用，极大地提高了诊断效率和准确性。目前常见的医学图像分割任务包括肝脏和肝脏肿瘤分割、脑和脑肿瘤分割、细胞分割、肺分割和肺结节等，其中细胞核分割主要应用于癌症诊断过程中。细胞核分割是整个组织细胞图像分析中的关键一步。在数字显微组织图像中，细胞核分割可以提取高质量的特征，用于核形态的检测和其他计算病理学的分析，如果分割结果不准确会对后续的分析步骤产生很大的影响。在不同患者、器官和疾病状态的组织图像中精准分割细胞核的技术也可以为临床和医学研究软件的开发做出重要的贡献。如果可以达到精确分割，就可以得到详细的形态和外观特征，如细胞核与细胞质的比例、细胞核的平均大小和多边形性等。根据细胞核的分割结果可以识别不同类型的细胞核，还可以获得有关腺体形状的信息，这些信息不仅可以用来评估癌症分级，还可以用来预测治疗效果，并对开发抗癌药物提供帮助。
但是医学细胞图像常常会存在细胞边缘模糊，多个细胞相互堆叠的问题；但现有技术中是对整张图像进行逐像素的分割，再进行聚类处理得到独立的实例细胞，当有多个细胞堆在一起并相互遮挡时，这种方法往往不能达到比较好的分割性能；然而，最近的一些研究表明特征金字塔网络结构还存在一些问题。首先，它只是在不鼓励信息传播的情况下将不同的特征层叠加起来以扩大感受野，多层次的特征图仅通过自顶向下的逐像素相加的方式进行合并，忽略了不同层次的特征图之间所具有的语义鸿沟。同时，在进行合并的过程中，低层次的特征可以通过融合高层次的特征来获得更强的语义特征，高层次的特征在通过1×1卷积改变通道数的过程中却会损失信息。因此，如何防止特征金字塔网络结构在最高级别特征映射和次优特征融合策略的信息丢失，以提高病理切片细胞核分割精度是当前大环境下亟需解决的问题。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于上下文特征融合的细胞核分割方法及相关设备，旨在解决现有技术中特征金字塔网络结构在最高级别特征映射和次优特征融合策略的造成信息丢失，导致病理切片细胞核分割精度较低的问题。
为实现上述目的，本发明提供一种基于上下文特征融合的细胞核分割方法，所述基于上下文特征融合的细胞核分割方法包括如下步骤：
获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔，所述特征金字塔中的上下文增强模块对每个所述特征图进行特征融合得到输出特征；
将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框，感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征；
将所述感兴趣区域特征发送给特征自适应选择模块，所述特征自适应选择模块根据所述感兴趣区域特征得到感兴趣区域中所有特征级别的组合特征表示；
基于所述组合特征表示分别计算出所述感兴趣区域的类别分类、所述候选框的坐标和边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割。
可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔，所述特征金字塔中的上下文增强模块对每个所述特征图进行特征融合得到输出特征，具体包括：
获取所述医学细胞图像，将所述医学细胞图像输入至所述卷积神经网络进行堆叠，根据下采样改变所述医学细胞图像的分辨率，并根据所述分辨率的不同得到不同的阶段的特征图；
获取多个不同扩张率的空洞卷积，根据密集连接的方式将每个不同扩张率的空洞卷积进行结合得到特征金字塔，并将所述特征图输入至所述特征金字塔中；
所述特征金字塔中根据上下文增强模块增强所述特征图的粗粒度信息，并将增强后的粗粒度信息与原始的粗粒度信息进行像素相加融合，得到所述输出特征。
可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述将所述特征图输入至所述特征金字塔中，之后还包括：
对所述特征图的输入信号进行空洞卷积操作得到的输出信号为：
Figure BDA0003990574830000041
其中，y[i]为空洞卷积操作后得到的输出信号，i为特征图某一像素的位置下标，d为扩张率，w[k]为卷积核的第k个参数，其中，当d＝1时，所述空洞卷积为普通卷积；
所述密集连接的输出方式为：xl＝Hl([x1,x2,…,xl])；
其中，l为层数，xl为第l层的输出，Hl为对第l层非线性变换。
可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述空洞卷积的计算公式为：
Figure BDA0003990574830000042
其中，yi为前一阶段第i层的输出特征图，H为输入特征图的高，di为第i层的扩张率，K为空洞卷积层的尺寸，[yi,yi-1,…,y1]为之前所有特征层进行级联所产生的特征图，y1表示前一阶段第一层的输出特征图。
可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述获取多个不同扩张率的空洞卷积，根据密集连接的方式将每个不同扩张率的空洞卷积进行结合得到密集金字塔，并将所述特征图输入至所述密集金字塔中，之后还包括：
对全局平均池化层处理得到全局特征向量，将所述全局特征向量进行上采样得到目标全局特征向量，并将所述目标全局特征向量与空洞卷积层的输出进行连接获得特征图；
将所述特征图输入到一个1×1的卷积层中，并融合所述特征图的粗粒度和细粒度特征。
可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述基于上下文增强模块增强所述特征图的粗粒度信息，并将增强后的粗粒度信息与原始的粗粒度信息进行像素相加融合，得到输出特征，之后还包括：
获取输入特征图F，根据卷积层Wq和卷积层Wk分别将所述输入特征图的特征映射转换到潜在特征空间，得到特征图Q和特征图K’；
对所述特征图Q和所述特征图K’进行特征维度重组得到目标特征图，对所述目标特征图处理得到关系矩阵，并对所述关系矩阵进行归一化处理得到注意力矩阵R。
可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述特征图Q的计算公式：
Figure BDA0003990574830000051
其中，Q为经过卷积层Wq后得到的特征图，T为矩阵转置操作；
所述特征图K’的计算公式为：
Figure BDA0003990574830000052
其中，K’为经过卷积层Wk后得到的特征图；
所述注意力矩阵R的计算公式为：R＝QTK'。
可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述对所述关系矩阵进行归一化处理得到注意力矩阵R，之后还包括：
获取卷积层Wv，基于所述卷积层Wv对所述输入特征图处理得到新的特征图V，并将所述注意力矩阵R与所述特征图V进行逐像素相乘得到注意力增强的特征图E；
所述特征图V的表达式为：
Figure BDA0003990574830000061
其中，F为输入特征图；
所述特征图E的表达式为：Ei＝R⊙Vi；
其中，⊙为逐元素对应相乘操作，Ei为第i个特征图。
可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述所述将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框，感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征，具体包括：
根据感兴趣区域对齐层将所述特征金字塔的每一个特征层进行特征映射，得到感兴趣区域的区域特征金字塔，将所述区域特征金字塔输入到特征融合模块中，并基于所述特征融合模块将所述区域特征金字塔的区域特征图根据通道进行拼接得到输出特征图；
获取所述输出特征图的通道，根据全局平均池将所述通道的空间特征进行编码得到全局特征，对所述全局特征的维度进行压缩，并将压缩后的维度进行扩张得到所述通道的注意力权重系数；
将所述注意力权重系数进行拆分得到四个权值向量，将所述权值向量与所述区域特征金字塔的特征进行逐层逐像素相乘，得到加权后的区域特征金字塔，并将加权后的区域特征金字塔中的特征进行逐像素相加，得到感兴趣区域特征。
可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述输出特征图的计算公式为：
Figure BDA0003990574830000062
其中，q[i]为输出特征图，p[i]为输入特征图，⊙为逐元素相乘的操作，i为特征图某一像素的位置下标，W为输入特征图的宽；
其中，所述
Figure BDA0003990574830000071
的计算过程为：
u＝Conv(X)；
Figure BDA0003990574830000072
其中，X为输入特征，Conv为卷积层操作，u为卷积操作后的输出，c为特征图的某一个通道，i和j均为特征图某一像素的位置下标，H为输入特征图的高，zc为
Figure BDA0003990574830000073
操作后得到的输出。
此外，为实现上述目的，本发明还提供一种基于上下文特征融合的细胞核分割系统，其中，所述基于上下文特征融合的细胞核分割系统包括：
数据输入模块，用于获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔；
上下文增强模块，用于对每个所述特征图进行特征融合得到输出特征；
候选框获取模块，用于将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框；
候选框处理模块，用于感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征，将所述感兴趣区域特征发送给特征自适应选择模块；
特征自适应选择模块，用于根据所述感兴趣区域特征得到感兴趣区域中所有特征级别的组合特征表示；
细胞核分割模块，用于基于所述组合特征表示分别计算出所述感兴趣区域的类别分类、所述候选框的坐标和边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于上下文特征融合的细胞核分割程序，所述基于上下文特征融合的细胞核分割程序被所述处理器执行时实现如上所述的基于上下文特征融合的细胞核分割方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于上下文特征融合的细胞核分割程序，所述基于上下文特征融合的细胞核分割程序被处理器执行时实现如上所述的基于上下文特征融合的细胞核分割方法的步骤。
本发明中，获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔，所述特征金字塔中的上下文增强模块对每个所述特征图进行特征融合得到输出特征；将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框，感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征；将所述感兴趣区域特征发送给特征自适应选择模块，所述特征自适应选择模块根据所述感兴趣区域特征得到感兴趣区域中所有特征级别的组合特征表示；基于所述组合特征表示分别计算出所述感兴趣区域的类别分类、所述候选框的坐标和边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割。本发明通过在上下文增强模块中，基于注意力机制的上下文增强模块注重挖掘广泛的上下文信息，捕获具有重要的语义，以减少最高金字塔级特征映射的信息丢失；然后将特征发送给特征自适应选择模块，在每个感兴趣区域的所有特征级别上自适应地获得一个组合特征表示，最后根据这些特征表示分别计算出感兴趣区域类别的分类，候选框的坐标和边缘感知掩码，从而实现医学病理切片图像的分割。
附图说明
图1是本发明中基于上下文特征融合的细胞核分割方法的较佳实施例的流程图；
图2是本发明中基于上下文特征融合的细胞核分割方法的较佳实施例中普通卷积示意图；
图3是本发明中基于上下文特征融合的细胞核分割方法的较佳实施例中空洞卷积示意图；
图4是是本发明中基于上下文特征融合的细胞核分割方法的上下文信息增强模块示意图；
图5是是本发明中基于上下文特征融合的细胞核分割方法的自适应特征融合模块示意图；
图6是本发明中基于上下文特征融合的细胞核分割方法的较佳实施例的整体流程示意图；
图7是本发明中基于上下文特征融合的细胞核分割系统的较佳实施例的原理示意图；
图8为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。
本发明较佳实施例所述的基于上下文特征融合的细胞核分割方法，如图1所示，所述基于上下文特征融合的细胞核分割方法包括以下步骤：
步骤S10、获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔，所述特征金字塔中的上下文增强模块对每个所述特征图进行特征融合得到输出特征。
所述步骤S10包括：
步骤S11、获取所述医学细胞图像，将所述医学细胞图像输入至所述卷积神经网络进行堆叠，根据下采样改变所述医学细胞图像的分辨率，并根据所述分辨率的不同得到不同的阶段的特征图；
步骤S12、获取多个不同扩张率的空洞卷积，根据密集连接的方式将每个不同扩张率的空洞卷积进行结合得到特征金字塔，并将所述特征图输入至所述特征金字塔中；
步骤S13、所述特征金字塔中根据上下文增强模块增强所述特征图的粗粒度信息，并将增强后的粗粒度信息与原始的粗粒度信息进行像素相加融合，得到所述输出特征。
具体地，获取所述医学细胞图像，将医学细胞图像输入卷积神经网络进行堆叠，卷积神经网络在堆叠的过程中会使用下采样改变分辨率，根据分辨率的不同将卷积神经网络分为不同的阶段，将不同阶段得到的特征图都输入到特征金字塔中进行特征融合；在特征金字塔的特征融合过程中，特征图的特征将以自顶向下的方式传播，底层特征可以通过来自高层特征的更强语义信息得到改进。然而，最高金字塔层级的特征由于使用了1×1卷积进行降维导致通道数减少而丢失了语义信息，并且没有其他更高层的信息来进行信息的补充，因此本发明中提出上下文增强模块来补充最高层特征图的信息损失。
为了解决特征金字塔结构中最高层特征图所面对的信息损失问题，通过上下文增强模块来获取不同大小的感受野上所集成的上下文信息；由于最高层特征图本身分辨率已经很低，如果进行下采样再上采样的操作会损失掉大部分信息；因此，为了在保持特征图分辨率的基础上得到不同感受野的上下文信息(感受野：卷积神经网络每一层输出的特征图上的像素点映射回输入图像上的区域大小，即特征图上一点相对于原图的大小，也是卷积神经网络特征所能看到输入图像的区域)，在本发明中采用不同扩张率的空洞卷积层作为基本模块，图2中为普通卷积，图3中为空洞卷积，图2与图3展现了普通卷积与空洞卷积的区别。如图3所示为膨胀率为2的空洞卷积，同样是3×3的卷积，空洞卷积的感受野从3×3扩大到了5×5；在一维情况下，对于输入x施加一个空洞卷积操作可以表示为：
Figure BDA0003990574830000111
其中，y[i]为空洞卷积操作后得到的输出信号，i为特征图某一像素的位置下标，d为扩张率，w[k]为卷积核的第k个参数；当d＝1时，这个空洞卷积就和普通卷积操作一样。空洞卷积不是在像素之间填充一些空白像素，而是在已有的像素上跳过一些像素，或者输入不变在卷积核的参数中间插入d-1个0的权重；如图3实际是一个d＝2的3×3卷积相当于一个5×5卷积，只有9个位置权重不为0，其余都为0；图2和图3两层叠加得到7×7的感受野；因此，一个大的扩张速率意味着一个大的感受野，空洞卷积的实际大小R'为：R'＝K+(K-1)×(d-1)，K为空洞卷积的尺寸；堆叠两个卷积层可以得到一个更大的感受野，例如，有两个卷积层的尺寸分别为K1和K2，那么两层卷积层叠加后得到的感受野K0＝K1+K2-1；但空洞卷积层也存在一定的问题，扩张率大的空洞卷积在感受野很大的条件下，依旧只有很少的像素被采样进行了计算，在这个过程中虽然得到了更大的感受野，但是计算过程丢失了大量的信息。同时，只采用大扩张率的空洞卷积的信息可能只会对一些大物体的分割有效果，而对于小物体有弊无利。
进一步地，如何处理好不同大小物体的关系也是设计空洞卷积网络的关键，本发明中使用密集连接的方式将每个不同扩张率的空洞卷积结合到一起，扩张率分别为{3，12，24}，使得后面的神经元在获得越来越大的感受野的同时通过跳层连接共享了信息，扩张率大和扩张率从小的空洞卷积相互依赖构成了密集金字塔，同时也避免了过大的膨胀率导致的卷积退化；密集连接在网络的一个模块中，每一层的输出特征图是前面几层的输出特征图做通道上的合并后的结果，相当于高低层的特征进行了一个融合；密集连接的输出层计算方式为：：xl＝Hl([x1,x2,…,xl])；其中，l为层数，xl为第l层的输出，Hl为对第l层非线性变换；通过密集连接和空洞卷积的计算公式，可以推出通过密集连接一系列空洞卷积层的模块中，每一层空洞卷积的计算公式为：
Figure BDA0003990574830000121
其中，yi为前一阶段第i层的输出特征图，H为输入特征图的高，di为第i层的扩张率，K为空洞卷积层的尺寸，[yi,yi-1,…,y1]为之前所有特征层进行级联所产生的特征图，y1表示前一阶段第一层的输出特征图。为了保持初始输入的粗粒度信息，还输入通过全局平均池化层得到一个全局特征向量，将此全局特征向量进行上采样后与空洞卷积层的输出连接起来获得一个特征图，将该特征图输入到一个卷积层中，融合粗粒度和细粒度特征；通过这样的方式在保持特征图分辨率的情况下融合不同大小的上下文信息。
进一步地，为了捕获区域之间的语义依赖关系，本发明还引入了基于注意力机制的上下文注意模块，如图4所示，该上下文注意模块自适应地更加关注相关分区之间的关系，具体模型的建立如图4虚线部分所示，通过利用两个卷积层Wq和Wk将输入特征图
Figure BDA0003990574830000131
的特征映射转换到一个潜在特征空间，其中
Figure BDA0003990574830000132
代表数域，C代表输入特征图F的通道数，H代表输入特征图F的高，W代表输入特征图F的宽。转换后的特征映射由式(1)和(2)进行计算：
Figure BDA0003990574830000133
Figure BDA0003990574830000134
其中，Q为经过卷积层Wq后得到的特征图，K'为经过卷积层Wk后得到的特征图，
Figure BDA0003990574830000135
T表示矩阵转置操作；通过特征维度重组(reshape)操作将特征图Q和特征图K'的维度转换为
Figure BDA0003990574830000136
其中N＝H×W，然后为了计算子区域之间的相关关系，通过对一个关系矩阵进行归一化后，再通过一个Sigmoid激活函数和一个平均池化层进行处理，得到注意力矩阵
Figure BDA0003990574830000137
所述注意力矩阵R的计算公式为：R＝QTK'；在通过特征图计算得到注意力矩阵R的同时，通过卷积层对特征图F进行操作得到另一种新的特征图V，特征图V的表达式为：
Figure BDA0003990574830000138
其中
Figure BDA0003990574830000139
Figure BDA0003990574830000141
最后将注意力矩阵R与特征图V进行逐像素相乘得到注意力增强的特征图E，特征图E的表达式为：Ei＝R⊙Vi；其中，⊙为逐元素对应相乘操作，Ei为第i个特征图；为了保持初始输入的粗粒度的信息，本算法还将上下文增强后的信息与原始的信息通过逐像素相加来融合起来。由于该上下文增强模块的输入和输出维度完全一致，所以该模块可以灵活地嵌入到各种类型的卷积网络中。
步骤S20、将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框，感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征。
所述步骤S20包括：
步骤S21、根据感兴趣区域对齐层将所述特征金字塔的每一个特征层进行特征映射，得到感兴趣区域的区域特征金字塔，将所述区域特征金字塔输入到特征融合模块中，并基于所述特征融合模块将所述区域特征金字塔的区域特征图根据通道进行拼接得到输出特征图；
步骤S22、获取所述输出特征图的通道，根据全局平均池将所述通道的空间特征进行编码得到全局特征，对所述全局特征的维度进行压缩，并将压缩后的维度进行扩张得到所述通道的注意力权重系数；
步骤S23、将所述注意力权重系数进行拆分得到四个权值向量，将所述权值向量与所述区域特征金字塔的特征进行逐层逐像素相乘，得到加权后的区域特征金字塔，并将加权后的区域特征金字塔中的特征进行逐像素相加，得到感兴趣区域特征。
具体地，将每个候选框映射到特征金字塔中的不同特征级别，然后使用感兴趣区域对齐层来将不同大小的感兴趣区域映射到某一特征层次的特征图上来获取感兴趣区域候选框所对应的区域特征；每个感兴趣区域区域特征都是通过在特定特征级别上进行感兴趣区域坐标与特征图坐标的映射而获得的，该特定特征级别是根据感兴趣区域大小启发式选择的。通常，将较小的感兴趣区域分配给较低的级别，而将较大的感兴趣区域分配给较高的级别。故存在着两个问题，第一，为了更有效地批量计算需要将不同尺度的候选区域通过感兴趣区域池化或者感兴趣区域对齐缩放到统一尺度，将所有裁剪区域的大小调整到14×14(使用反卷积将其上采样为28×28)，这会限制实例分割的输出分辨率，大型的实例需要更高的分辨率才能保留边界的细节；第二，根据感兴趣区域的大小启发式地选取映射的特征层级不一定是最优解，可能会因此错失其他特征层次中对该目标物体的有利信息。
针对上述的第二个问题，通过融合所有特征级别的感兴趣区域特征，并选择由全连接层所产生的具有最大响应感兴趣区域特征点生成最终的区域特征图来进行后续的候选框的调整，提高了实例分割的性能，但额外增加的全连接层显著地增加了参数。此外，取最大值的操作只选择响应最高的特征点，而忽略其他层次中响应较低的特征，这可能会阻碍不同级别的特性得到充分利用；在得到特征金字塔网络的输出特征{P2,P3,P4,P5}后，对这些特征进行融合并调整，再对调整后的{P'2,P'3,P'4,P'5}通过感兴趣区域Align进行感兴趣区域的特征映射得到区域特征。而在本发明中提出了一种基于注意力机制的自适应特征融合模块，该自适应特征融合模块可以通过学习从特征金字塔网络中生成更具有判别性的感兴趣区域特征来解决此问题。
其中，自适应特征融合模块的结构如图5所示，首先通过感兴趣区域对齐层对特征金字塔网络中的每一个特征层(例如，P2、P3、P4、P5)进行特征映射，得到属于感兴趣区域的区域特征金字塔，也就是4个维度为C×7×7的特征，C是通道数，通常设定为256；然后将从不同层次特征图映射得到的区域特征金字塔输入到自适应特征融合模块中，利用注意力机制自适应地选择有用的特征；在自适应特征融合模块中，首先将区域特征金字塔中包含不同层次语义信息的区域特征图根据通道进行拼接，得到4C×7×7的特征图；其次，将特征图通过全局平均池将一个通道上的整个空间特征编码为一个全局特征，维度为4C×1×1；然后为了降低模型的复杂度，通过一个1×1卷积减少参数，将权重维度压缩为C/4×1×1；再经过一个1×1卷积将维度扩张回4C×1×1，得到各个通道的注意力权重系数；将各个通道的注意力权重系数合并成一个总的权重系数，并将此总的权重系数分为4个C×1×1的向量；最后通过一个激活层来对权值向量进行归一化，将权值向量与原有的区域特征金字塔中的特征逐层逐像素相乘，得到使用注意力机制加权后的区域特征金字塔。对于输入特征图，则输出特征图的计算过程为：
Figure BDA0003990574830000162
其中，q[i]为输出特征图，p[i]为输入特征图，⊙为逐元素相乘的操作，i为特征图某一像素的位置下标，W为输入特征图的宽；其中，所述
Figure BDA0003990574830000163
的计算过程为：
u＝Conv(X)；
Figure BDA0003990574830000161
其中，X为输入特征，Conv为卷积层操作，u为卷积操作后的输出，c为特征图的某一个通道，i和j均为特征图某一像素的位置下标，H为输入特征图的高，zc为
Figure BDA0003990574830000171
操作后得到的输出；将分成几个部分对应不同特征层级的权重，在得到转换后的区域特征金字塔后，将这些特征进行逐像素相加和，得到最终的感兴趣区域特征。
步骤S30、将所述感兴趣区域特征发送给特征自适应选择模块，所述特征自适应选择模块根据所述感兴趣区域特征得到感兴趣区域中所有特征级别的组合特征表示。
具体地，在得到最终的感兴趣区域特征后，将所述感兴趣区域特征发送给特征自适应选择模块，所述特征自适应选择模块根据所述感兴趣区域特征得到感兴趣区域中所有特征级别的组合特征表示。
步骤S40、基于所述组合特征表示分别计算出所述感兴趣区域的类别分类、所述候选框的坐标和边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割。
具体地，基于所述组合特征表示分别计算出所述感兴趣区域的类别分类和所述候选框的坐标，为了更好地分割有重叠部分的多个细胞，本发明还提出了边缘特征监督的实例掩码预测模块，此实例掩码预测模块通过结合边界极值点的作为额外监督得到边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割，以得到更优秀的分割结果。
进一步地，如图6所示，本发明中基于上下文特征融合的细胞核分割方法的较佳实施例的整体流程具体为：获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔，所述特征金字塔中的上下文增强模块对每个所述特征图进行特征融合得到输出特征；在上下文增强模块中，基于注意力机制的上下文增强模块注重挖掘广泛的上下文信息，捕获具有重要的语义，以减少最高金字塔级特征映射的信息丢失；其次将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框，感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征；然后将特征发送给特征自适应选择模块，在每个感兴趣区域的所有特征级别上自适应地获得一个组合特征表示，最后根据所述组合特征表示分别计算出感兴趣区域类别的分类，候选框的坐标和边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割，以得到更优秀的分割结果。
进一步地，如图7所示，基于上述基于上下文特征融合的细胞核分割方法，本发明还相应提供了一种基于上下文特征融合的细胞核分割系统，其中，所述基于上下文特征融合的细胞核分割系统包括：
数据输入模块51，用于获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔；
上下文增强模块52，用于对每个所述特征图进行特征融合得到输出特征；
候选框获取模块53，用于将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框；
候选框处理模块54，用于感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征，将所述感兴趣区域特征发送给特征自适应选择模块；
特征自适应选择模块55，用于根据所述感兴趣区域特征得到感兴趣区域中所有特征级别的组合特征表示；
细胞核分割模块56，用于基于所述组合特征表示分别计算出所述感兴趣区域的类别分类、所述候选框的坐标和边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割。
进一步地，如图8所示，基于上述基于上下文特征融合的细胞核分割方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图8仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于上下文特征融合的细胞核分割程序40，该基于上下文特征融合的细胞核分割程序40可被处理器10所执行，从而实现本申请中基于上下文特征融合的细胞核分割方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于上下文特征融合的细胞核分割方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于上下文特征融合的细胞核分割程序40时实现以下步骤：
获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔，所述特征金字塔中的上下文增强模块对每个所述特征图进行特征融合得到输出特征；
将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框，感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征；
将所述感兴趣区域特征发送给特征自适应选择模块，所述特征自适应选择模块根据所述感兴趣区域特征得到感兴趣区域中所有特征级别的组合特征表示；
基于所述组合特征表示分别计算出所述感兴趣区域的类别分类、所述候选框的坐标和边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割。
其中，所述获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔，具体包括：
获取所述医学细胞图像，将所述医学细胞图像输入至所述卷积神经网络进行堆叠，根据下采样改变所述医学细胞图像的分辨率，并根据所述分辨率的不同得到不同的阶段的特征图；
获取多个不同扩张率的空洞卷积，根据密集连接的方式将每个不同扩张率的空洞卷积进行结合得到特征金字塔，并将所述特征图输入至所述特征金字塔中；
所述特征金字塔中根据上下文增强模块增强所述特征图的粗粒度信息，并将增强后的粗粒度信息与原始的粗粒度信息进行像素相加融合，得到所述输出特征。
其中，所述将所述特征图输入至所述特征金字塔中，之后还包括：
对所述特征图的输入信号进行空洞卷积操作得到的输出信号为：
Figure BDA0003990574830000211
其中，y[i]为空洞卷积操作后得到的输出信号，i为特征图某一像素的位置下标，d为扩张率，w[k]为卷积核的第k个参数，其中，当d＝1时，所述空洞卷积为普通卷积；
所述密集连接的输出方式为：xl＝Hl([x1,x2,…,xl])；
其中，l为层数，xl为第l层的输出，Hl为对第l层非线性变换。
其中，所述空洞卷积的计算公式为：
Figure BDA0003990574830000212
其中，yi为前一阶段第i层的输出特征图，H为输入特征图的高，di为第i层的扩张率，K为空洞卷积层的尺寸，[yi,yi-1,…,y1]为之前所有特征层进行级联所产生的特征图，y1表示前一阶段第一层的输出特征图。
其中，所述获取多个不同扩张率的空洞卷积，根据密集连接的方式将每个不同扩张率的空洞卷积进行结合得到密集金字塔，并将所述特征图输入至所述密集金字塔中，之后还包括：
对全局平均池化层处理得到全局特征向量，将所述全局特征向量进行上采样得到目标全局特征向量，并将所述目标全局特征向量与空洞卷积层的输出进行连接获得特征图；
将所述特征图输入到一个1×1的卷积层中，并融合所述特征图的粗粒度和细粒度特征。
其中，所述基于上下文增强模块增强所述特征图的粗粒度信息，并将增强后的粗粒度信息与原始的粗粒度信息进行像素相加融合，得到输出特征，之后还包括：
获取输入特征图F，根据卷积层Wq和卷积层Wk分别将所述输入特征图的特征映射转换到潜在特征空间，得到特征图Q和特征图K’；
对所述特征图Q和所述特征图K’进行特征维度重组得到目标特征图，对所述目标特征图处理得到关系矩阵，并对所述关系矩阵进行归一化处理得到注意力矩阵R。
其中，所述特征图Q的计算公式：
Figure BDA0003990574830000221
其中，Q为经过卷积层Wq后得到的特征图，T为矩阵转置操作；
所述特征图K’的计算公式为：
Figure BDA0003990574830000222
其中，K’为经过卷积层Wk后得到的特征图；
所述注意力矩阵R的计算公式为：R＝QTK'。
其中，所述对所述关系矩阵进行归一化处理得到注意力矩阵R，之后还包括：
获取卷积层Wv，基于所述卷积层Wv对所述输入特征图处理得到新的特征图V，并将所述注意力矩阵R与所述特征图V进行逐像素相乘得到注意力增强的特征图E；
所述特征图V的表达式为：
Figure BDA0003990574830000231
其中，F为输入特征图；
所述特征图E的表达式为：Ei＝R⊙Vi；
其中，⊙为逐元素对应相乘操作，Ei为第i个特征图。
其中，所述将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框，感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征，具体包括：
根据感兴趣区域对齐层将所述特征金字塔的每一个特征层进行特征映射，得到感兴趣区域的区域特征金字塔，将所述区域特征金字塔输入到特征融合模块中，并基于所述特征融合模块将所述区域特征金字塔的区域特征图根据通道进行拼接得到输出特征图；
获取所述输出特征图的通道，根据全局平均池将所述通道的空间特征进行编码得到全局特征，对所述全局特征的维度进行压缩，并将压缩后的维度进行扩张得到所述通道的注意力权重系数；
将所述注意力权重系数进行拆分得到四个权值向量，将所述权值向量与所述区域特征金字塔的特征进行逐层逐像素相乘，得到加权后的区域特征金字塔，并将加权后的区域特征金字塔中的特征进行逐像素相加，得到感兴趣区域特征。
其中，所述输出特征图的计算公式为：
Figure BDA0003990574830000244
其中，q[i]为输出特征图，p[i]为输入特征图，⊙为逐元素相乘的操作，i为特征图某一像素的位置下标，W为输入特征图的宽；
其中，所述
Figure BDA0003990574830000241
的计算过程为：
u＝Conv(X)；
Figure BDA0003990574830000242
其中，X为输入特征，Conv为卷积层操作，u为卷积操作后的输出，c为特征图的某一个通道，i和j均为特征图某一像素的位置下标，H为输入特征图的高，zc为
Figure BDA0003990574830000243
操作后得到的输出。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于上下文特征融合的细胞核分割程序，所述基于上下文特征融合的细胞核分割程序被处理器执行时实现如上所述的基于上下文特征融合的细胞核分割方法的步骤。
综上所述，本发明通过在上下文增强模块中，基于注意力机制的上下文增强模块注重挖掘广泛的上下文信息，捕获具有重要的语义，以减少最高金字塔级特征映射的信息丢失；然后将特征发送给特征自适应选择模块，在每个感兴趣区域的所有特征级别上自适应地获得一个组合特征表示，最后根据这些特征表示分别计算出感兴趣区域类别的分类，候选框的坐标和边缘感知掩码，从而实现医学病理切片图像的分割。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (13)

1.一种基于上下文特征融合的细胞核分割方法，其特征在于，所述基于上下文特征融合的细胞核分割方法包括：
获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔，所述特征金字塔中的上下文增强模块对每个所述特征图进行特征融合得到输出特征；
将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框，感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征；
将所述感兴趣区域特征发送给特征自适应选择模块，所述特征自适应选择模块根据所述感兴趣区域特征得到感兴趣区域中所有特征级别的组合特征表示；
基于所述组合特征表示分别计算出所述感兴趣区域的类别分类、所述候选框的坐标和边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割。
2.根据权利要求1所述的基于上下文特征融合的细胞核分割方法，其特征在于，所述获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔，所述特征金字塔中的上下文增强模块对每个所述特征图进行特征融合得到输出特征，具体包括：
获取所述医学细胞图像，将所述医学细胞图像输入至所述卷积神经网络进行堆叠，根据下采样改变所述医学细胞图像的分辨率，并根据所述分辨率的不同得到不同的阶段的特征图；
获取多个不同扩张率的空洞卷积，根据密集连接的方式将每个不同扩张率的空洞卷积进行结合得到特征金字塔，并将所述特征图输入至所述特征金字塔中；
所述特征金字塔中根据上下文增强模块增强所述特征图的粗粒度信息，并将增强后的粗粒度信息与原始的粗粒度信息进行像素相加融合，得到所述输出特征。
3.根据权利要求2所述的基于上下文特征融合的细胞核分割方法，其特征在于，所述将所述特征图输入至所述特征金字塔中，之后还包括：
对所述特征图的输入信号进行空洞卷积操作得到的输出信号为：
Figure FDA0003990574820000021
其中，y[i]为空洞卷积操作后得到的输出信号，i为特征图某一像素的位置下标，d为扩张率，w[k]为卷积核的第k个参数，其中，当d＝1时，所述空洞卷积为普通卷积；
所述密集连接的输出方式为：xl＝Hl([x1,x2,…,xl])；
其中，l为层数，xl为第l层的输出，Hl为对第l层非线性变换。
4.根据权利要求2所述的基于上下文特征融合的细胞核分割方法，其特征在于，所述空洞卷积的计算公式为：
Figure FDA0003990574820000022
其中，yi为前一阶段第i层的输出特征图，H为输入特征图的高，di为第i层的扩张率，K为空洞卷积层的尺寸，[yi,yi-1,…,y1]为之前所有特征层进行级联所产生的特征图，y1表示前一阶段第一层的输出特征图。
5.根据权利要求2所述的基于上下文特征融合的细胞核分割方法，其特征在于，所述获取多个不同扩张率的空洞卷积，根据密集连接的方式将每个不同扩张率的空洞卷积进行结合得到密集金字塔，并将所述特征图输入至所述密集金字塔中，之后还包括：
对全局平均池化层处理得到全局特征向量，将所述全局特征向量进行上采样得到目标全局特征向量，并将所述目标全局特征向量与空洞卷积层的输出进行连接获得特征图；
将所述特征图输入到一个1×1的卷积层中，并融合所述特征图的粗粒度和细粒度特征。
6.根据权利要求2所述的基于上下文特征融合的细胞核分割方法，其特征在于，所述基于上下文增强模块增强所述特征图的粗粒度信息，并将增强后的粗粒度信息与原始的粗粒度信息进行像素相加融合，得到输出特征，之后还包括：
获取输入特征图F，根据卷积层Wq和卷积层Wk分别将所述输入特征图的特征映射转换到潜在特征空间，得到特征图Q和特征图K’；
对所述特征图Q和所述特征图K’进行特征维度重组得到目标特征图，对所述目标特征图处理得到关系矩阵，并对所述关系矩阵进行归一化处理得到注意力矩阵R。
7.根据权利要求6所述的基于上下文特征融合的细胞核分割方法，其特征在于，所述特征图Q的计算公式：
Figure FDA0003990574820000031
其中，Q为经过卷积层Wq后得到的特征图，T为矩阵转置操作；
所述特征图K’的计算公式为：
Figure FDA0003990574820000041
其中，K’为经过卷积层Wk后得到的特征图；
所述注意力矩阵R的计算公式为：R＝QTK'。
8.根据权利要求6所述的基于上下文特征融合的细胞核分割方法，其特征在于，所述对所述关系矩阵进行归一化处理得到注意力矩阵R，之后还包括：
获取卷积层Wv，基于所述卷积层Wv对所述输入特征图处理得到新的特征图V，并将所述注意力矩阵R与所述特征图V进行逐像素相乘得到注意力增强的特征图E；
所述特征图V的表达式为：
Figure FDA0003990574820000042
其中，F为输入特征图；
所述特征图E的表达式为：Ei＝R⊙Vi；
其中，⊙为逐元素对应相乘操作，Ei为第i个特征图。
9.根据权利要求1所述的基于上下文特征融合的细胞核分割方法，其特征在于，所述将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框，感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征，具体包括：
根据感兴趣区域对齐层将所述特征金字塔的每一个特征层进行特征映射，得到感兴趣区域的区域特征金字塔，将所述区域特征金字塔输入到特征融合模块中，并基于所述特征融合模块将所述区域特征金字塔的区域特征图根据通道进行拼接得到输出特征图；
获取所述输出特征图的通道，根据全局平均池将所述通道的空间特征进行编码得到全局特征，对所述全局特征的维度进行压缩，并将压缩后的维度进行扩张得到所述通道的注意力权重系数；
将所述注意力权重系数进行拆分得到四个权值向量，将所述权值向量与所述区域特征金字塔的特征进行逐层逐像素相乘，得到加权后的区域特征金字塔，并将加权后的区域特征金字塔中的特征进行逐像素相加，得到感兴趣区域特征。
10.根据权利要求9所述的基于上下文特征融合的细胞核分割方法，其特征在于，所述输出特征图的计算公式为：
Figure FDA0003990574820000051
其中，q[i]为输出特征图，p[i]为输入特征图，⊙为逐元素相乘的操作，i为特征图某一像素的位置下标，W为输入特征图的宽；
其中，所述
Figure FDA0003990574820000052
的计算过程为：
u＝Conv(X)；
Figure FDA0003990574820000053
其中，X为输入特征，Conv为卷积层操作，u为卷积操作后的输出，c为特征图的某一个通道，i和j均为特征图某一像素的位置下标，H为输入特征图的高，zc为
Figure FDA0003990574820000054
操作后得到的输出。
11.一种基于上下文特征融合的细胞核分割系统，其特征在于，所述基于上下文特征融合的细胞核分割系统包括：
数据输入模块，用于获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔；
上下文增强模块，用于对每个所述特征图进行特征融合得到输出特征；
候选框获取模块，用于将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框；
候选框处理模块，用于感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征，将所述感兴趣区域特征发送给特征自适应选择模块；
特征自适应选择模块，用于根据所述感兴趣区域特征得到感兴趣区域中所有特征级别的组合特征表示；
细胞核分割模块，用于基于所述组合特征表示分别计算出所述感兴趣区域的类别分类、所述候选框的坐标和边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割。
12.一种终端，其特征在于，所述终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1-10任意一项所述基于上下文特征融合的细胞核分割方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现如权利要求1-10任意一项所述基于上下文特征融合的细胞核分割方法的步骤。
CN202211580495.0A 2022-12-09 2022-12-09 一种基于上下文特征融合的细胞核分割方法及相关设备 Pending CN116071300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211580495.0A CN116071300A (zh) 2022-12-09 2022-12-09 一种基于上下文特征融合的细胞核分割方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211580495.0A CN116071300A (zh) 2022-12-09 2022-12-09 一种基于上下文特征融合的细胞核分割方法及相关设备

Publications (1)

Publication Number Publication Date
CN116071300A true CN116071300A (zh) 2023-05-05

Family

ID=86174035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211580495.0A Pending CN116071300A (zh) 2022-12-09 2022-12-09 一种基于上下文特征融合的细胞核分割方法及相关设备

Country Status (1)

Country Link
CN (1) CN116071300A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503301A (zh) * 2023-06-27 2023-07-28 珠海横琴圣澳云智科技有限公司 基于空间域的显微镜下细胞图像融合方法及装置
CN116739868A (zh) * 2023-07-05 2023-09-12 浙江星宸环境建设有限公司 基于人工智能的园林绿化管理系统及其方法
CN117253156A (zh) * 2023-11-17 2023-12-19 深圳元戎启行科技有限公司 基于图像分割的特征描述提取方法、装置、终端及介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503301A (zh) * 2023-06-27 2023-07-28 珠海横琴圣澳云智科技有限公司 基于空间域的显微镜下细胞图像融合方法及装置
CN116503301B (zh) * 2023-06-27 2023-09-12 珠海横琴圣澳云智科技有限公司 基于空间域的显微镜下细胞图像融合方法及装置
CN116739868A (zh) * 2023-07-05 2023-09-12 浙江星宸环境建设有限公司 基于人工智能的园林绿化管理系统及其方法
CN116739868B (zh) * 2023-07-05 2024-04-23 浙江星宸环境建设有限公司 基于人工智能的园林绿化管理系统及其方法
CN117253156A (zh) * 2023-11-17 2023-12-19 深圳元戎启行科技有限公司 基于图像分割的特征描述提取方法、装置、终端及介质
CN117253156B (zh) * 2023-11-17 2024-03-29 深圳元戎启行科技有限公司 基于图像分割的特征描述提取方法、装置、终端及介质

Similar Documents

Publication Publication Date Title
CN111507993B (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
US11449966B2 (en) Real-time video ultra resolution
CN112308200B (zh) 神经网络的搜索方法及装置
CN116071300A (zh) 一种基于上下文特征融合的细胞核分割方法及相关设备
CN112288011B (zh) 一种基于自注意力深度神经网络的图像匹配方法
GB2580671A (en) A computer vision system and method
CN115147598B (zh) 目标检测分割方法、装置、智能终端及存储介质
Couturier et al. Image denoising using a deep encoder-decoder network with skip connections
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN113256529B (zh) 图像处理方法、装置、计算机设备及存储介质
CN110866938B (zh) 一种全自动视频运动目标分割方法
CN114842216A (zh) 一种基于小波变换的室内rgb-d图像语义分割方法
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN114692725A (zh) 面向多时相图像序列的解耦表示学习方法及系统
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质
CN112884702A (zh) 一种基于内窥镜图像的息肉识别系统和方法
CN115456918B (zh) 一种基于小波高频通道合成的图像去噪方法及装置
CN112801883A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113158970B (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与系统
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
CN110489584B (zh) 基于密集连接的MobileNets模型的图像分类方法及系统
CN114863132A (zh) 图像空域信息的建模与捕捉方法、系统、设备及存储介质
CN114743000A (zh) 基于Unet的多任务气胸医学图像语义分割模型系统及其方法
CN116246064A (zh) 一种多尺度空间特征增强方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination