CN114240949A - 宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置 - Google Patents

宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置 Download PDF

Info

Publication number
CN114240949A
CN114240949A CN202111368852.2A CN202111368852A CN114240949A CN 114240949 A CN114240949 A CN 114240949A CN 202111368852 A CN202111368852 A CN 202111368852A CN 114240949 A CN114240949 A CN 114240949A
Authority
CN
China
Prior art keywords
cervical cell
module
attention
cell image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111368852.2A
Other languages
English (en)
Inventor
张玉琦
李捷
王巍
徐敏
张瑞雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pudong Development Bank Co Ltd
Original Assignee
Shanghai Pudong Development Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pudong Development Bank Co Ltd filed Critical Shanghai Pudong Development Bank Co Ltd
Priority to CN202111368852.2A priority Critical patent/CN114240949A/zh
Publication of CN114240949A publication Critical patent/CN114240949A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置。所述方法包括：在U型网络的编码器和解码器的连接结构中加入注意力模块，得到U型注意力网络，U型注意力网络用于根据通过注意力模块得到的宫颈细胞特征通道的重要度和空间区域的重要度确定宫颈细胞图像中细胞核区域；将U型注意力网络的编码器中的每个下采样模块和第一残差模块与空洞卷积连接，得到宫颈细胞分割网络，宫颈细胞分割网络用于根据通过空洞卷积的膨胀因子得到的宫颈细胞图像中复杂层次特征信息和简单层次特征信息确定宫颈细胞图像中异常细胞区域。采用本方法能够在不引入大量参数和计算量的情况准确提取宫颈细胞图像中异常形状的细胞核以及异常形状的细胞。

Description

宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置
技术领域
本公开涉及图像分割技术领域，特别是涉及一种宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置。
背景技术
宫颈癌是女性致死率最高的癌症之一，每年的致死人数超过30万人。在宫颈细胞学诊断中，主要通过对细胞中细胞核和细胞质的成分特征进行分析，相对于细胞质，细胞核的成分分析更为可靠，具有更高的诊断价值。
随着深度学习的不断发展，出现了宫颈细胞核分割技术，目前现有的细胞核分割方法主要基于传统图像处理的方法和基于深度学习的方法。其中传统图像处理的方法由于采用人工设计的低水平特征因此会导致分割精度低，分割效果不理想，而现有的深度学习方法则缺乏对异常细胞形状尺寸，核质对比度及染色质分布的考虑，造成异常形状的细胞核提取不准确，因此具有一定分割局限性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升分割精度，准确提取异常形状的细胞核的宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置。
第一方面，本公开提供了一种宫颈细胞分割网络训练方法，所述方法包括：
在U型网络的编码器中加入第一残差模块，将所述编码器中下采样模块替换为第二残差模块，在所述U型网络的解码器中加入与所述解码器中每个上采样模块连接的第二残差模块，所述第一残差模块和第二残差模块用于增加训练速度；
在U型网络的编码器和解码器的连接结构中加入注意力模块，得到U型注意力网络，所述U型注意力网络用于根据通过所述注意力模块得到的宫颈细胞特征通道的重要度和空间区域的重要度确定宫颈细胞图像中细胞核区域；
将所述U型注意力网络的编码器中的每个下采样模块和第一残差模块与空洞卷积连接，得到宫颈细胞分割网络，所述宫颈细胞分割网络用于根据通过所述空洞卷积的膨胀因子得到的所述宫颈细胞图像中复杂层次特征信息和简单层次特征信息确定所述宫颈细胞图像中异常细胞区域。
在其中一个实施例中，所述注意力模块包括通道注意力模块和空间注意力模块，所述在U型网络的编码器和解码器的连接结构中加入注意力模块，包括：
将输入所述解码器中上采样模块的宫颈细胞图像以及所述解码器中上采样模块对应的上一层编码器中下采样模块的宫颈细胞图像输入至所述注意力模块；
通过所述通道注意力模块得到所述宫颈细胞图像中各个特征通道的重要度；
通过所述空间注意力模块得到所述宫颈细胞图像中各个空间区域的重要度；
根据所述通道注意力模块得到的所述宫颈细胞图像中各个特征通道的重要度以及所述空间注意力模块得到的各个空间区域的重要度，确定所述宫颈细胞图像中细胞核区域。
在其中一个实施例中，所述通过所述通道注意力模块得到所述宫颈细胞图像中各个特征通道的重要度，包括：
将所述宫颈细胞图像依次输入至所述通道注意力模块的全局平均池化层、第一全连接层、线性修正激活函数层、第二全连接层、S型激活函数层，并压缩所述宫颈细胞图像的参数，得到所述各个特征通道的权重；
将各个特征通道的权重与所述宫颈细胞图像中对应的各个特征通道相乘，得到各个特征通道的重要度。
在其中一个实施例中，所述通过所述空间注意力模块得到所述宫颈细胞图像中各个空间区域的重要度，包括：
将输入所述解码器中上采样模块的宫颈细胞图像以及所述解码器中上采样模块对应的上一层编码器中下采样模块的宫颈细胞图像分别输入至所述空间注意力模块中的两个相同的维度转换卷积中，将所述宫颈细胞图像转换为相同维度；
将通过维度转换卷积转换后的相同维度的宫颈细胞图像通过所述空间注意力模块中线性修正激活函数、维度转换卷积以及S型激活函数对转换后的宫颈细胞图像进行归一化操作，得到注意力系数图；
将所述注意力系数图与所述宫颈细胞图像相乘，获取所述宫颈细胞图像中各个空间区域的重要度。
在其中一个实施例中，其特征在于，所述注意力模块中所述通道注意力模块与空间注意力模块并行连接或顺序连接。
在其中一个实施例中，所述第一残差模块包括：两个第一尺度卷积层、第二尺度卷积层、两个批量归一化层和激活函数层；所述第二残差模块包括：两个第一尺度卷积层、第二尺度卷积层、三个批量归一化层和两个激活函数层。
在其中一个实施例中，所述膨胀因子包括复杂特征膨胀因子和简单特征膨胀因子；所述将所述U型注意力网络的编码器中的每个下采样模块和所述第一残差模块与空洞卷积连接，包括：
将所述U型注意力网络的编码器中第一残差模块和第一下采样模块与所述复杂特征膨胀因子的对应的空洞卷积连接；
通过所述复杂特征膨胀因子的空洞卷积获取所述宫颈细胞图像的复杂层次特征信息；
将所述U型注意力网络的编码器中第二下采样模块与所述简单特征膨胀因子对应的空洞卷积连接；
通过所述简单特征膨胀因子的空洞卷积获取所述宫颈细胞图像的简单层次特征信息；
利用所述复杂层次特征信息和所述简单层次特征信息，确定所述宫颈细胞图像中异常细胞。
在其中一个实施例中，所述方法还包括：
将宫颈细胞图像集输入至所述宫颈细胞分割网络，通过预先设置的结合损失函数调整训练所述宫颈细胞分割网络的所述宫颈细胞图像集，所述结合损失函数是通过聚焦损失函数和差异损失函数结合得到的。
在其中一个实施例中，所述结合损失函数的计算公式包括：
Loss＝wdiceLdice+wfocalLfocal
其中，wdice为差异损失函数的权重，Ldice为差异损失函数；wfocal为聚焦损失函数的权重，Lfocal为聚焦损失函数。
在其中一个实施例中，所述将宫颈细胞图像集输入至所述宫颈细胞分割网络，之前还包括：
将宫颈细胞图像进行图像扩充，得到宫颈细胞图像集，所述图像扩充的方法包括：按照预设的随机旋转角度范围进行随机旋转、根据预设的平移范围在水平和竖直方向进行随机平移、根据预设的缩放范围进行随机缩放、根据预设的翻转范围进行随机翻转。
第二方面，本公开还提供了一种宫颈细胞分割方法，所述方法包括：
获取待分割的宫颈细胞图像；
将所述待分割的宫颈细胞图像输入至上述宫颈细胞分割网络训练方法中任一项训练得到的宫颈细胞分割网络中进行分割宫颈细胞图像，得到待分割的所述宫颈细胞图像中宫颈细胞的细胞核图像。
第三方面，本公开还提供了一种宫颈细胞分割网络训练装置，所述装置包括：
残差添加模块，用于在U型网络的编码器中加入第一残差模块，将所述编码器中下采样模块替换为第二残差模块，在所述U型网络的解码器中加入与所述解码器中每个上采样模块连接的第二残差模块，所述第一残差模块和第二残差模块用于增加训练速度；
注意力添加模块，用于在U型网络的编码器和解码器的连接结构中加入注意力模块，得到U型注意力网络，所述U型注意力网络用于根据通过所述注意力模块得到的宫颈细胞特征通道的重要度和空间区域的重要度确定宫颈细胞图像中细胞核区域；
空洞卷积连接模块，用于将所述U型注意力网络的编码器中的每个下采样模块和所述第一残差模块与空洞卷积连接，得到宫颈细胞分割网络，所述宫颈细胞分割网络用于根据通过所述空洞卷积的膨胀因子得到的所述宫颈细胞图像中复杂层次特征信息和简单层次特征信息确定所述宫颈细胞图像中异常细胞区域。
第四方面，本公开还提供了一种宫颈细胞分割装置，其特征在于，所述装置包括：
宫颈细胞图像获取模块，用于获取待分割的宫颈细胞图像；
宫颈细胞图像分割模块，用于将所述待分割的宫颈细胞图像输入至上述宫颈细胞分割网络训练方法中任一项训练得到的宫颈细胞分割网络中进行分割宫颈细胞图像，得到待分割的所述宫颈细胞图像中宫颈细胞的细胞核图像。
第五方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第六方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
第七方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
上述宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置中通过宫颈细胞分割网络中的注意力模块能够在不引入大量参数和计算量的情况下解决宫颈细胞图像中由于异常细胞形状、颜色和尺寸的不规则变化，炎症因子等杂质干扰，造成的细胞核和细胞质的低对比度，涂片中染色质的不规则分布等的问题，通过U-net网络引入跳级连接将编码器的下采样模块得到的宫颈细胞图像的特征拼接至每个阶段解码器的上采样模块得到的宫颈细胞图像的特征图中，通过这种方式，使得在上采样过程中实现底层的位置细节信息和高层的语义信息融合，能够提升分割精度。且通过宫颈细胞分割网络中空洞卷积能够设置不同大小的膨胀因子，从而通过宫颈细胞图像中复杂的整体信息和细节局部信息确定异常细胞区域中对应的细胞核，提高宫颈细胞图像的细节和宫颈细胞图像中的细胞核边缘的分割效果，并可以有效的处理不同形状和大小的异常细胞。
附图说明
图1为一个实施例中宫颈细胞分割网络训练方法的应用环境示意图；
图2为一个实施例中宫颈细胞分割网络训练方法的流程示意图；
图3为一个实施例中U型注意力网络结构示意图；
图4为一个实施例中宫颈细胞分割网络结构示意图；
图5为一个实施例中S204步骤的流程示意图；
图6为一个实施例中S504步骤的流程示意图；
图7为一个实施例中通道注意力模块结构示意图；
图8为一个实施例中S506步骤的流程示意图；
图9为一个实施例中空间注意力模块结构示意图；
图10为一个实施例中第一残差模块结构示意图；
图11为一个实施例中第二残差模块结构示意图；
图12为一个实施例中S204步骤的流程示意图；
图13为另一个实施例中宫颈细胞分割网络训练方法的流程示意图；
图14为一个实施例中宫颈细胞分割网络训练装置的结构示意框图；
图15为一个实施例中计算机设备的内部结构示意图。
具体实施方式
为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。
需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前对宫颈细胞的细胞核的分割方法通常包括：(1)基于人力对宫颈细胞涂片进行分割；(2)基于传统图像处理方法，如聚类算法、阈值算法、分水岭算法、图形切割等算法对宫颈细胞核进行分割；(3)通过深度学习的方法，如卷积网络和图方法相结合的算法、全卷积网络和全连接条件结合的算法等，对宫颈细胞核进行分割。
然而，目前的基于人力对宫颈细胞涂片进行分割的方法，需要大量具有经验的专业人员，既耗时又容易出错，而基于传统图像处理方法，该方法基于宫颈细胞核的圆形边界，低强度等先验假设，来人工设计提取低水平的特征，而异常细胞核通常表现为不规则的形状，这些特征可能无法涵盖所有细胞核结构，且人工设计的低水平特征本身也缺乏详细的结构信息，因此会导致分割效果不理想，而基于深度学习的方法，由于宫颈细胞涂片中异常细胞形状、颜色和尺寸的不规则变化，炎症因子等杂质干扰，存在细胞核和细胞质的低对比度，涂片中染色质的不规则分布等的问题，导致异常细胞的细胞核提取不准确。
因此，为解决上述问题，本公开实施例提供了一种宫颈细胞分割网络训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102在服务器104的U型网络中的编码器中加入第一残差模块。终端102将编码器中下采样模块替换为第二残差模块。终端102在服务器104的U型网络的解码器中加入与所述解码器中每个上采样模块连接的第二残差模块。终端102在服务器104的U型网络的编码器和解码器的连接结构中加入注意力模块，得到了U型注意力网络，终端102加入注意力模块后得到的U型注意力网络可以根据通过注意力模块得到的宫颈细胞特征通道的重要度和空间区域的重要度确定宫颈细胞图像中细胞核区域。终端102将加入注意力模块后得到的U型注意力网络的编码器的每个下采样与膨胀因子的空洞卷积连接，从而得到宫颈细胞分割网络。宫颈细胞分割网络可以根据膨胀因子得到的所述宫颈细胞图像中复杂层次特征信息和简单层次特征信息确定所述宫颈细胞图像中异常细胞区域。因此，宫颈细胞分割网络可以确定宫颈细胞图像中细胞核区域以及宫颈细胞图像中异常细胞区域。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。需要说明的是该方法也可单独用于终端或者服务器，单独通过终端或者服务器来实现。
在一个实施例中，如图2所示，提供了一种宫颈细胞分割网络训练方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S202，在U型网络的编码器中加入第一残差模块，将所述编码器中下采样模块替换为第二残差模块，在所述U型网络的解码器中加入与所述解码器中每个上采样模块连接的第二残差模块，所述第一残差模块和第二残差模块用于增加训练速度。
其中，U型网络通常可以是U-net网络，U-net是一个经典的网络设计方式，在图像分割任务中具有大量的应用。U型网络的编码器通常可以是U-net进行下采样部分的统称。U型网络的解码器通常可以使U-net进行上采样部分的统称。
具体地，编码器主要包含四个下采样模块，一般情况下认为4层下采样能过获得较好的效果，如果继续增加网络深度会导致网络难以收敛。解码器与编码器结构相对应，包含四个上采样模块。在U型网络中的编码器中加入第一残差模块，将U型网络的编码器中的下采样模块替换为第一残差模块，通常可以是第一残差模块替换U型网络的编码器中下采样模块的卷积及最大池化层。将所述U型网络中的解码器中加入第二残差模块并与所述解码器中每个上采样模块连接，通过第二残差模块连接上采样模块来逐步恢复宫颈细胞图像的尺寸。解码器中最后的第二残差模块后是连接卷积层和激活函数层。通过第一残差模块和第二残差模块中存在的网络架构层解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或爆炸、加快训练速度。
S204，在U型网络的编码器和解码器的连接结构中加入注意力模块，得到U型注意力网络，所述U型注意力网络用于根据通过所述注意力模块得到的宫颈细胞特征通道的重要度和空间区域的重要度确定宫颈细胞图像中细胞核区域。
其中，注意力模块通常用于是聚焦于局部信息的模块，通常可以用来定位到感兴趣的信息，抑制无用信息，结果通常都是以概率图或者概率特征向量的形式展示，注意力模块的机制大概可以理解为：使用一些网络去计算一个权重，把这个权重与图像进行运算，对这个图像进行改变，得到加强注意力后的图像。空间区域的重要度通常可以代表了宫颈细胞图像中感兴趣的区域，通常是细胞的区域或者是细胞核区域。特征通道的重要度通常可以代表了宫颈细胞图像中特征通道的重要程度。
具体地，如图3所示，在U型网络的编码器和解码器跳级连接的结构中加入注意力模块，可以是将U型网络的编码器的第一层的第一残差模块和注意力模块连接，对应的解码器中第二层的上采样模块通过第二残差模块和注意力模块连接。将U型网络的编码器的第二层的第二残差模块和注意力模块连接，对应的解码器中第三层的上采样模块通过第二残差模块和该注意力模块连接，以此类推。当达到U型网络最底层时，编码器中最后一层的下采样模块与上一层的下采样模块连接的注意力模块连接。通过合并层合并注意力模块和上采样模块中的宫颈细胞图像的特征信息。将宫颈细胞图像输入至U型注意力网络后，可以通过注意力模块得到宫颈细胞图像中的特征通道重要度以及空间区域重要度，进而可以通过特征通道重要度以及空间区域重要度确定宫颈细胞图像中感兴趣的区域，进而对感兴趣的区域进行识别区分，确定宫颈细胞图像中细胞核的区域。
S206，将所述U型注意力网络的编码器中的每个下采样模块和第一残差模块与空洞卷积连接，得到宫颈细胞分割网络，所述宫颈细胞分割网络用于根据通过所述膨胀因子得到的所述宫颈细胞图像中复杂层次特征信息和简单层次特征信息确定所述宫颈细胞图像中异常细胞区域。
其中，空洞卷积通常是一种卷积方法，能够扩大感受视野，在检测分割任务中十分有用。一方面感受视野扩大后可以检测分割大目标，另一方面分辨率高了可以精确定位目标。还能够捕获多尺度上下文信息：空洞卷积有一个参数可以设置膨胀率，因此，当设置不同膨胀率时，感受野就会不一样，也即获取了多尺度信息。简单层次特征信息可以是宫颈细胞图像中较为浅层的较为简单的局部的细节信息。复杂层次特征信息可以是宫颈细胞图像中精确和复杂的整体信息。
具体地，将得到的U型注意力网络的编码器中的每个下采样模块分别与一个空洞卷积连接，连接后得到一个新的U型注意力网络，如图4所示，该新的U型注意力网络设置为宫颈细胞分割网络。左边为编码器部分，可以包括依次连接的第一残差模块和四个第二残差模块，且第一残差模块和每个第二残差模块均与一个空洞卷积连接，连接后每个空洞卷积与一个注意力模块连接。右边为解码器部分，解码器中包括四个上采样模块，每个上采样模块与一个解码器中第二残差模块连接，解码器中上采样模块经过第二残差模块后与上一层的注意力模块连接，上层的注意力模块输出至该层的合并层中，通过合并层合并上采样模块和注意力模块提取出的特征信息。解码器中最后的第二残差模块，通常可以是最上层的第二残差模块后连接卷积层和激活函数层，通过卷积层和激活函数层进行分类。
将宫颈细胞图像输入至宫颈细胞分割网络后，通过下采样模块提取宫颈细胞图像的特征，然后通过空洞卷积提取宫颈细胞图像中复杂层次特征信息和简单层次特征信息，进而进行复杂层次特征信息和简单层次特征信息的信息交换，从而确定宫颈细胞图像中异常细胞区域，确定异常细胞的区域后，因为宫颈细胞分割网络中还加入了注意力模块，进而可以通过注意力模块确定异常细胞区域中对应的细胞核。
传统的方式解决宫颈细胞图像中异常细胞形状、颜色和尺寸的不规则变化，炎症因子等杂质干扰，造成的细胞核和细胞质的低对比度，涂片中染色质的不规则分布等的问题是采用粗粒度模型获得感兴趣区域，然后在感兴趣区域利用第二个模型进行细分，但是会导致参数量和计算量变大。而上述宫颈细胞分割网络训练方法中通过宫颈细胞分割网络中的注意力模块能够在不引入大量参数和计算量的情况下解决上述的问题，由于通过U-net网络引入跳级连接将编码器的下采样模块得到的宫颈细胞图像的特征拼接至每个阶段解码器的上采样模块得到的宫颈细胞图像的特征图中，通过这种方式，使得在上采样过程中实现底层的位置细节信息和高层的语义信息融合，能够提升分割精度。且通过宫颈细胞分割网络中空洞卷积能够设置不同大小的膨胀因子，从而通过宫颈细胞图像中复杂的整体信息和细节局部信息确定异常细胞区域中对应的细胞核，提高宫颈细胞图像的细节和宫颈细胞图像中的细胞核边缘的分割效果，并可以有效的处理不同形状和大小的异常细胞，且通过第一残差模块和第二残差模块能够一定程度上解决了训练退化问题，增加训练速度。
在一个实施例中，所述注意力模块包括通道注意力模块和空间注意力模块。
其中，通道注意力模块可以确定宫颈细胞图像中各个特征之间的重要性，对于不同的任务可以根据输入进行特征分配。空间注意力模块能够定位宫颈细胞图像中的不同区域并进行一些变换或者获取权重。
如图5所示，所述在U型网络的编码器和解码器的连接结构中加入注意力模块，包括：
S502，将输入所述解码器中上采样模块的宫颈细胞图像以及所述解码器中上采样模块对应的上一层编码器中下采样模块的宫颈细胞图像输入至所述注意力模块。
具体地，注意力模块的输入的宫颈细胞图像主要来源于解码器中上采样模块经过第二残差模块后输入的宫颈细胞图像及该解码器对应的编码器的上一层下采样模块的输入的宫颈细胞图像。
S504，通过所述通道注意力模块得到所述宫颈细胞图像中各个特征通道的重要度。
具体地，将宫颈细胞图像输入至通道注意力模块中，通过通道注意力模块中的各种架构层，如全连接层、池化层等对宫颈细胞图像进行处理，从而得到了宫颈细胞图像中每一个特征通道的权重，进而可以根据每一个特征通道的权重确定所述宫颈细胞图像中各个特征通道的重要度。
S506，通过所述空间注意力模块得到所述宫颈细胞图像中各个空间区域的重要度。
具体地，将宫颈细胞图像输入至空间注意力模块，通过空间注意力模块中的各种架构，如维度转换卷积，激活函数等对宫颈细胞图像进行处理，从而得到注意力系数图，可以根据注意力系数图确定所述宫颈细胞图像中各个空间区域的重要度。
S508，根据所述通道注意力模块得到的所述宫颈细胞图像中各个特征通道的重要度以及所述空间注意力模块得到的各个空间区域的重要度，确定所述宫颈细胞图像中细胞核区域。
具体地，综合宫颈细胞图像中各个特征通道的重要度和各个空间区域的重要度可以得到宫颈细胞图像中重要度较高的部分，通过该重要度较高的部分能够确定宫颈细胞图像中细胞核区域。
本实施例中，通过通道注意力模块和空间注意力模块的结合，能够更加准确的确定宫颈细胞图像中感兴趣的区域，进而解决宫颈细胞图像中异常细胞形状、颜色和尺寸的不规则变化，炎症因子等杂质干扰，造成的细胞核和细胞质的低对比度，涂片中染色质的不规则分布等的问题。
在一个实施例中，如图6所示，所述通过所述通道注意力模块得到所述宫颈细胞图像中各个特征通道的重要度，包括：
S602，将所述宫颈细胞图像依次输入至所述通道注意力模块的全局平均池化层、第一全连接层、线性修正激活函数层、第二全连接层、S型激活函数层，并压缩所述宫颈细胞图像的参数，得到所述各个特征通道的权重。
其中，全局平均池化层可以是将不同地方的输入宫颈细胞图像中所有像素值相加求平局，得到一个数值，即用该数值表示对应的宫颈细胞图像。线性修正激活函数层可以是RELU(Rectified Linear Unit)激活函数层，RELU激活函数能够增加神经网络模型的非线性，克服梯度消失的问题，加快训练速度。S型激活函数层通常指的是Sigmoid函数，用作神经网络的激活函数，将变量映射到0，1之间。
具体地，将输入所述解码器中上采样模块的宫颈细胞图像以及所述解码器中上采样模块对应的上一层编码器中下采样模块的宫颈细胞图像均输入至通道注意力模块的全局平均池化层，通过全局平均池化层对两个地方输入的宫颈细胞图像进行处理，从而输出一张宫颈细胞图像。进而通过第一全连接层、线性修正激活函数层、第二全连接层，进行压缩输出的宫颈细胞图像的参数，最后通过S型激活函数层得到宫颈细胞图像中各个特征通道的权重。
S604，将各个特征通道的权重与所述宫颈细胞图像中对应的各个特征通道相乘，得到各个特征通道的重要度。
具体地，将各个特征通道的权重与所述宫颈细胞图像中对应的各个特征通道相乘，得到各个特征通道的重要度。
在一些实施方式中，如图7所示，输入是一个W×H×C的宫颈细胞图像，H，W分别表示图片特征的高度和宽度，C代表特征通道。共C个特征通道，然后进行一个空间的全局平均池化，每个通道得到一个标量，输出为1×1×C，然后再送入两层的全连接层和RELU(Rectified Linear Unit)激活函数层中，第一个全连接层将1×1×C变为1×1×C/r，接着输入RELU(Rectified Linear Unit)激活函数层中，输出尺寸还是为1×1×C/r，进而输入至第二全连接层中，输出1×1×C，同时保持尺寸不变，然后再通过一个Sigmoid函数得到C个0至1之间的权重，格式为1×1×C，作为C个特征通道各自的权重系数。scale操作是将得到的各个通道的权重系数通过乘法与对应特征通道W×H×C的图像通道，通常是与所有的特征通道相乘，以便实现重要的特征通道增强，不重要的特征通道减弱，从而让提取的特征通道指向性更强。
在一个实施例中，如图8所示，所述通过所述空间注意力模块得到所述宫颈细胞图像中各个空间区域的重要度，包括：
S802，将输入所述解码器中上采样模块的宫颈细胞图像以及所述解码器中上采样模块对应的上一层编码器中下采样模块的宫颈细胞图像分别输入至所述空间注意力模块中的两个相同的维度转换卷积中，将所述宫颈细胞图像转换为相同维度。
具体地，将输入所述解码器中上采样模块的宫颈细胞图像以及所述解码器中上采样模块对应的上一层编码器中下采样模块的宫颈细胞图像分别输入至两个相同的维度转换卷积中，维度转换卷积可以是1×1卷积，通过两个1×1卷积用来使两部分输入具有相同的维度信息。
S804，将通过维度转换卷积转换后的相同维度的宫颈细胞图像通过所述空间注意力模块中线性修正激活函数、维度转换卷积以及S型激活函数对转换后的宫颈细胞图像进行归一化操作，得到注意力系数图。
具体地，将通过1×1卷积转换后具有相同的维度信息的宫颈系数图像通过一个RELU激活函数和1×1卷积及Sigmoid函数对该宫颈细胞图像进行归一化操作，进行归一化操作后得到不同的数值，该不同的数值可以作为注意力系数图。
S806，将所述注意力系数图与所述宫颈细胞图像相乘，获取所述宫颈细胞图像中各个空间区域的重要度。
具体地，将注意力系数图和宫颈细胞中对应的像素进行相乘，得到宫颈细胞中各个空间区域的重要度。
在一些实施方式中，如图9所示，g是来源于解码器的宫颈细胞图像，而x是来源于编码器宫颈细胞图像，然后由于他们的维度不同，来源于编码器的维度要更大，因此用1×1卷积还原为相同维度，将宫颈细胞图像经过1×1卷积之后，输入进入两条路线，一条路线是信息进入定位网络，包括线性修正激活函数、维度转换卷积以及S型激活函数以及上采样层输出注意力系数图，另一条路线是卷积后的宫颈细胞图像直接与输出的注意力系数图相乘。
具体地，其中定位网络会生成一组参数，这组参数就能够作为网格生成器(gridgenerator)的参数，生成一个采样信号，这个采样信号可以是注意力系数图，与宫颈细胞图像相乘之后，可以得到宫颈细胞中各个空间区域的重要度。
在一个实施例中，所述注意力模块中所述通道注意力模块与空间注意力模块并行连接或顺序连接。
具体地，所述通道注意力模块与空间注意力模块可以进行并行的方式连接，也可以通道注意力模块在前，空间注意力模块在后进行顺序连接，还可以通道注意力模块在后，空间注意力模块在前进行顺序连接。其中，本领域技术人员经过实际验证发现，当空间注意力模块和通道注意力模块组合时，顺序连接的方式并且将通道注意力模块放在前面可以取得更好的效果。
在一个实施例中，所述第一残差模块包括：两个第一尺度卷积层、第二尺度卷积层、批量归一化层和激活函数层。所述第二残差模块包括：两个第一尺度卷积层、第二尺度卷积层、三个批量归一化层和两个激活函数层。
具体地，如图10所示，第一残差模块通常由两个第一尺度卷积层，可以是3×3的卷积层，一个第二尺度卷积层，可以是1×1的卷积层、批量归一化层和RELU激活函数层组成，其中3×3的卷积层及1×1卷积层的步长均为1。最后通过上层3×3的卷积层输出的图像和下层批量归一化层输出的图像进行像素相加从而输出结果。
如图11所示，第二残差模块用于替换U-net网络下采样模块的卷积和最大池化层。第二残差模块相比于第一残差模块增加了一个批量归一化层及RELU激活函数层，且其中第一个3×3卷积及1×1卷积的步长为2，第二个3×3卷积的步长为1。最后通过上层3×3的卷积层输出的图像和下层批量归一化层输出的图像进行像素相加从而输出结果。而解码器中的第二残差模块与编码器中第二残差模块不同的是，解码器中第二残差模块的所有卷积层的步长均为1，通过连接上采样模块来逐步恢复特征图尺寸。
在本实施例中，通过引入第一残差模块和第二残差模块能够解决在训练过程中，中间层数据分布发生改变以及训练退化的问题，以防止梯度消失或爆炸、加快训练速度。
在一个实施例中，所述膨胀因子包括复杂特征膨胀因子和简单特征膨胀因子。
其中，复杂特征膨胀因子可以是设置较大的膨胀率得到的。简单特征膨胀因子可以是设置较小的膨胀率得到的。复杂特征膨胀因子会具有更大的感受野。
如图12所示，所述将所述U型注意力网络的编码器中的每个下采样模块和第一残差模块与空洞卷积连接，包括：
S1202，将所述U型注意力网络的编码器中第一下采样模块和第一残差模块与所述复杂特征膨胀因子的对应的空洞卷积连接。
具体地，将所述U型注意力网络的编码器中第一下采样模块和第一残差模块与所述复杂特征膨胀因子的对应的空洞卷积连接，该第一下采样模块可以是U型注意力网络的编码器中上层的下采样模块。在一些实施方式中，如U型注意力网络中有四个下采样模块，则第一下采样模块可以设置为上层的两个下采样模块。需要说明的是，本领域人员可根据U型注意力网络的架构和实际需求进行选择设置第一下采样模块。
在一些实施方式中，复杂特征膨胀因子可以设置为5和4和3，可以将U型注意力网络上层第一残差模块与设置为5的复杂特征膨胀因子连接。可以将U型注意力网络上层的第一层的下采样模块与设置为4的复杂特征膨胀因子连接。可以将U型注意力网络上层的第二层的下采样模块与设置为3的复杂特征膨胀因子连接。
S1204，通过所述复杂特征膨胀因子的空洞卷积获取所述宫颈细胞图像的复杂层次特征信息。
具体地，通过复杂特征膨胀因子的空洞卷积来捕获宫颈细胞图像中全局上下文语义信息，全局上下文信息可以是复杂层次特征信息。
S1206，将所述U型注意力网络的编码器中第二下采样模块与所述简单特征膨胀因子对应的空洞卷积连接。
具体地，将所述U型注意力网络的编码器中第二下采样模块与所述简单特征膨胀因子的对应的空洞卷积连接，该第二下采样模块可以是U型注意力网络的编码器中下层的下采样模块。在一些实施方式中，如U型注意力网络中有四个下采样模块，则第一下采样模块可以设置为下层的两个下采样模块。可以是U型注意力网络第三层和第四层的下采样模块。
需要说明的是，本领域人员可根据U型注意力网络的架构和实际需求进行选择设置第二下采样模块。
在一些实施方式中，简单特征膨胀因子可以设置为2和1，可以将U型注意力网络下层，可以是U型注意力网络第三层的下采样模块与设置为2的简单特征膨胀因子连接，可以将U型注意力网络第四层的下采样模块与设置为1的复杂特征膨胀因子连接。
S1208，通过所述简单特征膨胀因子的空洞卷积获取所述宫颈细胞图像的简单层次特征信息。
具体地，通过简单特征膨胀因子的空洞卷积获得宫颈细胞图像的局部的浅层信息，可以是宫颈细胞图像中较为浅层的较为简单的局部的细节信息。
S1210，利用所述复杂层次特征信息和所述简单层次特征信息，确定所述宫颈细胞图像中异常细胞。
具体地，将复杂层次特征信息和所述简单层次特征信息进行信息的交换，能够获得更多的宫颈细胞图像中的特征细节，进而可以确定宫颈细胞图像中异常细胞。
在本实施例中，通过宫颈细胞分割网络中空洞卷积能够设置不同大小的膨胀因子，从而获取到宫颈细胞图像中复杂的整体信息和件细节局部信息确定异常细胞区域中对应的细胞核，提高宫颈细胞图像的细节和宫颈细胞图像中的细胞核边缘的分割效果，并可以有效的处理不同形状和大小的异常细胞，且利用复杂特征膨胀因后附加简单特征膨胀因的结构，能够解决同时使用多个空洞卷积造成的相邻神经元的空间联系变弱，深层网络提取局部结构信息能力降低的问题，防止宫颈细胞图像中局部信息丢失和获取的长距离信息的不相关性，且将空洞卷积级联于编码器的残差模块后，使多尺度特征与相同层级的更大感受野结合，有效解决了网络中由于卷积核的感受野有限而无法满足各种形状、大小的异常细胞核特征提取问题。
在一个实施例中，所述方法还包括：将宫颈细胞图像集输入至所述宫颈细胞分割网络，通过预先设置的结合损失函数调整训练所述宫颈细胞分割网络的所述宫颈细胞图像集，所述结合损失函数是通过聚焦损失函数和差异损失函数结合得到的。进而得到通过结合损失函数调整宫颈细胞图像集后训练得到的宫颈细胞分割网络。
其中，聚焦损失函数可以是focal loss，通常是为了解决目标检测在训练阶段前景类和背景类极度不均衡，差异损失函数可以是dice loss，通常比较适用于样本极度不均的情况。
结合损失函数的计算公式包括：
Loss＝wdiceLdice+wfocalLfocal
其中，wdice为差异损失函数的权重，Ldice为差异损失函数；wfocal为聚焦损失函数的权重，Lfocal为聚焦损失函数，Loss为结合损失函数。
其中，本领域人员可根据实际试验结果或者操作经验选择性的调整和/或设置差异损失函数的权重和聚焦损失函数的权重，以便更好的解决目标检测在训练阶段前景类和背景类极度不均衡的问题。
在本实施例中，由于在宫颈细胞图像中，细胞核的部分往往占比很小，因此极易受到宫颈细胞图像的训练样本不平衡的影响，导致网络在训练过程中收敛缓慢，训练不稳定。结合损失函数通过将focal loss与dice loss进行结合，且通过focal loss与dice loss来分别加强困难样本的关注，能够解决训练过程中的样本不平衡性，收敛缓慢和训练不稳定的问题。
在一个实施例中，所述将宫颈细胞图像集输入至所述宫颈细胞分割网络，之前还包括：
将宫颈细胞图像进行图像扩充，得到宫颈细胞图像集，所述图像扩充的方法可以包括：按照预设的随机旋转角度范围进行随机旋转、根据预设的平移范围在水平和竖直方向进行随机平移、根据预设的缩放范围进行随机缩放、根据预设的翻转范围进行随机翻转等。
其中，预设的随机旋转角度范围、预设的平移范围、预设的缩放范围、预设的翻转范围均为本领域人员根据实际情况可以选择设置的，在本实施例中不进行限制。需要说明的是图像扩充的方法在本实施例中仅仅以上述几种进行举例，但是在实际扩充宫颈细胞图像的过程中还存在很多方式，例如还可以包括：图像裁剪、图像插值、加入噪声、进行对比度变换等。
在本实施例中，因为到医疗图像数据(宫颈细胞图像)有限，在训练宫颈细胞分割网络时易出现过拟合现象，因此需要通过图像扩充方法对宫颈细胞图像集进行扩充。
在另一个实施例中，如图13所示，本公开还提供了一种宫颈细胞分割网络训练方法，方法包括：
S1301，将宫颈细胞图像进行图像扩充，得到宫颈细胞图像集。
S1302，在U型网络的编码器中加入第一残差模块，将所述编码器中下采样模块替换为第二残差模块。
S1303，在所述U型网络的解码器中加入与所述解码器中每个上采样模块连接的第二残差模块。
S1304，在U型网络的编码器和解码器的连接结构中加入注意力模块，得到U型注意力网络。
S1305，将所述U型注意力网络的编码器中的每个下采样模块和第一残差模块与空洞卷积连接，得到宫颈细胞分割网络。
S1306，将宫颈细胞图像集输入至所述宫颈细胞分割网络，通过预先设置的结合损失函数调整训练所述宫颈细胞分割网络的所述宫颈细胞图像集，得到最终的宫颈细胞分割网络。
在一个实施例中，本公开还提供了一种宫颈细胞分割方法，方法包括以下步骤：
获取待分割的宫颈细胞图像；
将所述待分割的宫颈细胞图像输入至上述实施例训练得到的宫颈细胞分割网络中进行分割宫颈细胞图像，得到待分割的所述宫颈细胞图像中宫颈细胞的细胞核图像。
关于宫颈细胞分割方法的具体实施方式可以参见上文中对于宫颈细胞分割网络训练方法的实施例，在此不再赘述。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的宫颈细胞分割网络训练方法的宫颈细胞分割网络训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个宫颈细胞分割网络训练装置实施例中的具体限定和实施方式可以参见上文中对于宫颈细胞分割网络训练方法的实施例，在此不再赘述。
在一个实施例中，如图14所示，提供了一种宫颈细胞分割网络训练装置1400，包括：残差添加模块1402、注意力添加模块1404、空洞卷积连接模块1406，其中：
残差添加模块1402，用于在U型网络的编码器中加入第一残差模块，将所述编码器中下采样模块替换为第二残差模块，在所述U型网络的解码器中加入与所述解码器中每个上采样模块连接的第二残差模块，所述第一残差模块和第二残差模块用于增加训练速度。
注意力添加模块1404，用于在U型网络的编码器和解码器的连接结构中加入注意力模块，得到U型注意力网络，所述U型注意力网络用于根据通过所述注意力模块得到的宫颈细胞特征通道的重要度和空间区域的重要度确定宫颈细胞图像中细胞核区域。
空洞卷积连接模块1406，用于将所述U型注意力网络的编码器中的每个下采样模块和所述第一残差模块与空洞卷积连接，得到宫颈细胞分割网络，所述宫颈细胞分割网络用于根据通过所述空洞卷积的膨胀因子得到的所述宫颈细胞图像中复杂层次特征信息和简单层次特征信息确定所述宫颈细胞图像中异常细胞区域。
在所述装置的一个实施例中，所述注意力模块包括通道注意力模块和空间注意力模块，所述注意力添加模块1404包括：图像输入模块、特征通道模块、空间区域模块、细胞核区域确定模块，其中：
图像输入模块，用于将输入所述解码器中上采样模块的宫颈细胞图像以及所述解码器中上采样模块对应的上一层编码器中下采样模块的宫颈细胞图像输入至所述注意力模块。
特征通道模块，用于通过所述通道注意力模块得到所述宫颈细胞图像中各个特征通道的重要度。
空间区域模块，用于通过所述空间注意力模块得到所述宫颈细胞图像中各个空间区域的重要度。
细胞核区域确定模块，用于根据所述通道注意力模块得到的所述宫颈细胞图像中各个特征通道的重要度以及所述空间注意力模块得到的各个空间区域的重要度，确定所述宫颈细胞图像中细胞核区域。
在所述装置的一个实施例中，所述特征通道模块包括：权重计算模块、特征重要度计算模块，其中：
权重计算模块，用于将所述宫颈细胞图像依次输入至所述通道注意力模块的全局平均池化层、第一全连接层、线性修正激活函数层、第二全连接层、S型激活函数层，并压缩所述宫颈细胞图像的参数，得到所述各个特征通道的权重。
特征重要度计算模块，用于将各个特征通道的权重与所述宫颈细胞图像中对应的各个特征通道相乘，得到各个特征通道的重要度。
在所述装置的一个实施例中，所述空间区域模块包括：维度转换模块、归一模块、空间重要度计算模块，其中：
维度转换模块，用于将输入所述解码器中上采样模块的宫颈细胞图像以及所述解码器中上采样模块对应的上一层编码器中下采样模块的宫颈细胞图像分别输入至所述空间注意力模块中的两个相同的维度转换卷积中，将所述宫颈细胞图像转换为相同维度。
归一模块，用于将通过维度转换卷积转换后的相同维度的宫颈细胞图像通过所述空间注意力模块中线性修正激活函数、维度转换卷积以及S型激活函数对转换后的宫颈细胞图像进行归一化操作，得到注意力系数图。
空间重要度计算模块，用于将所述注意力系数图与所述宫颈细胞图像相乘，获取所述宫颈细胞图像中各个空间区域的重要度。
在所述装置的一个实施例中，所述注意力模块中所述通道注意力模块与空间注意力模块并行连接或顺序连接。
在所述装置的一个实施例中，所述第一残差模块包括：两个第一尺度卷积层、第二尺度卷积层、两个批量归一化层和激活函数层；所述第二残差模块包括：两个第一尺度卷积层、第二尺度卷积层、三个批量归一化层和两个激活函数层。
在所述装置的一个实施例中，所述空洞卷积连接模块1406包括：第一空洞卷积连接模块、复杂信息获取模块、第二空洞卷积连接模块、简单信息获取模块、异常细胞确定模块，其中：
第一空洞卷积连接模块，用于将所述U型注意力网络的编码器中第一残差模块和第一下采样模块与所述复杂特征膨胀因子的对应的空洞卷积连接。
复杂信息获取模块，用于通过所述复杂特征膨胀因子的空洞卷积获取所述宫颈细胞图像的复杂层次特征信息。
第二空洞卷积连接模块，用于将所述U型注意力网络的编码器中第二下采样模块与所述简单特征膨胀因子对应的空洞卷积连接。
简单信息获取模块，用于通过所述简单特征膨胀因子的空洞卷积获取所述宫颈细胞图像的简单层次特征信息。
异常细胞确定模块，用于利用所述复杂层次特征信息和所述简单层次特征信息，确定所述宫颈细胞图像中异常细胞。
在所述装置的一个实施例中，所述装置还包括：图像集输入模块，用于将宫颈细胞图像集输入至所述宫颈细胞分割网络。
结合损失函数调整模块，用于通过预先设置的结合损失函数调整训练所述宫颈细胞分割网络的所述宫颈细胞图像集，所述结合损失函数是通过聚焦损失函数和差异损失函数结合得到的。
在所述装置的一个实施例中，结合损失函数的计算公式包括：
Loss＝wdiceLdice+wfocalLfocal
其中，wdice为差异损失函数的权重，Ldice为差异损失函数；wfocal为聚焦损失函数的权重，Lfocal为聚焦损失函数。
在所述装置的一个实施例中，所述装置还包括：图像扩充模块，用于将宫颈细胞图像进行图像扩充，得到宫颈细胞图像集，所述图像扩充的方法包括：按照预设的随机旋转角度范围进行随机旋转、根据预设的平移范围在水平和竖直方向进行随机平移、根据预设的缩放范围进行随机缩放、根据预设的翻转范围进行随机翻转。
本公开还提供了一种宫颈细胞分割装置，所述装置包括：
宫颈细胞图像获取模块，用于获取待分割的宫颈细胞图像；
宫颈细胞图像分割模块，用于将所述待分割的宫颈细胞图像上述方法实施例训练得到的宫颈细胞分割网络中进行分割宫颈细胞图像，得到待分割的所述宫颈细胞图像中宫颈细胞的细胞核图像。
上述宫颈细胞分割网络训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种宫颈细胞分割网络训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图15中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本公开所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本公开所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本公开专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开的保护范围应以所附权利要求为准。

Claims (16)

1.一种宫颈细胞分割网络训练方法，其特征在于，所述方法包括：
在U型网络的编码器中加入第一残差模块，将所述编码器中下采样模块替换为第二残差模块，在所述U型网络的解码器中加入与所述解码器中每个上采样模块连接的第二残差模块，所述第一残差模块和第二残差模块用于增加训练速度；
在U型网络的编码器和解码器的连接结构中加入注意力模块，得到U型注意力网络，所述U型注意力网络用于根据通过所述注意力模块得到的宫颈细胞特征通道的重要度和空间区域的重要度确定宫颈细胞图像中细胞核区域；
将所述U型注意力网络的编码器中的每个下采样模块和所述第一残差模块与空洞卷积连接，得到宫颈细胞分割网络，所述宫颈细胞分割网络用于根据通过所述空洞卷积的膨胀因子得到的所述宫颈细胞图像中复杂层次特征信息和简单层次特征信息确定所述宫颈细胞图像中异常细胞区域。
2.根据权利要求1所述的宫颈细胞分割网络训练方法，其特征在于，所述注意力模块包括通道注意力模块和空间注意力模块，所述在U型网络的编码器和解码器的连接结构中加入注意力模块，包括：
将输入所述解码器中上采样模块的宫颈细胞图像以及所述解码器中上采样模块对应的上一层编码器中下采样模块的宫颈细胞图像输入至所述注意力模块；
通过所述通道注意力模块得到所述宫颈细胞图像中各个特征通道的重要度；
通过所述空间注意力模块得到所述宫颈细胞图像中各个空间区域的重要度；
根据所述通道注意力模块得到的所述宫颈细胞图像中各个特征通道的重要度以及所述空间注意力模块得到的各个空间区域的重要度，确定所述宫颈细胞图像中细胞核区域。
3.根据权利要求1或2所述的宫颈细胞分割网络训练方法，其特征在于，所述通过所述通道注意力模块得到所述宫颈细胞图像中各个特征通道的重要度，包括：
将所述宫颈细胞图像依次输入至所述通道注意力模块的全局平均池化层、第一全连接层、线性修正激活函数层、第二全连接层、S型激活函数层，并压缩所述宫颈细胞图像的参数，得到所述各个特征通道的权重；
将各个特征通道的权重与所述宫颈细胞图像中对应的各个特征通道相乘，得到各个特征通道的重要度。
4.根据权利要求1或2所述的宫颈细胞分割网络训练方法，其特征在于，所述通过所述空间注意力模块得到所述宫颈细胞图像中各个空间区域的重要度，包括：
将输入所述解码器中上采样模块的宫颈细胞图像以及所述解码器中上采样模块对应的上一层编码器中下采样模块的宫颈细胞图像分别输入至所述空间注意力模块中的两个相同的维度转换卷积中，将所述宫颈细胞图像转换为相同维度；
将通过维度转换卷积转换后的相同维度的宫颈细胞图像通过所述空间注意力模块中线性修正激活函数、维度转换卷积以及S型激活函数对转换后的宫颈细胞图像进行归一化操作，得到注意力系数图；
将所述注意力系数图与所述宫颈细胞图像相乘，获取所述宫颈细胞图像中各个空间区域的重要度。
5.根据权利要求2-4任意一项所述的宫颈细胞分割网络训练方法，其特征在于，所述注意力模块中所述通道注意力模块与空间注意力模块并行连接或顺序连接。
6.根据权利要求2所述的宫颈细胞分割网络训练方法，其特征在于，所述第一残差模块包括：两个第一尺度卷积层、第二尺度卷积层、两个批量归一化层和激活函数层；所述第二残差模块包括：两个第一尺度卷积层、第二尺度卷积层、三个批量归一化层和两个激活函数层。
7.根据权利要求6所述的宫颈细胞分割网络训练方法，其特征在于，所述膨胀因子包括复杂特征膨胀因子和简单特征膨胀因子；所述将所述U型注意力网络的编码器中的每个下采样模块和所述第一残差模块与空洞卷积连接，包括：
将所述U型注意力网络的编码器中第一残差模块和第一下采样模块与所述复杂特征膨胀因子的对应的空洞卷积连接；
通过所述复杂特征膨胀因子的空洞卷积获取所述宫颈细胞图像的复杂层次特征信息；
将所述U型注意力网络的编码器中第二下采样模块与所述简单特征膨胀因子对应的空洞卷积连接；
通过所述简单特征膨胀因子的空洞卷积获取所述宫颈细胞图像的简单层次特征信息；
利用所述复杂层次特征信息和所述简单层次特征信息，确定所述宫颈细胞图像中异常细胞。
8.根据权利要求1所述的宫颈细胞分割网络训练方法，其特征在于，所述方法还包括：
将宫颈细胞图像集输入至所述宫颈细胞分割网络，通过预先设置的结合损失函数调整训练所述宫颈细胞分割网络的所述宫颈细胞图像集，所述结合损失函数是通过聚焦损失函数和差异损失函数结合得到的。
9.根据权利要求1或8所述的宫颈细胞分割网络训练方法，其特征在于，所述结合损失函数的计算公式包括：
Loss＝wdiceLaice+wfocalLfocal
其中，wdice为差异损失函数的权重，Laice为差异损失函数；wfocal为聚焦损失函数的权重，Lfocal为聚焦损失函数。
10.根据权利要求8所述的宫颈细胞分割网络训练方法，其特征在于，所述将宫颈细胞图像集输入至所述宫颈细胞分割网络，之前还包括：
将宫颈细胞图像进行图像扩充，得到宫颈细胞图像集，所述图像扩充的方法包括：按照预设的随机旋转角度范围进行随机旋转、根据预设的平移范围在水平和竖直方向进行随机平移、根据预设的缩放范围进行随机缩放、根据预设的翻转范围进行随机翻转。
11.一种宫颈细胞分割方法，其特征在于，所述方法包括：
获取待分割的宫颈细胞图像；
将所述待分割的宫颈细胞图像输入至权利要求1至10中任一项训练得到的宫颈细胞分割网络中进行分割宫颈细胞图像，得到待分割的所述宫颈细胞图像中宫颈细胞的细胞核图像。
12.一种宫颈细胞分割网络训练装置，其特征在于，所述装置包括：
残差添加模块，用于在U型网络的编码器中加入第一残差模块，将所述编码器中下采样模块替换为第二残差模块，在所述U型网络的解码器中加入与所述解码器中每个上采样模块连接的第二残差模块，所述第一残差模块和第二残差模块用于增加训练速度；
注意力添加模块，用于在U型网络的编码器和解码器的连接结构中加入注意力模块，得到U型注意力网络，所述U型注意力网络用于根据通过所述注意力模块得到的宫颈细胞特征通道的重要度和空间区域的重要度确定宫颈细胞图像中细胞核区域；
空洞卷积连接模块，用于将所述U型注意力网络的编码器中的每个下采样模块和所述第一残差模块与空洞卷积连接，得到宫颈细胞分割网络，所述宫颈细胞分割网络用于根据通过所述空洞卷积的膨胀因子得到的所述宫颈细胞图像中复杂层次特征信息和简单层次特征信息确定所述宫颈细胞图像中异常细胞区域。
13.一种宫颈细胞分割装置，其特征在于，所述装置包括：
宫颈细胞图像获取模块，用于获取待分割的宫颈细胞图像；
宫颈细胞图像分割模块，用于将所述待分割的宫颈细胞图像输入至权利要求1至10中任一项训练得到的宫颈细胞分割网络中进行分割宫颈细胞图像，得到待分割的所述宫颈细胞图像中宫颈细胞的细胞核。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
16.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202111368852.2A 2021-11-18 2021-11-18 宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置 Pending CN114240949A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111368852.2A CN114240949A (zh) 2021-11-18 2021-11-18 宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111368852.2A CN114240949A (zh) 2021-11-18 2021-11-18 宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置

Publications (1)

Publication Number Publication Date
CN114240949A true CN114240949A (zh) 2022-03-25

Family

ID=80749979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111368852.2A Pending CN114240949A (zh) 2021-11-18 2021-11-18 宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置

Country Status (1)

Country Link
CN (1) CN114240949A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821046A (zh) * 2022-03-28 2022-07-29 深思考人工智能科技(上海)有限公司 基于细胞图像进行细胞检测和细胞核分割的方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821046A (zh) * 2022-03-28 2022-07-29 深思考人工智能科技(上海)有限公司 基于细胞图像进行细胞检测和细胞核分割的方法及系统

Similar Documents

Publication Publication Date Title
CN110110617B (zh) 医学影像分割方法、装置、电子设备和存储介质
Wang et al. Fast subpixel mapping algorithms for subpixel resolution change detection
CN111489357A (zh) 一种图像分割方法、装置、设备及存储介质
CN111860233B (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
US20220292684A1 (en) Generating refined segmentations masks via meticulous object segmentation
CN112330684B (zh) 对象分割方法、装置、计算机设备及存储介质
CN114241478A (zh) 宫颈细胞图像中异常细胞图像识别方法、装置
CN115147606B (zh) 医学图像的分割方法、装置、计算机设备和存储介质
CN114898357A (zh) 缺陷识别方法、装置、电子设备及计算机可读存储介质
Zhang et al. Satellite image super-resolution based on progressive residual deep neural network
Zhang et al. Small object detection in remote sensing images based on attention mechanism and multi-scale feature fusion
Hu et al. Supervised multi-scale attention-guided ship detection in optical remote sensing images
CN114240949A (zh) 宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置
CN113111885B (zh) 一种动态分辨率实例分割方法及计算机可读存储介质
Afzal et al. Discriminative feature abstraction by deep L2 hypersphere embedding for 3D mesh CNNs
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
Zheng et al. EMS-CDNet: an efficient multi-scale-fusion change detection network for very high-resolution remote sensing images
Shi et al. Soft-then-hard sub-pixel mapping with multiple shifted images
CN116310308A (zh) 图像分割方法、装置、计算机设备和存储介质
CN115908363B (zh) 肿瘤细胞统计方法、装置、设备和存储介质
CN116128895A (zh) 医学图像分割方法、装置和计算机可读存储介质
CN115393376A (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN114913436A (zh) 基于多尺度注意力机制的地物分类方法、装置、电子设备及介质
CN112669426B (zh) 基于生成对抗网络的三维地理信息模型渲染方法及系统
Yuan et al. Image matting trimap optimization by ant colony algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination