CN112508900B - 细胞病理图像分割方法及装置 - Google Patents

细胞病理图像分割方法及装置 Download PDF

Info

Publication number
CN112508900B
CN112508900B CN202011379134.0A CN202011379134A CN112508900B CN 112508900 B CN112508900 B CN 112508900B CN 202011379134 A CN202011379134 A CN 202011379134A CN 112508900 B CN112508900 B CN 112508900B
Authority
CN
China
Prior art keywords
image
sub
cell
segmentation
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011379134.0A
Other languages
English (en)
Other versions
CN112508900A (zh
Inventor
柯晶
沈逸卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202011379134.0A priority Critical patent/CN112508900B/zh
Publication of CN112508900A publication Critical patent/CN112508900A/zh
Application granted granted Critical
Publication of CN112508900B publication Critical patent/CN112508900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种细胞病理图像分割方法及装置，所述方法包括：将细胞病理图像输入图像分割模型中，输出细胞核与细胞质分割开的图像；图像分割模型包括用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数的网络参数确定模块，用于对细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络的细胞尺寸分类模块，用于通过各子神经网络分别对细胞样本图像进行图像分割获取初始分割图像的图像分割模块，用于对所有初始分割图像进行加权聚合，获取细胞核与细胞质分割开的样本图像的分割图像聚合模块。本发明能够根据不同尺寸的细胞灵活确定子神经网络参数，提高图像的分割精度。

Description

细胞病理图像分割方法及装置
技术领域
本发明涉及图像分割技术领域，尤其涉及一种细胞病理图像分割方法及装置。
背景技术
计算机视觉在深度学习兴起之后获得了快速的发展，包括图像分类，目标检测与定位，图像分割。其中，基于深度学习的图像分割也广泛应用于细胞病理图像分割。
目前，在医学病理图像处理领域，细胞病理图像分割主要有两种方法，一种是基于卷积神经网络(Convolutional Neural Networks，CNN)对细胞病理图像进行分割，另一种是基于全卷积神经网络(Fully Convolutional Networks，FCN)对细胞病理图像进行分割。然而，细胞病理图像中的各细胞尺寸不同，任意上述两种方法中的任意固定结构的网络仅适用于某一确定的尺寸大小，因此采用上述两种方法无法准确对不同尺寸的细胞核与细胞质进行分割。
发明内容
本发明提供一种细胞病理图像分割方法及装置，用以解决现有技术中无法准确对不同尺寸的细胞核与细胞质进行分割的缺陷。
本发明提供一种细胞病理图像分割方法，包括：
获取待进行分割的细胞病理图像；
将所述细胞病理图像输入图像分割模型中，输出细胞核与细胞质分割开的图像；
其中，所述图像分割模型是基于带有分割标注的细胞样本图像训练得到的，所述图像分割模型包括网络参数确定模块、细胞尺寸分类模块、图像分割模块和分割图像聚合模块；
所述网络参数确定模块用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数，所述各子神经网络对不同尺寸细胞的感受野不同，所述细胞尺寸分类模块用于对所述细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络，所述图像分割模块用于在确定分割各细胞对应的子神经网络后，通过各子神经网络分别对所述细胞样本图像进行图像分割，获取初始分割图像，所述分割图像聚合模块用于根据各子神经网络的分割结果权重，对所有初始分割图像进行加权聚合，获取最终细胞核与细胞质分割开的样本图像。
根据本发明提供的一种细胞病理图像分割方法，所述网络参数确定模块确定子神经网络个数以及各子神经网络参数的步骤包括：
根据所述细胞样本图像中各细胞尺寸，以及各细胞尺寸对应的细胞数量，获取细胞尺寸粒度曲线；
将所述细胞尺寸粒度曲线的峰值个数作为子神经网络个数；
根据所述峰值对应的细胞尺寸，确定子神经网络的卷积层数和各卷积层对应的感受野尺寸。
根据本发明提供的一种细胞病理图像分割方法，所述子神经网络的卷积层数和各卷积层对应的感受野尺寸是基于递推模型确定的，所述递推模型为：
Figure BDA0002807993040000021
其中，Rk代表第k层子神经网络的感受野尺寸，Rk-1代表第k-1层子神经网络的感受野尺寸，Fk代表第k层子神经网络的卷积核尺寸，sk代表第k层卷积核滑动的步长。
根据本发明提供的一种细胞病理图像分割方法，所述细胞尺寸分类模块对所述细胞样本图像中的各细胞尺寸进行分类的步骤包括：
将所述细胞样本图像输入分类器，输出所述细胞样本图像中各细胞尺寸所属类别；
其中，所述分类器是基于带有细胞尺寸分类标注的样本训练得到的，在对所述分类器进行训练时，通过损失函数来优化所述分类器，直至满足预设收敛条件。
根据本发明提供的一种细胞病理图像分割方法，所述损失函数为：
Figure BDA0002807993040000031
其中，l(θ)表示损失值，θ代表带训练的图像分割模型的参数，L表示细胞样本图像的多分类标签，W表示权重向量，X表示分类器逻辑回归层的输出结果。
根据本发明提供的一种细胞病理图像分割方法，所述图像分割模块通过各子神经网络分别对所述细胞样本图像进行图像分割，获取初始分割图像的步骤包括：
通过各子神经网络分别对所述细胞样本图像进行图像分割，获取带有标签的待修正样本图像；
若所述待修正样本图像中的连续区域存在分割面积小于预设值的子图像，则基于与所述子图像相邻的区域标签修正所述子图像的标签，直至所述待修正样本图像中的连续区域面积均大于预设值后，将所述待修正样本图像作为初始分割图像。
根据本发明提供的一种细胞病理图像分割方法，所述分割图像聚合模块是基于加权模型对所有初始分割图像进行加权聚合的，所述加权模型为：
Figure BDA0002807993040000032
其中，Ck表示第k个连续区域，Class[Ck]表示相邻于第k个连续区域的分割结果标签，llist表示分割的标签集合，l表示标签集合llist中的一个标签，wi表示第i个子神经网络分割结果的权重，mi是第i个子神经网络分类的结果，p表示连续区域Ck中的一个像素，I表示指标函数。
本发明还提供一种细胞病理图像分割装置，包括：
获取单元，用于获取待进行分割的细胞病理图像；
分割单元，用于将所述细胞病理图像输入图像分割模型中，输出细胞核与细胞质分割开的图像；
其中，所述图像分割模型是基于带有分割标注的细胞样本图像训练得到的，所述图像分割模型包括网络参数确定模块、细胞尺寸分类模块、图像分割模块和分割图像聚合模块；
所述网络参数确定模块用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数，所述各子神经网络对不同尺寸细胞的感受野不同，所述细胞尺寸分类模块用于对所述细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络，所述图像分割模块用于在确定分割各细胞对应的子神经网络后，通过各子神经网络分别对所述细胞样本图像进行图像分割，获取初始分割图像，所述分割图像聚合模块用于根据各子神经网络的分割结果权重，对所有初始分割图像进行加权聚合，获取最终细胞核与细胞质分割开的样本图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述细胞病理图像分割方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述细胞病理图像分割方法的步骤。
本发明提供的细胞病理图像分割方法及装置，将待进行分割的细胞病理图像输入图像分割模型中，输出细胞核与细胞质分割开的图像；其中，图像分割模型是基于带有分割标注的细胞样本图像训练得到的，包括网络参数确定模块、细胞尺寸分类模块、图像分割模块和分割图像聚合模块，网络参数确定模块用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数，各子神经网络对不同尺寸细胞的感受野不同，细胞尺寸分类模块用于对细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络，图像分割模块用于在确定分割各细胞对应的子神经网络后，通过各子神经网络分别对细胞样本图像进行图像分割，获取初始分割图像，分割图像聚合模块用于根据各子神经网络的分割结果权重，对所有初始分割图像进行加权聚合，获取最终细胞核与细胞质分割开的样本图像。由此可见，本发明通过各子神经网络分别对细胞病理图像进行分割，然后根据分割结果权重进行加权聚合，获取细胞核与细胞质分割开的图像，由于各子神经网络对不同细胞尺寸的感受野不同，从而各子神经网络能够更准确针对对应尺寸的细胞进行分割，提高分割精度。同时，本发明是针对细胞样本图像确定的子神经网络个数以及各子神经网络参数，使得确定的子神经网络感受野对相应尺寸的细胞灵敏度更高，即可以实现根据不同尺寸的细胞灵活确定子神经网络参数，进一步提高了图像的分割精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的细胞病理图像分割方法的流程示意图；
图2是本发明提供的图像分割模型的结构示意图；
图3是本发明提供的分割结果对比示意图；
图4是本发明提供的细胞尺寸粒度曲线示意图；
图5是本发明提供的图像分割模型输出结果示意图；
图6是本发明提供的细胞病理图像分割装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，在医学病理图像处理领域，细胞病理图像分割主要有两种方法，一种是基于CNN对细胞病理图像进行分割，另一种是基于FCN对细胞病理图像进行分割。然而，细胞病理图像中的各细胞尺寸不同，采用上述两种方法无法准确对不同尺寸的细胞进行分割。
对此，本发明提供一种细胞病理图像分割方法。图1是本发明提供的细胞病理图像分割方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤110、获取待进行分割的细胞病理图像；
步骤120、将细胞病理图像输入图像分割模型中，输出细胞核与细胞质分割开的图像；
其中，图像分割模型是基于带有分割标注的细胞样本图像训练得到的，图像分割模型包括网络参数确定模块、细胞尺寸分类模块、图像分割模块和分割图像聚合模块；
网络参数确定模块用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数，各子神经网络对不同尺寸细胞的感受野不同，细胞尺寸分类模块用于对细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络，图像分割模块用于在确定分割各细胞对应的子神经网络后，通过各子神经网络分别对细胞样本图像进行图像分割，获取初始分割图像，分割图像聚合模块用于根据各子神经网络的分割结果权重，对所有初始分割图像进行加权聚合，获取最终细胞核与细胞质分割开的样本图像。
在本实施例中，需要说明的是，目前用于分割细胞病理图像的神经网络存在如下三类问题：①错误的上下文信息(感受野不合适或不够大，导致细胞核与细胞质被错误标注)；②易分错的类别(感受野不够大，细胞尺寸较大但感受野的尺寸无法满足要求)；③易忽略的物体分类(感受野不够小或不合适，细胞尺寸较小但感受野的尺寸偏大)。由此可见，由于细胞病理图像中包含不同尺寸的细胞，而现有技术中固定结构的CNN或FCN的感受野大小是基于固定规律设置的，从而无法准确获取不同尺寸细胞的特征信息(细胞核特征与细胞质特征)，进而无法实现对细胞病理图像的精确分割。
因此，本实施例为了解决上述技术问题，根据不同尺寸的细胞训练具有不同感受野的子神经网络，使得每个子神经网络可以以较高灵敏度分割对应尺寸的细胞，然后基于各子神经网络的分割结果进行融合，高精度获取最终细胞核与细胞质分隔开的图像。
具体地，用于分割细胞病理图像的图像分割模型是基于带有分割标注的细胞样本图像训练得到的，图像分割模型包括网络参数确定模块、细胞尺寸分类模块、图像分割模块和分割图像聚合模块。
其中，网络参数确定模块用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数，各子神经网络对不同尺寸细胞的感受野不同，其中各子神经网络的参数包括：子神经网络的卷积层数，各卷积层对应的感受野大小。需要说明的是，由于细胞病理图像中细胞尺寸不同，因此基于细胞尺寸可以将细胞分为N类，进而分别针对N类尺寸的细胞获取对应子神经网络的参数，每个子神经网络对相应尺寸的细胞进行分割时具有较高的精度。相较于传统方法中按照固定规律设置分割神经网络的参数(如固定设置卷积层数)，本实施例能够结合细胞样本图像中的细胞尺寸特征，针对性地设置子神经网络个数和参数，从而高精度对细胞病理图像进行分割。此外，传统方法中按照固定规律设置分割神经网络的参数，在面对细胞病理图像存在较少规格尺寸的细胞时，不仅无法准确分割图像中的细胞核与细胞质，而且还会使得神经网络参数存在冗余，占用存储空间，降低分割效率。
在本实施例中，图像分割模型还包括细胞尺寸分类模块，用于对细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络。具体地，细胞病理图像中可能存在某一尺寸的细胞数量较多，另一尺寸的细胞数量较少，即不同尺寸的细胞数量分布不同。本实施例可以按照细胞数量较多的细胞尺寸作为分类依据，例如细胞病理图像中存在三种规格尺寸的细胞数量最多，即尺寸A、尺寸B和尺寸C，那么在尺寸A阈值范围内的细胞就划分到尺寸A所属的类别中，同理，尺寸B阈值范围内的细胞划分至尺寸B对应的细胞类别，尺寸阈值范围内的细胞划分至尺寸C对应的细胞类别。由此可见，细胞可以分为3类，那么对应的子神经网络的个数为3个(即网络A、网络B和网络C)，其中网络A能够对尺寸A的细胞精确分割，网络B能够对尺寸B的细胞精确分割，网络C能够对尺寸C的细胞精确分割。
在细胞尺寸分类模块确定分割各细胞对应的子神经网络后，图像分割模型中的图像分割模块通过各子神经网络分别对细胞样本图像进行图像分割，从而获取初始分割图像，如上述举例中，网络A能够对尺寸A的细胞精确分割，即可以理解为网络A对尺寸A的细胞分割结果置信度高于网络B或网络C对尺寸A的细胞分割结果。
在获取初始分割图像后，由于各子神经网络的分割结果存在差异，需要对各分割结果进行加权聚合，因此本实施例中图像分割模型还包括分割图像聚合模块，用于根据各子神经网络的分割结果权重，对所有初始分割图像进行加权聚合，获取最终细胞核与细胞质分割开的样本图像。
由此可见，本实施例首先对全部数据集中的细胞尺寸和数量进行统计，并且对神经网络的感受野区间进行划分，根据划分的结果确定需要训练的分割神经网络的个数。在分割阶段，本实施例根据单张图像的细胞特征进行动态的规划，并根据不同的细胞尺寸集合赋予具有不同感受野的神经网络不同的权重，将所有神经网络的结果进行加权投票后产生最终的分割结果，从而实现对细胞病理图像中的不同数量和不同尺寸的细胞进行精确分割。
如图2所示，本实施例提供的图像分割模型中，Gi表示第i个神经网络，N表示全部神经网络的个数，N由细胞病理图像中细胞尺寸和数量确定。这N个神经网络的网络层数，卷基层每层的卷积核的个数和全联接层每层的神经元个数均不相同，所以他们具有不同的感受视野，从而在不同的感受野下产生最佳的分割精度。
如图3所示，基于本实施例的分割结果建立在不同感受野的融合的基础上，在理论上保证了精度相对于基础网络仅仅发生提升，而不会下降。在实际实验中均高于常用的医学图像分割网络比如U-Net，ResUNet，Tiramisu和Unet++，本实施例提供的方法相较于现有技术中的方法，分割图像的精度提高了6.0％左右的分割精度。如图3所示分割结果对比展示图，从左往右依次是输入图像，U-NET，ResUNet，Tiramisu和Unet++的分割结果图，本实施例的分割结果(Ours)，以及分割结果的正确标注。
本发明提供的细胞病理图像分割方法，将待进行分割的细胞病理图像输入图像分割模型中，输出细胞核与细胞质分割开的图像；其中，图像分割模型是基于带有分割标注的细胞样本图像训练得到的，包括网络参数确定模块、细胞尺寸分类模块、图像分割模块和分割图像聚合模块，网络参数确定模块用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数，各子神经网络对不同尺寸细胞的感受野不同，细胞尺寸分类模块用于对细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络，图像分割模块用于在确定分割各细胞对应的子神经网络后，通过各子神经网络分别对细胞样本图像进行图像分割，获取初始分割图像，分割图像聚合模块用于根据各子神经网络的分割结果权重，对所有初始分割图像进行加权聚合，获取细胞核与细胞质分割开的样本图像。由此可见，本发明通过各子神经网络分别对细胞病理图像进行分割，然后根据分割结果权重进行加权聚合，获取细胞核与细胞质分割开的图像，由于各子神经网络对不同细胞尺寸的感受野不同，从而各子神经网络能够更准确针对对应尺寸的细胞进行分割，提高分割精度。同时，本发明是针对细胞样本图像确定的子神经网络个数以及各子神经网络参数，使得确定的子神经网络感受野对相应尺寸的细胞灵敏度更高，即可以实现根据不同尺寸的细胞灵活确定子神经网络参数，进一步提高了图像的分割精度。
基于上述实施例，网络参数确定模块确定子神经网络个数以及各子神经网络参数的步骤包括：
根据细胞样本图像中各细胞尺寸，以及各细胞尺寸对应的细胞数量，获取细胞尺寸粒度曲线；
将细胞尺寸粒度曲线的峰值个数作为子神经网络个数；
根据峰值对应的细胞尺寸，确定子神经网络的卷积层数和各卷积层对应的感受野尺寸。
在本实施例中，通过统计细胞样本图像中各细胞尺寸，以及各细胞尺寸对应的细胞数量，以细胞尺寸为横坐标，细胞数量为纵坐标绘制细胞尺寸粒度曲线；在某一细胞尺寸对应的细胞数量较大时，则在细胞尺寸粒度曲线上会出现峰值，以曲线上的峰值个数作为子神经网络的个数，进而根据峰值对应的细胞尺寸，可以确定卷积层对应的感受野尺寸，递推得到卷积层数。
举例来说，对细胞样本图像(如全视野细胞病理学图像)中的细胞个数、子类和面积进行量化统计，确定模型中不同的感受视野的划分区间，即深度神经网络的具体数目N。对于全部数据集，即包含了训练集和测试集的细胞样本图像进行细胞数量和面积的统计。细胞的大小以单个细胞的像素点的个数作为单位，绘制细胞尺寸粒度曲线，统计上述曲线峰值的个数，该峰值的个数即为深度神经网络的个数N，即将全部的细胞根据细胞的尺寸分成成为N类。
如图4所示，包含130张细胞病理学图像的数据集上的细胞大小(横坐标)和个数(纵坐标)统计结果，其中出现了distribution Peak1、distribution Peak2和distribution Peak3共三个峰值，所以N＝3，根据每个峰值对应的细胞尺寸可以计算得到最佳U-Net层数，例如distribution Peak1对应层数layer＝9，distribution Peak2对应层数layer＝12，distribution Peak3对应层数layer＝14。
基于上述实施例，子神经网络的卷积层数和各卷积层对应的感受野尺寸是基于递推模型确定的，递推模型为：
Figure BDA0002807993040000111
其中，Rk代表第k层子神经网络的感受野尺寸，Rk-1代表第k-1层子神经网络的感受野尺寸，Fk代表第k层子神经网络的卷积核尺寸，sk代表第k层卷积核滑动的步长。
在本实施例中，根据上述递推模型计算得到U-Net不同层对于的感受野的大小如图4所示，网络结构对于第n类大小的细胞达到一个
Figure BDA0002807993040000112
层的分割器，其中n＝1，2，…，N，cn表示第n类的平均感受野大小，即一共需要训练N个神经网络。
基于上述实施例，细胞尺寸分类模块对细胞样本图像中的各细胞尺寸进行分类的步骤包括：
将细胞样本图像输入分类器，输出细胞样本图像中各细胞尺寸所属类别；
其中，分类器是基于带有细胞尺寸分类标注的样本训练得到的，在对分类器进行训练时，通过损失函数来优化所述分类器，直至满足预设收敛条件。
在本实施例中，根据上述方法确定子神经网络的个数后，由于各子神经网络对不同尺寸的细胞分割精度不同，因此需要对细胞样本图像中的各细胞尺寸进行分类，以确认各细胞尺寸所属类别。举例来说，子神经网络A对尺寸A的细胞分割精度较高，若细胞m的尺寸在尺寸A的范围内，则判断细胞m由子神经网络A负责分割，会具有较高的分割精度。因此，本实施例通过训练一个N类的分类器(N对应子神经网络的个数)，将输入的细胞根据细胞面积尺寸分类，从而确定各细胞对应的子神经网络。
需要说明的是，分类器是基于带有细胞尺寸分类标注的样本训练得到的，在对分类器进行训练时，通过损失函数来优化分类器，直至满足预设收敛条件。
基于上述实施例，损失函数为：
Figure BDA0002807993040000121
其中，l(θ)表示损失值，θ代表带训练的图像分割模型的参数，L表示细胞样本图像的多分类标签(one-hot-vector标注)，W表示相邻与N个大小类别的权重向量，X表示分类器逻辑回归层(softmax层)的输出结果。
在本实施例中，根据上述方法可以获得细胞尺寸的峰值个数N，从而将全部的细胞大小分为N类，并且训练一个用于对于细胞面积进行分类的神经网络模型(即分类器)，通过该分类器可以实现准确对图像中的细胞进行分类，从而确定各细胞对应的子神经网络，进而由相应的子神经网络进行分割。由此可见，本实施例针对各细胞尺寸确定对应的子神经网络，从而使得子神经网络能够高精度实现对细胞图像的分割。
基于上述实施例，图像分割模块通过各子神经网络分别对细胞样本图像进行图像分割，获取初始分割图像的步骤包括：
通过各子神经网络分别对细胞样本图像进行图像分割，获取带有标签的待修正样本图像；
若待修正样本图像中的连续区域存在分割面积小于预设值的子图像，则基于与子图像相邻的区域标签修正子图像的标签，直至待修正样本图像中的连续区域面积均大于预设值后，将待修正样本图像作为初始分割图像。
在本实施例中，在各子神经网络分别对细胞样本图像进行图像分割后，获取带有标签的待修正样本图像，由于待修正样本图像中可能会存在分割误差(例如将细胞核部分标注为细胞质)。
为了使得子神经网络分割的结果保持形态学的连续性，如避免细胞核中个别像素被分割成为背景或细胞质，本实施例把具有相同分割结果的连续区域作为最小的加权处理单位。对于每一个子神经网络的分割结果图(即待修正样本图像)，先将像分割后面积小于阈值t的区域的标签随机修正其相邻某一块区域的标签，直到所有具有相同分割标签的连续区域的面积具均大于阈值t，使得获取的初始分割图像能够具有较高的精度。
基于上述实施例，分割图像聚合模块是基于加权模型对所有初始分割图像进行加权聚合的，加权模型为：
Figure BDA0002807993040000131
在本实施例中，记录图像中分割结果全部的连续区域个数为K，则N个神经网络的加权投票分割结果基于上述加权模型获取，Ck是第k个连续区域，Class[Ck]相邻与第k个连续区域的分割结果标签，llist是分割的标签集合，l是标签集合llist中的某一个具体的标签，wi是第i个分割神经网络分割结果的权重由分类神经网络的数据决定，mi是第i个分割神经网络分类的结果，p表示连续区域Ck中的某一个像素，I是指标函数等于1当且仅当mi[p]＝l否则其值等于0，
Figure BDA0002807993040000141
表示取所有标签集合中相邻于上述值最小的作为最终的Ck个连续区域的标签。
如图5所示，展示了测试数据集上，子神经网络个数N＝3的分割结果，(a)为原始图像，(b)(c)(d)分别表示三个具有不同感受野的子神经网络的结果，(e)表示连续区域的分析结果在，(f)表示最终输出的分割结果。
下面对本发明提供的细胞病理图像分割装置进行描述，下文描述的细胞病理图像分割装置与上文描述的细胞病理图像分割方法可相互对应参照。
如图6所示，本发明提供一种细胞病理图像分割装置，该装置包括：
获取单元610，用于获取待进行分割的细胞病理图像；
分割单元620，用于将细胞病理图像输入图像分割模型中，输出细胞核与细胞质分割开的图像；
其中，图像分割模型是基于带有分割标注的细胞样本图像训练得到的，图像分割模型包括网络参数确定模块、细胞尺寸分类模块、图像分割模块和分割图像聚合模块；
网络参数确定模块用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数，各子神经网络对不同尺寸细胞的感受野不同，细胞尺寸分类模块用于对细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络，图像分割模块用于在确定分割各细胞对应的子神经网络后，通过各子神经网络分别对细胞样本图像进行图像分割，获取初始分割图像，分割图像聚合模块用于根据各子神经网络的分割结果权重，对所有初始分割图像进行加权聚合，获取细胞核与细胞质分割开的样本图像。
图7是本申请提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行细胞病理图像分割方法，该方法包括：获取待进行分割的细胞病理图像；将所述细胞病理图像输入图像分割模型中，输出细胞核与细胞质分割开的图像；其中，所述图像分割模型是基于带有分割标注的细胞样本图像训练得到的，所述图像分割模型包括网络参数确定模块、细胞尺寸分类模块、图像分割模块和分割图像聚合模块；所述网络参数确定模块用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数，所述各子神经网络对不同尺寸细胞的感受野不同，所述细胞尺寸分类模块用于对所述细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络，所述图像分割模块用于在确定分割各细胞对应的子神经网络后，通过各子神经网络分别对所述细胞样本图像进行图像分割，获取初始分割图像，所述分割图像聚合模块用于根据各子神经网络的分割结果权重，对所有初始分割图像进行加权聚合，获取最终细胞核与细胞质分割开的样本图像。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的细胞病理图像分割方法，该方法包括：获取待进行分割的细胞病理图像；将所述细胞病理图像输入图像分割模型中，输出细胞核与细胞质分割开的图像；其中，所述图像分割模型是基于带有分割标注的细胞样本图像训练得到的，所述图像分割模型包括网络参数确定模块、细胞尺寸分类模块、图像分割模块和分割图像聚合模块；所述网络参数确定模块用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数，所述各子神经网络对不同尺寸细胞的感受野不同，所述细胞尺寸分类模块用于对所述细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络，所述图像分割模块用于在确定分割各细胞对应的子神经网络后，通过各子神经网络分别对所述细胞样本图像进行图像分割，获取初始分割图像，所述分割图像聚合模块用于根据各子神经网络的分割结果权重，对所有初始分割图像进行加权聚合，获取最终细胞核与细胞质分割开的样本图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的细胞病理图像分割方法，该方法包括：获取待进行分割的细胞病理图像；将所述细胞病理图像输入图像分割模型中，输出细胞核与细胞质分割开的图像；其中，所述图像分割模型是基于带有分割标注的细胞样本图像训练得到的，所述图像分割模型包括网络参数确定模块、细胞尺寸分类模块、图像分割模块和分割图像聚合模块；所述网络参数确定模块用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数，所述各子神经网络对不同尺寸细胞的感受野不同，所述细胞尺寸分类模块用于对所述细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络，所述图像分割模块用于在确定分割各细胞对应的子神经网络后，通过各子神经网络分别对所述细胞样本图像进行图像分割，获取初始分割图像，所述分割图像聚合模块用于根据各子神经网络的分割结果权重，对所有初始分割图像进行加权聚合，获取最终细胞核与细胞质分割开的样本图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种细胞病理图像分割方法，其特征在于，包括：
获取待进行分割的细胞病理图像；
将所述细胞病理图像输入图像分割模型中，输出细胞核与细胞质分割开的图像；
其中，所述图像分割模型是基于带有分割标注的细胞样本图像训练得到的，所述图像分割模型包括网络参数确定模块、细胞尺寸分类模块、图像分割模块和分割图像聚合模块；
所述网络参数确定模块用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数，所述各子神经网络对不同尺寸细胞的感受野不同，所述细胞尺寸分类模块用于对所述细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络，所述图像分割模块用于在确定分割各细胞对应的子神经网络后，通过各子神经网络分别对所述细胞样本图像进行图像分割，获取初始分割图像，所述分割图像聚合模块用于根据各子神经网络的分割结果权重，对所有初始分割图像进行加权聚合，获取最终细胞核与细胞质分割开的样本图像；
所述网络参数确定模块确定子神经网络个数以及各子神经网络参数的步骤包括：
根据所述细胞样本图像中各细胞尺寸，以及各细胞尺寸对应的细胞数量，获取细胞尺寸粒度曲线；
将所述细胞尺寸粒度曲线的峰值个数作为子神经网络个数；
根据所述峰值对应的细胞尺寸，确定子神经网络的卷积层数和各卷积层对应的感受野尺寸。
2.根据权利要求1所述的细胞病理图像分割方法，其特征在于，所述子神经网络的卷积层数和各卷积层对应的感受野尺寸是基于递推模型确定的，所述递推模型为：
Figure FDA0003809691230000021
其中，Rk代表第k层子神经网络的感受野尺寸，Rk-1代表第k-1层子神经网络的感受野尺寸，Fk代表第k层子神经网络的卷积核尺寸，sk代表第k层卷积核滑动的步长。
3.根据权利要求1所述的细胞病理图像分割方法，其特征在于，所述细胞尺寸分类模块对所述细胞样本图像中的各细胞尺寸进行分类的步骤包括：
将所述细胞样本图像输入分类器，输出所述细胞样本图像中各细胞尺寸所属类别；
其中，所述分类器是基于带有细胞尺寸分类标注的样本训练得到的，在对所述分类器进行训练时，通过损失函数来优化所述分类器，直至满足预设收敛条件。
4.根据权利要求3所述的细胞病理图像分割方法，其特征在于，所述损失函数为：
Figure FDA0003809691230000022
其中，l(θ)表示损失值，θ代表带训练的图像分割模型的参数，L表示细胞样本图像的多分类标签，W表示权重向量，X表示分类器逻辑回归层的输出结果。
5.根据权利要求1所述的细胞病理图像分割方法，其特征在于，所述图像分割模块通过各子神经网络分别对所述细胞样本图像进行图像分割，获取初始分割图像的步骤包括：
通过各子神经网络分别对所述细胞样本图像进行图像分割，获取带有标签的待修正样本图像；
若所述待修正样本图像中的连续区域存在分割面积小于预设值的子图像，则基于与所述子图像相邻的区域标签修正所述子图像的标签，直至所述待修正样本图像中的连续区域面积均大于预设值后，将所述待修正样本图像作为初始分割图像。
6.根据权利要求1所述的细胞病理图像分割方法，其特征在于，所述分割图像聚合模块是基于加权模型对所有初始分割图像进行加权聚合的，所述加权模型为：
Figure FDA0003809691230000031
其中，Ck表示第k个连续区域，Class[Ck]表示相邻于第k个连续区域的分割结果，llist表示分割的标签集合，l表示标签集合llist中的一个标签，wi表示第i个子神经网络分割结果的权重，mi是第i个子神经网络分割的结果，p表示连续区域Ck中的一个像素，I表示指标函数。
7.一种细胞病理图像分割装置，其特征在于，包括：
获取单元，用于获取待进行分割的细胞病理图像；
分割单元，用于将所述细胞病理图像输入图像分割模型中，输出细胞核与细胞质分割开的图像；
其中，所述图像分割模型是基于带有分割标注的细胞样本图像训练得到的，所述图像分割模型包括网络参数确定模块、细胞尺寸分类模块、图像分割模块和分割图像聚合模块；
所述网络参数确定模块用于确定分割细胞样本图像的子神经网络个数以及各子神经网络参数，所述各子神经网络对不同尺寸细胞的感受野不同，所述细胞尺寸分类模块用于对所述细胞样本图像中的各细胞尺寸进行分类，并基于分类结果确定分割各细胞对应的子神经网络，所述图像分割模块用于在确定分割各细胞对应的子神经网络后，通过各子神经网络分别对所述细胞样本图像进行图像分割，获取初始分割图像，所述分割图像聚合模块用于根据各子神经网络的分割结果权重，对所有初始分割图像进行加权聚合，获取最终细胞核与细胞质分割开的样本图像；
所述网络参数确定模块确定子神经网络个数以及各子神经网络参数的步骤包括：
根据所述细胞样本图像中各细胞尺寸，以及各细胞尺寸对应的细胞数量，获取细胞尺寸粒度曲线；
将所述细胞尺寸粒度曲线的峰值个数作为子神经网络个数；
根据所述峰值对应的细胞尺寸，确定子神经网络的卷积层数和各卷积层对应的感受野尺寸。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述细胞病理图像分割方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述细胞病理图像分割方法的步骤。
CN202011379134.0A 2020-11-30 2020-11-30 细胞病理图像分割方法及装置 Active CN112508900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011379134.0A CN112508900B (zh) 2020-11-30 2020-11-30 细胞病理图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011379134.0A CN112508900B (zh) 2020-11-30 2020-11-30 细胞病理图像分割方法及装置

Publications (2)

Publication Number Publication Date
CN112508900A CN112508900A (zh) 2021-03-16
CN112508900B true CN112508900B (zh) 2022-11-01

Family

ID=74968803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011379134.0A Active CN112508900B (zh) 2020-11-30 2020-11-30 细胞病理图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN112508900B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393443B (zh) * 2021-06-17 2023-02-14 华南理工大学 一种he病理图像细胞核分割方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447062A (zh) * 2018-02-01 2018-08-24 浙江大学 一种基于多尺度混合分割模型的病理切片非常规细胞的分割方法
CN109145941A (zh) * 2018-07-03 2019-01-04 怀光智能科技（武汉）有限公司 一种非规则宫颈细胞团图像分类方法及系统
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN109934823A (zh) * 2019-03-25 2019-06-25 天津工业大学 一种基于深度学习的dr眼底图像黄斑水肿分级方法
CN110569747A (zh) * 2019-08-20 2019-12-13 南京农业大学 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法
CN110675368A (zh) * 2019-08-31 2020-01-10 中山大学 一种融合图像分割与分类的细胞图像语义分割方法
CN111080657A (zh) * 2019-12-13 2020-04-28 北京小白世纪网络科技有限公司 基于卷积神经网络多维度融合的ct图像器官分割方法
CN111259827A (zh) * 2020-01-19 2020-06-09 河海大学 一种面向城市河道监管的水面漂浮物自动检测方法及装置
CN111738036A (zh) * 2019-03-25 2020-10-02 北京四维图新科技股份有限公司 图像处理方法、装置、设备及存储介质
CN111882560A (zh) * 2020-06-16 2020-11-03 北京工业大学 一种基于加权全卷积神经网络的肺实质ct图像分割方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447062A (zh) * 2018-02-01 2018-08-24 浙江大学 一种基于多尺度混合分割模型的病理切片非常规细胞的分割方法
CN109145941A (zh) * 2018-07-03 2019-01-04 怀光智能科技（武汉）有限公司 一种非规则宫颈细胞团图像分类方法及系统
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN109934823A (zh) * 2019-03-25 2019-06-25 天津工业大学 一种基于深度学习的dr眼底图像黄斑水肿分级方法
CN111738036A (zh) * 2019-03-25 2020-10-02 北京四维图新科技股份有限公司 图像处理方法、装置、设备及存储介质
CN110569747A (zh) * 2019-08-20 2019-12-13 南京农业大学 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法
CN110675368A (zh) * 2019-08-31 2020-01-10 中山大学 一种融合图像分割与分类的细胞图像语义分割方法
CN111080657A (zh) * 2019-12-13 2020-04-28 北京小白世纪网络科技有限公司 基于卷积神经网络多维度融合的ct图像器官分割方法
CN111259827A (zh) * 2020-01-19 2020-06-09 河海大学 一种面向城市河道监管的水面漂浮物自动检测方法及装置
CN111882560A (zh) * 2020-06-16 2020-11-03 北京工业大学 一种基于加权全卷积神经网络的肺实质ct图像分割方法

Also Published As

Publication number Publication date
CN112508900A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
US10846566B2 (en) Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
CN107103326B (zh) 基于超像素聚类的协同显著性检测方法
CN108305240B (zh) 图像质量检测方法及装置
CN110826379B (zh) 一种基于特征复用与YOLOv3的目标检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110059586B (zh) 一种基于空洞残差注意力结构的虹膜定位分割系统
CN109241816B (zh) 一种基于标签优化的图像再识别系统及损失函数确定方法
CN111723815B (zh) 模型训练方法、图像处理方法、装置、计算机系统和介质
CN111985458B (zh) 一种检测多目标的方法、电子设备及存储介质
CN112819821B (zh) 一种细胞核图像检测方法
CN109740668A (zh) 深度模型训练方法及装置、电子设备及存储介质
CN109145964B (zh) 一种实现图像颜色聚类的方法和系统
Wu et al. Learning scene gist with convolutional neural networks to improve object recognition
CN105320970A (zh) 一种马铃薯病害诊断装置、诊断系统及诊断方法
CN109919149A (zh) 基于物体检测模型的物体标注方法及相关设备
US20240119584A1 (en) Detection method, electronic device and non-transitory computer-readable storage medium
CN113850311A (zh) 一种基于分组和多样性增强的长尾分布图像识别方法
CN112528058A (zh) 基于图像属性主动学习的细粒度图像分类方法
CN112508900B (zh) 细胞病理图像分割方法及装置
Saraswat et al. Plant Disease Identification Using Plant Images
CN117315237B (zh) 目标检测模型的确定方法及装置、存储介质
Shang et al. Real-time Accurate Object Counting for Smart Farms
CN111696117B (zh) 一种基于骨架感知的损失函数加权方法及装置
CN112101185B (zh) 一种训练皱纹检测模型的方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant