CN113763371B - 病理图像的细胞核分割方法及装置 - Google Patents

病理图像的细胞核分割方法及装置 Download PDF

Info

Publication number
CN113763371B
CN113763371B CN202111081581.2A CN202111081581A CN113763371B CN 113763371 B CN113763371 B CN 113763371B CN 202111081581 A CN202111081581 A CN 202111081581A CN 113763371 B CN113763371 B CN 113763371B
Authority
CN
China
Prior art keywords
segmentation
mask
cell
layer
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111081581.2A
Other languages
English (en)
Other versions
CN113763371A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bi Ren Technology Co ltd
Original Assignee
Shanghai Biren Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Biren Intelligent Technology Co Ltd filed Critical Shanghai Biren Intelligent Technology Co Ltd
Priority to CN202111081581.2A priority Critical patent/CN113763371B/zh
Publication of CN113763371A publication Critical patent/CN113763371A/zh
Application granted granted Critical
Publication of CN113763371B publication Critical patent/CN113763371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种病理图像的细胞核分割方法及装置，所述方法包括：将待分割的病理图像输入至细胞分割模型中，得到细胞分割模型输出的细胞分割掩码；细胞分割掩码包括用于识别各细胞核区域的语义分割掩码、用于识别各细胞核边界的法向边缘掩码以及用于识别多个粘连细胞核边缘的核边缘掩码；基于语义分割掩码、法向边缘掩码以及核边缘掩码，确定病理图像的细胞核分割结果。本发明能够大幅度提高细胞核分割结果的精度。

Description

病理图像的细胞核分割方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种病理图像的细胞核分割方法及装置。
背景技术
细胞核分割是指清晰标注出每一个细胞与背景或者其它细胞的分界线，是显微图像分析的重要基础。
目前，传统方法中多通过梯度算法或分水岭算法对病理图像进行细胞核分割。然而，对于细胞核严重聚集的复杂病理图像，如当两个簇状核具有相似的亮度或更多的簇状核紧密连接时，该方法无法准确识别病理图像中的细胞核轮廓，也即细胞核分割结果准确度较低。
发明内容
本发明提供一种病理图像的细胞核分割方法及装置，用以解决现有技术中细胞核分割结果准确度较低的缺陷。
本发明提供一种病理图像的细胞核分割方法，包括：
将待分割的病理图像输入至细胞分割模型中，得到所述细胞分割模型输出的细胞分割掩码；所述细胞分割掩码包括用于识别各细胞核区域的语义分割掩码、用于识别各细胞核边界的法向边缘掩码以及用于识别多个粘连细胞核边缘的核边缘掩码；
基于所述语义分割掩码、所述法向边缘掩码以及所述核边缘掩码，确定所述病理图像的细胞核分割结果；
其中，所述细胞分割模型是基于样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码训练得到的。
根据本发明提供的一种病理图像的细胞核分割方法，所述细胞分割模型是基于如下步骤训练得到的：
基于各样本病理图像中细胞核的亮度，确定各样本病理图像的训练难度系数；
按照训练难度系数由小到大的顺序，依次采用各样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码对所述细胞分割模型的初始模型进行训练。
根据本发明提供的一种病理图像的细胞核分割方法，所述将待分割的病理图像输入至细胞分割模型中，得到所述细胞分割模型输出的细胞分割掩码，包括：
将所述待分割的病理图像输入至所述细胞分割模型的编码层，得到所述编码层输出的编码特征；
将所述编码特征输入至所述细胞分割模型的语义分割层，得到所述语义分割层输出的所述语义分割掩码；
将所述编码特征输入至所述细胞分割模型的共享解码层，得到所述共享解码层输出的解码特征；
将所述解码特征输入至所述细胞分割模型的法向分割层，得到所述法向分割层输出的所述法向边缘掩码；
将所述解码特征输入至所述细胞分割模型的核边缘分割层，得到所述核边缘分割层输出的所述核边缘掩码；
其中，所述编码层分别与所述语义分割层和所述共享解码层跳跃连接，所述共享解码层分别与所述法向分割层和所述核边缘分割层跳跃连接。
根据本发明提供的一种病理图像的细胞核分割方法，所述将所述解码特征输入至所述细胞分割模型的法向分割层，得到所述法向分割层输出的所述法向边缘掩码，包括：
将所述解码特征输入至所述法向分割层，由所述法向分割层对所述解码特征进行上采样，并将上采样后的解码特征和上采样前的解码特征融合，得到所述法向分割层输出的所述法向边缘掩码。
根据本发明提供的一种病理图像的细胞核分割方法，所述将所述解码特征输入至所述细胞分割模型的核边缘分割层，得到所述核边缘分割层输出的所述核边缘掩码，包括：
将所述解码特征输入至所述核边缘分割层，由所述核边缘分割层对所述解码特征进行上采样，并将上采样后的解码特征和上采样前的解码特征融合，得到所述核边缘分割层输出的所述核边缘掩码。
根据本发明提供的一种病理图像的细胞核分割方法，所述基于所述语义分割掩码、所述法向边缘掩码以及所述核边缘掩码，确定所述病理图像的细胞核分割结果，包括：
对所述法向边缘掩码和所述核边缘掩码进行合并，得到合并掩码，并基于所述合并掩码，确定所述病理图像的初始分割结果；
基于所述语义分割掩码以及所述初始分割结果，确定所述细胞核分割结果。
本发明还提供一种病理图像的细胞核分割装置，包括：
掩码确定单元，用于将待分割的病理图像输入至细胞分割模型中，得到所述细胞分割模型输出的细胞分割掩码；所述细胞分割掩码包括用于识别各细胞核区域的语义分割掩码、用于识别各细胞核边界的法向边缘掩码以及用于识别多个粘连细胞核边缘的核边缘掩码；
细胞核分割单元，用于基于所述语义分割掩码、所述法向边缘掩码以及所述核边缘掩码，确定所述病理图像的细胞核分割结果；
其中，所述细胞分割模型是基于样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述病理图像的细胞核分割方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述病理图像的细胞核分割方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述病理图像的细胞核分割方法的步骤。
本发明提供的病理图像的细胞核分割方法及装置，由于细胞核分割模型是以样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码进行训练得到的，即细胞核分割模型将细胞核分割学习任务分解为了学习语义分割掩码、学习法向边缘掩码以及学习核边缘掩码这三个子任务，相较于将三个子任务作为一个整体来进行学习，本发明实施例降低了各子任务的学习难度，使得各子任务能够更好地学习对应的信息，从而提高了模型的训练效果，进而能够基于语义分割掩码、法向边缘掩码以及核边缘掩码得到精度更高的细胞核分割结果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的病理图像的细胞核分割方法的流程示意图；
图2是本发明提供的细胞分割模型的架构示意图；
图3是本发明提供的卷积操作的示意图；
图4是本发明提供的序列学习的流程示意图；
图5是本发明提供的病理图像的细胞核分割装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，传统方法中多通过梯度算法或分水岭算法对病理图像进行细胞核分割。然而，对于细胞核严重聚集的复杂病理图像，如当两个簇状核具有相似的亮度或更多的簇状核紧密连接时，该方法无法准确识别病理图像中的细胞核轮廓，也即细胞核分割结果准确度较低。
对此，本发明提供一种病理图像的细胞核分割方法。图1是本发明提供的病理图像的细胞核分割方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤110、将待分割的病理图像输入至细胞分割模型中，得到细胞分割模型输出的细胞分割掩码；细胞分割掩码包括用于识别各细胞核区域的语义分割掩码、用于识别各细胞核边界的法向边缘掩码以及用于识别多个粘连细胞核边缘的核边缘掩码；
其中，细胞分割模型是基于样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码训练得到的。
此处，待分割的病理图像指待进行细胞核分割的图像，该病理图像中可能存在聚集的细胞核，即各细胞核之间存在交集。若聚集的多个细胞核的像素亮度差别较小，则从这些细胞核中准确识别得到各细胞核的轮廓存在较大困难。
对此，本发明实施例将上述难度较大的细胞核分割任务分解为多个子任务：语义分割任务、法向边缘分割任务以及核边缘分割任务。
其中，语义分割任务对应的是基于病理图像得到对应的语义分割掩码，该语义分割掩码识别表征各细胞核区域。法向边缘分割任务对应的是基于病理图像得到对应的法向边缘掩码，该法向边缘掩码用于识别各细胞核边界，如识别各细胞核与背景(如细胞液)之间的分界。核边缘分割任务对应的是基于病理图像得到对应的核边缘解码，该核边缘解码用于识别多个粘连细胞核边缘，如识别多个粘连细胞核之间的分界。
另外，在将待分割的病理图像输入至细胞分割模型之前，还可以预先训练得到细胞分割模型，具体可通过如下方式训练得到细胞分割模型：首先，收集大量样本病理图像，并通过计算得到其对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码。随即，基于样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码对初始模型进行训练，从而得到细胞分割模型。
其中，样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码可以基于如下步骤获取：
将样本病理图像数据库写作的形式，其中N代表数据实例的数量。第i个灰度显微图像实例xi∈Rl×w由l×w个像素组成。yi∈Nl×w代表与xi对应的像素级别的实例掩码。对于每个yi∈Nl×w,yi(m,n)＝k∈N代表第k个细胞核区域的像素值，与其关联的位于点坐标(m,n)的单一细胞核掩码/>定义如下：
由上式和图像-掩码真值对(xi,yi)，可以得到三个二值化的掩码真值，分别为样本语义分割掩码样本法向边缘掩码/>以及样本核边缘掩码/>用来作为细胞分割模型的训练标签。
步骤120、基于语义分割掩码、法向边缘掩码以及核边缘掩码，确定病理图像的细胞核分割结果。
具体地，由于语义分割掩码可以识别细胞核区域，法向边缘掩码可以识别单个细胞核的边界，核边缘掩码可以识别多个粘连细胞核的边界，从而基于法向边缘掩码与核边缘掩码可以准确获取各细胞核的精确边界掩码，进而在语义分割掩码中减去边界掩码，可以准确得到细胞核分割结果。
需要说明的是，细胞核分割是一个复杂的任务，即既要识别细胞核与背景之间的边界，也要识别多个粘连细胞核之间的边界。若通过一个任务同时学习到上述多个信息，则会增大学习难度，进而影响模型的训练效果，使得细胞核分割结果的精度较低。
对此，本发明实施例将细胞核分割任务分解为多个子任务，通过各子任务获取语义分割掩码、法向分割掩码以及核边缘分割掩码，即各子任务重点学习一个信息，最后再综合各子任务得到的分割掩码确定最终的细胞核分割结果，从而不仅降低了各子任务的学习难度，而且能够提高细胞核分割结果的精度。
由于各分割掩码关注识别不同的区域或边界信息，实现了将难度较高的细胞核分割任务从而基于语义分割掩码、法向分割掩码以及核边缘分割掩码能够准确得到细胞核的分割。
此外，经试验表明，本发明实施例提出的病理图像的细胞核分割方法的分割精度可以维持在0.8以上，最高精度可以达到0.945，相较于传统的细胞核分割方法，本发明实施例提供的方法能够大幅度提高细胞核的分割精度。尤其是在粘连细胞核的分割上，本发明实施例提供的方法可以清晰地区分两个不同的细胞核，进而实现对于细胞核严重聚集的复杂病理图像，能够高精度进行细胞核分割。
此外，细胞核分割模型的损失值Lep包括语义掩码损失Lsem、法向边缘掩码损失Lnor以及核边缘掩码损失Lclu。其中，细胞核分割模型的损失值Lep可以基于如下公式确定：
Lep＝0.3Lsem+0.35Lnor+0.35Lclu
本发明实施例提供的病理图像的细胞核分割方法，由于细胞核分割模型是以样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码进行训练得到的，即细胞核分割模型将细胞核分割学习任务分解为了学习语义分割掩码、学习法向边缘掩码以及学习核边缘掩码这三个子任务，相较于将三个子任务作为一个整体来进行学习，本发明实施例降低了各子任务的学习难度，使得各子任务能够更好地学习对应的信息，从而提高了模型的训练效果，进而能够基于语义分割掩码、法向边缘掩码以及核边缘掩码得到精度更高的细胞核分割结果。
基于上述实施例，细胞分割模型是基于如下步骤训练得到的：
基于各样本病理图像中细胞核的亮度，确定各样本病理图像的训练难度系数；
按照训练难度系数由小到大的顺序，依次采用各样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码对细胞分割模型的初始模型进行训练。
具体地，在对初始模型进行训练之前，基于各样本病理图像中细胞核的亮度，可以确定各根本病理图像的训练难度系数。细胞核的亮度差异越小，训练难度系数越大。例如，两个细胞核为细胞簇核，即两个细胞簇核之间的交界存在重合，若两个细胞簇核的亮度差异越小，则分辨两个细胞簇核交界的难度越大。
此时若在初始模型的训练初始阶段，直接采用难度系数较大的样本病理图像进行训练，不仅会增加模型的迭代次数，而且会使得模型的泛化性能较差。
为了减少模型的迭代次数，提高模型的泛化性能，本发明实施例按照样本病理图像的训练难度系数由小到大的顺序，依次采用各样本病理图像对初始模型进行训练，即先学习训练难度系数较小的样本病理图像，再学习训练难度系数较大的样本病理图像。
对此，本发明实施例为了量化训练难度系数S(xi,yi)，首先定义一个细胞核区域的平均亮度b为：Rl×w×Nl×w→R，
其中|·|是矩阵的L1规范形式。训练难度系数S(xi,yi)由下式定义：
其中矩阵 ai,j表示/>中的像素的数值，bi,j表示/>中的像素的数值，l表示/>或/>的长度，w表示/>或/>的宽度，xi表示输入的图像，k1表示/>的细胞序号，k2表示/>的细胞序号。
需要说明的是，的取值范围为[0,1]，当两个簇核具有完全相同的亮度时，该取值为1，该值越大，S(xi，yi)越大，即样本病理图像的训练难度越大。
用于度量簇核边缘处的信号衰减，即细胞荧光表达的强度，该值越大，S(xi,yi)越大，即样本病理图像的训练难度越大。
基于上述任一实施例，将待分割的病理图像输入至细胞分割模型中，得到细胞分割模型输出的细胞分割掩码，包括：
将待分割的病理图像输入至细胞分割模型的编码层，得到编码层输出的编码特征；
将编码特征输入至细胞分割模型的语义分割层，得到语义分割层输出的语义分割掩码；
将编码特征输入至细胞分割模型的共享解码层，得到共享解码层输出的解码特征；
将解码特征输入至细胞分割模型的法向分割层，得到法向分割层输出的法向边缘掩码；
将解码特征输入至细胞分割模型的核边缘分割层，得到核边缘分割层输出的核边缘掩码；
其中，编码层分别与语义分割层和共享解码层跳跃连接，共享解码层分别与法向分割层和核边缘分割层跳跃连接。
具体地，将待分割的病理图像输入至细胞分割模型的编码层后，由编码层对待分割的病理图像进行特征提取，得到编码特征。
在得到编码特征后，将编码特征输入至语义分割层，由语义分割层进行语义解码，得到语义分割掩码。其中，编码层与语义分割层是跳跃连接的，从而语义分割层在进行语义解码时，可以融合编码特征中的信息，进而能够更准确得到对应的语义分割掩码。
同时，将编码特征输入至共享解码层，得到共享解码层输出的解码特征，该解码特征作为法向分割层和核边缘分割层的共享特征，即解码特征分别作为法向分割层和核边缘分割层的输入，具体为：
将解码特征输入至法向分割层，由法向分割层进行解码，得到法向边缘掩码。其中，由于编码层与共享解码层跳跃连接，从而共享解码层可以融合编码层中编码特征信息，进而得到融合有编码特征信息的解码特征。同时，共享解码层与法向分割层跳跃连接，从而法向编码层可以融合共享解码层中的解码特征信息，进而能够更准确得到法向边缘掩码。
将解码特征输入至核边缘分割层，由核边缘分割层进行解码，得到核边缘掩码。其中，由于编码层与共享解码层跳跃连接，从而共享解码层可以融合编码层中编码特征信息，进而得到融合有编码特征信息的解码特征。同时，共享解码层与核边缘分割层跳跃连接，从而核边缘分割层可以融合共享解码层中的解码特征信息，进而能够更准确得到核边缘掩码。
基于上述任一实施例，将解码特征输入至细胞分割模型的法向分割层，得到法向分割层输出的法向边缘掩码，包括：
将解码特征输入至法向分割层，由法向分割层对解码特征进行上采样，并将上采样后的解码特征和上采样前的解码特征融合，得到法向分割层输出的法向边缘掩码。
具体地，将解码特征输入至法向分割层，由法向分割层对解码特征进行上采样，并将上采样后的解码特征和上采样前的解码特征融合，使得上采样后的解码特征中融合有上采样前的解码特征信息，准确得到法向边缘掩码。
基于上述任一实施例，将解码特征输入至细胞分割模型的核边缘分割层，得到核边缘分割层输出的核边缘掩码，包括：
将解码特征输入至核边缘分割层，由核边缘分割层对解码特征进行上采样，并将上采样后的解码特征和上采样前的解码特征融合，得到核边缘分割层输出的核边缘掩码。
具体地，将解码特征输入至核边缘分割层，由核边缘分割层对解码特征进行上采样，并将上采样后的解码特征和上采样前的解码特征融合，使得上采样后的解码特征中融合有上采样前的解码特征信息，准确得到法向边缘掩码。
如图2所示，细胞分割模型中的B模块用于语义分割，D模块用于法向边缘分割，F模块用于核边缘分割，其中D模块和F模块共享C模块的卷积操作结果。用于法向边缘分割的D模块对应的路径将原始图像像素结合一个sign函数生成值0为背景，值1为细胞核边界的二值图像作为输入，突出了原始图像中细胞核边界。用于核边缘分割的F模块对应的额外半路径将任意细胞核边缘像素点作为输入，赋予模型额外针对识别簇核边缘的能力。由此可见，由于D模块和F模块提取的特征都是细胞核，从而D模块和F模块共享通道，从而可以更好的促进法向边缘分割任务和核边缘分割任务的学习。
在每个密集的跳跃连接模块中，一个连接层将其前一个卷积层在同一密集块中的输出，以及相应的较密集块的上采样结果合并在一起。在潜在特征融合后，拼接后的特征图继续经过两个3×3的卷积层处理，如图3所示。由于本发明实施例将簇核边缘作为普通轮廓的一种特殊情况，从而在对轮廓进行一般预测之后，本发明实施例中增加了对前者的额外解释。在这种情况下，在第一个密集块中集成了序列感知指令(SAM)模块来学习优先级，处理细胞核中黏连边的情况，加快学习速度的收敛。如图4所示，C模块和D模块的输出分别进行1×1卷积运算，然后进行加权聚合。
基于上述任一实施例，基于语义分割掩码、法向边缘掩码以及核边缘掩码，确定病理图像的细胞核分割结果，包括：
对法向边缘掩码和核边缘掩码进行合并，得到合并掩码，并基于合并掩码，确定病理图像的初始分割结果；
基于语义分割掩码以及初始分割结果，确定细胞核分割结果。
具体地，在得到法向边缘掩码和核边缘掩码后，将法向边缘掩码和核边缘掩码直接合并，得到初始分割结果。然后，对初始分割结果中的边缘进行锐化处理得到精确的边缘掩码。最后，从语义分割掩码中减去精确定位的边缘掩码，得到精确的细胞核分割结果。
下面对本发明提供的病理图像的细胞核分割装置进行描述，下文描述的病理图像的细胞核分割装置与上文描述的病理图像的细胞核分割方法可相互对应参照。
基于上述任一实施例，本发明提供一种病理图像的细胞核分割装置，如图5所示，该装置包括：
掩码确定单元510，用于将待分割的病理图像输入至细胞分割模型中，得到所述细胞分割模型输出的细胞分割掩码；所述细胞分割掩码包括用于识别各细胞核区域的语义分割掩码、用于识别各细胞核边界的法向边缘掩码以及用于识别多个粘连细胞核边缘的核边缘掩码；
细胞核分割单元520，用于基于所述语义分割掩码、所述法向边缘掩码以及所述核边缘掩码，确定所述病理图像的细胞核分割结果；
其中，所述细胞分割模型是基于样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码训练得到的。
基于上述任一实施例，所述装置还包括：
难度确定单元，用于基于各样本病理图像中细胞核的亮度，确定各样本病理图像的训练难度系数；
训练单元，用于按照训练难度系数由小到大的顺序，依次采用各样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码对所述细胞分割模型的初始模型进行训练。
基于上述任一实施例，所述掩码确定单元510，包括：
编码单元，用于将所述待分割的病理图像输入至所述细胞分割模型的编码层，得到所述编码层输出的编码特征；
语义解码单元，用于将所述编码特征输入至所述细胞分割模型的语义分割层，得到所述语义分割层输出的所述语义分割掩码；
共享解码单元，用于将所述编码特征输入至所述细胞分割模型的共享解码层，得到所述共享解码层输出的解码特征；
第一边缘解码单元，用于将所述解码特征输入至所述细胞分割模型的法向分割层，得到所述法向分割层输出的所述法向边缘掩码；
第二边缘解码单元，用于将所述解码特征输入至所述细胞分割模型的核边缘分割层，得到所述核边缘分割层输出的所述核边缘掩码；
其中，所述编码层分别与所述语义分割层和所述共享解码层跳跃连接，所述共享解码层分别与所述法向分割层和所述核边缘分割层跳跃连接。
基于上述任一实施例，所述第一边缘解码单元，用于：
将所述解码特征输入至所述法向分割层，由所述法向分割层对所述解码特征进行上采样，并将上采样后的解码特征和上采样前的解码特征融合，得到所述法向分割层输出的所述法向边缘掩码。
基于上述任一实施例，所述第二边缘解码单元，用于：
将所述解码特征输入至所述核边缘分割层，由所述核边缘分割层对所述解码特征进行上采样，并将上采样后的解码特征和上采样前的解码特征融合，得到所述核边缘分割层输出的所述核边缘掩码。
基于上述任一实施例，所述细胞核分割单元520，包括：
合并单元，用于对所述法向边缘掩码和所述核边缘掩码进行合并，得到合并掩码，并基于所述合并掩码，确定所述病理图像的初始分割结果；
分割单元，用于基于所述语义分割掩码以及所述初始分割结果，确定所述细胞核分割结果。
图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、存储器(memory)620、通信接口(CommunicationsInterface)630和通信总线640，其中，处理器610，存储器620，通信接口630通过通信总线640完成相互间的通信。处理器610可以调用存储器620中的逻辑指令，以执行病理图像的细胞核分割方法，该方法包括：将待分割的病理图像输入至细胞分割模型中，得到所述细胞分割模型输出的细胞分割掩码；所述细胞分割掩码包括用于识别各细胞核区域的语义分割掩码、用于识别各细胞核边界的法向边缘掩码以及用于识别多个粘连细胞核边缘的核边缘掩码；基于所述语义分割掩码、所述法向边缘掩码以及所述核边缘掩码，确定所述病理图像的细胞核分割结果；其中，所述细胞分割模型是基于样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码训练得到的。
此外，上述的存储器620中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的病理图像的细胞核分割方法，该方法包括：将待分割的病理图像输入至细胞分割模型中，得到所述细胞分割模型输出的细胞分割掩码；所述细胞分割掩码包括用于识别各细胞核区域的语义分割掩码、用于识别各细胞核边界的法向边缘掩码以及用于识别多个粘连细胞核边缘的核边缘掩码；基于所述语义分割掩码、所述法向边缘掩码以及所述核边缘掩码，确定所述病理图像的细胞核分割结果；其中，所述细胞分割模型是基于样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的病理图像的细胞核分割方法，该方法包括：将待分割的病理图像输入至细胞分割模型中，得到所述细胞分割模型输出的细胞分割掩码；所述细胞分割掩码包括用于识别各细胞核区域的语义分割掩码、用于识别各细胞核边界的法向边缘掩码以及用于识别多个粘连细胞核边缘的核边缘掩码；基于所述语义分割掩码、所述法向边缘掩码以及所述核边缘掩码，确定所述病理图像的细胞核分割结果；其中，所述细胞分割模型是基于样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种病理图像的细胞核分割方法，其特征在于，包括：
将待分割的病理图像输入至细胞分割模型中，得到所述细胞分割模型输出的细胞分割掩码；所述细胞分割掩码包括用于识别各细胞核区域的语义分割掩码、用于识别各细胞核边界的法向边缘掩码以及用于识别多个粘连细胞核边缘的核边缘掩码；
基于所述语义分割掩码、所述法向边缘掩码以及所述核边缘掩码，确定所述病理图像的细胞核分割结果；
其中，所述细胞分割模型是基于样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码训练得到的；
所述将待分割的病理图像输入至细胞分割模型中，得到所述细胞分割模型输出的细胞分割掩码，包括：
将所述待分割的病理图像输入至所述细胞分割模型的编码层，得到所述编码层输出的编码特征；
将所述编码特征输入至所述细胞分割模型的语义分割层，得到所述语义分割层输出的所述语义分割掩码；
将所述编码特征输入至所述细胞分割模型的共享解码层，得到所述共享解码层输出的解码特征；
将所述解码特征输入至所述细胞分割模型的法向分割层，得到所述法向分割层输出的所述法向边缘掩码；
将所述解码特征输入至所述细胞分割模型的核边缘分割层，得到所述核边缘分割层输出的所述核边缘掩码；
其中，所述编码层分别与所述语义分割层和所述共享解码层跳跃连接，所述共享解码层分别与所述法向分割层和所述核边缘分割层跳跃连接。
2.根据权利要求1所述的病理图像的细胞核分割方法，其特征在于，所述细胞分割模型是基于如下步骤训练得到的：
基于各样本病理图像中细胞核的亮度，确定各样本病理图像的训练难度系数；
按照训练难度系数由小到大的顺序，依次采用各样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码对所述细胞分割模型的初始模型进行训练。
3.根据权利要求1所述的病理图像的细胞核分割方法，其特征在于，所述将所述解码特征输入至所述细胞分割模型的法向分割层，得到所述法向分割层输出的所述法向边缘掩码，包括：
将所述解码特征输入至所述法向分割层，由所述法向分割层对所述解码特征进行上采样，并将上采样后的解码特征和上采样前的解码特征融合，得到所述法向分割层输出的所述法向边缘掩码。
4.根据权利要求1所述的病理图像的细胞核分割方法，其特征在于，所述将所述解码特征输入至所述细胞分割模型的核边缘分割层，得到所述核边缘分割层输出的所述核边缘掩码，包括：
将所述解码特征输入至所述核边缘分割层，由所述核边缘分割层对所述解码特征进行上采样，并将上采样后的解码特征和上采样前的解码特征融合，得到所述核边缘分割层输出的所述核边缘掩码。
5.根据权利要求1至4任一项所述的病理图像的细胞核分割方法，其特征在于，所述基于所述语义分割掩码、所述法向边缘掩码以及所述核边缘掩码，确定所述病理图像的细胞核分割结果，包括：
对所述法向边缘掩码和所述核边缘掩码进行合并，得到合并掩码，并基于所述合并掩码，确定所述病理图像的初始分割结果；
基于所述语义分割掩码以及所述初始分割结果，确定所述细胞核分割结果。
6.一种病理图像的细胞核分割装置，其特征在于，包括：
掩码确定单元，用于将待分割的病理图像输入至细胞分割模型中，得到所述细胞分割模型输出的细胞分割掩码；所述细胞分割掩码包括用于识别各细胞核区域的语义分割掩码、用于识别各细胞核边界的法向边缘掩码以及用于识别多个粘连细胞核边缘的核边缘掩码；
细胞核分割单元，用于基于所述语义分割掩码、所述法向边缘掩码以及所述核边缘掩码，确定所述病理图像的细胞核分割结果；
其中，所述细胞分割模型是基于样本病理图像以及样本病理图像对应的样本语义分割掩码、样本法向边缘掩码和样本核边缘掩码训练得到的；
所述将待分割的病理图像输入至细胞分割模型中，得到所述细胞分割模型输出的细胞分割掩码，包括：
将所述待分割的病理图像输入至所述细胞分割模型的编码层，得到所述编码层输出的编码特征；
将所述编码特征输入至所述细胞分割模型的语义分割层，得到所述语义分割层输出的所述语义分割掩码；
将所述编码特征输入至所述细胞分割模型的共享解码层，得到所述共享解码层输出的解码特征；
将所述解码特征输入至所述细胞分割模型的法向分割层，得到所述法向分割层输出的所述法向边缘掩码；
将所述解码特征输入至所述细胞分割模型的核边缘分割层，得到所述核边缘分割层输出的所述核边缘掩码；
其中，所述编码层分别与所述语义分割层和所述共享解码层跳跃连接，所述共享解码层分别与所述法向分割层和所述核边缘分割层跳跃连接。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述病理图像的细胞核分割方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述病理图像的细胞核分割方法的步骤。
CN202111081581.2A 2021-09-15 2021-09-15 病理图像的细胞核分割方法及装置 Active CN113763371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111081581.2A CN113763371B (zh) 2021-09-15 2021-09-15 病理图像的细胞核分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111081581.2A CN113763371B (zh) 2021-09-15 2021-09-15 病理图像的细胞核分割方法及装置

Publications (2)

Publication Number Publication Date
CN113763371A CN113763371A (zh) 2021-12-07
CN113763371B true CN113763371B (zh) 2023-08-18

Family

ID=78795891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111081581.2A Active CN113763371B (zh) 2021-09-15 2021-09-15 病理图像的细胞核分割方法及装置

Country Status (1)

Country Link
CN (1) CN113763371B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612738B (zh) * 2022-02-16 2022-11-11 中国科学院生物物理研究所 细胞电镜图像分割模型的训练方法和细胞器互作分析方法
CN116863466A (zh) * 2023-09-04 2023-10-10 南京诺源医疗器械有限公司 一种基于改进UNet网络的重叠细胞核识别方法及系统
CN117670895B (zh) * 2024-02-01 2024-04-19 华南理工大学 基于切片重染色技术的免疫组化病理图像细胞分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0900248D0 (en) * 2009-01-09 2009-02-11 Maddison John R Optimizing the initialization and convergence of active contours for segmentation of cell nuclei in histological sections
CN108364288A (zh) * 2018-03-01 2018-08-03 北京航空航天大学 用于乳腺癌病理图像的分割方法和装置
CN111462086A (zh) * 2020-03-31 2020-07-28 北京推想科技有限公司 图像分割方法及装置、神经网络模型的训练方法及装置
CN112132843A (zh) * 2020-09-30 2020-12-25 福建师范大学 基于无监督深度学习的苏木精-伊红染色病理图像分割方法
CN112669285A (zh) * 2020-12-29 2021-04-16 中山大学 一种基于共享解码器和残差塔式结构的眼底图像血管分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2478593B (en) * 2010-03-12 2017-05-31 Inst For Medical Informatics Optimising the initialization and convergence of active contours for segmentation of cell nuclei in histological sections
EP3625767B1 (en) * 2017-09-27 2021-03-31 Google LLC End to end network model for high resolution image segmentation
US20210133981A1 (en) * 2019-10-30 2021-05-06 Allen Institute Biology driven approach to image segmentation using supervised deep learning-based segmentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0900248D0 (en) * 2009-01-09 2009-02-11 Maddison John R Optimizing the initialization and convergence of active contours for segmentation of cell nuclei in histological sections
CN108364288A (zh) * 2018-03-01 2018-08-03 北京航空航天大学 用于乳腺癌病理图像的分割方法和装置
CN111462086A (zh) * 2020-03-31 2020-07-28 北京推想科技有限公司 图像分割方法及装置、神经网络模型的训练方法及装置
CN112132843A (zh) * 2020-09-30 2020-12-25 福建师范大学 基于无监督深度学习的苏木精-伊红染色病理图像分割方法
CN112669285A (zh) * 2020-12-29 2021-04-16 中山大学 一种基于共享解码器和残差塔式结构的眼底图像血管分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Caps-Unet的粘连细胞核边缘检测及分割;李兴伟;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》(第1期);第1-63页 *

Also Published As

Publication number Publication date
CN113763371A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN113763371B (zh) 病理图像的细胞核分割方法及装置
CN113807355B (zh) 一种基于编解码结构的图像语义分割方法
CN110428432B (zh) 结肠腺体图像自动分割的深度神经网络算法
CN111524106B (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN110298844B (zh) X光造影图像血管分割与识别方法及装置
US20240029272A1 (en) Matting network training method and matting method
CN111402257B (zh) 一种基于多任务协同跨域迁移的医学图像自动分割方法
CN113393370A (zh) 中国书法文字图像风格迁移的方法、系统、智能终端
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
CN114565770A (zh) 基于边缘辅助计算和掩模注意力的图像分割方法及系统
CN113836850A (zh) 模型获得方法及系统及装置及介质及产品缺陷检测方法
CN115861255A (zh) 用于图像处理的模型训练方法、装置、设备、介质及产品
CN112329857A (zh) 一种基于改进残差网络的图像分类方法
CN110659572B (zh) 基于双向特征金字塔的视频动作检测方法
CN115953394A (zh) 基于目标分割的海洋中尺度涡检测方法及系统
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN117474796B (zh) 一种图像生成方法、装置、设备及计算机可读存储介质
CN113223011B (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
CN111383191A (zh) 用于血管断裂修复的图像处理方法及装置
CN114491289A (zh) 一种双向门控卷积网络的社交内容抑郁检测方法
CN118015620A (zh) 一种图像自动标注方法、计算机可读存储介质
CN115100731B (zh) 一种质量评价模型训练方法、装置、电子设备及存储介质
CN116229457A (zh) 基于卷积神经网络的多模态显微图像细胞分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 201114 room 1302, 13 / F, building 16, 2388 Chenhang Road, Minhang District, Shanghai

Patentee after: Shanghai Bi Ren Technology Co.,Ltd.

Country or region after: China

Address before: 201114 room 1302, 13 / F, building 16, 2388 Chenhang Road, Minhang District, Shanghai

Patentee before: Shanghai Bilin Intelligent Technology Co.,Ltd.

Country or region before: China