CN111462086B - 图像分割方法及装置、神经网络模型的训练方法及装置 - Google Patents
图像分割方法及装置、神经网络模型的训练方法及装置 Download PDFInfo
- Publication number
- CN111462086B CN111462086B CN202010246938.7A CN202010246938A CN111462086B CN 111462086 B CN111462086 B CN 111462086B CN 202010246938 A CN202010246938 A CN 202010246938A CN 111462086 B CN111462086 B CN 111462086B
- Authority
- CN
- China
- Prior art keywords
- image
- segmented
- neural network
- segmentation
- pathological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003709 image segmentation Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 title abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 159
- 230000001575 pathological effect Effects 0.000 claims abstract description 105
- 210000003855 cell nucleus Anatomy 0.000 claims abstract description 95
- 238000013528 artificial neural network Methods 0.000 claims description 148
- 210000004940 nucleus Anatomy 0.000 claims description 52
- 230000007170 pathology Effects 0.000 claims description 45
- 230000000903 blocking effect Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 210000004027 cell Anatomy 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 210000000056 organ Anatomy 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 64
- 238000010586 diagram Methods 0.000 description 11
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明提供了一种图像分割方法及装置、神经网络模型的训练方法及装置、计算机可读存储介质和电子设备。该图像分割方法包括：获取待分割病理图像的分割掩膜图像，其中，分割掩膜图像包含待分割病理图像中细胞核的边界信息；根据分割掩膜图像，获取待分割病理图像的距离回归图像；根据分割掩膜图像和距离回归图像，获取待分割病理图像的二值细胞核分割图像，能够结合细胞核边界信息和距离信息进行细胞核二分类分割任务，提高了细胞核分割的精度，更好地分割较小的细胞核、粘连及重叠的细胞核；另外，来自不同器官的细胞核在外观、形态、形状、颜色以及密度上都具有很大的不同，本发明实施例提供的技术方案能够具有很好的泛化能力。
Description
技术领域
本发明涉及图像分割技术领域，具体涉及一种图像分割方法及装置、神经网络模型的训练方法及装置、计算机可读存储介质和电子设备。
背景技术
病理图像包含了有关细胞形态和组织结构的大量信息，在临床实践以及疾病研究中被广泛应用。由于细胞核的形态、分布、核质比(细胞核与细胞质的比例)和结构是提取、挖掘和解释亚细胞信息的基础，能够为肿瘤诊断和预后等临床实践提供重要线索，因此，细胞核分割是进一步研究和分析病理图像的基础和重要任务。
传统的用于细胞核分割的方法包括数学形态学操作、分水岭变换、主动轮廓模型、聚类以及基于图的方法，但是这些算法分割效果有限，精度比较低，容易造成过分割和欠分割，且对不同的器官的病理图像不具备很好的泛化能力。
发明内容
有鉴于此，本发明实施例提供了一种图像分割方法及装置、神经网络模型的训练方法及装置、计算机可读存储介质和电子设备，能够提高细胞核分割的精度和泛化能力，更好的分割较小的细胞核、粘连及重叠的细胞核。
根据本发明实施例的第一方面，提供一种图像分割方法，包括：获取待分割病理图像的分割掩膜图像，其中，分割掩膜图像包含待分割病理图像中细胞核的边界信息；根据分割掩膜图像，获取待分割病理图像的距离回归图像；根据分割掩膜图像和距离回归图像，获取待分割病理图像的二值细胞核分割图像。
在本发明的一个实施例中，上述图像分割方法还包括：将待分割病理图像输入级联神经网络模型，其中，级联神经网络模型包括串行的第一神经网络、第二神经网络和第三神经网络，其中，上述获取待分割病理图像的分割掩膜图像，包括：将待分割病理图像输入第一神经网络，获取分割掩膜图像，其中，上述根据分割掩膜图像，获取待分割病理图像的距离回归图像，包括：将拼接后的待分割病理图像和分割掩膜图像输入第二神经网络，获取距离回归图像，其中，上述根据分割掩膜图像和距离回归图像，获取待分割病理图像的二值细胞核分割图像，包括：将拼接后的分割掩膜图像和距离回归图像输入第三神经网络，获取二值细胞核分割图像。
在本发明的一个实施例中，上述将待分割病理图像输入级联神经网络模型，包括：将待分割病理图像进行分块操作，获得多个分块图像；将多个分块图像输入级联神经网络模型，其中，上述获取二值细胞核分割图像，包括：获取多个分块图像对应的多个二值细胞核分割图像，其中，上述图像分割方法还包括：将多个二值细胞核分割图像进行合并操作，获取待分割病理图像的二值细胞核分割图像。
在本发明的一个实施例中，第一神经网络、第二神经网络和第三神经网络为经过深层聚合作用的U型神经网络。
在本发明的一个实施例中，上述距离回归图像包括欧氏距离回归图像或非欧氏距离回归图像。
根据本发明实施例的第二方面，提供一种神经网络模型的训练方法，包括：确定样本病理图像，其中，样本病理图像包括标注的细胞核区域；基于样本病理图像训练级联神经网络模型，以生成用于分割细胞核的网络模型，其中，级联神经网络模型包括串行的第一神经网络、第二神经网络和第三神经网络，第一神经网络用于输出样本病理图像的分割掩膜图像，其中，分割掩膜图像包含细胞核的边界信息，第二神经网络用于输出样本病理图像的距离回归图像，第三神经网络用于输出样本病理图像的二值细胞核分割图像。
在本发明的一个实施例中，上述基于样本病理图像训练级联神经网络模型，以生成用于分割细胞核的网络模型，包括：将样本病理图像输入级联神经网络模型；获取第一神经神经网络的第一损失函数值；获取第二神经神经网络的第二损失函数值；获取第三神经神经网络的第三损失函数值；根据第一损失函数值、第二损失函数值和第三损失函数值，更新级联神经网络模型的参数。
在本发明的一个实施例中，上述根据第一损失函数值、第二损失函数值和第三损失函数值，更新级联神经网络模型的参数，包括：将第一损失函数值、第二损失函数值和第三损失函数值加权求和，获取级联神经网络模型的总损失函数值；根据总损失函数值，更新级联神经网络模型的参数。
在本发明的一个实施例中，第一神经网络和第三神经网络的损失函数为交叉熵损失函数或基于Dice系数的损失函数，第二神经网络的损失函数为Huber损失函数。
在本发明的一个实施例中，第一神经网络、第二神经网络和第三神经网络为经过深层聚合作用的U型神经网络，第二神经网络的输入为拼接后的样本病理图像和分割掩膜图像，第三神经网络的输入为拼接后的分割掩膜图像和距离回归图像。
根据本发明实施例的第三方面，提供一种图像分割装置，包括：掩膜模块，用于获取待分割病理图像的分割掩膜图像，其中，分割掩膜图像包含待分割病理图像中细胞核的边界信息；距离模块，用于根据分割掩膜图像，获取待分割病理图像的距离回归图像；二值化模块，用于根据分割掩膜图像和距离回归图像，获取待分割病理图像的二值细胞核分割图像。
根据本发明实施例的第四方面，提供一种神经网络模型的训练装置，包括：确定模块，用于确定样本病理图像，其中，样本病理图像包括标注的细胞核区域；训练模块，用于基于样本病理图像训练级联神经网络模型，以生成用于分割细胞核的网络模型，其中，级联神经网络模型包括串行的第一神经网络、第二神经网络和第三神经网络，第一神经网络用于输出样本病理图像的分割掩膜图像，其中，分割掩膜图像包含细胞核的边界信息，第二神经网络用于输出样本病理图像的距离回归图像，第三神经网络用于输出样本病理图像的二值细胞核分割图像。
根据本发明实施例的第五方面，提供一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述任一的方法。
根据本发明实施例的第六方面，提供一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于执行上述任一的方法。
根据本发明实施例提供的技术方案，通过获取待分割病理图像的分割掩膜图像，其中，分割掩膜图像包含待分割病理图像中细胞核的边界信息；根据分割掩膜图像，获取待分割病理图像的距离回归图像；根据分割掩膜图像和距离回归图像，获取待分割病理图像的二值细胞核分割图像，能够结合细胞核边界信息和距离信息进行细胞核二分类分割任务，提高了细胞核分割的精度，更好地分割较小的细胞核、粘连及重叠的细胞核；另外，来自不同器官的细胞核在外观、形态、形状、颜色以及密度上都具有很大的不同，本发明实施例提供的技术方案能够具有很好的泛化能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为本发明一实施例提供的图像分割方法的流程示意图。
图2所示为本发明另一实施例提供的图像分割方法的流程示意图。
图3所示为本发明一实施例提供的级联神经网络模型的结构示意图。
图4所示为本发明一实施例提供的分块RGB病理图像的示意图。
图5所示为本发明一实施例提供的三类分割掩膜图像的示意图。
图6所示为本发明一实施例提供的细胞核距离回归图像的示意图。
图7所示为本发明一实施例提供的二值细胞核分割图像的示意图。
图8所示为本发明一实施例提供的神经网络模型的训练方法的流程示意图。
图9所示为本发明一实施例提供的图像分割装置的框图。
图10所示为本发明一实施例提供的神经网络模型的训练装置的框图。
图11所示为本发明一实施例提供的电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为本发明一实施例提供的图像分割方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图1所示，该方法包括如下内容。
S110：获取待分割病理图像的分割掩膜图像，其中，分割掩膜图像包含待分割病理图像中细胞核的边界信息。
应当理解，待分割病理图像可以是经过苏木精-伊红(HE)染色后的病理图像，也可以是经过其他染色法染色的病理图像，本发明对此不作具体限定。
分割掩膜图像可以是对待分割病理图像进行分类后获得的图像，本发明对此不作具体限定。具体地，可以将待分割病理图像进行多分类分割，例如，将待分割病理图像进行三类分割(即分割成细胞核、细胞核边界和背景这三类)，相较于将待分割病理图像进行二分类分割(即分割成细胞核和背景这两类)，增加了第三类：细胞核边界，从而使得分割掩膜图像包含细胞核的边界信息。
S120：根据分割掩膜图像，获取待分割病理图像的距离回归图像。
具体地，可以通过距离变换操作，获得待分割病理图像中细胞内各个像素距离其最近的背景像素的距离，从而获得距离回归图像。其中，距离变换可以采用欧氏距离变换或非欧氏距离变换，非欧式距离可以为棋盘距离、城市街区距离或倒角距离等，本发明对此不作具体限定。
S130：根据分割掩膜图像和距离回归图像，获取待分割病理图像的二值细胞核分割图像。
具体地，根据分割掩膜图像和距离回归图像，获得待分割病理图像的二值化图像，即，将待分割病理图像分割成细胞核和背景。
根据本发明实施例提供的技术方案，通过获取待分割病理图像的分割掩膜图像，其中，分割掩膜图像包含待分割病理图像中细胞核的边界信息；根据分割掩膜图像，获取待分割病理图像的距离回归图像；根据分割掩膜图像和距离回归图像，获取待分割病理图像的二值细胞核分割图像，能够结合细胞核边界信息和距离信息进行细胞核二分类分割任务，提高了细胞核分割的精度，更好地分割较小的细胞核、粘连及重叠的细胞核；另外，来自不同器官的细胞核在外观、形态、形状、颜色以及密度上都具有很大的不同，本发明实施例提供的技术方案能够具有很好的泛化性能。
在本发明的另一个实施例中，上述图像分割方法还包括：将待分割病理图像输入级联神经网络模型，其中，级联神经网络模型包括串行的第一神经网络、第二神经网络和第三神经网络，其中，上述获取待分割病理图像的分割掩膜图像，包括：将待分割病理图像输入第一神经网络，获取分割掩膜图像，其中，上述根据分割掩膜图像，获取待分割病理图像的距离回归图像，包括：将拼接后的待分割病理图像和分割掩膜图像输入第二神经网络，获取距离回归图像，其中，上述根据分割掩膜图像和距离回归图像，获取待分割病理图像的二值细胞核分割图像，包括：将拼接后的分割掩膜图像和距离回归图像输入第三神经网络，获取二值细胞核分割图像。
也就是说，可以将待分割病理图像的二类分割任务转化成三个任务，通过训练好的级联神经网络模型实现将待分割病理图像分割成细胞核和背景。级联神经网络模型可以包括三个串行的神经网络。即，第一神经网络、第二神经网络和第三神经网络，其中，每个神经网络分别完成其中一个任务，对应不同的输出。
例如，第一神经网络的输入为待分割病理图像，输出为包含细胞核边界信息的分割掩膜图像；第二神经网络的输入为拼接后的待分割病理图像和分割掩膜图像，输出为距离回归图像；第三神经网络的输入为拼接后的分割掩膜图像和距离回归图像，输出为二值细胞核分割图像。
在本发明的一个实施例中，第一神经网络、第二神经网络和第三神经网络可以为U型神经网络，进一步地，可以为经过深层聚合作用的U型神经网络。应当理解，第一神经网络、第二神经网络和第三神经网络还可以是其他神经网络模型，本发明对神经网络模型的类型不作具体限定。第一神经网络、第二神经网络和第三神经网络可以是相同类型的神经网络模型，也可以是不同类型的神经网络模型，本发明对此不作具体限定。
在本发明的一个实施例中，上述将待分割病理图像输入级联神经网络模型，包括：将待分割病理图像进行分块操作，获得多个分块图像；将多个分块图像输入级联神经网络模型，其中，上述获取二值细胞核分割图像，包括：获取多个分块图像对应的多个二值细胞核分割图像，其中，上述图像分割方法还包括：将多个二值细胞核分割图像进行合并操作，获取待分割病理图像的二值细胞核分割图像。
也就是说，为避免内存溢出，可以先将待分割病理图像进行分块操作获得分块图像，将每一分块图像输入到训练好的的级联神经网络模型，得到分块图像的二值细胞核分割图像，最后将每一分块图像的二值细胞核分割图像进行合并操作，即可得到待分割病理图像的二值化分割结果图像。
图2所示为本发明另一实施例提供的图像分割方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图2所示，该方法包括如下内容。
S210：将待分割病理图像Ω进行分块操作，获得多个分块图像I。
通过对待分割病理图像进行分块操作，分别获得多个分块图像的分割结果，可以避免图像分割过程中内存溢出现象。
S220：将每一分块图像I输入级联神经网络模型的第一UNet神经网络，输出包含细胞核、细胞核边界和背景的三类分割掩膜图像S1。
如图3所示，级联神经网络模型包括三个经过深层聚合作用的UNet神经网络，分别为第一U型(UNet)神经网络、第二UNet神经网络和第三UNet神经网络。
例如，如图3和图4所示，第一UNet神经网络的输入为分块RGB病理图像I，那么I∈Ω＝Rw×h×3,其中，w和h分别代表分块RGB病理图像的宽和高，3代表图像通道数。应当理解，本发明对分块图像的尺寸大小不作限定。
具体地，第一UNet神经网络的输出为每一分块图像I对应的三类分割掩膜图像S1，即S1∈Ψ＝{0,1,2}w×h，如图3和图5所示。其中，Ψ代表待分割病理图像Ω对应的三类分割掩膜图像。因此，第一UNet神经网络的任务可以定义为t1＝Ω→Ψ。
S230：将第一UNet神经网络输出的三类分割掩膜图像S1和输入的分块图像I拼接后输入第二UNet神经网络，输出细胞核距离回归图像S2。
具体地，第二UNet神经网络的输出为每一分块图像I对应的细胞核距离回归图像S2，即S2∈Θ＝{0,[1,2]}w×h，如图3和图6所示。其中，Θ代表待分割病理图像Ω对应的细胞核距离回归图像。因此，第二UNet神经网络的任务可以定义为t2＝{Ω,Ψ}→Θ。
S240：将第一UNet神经网络输出的三类分割掩膜图像S1和第二UNet神经网络输出的细胞核距离回归图像S2拼接后输入第三UNet神经网络，输出二值细胞核分割图像S3。
具体地，第三UNet神经网络的输出为每一分块图像I对应的二值细胞核分割图像S3，即S3∈Φ＝{0,1}w×h，如图3和图7所示。其中，Φ代表待分割病理图像Ω对应的二值细胞核分割图像。因此，第三UNet神经网络的任务可以定义为t3＝{Ψ,Θ}→Φ。
其中，S2和S3的对应关系可以如下：
其中，(i,j)代表图像坐标，D代表距离变换函数，ζ为一个用来增大背景区域和细胞核区域的正整数，可以为1，本发明对此不作限定。
S250：将每一分块图像对应的二值细胞核分割图像进行合并操作，获得待分割病理图像的二值细胞核分割图像。
根据本发明实施例提供的技术方案，通过将待分割病理图像Ω进行分块操作，获得多个分块图像I；将每一分块图像I输入级联神经网络模型的第一UNet神经网络，输出包含细胞核、细胞核边界和背景的三类分割掩膜图像S1；将第一UNet神经网络输出的三类分割掩膜图像S1和输入的分块图像I拼接后输入第二UNet神经网络，输出细胞核距离回归图像S2；将第一UNet神经网络输出的三类分割掩膜图像S1和第二UNet神经网络输出的细胞核距离回归图像S2拼接后输入第三UNet神经网络，输出二值细胞核分割图像S3；将每一分块图像对应的二值细胞核分割图像进行合并操作，获得待分割病理图像的二值细胞核分割图像，能够结合细胞核边界信息和距离信息进行细胞核二分类分割任务，提高了细胞核分割的精度，更好地分割较小的细胞核、粘连及重叠的细胞核；另外，来自不同器官的细胞核在外观、形态、形状、颜色以及密度上都具有很大的不同，本发明实施例提供的技术方案能够具有很好的泛化能力。
图8所示为本发明一实施例提供的神经网络模型的训练方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图8所示，该方法包括如下内容。
S810：确定样本病理图像，其中，样本病理图像包括标注的细胞核区域。
具体地，可以在HE染色的病理图像上人工标注出细胞核区域，得到对应的细胞核分割掩膜图像，将细胞核分割掩膜图像作为样本病理图像。
S820：基于样本病理图像训练级联神经网络模型，以生成用于分割细胞核的网络模型，其中，级联神经网络模型包括串行的第一神经网络、第二神经网络和第三神经网络，第一神经网络用于输出样本病理图像的分割掩膜图像，其中，分割掩膜图像包含细胞核的边界信息，第二神经网络用于输出样本病理图像的距离回归图像，第三神经网络用于输出样本病理图像的二值细胞核分割图像。
根据本发明实施例提供的技术方案，通过利用样本病理图像训练包括串行的第一神经网络、第二神经网络和第三神经网络的级联神经网络模型，细胞核边界类别和距离信息的加入可以使得级联神经网络模型更好地学习到边缘信息，以及更好地建模不同形态大小的细胞核实例，能够提高细胞核分割的精度，更好地分割较小的细胞核、粘连及重叠的细胞核；另外，来自不同器官的细胞核在外观、形态、形状、颜色以及密度上都具有很大的不同，本发明实施例提供的技术方案能够具有很好的泛化性能。
在本发明的另一个实施例中，上述基于样本病理图像训练级联神经网络模型，以生成用于分割细胞核的网络模型，包括：将样本病理图像输入级联神经网络模型；获取第一神经神经网络的第一损失函数值；获取第二神经神经网络的第二损失函数值；获取第三神经神经网络的第三损失函数值；根据第一损失函数值、第二损失函数值和第三损失函数值，更新级联神经网络模型的参数。
应当理解，第一神经网络和第三神经网络的损失函数可以为交叉熵损失函数或基于Dice系数的损失函数，第二神经网络的损失函数可以为Huber损失函数，本发明对每个神经网络采用的损失函数的类型不作限定。
例如，交叉熵损失函数的公式为：
其中，其中n为样本病理图像的总数量，y为手工标注的真实值，a为模型预测值。
Dice系数定义为：
其中，(E∩Y)表示模型预测图E和手工标注真实分割图Y之间的交集，(E)和(Y)分别表示E和Y的元素个数。TP表示真阳性样本、FP表示假阳性样本、FN为假阴性样本。
Huber损失函数定义如下：
其中，δ是一个正整数常数，可以设置为1。Y为手工标注真实分割图，为模型预测图。
具体地，上述获取第三神经神经网络的第三损失函数值；根据第一损失函数值、第二损失函数值和第三损失函数值，更新级联神经网络模型的参数，可以包括：根据第一损失函数值、第二损失函数值和第三损失函数值，获取级联神经网络模型的总损失函数值；根据总损失函数值，更新级联神经网络模型的参数。
具体地，可以将第一损失函数值L1、第二损失函数值L2和第三损失函数值L3加权求和，获取级联神经网络模型的总损失函数值Ltotal，即
Ltotal＝α1L1+α2L2+α3L3
其中，权重值α1,α2,α3可以需要根据不同的数据集，经由实验调试得到，本发明对此不作限定。
在本发明的另一个实施例中，第一神经网络、第二神经网络和第三神经网络为经过深层聚合作用的U型神经网络，第二神经网络的输入为拼接后的样本病理图像和分割掩膜图像，第三神经网络的输入为拼接后的分割掩膜图像和距离回归图像。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图9所示为本发明一实施例提供的图像分割装置的框图。如图9所示，该图像分割装置900包括掩膜模块910、距离模块920和二值化模块930。
掩膜模块910，用于获取待分割病理图像的分割掩膜图像，其中，分割掩膜图像包含待分割病理图像中细胞核的边界信息。
距离模块920，用于根据分割掩膜图像，获取待分割病理图像的距离回归图像。
二值化模块930，用于根据分割掩膜图像和距离回归图像，获取待分割病理图像的二值细胞核分割图像。
根据本发明实施例提供的技术方案，通过获取待分割病理图像的分割掩膜图像，其中，分割掩膜图像包含待分割病理图像中细胞核的边界信息；根据分割掩膜图像，获取待分割病理图像的距离回归图像；根据分割掩膜图像和距离回归图像，获取待分割病理图像的二值细胞核分割图像，能够结合细胞核边界信息和距离信息进行细胞核二分类分割任务，提高了细胞核分割的精度，更好地分割较小的细胞核、粘连及重叠的细胞核；另外，来自不同器官的细胞核在外观、形态、形状、颜色以及密度上都具有很大的不同，本发明实施例提供的技术方案能够具有很好的泛化能力。
在本发明的另一个实施例中，上述图像分割装置还包括输入模块940，用于将待分割病理图像输入级联神经网络模型，其中，级联神经网络模型包括串行的第一神经网络、第二神经网络和第三神经网络，其中，掩膜模块910还用于将待分割病理图像输入第一神经网络，获取分割掩膜图像，距离模块920还用于将拼接后的待分割病理图像和分割掩膜图像输入第二神经网络，获取距离回归图像，二值化模块930还用于将拼接后的分割掩膜图像和距离回归图像输入第三神经网络，获取二值细胞核分割图像。
在本发明的另一个实施例中，输入模块940还用于将待分割病理图像进行分块操作，获得多个分块图像；将多个分块图像输入级联神经网络模型，其中，二值化模块930还用于获取多个分块图像对应的多个二值细胞核分割图像，其中，上述图像分割装置还包括合并模块950，用于将多个二值细胞核分割图像进行合并操作，获取待分割病理图像的二值细胞核分割图像。
在本发明的另一个实施例中，第一神经网络、第二神经网络和第三神经网络为经过深层聚合作用的U型神经网络。
在本发明的另一个实施例中，距离回归图像包括欧氏距离回归图像或非欧氏距离回归图像。
图10所示为本发明一实施例提供的神经网络模型的训练装置的框图。如图10所示，该神经网络模型的训练装置1000包括确定模块1010和训练模块1020。
确定模块1010，用于确定样本病理图像，其中，样本病理图像包括标注的细胞核区域。
训练模块1020，用于基于样本病理图像训练级联神经网络模型，以生成用于分割细胞核的网络模型，其中，级联神经网络模型包括串行的第一神经网络、第二神经网络和第三神经网络，第一神经网络用于输出样本病理图像的分割掩膜图像，其中，分割掩膜图像包含细胞核的边界信息，第二神经网络用于输出样本病理图像的距离回归图像，第三神经网络用于输出样本病理图像的二值细胞核分割图像。
根据本发明实施例提供的技术方案，通过利用样本病理图像训练包括串行的第一神经网络、第二神经网络和第三神经网络的级联神经网络模型，细胞核边界类别和距离信息的加入可以使得级联神经网络模型更好地学习到边缘信息，以及更好地建模不同形态大小的细胞核实例，能够提高细胞核分割的精度，更好地分割较小的细胞核、粘连及重叠的细胞核；另外，来自不同器官的细胞核在外观、形态、形状、颜色以及密度上都具有很大的不同，本发明实施例提供的技术方案能够具有很好的泛化性能。
在本发明的另一个实施例中，上述训练模块1020还用于将样本病理图像输入级联神经网络模型；获取第一神经神经网络的第一损失函数值；获取第二神经神经网络的第二损失函数值；获取第三神经神经网络的第三损失函数值；根据第一损失函数值、第二损失函数值和第三损失函数值，更新级联神经网络模型的参数。
在本发明的另一个实施例中，上述训练模块1020还用于将第一损失函数值、第二损失函数值和第三损失函数值加权求和，获取级联神经网络模型的总损失函数值；根据总损失函数值，更新级联神经网络模型的参数。
在本发明的另一个实施例中，第一神经网络和第三神经网络的损失函数为交叉熵损失函数或基于Dice系数的损失函数，第二神经网络的损失函数为Huber损失函数。
在本发明的另一个实施例中，第一神经网络、第二神经网络和第三神经网络为经过深层聚合作用的U型神经网络。
在本发明的另一个实施例中，第二神经网络的输入为拼接后的样本病理图像和分割掩膜图像，第三神经网络的输入为拼接后的分割掩膜图像和距离回归图像。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
图11所示为本发明一实施例提供的电子设备1100的框图。
参照图11，电子设备1100包括处理组件1110，其进一步包括一个或多个处理器，以及由存储器1120所代表的存储器资源，用于存储可由处理组件1110的执行的指令，例如应用程序。存储器1120中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1110被配置为执行指令，以执行上述图像分割方法或神经网络模型的训练方法。
电子设备1100还可以包括一个电源组件被配置为执行电子设备1100的电源管理，一个有线或无线网络接口被配置为将电子设备1100连接到网络，和一个输入输出(I/O)接口。电子设备1100可以操作基于存储在存储器1120的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备1100的处理器执行时，使得上述电子设备1100能够执行上述图像分割方法或神经网络模型的训练方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。
另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。
应当理解，本发明实施例中提到的第一、第二等限定词，仅仅为了更清楚地描述本发明实施例的技术方案使用，并不能用以限制本发明的保护范围。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种图像分割方法，其特征在于，包括：
将待分割病理图像进行多分类分割，获取所述待分割病理图像的分割掩膜图像，其中，所述分割掩膜图像包含所述待分割病理图像中细胞核的边界信息，所述分割掩膜图像包括包含所述细胞核、细胞核边界和背景的三类分割掩膜图像；
根据所述分割掩膜图像，获取所述待分割病理图像的距离回归图像；
根据所述分割掩膜图像和所述距离回归图像，获取所述待分割病理图像的二值细胞核分割图像；
其中，所述根据所述分割掩膜图像，获取所述待分割病理图像的距离回归图像包括：通过距离变换操作，获得所述待分割病理图像中细胞内各个像素距离其最近的背景像素的距离，从而获得所述距离回归图像；
其中，所述图像分割方法还包括：
将所述待分割病理图像输入级联神经网络模型，其中，所述级联神经网络模型包括串行的第一神经网络、第二神经网络和第三神经网络，
其中，所述将待分割病理图像进行多分类分割，获取所述待分割病理图像的分割掩膜图像，包括：
将所述待分割病理图像输入所述第一神经网络，获取所述分割掩膜图像，
其中，所述根据所述分割掩膜图像，获取所述待分割病理图像的距离回归图像，包括：
将拼接后的所述待分割病理图像和所述分割掩膜图像输入所述第二神经网络，获取所述距离回归图像，
其中，所述根据所述分割掩膜图像和所述距离回归图像，获取所述待分割病理图像的二值细胞核分割图像，包括：
将拼接后的所述分割掩膜图像和所述距离回归图像输入所述第三神经网络，获取所述二值细胞核分割图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述待分割病理图像输入级联神经网络模型，包括：
将所述待分割病理图像进行分块操作，获得多个分块图像；
将所述多个分块图像输入所述级联神经网络模型，
其中，所述获取所述二值细胞核分割图像，包括：
获取所述多个分块图像对应的多个二值细胞核分割图像，
其中，所述方法还包括：
将所述多个二值细胞核分割图像进行合并操作，获取所述待分割病理图像的二值细胞核分割图像。
3.根据权利要求1所述的方法，其特征在于，所述第一神经网络、所述第二神经网络和所述第三神经网络为经过深层聚合作用的U型神经网络。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述距离回归图像包括欧氏距离回归图像或非欧氏距离回归图像。
5.一种图像分割装置，其特征在于，包括：
掩膜模块，用于将待分割病理图像进行多分类分割，获取所述待分割病理图像的分割掩膜图像，其中，所述分割掩膜图像包含所述待分割病理图像中细胞核的边界信息，所述分割掩膜图像包括包含所述细胞核、细胞核边界和背景的三类分割掩膜图像；
距离模块，用于根据所述分割掩膜图像，获取所述待分割病理图像的距离回归图像，其中，所述根据所述分割掩膜图像，获取所述待分割病理图像的距离回归图像包括：通过距离变换操作，获得所述待分割病理图像中细胞内各个像素距离其最近的背景像素的距离，从而获得所述距离回归图像；
二值化模块，用于根据所述分割掩膜图像和所述距离回归图像，获取所述待分割病理图像的二值细胞核分割图像；
输入模块，用于将所述待分割病理图像输入级联神经网络模型，其中，所述级联神经网络模型包括串行的第一神经网络、第二神经网络和第三神经网络；
所述掩膜模块还用于将所述待分割病理图像输入所述第一神经网络，获取所述分割掩膜图像；
所述距离模块还用于将拼接后的所述待分割病理图像和所述分割掩膜图像输入所述第二神经网络，获取所述距离回归图像；
所述二值化模块还用于将拼接后的所述分割掩膜图像和所述距离回归图像输入所述第三神经网络，获取所述二值细胞核分割图像。
6.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-4中任一项所述的方法。
7.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010246938.7A CN111462086B (zh) | 2020-03-31 | 2020-03-31 | 图像分割方法及装置、神经网络模型的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010246938.7A CN111462086B (zh) | 2020-03-31 | 2020-03-31 | 图像分割方法及装置、神经网络模型的训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111462086A CN111462086A (zh) | 2020-07-28 |
| CN111462086B true CN111462086B (zh) | 2024-04-26 |
Family
ID=71685768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010246938.7A Active CN111462086B (zh) | 2020-03-31 | 2020-03-31 | 图像分割方法及装置、神经网络模型的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111462086B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020210734A1 (en) | 2019-04-11 | 2020-10-15 | Agilent Technologies, Inc. | User interface configured to facilitate user annotation for instance segmentation within biological sample |
| CN111899244B (zh) * | 2020-07-30 | 2021-02-12 | 推想医疗科技股份有限公司 | 图像分割、网络模型的训练方法及装置，及电子设备 |
| JP7250166B2 (ja) | 2020-07-30 | 2023-03-31 | インファービジョン メディカル テクノロジー カンパニー リミテッド | 画像分割方法及び装置、画像分割モデルのトレーニング方法及び装置 |
| CN111899245B (zh) * | 2020-07-30 | 2021-03-09 | 推想医疗科技股份有限公司 | 图像分割、模型的训练方法及装置，电子设备及存储介质 |
| CN112837218B (zh) * | 2021-01-14 | 2022-02-08 | 中国科学院自动化研究所 | 基于双流边界感知的动脉瘤图像分析系统、方法和设备 |
| CN113012178A (zh) * | 2021-05-07 | 2021-06-22 | 西安智诊智能科技有限公司 | 一种肾脏肿瘤图像分割方法 |
| CN113177957B (zh) * | 2021-05-24 | 2024-03-08 | 西交利物浦大学 | 一种细胞图像的分割方法、装置、电子设备及存储介质 |
| CN113393443B (zh) * | 2021-06-17 | 2023-02-14 | 华南理工大学 | 一种he病理图像细胞核分割方法及系统 |
| CN113643311B (zh) * | 2021-06-28 | 2024-04-09 | 清华大学 | 一种对边界误差鲁棒的图像分割方法和装置 |
| CN113763371B (zh) * | 2021-09-15 | 2023-08-18 | 上海壁仞智能科技有限公司 | 病理图像的细胞核分割方法及装置 |
| CN114998301B (zh) * | 2022-06-28 | 2022-11-29 | 北京大学第三医院（北京大学第三临床医学院） | 一种椎体亚区域分割方法、装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022288A (zh) * | 2016-05-30 | 2016-10-12 | 电子科技大学 | 基于sar图像的海洋溢油信息识别与提取方法 |
| CN107025369A (zh) * | 2016-08-03 | 2017-08-08 | 北京推想科技有限公司 | 一种对医疗图像进行转换学习的方法和装置 |
| CN108288265A (zh) * | 2018-01-09 | 2018-07-17 | 东北大学 | 一种面向hcc病理图像细胞核的分割与分类方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN109308477A (zh) * | 2018-09-21 | 2019-02-05 | 北京连心医疗科技有限公司 | 一种基于粗分类的医学影像自动分割方法、设备和存储介质 |
| CN110660066A (zh) * | 2019-09-29 | 2020-01-07 | Oppo广东移动通信有限公司 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9947102B2 (en) * | 2016-08-26 | 2018-04-17 | Elekta, Inc. | Image segmentation using neural network method |
-
2020
- 2020-03-31 CN CN202010246938.7A patent/CN111462086B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022288A (zh) * | 2016-05-30 | 2016-10-12 | 电子科技大学 | 基于sar图像的海洋溢油信息识别与提取方法 |
| CN107025369A (zh) * | 2016-08-03 | 2017-08-08 | 北京推想科技有限公司 | 一种对医疗图像进行转换学习的方法和装置 |
| CN108288265A (zh) * | 2018-01-09 | 2018-07-17 | 东北大学 | 一种面向hcc病理图像细胞核的分割与分类方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN109308477A (zh) * | 2018-09-21 | 2019-02-05 | 北京连心医疗科技有限公司 | 一种基于粗分类的医学影像自动分割方法、设备和存储介质 |
| CN110660066A (zh) * | 2019-09-29 | 2020-01-07 | Oppo广东移动通信有限公司 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 冯象初，等.图像修复问题的低秩对偶逼近算法.《西安电子科技大学学报（自然科学版）》.2016,第43卷(第4期),172-177. * |
| 刘国华.HALCON数字图像处理.西安电子科技大学出版社,2018,212-214. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111462086A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462086B (zh) | 图像分割方法及装置、神经网络模型的训练方法及装置 | |
| US10127675B2 (en) | Edge-based local adaptive thresholding system and methods for foreground detection | |
| Kainz et al. | Semantic segmentation of colon glands with deep convolutional neural networks and total variation segmentation | |
| US9025876B2 (en) | Method and apparatus for multi-label segmentation | |
| US10380173B2 (en) | Dynamic feature selection for joint probabilistic recognition | |
| US20170076448A1 (en) | Identification of inflammation in tissue images | |
| EP3876201B1 (en) | Object detection and candidate filtering system | |
| Hendrik Kappes et al. | Towards efficient and exact MAP-inference for large scale discrete computer vision problems via combinatorial optimization | |
| Li et al. | Modularity-based image segmentation | |
| CN113706564A (zh) | 基于多种监督方式的睑板腺分割网络的训练方法及装置 | |
| EP2955694A2 (en) | Method, apparatus and computer program product for image processing | |
| CN111553215A (zh) | 人员关联方法及其装置、图卷积网络训练方法及其装置 | |
| Zhou et al. | Nuclei segmentation via sparsity constrained convolutional regression | |
| CN112132827A (zh) | 病理图像的处理方法、装置、电子设备及可读存储介质 | |
| CN104574358A (zh) | 从聚焦堆图像进行场景分割的方法和设备 | |
| CN110176021B (zh) | 结合亮度校正的显著性信息的水平集图像分割方法及系统 | |
| WO2024011859A1 (zh) | 一种基于神经网络的人脸检测方法和装置 | |
| CN115641317A (zh) | 面向病理图像的动态知识回溯多示例学习及图像分类方法 | |
| Wu et al. | A graph based superpixel generation algorithm | |
| Yarkony et al. | Hierarchical planar correlation clustering for cell segmentation | |
| Tang et al. | Salient object detection via two-stage absorbing Markov chain based on background and foreground | |
| CN111368603B (zh) | 遥感图像的飞机分割方法、装置、可读存储介质及设备 | |
| Li et al. | Object extraction from image with big size based on bilateral grid | |
| CN113470028A (zh) | 染色体核型图像质量评估方法、染色体分析仪和存储介质 | |
| Umar et al. | Accelerated Histogram of Oriented Gradients for Human Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085 Applicant after: Tuxiang Medical Technology Co.,Ltd. Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085 Applicant before: INFERVISION |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |