CN112907603A - 一种基于Unet和分水岭算法的细胞实例分割方法 - Google Patents
一种基于Unet和分水岭算法的细胞实例分割方法 Download PDFInfo
- Publication number
- CN112907603A CN112907603A CN202110163027.2A CN202110163027A CN112907603A CN 112907603 A CN112907603 A CN 112907603A CN 202110163027 A CN202110163027 A CN 202110163027A CN 112907603 A CN112907603 A CN 112907603A
- Authority
- CN
- China
- Prior art keywords
- cell
- area
- mask
- watershed
- areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 16
- 210000004027 cell Anatomy 0.000 claims abstract description 71
- 210000003855 cell nucleus Anatomy 0.000 claims abstract description 23
- 238000002347 injection Methods 0.000 claims abstract description 11
- 239000007924 injection Substances 0.000 claims abstract description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 11
- 230000021164 cell adhesion Effects 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 2
- 230000008961 swelling Effects 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 210000004940 nucleus Anatomy 0.000 description 4
- 230000001464 adherent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20152—Watershed segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于Unet和分水岭算法的细胞实例分割方法，本发明主要是针对Unet结合分水岭这一算法细节进行设计的。其一是本发明用到了两个unet网络，分别负责细胞形态的语义分割，细胞核的语义分割。其二是针对需要标记的分水岭算法，需要指定注水点，未知区域这一特点。在本算法中，把细胞核当作每一个细胞区域的注水点，把去掉细胞核区域的其他细胞区域当作未知区域，再将原图用sobel算子梯度化，进行分水岭算法的分割。本发明既保证了粘连细胞可以分离开来，又保证了预测细胞的范围是一个正常的范围。
Description
技术领域
本发明涉及深度学习，具体涉及一种基于Unet和分水岭的细胞实例分割方法。
背景技术
图像分割算法已经发展了很多年，从最初的传统图像分割算法，到现在的基于深度学习的图像分割算法，图像分割算法已经取得了很大的进步，并且在各个领域都有着广泛的应用，尤其是在医疗图像领域，分割出病变的器官，对培养细胞进行分割计数已经得到了实际应用。一般来说针对细胞图像进行基于深度学习语义分割比较简单，用Unet就可以实现，不需要其他操作，但是要进行计数就要进行进一步的计数任务，就要进一步地把语义分割中粘连的细胞分割开来，也就是实例分割任务，图像分割的实例分割任务目前是图像中最难的一个任务，目前常用的方法是用Mask-RCNN直接进行实例分割，但Mask-RCNN主要针对自然图像，处理细胞图像的效果不是很好。所以目前还没有一种很好的针对于细胞图像的实例分割算法。
发明内容
本发明针对于细胞实例分割，提出一种基于Unet和分水岭算法的细胞实例分割算法，在Unet进行语义分割之后，结合分水岭算法，实现最后的实例分割。
本发明技术针对于细胞图像进行实例分割。语义分割结合分水岭进行实例分割是已经有的方案，但是如何结合分水岭直接决定了实例分割的效果，本发明主要是针对Unet结合分水岭这一算法细节进行设计的。其一是本发明用到了两个unet网络，分别负责细胞形态的语义分割，细胞核的语义分割。其二是针对需要标记的分水岭算法，需要指定注水点，未知区域这一特点。在本算法中，把细胞核当作每一个细胞区域的注水点，把去掉细胞核区域的其他细胞区域当作未知区域，再将原图用sobel算子梯度化，进行分水岭算法的分割。
这种方法可以结合Unet和分水岭的优点，巧妙地利用Unet分割精度高，分水岭可以分开粘连细胞的特点，完成最后高精度的细胞实例分割。
本发明的技术方案是这样实现的：
分三步，第一步，训练两个Unet网络，一个网络用于预测细胞形态，另一个网络用于预测细胞核，原图输入两个网络后分别生成细胞形态和细胞核两个掩码图像，此时的细胞形态掩码已经是做了语义分割操作，但是细胞形态掩码会有很多粘连的细胞；
第二步，通过原图，细胞形态，细胞核掩码，能生成一个有基于标记的分水岭分割结果，即得到分水岭掩码；
针对第二步的具体操作是：基于标记的分水岭算法需要：未知区域，注水点，梯度图。其中未知区域＝细胞区域-细胞核区域，注水点＝细胞核区域，梯度图＝原图经过sobel算子梯度化；未知区域用像素0标注，不同注水点用3、4、5…表示，背景用2表示，以上要素生成一个标记图，然后送入opencv分水岭函数中，即可生成分水岭掩码；
第三步，通过细胞形态掩码、细胞核掩码和分水岭掩码，结合膨胀算法分离粘连的细胞，生成最终的实例分割结果。
针对第三步的具体操作是：
1)找出粘连的细胞区域，未知区域掩码＝细胞形态掩码-细胞核掩码，根据未知区域掩码的轮廓参数，生成一个字典dic_，key是一个数字代表父轮廓，value是一个数组，代表子轮廓。如{0:[1],2:[3,4]}代表父轮廓0的子轮廓是1，父轮廓2有两个子轮廓3，4。其中value的长度共有两种情况，第一种一个细胞区域只有一个细胞核，如0:[1]，这代表0轮廓的细胞区域只有一个细胞核，说明此细胞区域没有粘连情况，不作处理。第二种情况一个细胞区域有两个及以上细胞核，如2:[3,4]，这代表2轮廓的细胞区域有两个细胞核，说明此细胞区域有粘连情况，需要做进一步的处理。
2)处理粘连的细胞区域，处理1)中确定的粘连区域，以两个细胞粘连情况举例，首先确定两个膨胀起始区域，然后在确定对应的禁止膨胀区，即一个膨胀区域膨胀后不可覆盖到其他细胞区域，不可超出当前细胞区域。然后两个膨胀区域交替膨胀，每次膨胀完之后要考虑对应的禁止区域，膨胀到禁止区域的要回退，在之后更新其他膨胀区域的禁止区域，直到两个膨胀区域填充满整个粘连区域，最后把这两个区域分别用不同的像素表示，就完成了两细胞粘连区域分离的操作，两个以上的粘连区域也是类似的操作。
本发明的有益效果是：
1)本发明提出的非端到端的细胞实例分割方法，结合了深度学习和传统图像分割算法的优点，不仅可以完成对不规则细胞的高精度实例分割，中间的过程还能反映出细胞的粘连程度。
2)本发明提出的分水岭膨胀到Unet cellmask的方法，既保证了粘连细胞可以分离开来，又保证了预测细胞的范围是一个正常的范围。
附图说明
图1是本实例分割算法整体流程图；
图2为数据集的原图；
图3为细胞形态掩码图；
图4为细胞核掩码图；
图5为分水岭掩码图；
图6为实例分割结果。
具体实施方式
下面结合附图和具体实施对本发明作进一步说明。
用于实施的硬件环境是:8vCPU/64G内存，GPU为NVIDIA K80，软件运行环境是CUDA9、python3.6、pytorch 1.0。
数据集来自cell tracking比赛的BF-C2DL-MUSC
如图1所示，第一步，训练阶段，如图2、图3所示，根据原图和细胞形态掩码训练一个Unet_cell网络用来预测细胞形态。
如图2、图4所示，根据原图和细胞核掩码训练一个Unet_Nucleus网络用来预测细胞形态。
第二步，生成分水岭掩码，首先生成原图梯度图，然后生成标记图，标记图指出了注水点，背景区域和未知区域，最后生成如图5所示的分水岭掩码；
第三步，由第一、第二步生成的细胞形态掩码，细胞核掩码，分水岭掩码，确定出粘连区域，然后处理粘连区域，最后生成实例分割结果，如图6所示。
Claims (2)
1.一种基于Unet和分水岭算法的细胞实例分割方法，其特征在于，该方法具体包括以下步骤：
第一步，训练两个Unet网络，一个网络用于预测细胞形态，另一个网络用于预测细胞核，原图输入两个网络后分别生成细胞形态和细胞核两个掩码图像，此时的细胞形态掩码已经是做了语义分割操作，但是细胞形态掩码会有很多粘连的细胞；
第二步，通过原图，细胞形态，细胞核掩码，能生成一个有基于标记的分水岭分割结果，即得到分水岭掩码；
第三步，通过细胞形态掩码、细胞核掩码和分水岭掩码，结合膨胀算法分离粘连的细胞，生成最终的实例分割结果；
针对第三步的具体操作是：
1)找出粘连的细胞区域，未知区域掩码＝细胞形态掩码-细胞核掩码，根据未知区域掩码的轮廓参数，生成一个字典dic_，key是一个数字代表父轮廓，value是一个数组，代表子轮廓；其中value的长度共有两种情况，第一种value长度为1，这代表父轮廓的细胞区域只有一个细胞核，说明此细胞区域没有粘连情况，不作处理；第二种情况value长度大于1，这代表父轮廓的细胞区域有两个及以上细胞核，说明此细胞区域有粘连情况，需要做进一步的处理；
2)处理粘连的细胞区域，处理1)中确定的粘连区域，以两个细胞粘连情况举例，首先确定两个膨胀起始区域，然后在确定对应的禁止膨胀区，即一个膨胀区域膨胀后不可覆盖到其他细胞区域，不可超出当前细胞区域；然后两个膨胀区域交替膨胀，每次膨胀完之后要考虑对应的禁止区域，膨胀到禁止区域的要回退，在之后更新其他膨胀区域的禁止区域，直到两个膨胀区域填充满整个粘连区域，最后把这两个区域分别用不同的像素表示，就完成了两细胞粘连区域分离的操作，两个以上的粘连区域也是类似的操作。
2.根据权利要求1所述的一种基于Unet和分水岭算法的细胞实例分割方法，其特征在于：第二步中生成一个有基于标记的分水岭分割结果具体操作是：基于标记的分水岭算法需要：未知区域，注水点，梯度图；其中未知区域＝细胞区域-细胞核区域，注水点＝细胞核区域，梯度图＝原图经过sobel算子梯度化；未知区域用像素0标注，不同注水点用3、4、5…表示，背景用2表示，以上要素生成一个标记图，然后送入opencv分水岭函数中，即可生成分水岭掩码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110163027.2A CN112907603B (zh) | 2021-02-05 | 2021-02-05 | 一种基于Unet和分水岭算法的细胞实例分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110163027.2A CN112907603B (zh) | 2021-02-05 | 2021-02-05 | 一种基于Unet和分水岭算法的细胞实例分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907603A true CN112907603A (zh) | 2021-06-04 |
| CN112907603B CN112907603B (zh) | 2024-04-19 |
Family
ID=76122820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110163027.2A Active CN112907603B (zh) | 2021-02-05 | 2021-02-05 | 一种基于Unet和分水岭算法的细胞实例分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907603B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612738A (zh) * | 2022-02-16 | 2022-06-10 | 中国科学院生物物理研究所 | 细胞电镜图像分割模型的训练方法和细胞器互作分析方法 |
| CN114764789A (zh) * | 2022-03-30 | 2022-07-19 | 广州锟元方青医疗科技有限公司 | 病理细胞的量化方法、系统、装置及存储介质 |
| CN115830025A (zh) * | 2023-02-16 | 2023-03-21 | 南昌大学 | 白细胞分类计数方法、系统、存储介质及计算机设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136149A (zh) * | 2019-05-21 | 2019-08-16 | 闽江学院 | 基于深度神经网络的白细胞定位与分割方法 |
| CN112102323A (zh) * | 2020-09-17 | 2020-12-18 | 陕西师范大学 | 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法 |
| CN112132843A (zh) * | 2020-09-30 | 2020-12-25 | 福建师范大学 | 基于无监督深度学习的苏木精-伊红染色病理图像分割方法 |
-
2021
- 2021-02-05 CN CN202110163027.2A patent/CN112907603B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136149A (zh) * | 2019-05-21 | 2019-08-16 | 闽江学院 | 基于深度神经网络的白细胞定位与分割方法 |
| CN112102323A (zh) * | 2020-09-17 | 2020-12-18 | 陕西师范大学 | 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法 |
| CN112132843A (zh) * | 2020-09-30 | 2020-12-25 | 福建师范大学 | 基于无监督深度学习的苏木精-伊红染色病理图像分割方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612738A (zh) * | 2022-02-16 | 2022-06-10 | 中国科学院生物物理研究所 | 细胞电镜图像分割模型的训练方法和细胞器互作分析方法 |
| CN114764789A (zh) * | 2022-03-30 | 2022-07-19 | 广州锟元方青医疗科技有限公司 | 病理细胞的量化方法、系统、装置及存储介质 |
| CN114764789B (zh) * | 2022-03-30 | 2024-05-21 | 广州锟元方青医疗科技有限公司 | 病理细胞的量化方法、系统、装置及存储介质 |
| CN115830025A (zh) * | 2023-02-16 | 2023-03-21 | 南昌大学 | 白细胞分类计数方法、系统、存储介质及计算机设备 |
| CN115830025B (zh) * | 2023-02-16 | 2023-05-09 | 南昌大学 | 白细胞分类计数方法、系统、存储介质及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907603B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112907603A (zh) | 一种基于Unet和分水岭算法的细胞实例分割方法 | |
| Tang et al. | A multi-stage framework with context information fusion structure for skin lesion segmentation | |
| CN108241854B (zh) | 一种基于运动和记忆信息的深度视频显著性检测方法 | |
| CN111161277A (zh) | 一种基于深度学习的自然图像抠图方法 | |
| CN111652892A (zh) | 一种基于深度学习的遥感影像建筑物矢量提取及优化方法 | |
| Hu et al. | Learning hybrid convolutional features for edge detection | |
| CN113807355A (zh) | 一种基于编解码结构的图像语义分割方法 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| CN113378937B (zh) | 一种基于自监督增强的小样本图像分类方法及系统 | |
| CN113763442A (zh) | 一种可变形医学图像配准方法及系统 | |
| WO2023159558A1 (zh) | 一种实时目标跟踪方法、装置及存储介质 | |
| CN113420827A (zh) | 语义分割网络训练和图像语义分割方法、装置及设备 | |
| CN112183675A (zh) | 一种基于孪生网络的针对低分辨率目标的跟踪方法 | |
| CN116363149A (zh) | 一种基于U-Net改进的医学图像分割方法 | |
| CN111985372A (zh) | 一种深度学习的遥感影像水体提取系统 | |
| CN106504219B (zh) | 有约束的路径形态学高分辨率遥感影像道路增强方法 | |
| CN110633706B (zh) | 一种基于金字塔网络的语义分割方法 | |
| CN115170403A (zh) | 基于深度元学习和生成对抗网络的字体修复方法及系统 | |
| CN110992320B (zh) | 一种基于双重交错的医学图像分割网络 | |
| CN115578260B (zh) | 针对图像超分辨率的方向解耦的注意力方法和系统 | |
| CN116935226A (zh) | 一种基于HRNet的改进型遥感图像道路提取方法、系统、设备及介质 | |
| CN116824330A (zh) | 一种基于深度学习的小样本跨域目标检测方法 | |
| CN116386803A (zh) | 一种基于图的细胞病理报告生成方法 | |
| CN114494284B (zh) | 一种基于显式监督区域关系的场景解析模型及方法 | |
| CN113450363B (zh) | 一种基于标签校正的元学习细胞核分割系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |