CN112419335A - 一种细胞核分割网络的形状损失计算方法 - Google Patents

一种细胞核分割网络的形状损失计算方法 Download PDF

Info

Publication number
CN112419335A
CN112419335A CN202011303854.9A CN202011303854A CN112419335A CN 112419335 A CN112419335 A CN 112419335A CN 202011303854 A CN202011303854 A CN 202011303854A CN 112419335 A CN112419335 A CN 112419335A
Authority
CN
China
Prior art keywords
cell nucleus
shape
loss
calculating
segmentation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011303854.9A
Other languages
English (en)
Other versions
CN112419335B (zh
Inventor
何勇军
赵晶
赵司琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202011303854.9A priority Critical patent/CN112419335B/zh
Publication of CN112419335A publication Critical patent/CN112419335A/zh
Application granted granted Critical
Publication of CN112419335B publication Critical patent/CN112419335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Abstract

一种细胞核分割网络的形状损失计算方法，本发明涉及智能病理诊断技术中，细胞核分割网络损失计算问题。智能病理诊断通过深度学习技术分割并识别细胞图像中的异常细胞。然而在细胞核分割网络中没有考虑细胞核的先验知识，导致部分细胞核轮廓不光滑、存在异形，影响后续分类的结果。为此，我们提出一种细胞核分割网络的形状损失计算方法。其主要思想是估计预测细胞核边缘区域对核形状特征影响的权重。通过最小化这个权重，使分割后的细胞核与实际细胞核形状上保持一致。实验表明：我们的损失计算方法可以有效解决细胞核轮廓不光滑、异形等问题。本发明应用于智能病理诊断中的细胞核分割网络损失计算。

Description

一种细胞核分割网络的形状损失计算方法
技术领域
本发明涉及智能病理诊断，特别是细胞核分割网络的损失计算
背景技术
宫颈癌是第二大威胁女性健康的杀手。全球每两分钟就有一名女性死于宫颈癌。早期宫颈癌可以完全治愈，所以早诊断早治疗是应对癌症爆发的有效手段。液基薄层细胞检测是目前国际上最常用的一种宫颈癌细胞学检查技术，可以发现部分癌前病变和微生物感染。但是传统的病理诊断完全依赖于医生手动操作、肉眼观察的人工阅片。但是工作量大，诊断率准确率低，无法推广大面积筛查。随着计算机图像处理和人工智能技术的发展，病理自动诊断技术应运而生。在该技术中细胞分割是分析的基础。细胞分割的目的是准确定位细胞并画出细胞的轮廓，为后续的处理提供输入。然而分割网络的损失计算方法存在很多问题。在医学图像分割中，选取合适的损失函数是十分有必要的。已有的文献中提出了许多的损失函数，但只有少部分的文章对提出的损失函数进行了具体的研究。损失函数主要是用于评估模型的预测值和真实标签的匹配程度的重要指标。在过去的几年，不同的损失函数被提出并应用到医学图像分割上。一般形式上，损失函数采用期望风险最小化的形式表示。基于分布的损失函数旨在最小化两种分布的差异。这一类中最基本的是交叉熵，其他的都是基于交叉熵变换来的。基于区域的损失函数旨在最小化ground truth G和预测分割区域S二者不匹配的区域，或者最大化G和S重叠区域。主要代表由Dice loss。基于边界的损失函数是一种新的损失函数类型，旨在最小化ground truth和predicatedsegmentation的边界距离。
上述损失函数没有考虑细胞核的先验知识，导致部分细胞核轮廓不光滑、存在异形，影响后续分类的结果。为此，我们提出一种细胞核分割网络的形状损失计算方法。本质就是在交叉熵损失函数中加入基于形状先验的惩罚项，其主要思想是估计预测细胞核边缘区域对核形状特征影响的权重。通过最小化这个权重，使分割后的细胞核与实际细胞核形状上保持一致。在模型训练时采用形状损失函数，可以控制轮廓的生成，解决细胞核轮廓不光滑、异形等问题。
发明内容
本发明的目的是为了解决智能病理诊断中的细胞核分割网络损失计算问题，而提出的一种细胞核分割网络的形状损失计算方法。
上述发明目的主要是通过以下技术方案实现的：
S1、利用语义分割模型输出预测图，这里面的语义分割模型可以是U-Net，FCN，DANet,等语义分割模型。
S2、计算模型预测图x与标记图y的损失，公式如下：
Lbce(x,y)＝-w[ylogx+(1-y)log(1-x)] (1)。
S3、计算预测图中每个细胞核轮廓周围像素点影响其形状特征的权重；如图1所示，首先以真实边缘的部分点为中心选取大小相等的矩形区域；按照公式2计算每个矩形框中预测区域影响F的权重；
Figure BDA0002787682000000021
式中A代表矩形框内真实区域的面积，B代表矩形框内预测区域的面积；Ii的值越接近于1代表矩形框内预测区域越接近椭圆。
S4、形状损失惩罚项P，首先计算预测细胞核的形状特征F；然后采用如下公式计算惩罚项，该矩形框内的所有像素点的惩罚项都是Pi，除了矩形框区域其他区域设置为0；
Pi＝(1-Ii)(1-F) (3)。
S5、计算形状损失L，计算公式如下：
L＝Lbce(x,y)+P (4)
该函数可以有效控制轮廓的形状，避免图像中其他复杂情况的干扰，使轮廓更光滑。
发明效果
本发明提出了一种细胞核分割网络的形状损失计算方法。在训练分割模型时加入形状损失函数，控制轮廓的生成，使细胞核轮廓更光滑。如图2展示了利用本发明训练后的模型分割效果。
附图说明
图1权重计算示意图；
图2模型分割效果图。
具体实施方法
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明提供的一种细胞核分割网络的形状损失计算方法，包含如下步骤：
S1、利用U-Net网络输出预测图；
S2、计算模型预测图x与标记图y的损失；
S3、计算预测图中每个细胞核轮廓周围像素点影响其形状特征的权重；
S4、计算形状损失惩罚项；
S5、计算形状损失。
下面对本发明实施例进行详细的说明：
本发明实施例具体实现下。
S1、利用U-Net模型输出预测图。
S2、计算模型预测图x与标记图y的损失，公式如下：
Lbce(x,y)＝-w[ylogx+(1-y)log(1-x)] (1)。
S3、计算预测图中每个细胞核轮廓周围像素点影响其形状特征的权重；如图1所示，首先以真实边缘的部分点为中心选取大小相等的矩形区域；按照公式2计算每个矩形框中预测区域影响F的权重；
Figure BDA0002787682000000031
式中A代表矩形框内真实区域的面积，B代表矩形框内预测区域的面积；Ii的值越接近于1代表矩形框内预测区域越接近椭圆。
S4、计算形状损失惩罚项P，首先计算预测细胞核的形状特征(椭圆度)F；然后采用如下公式计算惩罚项，该矩形框内的所有像素点的惩罚项都是Pi，除了矩形框区域其他区域设置为0；
Pi＝(1-Ii)(1-F) (3)。
S5、计算形状损失L，计算公式如下：
L＝Lbce(x,y)+P (4)
该函数可以有效控制轮廓的形状，避免图像中其他复杂情况的干扰，使轮廓更光滑。最终的实现效果如图2所示，从图中可以看到分割后的细胞核轮廓更光滑。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明范围。

Claims (5)

1.一种细胞核分割网络的形状损失计算方法，其特征在于，包含如下步骤：
S1、利用语义分割模型输出预测图x；
S2、计算模型预测图x与标记图y的损失；
S3、计算预测图中每个细胞核轮廓边缘像素点影响其形状特征的权重；
S4、计算形状损失惩罚项；
S5、计算形状损失。
2.如权利要求1所述的一种细胞核分割网络的形状损失计算方法，其特征在于，步骤S2中计算模型预测图x与标记图y的损失，公式如下：
Lbce(x,y)＝-w[ylogx+(1-y)log(1-x)] (1)
式中Lbce(x,y)是二值交叉熵损失函数，w是权重。
3.如权利要求1所述的一种细胞核分割网络的形状损失计算方法，其特征在于，步骤S3中计算预测图中每个细胞核轮廓周围像素点影响其形状特征的权重；首先以真实边缘的部分点为中心选取大小相等的矩形区域；按照公式2计算每个矩形框中预测区域影响F的权重；
Figure FDA0002787681990000011
式中A代表矩形框内真实区域的面积，B代表矩形框内预测区域的面积；Ii的值越接近于1代表矩形框内预测区域越接近椭圆。
4.如权利要求1所述的一种细胞核分割网络的形状损失计算方法，其特征在于，步骤S4中形状损失惩罚项P，首先计算预测细胞核的形状特征F；然后采用如下公式计算惩罚项，该矩形框内的所有像素点的惩罚项都是Pi，除了矩形框区域其他区域设置为0；
Pi＝(1-Ii)(1-F) (3)。
5.如权利要求1所述的一种细胞核分割网络的形状损失计算方法，其特征在于，步骤S5中计算形状损失L，计算公式如下：
L＝Lbce(x,y)+P (4)
该函数可以有效控制轮廓的形状，避免图像中其他复杂情况的干扰，使轮廓更光滑。
CN202011303854.9A 2020-11-19 2020-11-19 一种细胞核分割网络的形状损失计算方法 Active CN112419335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011303854.9A CN112419335B (zh) 2020-11-19 2020-11-19 一种细胞核分割网络的形状损失计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011303854.9A CN112419335B (zh) 2020-11-19 2020-11-19 一种细胞核分割网络的形状损失计算方法

Publications (2)

Publication Number Publication Date
CN112419335A true CN112419335A (zh) 2021-02-26
CN112419335B CN112419335B (zh) 2022-07-22

Family

ID=74773757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011303854.9A Active CN112419335B (zh) 2020-11-19 2020-11-19 一种细胞核分割网络的形状损失计算方法

Country Status (1)

Country Link
CN (1) CN112419335B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012167A (zh) * 2021-03-24 2021-06-22 哈尔滨理工大学 一种细胞核与细胞质的联合分割方法
CN114550171A (zh) * 2022-04-22 2022-05-27 珠海横琴圣澳云智科技有限公司 细胞实例分割模型构建方法、细胞实例分割方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711273A (zh) * 2018-12-04 2019-05-03 北京字节跳动网络技术有限公司 图像关键点提取方法、装置、可读存储介质及电子设备
CN110263656A (zh) * 2019-05-24 2019-09-20 南方科技大学 一种癌细胞识别方法、装置和系统
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110580699A (zh) * 2019-05-15 2019-12-17 徐州医科大学 基于改进Faster RCNN算法的病理图像细胞核检测方法
CN110992365A (zh) * 2019-11-04 2020-04-10 杭州电子科技大学 一种基于图像语义分割的损失函数及其设计方法
US20200117951A1 (en) * 2018-10-15 2020-04-16 Ancestry.com Operations Inc. (019404) (019404) Image captioning with weakly-supervised attention penalty
US20200349697A1 (en) * 2019-05-02 2020-11-05 Curacloud Corporation Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200117951A1 (en) * 2018-10-15 2020-04-16 Ancestry.com Operations Inc. (019404) (019404) Image captioning with weakly-supervised attention penalty
CN109711273A (zh) * 2018-12-04 2019-05-03 北京字节跳动网络技术有限公司 图像关键点提取方法、装置、可读存储介质及电子设备
US20200349697A1 (en) * 2019-05-02 2020-11-05 Curacloud Corporation Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network
CN110580699A (zh) * 2019-05-15 2019-12-17 徐州医科大学 基于改进Faster RCNN算法的病理图像细胞核检测方法
CN110263656A (zh) * 2019-05-24 2019-09-20 南方科技大学 一种癌细胞识别方法、装置和系统
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110992365A (zh) * 2019-11-04 2020-04-10 杭州电子科技大学 一种基于图像语义分割的损失函数及其设计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李承珊 等: "基于编解码和局部增强的光电图像分割算法", 《半导体光电》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012167A (zh) * 2021-03-24 2021-06-22 哈尔滨理工大学 一种细胞核与细胞质的联合分割方法
CN114550171A (zh) * 2022-04-22 2022-05-27 珠海横琴圣澳云智科技有限公司 细胞实例分割模型构建方法、细胞实例分割方法和装置

Also Published As

Publication number Publication date
CN112419335B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN110428432B (zh) 结肠腺体图像自动分割的深度神经网络算法
CN108154519A (zh) 眼底图像中血管的分割方法、装置及存储介质
Zheng et al. Research on tomato detection in natural environment based on RC-YOLOv4
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
Wang et al. SSRNet: In-field counting wheat ears using multi-stage convolutional neural network
Wang et al. Recognition and localization of occluded apples using K-means clustering algorithm and convex hull theory: a comparison
WO2023045231A1 (zh) 一种解耦分治的面神经分割方法和装置
CN112419335B (zh) 一种细胞核分割网络的形状损失计算方法
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN112598031A (zh) 一种蔬菜病害检测方法及系统
Wang et al. Segmentation of corn leaf disease based on fully convolution neural network
Ji et al. Fast segmentation of colour apple image under all-weather natural conditions for vision recognition of picking robots
Chen et al. Segmentation of field grape bunches via an improved pyramid scene parsing network
Zhao et al. The stress detection and segmentation strategy in tea plant at canopy level
Talasila et al. PLRSNet: a semantic segmentation network for segmenting plant leaf region under complex background
CN113505712A (zh) 基于新型损失函数的卷积神经网络的海面溢油检测方法
CN112634308A (zh) 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
Yang et al. Learning feature-rich integrated comprehensive context networks for automated fundus retinal vessel analysis
Zhang et al. Saliency detection via image sparse representation and color features combination
Hossain et al. Renal cell cancer nuclei segmentation from histopathology image using synthetic data
CN113850792A (zh) 一种基于计算机视觉的细胞分类计数方法及系统
Khan et al. Segmentation of single and overlapping leaves by extracting appropriate contours
Yang et al. Intelligent collection of rice disease images based on convolutional neural network and feature matching
CN115578400A (zh) 图像处理方法、图像分割网络的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant