CN111292317B - 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法 - Google Patents

一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法 Download PDF

Info

Publication number
CN111292317B
CN111292317B CN202010167513.7A CN202010167513A CN111292317B CN 111292317 B CN111292317 B CN 111292317B CN 202010167513 A CN202010167513 A CN 202010167513A CN 111292317 B CN111292317 B CN 111292317B
Authority
CN
China
Prior art keywords
image
target
label
task
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010167513.7A
Other languages
English (en)
Other versions
CN111292317A (zh
Inventor
杨一明
郑众喜
袁勇
雷雪梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202010167513.7A priority Critical patent/CN111292317B/zh
Publication of CN111292317A publication Critical patent/CN111292317A/zh
Application granted granted Critical
Publication of CN111292317B publication Critical patent/CN111292317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法，包括以下步骤：步骤s1：输入P63图像，对P63图像进行分析，选择P63图像中目标的整体特征和目标的局部特征，并将整体特征制作成所对应的两个标签；步骤s2：建立增强图像局部特征式多任务分割结构，通过所述语义分割网络输出预测图像并通过两个任务分别计算得出loss1以及loss2；步骤s3：将loss2作用于loss1得到loss；步骤s4：保持目标区域权重为1，增强背景区域的权重，增强目标局部区域的权重，输出结果。本发明通过建立增强图像局部特征式多任务分割结构来提高目标区域分割的查全率及查准率，同时还降低了整体网络的规模，提高了网络性能。

Description

一种增强图像局部特征式多任务分割乳腺导管内原位癌区域 的方法
技术领域
本发明涉及计算机图像技术领域，尤其涉及一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法。
背景技术
通过P63图像辅助判断乳腺导管内原位癌的分布区域，是一种常见的医学分析方法。随着人工智能的技术发展以及在医学中应用的深入，应用深度学习分析P63图像中原位癌的分布区域，是一种趋势。
发明内容
本发明旨在提供一种选择P63图像的目标的整体特征和目标的局部特征作为多任务学习标签、提高目标区域分割的查全率及查准率的增强图像局部特征式的多任务分割乳腺导管内原位癌区域的方法。
为达到上述目的，本发明是采用以下技术方案实现的：
一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法，包括以下步骤：
步骤s1：输入P63图像，对P63图像进行分析，选择P63图像中目标的整体特征和目标的局部特征，并将整体特征制作成所对应的两个标签，所述两个标签分别为标签1和标签2，标签1所对应的是目标的整体特征，标签2所对应的是目标的局部特征，标签1表示原位癌区域，标签2表示原位癌的边界区域；
步骤s2：建立增强图像局部特征式多任务分割结构，所述增强图像局部特征式多任务分割结构包括一个语义分割网络，由两个任务共享所述语义分割网络，所述两个任务分别为主任务及辅助任务，所述主任务由标签1监督学习，所述辅助任务由标签2监督学习，然后通过所述语义分割网络输出预测图像并通过两个任务分别计算得出loss1以及loss2，loss1由主任务计算得出，loss2由辅助任务计算得出，loss1为目标的整体区域损失函数，loss2为目标的局部区域损失函数；
步骤s3：将loss2作用于loss1得到loss；
步骤s4：保持目标区域权重为1，增强背景区域的权重，增强目标局部区域的权重，输出结果。
优选的，所述语义分割网络由编码器和解码器两部分构成，语义分割网络对64×64、128×128以及256×256三种大小的特征图进行合并。
优选的，loss1及loss2由下列公式表示：
Figure BDA0002407975540000021
Figure BDA0002407975540000022
其中，y1(i,j)表示标签1的图像位置(i,j)处的值，y2(i,j)表示标签2的图像位置(i,j)处的值，
Figure BDA0002407975540000023
表示预测图像位置(i,j)处的值，M和N分别表示图像的宽和高，β1是标签1中目标区域的损失权重，α1是标签1中背景区域的损失权重，β2是标签2中目标区域的损失权重。
进一步的，通过以下计算公式将loss2作用于loss1上得到loss：
loss＝loss1+β2·loss2。
进一步的，所述loss为loss1和loss2线性相加的结果且作为整体网络的损失。
本发明具有以下有益效果：
1、本发明中所建立的增强图像局部特征式多任务分割结构可以通过调整多任务loss权重，对背景组织区域、目标整体区域和目标局部区域的特征，进行不同程度的增强或减弱，操作灵活；
2、本发明的增强图像局部特征式多任务分割结构可以充分利用图像的局部特征，将重要特征增强，提高了网络性能；
3、在本发明的增强图像局部特征式多任务分割结构中，两个任务共享一个语义分割网络，结构简单，降低了整体网络规模；
4、本发明中的语义分割网络保持对不同大小的目标敏感性，这样的特性使其适用于对P63图像进行分割原位癌区域。
附图说明
图1为P63图像标注的视野图a；
图2为P63图像标注的视野图b；
图3为输入的P63图像原图；
图4为标签1图；
图5为标签2图；
图6为增强图像局部特征式多任务分割结构示意图；
图7为语义分割网络结构图；
图8为预测效果图a；
图9为预测效果图b。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法，包括以下步骤：
步骤s1：
输入P63图像，如图3，对P63图像进行分析，选择了两个视野图，如图1和2，分析发现：图1和2中红色圈标出的是原位癌区域，绿色圈标出的是导管。二者的边界都有一层棕色的上皮细胞；图1和2中中背景区域中包含浸润癌细胞，与原位癌区域的癌细胞特征相似。
然后经过对比原位癌区域和背景组织中的浸润癌区域，两者的癌细胞特征非常相似，重要的区别是：原位癌区域形态较大而且有明显的边界，原位癌区域边界通常都有一层棕色的上皮细胞。
根据分析和对比的结论，选择P63图像中目标的整体特征和目标的局部特征，并将整体特征制作成所对应的两个标签，所述两个标签分别为标签1和标签2。
如图4，标签1所对应的是目标的整体特征，即标签1表示的是原位癌区域；如图5，标签2所对应的是目标的局部特征，即标签2表示的是原位癌的边界区域。
步骤s2：
建立增强图像局部特征式多任务分割结构，如图6所示，所述增强图像局部特征式多任务分割结构包括一个语义分割网络，所述语义分割网络结构如图7所示，语义分割网络由编码器和解码器两部分构成，语义分割网络对64×64、128×128以及256×256三种大小的特征图进行合并，并保持对不同大小的目标敏感性，上述特性使得该语义分割网络适用于P63图像中的分割原位癌区域。
由主任务及辅助任务这两个任务共享所述语义分割网络，所述主任务由标签1监督学习，所述辅助任务由标签2监督学习。所述主任务为分割原位癌区域；所述辅助任务为增强目标的局部特征学习，提升主任务性能。
通过所述语义分割网络输出预测图像，通过两个任务分别计算得出loss1以及loss2，loss1由主任务计算得出，loss2由辅助任务计算得出，loss1为目标的整体区域损失函数，loss2为目标的局部区域损失函数。
loss1及loss2由下列公式表示：
Figure BDA0002407975540000051
Figure BDA0002407975540000052
其中，y1(i,j)表示标签1的图像位置(i,j)处的值，y2(i,j)表示标签2的图像位置(i,j)处的值，
Figure BDA0002407975540000053
表示预测图像位置(i,j)处的值，M和N分别表示图像的宽和高，β1是标签1中目标区域的损失权重，α1是标签1中背景区域的损失权重，β2是标签2中目标区域的损失权重。通过不同程度增大或减小α1、β1和β2，可以实现不同程度的各区域特征的增强或减弱。
步骤s3：
将loss2作用于loss1得到loss，可以实现局部特征作用于整体特征，使网络兼顾目标的整体的特征和局部特征，提高网络性能；所述loss为loss1和loss2线性相加的结果且作为整体网络的损失。通过以下计算公式将loss2作用于loss1上得到loss：
loss＝loss1+β2·loss2
其中，β2是标签2中目标区域的损失权重。
步骤s4：
保持目标区域权重为1，增强背景区域的权重，增强目标局部区域的权重，输出结果。
经过分析，保持目标区域权重为1，增强背景区域权重，也就增强了网络识别背景区域组织的能力可以提高precision——即查准率；增强目标局部区域的权重，增强了目标的重要特征，使网络对目标原位癌区域更敏感，使其可以与背景组织的浸润癌区域更便于区分，增加了抗干扰能力，提高了recall——即查全率。
在实际操作中发现：当当α1＝1.5，β1＝1，β2＝2时，网络性能最佳，recall达到87％，precision达到77％。网络预测效果如图8和9所示，黄色mask为模型预测的结果，与红色圈标注的原位癌区域有较好的重合。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (3)

1.一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法，其特征在于，包括以下步骤：
步骤s1：输入P63图像，对P63图像进行分析，选择P63图像中目标的整体特征和目标的局部特征，并分别制作成所对应的标签，所述标签分别为标签1和标签2，标签1所对应的是目标的整体特征，标签2所对应的是目标的局部特征，标签1表示原位癌区域，标签2表示原位癌的边界区域；
步骤s2：建立增强图像局部特征式多任务分割结构，所述增强图像局部特征式多任务分割结构包括一个语义分割网络，由两个任务共享所述语义分割网络，所述两个任务分别为主任务及辅助任务，所述主任务由标签1监督学习，所述辅助任务由标签2监督学习，然后通过所述语义分割网络输出预测图像并通过两个任务分别计算得出loss1以及loss2，loss1由主任务计算得出，loss2由辅助任务计算得出，loss1为目标的整体区域损失函数，loss2为目标的局部区域损失函数；
loss1及loss2由下列公式表示：
Figure FDA0003608712900000011
Figure FDA0003608712900000012
其中，y1(i,j)表示标签1的图像位置(i,j)处的值，y2(i,j)表示标签2的图像位置(i,j)处的值，
Figure FDA0003608712900000013
表示预测图像位置(i,j)处的值，M和N分别表示图像的宽和高，β1是标签1中目标区域的损失权重，α1是标签1中背景区域的损失权重；
步骤s3：将loss2作用于loss1得到loss；计算公式如下所示：
loss＝loss1+β2·loss2
其中：β2是标签2中目标区域的损失权重；
步骤s4：保持标签1中目标区域损失权重β1为1，增强标签1中背景区域的损失权重α1，增强标签2中目标区域的损失权重β2，输出结果。
2.根据权利要求1所述的一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法，其特征在于：所述语义分割网络由编码器和解码器两部分构成，语义分割网络对64×64、128×128以及256×256三种大小的特征图进行合并。
3.根据权利要求1所述的一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法，其特征在于：所述loss为loss1和loss2线性相加的结果且作为整体网络的损失。
CN202010167513.7A 2020-03-11 2020-03-11 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法 Active CN111292317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010167513.7A CN111292317B (zh) 2020-03-11 2020-03-11 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010167513.7A CN111292317B (zh) 2020-03-11 2020-03-11 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法

Publications (2)

Publication Number Publication Date
CN111292317A CN111292317A (zh) 2020-06-16
CN111292317B true CN111292317B (zh) 2022-06-07

Family

ID=71020436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010167513.7A Active CN111292317B (zh) 2020-03-11 2020-03-11 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法

Country Status (1)

Country Link
CN (1) CN111292317B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570505A (zh) * 2016-11-01 2017-04-19 北京昆仑医云科技有限公司 对组织病理图像进行分析的方法和系统
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108319972A (zh) * 2018-01-18 2018-07-24 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法
CN109190626A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 一种基于深度学习的多路径特征融合的语义分割方法
CN109190752A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 基于深度学习的全局特征和局部特征的图像语义分割方法
CN109636805A (zh) * 2018-11-19 2019-04-16 浙江大学山东工业技术研究院 一种基于分类先验的宫颈图像病变区域分割装置及方法
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN109902682A (zh) * 2019-03-06 2019-06-18 太原理工大学 一种基于残差卷积神经网络的乳腺x线图像检测方法
CN110023994A (zh) * 2017-10-02 2019-07-16 梅傲科技(广州)有限公司 组织病理学图像分析
CN110148145A (zh) * 2019-03-25 2019-08-20 东南大学 一种融合边界信息的图像目标区提取方法及应用
CN110599476A (zh) * 2019-09-12 2019-12-20 腾讯科技（深圳）有限公司 基于机器学习的疾病分级方法、装置、设备及介质
CN110648311A (zh) * 2019-09-03 2020-01-03 南开大学 一种基于多任务学习的痤疮图像病灶分割与计数网络模型
CN110796672A (zh) * 2019-11-04 2020-02-14 哈尔滨理工大学 基于层次卷积神经网络的乳腺癌mri分割方法
WO2020036734A2 (en) * 2018-08-17 2020-02-20 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570505A (zh) * 2016-11-01 2017-04-19 北京昆仑医云科技有限公司 对组织病理图像进行分析的方法和系统
CN110023994A (zh) * 2017-10-02 2019-07-16 梅傲科技(广州)有限公司 组织病理学图像分析
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法
CN108319972A (zh) * 2018-01-18 2018-07-24 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN109190626A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 一种基于深度学习的多路径特征融合的语义分割方法
CN109190752A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 基于深度学习的全局特征和局部特征的图像语义分割方法
WO2020036734A2 (en) * 2018-08-17 2020-02-20 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109636805A (zh) * 2018-11-19 2019-04-16 浙江大学山东工业技术研究院 一种基于分类先验的宫颈图像病变区域分割装置及方法
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN109902682A (zh) * 2019-03-06 2019-06-18 太原理工大学 一种基于残差卷积神经网络的乳腺x线图像检测方法
CN110148145A (zh) * 2019-03-25 2019-08-20 东南大学 一种融合边界信息的图像目标区提取方法及应用
CN110648311A (zh) * 2019-09-03 2020-01-03 南开大学 一种基于多任务学习的痤疮图像病灶分割与计数网络模型
CN110599476A (zh) * 2019-09-12 2019-12-20 腾讯科技（深圳）有限公司 基于机器学习的疾病分级方法、装置、设备及介质
CN110796672A (zh) * 2019-11-04 2020-02-14 哈尔滨理工大学 基于层次卷积神经网络的乳腺癌mri分割方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Cervical Nuclei Segmentation in Whole Slide Histopathology Images Using Convolution Neural Network;Yang Q等;《International Conference on Soft Computing in Data Science》;20181231;第99-109页 *
Combining Convolutional and Recurrent Neural Networks for Classification of Focal Liver Lesions in Multi-phase CT Images;Dong Liang等;《MICCAI》;20181231;第666-675页 *
Melanoma Detection in Dermoscopic Images using Global and Local Feature Extraction;JC Kavitha等;《International Journal of Multimedia and Ubiquitous Engineering》;20171205;第12卷(第5期);第19-28页 *
MIFNet:基于多尺度输入与特征融合的胃癌病理图像分割方法;张泽中等;《计算机应用》;20191230;第39卷(第S2期);第107-113页 *
Multi-Channel-ResNet: An integration framework towards skin lesion analysis;Songtao Guo等;《Informatics in Medicine Unlocked》;20180627;第12卷;第67-74页 *
基于Gloabl-Local评估方法的U-Net图像分割;余玉琴等;《计算机与数字工程》;20190430;第47卷(第4期);第914-918、943页 *
基于钼靶图像的乳腺肿瘤诊断若干关键性技术研究;陈珊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115(第（2019）01期);I138-3022 *
多通道融合可分离卷积神经网络下的脑部磁共振图像分割;郭彤宇等;《中国图象图形学报》;20191130;第24卷(第11期);第2009-2020页 *

Also Published As

Publication number Publication date
CN111292317A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
WO2023077816A1 (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
Liu et al. Cx22: A new publicly available dataset for deep learning-based segmentation of cervical cytology images
CN111882560A (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
Hu et al. Estimation of tea leaf blight severity in natural scene images
CN114120141B (zh) 一种可全天候遥感监测自动分析方法及其系统
CN115861181A (zh) 一种面向ct影像的肿瘤分割方法及其系统
Qu et al. Visual cross-image fusion using deep neural networks for image edge detection
CN112862783A (zh) 一种基于神经网络的甲状腺ct图像结节自动诊断系统
Liu et al. A new multi-channel deep convolutional neural network for semantic segmentation of remote sensing image
CN116363144A (zh) 一种基于扰动协同训练的半监督医学图像分割方法
CN114581474A (zh) 一种基于宫颈癌ct影像的临床靶区自动勾画方法
CN112419335B (zh) 一种细胞核分割网络的形状损失计算方法
CN115063655A (zh) 一种融合超列的类激活映射图生成方法
CN110211117A (zh) 医学影像中识别线管状物的处理系统及优化分割的方法
Zhang et al. Multi-scale aggregation networks with flexible receptive fields for melanoma segmentation
CN111292317B (zh) 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法
Wang et al. Pairwise semantic segmentation via conjugate fully convolutional network
CN115841557B (zh) 基于数字孪生技术的智能起重机操作环境构建方法
Zhang et al. MPMR: multi-scale feature and probability map for melanoma recognition
Wang et al. Tongue semantic segmentation based on fully convolutional neural network
CN115409847A (zh) 一种基于ct影像的轻量化分割方法
CN113012158B (zh) 基于深度稠密网络与边缘距离图加权的图像协同分割方法
Li et al. Scale-aware test-time click adaptation for pulmonary nodule and mass segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant