CN114240938B - 一种h&e染色切片图像中异常组织的分割方法和装置 - Google Patents
一种h&e染色切片图像中异常组织的分割方法和装置 Download PDFInfo
- Publication number
- CN114240938B CN114240938B CN202210170571.4A CN202210170571A CN114240938B CN 114240938 B CN114240938 B CN 114240938B CN 202210170571 A CN202210170571 A CN 202210170571A CN 114240938 B CN114240938 B CN 114240938B
- Authority
- CN
- China
- Prior art keywords
- abnormal
- segmentation
- tissue
- feature
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 199
- 230000011218 segmentation Effects 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 20
- 230000003044 adaptive effect Effects 0.000 claims description 18
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 10
- 210000000056 organ Anatomy 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004043 dyeing Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000005489 elastic deformation Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 3
- 238000010186 staining Methods 0.000 abstract description 20
- 238000002372 labelling Methods 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 7
- 239000012141 concentrate Substances 0.000 abstract 1
- 210000001519 tissue Anatomy 0.000 description 211
- 210000004027 cell Anatomy 0.000 description 8
- 230000001575 pathological effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 210000000349 chromosome Anatomy 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 239000000980 acid dye Substances 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000012192 staining solution Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种H&E染色切片图像中异常组织的分割方法和装置，通过构建特征缓存模块来存储异常组织编码特征与正常组织编码特征，并结合域自适应对比损失来引导分割模型忽略样本间的染色域差异，专注正常组织样本和异常组织样本之间的特征差异，以解决切片间染色域不同导致的预测效果差的问题，从而能够提高分割模型的异常区域的预测准确率；同时还充分利用正常组织样本进行模型训练，降低模型对专家标注的过分依赖。
Description
技术领域
本发明属于医疗图像处理领域，具体涉及一种H&E染色切片图像中异常组织的分割方法和装置。
背景技术
随着规范化诊断的推行和精准医学的发展，现阶段对病理诊断报告要求越来越精细化，分子病理知识更新节奏快，病理医生面临着报告复杂性增加、报告所需用时长增加与标本量日益增长的矛盾间的挑战。
深度学习模型由于它们高通量、同质性、定量化的优势，正在逐步成为解决上述难题的有效途径。如U-Net，Res-UNet、deeplabv3+等深度学习网络已经被提出专门用于执行各种医学图像分割任务。这些方法在许多的数据集上有优异的表现。它们证明了目前以编码器-解码器为主要架构的深度学习模型在从医疗图像中学习有效特征并用于器官或组织分割是十分可靠的。但是，如果想要将这些方法有效地应用于组织切片图像上，现有的方法仍然面临两个重要的困难问题。
H&E染色是苏木精-伊红染色法 ( Hematoxylin-Eosin staining )的简称。苏木精染液为碱性，可以将组织的嗜碱性结构染成蓝紫色；伊红为酸性染料，可以将组织的嗜酸性结构染成粉红色，使整个细胞组织的形态清晰可见，便于观察。作为病理检验工作中使用最广泛的技术方法之一，几乎所有的病理科送检样本都会经过H&E染色后成片。但由于送检机构、送检组织、检测年份等外部条件的不同，每张切片的染色条件有可能存在差异。
第一困难问题在于，染色条件不一致导致的各个切片的色域分布有所差异。如果训练集中样本的染色域不一致，会导致模型过度关注颜色上的差异从而学习到错误的特征。如果测试集样本的染色域与训练集中的不一致，会极大程度降低模型在预测时的表现。在实际场景中，要保持样本的染色域始终一致是十分困难的，因此如何让模型忽略样本间的染色域差异就显得尤为重要。
第二困难问题在于，组织切片的数字扫描图像往往拥有超大的分辨率，这导致专家进行精细标注的时间成本极高，进而使得可训练的异常组织样本数据十分稀缺。与之相反，正常组织样本由于不需要进行标注且数量居多，因此较容易获取。如何克服数据集中两类样本的极度不均衡，利用大量正常组织样本进行有效的模型训练是目前亟待解决的一个问题。
专利文献CN108447062A公开了一种基于多尺度混合分割模型的病理切片非常规细胞的分割方法，该方法通过基于多尺度混合分割模型能够实现对非常规细胞的分割，减轻病理医生频繁的工作量，但是由于模型训练过程中没有忽略染色体之间的差异，导致模型预测精度低。
专利文献CN109035269A公开了一种宫颈细胞病理切片病变细胞分割方法及系统，通过，在深度残差网络的基础上引入多尺度空洞卷积构造的语义分割网络并训练该语义分割模型，应用训练好的语义分割模型在待识别单元中分割出不同类型的病变细胞；结合病理细胞形态特征，建立轮廓形变模型，进一步优化语义分割结果；根据切片中分割出的不同病变类型的细胞数量和置信程度，对整张切片的病变类别进行预测，该方法的语义分割模型和轮廓形变模型训练过程中没有忽略染色体之间的差异，导致预测精度低。
发明内容
鉴于上述，本发明的目的是提供一种H&E染色切片图像中异常组织的分割方法和装置，以实现组织切片图像中异常组织的快速准确分割，并降低分割模型构建过程中对专家标注的过分依赖。
为实现上述发明目的，实施例提供了一种H&E染色切片图像中异常组织的分割方法，包括以下步骤：
获取异常器官和正常器官的H&E染色切片图像并进行预处理，以构建正常组织样本集和异常组织样本集，其中，异常组织样本带有标注标签；
构建分割模型的训练系统，包括特征提取模块、特征缓存模块、特征分割模块，特征提取模块用于提取输入的异常组织样本的异常组织特征；特征缓存模块用于对输入的异常组织样本进行特征编码以得到异常组织编码特征并存储，还用于对输入的正常组织样本进行特征编码以得到正常组织编码特征并存储；特征分割模块用于对输入的异常组织特征进行分割预测以得到组织分割结果；
构建训练系统的损失函数，包括基于组织分割结果和标注标签的分割损失、基于异常组织特征和异常组织编码特征的域自适应对比损失，基于异常组织特征和正常组织编码特征的正异对比损失；
利用正常组织样本、异常组织样本以及损失函数优化训练系统的网络参数，网络参数优化结束后，提取参数确定的特征提取模块和特征分割模块组成分割模型；
利用分割模型实现H&E染色切片图像中异常组织的分割。
在一个实施例中，对H&E染色切片图像进行预处理，包括：H&E染色切片图像的染色归一化和染色扩增，H&E染色切片图像中图像块的裁剪，图像块的尺度缩放、水平翻转、弹性形变，以及图像块中感兴趣区域的裁剪，裁剪的感兴趣区域包含了正常组织或异常组织，形成正常组织样本或异常组织样本。
在一个实施例中，所述特征缓存模块包括特征编码单元和特征缓存单元，特征编码单元与特征提取模块结构相同，用于对输入的异常组织样本进行特征编码以得到异常组织编码特征，还用于对输入的正常组织样本进行特征编码以得到正常组织编码特征；
特征缓存单元包含两个缓存区，用于依据异常类和正常类分类存储异常组织编码特征和正常组织编码特征。
在一个实施例中，在对异常组织编码特征进行存储时，还记录每个异常组织编码特征所属的H&E染色切片图像ID，依据H&E染色切片图像ID对异常组织编码特征进行分类存储。
在一个实施例中，在构建基于组织分割结果和标注标签的分割损失时，以异常组织样本的组织分割结果与标注标签的交叉熵为分割损失；
在构建基于异常组织特征和异常组织编码特征的域自适应对比损失时，计算当前异常组织特征与特征缓存模块中属于其他H&E染色切片图像的异常组织编码特征的域自适应对比损失；
在构建基于异常组织特征和正常组织编码特征的正异对比损失时，计算当前异常组织特征与特征缓存模块中所有正常组织编码特征的正异对比损失；
以分割损失、域自适应对比损失以及正异对比损失的加权求和作为总损失函数。
在一个实施例中，所述域自适应对比损失和所述正异对比损失采用相同的损失函
数
，为：
其中，d和
均表示H&E染色切片图像的索引，
，i表示异常组织特征的索引，
表示异常组织编码特征的索引，
表示超参数，
表示来自于第d个H&E染色切片图像的第i
个异常组织特征，
表示来自于第d个H&E染色切片图像的第j个异常组织编码特征，
表示
样本对（
）的总数，符号
表示求余弦相似度值；
当计算域自适应对比损失时，
表示异常组织编码特征的索引，
表示来自于第
个H&E染色切片图像的第
个异常组织编码特征，
表示来自于第
个H&E染色切片图像的异
常组织编码特征的总数；
当计算正异对比损失时，
表示正常组织编码特征的索引，
表示来自于第
个H&
E染色切片图像的第
个正常组织编码特征，
表示来自于第
个H&E染色切片图像的正常组
织编码特征的总数。
在一个实施例中，优化训练系统的网络参数时，首先，根据损失函数优化特征提取模块和特征分割模块的网络参数，然后，根据优化特征提取模块网络参数时所计算的动量来优化特征缓存模块的网络参数，保证特征缓存模块的网络参数的更新方向与特征提取模块的网络参数的更新方向相同，且保证特征缓存模块的网络参数的更新速度小于特征提取模块的网络参数的更新速度。
在一个实施例中，根据优化特征提取模块网络参数时所计算的动量来优化特征缓存模块的网络参数时，将优化特征提取模块网络参数时所计算的动量按照0.2-0.4的权重加权后，再用于更新特征缓存模块的网络参数。
在一个实施例中，优化训练系统的网络参数时，每次迭代按照1:1的比例从正常组织样本集和异常组织样本集中随机抽取正常组织样本和异常组织样本组成一批训练数据，利用这一批训练数据优化训练系统的网络参数。
为了实现上述发明目的，实施例还提供了一种H&E染色切片图像中异常组织的分割装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述存储器还存储有根据上述H&E染色切片图像中异常组织的分割方法构建的分割模型；
所述处理器执行所述计算机程序时，执行以下步骤：
利用所述分割模型实现H&E染色切片图像中异常组织的分割。
与现有技术相比，本发明具有的有益效果至少包括：
通过构建特征缓存模块来存储异常组织编码特征与正常组织编码特征，并结合域自适应对比损失来引导分模型忽略样本间的染色域差异，专注正常组织样本和异常组织样本之间的特征差异，以解决切片间染色域不同导致的预测效果差的问题，从而能够提高分割模型的异常区域的预测准确率；同时还充分利用正常组织样本进行模型训练，降低模型对专家标注的过分依赖。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的H&E染色切片图像中异常组织的分割方法的流程图；
图2是实施例提供的训练系统的结构示意图；
图3是实施例提供的异常缓存区和正常缓存区的存储示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了解决切片图像间染色域不同导致构建的分割模型对异常组织预测效果差的问题，还为了解决异常组织样本数量少且标准难，正常组织样本数量多但难以利用，导致分割模型的训练过度依赖专家的标注标签的问题，实施例提供了一种H&E染色切片图像中异常组织的分割方法和装置。
图1是实施例提供的H&E染色切片图像中异常组织的分割方法的流程图。如图1所示实施例提供的H&E染色切片图像中异常组织的分割方法，包括以下步骤：
步骤1，获取异常器官组织和正常器官组织的H&E染色切片图像并进行预处理，以构建正常组织样本集和异常组织样本集。
实施例中，获取由任何机构任何时间对异常器官和正常器官的H&E染色切片进行电子扫描得到的图像，H&E染色切片具有任意正常组织和异常组织。在获得H&E染色切片图像后，对其上的正常组织不要求进行专家标注，对于异常组织需要专家标注，专家对H&E染色切片图像进行像素级别的异常区域标注，以得到异常组织的标注标签。
实施例中，对采集的H&E染色切片图像进行预处理，包括：H&E染色切片图像的染色归一化和染色扩增，H&E染色切片图像中图像块的裁剪，图像块的尺度缩放、水平翻转、弹性形变，以及图像块中感兴趣区域的裁剪，裁剪的感兴趣区域包含了正常组织或异常组织，形成正常组织样本或异常组织样本。
其中，染色归一化与染色扩增都是用于减缓H&E染色切片图像中H&E染色域差异对模型精度影响的手段。染色归一化将数据集中H&E染色切片图像的颜色分布统一调整为某一预先设定的分布。染色扩增则通过随机地轻微改变原始图像颜色生成更多扩增图像用于训练。
染色扩增处理后，对H&E染色切片图像进行图像块的裁剪，具体地，将每一个全尺寸的H&E染色切片图像利用滑动窗口的方式进行裁剪，生成多张包含有效组织区域的滑动窗口尺寸的图像块，同时裁剪相应区域的专家标注作为真值标签。
在一个可能的实施方式中，H&E染色切片图像中图像块的裁剪步骤包括：对于包含异常组织的全尺寸H&E染色切片图像，滑动窗口以裁剪尺寸1/2的步长进行移动，仅裁剪包含异常组织的窗口，以得到包含异常组织的图像块；对于仅含有正常组织的全尺寸H&E染色切片图像，滑动窗口以裁剪尺寸的步长进行移动，仅裁剪包含组织区域的窗口，以得包含正常组织的图像块。
为了提升样本数据的质量进而提升分割模型训练的效果，在获取每张图像块后，对所有图像块进行随机尺度缩放，随机水平翻转，随机弹性形变等图像增强操作。
在一个可能的实施方式中，对图像块的图像增强操作包括：对于图像块，以均匀分布的概率选取0.5-2.0的倍率对图像块进行缩放，缩放后的图像块有1/2的概率被水平翻转或者经过弹性形变。图像增强结束后，对于包含异常组织的图像块，在保证异常组织区域占比超过75%的情况下将图像块裁剪成分割模型可以计算的尺度；对于包含正常组织区域的图像块，在保证正常组织区域超过75%的情况下将图像块裁剪成分割模型可以计算的尺度。经过裁剪的区域形成正常组织样本或异常组织样本，以组成正常组织样本集和异常组织样本集。
步骤2，构建分割模型的训练系统。
实施例中，如图2所示，构建的训练系统包括特征提取模块、特征缓存模块、特征分割模块。其中，特征提取模块用于提取输入的异常组织样本的异常组织特征；特征缓存模块用于对输入的异常组织样本进行特征编码以得到异常组织编码特征并存储，还用于对输入的正常组织样本进行特征编码以得到正常组织编码特征并存储；特征分割模块用于对输入的异常组织特征进行分割预测以得到组织分割结果。
如图2所示，特征缓存模块包括特征编码单元和特征缓存单元，特征编码单元与特征提取模块结构相同，用于对输入的异常组织样本进行特征编码以得到异常组织编码特征，还用于对输入的正常组织样本进行特征编码以得到正常组织编码特征；特征缓存单元包含两个缓存区，用于依据异常类和正常类分类存储异常组织编码特征和正常组织编码特征。
在一个可能的实施方式中，图像特征提取模块由ResNet50构成，对应输入尺寸为1024*1024。输入ResNet50的异常组织样本经过ResNet50特征提取并生成128维的特征向量作为异常组织特征。特征缓冲模块包含的特征编码单元的结构也采用ResNet50。输入的异常组织样本和正常组织样本经过ResNet50编码以生成128维的异常组织编码特征和正常组织编码特征。
特征缓冲单元维护两个具有队列结构的缓存区，分别为异常缓存区和正常缓存区，分别用于存储编码单元产生的异常组织编码特征和正常组织编码特征。如图3所示，在对异常组织编码特征进行存储时，还记录每个异常组织编码特征所属的H&E染色切片图像ID，依据H&E染色切片图像ID对异常组织编码特征进行分类存储。具体地，异常缓存区按照特征所属的H&E染色切片图像对存储的异常组织编码特征进一步区分，属于每个H&E染色切片图像的异常组织编码特征不超过10组，因此异常缓存区的总容量为10*N，N为样本中全尺寸H&E染色切片图像ID的数量。正常缓存区不对特征进一步区分，其容量与异常缓存区一致。当最新特征被存入缓存区时，若缓存区容量已达到预定最大值，则将最老的一批特征从缓存区中删除，空出缓存空间用于存储新特征。异常缓冲区将同时保存每个异常组织编码特征所属的H&E染色切片图像ID，以用于被调用来计算域自适应对比损失。
特征分割模块可以采用多个（例如4个）反卷积单元，每个反卷积单元包括依次连
接的反卷积层、卷积层（卷积核大小可以为3
3）以及ReLU激活层。多个反卷积单元对输入的
异常组织特征进行上采样，以生成与输入的异常组织样本尺寸一致的特征图像，该特征图
像中每个像素都表示其属于异常组织的概率，根据这些概率得到组织分割结果。
步骤3，构建训练系统的损失函数。
实施例中，结合训练系统结构和学习任务，构建的损失函数包括基于组织分割结果和标注标签的分割损失、基于异常组织特征和异常组织编码特征的域自适应对比损失，基于异常组织特征和正常组织编码特征的正异对比损失。
在一种可能的实施方式中，在构建基于组织分割结果和标注标签的分割损失时，以异常组织样本的组织分割结果与标注标签的交叉熵为分割损失，该分割损失用于引导异常组织的分割。
在一种可能的实施方式中，在构建基于异常组织特征和异常组织编码特征的域自适应对比损失时，计算特征提取模块生成的当前异常组织特征与特征缓存模块中属于其他H&E染色切片图像的异常组织编码特征的域自适应对比损失，该域自适应损失可以引导模型在学习时忽略切片间染色域差异。
在一种可能的实施方式中，在构建基于异常组织特征和正常组织编码特征的正异对比损失时，计算提特征提取模块生成的当前异常组织特征与特征缓存模块中所有正常组织编码特征的正异对比损失，该正异对比损失用于引导学习正常组织样本与异常组织样本之间的差异。
需要说明的是，域自适应对比损失和正异对比损失采用相同形式的损失函数
，
为：
其中，d和
均表示H&E染色切片图像的索引，
，i表示异常组织特征的索引，
表示异常组织编码特征的索引，
表示超参数，
表示来自于第d个H&E染色切片图像的第i
个异常组织特征，
表示来自于第d个H&E染色切片图像的第j个异常组织编码特征，
表示
样本对（
）的总数，符号
表示求余弦相似度值；
当计算域自适应对比损失时，
表示异常组织编码特征的索引，
表示来自于第
个H&E染色切片图像的第
个异常组织编码特征，
表示来自于第
个H&E染色切片图像的异
常组织编码特征的总数；
当计算正异对比损失时，
表示正常组织编码特征的索引，
表示来自于第
个H&
E染色切片图像的第
个正常组织编码特征，
表示来自于第
个H&E染色切片图像的正常组
织编码特征的总数。
实施例中，分割损失、域自适应对比损失以及正异对比损失的加权求和作为训练系统的总损失函数。在一种可能的实时方式中，域自适应对比损失以及正异对比损失按照a和b的权重进行加权求和，得到总对比损失，该总对比损失再与分割损失按照c和d的权重进行加权求和，得到用于优化模型参数的最终总损失函数。其中，a+b=1，c+d=1，优选地，a=b=c=d=0.5。
步骤4，利用正常组织样本、异常组织样本以及损失函数优化训练系统的网络参数。
优化训练系统的网络参数时，正常组织样本和异常组织样本输入至训练系统，首先，根据损失函数优化特征提取模块和特征分割模块的网络参数，即根据分割损失优化特征分割模块的网络参数，根据分割损失、域自适应对比损失以及正异对比损失更新特征提取模块的网络参数。
由于特征缓冲模块包含的特征编码单元与图像特征提取模块结构一致，因此，根据优化特征提取模块网络参数时所计算的动量来优化特征缓存模块的网络参数，以保证特征缓存模块的网络参数的更新方向与特征提取模块的网络参数的更新方向相同，同时还保证特征缓存模块的网络参数的更新速度小于特征提取模块的网络参数的更新速度。这种对特征缓冲模块的网络参数更新方式相较于直接用总损失函数更新方式，可以降低特征缓存模块的网络参数的更新速度，进而降低特征缓存模块编码得到的异常组织编码特征和正常组织编码特征的变化速度，使得存储在特征缓存单元的特征具有连续性，连续性的异常组织编码特征和正常组织编码特征会使得域自适应对比损失和正异对比损失的计算优化过程更加平滑。
在一种可能的实施方式中，根据优化特征提取模块网络参数时所计算的动量来优化特征缓存模块的网络参数时，将优化特征提取模块网络参数时所计算的动量按照0.2-0.4的权重加权后，再用于更新特征缓存模块的网络参数。
实施例中，经过实验探究发现，优化训练系统的网络参数时，每次迭代按照1:1的比例从正常组织样本集和异常组织样本集中随机抽取正常组织样本和异常组织样本组成一批训练数据，利用这一批训练数据优化训练系统的网络参数。1:1的比例能够平衡两组损失对模型的影响，进而使得系统训练效果能达到最优。实施例中，对比了不同训练数据组织方式对模型结果的影响如表1所示。
步骤5，网络参数优化结束后，提取参数确定的特征提取模块和特征分割模块组成分割模型。
经过步骤4，训练系统的网络参数优化结束后，提取参数确定的特征提取模块和特征分割模块组成分割模型，该分割模型可以有效提取用于区分正常组织与异常组织的特征，并且忽略由于外部原因而产生的H&E染色切片颜色域分布上的差异，从而实现更加准确的异常组织分割。
步骤6，利用分割模型实现H&E染色切片图像中异常组织的分割。
实施例中，对于待预测的H&E染色切片图像，裁剪成符合分割模型输入尺寸的图像块，并将所有图像块输入至分割模型，经过特征提取模块的特征提取和分割模块的分割预测，以输出每个图像块的异常组织分割结果，将所有图像块对应的异常组织分割结果按照其在H&E染色切片图像上对对应位置进行拼接，得到对H&E染色切片图像中异常区域的预测。
实施例中，还对比了本发明构建的分割模型与其他模型对异常组织的预测效果，对比结果如表2所示。
其中，评价指标MPA（Mean Pixel Accuracy）为平均像素精度，其衡量每个类别正确的像素总数与每个类别总数比率求和得到的均值；DSC（Dice Similarity Coefficient）为一种集合相似度度量指标，其用于衡量真实异常区域与预测异常区域的重合比例。
分析表1可得，将本发明提供的训练系统中特征提取模块和分割模型替换成Unet结构，即将Unet结构的编码部分替换成特征提取模块、将Unet结构的解码部分替换成分割模型，然后利用构建的损失函数进行训练，得到的Unet & ours分割模型对应的评价指标MPA、DSC分别为88.91、88.48，将本发明提供的训练系统中特征提取模块和分割模型替换成deeplabv3+，然后利用构建的损失函数进行训练，得到的deeplabv3+& ours分割模型对应的评价指标MPA、DSC分别为89.03、90.49。由此可见，本发明提供的训练系统和对应的损失函数，构建的分割模型均相比于现有分割模型，预测准确度明显提高。
上述实施例提供的H&E染色切片图像中异常组织的分割方法，通过构建两个缓存区及域自适应对比损失和正异对比损失来引导模型忽略切片图像间染色域差异，专注于学习正常组织样本和异常组织样本之间的差异；同时配合由特征提取模块和分割模型组成的编码-解码框架来提取图像特征，并对异常组织区域做出预测，能够提高分割模型的异常组织的预测准确率；同时还充分利用正常组织样本进行分割模型训练，降低分割模型对专家标注的过分依赖。
实施例还提供了一种H&E染色切片图像中异常组织的分割装置，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，存储器还存储有上述H&E染色切片图像中异常组织的分割方法构建的分割模型；处理器执行所述计算机程序时，执行利用分割模型实现H&E染色切片图像中异常组织的分割。
具体地，利用利用分割模型实现H&E染色切片图像中异常组织的分割步骤与上述步骤6相同，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中，存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种H&E染色切片图像中异常组织的分割方法，其特征在于，包括以下步骤：
获取异常器官和正常器官的H&E染色切片图像并进行预处理，以构建正常组织样本集和异常组织样本集，其中，异常组织样本带有标注标签；
构建分割模型的训练系统，包括特征提取模块、特征缓存模块、特征分割模块，特征提取模块用于提取输入的异常组织样本的异常组织特征；特征缓存模块用于对输入的异常组织样本进行特征编码以得到异常组织编码特征并存储，还用于对输入的正常组织样本进行特征编码以得到正常组织编码特征并存储；特征分割模块用于对输入的异常组织特征进行分割预测以得到组织分割结果；
构建训练系统的损失函数，包括基于组织分割结果和标注标签的分割损失、基于异常组织特征和异常组织编码特征的域自适应对比损失，基于异常组织特征和正常组织编码特征的正异对比损失；
利用正常组织样本、异常组织样本以及损失函数优化训练系统的网络参数，网络参数优化结束后，提取参数确定的特征提取模块和特征分割模块组成分割模型；
利用分割模型实现H&E染色切片图像中异常组织的分割；
其中，所述域自适应对比损失和所述正异对比损失采用相同的损失函数
，为：
其中，d和
均表示H&E染色切片图像的索引，
，i表示异常组织特征的索引，
表
示异常组织编码特征的索引，
表示超参数，
表示来自于第d个H&E染色切片图像的第i
个异常组织特征，
表示来自于第d个H&E染色切片图像的第j个异常组织编码特征，
表
示样本对（
）的总数，符号
表示求余弦相似度值；
当计算域自适应对比损失时，
表示异常组织编码特征的索引，
表示来自于第
个H&E染色切片图像的第
个异常组织编码特征，
表示来自于第
个H&E染色切片图像的
异常组织编码特征的总数；
当计算正异对比损失时，
表示正常组织编码特征的索引，
表示来自于第
个H&E
染色切片图像的第
个正常组织编码特征，
表示来自于第
个H&E染色切片图像的正常
组织编码特征的总数。
2.根据权利要求1所述的H&E染色切片图像中异常组织的分割方法，其特征在于，对H&E染色切片图像进行预处理，包括：H&E染色切片图像的染色归一化和染色扩增，H&E染色切片图像中图像块的裁剪，图像块的尺度缩放、水平翻转、弹性形变，以及图像块中感兴趣区域的裁剪，裁剪的感兴趣区域包含了正常组织或异常组织，形成正常组织样本或异常组织样本。
3.根据权利要求1所述的H&E染色切片图像中异常组织的分割方法，其特征在于，所述特征缓存模块包括特征编码单元和特征缓存单元，特征编码单元与特征提取模块结构相同，用于对输入的异常组织样本进行特征编码以得到异常组织编码特征，还用于对输入的正常组织样本进行特征编码以得到正常组织编码特征；
特征缓存单元包含两个缓存区，用于依据异常类和正常类分类存储异常组织编码特征和正常组织编码特征。
4.根据权利要求1或3所述的H&E染色切片图像中异常组织的分割方法，其特征在于，在对异常组织编码特征进行存储时，还记录每个异常组织编码特征所属的H&E染色切片图像ID，依据H&E染色切片图像ID对异常组织编码特征进行分类存储。
5.根据权利要求1所述的H&E染色切片图像中异常组织的分割方法，其特征在于，在构建基于组织分割结果和标注标签的分割损失时，以异常组织样本的组织分割结果与标注标签的交叉熵为分割损失；
以分割损失、域自适应对比损失以及正异对比损失的加权求和作为总损失函数。
6.根据权利要求1所述的H&E染色切片图像中异常组织的分割方法，其特征在于，优化训练系统的网络参数时，首先，根据损失函数优化特征提取模块和特征分割模块的网络参数，然后，根据优化特征提取模块网络参数时所计算的动量来优化特征缓存模块的网络参数，保证特征缓存模块的网络参数的更新方向与特征提取模块的网络参数的更新方向相同，且保证特征缓存模块的网络参数的更新速度小于特征提取模块的网络参数的更新速度。
7.根据权利要求1所述的H&E染色切片图像中异常组织的分割方法，其特征在于，根据优化特征提取模块网络参数时所计算的动量来优化特征缓存模块的网络参数时，将优化特征提取模块网络参数时所计算的动量按照0.2-0.4的权重加权后，再用于更新特征缓存模块的网络参数。
8.根据权利要求1所述的H&E染色切片图像中异常组织的分割方法，其特征在于，优化训练系统的网络参数时，每次迭代按照1:1的比例从正常组织样本集和异常组织样本集中随机抽取正常组织样本和异常组织样本组成一批训练数据，利用这一批训练数据优化训练系统的网络参数。
9.一种H&E染色切片图像中异常组织的分割装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述存储器还存储有根据权利要求1-8任一项所述H&E染色切片图像中异常组织的分割方法构建的分割模型；
所述处理器执行所述计算机程序时，执行以下步骤：
利用所述分割模型实现H&E染色切片图像中异常组织的分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210170571.4A CN114240938B (zh) | 2022-02-24 | 2022-02-24 | 一种h&e染色切片图像中异常组织的分割方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210170571.4A CN114240938B (zh) | 2022-02-24 | 2022-02-24 | 一种h&e染色切片图像中异常组织的分割方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114240938A CN114240938A (zh) | 2022-03-25 |
| CN114240938B true CN114240938B (zh) | 2022-05-27 |
Family
ID=80748075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210170571.4A Active CN114240938B (zh) | 2022-02-24 | 2022-02-24 | 一种h&e染色切片图像中异常组织的分割方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114240938B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9784665B1 (en) * | 2014-12-29 | 2017-10-10 | Flagship Biosciences, Inc. | Methods for quantitative assessment of muscle fibers in muscular dystrophy |
| CN112037174A (zh) * | 2020-08-05 | 2020-12-04 | 湖南自兴智慧医疗科技有限公司 | 染色体异常检测方法、装置、设备及计算机可读存储介质 |
| CN112288706A (zh) * | 2020-10-27 | 2021-01-29 | 武汉大学 | 一种自动化的染色体核型分析以及异常检测方法 |
| EP3792828A1 (en) * | 2019-09-16 | 2021-03-17 | Airamatrix Private Limited | Methods and systems for automated assessment of spermatogenesis |
| CN113628199A (zh) * | 2021-08-18 | 2021-11-09 | 四川大学华西第二医院 | 病理图片染色组织区域检测方法、检测系统及预后状态分析系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065551B (zh) * | 2021-03-19 | 2023-08-08 | 杭州迪英加科技有限公司 | 利用深度神经网络模型执行图像分割的方法 |
| CN113256577B (zh) * | 2021-05-18 | 2022-06-28 | 湖南医药学院 | 基于he染色病理图像的癌症辅助分析系统、装置 |
-
2022
- 2022-02-24 CN CN202210170571.4A patent/CN114240938B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9784665B1 (en) * | 2014-12-29 | 2017-10-10 | Flagship Biosciences, Inc. | Methods for quantitative assessment of muscle fibers in muscular dystrophy |
| EP3792828A1 (en) * | 2019-09-16 | 2021-03-17 | Airamatrix Private Limited | Methods and systems for automated assessment of spermatogenesis |
| CN112037174A (zh) * | 2020-08-05 | 2020-12-04 | 湖南自兴智慧医疗科技有限公司 | 染色体异常检测方法、装置、设备及计算机可读存储介质 |
| CN112288706A (zh) * | 2020-10-27 | 2021-01-29 | 武汉大学 | 一种自动化的染色体核型分析以及异常检测方法 |
| CN113628199A (zh) * | 2021-08-18 | 2021-11-09 | 四川大学华西第二医院 | 病理图片染色组织区域检测方法、检测系统及预后状态分析系统 |
Non-Patent Citations (2)
| Title |
|---|
| Learning of Inter-Label Geometric Relationships Using Self-Supervised Learning: Application To Gleason Grade Segmentation;Dwarikanath Mahapatra;《Image and Video Processing》;20211001;1-14 * |
| 基于无监督学习的数字病理切片自动分割方法;秦航宇;《四川大学学报》;20210930;813-818 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114240938A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898175B (zh) | 基于深度学习胃癌病理切片的计算机辅助模型构建方法 | |
| US11562491B2 (en) | Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network | |
| CN111798416B (zh) | 基于病理图像与深度学习的肾小球智能检测方法及系统 | |
| CN111488921B (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| CN112017191A (zh) | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 | |
| CN111462042B (zh) | 癌症预后分析方法及系统 | |
| CN110838100A (zh) | 一种基于滑动窗口的结肠镜病理切片筛查与分割系统 | |
| CN112132827A (zh) | 病理图像的处理方法、装置、电子设备及可读存储介质 | |
| CN113139977B (zh) | 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法 | |
| CN111709929A (zh) | 一种肺部癌变区域分割与分类检测系统 | |
| CN113592783A (zh) | 角膜共聚焦图像中细胞基础指标的精准量化方法及装置 | |
| CN112819821A (zh) | 一种细胞核图像检测方法 | |
| CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
| CN116363081A (zh) | 基于深度神经网络的胎盘植入mri征象检测分类方法及装置 | |
| CN113657449A (zh) | 一种含噪标注数据的中医舌象腐腻分类方法 | |
| CN115546187A (zh) | 基于YOLO v5的农业病虫害检测方法及装置 | |
| CN112949723B (zh) | 一种子宫内膜病理图像分类方法 | |
| CN114240938B (zh) | 一种h&e染色切片图像中异常组织的分割方法和装置 | |
| CN112419335A (zh) | 一种细胞核分割网络的形状损失计算方法 | |
| CN114419375B (zh) | 图像分类方法、训练方法、装置、电子设备以及存储介质 | |
| CN114742119A (zh) | 交叉监督的模型训练方法、图像分割方法及相关设备 | |
| CN114565617A (zh) | 基于剪枝U-Net++的乳腺肿块图像分割方法及系统 | |
| CN114565626A (zh) | 基于PSPNet改进的肺部CT图像分割算法 | |
| CN115423802A (zh) | 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法 | |
| CN115131628A (zh) | 一种基于分型辅助信息的乳腺图像分类方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |