CN116797794A - 基于深度学习的肠癌病理分型系统 - Google Patents
基于深度学习的肠癌病理分型系统 Download PDFInfo
- Publication number
- CN116797794A CN116797794A CN202310832971.1A CN202310832971A CN116797794A CN 116797794 A CN116797794 A CN 116797794A CN 202310832971 A CN202310832971 A CN 202310832971A CN 116797794 A CN116797794 A CN 116797794A
- Authority
- CN
- China
- Prior art keywords
- data set
- model
- test
- colorectal cancer
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007170 pathology Effects 0.000 title claims abstract description 52
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 201000002313 intestinal cancer Diseases 0.000 title claims abstract description 25
- 208000005016 Intestinal Neoplasms Diseases 0.000 title claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 147
- 208000001333 Colorectal Neoplasms Diseases 0.000 claims abstract description 89
- 206010009944 Colon cancer Diseases 0.000 claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 81
- 230000011218 segmentation Effects 0.000 claims abstract description 51
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 41
- 230000001575 pathological effect Effects 0.000 claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 36
- 208000015634 Rectal Neoplasms Diseases 0.000 claims description 28
- 206010038038 rectal cancer Diseases 0.000 claims description 28
- 201000001275 rectum cancer Diseases 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 20
- 238000012423 maintenance Methods 0.000 claims description 19
- 238000001574 biopsy Methods 0.000 claims description 18
- 208000003200 Adenoma Diseases 0.000 claims description 15
- 206010028980 Neoplasm Diseases 0.000 claims description 14
- 206010001233 Adenoma benign Diseases 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000011160 research Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 abstract description 4
- 238000012216 screening Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 description 11
- 201000011510 cancer Diseases 0.000 description 8
- 238000000034 method Methods 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 230000036285 pathological change Effects 0.000 description 4
- 231100000915 pathological change Toxicity 0.000 description 4
- 208000037062 Polyps Diseases 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 206010051635 Gastrointestinal tract adenoma Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 201000003741 Gastrointestinal carcinoma Diseases 0.000 description 1
- 208000032177 Intestinal Polyps Diseases 0.000 description 1
- 208000003252 Signet Ring Cell Carcinoma Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004347 intestinal mucosa Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 201000008123 signet ring cell adenocarcinoma Diseases 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供基于深度学习的肠癌病理分型系统，包括：数据获取模块，用于基于历史结直肠癌手术切片数据集，获取已注释的训练数据集；模型训练模块，用于采用基于卷积神经网络的深度语义分割模型对训练数据集进行训练，输出结直肠癌病理分型训练结果；模型测试模块，用于采用基于卷积神经网络的深度语义分割模型对采集的测试数据集进行测试，获得结直肠癌病理分型测试结果。本发明通过基于卷积神经网络的深度语义分割模型进行病理数据分析，可作为病例审核或初步筛查，辅助病理学医生进行临床使用，提高了肠癌病理分型分析的质量。
Description
技术领域
本发明涉及临床医学技术领域，尤其涉及基于深度学习的肠癌病理分型系统。
背景技术
当前，研究人员将深度学习方法应用于内窥镜图像，帮助内窥镜专家发现可疑区域。然而，这种方法不能为微观层面的诊断提供帮助，如从光学显微镜下的组织形态进行病理诊断。一些方法研究了在整个玻片图像(WSI)上使用深度学习方法进行病理诊断辅助的问题，然而，这些方法只关注一种类型的病理变化。例如，只寻找息肉而忽略了癌症和腺瘤，而只寻找癌症区域；比如，由于结直肠癌的不同发展阶段，结直肠活检中可能有多种病理变化，这些二分类假设限制了它们在临床上的应用，
因此，需要基于深度学习的肠癌病理分型系统。
发明内容
本发明提供了基于深度学习的肠癌病理分型系统，通过基于卷积神经网络的深度语义分割模型进行病理数据分析，可作为病例审核或初步筛查，辅助病理学医生进行临床使用，提高了肠癌病理分型分析的质量。
本发明提供了基于深度学习的肠癌病理分型系统，包括：
数据获取模块，用于基于历史结直肠癌手术切片数据集，获取已注释的训练数据集；
模型训练模块，用于采用基于卷积神经网络的深度语义分割模型对训练数据集进行训练，输出结直肠癌病理分型训练结果；
模型测试模块，用于采用基于卷积神经网络的深度语义分割模型对预设的测试数据集进行测试，获得结直肠癌病理分型测试结果。
进一步地，数据获取模块包括第一获取单元、第二获取单元、第三获取单元、第四获取单元和数据汇总单元；
第一获取单元，用于基于历史结直肠癌手术切片数据集，获取注释有结直肠癌亚型、待定结直肠癌亚型的结直肠癌手术切片，生成第一数据集；
第二获取单元，用于基于历史结直肠癌手术切片数据集，获取注释有结直肠道腺瘤、正常结直肠组织以及结直肠道腺瘤等级的结直肠癌手术切片，生成第二数据集；
第三获取单元，用于基于历史结直肠癌手术切片数据集，获取仅注释有统一结直肠癌亚型标签的结直肠癌手术切片，生成第三数据集；
第四获取单元，用于基于历史结直肠癌手术切片数据集，获取注释有结直肠道腺瘤、非肿结直肠癌的结直肠癌手术切片，生成第四数据集；
数据汇总单元，用于将第一数据集、第二数据集、第三数据集和第四数据集，汇总生成训练数据集。
进一步地，结直肠癌手术切片由全自动数字扫描设备以40倍放大率进行数字化处理；注释由经验丰富的病理学医生使用平板电脑上的注释软件操作完成。
进一步地，模型训练模块包括模型配置单元和模型训练单元；
模型配置单元，用于将Deeplab V3深度语义分割模型、Resnet34深度残差网络、空洞空间卷积池化金字塔组件、多尺度视场提取组合特征，作为基于卷积神经网络的深度语义分割模型的配置内容；
模型训练单元，用于将训练数据集输入基于卷积神经网络的深度语义分割模型，输出结直肠癌病理分型训练结果。
进一步地，模型训练模块还包括图像特征处理单元；
图像特征处理单元，用于针对训练数据集中不同分辨率的图像，采用第一方案进行处理；
第一方案包括：使用骨架提取算法从单一分辨率图像中提取特征，获得低层次特征和高层次特征；对低层次特征进行空间裁剪和上采样处理，生成第一低层次特征；将第一低层次特征与高层次特征合并后进行分割。
进一步地，模型训练模块还包括数据集注释颗粒度处理单元；
数据集注释颗粒度处理单元，用于针对训练数据集中结直肠癌手术切片的注释颗粒度的不同，采用第二方案进行处理；第二方案包括：将详细级别的注释与粗略级别的注释合并，采用分层损失函数作为不同颗粒度级别的损失的总和；分层损失函数计算公式为：
F＝a*fcl+b*fxx
上式中，F代表分层损失函数，a代表粗略级别损失函数的权重，fcl代表粗略级别损失函数，b代表详细级别损失函数的权重，fxx代表详细级别损失函数；当且仅当存在粗略级别的注释时，a＝1，其他情况下，a＝0；当且仅当存在详细级别的注释时，b＝1，其他情况下，b＝0。
进一步地，模型测试模块包括测试数据集获取单元和测试单元；
测试数据集获取单元，用于基于医院患者的结直肠活检切片，生成测试数据集；
测试单元，用于采用基于卷积神经网络的深度语义分割模型对测试数据集进行测试，获得直肠癌病理分型测试结果。
进一步地，模型测试模块还包括：
基于PyTorch的深度学习框架，对测试数据集进行分布式测试处理。
进一步地，模型测试模块还包括测试结果修正单元，测试结果修正单元用于对测试数据集中的结直肠活检切片图像进行三维高光谱处理后，进行辅助测试，并对比分析测试结果后进行修正；测试结果修正单元包括：
基于高光谱图像采集装置采集测试数据集中的结直肠活检切片的光谱二维图像数据，利用预设的空白视野光谱图像叠加处理，生成结直肠活检切片的三维高光谱图像，并提取三维高光谱图像的特征数据集；
采用基于卷积神经网络的深度语义分割模型对特征数据集进行测试，获得直肠癌病理分型第一测试结果；对比直肠癌病理分型第一测试结果和直肠癌病理分型测试结果，获得相对应的差异数据；
追溯差异数据的差异数据特征，比较差异数据特征属性值与预设的数据特征属性值阈值的大小，获得直肠癌病理分型第一测试结果对应的差异数据特征属性值与数据特征属性值阈值的第一差值，以及直肠癌病理分型测试结果对应的差异数据特征属性值与数据特征属性值阈值的第二差值，若第一差值小于第二差值，则采用直肠癌病理分型第一测试结果作为修正测试结果。
进一步地，还包括模型管理模块，用于管理、维护和更新基于卷积神经网络的深度语义分割模型；模型管理模块包括模型数据维护单元、模型参数维护单元和模型应用拓展单元；
模型数据维护单元，用于利用云平台存储维护训练数据集、测试数据集，以及结直肠癌病理分型训练结果和结直肠癌病理分型测试结果产生的结果数据；
模型参数维护单元，用于基于对模型数据的分析，根据不同的病理分型需求，调整和更新基于卷积神经网络的深度语义分割模型的内核参数和算法；
模型应用拓展单元，用于依托基于卷积神经网络的深度语义分割模型开展远程医疗、在线教学和病理案例研究。
本发明与现有技术相比，具有如下的优点和有益效果：通过基于卷积神经网络的深度语义分割模型进行病理数据分析，可作为病例审核或初步筛查，辅助病理学医生进行临床使用，提高了肠癌病理分型分析的质量。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的基于深度学习的肠癌病理分型系统结构示意图；
图2为本发明的基于深度学习的肠癌病理分型系统模块数据获取模块结构示意图；
图3为本发明的基于深度学习的肠癌病理分型系统模块模型训练模块结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供了基于深度学习的肠癌病理分型系统，如图1所示，包括：
数据获取模块，用于基于历史结直肠癌手术切片数据集，获取已注释的训练数据集；
模型训练模块，用于采用基于卷积神经网络的深度语义分割模型对训练数据集进行训练，输出结直肠癌病理分型训练结果；
模型测试模块，用于采用基于卷积神经网络的深度语义分割模型对预设的测试数据集进行测试，获得结直肠癌病理分型测试结果。
上述技术方案的工作原理为：数据获取模块，用于基于历史结直肠癌手术切片数据集，获取已注释的训练数据集；
模型训练模块，用于采用基于卷积神经网络的深度语义分割模型对训练数据集进行训练，输出结直肠癌病理分型训练结果；
模型测试模块，用于采用基于卷积神经网络的深度语义分割模型对预设的测试数据集进行测试，获得结直肠癌病理分型测试结果。
上述技术方案的有益效果为：采用本实施例提供的方案，通过基于卷积神经网络的深度语义分割模型进行病理数据分析，可作为病例审核或初步筛查，辅助病理学医生进行临床使用，提高了肠癌病理分型分析的质量。
在一个实施例中，如图2所示，数据获取模块包括第一获取单元、第二获取单元、第三获取单元、第四获取单元和数据汇总单元；
第一获取单元，用于基于历史结直肠癌手术切片数据集，获取注释有结直肠癌亚型、待定结直肠癌亚型的结直肠癌手术切片，生成第一数据集；
第二获取单元，用于基于历史结直肠癌手术切片数据集，获取注释有结直肠道腺瘤、正常结直肠组织以及结直肠道腺瘤等级的结直肠癌手术切片，生成第二数据集；
第三获取单元，用于基于历史结直肠癌手术切片数据集，获取仅注释有统一结直肠癌亚型标签的结直肠癌手术切片，生成第三数据集；
第四获取单元，用于基于历史结直肠癌手术切片数据集，获取注释有结直肠道腺瘤、非肿结直肠癌的结直肠癌手术切片，生成第四数据集；
数据汇总单元，用于将第一数据集、第二数据集、第三数据集和第四数据集，汇总生成训练数据集。
上述技术方案的工作原理为：数据获取模块包括第一获取单元、第二获取单元、第三获取单元、第四获取单元和数据汇总单元；
第一获取单元，用于基于历史结直肠癌手术切片数据集，获取注释有结直肠癌亚型、待定结直肠癌亚型的结直肠癌手术切片，生成第一数据集；注释主要集中在结直肠癌的不同亚型，对于那些不能被确定为亚型的癌症区域，将其标注为一般的“癌症”类别，以避免错过这些混乱的癌症形态，虽然包含了结直肠癌的各种亚型，但不包含非癌症的病理变化，如腺瘤或息肉的信息；
第二获取单元，用于基于历史结直肠癌手术切片数据集，获取注释有结直肠道腺瘤、正常结直肠组织以及结直肠道腺瘤等级的结直肠癌手术切片，生成第二数据集；这一数据集，为了区分肠道腺瘤和正常结直肠组织以及不同等级的肠道腺瘤而收集和注释，，没有癌症和息肉的信息；
第三获取单元，用于基于历史结直肠癌手术切片数据集，获取仅注释有统一结直肠癌亚型标签的结直肠癌手术切片，生成第三数据集；这一数据集来自肠道粘膜剥离术样本的切片，包含不同类型的病理变化，没有给结直肠癌分配详细的标签，各种亚型由一个“癌症”标签表示；
第四获取单元，用于基于历史结直肠癌手术切片数据集，获取注释有结直肠道腺瘤、非肿结直肠癌的结直肠癌手术切片，生成第四数据集；这一数据集只针对肠道息肉，没有癌症区域，只有腺瘤和非肿瘤的标注；
数据汇总单元，用于将第一数据集、第二数据集、第三数据集和第四数据集，汇总生成训练数据集。
上述技术方案的有益效果为：采用本实施例提供的方案，通过获取不同类型的训练数据集，可保证训练数据集获取的质量。
在一个实施例中，结直肠癌手术切片由全自动数字扫描设备以40倍放大率进行数字化处理；注释由经验丰富的病理学医生使用平板电脑上的注释软件操作完成。
上述技术方案的工作原理为：结直肠癌手术切片由全自动数字扫描设备以40倍放大率进行数字化处理；注释由经验丰富的病理学医生使用平板电脑上的注释软件操作完成。
上述技术方案的有益效果为：采用本实施例提供的方案，通过对结直肠癌手术切片进行处理和注释操作处理，可提高直肠癌手术切片的处理质量，为后期的模型训练提供良好条件。
在一个实施例中，如图3所示，模型训练模块包括模型配置单元和模型训练单元；
模型配置单元，用于将Deeplab V3深度语义分割模型、Resnet34深度残差网络、空洞空间卷积池化金字塔组件、多尺度视场提取组合特征，作为基于卷积神经网络的深度语义分割模型的配置内容；
模型训练单元，用于将训练数据集输入基于卷积神经网络的深度语义分割模型，输出结直肠癌病理分型训练结果。
上述技术方案的工作原理为：模型训练模块包括模型配置单元和模型训练单元；
模型配置单元，用于将Deeplab V3深度语义分割模型、Resnet34深度残差网络、空洞空间卷积池化金字塔组件、多尺度视场提取组合特征，作为基于卷积神经网络的深度语义分割模型的配置内容；
模型训练单元，用于将训练数据集输入基于卷积神经网络的深度语义分割模型，输出结直肠癌病理分型训练结果。
上述技术方案的有益效果为：采用本实施例提供的方案，通过配置基于卷积神经网络的深度语义分割模型的内容，为更精确地进行模型训练提供必备条件。
在一个实施例中，模型训练模块还包括图像特征处理单元；
图像特征处理单元，用于针对训练数据集中不同分辨率的图像，采用第一方案进行处理；
第一方案包括：使用骨架提取算法从单一分辨率图像中提取特征，获得低层次特征和高层次特征；对低层次特征进行空间裁剪和上采样处理，生成第一低层次特征；将第一低层次特征与高层次特征合并后进行分割。
上述技术方案的工作原理为：模型训练模块还包括图像特征处理单元；
图像特征处理单元，用于针对训练数据集中不同分辨率的图像，采用第一方案进行处理；
第一方案包括：使用骨架提取算法从单一分辨率图像中提取特征，获得低层次特征和高层次特征；对低层次特征进行空间裁剪和上采样处理，生成第一低层次特征；将第一低层次特征与高层次特征合并后进行分割。
上述技术方案的有益效果为：采用本实施例提供的方案，通过使用骨架提取算法、并对低层次特征进行空间裁剪和上采样处理，可保证由于每个段骨干对不同分辨率的独立性。
在一个实施例中，模型训练模块还包括数据集注释颗粒度处理单元；
数据集注释颗粒度处理单元，用于针对训练数据集中结直肠癌手术切片的注释颗粒度的不同，采用第二方案进行处理；第二方案包括：将详细级别的注释与粗略级别的注释合并，采用分层损失函数作为不同颗粒度级别的损失的总和；分层损失函数计算公式为：
F＝a*fcl+b*fxx
上式中，F代表分层损失函数，a代表粗略级别损失函数的权重，fcl代表粗略级别损失函数，b代表详细级别损失函数的权重，fxx代表详细级别损失函数；当且仅当存在粗略级别的注释时，a＝1，其他情况下，a＝0；当且仅当存在详细级别的注释时，b＝1，其他情况下，b＝0。
上述技术方案的工作原理为：由于数据集的颗粒度不同，很难直接将这些注释合并在一起；由于标准的交叉熵损失假定了标签之间的排他性，一个区域不可能同时属于癌症和单细胞标签，因为每个区域只有一个注释；为了解决不同数据集的注释颗粒度不同的问题，最简单的方法是忽略那些不在所需级别的注释。然而，这并没有充分利用现有的数据。另一种方法是将详细级别的注释与粗略的标签注释合并。例如，“Signet ring cellcarcinoma”可以合并为“carcinoma”，因此，当我们专注于粗略级别的标签时，训练数据可以被充分使用；然而，这种合并只适用于从下到上的方向，当我们专注于细节级别的标签时，粗略级别的标签注释就不能再使用了。为了在从下到上和从上到下的方向上充分使用所有的数据集，使用分层损失函数作为不同颗粒度级别的损失的总和，可以充分使用所有的训练数据，用于粗略和细节级别的标签；
模型训练模块还包括数据集注释颗粒度处理单元；
数据集注释颗粒度处理单元，用于针对训练数据集中结直肠癌手术切片的注释颗粒度的不同，采用第二方案进行处理；第二方案包括：将详细级别的注释与粗略级别的注释合并，采用分层损失函数作为不同颗粒度级别的损失的总和；分层损失函数计算公式为：
F＝a*fcl+b*fxx
上式中，F代表分层损失函数，a代表粗略级别损失函数的权重，fcl代表粗略级别损失函数，b代表详细级别损失函数的权重，fxx代表详细级别损失函数；当且仅当存在粗略级别的注释时，a＝1，其他情况下，a＝0；当且仅当存在详细级别的注释时，b＝1，其他情况下，b＝0。
上述技术方案的有益效果为：采用本实施例提供的方案，对像素在不同的颗粒度上的个标签，可以为不同的颗粒度损失贡献损失项，可提高模型训练的质量。
在一个实施例中，模型测试模块包括测试数据集获取单元和测试单元；
测试数据集获取单元，用于基于医院患者的结直肠活检切片，生成测试数据集；
测试单元，用于采用基于卷积神经网络的深度语义分割模型对测试数据集进行测试，获得直肠癌病理分型测试结果。
上述技术方案的工作原理为：模型测试模块包括测试数据集获取单元和测试单元；
测试数据集获取单元，用于基于医院患者的结直肠活检切片，生成测试数据集；
测试单元，用于采用基于卷积神经网络的深度语义分割模型对测试数据集进行测试，获得直肠癌病理分型测试结果。
上述技术方案的有益效果为：采用本实施例提供的方案，通过利用模型进行测试，可提高模型测试的质量和效果。
在一个实施例中，模型测试模块还包括：基于PyTorch的深度学习框架，对测试数据集进行分布式测试处理。
上述技术方案的工作原理为：模型测试模块还包括：基于PyTorch的深度学习框架，对测试数据集进行分布式测试处理。
上述技术方案的有益效果为：采用本实施例提供的方案，基于PyTorch的深度学习框架可以进行快速推理，并随着计算机GPU的加而线性加速，而且系统的规模可以在推理阶段弹性变化。
在一个实施例中，模型测试模块还包括测试结果修正单元，测试结果修正单元用于对测试数据集中的结直肠活检切片图像进行三维高光谱处理后，进行辅助测试，并对比分析测试结果后进行修正；测试结果修正单元包括：
基于高光谱图像采集装置采集测试数据集中的结直肠活检切片的光谱二维图像数据，利用预设的空白视野光谱图像叠加处理，生成结直肠活检切片的三维高光谱图像，并提取三维高光谱图像的特征数据集；
采用基于卷积神经网络的深度语义分割模型对特征数据集进行测试，获得直肠癌病理分型第一测试结果；对比直肠癌病理分型第一测试结果和直肠癌病理分型测试结果，获得相对应的差异数据；
追溯差异数据的差异数据特征，比较差异数据特征属性值与预设的数据特征属性值阈值的大小，获得直肠癌病理分型第一测试结果对应的差异数据特征属性值与数据特征属性值阈值的第一差值，以及直肠癌病理分型测试结果对应的差异数据特征属性值与数据特征属性值阈值的第二差值，若第一差值小于第二差值，则采用直肠癌病理分型第一测试结果作为修正测试结果。
上述技术方案的工作原理为：模型测试模块还包括测试结果修正单元，测试结果修正单元用于对测试数据集中的结直肠活检切片图像进行三维高光谱处理后，进行辅助测试，并对比分析测试结果后进行修正；测试结果修正单元包括：
基于高光谱图像采集装置采集测试数据集中的结直肠活检切片的光谱二维图像数据，利用预设的空白视野光谱图像叠加处理，生成结直肠活检切片的三维高光谱图像，并提取三维高光谱图像的特征数据集；
采用基于卷积神经网络的深度语义分割模型对特征数据集进行测试，获得直肠癌病理分型第一测试结果；对比直肠癌病理分型第一测试结果和直肠癌病理分型测试结果，获得相对应的差异数据；
追溯差异数据的差异数据特征，比较差异数据特征属性值与预设的数据特征属性值阈值的大小，获得直肠癌病理分型第一测试结果对应的差异数据特征属性值与数据特征属性值阈值的第一差值，以及直肠癌病理分型测试结果对应的差异数据特征属性值与数据特征属性值阈值的第二差值，若第一差值小于第二差值，则采用直肠癌病理分型第一测试结果作为修正测试结果。
上述技术方案的有益效果为：采用本实施例提供的方案，通过试数据集中的结直肠活检切片图像进行三维高光谱处理后，进行分析测试结果后修正，可提高测试结果的精确性，有利于更准确的病理分型分析。
在一个实施例中，还包括模型管理模块，用于管理、维护和更新基于卷积神经网络的深度语义分割模型；模型管理模块包括模型数据维护单元、模型参数维护单元和模型应用拓展单元；
模型数据维护单元，用于利用云平台存储维护训练数据集、测试数据集，以及结直肠癌病理分型训练结果和结直肠癌病理分型测试结果产生的结果数据；
模型参数维护单元，用于基于对模型数据的分析，根据不同的病理分型需求，调整和更新基于卷积神经网络的深度语义分割模型的内核参数和算法；
模型应用拓展单元，用于依托基于卷积神经网络的深度语义分割模型开展远程医疗、在线教学和病理案例研究。
上述技术方案的工作原理为：还包括模型管理模块，用于管理、维护和更新基于卷积神经网络的深度语义分割模型；模型管理模块包括模型数据维护单元、模型参数维护单元和模型应用拓展单元；
模型数据维护单元，用于利用云平台存储维护训练数据集、测试数据集，以及结直肠癌病理分型训练结果和结直肠癌病理分型测试结果产生的结果数据；
模型参数维护单元，用于基于对模型数据的分析，根据不同的病理分型需求，调整和更新基于卷积神经网络的深度语义分割模型的内核参数和算法；
模型应用拓展单元，用于依托基于卷积神经网络的深度语义分割模型开展远程医疗、在线教学和病理案例研究。
为了便于模型参数的维护和管理，需要对模型进行评估；为了更加准确地评估基于卷积神经网络的深度语义分割模型的效果，采取综合分割损失函数和分类损失函数相结合的方法进行综合损失函数的计算，根据综合损失函数的计算结果，获得模型的评估效果，综合损失函数的计算公式为：
上式中，P表示综合损失函数，m表示真实的病理分型，M表示通过模型测试获得的病理分型，ε表示平衡分割误差和分类误差的参数；TP代表模型测试结果为真阳性类的数量，FP代表模型输出结果错误显示为阳性类的数量，FN代表模型输出结果错误显示为阴性类的数量。
上述技术方案的有益效果为：采用本实施例提供的方案，通过对基于卷积神经网络的深度语义分割模型的管理和维护，有利于模型的更广泛使用和管理；通过采用综合损失函数对模型进行评估，有助于准确地评估模型的质量，为更好地维护和管理提供依据。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.基于深度学习的肠癌病理分型系统，其特征在于，包括：
数据获取模块，用于基于历史结直肠癌手术切片数据集，获取已注释的训练数据集；
模型训练模块，用于采用基于卷积神经网络的深度语义分割模型对训练数据集进行训练，输出结直肠癌病理分型训练结果；
模型测试模块，用于采用基于卷积神经网络的深度语义分割模型对采集的测试数据集进行测试，获得结直肠癌病理分型测试结果。
2.根据权利要求1所述的基于深度学习的肠癌病理分型系统，其特征在于，数据获取模块包括第一获取单元、第二获取单元、第三获取单元、第四获取单元和数据汇总单元；
第一获取单元，用于基于历史结直肠癌手术切片数据集，获取注释有结直肠癌亚型、待定结直肠癌亚型的结直肠癌手术切片，生成第一数据集；
第二获取单元，用于基于历史结直肠癌手术切片数据集，获取注释有结直肠道腺瘤、正常结直肠组织以及结直肠道腺瘤等级的结直肠癌手术切片，生成第二数据集；
第三获取单元，用于基于历史结直肠癌手术切片数据集，获取仅注释有统一结直肠癌亚型标签的结直肠癌手术切片，生成第三数据集；
第四获取单元，用于基于历史结直肠癌手术切片数据集，获取注释有结直肠道腺瘤、非肿结直肠癌的结直肠癌手术切片，生成第四数据集；
数据汇总单元，用于将第一数据集、第二数据集、第三数据集和第四数据集，汇总生成训练数据集。
3.根据权利要求2所述的基于深度学习的肠癌病理分型系统，其特征在于，结直肠癌手术切片由全自动数字扫描设备以40倍放大率进行数字化处理；注释由经验丰富的病理学医生使用平板电脑上的注释软件操作完成。
4.根据权利要求1所述的基于深度学习的肠癌病理分型系统，其特征在于，模型训练模块包括模型配置单元和模型训练单元；
模型配置单元，用于将Deeplab V3深度语义分割模型、Resnet34深度残差网络、空洞空间卷积池化金字塔组件、多尺度视场提取组合特征，作为基于卷积神经网络的深度语义分割模型的配置内容；
模型训练单元，用于将训练数据集输入基于卷积神经网络的深度语义分割模型，输出结直肠癌病理分型训练结果。
5.根据权利要求1所述的基于深度学习的肠癌病理分型系统，其特征在于，模型训练模块还包括图像特征处理单元；
图像特征处理单元，用于针对训练数据集中不同分辨率的图像，采用第一方案进行处理；
第一方案包括：使用骨架提取算法从单一分辨率图像中提取特征，获得低层次特征和高层次特征；对低层次特征进行空间裁剪和上采样处理，生成第一低层次特征；将第一低层次特征与高层次特征合并后进行分割。
6.根据权利要求1所述的基于深度学习的肠癌病理分型系统，其特征在于，模型训练模块还包括数据集注释颗粒度处理单元；
数据集注释颗粒度处理单元，用于针对训练数据集中结直肠癌手术切片的注释颗粒度的不同，采用第二方案进行处理；第二方案包括：将详细级别的注释与粗略级别的注释合并，采用分层损失函数作为不同颗粒度级别的损失的总和；分层损失函数计算公式为：
F＝a*fcl+b*fxx
上式中，F代表分层损失函数，a代表粗略级别损失函数的权重，fcl代表粗略级别损失函数，b代表详细级别损失函数的权重，fxx代表详细级别损失函数；当且仅当存在粗略级别的注释时，a＝1，其他情况下，a＝0；当且仅当存在详细级别的注释时，b＝1，其他情况下，b＝0。
7.根据权利要求1所述的基于深度学习的肠癌病理分型系统，其特征在于，模型测试模块包括测试数据集获取单元和测试单元；
测试数据集获取单元，用于基于医院患者的结直肠活检切片，生成测试数据集；
测试单元，用于采用基于卷积神经网络的深度语义分割模型对测试数据集进行测试，获得直肠癌病理分型测试结果。
8.根据权利要求1所述的基于深度学习的肠癌病理分型系统，其特征在于，模型测试模块还包括：
基于PyTorch的深度学习框架，对测试数据集进行分布式测试处理。
9.根据权利要求1所述的基于深度学习的肠癌病理分型系统，其特征在于，模型测试模块还包括测试结果修正单元，测试结果修正单元用于对测试数据集中的结直肠活检切片图像进行三维高光谱处理后，进行辅助测试，并对比分析测试结果后进行修正；测试结果修正单元包括：
基于高光谱图像采集装置采集测试数据集中的结直肠活检切片的光谱二维图像数据，利用预设的空白视野光谱图像叠加处理，生成结直肠活检切片的三维高光谱图像，并提取三维高光谱图像的特征数据集；
采用基于卷积神经网络的深度语义分割模型对特征数据集进行测试，获得直肠癌病理分型第一测试结果；对比直肠癌病理分型第一测试结果和直肠癌病理分型测试结果，获得相对应的差异数据；
追溯差异数据的差异数据特征，比较差异数据特征属性值与预设的数据特征属性值阈值的大小，获得直肠癌病理分型第一测试结果对应的差异数据特征属性值与数据特征属性值阈值的第一差值，以及直肠癌病理分型测试结果对应的差异数据特征属性值与数据特征属性值阈值的第二差值，若第一差值小于第二差值，则采用直肠癌病理分型第一测试结果作为修正测试结果。
10.根据权利要求1所述的基于深度学习的肠癌病理分型系统，其特征在于，还包括模型管理模块，用于管理、维护和更新基于卷积神经网络的深度语义分割模型；模型管理模块包括模型数据维护单元、模型参数维护单元和模型应用拓展单元；
模型数据维护单元，用于利用云平台存储维护训练数据集、测试数据集，以及结直肠癌病理分型训练结果和结直肠癌病理分型测试结果产生的结果数据；
模型参数维护单元，用于基于对模型数据的分析，根据不同的病理分型需求，调整和更新基于卷积神经网络的深度语义分割模型的内核参数和算法；
模型应用拓展单元，用于依托基于卷积神经网络的深度语义分割模型开展远程医疗、在线教学和病理案例研究。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310832971.1A CN116797794B (zh) | 2023-07-10 | 2023-07-10 | 基于深度学习的肠癌病理分型系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310832971.1A CN116797794B (zh) | 2023-07-10 | 2023-07-10 | 基于深度学习的肠癌病理分型系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116797794A true CN116797794A (zh) | 2023-09-22 |
| CN116797794B CN116797794B (zh) | 2024-06-18 |
Family
ID=88041998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310832971.1A Active CN116797794B (zh) | 2023-07-10 | 2023-07-10 | 基于深度学习的肠癌病理分型系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797794B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108694718A (zh) * | 2018-05-28 | 2018-10-23 | 中山大学附属第六医院 | 直肠癌术前同期新辅助放化疗疗效评估系统和方法 |
| CN110309868A (zh) * | 2019-06-24 | 2019-10-08 | 西北工业大学 | 结合无监督学习的高光谱图像分类方法 |
| CN111640121A (zh) * | 2020-04-28 | 2020-09-08 | 南京理工大学 | 基于改进U-net的直肠CT图像肿瘤分割方法 |
| CN112001928A (zh) * | 2020-07-16 | 2020-11-27 | 北京化工大学 | 一种视网膜血管分割方法及系统 |
| US20210334543A1 (en) * | 2020-04-28 | 2021-10-28 | Ajou University Industry-Academic Cooperation Foundation | Method for semantic segmentation based on knowledge distillation |
| CN114511627A (zh) * | 2021-12-22 | 2022-05-17 | 山东师范大学 | 一种目标果实定位分割方法及系统 |
| CN115760868A (zh) * | 2022-10-14 | 2023-03-07 | 广东省人民医院 | 基于拓扑感知的结直肠和结直肠癌分割方法、系统、设备及介质 |
| CN116152185A (zh) * | 2023-01-30 | 2023-05-23 | 北京透彻未来科技有限公司 | 一种基于深度学习的胃癌病理诊断系统 |
| CN116188396A (zh) * | 2023-01-03 | 2023-05-30 | 濮阳大数据与人工智能研究院 | 一种图像分割方法、装置、设备及介质 |
| CN116342628A (zh) * | 2023-05-31 | 2023-06-27 | 之江实验室 | 病理图像分割方法、装置和计算机设备 |
| CN116363647A (zh) * | 2023-03-29 | 2023-06-30 | 北京透彻未来科技有限公司 | 基于深度语义分割网络的肺癌病理组织分型系统 |
-
2023
- 2023-07-10 CN CN202310832971.1A patent/CN116797794B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108694718A (zh) * | 2018-05-28 | 2018-10-23 | 中山大学附属第六医院 | 直肠癌术前同期新辅助放化疗疗效评估系统和方法 |
| CN110309868A (zh) * | 2019-06-24 | 2019-10-08 | 西北工业大学 | 结合无监督学习的高光谱图像分类方法 |
| CN111640121A (zh) * | 2020-04-28 | 2020-09-08 | 南京理工大学 | 基于改进U-net的直肠CT图像肿瘤分割方法 |
| US20210334543A1 (en) * | 2020-04-28 | 2021-10-28 | Ajou University Industry-Academic Cooperation Foundation | Method for semantic segmentation based on knowledge distillation |
| CN112001928A (zh) * | 2020-07-16 | 2020-11-27 | 北京化工大学 | 一种视网膜血管分割方法及系统 |
| CN114511627A (zh) * | 2021-12-22 | 2022-05-17 | 山东师范大学 | 一种目标果实定位分割方法及系统 |
| CN115760868A (zh) * | 2022-10-14 | 2023-03-07 | 广东省人民医院 | 基于拓扑感知的结直肠和结直肠癌分割方法、系统、设备及介质 |
| CN116188396A (zh) * | 2023-01-03 | 2023-05-30 | 濮阳大数据与人工智能研究院 | 一种图像分割方法、装置、设备及介质 |
| CN116152185A (zh) * | 2023-01-30 | 2023-05-23 | 北京透彻未来科技有限公司 | 一种基于深度学习的胃癌病理诊断系统 |
| CN116363647A (zh) * | 2023-03-29 | 2023-06-30 | 北京透彻未来科技有限公司 | 基于深度语义分割网络的肺癌病理组织分型系统 |
| CN116342628A (zh) * | 2023-05-31 | 2023-06-27 | 之江实验室 | 病理图像分割方法、装置和计算机设备 |
Non-Patent Citations (4)
| Title |
|---|
| JOHN‑MELLE BOKHORST等: "Deep learning for multi-class semantic segmentation enables colorectal cancer detection and classifcation in digital pathology images", SCIENTIFIC REPORTS, pages 3 - 10 * |
| JOHN‑MELLE BOKHORST等: "Deep learning for multi‑class semantic segmentation enables colorectal cancer detection and classifcation in digital pathology images", SCIENTIFIC REPORTS, pages 3 - 10 * |
| YAYA HERYADI等: "The Effect of Resnet Model as Feature Extractor Network to Performance of DeepLabV3 Model for Semantic Satellite Image Segmentation", 2020 IEEE ASIA-PACIFIC CONFERENCE ON GEOSCIENCE, ELECTRONICS AND REMOTE SENSING TECHNOLOGY (AGERS), pages 74 - 77 * |
| 周祺 等: "基于细粒度实体分类的对比研究", 重庆工商大学学报(自然科学版) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116797794B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kothari et al. | Pathology imaging informatics for quantitative analysis of whole-slide images | |
| Lu et al. | Data-efficient and weakly supervised computational pathology on whole-slide images | |
| Komura et al. | Machine learning methods for histopathological image analysis | |
| Priego-Torres et al. | Automatic segmentation of whole-slide H&E stained breast histopathology images using a deep convolutional neural network architecture | |
| Das et al. | Computer-aided histopathological image analysis techniques for automated nuclear atypia scoring of breast cancer: a review | |
| Jiang et al. | Deep learning for computational cytology: A survey | |
| JP5958534B2 (ja) | 病理診断結果判定システム、病理診断結果判定方法および病理診断結果判定装置 | |
| CN110245657B (zh) | 病理图像相似性检测方法及检测装置 | |
| Mi et al. | Deep learning-based multi-class classification of breast digital pathology images | |
| WO2012154216A1 (en) | Diagnosis support system providing guidance to a user by automated retrieval of similar cancer images with user feedback | |
| Banerji et al. | Deep learning in histopathology: A review | |
| Abdelsamea et al. | A survey on artificial intelligence in histopathology image analysis | |
| Sangeetha et al. | An empirical analysis of machine learning frameworks for digital pathology in medical science | |
| CA3196713C (en) | Critical component detection using deep learning and attention | |
| CN113743463A (zh) | 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统 | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| Tabatabaei et al. | Towards More Transparent and Accurate Cancer Diagnosis with an Unsupervised CAE Approach | |
| Bahadir et al. | Artificial intelligence applications in histopathology | |
| Jing et al. | A comprehensive survey of intestine histopathological image analysis using machine vision approaches | |
| Meng et al. | Clinical applications of graph neural networks in computational histopathology: A review | |
| Huo et al. | Comprehensive AI model development for Gleason grading: From scanning, cloud-based annotation to pathologist-AI interaction | |
| Labrada et al. | A Comprehensive Review of Computer-Aided Models for Breast Cancer Diagnosis Using Histopathology Images | |
| CN116797794B (zh) | 基于深度学习的肠癌病理分型系统 | |
| Tafavvoghi et al. | Publicly available datasets of breast histopathology H&E whole-slide images: A scoping review | |
| CN113705318B (zh) | 基于图像的识别方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |