CN117408954A - 基于深度学习的肾纤维化分级方法、电子设备及存储介质 - Google Patents

基于深度学习的肾纤维化分级方法、电子设备及存储介质 Download PDF

Info

Publication number
CN117408954A
CN117408954A CN202311300276.7A CN202311300276A CN117408954A CN 117408954 A CN117408954 A CN 117408954A CN 202311300276 A CN202311300276 A CN 202311300276A CN 117408954 A CN117408954 A CN 117408954A
Authority
CN
China
Prior art keywords
slide
full
digital image
grading
digital images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311300276.7A
Other languages
English (en)
Inventor
陈平圣
胡秀秀
夏思宇
唐珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202311300276.7A priority Critical patent/CN117408954A/zh
Publication of CN117408954A publication Critical patent/CN117408954A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的肾纤维化分级方法、电子设备及存储介质，属于图像处理领域，该方法包括：将待分级的肾穿刺活检标本制作标本后扫描得到全玻片数字图像，并分割为多个全玻片局部切片数字图像；将全玻片局部切片数字图像输入至预先训练好的分级模型中，得到待分级的肾穿刺活检标本的肾纤维化分级结果，其中，分级模型为两阶段弱监督学习框架，在第一阶段用于筛选出多个与全玻片数字图像强相关的全玻片局部切片数字图像，在第二阶段用于将强相关的多个全玻片局部切片数字图像拼接为一张数字图像并送入深度学习卷积分类网络进行决策聚合，由此，将人工智能技术、图像处理技术应用到临床医学诊断中，解决了人工分级不准确的问题。

Description

基于深度学习的肾纤维化分级方法、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于深度学习的肾纤维化分级方法、电子设备及存储介质。
背景技术
肾间质纤维化是慢性肾脏病的标志，肾纤维化的程度通常和慢性肾脏病的严重程度相关，目前对于肾间质纤维化程度的判断，主要依赖于肾穿刺活检组织病理学检查。准确诊断肾纤维化并采取治疗措施可延缓慢性肾脏病的进展。由于病理学家间视觉评估纤维化程度的一致性较差，甚至可能会出现同一病理学家在不同时间点做出不同的评估，以及会产生视觉疲劳，从而出现误诊或漏诊。
发明内容
本发明提供一种基于深度学习的肾纤维化分级方法、电子设备及存储介质，构建两阶段深度学习框架以准确地识别肾活检病理图像的纤维化病变程度并对其进行分级，以解决人工分级不准确的问题。
本发明第一方面实施例提供一种基于深度学习的肾纤维化分级方法，包括以下步骤：获取待分级的肾穿刺活检标本制作标本，并扫描得到全玻片数字图像(WholeSlideImaging，WSI)，将所述全玻片数字图像进行分割，得到多个全玻片局部切片数字图像；将所述全玻片局部切片数字图像输入至预先训练好的分级模型中，得到所述待分级的肾穿刺活检标本的肾纤维化分级结果，其中，所述分级模型为两阶段弱监督学习框架，在第一阶段用于筛选出多个与所述全玻片数字图像强相关的全玻片局部切片数字图像，在第二阶段用于将强相关的多个全玻片局部切片数字图像拼接为一张数字图像并送人深度学习卷积分类网络进行决策聚合。
在本发明的一个实施例中，将所述全玻片局部切片数字图像输入至预先训练好的分级模型中之前，还包括：
获取多个慢性肾脏病患者的肾穿刺活检标本制作切片，对所述切片进行扫描得到全玻片数字图像，并利用所述全玻片数字图像构建肾纤维化分级数据集；
对所述肾纤维化分级数据集中的全玻片数字图像进行标注，划分为多个纤维化程度等级；
将所述全玻片数字图像分割为多个全玻片局部切片数字图像，利用所述多个全玻片局部切片数字图像及其对应的纤维化程度等级标签训练两阶段弱监督学习框架，得到所述预先训练好的分级模型。
在本发明的一个实施例中，获取待分级的肾穿刺活检标本制作标本，并扫描得到全玻片数字图像，包括：
将所述待分级的肾穿刺活检标本经中性缓冲福尔马林固定，梯度酒精脱水，石蜡包埋，切片机切成2微米厚的切片，再经脱蜡水化，进行天狼星红染色，扫描得到所述全玻片数字图像。
在本发明的一个实施例中，在利用所述全玻片数字图像构建肾纤维化分级数据集之前，还包括：
去除组织固定不佳、染色不一致、污渍遮挡组织及扫描不清晰的所述全玻片数字图像。
在本发明的一个实施例中，将所述全玻片数字图像进行分割，得到多个全玻片局部切片数字图像，包括：
将所述全玻片数字图像从RGB空间转换至HSV空间，利用Saturation通道，根据预设阈值生成组织区域前景二值掩码，通过中值滤波与形态学闭合操作来平滑mask的边缘；
将所述全玻片数字图像进行下采样，并以预设尺寸从分割轮廓内裁剪多个全玻片局部切片数字图像。
在本发明的一个实施例中，以预设尺寸从分割轮廓内裁剪多个全玻片局部切片数字图像，包括：
将下采样后的所述全玻片数字图像切割为互不重叠的多个全玻片局部切片数字图像后，用正像素计数法过滤掉无效背景的全玻片局部切片数字图像，保留含有组织的多个全玻片局部切片数字图像。
在本发明的一个实施例中，在第一阶段用于筛选出多个与所述全玻片数字图像强相关的全玻片局部切片数字图像，包括：
利用蒙特卡洛丢弃法代替正像素计数法，筛选出与所述全玻片数字图像的标签强相关的全玻片局部切片数字图像，排除多实例学习中弱标签带来的全玻片局部切片数字图像级标签噪声影响，使用预测熵来衡量每个样本预测T次得到的不确定度。
在本发明的一个实施例中，在第二阶段用于将强相关的多个全玻片局部切片数字图像拼接为一张数字图像并送人深度学习卷积分类网络进行决策聚合，包括：
针对深度学习卷积分类网络的分级任务，采用序数回归损失函数，用平方加权kappa一致性系数代替准确度作为评价指标。
本发明第二方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以执行如上述实施例所述的基于深度学习的肾纤维化分级方法。
本发明第三方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例所述的基于深度学习的肾纤维化分级方法。
本发明实施例的基于深度学习的肾纤维化分级方法、电子设备及存储介质，通过构建两阶段弱监督学习框架，对肾活检病理图像的纤维化程度自动分级。本分级方法有效的将人工智能技术、图像处理技术应用到临床医学诊断中，无需医生介入便能自动给出对病人的肾活检纤维化程度的诊断意见，并且具有一定的客观性，能够辅助肾脏病理医师进行诊断，对后续治疗提供指导意见。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例提供的一种基于深度学习的肾纤维化分级方法的流程图；
图2为根据本发明实施例构建的二阶段弱监督学习框架的网络结构示意图；
图3为根据本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
图1为根据本发明实施例提供的一种基于深度学习的肾纤维化分级方法的流程图。
如图1所示，该基于深度学习的肾纤维化分级方法包括以下步骤：
在步骤S101中，获取待分级的肾穿刺活检标本制作标本，并扫描得到全玻片数字图像，将全玻片数字图像进行分割，得到多个全玻片局部切片数字图像。
在本发明的一个实施例中，获取待分级的肾穿刺活检标本制作标本，并扫描得到全玻片数字图像，包括：
将待分级的肾穿刺活检标本经中性缓冲福尔马林固定，梯度酒精脱水，石蜡包埋，切片机切成2微米厚的切片，再经脱蜡水化，进行天狼星红染色，扫描得到全玻片数字图像。
慢性肾脏病患者活检样本的固定要及时，组织切片质量高，无刀痕及折叠，组织块大，染色试剂、时间、温度及湿度等条件一致，扫描设备分辨率高。
在本发明的一个实施例中，将全玻片数字图像进行分割，得到多个全玻片局部切片数字图像，包括：
将全玻片数字图像从RGB空间转换至HSV空间，利用Saturation通道，根据预设阈值生成组织区域前景二值掩码，通过中值滤波与形态学闭合操作来平滑mask的边缘；
将全玻片数字图像进行下采样，并以预设尺寸从分割轮廓内裁剪多个全玻片局部切片数字图像。
原始全玻片数字图像文件像素较大，无法直接投入神经网络进行训练，将全玻片数字图像切片分割为千百个局部切片(以下简称“patches”)作为网络输入。
具体地，对图像预处理，将全玻片数字图像切片分割为patches的细节是首先对于每张全玻片数字图像，将其从RGB空间转换至HSV空间，利用Saturation通道，根据一定阈值，生成组织区域前景二值掩码，通过中值滤波与形态学闭合操作来平滑mask的边缘；其次将原图(40倍分辨率)下采样至10倍分辨率(医师分析时常用的分辨率)，以224×224的尺寸从分割轮廓内裁剪patches。
在本发明的一个实施例中，以预设尺寸从分割轮廓内裁剪多个全玻片局部切片数字图像，包括：
将下采样后的全玻片数字图像切割为互不重叠的多个全玻片局部切片数字图像后，用正像素计数法过滤掉无效背景的全玻片局部切片数字图像，保留含有组织的多个全玻片局部切片数字图像。
将全玻片数字图像在10倍率平铺视野下切割为互不重叠的数百个patches，用正像素计数法过滤掉无效背景的patches，留下含有组织的patches。
在步骤S102中，将全玻片局部切片数字图像输入至预先训练好的分级模型中，得到待分级的肾穿刺活检标本的肾纤维化分级结果，其中，分级模型为两阶段弱监督学习框架，在第一阶段用于筛选出多个与全玻片数字图像强相关的全玻片局部切片数字图像，在第二阶段用于将强相关的多个全玻片局部切片数字图像拼接为一张数字图像并送人深度学习卷积分类网络进行决策聚合。
在本发明的一个实施例中，将全玻片局部切片数字图像输入至预先训练好的分级模型中之前，还包括：
获取多个慢性肾脏病患者的肾穿刺活检标本制作切片，对切片进行扫描得到全玻片数字图像，并利用全玻片数字图像构建肾纤维化分级数据集；
对肾纤维化分级数据集中的全玻片数字图像进行标注，划分为多个纤维化程度等级；
将全玻片数字图像分割为多个全玻片局部切片数字图像，利用多个全玻片局部切片数字图像及其对应的纤维化程度等级标签训练两阶段弱监督学习框架，得到预先训练好的分级模型。
为了训练分级模型，首先构建训练用的数据集，收集慢性肾脏病患者的肾穿刺活检标本，经中性缓冲福尔马林固定，梯度酒精脱水，石蜡包埋，切片机切成2微米厚的切片，再经脱蜡水化，进行天狼星红染色，并扫描成全玻片数字图像。为了提高训练效果，筛选符合要求的切片构建肾纤维化分级的数据集，去除组织固定不佳、染色不一致、污渍遮挡组织及扫描不清晰的切片对应的全玻片数字图像。
利用图像处理软件对全玻片数字图像进行纤维化程度评估，并由两位病理医师对肾活检病理切片进行视觉评估，将纤维化程度分为极轻、轻、中和重度四个等级，将两位病理学家评估一致的切片样本作为数据集用于模型的训练和测试。
图像处理软件为Image Scope软件，两位医师事先对于切片的临床信息不知情，并且两位病理医师在互不沟通的前提下进行评估；用于训练模型的样本纤维化程度均衡。
如图2所示，建立一个两阶段弱监督学习框架，在第一阶段筛选出与全玻片数字图像标签强相关的patches，在第二阶段将强相关的patches拼接为一张大图，再送人分类网络模型进行决策聚合，得到全玻片数字图像级的诊断评估结果。
具体地，分级数据集包括肾活检病理图像465张，训练集和验证集共367张(采用五折交叉验证)。
在本发明的一个实施例中，在第一阶段用于筛选出多个与全玻片数字图像强相关的全玻片局部切片数字图像，包括：
利用MC Dropout代替正像素计数法，筛选出与全玻片数字图像的标签强相关的全玻片局部切片数字图像，排除多实例学习中弱标签带来的全玻片局部切片数字图像级标签噪声影响，使用预测熵来衡量每个样本预测T次得到的不确定度。
在patch筛选阶段，利用蒙特卡洛丢弃法(MC Dropout)代替正像素计数法，筛选出与全玻片数字图像标签强相关的patches，排除多实例学习中，弱标签带来的patch级标签噪声影响，使用预测熵来衡量每个样本预测T次得到的不确定度。不确定度越低，证明模型对该样本的预测越有信心，也就是说它和整个原图标签越相关。
在本发明的一个实施例中，在第二阶段用于将强相关的多个全玻片局部切片数字图像拼接为一张数字图像并送人深度学习卷积分类网络进行决策聚合，包括：
针对深度学习卷积分类网络的分级任务，采用序数回归损失函数，用平方加权kappa一致性系数代替准确度作为评价指标。
将筛选的patches拼接为一张大图，再送入深度学习卷积分类网络进行决策聚合，得到整个玻片的分级结果。针对分级任务，采用序数回归损失函数代替普通损失函数，用平方加权kappa一致性系数代替准确度作为评价指标，从而兼顾分类任务与回归任务的特性。
具体地，本文提出了一个基于近似贝叶斯推理的超分辨率肾活检切片纤维化自动分级框架，该框架分为两个阶段。第一阶段(patch筛选阶段)，利用蒙特卡洛dropout法来近似贝叶斯推理，进行不确定度估计，筛选出低不确定度，即与WSI标签具有高相关性的patches；第二阶段(决策聚合阶段)，将与WSI标签最相关的前N2个patch提取出，拼接为一个N×M的大图，再投入分类网络进行决策聚合，得到WSI的纤维化分级评估结果。
第一阶段，即patches筛选阶段，将WSI在10倍率平铺视野下切割为互不重叠的数百个patches。用正像素计数法过滤掉无效背景patches，留下含有组织的patches。为每一个patch分别分配一个WSI级标签，作为分类网络的监督标签。此处选用了轻量化模型EifficientNet，以节约后续变分推理所需时间。随后，为了实现不确定度估计，我们在EfficientNet最后一层池化层的后面略作修改，新跟了两个全连接层，每个全连接层后接一个ReLu非线性激活层与一个Dropout层，dropout率设定为0.5。对于T次预测，其概率可以使用蒙特卡洛积分进行近似计算，如下所示：
其中，为Dropout分布。
使用预测熵来衡量每个样本的不确定度。
其中，代表第t次预测时第c类的softmax概率。样本总共分为C类。则预测熵的取值范围为0～1之间，越靠近1，则不确定度越大，样本预测信心越小。
由此，可以根据不确定度估计，将与WSI标签最相关的前N2个patches挑选出来，汇人第二阶段。
在第一阶段，通过MC dropout和变分推理，得到N2个低不确定度的patches。将这些patches拼接起来，得到一个N×M的concatmap。在将concatmap送人分类网络前，使用一些技巧，来进一步数据增强，包括Shiftaugmentation，Sprialtile，Random sorting，Random rotation以及Random white等策略。此外，还有对于全局图的数据增强策略，包括转置、水平翻转、垂直翻转、随机旋转、随机平移、非刚性变换等操作。
数据增广后，将concatmap送人分类网络，最终经过全连接层与softmax层，得到WSI纤维化分级评估结果。
采用序数回归损失函数LOR，兼顾分类任务与回归任务的特性。考虑类别顺序的分类网络，可将x编码为t＝(1，...，1，1，0，...，0)，将前k个元素置1，后面置0，即将序数回归任务转化为一个多标签分类任务，再用交叉熵损失函数LCE来计算。
病理图像通常存在类别分布不均衡问题，阴例(或轻症)的数量会远多于阳例(或重症)，因此，可采用加权损失函数如下：
其中，权重项平衡每个类别c的损失Lc，N是数据集总数，Nc是属于c类的数据量，k是控制类别平衡重要程度的因子，本文中取k＝2。
根据本发明实施例提出的基于深度学习的肾纤维化分级方法，通过构建两阶段弱监督学习框架，对肾活检病理图像的纤维化程度自动分级。本分级方法有效的将人工智能技术、图像处理技术应用到临床医学诊断中，无需医生介入便能自动给出对病人的肾活检纤维化程度的诊断意见，并且具有一定的客观性，能够辅助肾脏病理医师进行诊断，对后续治疗提供指导意见。
图3为本发明实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序。
处理器302执行程序时实现上述实施例中提供的基于深度学习的肾纤维化分级方法。
进一步地，车辆还包括：
通信接口303，用于存储器301和处理器302之间的通信。
存储器301，用于存放可在处理器302上运行的计算机程序。
存储器301可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器301、处理器302和通信接口303独立实现，则通信接口303、存储器301和处理器302可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry StandardArchitecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为ELSA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器301、处理器302及通信接口303，集成在一块芯片上实现，则存储器301、处理器302及通信接口303可以通过内部接口完成相互间的通信。
处理器302可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的基于深度学习的肾纤维化分级方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

Claims (10)

1.一种基于深度学习的肾纤维化分级方法，其特征在于，包括以下步骤：
获取待分级的肾穿刺活检标本制作标本，并扫描得到全玻片数字图像，将所述全玻片数字图像进行分割，得到多个全玻片局部切片数字图像；
将所述全玻片局部切片数字图像输入至预先训练好的分级模型中，得到所述待分级的肾穿刺活检标本的肾纤维化分级结果，其中，所述分级模型为两阶段弱监督学习框架，在第一阶段用于筛选出多个与所述全玻片数字图像强相关的全玻片局部切片数字图像，在第二阶段用于将强相关的多个全玻片局部切片数字图像拼接为一张数字图像并送入深度学习卷积分类网络进行决策聚合。
2.根据权利要求1所述的方法，其特征在于，将所述全玻片局部切片数字图像输入至预先训练好的分级模型中之前，还包括：
获取多个慢性肾脏病患者的肾穿刺活检标本制作切片，对所述切片进行扫描得到全玻片数字图像，并利用所述全玻片数字图像构建肾纤维化分级数据集；
对所述肾纤维化分级数据集中的全玻片数字图像进行标注，划分为多个纤维化程度等级；
将所述全玻片数字图像分割为多个全玻片局部切片数字图像，利用所述多个全玻片局部切片数字图像及其对应的纤维化程度等级标签训练两阶段弱监督学习框架，得到所述预先训练好的分级模型。
3.根据权利要求1所述的方法，其特征在于，获取待分级的肾穿刺活检标本制作标本，并扫描得到全玻片数字图像，包括：
将所述待分级的肾穿刺活检标本经中性缓冲福尔马林固定，梯度酒精脱水，石蜡包埋，切片机切成2微米厚的切片，再经脱蜡水化，进行天狼星红染色，扫描得到所述全玻片数字图像。
4.根据权利要求1所述的方法，其特征在于，在利用所述全玻片数字图像构建肾纤维化分级数据集之前，还包括：
去除组织固定不佳、染色不一致、污渍遮挡组织及扫描不清晰的所述全玻片数字图像。
5.根据权利要求1所述的方法，其特征在于，将所述全玻片数字图像进行分割，得到多个全玻片局部切片数字图像，包括：
将所述全玻片数字图像从RGB空间转换至HSV空间，利用Saturation通道，根据预设阈值生成组织区域前景二值掩码，通过中值滤波与形态学闭合操作来平滑mask的边缘；
将所述全玻片数字图像进行下采样，并以预设尺寸从分割轮廓内裁剪多个全玻片局部切片数字图像。
6.根据权利要求5所述的方法，其特征在于，以预设尺寸从分割轮廓内裁剪多个全玻片局部切片数字图像，包括：
将下采样后的所述全玻片数字图像切割为互不重叠的多个全玻片局部切片数字图像后，用正像素计数法过滤掉无效背景的全玻片局部切片数字图像，保留含有组织的多个全玻片局部切片数字图像。
7.根据权利要求1所述的方法，其特征在于，在第一阶段用于筛选出多个与所述全玻片数字图像强相关的全玻片局部切片数字图像，包括：
利用蒙特卡洛丢弃法代替正像素计数法，筛选出与所述全玻片数字图像的标签强相关的全玻片局部切片数字图像，排除多实例学习中弱标签带来的全玻片局部切片数字图像级标签噪声影响，使用预测熵来衡量每个样本预测T次得到的不确定度。
8.根据权利要求1所述的方法，其特征在于，在第二阶段用于将强相关的多个全玻片局部切片数字图像拼接为一张数字图像并送入深度学习卷积分类网络进行决策聚合，包括：
针对深度学习卷积分类网络的分级任务，采用序数回归损失函数，用平方加权kappa一致性系数代替准确度作为评价指标。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-8任一项所述的基于深度学习的肾纤维化分级方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-8任一项所述的基于深度学习的肾纤维化分级方法。
CN202311300276.7A 2023-10-09 2023-10-09 基于深度学习的肾纤维化分级方法、电子设备及存储介质 Pending CN117408954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311300276.7A CN117408954A (zh) 2023-10-09 2023-10-09 基于深度学习的肾纤维化分级方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311300276.7A CN117408954A (zh) 2023-10-09 2023-10-09 基于深度学习的肾纤维化分级方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117408954A true CN117408954A (zh) 2024-01-16

Family

ID=89497176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311300276.7A Pending CN117408954A (zh) 2023-10-09 2023-10-09 基于深度学习的肾纤维化分级方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117408954A (zh)

Similar Documents

Publication Publication Date Title
CN109741346B (zh) 感兴趣区域提取方法、装置、设备及存储介质
CN109191457B (zh) 一种病理图像质量有效性识别方法
CN112380900A (zh) 基于深度学习的子宫颈液基细胞数字图像分类方法及系统
Belsare et al. Histopathological image analysis using image processing techniques: An overview
Zhang et al. Automated semantic segmentation of red blood cells for sickle cell disease
CN109829882B (zh) 一种糖尿病视网膜病变分期预测方法
CN111488921A (zh) 一种全景数字病理图像智能分析系统及方法
Bai et al. Automatic segmentation of cervical region in colposcopic images using K-means
CN110853005A (zh) 一种免疫组化膜染色切片诊断方法及装置
CN110796661B (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
CN110189293A (zh) 细胞图像处理方法、装置、存储介质及计算机设备
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN113592797A (zh) 基于多数据融合及深度学习的乳腺结节风险等级预测系统
Apou et al. Detection of lobular structures in normal breast tissue
Cao et al. An automatic breast cancer grading method in histopathological images based on pixel-, object-, and semantic-level features
CN111401214B (zh) 一种基于深度学习的多分辨率集成her2判读方法
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN116740435A (zh) 基于多模态深度学习影像组学的乳腺癌超声图像分类方法
CN115205250A (zh) 基于深度学习的病理图像病变分割方法及系统
CN115131630A (zh) 模型训练、微卫星状态预测方法、电子设备及存储介质
CN116012332A (zh) 一种基于层次图的病理图像中原发肿瘤分期多示例学习方法、框架、设备及介质
JP7492650B2 (ja) 多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別
CN113160175B (zh) 一种基于级联网络的肿瘤淋巴管浸润检测方法
Sobrevilla et al. Fuzzy-based analysis of microscopic color cervical pap smear images: nuclei detection
CN112927215A (zh) 一种消化道活检病理切片自动分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination