CN113053497A - 一种优化组织学病理图像智能分析性能的后处理方法 - Google Patents
一种优化组织学病理图像智能分析性能的后处理方法 Download PDFInfo
- Publication number
- CN113053497A CN113053497A CN202110250510.4A CN202110250510A CN113053497A CN 113053497 A CN113053497 A CN 113053497A CN 202110250510 A CN202110250510 A CN 202110250510A CN 113053497 A CN113053497 A CN 113053497A
- Authority
- CN
- China
- Prior art keywords
- small
- confidence probability
- prior
- size image
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004458 analytical method Methods 0.000 title claims abstract description 30
- 230000001575 pathological effect Effects 0.000 title claims abstract description 26
- 238000012805 post-processing Methods 0.000 title claims abstract description 20
- 230000003902 lesion Effects 0.000 claims abstract description 4
- 230000007170 pathology Effects 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 239000012188 paraffin wax Substances 0.000 claims description 3
- 238000010186 staining Methods 0.000 claims description 2
- 230000008014 freezing Effects 0.000 claims 1
- 238000007710 freezing Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 8
- 206010051066 Gastrointestinal stromal tumour Diseases 0.000 description 9
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 9
- 201000010260 leiomyoma Diseases 0.000 description 9
- 208000007538 neurilemmoma Diseases 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 206010039667 schwannoma Diseases 0.000 description 8
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种优化组织学病理图像智能分析性能的后处理方法。所述方法包括：获取病例的多张病理切片的数字图像，并绘制先验图谱；将切片对应的数字图像和先验图谱裁剪成小尺寸图像块；计算待优化算法对于小尺寸图像块的预测置信概率特征，并计算对应的先验图谱的平均值作为先验权重；计算每个小尺寸图像块的加权置信概率特征；融合切片对应的所有小尺寸图像块的加权置信概率特征；融合病例对应的所有切片的加权置信概率特征；最后预测病例所属病变类别。本发明的方案不需要重新训练即可应用于现有智能分析方法，不仅能提升算法的分析精度，也能结合医生的先验知识关注部分关键区域，在病理医生诊断过程中起到更精确的智能辅助效果。
Description
技术领域
本发明涉及图像处理技术领域，具体为一种优化组织学病理图像智能分析性能的后处理方法。
背景技术
近年来，以卷积神经网络为代表的深度学习方法在组织学病理图像智能分析领域取得了显著成果。为了便于计算机处理，以苏木精和伊红染料染色的切片首先被扫描成组织学病理数字图像。为了清晰呈现细胞形态与细胞分布，组织学病理数字图像通常在40倍目镜条件下扫描获得，此时的图像单张包含像素数目可达数百万的级别，远远超过计算机单次运算的负荷能力。因此，通用方法将单张组织学病理图像裁剪成尺寸较小的图像块来处理和分析，而后将每张图像块的分析结果按照裁剪的位置拼接起来，从而得到最终的整张切片的智能诊断结果。
然而，小尺寸图像块的智能分析无法兼顾全切片的整体信息，诊断结果难免存在偏差，进而导致拼接后的切片诊断结果包含大量噪声。许多方法基于图像块的诊断结果进行众数投票得到切片的诊断结果，但投票机制极易受到噪声的干扰而产生误判。单张切片的误判会进一步影响患者的最终诊断结果。本发明提出一种优化组织学病理图像智能分析性能的后处理方法，不需要重新训练即可应用于现有智能分析方法，不仅能提升算法的分析精度，也能结合医生的先验知识关注部分关键区域，在病理医生诊断过程中起到更精确的智能辅助效果。
发明内容
本发明提供了一种优化组织学病理图像智能分析性能的后处理的方法，其特征在于，所述方法包括：
步骤1，获取病例的多张病理切片的数字图像，并绘制先验图谱；
步骤2，将切片对应的数字图像和先验图谱裁剪成小尺寸图像块；
步骤3，计算待优化算法对于小尺寸图像块的预测置信概率特征，并计算对应的先验图谱的平均值作为先验权重；
步骤4，计算每个小尺寸图像块的加权置信概率特征；
步骤5，融合切片对应的所有小尺寸图像块的加权置信概率特征；
步骤6，融合病例对应的所有切片的加权置信概率特征；
步骤7，根据步骤6中的加权置信概率特征，预测病例所属病变类别。
具体地，在步骤1中，将病例P的组织通过石蜡包埋或冰冻包埋后进行切片和染色处理，并基于高倍数目镜扫描成多张组织学病理数字图像p1,p2,...,pi，i为切片数量；
具体地，在步骤1中，所述绘制先验图谱，包括：根据医生的先验知识，获取与切片等尺寸的先验图谱H，每张切片分别对应先验图谱h1,h2,...,hi，并在图谱中存储归一化的相对关注度度，关注度取值范围为[0,1]；
具体地，在步骤2中，所述将切片对应的数字图像和先验图谱裁剪成小尺寸图像块，包括：将切片对应的数字病理图像以步长s裁剪成边长为x的小尺寸图像块，s的取值范围为(0,x]；将病例P的切片pi的小尺寸病理图像块表示为pi1,pi2,...,pij，同时裁剪先验图谱hi中的对应位置，得到小尺寸图像块对应的先验图谱hi1,hi2,...,hij，其中，i为切片数量，j为小尺寸图像块的数量。
具体地，在步骤2中，当优化网络为ResNet时，x取值为224；当优化网络为Inception v3时，x取值为299
具体地，步骤3中，所述计算待优化算法对于小尺寸图像块的预测置信概率特征，并计算对应的先验图谱的平均值作为先验权重，包括：以待优化深度学习的卷积神经网络模型M对所有小尺寸图像块进行预测，得到小尺寸图像块pij的预测置信概率特征
向量中每个元素表示对应类别的置信概率，c为可能被预测的类别数目；利用公式(1)计算每个小尺寸图像块pij对应的先验图谱hij的像素平均值
作为每个小尺寸图像块对应的先验权重，其中，
n为对应的先验图谱中的像素数目，hijz为每个像素的相对关注度取值；
具体地，步骤4中，所述计算每个小尺寸图像块的加权置信概率特征，包括：根据步骤3中计算出的每个小尺寸图像块pij的预测置信概率特征
和对应的先验权重
计算每个小尺寸图像块的加权置信概率特征
其中，
具体地，在步骤5中，将每个小尺寸图像块的加权置信概率特征求和，得到病例P的切片pi的加权置信概率特征
其中，
c为可能被预测的类别数目；
具体地，在步骤6中，将所有切片的加权置信概率特征求和，得到病例P的加权置信概率特征
其中，
本发明针对现阶段基于深度学习的算法在切片级别甚至病例级别的整体诊断仍然表现欠佳的情况，针对宫颈病变发展特异性，从后处理角度出发，结合医生的关键区域先验知识，提升病例级别和切片级别的综合分析效果，可以得到比众数投票机制更稳定更优异的辅助诊断效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为优化组织学病理图像智能分析性能的后处理步骤流程图；
图2为胃肠间质瘤、平滑肌瘤和神经鞘瘤患者的智能分类训练过程流程图；
图3为胃肠间质瘤、平滑肌瘤和神经鞘瘤患者的智能分类推断过程流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现阶段基于深度学习的算法广泛应用于组织学病理图像的智能分析。尽管这些算法在小尺寸图像块级别的整体精度优良，但在切片级别甚至病例级别的整体诊断仍然表现欠佳。本发明针对此类算法在组织学病理智能分析任务中噪声过多的问题，从后处理角度出发，结合医生的关键区域先验知识，提升病例级别和切片级别的综合分析效果。具体步骤如下：
S101：获取病例的多张病理切片，根据医生先验知识绘制重点区域的关注度先验图谱。
具体地，将病例P的组织通过石蜡包埋或冰冻包埋后进行切片和染色处理，并基于高倍数目镜(例如，40倍目镜)扫描成多张组织学病理数字图像p1,p2,...,pi(i为切片数量)。另外，根据医生的先验知识，粗略地勾勒出需要重点关注的区域，获取与切片等尺寸的先验图谱H(每张切片分别对应先验图谱h1,h2,...,hi)，图谱中存储归一化的相对关注度，取值范围[0,1]，数值越大表示该区域的预测类别对于最终诊断越重要。
S102：将切片对应的数字图像和先验图谱裁剪成小尺寸图像块。
具体地，将切片对应的数字病理图像以步长s裁剪成边长为x的小尺寸图像块。s的推荐取值范围为(0,x]，数值越小，最终算法精度越高，所需运行时间越长。x的取值根据实际应用中待优化的深度学习卷积神经网络类型而定。例如，如果优化ResNet的分析效果，x可取值为224；如果优化Inceptionv3的分析效果，x可取值为299。病例P的切片pi的小尺寸病理图像块表示为pi1,pi2,...,pij(j为小尺寸图像块的数量)。同时，裁剪先验图谱hi中的对应位置，得到小尺寸图像块对应的先验图谱hi1,hi2,...,hij。
S103：计算待优化算法对于小尺寸图像块的预测置信概率特征，并计算对应的先验图谱的平均值作为先验权重。
具体地，以待优化深度学习的卷积神经网络模型M对所有小尺寸图像块进行预测，得到小尺寸图像块pij的预测置信概率特征
向量中每个元素表示对应类别的置信概率，c为可能被预测的类别数目。另外，计算每个小尺寸图像块pij对应的先验图谱hij的像素平均值
作为该图像块的先验权重，其中n为对应的先验图谱中的像素数目，hijz为每个像素的相对关注度取值。
S104：计算每个小尺寸图像块的加权置信概率特征。
具体地，根据步骤S103中每个小尺寸图像块pij的预测置信概率特征
和对应的先验权重
计算该小尺寸图像块的加权置信概率特征
S105：融合切片对应的所有小尺寸图像块的加权置信概率特征。
具体地，将步骤S104所计算的所有小尺寸图像块的加权置信概率特征以切片为单位融合。病例P的切片pi的加权置信概率特征
(j为小尺寸图像块数量)由每个小尺寸图像块的加权置信概率特征求和得到，即
c为可能被预测的类别数目。
S106：融合病例对应的所有切片的加权置信概率特征。
具体地，病例P的加权置信概率特征
(c为可能被预测的类别数目)由所有切片的加权置信概率特征求和而得，即
<w1,w2,…,wi>＝<w11+w21+…+wi1,w12+w22+…+wi2,…,w1c+w2c+…+wic>,i为该病例拥有的切片数目。
S107：预测病例所属病变类别。
具体地，根据步骤S106所计算的病例P的加权置信概率特征
计算置信概率最大的类别cmax＝argmax(w1,w2,…,wc)，即为该病例P的所属病变类别。
为了便于对本发明的理解，图2和图3示出了胃肠间质瘤、平滑肌瘤和神经鞘瘤患者的智能分类流程，作为该发明的一个具体实施例，其描述了胃肠间质瘤、平滑肌瘤和神经鞘瘤患者的智能分类流程，其涵盖了实际应用中的训练过程，以及推断阶段与训练阶段的配合办法。
如图2所示，为胃肠间质瘤、平滑肌瘤和神经鞘瘤患者的智能分类训练过程，具体包括：
S201：挑选胃肠间质瘤、平滑肌瘤和神经鞘瘤的典型病例。具体地，挑选三种肿瘤的典型病例各25例，并将组织进行包埋等处理。
S202：获取肿瘤组织包埋后中心的连续切片。具体地，将每一块包埋后的组织沿着中心位置连续薄切5张切片，并以苏木精和伊红染料将切片染色。由医生显微镜下进行筛选，去除肿瘤区域较小的切片。将保留的切片用病理扫描仪扫描成40倍目镜量级的数字病理图像并保存成RGB三通道彩色图。
S203：肿瘤区域裁剪小尺寸图像块组成训练集。具体地，将病理图像无重叠地裁剪成(512,512)的小尺寸图像块。将小尺寸图像块转换成单通道灰度图，灰度图取值范围是[0,255]。将小尺寸图像块灰度值大于阈值的像素视为前景，小于阈值的像素视为背景，阈值取值为255*0.8。若小尺寸图像块的前景占比小于20％则将其丢弃，反之则将其保留。保留下来的小尺寸图像块由医生进行二次剔除，去除不包含肿瘤的图像块。保留下来的小尺寸图像块组成训练集，图像的标签为所对应的患者的类别。
S204：训练集中小尺寸图像块数据增强。具体地，在训练过程中将训练集中的小尺寸图像块进行多样化处理，包括随机镜像翻转、随机角度旋转、色度饱和度亮度的抖动、随机小尺寸放缩等。
S205：以交叉熵损失训练ResNet-101网络。具体地，将步骤1.4中处理后的小尺寸图像块输入到ResNet-101深度卷积神经网络中，通过前馈运算后得到3维的置信概率特征。以交叉熵损失函数公式计算置信概率特征的损失值，将损失值通过反向传播的方式更新ResNet-101的网络参数。
S206：迭代步骤S204和S205得到收敛模型M。具体地，以步骤S204处理后的小尺寸图像块为步骤S205的ResNet-101网络的输入，以步骤S205的方法更新ResNet-101的网络参数；以步骤S204处理后的小尺寸图像块为上次更新参数后的ResNet-101网络的输入，再以步骤S205的方法更新ResNet-101的网络参数……循环迭代步骤S204和步骤S205，直至ResNet-101的网络参数收敛到基本稳定的程度，得到预测模型M。
如图3所示，为胃肠间质瘤、平滑肌瘤和神经鞘瘤患者的智能分类推断过程，具体包括：
S301：获取待测病例连续切片和先验图谱。具体地，将待测样本包埋后沿着中心位置连续薄切三张切片(p1,p2,p3)，使用苏木精和伊红染料将切片染色，而后使用病理扫描仪于40倍目镜量级扫描成数字病理图像。医生根据病理图像粗略勾画重点区域，根据重点程度定义像素值为[0,1]，值越大代表该区域越重要，由此构成与病理图像等尺寸的先验图谱(h1,h2,h3)。
S302：每张切片裁剪大尺寸和小尺寸图像块。具体地，切片pi先裁剪成尺寸为(2304,2304)的大尺寸图像块，再将大尺寸图像块以256像素为步长裁剪成尺寸为(512,512)的小尺寸图像块，每张大尺寸图像块可裁剪为小尺寸图像块64块，即pi1,pi2,...,pi64。同时，裁剪先验图谱hi中的对应位置，得到小尺寸图像块对应的先验图谱hi1,hi2,...,hi64。
S303：模型M预测小尺寸图像块置信概率特征。其中，模型M为前述步骤S206中得到的收敛模型M。具体地，模型M对所有小尺寸图像块进行预测，得到小尺寸图像块pij的预测置信概率特征，并通过softmax函数将置信概率特征归一化到元素总和为1，得到归一化后的置信概率特征
向量中的元素按顺序分布表示胃肠间质瘤、平滑肌瘤和神经鞘瘤的置信概率。
S304：计算大尺寸和小尺寸图像块加权置信概率特征。具体地，计算每个小尺寸图像块pij对应的先验图谱hij的像素平均值
作为该图像块的先验权重，其中n为对应的先验图谱中的像素数目(n＝262144)，hijz为每个像素的相对关注度取值。根据步骤2.3中每个小尺寸图像块pij的预测置信概率特征
和对应的先验权重
计算该小尺寸图像块的加权置信概率特征
而后，将大尺寸图像块对应的64块小尺寸图像块的加权置信概率特征按元素位置求和得到大尺寸图像块的加权质心概率特征。
S305：计算切片图像块加权置信概率特征。具体地，将切片对应的所有大尺寸图像块的加权置信概率特征按元素位置求和。每张切片对应的大尺寸图像块的数量由待测样本的尺寸决定，此处假设有k张大尺寸图像块，每个大尺寸图像块对应64块小尺寸图像块，因此每张切片的加权置信概率特征为64k块小尺寸图像块的的加权置信概率特征之和。
S306：计算病例置信概率特征并预测类别。具体地，待测病例的加权置信概率特征
由3张切片的加权置信概率特征求和而得，即
<w1,w2,w3>＝<w11+w21+w31,w12+w22+w32,w13+w23+w33>。计算加权置信概率最大的类别cmax＝argmax(w1,w2,w3)。cmax＝w1时该病例为胃肠间质瘤患者，cmax＝w2时该病例为平滑肌瘤患者，cmax＝w3时该病例为神经鞘瘤患者。
本发明的优化组织学病理图像智能分析性能的后处理的方法及装置，可直接应用于现有的智能分析算法的预测与诊断阶段，无需重新训练，应用便捷，可融合医生的先验知识，提升智能分析算法对于关键区域的关注度；此外，采用本发明的方法，可得到比众数投票机制更稳定更优异的辅助诊断效果。
Claims (9)
1.一种优化组织学病理图像智能分析性能的后处理方法，其特征在于，所述方法包括以下步骤：
步骤1，获取病例的多张病理切片的数字图像，并绘制先验图谱；
步骤2，将切片对应的数字图像和先验图谱裁剪成小尺寸图像块；
步骤3，计算待优化算法对于小尺寸图像块的预测置信概率特征，并计算对应的先验图谱的平均值作为先验权重；
步骤4，计算每个小尺寸图像块的加权置信概率特征；
步骤5，融合切片对应的所有小尺寸图像块的加权置信概率特征；
步骤6，融合病例对应的所有切片的加权置信概率特征；
步骤7，根据步骤6中的加权置信概率特征，预测病例所属病变类别。
2.如权利要求1所述的优化组织学病理图像智能分析性能的后处理的方法，其特征在于，在步骤1中，所述获取病例的多张病理切片的数字图像，具体为：将病例P的组织通过石蜡包埋或冰冻包埋后进行切片和染色处理，并基于高倍数目镜扫描成多张组织学病理数字图像p1,p2,...,pi，i为切片数量。
3.如权利要求2所述的优化组织学病理图像智能分析性能的后处理的方法，其特征在于，所述绘制先验图谱，具体为：根据医生的先验知识，获取与切片等尺寸的先验图谱H，每张切片分别对应先验图谱h1,h2,...,hi，并在图谱中存储归一化的相对关注度度，关注度取值范围为[0,1]。
4.如权利要求1所述的优化组织学病理图像智能分析性能的后处理的方法，其特征在于，在步骤2中，所述将切片对应的数字图像和先验图谱裁剪成小尺寸图像块，具体为：将切片对应的数字病理图像以步长s裁剪成边长为x的小尺寸图像块，s的取值范围为(0,x]；将病例P的切片pi的小尺寸病理图像块表示为pi1,pi2,...,pij，同时裁剪先验图谱hi中的对应位置，得到小尺寸图像块对应的先验图谱hi1,hi2,...,hij，其中，i为切片数量，j为小尺寸图像块的数量。
5.如权利要求4所述的优化组织学病理图像智能分析性能的后处理的方法，其特征在于，当优化网络为ResNet时，x取值为224；当优化网络为Inception v3时，x取值为299。
6.如权利要求4所述的优化组织学病理图像智能分析性能的后处理的方法，其特征在于，步骤3中，所述计算待优化算法对于小尺寸图像块的预测置信概率特征，并计算对应的先验图谱的平均值作为先验权重，具体为：以待优化深度学习的卷积神经网络模型M对所有小尺寸图像块进行预测，得到小尺寸图像块pij的预测置信概率特征
向量中每个元素表示对应类别的置信概率，c为可能被预测的类别数目；利用公式(1)计算每个小尺寸图像块pij对应的先验图谱hij的像素平均值
作为每个小尺寸图像块对应的先验权重，其中，
n为对应的先验图谱中的像素数目，hijz为每个像素的相对关注度取值。
7.如权利要求6所述的优化组织学病理图像智能分析性能的后处理的方法，其特征在于，步骤4中，所述计算每个小尺寸图像块的加权置信概率特征，具体为：根据步骤3中计算出的每个小尺寸图像块pij的预测置信概率特征
和对应的先验权重
计算每个小尺寸图像块的加权置信概率特征
其中，
8.如权利要求7所述的优化组织学病理图像智能分析性能的后处理的方法，其特征在于，在步骤5中，将每个小尺寸图像块的加权置信概率特征求和，得到病例P的切片pi的加权置信概率特征
其中，
c为可能被预测的类别数目。
9.如权利要求8所述的优化组织学病理图像智能分析性能的后处理的方法，其特征在于，在步骤6中，将所有切片的加权置信概率特征求和，得到病例P的加权置信概率特征
其中，
<w1,w2,…,wi>＝<w11+w21+…+wi1,w12+w22+…+wi2,…,w1c+w2c+…+wic>。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250510.4A CN113053497B (zh) | 2021-03-08 | 2021-03-08 | 一种优化组织学病理图像智能分析性能的后处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250510.4A CN113053497B (zh) | 2021-03-08 | 2021-03-08 | 一种优化组织学病理图像智能分析性能的后处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113053497A true CN113053497A (zh) | 2021-06-29 |
| CN113053497B CN113053497B (zh) | 2022-06-28 |
Family
ID=76510390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110250510.4A Active CN113053497B (zh) | 2021-03-08 | 2021-03-08 | 一种优化组织学病理图像智能分析性能的后处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113053497B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037702A (zh) * | 2022-01-10 | 2022-02-11 | 湖南品信生物工程有限公司 | 一种切片级宫颈癌筛查与分类的方法及装置 |
| CN114863123A (zh) * | 2022-05-16 | 2022-08-05 | 福州大学 | 基于多模型权重分配网络的直肠癌病理完全反应预测方法 |
| CN116152241A (zh) * | 2023-04-18 | 2023-05-23 | 湖南炅旭生物科技有限公司 | 一种脑部影像的处理方法、系统、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150213302A1 (en) * | 2014-01-30 | 2015-07-30 | Case Western Reserve University | Automatic Detection Of Mitosis Using Handcrafted And Convolutional Neural Network Features |
| CN108629777A (zh) * | 2018-04-19 | 2018-10-09 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种数字病理全切片图像病变区域自动分割方法 |
| CN109492711A (zh) * | 2018-12-07 | 2019-03-19 | 杭州电子科技大学 | 基于深度学习的恶性黑色素瘤及非恶性黑色素痣分类方法 |
| CN110838100A (zh) * | 2019-10-11 | 2020-02-25 | 浙江大学 | 一种基于滑动窗口的结肠镜病理切片筛查与分割系统 |
-
2021
- 2021-03-08 CN CN202110250510.4A patent/CN113053497B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150213302A1 (en) * | 2014-01-30 | 2015-07-30 | Case Western Reserve University | Automatic Detection Of Mitosis Using Handcrafted And Convolutional Neural Network Features |
| CN108629777A (zh) * | 2018-04-19 | 2018-10-09 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种数字病理全切片图像病变区域自动分割方法 |
| CN109492711A (zh) * | 2018-12-07 | 2019-03-19 | 杭州电子科技大学 | 基于深度学习的恶性黑色素瘤及非恶性黑色素痣分类方法 |
| CN110838100A (zh) * | 2019-10-11 | 2020-02-25 | 浙江大学 | 一种基于滑动窗口的结肠镜病理切片筛查与分割系统 |
Non-Patent Citations (2)
| Title |
|---|
| 孟婷等: "一种基于增强卷积神经网络的病理图像诊断算法", 《激光与光电子学进展》 * |
| 王莹等: "临床结直肠病理切片图像的自动辅助诊断", 《临床与实验病理学杂志》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037702A (zh) * | 2022-01-10 | 2022-02-11 | 湖南品信生物工程有限公司 | 一种切片级宫颈癌筛查与分类的方法及装置 |
| CN114037702B (zh) * | 2022-01-10 | 2022-05-17 | 湖南品信生物工程有限公司 | 一种切片级宫颈癌筛查与分类的方法及装置 |
| CN114863123A (zh) * | 2022-05-16 | 2022-08-05 | 福州大学 | 基于多模型权重分配网络的直肠癌病理完全反应预测方法 |
| CN116152241A (zh) * | 2023-04-18 | 2023-05-23 | 湖南炅旭生物科技有限公司 | 一种脑部影像的处理方法、系统、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113053497B (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113053497B (zh) | 一种优化组织学病理图像智能分析性能的后处理方法 | |
| US11842556B2 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN110765855B (zh) | 一种病理图像处理方法及系统 | |
| CN108830149B (zh) | 一种目标细菌的检测方法及终端设备 | |
| Xu et al. | Look, investigate, and classify: a deep hybrid attention method for breast cancer classification | |
| CN111798416A (zh) | 基于病理图像与深度学习的肾小球智能检测方法及系统 | |
| CN116579954B (zh) | 一种超高清内窥镜图像智能增强方法 | |
| CN113570619B (zh) | 基于人工智能的计算机辅助胰腺病理图像诊断系统 | |
| CN110763677A (zh) | 甲状腺冰冻切片诊断方法及系统 | |
| KR101789513B1 (ko) | 디지털 병리 시스템의 이미지 품질 평가 방법 | |
| CN111986202A (zh) | 青光眼辅助诊断装置、方法及存储介质 | |
| CN116884597A (zh) | 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统 | |
| CN113139931B (zh) | 甲状腺切片图像分类模型训练方法、装置 | |
| CN112489062B (zh) | 基于边界及邻域引导的医学图像分割方法及系统 | |
| CN117115117A (zh) | 基于小样本下的病理图像识别方法、电子设备及存储介质 | |
| JP4609322B2 (ja) | 染色体状態の評価方法および評価システム | |
| EP4235599A1 (en) | Annotation refinement for segmentation of whole-slide images in digital pathology | |
| CN111341442A (zh) | 一种多功能一体化肺癌辅助诊断系统 | |
| CN113920099B (zh) | 一种基于非局部信息提取的息肉分割方法及相关组件 | |
| CN116051421A (zh) | 基于多维度的内窥镜图像质量评价方法、装置、设备及介质 | |
| CN113139930B (zh) | 甲状腺切片图像分类方法、装置、计算机设备和存储介质 | |
| CN114742119A (zh) | 交叉监督的模型训练方法、图像分割方法及相关设备 | |
| CN112991360A (zh) | 一种宫颈癌前病理组织学分割优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |