CN116071318B - 一种图像筛选方法及系统 - Google Patents
一种图像筛选方法及系统 Download PDFInfo
- Publication number
- CN116071318B CN116071318B CN202310033332.9A CN202310033332A CN116071318B CN 116071318 B CN116071318 B CN 116071318B CN 202310033332 A CN202310033332 A CN 202310033332A CN 116071318 B CN116071318 B CN 116071318B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- screening
- image block
- patch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012216 screening Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 description 12
- 230000002055 immunohistochemical effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 239000003550 marker Substances 0.000 description 7
- 230000007170 pathology Effects 0.000 description 7
- 102000014160 PTEN Phosphohydrolase Human genes 0.000 description 6
- 108010011536 PTEN Phosphohydrolase Proteins 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000003325 follicular Effects 0.000 description 3
- 230000002611 ovarian Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 206010018691 Granuloma Diseases 0.000 description 1
- 206010073260 Ovarian granulosa cell tumour Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 208000029749 ovarian granulosa cell tumor Diseases 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种图像筛选方法及系统。该图像筛选方法，包括以下步骤：获取原始图像样本；构建图像筛选网络；在图像筛选网络中将原始图像样本均匀划分为图像块；基于所述图像块对图像筛选网络进行训练，训练时根据典型特征区域选择策略，筛选出含有典型特征的图像块；将待筛选图像于训练完成的图像筛选网络中进行典型特征筛选。该图像筛选方法简单，能准确、快速的筛选出了图像中的典型特征，完成图像的筛选。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种图像筛选方法及系统。
背景技术
近年来快速发展的深度卷积网络能够从图像中自动学习并获得优良的特征表达，提升分析性能，因此也比较广泛的应用于了医学领域，例如对病灶区域的提取、对血管的分割等等。
在利用深度卷积网络时，基本都是以图像为样本，因此，在利用深度卷积网络进行特征提取或识别时，都先需要对图像进行筛选。然而目前的图像筛选的效果总是不尽人意，从而局限了图像的特征提取或识别。
深度卷积网络能自动从图像数据中学习获得优良的特征表达，有效提升各种图像智能分析任务的性能，推动计算机视觉技术取得了巨大成功。同时，随着显微摄影和全切片扫描技术的发展，病理切片能以数字图像的形式保存下来，使得计算机视觉技术可以应用于病理智能分析领域。近年来，基于深度学习技术的组织病理辅助诊断方法不断涌现，用于解决临床病理诊断中耗时费力的问题与疏漏的隐患，改善病理诊断的效率和质量，以缓解病理诊断资源不足的问题。病理辅助诊断方法甚至在部分任务中的准确率已经达到了人类病理学家水平。但由于医学图像内在的特殊性、复杂性，尤其考虑到组织病理全切片图像(whole slide images,WSIs)普遍存在的尺寸巨大问题(其尺寸为几亿甚至几十亿像素)，相关智能分析任务和应用场景对深度学习方法提出了新要求。具体来说，基于深度学习的主流计算机视觉模型对于日常应用中的分类、分割等任务都可以取得良好效果，但组织病理全切片图像尺寸巨大，通常在亿级甚至十亿级别像素左右，无法直接应用这些模型进行分析。如果直接使用主流卷积神经网络对其分析，需要的计算量和内存空间会超出现阶段主流GPU硬件的能力，在实践中缺乏可行。如果把全切片图像直接降采样到可以使用神经网络分析，那么微小的细胞形态与组织结构细节就会丢失。此外，在大量医学图像中精确的手动标注各种特定类型的图像区域的工作量巨大，在实践中缺乏可行性，特别是当多种不同类型的图像区域在同一幅尺寸巨大的医学图像中共存时。
发明内容
为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种图像筛选方法及系统。
为了实现本发明的上述目的，本发明提供了一种图像筛选方法，其特征在于，包括以下步骤：
获取原始图像样本；
构建图像筛选网络；
在图像筛选网络中将原始图像样本均匀划分为图像块；
基于所述图像块对图像筛选网络进行训练，训练时根据典型特征区域选择策略，筛选出含有典型特征的图像块；
将待筛选图像于训练完成的图像筛选网络中进行典型特征筛选。
该图像筛选方法简单，能准确、快速的筛选出了图像中的典型特征，完成图像的筛选。
该图像筛选方法的优选方案，所述典型特征区域选择策略为：判断每个图像块的图像块类别，并统计每个图像块类别的图像块数量，以图像块数量最多的前CP种图像类别作为优势类别；针对优势类别，按照各图像块类别对应图像块数量的比例，确定输出的典型特征图像块。
进一步的，判断每个图像块的图像块类别时，使用轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN对每个图像块进行图像块类别判断；并按以下公式对图像块进行筛，并统计每个图像块类别的图像块数量；
其中，CLCN(patchi)、CMCN(patchi)、CHCN(patchi)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patchi判断的图像类别；PLCN(patchi)、PMCN(patchi)、PHCN(patchi)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patchi判断图像类型所对应的置信度。
这里通过轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN来兼顾图像块中的低阶特征、中阶特征、高阶特征，增强了网络的特征学习能力，提升图像块类型判断的准确性。
进一步的，图像筛选网络的输出为其中，pathology代表该类图像、/>为图像筛选网络的可训练参数；TOP-Nc表示根据优势类别图像块，确定所输出的典型特征图像块数量；
代表图像筛选网络输出的符合筛选策略的典型特征图像块的集合；
网络MMDPS(·)的参数集的训练过程为以下最小化问题：
其中，βPS-1*WCELCN+βPS-2*WCEMCN+βPS-3*WCEHCN+δPS为图像筛选网络的损失函数LOSS1，WCELCN为轻量级判别网络LCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCEMCN为中量级判别网络MCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCEHCN为重量级判别网络HCN针对图像块类型的预测值与图像块实际类型的交叉熵，βPS-1、βPS-2、βPS-3分别是用于调节交叉熵WCELCN、WCEMCN、WCEHCN的权重系数，当图像筛选网络自身对图像块patchi的类型判别正确时，幂指数μ取值为1，若判别错误则幂指数μ取值为2；δPS是小于1的正数。
该优选方案中，图像筛选网络的损失函数体现了针对发生了判别错误的图像块，其对损失函数的贡献则增加，即确保对于难样本，施加更大的训练权重。
该图像筛选方法的另一优选方案，将原始图像样本按即定的类别分为n个类型，n为正整数，再将原始图像样本均匀划分为图像块。当原始图像样本存在多种类别时，该优选方案可提高筛选的准确性。
进一步的，所述典型特征区域选择策略为：判断每个图像块中是否含有目标物，并对含目标物的图像块进行目标物提取，统计图像块中目标物的比例，并筛选出典型目标物区域，得到典型特征图像块。
进一步的，判断每个图像块中是否含有目标物时，根据公式进行判断，其中，PDM指阳性判别模块，PDM(patchi)＝POSITIVE表示针对第i个图像块的判别类型为有目标物，记为阳性POSITIVE，该公式表示图像块i中含有目标物，且该图像块判别的置信度Conf(patchi)大于阈值Tpositive。
该优选方案通过“定性分析+阈值定量判断”相结合的方式，减少了图像块中少量疑似阳性细胞区域的干扰，同时排除掉了低置信度疑似阳性区域的累计叠加。
进一步的，对含目标物的图像块进行目标物提取时，根据公式进行提取，其中Mask(·)表征每个类别的语义预测表，对其添加一个线性变换Sigmoid(·)+Softmax激活以输出得到类别概率预测，PEM(patchi)指阳性判别模块PDM针对第i个图形块的判别输出结果。
该优选方案通过引进语义分割的掩模Mask，能够保存图像块中阳性细胞区域的有效特征，并便于提取。
进一步的，统计图像块中目标物的比例，并筛选出典型目标物区域时，根据公式进行统计筛选，其中，/>则代表取表达式(·)的前NUM个最大值所对应的图像块，R1(patchi)、R2(patchi)、...、Rn(patchi)分别代表第1至第n种类别原始图像中第i个图像块patchi中的目标物比例，NUMH1、NUMH2、NUMH3分别代表从第1至第n种类别原始图像中筛选出的典型特征图像块的数量。
该优选方案能够确保在所有场景下，所有类别的原始图像均有典型的图像块区域输出；且该优选方案便于根据具体的应用场景以及各类别原始图像的重要程度，快速实现及优化不同类别原始图像的筛选策略，并根据该策略获取不同类别原始图像中的典型图像块。
该优选方案特别适用于对免疫组化图像筛选，可针对免疫组化图像完成典型阳性区域的筛选。当需处理的免疫组化图像包括有多种类别时，也可以准确的筛选出典型阳性区域。
本发明还提出了一种图像筛选系统，包括图像接收模块、处理模块和存储模块，所述图像接收模块接收用于训练或待筛选的图像，并将接收到的图像发送至处理模块，所述处理模块与存储模块通信连接，所述存储模块用于存放至少一个可执行指令，所述可执行指令使所述处理模块根据其接收到的图像执行如上述的图像筛选方法对应的操作。该图像筛选系统具备上述图像筛选方法的所有优点。
本发明的有益效果：
该发明提出的一种图像筛选方法及系统，首先建立了基于大尺寸以及超大尺寸图像模式的计算机自动筛选系统框架，将大规模及超大规模图像分析转化为多个候选区域的小规模图像块分析。因此，大规模及超大规模图像模式的分析可以通过主流的深度学习模型来完成；该系统具有直接处理整幅图像的能力，包括图像尺寸为几亿甚至几十亿像素的大规模及超大规模的医学图像。可将图像尺寸为几亿甚至几十亿像素的大规模及超大规模的医学图像直接作为输入，完成典型图像区域的筛选；在模型训练阶段，可根据特定的典型图像区域的筛选要求，只需要对图像块中的少量典型图像区域进行简单标记，不需要对整幅图像中的所有典型图像区域类型进行精确标注。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是实施例一中的图像筛选网络的结构示意图；
图2是实施例二中的图像筛选网络的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
实施例一：
如图1所示，本发明提供了一种图像筛选方法的实施例。本实施例中，采用卵巢粒层细胞瘤的组织病理全切片图像为样本进行实施，完成5种图像类型：包括滤泡状、岛状、梁索状、弥散状、Call-Exner小体的检测及其典型特征区域筛选。
该方法具体包括以下步骤：
获取原始图像样本。
构建图像筛选网络，本实施例优选但不限于采用MMD网络。
在图像筛选网络中将原始图像样本均匀划分为长度为LenP、宽度为WidP的图像块。
基于所述图像块对图像筛选网络进行训练，训练时根据典型特征区域选择策略，筛选出含有典型特征的图像块。
本实施例中，典型特征区域选择策略为：判断每个图像块的图像块类别，即判断每个图像块是否属于滤泡状、岛状、梁索状、弥散状、Call-Exner小体五种图像块类别之一或任意组合，并统计每个图像块类别的图像块数量，以图像块数量最多的前CP种图像类别作为优势类别；针对优势类别，按照各图像块类别对应图像块数量的比例，确定输出的典型特征图像块。
在判断每个图像块的图像块类别时，使用轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN对每个图像块进行图像块类别判断，以通过兼顾图像块中的低阶特征、中阶特征、高阶特征来增强网络的特征学习能力，提升图像块类型判断的准确性；本实施例中按以下公式对图像块进行筛：
其中，CLCN(patchi)、CMCN(patchi)、CHCN(patchi)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patchi判断的图像类别；PLCN(patchi)、PMCN(patchi)、PHCN(patchi)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patchi判断图像类型所对应的置信度。这里所体现的判别规则为轻量级分类网络LCN、中量级分类网络MCN、中量级分类网络HCN针对第i个图像块patchi判断的类型一致，同时三个分类网络对判别结果的置信度均大于阈值TP1，且置信度之和大于阈值TP2。置信度就是每个分类网络(此处包括轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN)输出的类别概率(softmax)，这里使用现有方法得到即可
统计每个图像块类别的图像块数量，并按公式筛选数量最多的前CP种图像类型作为优势类别。NUMi'代表第i'种类型的图像块数量，本实施例中CP优选但不限于为5，因此公式/>即为c的取值为1～5的正整数，分别对应滤泡状、岛状、梁索状、弥散状、Call-Exner小体类型图像。
根据优势类别图像块的数量，确定输出的典型特征图像块数量：c∈{1,2...,CP}，表示针对数量第c多的优势图像类别，输出LCN、MCN、HCN对应置信度之和最大的TOP-Nc个图像块，NUMP表示组织病理图像筛选网络需要输出的图像块的数量,TOP-Nc表示根据优势类别图像块，确定所输出的典型特征图像块数量。
对图像筛选网络训练时，图像筛选网络的输出为其中，MMDPS(·)代表组织病理图像筛选网络，pathology代表该病例对应的组织病理图像、/>为组织病理图像筛选网络的可训练参数。
代表组织病理图像筛选网络输出的符合筛选策略的典型组织病理特征图像块的集合。
网络MMDPS(·)的参数集的训练过程为以下最小化问题：
其中，图像筛选网络的损失函数为LOSS1＝βPS-1*WCELCN+βPS-2*WCEMCN+βPS-3*WCEHCN+δPS，WCELCN为轻量级判别网络LCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCEMCN为中量级判别网络MCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCEHCN为重量级判别网络HCN针对图像块类型的预测值与图像块实际类型的交叉熵，βPS-1、βPS-2、βPS-3分别是用于调节交叉熵WCELCN、WCEMCN、WCEHCN的权重系数，根据实际场景调节其大小，其受两个因素影响：(1)LCN、MCN、HCN整体对图像块patchi的类型判别正确的次数correct(patchi)；(2)判别网络自身对图像块patchi的类型判别是否正确，当图像筛选网络自身对图像块patchi的类型判别正确时，幂指数μ取值为1，若判别错误则幂指数μ取值为2；δPS是小于1的正数，以确保损失函数不为零，避免出现梯度消失的情况。图像筛选网络的损失函数体现了针对发生了判别错误的图像块，其对损失函数的贡献则增加。
将待筛选图像于训练完成的图像筛选网络中进行典型特征筛选。
该实施例特别适用于对典型组织病理图像的筛选。
实施例二：
如图2所示，本实施例还提出了另一种图像筛选方法的实施例，该实施例以卵巢粒层细胞瘤的免疫组化标记切片数字扫描图像进行实施。该方法包括以下步骤：
获取原始图像样本。
构建图像筛选网络。
在训练开始前需将原始图像样本按即定的类别分为n个类别，本实施例中需要处理的免疫组化标记包括P53、PTEN、Ki-67三种类别，即将卵巢粒层细胞瘤的免疫组化标记切片数字扫描图像分为了P53、PTEN、Ki-67三种类别，这三类免疫表型均以细胞核出现明显棕黄色颗粒为阳性，因此，明显棕黄色颗粒为本实施例需要筛选的目标物。
在图像筛选网络中，将原始图像样本，即本实施例中的卵巢粒层细胞瘤的免疫组化标记切片数字扫描图像，均匀划分为长度为LenP、宽度为WidP的图像块。
基于所述图像块对图像筛选网络进行训练，训练时根据典型特征区域选择策略，筛选出含有典型特征的图像块。
这里的典型特征区域选择策略为：判断每个图像块中是否含有目标物，并对含目标物的图像块进行目标物提取，统计图像块中目标物的比例，并筛选出典型目标物区域，得到典型特征图像块。
在判断每个图像块中是否含有目标物时，使用阳性判别模块PDM，按照公式进行判断，其中PDM(patchi)表示针对第i个图像块的判别类型为有目标物，记为阳性POSITIVE，该公式表示第i个图像块patchi中含有目标物，即本实施例中的为明显棕黄色颗粒的阳性细胞，且该图像块判别的置信度Conf(patchi)大于阈值Tpositive，本实施例优选但不限于为0.85。
在对含目标物的图像块进行目标物提取时，使用阳性细胞提取模块PEM，按照公式进行提取，其中，R是一个矩阵，也就是Mask(·)的具体取值，该矩阵的长、宽分别为上标LEN-H,WID-H，每一个像素的取值为1-阳性，0-阴性，Mask(·)表征每个类别的语义预测表，对其添加一个线性变换Sigmoid(·)+Softmax激活以输出得到类别概率预测；当所得类别概率大于设定的阈值时，就定性为需要提取，进行后续处理，当所得类别概率小于该阈值时，就定性为不需要提取，不进行后续处理。PEM指阳性判别模块PDM针对第i个图像块的判别输出结果，是一个概率值，由阳性判别模块PDM中的softmax函数得到。阳性细胞提取后即可得到图像块中阳性细胞的比例，图像块中阳性细胞的比例＝阳性细胞所占像素数量/图像块的像素数量。
在统计图像块中目标物的比例，并筛选出典型目标物区域时，确定典型特征图像块时，使用典型区域筛选模块，根据公式进行统计筛选，其中，/>则代表取表达式(·)的前NUM个最大值所对应的图像块，R1(patchi)、R2(patchi)、...、Rn(patchi)分别代表第1至第n种类别原始图像中第i个图像块patchi中的目标物比例，NUMH1、NUMH2、...、NUMHn分别代表从第1至第n种类别原始图像(免疫组化标记图像)中筛选出的典型目标物区域(典型阳性细胞区域)的数量，即典型特征图像块的数量。由于本实施例中选用了P53、PTEN、Ki-67三个类别的免疫组化标记图像，因此，根据公式/>进行统计筛选，其中，RP53(patchi)、RPTEN(patchi)、RKi67(patchi)分别代表P53、PTEN、Ki-67种免疫组化标记图像中第i个图像块patchi中的阳性细胞比例，NUMH1、NUMH2、NUMH3分别代表从P53、PTEN、Ki-67三个类别的免疫组化标记图像中筛选出的典型目标区域的数量。
将待筛选图像于训练完成的图像筛选网络中进行典型特征筛选。
实施例三：
本申请还提供了一种图像筛选系统的实施例，该系统包括图像接收模块、处理模块和存储模块，所述图像接收模块接收用于训练或待筛选的图像，并将接收到的图像发送至处理模块，所述处理模块与存储模块通信连接，所述存储模块用于存放至少一个可执行指令，所述可执行指令使所述处理模块根据其接收到的图像执行如上述的图像筛选方法对应的操作。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (2)
1.一种图像筛选方法，其特征在于，包括以下步骤：
获取原始图像样本；
构建图像筛选网络；
在图像筛选网络中将原始图像样本均匀划分为图像块，或将原始图像样本按即定的类型分为n个类别，n为正整数，再将原始图像样本均匀划分为图像块；
图像筛选网络的输出为其中，pathology代表图像类别，/>为图像筛选网络的可训练参数；TOP-Nc表示根据优势类别图像块，确定所输出的典型特征图像块数量；
代表图像筛选网络输出的符合筛选策略的典型特征图像块的集合；
网络MMDPS(·)的参数集的训练过程为以下最小化问题：
where:
βPS-k＝(4-correct(patchk))μ,k∈{1,2,3}，
其中，βPS-1*WCELCN+βPS-2*WCEMCN+βPS-3*WCEHCN+δPS为图像筛选网络的损失函数LOSS1，WCELCN为轻量级判别网络LCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCEMCN为中量级判别网络MCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCEHCN为重量级判别网络HCN针对图像块类型的预测值与图像块实际类型的交叉熵，βPS-1、βPS-2、βPS-3分别是用于调节交叉熵WCELCN、WCEMCN、WCEHCN的权重系数，当图像筛选网络自身对图像块patchi的类型判别正确时，幂指数μ取值为1，若判别错误则幂指数μ取值为2；δPS是小于1的正数，correct(patchk)为轻量级判别网络LCN、中量级判别网络MCN、重量级判别网络HCN整体对图像块patchk的类型判别正确的次数；
基于所述图像块对图像筛选网络进行训练，训练时根据典型特征区域选择策略，筛选出含有典型特征的图像块；
所述典型特征区域选择策略为：判断每个图像块的图像块类别，并统计每个图像块类别的图像块数量，以图像块数量最多的前CP种图像类别作为优势类别；针对优势类别，按照各图像块类别对应图像块数量的比例，确定输出的典型特征图像块；
其中，判断每个图像块的图像块类别时，使用轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN对每个图像块进行图像块类别判断；并按以下公式对图像块进行筛，并统计每个图像块类别的图像块数量；
其中，CLCN(patchi)、CMCN(patchi)、CHCN(patchi)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patchi判断的图像类别；PLCN(patchi)、PMCN(patchi)、PHCN(patchi)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patchi判断图像类型所对应的置信度，TP1和TP2均为阈值；
或者，所述典型特征区域选择策略为：判断每个图像块中是否含有目标物，并对含目标物的图像块进行目标物提取，统计图像块中目标物的比例，并筛选出典型目标物区域，得到典型特征图像块；
判断每个图像块中是否含有目标物时，根据公式进行判断，其中，PDM指阳性判别模块，PDM(patchi)＝POSITIVE表示针对第i个图像块的判别类型为有目标物，记为阳性POSITIVE，该公式表示图像块i中含有目标物，且该图像块判别的置信度Conf(patchi)大于阈值Tpositive；
对含目标物的图像块进行目标物提取时，根据公式进行提取，其中Mask(·)表征每个类别的语义预测表，对其添加一个线性变换Sigmoid(·)+Softmax激活以输出得到类别概率预测，PEM(patchi)指阳性判别模块PDM针对第i个图形块的判别输出结果，R为一个矩阵，LENH为R的长，WIDH为R的宽；
统计图像块中目标物的比例，并筛选出典型目标物区域时，根据公式进行统计筛选，其中，/>则代表取表达式(·)的前NUM个最大值所对应的图像块，R1(patchi)、R2(patchi)、...、Rn(patchi)分别代表第1至第n种类别原始图像中第i个图像块patchi中的目标物比例，NUMH1、NUMH2、NUMH3分别代表从第1至第n种类别原始图像中筛选出的典型特征图像块的数量；
将待筛选图像于训练完成的图像筛选网络中进行典型特征筛选。
2.一种图像筛选系统，其特征在于，包括图像接收模块、处理模块和存储模块，所述图像接收模块接收用于训练或待筛选的图像，并将接收到的图像发送至处理模块，所述处理模块与存储模块通信连接，所述存储模块用于存放至少一个可执行指令，所述可执行指令使所述处理模块根据其接收到的图像执行如权利要求1所述的图像筛选方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310033332.9A CN116071318B (zh) | 2023-01-10 | 2023-01-10 | 一种图像筛选方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310033332.9A CN116071318B (zh) | 2023-01-10 | 2023-01-10 | 一种图像筛选方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116071318A CN116071318A (zh) | 2023-05-05 |
| CN116071318B true CN116071318B (zh) | 2024-01-16 |
Family
ID=86183229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310033332.9A Active CN116071318B (zh) | 2023-01-10 | 2023-01-10 | 一种图像筛选方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116071318B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104003A1 (en) * | 2017-11-21 | 2019-05-31 | Beth Israel Deaconess Medical Center, Inc | Systems and methods for automatically interpreting images of microbiological samples |
| CN112101451A (zh) * | 2020-09-14 | 2020-12-18 | 北京联合大学 | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 |
| CN113096080A (zh) * | 2021-03-30 | 2021-07-09 | 四川大学华西第二医院 | 图像分析方法及系统 |
| CN114820481A (zh) * | 2022-04-13 | 2022-07-29 | 合肥工业大学 | 基于转换器的肺癌组织病理全切片egfr状态预测方法 |
| CN115457311A (zh) * | 2022-08-23 | 2022-12-09 | 宁波大学 | 一种基于自表达迁移学习的高光谱遥感影像波段选择方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11748877B2 (en) * | 2017-05-11 | 2023-09-05 | The Research Foundation For The State University Of New York | System and method associated with predicting segmentation quality of objects in analysis of copious image data |
-
2023
- 2023-01-10 CN CN202310033332.9A patent/CN116071318B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104003A1 (en) * | 2017-11-21 | 2019-05-31 | Beth Israel Deaconess Medical Center, Inc | Systems and methods for automatically interpreting images of microbiological samples |
| CN112101451A (zh) * | 2020-09-14 | 2020-12-18 | 北京联合大学 | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 |
| CN113096080A (zh) * | 2021-03-30 | 2021-07-09 | 四川大学华西第二医院 | 图像分析方法及系统 |
| CN114820481A (zh) * | 2022-04-13 | 2022-07-29 | 合肥工业大学 | 基于转换器的肺癌组织病理全切片egfr状态预测方法 |
| CN115457311A (zh) * | 2022-08-23 | 2022-12-09 | 宁波大学 | 一种基于自表达迁移学习的高光谱遥感影像波段选择方法 |
Non-Patent Citations (5)
| Title |
|---|
| Artificial intelligence as a tool for diagnosis in digital pathology whole slide images: A systematic review;João Pedro Mazuco Rodriguez等;《Journal of Pathology Informatics》;第13卷;1-10 * |
| Classification of histopathological whole slide images based on multiple weighted semi-supervised domain adaptation;Pin Wang等;《Biomedical Signal Processing and Control》;第73卷;1-9 * |
| Knowledge-Based Representation Learning for Nucleus Instance Classification From Histopathological Images;Wenhua Zhang等;《IEEE Transactions on Medical Imaging》;第41卷(第12期);3939-3951 * |
| 基于均匀区域分割的图像检索研究;肖潇等;《计算机科学》;第39卷(第6期);255-292 * |
| 基于流行学习的淋巴瘤组织病理图像分类研究;张建波;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第06期);I138-449 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116071318A (zh) | 2023-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102506B (zh) | 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法 | |
| US8139831B2 (en) | System and method for unsupervised detection and gleason grading of prostate cancer whole mounts using NIR fluorscence | |
| US20080031521A1 (en) | Automated segmentation of image structures | |
| CN109102498B (zh) | 一种宫颈涂片图像中簇型细胞核分割的方法 | |
| CN109117703B (zh) | 一种基于细粒度识别的混杂细胞种类鉴定方法 | |
| CN111931751B (zh) | 深度学习训练方法、目标物识别方法、系统和存储介质 | |
| CN115601602A (zh) | 癌症组织病理图像分类方法、系统、介质、设备及终端 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| US11790673B2 (en) | Method for detection of cells in a cytological sample having at least one anomaly | |
| CN115760858A (zh) | 基于深度学习的肾脏病理切片细胞识别方法及系统 | |
| CN115471701A (zh) | 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法 | |
| CN112508860B (zh) | 一种免疫组化图像核阳性的人工智能判读方法及系统 | |
| CN117252893B (zh) | 一种乳腺癌病理图像的分割处理方法 | |
| CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 | |
| CN113269764A (zh) | 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法 | |
| CN116071318B (zh) | 一种图像筛选方法及系统 | |
| CN114648509B (zh) | 一种基于多分类任务的甲状腺癌检出系统 | |
| CN115131628A (zh) | 一种基于分型辅助信息的乳腺图像分类方法及设备 | |
| CN115496716A (zh) | 基于深度学习的单双微核细胞图像检测方法及相关设备 | |
| Li et al. | A recognition method of urine cast based on deep learning | |
| CN112241954B (zh) | 基于肿块差异化分类的全视野自适应分割网络配置方法 | |
| CN116030017B (zh) | 基于多模态卷积神经网络的病理预后分析方法及系统 | |
| CN113469967B (zh) | 一种尿沉渣中透明管型、病理管型的识别方法 | |
| CN117496276B (zh) | 肺癌细胞形态学分析、识别方法及计算机可读存储介质 | |
| CN114897922B (zh) | 一种基于深度强化学习的组织病理图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |