CN115063360A - 基于虚拟染色的智能判读方法和系统 - Google Patents
基于虚拟染色的智能判读方法和系统 Download PDFInfo
- Publication number
- CN115063360A CN115063360A CN202210646709.3A CN202210646709A CN115063360A CN 115063360 A CN115063360 A CN 115063360A CN 202210646709 A CN202210646709 A CN 202210646709A CN 115063360 A CN115063360 A CN 115063360A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- field image
- virtual
- dyeing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004458 analytical method Methods 0.000 claims abstract description 55
- 238000005520 cutting process Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000010586 diagram Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000004043 dyeing Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 57
- 238000010186 staining Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 13
- 101100314454 Caenorhabditis elegans tra-1 gene Proteins 0.000 claims description 8
- 238000013145 classification model Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 206010006187 Breast cancer Diseases 0.000 claims description 6
- 208000026310 Breast neoplasm Diseases 0.000 claims description 6
- 238000011049 filling Methods 0.000 claims description 6
- 206010028980 Neoplasm Diseases 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 5
- 230000002055 immunohistochemical effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000009338 overlapping cropping Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 description 9
- 238000010827 pathological analysis Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001575 pathological effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003364 immunohistochemistry Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本申请涉及一种基于虚拟染色的智能判读方法和系统；所述方法包括：获取暗场图像，确定所述暗场图像上的感兴趣区域；将感兴趣区域按照预设的裁剪尺寸进行无重叠裁剪；通过虚拟染色模型将裁剪后的图像进行虚拟染色，生成明场图像；确定所需的分析指标；对明场图像进行特征提取，获得明场图像的特征图；将特征图送入与所述分析指标对应的分析模块进行处理和判读。本申请的方案能够实现对暗场未染色切片的智能虚拟染色以及后续的判读，可大幅降低制片时间以及染色过程造成的不确定因素，并提供一种客观的、可重复性高、准确率高的判读结论。
Description
技术领域
本申请涉及人工智能技术领域，具体涉及一种基于虚拟染色的智能判读方法和系统。
背景技术
在日常的病理诊断中，病理医生需要通过穿刺或手术，从病患的病变区域获取组织，然后通过病理专业的技术人员对组织进行固定、取材、脱水、透明、浸蜡、包埋、切片、捞片、拷片、染色、封片才能完成切片的制作。制作完后提交给病理医生，由专业的病理医生对上述制作完成的切片在显微镜下进行诊断，并最终出具诊断结论。
一张合格的组织病理切片，从病患病灶部位取下，到最终提交给病理医生诊断，中间涉及的过程耗时费力。并且由于技术人员的经验以及制片水平的差异，即使是同样一个组织，经过不同的技术人员、不同的染色剂处理之后，最终呈现的切片效果也会有较大的差异。
相关技术中，切片的染色及后续诊断都依赖专业技术人员。差异化的染色切片，在一定程度上影响病理医生的判读结果。另一方面，病理医生的判读也将受到个人情绪、经验等主观和客观因素的影响，影响最终的诊断结论。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种基于虚拟染色的智能判读方法和系统。
根据本申请实施例的第一方面，提供一种基于虚拟染色的智能判读方法，包括：
获取暗场图像，确定所述暗场图像上的感兴趣区域；
将感兴趣区域按照预设的裁剪尺寸进行无重叠裁剪；
通过虚拟染色模型将裁剪后的图像进行虚拟染色，生成明场图像；
确定所需的分析指标；
对明场图像进行特征提取，获得明场图像的特征图；
将特征图送入与所述分析指标对应的分析模块进行处理和判读。
进一步地，所述无重叠裁剪的步骤包括：
按照预设的裁剪尺寸，在预设的最大倍率下进行无重叠裁剪；
若边界处产生小于裁剪尺寸的部分，则从边界处向外填充至满足裁剪尺寸，填充的像素点置为0。
进一步地，所述通过虚拟染色模型将裁剪后的图像进行虚拟染色，包括：
将裁剪后的暗场图像，按照行展开的顺序依次输入到虚拟染色模型中；
虚拟染色模型经过卷积、池化、非线性激活操作后输出与裁剪尺寸相同的虚拟染色图像；
将多张虚拟染色图像按照裁剪顺序进行拼接，生成明场图像。
进一步地，将多张虚拟染色图像按照裁剪顺序进行拼接之后，还包括：
将裁剪时填充并置为0的像素点删除。
进一步地，所述虚拟染色模型为预先训练的卷积神经网络模型；该模型的训练步骤包括：
搭建卷积神经网络模型；
获取训练数据；所述训练数据包括暗场图像及对应的明场图像；
将暗场图像和明场图像进行一次配准；
使用一次配准后的训练数据对卷积神经网络模型进行训练；
将暗场图像和明场图像进行二次配准；其中，所述二次配准的精度高于所述一次配准；
使用二次配准后的训练数据再次对卷积神经网络模型进行训练，获得虚拟染色模型。
进一步地，所述对明场图像进行特征提取，包括：
确定明场图像中的感兴趣区域；
将感兴趣区域按照预设的裁剪尺寸进行无重叠裁剪；
通过特征提取模型对裁剪后的图像进行特征提取，获得明场图像的特征图。
进一步地，所述分析模块为预先训练的神经网络模型；
在分析模块的训练过程中，将真实染色的明场图像和虚拟染色的明场图像混合作为训练数据。
进一步地，所述分析模块包括如下模型中的至少一个：图像分类模型、语义分割模型、目标检测模型；
当分析指标为乳腺癌免疫组化指标Her-2时，将特征图送入图像分类模型进行处理；
当分析指标为细胞检测时，将特征图送入语义分割模型进行处理；
当分析指标为肿瘤区域时，将特征图送入目标检测模型进行处理。
进一步地，将特征图送入与所述分析指标对应的分析模块进行处理和判读，包括：
将特征图送入分析模块进行处理，获得输出结果；
根据预设的判读规则，将所述分析模块的输出结果进行汇总和判读。
根据本申请实施例的第二方面，提供一种基于虚拟染色的智能判读系统，包括：
获取模块，用于获取暗场图像，确定所述暗场图像上的感兴趣区域；
裁剪模块，用于将感兴趣区域按照预设的裁剪尺寸进行无重叠裁剪；
虚拟染色模型，用于将裁剪后的图像进行虚拟染色，生成明场图像；
确定模块，用于确定所需的分析指标；
特征提取模型，用于对明场图像进行特征提取，获得明场图像的特征图；
分析模块，用于对特征图进行处理和判读。
本申请的实施例提供的技术方案具备以下有益效果：
本发明提出一种由暗场未染色切片图像，通过人工智能模型完成切片的虚拟染色，在完成的虚拟染色图像上，根据切片的类型以及病理阅片判读指南的要求，完成对该切片的智能诊断；该方案能够实现对暗场未染色切片的智能虚拟染色以及后续的判读，可大幅降低制片时间以及染色过程造成的不确定因素，并提供一种客观的、可重复性高、准确率高的判读结论。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种基于虚拟染色的智能判读方法的流程图。
图2是根据一示例性实施例示出的系统总体开发流程示意图。
图3是根据一示例性实施例示出的系统使用流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和系统的例子。
为了使本申请的技术方案更容易理解，首先简单介绍本领域的研究现状。
相关技术中，切片的制作、染色受技术人员的经验、设备的维护、染料等各方面因素的影响，导致制作完成的切片呈现出的实际状态有一定的差异，在一定程度上影响病理医生的判读。此外，在病理医生的诊断阶段，诊断的结果受病理医生的日常习惯、专业技能、经验等主观和客观因素的影响的，导致在病理医生自身和之间可重复性较低，影响患者的正确治疗。
为解决临床病理存在的上述问题，本发明提出一种制片周期短、染色效果一致、制片质量高、受干扰因素小的虚拟染色成像技术，以及切片判读准确率、一致性高的智能判读方案。基于虚拟染色的智能判读方法，从源头出发，直接将未染色的组织病理切片，通过虚拟染色技术，自动将未染色的组织切片染色，使其达到与真实染色接近的效果。在此技术之上，再通过人工智能深度学习技术，对虚拟染色的组织病理切片进行自动的判读，以达到准确、客观、可重复性高的判读结论。
图1是根据一示例性实施例示出的一种基于虚拟染色的智能判读方法的流程图。该方法可以包括以下步骤：
步骤S1、获取暗场图像，确定所述暗场图像上的感兴趣区域；
步骤S2、将感兴趣区域按照预设的裁剪尺寸进行无重叠裁剪；
步骤S3、通过虚拟染色模型将裁剪后的图像进行虚拟染色，生成明场图像；
步骤S4、确定所需的分析指标；
步骤S5、对明场图像进行特征提取，获得明场图像的特征图；
步骤S6、将特征图送入与所述分析指标对应的分析模块进行处理和判读。
本发明提出一种由暗场未染色切片图像，通过人工智能模型完成切片的虚拟染色，在完成的虚拟染色图像上，根据切片的类型以及病理阅片判读指南的要求，完成对该切片的智能诊断；该方案能够实现对暗场未染色切片的智能虚拟染色以及后续的判读，可大幅降低制片时间以及染色过程造成的不确定因素，并提供一种客观的、可重复性高、准确率高的判读结论。
应当理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本发明提出了一种由暗场未染色切片图像，通过图像配准后输入到图像生成对抗模型中，对抗模型中包括标注生成大量粗配准(对齐)的未染色和对应染色的图像对，利用预训练的对抗生成网络，完成未染色到虚拟染色模型的训练。
在完成虚拟染色模型的训练后，固定模型的生成器，在生成器后接一个针对下游特定任务的分类、语义分割、目标检测等模型，完成针对此类型切片的病理诊断，例如乳腺癌免疫组化Her-2、ER、PR、Ki67等指标。
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的实施例作进一步详细描述。
如图2所示，在该系统的开发阶段，采用任意方式获取未染色处理的生物标本或其他样本的对于光线吸收少，对比度差的难以观测的暗场图像(如DAPI，CY3图像)；同理，在获取到该组织样本的未染色图像后，采用标准的制片流程，制作特定染色的切片并完成明场图像(数字病理扫描等技术获取的图像)的扫描。明场染色图像和暗场未染色可以是同一张切片，也可以是组织的连续切片。
1、图像配准中包括图像粗配准和图像精配准，利用两次配准实现暗场图像和明场图像的对齐，对齐之后再利用图像精配准对模型参数进行微调，提升模型的精度。
在一些实施例中，步骤S3中所使用的虚拟染色模型为预先训练的卷积神经网络模型。该模型的训练步骤包括：搭建卷积神经网络模型；获取训练数据；所述训练数据包括暗场图像及对应的明场图像；将暗场图像和明场图像进行一次配准；使用一次配准后的训练数据对卷积神经网络模型进行训练；将暗场图像和明场图像进行二次配准；其中，所述二次配准的精度高于所述一次配准；使用二次配准后的训练数据再次对卷积神经网络模型进行训练，获得虚拟染色模型。
本方案对虚拟染色模型的训练过程，先使用一次配准的训练数据进行训练，一次配准的精度较低，获取训练数据所需的时间较少，能够将模型大致训练成型。然后再使用二次配准的训练数据进行训练，二次配准的精度较高，获取训练数据所需的时间较长，但是二次配准的数据能够对模型参数进行精确调整，达到最佳状态。这样将一次配准和二次配准的训练数据搭配使用，训练数据的获取难度、模型的训练难度都能够降低，并且能保证训练成功后模型的精度。
2、完成上述虚拟染色模型的训练后，将该模型判别器部分剔除，在生成器后接一个针对特定下游任务的模型，如图像分类、语义分割、目标检测或其他多任务学习的模型。即生成器负责暗场未染色图像的虚拟染色，后续模型负责特定任务。
3、对于分类任务，如乳腺癌免疫组化指标Her-2的判读，通过在暗场图像中选择ROI(Region of Interest，感兴趣区域)并切分为合适的尺寸，如256×256或512×512(长×宽)，输入进行生成器后连接的一个卷积神经网络，其包含了多个卷积核池化对输入图像进行下采样和特征提取，最后通过全局平局池化以及全连接层输出对应的分类。在训练阶段，可以将生成器生成的虚拟染色图像替换为真实染色的图像，以达到混合真实染色和虚拟染色数据进行训练、提升模型泛化能力的作用。
在图像处理领域，感兴趣区域(ROI)是从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，这个区域是图像分析所关注的重点，圈定该区域以便进行进一步处理。使用ROI圈定需要处理的区域，可以减少处理时间、增加精度。
4、对于目标检测任务，如细胞检测。训练完成的虚拟染色模型可以生成大量虚拟染色组织图像，标注人员可以选择未染色的暗场图像、虚拟染色的图像、真实染色的图像作为一组训练数据，在虚拟染色图像或真实染色的图像进行目标的标注。标注完成后混合虚拟染色和真实染色图像，在生成器模型后接入一个卷积神经网络模型，结合如Mobile-SSD的one-stage的目标检测模型。
5、对于语义分割任务，如从HE图像中进行肿瘤区域的分割。首先利用训练完成的虚拟染色生成模型，生成一定数量的HE虚拟染色图像数据，并加入配对的真实染色数据。标注虚拟染色图像和部分真实染色图像，在训练阶段将未染色的暗场图像与之对应的虚拟染色和真实染色图像进行组合，在生成器后设计一个诸如U-net或FCN(Fully ConvolutionalNetworks，全卷积网络)的分割模型实现对肿瘤区域的分割。
6、对于其他任务，如乳腺癌免疫组化Ki67、ER、PR的计数和判读，同样可以使用训练完成的生成器模型，生成未染色图像对应的虚拟染色图像以及获取到真实的染色图像，通过标注一定的训练数据，将未染色图像结合虚拟染色图像或未染色图像和真实染色图像，混合训练一个目标任务。生成器后接入的模型可以根据特定任务进行自定义。
7、针对特定任务的，接在生成器后的模型，在训练时不仅仅只训练虚拟染色生成的图像，同时也加入了真实的染色图像作为补充，使得模型的泛化能力得到进一步的提升。即虚拟染色图像以及真实染色图像均能提供一致的结论。
下面结合具体的应用场景，对本申请的方案进行拓展说明。如图3所示，在系统的实际使用阶段，采用与开发和模型训练相同的方式(如采用荧光显微镜扫描的方式)获取未染色的暗场图像。
1、扫描完成的暗场图像，由病理医生选择切片的类型，勾选对应的ROI或系统根据切片的类型自动选择。
2、系统根据病理医生的选择，首先对所选择的ROI区域进行，在最大倍率(默认40X)下进行无重叠裁剪，尺寸为512×512，边界处尺寸不满足512的填充像素点值为0。
在一些实施例中，步骤S2中无重叠裁剪的步骤包括：按照预设的裁剪尺寸，在预设的最大倍率下进行无重叠裁剪；若边界处产生小于裁剪尺寸的部分，则从边界处向外填充至满足裁剪尺寸，填充的像素点置为0。
3、将裁剪完成的未染色暗场图像，按照行展开(从左到右、从上到下)的顺序依次输入到虚拟染色生成器模型。
4、生成器模型经过卷积、池化、非线性激活等模块层后输出虚拟染色图像，图像尺寸为512×512的RGB三通道图像。
在一些实施例中，步骤S3通过虚拟染色模型将裁剪后的图像进行虚拟染色，包括：将裁剪后的暗场图像，按照行展开的顺序依次输入到虚拟染色模型中；虚拟染色模型经过卷积、池化、非线性激活操作后输出与裁剪尺寸相同的虚拟染色图像；将多张虚拟染色图像按照裁剪顺序进行拼接，生成明场图像。
5、所有完成虚拟染色的512×512的图像块按照裁剪顺序进行拼接，边界处按照第2步的填充补0的位置删除，以达到和原始未染色暗场图像能够完全对应的尺寸。
在一些实施例中，将多张虚拟染色图像按照裁剪顺序进行拼接之后，还包括：将裁剪时填充并置为0的像素点删除。
6、完成所选ROI区域的虚拟染色后，由病理医生进行最终的确认。
7、病理医生确认无误后，再度在虚拟染色生成的图像中勾选需要进行特定任务分析的ROI或由系统自动分析选择。
8、完成ROI选择后，病理医生选择特定的分析任务模块，如Her-2分类，Ki67、ER、PR等。
在一些实施例中，当分析指标为乳腺癌免疫组化指标Her-2时，将特征图送入图像分类模型进行处理；当分析指标为细胞检测时，将特征图送入语义分割模型进行处理；当分析指标为肿瘤区域时，将特征图送入目标检测模型进行处理。
9、系统根据选择的分析任务模型，自动对选择的ROI进行裁剪，裁剪尺寸和填充步骤与第2步相同。
在一些实施例中，步骤S5对明场图像进行特征提取，包括：确定明场图像中的感兴趣区域；将感兴趣区域按照预设的裁剪尺寸进行无重叠裁剪；通过特征提取模型对裁剪后的图像进行特征提取，获得明场图像的特征图。
10、裁剪完成的虚拟染色图像，输入进行对应的分析模型进行处理。
11、模型经过大量的卷积、池化，非线性激活等模块层，完成对输入图像的特征提取。
12、特征提取完成后，在模型的输出特征图上进行子任务。如选择Her-2分析模块，模型在特征图后接入全连接层，并最终输出分类结果；如选择Ki67、ER、PR，则模型在特征图后采用FCN网络的方式输出分割结果；
在一些实施例中，步骤S6中所使用的分析模块为预先训练的神经网络模型。在分析模块的训练过程中，将真实染色的明场图像和虚拟染色的明场图像混合作为训练数据。具体地，所述分析模块可以包括如下模型中的至少一个：图像分类模型、语义分割模型、目标检测模型。
13、在模型的后处理结果，系统根据病理指南的要求，自动完成模型分析结果的汇总和判读。
在一些实施例中，步骤S6将特征图送入与所述分析指标对应的分析模块进行处理和判读，包括：将特征图送入分析模块进行处理，获得输出结果；根据预设的判读规则，将所述分析模块的输出结果进行汇总和判读。
14、完成对ROI的自动分析后，系统在界面上展示分析结果，病理医生可对结果进行确认和修改，或再次选取ROI进行再次的分析计算。
15、病理医生确认或修改完成计算结果后，系统可直接导出图文报告，并由病理医生最终签发。
综上所述，本发明的关键点在于：(1)开发了一种端到端的从暗场未染色到直接输出该类型对应特定染色图像病理诊断结论的新模式。(2)虚拟染色生成图像后衔接一个针对特定任务的模型，可以有效避免虚拟染色成像与真实图像存在的实际差异给病理医生判读造成的影响。即虚拟染色图像无限接近于真实染色图像，但依然存在一定的差异，这种差异可以通过深度学习模型的训练迭代，使其能够在虚拟染色成像的数据上完成高效诊断。(3)在训练针对特定任务时，加入真实的染色数据与生成的虚拟染色数据混合训练，使得模型针对该类型的染色组织以及其对应的最终任务泛化能力进一步提升。
本发明采用上述技术方案，具备如下有益效果：(1)端到端，即输入暗场未染色组织的图像，可以直接得到该类型组织特定染色后病理诊断结果，实现了组织的无染色病理诊断。(2)多任务训练，可在一定程度上减少所需的训练数据，降低模型的训练难度，提升模型的泛化性能。大量粗配准数据预训练生成对抗模型，精配准数据微调模型，固化生成器，并加入部分真实染色数据训练特定任务模型，这样多阶段，多任务的训练，粗糙和精细标注数据相结合的模式易于模型的训练以及精度的提升。(3)这种方法的通用性，即训练系统不限定暗场未染色图像数据类型(包括但不限于DAPI、CY3等)、明场染色图像数据类型(包括但不限于HE、Her-2、ER、PR、Ki67、P63等)、下游任务类型(可以分类、语义分割、目标检测等)，具有通用性。
本申请的实施例还提供一种基于虚拟染色的智能判读系统，包括：
获取模块，用于获取暗场图像，确定所述暗场图像上的感兴趣区域；
裁剪模块，用于将感兴趣区域按照预设的裁剪尺寸进行无重叠裁剪；
虚拟染色模型，用于将裁剪后的图像进行虚拟染色，生成明场图像；
确定模块，用于确定所需的分析指标；
特征提取模型，用于对明场图像进行特征提取，获得明场图像的特征图；
分析模块，用于对特征图进行处理和判读。
关于上述实施例中的系统，其中各个模块执行操作的具体步骤已经在有关该方法的实施例中进行了详细描述，此处不再详细阐述说明。上述虚拟染色的智能判读系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于虚拟染色的智能判读方法，其特征在于，包括：
获取暗场图像，确定所述暗场图像上的感兴趣区域；
将感兴趣区域按照预设的裁剪尺寸进行无重叠裁剪；
通过虚拟染色模型将裁剪后的图像进行虚拟染色，生成明场图像；
确定所需的分析指标；
对明场图像进行特征提取，获得明场图像的特征图；
将特征图送入与所述分析指标对应的分析模块进行处理和判读。
2.根据权利要求1所述的方法，其特征在于，所述无重叠裁剪的步骤包括：
按照预设的裁剪尺寸，在预设的最大倍率下进行无重叠裁剪；
若边界处产生小于裁剪尺寸的部分，则从边界处向外填充至满足裁剪尺寸，填充的像素点置为0。
3.根据权利要求2所述的方法，其特征在于，所述通过虚拟染色模型将裁剪后的图像进行虚拟染色，包括：
将裁剪后的暗场图像，按照行展开的顺序依次输入到虚拟染色模型中；
虚拟染色模型经过卷积、池化、非线性激活操作后输出与裁剪尺寸相同的虚拟染色图像；
将多张虚拟染色图像按照裁剪顺序进行拼接，生成明场图像。
4.根据权利要求3所述的方法，其特征在于，将多张虚拟染色图像按照裁剪顺序进行拼接之后，还包括：
将裁剪时填充并置为0的像素点删除。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述虚拟染色模型为预先训练的卷积神经网络模型；该模型的训练步骤包括：
搭建卷积神经网络模型；
获取训练数据；所述训练数据包括暗场图像及对应的明场图像；
将暗场图像和明场图像进行一次配准；
使用一次配准后的训练数据对卷积神经网络模型进行训练；
将暗场图像和明场图像进行二次配准；其中，所述二次配准的精度高于所述一次配准；
使用二次配准后的训练数据再次对卷积神经网络模型进行训练，获得虚拟染色模型。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述对明场图像进行特征提取，包括：
确定明场图像中的感兴趣区域；
将感兴趣区域按照预设的裁剪尺寸进行无重叠裁剪；
通过特征提取模型对裁剪后的图像进行特征提取，获得明场图像的特征图。
7.根据权利要求1-4任一项所述的方法，其特征在于，所述分析模块为预先训练的神经网络模型；
在分析模块的训练过程中，将真实染色的明场图像和虚拟染色的明场图像混合作为训练数据。
8.根据权利要求7所述的方法，其特征在于，所述分析模块包括如下模型中的至少一个：图像分类模型、语义分割模型、目标检测模型；
当分析指标为乳腺癌免疫组化指标Her-2时，将特征图送入图像分类模型进行处理；
当分析指标为细胞检测时，将特征图送入语义分割模型进行处理；
当分析指标为肿瘤区域时，将特征图送入目标检测模型进行处理。
9.根据权利要求1-4任一项所述的方法，其特征在于，将特征图送入与所述分析指标对应的分析模块进行处理和判读，包括：
将特征图送入分析模块进行处理，获得输出结果；
根据预设的判读规则，将所述分析模块的输出结果进行汇总和判读。
10.一种基于虚拟染色的智能判读系统，其特征在于，包括：
获取模块，用于获取暗场图像，确定所述暗场图像上的感兴趣区域；
裁剪模块，用于将感兴趣区域按照预设的裁剪尺寸进行无重叠裁剪；
虚拟染色模型，用于将裁剪后的图像进行虚拟染色，生成明场图像；
确定模块，用于确定所需的分析指标；
特征提取模型，用于对明场图像进行特征提取，获得明场图像的特征图；
分析模块，用于对特征图进行处理和判读。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210646709.3A CN115063360A (zh) | 2022-06-09 | 2022-06-09 | 基于虚拟染色的智能判读方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210646709.3A CN115063360A (zh) | 2022-06-09 | 2022-06-09 | 基于虚拟染色的智能判读方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115063360A true CN115063360A (zh) | 2022-09-16 |
Family
ID=83200453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210646709.3A Pending CN115063360A (zh) | 2022-06-09 | 2022-06-09 | 基于虚拟染色的智能判读方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115063360A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012838A (zh) * | 2022-12-30 | 2023-04-25 | 创芯国际生物科技(广州)有限公司 | 基于人工智能的类器官活性识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190205760A1 (en) * | 2017-12-31 | 2019-07-04 | Definiens Ag | Using a First Stain to Train a Model to Predict the Region Stained by a Second Stain |
| CN110838094A (zh) * | 2019-11-06 | 2020-02-25 | 杭州迪英加科技有限公司 | 病理切片染色风格转换方法和电子设备 |
| CN111819569A (zh) * | 2018-03-07 | 2020-10-23 | 谷歌有限责任公司 | 对组织切片图像的虚拟染色 |
| CN111899214A (zh) * | 2020-06-12 | 2020-11-06 | 西安交通大学 | 一种病理切片扫描分析装置及病理切片扫描方法 |
| CN113223614A (zh) * | 2021-05-31 | 2021-08-06 | 上海澜澈生物科技有限公司 | 一种染色体核型分析方法、系统、终端设备和存储介质 |
-
2022
- 2022-06-09 CN CN202210646709.3A patent/CN115063360A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190205760A1 (en) * | 2017-12-31 | 2019-07-04 | Definiens Ag | Using a First Stain to Train a Model to Predict the Region Stained by a Second Stain |
| CN111819569A (zh) * | 2018-03-07 | 2020-10-23 | 谷歌有限责任公司 | 对组织切片图像的虚拟染色 |
| CN110838094A (zh) * | 2019-11-06 | 2020-02-25 | 杭州迪英加科技有限公司 | 病理切片染色风格转换方法和电子设备 |
| CN111899214A (zh) * | 2020-06-12 | 2020-11-06 | 西安交通大学 | 一种病理切片扫描分析装置及病理切片扫描方法 |
| CN113223614A (zh) * | 2021-05-31 | 2021-08-06 | 上海澜澈生物科技有限公司 | 一种染色体核型分析方法、系统、终端设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012838A (zh) * | 2022-12-30 | 2023-04-25 | 创芯国际生物科技(广州)有限公司 | 基于人工智能的类器官活性识别方法及系统 |
| CN116012838B (zh) * | 2022-12-30 | 2023-11-07 | 创芯国际生物科技(广州)有限公司 | 基于人工智能的类器官活性识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | GAN-based virtual re-staining: a promising solution for whole slide image analysis | |
| CN111819569B (zh) | 对组织切片图像的虚拟染色 | |
| CN110728674B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN109903284A (zh) | 一种her2免疫组化图像自动判别方法及系统 | |
| CN111488921A (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| CA2848233C (en) | Methods of chromogen separation-based image analysis | |
| CN110838094B (zh) | 病理切片染色风格转换方法和电子设备 | |
| CN112330690B (zh) | 基于显微图像的细胞分割方法、装置、设备及存储介质 | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN115457012A (zh) | 一种病理图像分割方法、系统、存储介质、设备及终端 | |
| Kromp et al. | Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation | |
| CN115063360A (zh) | 基于虚拟染色的智能判读方法和系统 | |
| Barrera et al. | Automatic normalized digital color staining in the recognition of abnormal blood cells using generative adversarial networks | |
| CN111951271B (zh) | 一种识别病理图像中癌细胞的方法及装置 | |
| CN117853505A (zh) | 一种基于Unet与U2net级联卷积神经网络的胰腺CT图像分割方法 | |
| WO2018128091A1 (ja) | 画像解析プログラム及び画像解析方法 | |
| US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
| He et al. | An image inpainting-based data augmentation method for improved sclerosed glomerular identification performance with the segmentation model EfficientNetB3-Unet | |
| CN115019130A (zh) | 虚拟染色模型的训练方法和明场虚拟染色图像的生成方法 | |
| CN113256628B (zh) | 用于宫颈图像的分析管理的装置和方法、设备及存储介质 | |
| CN118284942A (zh) | 对用于组织学染色的组织中的预分析因素的数字分析 | |
| Kim et al. | Solution-free and simplified H&E staining using a hydrogel-based stamping technology | |
| Liu et al. | An end to end thyroid nodule segmentation model based on optimized U-net convolutional neural network | |
| CN116230214B (zh) | Hcc及vetc辅助诊断装置及设备 | |
| CN111430011B (zh) | 细胞染色图像的显示方法、处理方法及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |