CN113256617B - 一种病理切片虚拟免疫组化染色方法及系统 - Google Patents

一种病理切片虚拟免疫组化染色方法及系统 Download PDF

Info

Publication number
CN113256617B
CN113256617B CN202110699290.3A CN202110699290A CN113256617B CN 113256617 B CN113256617 B CN 113256617B CN 202110699290 A CN202110699290 A CN 202110699290A CN 113256617 B CN113256617 B CN 113256617B
Authority
CN
China
Prior art keywords
image
pathological section
module
staining
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110699290.3A
Other languages
English (en)
Other versions
CN113256617A (zh
Inventor
尤海航
侍璐琳
关镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Diatech Biological Technology Co ltd
Original Assignee
Chongqing Diatech Biological Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Diatech Biological Technology Co ltd filed Critical Chongqing Diatech Biological Technology Co ltd
Priority to CN202110699290.3A priority Critical patent/CN113256617B/zh
Publication of CN113256617A publication Critical patent/CN113256617A/zh
Application granted granted Critical
Publication of CN113256617B publication Critical patent/CN113256617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/60ICT specially adapted for the handling or processing of medical references relating to pathologies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及图像处理技术领域,具体为一种病理切片虚拟免疫组化染色方法及系统,其方法包括:对原始病理切片图像进行预处理,将其切割为若干图像块;对图像块进行初步颜色转换,并去掉被指定染料染色的细胞质部分;检测图像块中能被染色抗体特异性识别的抗原标示物,生成包含抗原标示物位置信息的图像块;根据包含抗原标示物位置信息的图像块对去染色后的图像块进行虚拟免疫组化染色,并将染色后的图像块还原为成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像。本方案实现对病理切片自动化、高速率和抗原准确定位的虚拟免疫组化染色,得到一张病理切片图像的两种不同的保留了医学语义信息的染色图像,能为病理医生诊断提供参考数据。

Description

一种病理切片虚拟免疫组化染色方法及系统
技术领域
本发明涉及图像处理技术领域,具体为一种病理切片虚拟免疫组化染色方法及系统。
背景技术
在临床应用中,苏木素-伊红(H&E)染色是病理科最常用的染色方法,染色后组织细胞核呈蓝色,细胞质呈红色,便于诊断医师观察组织结构,提供诊断依据。除此之外,为了显示特殊的化学物质,还需要进行特殊染色,比如免疫组化染色利用抗原抗体的特异性结合原理和特殊的标记技术,可以实现对组织和细胞内的特定抗原进行定位、定性和半定量检测,随着免疫组化技术的发展,使许多疑难肿瘤得到了明确诊断,在常规肿瘤病理诊断中,5%-10%的病例单靠H&E染色难以作出明确的形态学诊断,免疫组化染色为此提供了良好的诊断依据和参考。例如肿瘤标示物CK19/CK18在肿瘤的检测和预后判断、肿瘤的个体化和靶向治疗等方面应用广泛。
目前临床上,常常需要对患处穿刺生化检验,通过病理的手段进行精准诊断,使用苏木素-伊红对组织染色,然后病理医生使用显微镜观察病理切片检查是否含有病变,或者使用全数字扫描仪将病理切片数字化,以数字图像的形式进行筛选。但是苏木素-伊红染色是对组织中所有细胞(包括肿瘤阳性细胞和阴性细胞)都进行染色,由于组织病理图像的复杂性和多样性,仅对苏木素-伊红染色的病理切片图像进行人工诊断不仅耗时耗力且要求病理医生具备丰富的知识和经验,同时诊断过程受主观影响容易导致误判。而传统的免疫组化染色可以通过化学反应对病变组织、细胞中出现的某些异常物质与特殊成分进行特异性染色,能够很好的帮助病理医生进行诊断,但若考虑对所有病理切片进行传统的免疫组化染色,无疑会大大增加人力成本和实验成本,并且在实际操作中难以对同一张切片既进行苏木素-伊红染色又进行免疫组化染色,就算在对组织切片时仅间隔3mm进行连续切片,然后相邻的病理切片分别去做苏木素-伊红染色和免疫组化染色,得到近似的两张切片染色,但在制作切片过程中,会出现折叠、碰撞等使得切片信息丢失或者错位的现象,使得两张切片的染色图像难以一一对应,无法完全匹配。
随着深度学习技术在计算机视觉领域的发展,计算机技术被广泛应用于医学图像处理和分析等应用,例如在肿瘤识别和诊断中,利用计算机辅助诊断系统,可以及时、准确的筛选出阳性患者,及时采取相应的治疗措施,同时也可以减轻医务人员的工作负担、降低误诊率。因此,基于计算机视觉技术的虚拟染色可以考虑被应用于临床病理切片染色成像实践中。目前有两种实现方案:
一种现有的方案是根据荧光白片生成常用苏木素-伊红染色,通过训练深度学习网络,可以实现输入未染色的荧光白片,输出高准确度对应的苏木素-伊红染色,但是目前还未实现直接从荧光白片生成虚拟的免疫组化染色图像。
另一种现有方案是通过苏木素-伊红染色的病理切片图像生成虚拟免疫组化染色的病理切片图像,但是相关研究仅仅通过生成对抗网络实现,根据苏木素-伊红染色的病理切片图像生成虚拟免疫组化染色的病理切片图像,由于缺乏对染色标示物的准确的检测和识别,生成的图像只是风格类似,但是缺乏相应的医学语义信息,无法作为病理医生的诊断依据。目前的研究无法生成出对于临床医学有可解释性的图像数据,虽然在图像风格上与真实的病理染色图像接近,但由于是生成的是“假数据”,往往无法表达出染色图像在临床医学上的语义信息,难以达到免疫组化染色技术的特异性细胞的着色,因此无法替代真正的传统的免疫组化染色。
因此现在急需一种能解决传统的免疫组化染色,费时费力,成本高的问题的虚拟组化染色,并且进行虚拟组化染色得到的图像能进行抗原的准确定位,保留医学语义信息,能为病理医生的临床诊断提供一种快速的准确的参考数据。
发明内容
本发明的目的之一在于提供一种病理切片虚拟免疫组化染色方法,实现对病理切片自动化和高速率的虚拟免疫组化染色,并且能实现抗原准确定位,得到一张病理切片图像的两种不同的保留了医学语义信息的病理切片染色图像,能为病理医生的临床诊断提供一种快速的准确的参考数据。
本发明提供的基础方案一:一种病理切片虚拟免疫组化染色方法,包括如下内容:
数据预处理步骤:对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块;
去染色步骤:对图像块进行初步颜色转换,并去掉被指定染料染色的细胞质部分;
标示物识别步骤:检测图像块中能被染色抗体特异性识别的抗原标示物,生成包含抗原标示物位置信息的图像块;
染色步骤:根据包含抗原标示物位置信息的图像块对去染色后的图像块进行虚拟免疫组化染色,并将染色后的图像块还原为成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像。
基础方案一的有益效果:原始病理切片图像,可为苏木素-伊红染色的原始病理切片图像;对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块;由于原始病理切片图像基本是高分辨率的超大医学图像,并且原始病理切片图像中除了细胞以外会存在一些无用信息,因此对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块,图像块适用于后续的处理步骤,并且对于若干图像块进行后续步骤处理时,可以并行处理,提高处理速度,此外相对于直接处理超大医学图像,处理图像块准确率更高。
去染色步骤和标示物识别步骤均对数据预处理模块输出的图像块进行处理,去染色步骤,对图像块进行初步颜色转换,并去掉被指定染料染色的细胞质部分,即图像块为苏木素-伊红染色的原始病理切片图像中的一块,苏木素对细胞核染色,伊红对细胞质染色,去掉被伊红染料染色的细胞质部分,去除图像块中多余的信息,便于提升后续染色速度,以及提高染色的定位的准确性;因为免疫组化染色是借助于组织化学的方法将抗原抗体结合的部位显示出来,对目标部位具有高度的特异性,所以标示物识别模块检测图像块中能被染色抗体特异性识别的抗原标示物,抗原标示物是能够与IHC染色剂(免疫组化染色剂)反应的肿瘤细胞膜上的蛋白质,以此可以来检测肿瘤细胞,并且生成包含抗原标示物位置信息的图像块。
染色步骤,根据包含抗原标示物位置信息的图像块对去染色后的图像块进行虚拟免疫组化染色,即对肿瘤细胞膜进行染色,实现准确定位,并将染色后的图像块还原为成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像,并输出,从而得到的免疫组化染色的病理切片图像,相较于在实际操作中难以对同一张切片既进行苏木素-伊红染色又进行免疫组化染色,本方案能得到一张病理切片图像的两种不同的病理染色图像,并且染色时,是根据抗原标示物位置信息进行的染色,不是简单的风格类似,保证了免疫组化染色的病理切片图像的医学语义信息的保留,从而能为病理医生的临床诊断提供一种快速的准确的参考数据。相比于只提供苏木素-伊红染色的病理图片,可以缩短病理医生阅片的时间。本方案实现无需人工干预的,具有临床语义信息的免疫组化染色的病理切片图像自动生成,避免了耗时耗力的人工染色过程,并且无需使用真实的染料进行染色,节约了成本。
进一步,所述对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块,包括:
对原始病理切片图像进行背景分割,将原始病理切片图像分割为前景图像和背景图像;
检测前景图像中的组织,提取前景图像中的组织图像;
采用滑动窗口,将组织图像切割为若干图像块。
有益效果:因为原始病历切片图像中的有效信息均在前景图像中,因此便于后续主要针对前景图像进行处理,忽略背景图像,降低运行负担,提高处理速度,提取前景图像中的组织图像,从而能进一步的降低前景图像的大小,提高运算速度,并且对于后续的一些针对细胞的检测和处理因为提取了组织图像,可以减图像块匹配的误差,提高准确率。
进一步,所述检测图像块中能被染色抗体特异性识别的抗原标示物,生成包含抗原标示物位置信息的图像块,包括:
对图像块进行细胞核分割;
检测含有能进行特异性反应的细胞的细胞核;
根据检测出的细胞核,重建该细胞的细胞膜部分;
进行细胞团检测,重建与染色抗体反应的抗原标示物的位置信息,生成包含抗原标示物位置信息的图像块。
有益效果:通过上述步骤重建染色区域,便于后续染色,其中重建细胞膜部分,由于细胞膜是随机生成的,会出现重建细胞膜过多的情况,因此进行细胞团检测,去掉重建细胞膜的图像块中细胞膜超出组织边缘的部分,防止过度染色。
进一步,所述染色步骤中进行虚拟免疫组化染色,采用神经网络。
有益效果:可以根据需求设计不同的神经网络进行训练,增加整个方法的适用性。
进一步,在训练神经网络时,对所述采用滑动窗口,将组织图像切割为若干图像块,进行阈值控制,过滤掉超过阈值的负样本。
有益效果:在训练神经网络时,因为训练数据集中正样本数量远少于负样本,因此进行阈值控制,以此过滤掉超过阈值的过多的负样本,以此提升神经网络训练后的准确性。
本发明的目的之二在于提供一种病理切片虚拟免疫组化染色系统,实现对病理切片自动化和高速率的虚拟免疫组化染色,并且能实现抗原准确定位,得到一张病理切片图像的两种不同的保留了医学语义信息的病理切片染色图像,能为病理医生的临床诊断提供一种快速的准确的参考数据。
本发明提供基础方案二:一种病理切片虚拟免疫组化染色系统,包括:数据预处理模块、去染色模块、标示物识别模块和染色模块;
所述数据预处理模块,用于对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块;
所述去染色模块,用于对图像块进行初步颜色转换,并去掉被指定染料染色的细胞质部分;
所述标示物识别模块,用于检测图像块中能被染色抗体特异性识别的抗原标示物,生成包含抗原标示物位置信息的图像块;
所述染色模块,用于根据包含抗原标示物位置信息的图像块对去染色后的图像块进行虚拟免疫组化染色,并将染色后的图像块还原为成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像,并输出。
基础方案二的有益效果:原始病理切片图像,可为苏木素-伊红染色的原始病理切片图像;数据预处理模块对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块;由于原始病理切片图像基本是高分辨率的超大医学图像,并且原始病理切片图像中除了细胞以外会存在一些无用信息,因此采用数据处理模块,对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块,将原始病理切片图像切割为若干图像块,图像块适用于后续各模块的处理,并且对于若干图像块进行后续处理时,可以并行处理,提高处理速度,此外相对于直接处理超大医学图像,处理图像块准确率更高。
去染色模块和标示物识别模块均对数据预处理模块输出的图像块进行处理,去染色模块,对图像块进行初步颜色转换,并去掉被指定染料染色的细胞质部分,即图像块为苏木素-伊红染色的原始病理切片图像中的一块,苏木素对细胞核染色,伊红对细胞质染色,去掉被伊红染料染色的细胞质部分,去除图像块中多余的信息,便于提升后续染色速度,以及提高染色的定位的准确性;因为免疫组化染色是借助于组织化学的方法将抗原抗体结合的部位显示出来,对目标部位具有高度的特异性,所以标示物识别模块检测图像块中能被染色抗体特异性识别的抗原标示物,抗原标示物是能够与IHC染色剂(免疫组化染色剂)反应的肿瘤细胞膜上的蛋白质,以此可以来检测肿瘤细胞,并且生成包含抗原标示物位置信息的图像块。
染色模块,根据包含抗原标示物位置信息的图像块对去染色后的图像块进行虚拟免疫组化染色,即对肿瘤细胞膜进行染色,实现准确定位,并将染色后的图像块还原为成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像,并输出,从而得到的免疫组化染色的病理切片图像,相较于在实际操作中难以对同一张切片既进行苏木素-伊红染色又进行免疫组化染色,本系统能得到一张病理切片图像的两种不同的病理染色图像,并且染色时,是根据抗原标示物位置信息进行的染色,不是简单的风格类似,保证了免疫组化染色的病理切片图像的医学语义信息的保留,从而能为病理医生的临床诊断提供一种快速的准确的参考数据。相比于只提供苏木素-伊红染色的病理图片,可以缩短病理医生阅片的时间。整个系统实现无需人工干预的,具有临床语义信息的免疫组化染色的病理切片图像自动生成,避免了耗时耗力的人工染色过程,并且无需使用真实的染料进行染色,节约了成本。
进一步,所述数据预处理模块,包括背景分割子模块、组织区域提取子模块和图像块提取子模块;
所述背景分割子模块,用于对原始病理切片图像进行背景分割,将原始病理切片图像分割为前景图像和背景图像;
所述组织区域提取子模块,用于检测前景图像中的组织,提取前景图像中的组织图像;
所述图像块提取子模块,用于采用滑动窗口,将组织图像切割为若干图像块。
有益效果:因为原始病历切片图像中的有效信息均在前景图像中,因此便于后续主要针对前景图像进行处理,忽略背景图像,降低运行负担,提高处理速度,提取前景图像中的组织图像,从而能进一步的降低前景图像的大小,提高运算速度,并且对于后续的一些针对细胞的检测和处理因为提取了组织图像,可以减图像块匹配的误差,提高准确率。
进一步,所述标示物识别模块,用于检测图像块中能被染色抗体特异性识别的抗原标示物,生成包含抗原标示物位置信息的图像块,具体为:
对数据预处理模块输出的图像块进行细胞核分割;
检测含有能进行特异性反应的细胞的细胞核;
根据检测出的细胞核,重建该细胞的细胞膜部分;
进行细胞团检测,重建与染色抗体反应的抗原标示物的位置信息,生成包含抗原标示物位置信息的图像块。
有益效果:标示物识别模块通过上述步骤重建染色区域,便于染色模块根据包含抗原标示物位置信息的图像块进行免疫组化染色,其中重建细胞膜部分,由于细胞膜是随机生成的,会出现重建细胞膜过多的情况,因此进行细胞团检测,对数据预处理模块输出的图像进行组织的边缘检测,检测出组织的边缘,然后去掉重建细胞膜的图像块中细胞膜超出边缘的部分,防止过度染色。
进一步,所述染色模块,包括:染色模型训练子模块、染色测试子模块和数据后处理子模块
所述染色模型训练子模块,用于训练神经网络,当神经网络收敛后,将神经网络保存到染色测试子模块;
所述染色测试子模块,用于采用神经网络,根据包含抗原标示物位置信息的图像块对去染色后的图像块进行虚拟免疫组化染色;
所述数据后处理子模块,用于将虚拟免疫组化染色后的图像块还原成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像,并输出虚拟免疫组化染色的病理切片图像。
有益效果:在系统进行神经网络训练阶段,通过染色模型训练子模块,训练神经网络,对应的数据输入模块在神经网络训练阶段,同时输入苏木素-伊红染色的原始病理切片图像和免疫组化染色的原始病理切片图像,从而来进行神经网络的训练,整个系统的各个模块不需要更改,当神经网络收敛后,将神经网络保存到染色测试子模块,染色测试子模块,直接采用神经网络,根据包含抗原标示物位置信息的图像块对去染色后的图像块进行虚拟免疫组化染色;数据后处理子模块将虚拟免疫组化染色后的图像块还原成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像,并输出虚拟免疫组化染色的病理切片图像,从而能获得一张病理切片图像的两种不同的病理染色图像,并且根据需求设计不同的神经网络进行训练,增加整个系统的适用性。
进一步,所述数据预处理模块,还包括数据均衡子模块;
所述数据均衡子模块,用于训练神经网络时,对图像块提取子模块进行阈值控制,过滤掉超过阈值的负样本。
有益效果:在训练神经网络时,因为训练数据集中正样本数量远少于负样本,因此增加数据均衡子模块,对图像块提取子模块进行阈值控制,以此过滤掉超过阈值的过多的负样本,以此提升神经网络训练后的准确性。
附图说明
图1为本发明一种病理切片虚拟免疫组化染色方法实施例的流程示意图;
图2为本发明一种病理切片虚拟免疫组化染色系统实施例的结构示意图。
具体实施方式
下面通过具体实施方式进一步详细说明:
实施例一
本实施例基本如附图1所示:一种病理切片虚拟免疫组化染色方法,包括如下内容:
输入步骤:输入原始病理切片图像;可采用全数字扫描仪扫描原始病理切片图像作为输入,在训练神经网络时,数据输入模块同时输入苏木素-伊红染色的原始病理切片图像和免疫组化染色的原始病理切片图像;在神经网络训练完成,进行应用时,数据输入模块只输入苏木素-伊红染色的原始病理切片图像;
数据预处理步骤:对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块;由于原始病理切片图像基本是高分辨率的超大医学图像,因此采用数据处理模块,对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块,图像块为神经网络能够处理的小图,具体为:
对原始病理切片图像进行背景分割,将原始病理切片图像分割为前景图像和背景图像;采用大津法(OTSU算法)进行背景分割,因为原始病历切片图像中的有效信息均在前景图像中,因此便于后续主要针对前景图像进行处理,忽略背景图像,降低运行负担,提高处理速度;原始病理切片图像的大小为100000×100000像素,前景图像和背景图像的大小和原始病理切片图像的大小相同;
检测前景图像中的组织,提取前景图像中的组织图像;采用边缘检测进行前景图像中的组织的检测,并提取前景图像中的组织图像,从而能进一步的降低前景图像的大小,提高运算速度,并且对于后续的一些针对细胞的检测和处理因为提取了组织图像,可以减图像块匹配的误差;组织图像的大小为30000×30000像素;
采用滑动窗口,将组织图像切割为若干图像块,图像块的大小为512×512像素;在训练神经网络时,对所述采用滑动窗口,将组织图像切割为若干图像块,进行阈值控制,过滤掉超过阈值的负样本,图像块的大小为512×512像素。
去染色步骤:对图像块进行初步颜色转换,并去掉被指定染料染色的细胞质部分;图像块为苏木素-伊红染色的原始病理切片图像的一块图像,采用CycleGAN(循环生成对抗网络模型)去掉被伊红染料染色的细胞质部分。
标示物识别步骤:检测图像块中能被染色抗体特异性识别的抗原标示物,生成包含抗原标示物位置信息的图像块,其中包含抗原标示物位置信息的图像块为二值图,抗原标示物是能够与IHC染色剂(免疫组化染色剂)反应的肿瘤细胞膜上的蛋白质,具体为:
对数据预处理模块输出的图像块进行细胞核分割;
检测含有能进行特异性反应的细胞的细胞核;能进行特异性反应的细胞的细胞核为阳性细胞核,即肿瘤细胞;
根据检测出的细胞核,重建该细胞的细胞膜部分;采用Unet(深度学习分割网络)重建该细胞的细胞膜部分;
进行细胞团检测,重建与染色抗体反应的抗原标示物的位置信息,生成包含抗原标示物位置信息的图像块;采用Unet重建该细胞的细胞膜部分,由于是随机生成细胞膜,会出现重建细胞膜过多的情况,因此进行细胞团检测,具体为:对数据预处理步骤后的图像进行组织的边缘检测,检测出组织的边缘,然后去掉重建细胞膜的图像块中细胞膜超出边缘的部分,防止过度染色。
细胞核分割、细胞核检测和细胞团检测均采用Mask RCNN(Mask区域卷积神经网络)。
染色步骤:采用神经网络,其中神经网络为GAN(生成对抗神经网络),根据包含抗原标示物位置信息的图像块对去染色后的图像块进行虚拟免疫组化染色,并将染色后的图像块还原为成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像;其中神经网络根据接收到包含抗原标示物位置信息的二值图,对接收的去伊红染色的图像块进行虚拟免疫组化染色,即对肿瘤细胞膜进行染色。
实施例二
本实施例基本如附图2所示:一种病理切片虚拟免疫组化染色系统,包括:数据输入模块、数据预处理模块、去染色模块、标示物识别模块和染色模块;
所述数据输入模块,用于输入全数字扫描仪扫描的原始病理切片图像;在训练神经网络时,数据输入模块同时输入苏木素-伊红染色的原始病理切片图像和免疫组化染色的原始病理切片图像;在神经网络训练完成,进行应用时,数据输入模块只输入苏木素-伊红染色的原始病理切片图像;
所述数据预处理模块,用于对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块;由于原始病理切片图像基本是高分辨率的超大医学图像,因此采用数据处理模块,对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块,图像块为神经网络能够处理的小图;
具体为:
所述数据预处理模块,包括背景分割子模块、组织区域提取子模块、图像块提取子模块和数据均衡子模块;
所述背景分割子模块,用于对原始病理切片图像进行背景分割,将原始病理切片图像分割为前景图像和背景图像;采用大津法(OTSU算法)进行背景分割,因为原始病历切片图像中的有效信息均在前景图像中,因此便于后续主要针对前景图像进行处理,忽略背景图像,降低运行负担,提高处理速度;原始病理切片图像的大小为100000×100000像素,前景图像和背景图像的大小和原始病理切片图像的大小相同;
所述组织区域提取子模块,用于检测前景图像中的组织,提取前景图像中的组织图像;采用边缘检测进行前景图像中的组织的检测,并提取前景图像中的组织图像,从而能进一步的降低前景图像的大小,提高运算速度,并且对于后续的一些针对细胞的检测和处理因为提取了组织图像,可以减图像块匹配的误差;组织图像的大小为30000×30000像素;
所述图像块提取子模块,用于采用滑动窗口,将组织图像切割为若干图像块;图像块的大小为512×512像素;
所述数据均衡子模块,用于神经网络训练阶段,对图像块提取子模块进行阈值控制,过滤掉超过阈值的负样本;在神经网络训练阶段,因为训练数据集中正样本数量远少于负样本,因此增加数据均衡子模块,对图像块提取子模块进行阈值控制,以此过滤掉超过阈值的过多的负样本。
所述去染色模块,用于对图像块进行初步颜色转换,并去掉被指定染料染色的细胞质部分;图像块为苏木素-伊红染色的原始病理切片图像的一块图像,采用CycleGAN(循环生成对抗网络模型)去掉被伊红染料染色的细胞质部分。
所述标示物识别模块,用于检测图像块中能被染色抗体特异性识别的抗原标示物,生成包含抗原标示物位置信息的图像块,其中包含抗原标示物位置信息的图像块为二值图,抗原标示物是能够与IHC染色剂(免疫组化染色剂)反应的肿瘤细胞膜上的蛋白质,具体为:
对数据预处理模块输出的图像块进行细胞核分割;
检测含有能进行特异性反应的细胞的细胞核;能进行特异性反应的细胞的细胞核为阳性细胞核,即肿瘤细胞;
根据检测出的细胞核,重建该细胞的细胞膜部分;采用Unet(深度学习分割网络)重建该细胞的细胞膜部分;
进行细胞团检测,重建与染色抗体反应的抗原标示物的位置信息,生成包含抗原标示物位置信息的图像块。采用Unet重建该细胞的细胞膜部分,由于是随机生成细胞膜,会出现重建细胞膜过多的情况,因此进行细胞团检测,具体为:对数据预处理模块输出的图像进行组织的边缘检测,检测出组织的边缘,然后去掉重建细胞膜的图像块中细胞膜超出边缘的部分,防止过度染色。
细胞核分割、细胞核检测和细胞团检测均采用Mask RCNN(Mask区域卷积神经网络)。
所述染色模块,用于根据包含抗原标示物位置信息的图像块对去染色后的图像块进行虚拟免疫组化染色,并将染色后的图像块还原为成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像,并输出,具体为:
所述染色模块,包括:染色模型训练子模块、染色测试子模块和数据后处理子模块
所述染色模型训练子模块,用于训练神经网络,当神经网络收敛后,将神经网络保存到染色测试子模块,其中神经网络为GAN(生成对抗神经网络);
所述染色测试子模块,用于采用神经网络对图像块进行虚拟免疫组化染色;神经网络根据接收到包含抗原标示物位置信息的二值图,对接收的去伊红染色的图像块进行虚拟免疫组化染色,即对肿瘤细胞膜进行染色;
所述数据后处理子模块,用于将虚拟免疫组化染色后的图像块还原成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像,并输出虚拟免疫组化染色的病理切片图像。
以上所述的仅是本发明的实施例,方案中公知的具体结构及特性等常识在此未作过多描述,所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识,能够获知该领域中所有的现有技术,并且具有应用该日期之前常规实验手段的能力,所属领域普通技术人员可以在本申请给出的启示下,结合自身能力完善并实施本方案,一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出,对于本领域的技术人员来说,在不脱离本发明结构的前提下,还可以作出若干变形和改进,这些也应该视为本发明的保护范围,这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准,说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (6)

1.一种病理切片虚拟免疫组化染色方法,其特征在于,包括:
数据预处理步骤:对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块,包括:
对原始病理切片图像进行背景分割,将原始病理切片图像分割为前景图像和背景图像;
采用边缘检测检测前景图像中的组织,提取前景图像中的组织图像;
采用滑动窗口,将组织图像切割为若干图像块;
在训练神经网络时,对所述采用滑动窗口,将组织图像切割为若干图像块,进行阈值控制,过滤掉超过阈值的负样本;
去染色步骤:对图像块进行初步颜色转换,并去掉被指定染料染色的细胞质部分;
标示物识别步骤:检测图像块中能被染色抗体特异性识别的抗原标示物,生成包含抗原标示物位置信息的图像块,包括:
对图像块进行细胞核分割;
检测含有能进行特异性反应的细胞的细胞核;
根据检测出的细胞核,重建该细胞的细胞膜部分;
进行细胞团检测,重建与染色抗体反应的抗原标示物的位置信息,生成包含抗原标示物位置信息的图像块;其中细胞团检测,包括:对数据预处理步骤后的图像进行组织的边缘检测,检测出组织的边缘,然后去掉重建细胞膜的图像块中细胞膜超出边缘的部分;
染色步骤:根据包含抗原标示物位置信息的图像块对去染色后的图像块进行虚拟免疫组化染色,并将染色后的图像块还原为成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像。
2.根据权利要求1所述的病理切片虚拟免疫组化染色方法,其特征在于:所述染色步骤中进行虚拟免疫组化染色,采用神经网络。
3.根据权利要求2所述的病理切片虚拟免疫组化染色方法,其特征在于:在训练神经网络时,对所述采用滑动窗口,将组织图像切割为若干图像块,进行阈值控制,过滤掉超过阈值的负样本。
4.一种病理切片虚拟免疫组化染色系统,其特征在于,包括:数据预处理模块、去染色模块、标示物识别模块和染色模块;
所述数据预处理模块,用于对原始病理切片图像进行预处理,将原始病理切片图像切割为若干图像块;所述数据预处理模块,包括背景分割子模块、组织区域提取子模块、图像块提取子模块和数据均衡子模块;
所述背景分割子模块,用于对原始病理切片图像进行背景分割,将原始病理切片图像分割为前景图像和背景图像;
所述组织区域提取子模块,用于采用边缘检测检测前景图像中的组织,提取前景图像中的组织图像;
所述图像块提取子模块,用于采用滑动窗口,将组织图像切割为若干图像块;
所述数据均衡子模块,用于神经网络训练阶段,对图像块提取子模块进行阈值控制,过滤掉超过阈值的负样本;
所述去染色模块,用于对图像块进行初步颜色转换,并去掉被指定染料染色的细胞质部分;
所述标示物识别模块,用于检测图像块中能被染色抗体特异性识别的抗原标示物,生成包含抗原标示物位置信息的图像块,包括:对图像块进行细胞核分割;
检测含有能进行特异性反应的细胞的细胞核;
根据检测出的细胞核,重建该细胞的细胞膜部分;
进行细胞团检测,重建与染色抗体反应的抗原标示物的位置信息,生成包含抗原标示物位置信息的图像块;其中细胞团检测,包括:对数据预处理模块输出的图像进行组织的边缘检测,检测出组织的边缘,然后去掉重建细胞膜的图像块中细胞膜超出边缘的部分;
所述染色模块,用于根据包含抗原标示物位置信息的图像块对去染色后的图像块进行虚拟免疫组化染色,并将染色后的图像块还原为成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像,并输出。
5.根据权利要求4所述的病理切片虚拟免疫组化染色系统,其特征在于:所述染色模块,包括:染色模型训练子模块、染色测试子模块和数据后处理子模块
所述染色模型训练子模块,用于训练神经网络,当神经网络收敛后,将神经网络保存到染色测试子模块;
所述染色测试子模块,用于采用神经网络,根据包含抗原标示物位置信息的图像块对去染色后的图像块进行虚拟免疫组化染色;
所述数据后处理子模块,用于将虚拟免疫组化染色后的图像块还原成原始病理切片图像大小的虚拟免疫组化染色的病理切片图像,并输出虚拟免疫组化染色的病理切片图像。
6.根据权利要求5所述的病理切片虚拟免疫组化染色系统,其特征在于:所述数据预处理模块,还包括数据均衡子模块;
所述数据均衡子模块,用于训练神经网络时,对图像块提取子模块进行阈值控制,过滤掉超过阈值的负样本。
CN202110699290.3A 2021-06-23 2021-06-23 一种病理切片虚拟免疫组化染色方法及系统 Active CN113256617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110699290.3A CN113256617B (zh) 2021-06-23 2021-06-23 一种病理切片虚拟免疫组化染色方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110699290.3A CN113256617B (zh) 2021-06-23 2021-06-23 一种病理切片虚拟免疫组化染色方法及系统

Publications (2)

Publication Number Publication Date
CN113256617A CN113256617A (zh) 2021-08-13
CN113256617B true CN113256617B (zh) 2024-02-20

Family

ID=77189344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110699290.3A Active CN113256617B (zh) 2021-06-23 2021-06-23 一种病理切片虚拟免疫组化染色方法及系统

Country Status (1)

Country Link
CN (1) CN113256617B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596298B (zh) 2022-03-16 2022-11-15 华东师范大学 基于高光谱成像的精标注数字病理数据集自动生成方法
CN114937045A (zh) * 2022-06-20 2022-08-23 四川大学华西医院 一种肝细胞癌病理图像分割系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462767A (zh) * 2014-04-03 2017-02-22 皇家飞利浦有限公司 用于处理和分析图像的检查设备
CN108319815A (zh) * 2018-02-05 2018-07-24 志诺维思(北京)基因科技有限公司 一种用于细胞虚拟染色的方法及其系统
CN109614979A (zh) * 2018-10-11 2019-04-12 北京大学 一种基于选择与生成的数据增广方法及图像分类方法
CN110246116A (zh) * 2019-04-24 2019-09-17 创新工场(北京)企业管理股份有限公司 数字病理切片由he染色到ihc染色的计算机自动生成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100279341A1 (en) * 2000-10-24 2010-11-04 Tissuegnostics Gmbh Methods and system for analyzing cells
AT411066B (de) * 2000-10-24 2003-09-25 Steiner Georg E Verfahren und anordnung zur untersuchung von zellen
US20110111435A1 (en) * 2009-11-06 2011-05-12 SlidePath Limited Detecting Cell Surface Markers
CN111699510A (zh) * 2018-02-12 2020-09-22 豪夫迈·罗氏有限公司 数字病理学图像的变换
EP3762854A1 (en) * 2018-03-07 2021-01-13 Google LLC Virtual staining for tissue slide images
US11631171B2 (en) * 2019-01-10 2023-04-18 Regents Of The University Of Minnesota Automated detection and annotation of prostate cancer on histopathology slides

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462767A (zh) * 2014-04-03 2017-02-22 皇家飞利浦有限公司 用于处理和分析图像的检查设备
CN108319815A (zh) * 2018-02-05 2018-07-24 志诺维思(北京)基因科技有限公司 一种用于细胞虚拟染色的方法及其系统
CN109614979A (zh) * 2018-10-11 2019-04-12 北京大学 一种基于选择与生成的数据增广方法及图像分类方法
CN110246116A (zh) * 2019-04-24 2019-09-17 创新工场(北京)企业管理股份有限公司 数字病理切片由he染色到ihc染色的计算机自动生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"综合修复法"在BrdU免疫组化染色中的应用;陈余朋;王行富;何观文;;湖北民族学院学报(医学版)(03);全文 *

Also Published As

Publication number Publication date
CN113256617A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN111727436B (zh) 对未染色组织的病理学预测
EP3732611B1 (en) Method for creating histopathological ground truth masks using slide restaining
CN113256617B (zh) 一种病理切片虚拟免疫组化染色方法及系统
CN111417958A (zh) 用于生物图像中的联合细胞和区域分类的深度学习系统和方法
US20230186659A1 (en) Machine learning models for cell localization and classification learned using repel coding
US20240079116A1 (en) Automated segmentation of artifacts in histopathology images
EP3323107B1 (en) Information transformation in digital pathology
JP2023510915A (ja) 腫瘍検出および分析を支援するための非腫瘍セグメンテーション
CN115036011B (zh) 基于数字病理图像进行实体肿瘤预后评估的系统
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN113393454A (zh) 活检组织中病理目标实例分割方法和装置
CN113256618A (zh) 一种基于ihc染色的肿瘤识别系统及方法
CN112330690A (zh) 基于显微图像的细胞分割方法、装置、设备及存储介质
JP2024027078A (ja) マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体
CN118414640A (zh) 数字病理学中深度学习模型的对抗鲁棒性
JP7492650B2 (ja) 多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別
EP3991088A1 (en) Scanning/pre-scanning quality control of slides
CN116110608A (zh) 一种胃癌her2状态预测模型的训练、预测方法及系统
CN118284942A (zh) 对用于组织学染色的组织中的预分析因素的数字分析
EP4246468A1 (en) Method for training an artificial intelligence system, method for recognizing and classifying cells for pathological cell and tissue examination, classifying system, computer-readable medium
EP4407566A1 (en) A computer-implemented method for selecting regions of interest, a respective computer-readable medium and system
US20230395238A1 (en) System and method for virtual and chemical staining of tissue samples
US20230307132A1 (en) Hybrid and accelerated ground-truth generation for duplex arrays
WO2023174903A1 (en) Method for training an artificial intelligence system, method for recognizing and classifying cells for pathological cell and tissue examination, classifying system, computer-readable medium
CN116433601A (zh) 免疫组化切片图像分析方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant