CN109061131A - 染色图片处理方法及装置 - Google Patents
染色图片处理方法及装置 Download PDFInfo
- Publication number
- CN109061131A CN109061131A CN201810713894.7A CN201810713894A CN109061131A CN 109061131 A CN109061131 A CN 109061131A CN 201810713894 A CN201810713894 A CN 201810713894A CN 109061131 A CN109061131 A CN 109061131A
- Authority
- CN
- China
- Prior art keywords
- dye image
- generator
- image
- reversed
- arbiter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000012545 processing Methods 0.000 title abstract description 5
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000004043 dyeing Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims description 33
- 238000003364 immunohistochemistry Methods 0.000 claims description 9
- 238000010166 immunofluorescence Methods 0.000 claims description 5
- 238000010186 staining Methods 0.000 abstract description 6
- 239000000975 dye Substances 0.000 description 122
- 210000004027 cell Anatomy 0.000 description 9
- 238000011532 immunohistochemical staining Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000004069 differentiation Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 230000004087 circulation Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000012188 paraffin wax Substances 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000002509 fluorescent in situ hybridization Methods 0.000 description 2
- 230000002055 immunohistochemical effect Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 102000039446 nucleic acids Human genes 0.000 description 2
- 108020004707 nucleic acids Proteins 0.000 description 2
- 150000007523 nucleic acids Chemical class 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000003171 tumor-infiltrating lymphocyte Anatomy 0.000 description 2
- 101150076489 B gene Proteins 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 206010054949 Metaplasia Diseases 0.000 description 1
- 229920002472 Starch Polymers 0.000 description 1
- 238000010876 biochemical test Methods 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 210000004292 cytoskeleton Anatomy 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000007688 edging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000007901 in situ hybridization Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000015689 metaplastic ossification Effects 0.000 description 1
- 210000000822 natural killer cell Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 235000019698 starch Nutrition 0.000 description 1
- 239000008107 starch Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/5302—Apparatus specially adapted for immunological test procedures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Hematology (AREA)
- Urology & Nephrology (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Physics & Mathematics (AREA)
- Biotechnology (AREA)
- Medicinal Chemistry (AREA)
- Microbiology (AREA)
- Food Science & Technology (AREA)
- Cell Biology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明涉及一种染色图片处理方法及装置。所述装置包括：图像获取模块、图像预测模块及模型训练模块；所述图像获取模块用于获取第一染色图像和第二染色图像，所述第一染色图像和所述第二染色图像记载有不同类型的生物学染色信息；所述图像预测模块包括主生成器，所述主生成器用于根据所述第一染色图像预测虚拟第二染色图像；所述模型训练模块包括主判别器，所述主判别器根据所述第二染色图像判别所述虚拟第二染色图像是否真实，并将鉴别结果传送到所述主生成器，对所述主生成器进行调整训练，直至判别器无法指导生成器进一步优化。所述装置据染色情况可以有效判断细胞状态，且不需要配对数据。
Description
技术领域
本发明涉及医学图像处理技术领域，具体而言，涉及一种染色图片处理方法及装置。
背景技术
免疫组化(ImmunoHistoChemistry，免疫组织化学)是一项广泛应用于临床工作以及科学研究的技术手段，其通过染色反映待测样本的细胞形态和分子标记物的表达情况，为临床医生和科研工作者提供重要的决策信息。
随着科学研究的深入，为获取更多有用信息以便于综合决策，同一样本中需要研究的多种标记物的需求愈发明显。例如，分析肿瘤浸润淋巴细胞所处的肿瘤微环境需要研究20种以上的分子标记。然而，现有的免疫组化染色方法存在诸多缺陷，难以满足增加标记物染色指标的要求。
目前，常规的免疫组化染色方法包括双重免疫组化染色、连续切片染色、多色荧光免疫组化染色、同一组织多次染色以及基于RNA的切片染色方法。
其中，双重免疫组化染色是在同一张切片上进行两次染色，能获取的染色信息有限，在研究指标多样化的今天较为局限，且对于共同染色区域，第二次染色的标记会与第一次染色的标记重叠，二者互相干扰，使得任一染色标记的信噪比都会减小。
连续切片染色是对病理组织进行连续切片，直接将后续图像的染色信息叠加到第一张图片上。由于不同切片上的细胞不同，叠加的染色信息也来自于不同细胞，在研究分布零散的肿瘤浸润淋巴细胞以及异质性高的肿瘤时得到的结论可能存在更大的系统误差。
多色荧光免疫组化染色能够支持4～7种染色，但需要昂贵的仪器，染色流程复杂，耗时长，且染色数量也受到限制。
同一组织多次染色是使用易于洗脱的显色剂，对同一组织切片重复进行染色-洗脱的过程，并保存每一次染色的结果。该方法存在染色剂洗脱不完全、图片以及组织变形等缺陷。
基于RNA的切片染色方法，通过检测RNA的表达从侧面反映蛋白表达水平。该方法要求新鲜标本且RNA与蛋白的表达有异步性，不但对样本要求高而且检测结果可能不准确。
由此可见，现有的免疫组化染色方法不适合在同一组织切片上进行多重染色，或者，多重染色的成本过高且染色指标的种类数量受限制。因此，本领域亟待提供一种临床上可接受的、性价比高的、能够在同一组织切片上实现多重染色的方法，尤其是能够对7种以上指标同时进行标定的染色方法。
有鉴于此，特提出本发明。
发明内容
本发明的目的在于提供一种在没有配对数据的情况下可以训练模型进行虚拟染色的模型和方法。
在本发明中，配对数据指：输入和输出有确切映射关系的数据(如回归、分类问题中的特征与目标)。
虚拟染色指：一种在不需要生化实验的情况下，利用计算机模拟，预测细胞着色分布的方法。
模型稳定指：连续若干次迭代内损失函数不再下降且输出结果符合预期；若输出结果不能被接受，则需要调整参数后重新训练。
为了实现本发明的上述目的，特采用以下技术方案：
本发明涉及一种染色图片处理装置，其包括：
图像获取模块、图像预测模块及模型训练模块；
所述图像获取模块用于获取第一染色图像和第二染色图像，所述第一染色图像和所述第二染色图像记载有不同类型的生物学染色信息；
所述图像预测模块包括主生成器，所述主生成器用于根据所述第一染色图像预测虚拟第二染色图像；
所述模型训练模块包括主判别器，所述主判别器根据所述第二染色图像判别所述虚拟第二染色图像是否真实，并将鉴别结果传送到所述主生成器，对所述主生成器进行调整训练，直至所述主判别器无法继续指导所述主生成器进一步优化。
在一些实施方式中，生成器的内部结构可以采用卷积神经网络；
在一些实施方式中，判别器的内部结构可以采用BLSTM结构模型；判别器可以为二分类器。
模型中，第一染色图像通过主生成器并经过主判别器的校验后可以生成第二染色图像。经过循环，可以更好地得到生成器模型。
优选的，如上所述的装置，所述图像预测模块还包括反向生成器，所述模型训练模块还包括第一重构损失模块；
所述反向生成器用于根据所述虚拟第二染色图像预测重构第一染色图像；
所述第一重构损失模块根据所述第一染色图像判别所述重构第一染色图像是否真实，并将鉴别结果传送到所述主生成器和/或所述反向生成器，对所述主生成器和/或所述反向生成器进行调整训练，直至所述第一重构损失模块无法继续指导所述主生成器和/或所述反向生成器进一步优化。
优选的，如上所述的装置，所述模型训练模块还包括反向判别器；
所述反向生成器还用于根据所述第二染色图像预测虚拟第一染色图像；
所述反向判别器根据所述第一染色图像判别所述虚拟第一染色图像是否真实，并将鉴别结果传送到所述反向生成器，对所述反向生成器进行调整训练，直至所述反向判别器无法继续指导所述反向生成器进一步优化。
优选的，如上所述的装置，所述模型训练模块还包括第二重构损失模块；
所述主生成器还用于根据所述虚拟第一染色图像预测重构第二染色图像；
所述第二重构损失模块根据所述第二染色图像判别所述重构第二染色图像是否真实，并将鉴别结果传送到所述主生成器和/或所述反向生成器，对所述主生成器和/或所述反向生成器进行调整训练，直至所述第二重构损失模块无法继续指导所述主生成器和/或所述反向生成器进一步优化。
优选的，如上所述的装置，所述图像预测模块还包括反向生成器，所述模型训练模块还包括反向判别器；
所述反向生成器用于根据所述第二染色图像预测虚拟第一染色图像；
所述反向判别器根据所述第一染色图像判别所述虚拟第一染色图像是否真实，并将鉴别结果传送到所述反向生成器，对所述反向生成器进行调整训练，直至所述反向判别器无法继续指导所述反向生成器进一步优化。
优选的，如上所述的装置，所述图像获取模块的功能还包括：
将所述第一染色图像和所述第二染色图像分割成多个子图。
优选的，如上所述的装置，所述生物学染色信息包括细胞或组织的免疫组化或免疫荧光染色信息。
在一些具体的实施方式中，所述生物学染色信息可以获取自组织切片、细胞涂片或细胞爬片；
在一些具体的实施方式中，免疫组化或免疫荧光的染色对象可以选自组织或细胞，具体如结缔组织细胞核、细胞质、细胞骨架；也可以为具体某种蛋白或某(些)段核酸片段的染色信息；或者为对某种类型的糖类、脂类以及类淀粉蛋白等进行染色。
染色的方法可以为免疫组织化学、ISH、FISH、HE染色等本领域技术人员公知的技术手段。
在一些具体的实施方式中，所述第一染色图像和所述第二染色图像的样品来源为同类样品或非同类样品，所述非同类样品中包含同类细胞；
在一些具体的实施方式中，所述第一染色图像和所述第二染色图像的样品来源为同类样品，优选地，为相同受试者的同类样品；更优选地，所述相同受试者的同类样品为相同受试者的临近组织。
例如第一染色图像为HE图像，第二染色图像为免疫组织化学染色图像；在此实例中，优选地，第一染色图像与第二染色图像为来自同一样本的连续切片；更优选地，第二染色图像为含有标记物PanCK或LCA的免疫组化染色图像。
例如第一染色图像为脑石蜡切片的HE染色图像，第一染色图像脑冰冻切片的masson染色图像；在此实例中，第一染色图像与第二染色图像的拍摄位置优选位于同一脑区(例如均位于杏仁体基地外侧核)，更优选位于同一位置(即距离前囟点同一坐标位置附近)的脑冰冻切片；在此实例中，第一染色图像更优选也为冰冻切片染色图像；
例如第一染色图像为肝脏的石蜡切片的Van Gieson染色图像，第二染色图像为肝脏的石蜡切片的免疫组织荧光染色图像(通常针对某种蛋白或某种核酸)；
例如第一染色图像为神经元的A蛋白的免疫荧光染色图像，第二染色图像为同类型神经元的B蛋白的免疫荧光染色图像；
例如第一染色图像为NK细胞的A蛋白的免疫荧光染色图像，第二染色图像为NK细胞的B基因的FISH染色图像。
通常上述第一染色图像和第二染色图像经过相同的处理，例如其样本来源经过相同的行为学训练，或患有相同类型的疾病，或注射过同样的药剂，以使得预测结果更加准确，也更有意义。
根据本发明的一方面，本发明还涉及染色图片处理方法，包括：
1).运行如上所述的装置生成对抗网络训练直到模型稳定后导出所述主生成器；
2).利用所述主生成器对与所述第一染色图像具有相同生物学染色信息的样本进行虚拟染色。
在一些具体的实施方式中，所述方法为非诊断目的；例如获得细胞类型、数量、分布或位置关系的分析结果。
优选的，如上所述的方法，在步骤1)训练模型时，首先对判别器进行初始化，在保持判别器不变的前提下训练生成器，直至生成器得到的虚拟染色图像与真实图像尽可能相似；在经过迭代次数的训练后，保持生成器不变训练判别器，直至判别器可以更好地区分真实图像与虚拟图像。
优选的，如上所述的方法，步骤2)还包括，采用邻域集成的方法，优化最终输出的图像。
对于待预测的图像，可以首先根据其尺寸补齐边缘，训练出的预测模型输入大小为a*b。在预测过程中，若滑动窗口步长为x，则待预测图像的每个像素点会被预测ab/x2次。最终输出结果中，该像素点的值取这ab/x2个预测结果的平均值，可以有效消除个别错误的预测结果带来的影响，使最终得到的结果更为可靠。
与现有技术相比，本发明的有益效果为：
(1)可以根据第一染色图像预测该图的第二染色情况，根据染色情况可以有效判断细胞状态，且不需要配对数据。
(2)可以辅助医生更好地从染色图像中获取信息并进行诊断。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中所提供的装置运作流程图；
图2为本发明实施例2中所提供的装置运作流程图；
图3为本发明实施例3中所提供的装置运作流程图；
图4为本发明实施例4中所提供的装置运作流程图；
图5为本发明实施例5中所提供的装置运作流程图；
图6为本发明实施例7中所提供的HE图像示意图；
图7为本发明实施例7中所提供的PanCK染色图像示意图；
图8为本发明实施例7中所提供的HE图像示意图(第一染色图像)；
图9为图8经过主生成器预测后得到的虚拟PanCK染色预测结果；
图10为本发明实施例7中配准后的PanCK染色图像；
图11为本发明实施例7中虚拟PanCK染色预测结果图像；
图12为本发明实施例7中真实图像的PanCK染色通道图像；
图13为本发明实施例7中虚拟染色的PanCK通道图像；
图14为本发明实施例7中实际使用过程的流程图。
具体实施方式
下面将结合实施例对本发明的实施方案进行详细描述，但是本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市购获得的常规产品。
实施例1
在本实施例中，提供了一种虚拟染色装置。
所述装置包括图像获取模块、主生成器以及主判别器；
所述图像获取模块用于获取第一染色图像和第二染色图像，所述第一染色图像和所述第二染色图像记载有不同类型的生物学染色信息；
所述装置的运行方式如图1所示，所述第一染色图像通过所述主生成器得到所述虚拟第二染色图像；
所述主判别器根据所述第二染色图像与所述虚拟第二染色图像的传入信息，对所述主生成器进行矫正，使得所述第二染色图像与所述虚拟第二染色图像之间的差距逐渐缩小，从而使得所述主生成器的结果更加稳定，即所述第一染色图像能够生成得到更接近于所述第二染色图像的虚拟第二染色图像。
所述装置可以运行多个循环，直到模型稳定为止。
实施例2
在实施例1的基础上，本发明实施例2提供一种更优选的实施方式：
所述装置还包括反向生成器和第一重构损失模块；
所述装置的运行方式如图2所示，所述虚拟第二染色图像在所述反向生成器的处理下预测重构第一染色图像；
所述第一重构损失模块根据所述第一染色图像判别所述重构第一染色图像是否真实，并将鉴别结果传送到所述主生成器和/或所述反向生成器，对所述主生成器和/或所述反向生成器进行调整训练，直至所述第一重构损失模块无法判别所述第一染色图像与所述重构第一染色图像的区别。
重复上述过程，直到模型稳定为止。
此实施例对反向生成器的初始性能有较高的要求(可以认为反向生成器已经为成熟的生成器)，但可大幅提升对主生成器的训练效率。
实施例3
在实施例2的基础上，本发明实施例3提供一种更优选的实施方式：
如图3所示，所述装置还包括反向判别器；
所述反向生成器还用于根据所述第二染色图像预测虚拟第一染色图像；
所述反向判别器根据所述第一染色图像判别所述虚拟第一染色图像是否真实，并将鉴别结果传送到所述反向生成器，对所述反向生成器进行调整训练，直至所述反向判别器无法判别所述第一染色图像与所述虚拟第一染色图像的区别。
重复上述过程，直到模型稳定为止。
经过上述装置的优化，对反向生成器的初始性能要求有所降低，并进一步地加快对主生成器的训练。容易知晓，本模型也可以用于反向生成器的训练，从而根据第二染色图像预测第一染色图像。
实施例4
在实施例3的基础上，本发明实施例4提供一种更优选的实施方式：
如图4所示，所述装置还包括第二重构损失模块；
所述主生成器还用于根据所述虚拟第一染色图像预测重构第二染色图像；
所述第二重构损失模块根据所述第二染色图像判别所述重构第二染色图像是否真实，并将鉴别结果传送到所述主生成器和/或所述反向生成器，对所述主生成器和/或所述反向生成器进行调整训练，直至所述第二重构损失模块无法判别所述第二染色图像与所述重构第二染色图像的区别。重复上述过程，直到模型稳定为止。经过上述装置的优化，本装置可实现对主生成器和反向生成器的同时训练，并且这种训练可达到较佳的效率，两套训练过程可互相促进。
实施例5
在实施例1的基础上，本发明实施例5提供一种更优选的实施方式：
该实施例较实施例3和4更为简化。
如图5所示，所述装置还包括反向生成器和反向判别器；
所述反向生成器用于根据所述第二染色图像预测虚拟第一染色图像；
所述反向判别器根据所述第一染色图像判别所述虚拟第一染色图像是否真实，并将鉴别结果传送到所述反向生成器，对所述反向生成器进行调整训练，直至所述反向判别器无法判别所述第一染色图像与所述虚拟第一染色图像的区别。
重复上述过程，直到模型稳定为止。
本实施例也可同时实现对主生成器和反向生成器的同时训练，但训练效率较实施例4有所不足。
实施例6
本实施例提供染色图片处理方法：
1).运行实施例1～5任一项所述的装置生成对抗网络训练直到模型稳定后导出所述主生成器；
2).利用所述主生成器对与所述第一染色图像具有相同生物学染色信息的样本进行虚拟染色，得到虚拟第二染色图像。
训练模型时，首先对判别器进行初始化，根据这一结果，在保持判别器不变的前提下，训练生成器，希望通过生成器得到的虚拟染色图像与真实图像尽可能相似；在经过一定迭代次数的训练后，保持生成器不变，训练判别器，希望判别器可以更好地区分真实图像与虚拟图像。循环进行上述过程，直到模型稳定，导出主生成器，即所需的预测模型。
对于同类型(例如染色类型一致，组织类型也一致)的第一染色图像和第二染色图像，在实际使用时，可直接采用主生成器进行图像预测。
部分实施例(3、4、5)也可以训练反向生成器，对于生成的虚拟第二染色图像也可以采用邻域集成的方法，优化最终输出的图像。
实施例7
本实施例以实施例4的装置为例进行实际操作。在本实施例中，第一染色图像记载的为HE染色图像信息，第二染色图像记载的为含标记物PanCK的免疫组化染色图像信息。
1.首先，获取多个病人的HE染色图像及PanCK染色图像。对于全切片的染色图像，随机截取256*256的子图，得到15000张HE染色图像及15000张PanCK染色图像，用于训练Cycle-GAN模型。
HE图像示意图如图6所示；PanCK染色图像示意图如图7所示。
2.筛选出质量较好(没有失焦、模糊、污染等情况)的图像数据，用于下一步的模型训练。
3.循环对抗生成网络训练。采用含有9个residual blocks的模型。该网络包含两个步长为2的卷积，若干个残差块和两个步长为1/2的卷积。在256*256的图像上，网络包含9个模块。.
训练流程图如图4所示。
在模型训练的过程中，若在迭代100000轮之后网络仍无法达到稳定，则需要重新训练；若在100000轮之内，连续6轮迭代中损失函数不再下降，且输出结果达到可接受标准，则认为模型训练成功，可以输出模型。
4.模型稳定后，可以得到根据HE染色图像预测虚拟PanCK染色的模型(即主生成器)。
5.在得到模型后，对于给定HE图像，首先用0值补齐边缘，之后将其切分为大小为256*256、步长为64的子图，并对子图使用生成器模型进行预测，得到预测结果。
6.在此结果基础上，采用邻域集成的方法，对于每个像素点，在步骤5中，原图的每个像素点会被预测16次，得到16个结果，采用这16个结果的平均值作为输出结果，将结果合并，得到PanCK虚拟染色。
实际使用过程的流程图如图14所示。
HE染色图像如图8所示，其经过生成器预测后得到的虚拟PanCK染色预测结果如图9所示。
7.性能评价：我们将相邻切片进行PanCK染色，并将PanCK切片与HE切片进行配准。配准后提取染色阳性区域进行统计评价。
按阳性像素统计，预测的准确率为71.0％，召回率为77.6％，F1-score为74.1％
配准后的PanCK染色图像如图10所示；虚拟PanCK染色预测结果如图11所示；真实图像的PanCK染色通道如图12所示；虚拟染色的PanCK通道如图13所示。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，但本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种染色图片处理装置，其包括：
图像获取模块、图像预测模块及模型训练模块；
所述图像获取模块用于获取第一染色图像和第二染色图像，所述第一染色图像和所述第二染色图像记载有不同类型的生物学染色信息；
所述图像预测模块包括主生成器，所述主生成器用于根据所述第一染色图像预测虚拟第二染色图像；
所述模型训练模块包括主判别器，所述主判别器根据所述第二染色图像判别所述虚拟第二染色图像是否真实，并将鉴别结果传送到所述主生成器，对所述主生成器进行调整训练，直至所述主判别器无法继续指导所述主生成器进一步优化。
2.根据权利要求1所述的装置，其特征在于，所述图像预测模块还包括反向生成器，所述模型训练模块还包括第一重构损失模块；
所述反向生成器用于根据所述虚拟第二染色图像预测重构第一染色图像；
所述第一重构损失模块根据所述第一染色图像判别所述重构第一染色图像是否真实，并将鉴别结果传送到所述主生成器和/或所述反向生成器，对所述主生成器和/或所述反向生成器进行调整训练，直至所述第一重构损失模块无法继续指导所述主生成器和/或所述反向生成器进一步优化。
3.根据权利要求2所述的装置，其特征在于，所述模型训练模块还包括反向判别器；
所述反向生成器还用于根据所述第二染色图像预测虚拟第一染色图像；
所述反向判别器根据所述第一染色图像判别所述虚拟第一染色图像是否真实，并将鉴别结果传送到所述反向生成器，对所述反向生成器进行调整训练，直至所述反向判别器无法继续指导所述反向生成器进一步优化。
4.根据权利要求3所述的装置，其特征在于，所述模型训练模块还包括第二重构损失模块；
所述主生成器还用于根据所述虚拟第一染色图像预测重构第二染色图像；
所述第二重构损失模块根据所述第二染色图像判别所述重构第二染色图像是否真实，并将鉴别结果传送到所述主生成器和/或所述反向生成器，对所述主生成器和/或所述反向生成器进行调整训练，直至所述第二重构损失模块无法继续指导所述主生成器和/或所述反向生成器进一步优化。
5.根据权利要求1所述的装置，其特征在于，所述图像预测模块还包括反向生成器，所述模型训练模块还包括反向判别器；
所述反向生成器用于根据所述第二染色图像预测虚拟第一染色图像；
所述反向判别器根据所述第一染色图像判别所述虚拟第一染色图像是否真实，并将鉴别结果传送到所述反向生成器，对所述反向生成器进行调整训练，直至所述反向判别器继续指导所述反向生成器进一步优化。
6.根据权利要求1～5任一项所述的装置，其特征在于，所述图像获取模块的功能还包括：
将所述第一染色图像和所述第二染色图像分割成多个子图。
7.根据权利要求1～5任一项所述的装置，其特征在于，所述生物学染色信息包括细胞或组织的免疫组化或免疫荧光染色信息。
8.染色图片处理方法，其特征在于，包括：
1).运行权利要求1～7任一项所述的装置生成对抗网络训练直到模型稳定后导出所述主生成器；
2).利用所述主生成器对与所述第一染色图像具有相同生物学染色信息的样本进行虚拟染色。
9.根据权利要求8所述的方法，其特征在于，在步骤1)训练模型时，首先对判别器进行初始化，在保持判别器不变的前提下训练生成器，直至生成器得到的虚拟染色图像与真实图像尽可能相似；在经过迭代次数的训练后，保持生成器不变训练判别器，直至判别器可以更好地区分真实图像与虚拟图像。
10.根据权利要求8所述的方法，其特征在于，步骤2)还包括，采用邻域集成的方法，优化最终输出的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810713894.7A CN109061131A (zh) | 2018-06-29 | 2018-06-29 | 染色图片处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810713894.7A CN109061131A (zh) | 2018-06-29 | 2018-06-29 | 染色图片处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109061131A true CN109061131A (zh) | 2018-12-21 |
Family
ID=64818897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810713894.7A Pending CN109061131A (zh) | 2018-06-29 | 2018-06-29 | 染色图片处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109061131A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263801A (zh) * | 2019-03-08 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 图像处理模型生成方法及装置、电子设备 |
| CN110390678A (zh) * | 2019-06-14 | 2019-10-29 | 广东省人民医院(广东省医学科学院) | 一种结直肠癌ihc染色图像的组织类型分割方法 |
| CN110838094A (zh) * | 2019-11-06 | 2020-02-25 | 杭州迪英加科技有限公司 | 病理切片染色风格转换方法和电子设备 |
| CN111180048A (zh) * | 2019-12-30 | 2020-05-19 | 上海研境医疗科技有限公司 | 肿瘤成分标注方法、装置、设备及存储介质 |
| CN112001329A (zh) * | 2020-08-26 | 2020-11-27 | 东莞太力生物工程有限公司 | 蛋白表达量的预测方法、装置、计算机设备和存储介质 |
| WO2021052063A1 (en) * | 2019-09-19 | 2021-03-25 | The Hong Kong University Of Science And Technology | Slide-free histological imaging method and system |
| CN114596298A (zh) * | 2022-03-16 | 2022-06-07 | 华东师范大学 | 基于高光谱成像的精标注数字病理数据集自动生成方法 |
| EP4177826A1 (en) * | 2021-11-05 | 2023-05-10 | Technische Universität Dresden | Method and system for simulating and predicting histological staining of a tissue section |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102227747A (zh) * | 2008-11-27 | 2011-10-26 | 皇家飞利浦电子股份有限公司 | 产生未染色生物标本的多色图像 |
| CN103460224A (zh) * | 2010-12-07 | 2013-12-18 | 生命科技公司 | 虚拟细胞染色 |
| US20170200265A1 (en) * | 2016-01-11 | 2017-07-13 | Kla-Tencor Corporation | Generating simulated output for a specimen |
| CN107220929A (zh) * | 2017-06-23 | 2017-09-29 | 深圳市唯特视科技有限公司 | 一种使用循环一致对抗网络的非成对图像转化方法 |
| US20170351952A1 (en) * | 2016-06-01 | 2017-12-07 | Kla-Tencor Corporation | Systems and methods incorporating a neural network and a forward physical model for semiconductor applications |
-
2018
- 2018-06-29 CN CN201810713894.7A patent/CN109061131A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102227747A (zh) * | 2008-11-27 | 2011-10-26 | 皇家飞利浦电子股份有限公司 | 产生未染色生物标本的多色图像 |
| CN103460224A (zh) * | 2010-12-07 | 2013-12-18 | 生命科技公司 | 虚拟细胞染色 |
| US20170200265A1 (en) * | 2016-01-11 | 2017-07-13 | Kla-Tencor Corporation | Generating simulated output for a specimen |
| US20170351952A1 (en) * | 2016-06-01 | 2017-12-07 | Kla-Tencor Corporation | Systems and methods incorporating a neural network and a forward physical model for semiconductor applications |
| CN107220929A (zh) * | 2017-06-23 | 2017-09-29 | 深圳市唯特视科技有限公司 | 一种使用循环一致对抗网络的非成对图像转化方法 |
Non-Patent Citations (2)
| Title |
|---|
| ERIK A. BURLINGAME等: "SHIFT: speedy histopathological-to-immunofluorescent translation of whole slide images using conditional generative adversarial networks", 《PROC. SPIE INT. SOC. OPT. ENG.》 * |
| M TAREK SHABAN等: "StainGAN: Stain Style Transfer for Digital Histological Images", 《ARXIV》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263801B (zh) * | 2019-03-08 | 2022-07-08 | 腾讯医疗健康(深圳)有限公司 | 图像处理模型生成方法及装置、电子设备 |
| CN110490247A (zh) * | 2019-03-08 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 图像处理模型生成方法、图像处理方法及装置、电子设备 |
| CN110490247B (zh) * | 2019-03-08 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 图像处理模型生成方法、图像处理方法及装置、电子设备 |
| CN110263801A (zh) * | 2019-03-08 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 图像处理模型生成方法及装置、电子设备 |
| CN110390678A (zh) * | 2019-06-14 | 2019-10-29 | 广东省人民医院(广东省医学科学院) | 一种结直肠癌ihc染色图像的组织类型分割方法 |
| WO2021052063A1 (en) * | 2019-09-19 | 2021-03-25 | The Hong Kong University Of Science And Technology | Slide-free histological imaging method and system |
| CN110838094A (zh) * | 2019-11-06 | 2020-02-25 | 杭州迪英加科技有限公司 | 病理切片染色风格转换方法和电子设备 |
| CN111180048A (zh) * | 2019-12-30 | 2020-05-19 | 上海研境医疗科技有限公司 | 肿瘤成分标注方法、装置、设备及存储介质 |
| CN111180048B (zh) * | 2019-12-30 | 2024-02-06 | 上海镜观生物科技有限公司 | 肿瘤成分标注方法、装置、设备及存储介质 |
| CN112001329A (zh) * | 2020-08-26 | 2020-11-27 | 东莞太力生物工程有限公司 | 蛋白表达量的预测方法、装置、计算机设备和存储介质 |
| WO2023079053A1 (en) * | 2021-11-05 | 2023-05-11 | Technische Universität Dresden | Method and system for simulating and predicting histological staining of a tissue section |
| EP4177826A1 (en) * | 2021-11-05 | 2023-05-10 | Technische Universität Dresden | Method and system for simulating and predicting histological staining of a tissue section |
| CN114596298A (zh) * | 2022-03-16 | 2022-06-07 | 华东师范大学 | 基于高光谱成像的精标注数字病理数据集自动生成方法 |
| US11763453B1 (en) | 2022-03-16 | 2023-09-19 | East China Normal University | Automatic generation method of fine-labeled digital pathological data set based on hyperspectral imaging |
| CN114596298B (zh) * | 2022-03-16 | 2022-11-15 | 华东师范大学 | 基于高光谱成像的精标注数字病理数据集自动生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109061131A (zh) | 染色图片处理方法及装置 | |
| Aeffner et al. | Introduction to digital image analysis in whole-slide imaging: a white paper from the digital pathology association | |
| JP7231631B2 (ja) | 腫瘍空間異質性およびインターマーカ異質性の計算方法 | |
| US11004199B2 (en) | Automated stereology for determining tissue characteristics | |
| KR102583103B1 (ko) | 계산 검출 방법들을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들 | |
| Baker et al. | Investigating FTIR based histopathology for the diagnosis of prostate cancer | |
| EP0248840B1 (en) | An apparatus and method for analyses of biological specimens | |
| US8320655B2 (en) | Process and system for analyzing the expression of biomarkers in cells | |
| EP0314293B1 (en) | A kit and method for analyses of biological specimens | |
| US11631171B2 (en) | Automated detection and annotation of prostate cancer on histopathology slides | |
| ES2804770T3 (es) | Análisis de vasos en imágenes multiplexadas | |
| BRPI0610115B1 (pt) | Método de coloração de uma amostra para formação de imagem microscópica, método de colorir artificialmente uma amostra, método de obtenção de medidas de uma amostra deuma imagem dela, método de selecionar uma região de interesse em uma lâmina, método de determinação de dados de densidade óptica e método de separação de cromógenos para aimagem de amostra biológica colorida | |
| CN107209092A (zh) | 用于中间解剖的系统和方法 | |
| CN110504032A (zh) | 基于苏木精-伊红染片的图像处理来预测肿瘤突变负荷的方法 | |
| Gallego et al. | A U-Net based framework to quantify glomerulosclerosis in digitized PAS and H&E stained human tissues | |
| CN108319815B (zh) | 一种用于细胞虚拟染色的方法及其系统 | |
| WO2023121846A1 (en) | Adversarial robustness of deep learning models in digital pathology | |
| CN117670794A (zh) | 一种基于深度学习的tls病理检测方法、装置及介质 | |
| Effland et al. | Joint reconstruction and classification of tumor cells and cell interactions in melanoma tissue sections with synthesized training data | |
| US20220375606A1 (en) | Systems and methods for machine learning (ml) model diagnostic assessments based on digital pathology data | |
| CN117425912A (zh) | 将组织化学染色图像转换成合成免疫组织化学(ihc)图像 | |
| Latonen et al. | Virtual staining for histology by deep learning | |
| WO2018131091A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| Guerrero et al. | Improvements in lymphocytes detection using deep learning with a preprocessing stage | |
| He et al. | Computer-aided pathological annotation framework: A deep learning-based diagnostic algorithm of lung cancer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181221 |