CN114693692A - 一种病理图像分割分级方法、装置、设备和介质 - Google Patents
一种病理图像分割分级方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN114693692A CN114693692A CN202210330890.7A CN202210330890A CN114693692A CN 114693692 A CN114693692 A CN 114693692A CN 202210330890 A CN202210330890 A CN 202210330890A CN 114693692 A CN114693692 A CN 114693692A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- network
- image
- pathological
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003709 image segmentation Methods 0.000 title claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000003902 lesion Effects 0.000 claims abstract description 32
- 238000010186 staining Methods 0.000 claims abstract description 25
- 239000003550 marker Substances 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 238000004393 prognosis Methods 0.000 claims abstract description 12
- 206010027476 Metastases Diseases 0.000 claims abstract description 6
- 230000009401 metastasis Effects 0.000 claims abstract description 6
- 206010028980 Neoplasm Diseases 0.000 claims description 30
- 201000011510 cancer Diseases 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 10
- 102100038970 Histone-lysine N-methyltransferase EZH2 Human genes 0.000 claims description 9
- 101000882127 Homo sapiens Histone-lysine N-methyltransferase EZH2 Proteins 0.000 claims description 9
- 238000004043 dyeing Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 108010074708 B7-H1 Antigen Proteins 0.000 claims description 5
- 102000008096 B7-H1 Antigen Human genes 0.000 claims description 5
- 238000013399 early diagnosis Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 102100026882 Alpha-synuclein Human genes 0.000 claims description 3
- 102000006311 Cyclin D1 Human genes 0.000 claims description 3
- 108010058546 Cyclin D1 Proteins 0.000 claims description 3
- 101000834898 Homo sapiens Alpha-synuclein Proteins 0.000 claims description 3
- 101000611936 Homo sapiens Programmed cell death protein 1 Proteins 0.000 claims description 3
- 101000652359 Homo sapiens Spermatogenesis-associated protein 2 Proteins 0.000 claims description 3
- 102000052116 epidermal growth factor receptor activity proteins Human genes 0.000 claims description 3
- 108700015053 epidermal growth factor receptor activity proteins Proteins 0.000 claims description 3
- YOHYSYJDKVYCJI-UHFFFAOYSA-N n-[3-[[6-[3-(trifluoromethyl)anilino]pyrimidin-4-yl]amino]phenyl]cyclopropanecarboxamide Chemical compound FC(F)(F)C1=CC=CC(NC=2N=CN=C(NC=3C=C(NC(=O)C4CC4)C=CC=3)C=2)=C1 YOHYSYJDKVYCJI-UHFFFAOYSA-N 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims 3
- 238000010827 pathological analysis Methods 0.000 abstract description 5
- 229940079593 drug Drugs 0.000 abstract description 3
- 239000003814 drug Substances 0.000 abstract description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 30
- 230000008569 process Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 11
- 210000001519 tissue Anatomy 0.000 description 11
- 210000004027 cell Anatomy 0.000 description 10
- 230000004069 differentiation Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 108090000623 proteins and genes Proteins 0.000 description 8
- 210000003855 cell nucleus Anatomy 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 7
- 102000004169 proteins and genes Human genes 0.000 description 7
- 238000012827 research and development Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 210000000805 cytoplasm Anatomy 0.000 description 5
- 239000000975 dye Substances 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000001086 cytosolic effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 108020004414 DNA Proteins 0.000 description 3
- 239000002253 acid Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 210000004940 nucleus Anatomy 0.000 description 3
- 238000011022 operating instruction Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 208000000102 Squamous Cell Carcinoma of Head and Neck Diseases 0.000 description 2
- 239000000980 acid dye Substances 0.000 description 2
- 230000002378 acidificating effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- DZGCGKFAPXFTNM-UHFFFAOYSA-N ethanol;hydron;chloride Chemical compound Cl.CCO DZGCGKFAPXFTNM-UHFFFAOYSA-N 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000000987 immune system Anatomy 0.000 description 2
- 150000002500 ions Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000007447 staining method Methods 0.000 description 2
- 239000012192 staining solution Substances 0.000 description 2
- 208000023275 Autoimmune disease Diseases 0.000 description 1
- 241000209639 Biancaea sappan Species 0.000 description 1
- 206010005003 Bladder cancer Diseases 0.000 description 1
- 235000015162 Caesalpinia sappan Nutrition 0.000 description 1
- 108010077544 Chromatin Proteins 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 208000003445 Mouth Neoplasms Diseases 0.000 description 1
- 229930182559 Natural dye Natural products 0.000 description 1
- 108091007744 Programmed cell death receptors Proteins 0.000 description 1
- 210000001744 T-lymphocyte Anatomy 0.000 description 1
- 102000044209 Tumor Suppressor Genes Human genes 0.000 description 1
- 108700025716 Tumor Suppressor Genes Proteins 0.000 description 1
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000003513 alkali Substances 0.000 description 1
- 239000012670 alkaline solution Substances 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 150000001450 anions Chemical class 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000981 basic dye Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 150000001768 cations Chemical class 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000003483 chromatin Anatomy 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000012303 cytoplasmic staining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000002222 downregulating effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 201000010536 head and neck cancer Diseases 0.000 description 1
- 208000014829 head and neck neoplasm Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000005260 human cell Anatomy 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000899 immune system response Effects 0.000 description 1
- 238000011532 immunohistochemical staining Methods 0.000 description 1
- 238000012308 immunohistochemistry method Methods 0.000 description 1
- 230000001506 immunosuppresive effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002147 killing effect Effects 0.000 description 1
- 208000012987 lip and oral cavity carcinoma Diseases 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 239000000978 natural dye Substances 0.000 description 1
- 238000012758 nuclear staining Methods 0.000 description 1
- 239000002773 nucleotide Substances 0.000 description 1
- 125000003729 nucleotide group Chemical group 0.000 description 1
- 230000002018 overexpression Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 125000002467 phosphate group Chemical group [H]OP(=O)(O[H])O[*] 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- -1 prostate Diseases 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000008399 tap water Substances 0.000 description 1
- 235000020679 tap water Nutrition 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 201000005112 urinary bladder cancer Diseases 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提供的一种病理图像分割分级方法、装置和设备，通分将包含特异性病理染色标志物的原始病理图像进行经过HE‑Norm处理，分别得到H通道图像和E通道图像，并分别进行数据增强处理与标准化处理；输入卷积神经网络模型中以进行病变区域自动分割得到分割结果；将图像与分割结果输入分类器以得到病变程度的分级结果；根据分割结果和分级结果生成对应不同病变等级的分割图像。本申请能提高病理诊断的效率和准确性，对转移判断、预后预测、用药指导等进行支持，提高临床科室产能的同时为患者带来福音。
Description
技术领域
本发明涉及机器学习技术领域，特别是涉及一种病理图像分割分级方法、装置和设备。
背景技术
病理学诊断一直是临床上恶性肿瘤诊断和分型的“金标准”，但病理医生的人工读片面对主观性高、重复性低、定量及信息利用度不足、耗时及劳动强度和知识经验传承困难等问题。目前中国医疗卫生机构床位数已达千万级别，病理医生需求量为10-20万人，目前存在10万人数级别的缺口。从近年来的肿瘤病人出院人数情况来看，肿瘤病人就诊人数呈现出爆发式的增长，年均增长率超过10％。
目前，形态病理学诊断依赖于人工判读，这一过程不仅耗费人工，且准确性极度依赖于病理专业医生的判读水平和经验。随着人工智能的技术的发展和完善，以反卷积为代表的AI算法在图像解析识别等领域迅速崛起，为病理图像的智能判断提供了技术基础。
病理图像的智能诊断包括深度学习应用卷积网络提取特征，再结合全接连层等，来完成分类和预测，然而其应用受到了以下限制：1、特征建模阶段受限于数据集的规模；2、没有从自动读片到预后预测的全流程系统；3、缺乏可靠的分子标记物。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种病理图像分割分级方法、装置和设备，以解决现有技术中的问题。
为实现上述目的及其他相关目的，本申请提供一种病理图像分割分级方法，所述方法包括：将包含特异性病理染色标志物的原始病理图像进行经过HE-Norm处理，分别得到H通道图像和E通道图像，并分别进行数据增强处理与标准化处理；输入卷积神经网络模型中以进行病变区域自动分割得到分割结果；将图像与分割结果输入分类器以得到病变程度的分级结果；根据分割结果和分级结果生成对应不同病变等级的分割图像。
于本申请的一实施例中，所述特异性病理染色标志物是基于多个中心大数据筛选出能对癌细胞进行早期诊断或转移预后预测的特异性病理标志物，再通过染色处理得到的。
于本申请的一实施例中，所述特异性病理标志物包括：PD1、PD-L1、EZH2、EGFR、Cyclin D1及CD166中任意一种或多种。
于本申请的一实施例中，，所述数据增强处理的操作包括：无翻转、水平翻转、竖直翻转、及旋转中任意一种或多种组合。
于本申请的一实施例中，所述标准化处理包括：染色前，使用同一厂商的同一染色剂；染色后，统一观察样本的时间、统一将H通道图像和E通道图像调整至预设大小。
于本申请的一实施例中所述卷积神经网络模型包括：UNet网络和ResNet34网络；所述UNet网络通过多任务的训练用于实现病变区域自动分割；所述ResNet34网络为分类网络，用于结合所述UNet网络的分割结果进行分级。
于本申请的一实施例中所述UNet网络用于：输入处理后的H通道图像和E通道图像的叠加图；利用UNet网络对所述叠加图进行癌巢区域的勾画，使用Dice Loss作为损失函数，以训练对癌巢病变区域的自动分割；利用UNet编码器得到的特征按染色程度进行三级分类，使用Cross Entropy Loss作为损失函数，以供UNet网络学习更多分级的语义特征；其中，所述UNet网络的训练使用Adam优化器进行参数优化。
于本申请的一实施例中，所述ResNet34网络用于：输入依据UNet网络对癌巢区域的分割结果与叠加图；利用ResNet34网络将各分割结果映射至叠加图，以得到分别对应多个等级的概率向量，依据所对应最高等级的概率向量对癌巢区域的分割结果进行分级训练；其中，所述ResNet34网络的训练使用Cross Entropy Loss作为损失函数，使用Adam优化器进行参数优化。
为实现上述目的及其他相关目的，本申请提供一种病理图像分割分级装置，所述装置包括：归一化模块，用于将包含特异性病理染色标志物的原始病理图像进行经过HE-Norm处理，分别得到H通道图像和E通道图像，并分别进行标准化处理与数据增强处理；训练模块，用于输入卷积神经网络模型中以进行病变区域自动分割得到分割结果；将图像与分割结果输入分类器以得到病变程度的分级结果；根据分割结果和分级结果生成对应不同病变等级的分割图像。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述系统的功能。
综上所述，本申请的一种病理图像分割分级方法、装置和设备，具有以下有益效果：
本申请结合特异性肿瘤相关分子标记物，创新性的采用了与人工智能结合进行判读的技术，实现肿瘤智能分子诊断装备的研发，充分结合了病理图像的自动化采集、基于神经网络的特征提取和建模、基于数学模型的预后预测等技术，对于人工智能肿瘤分型系统的研发和产业化有重要意义，本申请能提高病理诊断的效率和准确性，对转移判断、预后预测、用药指导等进行支持，提高临床科室产能的同时为患者带来福音。
附图说明
图1显示为本申请于一实施例中病理图像分割分级方法的流程示意图。
图2显示为本申请于一实施例中UNet网络结构的模型示意图。
图3显示为本申请于一实施例中EZH2和PD-L1两种蛋白标记物染色的低中高的场景示意图。
图4A-4B显示为本申请于一实施例中标记物表达量与预后的关系的曲线示意图。
图5显示为本申请于一实施例中的ResNet34网络结构的模型示意图。
图6A-6C显示为本申请于一实施例中病理分子在低、中、高三分类中AUC的曲线示意图。
图7显示为本申请于一实施例中的病理图像分割分级装置的模块示意图。
图8显示为本申请于一实施例中的计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，虽然图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，但其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此，以下叙述的第一部分、成分、区域、层或段在不超出本申请范围的范围内，可以言及到第二部分、成分、区域、层或段。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
为解决上述问题，本申请提出一种基于深度学习的病理细胞分割分级方法，实现对病理细胞显微图像中病变区域自动分割及病变程度分级。本方法主要由图像染色归一化、图像分割分级、图像后处理构成。在图像染色归一化环节，通过将图像分解为苏木精和伊红两种染色图像分量。接着将归一化图像输入编码-解码结构的卷积神经网络中，将编码网络生成的编码向量分别输入分类器和解码网络中实现分级和病变区域分割。最后，利用分级结果和分割结果生成分割图像。
同时，本申请结合特异性肿瘤相关分子标记物，创新性的采用了与人工智能结合进行判读的技术，实现肿瘤智能分子诊断装备的研发，充分结合了病理图像的自动化采集、基于神经网络的特征提取和建模、基于数学模型的预后预测等技术，对于人工智能肿瘤分型系统的研发和产业化有重要意义。
需要说明的是，本申请所述的病理图像分割分级方法优选针对头颈鳞癌，其可包括口腔鳞癌与颌面鳞癌。
如图1所示，展示为本申请一实施例中的病理图像分割分级方法的流程示意图。如图所示，所述方法包括：
步骤101：将包含特异性病理染色标志物的原始病理图像进行经过HE-Norm处理，分别得到H通道图像和E通道图像，并分别进行标准化处理与数据增强处理。
其中，所述特异性病理染色标志物是基于多个中心大数据筛选出能对癌细胞(例如口腔癌、头颈癌等)进行早期诊断或转移预后预测的特异性病理标志物，再通过染色处理得到的。
例如，本申请依托本院口腔颌面头颈肿瘤科以及口腔颌面部肿瘤组织样本及生物信息数据库共享服务平台，且本院样本数量及规模在全世界范围内处于领先水平。
优选地，所述特异性病理标志物包括：PD1、PD-L1、EZH2、EGFR、Cyclin D1及CD166中任意一种或多种。
举例来说，PD-1(程序性死亡受体1)，也称为CD279(分化簇279)，是一种重要的免疫抑制分子。通过向下调节免疫系统对人体细胞的反应，以及通过抑制T细胞炎症活动来调节免疫系统并促进自身耐受。这可以预防自身免疫性疾病，但它也可以防止免疫系统杀死癌细胞。再如，EZH2是位于7号染色体的基因，EZH2的突变或者过表达与多种类型癌症相关，如乳腺癌、前列腺癌、黑色素瘤和膀胱癌等。因为异常激活的EZH2可以抑制抑癌基因的正常表达，所以抑制EZH2的活性可以使肿瘤生长变慢。
需要说明的是，这里不再展开其它特异性病理标志物的说明，但须知的是，本申请选用的上述特异性病理标志物均是能够对癌细胞进行早期诊断或转移预后预测的，具有便于对病理细胞进行识别的作用。而本申请为了便于观察这些特异性病理标志物，对其进行染色。
简单来说，本申请将原始病理图像经过HE-Norm，分别得到H通道图像(图像向量)与E通道图像。
苏木素(Hematoxylin)和伊红(Eosin)联合染色，简称HE染色，是病理学常规制片中最基本的染色方法，应用极其广泛。苏木精是从原产中南美的洋苏木中提取出来的浅黄褐色的结晶，是一种碱性染色剂，它在被氧化后生成苏木素，同媒染剂(常用的是三价的铝或盐铁)一起使用，能够使细胞核染色。在病理诊断、教学和科研工作中，常用HE染色对正常组织和病变组织进行形态结构观察。对于确定或鉴别病变组织、细胞中出现的某些异常物质与特殊成分，而需要采用的特殊染色方法、酶组织化学方法、免疫组织化学方法等也均是在观察HE染色组织切片的基础上进行的。在HE染色的组织切片中，细胞核呈蓝色，细胞浆呈红色，二者形成鲜明的对比，易于观察分析。
染色原理：
1)细胞核染色的原理：苏木素为碱性天然染料，可使细胞核着色。细胞核内染色质的成分主要是DNA，在DNA双螺旋结构中，两条核苷酸链上的磷酸基向外，使DNA双螺旋的外侧带负电荷，呈酸性，很容易与带正电荷的苏木素碱性染料以离子键或氢键结合而被染色。苏木素在碱性溶液中呈蓝色，所以细胞核被染成蓝色。
2)细胞浆染色的原理：伊红是一种化学合成的酸性染料，在一定条件下可使细胞浆着色。细胞浆的主要成分是蛋白质，为两性化合物，细胞浆的染色与染液的pH值密切相关。当染色液pH值在胞浆蛋白质等电点(4.7～5.0)以下时，胞浆蛋白质以碱式电离，则细胞浆带正电荷，就可被带负电荷的酸性染料染色。伊红在水中离解成带负电荷的阴离子，与胞浆蛋白质带正电荷的阳离子结合，使细胞浆着色，呈现红色。
3)分化作用：染色后，用某些特定的溶液将组织过多结合的染色剂脱去，这个过程称为分化作用，所用的溶液称为分化液。在HE染色中常用1％盐酸乙醇作为分化液，因酸能破坏苏木素的醌型结构，使组织与色素分离而退色。大多数组织经苏木素染色后，必须用1％盐酸乙醇分化，使细胞核过多结合的苏木素染料和细胞浆吸附的苏木素染料脱去，再进行伊红染色，才能保证细胞核与细胞浆染色的分明。
4)返蓝作用：分化之后，苏木素在酸性条件下处于红色离子状态，呈红色；在碱性条件下处于蓝色离子状态，呈蓝色。组织切片经酸性乙醇分化后呈红色或粉红色，立即用水除去组织切片上的酸而中止分化，再用弱碱性水使苏木素染上的细胞核呈现蓝色，这个过程称为返蓝作用或蓝化作用。另外用自来水浸洗也可使细胞核返蓝，但所需时间较长。
为了增加进行后续神经网络训练的数据量，让网络学习到更多的语义信息。本申请中设置了数据增加处理，具体来说，所述数据增强处理的操作包括：无翻转、水平翻转、竖直翻转、及旋转中任意一种或多种组合；其中，翻转角度或旋转角度为-10°～10°。
另外，由于组织学切片制备的会有不一致性，这使得对其结果进行定量分析变得困难。本申请使用的标准化操作可以克服染色过程中许多已知的不一致，从而对其更好地定量分析。举例来说，所述标准化处理包括：染色前，使用同一厂商的同一染色剂；染色后，统一观察样本的时间、统一将H通道图像和E通道图像调整至预设大小。例如，图像归一化会统一缩放到1920x1070大小输入到网络中。
步骤102：输入卷积神经网络模型中以进行病变区域自动分割得到分割结果；将图像与分割结果输入分类器以得到病变程度的分级结果。
简单来说，所述卷积神经网络模型为多任务训练模型，其包括：UNet网络和ResNet34网络。
于本申请中，所述UNet网络通过多任务的训练用于实现病变区域自动分割。
UNet网络是医学图像处理方面著名的图像分割网络，过程是这样的：输入是一幅图，输出是目标的分割结果。继续简化就是，一幅图，编码，或者说降采样，然后解码，也就是升采样，然后输出一个分割结果。根据结果和真实分割的差异，反向传播来训练这个分割网络。
举例来说，UNet网络结构如图2所示，可以看出，该网络结构主要分为三部分：下采样、上采样、及跳跃连接。首先，UNet网络左边部分是压缩的过程，即Encoder。通过卷积和下采样来降低图像尺寸，提取一些浅显的特征。右边部分是对应解码的过程，即Decoder。通过卷积和上采样来获取一些深层次的特征。其中，卷积可采用的valid的填充方式来保证结果都是基于没有缺失上下文特征得到的，这样每次经过卷积后图像的大小会减小。中间通过concat的方式，将编码阶段获得的feature map同解码阶段获得的feature map结合在一起，结合深层次和浅层次的特征来细化图像，根据得到的最终feature map进行预测分割。其中，这里两层的feature map大小不同，可能需要经过切割。最后一层通过1x1的卷积做分类。
于本实施例中，所述UNet网络的训练，使用Adam优化器进行参数优化。所述UNet网络用于：
A、输入处理后的H通道图像和E通道图像的叠加图。
本申请将H通道图像和E通道图像进行叠加，可以方便切片观察细胞核。简单来说，输入到网络中的叠加图是进行数据增强处理与标准化处理后的H通道部分(苏木精)染色图像和E通道部分(伊红)染色图像在通道上进行叠加。相当于正常一个彩色图像(染色图像)为RGB共3通道，本申请在通道上将H通道和E通道进行叠加变成6通道。例如，相当于两个(3,h,w)的矩阵在第一个维度上拼接变成(6,h,w)。
B、利用UNet网络对所述叠加图进行癌巢区域的勾画，使用Dice Loss作为损失函数，以训练对癌巢病变区域的自动分割。
简单来说，利用UNet网络依据所述叠加图上灰度值扫描，以对预设范围灰度值(对应癌巢像素范围)进行勾画，并通过边界灰度值对一或多个区域进行连通，从而实现对叠加图癌巢区域的勾画。
这里Dice Loss来自Dice coefficient，是一种用于评估两个样本的相似性的度量函数，取值范围在0到1之间，取值越大表示越相似。
C、利用UNet编码器得到的特征按染色程度进行三级分类，使用Cross EntropyLoss作为损失函数，以供UNet网络学习更多分级的语义特征。
其中，三级分类主要指表征表达量的染色程度。如图3所示，为本申请一实施例中示例EZH2和PD-L1两种蛋白标记物在免疫组化染色的低中高(weak，moderate，high)，即染色程度表征的表达量。
如图4A和4B所示，显示为标记物表达量与预后的关系，下方线条为高表达，上方线条为低表达，可见表达量越高预后越差。
本申请中UNett网络部分的作用或目的是分割，但是在训练过程中还利用其进行分级的学习，来补充更多的分类知识，相当于本申请训练UNet过程中，不单单是学习“分割的标注”这一种只是，而是同时让它学习“分级”相关的知识，从而可以学到更好的语义特征。最终第一部分网络UNet用来分割并把分割结果传输给下一个网络。
于本申请中，所述ResNet34网络为分类网络，用于结合所述UNet网络的分割结果进行分级。
简单来说，ResNet34网络属于ResNet网络。其中，ResNet网络主要特点包括：1)网络一共包含5个卷积组，每个卷积组中包含1个或多个基本的卷积计算过程(Conv->BN->ReLU)；2)每个卷积组中包含1次下采样操作，使特征图大小减半，下采样通过以下两种方式实现：最大池化，步长取2，只用于第2个卷积组(Conv2_x)；卷积，步长取2，用于除第2个卷积组之外的4个卷积组；3)第1个卷积组只包含1次卷积计算操作，5种典型ResNet结构的第1个卷积组完全相同，卷积核均为7x7，步长为均2；4)第2-5个卷积组都包含多个相同的残差单元，在很多代码实现上，通常把第2-5个卷积组分别叫做Stage1、Stage2、Stage3、Stage4。
举例来说，ResNet34网络的结构如图5所示，其中，每个大的矩形框表示ResNet的一个Stage，从上到下为Stage1(Conv2_x)、Stage2(Conv3_x)、Stage3(Conv4_x)、Stage4(Conv5_x)；大矩形框内的每个小的矩形框表示1个或多个标准的残差单元，小矩形框左侧的数值表示残差单元级联的数量，如5x表示5个级联的残差单元；通道数变化：输入通道为3，4个Stage的通道数依次为64、128、256、512，即每经过一个Stage通道数翻倍；层数计算：每个Stage包含的残差单元数量依次为3、4、6、3，每个残差单元包含2个卷积层，再算上第一个7x7卷积层和3x3最大池化层，总的层数＝(3+4+6+3)*2+1+1＝34；下采样：小矩形框中紫色的部分代表发生下采样操作，即特征图大小减半，右侧箭头标识即为下采样后的特征图大小(输入224x224为例)；第一个大矩形框内的橙色矩形框表示最大池化，此处发生第一次下采样；卷积层参数解释：以Conv 3x3,c512,s2,p1为例，3x3表示卷积核大小，c512表示卷积核数量/输出通道数量为512，s2表示卷积步长为2，p1表示卷积的padding取1；池化层参数解释：Max_pool 3x3,c64,s2,p1，3x3表示池化的区域大小(类似于卷积核大小)，c64表示输入输出通道为64，s2表示池化的步长为2，p1表示padding取1；对结构有一个大致的了解后会发现：ResNet中的下采样操作发生在每个Stage的第一个残差单元或最大池化层，实现方式是操作都是通过在卷积或者池化中取步长为2。
于本实施例中，所述ResNet34网络的训练，使用Cross Entropy Loss作为损失函数，使用Adam优化器进行参数优化。所述ResNet34网络用于：
A、输入依据UNet网络对癌巢区域的分割结果与叠加图。
B、利用ResNet34网络将各分割结果映射至叠加图，以得到分别对应三个等级的概率的向量，依据所对应最高等级的概率向量对癌巢区域的分割结果进行分级训练。
简单来说，ResNet34就是一个分类模型，可以理解为他是一个X->Y的映射F，图像X输入到F中会输出一个代表概率的向量，比如(0.1，0.7，0.2)，分别对应三个等级(低、中、高)的概率，然后可认为网络队这个图像X的判断结果为中级(Y)。
步骤103：根据分割结果和分级结果生成对应不同病变等级的分割图像。
简单来说，依据由所述UNet网络得到的分割结果以及由ResNet34网络得到的分级结果可得到对应不同病变等级的分割图像。而本申请针对低、中、高三分类的分割图像均具有较高的诊断效率。
如图6A-6C所示，展示为病理分子在低、中、高三分类中的AUC曲线。需要说明的是，本申请中神经网络学习流程可使用for函数套成一个循环，即进行100次运算得到100个最终逻辑回归预测值，可使用pROC函数计算预测值和真实值的AUC值。
所述AUC值为曲线下面积(Area Under Curve)，是一种分类问题评估指标。曲线下面积对所有可能的分类阈值的效果进行综合衡量。曲线下面积的一种解读方式是看作模型将某个随机正类别样本排列在某个随机负类别样本之上的概率。例如，AUC的一般判断标准为：0.5–0.7：效果较低；0.7–0.85：效果一般；0.85–0.95：效果很好；0.95–1：效果非常好，但一般不太可能。如图6A-6C所示，本申请针对低、中、高三分类的分割图像对应的AUC值均在0.95以上，因此均具有较高的诊断效率。
综上所述，本发明将提高病理诊断的效率和准确性，对转移判断、预后预测、用药指导等进行支持，提高临床科室产能的同时为患者带来福音。本申请结合特异性肿瘤相关分子标记物，创新性的采用了与人工智能结合进行判读的技术，实现肿瘤智能分子诊断装备的研发，充分结合了病理图像的自动化采集、基于神经网络的特征提取和建模、基于数学模型的预后预测等技术，对于人工智能肿瘤分型系统的研发和产业化有重要意义。
如图7所示，展示为本申请于一实施例中的病理图像分割分级装置的模块示意图。如图所示，所述装置700包括：
归一化模块701，用于将包含特异性病理染色标志物的原始病理图像进行经过HE-Norm处理，分别得到H通道图像和E通道图像，并分别进行标准化处理与数据增强处理；
训练模块702，用于输入卷积神经网络模型中以进行病变区域自动分割得到分割结果；将图像与分割结果输入分类器以得到病变程度的分级结果；根据分割结果和分级结果生成对应不同病变等级的分割图像。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，各模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上各模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图8所示，展示为本申请于一实施例中的计算机设备的结构示意图。如图所示，所述计算机设备800包括：存储器801、及处理器802；所述存储器801用于存储计算机指令；所述处理器802运行计算机指令实现如图1所述的方法。
在一些实施例中，所述计算机设备800中的所述存储器801的数量均可以是一或多个，所述处理器802的数量均可以是一或多个，而图8中均以一个为例。
于本申请一实施例中，所述计算机设备800中的处理器802会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器801中，并由处理器802来运行存储在存储器801中的应用程序，从而实现如图1所述的方法。
所述存储器801可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器801存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器802可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在一些具体的应用中，所述计算机设备800的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图8中将各种总线都成为总线系统。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如python、Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
综上所述，本申请提供的一种病理图像分割分级方法、装置和设备，通过将包含特异性病理染色标志物的原始病理图像进行经过HE-Norm处理，分别得到H通道图像和E通道图像，并分别进行数据增强处理与标准化处理；输入卷积神经网络模型中以进行病变区域自动分割得到分割结果；将图像与分割结果输入分类器以得到病变程度的分级结果；根据分割结果和分级结果生成对应不同病变等级的分割图像。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种病理图像分割分级方法，其特征在于，所述方法包括：
将包含特异性病理染色标志物的原始病理图像进行经过HE-Norm处理，分别得到H通道图像和E通道图像，并分别进行数据增强处理与标准化处理；
输入卷积神经网络模型中以进行病变区域自动分割得到分割结果；将图像与分割结果输入分类器以得到病变程度的分级结果；
根据分割结果和分级结果生成对应不同病变等级的分割图像。
2.根据权利要求1所述的方法，其特征在于，所述特异性病理染色标志物是基于多个中心大数据筛选出能对癌细胞进行早期诊断或转移预后预测的特异性病理标志物，再通过染色处理得到的。
3.根据权利要求1所述的方法，其特征在于，所述特异性病理标志物包括：PD1、PD-L1、EZH2、EGFR、Cyclin D1及CD166中任意一种或多种。
4.根据权利要求1所述的方法，其特征在于，所述数据增强处理的操作包括：无翻转、水平翻转、竖直翻转、及旋转中任意一种或多种组合。
5.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型包括：UNet网络和ResNet34网络；所述UNet网络通过多任务的训练用于实现病变区域自动分割；所述ResNet34网络为分类网络，用于结合所述UNet网络的分割结果进行分级。
6.根据权利要求5所述的方法，其特征在于，所述UNet网络用于：
输入处理后的H通道图像和E通道图像的叠加图；
利用UNet网络对所述叠加图进行癌巢区域的勾画，使用Dice Loss作为损失函数，以训练对癌巢病变区域的自动分割；
利用UNet编码器得到的特征按染色程度进行三级分类，使用Cross Entropy Loss作为损失函数，以供UNet网络学习更多分级的语义特征；
其中，所述UNet网络的训练使用Adam优化器进行参数优化。
7.根据权利要求6所述的方法，其特征在于，所述ResNet34网络用于：
输入依据UNet网络对癌巢区域的分割结果与叠加图；
利用ResNet34网络将各分割结果映射至叠加图，以得到分别对应多个等级的概率向量，依据所对应最高等级的概率向量对癌巢区域的分割结果进行分级训练；
其中，所述ResNet34网络的训练使用Cross Entropy Loss作为损失函数，使用Adam优化器进行参数优化。
8.一种病理图像分割分级装置，其特征在于，所述装置包括：
归一化模块，用于将包含特异性病理染色标志物的原始病理图像进行经过HE-Norm处理，分别得到H通道图像和E通道图像，并分别进行标准化处理与数据增强处理；
训练模块，用于输入卷积神经网络模型中以进行病变区域自动分割得到分割结果；将图像与分割结果输入分类器以得到病变程度的分级结果；根据分割结果和分级结果生成对应不同病变等级的分割图像。
9.一种计算机设备，其特征在于，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至7中任一项所述系统的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210330890.7A CN114693692A (zh) | 2022-03-30 | 2022-03-30 | 一种病理图像分割分级方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210330890.7A CN114693692A (zh) | 2022-03-30 | 2022-03-30 | 一种病理图像分割分级方法、装置、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114693692A true CN114693692A (zh) | 2022-07-01 |
Family
ID=82141558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210330890.7A Pending CN114693692A (zh) | 2022-03-30 | 2022-03-30 | 一种病理图像分割分级方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114693692A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200258223A1 (en) * | 2018-05-14 | 2020-08-13 | Tempus Labs, Inc. | Determining biomarkers from histopathology slide images |
| CN111696094A (zh) * | 2020-06-12 | 2020-09-22 | 杭州迪英加科技有限公司 | 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备 |
| CN112967287A (zh) * | 2021-01-29 | 2021-06-15 | 平安科技（深圳）有限公司 | 基于图像处理的胃癌病灶识别方法、装置、设备和存储介质 |
| CN114121226A (zh) * | 2021-12-02 | 2022-03-01 | 中国科学院自动化研究所 | 基于Unet模型的生物标志物预测系统、方法、设备 |
-
2022
- 2022-03-30 CN CN202210330890.7A patent/CN114693692A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200258223A1 (en) * | 2018-05-14 | 2020-08-13 | Tempus Labs, Inc. | Determining biomarkers from histopathology slide images |
| CN111696094A (zh) * | 2020-06-12 | 2020-09-22 | 杭州迪英加科技有限公司 | 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备 |
| CN112967287A (zh) * | 2021-01-29 | 2021-06-15 | 平安科技（深圳）有限公司 | 基于图像处理的胃癌病灶识别方法、装置、设备和存储介质 |
| CN114121226A (zh) * | 2021-12-02 | 2022-03-01 | 中国科学院自动化研究所 | 基于Unet模型的生物标志物预测系统、方法、设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11756318B2 (en) | Convolutional neural networks for locating objects of interest in images of biological samples | |
| CN113454733B (zh) | 用于预后组织模式识别的多实例学习器 | |
| Lafarge et al. | Learning domain-invariant representations of histological images | |
| Burlingame et al. | SHIFT: speedy histological-to-immunofluorescent translation of a tumor signature enabled by deep learning | |
| Shahzad et al. | Robust Method for Semantic Segmentation of Whole‐Slide Blood Cell Microscopic Images | |
| US20220058839A1 (en) | Translation of images of stained biological material | |
| Pontalba et al. | Assessing the impact of color normalization in convolutional neural network-based nuclei segmentation frameworks | |
| İnik et al. | A new method for automatic counting of ovarian follicles on whole slide histological images based on convolutional neural network | |
| US11176412B2 (en) | Systems and methods for encoding image features of high-resolution digital images of biological specimens | |
| Jia et al. | Multi-layer segmentation framework for cell nuclei using improved GVF Snake model, Watershed, and ellipse fitting | |
| Lalit et al. | Embedseg: Embedding-based instance segmentation for biomedical microscopy data | |
| Harrison et al. | Deep-learning models for lipid nanoparticle-based drug delivery | |
| Nurzynska et al. | CAS: Cell annotation software–research on neuronal tissue has never been so transparent | |
| Held et al. | Comparison of parameter‐adapted segmentation methods for fluorescence micrographs | |
| Xu et al. | A high-throughput analysis method to detect regions of interest and quantify zebrafish embryo images | |
| Li et al. | Multi-level feature fusion network for nuclei segmentation in digital histopathological images | |
| Wu et al. | Segmentation of HE-stained meningioma pathological images based on pseudo-labels | |
| Barrera et al. | Automatic normalized digital color staining in the recognition of abnormal blood cells using generative adversarial networks | |
| Hoque et al. | Stain normalization methods for histopathology image analysis: A comprehensive review and experimental comparison | |
| Kabir et al. | The utility of a deep learning-based approach in Her-2/neu assessment in breast cancer | |
| Zhu et al. | A novel multispace image reconstruction method for pathological image classification based on structural information | |
| Mocan et al. | Automatic Detection of Tumor Cells in Microscopic Images of Unstained Blood using Convolutional Neural Networks | |
| CN114693692A (zh) | 一种病理图像分割分级方法、装置、设备和介质 | |
| Leo et al. | Improving colon carcinoma grading by advanced cnn models | |
| Tian et al. | Semi-supervised nuclei detection in histopathology images via location-aware adversarial image reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |