CN114862798A - 一种用于肿瘤病理辅助诊断的多视图表示学习方法 - Google Patents
一种用于肿瘤病理辅助诊断的多视图表示学习方法 Download PDFInfo
- Publication number
- CN114862798A CN114862798A CN202210499011.3A CN202210499011A CN114862798A CN 114862798 A CN114862798 A CN 114862798A CN 202210499011 A CN202210499011 A CN 202210499011A CN 114862798 A CN114862798 A CN 114862798A
- Authority
- CN
- China
- Prior art keywords
- view
- pathological
- model
- diagnosis
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000003745 diagnosis Methods 0.000 title claims abstract description 42
- 230000007170 pathology Effects 0.000 title claims abstract description 34
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 30
- 230000001575 pathological effect Effects 0.000 claims abstract description 56
- 238000010827 pathological analysis Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000009826 distribution Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012706 support-vector machine Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000013604 expression vector Substances 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 8
- 206010029260 Neuroblastoma Diseases 0.000 description 7
- 201000011510 cancer Diseases 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013506 data mapping Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000574 ganglionic effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010562 histological examination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012367 process mapping Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 210000000331 sympathetic ganglia Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10008—Still image; Photographic image from scanner, fax or copier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Algebra (AREA)
- Pathology (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Linguistics (AREA)
- Computational Mathematics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Epidemiology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于肿瘤病理辅助诊断的多视图表示学习方法，其特点是该方法采用深度高斯过程对病理图像的多视图特征信息进行表示建模，然后在给定充足量训练集的情况下，训练得到多视图深度高斯病理诊断模型，由此获得肿瘤病理图像诊断能力，具体包括：建立肿瘤病理图像的数据集、提取病理图像不同视图的特征信息、确定用以病理诊断的模型及优化和训练等步骤。本发明与现有技术相比具有自动综合使用病理图像中的信息来避免颜色正则化后造成的信息缺失，提升病理图像诊断的准确性，提高病理诊断的效率和精度。
Description
技术领域
本发明涉及多视图表示学习技术领域，尤其是一种基于变分推理和深度高斯过程的肿瘤病理辅助诊断的多视图表示学习方法。
背景技术
近年来，随着数字化技术的快速发展，数字病理学已经成为一种潜在的新的诊断标准，即使用数字玻片扫描仪将载玻片数字化为全玻片图像。随着扫描仪技术变得越来越可靠，全玻片图像也越来越多。病理图像诊断的出现促进了计算机辅助诊断，为病理学家提供了数字化的工作流程，病理图像诊断的结果可以用来提高病理学家的效率和准确性，最终提供更好的患者诊断。然而，在分析病理图像时，由于颜色不一致，就有可能显著影响图像分析，颜色不一致是有不同的原因造成的，例如使用不同的化学物质染色，颜色浓度的变化，或者不同供应商的扫描仪存在差异。因此，需要对颜色进行归一化来应对这些变化。然而，这又会忽略大量的图像信息，这些信息可能对于计算机自动识别病理图像是有利的。在图像处理中，可以根据图像的外观提取不同的图像特征表示，如颜色、纹理和形状等特征。不同的特征表示从不同的角度清楚的描述了图像信息，这些图像特征具有独特的识别信息和较强的鲁棒性。因此，考虑这些图像特征来避免信息的过度缺乏，综合各种图像表征提供的信息是提高病理图像识别精度的关键因素，而如何利用这些特征是一项具有挑战性的任务。
深度高斯过程是一种基于统计学习和贝叶斯理论的重要机器学习方法，该模型是高斯过程和深度学习的成功结合，不仅保留了高斯过程本身的出色特性，而且受益于深度学习的层次结构，克服了高斯过程的局限性，获得了更强大的数据映射能力。深度高斯过程是基于核方法的贝叶斯概率模型，它比深度模型更具鲁棒性和可解释性。
多视图学习是一种利用多源信息的重要技术，多源异构特性导致不同视图之间的关联复杂且难以预知，甚至领域专家在面对复杂多源信息时也难以有效利用。多视图学习的核心问题是如何利用不同视图之间的一致性和互补性，准确的发现数据的内在模式以提高数据分析的有效性。多视图表示学习旨在从不同的视图数据中学习到一个更综合性的特征表示。现有的研究结果显示了多视图表示学习对于下游任务的优势。虽然将不同的视图整合到一个更综合的表示中是重要的，但是由于不同视图背后的复杂关联性，联合探索多个视图仍然是一个挑战。
变分推理是概率模型求解中的一种常用技术，被广泛用于模型的后验密度估计。它一般通过定义一个由潜在变量上的自由参数索引的灵活分布簇，将复杂的推理问题转化为高维优化问题，然后通过求解优化问题来得到变分参数。
现有技术的病理图像分析，由于病理图像的颜色不一致，严重影响了病理图像的正确分析，大大制约了数字病理学科的发展。然而，基于变分推理和多视图学习的多视图深度高斯过程的数学模型，将其应用到病理图像诊断中尚未见有相关技术的公开报道。
发明内容
本发明的目的是针对现有技术的不足而提供一种用于肿瘤病理辅助诊断的多视图表示学习方法，采用一种与多视图学习相结合的深度高斯过程模型的方法，以深度高斯过程对病理图像的多视图特征信息进行表示建模，基于变分推理和多视图学习的多视图深度高斯过程的数学模型，构建了一套病理图像多个视图信息的特征提取框架，将病理图像的多个视图的特征信息融入病理诊断模型，在给定充足量训练集的情况下，训练得到多视图深度高斯病理诊断模型，由此获得肿瘤病理图像诊断能力，不仅可以根据视图之间的差异性提取不同视图独有的特征，还可以提取视图之间的共同特征，从而满足多视图学习中的一致性和互补性原则学习到更综合的表示，最终提升病理图像诊断的准确性，能够自动综合使用病理图像中的信息来避免颜色正则化后造成的信息缺失，从而减轻病理医生的诊断负担，提高病理诊断的效率和精度。
实现本发明目的的具体技术方案是：一种用于肿瘤病理辅助诊断的多视图表示学习方法，其特点是该方法具体包括下述步骤：
步骤一：建立肿瘤病理图像的数据集
所述数据集格式为：使用数字切片扫描仪扫描病理载玻片得到的病理全切片数字图像。
步骤二：提取病理图像不同视图的特征信息
提取病理图像的不同图像特征，比如纹理特征，灰度特征，形状特征等作为不同的视图进行多视图学习，以弥补单一视图特征造成的信息缺乏。
步骤三：确定用以病理诊断的模型
采用多视图深度高斯过程模型，深度高斯过程是高斯过程的深度扩展，网络的每一层是一个高斯过程映射。多视图深度高斯过程模型使用深度高斯过程，将病理图像的不同视图特征转化为同一空间的嵌入表示。根据不同视图数据的多样性和差异性，多视图深度高斯过程模型可以针对不同的视图构建不同深度的网络结构，从而可以从不同的视图中提取内在信息，融合到一个综合表示中，并自适应的平衡不同视图之间的一致性和互补性。
步骤四：确定多视图深度高斯病理诊断模型的优化目标
多视图深度高斯病理诊断模型建立在病理图像不同视图特征的学习上，对于不同视图的学习，采用不同深度的深度高斯过程来进行建模，最终学习到多视图数据的综合表示。由下述(1)式建立潜在变量和观测变量的联合概率分布：
其中，
表示潜在变量的集合；Hv表示对视图v的特征建模深度；H表示公共特征的建模深度；X<v>表示视图v的数据；V表示视图的数量。
使用变分推理的方法去近似求解模型，变分推理是贝叶斯近似推断方法中的一类方法，将后验推断问题巧妙的转化为优化问题进行求解，具有较好的收敛性和可扩展性，更适合求解大规模近似推断问题，变分推理的目标是给定观测数据，由下述(2)式求解潜在变量的后验分布：
步骤五：训练多视图深度高斯病理诊断模型
采取贝叶斯训练过程来训练模型，使用一个简单的变分分布Ω(Z；λ)来近似后验分布，λ是变分分布的参数，被优化来取得最好的近似效果；使用Kullback-Leibler(KL)散度来衡量变分分布和后验分布之间的匹配程度，KL＝0说明完美匹配；最小化KL散度等价于最大化证据下界(Evidence Lower BOund,ELBO)，该下界是根据杰森不等式(Jensen’sinequality)从logp(X<1>,…,X<V>)推导得来。
通过推导将目标函数写成关于一个已知分布期望的形式，采用梯度下降算法优化模型的目标函数，具体训练包括如下步骤：
步骤a1：随机初始化模型参数；
步骤a2：设置网络的层数H，Hv等超参数，潜空间的维度
QH，batch size，最大迭代次数；
步骤a3：使用梯度下降算法更新模型的参数；
步骤a4：当训练达到最大迭代次数后，终止模型的训练。
步骤六：训练完毕后，进行病理诊断
模型训练完毕后，得到病理图像的多视图表示，将表示向量输入支持向量机分类器中进行医学病理的辅助诊断，即预测患者是否患有癌症，具体包括如下步骤：
步骤b1：模型训练完毕后，取模型根节点的表示向量作为最终学习到的多视图表示；
步骤b2：将学习到的多视图表示输入到预训练的支持向量机分类器进行病理诊断；
步骤b3：通过分类器的输出结果，完成病理诊断，即预测患者是否患有癌症。
所述多视图深度高斯病理诊断模型具有如下结构：
病理图像经过图像处理技术提取不同的图像特征，比如纹理特征、灰度特征等，然后不同图像特征作为不同的视图，经过多视图深度高斯过程提取不同视图的公共特征，最后该公共表示特征被输入到支持向量机中实现病理诊断。其中，不同视图特征的建模，以及不同视图的公共特征的建模采用下述(3)～(6)式描述：
X<v,h-1>＝f<v,h>(X<v,h>)+ε<v,h>,ε<v,h>～N(0,(σ<v,h>)2I),h＝2,…,Hv,v∈{1,…,V},(5)；
X<v>＝f<v,1>(X<v,1>)+ε<v,1>,ε<v,1>～N(0,(σ<v,1>)2I),v∈{1,…,V}, (6)；
其中，
是共享潜在变量；
是含有不同层结构的深度高斯过程在不同视图上的输出，包含了视图独有的信息；X<v,h-1>是每个视图独有的潜在变量；X<v>是模型的输入，即为原始的视图数据；
是模型的输出，它包含了所视图输入数据的公共特征表示；f是均值函数为0，协方差函数为k的高斯过程。
使用自动相关判别平方指数核作为协方差核函数，如下述(7)式所描述：
其中，
αq为超参数；Q为输入x的特征维度。
根据贝叶斯训练过程，使用一个简单的变分分布Ω(Z；λ)来近似后验分布，λ是变分分布的参数，被优化来取得最好的近似效果；使用Kullback-Leibler(KL)散度来衡量变分分布和后验分布之间的匹配程度，KL＝0说明完美匹配；最小化KL散度等价于最大化证据下界(Evidence Lower BOund,ELBO)，该下界是根据杰森不等式(Jensen’s inequality)从logp(X<1>,…,X<V>)推导得来，如下述(8)式所描述：
通过推导，将分布Ω(Z；λ)定义为下述(9)式：
其中，U<v,h>和
是在变分推理中引入诱导点的输出，因此，q(U<v,h>)和
的形式不必有限制，
和p(f<v,h>|U<v,h>,X<v,h-1>)在推导中会被抵消，而
和q(X<v,h>)的定义分别如下述式(10)和式(11)所描述：
将公式(9)带入公式(8)，然后经过推导，可以将目标函数写成关于一个已知分布期望的形式，并采用梯度下降算法优化模型的目标函数，如下述(12)式所描述：
其中，X<v>是视图v的输入数据；Z是潜在变量集合；g和r函数是关于相关变量的期望；H表示分布的熵。
本发明与现有技术相比具有以下的有益效果和显著的技术进步：
1)采用多视图学习和深度高斯过程的结合，不仅可以根据视图(多于两个视图)之间的差异性提取不同视图独有的特征，还可以提取视图之间的共同特征，从而满足多视图学习中的一致性和互补性原则学习到更综合的表示，最终提升病理图像诊断的准确性。
2)可自动综合使用病理图像中的信息来避免颜色正则化后造成的信息缺失，从而减轻病理医生的诊断负担，提高病理诊断的效率和精度，初步实验结果也验证了本发明超越了经验丰富的病理学家的诊断结果。
附图说明
图1为本发明流程图；
图2为深度高斯过程的概率图模型；
图3为基于多视图表示学习的病理图像诊断模型框架图。
具体实施方式
本发明创建了一种能够将病理图像的多个视图的特征信息融入诊断的模型，该多视图深度高斯病理诊断模型构建了一套病理图像多个视图信息的特征提取框架，同时推导了多视图深度高斯诊断模型的建模过程和无监督训练过程，给出了详细的推导算法，并指导性的给出了应用方法。为了更好的理解本发明的创造性，对本发明中所涉及的有关内容作如下解释：
1)病理图像诊断
病理诊断是指病理学家对手术切除的病理标本进行固定和染色，然后在显微镜下进行组织学检查，最后根据分类标准进行诊断。准确的病理诊断在患者的整个治疗计划中起着最重要的作用，被称为疾病(肿瘤)诊断的“金标准”。然而，在世界大部分地区，缺乏病理学家是一个明显的问题。病理学家每天需要检查和处理大量病理切片，迫切需要一种方法来帮助自己减少耗时费力的诊断工作。
2)深度高斯过程
深度高斯过程是一种基于统计学习和贝叶斯理论的重要机器学习方法，该模型是高斯过程和深度学习的成功结合，不仅保留了高斯过程本身的出色特性，而且受益于深度学习的层次结构，克服了高斯过程的局限性，获得了更强大的数据映射能力，深度高斯过程是基于核方法的贝叶斯概率模型，它比深度模型更具鲁棒性和可解释性。本发明中使用的多视图深度高斯过程与传统的深度高斯模型不同。传统的深度高斯过程(见图2)一般适合处理单视图数据，对于多视图数据，只能将不同的视图串联为一个单视图。然而，该操作忽略了每个视图独有的统计特性，合成的视图没有意义，很难发掘存在于不同视图底层间的非线性关系。同时，也会增加特征空间的维度，从而给学习带来困难。而本发明(见图3)建立多视图深度高斯过程病理诊断模型，不仅可以根据视图之间的差异性提取不同视图独有的特征，还可以提取视图之间的共同特征，从而满足多视图学习中的一致性和互补性原则学习到更综合的表示。
参阅图2，深度高斯过程的图模型是一个层次图结构，这里主要关注无监督学习场景。该层次图结构由多层潜在变量组成，并采用高斯过程映射的层次结构，即在模型的深层结构中，每个节点都是一个高斯过程，高斯过程的输入由另一个高斯过程控制。图2中的结构对应了三种节点：即叶子节点Y、中间潜在节点Xl和根节点XL。根节点是未观测的，叶子节点是观测数据。假定最右层表示观测数据
其中N是样本的数量，DY表示样本的维度。中间潜在节点为
l＝1,...,L-1，其中L是潜在层的层数，Ql是潜空间的维度。根节点为
在这个深度结构中，所有的中间节点Xl作为右层的输入，左层的输出。根据以上定义，深度高斯过程通过下述(13)～(15)式及图2所示的深度高斯过程进行建模：
XL～N(0,I)， (15)
其中，fl是协方差函数为kl高斯过程，即fl(x)～GP(0,kl(x,x')),l＝1,...,L。然而，深度高斯过程模型的求解是非常困难的，因为需要估计给定观测数据情况下潜在变量的后验分布。目前通常的做法是使用变分推理来近似求解。
3)变分推理
变分推理是概率模型求解中的一种常用技术，被广泛用于模型的后验密度估计。它一般通过定义一个由潜在变量上的自由参数索引的灵活分布簇，将复杂的推理问题转化为高维优化问题，然后通过求解优化问题来得到变分参数。
假设X＝{x1,…,xN}是观测数据的集合，Z＝{z1,…,zM}表示所有潜变量和模型参数，N和M分别是样本总数和潜变量个数。X和Z的联合分布可以表达为p(X,Z)＝p(X)p(Z|X)。在概率模型中，通常需要推理出潜变量的后验分布，但是，直接采用贝叶斯公式计算p(Z|X)在实际应用中几乎不可行。
变分推理是一种可以近似推理真实后验分布p(Z|X)的实用方法，在变分推理中，通常通过假设一个常用的约束族分布q(Z)，优化其中的参数，使假设的分布与真实的p(Z|X)尽可能接近。变分推理使用Kullback-Leibler(KL)散度来度量两个分布之间的差异性，它优化的目标是最小化q(Z)和p(Z|X)之间的KL散度，使近似分布尽可能逼近真实后验。变分推理将问题转换为最大化证据下界以推导近似分布q(Z)。近似分布q(Z)和真实分布p(Z|X)之间的KL散度表达式可以具体的分解如下述(16)～(17)式：
因为KL≥0，所以可以得到：
log p(X)≥Eq[log p(Z,X)]-Eq[log q(Z)]， (17)；
其中，Eq[log p(Z,X)]-Eq[log q(Z)]称为模型的证据下界(Evidence LowerBOund,ELBO)。
4)多视图学习
在实际问题中存在大量对应着多组数据源的样本，即多视图数据。多视图数据是对相同对象不同角度或不同形式的描述，弥补了单个视图信息不足造成的偏差，可以帮助人们更全面的理解对象，更准确的表达对象。例如，在网页分类任务中，网页可由其内容和超链接结构两个视图共同描述；在图片分类任务中，图片可以颜色，纹理，形状等不同的图像特征及相关的文本描述表示；视频可以用图像和语音来描述。对象的不同视图通常是互补的，并且没有一个视图能够充分的描述对象。因此，充分利用不同视图的信息具有重要意义，一个被很好设计的多视图学习策略将会带来学习性能的显著提升。
参阅图1，按下述步骤构建多视图深度高斯病理诊断模型以及用于肿瘤病理辅助诊断的：
步骤一：建立肿瘤病理图像的数据集
所述数据集格式为：使用数字切片扫描仪扫描病理载玻片得到的病理全切片数字图像。
步骤二：提取病理图像不同视图的特征信息
提取病理图像的不同图像特征，比如纹理特征、灰度特征和形状特征等作为不同的视图进行多视图学习，以弥补单一视图特征造成的信息缺乏。
步骤三：确定用以病理诊断的模型
采用多视图深度高斯过程模型；深度高斯过程是高斯过程的深度扩展，网络的每一层是一个高斯过程映射。多视图深度高斯过程模型使用深度高斯过程，将病理图像的不同视图特征转化为同一空间的嵌入表示。根据不同视图数据的多样性和差异性，所提模型可以针对不同的视图构建不同深度的网络结构，从而可以从不同的视图中提取内在信息，融合到一个综合表示中，并自适应的平衡不同视图之间的一致性和互补性。
步骤四：确定多视图深度高斯病理诊断模型的优化目标
多视图深度高斯病理诊断模型建立在病理图像不同视图特征的学习上，对于不同视图的学习，采用不同深度的深度高斯过程来进行建模，最终学习到多视图数据的综合表示，建立如下述(1)式描述的潜在变量和观测变量的联合概率分布：
其中，
表示潜在变量的集合；Hv表示对视图v的特征建模深度；H表示公共特征的建模深度；X<v>表示视图v的数据；V表示视图的数量。
使用变分推理的方法去近似求解模型，变分推理是贝叶斯近似推断方法中的一类方法，将后验推断问题巧妙的转化为优化问题进行求解，具有较好的收敛性和可扩展性，更适合求解大规模近似推断问题。变分推理的目标是给定观测数据，求潜在变量的后验分布，以如下述(2)式描述：
步骤五：训练多视图深度高斯病理诊断模型
采取贝叶斯训练过程来训练模型，使用一个简单的变分分布Ω(Z；λ)来近似后验分布，λ是变分分布的参数，被优化来取得最好的近似效果；使用Kullback-Leibler(KL)散度来衡量变分分布和后验分布之间的匹配程度。KL＝0说明完美匹配；最小化KL散度等价于最大化证据下界(Evidence Lower BOund,ELBO)。该下界是根据杰森不等式(Jensen’sinequality)从logp(X<1>,…,X<V>)推导得来。通过推导将目标函数写成关于一个已知分布期望的形式，采用梯度下降算法优化模型的目标函数，具体训练包括如下步骤：
步骤a1：随机初始化模型参数；
步骤a2：设置网络的层数H，Hv等超参数，潜空间的维度
QH，batch size，最大迭代次数；
步骤a3：使用梯度下降算法更新模型的参数；
步骤a4：当训练达到最大迭代次数后，终止模型的训练。
步骤六：训练完毕后，进行病理诊断。
模型训练完毕后，得到病理图像的多视图表示，将表示向量输入支持向量机分(Support Vector Machine,SVM)类器中进行医学病理的辅助诊断，即预测患者是否患有癌症，具体包括如下步骤：
步骤b1：模型训练完毕后，取模型根节点的表示向量作为最终学习到的多视图表示；
步骤b2：将学习到的多视图表示输入到预训练的支持向量机分类器进行病理辅助诊断；
步骤b3：通过分类器的输出结果，完成病理辅助诊断，即预测患者是否患有癌症。
通过以下具体实施例对本发明作进一步的详细说明。
实施例1
参阅图1，具体实施过程如下：
1)将原始病理图像进行相应的预处理，图像预处理包括使用不同的图像特征提取器，比如纹理、灰度、形状等，提取不同的图像特征，将不同的图像特征作为不同的视图。
2)得到数据后，首先制定学习率等超参数，接着初始化多视图深度高斯病理诊断模型的参数，将多视图数据作为训练数据输入到多视图深度高斯病理诊断模型中，最后学习模型的参数。
3)得到一个新的病理图像，同训练数据一样，作相应的预处理，作为测试数据。
4)将测试数据输入模型，利用之前学习到的多视图深度高斯病理诊断模型，通过调整新的变分下界，得到更新后的模型，从而得到测试数据的特征表示。
5)得到的测试数据的特征表示，输入到训练好的支持向量机分类器中，进行病理诊断，即预测是否患有癌症。
参阅图3，首先给定模型的超参数，初始化模型所有的参数，然后更新图3中的多视图深度高斯病理诊断模型的参数，模型学习的具体算法如下：
1、根据输入数据确定网络结构(如图3所示)，初始化所有的超参数，包括网络层数、特征维度等；
2、划分训练集和测试集；
3、设定epoch，batch size，学习率等超参数，设置迭代停止条件；
4、While(停止条件不满足)
a)for each batch in训练集：
i，计算变分后验分布的参数；
ii，计算模型根节点的均值；
b)运行batch++；
5、根据模型根节点的均值计算最终输出的特征表示。
通过以上的多视图深度高斯病理诊断模型的学习过程可以知道，该模型的学习是一个迭代的过程，迭代的终止条件就是运行次数超标或者目标函数持续没有变化。选取的深度高斯过程模型是基于核方法的贝叶斯概率模型，它比深度模型更具鲁棒性和可解释性。同时，模型中的核函数是解决非线性模型分析问题的有效途径，可以发现和学习数据之间的关系。核函数是针对特定的应用问题设计的，它易于集成与问题相关的先验知识，并具有更好的抗过拟合控制，以保证泛化性能。本发明还选取平均场近似来对后验分布进行更加简单有效的推理。由此，模型可以获得一个稳定的训练过程。
本发明的实验数据来源自于某儿童医学中心的现实医学数据，周围神经母细胞瘤是一组起源于原始交感神经节的胚胎性肿瘤，它们通常影响儿童，是儿童时期最常见的颅外实体瘤。根据国际神经母细胞瘤病理分类，周围神经母细胞瘤可以分为四个基本形态：1)神经母细胞瘤；2)混合型神经节神经母细胞瘤；3)神经节神经瘤；4)结节性神经节神经母细胞瘤。进一步的，神经母细胞瘤又可分为三个亚型：未分化型，低分化型和分化型。为了隐私保护，所有公开的病理图像数据，都隐去了病人的个人信息。根据将要进行的下游分析，由5位经验丰富的病理学家对病理图像数据进行手工注释。对于每种肿瘤类型，医生将原始病理图像划分为300张768×768个不重叠的子切片。对于每个768×768子切片，将其划分为144个64×64非重叠子切片。因此，对于每种肿瘤类型，总共有43200个病理切片。在病理图像表示学习任务中，本发明首先提取病理图像的不同特征作为不同的视图，因为它们属于图像的不同模态，在特征表示上具有较大的差异。在数据集上训练并测试后，得出本实施例的诊断性能详见下表1的病理辅助诊断结果：
表1不同方法在测试数据集上的病理辅助诊断结果
上述表1是本发明和一些多视图方法在测试数据集上的病理辅助诊断结果，其中MvDGPID(Multi-view Deep Gaussian Pathology Image Diagnosis)为本发明，CCA(Canonical Correlation Analysis)是经典的多视图方法，KCCA(Kernel CCA)是CCA的核方法扩展版本，DCCA(Deep CCA)是CCA的深度扩展版本，VCCA(Deep Variational CCA)是CCA的深度变分扩展版本，MULPP(Multi-view Uncorrelated Locality PreservingProjection)考虑了不同视图之间的局部特征映射保留，AE2-Nets(Autoencoder inAutoencoder Networks)通过自编码网络将不同的视图进行整合，最后学习共同潜在表示。结果表明本发明的模型，其病理诊断结果好于所有的对比方法。同时，使用的视图特征越多，病理诊断结果越精确。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。
Claims (4)
1.一种用于肿瘤病理辅助诊断的多视图表示学习方法，其特征在于采用深度高斯过程对病理图像的多视图特征信息进行表示建模，使用无监督训练得到多视图深度高斯病理诊断模型，由此获得肿瘤病理图像的诊断能力，该多视图表示学习方法方法具体包括如下步骤：
步骤一：建立肿瘤病理图像的数据集
使用数字切片扫描仪扫描病理载玻片得到的病理全切片数字图像，建立肿瘤病理图像的数据集；
步骤二：提取病理图像不同视图的特征信息
提取病理图像的纹理、灰度和形状特征作为不同视图特征进行多视图学习；
步骤三：确定用以病理诊断的模型
对提取的病理图像不同视图特征采用高斯过程的深度扩展，将病理图像的不同视图特征转化为同一空间的嵌入表示，根据不同视图数据的多样性和差异性构建不同深度的网络结构，为多视图深度高斯病理诊断模型；
步骤四：确定多视图深度高斯病理诊断模型的优化目标
使用变分推理的方法近似求解模型，将后验推断转化为优化问题进行求解，实现病理诊断模型优化目标的具体步骤如下：
4-1：根据下述(1)式建立潜在变量和观测变量的联合概率分布：
其中，
为潜在变量的集合；Hv为视图v的特征建模深度；H为公共特征的建模深度；X<v>为视图v的数据；V为视图的数量；
4-2：根据下述(2)式建立潜在变量的后验分布：
步骤五：训练多视图深度高斯病理诊断模型
采用梯度下降算法优化多视图深度高斯病理诊断模型的目标函数，具体训练包括如下步骤：
步骤a1：随机初始化模型参数；
步骤a2：设置网络的层数H，Hv等超参数，潜空间的维度
QH、batch size和最大迭代次数；
步骤a3：使用梯度下降算法更新模型的参数；
步骤a4：当训练达到最大迭代次数后，终止模型的训练，得到病理图像的多视图表示；
步骤六：模型的医学病理诊断
将表示向量输入支持向量机分类器中进行医学病理的辅助诊断，具体包括如下步骤：
步骤b1：将完毕训练的模型根节点的表示向量为学习到的多视图表示；
步骤b2：将学习到的多视图表示输入预训练的支持向量机分类器进行病理辅助诊断；
步骤b3：通过分类器的输出结果，完成病理诊断。
2.根据权利要求1所述的用于肿瘤病理辅助诊断的多视图表示学习方法，其特征在于所述步骤三中的多视图深度高斯病理诊断模型具有如下结构：
1)病理图像经图像处理技术提取纹理特征和灰度特征的不同图像特征；
2)以不同图像特征作为不同的视图，采用多视图深度高斯过程提取不同视图的公共表示特征；
3)将公共表示特征输入支持向量机中实现病理诊断；
所述不同视图特征的建模以及不同视图的公共特征的建模采用下述(3)～(6)式描述为：
X<v,h-1>＝f<v,h>(X<v,h>)+ε<v,h>,ε<v,h>～N(0,(σ<v,h>)2I),h＝2,…,Hv,v∈{1,…,V}, (5)；
X<v>＝f<v,1>(X<v,1>)+ε<v,1>,ε<v,1>～N(0,(σ<v,1>)2I),v∈{1,…,V}, (6)；
式中：
为共享潜在变量；
为含有不同层结构的深度高斯过程在不同视图上的输出；X<v,h-1>为每个视图独有的潜在变量；X<v>为原始视图数据的模型输入；
为包含所有视图输入数据的公共特征表示的模型输出；f为均值函数为0、协方差函数为k的高斯过程，使用下述(7)式的自动相关判别平方指数核作为协方差核函数：
式中：
αq为超参数；Q为输入x的特征维度。
3.根据权利要求1所述的用于肿瘤病理辅助诊断的多视图表示学习方法，其特征在于所述步骤四中的将后验推断转化为优化问题进行求解的过程如下：
1)根据贝叶斯训练过程，使用变分分布Ω(Z；λ)来近似后验分布，其中λ是变分分布的参数，被优化来取得最好的近似效果；
2)使用Kullback-Leibler散度来衡量变分分布和后验分布之间的匹配程度，Kullback-Leibler散度等于0说明完美匹配；
3)最小化Kullback-Leibler散度等价于最大化证据下界，该下界由下述(8)式根据杰森不等式从logp(X<1>,…,X<V>)推导得来：
4)通过推导将目标函数写成关于一个已知分布期望的形式，采用梯度下降算法优化模型的目标函数，如下式(9)所描述：
其中，X<v>为视图v的输入数据；Z是潜在变量集合；g和r函数是关于相关变量的期望；H表示分布的熵。
4.根据权利要求1所述的用于肿瘤病理辅助诊断的多视图表示学习方法，其特征在于所述不同深度的网络结构的每一层均为一个高斯过程映射，可以从不同的视图中提取内在信息，融合到一个综合表示中，并自适应的平衡不同视图之间的一致性和互补性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210499011.3A CN114862798A (zh) | 2022-05-09 | 2022-05-09 | 一种用于肿瘤病理辅助诊断的多视图表示学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210499011.3A CN114862798A (zh) | 2022-05-09 | 2022-05-09 | 一种用于肿瘤病理辅助诊断的多视图表示学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114862798A true CN114862798A (zh) | 2022-08-05 |
Family
ID=82636925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210499011.3A Pending CN114862798A (zh) | 2022-05-09 | 2022-05-09 | 一种用于肿瘤病理辅助诊断的多视图表示学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114862798A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108470337A (zh) * | 2018-04-02 | 2018-08-31 | 江门市中心医院 | 一种基于图像深度特征的亚实性肺结节定量分析方法及系统 |
| CN112016626A (zh) * | 2020-08-31 | 2020-12-01 | 南京泰明生物科技有限公司 | 基于不确定度的糖尿病视网膜病变分类系统 |
| CN112435243A (zh) * | 2020-11-26 | 2021-03-02 | 山东第一医科大学附属省立医院(山东省立医院) | 一种全切片数字病理图像的自动分析系统及方法 |
| EP3786857A1 (en) * | 2019-09-02 | 2021-03-03 | Secondmind Limited | Computational implementation of gaussian process models |
| CN112990344A (zh) * | 2021-04-09 | 2021-06-18 | 重庆大学 | 一种肺结节多视图分类方法 |
| US20210287780A1 (en) * | 2020-03-10 | 2021-09-16 | The Board Of Trustees Of The Leland Stanford Junior University | Methods for Risk Map Prediction in AI-based MRI Reconstruction |
-
2022
- 2022-05-09 CN CN202210499011.3A patent/CN114862798A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108470337A (zh) * | 2018-04-02 | 2018-08-31 | 江门市中心医院 | 一种基于图像深度特征的亚实性肺结节定量分析方法及系统 |
| EP3786857A1 (en) * | 2019-09-02 | 2021-03-03 | Secondmind Limited | Computational implementation of gaussian process models |
| US20210287780A1 (en) * | 2020-03-10 | 2021-09-16 | The Board Of Trustees Of The Leland Stanford Junior University | Methods for Risk Map Prediction in AI-based MRI Reconstruction |
| CN112016626A (zh) * | 2020-08-31 | 2020-12-01 | 南京泰明生物科技有限公司 | 基于不确定度的糖尿病视网膜病变分类系统 |
| CN112435243A (zh) * | 2020-11-26 | 2021-03-02 | 山东第一医科大学附属省立医院(山东省立医院) | 一种全切片数字病理图像的自动分析系统及方法 |
| CN112990344A (zh) * | 2021-04-09 | 2021-06-18 | 重庆大学 | 一种肺结节多视图分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| SHILIANG SUN等: "Multi-View Representation Learning With Deep Gaussian Processes", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 43, no. 12, pages 4453 - 4468, XP011886398, DOI: 10.1109/TPAMI.2020.3001433 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wyatt et al. | Anoddpm: Anomaly detection with denoising diffusion probabilistic models using simplex noise | |
| Yu et al. | Tensorizing GAN with high-order pooling for Alzheimer’s disease assessment | |
| Senaras et al. | Optimized generation of high-resolution phantom images using cGAN: Application to quantification of Ki67 breast cancer images | |
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN107924457A (zh) | 用于在多路复用/超复合荧光组织图像中查找苏木精和曙红(h＆e)染色的组织图像中的感兴趣区域并量化肿瘤内细胞空间异质性的系统和方法 | |
| Stoyanova et al. | An enhanced computational method for age‐at‐death estimation based on the pubic symphysis using 3 D laser scans and thin plate splines | |
| Mansour | Evolutionary computing enriched ridge regression model for craniofacial reconstruction | |
| Binder et al. | Multi-organ gland segmentation using deep learning | |
| US11978536B2 (en) | Synthetic IHC-stained digital sides generated using artificial neural networks | |
| CN111430025B (zh) | 一种基于医疗影像数据扩增的疾病诊断模型训练方法 | |
| CN116741397A (zh) | 基于多组学数据融合的癌症分型方法、系统及存储介质 | |
| Chakraborty et al. | Adaptive geometric tessellation for 3D reconstruction of anisotropically developing cells in multilayer tissues from sparse volumetric microscopy images | |
| CN116596832A (zh) | 一种面向医学图像分割的单一域泛化方法 | |
| Liang et al. | A framework for 3D vessel analysis using whole slide images of liver tissue sections | |
| CN116563524B (zh) | 一种基于多视觉记忆单元的扫视路径预测方法 | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| CN117409201A (zh) | 基于半监督学习的mr医学影像结直肠癌分割方法及系统 | |
| CN117253277A (zh) | 真实和合成数据联合进行复杂环境人脸关键点检测的方法 | |
| Luo et al. | Measurement Guidance in Diffusion Models: Insight from Medical Image Synthesis | |
| CN116759076A (zh) | 一种基于医疗影像的无监督疾病诊断方法及系统 | |
| CN116188428A (zh) | 一种桥接多源域自适应的跨域组织病理学图像识别方法 | |
| Martin et al. | A graph based neural network approach to immune profiling of multiplexed tissue samples | |
| CN114862798A (zh) | 一种用于肿瘤病理辅助诊断的多视图表示学习方法 | |
| CN116189785A (zh) | 基于空间转录组学数据特征提取的空间域识别方法 | |
| CN106709921B (zh) | 一种基于空间Dirichlet混合模型的彩色图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220805 |