CN116030017B - 基于多模态卷积神经网络的病理预后分析方法及系统 - Google Patents
基于多模态卷积神经网络的病理预后分析方法及系统 Download PDFInfo
- Publication number
- CN116030017B CN116030017B CN202310033883.5A CN202310033883A CN116030017B CN 116030017 B CN116030017 B CN 116030017B CN 202310033883 A CN202310033883 A CN 202310033883A CN 116030017 B CN116030017 B CN 116030017B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- prognosis
- screening
- histopathological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004393 prognosis Methods 0.000 title claims abstract description 122
- 238000004458 analytical method Methods 0.000 title claims abstract description 84
- 230000001575 pathological effect Effects 0.000 title claims abstract description 45
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 30
- 238000012216 screening Methods 0.000 claims abstract description 106
- 230000002055 immunohistochemical effect Effects 0.000 claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 67
- 230000007170 pathology Effects 0.000 claims abstract description 48
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 239000003550 marker Substances 0.000 claims abstract description 23
- 230000001744 histochemical effect Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 19
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000010837 poor prognosis Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 230000036039 immunity Effects 0.000 claims description 4
- 239000011148 porous material Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 210000001519 tissue Anatomy 0.000 description 38
- 210000004027 cell Anatomy 0.000 description 36
- 230000002611 ovarian Effects 0.000 description 14
- 102000014160 PTEN Phosphohydrolase Human genes 0.000 description 11
- 108010011536 PTEN Phosphohydrolase Proteins 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000002679 ablation Methods 0.000 description 5
- 238000003556 assay Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003325 follicular Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000004083 survival effect Effects 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000029749 ovarian granulosa cell tumor Diseases 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010018691 Granuloma Diseases 0.000 description 1
- 208000000811 Mesothelial Neoplasms Diseases 0.000 description 1
- 206010073260 Ovarian granulosa cell tumour Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明提出了一种基于多模态卷积神经网络的病理预后分析方法及系统。该方法为：获取组织病理图像集、免疫组化标记图像集；建立多模态预后分析网络，所述多模态预后分析网络包括组织病理图像筛选网络、免疫组化图像筛选网络以及特征融合网络；将组织病理图像于组织病理图像筛选网络中进行典型组织病理特征区域筛选，将免疫组化标记图像集于免疫组化图像筛选网络中进行典型免疫特征区域筛选；将筛选得到的典型组织病理特征区域与典型免疫特征区域于特征融合网络中进行跨模态特征融合,并进行预后状态预测。该病理预后分析方法通过组织病理图像筛选网络、免疫组化图像筛选网络以及特征融合网络的结合，能有效地预测患者的预后状态是不良还是良好。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种基于多模态卷积神经网络的病理预后分析方法及系统。
背景技术
低度恶性的性索间质类肿瘤，是一种易远期复发，复发后五年生存率显著降低的肿瘤，因此其预后评估对临床医生的诊断决策与制定治疗方案具有重要意义，稳定可靠的评估方法将有助于临床医生掌握诊疗主动权，提高患者的远期生存率。以卵巢粒层细胞瘤(granulosa cell tumor of ovary,GCT)为例，其也是一类具有低度恶性的性索间质类肿瘤。针对卵巢GCT预后评估，国内外学术界均进行了大量研究，试图找到较为稳定可靠的卵巢GCT预后相关指标，进而为肿瘤术后治疗及疗效评估提供依据。通过分析已有研究，我们发现卵巢GCT的各类病理特征与临床预后有显著相关性，但不同研究的结论间仍存在较多矛盾和争议。现有研究大多采用逻辑回归、卡方分析等传统统计方法，对单一因素与肿瘤复发相关性做出评判，其预后相关病理指标的差异尚不明确，且不同文献结果差异较大，难以为临床医生提供可靠的判断决策依据。为了尝试解决上述问题，有文献提出了基于半监督协同智能模型的卵巢GCT预后分析方法，也有文献提出了基于协同森林智能模型的卵巢GCT预后分析方法。但上述方法存在数据特征需要人工设计，以及对病例数据中多模态信息应用不足等局限。
发明内容
为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种基于多模态卷积神经网络的病理预后分析方法及系统。
为了实现本发明的上述目的，本发明提供了一种基于多模态卷积神经网络的病理预后分析方法，包括以下步骤：
获取组织病理图像集、免疫组化标记图像集；
建立多模态预后分析网络，所述多模态预后分析网络包括组织病理图像筛选网络、免疫组化图像筛选网络以及特征融合网络；
将组织病理图像集、免疫组化标记图像集于多模态预后分析网络进行训练：将组织病理图像于组织病理图像筛选网络中进行典型组织病理特征区域筛选，将免疫组化标记图像集于免疫组化图像筛选网络中进行典型免疫特征区域筛选；将筛选得到的典型组织病理特征区域与典型免疫特征区域于特征融合网络中进行跨模态特征融合,并进行预后状态预测；
将待分析的病理图像于训练后的多模态预后分析网络中进行分析。
该病例预后分析方法通过组织病理图像筛选网络、免疫组化图像筛选网络以及特征融合网络的结合，能有效地预测患者的预后状态是不良还是良好。这样即保留了针对典型特征区域的精细细节特征的识别能力，同时兼顾组织病理图像及多种免疫组化标记图像的整体特征，提高了预后分析的准确性。
该基于多模态卷积神经网络的病理预后分析方法的优选方案：在对多模态预后分析网络进行训练前，先分别对组织病理图像筛选网络、免疫组化图像筛选网络进行单独训练。
该基于多模态卷积神经网络的病理预后分析方法的优选方案：组织病理图像于组织病理图像筛选网络中进行典型组织病理特征区域筛选的筛选策略为：
将组织病理图像集中的图像均匀划分为图像块，判断每个图像块的图像块类别，并统计每个图像块类别的图像块数量，以图像块数量最多的前CP种图像类别作为优势类别；针对优势类别，按照各图像块类别对应图像块数量的比例，确定输出的典型组织病理特征图像块。
进一步的，判断每个图像块的图像块类别时，使用轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN对每个图像块进行图像块类别判断；并按以下公式对图像块进行筛，并统计每个图像块类别的图像块数量；
其中，CLCN(patchi)、CMCN(patchi)、CHCN(patchi)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patchi判断的图像类别；PLCN(patchi)、PMCN(patchi)、PHCN(patchi)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patchi判断图像类型所对应的置信度。
这里通过轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN来兼顾图像块中的低阶特征、中阶特征、高阶特征，增强了网络的特征学习能力，提升图像块类型判断的准确性。
进一步的，组织病理图像筛选网络的输出为其中，pathology代表该病例对应的组织病理图像、/>为组织病理图像筛选网络的可训练参数；
代表组织病理图像筛选网络输出的符合筛选策略的典型特征图像块的集合；TOP-Nc表示根据优势类别图像块，确定所输出的典型特征图像块数量；
网络MMDPS(·)的参数集的训练过程为以下最小化问题：
其中，βPS-1*WCELCN+βPS-2*WCEMCN+βPS-3*WCEHCN+δPS为组织病理图像筛选网络的损失函数LOSS1：WCELCN为轻量级判别网络LCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCEMCN为中量级判别网络MCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCEHCN为重量级判别网络HCN针对图像块类型的预测值与图像块实际类型的交叉熵，βPS-1、βPS-2、βPS-3分别是用于调节交叉熵WCELCN、WCEMCN、WCEHCN的权重系数，当组织病理图像筛选网络自身对图像块patchi的类型判别正确时，幂指数μ取值为1，若判别错误则幂指数μ取值为2，δPS为小于1的正数。
该优选方案中，组织病理图像筛选网络的损失函数体现了针对发生了判别错误的图像块，其对损失函数的贡献则增加，即确保对于难样本，施加更大的训练权重。
该基于多模态卷积神经网络的病理预后分析方法的优选方案：免疫组化标记图像集于免疫组化图像筛选网络中进行典型免疫特征区域筛选的筛选策略为：
将免疫组化标记图像集中的图像均匀划分为图像块，判断每个图像块中是否含有阳性细胞，并对含阳性细胞的图像块进行阳性细胞提取，统计图像块中阳性细胞的比例，并筛选出典型阳性细胞区域，得到典型免疫特征图像块。
优选的，判断每个图像块中是否含有阳性细胞时，根据公式进行判断，其中，PDM指阳性判别模块，PDM(patchi)＝POSITIVE表示针对第i个图像块的判别类型为阳性POSITIVE，该公式表示图像块i中含有阳性细胞，且该图像块判别的置信度Conf(patchi)大于阈值Tpositive。
该优选方案通过“定性分析+阈值定量判断”相结合的方式，减少了图像块中少量疑似阳性细胞区域的干扰，同时排除掉了低置信度疑似阳性区域的累计叠加。
优选的，对含阳性细胞的图像块进行阳性细胞提取时，根据公式进行提取，其中Mask(·)表征每个类别的语义预测表，对其添加一个线性变换Sigmoid(·)+Softmax激活以输出得到类别概率预测，PEM(patchi)指阳性判别模块PDM针对第i个图形块的判别输出结果。
该优选方案通过引进语义分割的掩模Mask，能够保存图像块中阳性细胞区域的有效特征，并便于提取。
优选的，统计图像块中阳性细胞的比例，并筛选出典型阳性细胞区域时，根据公式进行统计筛选，其中，/>则代表取表达式(·)的前NUM个最大值所对应的图像块，R1(patchi)、R2(patchi)、...、Rn(patchi)分别代表第1至第n种免疫组化标记图像中第i个图像块patchi中的阳性细胞比例，NUMH1、NUMH2、...、NUMHn分别代表从n种免疫组化标记图像中筛选出的典型阳性区域的数量。
该优选方案能够确保在所有场景下，所有类型的免疫组化图像，均有典型的图像块区域输出；且该优选方案便于根据具体的应用场景以及各类型免疫组化图像的重要程度，快速实现及优化不同类型的免疫组化图像的筛选策略，并根据该策略获取不同类型免疫组化图像中的典型图像块。
该基于多模态卷积神经网络的病理预后分析方法的优选方案：所述多模态预后分析网络的参数集训练过程为：
其中，为多模态预后分析网络的损失函数，N'表示所有病例的集合，n'为集合N'中的一个具体病例，WCEgoodWCEgood为预后良好病例预测值与实际预后状态的交叉熵，WCEpoor为预后不良病例预测值与实际预后状态的交叉熵，β1、β2分别是用于调节交叉熵WCEgood、WCEpoor的权重系数，δ>0；
交叉熵WCEgood由预后状态良好病例的加权交叉熵之和构成，其中FL(CGq,P(pathology-imageq,immune-imageq；θP))代表第q个预后状态良好病例的交叉熵，CGq代表第q个病例的实际预后状态；θP代表GCT预后网络的全部网络参数的集合；pathology-imageq代表第q个病例所对应的组织病理切片图像；immune-imageq代表第q个病例所对应的免疫组化图像；P(pathology-imageq,immune-imageq；θP)代表整个预后网络针对第q个病例的预后状态预测值，为当前病例的组织病理图像典型特征区域与免疫组化图像典型阳性区域的累积梯度比；
交叉熵WCEpoor由预后状态不良病例的所有加权交叉熵之和构成，其中FL(CGj,P(pathology-imagej,immune-imagej；θP))代表第j个预后状态不良病例的的交叉熵，CGj代表第j个病例的实际预后状态；pathology-imagej代表第j个病例所对应的组织病理切片图像；immune-imagej代表第j个病例所对应的免疫组化图像；P(pathology-imagej,immune-imagej；θP)代表整个预后网络针对第j个病例的预后状态预测值，为该病例的组织病理图像典型特征区域与免疫组化图像典型阳性区域的累积梯度比，τ-good、τ-poor分别是预后状态良好病例构成的集合、预后状态不良病例构成的集合。
该优选方案能准确且快速的将组织病理图像特征和免疫组化标记图像特征进行跨模态融合，快速且准确实现病例预后状态的预测与分析。
本发明还提出了一种基于多模态卷积神经网络的病理预后分析系统，包括图像接收模块、处理模块和存储模块，所述图像接收模块接收用于训练或待分析的图像，并将接收到的图像发送至处理模块，所述处理模块与存储模块通信连接，所述存储模块用于存放至少一个可执行指令，所述可执行指令使所述处理模块根据其接收到的图像执行如上述的基于多模态卷积神经网络的病理预后分析方法对应的操作。
优选的，所述处理模块包括组织病理图像特征提取模块、免疫组化图像特征提取模块和特征融合模块；
所述组织病理图像特征提取模块包括第一路由模块、第一特征提取模块和组织病理图像特征融合模块；第一路由模块根据路由规则，将典型组织病理特征图像块输入到第一特征提取模块进行特征提取，然后由组织病理图像特征融合模块进行组织病理图像特征的聚合；
所述免疫组化图像特征提取模块包括第二路由模块、第二特征提取模块和免疫组化图像特征融合模块；第二路由模块根据路由规则，将典型免疫特征图像块输入到第二特征提取模块进行特征提取，然后由免疫组化图像特征融合模块进行免疫组化图像特征的聚合；
特征融合模块将聚合的组织病理图像特征与聚合的免疫组化图像特征完成跨模态融合，并进行预后状态的预测。
该病理预后分析系统具备上述病理预后分析方法的所有优点。
本发明的有益效果是：本发明通过组织病理图像筛选网络、免疫组化图像筛选网络以及多模态预后分析网络的结合，能有效地预测病例的预后状态，预后分析的性能高，稳定性好。该方法能够为病理医生分析患者的预后状态提供重要参考，为突破病例预后，特别是卵巢GCT预后评估的困境提供了新的可能，它将有助于临床医生准确认识卵巢GCT的发展规律，掌握诊疗主动权，提高患者远期生存率。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是基于多模态卷积神经网络的病理预后分析方法流程示意图；
图2是组织病理图像筛选网络的结构示意图；
图3是免疫组化图像筛选网络的结构示意图；
图4是基于多模态卷积神经网络的病理预后分析系统的结构示意图；
图5是不同方法进行预后分析的性能对比图；
图6是不同方法进行预后分析的稳定性对比图；
图7是消融实验中的性能对比图；
图8是消融实验中的稳定性对比图；
图9是采用不同特征提取模型时的性能对比图；
图10是采用不同特征提取模型时的稳定性对比图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明提供了一种基于多模态卷积神经网络的病理预后分析方法的实施例，该实施例中以卵巢粒层细胞瘤为例进行分析，具体包括以下步骤：
获取组织病理图像集、免疫组化图像集。其中，组织病理图像集采用组织病理全切片图像，免疫组化图像集采用免疫组化标记切片数字扫描图像。
建立多模态预后分析网络，如图1所示，所述多模态预后分析网络包括组织病理图像筛选网络、免疫组化图像筛选网络以及特征融合网络。
将组织病理图像集、免疫组化图像集于多模态预后分析网络进行训练。这里需要对组织病理图像筛选网络、免疫组化图像筛选网络、多模态预后分析网络单独训练。先分别对组织病理图像筛选网络、免疫组化图像筛选网络进行单独训练。然后对多模态预后分析网络训练：将组织病理图像于组织病理图像筛选网络中进行典型组织病理特征区域筛选，将免疫组化图像集于免疫组化图像筛选网络中进行典型免疫特征区域筛选；将筛选得到的典型组织病理特征区域与典型免疫特征区域于特征融合网络中进行跨模态特征融合,并进行预后状态预测，预后状态的类别标签包括不良、良好两种类别。这样即保留了针对典型特征区域的精细细节特征的识别能力，同时兼顾组织病理图像及多种免疫组化标记图像的整体特征。
针对组织病理图像筛选网络训练时，采用组织病理全切片图像进行训练。
首先，本实施例中组织病理图像于组织病理图像筛选网络中进行典型组织病理特征区域筛选的筛选策略为：
将组织病理图像集中的图像均匀划分为长度为LenP、宽度为WidP的图像块。接着判断每个图像块的图像块类别，本实施例中列有五种图像块类型，分别为：滤泡状、岛状、梁索状、弥散状、Call-Exner小体，判断每个图像块是否属于滤泡状、岛状、梁索状、弥散状、Call-Exner小体类型的一种或几种，然后统计每个图像块类别的图像块数量，以图像块数量最多的前CP种图像类别作为优势类别；针对优势类别，按照各图像块类别对应图像块数量的比例，确定输出的典型组织病理特征图像块。
组织病理图像筛选网络对组织病理全切片图像的输出为：
其中，MMDPS(·)代表组织病理图像筛选网络，pathology代表该病例对应的组织病理图像、/>为组织病理图像筛选网络的可训练参数。TOP-Nc表示根据优势类别图像块，确定所输出的典型特征图像块数量。
代表组织病理图像筛选网络输出的符合筛选策略的典型组织病理特征图像块的集合。
在判断每个图像块的图像块类别时，如图2所示，使用轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN对每个图像块进行图像块类别判断，以通过兼顾图像块中的低阶特征、中阶特征、高阶特征来增强网络的特征学习能力，提升图像块类型判断的准确性。本实施例中按以下公式对图像块进行筛。
其中，CLCN(patchi)、CMCN(patchi)、CHCN(patchi)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patchi判断的图像类别；PLCN(patchi)、PMCN(patchi)、PHCN(patchi)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patchi判断图像类型所对应的置信度。判别规则为LCN、MCN、HCN针对第i个图像块patchi判断的类型一致，同时三个网络对判别结果的置信度均大于阈值TP1，且置信度之和大于阈值TP2。置信度就是每个分类网络(此处包括轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN)输出的类别概率(softmax)，这里使用现有方法得到即可。
统计每个图像块类别的图像块数量，并按公式筛选数量最多的前CP种图像类型作为优势类别。NUMi'代表第i'种类型的图像块数量，本实施例中CP优选但不限于为5，因此公式/>即为c的取值为1～5的正整数，分别对应滤泡状、岛状、梁索状、弥散状、Call-Exner小体类型图像。
根据优势类别图像块的数量，确定输出的典型病理组织特征图像块数量：表示针对数量第c多的优势图像类别，输出LCN、MCN、HCN对应置信度之和最大的TOP-Nc个图像块，c的取值范围为1～CP，NUMP表示组织病理图像筛选网络需要输出的图像块的数量。
对组织病理图像筛选网络训练时，网络MMDPS(·)的参数集的训练过程为以下最小化问题：
其中，组织病理图像筛选网络的损失函数为LOSS1＝βPS-1*WCELCN+βPS-2*WCEMCN+βPS-3*WCEHCN+δPS，WCELCN为轻量级判别网络LCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCEMCN为中量级判别网络MCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCEHCN为重量级判别网络HCN针对图像块类型的预测值与图像块实际类型的交叉熵，βPS-1、βPS-2、βPS-3分别是用于调节交叉熵WCELCN、WCEMCN、WCEHCN的权重系数，根据实际场景调节其大小，其收两个因素影响：(1)LCN、MCN、HCN整体对图像块patchi的类型判别正确的次数correct(patchi)；(2)判别网络自身对图像块patchi的类型判别是否正确，若判别正确则幂指数μ取值为1，若判别错误则幂指数μ取值为2；δPS是一个小于1的正数，以确保损失函数不为零，避免出现梯度消失的情况。如组织病理图像筛选网络的损失函数体现了针对发生了判别错误的图像块，其对损失函数的贡献则增加。
针对免疫组化图像筛选网络训练时，采用免疫组化标记切片数字扫描图像进行训练。将免疫组化标记切片数字扫描图像按即定的类别分为n个类别，n为正整数，再将原始图像样本均匀划分为图像块。由于需要处理的免疫组化标记包括P53、PTEN、Ki-67三种类别，这三类免疫表型均以细胞核出现明显棕黄色颗粒为阳性，因此这里将免疫组化标记切片数字扫描图像划分为P53、PTEN、Ki-67三种类别。
免疫组化图像集于免疫组化图像筛选网络中进行典型免疫特征区域筛选的筛选策略为：
将免疫组化标记图像集中的图像均匀划分为长度为LenP、宽度为WidP的图像块，判断每个图像块中是否含有阳性细胞，并对含阳性细胞的图像块进行阳性细胞提取，统计图像块中阳性细胞的比例，并筛选出典型阳性细胞区域，得到典型免疫特征图像块。
如图3所示，在判断每个图像块中是否含有阳性细胞时，使用阳性判别模块PDM，按照公式进行判断，其中PDM(patchi)表示针对第i个图像块的判别类型为阳性POSITIVE，该公式表示第i个图像块patchi中含有阳性细胞，且该图像块判别的置信度Conf(patchi)大于阈值Tpositive，本实施例优选但不限于为0.85。
在对含阳性细胞的图像块进行阳性细胞提取时，使用阳性细胞提取模块PEM，按照公式进行提取，其中，R是一个矩阵，也就是Mask(·)的具体取值，该矩阵的长、宽分别为上标LEN-H,WID-H，每一个像素的取值为1-阳性，0-阴性，Mask(·)表征每个类别的语义预测表，对其添加一个线性变换Sigmoid(·)+Softmax激活以输出得到类别概率预测；当所得类别概率大于设定的阈值时，就定性为需要提取，进行后续处理，当所得类别概率小于该阈值时，就定性为不需要提取，不进行后续处理。PEM指阳性判别模块PDM针对第i个图像块的判别输出结果，是一个概率值，由阳性判别模块PDM中的softmax函数得到。阳性细胞提取后即可得到图像块中阳性细胞的比例，图像块中阳性细胞的比例＝阳性细胞所占像素数量/图像块的像素数量。
在统计图像块中阳性细胞的比例，并筛选出典型阳性细胞区域时，确定典型免疫特征图像块时，使用典型区域筛选模块，根据公式进行统计筛选，其中，则代表取表达式(·)的前NUM个最大值所对应的图像块，R1(patchi)、R2(patchi)、...、Rn(patchi)分别代表第1至第n种类别免疫组化标记图像中第i个图像块patchi中的阳性细胞比例，NUMH1、NUMH2、...、NUMHn分别代表从第1至第n种类别免疫组化标记图像中筛选出的典型阳性细胞区域的数量。本实施例中，由于选用了P53、PTEN、Ki-67免疫组化标记图像，因此，根据公式/>进行统计筛选，其中，RP53(patchi)、RPTEN(patchi)、RKi67(patchi)分别代表P53、PTEN、Ki-67这三种类别免疫组化标记图像中第i个图像块patchi中的阳性细胞比例，NUMH1、NUMH2、NUMH3分别代表从P53、PTEN、Ki-67这三种类别免疫组化标记图像中筛选出的典型阳性区域的数量，即典型免疫特征图像块的数量。
上述组织病理图像筛选网络、免疫组化图像筛选网络均建立了基于大尺寸以及超大尺寸图像模式的计算机自动筛选系统框架，将大规模及超大规模图像分析转化为多个候选区域的小规模图像块分析，因此，大规模及超大规模图像模式的分析可以通过主流的深度学习模型来完成；组织病理图像筛选网络、免疫组化图像筛选网络具有直接处理整幅图像的能力，包括图像尺寸为几亿甚至几十亿像素的大规模及超大规模的医学图像，可将图像尺寸为几亿甚至几十亿像素的大规模及超大规模的医学图像直接作为输入，完成典型图像区域的筛选；在模型训练阶段，可根据特定的典型图像区域的筛选要求，只需要对图像块中的少量典型图像区域进行简单标记，不需要对整幅图像中的所有典型图像区域类型进行精确标注。这为准确的病理预后分析提供了基础保障。
预后状态的类别标签为：
其中，MMD(·)代表多模态预后分析网络的输出，/>是一组可训练网络参数的集合，pathology(patch)代表该病例的卵巢组织病理WSI图像，p代表第p个典型特征的组织病理图像块，P代表所有典型特征组织病理图像块的集合，immune(patch)代表一种免疫组化图像类型中的典型图像块，由免疫组化子网络从免疫组化图像中筛选获得。/>代表所有免疫组化图像类型所对应的典型图像块的集合，由免疫组化子网络从免疫组化图像中筛选获得，n是代表具体的一种免疫组化图像类型，例如：P53、PTEN、Ki-67类别中的一种；N代表所有的免疫组化图像类别的集合，例如：P53、PTEN、Ki-67类别的全部。
在对多模态预后分析网络的参数集训练时，可表示为以下最小化问题：
其中，多模态预后分析网络的损失函数为/>N'表示所有病例的集合，n'为集合N'中的一个具体病例，WCEgood为预后良好病例预测值与实际预后状态的交叉熵，WCEpoor为预后不良病例预测值与实际预后状态的交叉熵，β1、β2分别是用于调节交叉熵WCEgood、WCEpoor的权重系数，δ>为小于1的正数；交叉熵WCEgood由预后状态良好病例的加权交叉熵之和构成，其中FL(CGq,P(pathology-imageq,immune-imageq；θP))代表第q个预后状态良好病例的交叉熵，CGq代表第q个病例的实际预后状态；θP代表GCT预后网络的全部网络参数的集合；pathology-imageq代表第q个病例所对应的组织病理切片图像；immune-imageq代表第q个病例所对应的免疫组化图像；P(pathology-imageq,immune-imageq；θP)代表整个预后网络针对第q个病例的预后状态预测值，/>为当前病例的组织病理图像典型特征区域与免疫组化图像典型阳性区域的累积梯度比；
交叉熵WCEpoor由预后状态不良病例的所有加权交叉熵之和构成，其中FL(CGj,P(pathology-imagej,immune-imagej；θP))代表第j个预后状态不良病例的的交叉熵，CGj代表第j个病例的实际预后状态；pathology-imagej代表第j个病例所对应的组织病理切片图像；immune-imagej代表第j个病例所对应的免疫组化图像；P(pathology-imagej,immune-imagej；θP)代表整个预后网络针对第j个病例的预后状态预测值，为该病例的组织病理图像典型特征区域与免疫组化图像典型阳性区域的累积梯度比，τ-good、τ-poor分别是预后状态良好病例构成的集合、预后状态不良病例构成的集合。
本实施例中计算方法为：在确定具体的图像块以后，分别计算典型组织病理图像块的梯度之和、典型免疫组化图像块的梯度之和，再求比例，作为权重。其中，各图像块梯度的计算方法采用现有方法计算即可。
待所有训练完成后，将待分析的病例图像于训练后的多模态预后分析网络中进行分析。
本申请还提出了一种基于多模态卷积神经网络的病理预后分析系统的实施例，该系统包括图像接收模块、处理模块和存储模块，所述图像接收模块接收用于训练或待分析的图像，并将接收到的图像发送至处理模块，所述处理模块与存储模块通信连接，所述存储模块用于存放至少一个可执行指令，所述可执行指令使所述处理模块根据其接收到的图像执行如上述的基于多模态卷积神经网络的病理预后分析方法对应的操作。
该实施例中，如图4所示，处理模块包括组织病理图像特征提取模块、免疫组化图像特征提取模块和特征融合模块；
所述组织病理图像特征提取模块包括第一路由模块Router-P、第一特征提取模块Expert-P和组织病理图像特征融合模块Dense Expert#P；第一路由模块ERouter-P根据路由规则，即Router-P按照顺序，将典型组织病理图像区域依次发送到每个第一特征提取模块Expert-P，就是每个模块轮流发送，将典型组织病理特征图像块输入到第一特征提取模块Expert-P进行特征提取，然后由组织病理图像特征融合模块Dense Expert#P进行组织病理图像特征的聚合，这里的聚合是指把多个典型组织病理图像块的特征进行叠加，采用“特征通道拼接”的方式完成。本实施例中，第一特征提取模块Expert-P包括Expert-P1～Expert-P5。
所述免疫组化图像特征提取模块包括第二路由模块Router-H、第二特征提取模块Expert-H和免疫组化图像特征融合模块Dense Expert#H；第二路由模块Router-H根据路由规则，即路由模块Router-H根据免疫组化标记图像块的类型进行路由，本实施例中，第二特征提取模块Expert-H包括Expert-H1～Expert-H3，即将P53、PTEN、Ki-67图像块分别发送到Expert-H1、Expert-H2、Expert-H3模块。将典型免疫特征图像块输入到第二特征提取模块Expert-H进行特征提取，然后由免疫组化图像特征融合模块Dense Expert#H进行免疫组化图像特征的聚合，这里的聚合是指把多个典型免疫组化图像块的特征进行叠加，采用“特征通道拼接”的方式完成。
特征融合模块将聚合的组织病理图像特征与聚合的免疫组化图像特征完成跨模态融合，并进行预后状态的预测。
其中，第一路由模块Router-P按照顺序，将典型组织病理图像区域依次发送到第一特征提取模块Expert-P1～Expert-P5。第一路由模块Router-H则根据免疫组化标记图像块的类型进行路由，即将P53、PTEN、Ki-67图像块分别发送到第二特征提取模块Expert-H1、Expert-H2、Expert-H3。预后分析模块采用上述工作方式，目的是为了保留针对典型特征区域的精细细节特征的识别能力，同时兼顾组织病理图像及多种免疫组化标记图像的整体特征。
本申请的实施例中每次使用了100个病例数据作为训练集，其中阳性、阴性各50例，50个病例数据作为测试集，其中阳性、阴性各25例。当某种类型的图像块数量不足时，通过将图像块旋转90度、180度、270度进行数据增强，训练、测试过程中，均使用20倍病理全切片图像或免疫组化图像。针对组织病理图像筛选网络，图像分块的长度LenP、宽度WidP均设置为512像素，优势类别数量CP设置为3，输出图像块数量NUMP设置为10。阈值TP1取0.8，阈值TP2取2.6。针对免疫组化图像筛选网络，将图像分块的长度LenH、宽度WidH均设置为512像素，置信度TH采用默认值0.85。实验时，阳性判别模块PDM可以使用RESNET-50模型，其实质是PDM模块使用一个分类模型；阳性细胞提取模块PEM可以使用UNet模型，其实质是PEM模块使用一个分割模型。从P53、PTEN、Ki-67免疫组化标记图像中筛选出的典型阳性区域的数量NUMH1、NUMH2、NUMH3均设置为2。针对多模态预后分析网络，第一特征提取模块Expert-P1～Expert-P5以及第二特征提取模块Expert-H1～Expert-H3均采用了EfficientNet-B3模型，调节权重β取默认值1.0。
为了对比卵巢粒层细胞瘤预后分析方法的性能，使用的评价指标包括准确率accuracy、精度precision、召回率recall，定义分别如公式(11)、(12)、(13)所示。这三个指标的平均值mean越大，分析方法的性能越好；这三个指标的标准差std越小，分析方法的稳定性越好。式中准确率accuracy代表预测正确的比例。
式中精度precision代表预测正确的正样本占所有预测为正样本的比例。/>式中召回率recall代表预测正确的正样本占正样本的比例。tp代表真阳性样本，tn代表真阴性样本，fp代表假阳性样本，fn代表假阴性样本。表1给出了本文方法MM-DL和四种现有方法进行卵巢粒层细胞瘤预后状态分析的结果。同时，为了深入、直观的展现上述方法的性能、稳定性，将分析结果使用了柱状图进行对比，如图5和图6所示。
表1不同卵巢GCT预后状态分析方法的性能比较
表1中，第一列是方法类型，SVM、DT(C4.5)、Co-Forest、Tri-Training分别代表使用支持向量机、C4.5决策树、协同森林智能模型、协同训练智能模型得到的分析结果。其中的数据项(mean,std)是通过三折交叉验证确定的各项指标的平均值mean、标准差std。图5中的矩形高度代表该组数据的均值，紫色矩形代表召回率recall的均值，绿色矩形代表准确率accuracy的均值，蓝色矩形代表精度precision的均值。图6中的矩形高度代表该组数据的标准差，蓝色矩形代表召回率recall的标准差，黄色矩形代表准确率accuracy的标准差，红色矩形代表精度precision的标准差。
根据表1及图5可以看出，本文方法MM-DL的召回率、准确率、精确率的均值明显超过了SVM、CT(C4.5)、Co-Forest、Tri-Training方法，即方法MM-DL具备更好的分析性能。根据表1以及图6可以看出，本文方法MM-DL的召回率、准确率、精确率的标准差均明显低于SVM、DT(C4.5)、Co-Forest、Tri-Training方法，即方法MM-DL具备更好的分析稳定性。上述实验结果表明，本文方法MM-DL能够有效利用卵巢GCT病例中的多模态信息进行预后状态分析，其性能及稳定性明显优于现有方法，弥补了现有方法未能充分利用病例数据中多模态信息的缺陷。
为了验证本文方法中各个中间步骤的必要性及有效性，我们设计了相关消融实验，获得的性能指标如表2所示。同时，为了更深入、直观的展现消融实验的结果，我们将表2中的性能指标使用了柱状图进行分析和对比，如图7和图8所示。
表2本文方法进行消融实验的性能比较
/>
表2中，第一列是方法类型，MM-DL代表本文方法全流程，MM-P-1代表本文方法中的组织病理图像进行随机筛选，MM-P-2代表本文方法未使用组织病理图像，MM-H-1代表本文方法中的免疫组化图像进行随机筛选，MM-H-2代表本文方法未使用免疫组化图像，MM-P-H代表本文方法中的组织病理图像、免疫组化图像均进行随机筛选。图7中的矩形高度代表该组数据的均值，图8中的矩形高度代表该组数据的标准差。
由表2及图7可以看出，方法MM-DL的召回率、准确率、精确率的均值明显优于方法MM-H-1、MM-H-2、MM-P-1、MM-P-2、MM-P-H，即方法MM-DL具备更好的分析性能。由表2及图8可以看出，方法MM-DL的召回率、准确率、精确率的均方差明显低于方法MM-H-1、MM-H-2、MM-P-1、MM-P-2、MM-P-H，即方法MM-DL具备更好的分析稳定性。上述实验结果表明，通过筛选典型特征区域，再对典型特征区域进行多模态信息融合，能够有效地提升卵巢GCT预后分析的性能(获得更高的召回率、准确率、精确率指标的均值)，并提升分析稳定性(获得更小的召回率、准确率、精确率指标的标准差)。上述结论，为本文方法中各个中间步骤的合理性、必要性提供了实验依据。
本文MM-DL方法中的多模态预后分析网络的特征提取模块，可以采用不同模型。为了选择性能最佳的模型，我们进行了对比实验，获得的性能指标如表3所示。同时，使用了柱状图进行展示，如图9和图10所示。
表3预后分析网络选择不同特征提取模型时的性能比较
表3中，第一列是方法类型，MM-DL(VGG 16)、MM-DL(RESNET 50)、MM-DL(RESNET101)、MM-DL(INCEPTION V3)、MM-DL(MobileNet)、MM-DL(EfficientNet-B3)分别代表预后分析网络的特征提取模块采用了VGG16、RESNET50、RESNET101、INCEPTION V3、MobileNet、EfficientNet-B3模型。图9中的矩形高度代表该组数据的均值，图10中的矩形高度代表该组数据的标准差。
由表3及图9可以看出，方法MM-DL(EfficientNet-B3)的召回率、准确率、精确率的均值明显优于其他方法，具备更好的预后分析性能。由图10可以看出，方法MM-DL(EfficientNet-B3)的召回率、准确率、精确率的均方差明显低于其他方法，具备更好的分析稳定性。上述实验结果，为我们采用EfficientNet-B3模型作为预后分析网络的特征提取模块提供了实验依据。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (12)
1.一种基于多模态卷积神经网络的病理预后分析方法，其特征在于，包括以下步骤：
获取组织病理图像集、免疫组化标记图像集；
建立多模态预后分析网络，所述多模态预后分析网络包括组织病理图像筛选网络、免疫组化图像筛选网络以及特征融合网络；
将组织病理图像集、免疫组化标记图像集于多模态预后分析网络进行训练：将组织病理图像于组织病理图像筛选网络中进行典型组织病理特征区域筛选，将免疫组化标记图像集于免疫组化图像筛选网络中进行典型免疫特征区域筛选；将筛选得到的典型组织病理特征区域与典型免疫特征区域于特征融合网络中进行跨模态特征融合,并进行预后状态预测；
将待分析的病理图像于训练后的多模态预后分析网络中进行分析。
2.根据权利要求1所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，在对多模态预后分析网络进行训练前，先分别对组织病理图像筛选网络、免疫组化图像筛选网络进行单独训练。
3.根据权利要求1所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，组织病理图像于组织病理图像筛选网络中进行典型组织病理特征区域筛选的筛选策略为：
将组织病理图像集中的图像均匀划分为图像块，判断每个图像块的图像块类别，并统计每个图像块类别的图像块数量，以图像块数量最多的前CP种图像类别作为优势类别；针对优势类别，按照各图像块类别对应图像块数量的比例，确定输出的典型组织病理特征图像块。
4.根据权利要求3所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，判断每个图像块的图像块类别时，使用轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN对每个图像块进行图像块类别判断；并按以下公式对图像块进行筛选，并统计每个图像块类别的图像块数量；
其中，CLCN(patchi)、CMCN(patchi)、CHCN(patchi)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patchi判断的图像类别；PLCN(patchi)、PMCN(patchi)、PHCN(patchi)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patchi判断图像类型所对应的置信度。
5.根据权利要求4所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，组织病理图像筛选网络的输出为其中，pathology代表病例对应的组织病理图像、/>为组织病理图像筛选网络的可训练参数；
代表组织病理图像筛选网络输出的符合筛选策略的典型特征图像块的集合；TOP-Nc表示根据优势类别图像块，确定所输出的典型特征图像块数量；
网络MMDPS(·)的参数集的训练过程为以下最小化问题：
其中，βPS-1*WCELCN+βPS-2*WCEMCN+βPS-3*WCEHCN+δPS为组织病理图像筛选网络的损失函数LOSS1：WCELCN为轻量级判别网络LCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCEMCN为中量级判别网络MCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCEHCN为重量级判别网络HCN针对图像块类型的预测值与图像块实际类型的交叉熵，βPS-1、βPS-2、βPS-3分别是用于调节交叉熵WCELCN、WCEMCN、WCEHCN的权重系数，当组织病理图像筛选网络自身对图像块patchi的类型判别正确时，幂指数μ取值为1，若判别错误则幂指数μ取值为2，δPS为小于1的正数。
6.根据权利要求1所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，免疫组化标记图像集于免疫组化图像筛选网络中进行典型免疫特征区域筛选的筛选策略为：
将免疫组化标记图像集中的图像均匀划分为图像块，判断每个图像块中是否含有阳性细胞，并对含阳性细胞的图像块进行阳性细胞提取，统计图像块中阳性细胞的比例，并筛选出典型阳性细胞区域，得到典型免疫特征图像块。
7.根据权利要求6所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，判断每个图像块中是否含有阳性细胞时，根据公式进行判断，其中，PDM指阳性判别模块，PDM(patchi)＝POSITIVE表示针对第i个图像块的判别类型为阳性POSITIVE，该公式表示图像块i中含有阳性细胞，且该图像块判别的置信度Conf(patchi)大于阈值Tpositive。
8.根据权利要求6所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，对含阳性细胞的图像块进行阳性细胞提取时，根据公式进行提取，其中Mask(·)表征每个类别的语义预测表，对其添加一个线性变换Sigmoid(·)+Softmax激活以输出得到类别概率预测，PEM(patchi)指阳性判别模块PDM针对第i个图形块的判别输出结果。
9.根据权利要求6所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，统计图像块中阳性细胞的比例，并筛选出典型阳性细胞区域时，根据公式进行统计筛选，其中，/>则代表取表达式(·)的前NUM个最大值所对应的图像块，R1(patchi)、R2(patchi)、...、Rn(patchi)分别代表第1至第n种免疫组化标记图像中第i个图像块patchi中的阳性细胞比例，NUMH1、NUMH2、...、NUMHn分别代表从n种免疫组化标记图像中筛选出的典型阳性区域的数量。
10.根据权利要求1所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，所述多模态预后分析网络的参数集训练过程为：
其中，为多模态预后分析网络的损失函数，N'表示所有病例的集合，n'为集合N'中的一个具体病例，WCEgoodWCEgood为预后良好病例预测值与实际预后状态的交叉熵，WCEpoor为预后不良病例预测值与实际预后状态的交叉熵，β1、β2分别是用于调节交叉熵WCEgood、WCEpoor的权重系数，δ>0；
交叉熵WCEgood由预后状态良好病例的加权交叉熵之和构成，其中FL(CGq,P(pathology-imageq,immune-imageq；θP))代表第q个预后状态良好病例的交叉熵，CGq代表第q个病例的实际预后状态；θP代表GCT预后网络的全部网络参数的集合；pathology-imageq代表第q个病例所对应的组织病理切片图像；immune-imageq代表第q个病例所对应的免疫组化图像；P(pathology-imageq,immune-imageq；θP)代表整个预后网络针对第q个病例的预后状态预测值，为当前病例的组织病理图像典型特征区域与免疫组化图像典型阳性区域的累积梯度比；
交叉熵WCEpoor由预后状态不良病例的所有加权交叉熵之和构成，其中FL(CGj,P(pathology-imagej,immune-imagej；θP))代表第j个预后状态不良病例的的交叉熵，CGj代表第j个病例的实际预后状态；pathology-imagej代表第j个病例所对应的组织病理切片图像；immune-imagej代表第j个病例所对应的免疫组化图像；P(pathology-imagej,immune-imagej；θP)代表整个预后网络针对第j个病例的预后状态预测值，为该病例的组织病理图像典型特征区域与免疫组化图像典型阳性区域的累积梯度比，τ-good、τ-poor分别是预后状态良好病例构成的集合、预后状态不良病例构成的集合。
11.一种基于多模态卷积神经网络的病理预后分析系统，其特征在于，包括图像接收模块、处理模块和存储模块，所述图像接收模块接收用于训练或待分析的图像，并将接收到的图像发送至处理模块，所述处理模块与存储模块通信连接，所述存储模块用于存放至少一个可执行指令，所述可执行指令使所述处理模块根据其接收到的图像执行如权利要求1-10任一项所述的基于多模态卷积神经网络的病理预后分析方法对应的操作。
12.根据权利要求11所述的基于多模态卷积神经网络的病理预后分析系统，其特征在于，所述处理模块包括组织病理图像特征提取模块、免疫组化图像特征提取模块和特征融合模块；
所述组织病理图像特征提取模块包括第一路由模块、第一特征提取模块和组织病理图像特征融合模块；第一路由模块根据路由规则，将典型组织病理特征图像块输入到第一特征提取模块进行特征提取，然后由组织病理图像特征融合模块进行组织病理图像特征的聚合；
所述免疫组化图像特征提取模块包括第二路由模块、第二特征提取模块和免疫组化图像特征融合模块；第二路由模块根据路由规则，将典型免疫特征图像块输入到第二特征提取模块进行特征提取，然后由免疫组化图像特征融合模块进行免疫组化图像特征的聚合；
特征融合模块将聚合的组织病理图像特征与聚合的免疫组化图像特征完成跨模态融合，并进行预后状态的预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310033883.5A CN116030017B (zh) | 2023-01-10 | 2023-01-10 | 基于多模态卷积神经网络的病理预后分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310033883.5A CN116030017B (zh) | 2023-01-10 | 2023-01-10 | 基于多模态卷积神经网络的病理预后分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116030017A CN116030017A (zh) | 2023-04-28 |
| CN116030017B true CN116030017B (zh) | 2024-01-26 |
Family
ID=86070348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310033883.5A Active CN116030017B (zh) | 2023-01-10 | 2023-01-10 | 基于多模态卷积神经网络的病理预后分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116030017B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903284A (zh) * | 2019-03-04 | 2019-06-18 | 武汉大学 | 一种her2免疫组化图像自动判别方法及系统 |
| CN113628199A (zh) * | 2021-08-18 | 2021-11-09 | 四川大学华西第二医院 | 病理图片染色组织区域检测方法、检测系统及预后状态分析系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019108888A1 (en) * | 2017-11-30 | 2019-06-06 | The Research Foundation For The State University Of New York | SYSTEM AND METHOD TO QUANTIFY TUMOR-INFILTRATING LYMPHOCYTES (TILs) FOR CLINICAL PATHOLOGY ANALYSIS |
-
2023
- 2023-01-10 CN CN202310033883.5A patent/CN116030017B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903284A (zh) * | 2019-03-04 | 2019-06-18 | 武汉大学 | 一种her2免疫组化图像自动判别方法及系统 |
| CN113628199A (zh) * | 2021-08-18 | 2021-11-09 | 四川大学华西第二医院 | 病理图片染色组织区域检测方法、检测系统及预后状态分析系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116030017A (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564026B (zh) | 用于甲状腺肿瘤细胞学涂片图像分类的网络构建方法及系统 | |
| CN109376777A (zh) | 基于深度学习的宫颈癌组织病理学图像分析方法及设备 | |
| CN108564123B (zh) | 一种甲状腺肿瘤细胞学涂片图像分类方法及其装置 | |
| CN112101451A (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| CN113724842B (zh) | 一种基于注意力机制的宫颈组织病理辅助诊断方法 | |
| CN112183557A (zh) | 基于胃癌组织病理图像纹理特征的msi预测模型构建方法 | |
| CN112435743A (zh) | 一种基于机器学习的膀胱癌病理组学智能诊断方法及其预后模型 | |
| CN114782372B (zh) | Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统 | |
| Chidester et al. | Discriminative bag-of-cells for imaging-genomics | |
| CN109656808A (zh) | 一种基于混合式主动学习策略的软件缺陷预测方法 | |
| CN111814893A (zh) | 基于深度学习的肺部全扫描图像egfr突变预测方法和系统 | |
| CN113628199B (zh) | 病理图片染色组织区域检测方法、检测系统及预后状态分析系统 | |
| CN114864075A (zh) | 一种基于病理图像的胶质瘤级别分析方法及装置 | |
| CN112508860B (zh) | 一种免疫组化图像核阳性的人工智能判读方法及系统 | |
| CN116030017B (zh) | 基于多模态卷积神经网络的病理预后分析方法及系统 | |
| Chauhan et al. | Exploring genetic-histologic relationships in breast cancer | |
| Guo et al. | Pathological Detection of Micro and Fuzzy Gastric Cancer Cells Based on Deep Learning. | |
| CN116864011A (zh) | 基于多组学数据的结直肠癌分子标志物识别方法及系统 | |
| Sarnecki et al. | A robust nonlinear tissue-component discrimination method for computational pathology | |
| CN116386034A (zh) | 一种基于多尺度注意力特征增强的宫颈细胞分类方法 | |
| CN116229176A (zh) | 结合影像组学特征和临床特征的医学图像分类方法及设备 | |
| CN112466389B (zh) | 一种基于机器学习算法获取肿瘤标记物的方法和系统 | |
| CN114267434A (zh) | 一种基于影像组学的癌患者肿瘤图像勾画方法 | |
| CN113034448B (zh) | 一种基于多示例学习的病理图像细胞识别方法 | |
| CN114155399A (zh) | 基于多特征融合递进式判别的乳腺病理全切片分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |