CN118071695B - 基于深度学习的临床医学影像分析方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的临床医学影像分析方法及系统，包括：首先获取待分析的临床医学影像，然后对多个病理框架生成相应的病理描述内容集合。将这些临床医学影像和病理描述内容集合加载至多模态识别模型中，得到影像在各个病理框架下的置信度结果。最后，根据置信度结果确定临床医学影像识别结果。此外，所有的病理框架和多模态识别模型都是基于具有少量标签数据的影像识别训练数据集进行训练优化得到的。如此设计，能够大幅提升医学影像识别和分析的准确性，有助于更早地发现病理变化，从而为病患提供及时有效的治疗方案，提高医疗服务的质量与效率。

Description

基于深度学习的临床医学影像分析方法及系统

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种基于深度学习的临床医学影像分析方法及系统。

背景技术

现有的临床医学影像分析方法通常依赖于医生的经验进行判断和诊断，但由于人工识别的局限性，如判断主观性强、易受疲劳影响等因素，可能导致诊断结果存在一定误差。而机器学习，尤其是深度学习技术的发展，使得医学影像的自动分析和识别成为可能。然而，当前基于深度学习的医学影像识别方法，大多需要大量标签数据进行模型训练，且对于复杂的多模态影像识别任务，常规的深度学习模型可能无法有效处理。

发明内容

本发明的目的在于提供一种基于深度学习的临床医学影像分析方法及系统。

第一方面，本发明实施例提供一种基于深度学习的临床医学影像分析方法，包括：

获取待分析的临床医学影像；

对于多个病理框架中的各个病理框架，根据临床医学影像分析任务的病理风险类型集合生成所述病理框架下的病理描述内容集合；其中，将一个病理风险类型设置到一个病理框架中可生成相应病理框架下关联相应病理风险类型的一个病理描述内容；

将所述临床医学影像的多个局部临床医学影像和所述病理描述内容集合加载至多模态识别模型中，得到所述临床医学影像在所述病理框架下的置信度结果；

基于所述临床医学影像在多个病理框架下的置信度结果，确定所述临床医学影像的临床医学影像识别结果；

其中，所述多个病理框架和所述多模态识别模型，是基于具有少量标签数据的影像识别训练数据集，对多个预置病理框架和优化后的多模态先期训练模型进行经过完全标记数据的模型参数优化、部分标记数据的模型优化，以及在完全标记数据上对模型参数进行调优的预置流程训练优化而得到的；所述优化后的多模态先期训练模型是通过多模态先期训练模型中的视觉特征提取单元后面级联特征融合组件而得到；所述特征融合组件用于对输入的多个局部临床医学影像的医学图像特征执行特征整合操作。

第二方面，本发明实施例提供一种服务器系统，包括服务器，所述服务器用于执行第一方面所述的基于深度学习的临床医学影像分析方法。

相比现有技术，本发明提供的有益效果包括：采用本发明公开的一种基于深度学习的临床医学影像分析方法及系统，通过获取待分析的临床医学影像，然后对多个病理框架生成相应的病理描述内容集合。将这些临床医学影像和病理描述内容集合加载至多模态识别模型中，得到影像在各个病理框架下的置信度结果。最后，根据置信度结果确定临床医学影像识别结果。此外，所有的病理框架和多模态识别模型都是基于具有少量标签数据的影像识别训练数据集进行训练优化得到的。如此设计，能够大幅提升医学影像识别和分析的准确性，有助于更早地发现病理变化，从而为病患提供及时有效的治疗方案，提高医疗服务的质量与效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的基于深度学习的临床医学影像分析方法的步骤流程示意图；

图2为本发明实施例提供的计算机设备的结构示意框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

下面结合附图，对本发明的具体实施方式进行详细说明。

为了解决前述背景技术中的技术问题，图1为本公开实施例提供的基于深度学习的临床医学影像分析方法的流程示意图，下面对该基于深度学习的临床医学影像分析方法进行详细介绍。

步骤S201，获取待分析的临床医学影像；

步骤S202，对于多个病理框架中的各个病理框架，根据临床医学影像分析任务的病理风险类型集合生成所述病理框架下的病理描述内容集合；其中，将一个病理风险类型设置到一个病理框架中可生成相应病理框架下关联相应病理风险类型的一个病理描述内容；

步骤S203，将所述临床医学影像的多个局部临床医学影像和所述病理描述内容集合加载至多模态识别模型中，得到所述临床医学影像在所述病理框架下的置信度结果；

步骤S204，基于所述临床医学影像在多个病理框架下的置信度结果，确定所述临床医学影像的临床医学影像识别结果；

其中，所述多个病理框架和所述多模态识别模型，是基于具有少量标签数据的影像识别训练数据集，对多个预置病理框架和优化后的多模态先期训练模型进行经过完全标记数据的模型参数优化、部分标记数据的模型优化，以及在完全标记数据上对模型参数进行调优的预置流程训练优化而得到的；所述优化后的多模态先期训练模型是通过多模态先期训练模型中的视觉特征提取单元后面级联特征融合组件而得到；所述特征融合组件用于对输入的多个局部临床医学影像的医学图像特征执行特征整合操作。

在本发明实施例中，示例性的，一个病人在做完MRI扫描后，医生会得到一份临床医学影像。这是一个关于病人大脑结构和功能的全面报告，需要进行深度学习的分析。以癌症诊断为例，可以有肺癌、胰腺癌等多种病理框架。对每一种病理框架，系统会根据其病理风险类型(如瘤体大小、形状、位置等)，生成相应的病理描述内容集合。将前述MRI扫描的结果和对应的病理描述内容集合输入到多模态识别模型中。这个模型可以通过比较图像中某些区域(脑部的特定部分)与病理描述内容集合的相似性来输出一个置信度结果。对于每个病理框架，模型都会产生一个置信度结果。系统将根据这些结果确定最终的临床医学影像识别结果。如果肺癌的置信度最高，那么系统可以推断这个病人患有肺癌。举例来说，这个模型可以是使用深度学习算法在大量带有病理标签(如癌症、肺炎等)的医学影像数据集上进行训练的。在模型训练过程中，可以使用完全标记的数据进行模型参数优化，并对部分标记的数据进行模型优化，最后在完全标记的数据上对模型参数进行调优。以MRI扫描为例，其结果可以包含多个局部影像，如大脑的不同部位。每个部位的影像都可以从中提取出一系列的视觉特征，然后通过特征融合组件将这些特征整合起来，形成一个统一的特征表示，进而进行识别和分析。

在本发明实施例的另一种实施方式中，示例性的，一名患者进行CT扫描，生成了一张包含肺部图像的临床医学影像。这个图像将作为输入用于后续的分析。对于肺部CT图像，根据预定义的病理风险类型集合(例如结节、肿瘤等)，算法会在图像中框选出不同的病理框架，并为每个病理框架生成相应的病理描述内容。在一个病理框架中设置了病理风险类型为结节，算法会生成与该结节相关的病理描述内容。将原始的临床医学影像切分成不同的局部图像，并将这些局部图像以及对应的病理描述内容集合加载到多模态识别模型中。模型通过学习和分析局部图像和病理描述内容之间的关联，可以得到临床医学影像在特定病理框架下的置信度结果。根据临床医学影像在多个病理框架下的置信度结果，系统可以决定该临床医学影像所代表的病理类型。如果在肺部CT图像中检测到高置信度的结节病理框架，并与之相关联的病理风险类型为肿瘤，系统将确定该临床医学影像为肺部肿瘤。

在本发明实施例中，所述多个预置病理框架是通过以下方式获取的。

(1)根据标准病理框架结构，生成多个基础病理框架；其中，所述标准病理框架结构为病理框架由多个病理内容描述位置和一个病理类型标识位置构建；所述多个基础病理框架各自包括的病理内容描述位置数目和/或病理类型标识位置序列不相同；

(2)为各个所述基础病理框架中各个病理内容描述位置嵌入一个病理描述字符得到所述多个预置病理框架；

其中，为任一基础病理框架中的任一病理内容描述位置分配一个病理描述字符，包括：

(1)提取待分配病理描述字符；

(2)基于病理描述字符索引，确定所述待分配病理描述字符的标识符序列；

(3)将所述标识符序列加载至文字转化模型中，得到所述待分配病理描述字符的特征属性；

(4)将所述特征属性分配至所述任一基础病理框架中的所述任一病理内容描述位置。

在本发明实施例中，示例性的，在一项针对肺癌的临床医学影像分析任务中，可以参考标准的肺癌病理框架结构，包括多个描述位置(如瘤体大小、形状、位置等)和一个病理类型标识位置(如肺腺癌、鳞癌等)。这些构成了一个基础病理框架。然后根据需要，可以生成更多的基础病理框架，每个框架可以包含不同数量的病理内容描述位置或者病理类型标识位置序列。可以将“瘤体大小”、“形状”、“位置”等病理描述字符嵌入到基础病理框架的相应位置，从而生成预置的病理框架。如果在进行肺癌分析时，需要将"肺腺癌"这个病理描述字符分配到基础病理框架的病理类型标识位置。"肺腺癌"在病理描述字符索引中可以对应一个特定的标识符序列，比如"001"。将"001"输入到文字转化模型(如Word2Vec模型)，可以得到"肺腺癌"的特征属性，比如其向量表示。最后，将"肺腺癌"的特征属性分配到基础病理框架的病理类型标识位置，从而完成了预置病理框架的生成。

在本发明实施例的另一种实施方式中，示例性的，假设正在开发一个肺部CT图像分析系统。标准病理框架结构定义了病理框架由多个病理内容描述位置和一个病理类型标识位置构建。在这个场景中，生成了两个基础病理框架，其中一个包含3个病理内容描述位置，另一个包含4个病理内容描述位置。对于第一个基础病理框架中的第一个病理内容描述位置，提取了一个待分配的病理描述字符“A”。然后，根据字符索引，确定字符“A”的标识符序列。接下来，将标识符序列加载到文字转化模型中，并获取该字符的特征属性。最后，将这些特征属性分配给第一个基础病理框架中的第一个病理内容描述位置。对于第二个基础病理框架中的第一个病理内容描述位置，提取了另一个待分配的病理描述字符“B”，并重复上述过程，将特征属性分配给该位置。对于第二个基础病理框架中的第二个和第三个病理内容描述位置，分别提取了字符“C”和“D”，并根据相应的索引和模型，将它们嵌入到这些位置中。如此设计，生成了两个预置病理框架，每个框架都包含了对应的病理描述字符。这些字符是通过文字转化模型和特征属性计算得到的，用于后续的医学影像分析任务。

在本发明实施例中，将一个病理风险类型分配至一个病理框架包括将一个病理风险类型分配至一个病理框架的病理类型标识位置；前述步骤S203可以通过以下方式执行实施。

(1)基于所述多模态识别模型的视觉特征提取单元，确定所述临床医学影像的多个局部临床医学影像的融合医学图像特征；

(2)基于所述多模态识别模型的语义特征提取单元，确定所述病理描述内容集合中各个病理描述内容的语义特征；

(3)将所述融合医学图像特征与所述病理描述内容集合中各个病理描述内容的语义特征分别执行特征距离计算操作，得到特征距离计算结果；

(4)将所述特征距离计算结果作为所述临床医学影像的病理风险类型的置信度，所述置信度与所述病理描述内容集合中各个病理描述内容关联；

(5)根据所述置信度，得到所述临床医学影像在所述病理框架下的置信度结果。

在本发明实施例中，示例性的，以肺癌为例，"肺腺癌"这个病理风险类型可以被分配到肺癌病理框架的病理类型标识位置。可以从肺部CT扫描的各个局部影像(如左肺、右肺等)中提取出视觉特征，并将这些特征进行融合，形成一个综合的医学图像特征。对于描述"肺腺癌"的病理描述内容，可以通过语义特征提取单元提取出其语义特征，如关联的症状、发病机制等。通过计算融合后的医学图像特征与"肺腺癌"的语义特征之间的特征距离，可以得到一个数值结果，这个结果可以表示临床医学影像与"肺腺癌"这一病理描述内容的相似度。比如，特征距离计算结果越小，说明医学影像与病理描述内容的相似度越高，因此对应的病理风险类型的置信度也就越高。这样，就可以将这个置信度与"肺腺癌"这个病理描述内容关联起来。最后，根据上述步骤计算出的置信度，就可以得到这个临床医学影像在肺癌病理框架下的置信度结果，进而判断出患者是否可能患有肺腺癌。

在本发明实施例的另一种实施方式中，示例性的，在乳腺X射线图像分析系统中，有两个预置病理框架，其中一个包含3个病理描述字符(A、B和C)，另一个包含4个病理描述字符(D、E、F和G)。将“良性”类型分配给第一个病理框架的病理类型标识位置，将“恶性”类型分配给第二个病理框架的病理类型标识位置。这样，病理类型标识位置就与相应的病理风险类型关联起来。将一组乳腺X射线图像加载到多模态识别模型中。在视觉特征提取单元中，该模型会对每个图像提取融合医学图像特征。同时，在语义特征提取单元中，模型会对病理描述内容集合中的每个病理描述字符提取语义特征。对于第一个局部临床医学影像，模型提取了与该影像相关的融合医学图像特征。对于病理描述内容集合中的字符A、B和C，模型分别提取了它们的语义特征。然后，通过计算融合医学图像特征与病理描述内容的语义特征之间的距离，得到了特征距离计算结果。这些结果将作为临床医学影像在预置病理框架下的病理风险类型的置信度。假设得到了临床医学影像在病理框架下的病理风险类型的置信度，这些置信度是根据特征距离计算结果得出的。通过对这些置信度进行处理和分析，可以得到临床医学影像在预置病理框架下的置信度结果。如果一个临床医学影像在特定的病理框架中具有较高的置信度，则可以认为该影像与该病理风险类型之间存在较强的关联。通过以上步骤，系统能够将病理风险类型分配给病理框架，并利用多模态识别模型对局部临床医学影像和病理描述内容进行特征提取和距离计算，从而得到临床医学影像在预置病理框架下的置信度结果。

在本发明实施例中，所述多个病理框架和所述多模态识别模型，是基于具有少量标签数据的影像识别训练数据集，对多个预置病理框架和优化后的多模态先期训练模型进行经过完全标记数据的模型参数优化、部分标记数据的模型优化，以及在完全标记数据上对模型参数进行调优的预置流程训练优化而得到的，可以通过以下实施方式执行实施。

(1)根据所述多模态先期训练模型，基于所述影像识别训练数据集包含的第一训练数据集对多个预置病理框架进行基于完全标记数据的有监督优化训练，以优化多个所述预置病理框架得到多个第一病理框架；

(2)根据多个所述第一病理框架，基于所述影像识别训练数据集包含的第二训练数据集对所述优化后的多模态先期训练模型进行基于部分标记数据的有监督优化训练，以优化所述特征融合组件得到所述多模态识别模型；

(3)根据所述多模态识别模型，基于所述影像识别训练数据集包含的第三训练数据集对多个所述第一病理框架进行基于完全标记数据的有监督优化训练，以调优多个所述第一病理框架得到多个所述病理框架；

其中，所述第一训练数据集、所述第二训练数据集和所述第三训练数据集为通过对预先设置的全量目标值临床医学影像集执行采样操作获取的；所述第一训练数据集中的训练实例为配置有目标值的关键临床医学影像；所述第二训练数据集中包含训练实例为配置有目标值的多个局部临床医学影像，以及训练实例为不配置有目标值的多个局部临床医学影像；所述第三训练数据集中的训练实例为配置有目标值的多个局部临床医学影像。

在本发明实施例中，示例性的，使用一个已经预训练好的深度学习模型(如ResNet)，并基于一个带有完全标记(即每个影像都配有其对应的病理类型)的医学影像数据集(第一训练数据集)进行训练。这个训练过程可以帮助优化预置的病理框架，生成第一病理框架。基于第二训练数据集(包含一些有目标值标签，一些没有目标值标签的局部临床医学影像)进行训练。这个训练过程可以帮助优化特征融合组件，并进一步改进多模态识别模型。再次基于一个带有完全标记的医学影像数据集(第三训练数据集)进行训练。这个训练过程可以进一步调优第一病理框架，生成最终的病理框架。

在本发明实施例的另一种实施方式中，示例性的，假设有一个皮肤癌诊断系统，其中包含两个预置病理框架(病理框架A和病理框架B)。使用具有少量标签数据的影像识别训练数据集作为训练数据。首先，使用该数据集中的第一训练数据集，其中包含了配置有目标值的关键皮肤镜图像。将这些图像用作训练实例，通过有监督优化训练的方式，基于完全标记数据对病理框架A和病理框架B进行优化得到第一病理框架A和第一病理框架B。在皮肤癌诊断系统中，使用影像识别训练数据集中的第二训练数据集。该数据集包含了配置有目标值的多个局部皮肤镜图像和不配置目标值的多个局部皮肤镜图像。将这些图像用作训练实例，在基于部分标记数据的有监督优化训练过程中，对优化后的多模态先期训练模型进行训练。通过这个步骤，可以优化特征融合组件，并得到一个优化后的多模态识别模型。在皮肤癌诊断系统中，使用影像识别训练数据集中的第三训练数据集。该数据集包含了配置有目标值的多个局部皮肤镜图像。将这些图像用作训练实例，在基于完全标记数据的有监督优化训练过程中，对多个第一病理框架(第一病理框架A和第一病理框架B)进行调优。通过这个步骤，可以进一步提高预置病理框架的性能和准确性。需要注意的是，训练数据集中的第一训练数据集、第二训练数据集和第三训练数据集是通过对预先设置的全量目标值临床医学影像集执行采样操作获取的。第一训练数据集中的训练实例为配置有目标值的关键皮肤镜图像。第二训练数据集中包含了训练实例为配置有目标值的多个局部皮肤镜图像以及不配置有目标值的多个局部皮肤镜图像。第三训练数据集中的训练实例为配置有目标值的多个局部皮肤镜图像。

在本发明实施例中，前述根据所述多模态先期训练模型，基于所述影像识别训练数据集包含的第一训练数据集对多个预置病理框架进行基于完全标记数据的有监督优化训练，以优化多个所述预置病理框架得到多个第一病理框架的步骤，可以通过以下示例执行实施。

(1)对于各个所述预置病理框架以及所述第一训练数据集中的各个训练实例，根据所述病理风险类型集合生成所述预置病理框架下的病理描述内容集合；

(2)将所述训练实例和所述预置病理框架下的病理描述内容集合加载至所述多模态先期训练模型中，得到所述训练实例在所述预置病理框架下的置信度结果；

(3)根据所述训练实例的目标值以及所述训练实例在多个预置病理框架下的置信度结果，确定所述训练实例的第一代价参量；

(4)基于所述第一训练数据集中训练实例的第一代价参量，优化多个所述预置病理框架得到多个所述第一病理框架；

前述根据所述多模态识别模型，基于所述第三训练数据集对多个所述第一病理框架进行基于完全标记数据的有监督优化训练，以调优多个所述第一病理框架得到多个所述病理框架的步骤，可以通过以下示例执行实施。

(1)对于各个所述第一病理框架以及所述第三训练数据集中的各个训练实例，根据所述病理风险类型集合生成所述第一病理框架下的病理描述内容集合；

(2)将所述训练实例和所述第一病理框架下的病理描述内容集合加载至所述多模态识别模型中，得到所述训练实例在所述第一病理框架下的置信度结果；

(3)根据所述训练实例的目标值以及所述训练实例在多个第一病理框架下的置信度结果，确定所述训练实例的第一代价参量；

(4)基于所述第三训练数据集中训练实例的第一代价参量，优化多个所述第一病理框架得到多个所述病理框架。

在本发明实施例中，示例性的，对于每一个预置的肺癌病理框架和第一训练数据集中的每一张肺部CT影像(训练实例)，可以根据肺癌的病理风险类型(如肺腺癌、鳞癌等)生成相应的病理描述内容集合。然后，将每一张肺部CT影像和对应的病理描述内容集合输入到预训练的多模态模型中，该模型将输出这张影像在肺癌病理框架下的置信度结果。然后，比较这张影像的真实病理类型(目标值)和模型输出的置信度结果，根据差异计算出第一代价参量，例如使用交叉熵损失函数。再然后，基于所有训练实例的第一代价参量进行梯度下降等优化操作，从而优化预置的肺癌病理框架，生成第一病理框架。接着，同样的步骤在第三训练数据集上进行，用以进一步优化第一病理框架，生成最终的病理框架。在这个过程中，使用的是完全标记的数据，即每张影像都有对应的病理类型标签。

在本发明实施例的另一种实施方式中，示例性的，在皮肤癌诊断系统中，对于预置病理框架A和预置病理框架B，以及第一训练数据集中的关键皮肤镜图像，生成对应于每个预置病理框架的病理描述内容集合。对于预置病理框架A，可以生成包含有关皮肤病变形态学特征、颜色分布等信息的病理描述内容集合。使用多模态先期训练模型作为基础模型，将第一训练数据集中的关键皮肤镜图像和相应的预置病理框架A的病理描述内容集合加载到模型中。通过模型，得到关键皮肤镜图像在预置病理框架A下的置信度结果，表示该图像与预置病理框架A相关的可能性。根据第一训练数据集中关键皮肤镜图像的目标值(良性或恶性)以及在多个预置病理框架下获得的置信度结果，结合颁发给病例的实际诊断结果，计算每个训练实例的第一代价参数。这个参数可以反映出训练实例在特定预置病理框架下的误差或准确度。基于第一训练数据集中关键皮肤镜图像的第一代价参数，采用有监督优化方法对多个预置病理框架进行调整和优化。这些优化后的病理框架被称为第一病理框架，经过这一步骤后，预置病理框架的性能和准确性得到了进一步提高。使用多模态识别模型作为基础模型，在第三训练数据集中使用完全标记的局部皮肤镜图像，对多个第一病理框架(第一病理框架A和第一病理框架B)进行优化训练。通过多模态识别模型，将第三训练数据集中的训练实例和对应的第一病理框架下的病理描述内容集合加载到模型中。进而得到训练实例在各个第一病理框架下的置信度结果，表示该图像与各个第一病理框架相关的可能性。结合第三训练数据集中局部皮肤镜图像的目标值和在多个第一病理框架下获得的置信度结果，计算每个训练实例的第一代价参数。这个参数可以反映出训练实例在不同第一病理框架下的误差或准确度。利用第三训练数据集中局部皮肤镜图像的第一代价参数，对多个第一病理框架(第一病理框架A和第一病理框架B)进行有监督优化训练。通过这个步骤，进一步提高了第一病理框架的性能和准确性，得到了最终的多个病理框架。

在本发明实施例中，前述根据多个所述第一病理框架，基于所述影像识别训练数据集包含的第二训练数据集对所述优化后的多模态先期训练模型进行基于部分标记数据的有监督优化训练，以优化所述特征融合组件得到所述多模态识别模型的步骤，可以通过以下示例执行实施。

(1)对于各个所述第一病理框架以及所述第二训练数据集中的各个训练实例，根据所述病理风险类型集合生成所述第一病理框架下的病理描述内容集合；

(2)将所述训练实例和所述第一病理框架下的病理描述内容集合加载至所述多模态识别模型中，得到所述训练实例在所述第一病理框架下的置信度结果；

(3)在所述训练实例为存在目标值时，对所述训练实例在所述第一病理框架下的置信度结果进行蒙特卡洛推断，得到所述训练实例在所述第一病理框架下的模态预测结果和一致性决定；

(4)根据所述训练实例在多个第一病理框架下的模态预测结果和一致性决定，确定所述训练实例的第二代价参量；

(5)在所述训练实例为不包含目标值时，根据所述训练实例的目标值以及所述训练实例在多个第一病理框架下的置信度结果，确定所述训练实例的第一代价参量；

(6)根据所述第二训练数据集中不包含目标值的训练实例的第二代价参量以及包含目标值的训练实例的第一代价参量，优化所述特征融合组件得到所述多模态识别模型。

在本发明实施例中，示例性的，对于每一个第一病理框架和第二训练数据集中的每一张肺部CT影像(训练实例)，可以根据肺癌的病理风险类型(如肺腺癌、鳞癌等)生成相应的病理描述内容集合。然后，将每一张肺部CT影像和对应的病理描述内容集合输入到多模态识别模型中，该模型将输出这张影像在第一病理框架下的置信度结果。对于标记有目标值的训练实例，通过蒙特卡洛推断处理置信度结果，获取模态预测结果和一致性决定。这可以帮助更好地估计模型的不确定性，并增强其预测的可靠性。比较模态预测结果和训练实例的真实病理类型(目标值)，并根据差异计算出第二代价参量。在所述训练实例为不包含目标值时，根据所述训练实例的目标值以及所述训练实例在多个第一病理框架下的置信度结果，确定所述训练实例的第一代价参量对于未标记的训练实例，其第一代价参量可以基于自监督学习或者其他无监督学习方法来确定。最后，基于第二训练数据集中所有训练实例的第一代价参量和第二代价参量进行梯度下降等优化操作，从而优化特征融合组件，进一步改进多模态识别模型。

在本发明实施例的另一种实施方式中，示例性的，假设正在开发一个肺癌诊断系统，其中有两个第一病理框架A和B，以及第二训练数据集中的肺部CT扫描图像。通过分析病理风险类型集合，生成与第一病理框架A和B相关的病理描述内容集合，例如描述肿瘤形态学特征、肿瘤大小、肿瘤位置等信息。使用多模态识别模型作为基础模型，将第二训练数据集中的肺部CT扫描图像和相应的第一病理框架A的病理描述内容集合加载到模型中。通过模型，得到肺部CT扫描图像在第一病理框架A下的置信度结果，表示该图像与第一病理框架A相关的可能性。如果有一张带有肺癌目标值的肺部CT扫描图像，在第一病理框架A下的置信度结果可以使用蒙特卡洛推断方法进行统计分析。通过多次采样，得到该图像在第一病理框架A下的模态预测结果(肺癌概率)以及一致性决定(是否对该图像达成一致判断)。结合第二训练数据集中带有目标值的肺部CT扫描图像在多个第一病理框架下的模态预测结果和一致性决定，计算每个训练实例的第二代价参数。这个参数可以反映出训练实例在不同第一病理框架下的模态预测一致性或误差。假设有一张未知是否为肺癌的肺部CT扫描图像。根据该图像在多个第一病理框架A和B下的置信度结果以及其他相关信息(如该图像的特征、医生的诊断经验等)，确定该训练实例的第一代价参量。这个参数可以反映出训练实例在不同第一病理框架下的预测准确性或误差。结合第二训练数据集中不包含目标值的肺部CT扫描图像的第二代价参量和包含目标值的肺部CT扫描图像的第一代价参量，对特征融合组件进行优化调整。通过这个步骤，能够提高特征融合组件的性能和准确性，最终得到优化后的多模态识别模型。

在本发明实施例中，前述对所述训练实例在所述第一病理框架下的置信度结果进行蒙特卡洛推断，得到所述训练实例在所述第一病理框架下的模态预测结果的步骤，可以通过以下示例执行实施。

(1)从所述训练实例在所述第一病理框架下的置信度结果中提取符合预设约束的置信分数；

(2)若所述置信分数存在，则将所述置信分数对应的病理风险类型作为所述训练实例在所述第一病理框架下的模态预测结果；否则，认定所述训练实例在所述第一病理框架下的模态预测结果不存在；

其中，所述预设约束为置信分数是所处置信度结果中的最大值且置信分数不低于预置置信分数阈值。

在本发明实施例中，示例性的，如果有一个肺部CT影像(训练实例)的识别结果，这个结果可以包含多个病理风险类型及其对应的置信度。首先，需要根据预设约束提取出置信分数。假设预设约束为置信分数是所处置信度结果中的最大值且置信分数不低于预置置信分数阈值，那么会选择置信度最高并且不低于阈值的病理风险类型的置信分数。如果在前面的步骤中找到了一个满足条件的置信分数，那么就会将这个分数对应的病理风险类型(比如肺腺癌)作为训练实例在第一病理框架下的模态预测结果。如果没有找到符合条件的置信分数，那么就会认定这个训练实例在第一病理框架下的模态预测结果不存在。

在本发明实施例的另一种实施方式中，示例性的，考虑一个肺癌诊断系统，其中的第一病理框架A用于评估肺部CT扫描图像的肺癌风险。针对某张肺部CT扫描图像，在第一病理框架A下进行模态预测。通过蒙特卡洛推断方法，从该图像在第一病理框架A下的置信度结果中提取符合预设约束(置信分数最大且不低于预置置信分数阈值)的置信分数。假设经过蒙特卡洛推断后，所提取的符合预设约束的置信分数为0.8。根据预设约束，该置信分数对应的病理风险类型(例如高风险、低风险)被确定为训练实例在第一病理框架A下的模态预测结果。如果符合预设约束的置信分数不存在，则认定训练实例在第一病理框架A下的模态预测结果不存在。通过以上步骤，能够使用蒙特卡洛推断从训练实例在第一病理框架下的置信度结果中提取符合预设约束的置信分数，并将其作为训练实例在第一病理框架下的模态预测结果。这样可以根据置信分数判定病理风险类型，进一步辅助医生进行肺癌诊断。当符合预设约束的置信分数不存在时，认定模态预测结果不存在，以避免不准确的预测结果产生。

在本发明实施例中，前述对所述训练实例在所述第一病理框架下的置信度结果进行蒙特卡洛推断，得到所述训练实例在所述第一病理框架下的一致性决定的步骤，可以通过以下示例执行实施。

(1)轮询所述训练实例在所述第一病理框架之外的其它第一病理框架下的置信度结果，以提取符合预设约束的第一置信分数；

(2)若所述第一置信分数存在且所述第一置信分数对应的病理风险类型与所述模态预测结果不相同，则所述训练实例在所述第一病理框架下的蒙特卡洛预测标准差为无穷大；

(3)若所述第一置信分数存在且所述第一置信分数对应的病理风险类型与所述模态预测结果相同，或者所述第一置信分数不存在，则所述训练实例在所述第一病理框架下的蒙特卡洛预测标准差为所述训练实例在多个第一病理框架下的置信度结果的离散度；

(4)基于所述训练实例在所述第一病理框架下的蒙特卡洛预测标准差计算所述训练实例在所述第一病理框架下的一致性决定；

其中，所述训练实例在所述第一病理框架下的一致性决定与所述训练实例在所述第一病理框架下的蒙特卡洛预测标准差存在负反馈关系。

在本发明实施例中，示例性的，有一个肺部CT影像(训练实例)，在经过模型预测后，不仅在第一病理框架(比如“肺腺癌”)下有置信度结果，还在其他病理框架(比如“肺鳞癌”)下也有置信度结果。这个步骤就是遍历每一个这样的病理框架，并从其中提取出符合预设约束的第一置信分数。如果在其他病理框架下找到了符合条件的第一置信分数，并且这个置信分数对应的病理风险类型与前面在第一病理框架下得到的模态预测结果不一致，那么就会认为在第一病理框架下的蒙特卡洛预测存在很大的不确定性，因此将标准差设为无穷大。如果找到的第一置信分数与模态预测结果一致，或者没有找到符合条件的第一置信分数，那么就会将在第一病理框架下的蒙特卡洛预测标准差设为训练实例在所有病理框架下的置信度结果的离散度。接着，根据蒙特卡洛预测的标准差来计算一致性决定。这个决定可以是一个概率值，代表模型在第一病理框架下的预测结果是否可靠。其中，所述训练实例在所述第一病理框架下的一致性决定与所述训练实例在所述第一病理框架下的蒙特卡洛预测标准差存在负反馈关系。这意味着，如果蒙特卡洛预测的标准差越大(即预测的不确定性越高)，那么一致性决定(即预测结果的可靠性)就越低，反之亦然。

在本发明实施例的另一种实施方式中，示例性的，假设有一个皮肤疾病诊断系统，其中的第一病理框架A用于评估患者的皮肤病风险。针对某个患者，在第一病理框架A下进行模态预测，并使用蒙特卡洛推断方法对该患者在第一病理框架下的置信度结果进行处理。假设还存在第一病理框架B和C，分别用于评估同一个患者的皮肤病风险。通过轮询患者在第一病理框架B和C下的置信度结果，提取符合预设约束(置信分数最大且不低于预置置信分数阈值)的第一置信分数。假设从第一病理框架B和C中轮询得到的第一置信分数为0.7和0.9，而在第一病理框架A下的模态预测结果为高风险。根据预设约束，若第一置信分数存在且对应的病理风险类型与模态预测结果不相同，则患者在第一病理框架A下的蒙特卡洛预测标准差被定义为无穷大。假设从第一病理框架B和C中轮询得到的第一置信分数为0.8和0.9，并且对应的病理风险类型与模态预测结果相同。若第一置信分数存在且对应的病理风险类型与模态预测结果相同，则患者在第一病理框架A下的蒙特卡洛预测标准差被定义为训练实例在多个第一病理框架下的置信度结果的离散度。假设根据训练实例在第一病理框架A下的蒙特卡洛预测标准差计算得出的值为0.2。这个一致性决定反映了患者在第一病理框架A下的模态预测结果与其他病理框架的置信度结果之间的一致性程度。一致性决定与蒙特卡洛预测标准差存在负反馈关系，即如果蒙特卡洛预测标准差较大，说明模态预测结果与其他病理框架的置信度结果不一致，此时一致性决定的值会较低。通过以上步骤，能够使用蒙特卡洛推断处理训练实例在第一病理框架下的置信度结果，并基于第一置信分数和模态预测结果判断一致性决定。同时，根据蒙特卡洛预测标准差计算训练实例在第一病理框架下的一致性决定，并确保一致性决定与蒙特卡洛预测标准差之间存在负反馈关系。这样可以帮助医生评估模型在不同病理框架下的一致性，提供更可靠的诊断结果。

在本发明实施例中，在前述步骤S204之后，本发明实施例还提供如下实施方式。

(1)获取临床医学影像识别结果以及辅助干预数据库，所述辅助干预数据库包括多个辅助干预策略；

(2)从所述临床医学影像识别结果中提取病理描述特征，以及从所述辅助干预策略中提取流程特征；

(3)利用语义向量参数，对所述流程特征进行转换，得到转换特征，所述转换特征的排列符合所述语义向量参数对应的排列模式；

(4)基于所述病理描述特征，对所述转换特征进行语义分析，确定所述转换特征对应的分析结果；

(5)从不同所述分析结果中，提取出符合预置匹配规则的目标转换特征；

(6)根据所述目标转换特征，从所述辅助干预数据库中确定所述临床医学影像识别结果的目标辅助干预策略。

在本发明实施例中，示例性的，已经得到了一张肺部CT影像(临床医学影像)的识别结果，这个结果可以指出影像上显示了肺腺癌的特征。同时，也有一个辅助干预数据库，其中包含了针对各种病理情况的治疗或干预策略。然后，从识别结果中提取病理描述特征，比如"肺腺癌"，同时，也会从每一种辅助干预策略中提取流程特征，比如某种治疗方案的步骤、治疗周期、药物种类等。接着，利用语义向量参数(如Word2Vec、GloVe等)对流程特征进行转换，得到转换特征。"化疗->手术->放疗"的治疗流程可以被转换为一系列的向量。然后，根据病理描述特征(如"肺腺癌")，对转换特征进行语义分析，确定每种治疗流程是否适合这种病理情况。然后，从所有的分析结果中，找出符合预置匹配规则的目标转换特征。比如，可以设置一个规则，选择那些与"肺腺癌"最匹配的治疗流程。最后，根据找到的目标转换特征，可以在辅助干预数据库中确定出最适合肺腺癌的辅助干预策略，例如可以是先化疗再手术的治疗方案。

在本发明实施例中，所述语义向量参数包括顺序排列参数和混合排列参数，前述利用语义向量参数，对所述流程特征进行转换，得到转换特征的步骤，可以通过以下示例执行实施。

(1)利用所述混合排列参数，对所述流程特征进行单元映射，得到过渡特征；

(2)利用所述顺序排列参数，对所述过渡特征进行多元映射，得到转换特征。

在本发明实施例中，假设有一个辅助干预策略，它的流程特征是"化疗->手术->放疗"。首先，使用混合排列参数(这可以是一种将文本信息编码为向量的技术，比如Word2Vec、GloVe或者BERT等)对每一个单元(即“化疗”，“手术”，“放疗”)进行映射，得到每个单元的过渡特征。“化疗”可以被映射为[0.1，0.3，0.7]，“手术”可以被映射为[0.4，0.6，0.9]，“放疗”可以被映射为[0.5，0.8，0.2]。然后，使用顺序排列参数对这些过渡特征进行处理，得到最终的转换特征。这涉及到一种将多个特征向量合并成一个大的特征向量的方法，比如拼接或者平均等。将前面得到的过渡特征拼接在一起，得到一个大的转换特征：[0.1，0.3，0.7，0.4，0.6，0.9，0.5，0.8，0.2]。这个转换特征就代表了原来的流程特征"化疗->手术->放疗"。通过这样的步骤，可以将文本信息(即流程特征)转化为可以用于计算机处理的向量形式，从而更好地进行后续的语义分析和匹配操作。

在本发明实施例中，前述基于所述病理描述特征，对所述转换特征进行语义分析，确定所述转换特征对应的分析结果的步骤，可以通过以下示例执行实施。

(1)由所述病理描述特征以及所有所述转换特征构建获取特征链；

(2)基于所述特征链，对任一转换特征通过门控循环单元进行处理，得到所述任一转换特征相应的最终特征；

(3)对所述任一转换特征相应的最终特征执行类型识别分析，得到所述任一转换特征对应的分析结果。

在本发明实施例中，示例性的，已经得到了一张肺部CT影像(临床医学影像)的识别结果，这个结果可以指出影像上显示了肺腺癌的特征(病理描述特征)。同时，也有多个与治疗流程相关的转换特征。这个步骤就是将病理描述特征和所有的转换特征连成一个链，构建出一个完整的特征链。接着，使用门控循环单元(GRU)对特征链进行处理。GRU是一种常用的深度学习模型，特别适合处理序列数据。它会遍历特征链上的每一个转换特征，并对其进行更新和处理，得到最终特征。最后，根据最终特征执行类型识别分析。可以使用一种分类模型，比如支持向量机(SVM)或者决策树等，对最终特征进行处理，从而得到每一个转换特征对应的分析结果。如果某个转换特征代表了"化疗->手术->放疗"这个治疗流程，那么分析结果可以告诉，这个流程是否适合肺腺癌这种病理情况。通过这样的步骤，可以更好地理解各种治疗流程与特定病理情况之间的关系，从而帮助医生做出更准确的治疗决策。

在本发明实施例中，前述从不同所述分析结果中，确定符合预置匹配规则的目标转换特征的步骤，可以通过以下示例执行实施。

(1)计算所述转换特征与所述病理描述特征的匹配系数；

(2)将每个所述分析结果中，与所述病理描述特征的匹配系数最大的N个所述转换特征作为目标转换特征，N为正整数。

在本发明实施例中，示例性的，已经得到了一张肺部CT影像(临床医学影像)的识别结果，这个结果可以指出影像上显示了肺腺癌的特征(病理描述特征)。同时，也有多个与治疗流程相关的转换特征。然后，需要计算每一个转换特征与病理描述特征的匹配系数，这涉及到一种相似度计算方法，比如余弦相似度。接着，从所有的分析结果中选择出匹配系数最大的前N个转换特征作为目标转换特征。比如，如果设置N＝3，那么就会选择出匹配系数最大的前3个转换特征。假设得到了三个与"肺腺癌"匹配系数最高的转换特征，它们可以代表了"化疗->手术->放疗"，"靶向治疗->手术"和"放疗->化疗"这三种治疗流程。通过这样的步骤，可以更好地找出与特定病理情况最匹配的治疗流程，从而帮助医生做出更准确的治疗决策。

在本发明实施例中，前述根据所述目标转换特征，从所述辅助干预数据库中确定所述临床医学影像识别结果的目标辅助干预策略的步骤，可以通过以下示例执行实施。

(1)从所述辅助干预数据库中，确定所述目标转换特征对应的目标辅助干预策略；

(2)将所述目标辅助干预策略新增在推荐集合中，得到所述临床医学影像识别结果的目标辅助干预策略。

在本发明实施例中，示例性的，已经根据前面的步骤得到了与肺腺癌最匹配的目标转换特征，它可以代表了"化疗->手术->放疗"这个治疗流程。然后，需要在辅助干预数据库中找到这个流程对应的具体策略，这可以包括化疗的药物种类、剂量，手术的方式，放疗的剂量等。接着，将找到的目标辅助干预策略加入到推荐集合中。这个推荐集合可以包含了多种不同的治疗方案，每一种方案都是针对肺腺癌的可能治疗选择。通过这样的方式，就得到了肺部CT影像识别结果的目标辅助干预策略。

在本发明实施例的另一种实施方式中，示例性的，假设有一个基于深度学习的临床医学影像识别系统，该系统用于分析病人的CT扫描图像，并识别出肺部结节。根据预先设定的目标转换特征，系统需要从辅助干预数据库中确定与这些特征相对应的目标辅助干预策略。如果目标转换特征表示肺部结节的大小、形状和位置等信息，那么相应的目标辅助干预策略可以包括针对不同类型结节的定量评估指标和手术建议。在上述基于深度学习的临床医学影像识别系统中，系统会查询辅助干预数据库，根据目标转换特征确定相应的目标辅助干预策略。对于肺部结节识别任务，系统可以从数据库中检索相关的研究文献、临床指南或专家经验，并提取出与目标转换特征相匹配的干预策略，如定期随访、手术切除或放疗等。在临床医学影像识别系统中，根据确定的目标辅助干预策略，系统将这些策略添加到推荐集合中，以生成最终的临床医学影像识别结果的目标辅助干预策略报告。这个报告可以包括多个推荐干预策略，每个策略都与目标转换特征相对应，并针对不同的病变类型和特征提供具体的干预建议，帮助医生制定更精确的治疗计划和监测方案。通过查询辅助干预数据库，系统可以根据目标转换特征选择适用的干预策略，并将其添加到推荐集合中，为医生提供个性化的治疗建议和干预策略报告。这种方法可以提高临床决策的可信度和治疗效果。

在本发明实施例中，前述将所述目标辅助干预策略新增在推荐集合中，得到所述临床医学影像识别结果的目标辅助干预策略的步骤，可以通过以下示例执行实施。

(1)将所述目标辅助干预策略新增在推荐集合中，得到新增后的推荐集合；

(2)根据推荐规则，对所述新增后的推荐集合中的所述目标辅助干预策略进行排序，得到所述临床医学影像识别结果的目标辅助干预策略，所述推荐规则包括所述目标辅助干预策略与所述临床医学影像识别结果的匹配系数、策略生成时间、历史匹配成功率中的至少一种。

在本发明实施例中，示例性的，已经根据前面的步骤得到了肺腺癌的目标辅助干预策略，这个策略可以包括"化疗->手术->放疗"这个治疗流程，以及具体的化疗药物种类、剂量，手术方式，放疗剂量等。然后，将这个策略加入到已有的推荐集合中，得到新增后的推荐集合。接着，需要对新增后的推荐集合进行排序。这个排序过程是基于某种推荐规则的，规则可以包括策略与识别结果的匹配系数、策略生成时间、历史匹配成功率中的至少一种。比如，可以优先考虑匹配系数高的策略，或者考虑生成时间近的策略，或者考虑历史匹配成功率高的策略。假设有一个推荐集合，其中包括了5种不同的辅助干预策略。根据匹配系数进行排序后，"化疗->手术->放疗"这个流程可能排在了第一位，因为它与肺腺癌的匹配系数最高。通过这样的步骤，可以得到一个经过排序的推荐集合，医生可以根据这个集合，选择出最适合患者的治疗方案。

在本发明实施例的另一种实施方式中，示例性的，在基于深度学习的临床医学影像识别系统中，系统将确定的目标辅助干预策略添加到推荐集合中，以生成临床医学影像识别结果的目标辅助干预策略。这些目标辅助干预策略可以根据患者的病理特征和影像识别结果提供具体的治疗建议和干预方案。系统会将根据目标转换特征生成的目标辅助干预策略新增到推荐集合中。对于肺部结节识别任务，系统可以将不同病变类型的干预策略，如手术切除、放射治疗或定期随访等，添加到推荐集合中。系统会根据一组推荐规则对新增后的推荐集合中的目标辅助干预策略进行排序。这些推荐规则可以包括目标辅助干预策略与临床医学影像识别结果的匹配系数、策略生成时间和历史匹配成功率等指标。如果某个干预策略与当前影像识别结果的匹配系数最高，并且该策略的生成时间较短且具有良好的历史匹配成功率，那么该策略将排在推荐集合中的首位。如此设计，通过考虑目标辅助干预策略与临床医学影像识别结果的匹配系数、策略生成时间和历史匹配成功率等指标，系统可以从中选择最合适的干预策略作为临床医学影像识别结果的目标辅助干预策略。这种方法可以帮助医生更有效地制定个性化的治疗方案，并提高临床决策的准确性和效果。

本发明实施例提供一种计算机设备100，计算机设备100包括处理器及存储有计算机指令的非易失性存储器，计算机指令被处理器执行时，计算机设备100执行前述的基于深度学习的临床医学影像分析方法。如图2所示，图2为本发明实施例提供的计算机设备100的结构框图。计算机设备100包括存储器111、处理器112及通信单元113。为实现数据的传输或交互，存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接。可通过一条或多条通讯总线或信号线实现这些元件相互之间电性连接。

出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地基于本公开，并基于具有不同修改的各种实施例以适于预期的特定应用。

Claims (8)

1.基于深度学习的临床医学影像分析方法，其特征在于，包括：

获取待分析的临床医学影像；

对于多个病理框架中的各个病理框架，根据临床医学影像分析任务的病理风险类型集合生成所述病理框架下的病理描述内容集合；其中，将一个病理风险类型设置到一个病理框架中可生成相应病理框架下关联相应病理风险类型的一个病理描述内容；

将所述临床医学影像的多个局部临床医学影像和所述病理描述内容集合加载至多模态识别模型中，得到所述临床医学影像在所述病理框架下的置信度结果；

基于所述临床医学影像在多个病理框架下的置信度结果，确定所述临床医学影像的临床医学影像识别结果；

其中，所述多个病理框架和所述多模态识别模型，是基于具有少量标签数据的影像识别训练数据集，对多个预置病理框架和优化后的多模态先期训练模型进行经过完全标记数据的模型参数优化、部分标记数据的模型优化，以及在完全标记数据上对模型参数进行调优的预置流程训练优化而得到的；所述优化后的多模态先期训练模型是通过多模态先期训练模型中的视觉特征提取单元后面级联特征融合组件而得到；所述特征融合组件用于对输入的多个局部临床医学影像的医学图像特征执行特征整合操作；

所述多个预置病理框架是通过以下方式获取的，包括：

根据标准病理框架结构，生成多个基础病理框架；其中，所述标准病理框架结构为病理框架由多个病理内容描述位置和一个病理类型标识位置构建；所述多个基础病理框架各自包括的病理内容描述位置数目和/或病理类型标识位置序列不相同；

为各个所述基础病理框架中各个病理内容描述位置嵌入一个病理描述字符得到所述多个预置病理框架；

其中，为任一基础病理框架中的任一病理内容描述位置分配一个病理描述字符，包括：

提取待分配病理描述字符；

基于病理描述字符索引，确定所述待分配病理描述字符的标识符序列；

将所述标识符序列加载至文字转化模型中，得到所述待分配病理描述字符的特征属性；

将所述特征属性分配至所述任一基础病理框架中的所述任一病理内容描述位置；

所述多个病理框架和所述多模态识别模型，是基于具有少量标签数据的影像识别训练数据集，对多个预置病理框架和优化后的多模态先期训练模型进行经过完全标记数据的模型参数优化、部分标记数据的模型优化，以及在完全标记数据上对模型参数进行调优的预置流程训练优化而得到的，包括：

对于各个所述预置病理框架以及第一训练数据集中的各个训练实例，根据所述病理风险类型集合生成所述预置病理框架下的病理描述内容集合；

将所述训练实例和所述预置病理框架下的病理描述内容集合加载至所述多模态先期训练模型中，得到所述训练实例在所述预置病理框架下的置信度结果；

根据所述训练实例的目标值以及所述训练实例在多个预置病理框架下的置信度结果，确定所述训练实例的第一代价参量；

基于所述第一训练数据集中训练实例的第一代价参量，优化多个所述预置病理框架得到多个第一病理框架；

对于各个所述第一病理框架以及第三训练数据集中的各个训练实例，根据所述病理风险类型集合生成所述第一病理框架下的病理描述内容集合；

将所述训练实例和所述第一病理框架下的病理描述内容集合加载至所述多模态识别模型中，得到所述训练实例在所述第一病理框架下的置信度结果；

根据所述训练实例的目标值以及所述训练实例在多个第一病理框架下的置信度结果，确定所述训练实例的第一代价参量；

基于所述第三训练数据集中训练实例的第一代价参量，优化多个所述第一病理框架得到多个所述病理框架；

根据多个所述第一病理框架，基于所述影像识别训练数据集包含的第二训练数据集对所述优化后的多模态先期训练模型进行基于部分标记数据的有监督优化训练，以优化所述特征融合组件得到所述多模态识别模型；

根据所述多模态识别模型，基于所述影像识别训练数据集包含的第三训练数据集对多个所述第一病理框架进行基于完全标记数据的有监督优化训练，以调优多个所述第一病理框架得到多个所述病理框架；

其中，所述第一训练数据集、所述第二训练数据集和所述第三训练数据集为通过对预先设置的全量目标值临床医学影像集执行采样操作获取的；所述第一训练数据集中的训练实例为配置有目标值的关键临床医学影像；所述第二训练数据集中包含训练实例为配置有目标值的多个局部临床医学影像，以及训练实例为不配置有目标值的多个局部临床医学影像；所述第三训练数据集中的训练实例为配置有目标值的多个局部临床医学影像。

2.根据权利要求1所述的方法，其特征在于，将一个病理风险类型分配至一个病理框架包括将一个病理风险类型分配至一个病理框架的病理类型标识位置；

所述将所述临床医学影像的多个局部临床医学影像和所述病理描述内容集合加载至多模态识别模型中，得到所述临床医学影像在所述病理框架下的置信度结果，包括：

基于所述多模态识别模型的视觉特征提取单元，确定所述临床医学影像的多个局部临床医学影像的融合医学图像特征；

基于所述多模态识别模型的语义特征提取单元，确定所述病理描述内容集合中各个病理描述内容的语义特征；

将所述融合医学图像特征与所述病理描述内容集合中各个病理描述内容的语义特征分别执行特征距离计算操作，得到特征距离计算结果；

将所述特征距离计算结果作为所述临床医学影像的病理风险类型的置信度，所述置信度与所述病理描述内容集合中各个病理描述内容关联；

根据所述置信度，得到所述临床医学影像在所述病理框架下的置信度结果。

3.根据权利要求1所述的方法，其特征在于，所述根据多个所述第一病理框架，基于所述影像识别训练数据集包含的第二训练数据集对所述优化后的多模态先期训练模型进行基于部分标记数据的有监督优化训练，以优化所述特征融合组件得到所述多模态识别模型，包括：

对于各个所述第一病理框架以及所述第二训练数据集中的各个训练实例，根据所述病理风险类型集合生成所述第一病理框架下的病理描述内容集合；

将所述训练实例和所述第一病理框架下的病理描述内容集合加载至所述多模态识别模型中，得到所述训练实例在所述第一病理框架下的置信度结果；

在所述训练实例为存在目标值时，对所述训练实例在所述第一病理框架下的置信度结果进行蒙特卡洛推断，得到所述训练实例在所述第一病理框架下的模态预测结果和一致性决定；

根据所述训练实例在多个第一病理框架下的模态预测结果和一致性决定，确定所述训练实例的第二代价参量；

在所述训练实例为不包含目标值时，根据所述训练实例的目标值以及所述训练实例在多个第一病理框架下的置信度结果，确定所述训练实例的第一代价参量；

根据所述第二训练数据集中不包含目标值的训练实例的第二代价参量以及包含目标值的训练实例的第一代价参量，优化所述特征融合组件得到所述多模态识别模型。

4.根据权利要求3所述的方法，其特征在于，对所述训练实例在所述第一病理框架下的置信度结果进行蒙特卡洛推断，得到所述训练实例在所述第一病理框架下的模态预测结果，包括：

从所述训练实例在所述第一病理框架下的置信度结果中提取符合预设约束的置信分数；

若所述置信分数存在，则将所述置信分数对应的病理风险类型作为所述训练实例在所述第一病理框架下的模态预测结果；否则，认定所述训练实例在所述第一病理框架下的模态预测结果不存在；

其中，所述预设约束为置信分数是所处置信度结果中的最大值且置信分数不低于预置置信分数阈值。

5.根据权利要求4所述的方法，其特征在于，对所述训练实例在所述第一病理框架下的置信度结果进行蒙特卡洛推断，得到所述训练实例在所述第一病理框架下的一致性决定，包括：

轮询所述训练实例在所述第一病理框架之外的其它第一病理框架下的置信度结果，以提取符合预设约束的第一置信分数；

若所述第一置信分数存在且所述第一置信分数对应的病理风险类型与所述模态预测结果不相同，则所述训练实例在所述第一病理框架下的蒙特卡洛预测标准差为无穷大；

若所述第一置信分数存在且所述第一置信分数对应的病理风险类型与所述模态预测结果相同，或者所述第一置信分数不存在，则所述训练实例在所述第一病理框架下的蒙特卡洛预测标准差为所述训练实例在多个第一病理框架下的置信度结果的离散度；

基于所述训练实例在所述第一病理框架下的蒙特卡洛预测标准差计算所述训练实例在所述第一病理框架下的一致性决定；

其中，所述训练实例在所述第一病理框架下的一致性决定与所述训练实例在所述第一病理框架下的蒙特卡洛预测标准差存在负反馈关系。

6.根据权利要求1所述的方法，其特征在于，在所述基于所述临床医学影像在多个病理框架下的置信度结果，确定所述临床医学影像的临床医学影像识别结果之后，所述方法还包括：

获取临床医学影像识别结果以及辅助干预数据库，所述辅助干预数据库包括多个辅助干预策略；

从所述临床医学影像识别结果中提取病理描述特征，以及从所述辅助干预策略中提取流程特征；

利用语义向量参数，对所述流程特征进行转换，得到转换特征，所述转换特征的排列符合所述语义向量参数对应的排列模式；

由所述病理描述特征以及所有所述转换特征构建获取特征链；

基于所述特征链，对任一转换特征通过门控循环单元进行处理，得到所述任一转换特征相应的最终特征；

对所述任一转换特征相应的最终特征执行类型识别分析，得到所述任一转换特征对应的分析结果；

计算所述转换特征与所述病理描述特征的匹配系数；

将每个所述分析结果中，与所述病理描述特征的匹配系数最大的N个所述转换特征作为目标转换特征，N为正整数；

从所述辅助干预数据库中，确定所述目标转换特征对应的目标辅助干预策略；

将所述目标辅助干预策略新增在推荐集合中，得到新增后的推荐集合；

根据推荐规则，对所述新增后的推荐集合中的所述目标辅助干预策略进行排序，得到所述临床医学影像识别结果的目标辅助干预策略，所述推荐规则包括所述目标辅助干预策略与所述临床医学影像识别结果的匹配系数、策略生成时间、历史匹配成功率中的至少一种。

7.根据权利要求6所述的方法，其特征在于，所述语义向量参数包括顺序排列参数和混合排列参数，所述利用语义向量参数，对所述流程特征进行转换，得到转换特征，包括：

利用所述混合排列参数，对所述流程特征进行单元映射，得到过渡特征；

利用所述顺序排列参数，对所述过渡特征进行多元映射，得到转换特征。

8.一种服务器系统，其特征在于，包括服务器，所述服务器用于执行权利要求1-7中任意一项所述的基于深度学习的临床医学影像分析方法。