CN114036755A - 一种效果预测方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明实施例公开了一种效果预测方法、装置、存储介质及电子设备。该方法包括：获取当前对象的多模态信息，将所述多模态信息输入至效果预测系统，其中，所述效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；获取所述效果预测系统输出的预测效果。在上述技术方案中，将当前对象的多模态信息输入至效果预测系统，实现了对多模态信息的特征提取、信息融合以及效果预测，其中，通过对多模态信息的特征提取、信息融合，实现了多种模态信息的融合，从而提高了预测效果的准确度。

Description

一种效果预测方法、装置、存储介质及电子设备

技术领域

本发明实施例涉及信息处理技术领域，尤其涉及一种效果预测方法、装置、存储介质及电子设备。

背景技术

放疗是治疗癌症的主要方式之一，可以通过射线杀死癌细胞。在放疗中，物理师会根据医生的剂量处方，设计放疗方案(调整机架角度、射野、多页光栅形状和射线剂量等)，最大限度保护正常器官的同时，让癌症病变组织受到足够剂量的射线照射，从而达到治疗癌症的目的。

在目前放疗治疗方案中，不同放疗方案的选择和放疗方案的验证，更多情况下要依靠物理师和医生的临床经验，但人体信息复杂多变，现有技术难以满足高准确度的预测效果的需求。

发明内容

本发明实施例提供一种效果预测方法、装置、存储介质及电子设备，以实现提高预测效果的准确度。

第一方面，本发明实施例提供了一种效果预测方法，包括：

获取当前对象的多模态信息，将所述多模态信息输入至效果预测系统，其中，所述效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；

获取所述效果预测系统输出的预测效果。

第二方面，本发明实施例还提供了一种效果预测装置，包括：

信息输入模块，用于获取当前对象的多模态信息，将所述多模态信息输入至效果预测系统，其中，所述效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；

效果获取模块，用于获取所述效果预测系统输出的预测效果。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例中任一所述的效果预测方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例中任一所述的效果预测方法。

本发明通过获取当前对象的多模态信息，将多模态信息输入至效果预测系统，其中，效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；获取效果预测系统输出的预测效果。在上述技术方案中，将当前对象的多模态信息输入至效果预测系统，实现了对多模态信息的特征提取、信息融合以及效果预测，其中，通过对多模态信息的特征提取、信息融合，实现了多种模态信息的融合，从而提高了预测效果的准确度。

附图说明

为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。

图1是本发明实施例所提供的一种效果预测方法的流程示意图；

图2是本发明实施例所提供的一种特征提取示意图；

图3是本发明实施例所提供的一种效果预测系统的示意图；

图4是本发明实施例所提供的一种效果预测方法的流程示意图；

图5是本发明实施例所提供的一种效果预测方法的流程示意图；

图6是本发明实施例所提供的一种效果预测装置的结构示意图；

图7是本发明实施例所提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。

另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1为本发明一个实施例提供的一种效果预测方法的流程图，本实施例可适用于根据对象信息自动预测该对象信息所产生的效果的情况，该方法可以由本发明实施例提供的效果预测装置来执行，该装置可以由软件和/或硬件来实现，该装置可以配置在电子计算设备上，例如，终端和/或服务器。具体包括如下步骤：

S110、获取当前对象的多模态信息，将所述多模态信息输入至效果预测系统，其中，所述效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块。

其中，当前对象可以为人或动物，当前对象的多模态信息可以是多种不同的模态或类型的信息组合，例如，文本+图片、文本+图片+视频等组合形式，在一些实施例中，还可以是不同格式的信息组合，如TXT格式和DOC格式、TXT格式和JPG格式的组合形式。当前对象的多模态信息为当前对象的多种类别的信息，用于表征当前对象在不同维度特征的信息，可以包括但不限于当前对象的基本信息、待实施的治疗数据和医疗检查数据。基本信息可以包括年龄、性别、饮食习惯等。待实施的治疗数据包括但不限于待实施的治疗手段以及治疗参数，例如待实施的治疗手段可以是但不限于放疗，相应的，治疗参数包括但不限于放疗剂量。医疗检查数据包括但不限于病历数据、医学影像数据和化验结果数据等。

在本发明实施例中，获取多模态信息的方法包括：通过信息采集设备实时对当前对象采集多模态信息，例如，多模态信息可以是包括多种体征信息，体征信息包括但不限于心率、血压、脉搏数据等，信息采集设备可以是可穿戴设备或者医用数据采集设备等，例如通过可穿戴设备实时采集当前对象的心率；例如，多模态信息可以包括多种医学图像，例如CT图像、超声图像等，信息采集设备可以是医用图像采集设备等。在一些实施例中，获取多模态信息的方法还可以包括：从多个数据库中，基于当前对象的标识匹配得到，将匹配得到的信息导入，其中，数据库可以包括但不限于医学影像数据库、病例数据库、体征数据库等。本发明对获取多模态信息的方法不做限定。需要说明的是，多模态信息为当前对象提供或者当前对象授权的。

效果预测系统可以用于根据输入的多模态信息进行效果预测，预测的效果可以为预测治疗效果，例如感兴趣区域的大小等。在对当前对象进行治疗之前，通过调用效果预测系统进行效果预测，便于在治疗前评估治疗效果，对操作用户提供参考。

效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块。其中，各特征提取模块用于对对应模态的信息进行特征提取，特征融合模块用于对各特征提取模块提取的特征信息进行融合，效果预测模块用于基于融合后特征信息进行效果预测。

在另一些实施例中，各特征提取模块用于对对应模态的信息进行多层级的特征提取，特征融合模块用于对各特征提取模块提取的多层级的特征信息进行多层次融合，相应的，效果预测模块用于基于多层次融合后特征信息进行效果预测。

在一些可选实施例中，在多模态信息中每种模态的信息可以具有对应的特征提取模块，如图2所示，为本发明实施例提供的一种特征提取示意图，将每种模态的信息单独进行特征提取，然后对提取的特征向量进行特征融合。这样设置的好处在于，可以将每种模态的信息单独进行特征提取，可以对不同模态的信息提供相适应的特征提取模块，使提取的特征信息更加准确的反映多模态信息内容。可选的，多模态信息的模态可以是预先设置的，例如任一种类的信息均可确定一种模态信息，或者，根据预设分类方式可确定各信息所属模态。在一些可选实施例中，可以通过一种特征提取模块对多个信息共同进行特征提取，可以降低效果预测系统的结构复杂度。特征提取模块可以采用神经网络、解码器、全注意力机制模块等进行特征提取。

特征融合模块可以用于将特征提取模块提取的特征信息进行融合，特征融合模块可以采用权重叠加的形式完成特征信息的融合，或者，特征融合模块为具有特征融合功能的随机森林模型，又或者，特征融合模块为具有特征融合功能的残差神经网络。

效果预测模块可以用于将特征融合模块生成的融合信息进行预测处理，得到预测效果。预测效果可以是治疗效果。示例性的，治疗效果可以是图像或视频的形式，例如，医学影像等，通过查看图像或视频中的感兴趣区域和正常区域的变化情况，可以将预测的治疗效果作为实际治疗的参考，协助实际治疗。

S120、获取所述效果预测系统输出的预测效果。

在本发明实施例中，通过将多模态信息输入至效果预测系统，得到预测效果，然后终端或服务器可以获取效果预测系统输出的预测效果。在一些可选实施例中，可以实时获取效果预测系统输出的预测效果，方便用户查看，得到实时预测结果；在另一可选实施例中，可以获取效果预测系统累积输出的预测效果，实现预测结果的统一查看多个预测效果。

在上述实施例的基础上，所述多模态信息包括结构化信息和非结构化信息，其中，所述效果预测系统包括结构化信息的特征提取模块和非结构化信息的特征提取模块。

其中，结构化信息是指多模态信息经过分析后可分解成多个互相关联的组成部分，各组成部分间有明确的层次结构。例如，一个工厂的生产、业务、交易、客户信息等方面的记录都属于结构化信息。非结构化信息是相对结构化信息而言的，非结构化信息的形式相对不固定，常常是各种格式的文件，诸如电子文档、电子邮件、网页和视频文件等。

在本发明实施例中，根据多模态信息的模态，将效果预测系统中特征提取模块划分为结构化信息的特征提取模块和非结构化信息的特征提取模块，结构化信息的特征提取模块用于对结构化信息进行特征信息提取，非结构化信息的特征提取模块用于对非结构化信息进行特征信息提取，这样设置的好处在于，可以对不同模态的信息提供相适应的特征提取模块，使提取的特征更加准确的反映多模态信息内容。

在上述实施例的基础上，所述结构化信息包括目标对象的医学影像和治疗计划；所述非结构化信息包括目标对象的病历信息和当前状态信息；所述预测效果包括基于所述治疗计划治疗后的预测影像。更进一步，预测影像可以根据目标对象的医学影像的至少一部分成像相关参数，和/或治疗后目标对象的医学影像的至少一部分成像相关参数，进行调整，从而保证医生在对比预测影像与目标对象的医学影像和/或治疗后目标对象的医学影像时，能够排除其他可能的影响因素。

本发明实施例提供了一种效果预测系统的示意图，如图3所示，将结构化信息和非结构化信息输入至特征提取模块，特征提取模块对结构化信息和非结构化信息进行特征提取，然后将提取的特征信息输入至特征融合模块，特征融合模块对特征信息进行多层级融合，然后将融合后的特征信息输入至效果预测模块，得到预测影像，预测影像可以为当前对象的实际治疗提供参考。

需要说明的是，预测影像的训练样本可以包括治疗后的医学影像，将治疗后的医学影像输入效果预测系统进行训练，可以提高训练的准确度和降低训练难度。进一步的，预测效果可以包含多个预测影像，各预测影像对应着不同的治疗计划或治疗时期，可以将不同治疗计划或治疗时期的预测影像进行比较，更加直观和准确的展现治疗效果。

在一些实施例中，不同的治疗计划或治疗时期的预测影像可以对应不同的效果预测模块，以保证预测影像的准确度，特征提取模块和特征融合模块可以重复使用，避免模型臃肿。

在本发明实施例中，目标对象的医学影像可以包括但不限于电子计算机断层扫描图像(Computed Tomography，CT)、磁共振图像(Magnetic Resonance，MR)、超声图像、正电子发射型计算机断层显像(Positron Emission Computed Tomography，PET)；治疗计划可以是通过射线进行治疗的计划，不同治疗计划对应着不同的射线剂量累积分布图像。病历信息可以是当前对象的就诊病历，病历信息包括但不限于病程记录、检查检验结果、医嘱、手术记录和护理记录等。当前状态信息包括但不限于化验单、癌症分期和激素水平。化验单可以包括但不限于血常规、尿常规和肝功能检查；癌症分期可以分为早期、中期、晚期，还可以采用肿瘤淋巴结及远处转移(Tumor Node Metastasis,TNM)分期系统。激素水平可以是身体内激素的含量。

在本发明实施例中，预测效果包括基于治疗计划治疗后的预测影像。其中，预测影像可以是预期治疗后的影像，可以包括但不限于CT图像、MR图像和PET图像等，可以用于表征经一次或多次治疗后，射线剂量在靶区及正常器官的累计效果，如靶区缩小等，预测影像可与病人实际治疗后的影像资料进行对比，可更精准的对疗效进行评估。预测效果还可以包括生存率，生存率可以理解为当前对象远期疗效评估结果，例如，当前对象1-5年生存预期、复发预警等，为当前对象的实际治疗提供参考，提高实际治疗的质量。

在上述实施例的基础上，所述治疗计划包括预设治疗次数的剂量分布和；所述预测效果为预设治疗次数后对应的预测效果。

其中，预设治疗次数是一种模拟治疗次数，可以是一次或多次，当预设治疗次数为多次时，治疗计划可以是多次治疗所使用剂量的总和。预测效果为预设治疗次数后对应的预测效果，即预测效果为多次治疗的最终结果。

在本发明实施例中，在一些实施例中，可以依次显示每次模拟治疗的预测效果，方便用户查看不同治疗阶段的预测效果，在一些实施例中，可以显示最终预设治疗次数后对应的预测效果，方便用户查看最终预测结果。

本发明实施例提供了一种效果预测方法，通过获取当前对象的多模态信息，将多模态信息输入至效果预测系统，其中，效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；获取效果预测系统输出的预测效果。在上述技术方案中，将当前对象的多模态信息输入至效果预测系统，实现了对多模态信息的特征提取、信息融合以及效果预测，其中，通过对多模态信息的特征提取、信息融合，实现了多种模态信息的融合，从而提高了预测效果的准确度。

图4为本发明一个实施例提供的一种效果预测方法的流程示意图，本发明实施例与上述实施例中各个可选方案可以结合。在本发明实施例中，可选地，所述特征融合模块用于对所述特征提取模块提取的特征信息进行权重融合。

如图4所示，本发明实施例的方法具体包括如下步骤：

S210、获取当前对象的多模态信息，将所述多模态信息输入至效果预测系统，其中，所述效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；所述特征融合模块用于对所述特征提取模块提取的特征信息进行权重融合。

本实施例中，特征融合模块通过加权处理的方式对各特征提取模块提取的特征信息进行融合。可选的，基于调用各特征信息的权重对各特征信息进行加权处理。其中，各特征信息对应的权重即为特征信息所属多模态信息对应的权重。多模态信息中不同信息对应不同的权重，通过设置不同的权重，以提高有效信息的权重，降低无需信息的权重，进而达到提高融合后特征的准确度，进一步提高预测精度。

其中，若任一模态信息为空，则将模态信息对应的特征信息的权重设置为预设权重，预设权重小于模态信息非空情况下对应的权重。

示例性的，对特征提取模块提取的特征信息进行权重融合可以为对多个特征信息分配权重，若存在特征信息的模态为空的情况，则将该特征信息对应的权重设置为预设权重，例如预设权重可以为设为0。这样设置的好处在于，可以实现在缺少一项或多项信息时，减少缺失信息对预测精度的影响，仍能实现整个效果预测系统的正常训练、调参及预测。

S220、获取所述效果预测系统输出的预测效果。

本发明实施例提供了一种效果预测方法，通过获取当前对象的多模态信息，将多模态信息输入至效果预测系统，其中，效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；特征融合模块用于对所述特征提取模块提取的特征信息进行权重融合，实现在缺少一项或多项信息时，仍能实现整个效果预测系统的正常训练、调参及预测。

图5为本发明一个实施例提供的一种效果预测方法的流程示意图，本发明实施例与上述实施例中各个可选方案可以结合。在本发明实施例中，可选地，所述特征融合模块用于对所述多模态信息分别对应的多层级特征进行融合处理。

如图5所示，本发明实施例的方法具体包括如下步骤：

S310、获取当前对象的多模态信息，将所述多模态信息输入至效果预测系统，其中，所述效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块，所述特征融合模块用于对所述多模态信息分别对应的多层级特征进行融合处理。

在本发明实施例中，在一些实施例中，多层级特征融合处理可以是对不同层次的特征信息进行融合，在一些实施例中，多层级特征融合处理还可以是将同一层级的特征信息进行融合，多层级间不融合，在一些实施例中，多层级特征融合处理还可以是将同一层级的特征信息进行融合，多层级间进一步融合，本发明实施例对此不做限制。

多层级特征融合处理是一种局部与全局的建模思想，多层级特征可以包括但不限于低层次特征和高层次特征，其中，低层次特征更适合于表征具有简单外观、具象特征的对象，例如轮廓特征；高层次特征适合于具有复杂外观、抽象特征的对象，例如语义特征。特征融合模块可以灵活配置不同层级特征和多模态信息中不同模态信息的权重，有助于多模态信息中结构化信息和非结构化信息的整合，提高效果预测系统的预测效果的准确性，并且多层级特征融合便于不同层级特征、不同模态信息间解耦，使在缺少部分次要模态信息时，效果预测系统仍能保持较高的预测准确性，使预测影像更加接近实际治疗的效果影像。

在上述实施例的基础上，所述特征融合模块用于所述多模态信息分别对应的同一层级的特征信息进行融合处理，并将各层级的融合后的特征信息输入至所述效果预测模块。

示例性的，特征提取模块所提取的特征信息可以包括多个层级的特征信息，示例性的，特征提取模块可以是包括多个特征提取层，各特征提取层输出特征信息，并将输出的特征信息输入至下一特征提取层，不同的特征提取层输出不同层级的特征信息。特征融合模块将同一层级的特征信息进行融合处理，具体可以通过权重融合，或者，使用随机森林等机器学习方法进行融合，又或者使用残差神经网络进行融合，本发明实施例对此不做限定，并将各层级的融合后的特征信息输入至效果预测模块，实现对多模态信息的多层级融合，采用多种信息作为预测依据，从而使预测效果更加准确。

在上述实施例的基础上，所述特征融合模块用于所述多模态信息分别对应的同一层级的特征信息进行融合处理，并将各层级的融合后的特征信息进行多层级融合得到目标特征信息输入至所述效果预测模块。

示例性的，特征融合模块将同一层级的特征信息进行融合处理，并将各层级的融合后的特征信息进行多层级融合得到目标特征信息，将目标特征信息输入至效果预测模块。具体可以通过权重融合，或者，使用随机森林等机器学习方法进行融合，又或者使用残差神经网络进行融合，本发明实施例对此不做限定。本实施例实现了对多模态信息的多层级融合，采用多种信息作为预测依据，从而使预测效果更加准确。

S320、获取所述效果预测系统输出的预测效果。

本发明实施例提供了一种效果预测方法，通过获取当前对象的多模态信息，将多模态信息输入至效果预测系统，其中，效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块，特征融合模块用于对多模态信息分别对应的多层级特征进行融合处理，实现了对多模态信息的多层级融合，进一步的，特征融合模块可以灵活配置不同层级特征和多模态信息的权重，有助于多模态信息整合，提高效果预测系统的预测效果的准确性，并且多层级特征融合便于不同层级特征、多模态信息间解耦，使在缺少部分次要模态信息时，效果预测系统仍能保持较高的预测准确性。

图6为本发明一个实施例提供的一种效果预测装置的结构示意图，本实施例所提供的效果预测装置可以通过软件和/或硬件来实现，可配置于终端和/或服务器中来实现本发明实施例中的效果预测方法。该装置具体可以包括：信息输入模块410以及效果获取模块420。

其中，信息输入模块410，用于获取当前对象的多模态信息，将所述多模态信息输入至效果预测系统，其中，所述效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；效果获取模块420，用于获取所述效果预测系统输出的预测效果。

本发明实施例提供了一种效果预测装置，通过获取当前对象的多模态信息，将多模态信息输入至效果预测系统，其中，效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；获取效果预测系统输出的预测效果。在上述技术方案中，将当前对象的多模态信息输入至效果预测系统，实现了对多模态信息的特征提取、信息融合以及效果预测，其中，通过对多模态信息的特征提取、信息融合，实现了多种模态信息的融合，从而提高了预测效果的准确度。

在本发明实施例中任一可选技术方案的基础上，可选地，所述多模态信息包括结构化信息和非结构化信息，其中，所述效果预测系统包括结构化信息的特征提取模块和非结构化信息的特征提取模块。

在本发明实施例中任一可选技术方案的基础上，可选地，所述结构化信息包括目标对象的医学影像和治疗计划；所述非结构化信息包括目标对象的病历信息和当前状态信息；

所述预测效果包括基于所述治疗计划治疗后的预测影像。

在本发明实施例中任一可选技术方案的基础上，可选地，所述治疗计划包括预设治疗次数的剂量分布和；所述预测效果为预设治疗次数后对应的预测效果。

在本发明实施例中任一可选技术方案的基础上，可选地，所述特征融合模块用于对所述特征提取模块提取的特征信息进行权重融合；

其中，若任一模态信息为空，则将所述模态信息对应的特征信息的权重设置为预设权重，其中，所述预设权重小于所述模态信息非空情况下对应的权重。

在本发明实施例中任一可选技术方案的基础上，可选地，所述特征融合模块用于对所述多模态信息分别对应的多层级特征进行融合处理。

在本发明实施例中任一可选技术方案的基础上，可选地，所述特征融合模块用于所述多模态信息分别对应的同一层级的特征信息进行融合处理，并将各层级的融合后的特征信息输入至所述效果预测模块；

或者，

所述特征融合模块用于所述多模态信息分别对应的同一层级的特征信息进行融合处理，并将各层级的融合后的特征信息进行多层级融合得到目标特征信息输入至所述效果预测模块。

本发明实施例所提供的效果预测装置可执行本发明任意实施例所提供的效果预测方法，具备执行方法相应的功能模块和有益效果。

图7为本发明一个实施例所提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图7显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块26的程序/实用工具36，可以存储在例如系统存储器28中，这样的程序模块26包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块26通常执行本发明所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种效果预测方法。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种效果预测方法，该方法包括：

获取当前对象的多模态信息，将所述多模态信息输入至效果预测系统，其中，所述效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；

获取所述效果预测系统输出的预测效果。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种效果预测方法，其特征在于，包括：

获取当前对象的多模态信息，将所述多模态信息输入至效果预测系统，其中，所述效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；

获取所述效果预测系统输出的预测效果。

2.根据权利要求1所述的方法，其特征在于，所述多模态信息包括结构化信息和非结构化信息，其中，所述效果预测系统包括结构化信息的特征提取模块和非结构化信息的特征提取模块。

3.根据权利要求2所述的方法，其特征在于，所述结构化信息包括目标对象的医学影像和治疗计划；所述非结构化信息包括目标对象的病历信息和当前状态信息；

所述预测效果包括基于所述治疗计划治疗后的预测影像。

4.根据权利要求3所述的方法，其特征在于，所述治疗计划包括预设治疗次数的剂量分布和；所述预测效果为预设治疗次数后对应的预测效果。

5.根据权利要求1所述的方法，其特征在于，所述特征融合模块用于对所述特征提取模块提取的特征信息进行权重融合；

其中，若任一模态信息为空，则将所述模态信息对应的特征信息的权重设置为预设权重，其中，所述预设权重小于所述模态信息非空情况下对应的权重。

6.根据权利要求1所述的方法，其特征在于，所述特征融合模块用于对所述多模态信息分别对应的多层级特征进行融合处理。

7.根据权利要求6所述的方法，其特征在于，所述特征融合模块用于所述多模态信息分别对应的同一层级的特征信息进行融合处理，并将各层级的融合后的特征信息输入至所述效果预测模块；

或者，

所述特征融合模块用于所述多模态信息分别对应的同一层级的特征信息进行融合处理，并将各层级的融合后的特征信息进行多层级融合得到目标特征信息输入至所述效果预测模块。

8.一种效果预测装置，其特征在于，包括：

信息输入模块，用于获取当前对象的多模态信息，将所述多模态信息输入至效果预测系统，其中，所述效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；

效果获取模块，用于获取所述效果预测系统输出的预测效果。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的效果预测方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的效果预测方法。

Images