CN117238484B - 智能化诊疗装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种智能化诊疗装置、电子设备及存储介质。其中，该装置包括：第一处理单元，用于将目标对象的目标多模态影像输入至勾画模型中，得到目标对象对应的目标影像组学特征；第二处理单元，用于将目标影像组学特征输入至诊断分期模型中，得到目标对象对应的目标病理特征；第三处理单元，用于将目标病理特征和目标剂量特征输入至疗效预测模型中，得到预估放疗反应信息，其中，目标剂量特征表征目标对象的放疗计划中的剂量信息。本申请解决了现有技术中由于缺失影像组学特征参数变化规律与临床病理特征、治疗反应信息之间的关联机制，导致的对于放疗反应信息预估准确度差的技术问题。

Description

智能化诊疗装置、电子设备及存储介质

技术领域

本申请涉及医疗科技领域，具体而言，涉及一种智能化诊疗装置、电子设备及存储介质。

背景技术

目前，患者在接受放射治疗时，通常是依据医生经验、历史患者的放疗后效果来预测一个患者在接受放射治疗后可能的反应信息。

但是，这种预测方式存在较大局限性，一方面是由于受到人为经验因素的过多影响，导致预测准确率较低；另一方面是由于历史患者对应的影像组学特征、临床病理特征等特征信息可能与将要接受放射治疗的患者存在较大差异，而现有的预测方式却缺失影像组学特征参数变化规律与临床病理特征、治疗反应信息之间的关联机制，从而也会导致对于放疗反应信息预估准确度差的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供了一种智能化诊疗装置、电子设备及存储介质，以至少解决现有技术中由于缺失影像组学特征参数变化规律与临床病理特征、治疗反应信息之间的关联机制，导致的对于放疗反应信息预估准确度差的技术问题。

根据本申请的一个方面，提供了一种智能化诊疗装置，包括：第一处理单元，用于将目标对象的目标多模态影像输入至勾画模型中，得到目标对象对应的目标影像组学特征，其中，勾画模型为依据参照对象的多模态影像训练得到的神经网络模型；第二处理单元，用于将目标影像组学特征输入至诊断分期模型中，得到目标对象对应的目标病理特征，其中，诊断分期模型为依据参照对象的影像组学特征训练得到的神经网络模型；第三处理单元，用于将目标病理特征和目标剂量特征输入至疗效预测模型中，得到预估放疗反应信息，其中，目标剂量特征表征目标对象的放疗计划中的剂量信息，预估放疗反应信息表征在目标对象接受放疗后目标病理特征的变化信息，疗效预测模型为依据参照对象的病理信息和剂量信息训练得到的神经网络模型。

可选地，在智能化诊疗装置中，第二处理单元，包括：获取子单元，用于获取目标对象的目标临床特征；处理子单元，用于将目标影像组学特征和目标临床特征输入至诊断分期模型中，得到目标病理特征。

可选地，智能化诊疗装置还包括：获取单元，用于获取目标对象的目标定位影像，其中，目标定位影像为在目标对象处于固定体位的情况下拍摄的多模态影像，固定体位依据放疗计划中的射野信息所确定；第四处理单元，用于将目标定位影像输入至勾画模型中，得到目标对象对应的目标定位影像组学特征；第五处理单元，用于将目标影像组学特征、目标病理特征、目标临床特征以及目标定位影像组学特征输入至剂量模型中，得到目标剂量特征，其中，剂量模型为通过对参照对象对应的影像组学特征、病理特征、临床特征以及定位影像组学特征进行训练得到的神经网络模型。

可选地，在智能化诊疗装置中，第三处理单元，包括：权重设置子单元，用于分别对目标影像组学特征、目标病理特征、目标临床特征、定位影像组学特征以及目标剂量特征设置对应的权重，其中，每个特征对应的权重用于表征疗效预测模型在生成预估放疗反应信息时受到该特征的影响程度，权重与影响程度之间为正相关的关系；第一处理子单元，用于将目标影像组学特征、目标病理特征、目标临床特征、定位影像组学特征、目标剂量特征以及每个特征对应的权重输入至疗效预测模型中，得到预估放疗反应信息。

可选地，在智能化诊疗装置中，第一处理子单元，包括：特征融合模块，用于通过疗效预测模型依据每个特征对应的权重对目标影像组学特征、目标病理特征、目标临床特征、定位影像组学特征、目标剂量特征进行特征融合，得到目标特征；预估放疗反应信息生成模块，用于通过疗效预测模型依据目标特征生成预估放疗反应信息。

可选地，定位影像组学特征对应的权重大于目标影像组学特征对应的权重，目标病理特征对应的权重大于目标临床特征对应的权重和目标影像组学特征对应的权重，目标剂量特征对应的权重大于定位影像组学特征对应的权重以及目标病理特征对应的权重。

可选地，智能化诊疗装置，还包括：第一获取单元，用于获取N个多模态影像以及N个多模态影像中的每个多模态影像对应的影像组学特征，其中，N个多模态影像对应不同的参照对象，并且N个多模态影像来自于不同的数据源，N个多模态影像为不同结构形式的影像；勾画模型训练单元，用于将N个多模态影像作为训练样本、每个多模态影像对应的影像组学特征作为该多模态影像对应的训练标签，输入至神经网络中，经过多次迭代训练，得到勾画模型。

可选地，智能化诊疗装置，还包括：诊断分期模型训练单元，用于将参照对象对应的影像组学特征、临床特征作为第一训练样本、参照对象的病理特征作为第一训练标签，输入至神经网络中，经过多次迭代训练，得到诊断分期模型；疗效预测模型训练单元，用于将参照对象对应的影像组学特征、临床特征、病理特征以及剂量特征作为第二训练样本、参照对象的实际放疗反应信息作为第二训练标签，输入至神经网络中，经过多次迭代训练，得到疗效预测模型。

根据本申请的另一方面，还提供了一种计算机可读存储介质，其中，计算机可读存储介质中存储有计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备控制上述任意一项的智能化诊疗装置。

根据本申请的另一方面，还提供了一种电子设备，其中，电子设备包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器控制上述任意一项的智能化诊疗装置。

在本申请中，采用勾画模型、诊断分期模型、疗效预测模型三种模型结合使用的方式，首先通过第一处理单元将目标对象的目标多模态影像输入至勾画模型中，得到目标对象对应的目标影像组学特征，其中，勾画模型为依据参照对象的多模态影像训练得到的神经网络模型。然后，通过第二处理单元将目标影像组学特征输入至诊断分期模型中，得到目标对象对应的目标病理特征，其中，诊断分期模型为依据参照对象的影像组学特征训练得到的神经网络模型。最后，通过第三处理单元将目标病理特征和目标剂量特征输入至疗效预测模型中，得到预估放疗反应信息，其中，目标剂量特征表征目标对象的放疗计划中的剂量信息，预估放疗反应信息表征在目标对象接受放疗后目标病理特征的变化信息，疗效预测模型为依据参照对象的病理信息和剂量信息训练得到的神经网络模型。

由上述内容可知，本申请通过结合使用勾画模型、诊断分期模型、疗效预测模型三种模型，利用勾画模型基于目标对象的目标多模态影像提取到目标对象对应的目标影像组学特征，并利用诊断分期模型基于目标影像组学特征生成目标对象对应的目标病理特征，从而建立了目标影像组学特征与目标病理特征之间的关联机制。

进一步地，本申请还利用疗效预测模型基于目标对象对应的目标病理特征和目标剂量特征生成目标对象对应的预估放疗反应信息，从而实现了建立目标影像组学特征与目标病理特征、目标剂量特征以及放疗反应信息之间的关联机制，进而提高了放疗反应信息的预估效率以及准确度，解决了现有技术中由于缺失影像组学特征参数变化规律与临床病理特征、治疗反应信息之间的关联机制，导致的对于放疗反应信息预估准确度差的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种可选的智能化诊疗装置的示意图；

图2是根据本申请实施例的一种数据信息的采集方法的示意图；

图3是根据本申请实施例的一种可选的放疗反应信息的确定方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

还需要说明的是，本申请所涉及的相关信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于展示的数据、分析的数据以及电子病历数据等），均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。

下面结合各实施例来进一步说明本申请。

实施例1

根据本申请实施例，提供了一种智能化诊疗装置的实施例，其中，图1是根据本申请实施例的一种可选的智能化诊疗装置的示意图，如图1所示，本申请实施例中的智能化诊疗装置包括如下单元：

第一处理单元101，用于将目标对象的目标多模态影像输入至勾画模型中，得到目标对象对应的目标影像组学特征，其中，勾画模型为依据参照对象的多模态影像训练得到的神经网络模型；第二处理单元102，用于将目标影像组学特征输入至诊断分期模型中，得到目标对象对应的目标病理特征，其中，诊断分期模型为依据参照对象的影像组学特征训练得到的神经网络模型；第三处理单元103，用于将目标病理特征和目标剂量特征输入至疗效预测模型中，得到预估放疗反应信息，其中，目标剂量特征表征目标对象的放疗计划中的剂量信息，预估放疗反应信息表征在目标对象接受放疗后目标病理特征的变化信息，疗效预测模型为依据参照对象的病理信息和剂量信息训练得到的神经网络模型。

可选地，目标对象可以是患有癌症的患者，具体癌症种类本申请不作特别限定，参照对象可以是与目标对象患有相同种类的癌症的患者，并且参照对象已经接受过放射治疗。

可选地，目标对象的目标多模态影像包括但不限于MR影像、CT影像、超声影像、SPECT影像、PET影像等影像。目标影像组学特征则可以是基于目标多模态影像提取到的靶区勾画特征信息、危及器官勾画特征信息，其中，靶区勾画特征信息用于表征目标对象的放疗靶区对应的轮廓信息，危及器官勾画特征信息用于表征目标对象的危及器官对应的轮廓信息。此外，目标影像组学特征的维度可以是一维影像组学特征、2D影像组学特征、3D影像组学特征或者更高维度的影像组学特征。

可选地，目标病理特征还可以称为目标病理信息，在本申请中，智能化诊疗装置可以通过目标病理特征对目标对象进行准确的临床分期诊断，例如T分期、N分期、M分期等，从而确定目标对象的患病严重程度。

需要说明的是，确定癌症患者的临床分期，是设计放疗计划的一个重要步骤，由于不同临床分期的患者患病程度不同，因此所采用的具体治疗方式也不同，在此基础上，提高临床分期信息的确定效率和确定准确率，无疑是提高放疗计划的设计效率的关键步骤。

与传统的通过人工经验判断患者的临床分期不同，本申请通过引入诊断分期模型，与勾画模型相配合使用，建立了影像组学特征参数变化规律与临床病理特征之间的关联机制，实现了自动化快速以及影像组学特征确定患者对应的病理特征以及临床分期的技术效果，进而提高了放疗计划的设计效率。

可选地，在确定了目标对象的目标病理特征之后，如果需要对目标对象进行放射治疗，则可以对目标对象制定对应的放疗计划，其中，放疗计划中至少包括目标对象对应的剂量信息，例如，靶区对应的放射剂量、危及器官对应的放射剂量。

可选地，为了提前预测目标对象在接受放射治疗后的可能出现的放疗反应信息，可以通过第三处理单元将目标对象对应的目标病理特征和目标剂量特征输入至疗效预测模型中，由疗效预测模型生成针对目标对象的预估放疗反应信息。其中，预估放疗反应信息可以通过目标对象接受放疗后目标病理特征的变化信息来进行表示，例如，目标病理特征的变化信息表示目标对象的淋巴结转移个数变少，目标对象的癌症从晚期变成了早期等等。此外，预估放疗反应信息还可以通过影像组学特征的变化信息来进行表示，例如，最新的影像组学特征显示目标对象在接受放疗后，其靶区部位的轮廓面积变小。

需要说明的是，由于肿瘤的异质性，有部分接受放疗的患者依然在治疗后出现了疾病复发的状况。因此，对于放射治疗而言，提前预测放疗反应信息是至关重要的，可以提前预知相关风险以及协助医生调整相应的放疗计划。

举例而言，如果针对目标对象设计了两个放疗计划，分别为计划A和计划B，其中，计划A对应的剂量信息为剂量A-1，计划B对应的剂量信息为剂量B-1，依据本申请的方案，可以将剂量A-1作为目标剂量特征，与目标病理特征一同输入至疗效预测模型中，得到预估放疗反应信息A-2；还可以将剂量B-1作为目标剂量特征，与目标病理特征一同输入至疗效预测模型中，得到预估放疗反应信息B-2。

进一步地，通过比较预估放疗反应信息A-2和预估放疗反应信息B-2，可以确定计划A和计划B哪一个更适合作为执行计划，例如，预估放疗反应信息A-2要优于预估放疗反应信息B-2，则说明计划A比计划B更适合作为执行计划。

由此可见，本申请通过预测得到放疗计划对应的预估放疗反应信息，可以提前预测放疗相关风险，以及帮助医生评估不同放疗计划之间的优劣性，以便医生从多个放疗计划中选取最优的放疗计划作为执行放疗计划。

由上述内容可知，本申请通过结合使用勾画模型、诊断分期模型、疗效预测模型三种模型，利用勾画模型基于目标对象的目标多模态影像提取到目标对象对应的目标影像组学特征，并利用诊断分期模型基于目标影像组学特征生成目标对象对应的目标病理特征，从而建立了目标影像组学特征与目标病理特征之间的关联机制。

进一步地，本申请还利用疗效预测模型基于目标对象对应的目标病理特征和目标剂量特征生成目标对象对应的预估放疗反应信息，从而实现了建立目标影像组学特征与目标病理特征、目标剂量特征以及放疗反应信息之间的关联机制，进而提高了放疗反应信息的预估效率以及准确度，解决了现有技术中由于缺失影像组学特征参数变化规律与临床病理特征、治疗反应信息之间的关联机制，导致的对于放疗反应信息预估准确度差的技术问题。

在一种可选的实施例中，智能化诊疗装置的第二处理单元102还包括获取子单元和处理子单元。

其中，获取子单元，用于获取目标对象的目标临床特征；处理子单元，用于将目标影像组学特征和目标临床特征输入至诊断分期模型中，得到目标病理特征。

可选地，诊断分析模型在预测目标病理特征时，还可以结合目标对象的目标临床特征与目标对象对应的目标影像学特征一起预测目标病理特征。其中，临床特征包括但不限于患者的年龄特征、性别特征、体重特征、面容特征、姿态特征、体温特征等等。

需要说明的是，通过引入目标临床特征与目标影像组学特征共同来预测目标病理特征，可以提高目标病理特征的预测准确度。

举例说明，对于具有相同的影像组学特征的两个患者，其分别对应的临床特征不同，则可能各自对应的病理特征也会不同，例如，两个同样患有乳腺癌的患者，基于临床特征，两者却存在性别差异，在此基础上，即便两者的影像组学特征相同，但是各自对应的病理特征可能不同。又例如，临床特征至少包括体重特征和面容特征，对应影像组学特征相同的两个患者，其中一个患者的体重正常并且面色较好，另外一个患者的体重相比患病前骤减，同时面色发黑，则在临床分期时，两个患者对应的病理特征也可能存在差异。

结合上述示例可知，在不引入临床特征的情况下，具有相同的影像组学特征的两个患者，所对应预测得到的病理特征也会相同，但是，引入临床特征之后，具有相同的影像组学特征的两个患者，所对应预测得到的病理特征可能会不同，则引入临床特征后所预测得到的病理特征是更接近真实的病理特征的。

由此可见，依据本申请的方案，通过引入目标临床特征与目标影像组学特征共同来预测目标病理特征，可以更精细地确定患者对应的病理特征，从而实现提高病理特征的预测准确度的技术效果。

在一种可选的实施例中，智能化诊疗装置还包括：获取单元、第四处理单元、第五处理单元。

其中，获取单元，用于获取目标对象的目标定位影像，其中，目标定位影像为在目标对象处于固定体位的情况下拍摄的多模态影像，固定体位依据放疗计划中的射野信息所确定；第四处理单元，用于将目标定位影像输入至勾画模型中，得到目标对象对应的目标定位影像组学特征；第五处理单元，用于将目标影像组学特征、目标病理特征、目标临床特征以及目标定位影像组学特征输入至剂量模型中，得到目标剂量特征，其中，剂量模型为通过对参照对象对应的影像组学特征、病理特征、临床特征以及定位影像组学特征进行训练得到的神经网络模型。

可选地，在目标对象需要进行放射治疗时，需要提前为目标对象制定放疗计划，其中，放疗计划中最为重要的两个计划参数，一个是剂量信息，另一个是射野信息，其中，由于射野信息表征了放射源释放的射线到达患者靶区以及危及器官的路径，因此，通常来说，首先需要确定射野信息，然后剂量信息则是需要基于射野信息设计得到。

为了得到更准确的目标剂量特征，需要将目标对象按照依据射野信息所确定的固定体位进行摆位，该过程可以理解为是模拟实际放射治疗时的体位，然后获取目标对象在处于该固定体位的情况下所拍摄的多模态影像，即目标定位影像。其中，目标定位影像通常涉及到的图像信息要多于目标多模态影像。

可选地，与目标多模态影像的处理方式类似，智能化诊疗装置将目标定位影像也输入至勾画模型中，从而得到目标对象对应的目标定位影像组学特征。最后，智能化诊疗装置将目标影像组学特征、目标病理特征、目标临床特征以及目标定位影像组学特征输入至剂量模型中，得到目标剂量特征。

由上述内容可知，目标定位影像是基于放疗计划中的射野信息进行固定体位拍摄的图像，因此是与射野规定的照射路径更加相匹配的影像，加入目标定位影像对应的目标定位影像组学特征来进行剂量预测，可以提高目标剂量特征的预测准确度。

在一种可选的实施例中，智能化诊疗装置的第三处理单元中还包括：权重设置子单元、第一处理子单元。

其中，权重设置子单元，用于分别对目标影像组学特征、目标病理特征、目标临床特征、定位影像组学特征以及目标剂量特征设置对应的权重，其中，每个特征对应的权重用于表征疗效预测模型在生成预估放疗反应信息时受到该特征的影响程度，权重与影响程度之间为正相关的关系；第一处理子单元，用于将目标影像组学特征、目标病理特征、目标临床特征、定位影像组学特征、目标剂量特征以及每个特征对应的权重输入至疗效预测模型中，得到预估放疗反应信息。

可选地，定位影像组学特征对应的权重大于目标影像组学特征对应的权重，目标病理特征对应的权重大于目标临床特征对应的权重和目标影像组学特征对应的权重，目标剂量特征对应的权重大于定位影像组学特征对应的权重以及目标病理特征对应的权重。

可选地，由于每个特征对于预测放疗反应信息的影响程度不同，因此，可以通过设置权重的方式突出某个特征在疗效预测模型生成预估放疗反应信息时对该特征的侧重程度。

可选地，在本申请中，可以设置定位影像组学特征对应的权重大于目标影像组学特征对应的权重，目标病理特征对应的权重大于目标临床特征对应的权重和目标影像组学特征对应的权重，目标剂量特征对应的权重大于定位影像组学特征对应的权重以及目标病理特征对应的权重。

需要说明的是，相比于目标影像组学特征，定位影像组学特征与放疗计划中的射野信息匹配度更高，因此通过定位影像组学特征预测剂量信息比通过目标影像组学特征预测剂量信息会更准确，基于该分析，本申请设置定位影像组学特征对应的权重大于目标影像组学特征对应的权重。

另外，由于目标病理特征是基于目标临床特征和目标影像特征所生成的特征，因此，目标病理特征可以理解为是针对目标临床特征和目标影像特征进行加工处理得到的特征，其更加能表征目标对象的患病信息，因此本申请设置目标病理特征对应的权重大于目标临床特征对应的权重和目标影像特征对应的权重。

可选地，由于目标剂量特征是基于目标临床特征、目标影像特征、定位影像组学特征以及目标病理特征所生成的特征，因此，目标剂量特征可以理解为是针对目标临床特征、目标影像特征、定位影像组学特征以及目标病理特征进行加工处理得到的特征，其对于放疗反应信息的影响更大，因此本申请设置目标剂量特征对应的权重大于目标临床特征对应的权重、目标影像特征对应的权重、定位影像组学特征对应的权重以及目标病理特征对应的权重。

在一种可选的实施例中，智能化诊疗装置的第一处理子单元还包括：特征融合模块、预估放疗反应信息生成模块。

其中，特征融合模块，用于通过疗效预测模型依据每个特征对应的权重对目标影像组学特征、目标病理特征、目标临床特征、定位影像组学特征、目标剂量特征进行特征融合，得到目标特征；预估放疗反应信息生成模块，用于通过疗效预测模型依据目标特征生成预估放疗反应信息。

可选地，疗效预测模型可以通过神经网络中的函数对目标影像组学特征、目标病理特征、目标临床特征、定位影像组学特征、目标剂量特征进行特征融合，其中，在特征融合中，需要结合每个特征对应的权重来确定每个特征的保留信息量，例如，权重越大的特征，需要保留的信息量越大。最后，疗效预测模型根据特征融合所得的目标特征生成预估放疗反应信息。

在一种可选的实施例中，智能化诊疗装置还包括：第一获取单元和勾画模型训练单元。

其中，第一获取单元，用于获取N个多模态影像以及N个多模态影像中的每个多模态影像对应的影像组学特征，其中，N个多模态影像对应不同的参照对象，并且N个多模态影像来自于不同的数据源，N个多模态影像为不同结构形式的影像；勾画模型训练单元，用于将N个多模态影像作为训练样本、每个多模态影像对应的影像组学特征作为该多模态影像对应的训练标签，输入至神经网络中，经过多次迭代训练，得到勾画模型。

可选地，模型的拟合需基于大批量的患者数据，目前现有技术并没有对来自不同数据源，存储结构不同的数据进行统一管理，因此患者数据面临数据凌乱、提取困难复杂、数据处理与检索低效、数据易丢失等问题。

可选地，本申请将 HIS、LIS、PACS、TPS等系统产生的多源异构数据统一融合采集，建立一个多源异构数据库。其中，多源异构数据库中至少存在不同参照对象对应的N个多模态影像以及每个多模态影像对应的影像组学特征。

可选地，本申请的智能化诊疗装置可以利用N个多模态影像以及N个多模态影像中的每个多模态影像对应的影像组学特征进行训练对U-NET神经网络进行训练，并训练得到勾画模型。其中，在训练过程中，每个多模态影像可以作为训练样本，每个多模态影像对应的影像组学特征可以作为训练标签。

另外，在训练过程中，还可以引入生成对抗神经网络GAN对U-NET神经网络的训练过程进行监督，根据验证集的损失函数值的变化信息调整U-NET神经网络，直至得到满足预设损失函数值的神经网络，即得到勾画模型。

可选地，勾画模型所提取到的特征信息可以存储在特征数据库中，形成包含多源图像的前置特征数据池，从而实现原始特征的前期自动化提取和整理。另外，特征数据库在存储特征信息时，还可以对特征信息进行加密。

在一种可选的实施例中，智能化诊疗装置还包括：诊断分期模型训练单元和疗效预测模型训练单元。其中，诊断分期模型训练单元，用于将参照对象对应的影像组学特征、临床特征作为第一训练样本、参照对象的病理特征作为第一训练标签，输入至神经网络中，经过多次迭代训练，得到诊断分期模型；疗效预测模型训练单元，用于将参照对象对应的影像组学特征、临床特征、病理特征以及剂量特征作为第二训练样本、参照对象的实际放疗反应信息作为第二训练标签，输入至神经网络中，经过多次迭代训练，得到疗效预测模型。

可选地， 诊断分期模型可以是logistic回归模型、SVM模型以及随机森林模型等各种神经网络模型。在训练诊断分期模型时，以参照对象的影像组学特征、临床特征作为训练样本，以参照对象的病理特征作为训练标签，结合预设的损失函数，训练得到诊断分期模型。

可选地，疗效预测模型也可以是logistic回归模型、SVM模型以及随机森林模型等各种神经网络模型。在训练疗效预测模型时，以参照对象的影像组学特征、定位影像组学特征、临床特征、病理特征以及剂量特征作为训练样本，以参照对象的实际放疗反应信息作为训练标签，结合预设的损失函数，训练得到疗效预测模型。

可选地，智能化诊疗装置还包括剂量模型训练单元，用于将参照对象对应的影像组学特征、临床特征、病理特征以及定位影像特征作为第三训练样本、参照对象的实际剂量信息作为第三训练标签，输入至神经网络中，经过多次迭代训练，得到剂量模型。

在一种可选的实施例中，图2是根据本申请实施例的一种数据信息的采集方法的示意图，如图2所示，首先从多源数据平台中采集各种数据信息，其中，多源数据平台包括但不限于PACS数据平台、TPS数据平台、HIS数据平台以及LIS数据平台，采集的数据信息包括但不源于患者的电子病历、病理数据、临床数据以及影像数据。此外，通过预先训练的勾画模型，可以从患者的影像数据中提取到患者对应的影像组学特征，最后，对采集到的数据信息和提到的影像组学特征进行信息提取操作、归档入库操作以及数据加密操作，并最终得到了多源异构数据库。

由上述内容可知，本申请采用分布式架构及数据存储，建立 HIS、LIS、PACS、TPS等系统数据的自动归总数据库。利用勾画模型自动提前对多源影像数据（CT,MR,PET、CT等）进行影像组学特征的提取，从而实现了对影像数据的前期自动化处理，由此建立多源异构数据库。

在一种可选的实施例中，图3是根据本申请实施例的一种可选的放疗反应信息的确定方法的流程图，如图3所示，首先获取目标对象（例如患者A）的多模态影像，例如CT影像、MR影像等等，然后将多模态影像输入至勾画模型中，得到勾画模型输出的患者A对应的多模态影像组学特征。

随后，将患者A对应的多模态影像组学特征、患者A对应的临床特征输入至诊断分期模型中，得到诊断分期模型输出的患者A对应的病理特征。

进一步地，如果患者A需要进行放射治疗，则需要将患者A对应的多模态影像组学特征、患者A的临床特征、患者A的病理特征以及患者A对应的定位影像组学特征输入至剂量模型中，得到剂量模型输出的患者A对应的剂量特征信息，可以依据剂量特征信息指定患者A的放疗计划。

最后，还可以将患者A对应的多模态影像组学特征、定位影像组学特征、患者A的临床特征、患者A的病理特征以及患者A的剂量特征信息输入至疗效预测模型中，得到疗效预测模型输出的预估放疗反应信息（例如，病理特征的变化信息，影像组学特征的变化信息）。

由上述内容可知，本申请通过结合使用勾画模型、诊断分期模型、疗效预测模型三种模型，利用勾画模型基于目标对象的目标多模态影像提取到目标对象对应的目标影像组学特征，并利用诊断分期模型基于目标影像组学特征生成目标对象对应的目标病理特征，从而建立了目标影像组学特征与目标病理特征之间的关联机制。进一步地，本申请还利用疗效预测模型基于目标对象对应的目标病理特征和目标剂量特征生成目标对象对应的预估放疗反应信息，从而实现了建立目标影像组学特征与目标病理特征、目标剂量特征以及放疗反应信息之间的关联机制，进而提高了放疗反应信息的预估效率以及准确度，解决了现有技术中由于缺失影像组学特征参数变化规律与临床病理特征、治疗反应信息之间的关联机制，导致的对于放疗反应信息预估准确度差的技术问题。

实施例2

根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备控制上述实施例1中的智能化诊疗装置。

实施例3

根据本申请实施例的另一方面，还提供了一种电子设备，电子设备包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器控制上述实施例1中的智能化诊疗装置。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (6)

1.一种智能化诊疗装置，其特征在于，包括：

第一处理单元，用于将目标对象的目标多模态影像输入至勾画模型中，得到所述目标对象对应的目标影像组学特征，其中，所述勾画模型为依据参照对象的多模态影像训练得到的神经网络模型；

第二处理单元，包括获取子单元，用于获取所述目标对象的目标临床特征；处理子单元，用于将所述目标影像组学特征和所述目标临床特征输入至诊断分期模型中，得到目标病理特征；

诊断分期模型训练单元，用于将所述参照对象对应的影像组学特征和临床特征作为第一训练样本，所述参照对象的病理特征作为第一训练标签，输入至神经网络中，经过多次迭代训练，得到所述诊断分期模型；

所述智能化诊疗装置，还包括：

获取单元，用于获取所述目标对象的目标定位影像，其中，所述目标定位影像为在所述目标对象处于固定体位的情况下拍摄的多模态影像，所述固定体位依据放疗计划中的射野信息所确定；

第四处理单元，用于将所述目标定位影像输入至所述勾画模型中，得到所述目标对象对应的目标定位影像组学特征；

第五处理单元，用于将所述目标影像组学特征、所述目标病理特征、所述目标临床特征以及所述目标定位影像组学特征输入至剂量模型中，得到目标剂量特征，其中，所述目标剂量特征表征所述目标对象的放疗计划中的剂量信息，所述剂量模型为通过对所述参照对象对应的影像组学特征、病理特征、临床特征以及定位影像组学特征进行训练得到的神经网络模型；

疗效预测模型训练单元，用于将所述参照对象对应的影像组学特征、定位影像组学特征、临床特征、病理特征以及剂量特征作为第二训练样本，所述参照对象的实际放疗反应信息作为第二训练标签，输入至神经网络中，经过多次迭代训练，得到所述疗效预测模型；

特征融合模块，用于通过疗效预测模型依据每个特征对应的权重对所述目标影像组学特征、所述目标病理特征、所述目标临床特征、所述定位影像组学特征以及所述目标剂量特征进行特征融合，得到目标特征；

预估放疗反应信息生成模块，用于通过所述疗效预测模型依据所述目标特征生成所述预估放疗反应信息，所述预估放疗反应信息表征在所述目标对象接受放疗后所述目标病理特征的变化信息。

2.根据权利要求1所述的智能化诊疗装置，其特征在于，还包括：

权重设置子单元，用于分别对所述目标影像组学特征、所述目标病理特征、所述目标临床特征、所述定位影像组学特征以及所述目标剂量特征设置对应的权重，其中，每个特征对应的权重用于表征所述疗效预测模型在生成所述预估放疗反应信息时受到该特征的影响程度，所述权重与所述影响程度之间为正相关的关系；

第一处理子单元，用于将所述目标影像组学特征、所述目标病理特征、所述目标临床特征、所述定位影像组学特征、所述目标剂量特征以及所述每个特征对应的权重输入至疗效预测模型中，得到所述预估放疗反应信息。

3.根据权利要求2所述的智能化诊疗装置，其特征在于，所述定位影像组学特征对应的权重大于所述目标影像组学特征对应的权重，所述目标病理特征对应的权重大于所述目标临床特征对应的权重和所述目标影像组学特征对应的权重，所述目标剂量特征对应的权重大于所述定位影像组学特征对应的权重以及所述目标病理特征对应的权重。

4.根据权利要求1所述的智能化诊疗装置，其特征在于，所述智能化诊疗装置，还包括：

第一获取单元，用于获取N个多模态影像以及所述N个多模态影像中的每个多模态影像对应的影像组学特征，其中，所述N个多模态影像对应不同的参照对象，并且所述N个多模态影像来自于不同的数据源，所述N个多模态影像为不同结构形式的影像；

勾画模型训练单元，用于将所述N个多模态影像作为第三训练样本、所述每个多模态影像对应的影像组学特征作为该多模态影像对应的第三训练标签，输入至神经网络中，经过多次迭代训练，得到所述勾画模型。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备控制权利要求1至4中任意一项所述的智能化诊疗装置。

6.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器控制权利要求1至4中任意一项所述的智能化诊疗装置。