CN117766137A - 一种基于强化学习的医疗诊断结果确定方法和装置 - Google Patents

Abstract

本申请提供了一种基于强化学习的医疗诊断结果确定方法和装置，首先，将用户的当前问诊信息输入到预先构建好的命名实体识别模型中，确定出所述当前问诊信息中存在的多个关键实体；然后，将多个所述关键实体输入到预先训练好的实体关系抽取模型中，从多个所述关键实体中确定出存在实体关系的至少一个关键实体对；基于多个所述关键实体、至少一个所述关键实体对以及相对应的检查项目名称构建所述当前问诊信息对应的至少一个特征数据；最后，将至少一个特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果。通过所述方法及装置，快速为医生提供更加准确的诊断结果，提高医疗效率和诊断准确率。

Description

一种基于强化学习的医疗诊断结果确定方法和装置

技术领域

本申请涉及辅助医疗诊断技术领域，尤其是涉及一种基于强化学习的医疗诊断结果确定方法和装置。

背景技术

随着医疗技术的不断发展，临床医学的诊断和治疗也在不断地进步。然而，由于患者信息的复杂性和疾病的多样性，医生在进行诊断时仍然面临着很大的挑战。因此，开发一种利用现代技术来辅助医生进行诊断的方法，已经成为医学界的研究热点。

现有的诊断模型基本都以传统的transformer模型作为主体，需要提供大量较为完整的患者信息，模型一般通过字符级别的切词来生成词向量并进行内部计算，最终做出预测诊断结果。这样的操作方式，一方面不能让模型提出下一步建议来进行辅助医生诊断的功能，另一方面这种直接按字符切词的方式不能突出利用患者信息中的关键信息，准确性也较差。

发明内容

有鉴于此，本申请的目的在于提供一种基于强化学习的医疗诊断结果确定方法和装置，通过对用户的当前问诊信息进行关键实体和关键实体关系的识别与提取，构成用户的特征数据，并使用辅助诊断模型对特征数据进行诊断结果的确定，快速为医生提供更加准确的诊断结果，提高医疗效率和诊断准确率。

第一方面，本申请实施例提供了一种基于强化学习的医疗诊断结果确定方法，所述医疗诊断结果确定方法包括：

获取用户的当前问诊信息，并将所述当前问诊信息输入到预先构建好的命名实体识别模型中，确定出所述当前问诊信息中存在的多个关键实体；

将多个所述关键实体输入到预先训练好的实体关系抽取模型中，从多个所述关键实体中确定出存在实体关系的至少一个关键实体对；

基于多个所述关键实体以及至少一个所述关键实体对从预先构建好的症状与检查项目之间的映射关系表中确定出所述当前问诊信息对应的至少一个检查项目名称，并利用多个所述关键实体、至少一个所述关键实体对以及至少一个所述检查项目名称构建所述当前问诊信息对应的至少一个特征数据；

将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果；其中，所述辅助诊断模型是基于强化学习预先训练得到的模型。

进一步的，所述将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果，包括：

针对于每个特征数据，将该特征数据输入到所述辅助诊断模型的第一编码器中，对该特征数据中的每个关键实体进行向量转换，得到该特征数据中的每个关键实体对应的向量；

将该特征数据中的每个关键实体对应的向量输入到所述辅助诊断模型的第二编码器中，确定出该特征数据中的每个关键实体对应的注意力；

将该特征数据中的每个关键实体对应的注意力输入到所述辅助诊断模型中的第一解码器中，确定出该特征数据对应的目标检查项目名称，并将所述目标检查项目名称作为所述诊断结果。

进一步的，在确定出每个特征数据对应的目标检查项目名称之后，所述医疗诊断结果确定方法还包括：

将至少一个所述特征数据进行拼接，得到拼接特征数据，并将所述拼接特征数据输入到所述辅助诊断模型中，得到所述拼接特征数据对应的目标检查项目名称；

当所述拼接特征数据对应的目标检查项目名称为预设项目名称时，将所述拼接特征数据中的检查项目名称剔除，并将剔除检查项目名称后的拼接特征数据与所述预设项目名称进行拼接，得到目标特征数据；

将所述目标特征数据输入所述第一编码器中得到所述目标特征数据中的每个关键实体对应的向量，将所述目标特征数据中的每个关键实体对应的向量输入到所述第二编码器中，确定出所述目标特征数据中的每个关键实体对应的注意力，将所述目标特征数据中的每个关键实体对应的注意力输入到所述辅助诊断模型中的第二解码器中，确定出所述目标特征数据对应的疾病名称，并将所述疾病名称作为所述诊断结果。

进一步的，通过下述步骤训练所述辅助诊断模型：

获取患者样本信息，并将所述患者样本信息输入到所述命名实体识别模型中，确定出所述患者样本信息中存在的多个样本实体；

将多个所述样本实体输入到所述实体关系抽取模型中，从多个样本实体中确定出存在实体关系的多个样本实体对；

基于多个所述样本实体以及多个所述样本实体对从所述映射关系表中确定出多个样本诊断结果；

针对于每个样本诊断结果，基于多个所述样本实体中与该样本诊断结果相对应的样本实体，以及多个所述样本实体对中与该样本诊断结果相对应的样本实体对构建该样本诊断结果对应的样本特征数据；

从多个所述样本实体中确定出样本疾病名称，并将多个样本特征数据与预设项目名称进行拼接，得到所述样本疾病名称对应的样本特征数据，并将所述样本疾病名称作为所述样本诊断结果；

将每个样本特征数据以及每个样本特征数据对应的样本诊断结果输入到辅助诊断原始模型中，对所述辅助诊断原始模型进行强化学习训练，以得到所述辅助诊断模型。

进一步的，所述将每个样本特征数据以及每个样本特征数据对应的样本诊断结果输入到辅助诊断原始模型中，对所述辅助诊断原始模型进行强化学习训练，以得到所述辅助诊断模型，包括：

将每个样本特征数据输入到所述辅助诊断原始模型中，得到每个样本特征数据对应的预测诊断结果；

将每个样本特征数据的样本诊断结果与预测诊断结果进行对比，计算当前状态下所述辅助诊断原始模型的损失值；

基于所述辅助诊断原始模型的损失值对所述辅助诊断原始模型进行迭代训练，直至所述辅助诊断原始模型达到收敛状态，得到所述辅助诊断模型。

第二方面，本申请实施例还提供了一种基于强化学习的医疗诊断结果确定装置，所述医疗诊断结果确定装置包括：

关键实体提取模块，用于获取用户的当前问诊信息，并将所述当前问诊信息输入到预先构建好的命名实体识别模型中，确定出所述当前问诊信息中存在的多个关键实体；

关键实体对确定模块，用于将多个所述关键实体输入到预先训练好的实体关系抽取模型中，从多个所述关键实体中确定出存在实体关系的至少一个关键实体对；

特征数据生成模块，用于基于多个所述关键实体以及至少一个所述关键实体对从预先构建好的症状与检查项目之间的映射关系表中确定出所述当前问诊信息对应的至少一个检查项目名称，并利用多个所述关键实体、至少一个所述关键实体对以及至少一个所述检查项目名称构建所述当前问诊信息对应的至少一个特征数据；

诊断结果确定模块，用于将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果；其中，所述辅助诊断模型是基于强化学习预先训练得到的模型。

进一步的，所述诊断结果确定模块在用于将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果时，所述诊断结果确定模块还用于：

针对于每个特征数据，将该特征数据输入到所述辅助诊断模型的第一编码器中，对该特征数据中的每个关键实体进行向量转换，得到该特征数据中的每个关键实体对应的向量；

将该特征数据中的每个关键实体对应的向量输入到所述辅助诊断模型的第二编码器中，确定出该特征数据中的每个关键实体对应的注意力；

将该特征数据中的每个关键实体对应的注意力输入到所述辅助诊断模型中的第一解码器中，确定出该特征数据对应的目标检查项目名称，并将所述目标检查项目名称作为所述诊断结果。

进一步的，在确定出每个特征数据对应的目标检查项目名称之后，所述诊断结果确定模块还用于：

将至少一个所述特征数据进行拼接，得到拼接特征数据，并将所述拼接特征数据输入到所述辅助诊断模型中，得到所述拼接特征数据对应的目标检查项目名称；

当所述拼接特征数据对应的目标检查项目名称为预设项目名称时，将所述拼接特征数据中的检查项目名称剔除，并将剔除检查项目名称后的拼接特征数据与所述预设项目名称进行拼接，得到目标特征数据；

将所述目标特征数据输入所述第一编码器中得到所述目标特征数据中的每个关键实体对应的向量，将所述目标特征数据中的每个关键实体对应的向量输入到所述第二编码器中，确定出所述目标特征数据中的每个关键实体对应的注意力，将所述目标特征数据中的每个关键实体对应的注意力输入到所述辅助诊断模型中的第二解码器中，确定出所述目标特征数据对应的疾病名称，并将所述疾病名称作为所述诊断结果。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的基于强化学习的医疗诊断结果确定方法的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的基于强化学习的医疗诊断结果确定方法的步骤。

本申请实施例提供的一种基于强化学习的医疗诊断结果确定方法和装置，首先，获取用户的当前问诊信息，并将所述当前问诊信息输入到预先构建好的命名实体识别模型中，确定出所述当前问诊信息中存在的多个关键实体；然后，将多个所述关键实体输入到预先训练好的实体关系抽取模型中，从多个所述关键实体中确定出存在实体关系的至少一个关键实体对；基于多个所述关键实体以及至少一个所述关键实体对从预先构建好的症状与检查项目之间的映射关系表中确定出所述当前问诊信息对应的至少一个检查项目名称，并利用多个所述关键实体、至少一个所述关键实体对以及至少一个所述检查项目名称构建所述当前问诊信息对应的至少一个特征数据；最后，将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果；其中，所述辅助诊断模型是基于强化学习预先训练得到的模型。

本申请通过对用户的当前问诊信息进行关键实体和关键实体关系的识别与提取，构成用户的特征数据，并使用辅助诊断模型对特征数据进行诊断结果的确定，快速为医生提供更加准确的诊断结果，提高医疗效率和诊断准确率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例所提供的一种基于强化学习的医疗诊断结果确定方法的流程图；

图2为本申请实施例所提供的一种基于强化学习的医疗诊断结果确定装置的结构示意图之一；

图3为本申请实施例所提供的一种基于强化学习的医疗诊断结果确定装置的结构示意图之二；

图4为本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。

首先，对本申请可适用的应用场景进行介绍。本申请可应用于辅助医疗诊断技术领域。

随着医疗技术的不断发展，临床医学的诊断和治疗也在不断地进步。然而，由于患者信息的复杂性和疾病的多样性，医生在进行诊断时仍然面临着很大的挑战。因此，开发一种利用现代技术来辅助医生进行诊断的方法，已经成为医学界的研究热点。

经研究发现，现有的诊断模型基本都以传统的transformer模型作为主体，需要提供大量较为完整的患者信息，模型一般通过字符级别的切词来生成词向量并进行内部计算，最终做出预测诊断结果。这样的操作方式，一方面不能让模型提出下一步建议来进行辅助医生诊断的功能，另一方面这种直接按字符切词的方式不能突出利用患者信息中的关键信息，准确性也较差。

基于此，本申请实施例提供了一种基于强化学习的医疗诊断结果确定方法，使用辅助诊断模型对特征数据进行诊断结果的确定，快速为医生提供更加准确的诊断结果，提高医疗效率和诊断准确率。

请参阅图1，图1为本申请实施例所提供的一种基于强化学习的医疗诊断结果确定方法的流程图。如图1中所示，本申请实施例提供的医疗诊断结果确定方法，包括：

S101，获取用户的当前问诊信息，并将所述当前问诊信息输入到预先构建好的命名实体识别模型中，确定出所述当前问诊信息中存在的多个关键实体。

需要说明的是，当前问诊信息指的是用户当前的症状信息。根据本申请提供的实施例，当前问诊信息包括但不限于用户的主诉、现病史、体格检查结果、辅助检查结果、影像报告结果等。命名实体识别模型执行提取问诊信息中存在的实体的任务，是预先通过文本数据训练得到的UIE-NER模型。

针对上述步骤S101，在具体实施时，获取用户的当前问诊信息，并将当前问诊信息输入到预先构建好的命名实体识别模型中，确定出当前问诊信息中存在的多个关键实体。这里，训练命名实体识别模型的具体方法在现有技术中有详细说明，在此不再赘述。根据本申请提供的实施例，命名实体识别模型所识别的关键实体覆盖了6个类别（主诉，现病史，体格检查，辅助检查，影像报告，诊断结果），包含了12种标签（'Value','NegativeWord','Instrument','Symptom','Disease','Condition','IndexItem','Drug', 'Part', 'VitalSigns', 'Check','Operation'）的实体。

这里，命名实体识别模型的预测原理为：将标签集合和当前问诊信息输入命名实体识别模型，命名实体识别模型会遍历标签集合中的每个标签去和当前问诊信息进行拼接，去预测该标签下的当前问诊信息中每个字符作为起始字的概率和终止字的概率，然后将起始和终止概率值>0.5的实体区间进行组合作为该标签最后的结果进行输出。

S102，将多个所述关键实体输入到预先训练好的实体关系抽取模型中，从多个所述关键实体中确定出存在实体关系的至少一个关键实体对。

需要说明的是，关键实体对由多个关键实体中存在实体关系的两个关键实体组成。具体的，实体关系抽取模型采用的是PURE(the Princeton UniversityRelationExtraction system)模型。

针对上述步骤S102，在具体实施时，将命名实体识别模型识别出的当前问诊信息中存在的多个关键实体输入到实体关系抽取模型中，从多个关键实体中确定出存在实体关系的至少一个关键实体对。这里，训练实体关系抽取模型的具体方法在现有技术中有详细说明，在此不再赘述。

这里，实体关系抽取模型的预测原理为：通过在关键实体前后各插入一个特殊的token，这个特殊token会编码进这两种信息（1.主体【subject】或客体【object】，也就是代表关系的方向； 2.实体类型，如Value、Symptom等），通过bert编码后，直接取得[S:Value]及[O:Value]，然后过一个linear层，进行分类，判断这对实体是否有关系。

S103，基于多个所述关键实体以及至少一个所述关键实体对从预先构建好的症状与检查项目之间的映射关系表中确定出所述当前问诊信息对应的至少一个检查项目名称，并利用多个所述关键实体、至少一个所述关键实体对以及至少一个所述检查项目名称构建所述当前问诊信息对应的至少一个特征数据。

需要说明的是，映射关系表通过专家知识构建的症状与检查项目之间的映射表，即对每一个症状state（如：咳嗽，无流涕等）都会提供一个可以获得该结果的检查项目action（如：体格检查，体格检查，全血常规，CT平扫等）。

针对上述步骤S103，在具体实施时，基于多个关键实体以及至少一个关键实体对从映射关系表中确定出当前问诊信息对应的至少一个检查项目名称，并利用多个关键实体、至少一个关键实体对以及至少一个检查项目名称构建当前问诊信息对应的至少一个特征数据。具体的，首先从预先构建好的映射关系表中确定出关键实体以及关键实体对应的检查项目名称，作为当前问诊信息对应的检查项目名称。并依据从当前问诊信息中抽取到的实体及实体组合，以及检查项目名称生成多条语义上相对独立的用户特征数据。这里，针对于每个检查项目名称，利用与该检查项目名称对应的关键实体和关键实体对来构建特征数据。特征数据中每个关键实体为一个state。这里，作为实例，当命名实体识别模型识别出的关键实体为“咳嗽、鼻塞、无、流涕、神志、清”时，实体关系抽取模型识别出的关键实体对为“无流涕、神志清”，从映射关系表中确定出的检查项目名称为“体格检查”时，将上述关键实体及关键实体对作为state，将上述检查项目名称作为action进行拼接，构建当前问诊信息对应的特征数据为“[{‘state’:‘咳嗽’},{‘state’:‘鼻塞’}，{‘state’:‘无流涕’},{‘state’:‘神志清’}]{‘action’:‘体格检查’}”。

S104，将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果。

这里，辅助诊断模型是基于强化学习预先训练得到的Transformer模型，Transformer模型是一种基于Self-Attention机制的神经网络模型，广泛应用于自然语言处理任务。

针对上述步骤S104，在具体实施时，将步骤S103中得到的至少一个特征数据输入到预先训练好的辅助诊断模型中，确定出用户当前的诊断结果。

作为一种可选的实施例，针对上述步骤S104，所述将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果，包括：

步骤1041，针对于每个特征数据，将该特征数据输入到所述辅助诊断模型的第一编码器中，对该特征数据中的每个关键实体进行向量转换，得到该特征数据中的每个关键实体对应的向量。

步骤1042，将该特征数据中的每个关键实体对应的向量输入到所述辅助诊断模型的第二编码器中，确定出该特征数据中的每个关键实体对应的注意力。

这里，由于每条输入的特征数据中的state个数不固定，且每个state中的字数也不固定，为了能够准确的获取到诊断结果与每个state的相关性，需要将每个state转换成一个固定维度的向量，才能计算输出与每个state的注意力 ，因此在本申请实施例提供的辅助诊断模型中包括两层编码器：第一编码器Inner encoder和第二编码器Outerencoder。

针对上述步骤1041-步骤1042，在具体实施时，针对于每个特征数据，首先将该特征数据输入到辅助诊断模型的第一编码器Inner encoder中，对该特征数据中的每个关键实体进行向量转换，得到该特征数据中的每个关键实体对应的向量。然后，再将该特征数据中的每个关键实体对应的向量输入到辅助诊断模型的第二编码器Outer encoder中，确定出该特征数据中的每个关键实体对应的注意力。

步骤1043，将该特征数据中的每个关键实体对应的注意力输入到所述辅助诊断模型中的第一解码器中，确定出该特征数据对应的目标检查项目名称，并将所述目标检查项目名称作为所述诊断结果。

需要说明的是，目标检查项目名称指的是用户下一步需要做的检查项目的名称。

针对上述步骤1043，在具体实施时，该特征数据中的每个关键实体对应的注意力输入到辅助诊断模型中的第一解码器Action Decoder中，确定出该特征数据对应的目标检查项目名称，并将目标检查项目名称作为用户当前的诊断结果。

作为一种可选的实施例，在确定出每个特征数据对应的目标检查项目名称之后，所述医疗诊断结果确定方法还包括：

I：将至少一个所述特征数据进行拼接，得到拼接特征数据，并将所述拼接特征数据输入到所述辅助诊断模型中，得到所述拼接特征数据对应的检查项目名称。

II：当所述拼接特征数据对应的目标检查项目名称为预设项目名称时，将所述拼接特征数据中的检查项目名称剔除，并将剔除检查项目名称后的拼接特征数据与所述预设项目名称进行拼接，得到目标特征数据。

这里，预设项目名称可以为“诊断”，对此本申请不做具体限定。

针对上述步骤I-步骤II，在具体实施时，将至少一个特征数据进行拼接，得到拼接特征数据，并当拼接特征数据输入到辅助诊断模型中，得到拼接特征数据对应的检查项目名称。这里，确定拼接特征数据对应的检查项目名称的方法与上述步骤1041-步骤1043中提供的方法相同，并且能够达到相同的技术效果，在此不再赘述。当第一编码器预测出拼接特征数据对应的检查项目名称为预设项目名称时，将拼接特征数据中的检查项目名称剔除，并将剔除检查项目名称后的拼接特征数据与预设项目名称进行拼接，得到目标特征数据。例如，延续上述实施例，当特征数据为“[{‘state’:‘咳嗽’},{‘state’:‘鼻塞’}，{‘state’:‘无流涕’},{‘state’:‘神志清’}]{‘action’:‘体格检查’}”，目标检查项目名称为预设项目名称“诊断”时，这时将该特征数据中的检查项目名称即{‘action’:‘体格检查’}剔除，并将预设项目名称“诊断”作为action，形成由actions与states组成的目标特征数据，这里得到的目标特征数据为“[{‘state’:‘咳嗽’},{‘state’:‘鼻塞’}，{‘state’:‘无流涕’},{‘state’:‘神志清’}]{‘action’:‘诊断’}”。

III：将所述目标特征数据输入所述第一编码器中得到所述目标特征数据中的每个关键实体对应的向量，将所述目标特征数据中的每个关键实体对应的向量输入到所述第二编码器中，确定出所述目标特征数据中的每个关键实体对应的注意力，将所述目标特征数据中的每个关键实体对应的注意力输入到所述辅助诊断模型中的第二解码器中，确定出所述目标特征数据对应的疾病名称，并将所述疾病名称作为所述诊断结果。

这里，为使得辅助诊断模型同时满足检查项目名称预测与疾病名称预测的功能，在预测出检查项目名称为预设项目名称，例如检查项目名称为“诊断”时，这时认为目标特征数据中所记录的用户的特征足够多，可直接输出疾病名称，因此在本申请实施例提供的辅助诊断模型中构造了双输出结构(Action Decoder、Diagnosis Decoder)。

针对上述步骤III，在具体实施时，将目标特征数据输入第一编码器中得到目标特征数据中的每个关键实体对应的向量，将目标特征数据中的每个关键实体对应的向量输入到第二编码器中，确定出目标特征数据中的每个关键实体对应的注意力，将目标特征数据中的每个关键实体对应的注意力输入到辅助诊断模型中的第二解码器Diagnosis Decoder中，确定出目标特征数据对应的疾病名称，并将疾病名称作为用户当前的诊断结果。

具体的，根据本申请实施例提供的医疗诊断结果确定方法，通过下述步骤训练所述辅助诊断模型：

A：获取患者样本信息，并将所述患者样本信息输入到所述命名实体识别模型中，确定出所述患者样本信息中存在的多个样本实体。

B：将多个所述样本实体输入到所述实体关系抽取模型中，从多个样本实体中确定出存在实体关系的多个样本实体对。

C：基于多个所述样本实体以及多个所述样本实体对从所述映射关系表中确定出多个样本诊断结果。

其中，步骤A至步骤C的描述可以参照上述步骤S101至步骤S103的描述，并且能达到相同的技术效果，对此不做赘述。

D：针对于每个样本诊断结果，基于多个所述样本实体中与该样本诊断结果相对应的样本实体，以及多个所述样本实体对中与该样本诊断结果相对应的样本实体对构建该样本诊断结果对应的样本特征数据。

针对上述步骤D，在具体实施时，针对于每个样本诊断结果，基于多个样本实体中与该样本诊断结果相对应的样本实体，以及多个样本实体对中与该样本诊断结果相对应的样本实体对作为state进行拼接，以构建出该样本诊断结果对应的样本特征数据。

E：从多个所述样本实体中确定出样本疾病名称，并将多个样本特征数据与预设项目名称进行拼接，得到所述样本疾病名称对应的样本特征数据，并将所述样本疾病名称作为所述样本诊断结果。

针对上述步骤E，在具体实施时，从多个样本实体中确定出实体标签为“诊断结果”的样本疾病名称，并将多个样本特征数据与预设项目名称进行拼接，得到样本疾病名称对应的样本特征数据，并将样本疾病名称作为样本诊断结果。

F：将每个样本特征数据以及每个样本特征数据对应的样本诊断结果输入到辅助诊断原始模型中，对所述辅助诊断原始模型进行强化学习训练，以得到所述辅助诊断模型。

针对上述步骤F，在具体实施时，将上述步骤中得到的每个样本特征数据以及每个样本特征数据对应的样本诊断结果输入到辅助诊断原始模型中，对辅助诊断原始模型进行强化学习训练，以得到辅助诊断模型。

作为一种可选的实施例，针对上述步骤F，所述将每个样本特征数据以及每个样本特征数据对应的样本诊断结果输入到辅助诊断原始模型中，对所述辅助诊断原始模型进行强化学习训练，以得到所述辅助诊断模型，包括：

a：将每个样本特征数据输入到所述辅助诊断原始模型中，得到每个样本特征数据对应的预测诊断结果。

b：将每个样本特征数据的样本诊断结果与预测诊断结果进行对比，计算当前状态下所述辅助诊断原始模型的损失值。

c：基于所述辅助诊断原始模型的损失值对所述辅助诊断原始模型进行迭代训练，直至所述辅助诊断原始模型达到收敛状态，得到所述辅助诊断模型。

针对上述步骤a-步骤c，在具体实施时，将每个样本特征数据输入到所述辅助诊断原始模型中，得到每个样本特征数据对应的预测诊断结果。这里，辅助诊断原始模型在进行预测时，当样本特征数据中不包含预设项目名称时，则使用第一解码器进行预测，当样本特征数据中包含预设项目名称时，则使用第二解码器进行预测，得到预测诊断结果的方式与上述实施例中辅助诊断模型得到诊断结果的方法相同，并且能够达到相同的技术效果，在此不再赘述。然后，将每个样本特征数据的样本诊断结果与预测诊断结果进行对比，计算当前状态下辅助诊断原始模型的损失值。根据损失值对辅助诊断原始模型进行迭代训练，其中，当损失值大于预设损失阈值时，则对辅助诊断原始模型的模型参数进行更改，利用预测诊断结果对更改后的辅助诊断原始模型进行训练，直至损失值小于或等于预设损失阈值时，停止对辅助诊断原始模型进行迭代训练，确定出辅助诊断模型。

本申请实施例提供的基于强化学习的医疗诊断结果确定方法，首先，获取用户的当前问诊信息，并将所述当前问诊信息输入到预先构建好的命名实体识别模型中，确定出所述当前问诊信息中存在的多个关键实体；然后，将多个所述关键实体输入到预先训练好的实体关系抽取模型中，从多个所述关键实体中确定出存在实体关系的至少一个关键实体对；基于多个所述关键实体以及至少一个所述关键实体对从预先构建好的症状与检查项目之间的映射关系表中确定出所述当前问诊信息对应的至少一个检查项目名称，并利用多个所述关键实体、至少一个所述关键实体对以及至少一个所述检查项目名称构建所述当前问诊信息对应的至少一个特征数据；最后，将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果；其中，所述辅助诊断模型是基于强化学习预先训练得到的模型。

本申请通过对用户的当前问诊信息进行关键实体和关键实体关系的识别与提取，构成用户的特征数据，并使用辅助诊断模型对特征数据进行诊断结果的确定，快速为医生提供更加准确的诊断结果，提高医疗效率和诊断准确率。

请参阅图2、图3，图2为本申请实施例所提供的一种基于强化学习的医疗诊断结果确定装置的结构示意图之一，图3为本申请实施例所提供的一种基于强化学习的医疗诊断结果确定装置的结构示意图之二。如图2中所示，所述医疗诊断结果确定装置200包括：

关键实体提取模块201，用于获取用户的当前问诊信息，并将所述当前问诊信息输入到预先构建好的命名实体识别模型中，确定出所述当前问诊信息中存在的多个关键实体；

关键实体对确定模块202，用于将多个所述关键实体输入到预先训练好的实体关系抽取模型中，从多个所述关键实体中确定出存在实体关系的至少一个关键实体对；

特征数据生成模块203，用于基于多个所述关键实体以及至少一个所述关键实体对从预先构建好的症状与检查项目之间的映射关系表中确定出所述当前问诊信息对应的至少一个检查项目名称，并利用多个所述关键实体、至少一个所述关键实体对以及至少一个所述检查项目名称构建所述当前问诊信息对应的至少一个特征数据；

诊断结果确定模块204，用于将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果；其中，所述辅助诊断模型是基于强化学习预先训练得到的模型。

进一步的，所述诊断结果确定模块204在用于将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果时，所述诊断结果确定模块还用于：

针对于每个特征数据，将该特征数据输入到所述辅助诊断模型的第一编码器中，对该特征数据中的每个关键实体进行向量转换，得到该特征数据中的每个关键实体对应的向量；

将该特征数据中的每个关键实体对应的向量输入到所述辅助诊断模型的第二编码器中，确定出该特征数据中的每个关键实体对应的注意力；

将该特征数据中的每个关键实体对应的注意力输入到所述辅助诊断模型中的第一解码器中，确定出该特征数据对应的目标检查项目名称，并将所述目标检查项目名称作为所述诊断结果。

进一步的，在确定出每个特征数据对应的目标检查项目名称之后，所述诊断结果确定模块204还用于：

将至少一个所述特征数据进行拼接，得到拼接特征数据，并将所述拼接特征数据输入到所述辅助诊断模型中，得到所述拼接特征数据对应的目标检查项目名称；

当所述拼接特征数据对应的目标检查项目名称为预设项目名称时，将所述拼接特征数据中的检查项目名称剔除，并将剔除检查项目名称后的拼接特征数据与所述预设项目名称进行拼接，得到目标特征数据；

将所述目标特征数据输入所述第一编码器中得到所述目标特征数据中的每个关键实体对应的向量，将所述目标特征数据中的每个关键实体对应的向量输入到所述第二编码器中，确定出所述目标特征数据中的每个关键实体对应的注意力，将所述目标特征数据中的每个关键实体对应的注意力输入到所述辅助诊断模型中的第二解码器中，确定出所述目标特征数据对应的疾病名称，并将所述疾病名称作为所述诊断结果。

进一步的，如图3所示，所述医疗诊断结果确定装置200还包括模型训练模块205，所述模型训练模块205通过下述步骤训练所述辅助诊断模型：

获取患者样本信息，并将所述患者样本信息输入到所述命名实体识别模型中，确定出所述患者样本信息中存在的多个样本实体；

将多个所述样本实体输入到所述实体关系抽取模型中，从多个样本实体中确定出存在实体关系的多个样本实体对；

基于多个所述样本实体以及多个所述样本实体对从所述映射关系表中确定出多个样本诊断结果；

针对于每个样本诊断结果，基于多个所述样本实体中与该样本诊断结果相对应的样本实体，以及多个所述样本实体对中与该样本诊断结果相对应的样本实体对构建该样本诊断结果对应的样本特征数据；

从多个所述样本实体中确定出样本疾病名称，并将多个样本特征数据与预设项目名称进行拼接，得到所述样本疾病名称对应的样本特征数据，并将所述样本疾病名称作为所述样本诊断结果；

将每个样本特征数据以及每个样本特征数据对应的样本诊断结果输入到辅助诊断原始模型中，对所述辅助诊断原始模型进行强化学习训练，以得到所述辅助诊断模型。

进一步的，所述模型训练模块205在用于将每个样本特征数据以及每个样本特征数据对应的样本诊断结果输入到辅助诊断原始模型中，对所述辅助诊断原始模型进行强化学习训练，以得到所述辅助诊断模型时，所述模型训练模块205还用于：

将每个样本特征数据输入到所述辅助诊断原始模型中，得到每个样本特征数据对应的预测诊断结果；

将每个样本特征数据的样本诊断结果与预测诊断结果进行对比，计算当前状态下所述辅助诊断原始模型的损失值；

基于所述辅助诊断原始模型的损失值对所述辅助诊断原始模型进行迭代训练，直至所述辅助诊断原始模型达到收敛状态，得到所述辅助诊断模型。

请参阅图4，图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示，所述电子设备400包括处理器410、存储器420和总线430。

所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图1所示方法实施例中的基于强化学习的医疗诊断结果确定方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的基于强化学习的医疗诊断结果确定方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于强化学习的医疗诊断结果确定方法，其特征在于，所述医疗诊断结果确定方法包括：

获取用户的当前问诊信息，并将所述当前问诊信息输入到预先构建好的命名实体识别模型中，确定出所述当前问诊信息中存在的多个关键实体；

将多个所述关键实体输入到预先训练好的实体关系抽取模型中，从多个所述关键实体中确定出存在实体关系的至少一个关键实体对；

基于多个所述关键实体以及至少一个所述关键实体对从预先构建好的症状与检查项目之间的映射关系表中确定出所述当前问诊信息对应的至少一个检查项目名称，并利用多个所述关键实体、至少一个所述关键实体对以及至少一个所述检查项目名称构建所述当前问诊信息对应的至少一个特征数据；

将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果；其中，所述辅助诊断模型是基于强化学习预先训练得到的模型。

2.根据权利要求1所述的医疗诊断结果确定方法，其特征在于，所述将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果，包括：

针对于每个特征数据，将该特征数据输入到所述辅助诊断模型的第一编码器中，对该特征数据中的每个关键实体进行向量转换，得到该特征数据中的每个关键实体对应的向量；

将该特征数据中的每个关键实体对应的向量输入到所述辅助诊断模型的第二编码器中，确定出该特征数据中的每个关键实体对应的注意力；

将该特征数据中的每个关键实体对应的注意力输入到所述辅助诊断模型中的第一解码器中，确定出该特征数据对应的目标检查项目名称，并将所述目标检查项目名称作为所述诊断结果。

3.根据权利要求2所述的医疗诊断结果确定方法，其特征在于，在确定出每个特征数据对应的目标检查项目名称之后，所述医疗诊断结果确定方法还包括：

将至少一个所述特征数据进行拼接，得到拼接特征数据，并将所述拼接特征数据输入到所述辅助诊断模型中，得到所述拼接特征数据对应的目标检查项目名称；

当所述拼接特征数据对应的目标检查项目名称为预设项目名称时，将所述拼接特征数据中的检查项目名称剔除，并将剔除检查项目名称后的拼接特征数据与所述预设项目名称进行拼接，得到目标特征数据；

将所述目标特征数据输入所述第一编码器中得到所述目标特征数据中的每个关键实体对应的向量，将所述目标特征数据中的每个关键实体对应的向量输入到所述第二编码器中，确定出所述目标特征数据中的每个关键实体对应的注意力，将所述目标特征数据中的每个关键实体对应的注意力输入到所述辅助诊断模型中的第二解码器中，确定出所述目标特征数据对应的疾病名称，并将所述疾病名称作为所述诊断结果。

4.根据权利要求1所述的医疗诊断结果确定方法，其特征在于，通过下述步骤训练所述辅助诊断模型：

获取患者样本信息，并将所述患者样本信息输入到所述命名实体识别模型中，确定出所述患者样本信息中存在的多个样本实体；

将多个所述样本实体输入到所述实体关系抽取模型中，从多个样本实体中确定出存在实体关系的多个样本实体对；

基于多个所述样本实体以及多个所述样本实体对从所述映射关系表中确定出多个样本诊断结果；

针对于每个样本诊断结果，基于多个所述样本实体中与该样本诊断结果相对应的样本实体，以及多个所述样本实体对中与该样本诊断结果相对应的样本实体对构建该样本诊断结果对应的样本特征数据；

从多个所述样本实体中确定出样本疾病名称，并将多个样本特征数据与预设项目名称进行拼接，得到所述样本疾病名称对应的样本特征数据，并将所述样本疾病名称作为所述样本诊断结果；

将每个样本特征数据以及每个样本特征数据对应的样本诊断结果输入到辅助诊断原始模型中，对所述辅助诊断原始模型进行强化学习训练，以得到所述辅助诊断模型。

5.根据权利要求4所述的医疗诊断结果确定方法，其特征在于，所述将每个样本特征数据以及每个样本特征数据对应的样本诊断结果输入到辅助诊断原始模型中，对所述辅助诊断原始模型进行强化学习训练，以得到所述辅助诊断模型，包括：

将每个样本特征数据输入到所述辅助诊断原始模型中，得到每个样本特征数据对应的预测诊断结果；

将每个样本特征数据的样本诊断结果与预测诊断结果进行对比，计算当前状态下所述辅助诊断原始模型的损失值；

基于所述辅助诊断原始模型的损失值对所述辅助诊断原始模型进行迭代训练，直至所述辅助诊断原始模型达到收敛状态，得到所述辅助诊断模型。

6.一种基于强化学习的医疗诊断结果确定装置，其特征在于，所述医疗诊断结果确定装置包括：

关键实体提取模块，用于获取用户的当前问诊信息，并将所述当前问诊信息输入到预先构建好的命名实体识别模型中，确定出所述当前问诊信息中存在的多个关键实体；

关键实体对确定模块，用于将多个所述关键实体输入到预先训练好的实体关系抽取模型中，从多个所述关键实体中确定出存在实体关系的至少一个关键实体对；

特征数据生成模块，用于基于多个所述关键实体以及至少一个所述关键实体对从预先构建好的症状与检查项目之间的映射关系表中确定出所述当前问诊信息对应的至少一个检查项目名称，并利用多个所述关键实体、至少一个所述关键实体对以及至少一个所述检查项目名称构建所述当前问诊信息对应的至少一个特征数据；

诊断结果确定模块，用于将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果；其中，所述辅助诊断模型是基于强化学习预先训练得到的模型。

7.根据权利要求6所述的医疗诊断结果确定装置，其特征在于，所述诊断结果确定模块在用于将至少一个所述特征数据输入到辅助诊断模型中，确定出用户当前的诊断结果时，所述诊断结果确定模块还用于：

针对于每个特征数据，将该特征数据输入到所述辅助诊断模型的第一编码器中，对该特征数据中的每个关键实体进行向量转换，得到该特征数据中的每个关键实体对应的向量；

将该特征数据中的每个关键实体对应的向量输入到所述辅助诊断模型的第二编码器中，确定出该特征数据中的每个关键实体对应的注意力；

将该特征数据中的每个关键实体对应的注意力输入到所述辅助诊断模型中的第一解码器中，确定出该特征数据对应的目标检查项目名称，并将所述目标检查项目名称作为所述诊断结果。

8.根据权利要求7所述的医疗诊断结果确定装置，其特征在于，在确定出每个特征数据对应的目标检查项目名称之后，所述诊断结果确定模块还用于：

将至少一个所述特征数据进行拼接，得到拼接特征数据，并将所述拼接特征数据输入到所述辅助诊断模型中，得到所述拼接特征数据对应的目标检查项目名称；

当所述拼接特征数据对应的目标检查项目名称为预设项目名称时，将所述拼接特征数据中的检查项目名称剔除，并将剔除检查项目名称后的拼接特征数据与所述预设项目名称进行拼接，得到目标特征数据；

将所述目标特征数据输入所述第一编码器中得到所述目标特征数据中的每个关键实体对应的向量，将所述目标特征数据中的每个关键实体对应的向量输入到所述第二编码器中，确定出所述目标特征数据中的每个关键实体对应的注意力，将所述目标特征数据中的每个关键实体对应的注意力输入到所述辅助诊断模型中的第二解码器中，确定出所述目标特征数据对应的疾病名称，并将所述疾病名称作为所述诊断结果。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至5任一所述的基于强化学习的医疗诊断结果确定方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一所述的基于强化学习的医疗诊断结果确定方法的步骤。