CN116628167B - 一种响应确定方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种响应确定方法、装置、电子设备及存储介质。该方法包括：获取待查询问题，并根据预先训练的问答模型，获取与待查询问题对应的当前响应；对当前响应进行分词处理，得到当前分词列表，并根据分词列表中的各列表成员与基于预设领域构建的领域知识图谱中各实体的相似度，确定分词列表的实体匹配度；根据实体匹配度的大小确定当前响应的响应类型，并根据响应类型确定是否保留当前响应；响应类型包括高领域相关响应、低领域相关响应和领域相关知识点分散响应中至少一种。通过运行本发明实施例所提供的技术方案，可以解决问答模型对于同一问题生成多种响应，且不同响应差异较大，导致响应生成稳定性较差的问题，提高响应确定的准确性。

Description

一种响应确定方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机技术，尤其涉及一种响应确定方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，在问答场景中，通常采用无监督自回归大语言模型自动提供响应。然而由于无监督训练的技术限制，大语言模型无法判断生成的响应是否符合提问者需求，并且即便问题相同，大语言模型每次给出的响应都是不固定的，且不同响应之间也存在差异较大的可能性，即无法保证响应提供的稳定性，因此在一些对响应稳定性有要求的场景，大语言模型无法展开有效应用。

发明内容

本发明提供一种响应确定方法、装置、电子设备及存储介质，以实现提高响应确定的针对性和稳定性。

根据本发明的一方面，提供了一种响应确定方法，该方法包括：

获取待查询问题，并根据预先训练的问答模型，获取与所述待查询问题对应的当前响应；

对所述当前响应进行分词处理，得到当前分词列表，并根据所述分词列表中的各列表成员与基于预设领域构建的领域知识图谱中各实体的相似度，确定所述分词列表的实体匹配度；

根据所述实体匹配度的大小确定所述当前响应的响应类型，并根据所述响应类型确定是否保留所述当前响应；其中，所述响应类型包括高领域相关响应、低领域相关响应和领域相关知识点分散响应中的至少一种。

根据本发明的另一方面，提供了一种响应确定装置，该装置包括：

当前响应获取模块，用于获取待查询问题，并根据预先训练的问答模型，获取与所述待查询问题对应的当前响应；

实体匹配度确定模块，用于对所述当前响应进行分词处理，得到当前分词列表，并根据所述分词列表中的各列表成员与基于预设领域构建的领域知识图谱中各实体的相似度，确定所述分词列表的实体匹配度；

响应保留确定模块，用于根据所述实体匹配度的大小确定所述当前响应的响应类型，并根据所述响应类型确定是否保留所述当前响应；其中，所述响应类型包括高领域相关响应、低领域相关响应和领域相关知识点分散响应中的至少一种。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的响应确定方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的响应确定方法。

本发明实施例的技术方案，由于领域知识图谱基于预设领域构建，可通过领域知识图谱包含的全量领域知识确定分词列表的实体匹配度，提高实体匹配度确定的准确性，并根据实体匹配度确定当前响应的响应类型，即确定当前响应与预设领域之间的关联程度，从而根据响应内容与预设领域的关联程度确定是否保留生成的响应，实现对当前响应包含内容的领域约束，增加了保留的响应的针对性，避免保留全部生成响应。解决问答模型对于同一问题生成多种响应，且无法自动判断生成响应是否符合领域相关等要求，导致不同时刻生成响应差异较大，稳定性较差的问题，提高响应生成的稳定性。并且将响应类型区分为高领域相关响应、低领域相关响应和领域相关知识点分散响应，丰富了响应类型的种类，便于后续根据不同响应类型采取对应的响应处理结果，提高响应确定的准确性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

图1为本发明实施例一提供的一种响应确定方法的流程图；

图2为本发明实施例二提供的一种响应确定方法的流程图；

图3为本发明实施例三提供的一种响应确定装置的结构示意图；

图4为用来实施本发明实施例的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种响应确定方法的流程图，本实施例可适用于问答模型提供响应稳定性较低的情况，该方法可以由本发明实施例所提供的响应确定装置来执行，该装置可以由软件和/或硬件的方式实现。参见图1，本实施例提供的响应确定方法，包括：

步骤110、获取待查询问题，并根据预先训练的问答模型，获取与待查询问题对应的当前响应。

其中，待查询问题可由问题发起对象，例如问答模型的使用者，通过文字、语音等方式提出，本实施例对此不进行限制。

预先训练的问答模型可为无监督自回归大语言模型，与待查询问题对应的当前响应为问答模型当前提供的响应，例如待查询问题为X国家的首都是哪里，当前响应可为X国家的首都为A城市。

步骤120、对当前响应进行分词处理，得到当前分词列表，并根据分词列表中的各列表成员与基于预设领域构建的领域知识图谱中各实体的相似度，确定分词列表的实体匹配度。

对当前响应可采用现有分词方式进行分词处理，通过去除停用词等方式，得到当前响应对应的当前分词列表，当前分词列表包含的单个分词结果，为列表成员。例如当前响应可为X国家的首都为A城市对应的当前分词列表可包含：X国家、首都、A城市。相应的，列表成员为X国家、首都、A城市。

预设领域可为单个或多个，可针对单个领域构建对应的领域知识图谱，也可针对限定的多个领域构建对应的领域知识图谱，本实施例对此不进行限制；预设领域的种类可根据问答模型的应用场景确定，例如若问答模型应用在网络安全场景，则使用的知识图谱的领域可为网络安全领域等，若问答模型应用在网络安全场景以及物理场景，则使用的知识图谱的领域可为网络安全领域以及物理场景。

领域知识图谱中存在多个实体，每个实体对应相应的实体名。各列表成员与基于预设领域构建的领域知识图谱中各实体的相似度可为列表成员的成员名与实体的实体名之间的相似度，本实施例对此不进行限制。

根据各列表成员与各实体的相似度确定分词列表的实体匹配度，例如若存在列表成员与任一实体相似度大于预设相似度阈值，则确定列表成员为相似度较高成员，将相似度较高成员的数量与列表成员总数量相除得到分词列表的实体匹配度。

本实施例中，可选的，根据分词列表中的各列表成员与基于预设领域构建的领域知识图谱中各实体的相似度，确定分词列表的实体匹配度，包括：

获取分词列表中的各列表成员与领域知识图谱中各实体的相似度；

若列表成员包含任一大于预设相似度阈值的相似度，则确定列表成员为目标成员；

根据目标成员的数量与列表成员的数量，确定实体匹配度。

对分词列表中每一个列表成员进行知识图谱中实体名相似度确定，若存在任一相似度大于预设相似度阈值，例如为0.9，即认为该列表成员与知识图谱中某实体相关，将该列表成员确定为目标成员。

根据目标成员的数量与列表成员的总数量确定列表成员匹配实体的概率，即确定分词列表的实体匹配度，例如目标成员的数量为2，列表成员的总数量为4，则实体匹配度为50％。

通过预先构建领域知识图谱，使得领域知识图谱中的实体均与特定领域相关，获取各列表成员与领域知识图谱中各实体的相似度，确定分词列表整体的实体匹配度，得到当前响应整体与特定领域的相关性，从而便于后续根据实体匹配度确定当前响应与领域相关的响应类型，提高响应类型确定的准确性和针对性。

步骤130、根据实体匹配度的大小确定当前响应的响应类型，并根据响应类型确定是否保留当前响应；其中，响应类型包括高领域相关响应、低领域相关响应和领域相关知识点分散响应中的至少一种。

其中，高领域相关响应为响应与当前问答模型的应用场景高度相关的响应，例如问答模型应用在地理场景，当前响应与地理领域相关度较大，则当前响应的响应类型为高领域相关响应，例如为X国家的首都为A城市。

高领域相关响应为响应与当前问答模型的应用场景相关度较低的响应，例如问答模型应用在地理场景，当前响应与地理领域相关度较低，则当前响应的响应类型为低领域相关响应，例如为B城市当前温度为xx度。

领域相关知识点分散响应为响应与当前问答模型的应用场景存在部分相关度，但响应中包含较为分散的知识点，例如问答模型应用在物理场景，当前响应与物理领域存在部分相关度，但包含多个分散物理知识点，则当前响应的响应类型为领域相关知识点分散响应，例如在单个当前回答中包含电磁力、相对论和万有引力等。

根据实体匹配度的大小确定当前响应的响应类型，例如实体匹配度处于第一阈值范围内时，响应类型为高领域相关响应，实体匹配度处于第二阈值范围内时可根据当前响应中知识点的分布情况，确定响应类型为是否为领域相关知识点分散响应。实体匹配度处于第三阈值范围内时，响应类型为低领域相关响应。其中，第一阈值范围数值大于第二阈值范围大于第三阈值范围。

根据响应类型确定是否保留当前响应，可为响应类型为低领域相关响应时不保留当前响应，生成下一响应，其中，下一响应为问答模型针对待查询问题生成的与当前响应不同的新响应；响应类型为高领域相关响应时保留当前响应；响应类型为领域相关知识点分散响应时，根据待查询问题的发起对象确定是否保留当前响应。

本实施例所提供的技术方案，由于领域知识图谱基于预设领域构建，可通过领域知识图谱包含的全量领域知识确定分词列表的实体匹配度，提高实体匹配度确定的准确性，并根据实体匹配度确定当前响应的响应类型，即确定当前响应与预设领域之间的关联程度，从而根据响应内容与预设领域的关联程度确定是否保留生成的响应，实现对当前响应包含内容的领域约束，增加了保留的响应的针对性，避免保留全部生成响应。解决问答模型对于同一问题生成多种响应，且无法自动判断生成响应是否符合领域相关等要求，导致不同时刻生成响应差异较大，稳定性较差的问题，提高响应生成的稳定性。并且将响应类型区分为高领域相关响应、低领域相关响应和领域相关知识点分散响应，丰富了响应类型的种类，便于后续根据不同响应类型采取对应的响应处理结果，提高响应确定的准确性。

实施例二

图2为本发明实施例二提供的一种响应确定方法的流程图，本技术方案是针对根据实体匹配度的大小确定当前响应的响应类型的过程进行补充说明的。与上述方案相比，本方案具体优化为，根据实体匹配度的大小确定当前响应的响应类型，包括：

若实体匹配度小于第一预设匹配度阈值，则确定当前响应的响应类型为低领域相关响应；

若实体匹配度大于等于第二预设匹配度阈值，则确定当前响应的响应类型为高领域相关响应；其中，第一预设匹配度阈值小于第二预设匹配度阈值；

若实体匹配度大于等于第一预设匹配度阈值，且小于第二预设匹配度阈值，则确定当前响应为类型待确认响应；

根据类型待确认响应关联的各列表成员的相似度，以及领域知识图谱的社区信息，确定类型待确认响应的响应类型。具体的，响应确定方法的流程图如图2所示：

步骤210、获取待查询问题，并根据预先训练的问答模型，获取与待查询问题对应的当前响应。

步骤220、对当前响应进行分词处理，得到当前分词列表，并根据分词列表中的各列表成员与基于预设领域构建的领域知识图谱中各实体的相似度，确定分词列表的实体匹配度。

步骤230、若实体匹配度小于第一预设匹配度阈值，则确定当前响应的响应类型为低领域相关响应。

其中，第一预设匹配度阈值可为0.3，本实施例对此不进行限制，若实体匹配度小于第一预设匹配度阈值，则确定当前响应的响应类型为低领域相关响应。

步骤240、若实体匹配度大于等于第二预设匹配度阈值，则确定当前响应的响应类型为高领域相关响应；其中，第一预设匹配度阈值小于第二预设匹配度阈值。

其中，第二预设匹配度阈值可为0.7，本实施例对此不进行限制，若实体匹配度大于等于第二预设匹配度阈值，则确定当前响应的响应类型为高领域相关响应。

步骤250、若实体匹配度大于等于第一预设匹配度阈值，且小于第二预设匹配度阈值，则确定当前响应为类型待确认响应。

若实体匹配度大于等于第一预设匹配度阈值，且小于第二预设匹配度阈值，例如大于等于0.3，小于0.7，则确定当前响应为类型待确认响应，其中，类型待确定响应为需要通过后续计算进一步判断类型的响应。

步骤260、根据类型待确认响应关联的各列表成员的相似度，以及领域知识图谱的社区信息，确定类型待确认响应的响应类型。

将领域知识图谱内的实体预先采用基于模块度等算法的社区划分技术进行关联度分析，生成若干个实体社区，并进行社区名等定义，同在一个社区内的实体，互相之间具备隐性关联关系，其中隐形关联关系为即使不存在直接关联关系，但实体之间依旧存在关联的关系。社区信息为领域知识图谱中预先统计的社区信息，例如为社区数量、每个社区中的社区成员等。

根据类型待确认响应关联的各列表成员的相似度，以及领域知识图谱的社区信息，确定类型待确认响应的响应类型，可为在当前响应为类型待确认响应时，获取领域知识图谱中满足与列表成员与的实体相似度大于预设相似度阈值的全部实体，并根据社区信息确定该部分实体在领域知识图谱中的分布，若分布范围较广，则确定当前响应的响应类型为领域相关知识点分散响应。

本实施例中，可选的，根据类型待确认响应关联的各列表成员的相似度，以及领域知识图谱的社区信息，确定类型待确认响应的响应类型，包括：

根据类型待确认响应关联的各列表成员的相似度，以及预设相似度阈值，确定相似度关联的目标实体集合；

根据目标实体集合对应的实体分布社区数量，以及领域知识图谱包含的社区总数量，确定类型待确认响应对应的实体分布社区比例；

若实体分布社区比例小于预设社区比例阈值，则确定当前响应的响应类型为高领域相关响应；

若实体分布社区比例大于等于预设社区比例阈值，则确定当前响应的响应类型为领域相关知识点分散响应。

将类型待确认响应关联的分词列表中每一个列表成员进行知识图谱中实体相似度确定，可直接获取实体匹配度确定时得到的相似度，也可再次计算，本实施例对此不进行限制。

从若存在任一相似度大于预设相似度阈值，例如为0.9，即认为该列表成员与知识图谱中某实体相关，将该实体确定为目标实体，得到的目标实体构成的集合即为目标实体集合。

目标实体集合对应的实体分布社区数量，即为目标实体分布的社区的数量，领域知识图谱包含的社区总数量，为领域知识图谱中包含的所有社区的总数量，可通过实体分布社区数量与社区总数量相除，确定类型待确认响应对应的实体分布社区比例，示例性的，若目标实体共存在3个，社区总数量为100个，则实体分布社区比例为0.03。

预设社区比例阈值可为0.2，本实施例对此不进行限制。若实体分布社区比例小于预设社区比例阈值，则确定当前响应的响应类型为高领域相关响应；若实体分布社区比例大于等于预设社区比例阈值，则确定当前响应的响应类型为领域相关知识点分散响应。

根据预设相似度阈值和相似度，确定相似度关联的目标实体集合，使得得到的目标实体与列表成员相似度较大，可代表列表成员的分布情况，提高后续实体分布社区数量统计的有效性。通过实体分布社区数量以及社区总数量，确定类型待确认响应对应的实体分布社区比例，可准确确定当前响应中各知识点分散的程度，并且通过领域知识图谱确定实体间的分布，相较于直接确定列表成员之间的领域分布，效率更高，速度更快，从而提高响应类型确定的效率。将知识点较为分散的当前响应的响应类型确定为领域相关知识点分散响应，将知识点较为集中的当前响应的响应类型确定为高领域相关响应，提高响应类型确定的精准程度。

步骤270、根据响应类型确定是否保留当前响应；其中，响应类型包括高领域相关响应、低领域相关响应和领域相关知识点分散响应中的至少一种。

本实施例中，可选的，根据响应类型确定是否保留当前响应，包括：

若响应类型为高领域相关响应，则保留当前响应；

若响应类型为低领域相关响应，则删除当前响应，并生成待查询问题对应的下一响应；

若响应类型为领域相关知识点分散响应，则响应于待查询问题的发起对象的删除确定操作，确定是否保留当前响应。

若响应类型为高领域相关响应，则保留当前响应，即当前响应即为问答模型最终提供给问题发起对象的响应。

若响应类型为低领域相关响应，则删除当前响应，并生成待查询问题对应的下一响应，其中，删除响应为后续若问题发起对象提问同一待查询问题时，不会提供该当前响应；生成方式可根据问答模型预先确定的响应生成方式确定，本实施例对此不进行限制。若下一响应依旧为低领域相关响应，则继续生成，直至生成的响应为高领域相关响应或问题发起对象认可该响应为止，问题发起对象认可某响应可为问题发起对象点击响应认可按键等操作，本实施例对此不进行限制。

若响应类型为领域相关知识点分散响应，则可询问待查询问题的发起对象是否需要删除该响应，例如发起弹窗供问题发起对象确认等，本实施例对此不进行限制。若需要删除该响应，则删除当前响应并生成下一响应，若下一响应依旧为低领域相关响应，则继续生成，直至生成的响应为高领域相关响应或问题发起对象认可该响应为止。

通过在若响应类型为高领域相关响应时自动保留当前响应；若响应类型为低领域相关响应时自动删除当前响应，并生成待查询问题对应的下一响应，无需由人工确定响应是否保留，提高当前响应的确定效率和准确性。仅在响应类型为领域相关知识点分散响应时，供问题发起对象确认是否保留当前响应，根据不同问题发起对象的需求确定是否保留知识点分散的响应，避免知识点分散的响应被确认为收益度不高的响应，直接被删除，从而提高响应确定的个性化程度，改善用户体验。

本发明实施例通过若实体匹配度小于第一预设匹配度阈值，则确定当前响应的响应类型为低领域相关响应；若实体匹配度大于等于第二预设匹配度阈值，则确定当前响应的响应类型为高领域相关响应；若实体匹配度大于等于第一预设匹配度阈值，且小于第二预设匹配度阈值，则根据各列表成员的相似度，以及领域知识图谱的社区信息，确定响应类型，通过领域知识图谱的社区信息更有效地发现实体的关联关系，从而对当前响应中包含的列表成员之间的关联关系进行更好的识别和判断，以对响应类型进一步准确判断，避免仅将响应分区分为高领域相关响应和低领域相关响应，提高响应类型确定的多样性和精准性。

实施例三

图3为本发明实施例三提供的一种响应确定装置的结构示意图。该装置可以由硬件和/或软件的方式来实现，可执行本发明任意实施例所提供的一种响应确定方法，具备执行方法相应的功能模块和有益效果。如图3所示，该装置包括：

当前响应获取模块310，用于获取待查询问题，并根据预先训练的问答模型，获取与所述待查询问题对应的当前响应；

实体匹配度确定模块320，用于对所述当前响应进行分词处理，得到当前分词列表，并根据所述分词列表中的各列表成员与基于预设领域构建的领域知识图谱中各实体的相似度，确定所述分词列表的实体匹配度；

响应保留确定模块330，用于根据所述实体匹配度的大小确定所述当前响应的响应类型，并根据所述响应类型确定是否保留所述当前响应；其中，所述响应类型包括高领域相关响应、低领域相关响应和领域相关知识点分散响应中的至少一种。

在上述各技术方案的基础上，可选的，所述实体匹配度确定模块，包括：

相似度获取单元，用于获取所述分词列表中的各列表成员与所述领域知识图谱中各实体的相似度；

目标成员确定单元，用于若所述列表成员包含任一大于预设相似度阈值的所述相似度，则确定所述列表成员为目标成员；

实体匹配度确定单元，用于根据所述目标成员的数量与所述列表成员的数量，确定所述实体匹配度。

在上述各技术方案的基础上，可选的，所述响应保留确定模块，包括：

第一响应类型确定单元，用于若所述实体匹配度小于第一预设匹配度阈值，则确定所述当前响应的响应类型为所述低领域相关响应；

第二响应类型确定单元，用于若所述实体匹配度大于等于第二预设匹配度阈值，则确定所述当前响应的响应类型为所述高领域相关响应；其中，所述第一预设匹配度阈值小于所述第二预设匹配度阈值；

类型待确认响应确定单元，用于若所述实体匹配度大于等于所述第一预设匹配度阈值，且小于所述第二预设匹配度阈值，则确定所述当前响应为类型待确认响应；

第三响应类型确定单元，用于根据所述类型待确认响应关联的各所述列表成员的所述相似度，以及所述领域知识图谱的社区信息，确定所述类型待确认响应的所述响应类型。

在上述各技术方案的基础上，可选的，所述第三响应类型确定单元，包括：

目标实体集合确定子单元，用于根据所述类型待确认响应关联的各所述列表成员的所述相似度，以及预设相似度阈值，确定所述相似度关联的目标实体集合；

比例确定子单元，用于根据所述目标实体集合对应的实体分布社区数量，以及所述领域知识图谱包含的社区总数量，确定所述类型待确认响应对应的实体分布社区比例；

第一响应类型确定子单元，用于若所述实体分布社区比例小于预设社区比例阈值，则确定所述当前响应的响应类型为所述高领域相关响应；

第二响应类型确定子单元，用于若所述实体分布社区比例大于等于所述预设社区比例阈值，则确定所述当前响应的响应类型为所述领域相关知识点分散响应。

在上述各技术方案的基础上，可选的，所述响应保留确定模块，包括：

响应保留单元，用于若所述响应类型为所述高领域相关响应，则保留所述当前响应；

响应生成单元，用于若所述响应类型为所述低领域相关响应，则删除所述当前响应，并生成所述待查询问题对应的下一响应；

响应保留确定单元，用于若所述响应类型为所述领域相关知识点分散响应，则响应于所述待查询问题的发起对象的删除确定操作，确定是否保留所述当前响应。

实施例四

图4示出了可以用来实施本发明实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如响应确定方法。

在一些实施例中，响应确定方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的响应确定方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行响应确定方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (7)

1.一种响应确定方法，其特征在于，包括：

获取待查询问题，并根据预先训练的问答模型，获取与所述待查询问题对应的当前响应；

对所述当前响应进行分词处理，得到当前分词列表，并根据所述分词列表中的各列表成员与基于预设领域构建的领域知识图谱中各实体的相似度，确定所述分词列表的实体匹配度；

根据所述实体匹配度的大小确定所述当前响应的响应类型，并根据所述响应类型确定是否保留所述当前响应；其中，所述响应类型包括高领域相关响应、低领域相关响应和领域相关知识点分散响应中的至少一种；

所述根据实体匹配度的大小确定当前响应的响应类型，包括：若所述实体匹配度小于第一预设匹配度阈值，则确定所述当前响应的响应类型为所述低领域相关响应；若所述实体匹配度大于等于第二预设匹配度阈值，则确定所述当前响应的响应类型为所述高领域相关响应；其中，所述第一预设匹配度阈值小于所述第二预设匹配度阈值；若所述实体匹配度大于等于所述第一预设匹配度阈值，且小于所述第二预设匹配度阈值，则确定所述当前响应为类型待确认响应；根据所述类型待确认响应关联的各所述列表成员的所述相似度，以及预设相似度阈值，确定所述相似度关联的目标实体集合；根据所述目标实体集合对应的实体分布社区数量，以及所述领域知识图谱包含的社区总数量，确定所述类型待确认响应对应的实体分布社区比例；若所述实体分布社区比例小于预设社区比例阈值，则确定所述当前响应的响应类型为所述高领域相关响应；若所述实体分布社区比例大于等于所述预设社区比例阈值，则确定所述当前响应的响应类型为所述领域相关知识点分散响应；

根据所述响应类型确定是否保留所述当前响应，包括：

若所述响应类型为所述高领域相关响应，则保留所述当前响应；

若所述响应类型为所述低领域相关响应，则删除所述当前响应，并生成所述待查询问题对应的下一响应；

若所述响应类型为所述领域相关知识点分散响应，则响应于所述待查询问题的发起对象的删除确定操作，确定是否保留所述当前响应。

2.根据权利要求1所述的方法，其特征在于，根据所述分词列表中的各列表成员与基于预设领域构建的领域知识图谱中各实体的相似度，确定所述分词列表的实体匹配度，包括：

获取所述分词列表中的各列表成员与所述领域知识图谱中各实体的相似度；

若所述列表成员包含任一大于预设相似度阈值的所述相似度，则确定所述列表成员为目标成员；

根据所述目标成员的数量与所述列表成员的数量，确定所述实体匹配度。

3.一种响应确定装置，其特征在于，包括：

当前响应获取模块，用于获取待查询问题，并根据预先训练的问答模型，获取与所述待查询问题对应的当前响应；

实体匹配度确定模块，用于对所述当前响应进行分词处理，得到当前分词列表，并根据所述分词列表中的各列表成员与基于预设领域构建的领域知识图谱中各实体的相似度，确定所述分词列表的实体匹配度；

响应保留确定模块，用于根据所述实体匹配度的大小确定所述当前响应的响应类型，并根据所述响应类型确定是否保留所述当前响应；其中，所述响应类型包括高领域相关响应、低领域相关响应和领域相关知识点分散响应中的至少一种；

所述根据实体匹配度的大小确定当前响应的响应类型，包括：若所述实体匹配度小于第一预设匹配度阈值，则确定所述当前响应的响应类型为所述低领域相关响应；若所述实体匹配度大于等于第二预设匹配度阈值，则确定所述当前响应的响应类型为所述高领域相关响应；其中，所述第一预设匹配度阈值小于所述第二预设匹配度阈值；若所述实体匹配度大于等于所述第一预设匹配度阈值，且小于所述第二预设匹配度阈值，则确定所述当前响应为类型待确认响应；根据所述类型待确认响应关联的各所述列表成员的所述相似度，以及预设相似度阈值，确定所述相似度关联的目标实体集合；根据所述目标实体集合对应的实体分布社区数量，以及所述领域知识图谱包含的社区总数量，确定所述类型待确认响应对应的实体分布社区比例；若所述实体分布社区比例小于预设社区比例阈值，则确定所述当前响应的响应类型为所述高领域相关响应；若所述实体分布社区比例大于等于所述预设社区比例阈值，则确定所述当前响应的响应类型为所述领域相关知识点分散响应；

所述响应保留确定模块，包括：

响应保留单元，用于若所述响应类型为所述高领域相关响应，则保留所述当前响应；

响应生成单元，用于若所述响应类型为所述低领域相关响应，则删除所述当前响应，并生成所述待查询问题对应的下一响应；

响应保留确定单元，用于若所述响应类型为所述领域相关知识点分散响应，则响应于所述待查询问题的发起对象的删除确定操作，确定是否保留所述当前响应。

4.根据权利要求3所述的装置，其特征在于，所述实体匹配度确定模块，包括：

相似度获取单元，用于获取所述分词列表中的各列表成员与所述领域知识图谱中各实体的相似度；

目标成员确定单元，用于若所述列表成员包含任一大于预设相似度阈值的所述相似度，则确定所述列表成员为目标成员；

实体匹配度确定单元，用于根据所述目标成员的数量与所述列表成员的数量，确定所述实体匹配度。

5.根据权利要求3所述的装置，其特征在于，所述响应保留确定模块，包括：

第一响应类型确定单元，用于若所述实体匹配度小于第一预设匹配度阈值，则确定所述当前响应的响应类型为所述低领域相关响应；

第二响应类型确定单元，用于若所述实体匹配度大于等于第二预设匹配度阈值，则确定所述当前响应的响应类型为所述高领域相关响应；其中，所述第一预设匹配度阈值小于所述第二预设匹配度阈值；

类型待确认响应确定单元，用于若所述实体匹配度大于等于所述第一预设匹配度阈值，且小于所述第二预设匹配度阈值，则确定所述当前响应为类型待确认响应；

第三响应类型确定单元，用于根据所述类型待确认响应关联的各所述列表成员的所述相似度，以及所述领域知识图谱的社区信息，确定所述类型待确认响应的所述响应类型。

6.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-2中任一项所述的响应确定方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-2中任一项所述的响应确定方法。