CN111625638B - 一种问句处理方法、装置、设备及可读存储介质 - Google Patents

一种问句处理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN111625638B
CN111625638B CN202010489153.2A CN202010489153A CN111625638B CN 111625638 B CN111625638 B CN 111625638B CN 202010489153 A CN202010489153 A CN 202010489153A CN 111625638 B CN111625638 B CN 111625638B
Authority
CN
China
Prior art keywords
entity
layer
question
vector
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010489153.2A
Other languages
English (en)
Other versions
CN111625638A (zh
Inventor
赵富邦
王路
马工利
朱孝银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN202010489153.2A priority Critical patent/CN111625638B/zh
Publication of CN111625638A publication Critical patent/CN111625638A/zh
Application granted granted Critical
Publication of CN111625638B publication Critical patent/CN111625638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种问句处理方法、装置、设备及可读存储介质。本申请在利用模板分类层、实体识别层、实体链接层、关系抽取层逐步处理目标问句之前，用同一个表达层对各个步骤的输入数据进行了转换，从而实现了表达层的共享。同时，由于各个层共享表达层，因此在问答系统的训练过程中，表达层涉及的模型参数会减少，占用的计算机内存也会减少，那么问答系统的训练性能和处理效率就会得到提升。在问答系统的训练过程中，各个层共享表达层，可以实现问答系统的全局最优，达到联合训练的目的。

Description

一种问句处理方法、装置、设备及可读存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种问句处理方法、装置、设备及可读存储介质。
背景技术
近些年，随着数据资源结构化的程度不断提高，语义网(Semantic Web)和知识图谱(knowledge Graph)逐渐成为了一种有效的结构化信息的储存方式。然而，对大多数人来说，访问知识图谱的指令语言并不友好，因此，基于知识图谱的问答系统(Knowledge GraphQuestion Answering)在自然语言处理和知识图谱领域获得了广泛的关注。在需要推理的复杂问题场景中，对问答系统和知识图谱的服务性能提出了更高的要求。
目前，传统问答系统中的各个数据处理层都是独立训练获得，不同数据处理层的训练过程互不干扰，可独立达到最优。但正是因为各个数据处理层是独立训练获得的，从而导致问答系统不能达到全局最优。并且，在各个数据处理层独立训练的过程中，需要给每个数据处理层设置不同的表达层，这样来，表达层涉及的模型参数就会增多，导致占用了较多的计算机内存，降低了问答系统的性能和处理效率。
因此，如何使问答系统达到全局最优，提高其性能和处理效率，是本领域技术人员需要解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种问句处理方法、装置、设备及可读存储介质，以使问答系统达到全局最优，提高其性能和处理效率。其具体方案如下：
第一方面，本申请提供了一种问句处理方法，包括：
获取待处理的目标问句；
利用表达层将所述目标问句转换为第一向量后，利用模板分类层确定所述第一向量所属的结构类型，利用实体识别层从所述第一向量中提取实体片段；
针对每个实体片段，在图谱中查询当前实体片段对应的候选实体，将查询到的各个候选实体与所述目标问句分别拼接，获得多个链接数据，利用所述表达层将各个链接数据转换为第二向量后，利用实体链接层处理各个第二向量，获得当前实体片段的预测实体；
针对每个预测实体，在所述图谱中查询当前预测实体对应的候选关系，将查询到的各个候选关系与所述目标问句分别拼接，获得多个关系数据，利用所述表达层将各个关系数据转换为第三向量后，利用关系抽取层处理各个第三向量，获得当前预测实体的预测关系；
将各个实体片段和各个预测关系添加至所述结构类型对应的目标集合，利用所述目标集合在图数据库中搜索所述目标问句的答案，并返回搜索结果。
优选地，所述结构类型为单跳、多跳链式或多跳交集。
优选地，所述利用实体识别层从所述第一向量中提取实体片段，包括：
利用所述实体识别层包括的指针网络从所述第一向量中提取所述实体片段。
优选地，所述利用实体链接层处理各个第二向量，获得当前实体片段的预测实体，包括：
利用所述实体链接层计算各个第二向量的置信度，将最大置信度对应的第二向量包括的候选实体确定为当前实体片段的预测实体。
优选地，所述利用关系抽取层处理各个第三向量，获得当前预测实体的预测关系，包括：
利用所述关系抽取层计算各个第三向量的置信度，将最大置信度对应的第三向量包括的候选关系确定为当前预测实体的预测关系。
优选地，所述将各个实体片段和各个预测关系添加至所述结构类型对应的目标集合，包括：
按照设定的三元组将各个实体片段和各个预测关系添加至所述目标集合，所述目标集合包括多个三元组。
优选地，所述表达层基于BERT模型、ERNIE模型或ROBERTA模型构建。
第二方面，本申请提供了一种问句处理装置，包括：
获取模块，用于获取待处理的目标问句；
执行模块，用于利用表达层将所述目标问句转换为第一向量后，利用模板分类层确定所述第一向量所属的结构类型，利用实体识别层从所述第一向量中提取实体片段；
实体预测模块，用于针对每个实体片段，在图谱中查询当前实体片段对应的候选实体，将查询到的各个候选实体与所述目标问句分别拼接，获得多个链接数据，利用所述表达层将各个链接数据转换为第二向量后，利用实体链接层处理各个第二向量，获得当前实体片段的预测实体；
关系抽取模块，用于针对每个预测实体，在所述图谱中查询当前预测实体对应的候选关系，将查询到的各个候选关系与所述目标问句分别拼接，获得多个关系数据，利用所述表达层将各个关系数据转换为第三向量后，利用关系抽取层处理各个第三向量，获得当前预测实体的预测关系；
搜索模块，用于将各个实体片段和各个预测关系添加至所述结构类型对应的目标集合，利用所述目标集合在图数据库中搜索所述目标问句的答案，并返回搜索结果。
优选地，所述结构类型为单跳、多跳链式或多跳交集。
优选地，执行模块具体用于：
利用所述实体识别层包括的指针网络从所述第一向量中提取所述实体片段。
优选地，实体预测模块具体用于：
利用所述实体链接层计算各个第二向量的置信度，将最大置信度对应的第二向量包括的候选实体确定为当前实体片段的预测实体。
优选地，关系抽取模块具体用于：
利用所述关系抽取层计算各个第三向量的置信度，将最大置信度对应的第三向量包括的候选关系确定为当前预测实体的预测关系。
优选地，搜索模块具体用于：
按照设定的三元组将各个实体片段和各个预测关系添加至所述目标集合，所述目标集合包括多个三元组。
优选地，所述表达层基于BERT模型、ERNIE模型或ROBERTA模型构建。
第三方面，本申请提供了一种问句处理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的问句处理方法。
第四方面，本申请提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的问句处理方法。
通过以上方案可知，本申请提供了一种问句处理方法，包括：获取待处理的目标问句；利用表达层将所述目标问句转换为第一向量后，利用模板分类层确定所述第一向量所属的结构类型，利用实体识别层从所述第一向量中提取实体片段；针对每个实体片段，在图谱中查询当前实体片段对应的候选实体，将查询到的各个候选实体与所述目标问句分别拼接，获得多个链接数据，利用所述表达层将各个链接数据转换为第二向量后，利用实体链接层处理各个第二向量，获得当前实体片段的预测实体；针对每个预测实体，在所述图谱中查询当前预测实体对应的候选关系，将查询到的各个候选关系与所述目标问句分别拼接，获得多个关系数据，利用所述表达层将各个关系数据转换为第三向量后，利用关系抽取层处理各个第三向量，获得当前预测实体的预测关系；将各个实体片段和各个预测关系添加至所述结构类型对应的目标集合，利用所述目标集合在图数据库中搜索所述目标问句的答案，并返回搜索结果。
可见，该方法在利用模板分类层、实体识别层、实体链接层、关系抽取层逐步处理目标问句之前，用同一个表达层对各个步骤的输入数据进行了转换，从而实现了表达层的共享。同时，由于各个层共享表达层，因此在问答系统的训练过程中，表达层涉及的模型参数会减少，占用的计算机内存也会减少，那么问答系统的训练性能和处理效率就会得到提升。在问答系统的训练过程中，各个层共享表达层，可以实现问答系统的全局最优，达到联合训练的目的。
相应地，本申请提供的一种问句处理装置、设备及可读存储介质，也同样具有上述技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种问句处理方法流程图；
图2为本申请公开的一种模板分类层和表达层处理目标问句的示意图；
图3为本申请公开的一种实体识别层处理第一向量的示意图；
图4为本申请公开的一种实体链接层和表达层处理链接数据的示意图；
图5为本申请公开的一种关系抽取层和表达层处理关系数据的示意图；
图6为本申请公开的另一种问句处理方法流程图；
图7为本申请公开的一种问句处理装置示意图；
图8为本申请公开的一种问句处理设备示意图；
图9为本申请公开的一种交互系统示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，传统问答系统中的各个数据处理层都是独立训练获得，不同数据处理层的训练过程互不干扰，可独立达到最优。但正是因为各个数据处理层是独立训练获得的，从而导致问答系统不能达到全局最优。并且，在各个数据处理层独立训练的过程中，需要给每个数据处理层设置不同的表达层，这样来，表达层涉及的模型参数就会增多，导致占用了较多的计算机内存，降低了问答系统的性能和处理效率。为此，本申请提供了一种问句处理方案，能够使问答系统达到全局最优，提高其性能和处理效率。
下面对本申请实施例提供的一种问句处理方法进行介绍，参见图1所示，本申请实施例公开了一种问句处理方法，包括：
S101、获取待处理的目标问句。
在本实施例中，问答系统包括：表达层、模板分类层、实体识别层、实体链接层、关系抽取层，每个层是通过联合训练获得的。在训练问答系统之前，各个层都处于初始状态。在训练过程中，各个层涉及的模型参数联合优化，可达到全局最优，最终获得了可应用于实际的各个数据处理层，也就获得了完成训练的问答系统。
S102、利用表达层将目标问句转换为第一向量后，利用模板分类层确定第一向量所属的结构类型，利用实体识别层从第一向量中提取实体片段。
在一种具体实施方式中，模板分类层中预设的结构类型包括：单跳、多跳链式和多跳交集。其中，模板分类层中的结构类型是可扩展的，用户可以实际应用需要灵活添加、删除或更改其中的结构类型。增加新的结构类型可以实现更复杂的多跳任务，提高问答系统的可拓展性。
单跳如：(姚明，身高，？x)或者(？x，丈夫，周杰伦)。
多跳链式如：【(？x，丈夫，周杰伦)，(？x，女儿，？y)】或者【(周杰伦，妻子，？x)，(？x，女儿，？y)】。链式包含了正反关系。
多跳交集如：【(？x，毕业院校，北京大学)，(？x，职业，物理学家)】。
具体的，模板分类层和表达层处理目标问句的示意图请参见图2。在图2中，目标问句为：钢铁侠哪个主演生于纽约，该问句所属的结构类型是多跳链式，对应的目标集合中的三元组包括：(钢铁侠，主演，？x)，(？x，出生地，纽约)。在图2中，Shared BERT表示表达层，其基于BERT构建获得；FC Layer表示模板分类层；“钢铁侠哪个主演生于纽约”是表达层的输入数据，而表达层的输出数据是模板分类层的输入数据。
具体的，实体识别层处理第一向量的示意图请参见图3。在图3中，Shared BERT表示表达层，其基于BERT构建获得；Pointer Network(指针网络)表示实体识别层；“钢铁侠哪个主演生于纽约”是表达层的输入数据，而表达层的输出数据是实体识别层的输入数据。实体识别层可识别出实体片段的头(即图3中的Head)和尾(即图3中的Tail)，因此可完成实体片段的提取。
S103、针对每个实体片段，在图谱中查询当前实体片段对应的候选实体，将查询到的各个候选实体与目标问句分别拼接，获得多个链接数据，利用表达层将各个链接数据转换为第二向量后，利用实体链接层处理各个第二向量，获得当前实体片段的预测实体。
具体的，实体链接层和表达层处理链接数据的示意图请参见图4。在图4中，SharedBERT表示表达层，其基于BERT构建获得；FC Layer表示实体链接层。“钢铁侠哪个主演生于纽约以及在图谱中查询到的候选实体”是表达层的输入数据，而表达层的输出数据是实体链接层的输入数据。实体链接层会将最大置信度对应的候选实体确定为预测实体。其中，0<置信度<1，图4中的0.99即为最大置信度。
S104、针对每个预测实体，在图谱中查询当前预测实体对应的候选关系，将查询到的各个候选关系与目标问句分别拼接，获得多个关系数据，利用表达层将各个关系数据转换为第三向量后，利用关系抽取层处理各个第三向量，获得当前预测实体的预测关系。
具体的，关系抽取层和表达层处理关系数据的示意图请参见图5。在图5中，SharedBERT表示表达层，其基于BERT构建获得；FC Layer表示关系抽取层。“钢铁侠哪个主演生于纽约以及在图谱中查询到的候选关系”是表达层的输入数据，而表达层的输出数据是关系抽取层的输入数据。关系抽取层会将最大置信度对应的候选关系确定为预测关系。其中，0<置信度<1，图5中的0.98即为最大置信度。图2-图5中的Shared BERT是同一个。
S105、将各个实体片段和各个预测关系添加至结构类型对应的目标集合，利用目标集合在图数据库中搜索目标问句的答案，并返回搜索结果。
在一种具体实施方式中，将各个实体片段和各个预测关系添加至结构类型对应的目标集合，包括：按照设定的三元组将各个实体片段和各个预测关系添加至目标集合，目标集合包括多个三元组。各个三元组以(实体，关系，实体)或(实体，属性，属性值)的方式表示。如：(姚明，身高，226米)就是(实体，属性，属性值)。针对一个目标问句，可确定多个三元组。
在一种具体实施方式中，表达层基于BERT模型、ERNIE模型或ROBERTA模型构建。当然，还可以是基于其他模型构建表达层。
需要说明的是，本实施例中的图谱为知识图谱。图谱和图数据库是提前预设的。
可见，本申请实施例在利用模板分类层、实体识别层、实体链接层、关系抽取层逐步处理目标问句之前，用同一个表达层对各个步骤的输入数据进行了转换，从而实现了表达层的共享。同时，由于各个层共享表达层，因此在问答系统的训练过程中，表达层涉及的模型参数会减少，占用的计算机内存也会减少，那么问答系统的训练性能和处理效率就会得到提升。在问答系统的训练过程中，各个层共享表达层，可以实现问答系统的全局最优，达到联合训练的目的。
下面对本申请实施例提供的另一种问句处理方法进行介绍，参见图5所示，本申请实施例公开了一种问句处理方法，包括：
S601、获取待处理的目标问句。
S602、利用表达层将目标问句转换为第一向量后，利用模板分类层确定第一向量所属的结构类型，利用实体识别层包括的指针网络从第一向量中提取实体片段。
指针网络是一种常用的实体片段抽取方法，其可以方便快捷的完成实体识别和提取。其中，第一向量即表示目标问句本身，从其中可提取出多个实体片段。
在本实施例中，S602可以用S102替换。
S603、针对每个实体片段，在图谱中查询当前实体片段对应的候选实体，将查询到的各个候选实体与目标问句分别拼接，获得多个链接数据，利用表达层将各个链接数据转换为第二向量后，利用实体链接层计算各个第二向量的置信度，将最大置信度对应的第二向量包括的候选实体确定为当前实体片段的预测实体。
由于从目标问句中可提取出多个实体片段，且每个实体片段在图谱中都对应有一个或多个候选实体，因此对于一个实体片段而言，可获得一个或多个实体片段，也就是一个或多个第二向量。之后实体链接层可从一个或多个第二向量中确定出当前实体片段的唯一预测实体。
在本实施例中，S603可以用S103替换。
S604、针对每个预测实体，在图谱中查询当前预测实体对应的候选关系，将查询到的各个候选关系与目标问句分别拼接，获得多个关系数据，利用表达层将各个关系数据转换为第三向量后，利用关系抽取层计算各个第三向量的置信度，将最大置信度对应的第三向量包括的候选关系确定为当前预测实体的预测关系。
针对每个预测实体，在图谱中可查询获得一个或多个候选关系，也就会获得一个或多个关系数据，即获得一个或多个第三向量。之后关系抽取层可从一个或多个第三向量中确定当前预测实体的唯一预测关系。
在本实施例中，S604可以用S104替换。
S605、按照设定的三元组将各个实体片段和各个预测关系添加至目标集合，利用目标集合在图数据库中搜索目标问句的答案，并返回搜索结果。
目标集合包括多个三元组。各个三元组以(实体，关系，实体)或(实体，属性，属性值)的方式表示。如：(姚明，身高，226米)就是(实体，属性，属性值)。针对一个目标问句，可确定多个三元组。
在本实施例中，S605可以用S105替换。其中，S602、S603、S604、S605可被同时替换，也可以选择性进行替换。如：仅替换S602和S603等。
在一种具体实施方式中，表达层基于BERT模型、ERNIE模型或ROBERTA模型构建。当然，还可以是基于其他模型构建表达层。
需要说明的是，本实施例中的图谱为知识图谱。图谱和图数据库是提前预设的。
可见，本申请实施例在利用模板分类层、实体识别层、实体链接层、关系抽取层逐步处理目标问句之前，用同一个表达层对各个步骤的输入数据进行了转换，从而实现了表达层的共享。同时，由于各个层共享表达层，因此在问答系统的训练过程中，表达层涉及的模型参数会减少，占用的计算机内存也会减少，那么问答系统的训练性能和处理效率就会得到提升。在问答系统的训练过程中，各个层共享表达层，可以实现问答系统的全局最优，达到联合训练的目的。
下面对本申请实施例提供的一种问句处理装置进行介绍，下文描述的一种问句处理装置与上文描述的一种问句处理方法可以相互参照。
参见图7所示，本申请实施例公开了一种问句处理装置，包括：
获取模块701，用于获取待处理的目标问句；
执行模块702，用于利用表达层将目标问句转换为第一向量后，利用模板分类层确定第一向量所属的结构类型，利用实体识别层从第一向量中提取实体片段；
实体预测模块703，用于针对每个实体片段，在图谱中查询当前实体片段对应的候选实体，将查询到的各个候选实体与目标问句分别拼接，获得多个链接数据，利用表达层将各个链接数据转换为第二向量后，利用实体链接层处理各个第二向量，获得当前实体片段的预测实体；
关系抽取模块704，用于针对每个预测实体，在图谱中查询当前预测实体对应的候选关系，将查询到的各个候选关系与目标问句分别拼接，获得多个关系数据，利用表达层将各个关系数据转换为第三向量后，利用关系抽取层处理各个第三向量，获得当前预测实体的预测关系；
搜索模块705，用于将各个实体片段和各个预测关系添加至结构类型对应的目标集合，利用目标集合在图数据库中搜索目标问句的答案，并返回搜索结果。
在一种具体实施方式中，结构类型为单跳、多跳链式或多跳交集。
在一种具体实施方式中，执行模块具体用于：
利用实体识别层包括的指针网络从第一向量中提取实体片段。
在一种具体实施方式中，实体预测模块具体用于：
利用实体链接层计算各个第二向量的置信度，将最大置信度对应的第二向量包括的候选实体确定为当前实体片段的预测实体。
在一种具体实施方式中，关系抽取模块具体用于：
利用关系抽取层计算各个第三向量的置信度，将最大置信度对应的第三向量包括的候选关系确定为当前预测实体的预测关系。
在一种具体实施方式中，搜索模块具体用于：
按照设定的三元组将各个实体片段和各个预测关系添加至目标集合，目标集合包括多个三元组。
在一种具体实施方式中，表达层基于BERT模型、ERNIE模型或ROBERTA模型构建。
其中，关于本实施例中各个模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本实施例提供了一种问句处理装置，该装置在利用模板分类层、实体识别层、实体链接层、关系抽取层逐步处理目标问句之前，用同一个表达层对各个步骤的输入数据进行了转换，从而实现了表达层的共享。同时，由于各个层共享表达层，因此在问答系统的训练过程中，表达层涉及的模型参数会减少，占用的计算机内存也会减少，那么问答系统的训练性能和处理效率就会得到提升。在问答系统的训练过程中，各个层共享表达层，可以实现问答系统的全局最优，达到联合训练的目的。
下面对本申请实施例提供的一种问句处理设备进行介绍，下文描述的一种问句处理设备与上文描述的一种问句处理方法及装置可以相互参照。
参见图8所示，本申请实施例公开了一种问句处理设备，包括：
存储器801，用于保存计算机程序；
处理器802，用于执行所述计算机程序，以实现如下步骤：获取待处理的目标问句；利用表达层将目标问句转换为第一向量后，利用模板分类层确定第一向量所属的结构类型，利用实体识别层从第一向量中提取实体片段；针对每个实体片段，在图谱中查询当前实体片段对应的候选实体，将查询到的各个候选实体与目标问句分别拼接，获得多个链接数据，利用表达层将各个链接数据转换为第二向量后，利用实体链接层处理各个第二向量，获得当前实体片段的预测实体；针对每个预测实体，在图谱中查询当前预测实体对应的候选关系，将查询到的各个候选关系与目标问句分别拼接，获得多个关系数据，利用表达层将各个关系数据转换为第三向量后，利用关系抽取层处理各个第三向量，获得当前预测实体的预测关系；将各个实体片段和各个预测关系添加至结构类型对应的目标集合，利用目标集合在图数据库中搜索目标问句的答案，并返回搜索结果。
本实施例中，所述处理器执行所述存储器中保存的计算机子程序时，可以具体实现以下步骤：利用实体识别层包括的指针网络从第一向量中提取实体片段。
本实施例中，所述处理器执行所述存储器中保存的计算机子程序时，可以具体实现以下步骤：利用实体链接层计算各个第二向量的置信度，将最大置信度对应的第二向量包括的候选实体确定为当前实体片段的预测实体。
本实施例中，所述处理器执行所述存储器中保存的计算机子程序时，可以具体实现以下步骤：利用关系抽取层计算各个第三向量的置信度，将最大置信度对应的第三向量包括的候选关系确定为当前预测实体的预测关系。
本实施例中，所述处理器执行所述存储器中保存的计算机子程序时，可以具体实现以下步骤：按照设定的三元组将各个实体片段和各个预测关系添加至目标集合，目标集合包括多个三元组。
下面对本申请实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种问句处理方法、装置及设备可以相互参照。
一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的问句处理方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
下面结合具体应用场景详细介绍本申请提供的问句处理方法，需要说明的是，问句处理方法可以应用于智能客服系统中的问答任务，智能客服系统如：银行、运营商、电商等领域内的智能客服系统。
其中，智能客服系统一般基于知识图谱构建问答系统，如此可以更好第处理自然语言。在需要推理的复杂问题场景中，问答系统和知识图谱的良好结合能够提高智能客服系统的服务性能。
若将本申请应用于银行的智能客服系统，那么目标问句可以为：信用卡年费缴纳时间限制是什么等与银行业务有关的问句。若目标问句为：信用卡年费缴纳时间限制是什么？那么利用模板分类层、实体识别层、实体链接层、关系抽取层逐步处理目标问句，最终可搜索获得目标问句答案，从而实现智能自动对话。
同理，若将本申请应用于其他智能客服系统，那么目标问句必然与相关领域内的业务相关联，具体的目标问句可结合现有技术和常识灵活确定。确定目标问句后，后续的具体处理步骤可以参见上述任意实施例的相关介绍，本实施例不再赘述。
可见，本申请公开的方法可应用于智能客服系统，可以利用模板分类层、实体识别层、实体链接层、关系抽取层逐步处理目标问句之前，用同一个表达层对各个步骤的输入数据进行转换，从而实现了表达层的共享，提高了智能客服系统的服务能力和效率。
请参阅图9，图9示出了一种适用于本申请实施例的应用环境示意图。本申请实施例提供的问句处理方法可以应该用于如图9所示的交互系统。交互系统包括终端设备101以及服务器102，服务器102与终端设备101通信连接。其中，服务器102可以是传统服务器，也可以是云端服务器，在此不做具体限定。
其中，终端设备101可以是具有显示屏、具有问句处理模块、具有拍摄相机、具有音频输入/输出等功能，且支持数据输入的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、自助服务终端和可穿戴式电子设备等。具体的，数据输入可以是基于电子设备上具有的语音模块输入语音、字符输入模块输入字符等。
其中，终端设备101上可以安装有客户端应用程序，用户可以基于客户端应用程序(例如APP，微信小程序等)，其中，本实施例的对话机器人也是配置于终端设备101中的一个客户端应用程序。用户可以基于客户端应用程序在服务器102注册一个用户账号，并基于该用户账号与服务器102进行通信，例如用户在客户端应用程序登录用户账号，并基于该用户账号通过客户端应用程序进行输入，可以输入文字信息或语音信息等，客户端应用程序接收到用户输入的信息后，可以将该信息发送至服务器102，使得服务器102可以接收该信息并进行处理及存储，服务器102还可以接收该信息并根据该信息返回一个对应的输出信息至终端设备101。
在一些实施方式中，对待识别数据进行处理的装置也可以设置于终端设备101上，使得终端设备101无需依赖于服务器102建立通信即可实现与用户的交互，此时交互系统可以只包括终端设备101。
本申请涉及的“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法或设备固有的其它步骤或单元。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的可读存储介质中。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种问句处理方法，其特征在于，包括：
获取待处理的目标问句；
利用表达层将所述目标问句转换为第一向量后，利用模板分类层确定所述第一向量所属的结构类型，利用实体识别层从所述第一向量中提取实体片段；
针对每个实体片段，在图谱中查询当前实体片段对应的候选实体，将查询到的各个候选实体与所述目标问句分别拼接，获得多个链接数据，利用所述表达层将各个链接数据转换为第二向量后，利用实体链接层处理各个第二向量，获得当前实体片段的预测实体；
针对每个预测实体，在所述图谱中查询当前预测实体对应的候选关系，将查询到的各个候选关系与所述目标问句分别拼接，获得多个关系数据，利用所述表达层将各个关系数据转换为第三向量后，利用关系抽取层处理各个第三向量，获得当前预测实体的预测关系；
将各个实体片段和各个预测关系添加至所述结构类型对应的目标集合，利用所述目标集合在图数据库中搜索所述目标问句的答案，并返回搜索结果。
2.根据权利要求1所述的问句处理方法，其特征在于，所述结构类型为单跳、多跳链式或多跳交集。
3.根据权利要求2所述的问句处理方法，其特征在于，所述利用实体识别层从所述第一向量中提取实体片段，包括：
利用所述实体识别层包括的指针网络从所述第一向量中提取所述实体片段。
4.根据权利要求3所述的问句处理方法，其特征在于，所述利用实体链接层处理各个第二向量，获得当前实体片段的预测实体，包括：
利用所述实体链接层计算各个第二向量的置信度，将最大置信度对应的第二向量包括的候选实体确定为当前实体片段的预测实体。
5.根据权利要求4所述的问句处理方法，其特征在于，所述利用关系抽取层处理各个第三向量，获得当前预测实体的预测关系，包括：
利用所述关系抽取层计算各个第三向量的置信度，将最大置信度对应的第三向量包括的候选关系确定为当前预测实体的预测关系。
6.根据权利要求5所述的问句处理方法，其特征在于，所述将各个实体片段和各个预测关系添加至所述结构类型对应的目标集合，包括：
按照设定的三元组将各个实体片段和各个预测关系添加至所述目标集合，所述目标集合包括多个三元组。
7.根据权利要求1至6任一项所述的问句处理方法，其特征在于，所述表达层基于BERT模型、ERNIE模型或ROBERTA模型构建。
8.一种问句处理装置，其特征在于，包括：
获取模块，用于获取待处理的目标问句；
执行模块，用于利用表达层将所述目标问句转换为第一向量后，利用模板分类层确定所述第一向量所属的结构类型，利用实体识别层从所述第一向量中提取实体片段；
实体预测模块，用于针对每个实体片段，在图谱中查询当前实体片段对应的候选实体，将查询到的各个候选实体与所述目标问句分别拼接，获得多个链接数据，利用所述表达层将各个链接数据转换为第二向量后，利用实体链接层处理各个第二向量，获得当前实体片段的预测实体；
关系抽取模块，用于针对每个预测实体，在所述图谱中查询当前预测实体对应的候选关系，将查询到的各个候选关系与所述目标问句分别拼接，获得多个关系数据，利用所述表达层将各个关系数据转换为第三向量后，利用关系抽取层处理各个第三向量，获得当前预测实体的预测关系；
搜索模块，用于将各个实体片段和各个预测关系添加至所述结构类型对应的目标集合，利用所述目标集合在图数据库中搜索所述目标问句的答案，并返回搜索结果。
9.一种问句处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的问句处理方法。
10.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的问句处理方法。
CN202010489153.2A 2020-06-02 2020-06-02 一种问句处理方法、装置、设备及可读存储介质 Active CN111625638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010489153.2A CN111625638B (zh) 2020-06-02 2020-06-02 一种问句处理方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010489153.2A CN111625638B (zh) 2020-06-02 2020-06-02 一种问句处理方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111625638A CN111625638A (zh) 2020-09-04
CN111625638B true CN111625638B (zh) 2023-06-06

Family

ID=72270072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010489153.2A Active CN111625638B (zh) 2020-06-02 2020-06-02 一种问句处理方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111625638B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182195B (zh) * 2020-10-27 2022-12-27 北京百分点科技集团股份有限公司 自动问答方法、装置、可读存储介质及电子设备
CN112989024B (zh) * 2021-03-29 2023-04-07 腾讯科技（深圳）有限公司 文本内容的关系提取方法、装置、设备及存储介质
US11763082B2 (en) 2021-07-12 2023-09-19 International Business Machines Corporation Accelerating inference of transformer-based models

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201904167D0 (en) * 2019-03-26 2019-05-08 Benevolentai Tech Limited Name entity recognition with deep learning
CN110147551A (zh) * 2019-05-14 2019-08-20 腾讯科技（深圳）有限公司 多类别实体识别模型训练、实体识别方法、服务器及终端
CN110489744A (zh) * 2019-07-25 2019-11-22 腾讯科技（深圳）有限公司 一种语料的处理方法、装置、电子设备和存储介质
CN110532368A (zh) * 2019-09-04 2019-12-03 深圳前海达闼云端智能科技有限公司 问答方法、电子设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201904167D0 (en) * 2019-03-26 2019-05-08 Benevolentai Tech Limited Name entity recognition with deep learning
CN110147551A (zh) * 2019-05-14 2019-08-20 腾讯科技（深圳）有限公司 多类别实体识别模型训练、实体识别方法、服务器及终端
CN110489744A (zh) * 2019-07-25 2019-11-22 腾讯科技（深圳）有限公司 一种语料的处理方法、装置、电子设备和存储介质
CN110532368A (zh) * 2019-09-04 2019-12-03 深圳前海达闼云端智能科技有限公司 问答方法、电子设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李妮 ; 关焕梅 ; 杨飘 ; 董文永 ; .基于BERT-IDCNN-CRF的中文命名实体识别方法.山东大学学报(理学版).(01),全文. *

Also Published As

Publication number Publication date
CN111625638A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN110837550B (zh) 基于知识图谱的问答方法、装置、电子设备及存储介质
CN109086303B (zh) 基于机器阅读理解的智能对话方法、装置、终端
CN111625638B (zh) 一种问句处理方法、装置、设备及可读存储介质
CN108345690B (zh) 智能问答方法与系统
US11809458B2 (en) System and method for providing database abstraction and data linkage
CN110020009B (zh) 在线问答方法、装置及系统
CN113590776B (zh) 基于知识图谱的文本处理方法、装置、电子设备及介质
CN112035638B (zh) 信息处理方法、装置、存储介质及设备
CN114357105B (zh) 地理预训练模型的预训练方法及模型微调方法
CN103309869A (zh) 数据对象的展示关键词推荐方法及系统
CN105791446A (zh) 一种民间借贷处理方法、装置及系统
CN114090755A (zh) 基于知识图谱的回复语句确定方法、装置及电子设备
CN111274822A (zh) 语义匹配方法、装置、设备及存储介质
CN115203282A (zh) 结合深度学习的智慧企服用户数据处理方法及系统
CN110020196B (zh) 一种基于不同数据源的用户分析方法和装置及计算设备
CN109034199B (zh) 数据处理方法及装置、存储介质和电子设备
CN117648422A (zh) 问答提示系统、问答提示、库构建、模型训练方法和装置
CN117575008A (zh) 训练样本生成方法、模型训练方法、知识问答方法及设备
CN114268625B (zh) 特征选择方法、装置、设备及存储介质
US20210081600A1 (en) Coaching system and coaching method
CN110222930A (zh) 客服辅助方法、设备及客服系统和计算机可读存储介质
CN114374595B (zh) 事件节点归因分析方法、装置、电子设备及存储介质
CN117056482A (zh) 基于知识图谱的问答方法、装置和处理器及电子设备
CN116701587A (zh) 基于机器学习的问答方法及装置
CN116414963A (zh) 答复内容的查询方法、装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant