CN113360616A - 自动问答处理方法、装置、设备及存储介质 - Google Patents

自动问答处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113360616A
CN113360616A CN202110627059.3A CN202110627059A CN113360616A CN 113360616 A CN113360616 A CN 113360616A CN 202110627059 A CN202110627059 A CN 202110627059A CN 113360616 A CN113360616 A CN 113360616A
Authority
CN
China
Prior art keywords
question
semantic
entity
information
knowledge graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110627059.3A
Other languages
English (en)
Inventor
法羚玲
代旭东
顾成敏
赵远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202110627059.3A priority Critical patent/CN113360616A/zh
Publication of CN113360616A publication Critical patent/CN113360616A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本申请提出一种自动问答处理方法、装置、设备及存储介质,该方法包括:获取问题信息;利用预先训练的语义解析模型对所述问题信息进行语义解析处理,确定所述问题信息的语义要素,其中,所述语义解析模型通过识别问题样本的语义要素训练得到;所述语义要素至少包括问题类型、实体名,以及提问意图;基于所述问题信息的语义要素,以及预设的知识图谱,生成与所述问题信息对应的答复信息。该方法能够从知识图谱中获取与用户提问相关的信息,进而生成正确的答复内容,从而实现自动问答处理。

Description

自动问答处理方法、装置、设备及存储介质
技术领域
本申请涉及自然语言处理技术领域,尤其涉及一种自动问答处理方法、装置、设备及存储介质。
背景技术
近年来,随着大数据和人工智能技术的迅速发展,越来越多的行业开始建立其所属领域的知识图谱,从而实现对本领域信息的整合及管理。与此同时,自动问答系统是建立在知识图谱上的一项重要应用,其可以使得用户通过提问的方式,从知识图谱中获取感兴趣信息。
知识图谱中的信息量巨大,因此,当用户提问时,如何从知识图谱中获取与用户提问相关的信息,进而生成正确的答复内容,成为了基于知识图谱的自动问答系统面临的实际问题。
发明内容
基于上述技术现状,本申请提出一种自动问答处理方法、装置、设备及存储介质,能够从知识图谱中获取与用户提问相关的信息,进而生成与用户提问相对应的答复信息。
为了实现上述目的,本申请具体提出如下技术方案:
一种自动问答处理方法,包括:
获取问题信息;
利用预先训练的语义解析模型对所述问题信息进行语义解析处理,确定所述问题信息的语义要素,其中,所述语义解析模型通过识别问题样本的语义要素训练得到;所述语义要素至少包括问题类型、实体名,以及提问意图;
基于所述问题信息的语义要素,以及预设的知识图谱,生成与所述问题信息对应的答复信息。
一种自动问答处理装置,包括:
问题获取单元,用于获取问题信息;
问题解析单元,用于利用预先训练的语义解析模型对所述问题信息进行语义解析处理,确定所述问题信息的语义要素,其中,所述语义解析模型通过识别问题样本的语义要素训练得到;所述语义要素至少包括问题类型、实体名,以及提问意图;
问题答复单元,用于基于所述问题信息的语义要素,以及预设的知识图谱,生成与所述问题信息对应的答复信息。
一种自动问答处理设备,包括:
存储器和处理器;
其中,所述存储器与所述处理器连接,用于存储程序;
所述处理器,用于通过运行所述存储器中的程序,实现上述的自动问答处理方法。
一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时,实现上述的自动问答处理方法。
本申请提出的自动问答处理方法,借助预先训练的语义解析模型,确定问题信息的语义要素,然后基于问题信息的语义要素以及预设的知识图谱,生成与问题信息对应的答复信息。该方法能够从知识图谱中获取与用户提问相关的信息,进而生成正确的答复内容,从而实现自动问答处理。
进一步的,本申请借助语义解析模型,来分别获取问题信息的各项语义要素,该实现方式不同于借助模板来解析问题信息的方式,其能够摆脱模板无法穷举而带来的局限性,只要通过足够丰富、足够数量的问题样本训练,即可使该语义解析模型能够胜任任意场景、任意形式的问题信息的语义要素解析,从而使得本申请提出的自动问答处理方法能够彻底摆脱对模板的依赖性,对于复杂、多样的自动问答场景均具有适用性,在任意场景下均能够实现准确、高效的自动问答处理。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请实施例提供的一种自动问答处理方法的流程示意图;
图2是本申请实施例提供的另一种自动问答处理方法的流程示意图;
图3是本申请实施例提供的自动问答处理过程的示意图;
图4是本申请实施例提供的语义解析模型的结构示意图;
图5是本申请实施例提供的知识蒸馏处理过程示意图;
图6是本申请实施例提供的一种自动问答处理装置的结构示意图;
图7是本申请实施例提供的一种自动问答处理设备的结构示意图。
具体实施方式
本申请实施例提出的技术方案适用于自动问答应用场景,采用本申请实施例技术方案,能够基于知识图谱,自动生成与用户提问的问题信息相对应的答复信息,从而实现准确、高效的自动问答处理。
现有的知识图谱问答技术通常是基于模板的问答,或者是基于问答对的问答。
其中,基于模板的问答,需要基于知识图谱的结构以及问句的句式,定义语义要素解析模板。该方法通过定义的语义要素解析模板,辅助以词性、句法依存分析等语法规则来识别自然问题中的要素,对要素与知识图谱的映射则基本采用资源表的方式由人工配置。通过要素识别,以及要素与知识图谱的映射,即可从知识图谱中确定与自然问题对应的知识信息。
基于问答对的问答,则依赖人工收集创建大规模的问答对形成候选库,将用户提问的自然问题与候选库中的问题进行语义匹配并排序,返回与用户提问的自然问题的语义相似度top1的问题的答案,作为与用户提问的自然问题对应的答复信息。
总结上述现有技术方案可知,现有的知识图谱问题系统对问题的解析依赖人工定义的模板而实现,但是人工定义的模板经常无法与真实的用户问题进行匹配,因此为了尽可能匹配上同一问题的多种不同表述,需要建立庞大的模板库,耗时耗力且查询起来效率教低。而当问题类型扩大到多种问题类型时,模板的规模随着急剧扩大,不便于管理和维护。有些情况下,一个问题会包含多个提问意图,而每个意图的自然表达方式多样,使用模板的方法识别提问意图将导致穷举难度指数级上升,无法应用到实际场景。
因此,现有的知识图谱问答技术对人工定义或创建的问答模板具有绝对依赖,模板无法穷举的事实决定了现有的知识图谱问答技术具有较强的局限性,无法胜任复杂、多样的自动问答任务。
基于上述技术现状,本申请实施例提出一种自动问答处理方法,该方法不仅能够基于知识图谱生成与用户提问相对应的答复信息,而且能够彻底摆脱对模板的依赖性,对于复杂、多样的自动问答场景均具有适用性,在任意场景下均能够实现准确、高效的自动问答处理。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例首先提出一种自动问答处理方法,该方法可示例性的应用于基于知识图谱的自动问答系统,尤其是应用于基于垂直领域知识图谱的自动问答系统。其中,垂直领域知识图谱,是指由同一领域的信息而构成的知识图谱。由于同一领域的信息之间具有符合该领域特点的关联关系,因此将同一领域的信息进行整合构成垂直领域的知识图谱,进而基于该知识图谱进行信息检索,能够更加深入地把握该领域的信息之间的关联关系,从而能够准确、快速地从中获取到感兴趣的信息。
可以理解的是,本申请实施例技术方案也可以应用于全领域知识图谱中,而并不限定于某一垂直领域知识图谱。
参见图1所示,本申请实施例提出的自动问答处理方法,包括:
S101、获取问题信息。
上述的问题信息,是指用户在自动问答场景或自动问答系统中进行提问时,所提出的问题的信息,其用于直接表示用户提问的意图。该问题信息具体可以是用户所提出的问题本身的文本表达、语音表达等,或者是对用户提出的问题进行信息提取、概括或描述而得到的信息内容,例如用户提出的问题的关键信息等。
上述的问题信息,可以在用户向自动问答系统输入问题时实时获取,或者从预先存储的问题信息集合中读取得到。
S102、利用预先训练的语义解析模型对所述问题信息进行语义解析处理,确定所述问题信息的语义要素。其中,所述语义要素至少包括问题类型、实体名,以及提问意图。所述语义解析模型通过识别问题样本的语义要素训练得到。
具体的,本申请实施例预先训练语义解析模型,用于对问题信息进行语义解析处理,确定问题信息的问题类型、问题信息中包含的实体名,以及问题信息所反映的提问意图,即确定问题信息的语义要素。
其中,上述的问题类型,是根据用户在该垂直领域内提问的日常问法而整理确定的问题类型,常见的问题类型包括:单实体百科问题、单实体单属性问题、单实体属性列表问题、关联实体单属性问题、基于属性查询实体问题、比较问题、是非问题。
其中,单实体百科问题,是指针对某一个实体,查询其所有相关信息的问题。例如,提问问题为“A”,A为某一人名,则其视为单实体百科问题,此时应当返回与A相关的所有信息作为答复内容。
单实体单属性问题,是指查询某一个实体的某一种属性的问题。例如,“A的身高是多少?”。
单实体属性列表问题,是指查询某一实体的某一属性的多个属性值的问题。例如,“A等获得过的荣誉称号是?”
关联实体单属性问题,是指通过某一个实体,查询与其相关的另一实体的某一属性的属性值的问题。例如,“A的女儿的身高是?”
基于属性查询实体问题,是指通过某种属性的属性值,查询具有该属性以及该属性值的实体的问题。例如,“参加过8次NBA全明星比赛的篮球运动员是?”
比较问题,是指查询两个实体的同一属性的属性值大小关系的问题。例如,“A与B谁更高?”
是非问题,是指查询某一实体的某一属性值是否为特定属性值的问题。例如,“A的身高是180厘米吗?”
上述的实体名,即为问题信息所对应的实体的实体名,具体为问题信息中的具有特定含义的专有实体名称,其具体类型可以根据行业知识图谱垂直领域的实体类型进行定义,例如可以是人名、地名、物品名称等。
可选的,本申请实施例利用BIOES标注体系,对问题信息中的实体名进行识别标注。其中,“B”表示标签起始词,用于标示实体的起始位置,“I”表示标签中间词,用于标示实体的中间内容,“E”表示标签结束词,用于标示实体的结束位置,“S”表示单个标签词,即对于一个实体,其内容只有一个词,“O”表示非实体词。
举例来说,对于实体类型“人物”来说,对其进行标注的标签为B_人物、I_人物、E_人物、S_人物。
上述的提问意图,是指用户提问的问题信息所涉及的实体的属性或实体之间的关系,也就是用户想要获取的某实体的某一个或某一些属性的属性值,或者是某些实体间的关系。实体的属性和实体之间的关系通常有多种,因此,当问题信息中包含的实体名数量不同时,其所包含的提问意图也不同。
示例性的,上述的语义解析模型,可以基于预训练的bert模型训练得到。在训练过程中,采用包含垂直领域内各种实体名、各种问题类型以及能够涵盖各种提问意图的、数量均衡的问题样本,对该模型进行训练,使其对问题样本进行解析确定语义要素。其中,该语义解析模型对垂直领域问题信息的语义解析,可以借助该垂直领域的知识图谱而实现。
经过足够数量的问题样本的训练,例如针对各种问题类型、各实体名、各种提问意图的,分别收集超过1万句的问题样本,对该模型进行训练,使其对于垂直领域内的各实体名、各种问题类型和各种提问意图,均能够准确识别。此时,对于属于该垂直领域的任意场景下、任意形式的问题信息,均可以通过上述训练得到的语义解析模型,确定其问题类型、实体名和提问意图。
基于上述训练得到的语义解析模型,当获取到问题信息时,将该问题信息输入预先训练的语义解析模型,利用该语义解析模型对该问题信息进行语义解析处理,确定该问题信息的语义要素,即确定问题类型、实体名和提问意图。
通常情况下,用户一次提问只给出一个问题,此时,语义解析模型对问题信息进行语义解析处理,可以确定单实体百科问题、单实体单属性问题、单实体属性列表问题、关联实体单属性问题、基于属性查询实体问题、比较问题、是非问题中的任意一种问题类型,同时确定该问题信息中的实体名,以及提问意图。其中,实体名和提问意图的数量可能为一个也可能为多个,具体随问题信息具体内容而定。
不过在有些情况下,用户一次提问可能同时给出多个连续的问题,此时语义解析模型对用户给出的问题信息进行语义解析,针对其中的每个问题分别进行语义解析,确定其问题类型、实体名和提问意图。
在本申请实施例中,上述的问题信息以单个问题的问题信息为例,用以说明本申请提出的技术方案的具体实施过程。在实际应用中,当一个问题信息中包含多个问题时,或者同时对多个问题信息进行处理时,可以针对其中的每一个问题,分别通过本申请实施例介绍,实现自动问答处理。
S103、基于所述问题信息的语义要素,以及预设的知识图谱,生成与所述问题信息对应的答复信息。
上述的知识图谱,是指上述的支撑自动问答系统的垂直领域知识图谱。
具体的,根据问题信息的提问意图和实体名,即可从该知识图谱中,检索到与实体名相关的、符合提问意图的信息,例如可以检索到包含该实体名,并且符合提问意图的三元组信息。进而,基于检索到的信息,结合问题类型,即可确定与问题信息对应的答复信息。
例如,假设问题信息是“A的身高是多少”,通过对其进行解析可以确定,问题类型是单实体单属性问题,实体名是“A”,提问意图是属性。则根据实体名“A”,从知识图谱中检索包含“A”的身高属性的三元组信息,得到(A,身高,1.85米),则基于该三元组信息,可以生成与问题信息“A的身高是多少”相对应的答复信息“A的身高是1.85米”。
通过上述介绍可见,本申请实施例提出的自动问答处理方法,借助预先训练的语义解析模型,确定问题信息的语义要素,然后基于问题信息的语义要素以及预设的知识图谱,生成与问题信息对应的答复信息。该方法能够从知识图谱中获取与用户提问相关的信息,进而生成正确的答复内容,从而实现自动问答处理。
进一步的,本申请实施例借助语义解析模型,来分别获取问题信息的各项语义要素,该实现方式不同于借助模板来解析问题信息的方式,其能够摆脱模板无法穷举而带来的局限性,只要通过足够丰富、足够数量的问题样本训练,即可使该语义解析模型能够胜任任意场景、任意形式的问题信息的语义要素解析,从而使得本申请提出的自动问答处理方法能够彻底摆脱对模板的依赖性,对于复杂、多样的自动问答场景均具有适用性,在任意场景下均能够实现准确、高效的自动问答处理。
作为一种优选的技术方案,本申请实施例还设置并维护一个别名表,该别名表中,存储着知识图谱中的实体的别名。可以理解,对应同一实体的实体名以及实体别名,都能用于表征该实体。当用户表达提问问题时,可能在问题中使用某一实体的常用实体名,或者使用其实体别名。
因此,为了更加准确地识别问题信息中的实体名,从而更准确地理解用户提问的相关实体,本申请实施例在从问题信息中解析得到实体名后,还根据预设的知识图谱,以及上述预设的别名表,对解析得到的语义要素中的实体名进行更新。
具体的,从预设的知识图谱中检索与解析得到的语义要素中的实体名匹配的实体名,作为模糊链接实体名。以及,从预设的别名表中检索与解析得到的语义要素中的实体名匹配的实体名,作为精确链接实体名。在分别得到上述的模糊链接实体名和精确链接实体名后,本申请实施例利用得到的模糊链接实体名和精确链接实体名,对上述解析得到的语义要素中的实体名进行更新,也就是将解析得到的语义要素中的实体名替换为检索得到的模糊链接实体名和精确链接实体名。
其中,上述的模糊链接实体名,以及上述的精确链接实体名的检索,均可以通过实体名相似度度量而实现,即从知识图谱中检索与语义要素中的实体名相似度高的实体名,作为模糊链接实体名,以及从别名表中检索与语义要素中的实体名相似度高的实体名,作为精确链接实体名。上述的相似度计算,可以具体是文本相似度和/或语义相似度等的计算等。
示例性的,当从预设的知识图谱中检索模糊链接实体名时,先将语义要素中的实体名,分别与预设的知识图谱中的实体名进行相似度度量,确定语义要素中的实体名与预设的知识图谱中的各个实体名之间的相似度。
作为一种优选的实现方式,本申请实施例通过将语义要素中的实体名,与预设的知识图谱中的实体名进行对比,确定语义要素中的实体名,与预设的知识图谱中的实体名的包含情况、最长公共字符串、公共词、三元分词公共字符串,然后根据语义要素中的实体名,与预设的知识图谱中的实体名的包含情况、最长公共字符串、公共词、三元分词公共字符串,度量语义要素中的实体名与预设的知识图谱中的实体名之间的相似度。
具体的,语义要素中的实体名与预设的知识图谱中的实体名的包含情况,是指语义要素中的实体名与知识图谱中的实体名存在字符串相包含的情况。例如xx->xx有限公司,这种情况下用户提问的实体与知识图谱中的实体存在字符串子集的情况,即存在包含情况。
语义要素中的实体名与预设的知识图谱中的实体名的最长公共字符串,是指语义要素中的实体名,与预设的知识图谱中的实体名之间的最长公共子串,通过该最长公共字符串,可以判断实体名之间的关联程度。
语义要素中的实体名与预设的知识图谱中的实体名的公共词,是指对语义要素中的实体名的分词,与知识图谱中的实体名的分词,计算公共词。
语义要素中的实体名与预设的知识图谱中的实体名的三元分词公共字符串,是指语义要素中的实体名进行三元分词后,与知识图谱中的实体名进行三元分词后的公共子串,三元分词可以给实体引入顺序特征和更多的片段信息。
基于上述包含情况、最长公共字符串、公共词、三元分词公共字符串的确认,本申请实施例对上述各项信息进行特征量化,用于度量语义要素中的实体名与预设的知识图谱中的实体名之间的相似度。
具体的,对语义要素中的实体名与预设的知识图谱中的实体名的包含情况进行二值化处理,并将二值化结果作为语义要素中的实体名与预设的知识图谱中的实体名的包含特征。例如,语义要素中的实体名与预设的知识图谱中的实体名具有包含关系,则两者的包含特征为1,否则,两者的包含特征为0。
根据语义要素中的实体名与预设的知识图谱中的实体名的最长公共字符串,计算该最长公共字符串的长度与语义要素中的实体名的长度的比值,作为最长公共子串特征。当最长公共字符串有多个时,将各个最长公共字符串对应的最长公共子串特征进行求和,作为语义要素中的实体名与知识图谱中的实体名的最长公共子串特征。
根据语义要素中的实体名与预设的知识图谱中的实体名的公共词,根据知识图谱中的实体统计tf-idf作为公共词的权重,公共词与相应权重相乘后得到该公共词的特征分数,作为语义要素中的实体名与知识图谱中的实体名之间的加权词特征。当公共词有多个时,将各个公共词对应的特征分数进行求和,作为语义要素中的实体名与知识图谱中的实体名的加权词特征。
根据语义要素中的实体名与预设的知识图谱中的实体名的三元分词公共字符串,计算该三元分词公共字符串的长度与语义要素中的实体名的长度的比值,作为三元分词特征。当三元分词公共字符串有多个时,将各个三元分词公共字符串对应的三元分词特征进行求和,作为语义要素中的实体名与知识图谱中的实体名的三元分词特征。
在分别确定上述各项特征后,按照0.3,0.2,0.3,0.2的权重,对各项特征进行求和,作为语义要素中的实体名与预设的知识图谱中的实体名的相似度。
按照上述处理,对语义要素中的各个实体名,与预设的知识图谱中的各个实体名分别计算相似度。
在分别确定语义要素中的各个实体名与预设的知识图谱中的各个实体名之间的相似度后,基于语义要素中的实体名与预设的知识图谱中的各个实体名之间的相似度,从所述知识图谱中筛选出与所述语义要素中的实体名匹配的实体名,作为模糊链接实体名。
示例性的,从知识图谱中的各个实体名中,选择与语义要素中的实体名的相似度最高的实体名,作为模糊链接实体名。
作为一种优选的实施方式,本申请实施例基于语义要素中的实体名与预设的知识图谱中的各个实体名之间的相似度,从预设的知识图谱中的各个实体名中,选择与语义要素中的实体名的相似度大于第一阈值,并且与目标相似度的差值不大于第二阈值的实体名,作为模糊链接实体名。其中,上述的目标相似度为语义要素中的实体名与预设的知识图谱中的各个实体名之间的最高相似度。上述的第一阈值和第二阈值,可根据实际需求灵活设定。
比如,对预设的知识图谱中的各个实体名,按照其与语义要素中的实体名的相似度从高到低的顺序进行排序。假设该序列top1的实体名与语义要素中的实体名的相似度为X,则从该序列中,选择与语义要素中的实体名的相似度超过第一阈值0.2,并且其与语义要素中的实体名的相似度与X的差值不大于第二阈值0.2的实体名,作为最终选出的模糊链接实体名。
可选的,经过上述的模糊链接实体名和精确链接实体名的检索后,当检索得到的模糊链接实体名和精确链接实体名有多个时,可以将检索出的模糊链接实体名和精确链接实体名输出,由用户从中选择符合其意图的实体名,然后,利用用户选择的实体名更新语义要素中的实体名。经过用户的选择确认,可以使得语义要素中的实体名更准确,更加符合用户意图。
进一步的,当从预设的知识图谱中检索到模糊链接实体名后,本申请实施例还利用检索得到的模糊链接实体名对上述的别名表进行更新,即将检索得到的模糊链接实体名添加到上述的别名表中,以便后期可以从该别名表中更快捷地检索到与问题信息中的实体名相匹配的实体名。
示例性的,利用检索得到的模糊链接实体名对上述的别名表进行更新,还可以设置更新条件,例如,当模糊链接实体名被检索出的次数大于设定阈值时,将其更新到别名表中。
经过上述处理,当确定问题信息中的语义要素后,参见图2所示,上述的基于问题信息中的语义要素,以及预设的知识图谱,生成与问题信息对应的答复信息,具体可以通过如下步骤S203~S204实现:
S203、根据所述问题信息的语义要素,从预设的知识图谱中检索与所述语义要素对应的三元组信息。
具体的,根据语义要素中的问题类型,查询与实体名相关的、符合提问意图的三元组信息。例如,对于单实体百科问题、单实体单属性问题、单实体属性列表问题、比较问题、是非问题,需要从知识图谱中检索与实体相关的属性三元组信息(即用于表示实体的属性值的三元组信息);对于关联实体单属性问题,需要从知识图谱中检索包含关联实体的关系三元组信息,同时检索关系三元组(即用于表示实体之间的关系的三元组信息)中的各个实体的属性三元组信息;对于基于属性查询实体问题,需要从知识图谱中检索包含问题信息中的属性值的属性三元组信息。
该检索过程,需要以适用于知识图谱所在数据库的查询语句实现。
以neo4j存储的数据库为例,当从其中的知识图谱中检索三元组信息时,通过适用于neo4j数据库的cypher查询语句,从该数据库中检索出与语义要素对应的三元组信息。
需要说明的是,当语义要素中存在多个实体名或多个提问意图时,应当从知识图谱中分别检索与各个实体名、各个提问意图相关的三元组信息。
当从上述预设的知识图谱中检索得到与上述问题信息的语义要素对应的三元组信息时,继续执行步骤S204:
S204、根据检索得到的三元组信息,以及所述问题信息的语义要素,生成与所述问题信息对应的答复信息。
具体的,基于从知识图谱中检索得到的三元组信息,根据问题信息的问题类型和提问意图,对检索得到的三元组信息进行推理,得到与问题信息对应的答案,然后再基于推理得到的答案,生成与问题信息对应的答复信息。
例如,对于单实体百科问题,当从知识图谱中检索到与问题信息中的实体名对应的所有三元组信息时,将该实体名对应的所有三元组信息作为与问题信息对应的答案。
对于单实体单属性问题,当从知识图谱中检索到与问题信息中的实体名对应的属性三元组信息时,将该三元组信息中体现的该实体名的属性值,作为与问题信息对应的答案。
对于单实体属性列表问题,当从知识图谱中检索到与问题信息中的实体名对应的各个属性三元组信息时,将各个三元组信息中所体现的该实体的各个属性值,作为与问题信息对应的答案。
对于关联实体单属性问题,当从知识图谱中检索到与问题信息中的实体对应的关系三元组,以及与关系三元组中的实体对应的属性三元组时,先根据关系三元组,确定与用户希望获取的属性值直接对应的实体,然后基于该实体的属性三元组,确定该实体的属性值,作为与问题信息对应的答案。例如,假设用户提问“A的女儿的身高是?”,则此时,先通过关系三元组(A,女儿,B)确定用户希望获取的身高值直接对应的实体是B,然后再基于B的身高属性三元组(B,身高,160cm),确定B的身高为160cm,此时将160cm作为与用户提问对应的答案。
对于基于属性查询实体问题,当从知识图谱中检索到包含问题信息中的属性值的属性三元组时,将该属性三元组中的实体名,作为与问题信息对应的答案。
对于比较问题,当从知识图谱中检索到问题信息中的各个实体的属性三元组时,从各个实体的属性三元组中获取实体的属性值,然后将各个实体的属性值进行比较,比较结果作为与问题信息对应的答案。
对于是非问题,当从知识图谱中检索到问题信息中的实体的属性三元组时,将其属性三元组中的属性值与问题信息中的属性值进行对比,判断从属性三元组中获取的属性值与问题信息中的属性值是否相同,将判断结果作为与问题信息对应的答案。
经过上述推理,当确定与问题信息对应的答案后,根据问题信息的问题类型,将其对应的答案生成与问题信息对应的答复信息。其中,不同类型的问题所对应的答复信息的形式,可参见表1所示:
表1
问题类型 答复信息
单实体百科问题 实体的百科页面展示
单实体单属性问题 实体的属性是属性值
单实体属性列表问题 实体的属性有属性值1、属性值2……
关联实体单属性问题 实体的关系的属性是属性值
基于属性查询实体问题 属性是属性值的有:实体1、实体2……
比较问题 实体1的属性比实体2大
是非问题 是的(不是),实体的属性是属性值
其中需要说明的是,为了使用户了解答案获取的推理方式,本申请实施例在输出答复信息的同时,还输出从三元组信息中提取的属性值,从而使用户可以判断答案的可信度。例如在是非问题中,在输出是非判断后,还进一步输出从知识图谱中检索得到的实体的真实属性值。
例如,假设用户提问是“A的身高是180厘米吗?”,按照上述检索处理,从知识图谱中检索到属性三元组(A,身高,175cm),则推理可以确定A的身高不是180厘米,因此,输出与用户提问对应的答复信息“不是”,与此同时,还输出从知识图谱中检索得到的实体的真实属性值,即输出“A的身高是175厘米”。用户基于上述的答复信息,不仅可以明确A的身高不是180厘米,还可以明确A的身高是175厘米,加强用户对答复信息准确性的判断。
进一步的,在某些情况下,可能从知识图谱中不能检索出与用户问题信息的语义要素对应的三元组信息,此时,执行如下步骤S205~S207的处理:
S205、根据所述语义要素中的实体名,从所述预设的知识图谱中检索包含该实体名的三元组信息。
具体的,以用户问题信息中的实体名作为检索条件,从知识图谱中检索包含该实体名的三元组信息,则,知识图谱中任意的包含该实体名的三元组,均可能被检索出来。
作为一种优选的处理方式,当从知识图谱中检索包含该实体名的三元组信息时,可以限定只检索与语义要素中的实体名和提问意图相关的三元组信息,由此可以保证检索出的三元组信息与用户问题信息的相关性。例如,假设语义要素中的实体名为A,提问意图是A的身高属性,则当利用实体名A从知识图谱中检索三元组信息时,具体是检索与A相关的属性三元组信息,甚至还可以进一步限定从知识图谱中检索与A相关的表现身材属性的三元组信息,例如表现A的体重的三元组信息、表示A的腰围的三元组信息等。
S206、根据检索得到的三元组信息,生成与所述语义要素中的问题类型相同类型的推荐问题。
具体的,根据检索得到的三元组信息,生成与语义要素中的问题类型相同类型的问题,作为推荐问题。例如,假设用户问题信息为“A的父亲是谁”,但是并没有从知识图谱中检索得到(A,父亲,xx)的三元组信息,因此无从知晓A的父亲是谁,也就无法得到答复信息,此时按照本申请实施例技术方案,利用实体名A,从知识图谱中检索得到三元组(A,母亲,C),此时,根据该三元组信息,生成与“A的父亲是谁”相同问题类型的问题“A的母亲是谁”,作为推荐问题。
S207、生成包含所述推荐问题的交互信息,作为与所述问题信息对应的答复信息。
在上述生成的推荐问题的基础上,添加询问信息,构成交互信息,将该交互信息作为与用户问题信息对应的答复信息。
例如,假设生成的推荐问题为“A的母亲是谁”,在此基础上,生成交互信息“您是否想了解‘A的母亲是谁’?”,并将该交互信息输出,作为与用户问题信息对应的答复信息。
进一步的,当用户在接收上述的交互信息之后,给出了肯定回答,则可以进一步获取该交互信息中的问题的答案,作为对用户的肯定回答的答复信息。
例如,用户在接收交互信息“您是否想了解‘A的母亲是谁’?”之后,向主动问答系统输入了“是”,则系统获取“A的母亲是谁”的答案,并生成答复信息“A的母亲是C”。
上述的步骤S205~S207是在未能从知识图谱中检索得出与用户问题信息对应的答复信息时的应对方案。除此之外,还可以设计其他答复内容,以便在未能从知识图谱中检索得出与用户问题信息对应的答复信息时,给用户提供答复。例如,可以设置通用的答复信息“抱歉,我无法解答您的问题”,作为未能从知识图谱中检索得出与用户问题信息对应的答复信息时,对用户问题的答复内容。
图2所示实施例中的步骤S201、S202分别对应图1所示的方法实施例中的步骤S101、S102,其具体内容请参见图1所示实施例的介绍,此处不再重复。
通过上述介绍可见,本申请实施例提出的自动问答处理方法先后经过语义解析、实体链接、用户确认、答案检索、答案生成的处理,其具体处理过程可参见图3所示。
作为一种可选的实现方式,本申请实施例中的上述语义解析模型采用如图4所示的模型结构。
其中,该模型可以采用预训练的bert模型训练得到。输入文本序列进入bert编码层,得到输入文本序列的语义编码结果后,将该语义编码结果输入问题类型分类模块、实体识别模块和意图分类模块,以便基于该语义编码结果,分别执行问题类型分类、实体识别、提问意图分类三种任务,得到问题类型分类结果、实体识别结果和提问意图分类结果。
基于上述的语义解析模型,当其对问题信息进行语义解析处理,确定问题信息的语义要素时,具体通过执行如下步骤S1~S2实现:
S1、对问题信息中的字符序列进行语义编码处理,得到语义编码结果。
具体的,将问题信息中的字符序列输入语义解析模型的bert编码层,使其对输入的字符序列进行语义编码处理,得到语义编码结果。
S2、根据所述语义编码结果,分别进行问题类型分类处理、实体识别处理,以及提问意图分类处理,确定所述问题信息的问题类型、实体名和提问意图。
具体的,将上述的语义编码结果分别输入问题类型分类模块、实体识别模块和意图分类模块。问题类型分类模块、实体识别模块和意图分类模块,可以分别是单独的任务模型,分别用于根据用户问题信息的语义编码结果,进行问题类型分类、实体识别和提问意图分类,从而得到问题信息的问题类型、实体名和提问意图。
上述的问题类型分类模块、实体识别模块和意图分类模块分别具有各自不同的任务,但是基于本申请实施例提出的模型结构设计,三个任务并不是独立的任务,三者之间的语义存在关联(即基于同一语义编码结果执行任务),从而使得三个任务均可以学习到各个任务之间的约束与关联,以提高问题类型、实体名和提问意图的识别效率和准确率。
下面,对本申请上述实施例中所述的语义解析模型的训练过程进行介绍。
在上文介绍中已经说明,本申请实施例中的语义解析模型是基于预训练的bert模型训练得到的。但是bert模型有12层,其参数量巨大、计算量也较大,不利于硬件资源紧张及实时性要求高的情况下应用,并且该大体量的模型不利于线上部署。
针对上述问题,本申请实施例在模型训练阶段,应用知识蒸馏技术,实现模型压缩,使语义解析模型轻量化。
知识蒸馏是一种模型压缩方法,其基于“教师-学生网络”的思想,将已训练好的复杂、学习能力强的模型(教师模型)包含的知识蒸馏进另一个参数量小、学习能力弱的模型(学生模型)中去,从而使小模型实现与大模型一样的功能。
基于上述思想,本申请实施例在训练语义解析模型时,先利用训练样本,对12层的预训练的bert模型进行训练,得到教师模型,该教师模型具备从问题样本中解析得到语义要素的能力。
然后,执行如下A1~A3的训练过程:
A1、从问题样本集中选择问题样本输入预训练的RBT3模型以及教师模型,使所述预训练的RBT3模型以及所述教师模型对输入的问题样本进行语义解析处理,得到语义解析结果。
上述的RBT3模型,是一种预训练的3层网络模型,具体是基于预训练的bert模型进行改进、压缩后得到的更简化的网络模型,其适用于对中文文本进行处理。由于其结构简化、体量较小、性能稳定,因此适合线上部署。本申请实施例将预训练的RBT3模型作为学生模型,借助教师模型对其进行训练,使其能够取得与教师模型相同的语义解析性能。
具体的,读入训练样本集,初始化教师模型,读入训练好的权重并且初始化学生模型后,使教师模型和学生模型分别对输入的问题样本进行语义解析处理,得到教师模型和学生模型输出的语义解析结果。
A2、计算所述RBT3模型与所述教师模型输出的语义解析结果与输入的问题样本对应的语义要素标签之间的损失,作为第一类型损失,以及,计算所述RBT3模型的各中间层运算结果与所述教师模型的中间层运算结果之间的损失,作为第二类型损失。
具体的,计算RBT3模型和教师模型的输出损失,作为第一类型损失,该第一类型损失是模型训练的常规、基本损失函数。同时,计算RBT3模型的各中间层运算结果与所述教师模型的中间层运算结果之间的损失,作为第二类型损失。
示例性的,在上述的第二类型损失中,包含两种损失,一种为L3_hidden_mse,其含义为bert结构中的中间层之间的mse损失,即教师模型的第4层BERT输出和学生模型的第1层BERT输出,教师模型的第8层输出和学生模型的第2层输出之间的mse损失,教师模型的第12层输出和学生模型的第3层输出之间的mse损失;另一种为L3_hidden_smmd,其含义为教师模型的第4层(shape为batch_size*max_length*hidden_size)自身与自身先进行一次矩阵运算,得到shape为batch_size*max_length*max_length的新矩阵,学生模型的第1层同样如此,然后计算教师模型的新矩阵与学生模型的新矩阵之间的mse损失,其余的(教师模型的第8层与学生模型的第2层、教师模型的第12层与学生模型的第3层)仿照L3_hidden_mse以此类推。
A3、基于所述第一类型损失和所述第二类型损失,对所述RBT3模型的运算参数进行校正。
具体的,利用第一类型损失对RBT3模型的运算参数进行校正,可以使得模型运算结果趋近正确结果。利用第二类型损失对RBT3模型的运算参数进行校正,可以使得模型的运算过程趋近于教师模型的运算过程。
重复上述的A1~A3的训练过程,直至第一类型损失和第二类型损失均小于设定损失阈值,结束训练,得到语义解析模型。上述知识蒸馏训练过程可以参见图5所示的知识蒸馏过程示意图。该训练过程的具体细节内容,可以参照常规的模型训练方案而理解,本申请实施例不在详述。
利用上述的第一类型损失和第二类型损失,对RBT3模型的运算参数进行校正,可以使训练得到的语义解析模型不但可以学习到教师模型的最终输出结果,还能学会教师模型的中间运算过程,使其功能、性能与教师模型相一致。
在上述的模型训练过程中,在计算第一类型损失时,具体需要计算模型输出的问题类型分类结果、实体识别结果、提问意图分类结果,与问题样本对应的问题类型标签、实体名标签和提问意图标签之间的损失。
其中,在自动问答业务或场景中,提问意图可以为多种,但是在用户问题中通常包含1-2个提问意图,提问意图数量远大于2,又由于提问意图数量不固定,本申请实施例采用多标签分类来实现所有问题中提问意图的识别。
具体的,上述的RBT3模型对输入的问题样本进行语义解析处理,得到的语义解析结果中的提问意图分类结果,以对预设的各个提问意图的二分类结果表示。
上述的各个提问意图,即为在自动问答业务或场景中,可能出现的所有提问意图。本申请实施例以对上述各个提问意图的二分类结果,表示对问题信息进行提问意图分类的表示结果,例如,将问题信息中包含的提问意图分类为“1”,将问题信息中未包含的提问意图分类为“0”,得到长度与所有提问意图数量相同的二值序列,即作为提问意图分类结果。
在该二值序列中,每一序列元素分别对应一个提问意图,序列元素的值反映对应的提问意图在问题信息中存在与否。
上述的提问意图分类结果,将提问意图标签转化为问题中是否存在该提问意图的二分类问题,由于预测的提问意图数量远低于知识图谱中的意图总数量,会引入训练样本正负样本不均衡问题。
为解决上述问题,在计算RBT3模型输出的提问意图分类结果与输入的问题样本对应的语义要素标签中的提问意图分类结果之间的损失时,利用logsumexp损失函数,来计算RBT3模型输出的提问意图分类结果与输入的问题样本对应的语义要素标签中的提问意图分类结果之间的损失。
具体的,logsumexp损失函数的计算公式如下:
Figure BDA0003101817400000191
其中,i表示第i个提问意图,Si表示语义解析模型对第i个提问意图的预测分数,pos表示正样本,neg表示负样本。
上述的损失函数可以将多标签任务变成目标类得分与非目标类得分的两两比较,能够解决正负样本不均衡问题。
上述logsumexp损失函数的具体计算、物理含义和应用过程,还可以参照现有技术中关于logsumexp损失函数的介绍,本申请实施例不再详述。
与上述的自动问答处理方法相对应的,本申请实施例还提出一种自动问答处理装置,参见图6所示,该装置包括:
问题获取单元100,用于获取问题信息;
问题解析单元110,用于利用预先训练的语义解析模型对所述问题信息进行语义解析处理,确定所述问题信息的语义要素,其中,所述语义解析模型通过识别问题样本的语义要素训练得到;所述语义要素至少包括问题类型、实体名,以及提问意图;
问题答复单元120,用于基于所述问题信息的语义要素,以及预设的知识图谱,生成与所述问题信息对应的答复信息。
本申请实施例提出的自动问答处理装置,借助预先训练的语义解析模型,确定问题信息的语义要素,然后基于问题信息的语义要素以及预设的知识图谱,生成与问题信息对应的答复信息。该方法能够从知识图谱中获取与用户提问相关的信息,进而生成正确的答复内容,从而实现自动问答处理。
进一步的,本申请实施例借助语义解析模型,来分别获取问题信息的各项语义要素,该实现方式不同于借助模板来解析问题信息的方式,其能够摆脱模板无法穷举而带来的局限性,只要通过足够丰富、足够数量的问题样本训练,即可使该语义解析模型能够胜任任意场景、任意形式的问题信息的语义要素解析,从而使得本申请提出的自动问答处理方法能够彻底摆脱对模板的依赖性,对于复杂、多样的自动问答场景均具有适用性,在任意场景下均能够实现准确、高效的自动问答处理。
作为一种可选的实施方式,在确定所述问题信息的语义要素后,所述问题解析单元还用于:
根据预设的知识图谱以及预设的别名表,对所述语义要素中的实体名进行更新。
作为一种可选的实现方式,所述根据预设的知识图谱以及预设的别名表,对所述语义要素中的实体名进行更新,包括:
从预设的知识图谱中检索与所述语义要素中的实体名匹配的实体名,作为模糊链接实体名;
以及,
从预设的别名表中检索与所述语义要素中的实体名匹配的实体名,作为精确链接实体名;
利用检索到的模糊链接实体名以及精确链接实体名,对所述语义要素中的实体名进行更新。
作为一种可选的实现方式,从预设的知识图谱中检索与所述语义要素中的实体名匹配的实体名,作为模糊链接实体名,包括:
将所述语义要素中的实体名,分别与预设的知识图谱中的实体名进行相似度度量,确定所述语义要素中的实体名与预设的知识图谱中的各个实体名之间的相似度;
基于所述语义要素中的实体名与预设的知识图谱中的各个实体名之间的相似度,从所述知识图谱中筛选出与所述语义要素中的实体名匹配的实体名,作为模糊链接实体名。
作为一种可选的实现方式,将所述语义要素中的实体名,分别与预设的知识图谱中的实体名进行相似度度量,确定所述语义要素中的实体名与预设的知识图谱中的各个实体名之间的相似度,包括:
通过将所述语义要素中的实体名,与预设的知识图谱中的实体名进行对比,确定所述语义要素中的实体名,与预设的知识图谱中的实体名的包含情况、最长公共字符串、公共词、三元分词公共字符串;
根据所述语义要素中的实体名,与预设的知识图谱中的实体名的包含情况、最长公共字符串、公共词、三元分词公共字符串,度量所述语义要素中的实体名与预设的知识图谱中的实体名之间的相似度。
作为一种可选的实现方式,所述知识图谱中的、与所述语义要素中的实体名匹配的实体名,包括:
与所述语义要素中的实体名的相似度大于第一阈值,并且与目标相似度的差值不大于第二阈值的实体名,其中,所述目标相似度为所述语义要素中的实体名与预设的知识图谱中的各个实体名之间的最高相似度。
作为一种可选的实施方式,所述问题解析单元还用于:
利用检索到的模糊链接实体名对所述别名表进行更新。
作为一种可选的实现方式,所述基于所述问题信息的语义要素,以及预设的知识图谱,生成与所述问题信息对应的答复信息,包括:
根据所述问题信息的语义要素,从预设的知识图谱中检索与所述语义要素对应的三元组信息;
根据检索得到的三元组信息,以及所述问题信息的语义要素,生成与所述问题信息对应的答复信息。
作为一种可选的实施方式,所述问题答复单元还用于:
如果从预设知识图谱中未检索出与所述语义要素对应的三元组信息,则根据所述语义要素中的实体名,从所述预设的知识图谱中检索包含该实体名的三元组信息;
根据检索得到的三元组信息,生成与所述语义要素中的问题类型相同类型的推荐问题;
生成包含所述推荐问题的交互信息,作为与所述问题信息对应的答复信息。
作为一种可选的实现方式,所述问题类型为单实体百科问题、单实体单属性问题、单实体属性列表问题、关联实体单属性问题、基于属性查询实体问题、比较问题、是非问题中的任意一种。
作为一种可选的实现方式,所述语义解析模型对所述问题信息进行语义解析处理,确定所述问题信息的语义要素,包括:
对所述问题信息的字符序列进行语义编码处理,得到语义编码结果;
根据所述语义编码结果,分别进行问题类型分类处理、实体识别处理,以及提问意图分类处理,确定所述问题信息的问题类型、实体名和提问意图。
作为一种可选的实现方式,所述语义解析模型的训练过程,包括:
从问题样本集中选择问题样本输入预训练的RBT3模型以及教师模型,使所述预训练的RBT3模型以及所述教师模型对输入的问题样本进行语义解析处理,得到语义解析结果;其中,所述教师模型是通过对预训练的bert模型进行训练得到的、具备从问题信息中解析得到语义要素的能力的模型;
计算所述RBT3模型输出的语义解析结果与输入的问题样本对应的语义要素标签之间的损失,作为第一类型损失,以及,计算所述RBT3模型的各中间层运算结果与所述教师模型的中间层运算结果之间的损失,作为第二类型损失;
基于所述第一类型损失和所述第二类型损失,对所述RBT3模型的运算参数进行校正;
重复对所述RBT3的上述训练过程,直至所述第一类型损失和所述第二类型损失均小于设定损失阈值。
作为一种可选的实现方式,所述RBT3模型对输入的问题样本进行语义解析处理,得到的语义解析结果中的提问意图分类结果,以对预设的各个提问意图的二分类结果表示;
相应的,计算所述RBT3模型输出的提问意图分类结果与输入的问题样本对应的语义要素标签中的提问意图分类结果之间的损失,包括:
利用logsumexp损失函数,计算所述RBT3模型输出的提问意图分类结果与输入的问题样本对应的语义要素标签中的提问意图分类结果之间的损失。
其中,上述的自动问答处理装置的各个实施例中的各个单元的具体工作内容,请参见上述方法实施例中的相应处理步骤的内容,此处不再重复。
本申请另一实施例还提出一种自动问答处理设备,参见图7所示,该设备包括:
存储器200和处理器210;
其中,所述存储器200与所述处理器210连接,用于存储程序;
所述处理器210,用于通过运行所述存储器200中存储的程序,实现上述任一实施例公开的自动问答处理方法。
具体的,上述自动问答处理设备还可以包括:总线、通信接口220、输入设备230和输出设备240。
处理器210、存储器200、通信接口220、输入设备230和输出设备240通过总线相互连接。其中:
总线可包括一通路,在计算机系统各个部件之间传送信息。
处理器210可以是通用处理器,例如通用中央处理器(CPU)、微处理器等,也可以是特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器210可包括主处理器,还可包括基带芯片、调制解调器等。
存储器200中保存有执行本发明技术方案的程序,还可以保存有操作系统和其他关键业务。具体地,程序可以包括程序代码,程序代码包括计算机操作指令。更具体的,存储器200可以包括只读存储器(read-only memory,ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory,RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。
输入设备230可包括接收用户输入的数据和信息的装置,例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。
输出设备240可包括允许输出信息给用户的装置,例如显示屏、打印机、扬声器等。
通信接口220可包括使用任何收发器一类的装置,以便与其他设备或通信网络通信,如以太网,无线接入网(RAN),无线局域网(WLAN)等。
处理器2102执行存储器200中所存放的程序,以及调用其他设备,可用于实现本申请实施例所提供的自动问答处理方法的各个步骤。
本申请另一实施例还提供了一种存储介质,该存储介质上存储有计算机程序,该计算机程序被处理器运行时,实现上述任一实施例提供的自动问答处理方法的各个步骤。
具体的,上述的自动问答处理设备的各个部分的具体工作内容,以及上述的存储介质上的计算机程序被处理器运行时的具体处理内容,均可以参见上述的自动问答处理方法的各个实施例的内容,此处不再赘述。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减,各实施例中记载的技术特征可以进行替换或者组合。
本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。
本申请所提供的几个实施例中,应该理解到,所揭露的终端,装置和方法,可以通过其它的方式实现。例如,以上所描述的终端实施例仅仅是示意性的,例如,模块或子模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个子模块或模块可以结合或者可以集成到另一个模块,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的,作为模块或子模块的部件可以是或者也可以不是物理模块或子模块,即可以位于一个地方,或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中,也可以是各个模块或子模块单独物理存在,也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现,也可以采用软件功能模块或子模块的形式实现。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元,或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种自动问答处理方法,其特征在于,包括:
获取问题信息;
利用预先训练的语义解析模型对所述问题信息进行语义解析处理,确定所述问题信息的语义要素,其中,所述语义解析模型通过识别问题样本的语义要素训练得到;所述语义要素至少包括问题类型、实体名,以及提问意图;
基于所述问题信息的语义要素,以及预设的知识图谱,生成与所述问题信息对应的答复信息。
2.根据权利要求1所述的方法,其特征在于,在确定所述问题信息的语义要素后,所述方法还包括:
根据预设的知识图谱以及预设的别名表,对所述语义要素中的实体名进行更新。
3.根据权利要求2所述的方法,其特征在于,所述根据预设的知识图谱以及预设的别名表,对所述语义要素中的实体名进行更新,包括:
从预设的知识图谱中检索与所述语义要素中的实体名匹配的实体名,作为模糊链接实体名;
以及,
从预设的别名表中检索与所述语义要素中的实体名匹配的实体名,作为精确链接实体名;
利用检索到的模糊链接实体名以及精确链接实体名,对所述语义要素中的实体名进行更新。
4.根据权利要求3所述的方法,其特征在于,从预设的知识图谱中检索与所述语义要素中的实体名匹配的实体名,作为模糊链接实体名,包括:
将所述语义要素中的实体名,分别与预设的知识图谱中的实体名进行相似度度量,确定所述语义要素中的实体名与预设的知识图谱中的各个实体名之间的相似度;
基于所述语义要素中的实体名与预设的知识图谱中的各个实体名之间的相似度,从所述知识图谱中筛选出与所述语义要素中的实体名匹配的实体名,作为模糊链接实体名。
5.根据权利要求4所述的方法,其特征在于,将所述语义要素中的实体名,分别与预设的知识图谱中的实体名进行相似度度量,确定所述语义要素中的实体名与预设的知识图谱中的各个实体名之间的相似度,包括:
通过将所述语义要素中的实体名,与预设的知识图谱中的实体名进行对比,确定所述语义要素中的实体名,与预设的知识图谱中的实体名的包含情况、最长公共字符串、公共词、三元分词公共字符串;
根据所述语义要素中的实体名,与预设的知识图谱中的实体名的包含情况、最长公共字符串、公共词、三元分词公共字符串,度量所述语义要素中的实体名与预设的知识图谱中的实体名之间的相似度。
6.根据权利要求4所述的方法,其特征在于,所述知识图谱中的、与所述语义要素中的实体名匹配的实体名,包括:
与所述语义要素中的实体名的相似度大于第一阈值,并且与目标相似度的差值不大于第二阈值的实体名,其中,所述目标相似度为所述语义要素中的实体名与预设的知识图谱中的各个实体名之间的最高相似度。
7.根据权利要求3所述的方法,其特征在于,所述方法还包括:
利用检索到的模糊链接实体名对所述别名表进行更新。
8.根据权利要求1所述的方法,其特征在于,所述基于所述问题信息的语义要素,以及预设的知识图谱,生成与所述问题信息对应的答复信息,包括:
根据所述问题信息的语义要素,从预设的知识图谱中检索与所述语义要素对应的三元组信息;
根据检索得到的三元组信息,以及所述问题信息的语义要素,生成与所述问题信息对应的答复信息。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
如果从预设知识图谱中未检索出与所述语义要素对应的三元组信息,则根据所述语义要素中的实体名,从所述预设的知识图谱中检索包含该实体名的三元组信息;
根据检索得到的三元组信息,生成与所述语义要素中的问题类型相同类型的推荐问题;
生成包含所述推荐问题的交互信息,作为与所述问题信息对应的答复信息。
10.根据权利要求1所述的方法,其特征在于,所述问题类型为单实体百科问题、单实体单属性问题、单实体属性列表问题、关联实体单属性问题、基于属性查询实体问题、比较问题、是非问题中的任意一种。
11.根据权利要求1所述的方法,其特征在于,所述语义解析模型对所述问题信息进行语义解析处理,确定所述问题信息的语义要素,包括:
对所述问题信息的字符序列进行语义编码处理,得到语义编码结果;
根据所述语义编码结果,分别进行问题类型分类处理、实体识别处理,以及提问意图分类处理,确定所述问题信息的问题类型、实体名和提问意图。
12.根据权利要求1至11中任意一项所述的方法,其特征在于,所述语义解析模型的训练过程,包括:
从问题样本集中选择问题样本输入预训练的RBT3模型以及教师模型,使所述预训练的RBT3模型以及所述教师模型对输入的问题样本进行语义解析处理,得到语义解析结果;其中,所述教师模型是通过对预训练的bert模型进行训练得到的、具备从问题信息中解析得到语义要素的能力的模型;
计算所述RBT3模型输出的语义解析结果与输入的问题样本对应的语义要素标签之间的损失,作为第一类型损失,以及,计算所述RBT3模型的各中间层运算结果与所述教师模型的中间层运算结果之间的损失,作为第二类型损失;
基于所述第一类型损失和所述第二类型损失,对所述RBT3模型的运算参数进行校正;
重复对所述RBT3的上述训练过程,直至所述第一类型损失和所述第二类型损失均小于设定损失阈值。
13.根据权利要求12所述的方法,其特征在于,所述RBT3模型对输入的问题样本进行语义解析处理,得到的语义解析结果中的提问意图分类结果,以对预设的各个提问意图的二分类结果表示;
相应的,计算所述RBT3模型输出的提问意图分类结果与输入的问题样本对应的语义要素标签中的提问意图分类结果之间的损失,包括:
利用logsumexp损失函数,计算所述RBT3模型输出的提问意图分类结果与输入的问题样本对应的语义要素标签中的提问意图分类结果之间的损失。
14.一种自动问答处理装置,其特征在于,包括:
问题获取单元,用于获取问题信息;
问题解析单元,用于利用预先训练的语义解析模型对所述问题信息进行语义解析处理,确定所述问题信息的语义要素,其中,所述语义解析模型通过识别问题样本的语义要素训练得到;所述语义要素至少包括问题类型、实体名,以及提问意图;
问题答复单元,用于基于所述问题信息的语义要素,以及预设的知识图谱,生成与所述问题信息对应的答复信息。
15.一种自动问答处理设备,其特征在于,包括:
存储器和处理器;
其中,所述存储器与所述处理器连接,用于存储程序;
所述处理器,用于通过运行所述存储器中的程序,实现如权利要求1至13中任意一项所述的自动问答处理方法。
16.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时,实现如权利要求1至13中任意一项所述的自动问答处理方法。
CN202110627059.3A 2021-06-04 2021-06-04 自动问答处理方法、装置、设备及存储介质 Pending CN113360616A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110627059.3A CN113360616A (zh) 2021-06-04 2021-06-04 自动问答处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110627059.3A CN113360616A (zh) 2021-06-04 2021-06-04 自动问答处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113360616A true CN113360616A (zh) 2021-09-07

Family

ID=77532407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110627059.3A Pending CN113360616A (zh) 2021-06-04 2021-06-04 自动问答处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113360616A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792129A (zh) * 2021-09-16 2021-12-14 平安普惠企业管理有限公司 一种智能会话方法、装置、计算机设备及介质
CN114021546A (zh) * 2021-09-08 2022-02-08 北京市农林科学院信息技术研究中心 迁移语境网络的大桃生产知识开放问答方法及装置
CN114090858A (zh) * 2022-01-18 2022-02-25 广州博士信息技术研究院有限公司 基于自动化爬虫的资源池对象数据获取方法及系统
CN114218372A (zh) * 2021-12-17 2022-03-22 北京北大软件工程股份有限公司 基于知识库表示的知识图谱检索方法及系统
CN114281959A (zh) * 2021-10-27 2022-04-05 腾讯科技(深圳)有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114707520A (zh) * 2022-06-06 2022-07-05 天津大学 一种面向会话的语义依存分析方法及装置
CN114817510A (zh) * 2022-06-23 2022-07-29 清华大学 问答方法、问答数据集生成方法及装置
CN115168603A (zh) * 2022-06-27 2022-10-11 天翼爱音乐文化科技有限公司 一种彩铃业务流程自动反馈应答方法、装置及存储介质
CN115329063A (zh) * 2022-10-18 2022-11-11 江西电信信息产业有限公司 一种用户的意图识别方法及系统
CN116431779A (zh) * 2023-03-15 2023-07-14 北京擎盾信息科技有限公司 法律领域faq问答的匹配方法、装置、存储介质及电子装置
CN116955560A (zh) * 2023-07-21 2023-10-27 广州拓尔思大数据有限公司 基于思考链和知识图谱的数据处理方法及系统
CN117521799A (zh) * 2024-01-08 2024-02-06 徐州医科大学 一种基于提示学习的个性化知识图谱动态生成方法
CN117743557A (zh) * 2024-02-08 2024-03-22 卓智网络科技有限公司 智能客服方法、装置、服务器及存储介质
CN117743557B (zh) * 2024-02-08 2024-06-04 卓智网络科技有限公司 智能客服方法、装置、服务器及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095932A (zh) * 2016-06-13 2016-11-09 竹间智能科技(上海)有限公司 百科知识问句识别方法及装置
US20170177715A1 (en) * 2015-12-21 2017-06-22 Adobe Systems Incorporated Natural Language System Question Classifier, Semantic Representations, and Logical Form Templates
CN111639171A (zh) * 2020-06-08 2020-09-08 吉林大学 一种知识图谱问答方法及装置
CN111708874A (zh) * 2020-08-24 2020-09-25 湖南大学 基于复杂意图智能识别的人机交互问答方法与系统
CN112232086A (zh) * 2020-10-16 2021-01-15 腾讯科技(深圳)有限公司 一种语义识别方法、装置、计算机设备及存储介质
CN112508169A (zh) * 2020-11-13 2021-03-16 华为技术有限公司 知识蒸馏方法和系统
CN112527997A (zh) * 2020-12-18 2021-03-19 中国南方电网有限责任公司 一种基于电网领域调度场景知识图谱的智能问答方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177715A1 (en) * 2015-12-21 2017-06-22 Adobe Systems Incorporated Natural Language System Question Classifier, Semantic Representations, and Logical Form Templates
CN106095932A (zh) * 2016-06-13 2016-11-09 竹间智能科技(上海)有限公司 百科知识问句识别方法及装置
CN111639171A (zh) * 2020-06-08 2020-09-08 吉林大学 一种知识图谱问答方法及装置
CN111708874A (zh) * 2020-08-24 2020-09-25 湖南大学 基于复杂意图智能识别的人机交互问答方法与系统
CN112232086A (zh) * 2020-10-16 2021-01-15 腾讯科技(深圳)有限公司 一种语义识别方法、装置、计算机设备及存储介质
CN112508169A (zh) * 2020-11-13 2021-03-16 华为技术有限公司 知识蒸馏方法和系统
CN112527997A (zh) * 2020-12-18 2021-03-19 中国南方电网有限责任公司 一种基于电网领域调度场景知识图谱的智能问答方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙茂松等: "自然语言处理研究前沿", 31 December 2017, 《上海:上海交通大学出版社》, pages: 295 - 296 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114021546A (zh) * 2021-09-08 2022-02-08 北京市农林科学院信息技术研究中心 迁移语境网络的大桃生产知识开放问答方法及装置
CN113792129A (zh) * 2021-09-16 2021-12-14 平安普惠企业管理有限公司 一种智能会话方法、装置、计算机设备及介质
CN114281959B (zh) * 2021-10-27 2024-03-19 腾讯科技(深圳)有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114281959A (zh) * 2021-10-27 2022-04-05 腾讯科技(深圳)有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114218372A (zh) * 2021-12-17 2022-03-22 北京北大软件工程股份有限公司 基于知识库表示的知识图谱检索方法及系统
CN114090858A (zh) * 2022-01-18 2022-02-25 广州博士信息技术研究院有限公司 基于自动化爬虫的资源池对象数据获取方法及系统
CN114090858B (zh) * 2022-01-18 2022-04-26 广州博士信息技术研究院有限公司 基于自动化爬虫的资源池对象数据获取方法及系统
CN114707520A (zh) * 2022-06-06 2022-07-05 天津大学 一种面向会话的语义依存分析方法及装置
CN114817510A (zh) * 2022-06-23 2022-07-29 清华大学 问答方法、问答数据集生成方法及装置
CN115168603A (zh) * 2022-06-27 2022-10-11 天翼爱音乐文化科技有限公司 一种彩铃业务流程自动反馈应答方法、装置及存储介质
CN115329063A (zh) * 2022-10-18 2022-11-11 江西电信信息产业有限公司 一种用户的意图识别方法及系统
CN116431779A (zh) * 2023-03-15 2023-07-14 北京擎盾信息科技有限公司 法律领域faq问答的匹配方法、装置、存储介质及电子装置
CN116431779B (zh) * 2023-03-15 2023-10-03 北京擎盾信息科技有限公司 法律领域faq问答的匹配方法、装置、存储介质及电子装置
CN116955560A (zh) * 2023-07-21 2023-10-27 广州拓尔思大数据有限公司 基于思考链和知识图谱的数据处理方法及系统
CN116955560B (zh) * 2023-07-21 2024-01-05 广州拓尔思大数据有限公司 基于思考链和知识图谱的数据处理方法及系统
CN117521799A (zh) * 2024-01-08 2024-02-06 徐州医科大学 一种基于提示学习的个性化知识图谱动态生成方法
CN117521799B (zh) * 2024-01-08 2024-03-08 徐州医科大学 一种基于提示学习的个性化知识图谱动态生成方法
CN117743557A (zh) * 2024-02-08 2024-03-22 卓智网络科技有限公司 智能客服方法、装置、服务器及存储介质
CN117743557B (zh) * 2024-02-08 2024-06-04 卓智网络科技有限公司 智能客服方法、装置、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN113360616A (zh) 自动问答处理方法、装置、设备及存储介质
CN117033608B (zh) 一种基于大语言模型的知识图谱生成式问答方法及系统
CN108804521B (zh) 一种基于知识图谱的问答方法及农业百科问答系统
CN109408627B (zh) 一种融合卷积神经网络和循环神经网络的问答方法及系统
CN110727779A (zh) 基于多模型融合的问答方法及系统
CN111475623A (zh) 基于知识图谱的案件信息语义检索方法及装置
CN110532379B (zh) 一种基于lstm的用户评论情感分析的电子资讯推荐方法
CN112650840A (zh) 一种基于知识图谱推理的医疗智能问答处理方法及系统
CN111444344B (zh) 实体分类方法、装置、计算机设备和存储介质
CN111625658A (zh) 基于知识图谱的语音交互方法、装置、设备及存储介质
CN112800170A (zh) 问题的匹配方法及装置、问题的回复方法及装置
CN108664599B (zh) 智能问答方法、装置、智能问答服务器及存储介质
CN106991161A (zh) 一种自动生成开放式问题答案的方法
CN114036281B (zh) 基于知识图谱的柑橘管控问答模块构建方法及问答系统
CN110347701B (zh) 一种面向实体检索查询的目标类型标识方法
CN111368096A (zh) 基于知识图谱的信息分析方法、装置、设备和存储介质
CN113342958B (zh) 问答匹配方法、文本匹配模型的训练方法和相关设备
CN113569023A (zh) 一种基于知识图谱的中文医药问答系统及方法
CN111078835A (zh) 简历评估方法、装置、计算机设备及存储介质
CN111192170B (zh) 题目推送方法、装置、设备和计算机可读存储介质
CN114254615A (zh) 组卷方法、装置、电子设备和存储介质
CN117235238B (zh) 问答方法、装置、存储介质及计算机设备
CN111611806B (zh) 一种用于知识图谱问答的语义解析方法、系统及设备
CN111460119B (zh) 经济知识智能问答方法、系统及智能设备
CN117216221A (zh) 一种基于知识图谱的智能问答系统及构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination