CN116303919A - 一种问答方法及系统 - Google Patents

一种问答方法及系统 Download PDF

Info

Publication number
CN116303919A
CN116303919A CN202211522222.0A CN202211522222A CN116303919A CN 116303919 A CN116303919 A CN 116303919A CN 202211522222 A CN202211522222 A CN 202211522222A CN 116303919 A CN116303919 A CN 116303919A
Authority
CN
China
Prior art keywords
answer
question
standard
entity
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211522222.0A
Other languages
English (en)
Inventor
林培鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211522222.0A priority Critical patent/CN116303919A/zh
Publication of CN116303919A publication Critical patent/CN116303919A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种问答方法及系统,应用于终端领域,服务器预置多组问答对,每组问答对包括一个标准提问信息和对应的一个标准答案,该方法包括:获取第一提问信息,第一提问信息中包括第一实体;若确定第一实体被包含在至少一个标准提问信息中,则获取与至少一个标准提问信息对应的标准答案,作为备选答案;在备选答案中确定与第一提问信息的匹配度满足预设条件的第一答案。可以避免因实体匹配错误造成的答案准确率低的问题。

Description

一种问答方法及系统
技术领域
本申请涉及终端技术领域,尤其涉及一种问答方法及系统。
背景技术
在线问答场景中,电子设备可接收用户输入的提问,对提问自动分析处理,得到提问的答案。一种典型的对提问分析处理的技术为常见提问问答(frequently-askedquestions,FAQ)技术:采用FAQ技术,可以在语料库中存储各种常见问题的标准提问信息及其标准答案;电子设备将语料库中,与用户输入的提问语义相似度高的标准提问信息所对应的标准答案输出给用户。但是实际中,这种方式下提问与标准答案的错配几率较高,也就是说将语料库中与提问不相关的标准答案输出了,导致答非所问,因此难以为用户提供准确的答案。
发明内容
基于此,本申请实施例提供一种问答方法及系统,通过召回语料库中与用户输入的问题信息中的第一实体关联的答案集合,在答案集合中筛选第一答案提供给用户,从而减少因错配实体导致的问题和第一答案错配几率高的问题,提高了第一答案的质量和准确率,用户在线问答体验感好。
第一发方面,本申请实施例提供一种问答方法,应用于服务器,服务器预置多组问答对,每组问答对包括一个标准提问信息和对应的一个标准答案,该方法包括:获取第一提问信息,第一提问信息中包括第一实体;若确定第一实体被包含在至少一个标准提问信息中,则获取与至少一个标准提问信息对应的标准答案,作为备选答案;在备选答案中确定与第一提问信息的匹配度满足预设条件的第一答案。
在该方案中,针对第一提问信息生成答案时,在问答对中包括与第一提问信息中的第一实体有关的标准提问信息的情况下,才获取与标准提问信息对应的标准答案,作为备选答案。从而避免因实体匹配错误造成的答案准确率低的问题。在备选答案中选取匹配度满足预设条件的备选答案,作为第一提问信息对应的第一答案,第一答案与第一提问信息的匹配度高,且都对第一实体有关,因此匹配准确率高。
在第一方面的一种可能的设计方式中,服务器设置有第一图谱,第一图谱包括节点和关系边,其中,节点表示标准提问信息中的第二实体,关系边表示两个第二实体相关联;确定第一实体被包含在至少一个标准提问信息中,包括:确定第一实体与第一图谱中的至少一个第二实体相匹配。
该设计方式下,将自然语言表达的标准答案作为边或节点的属性值,从而避免了对多个实体之间的关系提取,效率更高,且不容易产生错误。构建第一图谱后,标准提问信息被转换为粒度一致的实体,从而可避免问答对中的标准提问信息的粒度太粗或太细影响回复粒度,给用户带来不好的在线问答服务体验。
在第一方面的一种可能的设计方式中,获取与至少一个标准提问信息对应的标准答案,作为备选答案,包括:从第一图谱中召回与第一实体相匹配的第二实体的节点以及与节点具有连接关系的关系边,得到目标子图;获取目标子图的节点的属性值和关系边的属性值,作为备选答案。
该设计方式下,将问答对图谱化,因此从标准答案中获取备选答案可以转换为召回目标子图的方式,从而提高备选答案的召回率。
在第一方面的一种可能的设计方式中,该方法还包括:识别问答对中的标准提问信息中的第二实体;将第二实体作为节点,将问答对中与标准提问信息对应的标准答案作为属性值,生成第一图谱,其中,标准答案在第一图谱中以第二实体对应的节点的属性值表示,或者以多个第二实体对应的节点之间的关系边的属性值表示。
该设计方式下,以第二实体、标准答案来构建第一图谱,在构建过程中只识别核心实体的好处在于,对算法的识别性能要求低,不容易出现实体识别错误的情况。相比于以“实体-关系-实体”三元组构建知识图谱,这种构建方式不需要识别两个实体之间的关系为属性关系,因此图谱构建成本低,更利于维护。
在第一方面的一种可能的设计方式中,将第二实体作为节点,将问答对中与标准提问信息对应的标准答案作为属性值,包括:将第二实体作为节点,若标准提问信息包括多个第二实体,则将标准提问信息对应的标准答案,作为标准提问信息所包括的多个第二实体对应的节点之间的关系边的属性值;若标准提问信息仅有一个第二实体,将标准提问信息对应的标准答案,作为标准提问信息所包括的第二实体对应的节点的属性值。
该设计方式下,针对标准提问信息是否包含多个第二实体,对标准提问信息进行分类,分为一跳提问信息和二跳提问信息。其中,一跳提问信息的答案只和该提问信息中的实体相关,因此将其对应的标准答案存储在节点中,二跳提问信息的答案涉及两个实体,因此将其对应的标准答案存储在两个实体对应的节点的关系边上。
进一步的,可以根据标准答案是否需区分多种情况进行解答,将单跳提问和两跳提问分别进一步细分,得到“单跳带约束提问信息”,“单跳不带约束提问信息”,“多跳带约束提问信息”以及“多跳不带约束提问新”。其中,约束表示标准答案的呈现形式不需要区分情况,一个答案可解答,那么属性值可以字符串形式存储。不带约束表示标准答案的呈现形式需要具体情况具体分析,那么属性值可以字典形式存储。
在第一方面的一种可能的设计方式中,第一实体包括多个实体,从第一图谱中召回与第一实体相匹配的第二实体的节点以及与节点具有连接关系的关系边,得到目标子图,包括:从第一图谱中召回与第一实体相匹配的多个第二实体对应的节点,以及与节点具有连接关系的关系边;从多个第二实体对应的节点以及关系边中确定,多个第二实体对应的节点以及只和第一实体对应的节点具有连接关系的关系边,得到目标子图。
该设计方式下,服务器剔除第一实体对应的节点指向其他实体对应的节点的关系边,只保留多个第一实体对应的节点之间的关系边,从而减少后续匹配的计算量。
在第一方面的一种可能的设计方式中,在备选答案中确定与第一提问信息的匹配度满足预设条件的第一答案,包括:将第一提问信息和每个备选答案进行组合,得到多个备选问答对;将备选问答对和标准问答对进行相似度比较,得到每个备选问答对的相似度信息,其中,标准问答对是通过备选答案和备选答案对应的标准问题组合得到的;基于相似度信息确定备选问答对和标准问答对的相似度;获取与标准问答对的相似度满足预设条件的备选问答对中的备选答案,作为第一答案。
该设计方式下,通过文本相似度来确定备选答案是否与第一提问信息匹配,在匹配过程中不涉及对第一提问信息或备选答案的结构化处理,提高了匹配效率。
在第一方面的一种可能的设计方式中,预设条件包括:与标准问答对的相似度最高,或者预设条件还包括:与标准问答对的相似度大于阈值。
在第一方面的一种可能的设计方式中,获取第一提问信息包括:从电子设备获取第一提问信息;该方法还包括:向电子设备发送第一答案。
在第一方面的一种可能的设计方式中,该方法还包括:若确定第一实体不被包含在至少一个标准提问信息中,则生成第二答案,第二答案指示未匹配到与第一实体相关的标准答案。
在第一方面的一种可能的设计方式中,该方法还包括:若确定备选答案与第一提问信息的匹配度不满足预设条件,则生成第三答案,第三答案指示未匹配到与第一提问信息相关的标准答案。
该设计方式下,通过生成第二答案,避免答案所问,给用户造成干扰。
在第一方面的一种可能的设计方式中,获取与至少一个标准提问信息对应的标准答案,作为备选答案,包括:触发召回指令,召回指令包括第一字段和第二字段,第一字段用于指示从第一图谱中查询第一实体,第二字段用于指示召回的是节点和关系边;响应于召回指令,从第一图谱中召回与第一实体相匹配的第二实体的节点以及与节点具有连接关系的关系边,得到目标子图。
该设计方式下,若未查询到匹配度符合预设条件的备选答案,则不会向用户反馈错误的标准答案,避免对用户产生错误引导。
第二方面,本申请实施例提供一种问答方法,应用于电子设备,该方法中,电子设备接收第一提问信息,第一提问信息中包括第一实体;若第一实体被包含在至少一个标准提问信息中,且至少一个标准提问信息对应的标准答案与第一提问信息的匹配度满足预设条件,电子设备则显示第一答案,第一答案是预置的多组问答对中包含第一实体的标准提问信息所对应的标准答案,且第一答案与第一提问信息的匹配度满足预设条件。
在第二方面的一种可能的设计方式中,该方法还包括:若确定第一实体不被包含在至少一个标准提问信息中,电子设备则显示第二答案,第二答案指示未匹配到与第一实体相关的标准答案。
在第二方面的一种可能的设计方式中,该方法还包括:若确定备选答案与第一提问信息的匹配度不满足预设条件,电子设备则生成第三答案,第三答案指示未匹配到与第一提问信息相关的标准答案。
在第二方面的一种可能的设计方式中,第一实体被包含在至少一个标准提问信息中,包括:第一实体与第一图谱中的至少一个第二实体相匹配;其中,第二实体从标准提问信息中识别得到,第一图谱中的节点表示第二实体,第一图谱中的关系边表示两个第二实体相关联。
在第二方面的一种可能的设计方式中,第一图谱是以第二实体作为节点,以问答对中与标准提问信息对应的标准答案作为属性值生成的,其中,标准答案在第一图谱中以第二实体对应的节点的属性值表示,或者以多个第二实体对应的节点之间的关系边的属性值表示。
第三方面,本申请实施例提供一种问答装置,该问答装置包括存储器和一个或多个处理器,所述存储器与所述处理器耦合;其中,所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述问答装置执行如第一方面及其任一种可能的设计方式所述的方法,或者执行如第二方面任一种可能的设计方式所述的方法。
第四方面,本申请实施例提供一种问答系统,所述问答系统包括如三方面所述的问答装置。
第五方面,本申请实施例提供一种计算机可读存储介质,包括计算机指令,当所述计算机指令在所述电子设备上运行时,使得所述电子设备执行如第一方面所述的方法或第二方面所述的方法。
第六方面,本申请提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如第一方面及其任一种可能的设计方式所述的方法或执行如第二方面及其任一种可能的设计方式所述的方法。
可以理解地,上述提供的第二方面及其所述的方法,第三方面所述的问答装置,第四方面所述的问答系统,第五方面所述的计算机可读存储介质以及第六方面所述的计算机程序产品所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种在线问答的手机界面图;
图2为本申请实施例提供的一种用户提问与标准提问信息的相似度匹配的示意图;
图3是本申请实施例提供的一种知识图谱的示意图;
图4是本申请实施例提供的另一种知识图谱的示意图;
图5为现有技术提供的多种子图召回方案的示意图;
图6为本申请实施例提供的一种问答系统的硬件结构示意图;
图7为本申请实施例提供的一种问答系统的软件结构示意图;
图8为本申请实施例提供的一种构建FAQ图谱的交互图;
图9为本申请实施例提供的一种标准提问信息的分类示意图;
图10为本申请实施例提供的一种召回子图的交互图;
图11为本申请实施例提供的另一种在线问答的手机界面图;
图12为本申请实施例提供的一种子图的示意图;
图13为本申请实施例提供的另一种子图的示意图;
图14为本申请实施例提供的一种输出答案的示意图;
图15为本申请实施例提供的一种从子图中筛选目标子图的示意图;
图16为本申请实施例提供的一种目标子图的属性值的示意图;
图17为本申请实施例提供的一种匹配模型的结构示意图;
图18为本申请实施例提供的又一种在线问答的手机界面图。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
参照图1,在线问答场景中,电子设备可接收用户输入的提问,如图1中的提问“荣耀70的CPU型号”。然后将提问和FAQ语料库(或称语料库)中的标准提问信息相匹配,得到与提问相似度高的标准提问信息所对应的标准答案,如“骁龙TM778G Plus”,并回复给用户,从而实现在任何时候都可以回答用户的提问,而不会仅限于在客服人员的上班时间内解答用户的提问的目的。
基于FAQ语料库的在线问答系统,在回复答案准确率高的情况下,可以为用户提供方便和满意的服务质量,尤其是在线问答系统发展初期如冷启动阶段时,语料库中的问答对较少,用户的提问和问答对中的标准答案的错配几率较低,答案质量高。但是随着在线问答系统的发展,语料库中的问答对较多,与用户的提问相似的标准提问信息的数量多,因此匹配难度大大增加,导致错配几率增加,经常出现答非所问的情况。
如图2所示,一些实施例中,在语料库中还没有关于与提问有关的问答对的情况下,在线问答系统输出的是基于用户的提问和语料库中的标准提问信息进行相似度匹配,所得到的相似度高的标准提问信息对应的标准答案,导致标准答案对用户产生误导。例如,文本匹配的QA方式会将两个语义不相关但表述相近的问题信息匹配到一起。比如,用户输入的提问是“荣耀70的CPU型号”,在线问答系统在语料库中查询到的与用户输入的提问最接近的两个标准提问信息是“荣耀50的CPU型号”,相似度达到0.8,以及“荣耀60的CPU型号”,相似度达到0.8。该示例中,虽然标准提问信息和用户的提问的相似度高,但是它们所针对的产品是完全不同的,因此将荣耀50的CPU型号或者荣耀60的CPU型号作为标准答案,不仅答非所问,还容易让用户误以为荣耀70与荣耀50或者荣耀60采用同一型号的CPU,为用户造成干扰。
继续参照图2,另一些实施例中,语料库中实际与用户的提问语义相近的标准提问信息,与用户的提问的表述相远;而实际与用户的提问表述相近的标准提问信息,与用户的提问的语义相远;导致在线问答系统将用户的提问错配到表述相近却语义相远的标准提问信息上,输出的标准答案与用户的提问的匹配准确度不高。比如,用户输入的提问是“荣耀商城买的商品能退换货吗”,在线问答系统在语料库中查询到的与用户输入的提问最接近的标准提问信息是“京东商城买的商品能退换货吗”,该标准提问信息虽然表述上与用户的提问较接近,相似度达到0.8,但实际上与用户的提问表达的是两种不同语义。而与用户的提问语义相近的标准提问信息是“荣耀商城售后策略”,该标准提问信息由于与用户的提问在形式(或称表述)上相差较大,因此相似度只有0.6,未能被在线问答系统查询出来,最终导致无法准确反馈用户想要的答案。
基于上述采用FAQ技术实现在线问答所存在的无法准确给出与用户提问实际匹配的标准答案的技术问题,本申请实施例提供一种问答方法,该方法可以应用于在线客服、智能语音交互、知识获取(如微信TM公众号)等场景中。该方法应用于服务器,服务器预置多组问答对,每组问答对包括一个标准提问信息和对应的一个标准答案,该方法中,服务器获取第一提问信息,第一提问信息中包括第一实体。若确定第一实体被包含在至少一个标准提问信息中,则获取与至少一个标准提问信息对应的标准答案,作为备选答案。在备选答案中确定与第一提问信息的匹配度满足预设条件的第一答案。应用该方法,可避免因错配实体导致的第一提问信息和第一答案错配几率高的问题,提高了第一答案的质量,用户在线问答体验感好。
并且,该方法可以用于各领域知识的在线问答,如人物知识、电商知识、金融知识、医疗知识等。本文中,主要以3C领域的知识为例,来说明本申请实施例的方案。3C领域是指计算机(Computer)、通讯(Communication)和电子消费品(electronic Consumer goods)三大领域。
在介绍本申请实施例提供的问答方法之前,先在此对该方法中涉及的相关术语做简单说明:
1.FAQ。
采用FAQ(或称FAQ技术)可以在语料库中存储常见问题的问答对,问答对包括标准问题和标准答案。一方面,用户可以直接查看语料库来找到提问的答案;另一方面,用户也可以使用由FAQ实现的在线问答系统来在线提问。
为了提高在线问答系统的回复准确率,每一个标准提问信息下可以对应多个扩展提问,从而提高用户提问和语料库中的提问的命中率,提高标准答案的召回率。
采用FAQ除上述图2及其相关说明提到的错配几率高,准确率低导致实用性差之外,还存在答案粒度不一致的问题。比如,针对“荣耀50的维修价格”和“荣耀50的寄修价格”进行回复,前者回复粒度低,后者回复粒度高。若语料库只存储前者,则粒度太粗容易造成回复宽泛、答案篇幅长、阅读难度大等问题;若语料库只存储后者,则粒度太细较容易导致用户的提问和标准答案错配。这样一来,针对不同粒度的提问在语料库中需要存储不同的标准答案,导致问答对的维护成本高,存储量大,匹配的计算量也大,不利于长期使用。
2.知识图谱(Knowledge Graph)。
参见图3中的(a),知识图谱是由节点和边组成的结构化的知识库。图3中的(a)所示的圆圈即为节点,节点之间的箭头即为边,并且,图3中的(a)所示的节点表示实体,边表示实体之间的语义关系。知识图谱的基本构成单位主要有两种形式:
一种是“实体-关系-实体”三元组,该三元组可以表示物理世界中两个事物及其相互关系。如图3中的(a)所示,“支付宝TM”和“耗电快”两个实体及其之间的关系“发生故障”可以构成一个三元组,该三元组可以表示“造成支付宝TM耗电快的原因是发生故障”。“荣耀60”和“耗电快”两个实体及其之间的关系“屏幕刷新率高”可以构成另一个三元组,该三元组可以表示“造成荣耀60耗电快的原因是屏幕刷新率高”。
另一种是实体及其属性和属性值。知识图谱中每个实体都可以具有一些属性,属性是指该实体不会随着时间、空间的变化而变化的特性,例如,产品的颜色、CPU型号、产品编号等特性。实体的属性和属性值可以绑定在实体上。如图3中的(a)所示,实体“荣耀60”绑定有颜色属性和属性值(如白色、黑色)以及上市时间属性和属性值(如2021.12)。
在一些场景中,实体可能具有很多属性,例如“荣耀60”除了具有颜色属性和上市时间属性之外,还具有屏幕尺寸、CPU型号、电池容量等大量的参数属性,以及具有通话、拍照等大量的功能属性。针对这种情况,若将属性和属性值都绑定在相应的节点上,则可能导致节点需要绑定的信息过多,不利于维护。基于此,在一些实施例中,参见图3中的(b),可以将实体的部分或者全部属性和属性值也以三元组的形式存储。如图3中的(b)所示的“荣耀60”的屏幕尺寸、CPU型号、电池容量等参数属性及其属性值都是以三元组的形式存储的,“荣耀60”为三元组中的一个实体,屏幕尺寸、CPU型号、电池容量等参数属性为三元组中的另一个实体,两个实体之间的关系为属性关系(如用“的”表示),属性关系从实体指向实体的属性,并且在两个实体对应的两个节点之间的边上还记录有属性值。如图3中的(b)所示,“荣耀60”对应的节点和“屏幕尺寸”对应的节点之间的边上记录有荣耀60的屏幕尺寸属性的属性值,即6.67英寸。“荣耀60”对应的节点和“CPU型号”对应的节点之间的边上记录有荣耀60的CPU型号属性的属性值,即骁龙TM778。“荣耀60”对应的节点和“电池容量”对应的节点之间的边上记录有荣耀60的电池容量属性的属性值,即4800mAh。如此,一方面可以减少节点绑定的信息,另一方面,当其他实体也具有相同的属性时,直接建立与其他实体与相应属性的三元组即可。从而利于维护。
在知识图谱中,以结构化的知识来表示事物及其相互关系,则针对一个产品的一个常见问题,仅需使用一个三元组或者实体及其属性和属性值的形式来表示即可,而无需维护多个问题。从而可以简化需要维护的数据。并且,随着产品和/或常见问题的增加,也仅需新增少量的维护数据即可。
示例性的,随着产品数量的增多,仅需在知识图谱中增加产品对应的节点,然后建立该节点与知识图谱中其他节点之间的关联即可。例如,新增了产品荣耀70,如图4中的(a)所示,可以在图3中的(a)的基础上,增加节点“荣耀70”,并在“荣耀70”和“耗电快”之间添加边,边上记录有屏幕刷新率高属性及其属性值。表示“造成荣耀70耗电快的原因是屏幕刷新率高”。另外,荣耀70自身也具有一定的属性,如图4中的(a)中的颜色属性和属性值(如白色、流金色)以及上市时间属性和属性值(如2022.3)。
又示例性,随着产品的常见问题的增多,仅需在知识图谱中增加常见问题对应的节点,然后建立该节点与其他节点之间的关系即可。例如,常见问题“苹果TM12和荣耀70怎么传数据”,那么,如图4中的(b)所示,可以在图4中的(a)的基础上,增加节点“苹果TM12”,并在节点“荣耀70”和“苹果TM12”之间添加边,边上记录有数据传输属性及其属性值。
3.知识图谱问答(Knowledge-based question answering,KBQA)。
知识图谱问答是基于知识图谱的一种智能问答方法。知识图谱问答系统将用户输入的自然语言表达(或称非结构化)的提问进行语义理解,并进一步转化成知识图谱查询语句,然后根据知识图谱查询语句在知识图谱上进行查询、推理等,并返回结果。最后,电子设备将该结果转化成自然语言输出给用户。常见的知识图谱问答主要有两种实现手段:
一种是基于模板的子图召回方案。如图5的(a)所示,该方案预先设置多个查询模板,为用户输入的提问匹配最接近的查询模板相匹配,然后根据查询模板将用户输入的提问拆解成语句块,将语句块代入查询模板对应的查询语句模板中,转化为查询语句。
例如,用户输入的提问是“荣耀60的CPU型号”,为该提问匹配到的最接近的查询模板是“[产品型号]的[参数]”。根据查询模板将该提问拆解成语句块“荣耀60”和语句块“CPU型号”,并将语句块代入查询模板对应的查询语句模板1“g.V(“产品型号”).has(“产品子级”).out(“参数查询”).hasId(“参数”)”,从而转换为查询语句1“g.V(“荣耀60”).has(“产品子级”).out(“参数查询”).hasId(“CPU型号”)”。
下面依次介绍查询语句模板中各字段的含义:
g.V()表示获取图谱顶点,其中,g表示图谱(graph),V表示顶点(vertex)。
has()表示查找。
产品子级表示产品的进一步细分,如荣耀60的产品子级包括“荣耀60,8G+256G”,“荣耀60,8G+128G”。不同产品子级的属性值可能存在区别,比如:“荣耀60,8G+256G”,“荣耀60,8G+128G”的存储容量不同,因此在查询时以细分的产品型号从图谱中查询节点。
out()表示输出。
hasId()表示获取顶点id和边id,其中,id表示身份标识(identity)。
再比如,用户输入的提问是“荣耀商城买的商品能退换货吗”,为该提问匹配到的最接近的查询模板是“[渠道]买的商品能[售后服务]吗”。根据查询模板将提问拆解成语句块“荣耀商城”和语句块“退换货”,并将语句块代入查询模板对应的查询语句模板2“g.V(“渠道”).out(“售后策略查询”).hasId(“售后服务”)”,从而转换为查询语句2“g.V(“荣耀商城”).out(“售后策略查询”).hasId(“退换货”)”。
由上述两个示例比较可以看出,采用该方案需要预设大量查询模板,从而应对不同场景的提问,比如针对询问产品参数的提问,采用的是查询模板1,针对询问产品售后的提问,采用的是查询模板2,由于查询模板通用性差,模板维护成本高,不利于长期使用。另外,提问与模板的匹配程度决定查询结果的可靠性,因此在模型的自然语言理解(naturallanguage understanding,NLU)能力差的情况下,模板匹配度低,影响查询结果可靠性;若要提高查询结果的可靠性,需要大量样本对NLU模型进行训练,实现成本高。
另一种是基于实体识别、关系识别的子图召回方案。如图5的(b)所示,该方法先对用户输入的提问进行实体识别和关系识别,得到该提问中的实体和属性关系,然后将实体和属性关系分别代入查询语句模板中,转换为查询语句。
例如,用户输入的提问是“荣耀60的CPU型号”,对该提问进行实体识别,得到第一实体是荣耀60,第二实体是CPU型号;对该提问进行关系识别,得到属性关系是参数查询。然后将第一实体、属性关系、第二实体代入查询语句模板3“g.V(“第一实体”).has(“产品子级”).out(“属性关系”).hasId(“第二实体”)”,从而转换成查询语句3“g.V(“荣耀60”).has(“产品子级”).out(“参数查询”).hasId(“CPU型号”)”。
再比如,用户输入的提问是“荣耀商城买的商品能退换货吗”,对该提问进行实体识别,得到第一实体是“荣耀商城”,第二实体是“退换货”;对该提问进行关系识别,得到属性关系是售后策略查询。然后将第一实体、属性关系和第二实体代入查询语句模板4“g.V(“第一实体”).out(“属性关系”).hasId(“第二实体”)”,从而转换为查询语句4“g.V(“荣耀商城”).out(“售后策略查询”).hasId(“退换货”)”。
由上述两个示例可以看出,采用该方案虽然不涉及到匹配提问和查询模板,但涉及多个查询语句模板,比如针对询问产品参数的提问,采用的是查询语句模板3,针对询问产品售后的提问,采用的是查询语句模板4,查询模板通用性差。另外,采用该方案需要对提问中的属性关系进行识别,难度大;且属性关系的识别准确度不高,会导致子图(由前述V()和E()构成的图谱)的召回率低,难以从召回的子图中获取有效答案,则反馈给用户的答案质量低,影响用户使用在线问答系统的体验。
图5及其说明所示的KBQA方案,通过将FAQ图谱化,使得FAQ的颗粒度基本一致;在新插入标准答案的时候只需要建立与其他实体与相应属性的三元组即可,不仅更利于FAQ的维护,而且相比于直接以用户的提问和语料库中的标准提问信息进行比对,采用KBQA方案子图召回的准确率更高。但是上述所示的KBQA方案都存在通用性差,针对不同场景需预设不同查询语句模板的问题,以及依赖NLU对关系识别准确度导致实现成本高的问题。有鉴于此,本申请实施例提供的方法,能够在降低模板维护量和子图召回成本的前提下,准确得到提问的答案。
在具体解释本申请实施例提供的方法之前,先对问答方法的执行主体进行说明。本申请实施例提供的问答方法,可以通过安装在系统上的应用程序实现在线问答。
上述应用程序可以是安装在电子设备上的嵌入式应用程序(或称系统应用),也可以是可下载的应用程序(比如三方应用)。其中,系统应用是作为电子设备(如手机)实现的一部分,所提供的应用程序;三方应用是通过自身因特网协议多媒体子系统(internetprotocol multimedia subsystem,IMS)连接的应用程序。
上述系统包括电子设备,即,电子设备可直接对第一提问信息进行处理,从而生成第一答案。如,电子设备构建语料库,当电子设备接收第一提问信息,电子设备从语料库中查询与第一提问信息的第一实体相关,且与第一提问信息相匹配的标准答案。然后电子设备将标准答案作为第一答案显示。
上述系统还可以包括服务器,如服务器构建语料库,当电子设备接收第一提问信息,电子设备将第一提问信息发送给服务器,服务器从语料库中查询与第一提问信息的第一实体相关,且与第一提问信息相匹配的标准答案。然后服务器将标准答案发送给电子设备,电子设备将标准答案作为第一答案显示。
上述电子设备可以是手机、平板电脑、可穿戴电子设备(如手表)等便携式设备,也可以是车载设备、智能机器人等设备,还可以是个人计算机(personal computer,PC)、个人数字助理(personal digital assistant,PDA)、上网本等计算设备。本申请实施例对该电子设备的具体形态不作特殊限制。
上述服务器可以是电子设备的生产商的服务器,该服务器可以是一个集群,也可以是多个集群,或者可以包括一类或多类服务器。通常情况下,该服务器是知识图谱的维护方的服务器。
下面对系统的硬件结构进行说明。如图6所示,问答系统60包括处理器61、存储器62、通信器件63、总线64。
处理器61、存储器62以及通信器件63之间可以通过总线64连接。
处理器61是问答系统60的控制中心,可以是一个通用中央处理单元(centralprocessing unit,CPU),也可以是其他通用处理器等。其中,通用处理器可以是微处理器或者是任何常规的处理器等。
作为一个示例,处理器61可以包括一个或多个CPU,例如图6中所示的CPU 0和CPU1。
存储器62可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
一种可能的实现方式中,存储器62可以独立于处理器61存在。存储器62可以通过总线64与处理器61相连接,用于存储数据、指令或者程序代码。处理器61调用并执行存储器62中存储的指令或程序代码时,能够实现本申请实施例提供的问答方法。
另一种可能的实现方式中,存储器62也可以和处理器61集成在一起。
通信器件63,用于问答系统60与其他设备(如客户端、服务器等)通过通信网络连接,所述通信网络可以是以太网,无线接入网(radio access network,RAN),无线局域网(wireless local area networks,WLAN)等。通信器件63具体用于接收数据或发送数据,如本申请实施例中的“获取第一提问信息”等。
当问答系统为计算设备(例如服务器)时,通信器件63可以是网络接口等。
当问答系统为便携式设备(例如手机)时,通信器件63可以是天线、触摸屏、麦克风、扬声器等。触摸屏具体可以包括触控板和显示屏。
总线64,可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component Interconnect,PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
需要指出的是,图6中示出的结构并不构成对该问答系统的限定,除图6所示部件之外,该问答系统可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
参见图7,以问答系统包括电子设备和服务器,且电子设备是图7所示的手机700,服务器是图7所示的服务器710为例,手机700和服务器710的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构或云架构。下文实施例,将主要以分层架构为例,示例性说明手机700和服务器710的软件架构。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,手机700的软件系统可以包括应用程序层,应用程序框架层,系统库以及内核层。
应用程序层中可以安装各种应用(application,APP),如通话、备忘录、浏览器、联系人等应用。本申请实施例中,应用程序层中还安装有支持在线问答的应用。例如,手机商城、支付宝TM等提供在线客服服务的应用。该支持在线问答的应用可以接收用户输入的提问(如第一提问信息),并展示提问的答案(如第一答案)。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。在一些实施例中,应用程序框架层中包括预设API,目标应用调用预设API可以向服务器710请求获得提问的答案。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维和三维图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,图层处理等。
二维图形引擎是二维绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含摄像头驱动,音频驱动等,本申请实施例对此不做任何限制。
继续参见图7,服务器710的软件系统可以包括语义解析层、KBQA服务层和数据层。
语义解析层中包括语义解析引擎,语义解析引擎可以接收来自手机700的目标应用的提问,并对提问执行标注处理,如去除停用词、替换同义词等处理。
KBQA服务层可以根据语义解析引擎执行标注处理的结果,查询知识图谱,得到与提问的第一实体有关的子图,从子图中的答案集合中获取与提问匹配的第一答案,并将第一答案反馈给手机700中的目标应用。
在一些实施例中,KBQA服务层包括图谱构建模块、实体识别模块、子图召回模块和答案输出模块。其中,图谱构建模块可以根据语料库中的问答对构建第一图谱,第一图谱中标准答案以属性值方式存储于图谱的边或节点。实体识别模块可以识别提问中的第一实体。子图召回模块可以在第一图谱中召回与第一实体相关的子图。答案输出模块可以将子图中的属性值(即标准答案)与用户的提问进行匹配度比较,将匹配的标准答案作为第一提问信息的第一答案,反馈给手机700中的目标应用。
数据层包括语料库。语料库用于存储3C领域专属的常见问题的问答对。例如,将荣耀60的一个标准提问信息和一个标准答案作为一个问答对,存储在语料库中。语料库中是以自然语言(或称非结构化)语言存储3C领域的相关问答的。在一些实施例中,语料库中的问答对可用于训练匹配模型,通过训练得到的匹配模型来比较子图中的属性值(即标准答案)与用户的提问的匹配度,从而快速且准确的返回匹配结果。
至此,需要说明的是,上述图7对服务器710的软件功能的划分仅为示例性的,实际实施时,也可以增加功能模块、减少功能模块等。例如,可以在KBQA服务层中增加筛选模块,用于在抽取出的第一实体数量不唯一的情况下,从召回的子图中筛选出只包含多个第一实体之间的路径的目标子图,从而减少子图中的属性值的数量,有利于提高后续匹配的效率。又例如,可以省去语义解析层。本申请实施例对此不作具体限定。
下面将以图7所述手机700和服务器710的软件架构为例,来说明本申请实施例的方法。
本申请实施例提供的问答方法包括:构建FAQ图谱、召回子图和输出答案三个部分,下面依次进行介绍。
如图8所示,构建FAQ图谱包括:
S801、服务器获取问答对,其中,问答对包括标准提问信息和标准答案。
问答对可以从FAQ的语料库中获取。问答对中的标准答案是对问答对中的标准提问信息的解答。比如,标准提问信息“荣耀手环5的CPU型号”和标准答案“Apollo3”是一组问答对。标准提问信息“荣耀60的CPU型号”和标准答案“Apollo3”不是一组问答对。
在一些实施例中,问答对还包括至少一个扩展提问,问答对中的标准答案还可以是对问答对中的扩展提问的解答。示例性的,标准提问信息“荣耀手环5的CPU型号”的扩展提问可以是“荣耀手环5处理器是什么”、“荣耀手环5处理器规格”等。上述问题都可以标准答案“Apollo3”进行解答。
S802、服务器识别标准提问信息中的第二实体。
实体,也称为对象,具体可以为一可交互、可操作的客观存在的物体、概念或虚拟对象,举例性地,计算机、手机、服务器等属于客观存在的物体,而数据库、中间件、软件程序等存在于电子信息领域的虚拟对象也可以属于实体。在一些实施例中,行为、现象等也可以属于实体。3C领域中,实体包括产品型号、渠道、应用标识、退换货、开发票、无声音等。
示例性的,标准提问信息为“荣耀60的CPU型号”,服务器从该标准提问信息中获取第二实体“荣耀60”,“荣耀60”属于产品型号。又比如,标准提问信息为“网上购买的手机如何申请电子发票”,服务器从该标准提问信息中获取第二实体“开具电子发票”,“开具电子发票”属于行为。再比如,标准提问信息为“支付宝TM耗电快”,服务器从该标准提问信息中获取第二实体“支付宝TM”以及“耗电快”,其中,“支付宝TM”属于应用标识,“耗电快”属于现象。
本步骤中,识别第二实体的方式有多种,示例性的,服务器对标准提问信息进行分词,得到多个词组。将产品型号、渠道、应用标识、行为、现象等作为第二实体;或者将主语、宾语作为第二实体;或者,可以通过机器学习算法来识别第二实体,本申请对此不作特殊限制。
S803、服务器将第二实体作为第一图谱的节点。
标准提问信息中第二实体的数量可以为一个或者多个。在第二实体的数量为一个的情况下,服务器在第一图谱中创建一个节点,用于表示该第二实体。在第二实体的数量为多个的情况下,服务器在第一图谱中创建与第二实体的数量相等的节点,其中一个节点表示一个第二实体。
S804、服务器检测第二实体的数量是否涉及多个。
示例性的,标准提问信息为“荣耀60的CPU型号”,第二实体仅有一个“荣耀60”,即标准答案只与第二实体“荣耀60”相关,不涉及到其他第二实体如“荣耀70”、“荣耀手环5”。因此,服务器需要检测标准提问信息中第二实体是否仅有一个,从而确定标准提问信息所对应的标准答案是否只与一个第二实体相关。
又示例性的,标准提问信息为“苹果TM12和荣耀70怎么传数据”,第二实体包括:苹果TM12和荣耀70,即标准答案与这两个第二实体都相关。因此,服务器需检测标准提问信息中第二实体是否有多个(如两个),从而确定标准提问信息所对应的标准答案是否与多个第二实体相关。
在上述服务器识别第二实体和检测第二实体的数量之后,服务器可执行下文S805-S806的步骤,从而将标准答案图谱化,具体可参见下文S805-S806的介绍。
S805、若是,服务器将标准答案作为多个节点之间的关系边的属性值。
示例性的,获取标准提问信息如“苹果TM12和荣耀70怎么传数据”对应的标准答案“在苹果TM12上下载数据迁移应用,打开应用,选择“这是旧手机”;然后以苹果TM12扫描荣耀70的二维码,等待连接;显示连接成功后,选择开始迁移选项,即可进行数据传输”,在第一图谱中的苹果TM12节点和荣耀70节点间的关系边上,查询数据传输属性,将标准答案作为数据传输属性的属性值。
在一些实施例中,属性和属性值可以以键值对(key-value)的方式存储。如上述数据传输属性和标准答案存储为:“数据传输”:“在苹果TM12上下载数据迁移应用,打开应用,选择“这是旧手机”;然后以苹果TM12扫描荣耀70的二维码,等待连接;显示连接成功后,选择开始迁移选项,即可进行数据传输”。
S806、若否,服务器将标准答案作为节点的属性值。
示例性的,获取标准提问信息如“荣耀60的CPU型号”对应的标准答案“骁龙TM778”,在第一图谱中荣耀60节点上,查询CPU型号属性,将标准答案作为CPU型号属性的属性值。例如,上述CPU型号属性和标准答案存储为:“CPU型号”:“骁龙TM778”。
值得一提的是,根据第二实体的数量不同,可以将标准提问信息进行分类,得到一跳提问和两跳提问。其中,一跳提问是指标准提问信息只涉及一个第二实体,标准答案存储在节点下的某个属性中。两跳问题是指标准提问信息涉及两个实体之间的关系(或者涉及多个实体,其中实体两两之间的关系),标准答案存储在表示该关系的边下的某个属性中。
进一步的,可以根据标准答案是否需区分多种情况进行解答,将单跳提问和两跳提问分别进一步细分,得到“单跳带约束提问”,“单跳不带约束提问”,“多跳带约束提问”以及“多跳不带约束提问”。其中,约束表示标准答案的呈现形式不需要区分情况,一个答案可解答,那么属性值可以字符串形式存储。不带约束表示标准答案的呈现形式需要具体情况具体分析,那么属性值可以字典形式存储。
如图9所示,单跳不带约束的标准提问信息是“荣耀手环5的CPU型号”,标准答案存储在节点的“CPU型号”属性下,且“CPU型号”属性与“Apollo3”以键值对方式存储,“Apollo3”为字符串。
两跳不带约束的标准提问信息是“支付宝TM耗电快”,标准答案存储在关系边的“发生故障”属性下,且“发生故障”属性与“支付宝TM耗电明显变大,可以先检查……”以键值对方式存储,“支付宝TM耗电明显变大,可以先检查……”为字符串。
单跳不带约束的标准提问信息是“网上购买的手机如何申请电子发票”,标准答案存储在节点的“开具流程”属性下,且“开具流程”属性与{“网购”:“……”,“线下”:“……”}以键值对方式存储,{“网购”:“……”,“线下”:“……”}包括多组键值对,如“网购”:“……”为一组键值对,“线下”:“……”为另一组键值对。
多跳不带约束的标准提问信息是“电脑和手机同时登录QQTM,QQTM消息接收无声”,标准答案存储在关系边的“发生故障”属性下,且“发生故障”属性与{“电脑和手机同时登录QQTM”:“此为QQTM自身设计,QQTM消息将在电脑端提示,手机端无提示”,“单独登录”:“……”}以键值对方式存储,{“电脑和手机同时登录QQTM”:“此为QQTM自身设计,QQTM消息将在电脑端提示,手机端无提示”,“单独登录”:“……”}包含多组键值对,如“电脑和手机同时登录QQTM”:“此为QQTM自身设计,QQTM消息将在电脑端提示,手机端无提示”为一组键值对,“单独登录”:“……”为另一组键值对。
上述示例中,通过将标准提问信息拆解成多个第二实体,使得标准提问信息的粒度与实体的粒度相关联,由于实体的粒度较为一致,因此标准提问信息的粒度也较为一致,从而可避免FAQ语料库中标准提问信息的粒度太粗或太细影响回复粒度,给用户带来不好的在线问答服务体验。
在本实施例提供的方法中,并未以“实体-关系-实体”三元组构建知识图谱,而是将问答对中标准提问信息的第二实体作为节点,将标准答案作为节点的属性值或者边的属性值,从而构建出第一图谱。在构建过程中只识别实体的好处在于,对算法的识别性能要求低,不容易出现实体识别错误的情况。相比于以“实体-关系-实体”三元组构建知识图谱,本实施例的构建方式不需要识别两个实体之间的关系为属性关系,因此图谱构建成本低,更利于维护。
构建第一图谱后,服务器可根据用户输入的第一提问信息,召回与第一提问信息相关的子图,如图10所示,召回子图包括:
S1001、手机中的目标应用接收第一提问信息。
以目标应用是手机商城为例,在用户使用手机商城的在线客服服务时,可以在如图1所示的文本编辑框中输入第一提问信息,如“荣耀70的CPU型号”。然后,目标应用响应于用户确认提问的操作,如手机商城响应于用户点击发送按钮的操作,则可接收到第一提问信息。并且,第一提问信息可以在目标应用中显示,如图1所示的对话框中显示有第一提问信息“荣耀70的CPU型号”
应理解,提问的形式并不限于文本。在一些实施例中,也可以通过语音、图片等形式来输入提问。例如,在手机的语音助手应用中,用户可以以语音形式输入提问。
S1002、目标应用向服务器中的实体识别模块发送第一提问信息。
目标应用可以调用预设API,向服务器的实体识别模块发送第一提问信息,以供实体识别模块完成对第一提问信息的识别处理。
在一些实施例中,目标应用向服务器中的语义解析引擎发送第一提问信息,由语义解析引擎对第一提问信息进行标准处理,得到标注结果,并将标注结果发送给实体识别模块。
标注处理可以包括去除停用词。停用词是指应用十分广泛,但是却没有实际含义的词语,去除第一提问信息中的停用词,可以避免后续查询时受到停用词的干扰,提升查询的性能。标注处理也可以包括替换同义词。用户在输入提问时,能够想到的词语是非常有限的,而且这些词语并不一定能和第一图谱中的相应实体和/或属性完全对应。替换同义词,则可以将第一提问信息中一些词语用其同义词来替换表达,后续在查询第一图谱时,则不会受限制于第一提问信息中的用词。标注处理也可以包括分词处理。分词处理是将以自然语言表达的第一提问信息拆分为词语,方便后续识别实体。
S1003、实体识别模块识别第一提问信息中的第一实体,其中,第一实体与至少一第二实体相匹配。
关于识别第一实体的介绍可参加上述S802,在此不作累赘说明。
该步骤中,若第一实体未被包含在标准提问信息中,即第一实体与所有第二实体不匹配,则实体识别模块向目标应用发送第二答案,第二答案用于指示未在第一图谱中搜索到第一实体有关的信息。如图11所示,在第一图谱中不包含荣耀70节点时,实体识别模块从第一提问信息中识别的“荣耀70”与第一图谱中的第二实体不匹配,则不会向用户反馈与荣耀70无关的第二实体如荣耀60、荣耀50的相关数据,以避免误导用户。如图11中,目标应用显示第二答案“尚未录入荣耀70的CPU型号相关信息”,避免答非所问,给用户造成干扰。
该步骤中,若识别出第一实体,且第一实体与至少一第二实体相匹配,则表示与第一提问信息的第二实体相关的标准答案可能存储在第一图谱中,因此服务器执行下文S1004-S1005,以便于获取标准答案。
该步骤不需要进行句子成分分析或依存分析,所涉及NLU任务仅有实体识别,因此效率更高,且识别准确率更高。
S1004、实体识别模块向服务器中的子图召回模块发送第一实体。
S1005、子图召回模块从第一图谱中召回与第一实体相关的子图。
子图召回,或称输出第一图谱中的子图,可理解为从第一图谱中将子图调出来。其中,子图是第一图谱的子集,换句话说,子图是第一图谱中的部分节点和边组成的图谱。
与第一实体相关可以理解为,第一实体对应的节点,以及与第一实体对应的节点具有连接关系的关系边。
在一些实施例中,可通过查询语句(或称召回指令)来召回与第一实体相关的子图,查询语句模板为“g.V(“第一实体”).bothE().otherV().path()”。该模板第一字段和第二字段,第一字段用于指示从第一图谱中查询第一实体,第二字段用于指示召回的是节点和关系边。响应于召回指令,子图召回模块可以从第一图谱中召回与第一实体相匹配的第二实体的节点以及与所述节点具有连接关系的关系边,得到所述目标子图。例如,第一提问信息是“荣耀60的CPU型号”,查询语句5为:g.V(“荣耀60”,“CPU型号”).bothE().otherV().path()。再比如,第一提问信息是“苹果TM12和荣耀70怎么数据传输”,查询语句6为:g.V(“苹果TM12”,“荣耀70”).bothE().otherV().path()。如表1所示,将查询语句1-查询语句6进行比较,基于模板的子图召回方案和基于实体识别、关系识别的子图召回方案的查询语句通用性差,针对不同场景需采用不同查询语句,而本实施例采用的查询语句是针对第一实体的查询,因此只需要将第一实体参数输入同一查询语句模板中,就能转换为查询语句,从而效率更高,通用性更好,且避免了因查询语句模板匹配错误造成子图召回率低,能够实现较好的召回效果。
表1
Figure BDA0003974237040000141
示例性的,第一提问信息为图12所示的“荣耀60的CPU型号”,相应的,从第一图谱中召回与荣耀60相关的节点和边,如图12中加粗的线条表示召回的边或节点。该步骤从第一图谱中召回的是只与荣耀60相关的数据,因此图12中的荣耀50、荣耀手环5、苹果TM12等实体并不会被召回,如此,可避免因错配实体导致的答非所问,从而提高了子图召回率以及后续的答案准确率。
又示例性的,第一提问信息为图13所示的“苹果TM12和荣耀70怎么数据传输”,相应的,从第一图谱中召回与苹果TM12相关的节点和边,以及和荣耀70相关的节点和边,如图13中加粗的线条表示召回的边或节点。从第一图谱中召回的只是与苹果TM12以及荣耀70相关的数据,因此图13中的荣耀50、荣耀手环5等第二实体并不会被召回,从而提高召回率。
前述实施例中,采用本方法之后,召回的子图是只与第一提问信息中的第一实体相关的节点和边,因此不会将第一提问信息中的第一实体错配为其他实体,从而可以提高实际与第一提问信息语义相近但表述相远的标准提问信息所对应的标准答案,被召回的几率;降低虽然与第一提问信息表述相近但语义相远的标准提问信息所对应的标准答案,被召回的几率。
在子图被召回之后,可以采用多种匹配方式确定与第一提问信息相匹配的第一答案作为输出,如可以采用属性(或称属性名称)与第一提问信息相似度匹配的方式,确定第一答案。示例性的,第一提问信息为“荣耀60的CPU型号”,属性名称包括“CPU型号”、“颜色”、“尺寸”等,则将“荣耀60的CPU型号”和“CPU型号”、“颜色”、“尺寸”一一匹配,得到相似度结果依次为0.9、0.4、0.4。则将相似度高的“CPU型号”属性对应的属性值作为第一答案。
这种匹配方式的弊端在于,若第一提问信息中不包含与属性名称相近的表述词,则根据属性名称与第一提问信息的相似度匹配来确定第一答案的方式是不准确的,容易出现错配的情况。
再比如,可以采用向量相似度计算的方式,确定第一答案。示例性的,第一提问信息为“荣耀60备件的价格”,将第一提问信息表示成实体-属性-属性值结构,为荣耀60-备件-价格。相应的,第一图谱中与荣耀60相关的属性和属性值表示为荣耀60-门店备件价格-A元,荣耀60-门店营业时间-9:00,荣耀60-寄修备件价格-B元。分别计算第一提问信息中的三个向量{荣耀60,备件,价格}与第一图谱中备选的三元组的向量{荣耀60,门店备件价格,A元},{荣耀60,门店营业时间,9:00},{荣耀60,寄修备件价格,B元}的向量相似度,如分别计算“备件”与“门店备件价格”、“门店营业时间”、“寄修备件价格”的相似度。将相似度高的三元组的属性值作为第一答案。
这种匹配方式的弊端在于,需要分别将第一图谱中实体-关系-实体或实体-属性-属性值,以及第一提问信息的转换成结构性语言,提高了匹配成本。其次,匹配结果的准确度依赖相似度计算的准确度,因此对相似度计算的准确度的要求高。为了提高相似度计算的准确率,需要提供大量样本来训练相似度计算算法。因此这种匹配方式不适合在冷启动阶段使用,具有局限性。
基于此,本申请实施例提供一种问答方法,包括上述S801-S806,S1001-S1005以及下文图14所示的方案。
如图14所示,输出答案包括:
S1401、子图召回模块向服务器中的筛选模块发送子图。
S1402、筛选模块从子图中筛选出只包含多个第一实体之间的路径的目标子图。
其中,路径是指该关系边是多个第一实体之间的关系,而不是第一实体与其他实体的关系。
示例性的,第一提问信息为图15所示的“苹果TM12和荣耀70怎么数据传输”,子图中除了苹果TM12节点下的属性值,荣耀70节点下的属性值,以及苹果TM12和荣耀70路径间的属性值外,还包括了荣耀70和荣耀60路径间的属性值、荣耀70和耗电快路径间的属性值以及荣耀70和QQTM间的属性值,这些属性值涉及其他第二实体,与第一提问信息的匹配度低,若参与匹配会带来不必要的计算成本。所以筛选模块对子图的边进一步筛选,剔除第一实体与第二实体之间的路径,只保留第一实体之间的路径,从而减少后续匹配的计算量。图15中加粗的线条表示目标子图的节点和边,可以看到,相比于子图,目标子图所涉及的边更少,有利于提高匹配速度。
S1403、筛选模块向服务器中的答案输出模块发送目标子图。
S1404、答案输出模块获取目标子图中的属性值,得到备选答案。
如前文图8及其说明可知,FAQ问答对中的标准答案存储于节点的属性下,或者边的属性下。因此该步骤通过获取节点的属性对应的属性值,以及边的属性对应的属性值来得到备选答案。示例性的,备选答案包括标准答案1,标准答案2……标准答案n。
示例性的,如图16所示,目标子图中的属性值包括:属性值1:在苹果TM12上下载数据迁移应用,打开应用,选择“这是旧手机”;然后以苹果TM12扫描荣耀70的二维码,等待连接;显示连接成功后,选择开始迁移选项,即可进行数据传输。属性值2:在荣耀70的设置选项将屏幕刷新率调低。属性值3:考虑可能是手机故障,您可以在线下商城或者线上售后平台申请保修。属性值4:苹果TM12机身尺寸是宽度71.5mm(2.82英寸),高度146.7mm(5.78英寸),厚度是7.4mm(0.29英寸),屏幕尺寸是6.1英寸。
S1405、答案输出模块将第一提问信息和每个备选答案进行组合,得到多个备选问答对。
比如,可以将第一提问信息和每个备选答案分别进行拼接,输出第一提问信息和标准答案1拼接获得的字符串,作为备选问答对1,输出第一提问信息和标准答案2拼接获得的字符串,作为备选问答对2……输出第一提问信息和标准答案n拼接获得的字符串,作为备选问答对n。
区别于上文提到的向量相似度计算,通过将第一提问信息和备选答案组合的方式并未调整原自然语言的格式,因此处理量小,也不易出错。
S1406、答案输出模块将多个备选问答对输入匹配模型中,得到匹配模型输出的每个备选问答对的匹配度。
其中,匹配模型由文本相似度算法训练得到,文本相似度算法包括但不限于双向编码表示的变换器(bidirectional encoder representation from transformers,BERT)、双塔结构SBERT(Sentence-BERT)、BERT-flow。以BERT为例,匹配模型是在BERT的基础上增加softmax全连接层,用于输出备选问答对的匹配度(如相似分值)。服务器将FAQ中的标准提问信息和标准答案通过[SEP]拼接操作,得到候选句对,作为BERT预训练模型的输入,并且还为每一个候选句对打上标签(label),如标准提问信息1与标准答案1的标签为1,标准提问信息1与标准答案2的标签为0,标准提问信息2与标准答案1的标签为0等,对BERT进行训练,得到匹配模型。
本申请实施例中,BERT预训练模型作为骨架对自然语言表达的候选句对进行编码,用以获取足够的语义信息。训练完成后,匹配模型便具备输出备选问答对的匹配度的能力。
示例性的,如图17所示,将标准提问信息“This is first sentence”和标准答案“This is second sentence”通过[SEP]进行拼接,输入BERT层,得到一个10*768的特征矩阵,其中,特征矩阵的第1行是<CLS>的特征信息,特征矩阵的第2-5行是标准提问信息的特征信息,特征矩阵的第6行是<SEP>的特征信息,特征矩阵的第7-10行是标准答案的特征信息。该特征矩阵中,H表示维度,或者理解为模型节点数量,如图17所示,模型节点数量H=768。模型节点数量越高,则模型的准确度越高,相应的模型消耗越多。N表示词组的数量,如标准提问信息“This is first sentence”包含4个词组,所以N=4。
S1407、答案输出模块根据匹配度在多个备选答案中选取第一答案。
在一些实施例中,对多个备选答案的匹配度进行排序,将匹配度最高的备选答案作为第一答案,从而提高第一答案的质量。
在另一些实施例中,备选答案的匹配度大于或等于阈值,也就是说,答案输出模块设置阈值来剔除匹配度小于阈值的备选答案,从匹配度大于或等于阈值的备选答案中获取匹配度最高的备选答案作为第一答案。
比如,阈值为0.6,备选答案1的匹配度为0.8,备选答案2的匹配度为0.6,则答案输出模块在备选答案1和备选答案2中选取匹配度较高的备选答案1,作为第一答案。
在一些实施例中,在匹配度小于阈值的情况下,答案输出模块可以向目标应用发送第三答案,第三答案用于指示备选答案的匹配度不符合预设条件。
比如,阈值为0.6,备选答案2的匹配度为0.5,备选答案2的匹配度为0.3,答案输出模块向目标应用发送第三答案,第三答案可以显示在目标应用的对话框中,如图18所示,第三答案为:抱歉未能查询到相关信息。在该实施例中,若未查询到匹配度符合预设条件的备选答案,则不会向用户反馈错误的标准答案,避免对用户产生错误引导。
S1408、答案输出模块向手机中的目标应用发送第一答案。
S1409、目标应用显示第一答案。
示例性的,对应图1所示的第一提问信息“荣耀70的CPU处理器”,答案输出模块将第一答案“骁龙TM778G Plus”发送给目标应用,并在目标应用的对话框中显示“骁龙TM778GPlus”,以便于用户在线获取产品信息。
采用本实施例的方法,训练匹配模型来输出备选问答对的匹配度,备选问答对是自然语言表达的第一提问信息和筛选出的备选答案的组合,将备选问答对输入匹配模型中,输出每个备选问答对的匹配度,基于匹配度确定与第一提问信息相匹配的第一答案,从而反馈给用户。在匹配过程中不涉及对第一提问信息或备选答案的结构化处理,提高了匹配效率。另外,在训练算法阶段所采用的训练样本可以直接从FAQ语料库中获取,并不需要对训练样本进行结构化或者分词等处理,因而训练样本的数量可以大大增加,从而提高了匹配模型的匹配准确率。
综上所述,采用本申请实施例提供的方法,可以在构建FAQ图谱、召回子图和输出答案三个方面来提高输出的答案的准确率。该方法中,在FAQ图谱(相当于上文第一图谱)上将自然语言表达的标准答案作为边或节点的属性值,从而避免了对多个实体之间的关系提取,效率更高,且不容易产生错误。构建FAQ图谱后,若用户输入第一提问信息,则在FAQ图谱中召回与第一提问信息的第一实体相关的子图,由于召回的子图仅包含第一提问信息中的第一实体相关的边和节点,而不包括与第一实体不匹配的第二实体,因此大大减少了后续的答案错配几率。由于在此之前已经将标准答案作为属性值存储,因此从子图的属性值中可以获取到标准答案,将第一提问信息和每个标准答案组合成备选问答对,通过计算备选问答对的匹配度确定第一提问信息和备选答案是否匹配,从备选答案中获取与第一提问信息相匹配的第一答案,并反馈给用户,以便于用户在线获取到与产品有关的信息。另外,本方法提供的端到端的KBQA方案,不需要太多的样本来训练模型,因此冷启动成本低。本方法并不依赖于复杂的关系识别方式来定位路径,而是通过召回拓扑结构上相近的节点或边,然后对答案本身进行排序。
本申请另一些实施例提供了一种电子设备,该电子设备可以包括:显示屏(如触摸屏)、存储器和一个或多个处理器。该显示屏、存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行计算机指令时,电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图6所示的问答系统60的结构。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种问答方法,其特征在于,应用于服务器,所述服务器预置多组问答对,每组所述问答对包括一个标准提问信息和对应的一个标准答案,所述方法包括:
获取第一提问信息,所述第一提问信息中包括第一实体;
若确定所述第一实体被包含在至少一个标准提问信息中,则获取与所述至少一个标准提问信息对应的标准答案,作为备选答案;
在所述备选答案中确定与所述第一提问信息的匹配度满足预设条件的第一答案。
2.根据权利要求1所述的方法,其特征在于,所述服务器设置有第一图谱,所述第一图谱包括节点和关系边,其中,所述节点表示所述标准提问信息中的第二实体,所述关系边表示两个所述第二实体相关联;
所述确定所述第一实体被包含在至少一个标准提问信息中,包括:
确定所述第一实体与所述第一图谱中的至少一个所述第二实体相匹配。
3.根据权利要求2所述的方法,其特征在于,所述获取与所述至少一个标准提问信息对应的标准答案,作为备选答案,包括:
从所述第一图谱中召回与所述第一实体相匹配的所述第二实体的节点以及与所述节点具有连接关系的关系边,得到目标子图;
获取所述目标子图的节点的属性值和关系边的属性值,作为所述备选答案。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
识别所述问答对中的所述标准提问信息中的第二实体;
将所述第二实体作为节点,将所述问答对中与所述标准提问信息对应的标准答案作为属性值,生成所述第一图谱,其中,所述标准答案在所述第一图谱中以所述第二实体对应的节点的属性值表示,或者以多个所述第二实体对应的节点之间的关系边的属性值表示。
5.根据权利要求4所述的方法,其特征在于,所述将所述第二实体作为节点,将所述问答对中与所述标准提问信息对应的标准答案作为属性值,包括:
将所述第二实体作为节点,若所述标准提问信息包括多个所述第二实体,则将所述标准提问信息对应的标准答案,作为所述标准提问信息所包括的所述多个第二实体对应的节点之间的关系边的属性值;若所述标准提问信息仅有一个所述第二实体,将所述标准提问信息对应的标准答案,作为所述标准提问信息所包括的第二实体对应的节点的属性值。
6.根据权利要求2-5中任一项所述的方法,其特征在于,所述第一实体包括多个实体,
所述从所述第一图谱中召回与所述第一实体相匹配的所述第二实体的节点以及与所述节点具有连接关系的关系边,得到目标子图,包括:
从所述第一图谱中召回与所述第一实体相匹配的所述多个第二实体对应的节点,以及与所述节点具有连接关系的关系边;
从所述多个第二实体对应的节点以及所述关系边中确定,所述多个第二实体对应的节点以及只和所述第一实体对应的节点具有连接关系的关系边,得到所述目标子图。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述在所述备选答案中确定与所述第一提问信息的匹配度满足预设条件的第一答案,包括:
将所述第一提问信息和每个所述备选答案进行组合,得到多个备选问答对;
将所述备选问答对和标准问答对进行相似度比较,得到每个所述备选问答对的相似度信息,其中,所述标准问答对是通过所述备选答案和所述备选答案对应的标准问题组合得到的;
基于所述相似度信息确定所述备选问答对和所述标准问答对的相似度;
获取与所述标准问答对的相似度满足所述预设条件的所述备选问答对中的备选答案,作为第一答案。
8.根据权利要求7所述的方法,其特征在于,所述预设条件包括:与所述标准问答对的相似度最高,或者所述预设条件还包括:与所述标准问答对的相似度大于阈值。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述获取第一提问信息包括:从电子设备获取所述第一提问信息;
所述方法还包括:向所述电子设备发送所述第一答案。
10.根据权利要求1-9中任一项所述的方法,其特征在于,所述方法还包括:
若确定所述第一实体不被包含在所述至少一个标准提问信息中,则生成第二答案,所述第二答案指示未匹配到与所述第一实体相关的标准答案。
11.根据权利要求1-10中任一项所述的方法,其特征在于,所述方法还包括:
若确定所述备选答案与所述第一提问信息的匹配度不满足预设条件,则生成第三答案,所述第三答案指示未匹配到与所述第一提问信息相关的标准答案。
12.根据权利要求3所述的方法,其特征在于,所述获取与所述至少一个标准提问信息对应的标准答案,作为备选答案,包括:
触发召回指令,所述召回指令包括第一字段和第二字段,所述第一字段用于指示从第一图谱中查询第一实体,所述第二字段用于指示召回的是节点和关系边;
响应于所述召回指令,从所述第一图谱中召回与所述第一实体相匹配的所述第二实体的节点以及与所述节点具有连接关系的关系边,得到所述目标子图。
13.一种问答方法,其特征在于,应用于电子设备,所述方法包括:
接收第一提问信息,所述第一提问信息中包括第一实体;
若所述第一实体被包含在至少一个标准提问信息中,且所述至少一个标准提问信息对应的标准答案与所述第一提问信息的匹配度满足预设条件,则显示第一答案,所述第一答案是预置的多组问答对中包含所述第一实体的标准提问信息所对应的标准答案,且所述第一答案与所述第一提问信息的匹配度满足预设条件。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
若确定所述第一实体不被包含在所述至少一个标准提问信息中,则显示第二答案,所述第二答案指示未匹配到与所述第一实体相关的标准答案。
15.根据权利要求13或14所述的方法,其特征在于,所述方法还包括:
若确定所述备选答案与所述第一提问信息的匹配度不满足预设条件,则生成第三答案,所述第三答案指示未匹配到与所述第一提问信息相关的标准答案。
16.根据权利要求13-15中任一项所述的方法,其特征在于,所述第一实体被包含在至少一个标准提问信息中,包括:
所述第一实体与第一图谱中的至少一个第二实体相匹配;
其中,所述第二实体从所述标准提问信息中识别得到,所述第一图谱中的节点表示所述第二实体,所述第一图谱中的关系边表示两个所述第二实体相关联。
17.根据权利要求16所述的方法,其特征在于,所述第一图谱是以所述第二实体作为节点,以所述问答对中与所述标准提问信息对应的标准答案作为属性值生成的,其中,所述标准答案在所述第一图谱中以所述第二实体对应的节点的属性值表示,或者以多个所述第二实体对应的节点之间的关系边的属性值表示。
18.一种问答装置,其特征在于,所述问答装置包括存储器和一个或多个处理器,所述存储器与所述处理器耦合;其中,所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述问答装置执行如权利要求1-12中任一项所述的方法,或者执行权利要求14-17中任一项所述的方法。
19.一种问答系统,其特征在于,所述问答系统包括如权利要求18所述的问答装置。
20.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在所述电子设备上运行时,使得所述电子设备执行如权利要求1至13中任一项所述的方法或者执行权利要求14-17中任一项所述的方法。
CN202211522222.0A 2022-11-30 2022-11-30 一种问答方法及系统 Pending CN116303919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211522222.0A CN116303919A (zh) 2022-11-30 2022-11-30 一种问答方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211522222.0A CN116303919A (zh) 2022-11-30 2022-11-30 一种问答方法及系统

Publications (1)

Publication Number Publication Date
CN116303919A true CN116303919A (zh) 2023-06-23

Family

ID=86832950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211522222.0A Pending CN116303919A (zh) 2022-11-30 2022-11-30 一种问答方法及系统

Country Status (1)

Country Link
CN (1) CN116303919A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549710A (zh) * 2018-04-20 2018-09-18 腾讯科技(深圳)有限公司 智能问答方法、装置、存储介质及设备
CN108664599A (zh) * 2018-05-09 2018-10-16 腾讯科技(深圳)有限公司 智能问答方法、装置、智能问答服务器及存储介质
CN109933653A (zh) * 2019-01-24 2019-06-25 平安科技(深圳)有限公司 问答系统的问答查询方法、系统及计算机设备
CN110895561A (zh) * 2019-11-13 2020-03-20 中国科学院自动化研究所 基于多模态知识感知的医疗问答检索方法、系统、装置
CN110990541A (zh) * 2018-09-30 2020-04-10 北京国双科技有限公司 一种实现问答的方法及装置
CN111767382A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 生成反馈信息的方法、装置及终端设备
CN112507139A (zh) * 2020-12-28 2021-03-16 深圳力维智联技术有限公司 基于知识图谱的问答方法、系统、设备及存储介质
CN112632255A (zh) * 2020-12-29 2021-04-09 海信视像科技股份有限公司 一种获取问答结果的方法及装置
WO2021082982A1 (zh) * 2019-10-29 2021-05-06 平安科技(深圳)有限公司 基于图谱化知识库的问答方法、设备、存储介质及装置
CN114610860A (zh) * 2022-05-07 2022-06-10 荣耀终端有限公司 一种问答方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549710A (zh) * 2018-04-20 2018-09-18 腾讯科技(深圳)有限公司 智能问答方法、装置、存储介质及设备
CN108664599A (zh) * 2018-05-09 2018-10-16 腾讯科技(深圳)有限公司 智能问答方法、装置、智能问答服务器及存储介质
CN110990541A (zh) * 2018-09-30 2020-04-10 北京国双科技有限公司 一种实现问答的方法及装置
CN109933653A (zh) * 2019-01-24 2019-06-25 平安科技(深圳)有限公司 问答系统的问答查询方法、系统及计算机设备
WO2021082982A1 (zh) * 2019-10-29 2021-05-06 平安科技(深圳)有限公司 基于图谱化知识库的问答方法、设备、存储介质及装置
CN110895561A (zh) * 2019-11-13 2020-03-20 中国科学院自动化研究所 基于多模态知识感知的医疗问答检索方法、系统、装置
CN111767382A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 生成反馈信息的方法、装置及终端设备
CN112507139A (zh) * 2020-12-28 2021-03-16 深圳力维智联技术有限公司 基于知识图谱的问答方法、系统、设备及存储介质
CN112632255A (zh) * 2020-12-29 2021-04-09 海信视像科技股份有限公司 一种获取问答结果的方法及装置
CN114610860A (zh) * 2022-05-07 2022-06-10 荣耀终端有限公司 一种问答方法及系统

Similar Documents

Publication Publication Date Title
US11461221B2 (en) Action validation for digital assistant-based applications
CN110597962B (zh) 搜索结果展示方法、装置、介质及电子设备
US11935536B2 (en) Action validation for digital assistant-based applications
CN112507218A (zh) 业务对象推荐方法、装置、电子设备及存储介质
CN112925898A (zh) 基于人工智能的问答方法、装置、服务器及存储介质
WO2021142719A1 (zh) 画像生成方法、装置、服务器及存储介质
CN111625638A (zh) 一种问句处理方法、装置、设备及可读存储介质
CN110348006A (zh) 问题信息的生成方法、装置、计算机设备及其存储介质
CN113935401A (zh) 物品信息的处理方法、装置、服务器及存储介质
CN110515929B (zh) 书籍展示方法、计算设备及存储介质
CN110322299A (zh) 商品搜索方法及装置、电子设备、存储介质
US11916853B2 (en) Group type identification method and apparatus, computer device, and medium
CN111400464B (zh) 一种文本生成方法、装置、服务器及存储介质
CN116303919A (zh) 一种问答方法及系统
CN111506715B (zh) 查询方法、装置、电子设备及存储介质
CN110471708B (zh) 基于可重用组件的配置项获取的方法及装置
CN116150406B (zh) 上下文稀疏实体链接方法、装置、计算机设备和存储介质
US20230186911A1 (en) Delivery of Compatible Supplementary Content via a Digital Assistant
CN114202342A (zh) 一种智能客服对话方法及系统
CN116957643A (zh) 一种意向预测方法和相关装置
CN114968960A (zh) 日志处理方法、装置、计算机设备及存储介质
CN116127023A (zh) 意图识别模型的训练方法、应答处理方法及相关装置
CN117370645A (zh) 页面展示方法、装置、计算机设备和存储介质
CN117908736A (zh) 交互方法、装置、设备和存储介质
CN116303657A (zh) 群体画像生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination