CN116910199A - 基于人工智能的智能问答处理方法、装置、设备及介质 - Google Patents

基于人工智能的智能问答处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN116910199A
CN116910199A CN202310652142.5A CN202310652142A CN116910199A CN 116910199 A CN116910199 A CN 116910199A CN 202310652142 A CN202310652142 A CN 202310652142A CN 116910199 A CN116910199 A CN 116910199A
Authority
CN
China
Prior art keywords
question
user
answering
target
answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310652142.5A
Other languages
English (en)
Inventor
舒柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202310652142.5A priority Critical patent/CN116910199A/zh
Publication of CN116910199A publication Critical patent/CN116910199A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及人工智能技术领域,同时适用于医疗健康领域和金融科技领域,公开了一种基于人工智能的智能问答处理方法,包括:获取用户问题,将用户问题进行分词,得到分词结果,并通过分词结果确定用户问题所属的目标领域;对分词结果进行命名实体识别,得到分词结果中的实体;结合实体对用户问题进行语义分析,确定用户意图;基于目标领域选择与用户问题所属领域对应的预设问答模型,并通过预设问答模型和用户意图生成针对用户问题的答案。通过用户问题的分词结果和用户意图选择问答模型,使得问答模型生成的针对用户问题的答案更准确,解决智能问答过程采用单一模型面对不同领域、不同场景时准确性不稳定,不可靠的问题。

Description

基于人工智能的智能问答处理方法、装置、设备及介质
技术领域
本发明涉及基于人工智能技术领域,同时适用于医疗健康领域和金融领域,尤其涉及一种基于人工智能的智能问答处理方法、装置、设备及介质。
背景技术
知识库问答是自然语言处理领域的研究重点,其核心流程为解析自然语言问题并返回知识库中对应的答案。目前,一些大型商业公司,具有服务性质业务的公司等,都推出了基于知识库问答的自动化程序。
随着知识库问答方法的发展,越来越多的领域开始引入知识库问答方法,例如医疗领域内的线上智能问诊和智能导诊等应用场景,可以通过知识库问答方法提高用户的服务体验。
在实际应用中,为保证智能问答的效果,需要针对不同领域训练独属于该领域的目标模型,但现实中企业的业务往往涉及不同领域,现有的方法是为同一企业中的不同业务部门设置不同的智能问答模型,例如,平安集团的业务涉及银行等金融领域,也涉及医疗领域,为负责金融领域的部门和负责医疗领域的部门设置了不同的智能问答模型,为不同业务部门设置不同的智能问答模型的方式虽然可以保证在面对相应领域的用户问题时,虽然可以得到精确的回答,但当用户无法直接向特定领域的部门进行问询时,便无法获取准确的答复,例如,当用户只有负责金融领域的部门的联系方式,但用户需要咨询医疗领域的问题,此时,若用户向负责金融领域的部门进行问询时,负责金融领域的部门的智能问答模型无法得到准确的答案,造成用户问题无法识别、查询不到对应用户问题的答案等后果,影响用户体验,进而可能造成潜在的客户流失,因此,认为现有技术中为不同业务部门设置不同的智能问答模型的方式具有局限性。
发明内容
有鉴于此,本发明提供了一种基于人工智能的智能问答处理方法、装置、设备及介质,用于解决现有技术中知识库问答方法具有局限性限制的问题。
为达上述之一或部分或全部目的或是其他目的,本发明提出一种基于人工智能的智能问答处理方法,包括:获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;
对所述分词结果进行命名实体识别,得到分词结果中的实体;
结合所述实体对所述用户问题进行语义分析,确定用户意图;
基于所述目标领域选择与所述用户问题所属领域对应的预设问答模型,并通过所述预设问答模型和所述用户意图生成针对所述用户问题的答案。
另一方面,本申请提供了一种基于人工智能的智能问答处理装置,所述装置包括:
数据接收模块,用于获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;
实体识别模块,用于对所述分词结果进行命名实体识别,得到分词结果中的实体;
语义分析模块,用于结合所述实体对所述用户问题进行语义分析,确定用户意图;
问答模块,用于基于所述目标领域选择与所述用户问题所属领域对应的预设问答模型,并通过所述预设问答模型和所述用户意图生成针对所述用户问题的答案。
另一方面,本申请提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线通信,所述机器可读指令被所述处理器执行时执行:获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;对所述分词结果进行命名实体识别,得到分词结果中的实体;结合所述实体对所述用户问题进行语义分析,确定用户意图;基于所述目标领域选择与所述用户问题所属领域对应的预设问答模型,并通过所述预设问答模型和所述用户意图生成针对所述用户问题的答案。
另一方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行:获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;对所述分词结果进行命名实体识别,得到分词结果中的实体;结合所述实体对所述用户问题进行语义分析,确定用户意图;基于所述目标领域选择与所述用户问题所属领域对应的预设问答模型,并通过所述预设问答模型和所述用户意图生成针对所述用户问题的答案。
实施本发明实施例,将具有如下有益效果:
通过获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;对所述分词结果进行命名实体识别,得到分词结果中的实体;结合所述实体对所述用户问题进行语义分析,确定用户意图;基于所述目标领域选择与所述用户问题所属领域对应的预设问答模型,并通过所述预设问答模型和所述用户意图生成针对所述用户问题的答案。通过用户问题的分词结果和用户意图选择问答模型,使得问答模型生成的针对所述用户问题的答案更准确,解决智能问答过程采用单一模型面对不同领域、不同场景时准确性不稳定,不可靠的问题。并不针对特定部门设置单一的问答模型,通过用户问题进行问答模型筛选,使得用户在向负责第一领域,例如,金融领域的部门询问第二领域,例如,医疗领域的问题时,也可以得到准确的答案。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1是本申请实施例提供的一种基于人工智能的智能问答处理方法的应用场景图;
图2是本申请实施例提供的一种基于人工智能的智能问答处理方法的流程图;
图3是本申请实施例提供的一种基于人工智能的智能问答处理装置的结构示意图;
图4是本发明一实施例中计算机设备的一结构示意图;
图5是本发明一实施例中计算机设备的另一结构示意图。
图6是本申请实施例提供的一种电子设备的结构示意图;
图7是本申请实施例提供的一种存储介质的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的基于人工智能的智能问答处理方法,可应用在如图1的应用环境中,其中,客户端通过网络与服务端进行通信。服务端可以获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;对所述分词结果进行命名实体识别,得到分词结果中的实体;结合所述实体对所述用户问题进行语义分析,确定用户意图;基于所述识别结果和所述用户意图选择预设问答模型,并通过所述预设问答模型生成针对所述用户问题的答案。在本发明中,通过用户问题的分词结果和用户意图选择问答模型,使得问答模型生成的针对所述用户问题的答案更准确,解决智能问答过程采用单一模型面对不同领域、不同场景时准确性不稳定,不可靠的问题。并不针对特定部门设置单一的问答模型,通过用户问题进行问答模型筛选,使得用户在向负责第一领域,例如,金融领域的部门询问第二领域,例如,医疗领域的问题时,也可以得到准确的答案。其中,客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。下面通过具体的实施例对本发明进行详细的描述。
如图2所示,本申请实施例提供了一种基于人工智能的智能问答处理方法,包括:
S101、获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;
本发明提供的智能问答处理方法,可应用于各种应用场景下的智能客服或智能助手等智能问答引擎中,智能问答引擎通常通过服务端来实现,该服务端可以实时接收用户问题。例如,在保险应用领域,用户常常通过电话或线上聊天方式提问题,常需要借助智能问答引擎去回复客户的一些保险问题,以便提高保险推广效率和用户体验,又例如,在医疗领域,用户常常通过电话或线上聊天方式进行咨询,常需要借助智能问答引擎去回复客户的一些医疗问题,以保证用户体验并解放人力资源。
比如,智能问答引擎在接收到该用户问题之后,需对该用户问题进行进行分词,本申请实施例通过预设序列标注模型对所述用户问题进行分词,得到分词结果,所述预设序列标注模型为基于双向长短时记忆网络和条件随机场的序列标注模型。
具体的,基于双向长短时记忆网络和条件随机场的序列标注模型,即,bilstm-crf模型,若输入句子由120个词组成,每个词由100维的词向量表示,设句子输入维度为(120,100),经过等长卷积后得到T2(120,50),其中,50为卷积核个数。对于当前词对应的50维向量中,包含了其局部上下文信息,将第一隐层向量T1与第二隐层向量T2拼接,得到第三隐层向量T3(120,178),T3通过全连接层得到第四隐层向量T4(120,4),T4输入至CRF层,计算最终最优序列,得到所述分词结果。其中,bilstm-crf模型中增加卷积神经网络(CNN)层,避免因为模型容量问题丢弃一些重要信息,同时,所述命名实体识别(bilstm-crf)模型具有实现当前词即包含历史信息、又包含未来信息,更有利于对当前词进行标注,进而利于分词的效果。
示例性的,在通过所述分词结果确定所述用户问题所属的目标领域时,为减少不重要的数据造成的影响,可以对所述用户问题的分词结果进行关键词识别,用户问题中往往包含具有领域信息,例如,用户问题为:当前利率是多少?其中,分词结果中必然包含“利率”的字样,同时分词结果还包含“当前”和“多少”,但“当前”和“多少”对确定所述用户问题所属的目标领域的过程并没有帮助,因此可以进行关键词识别,即,保留“利率”的同时删除“当前”和“多少”,而“利率”显然为金融领域的术语,因此,通过所述用户问题的分词结果可以确定所述用户问题的所属领域。
S102、对所述分词结果进行命名实体识别,得到分词结果中的实体;
具体的,获取待进行命名实体识别的所述分词结果;确定所述分词结果的第一分类标签;其中,所述第一分类标签用于表征所述分词结果所对应的用户意图;利用所述分词结果和所述第一分类标签构建目标表征矩阵;基于所述目标表征矩阵确定所述分词结果中每个字的命名实体识别NER标签,得到所述分词结果的命名实体识别结果。
示例性的,在金融领域进行命名实体识别时,可以将所述分词结果处理为单字符和/或多字符,并将所述单字符和/或所述多字符分别转化为词向量;根据FLAT(Flat-Lattice Transformer)编码模型,对所述单字符和/或多字符的位置信息进行相对位置编码得到四个位置编码方阵,其中,所述位置信息为每一个单字符和/或多字符都构建两个位置列表,分别为Head和Tail,Head为每个字符或词汇的开始位置,Tail为每个字符或词汇的结束位置;将所述词向量和所述位置编码方阵输入Transformer模型得到实体的标签;将所述实体的标签输入判别模型得到实体类型,进而得到所述分词结果的命名实体识别结果。
示例性的,在医疗领域进行命名实体识别时,可以获取历史患者主诉文本数据和历史患者主诉文本数据对应的医生诊断文本数据;对历史患者主诉文本数据和医生诊断文本数据进行分词和词性标注,得到各个词向量及每个词向量对应的词性信息、标签信息;利用各个词向量及每个词向量对应的词性信息、标签信息训练目标网络结构,得到医疗命名实体识别模型,进而将所述分词结果输入所述医疗命名实体识别模型,得到所述分词结果的命名实体识别结果。
S103、结合所述实体对所述用户问题进行语义分析,确定用户意图;
示例性的,将所述实体作为用户意图参数候选;对所述用户问题进行依存语法分析,并且根据预设的用户意图关键候选集逐词模糊匹配得到意图关键词,判断所述意图关键词与所述用户意图参数候选之间的依存关系,并且仅在存在所述依存关系的情况下输出用户意图识别结果。其中,所述依存语法分析的过程为用词与词直接的依存关系来描述语言结构的框架的过程。
S104、基于所述目标领域选择与所述用户问题所属领域对应的预设问答模型,并通过所述预设问答模型和所述用户意图生成针对所述用户问题的答案。
通过用户问题的分词结果和用户意图选择问答模型,使得问答模型生成的针对所述用户问题的答案更准确,解决智能问答过程采用单一模型面对不同领域、不同场景时准确性不稳定,不可靠的问题。并不针对特定部门设置单一的问答模型,通过用户问题进行问答模型筛选,使得用户在向负责第一领域,例如,金融领域的部门询问第二领域,例如,医疗领域的问题时,也可以得到准确的答案。
在一种可能的实施方式中,在所述通过所述分词结果确定所述用户问题所属的目标领域的步骤之前,还包括:
获取历史问答数据;
基于数据来源的所属领域将所述历史问答数据进行分类,得到不同领域的目标问答数据;
根据预设筛选规则在所述目标问答数据中筛选出出现频率大于或等于阈值的目标短语数据,并基于所述目标短语数据建立不同领域的目标关键词库,所述不同领域的目标关键词库用于确定所述用户问题所属的目标领域。
示例性的,可以从客服记录、论坛、问答社区等渠道获取历史问答数据,也可以从负责不同领域业务的部门的数据库中获取历史问答数据,例如,从负责金融领域业务和负责医疗领域业务的部门的数据库中获取历史问答数据,当数据来源为不同领域业务的部门的数据库时,根据所述数据来源的所属领域将所述历史问答数据进行分类,得到金融领域的目标问答数据和医疗领域的目标问答数据;当历史问答数据从客服记录、论坛、问答社区等渠道获取时,根据客服记录、论坛、问答社区的所属领域将所述历史问答数据进行分类。
其中,所述历史问答数据为历史问答对,例如,客服记录中对用户疑问进行解答时的问答对数据。
示例性的,在所述目标问答数据中,基于同一问题的出现次数判断当前问题的热度,即,出现频率,将出现频率大于或者等于频率阈值的问题作为目标问题,获取目标问题的答案信息,计算所述答案信息中各短语的出现次数,将出现次数大于等于次数阀值的短语作为目标短语,基于目标问题和所述目标短语构建不同领域的目标关键词库,所述频率阈值为所有问题个数的15%,所述次数阀值为所有答案信息个数的30%。
示例性的,从目标问答数据中提取术语和目标字段,根据目标字段得到关键词字段,根据术语和关键词字段得到匹配式;利用匹配式对待查找的文本进行匹配,记录得到的所有关键词以及关键词所在的文本段;将文本段进行断句分词和向量化处理,计算各关键词的评分值,根据所述评分值筛选出候选关键词;对候选关键词进行分类,分类结果包括合法、否定和可疑关键词;剔除否定和可疑关键词,形成关键词库。
在一种可能的实施方式中,所述通过所述分词结果确定所述用户问题所属的目标领域的步骤,包括:
将所述分词结果与所述不同领域的目标关键词库进行匹配,得到匹配结果;
若所述匹配结果中有且只有一个领域的目标关键词库,则将所述目标关键词库所属的领域作为所述用户问题的目标领域;
若所述匹配结果中有至少两个不同领域的目标关键词库,则分别计算所述分词结果与各不同领域的目标关键词库的匹配度,并将所述匹配度按照由高到低顺序排序,选择匹配度最高的目标关键词库的所属领域作为所述用户问题的目标领域。
示例性的,以所述分词结果中包括“住院费”为例,将所述分词结果分别与所述金融领域的目标关键词库和医疗领域的目标关键词库进行匹配,确定所述医疗领域的目标关键词库中存在所述“住院费”,则将所述目标关键词库所属的医疗领域作为所述用户问题的目标领域,将所述目标领域作为所述识别结果。
示例性的,以所述分词结果中包括“利率”为例,将所述分词结果分别与所述金融领域的目标关键词库和医疗领域的目标关键词库进行匹配,确定所述金融领域的目标关键词库中存在所述“利率”,则将所述目标关键词库所属的金融领域作为所述用户问题的目标领域,将所述目标领域作为所述识别结果。
示例性的,以所述分词结果中包括“住院费”、“利率”和“治疗费”为例,将所述分词结果分别与所述金融领域的目标关键词库和医疗领域的目标关键词库进行匹配,确定所述医疗领域的目标关键词库中存在所述“住院费”和“治疗费”,同时,确定所述金融领域的目标关键词库中存在所述“利率”,即,医疗领域和金融领域的目标关键词库中均存在与所述分词结果相匹配的短语数据,则计算所述分词结果与各不同领域的目标关键词库的匹配度,将所述分词结果与所述医疗领域的目标关键词库的匹配度为2,所述分词结果与所述金融领域的目标关键词库的匹配度为1,选择匹配度最高的目标关键词库,即匹配度为2的所属领域-医疗领域作为所述用户问题的目标领域。
其中,所述匹配度用于表示所述分词结果与不同领域的目标关键词库的相关程度,如上例,所述匹配度可以为所述分词结果中与不同领域的目标关键词库内关键词相匹配的短语的个数。
在一种可能的实施方式中,在所述基于所述目标领域选择与所述用户问题所属领域对应的预设问答模型的步骤之前,还包括:
基于所述目标问答数据的数据特征和各初始问答模型的模型特征确定不同领域的初始问答模型,得到预设问答模型数据包,所述预设问答模型数据包包括领域和初始问答模型对应的关联数据,所述初始问答模型是通过不同算法构建的模型,所述预设问答模型数据包用于确定所述用户问题所属领域对应的初始问答模型。
示例性的,不同领域的问答数据的数据特征不同,例如,医疗领域涉及病症、病因等因素,所以医疗领域的问答数据更加模糊,金融领域涉及金钱、证券等因素,所以金融领域的问答数据更为准确,同一种问答模型往往不能满足不同领域的不同特征,因此,针对不同领域的目标问答数据的数据特征和采用不同算法的问答模型的优劣特征,即,模型特征确定不同领域的目标问答模型,采用不同算法的问答模型,例如卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络(LSTM)等。
在一种可能的实施方式中,在所述通过所述预设问答模型和所述用户意图生成针对所述用户问题的答案的步骤之前,还包括:
根据所述用户问题所属领域的目标问答数据生成训练集和测试集;
采用所述训练集和所述测试集,对基于所述预设问答模型数据包确定的所述用户问题所属领域对应的初始问答模型进行训练及测试,得到所述预设问答模型。
具体的,所述对基于所述预设问答模型数据包确定的所述用户问题所属领域对应的初始问答模型进行训练及测试,得到所述预设问答模型的步骤,包括:
通过采用伪计数的增强学习方法对基于所述预设问答模型数据包确定的所述用户问题所属领域对应的初始问答模型进行训练及测试,得到所述预设问答模型。
示例性的,对所述用户问题所属领域的目标问答数据进行预处理,包括:对目标问答数据进行清洗、去重、分词、去停用词等处理,以便于后续的建模和训练。
将预处理后的目标问答数据进行特征提取处理,得到训练特征,包括:使用词向量技术将问题和答案转化为向量表示,例如,用来产生词向量的相关模型(Word2Vec)、全局向量模型(GloVe)等;
基于所述训练特征采用伪计数的增强学习方法对所述用户问题对应的目标问答模型进行训练,得到所述预设问答模型。
示例性的,伪计数的增强学习方法包括:获取训练特征,所述训练特征具有数据标识(i)、数据标识(ii)和数据标识(iii),所述数据标识(i)表征环境的第一状态的第一观察值,数据标识(ii)代表响应于该第一观察值而执行的第一动作,数据标识(iii)代表响应于第一观察值执行了动作而接收的实际回馈数据,例如在利用异策略(off-policy)算法训练神经网络的实施方式中,可以从存储有训练过程与环境交互产生的经验元组(即,观察值-动作-回报元组)的存储器中获得数据标识(i)、数据标识(ii)和数据标识(iii)。在其他实施方式中,例如在利用同策略(on-policy)算法训练神经网络的实施方式中,获得的数据标识(i)、数据标识(ii)和数据标识(iii)是由于训练过程与环境的最近交互而已经产生的,数据标识(i)、数据标识(ii)和数据标识(iii)视为已知数据。确定所述第一观察值的伪计数;根据所述第一观察值的伪计数确定探索回报优势数据,所述探索回报优势数据激励所述训练过程探索当前环境;根据该实际回馈和探索回报优势数据产生组合回报;并且利用所述组合回报来调整神经网络的参数的当前值,以实现所述预设问答模型的增强学习过程。
其中,当所述用户问题所属领域为金融领域时,所述目标问答数据为金融领域的历史问答数据,即,负责金融领域业务的部门的数据库中的历史问答对。
在一种可能的实施方式中,所述方法,还包括:
获取用户的环境信息,通过增强现实技术基于所述环境信息构建虚拟场景,并基于虚拟场景,将针对所述用户问题的答案向用户展示;
通过虚拟显示技术获取用户的肢体信息,并对所述肢体信息进行识别,得到所述用户对所述答案的满意程度数据;
若所述满意程度数据大于或等于预设阀值,则完成针对所述用户问题的问答处理过程;
若所述满意程度数据小于预设阀值,则选择匹配度第二高的目标关键词库的所属领域作为所述用户问题的目标领域,并基于匹配度第二高的目标关键词库的所属领域针对所述用户问题进行问答处理。
示例性的,通过增强现实(AR)技术将用户现实环境中的图像进行处理和识别。常用的算法包括图像匹配、特征提取、立体视觉等算法,构建虚拟场景时,常用的算法包括基于光线跟踪的渲染、基于深度学习的图像生成算法等。通过手机、平板电脑等设备的摄像头,用户可以将自己的现实环境中的场景映射到虚拟环境中,实现用户与虚拟客服之间的交互。例如,当用户需要申请车险理赔时,虚拟客服可以通过AR技术模拟出事故现场,帮助用户进行理赔操作。
示例性的,通过虚拟显示(VR)技术获取用户的肢体信息,常用的算法包括手势识别、语音识别、头部追踪等算法,VR技术需要模拟出虚拟环境。常用的算法包括基于虚拟现实引擎的场景搭建、物理引擎模拟等算法实现。
示例性的,通过虚拟显示(VR)技术捕捉用户的动作,得到用户的肢体信息,并识别所述用户的肢体信息得到所述用户对所述答案的满意程度数据,例如,识别出用户的摇头或者摆手动作,基于日常常识,判断用户的摇头或者摆手动作表示否认或者拒绝,因此得到所述用户对当前答案的满意程度数据为低和/或较低,因此基于所述满意程度数据验证所述答案的验证结果为不通过,进而重新为用户提供其他答案。通过捕捉用户的肢体信息,使得本申请提供的智能问答方法的使用人群更广泛,可以适用于语言障碍的特殊人群,能够保障特殊人群的权益,保证特殊人群的服务体验。
在一种可能的实施方式中,如图3所示,本申请提供了一种基于人工智能的智能问答处理装置,所述装置包括:
数据接收模块201,用于获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;
实体识别模块202,用于对所述分词结果进行命名实体识别,得到分词结果中的实体;
语义分析模块203,用于结合所述实体对所述用户问题进行语义分析,确定用户意图;
问答模块204,用于基于所述目标领域选择与所述用户问题所属领域对应的预设问答模型,并通过所述预设问答模型和所述用户意图生成针对所述用户问题的答案。
在一种可能的实施方式中,所述数据接收模块201,用于:
获取历史问答数据;
基于数据来源的所属领域将所述历史问答数据进行分类,得到不同领域的目标问答数据;
根据预设筛选规则在所述目标问答数据中筛选出出现频率大于或等于预设阈值的目标短语数据,并基于所述目标短语数据建立不同领域的目标关键词库,所述不同领域的目标关键词库用于确定所述用户问题所属的目标领域。
在一种可能的实施方式中,所述数据接收模块201,用于:
将所述分词结果与所述不同领域的目标关键词库进行匹配,得到匹配结果;
若所述匹配结果中有且只有一个领域的目标关键词库,则将所述目标关键词库所属的领域作为所述用户问题的目标领域;
若所述匹配结果中有至少两个不同领域的目标关键词库,则分别计算所述分词结果与各不同领域的目标关键词库的匹配度,并将所述匹配度按照由高到低顺序排序,选择匹配度最高的目标关键词库的所属领域作为所述用户问题的目标领域。
在一种可能的实施方式中,所述问答模块204,用于:
基于所述目标问答数据的数据特征和各初始问答模型的模型特征确定不同领域的初始问答模型,得到预设问答模型数据包,所述预设问答模型数据包包括领域和初始问答模型对应的关联数据,所述初始问答模型是通过不同算法构建的模型,所述预设问答模型数据包用于确定所述用户问题所属领域对应的初始问答模型。
在一种可能的实施方式中,所述问答模块204,用于:
根据所述目标领域和所述预设问答模型数据包确定所述用户问题所属领域对应的初始问答模型;
根据所述用户问题所属领域的目标问答数据生成训练集和测试集;
采用所述训练集和所述测试集,对基于所述预设问答模型数据包确定的所述用户问题所属领域对应的初始问答模型进行训练及测试,得到所述预设问答模型。
在一种可能的实施方式中,所述问答模块204,用于:
通过采用伪计数的增强学习方法对基于所述预设问答模型数据包确定的所述用户问题所属领域对应的初始问答模型进行训练及测试,得到所述预设问答模型。
在一种可能的实施方式中,所述数据接收模块201,用于:
获取用户的环境信息,通过增强现实技术基于所述环境信息构建虚拟场景,并基于虚拟场景,将针对所述用户问题的答案向用户展示;
通过虚拟显示技术获取用户的肢体信息,并对所述肢体信息进行识别,得到所述用户对所述答案的满意程度数据;
若所述满意程度数据大于或等于预设阀值,则完成针对所述用户问题的问答处理过程;
若所述满意程度数据小于预设阀值,则选择匹配度第二高的目标关键词库的所属领域作为所述用户问题的目标领域,并基于匹配度第二高的目标关键词库的所属领域针对所述用户问题进行问答处理。
本发明提供了一种基于人工智能的智能问答处理装置,通过用户问题的分词结果和用户意图选择问答模型,使得问答模型生成的针对所述用户问题的答案更准确,解决智能问答过程采用单一模型面对不同领域、不同场景时准确性不稳定,不可靠的问题。并不针对特定部门设置单一的问答模型,通过用户问题进行问答模型筛选,使得用户在向负责第一领域,例如,金融领域的部门询问第二领域,例如,医疗领域的问题时,也可以得到准确的答案。
关于智能问答处理装置的具体限定可以参见上文中对于智能问答方法的限定,在此不再赘述。上述智能问答处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务端,其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性和/或易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的智能问答处理方法服务端侧的功能或步骤。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是客户端,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的智能问答处理方法客户端侧的功能或步骤。
在一种可能的实施方式中,如图6所示,本申请实施例提供了一种电子设备300,包括:包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序311,处理器320执行计算机程序311时,实现:获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;对所述分词结果进行命名实体识别,得到分词结果中的实体;结合所述实体对所述用户问题进行语义分析,确定用户意图;基于所述识别结果和所述用户意图选择预设问答模型,并通过所述预设问答模型生成针对所述用户问题的答案。
通过用户问题的分词结果和用户意图选择问答模型,使得问答模型生成的针对所述用户问题的答案更准确,解决智能问答过程采用单一模型面对不同领域、不同场景时准确性不稳定,不可靠的问题。并不针对特定部门设置单一的问答模型,通过用户问题进行问答模型筛选,使得用户在向负责第一领域,例如,金融领域的部门询问第二领域,例如,医疗领域的问题时,也可以得到准确的答案。
在一种可能的实施方式中,如图7所示,本申请实施例提供了一种计算机可读存储介质400,其上存储有计算机程序411,该计算机程序411被处理器执行时实现:获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;对所述分词结果进行命名实体识别,得到分词结果中的实体;结合所述实体对所述用户问题进行语义分析,确定用户意图;基于所述识别结果和所述用户意图选择预设问答模型,并通过所述预设问答模型生成针对所述用户问题的答案。
通过获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;对所述分词结果进行命名实体识别,得到分词结果中的实体;结合所述实体对所述用户问题进行语义分析,确定用户意图;基于所述识别结果和所述用户意图选择预设问答模型,并通过所述预设问答模型生成针对所述用户问题的答案。通过用户问题的分词结果和用户意图选择问答模型,使得问答模型生成的针对所述用户问题的答案更准确,解决智能问答过程采用单一模型面对不同领域、不同场景时准确性不稳定,不可靠的问题。并不针对特定部门设置单一的问答模型,通过用户问题进行问答模型筛选,使得用户在向负责第一领域,例如,金融领域的部门询问第二领域,例如,医疗领域的问题时,也可以得到准确的答案。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个计算装置上,或者分布在多个计算装置所组成的网络上,可选地,他们可以用计算机装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件的结合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里上述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种基于人工智能的智能问答处理方法,其特征在于,包括:
获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;
对所述分词结果进行命名实体识别,得到分词结果中的实体;
结合所述实体对所述用户问题进行语义分析,确定用户意图;
基于所述目标领域选择与所述用户问题所属领域对应的预设问答模型,并通过所述预设问答模型和所述用户意图生成针对所述用户问题的答案。
2.如权利要求1所述的基于人工智能的智能问答处理方法,其特征在于,在所述通过所述分词结果确定所述用户问题所属的目标领域的步骤之前,还包括:
获取历史问答数据;
基于数据来源的所属领域将所述历史问答数据进行分类,得到不同领域的目标问答数据;
根据预设筛选规则在所述目标问答数据中筛选出出现频率大于或等于预设阈值的目标短语数据,并基于所述目标短语数据建立不同领域的目标关键词库,所述不同领域的目标关键词库用于确定所述用户问题所属的目标领域。
3.如权利要求2所述的基于人工智能的智能问答处理方法,其特征在于,所述通过所述分词结果确定所述用户问题所属的目标领域的步骤,包括:
将所述分词结果与所述不同领域的目标关键词库进行匹配,得到匹配结果;
若所述匹配结果中有且只有一个领域的目标关键词库,则将所述目标关键词库所属的领域作为所述用户问题的目标领域;
若所述匹配结果中有至少两个不同领域的目标关键词库,则分别计算所述分词结果与各不同领域的目标关键词库的匹配度,并将所述匹配度按照由高到低顺序排序,选择匹配度最高的目标关键词库的所属领域作为所述用户问题的目标领域。
4.如权利要求2所述的基于人工智能的智能问答处理方法,其特征在于,在所述基于所述目标领域选择与所述用户问题所属领域对应的预设问答模型的步骤之前,还包括:
基于所述目标问答数据的数据特征和各初始问答模型的模型特征确定不同领域的初始问答模型,得到预设问答模型数据包,所述预设问答模型数据包包括领域和初始问答模型对应的关联数据,所述初始问答模型是通过不同算法构建的模型,所述预设问答模型数据包用于确定所述用户问题所属领域对应的初始问答模型。
5.如权利要求4所述的基于人工智能的智能问答处理方法,其特征在于,在所述通过所述预设问答模型和所述用户意图生成针对所述用户问题的答案的步骤之前,还包括:
根据所述用户问题所属领域的目标问答数据生成训练集和测试集;
采用所述训练集和所述测试集,对基于所述预设问答模型数据包确定的所述用户问题所属领域对应的初始问答模型进行训练及测试,得到所述预设问答模型。
6.如权利要求5所述的基于人工智能的智能问答处理方法,其特征在于,所述对基于所述预设问答模型数据包确定的所述用户问题所属领域对应的初始问答模型进行训练及测试,得到所述预设问答模型的步骤,包括:
通过采用伪计数的增强学习方法对基于所述预设问答模型数据包确定的所述用户问题所属领域对应的初始问答模型进行训练及测试,得到所述预设问答模型。
7.如权利要求3所述的基于人工智能的智能问答处理方法,其特征在于,所述方法,还包括:
获取用户的环境信息,通过增强现实技术基于所述环境信息构建虚拟场景,并基于虚拟场景,将针对所述用户问题的答案向用户展示;
通过虚拟显示技术获取用户的肢体信息,并对所述肢体信息进行识别,得到所述用户对所述答案的满意程度数据;
若所述满意程度数据大于或等于预设阀值,则完成针对所述用户问题的问答处理过程;
若所述满意程度数据小于预设阀值,则选择匹配度第二高的目标关键词库的所属领域作为所述用户问题的目标领域,并基于匹配度第二高的目标关键词库的所属领域针对所述用户问题进行问答处理。
8.一种基于人工智能的智能问答处理装置,其特征在于,所述装置包括:
数据接收模块,用于获取用户问题,将所述用户问题进行分词,得到分词结果,并通过所述分词结果确定所述用户问题所属的目标领域;
实体识别模块,用于对所述分词结果进行命名实体识别,得到分词结果中的实体;
语义分析模块,用于结合所述实体对所述用户问题进行语义分析,确定用户意图;
问答模块,用于基于所述目标领域选择与所述用户问题所属领域对应的预设问答模型,并通过所述预设问答模型和所述用户意图生成针对所述用户问题的答案。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7中任一项所述的基于人工智能的智能问答处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7中任一项所述的基于人工智能的智能问答处理方法的步骤。
CN202310652142.5A 2023-06-02 2023-06-02 基于人工智能的智能问答处理方法、装置、设备及介质 Pending CN116910199A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310652142.5A CN116910199A (zh) 2023-06-02 2023-06-02 基于人工智能的智能问答处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310652142.5A CN116910199A (zh) 2023-06-02 2023-06-02 基于人工智能的智能问答处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116910199A true CN116910199A (zh) 2023-10-20

Family

ID=88358999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310652142.5A Pending CN116910199A (zh) 2023-06-02 2023-06-02 基于人工智能的智能问答处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116910199A (zh)

Similar Documents

Publication Publication Date Title
CN111090987B (zh) 用于输出信息的方法和装置
CN110737801B (zh) 内容分类方法、装置、计算机设备和存储介质
US20210073473A1 (en) Vector Representation Based on Context
CN110234018B (zh) 多媒体内容描述生成方法、训练方法、装置、设备及介质
US11901047B2 (en) Medical visual question answering
WO2020019591A1 (zh) 用于生成信息的方法和装置
CN111582409A (zh) 图像标签分类网络的训练方法、图像标签分类方法及设备
WO2022105118A1 (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
US11645561B2 (en) Question answering system influenced by user behavior and text metadata generation
CN113704460B (zh) 一种文本分类方法、装置、电子设备和存储介质
CN108228567B (zh) 用于提取组织机构的简称的方法和装置
CN112989212B (zh) 媒体内容推荐方法、装置和设备及计算机存储介质
US20230032728A1 (en) Method and apparatus for recognizing multimedia content
CN112765387A (zh) 图像检索方法、图像检索装置和电子设备
CN111915086A (zh) 异常用户预测方法和设备
CN113609866A (zh) 文本标记方法、装置、设备及存储介质
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
CN116977701A (zh) 视频分类模型训练的方法、视频分类的方法和装置
CN113362852A (zh) 一种用户属性识别方法和装置
US11558471B1 (en) Multimedia content differentiation
CN116775815B (zh) 对话数据的处理方法、装置、电子设备及存储介质
CN116955707A (zh) 内容标签的确定方法、装置、设备、介质及程序产品
US20230367972A1 (en) Method and apparatus for processing model data, electronic device, and computer readable medium
CN112861474B (zh) 一种信息标注方法、装置、设备及计算机可读存储介质
CN116910199A (zh) 基于人工智能的智能问答处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination