CN110334201B - 一种意图识别方法、装置及系统 - Google Patents

一种意图识别方法、装置及系统 Download PDF

Info

Publication number
CN110334201B
CN110334201B CN201910649175.8A CN201910649175A CN110334201B CN 110334201 B CN110334201 B CN 110334201B CN 201910649175 A CN201910649175 A CN 201910649175A CN 110334201 B CN110334201 B CN 110334201B
Authority
CN
China
Prior art keywords
information
semantic recognition
session
user
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910649175.8A
Other languages
English (en)
Other versions
CN110334201A (zh
Inventor
盛丽晔
王慎超
干志勤
朱甜甜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201910649175.8A priority Critical patent/CN110334201B/zh
Publication of CN110334201A publication Critical patent/CN110334201A/zh
Application granted granted Critical
Publication of CN110334201B publication Critical patent/CN110334201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Abstract

本发明提供了一种意图识别方法、装置及系统,将用户输入的用户对话信息转化为会话向量信息,通过多种语义识别模型对会话向量信息进行语义识别,获得多个语义识别结果。再结合会话上文信息、用户信息,利用意图排序模型,对语义识别结果进行排序,将排序最高的语义识别结果作为最终的意图识别结果。本说明书实施例结合会话上下文、用户信息等多项特征,提供了一种在复杂语境中准确识别用户意图的方法,在多轮交互场景下,更准确识别用户意图,结合用户个人信息,针对性的对用户会话进行意图识别,提高了对话成功率,提升了用户体验。

Description

一种意图识别方法、装置及系统
技术领域
本发明涉及计算机技术领域,特别涉及一种意图识别方法、装置及系统。
背景技术
随着自然语言处理技术的发展,对话机器人开始越来越多地走进人们的日常生活中。面对各类应用场景,目前的对话机器人主要可以分为三大类,个人助理、客服机器人与聊天机器人。个人助理可以在预设范围内完成用户的指令;客服机器人可以在特定领域为用户回答各种业务问题;聊天机器人可以在泛向场景与用户进行简单交流。
在各自的应用场景下,各类机器人需要准确的识别用户的意图,但是用户意图一般复杂多变,尤其在多轮对话场景中,可能在完成任务型、问答型等场景间穿插交错,往往难以准确识别用户意图。而且传统通过专家规则、统计方法也无法覆盖各类意图转移场景,在交互过程中容易出现答非所问,对牛弹琴的情况,使得对话完成率低,用户体验不佳。
如何提高对话时用户意图识别的准确性和对话完成率,是本领域亟需解决的技术问题。
发明内容
本发明实施例提供了一种意图识别方法、装置及系统,提高了用户会话意图识别的准确性和会话成功率。
一方面,提供了一种意图识别方法,包括:
接收用户对话信息;
将所述用户对话信息转换成会话向量信息;
利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个语义识别结果;
获取用户信息以及所述用户对话信息的会话上文信息;
根据所述用户信息、所述会话上文信息、所述语义识别结果,利用预先构建的意图排序模型,对所述语义识别结果进行排序,将排序最高的语义识别结果作为目标意图识别结果。
另一方面,提供了一种意图识别装置,包括:
对话信息接收模块,用于接收用户对话信息;
向量转换模块,用于将所述用户对话信息转换成会话向量信息;
语义识别模块,用于利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个语义识别结果;
关联信息获取模块,用于获取用户信息以及所述用户对话信息的会话上文信息;
意图识别模块,用于根据所述用户信息、所述会话上文信息、所述语义识别结果,利用预先构建的意图排序模型,对所述语义识别结果进行排序,将排序最高的语义识别结果作为目标意图识别结果。
又一方面,提供了一种意图识别数据处理设备,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现上述实施例中的意图识别方法。
又一方面,提供了一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现上述实施例中的意图识别方法。
又一方面,提供了一种意图识别系统,包括:数据存储单元、用户交互单元、词向量生成单元、语义识别单元、意图选择单元;
所述数据存储单元用户存储会话信息、用户信息、模型文件,所述模型文件包括:词向量预训练模型、语义识别模型、意图排序模型;
所述用户交互单元用于接收会话请求和返回会话应答信息;
所述词向量生成单元用于从所述数据存储单元调用所述词向量预训练模型,将所述用户交互单元接收到的会话请求信息转化为会话向量信息,并发送给所述语义识别单元;
所述语义识别单元用于从所述数据存储单元调用所述语义识别模型,按照所述语义识别模型对应的优先级,分别对所述会话向量信息进行语义识别,获得多个语义识别结果;
所述意图选择单元用于从所述数据存储单元获取所述会话请求信息的会话上文信息、用户信息和意图排序模型,并将所述会话上文信息、用户信息、语义识别结果输入到所述意图排序模型中,获得各个语义识别结果的排序值,将排序值最高的语义识别结果作为意图识别结果返回给所述用户交互单元;
所述用户交互单元基于所述意图识别结果生成对应的会话应答信息。
在本发明实施例中提供了一种意图识别方法、装置、处理设备、计算机存储介质、系统,将用户输入的用户对话信息转化为会话向量信息,通过多种语义识别模型对会话向量信息进行语义识别,获得多个语义识别结果。再结合会话上文信息、用户信息,利用意图排序模型,对语义识别结果进行排序,将排序最高的语义识别结果作为最终的意图识别结果。本说明书实施例结合会话上下文、用户信息等多项特征,提供了一种在复杂语境中准确识别用户意图的方法,在多轮交互场景下,更准确识别用户意图,结合用户个人信息,针对性的对用户会话进行意图识别,提高了对话成功率,提升了用户体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1是本说明书一个实施例中意图识别方法的流程示意图;
图2是本说明书一个实施例中意图排序模型的训练方法示意图;
图3是本说明书实施例中提供的一种意图识别系统的结构示意图;
图4是本说明书又一个实施例中意图识别方法的流程示意图;
图5是本说明书一个实施例中意图识别装置的结构示意图;
图6是本说明书实施例中意图识别服务器的硬件结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
随着计算机技术的发展,人工智能的产品越来越多的方便了人们的生活,用于与用户对话的人工智能产品也越来越多,可以称为对话机器人。对话机器人可以是一个单独的对话终端,也可以是在客户端或其他终端中的一个用户对话的组件。对话机器人可以根据用户输入的文字或语音信息,识别出用户的意图,根据用户的请求,返回对应的应答信息或执行对应的操作。
本说明书一些实施例提供了一种意图识别方法,将用户输入的用户对话信息转化为会话向量信息,通过多种语义识别模型对会话向量信息进行语义识别,获得多个语义识别结果。再结合会话上文信息、用户信息,利用意图排序模型,对语义识别结果进行排序,将排序最高的语义识别结果作为最终的意图识别结果。本说明书实施例结合会话上下文、用户信息等多项特征,提供了一种在复杂语境中准确识别用户意图的方法,在多轮交互场景下,更准确识别用户意图,提高对话成功率,提升用户体验。
本说明书中意图识别方法可以应用在客户端或服务器中,客户端可以是智能手机、平板电脑、智能可穿戴设备(智能手表、虚拟现实眼镜、虚拟现实头盔等)、智能车载设备等电子设备。
具体地,图1是本说明书一个实施例中意图识别方法的流程示意图,如图1所示,本说明书一个实施例中提供的意图识别方法可以包括以下步骤:
步骤102、接收用户对话信息。
在具体的实施过程中,本说明书实施例中的意图识别方法可以应用在对话机器人或其他对话终端中,用户可以通过人机交互界面输入会话请求,对话机器人可以接收用户输入的用户对话信息。其中,用户对话信息可以是用户输入的文字信息,也可以是语音转换文本。用户对话信息可以是用户指示会话机器人执行某项任务的指令,也可以是提问或其他的请求信息。
步骤104、将所述用户对话信息转换成会话向量信息。
本说明书实施例可以利用词向量预训练模型,将用户对话信息转换为对应的会话向量信息,每个词的n维向量可以表示为[w1,w2,…,wn]。其中,词向量预训练模型可以采用ELMO((Embeddings from Language Models)算法训练构建,ELMO基于双向语言模型,可以根据训练集动态生成词的向量表示,在不同的上下文语境中,同一个词的向量表示是不同的。例如“卡被atm机吞了怎么办”和“网页卡住了怎么办”,两句话中的“卡”字含义不同,其向量形式也不同。当然,也可以采用其他的方法进行向量转换,本说明书实施例不作具体限定。
此外,本说明书一些实施例中,在将用户对话信息转换成会话向量信息时,可以先对用户对话信息进行分词、停用词过滤等预处理,再利用词向量预训练模型将分词序列转换为会话向量信息。
步骤106、利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个语义识别结果。
在具体的实施过程中,可以预先训练构建出不同业务类型的语义识别模型,语义识别模型可以表示用于对转换后的会话向量信息进行语义识别,确定出用户对话请求的意图的模型算法。如:可以利用历史的用户会话信息,基于深度学习算法等进行模型训练,构建出语义识别模型。
本说明书一些实施例中,针对不同的会话业务,语义识别模型的种类可以包括:任务语义识别模型、问答语义识别模型、闲聊语义识别模型中的至少一个,当然还可以包括其他的语义识别模型如:游戏会话语义识别模型等,具体可以根据实际需要进行选择。其中,任务语义识别模型可以表示用于识别用户的任务指令的算法模型,通常可以应用于任务指派场景,如:用户请求播放一首歌曲;问答语义识别模型可以表示用于回答用户问题的算法模型,通常可以应用于咨询场景,如:用户咨询信用卡如何开通;闲聊语义识别模型可以表示用于与用户聊天不限于业务场景的语义识别算法模型。基于不同的业务类型,采集不同的样本数据,训练构建不同的语义识别模型,使得对用户意图进行语义识别时更具有针对性和专业性,提高了语义识别的准确性。
此外,本说明书实施例中不同业务类型的语义识别模型可以采用不同的算法进行训练构建,可以根据不同语义识别模型的数据集特征、样本量的大小等来选择不同的算法。通常对于分类简单,训练数据较小的情况,可选择统计学分类方法,如决策树、朴素贝叶斯等;对于语义理解要求较高(如:问答语义识别模型、闲聊意图识别模型),训练数据量较大的情况,可选择深度学习分类算法,如fasttext、transformer等,具体可以根据实际需要选择对应的算法构建语义识别模型,本说明书实施例不作具体限定。
本说明书实施例可以利用不同业务类型语义识别模型对转换后的会话向量信息进行语义识别,获得多个语义识别结果。其中,每一个语义识别模型可以识别出一个或多个语义识别结果,如:问答语义识别模型对转换后的会话向量信息进行语义识别时,识别出的语义识别结果为:如何申请信用卡,信用卡如何分期还款,信用卡分期还款的利息如何计算。
步骤108、获取用户信息以及所述用户对话信息的会话上文信息。
在具体的实施过程中,用户每一次输入的会话请求即用户对话信息均可以保存,在进行用户意图识别时,可以获取当前用户对话信息的会话上文信息。例如:当前用户对话信息为信用卡还款的利息如何计算,上一次用户输入的用户对话信息可以作为会话上文信息,如:信用卡如何分期还款。还可以获取用户信息,如:用户的年龄、职业、消费习惯、个人喜好等,可以通过用户的账户名或用户在终端上的操作记录或采用其他的方式获取对应的用户信息,本说明书实施例不作具体限定。
步骤110、根据所述用户信息、所述会话上文信息、所述语义识别结果,利用预先构建的意图排序模型,对所述语义识别结果进行排序,将排序最高的语义识别结果作为目标意图识别结果。
在具体的实施过程中,可以预先利用历史的用户对话信息、用户信息、会话上问信息等作为样本数据,通过机器学习等方法训练构建意图排序模型,意图排序模型可以表示对识别出的语义识别结果进行评分排序的算法模型。在识别出用户对话信息对应的语义识别结果后,可以将用户对话信息、用户信息、会话上文信息作为意图排序模型的输入,对语义识别结果进行评分,根据评分对语义识别结果进行排序,评分越高,对应的语义识别结果的排序越高。将排序最高的语义识别结果作为最终的目标意图识别结果,可以根据目标意图识别结果,匹配对应的应答信息,返回给用户。
利用用户对话信息的会话上文信息,结合会话场景,可以更好的理解用户的会话意图,尤其在多轮会话场景中,根据用户会话的上下文可以更好的了解会话需求。此外,结合用户的个人信息,可以更有针对性的识别用户的意图,如:若用户请求播放一首关于校园的歌曲,可以根据用户的年龄,选择用户感兴趣的年代的校园歌曲,提升用户意图识别的准确性。
本说明书一些实施例提供了一种意图识别方法,将用户输入的用户对话信息转化为会话向量信息,通过多种语义识别模型对会话向量信息进行语义识别,获得多个语义识别结果。再结合会话上文信息、用户信息,利用意图排序模型,对语义识别结果进行排序,将排序最高的语义识别结果作为最终的意图识别结果。本说明书实施例结合会话上下文、用户信息等多项特征,提供了一种在复杂语境中准确识别用户意图的方法,在多轮交互场景下,更准确识别用户意图,结合用户个人信息,针对性的对用户会话进行意图识别,提高了对话成功率,提升了用户体验。
在上述实施例的基础上,本说明书一些实施例中,所述利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个语义识别结果,包括
利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个识别结果和所述识别结果对应的概率值;
将所述概率值符合预设要求的识别结果作为语义识别结果。
在具体的实施过程中,利用语义识别模型对用户对话信息转换后的会话向量信息进行语义识别时,可以获得语义识别结果以及语义识别结果对应的概率值,概率值可以表示获得的语义识别结果是用户真实意图的概率。可以将概率值满足预设要求的语义识别结果作为复合要求的语义识别结果,其中,预设要求可以为概率阈值,如:概率值大于0.8,则认为该识别结果是可信的。
例如:利用语义识别模型对用户对话信息转换后的会话向量信息进行语义识别时,获得3个识别结果,其中第一个识别结果对应的概率值为0.85,第二个识别结果对应的概率值为0.7,第三个识别结果对应的概率值为0.8,若预设概率值大于0.75的识别结果符合要求,则可以将第一个识别结果和第三个识别结果,作为符合要求的语义识别结果,进行后续的语义识别结果的排序。
本说明书实施例,根据语义识别模型输出的识别结果对应的概率值,对识别结果进行初步的筛选,可以提高意图识别的准确性和效率。
在上述实施例的基础上,本说明书一些实施例中,所述利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个语义识别结果,可以包括:
设置所述不同业务类型的语义识别模型优先级和概率阈值;
调用优先级最高的语义识别模型对所述会话向量信息进行语义识别,获得多个初始语义识别结果以及所述初始语义识别结果对应的概率值;
若所述初始语义识别结果对应的概率值大于或等于所述优先级最高的语义识别模型对应的概率阈值,则将所述初始语义识别结果作为语义识别结果;
若所述初始语义识别结果对应的概率值小于所述优先级最高的语义识别模型对应的概率阈值,则调用优先级次高的语义识别模型对所述会话向量信息进行语义识别,直至获得的初始语义识别结果对应的概率值大于或等于对应的语义识别模型的概率阈值。
在具体的实施过程中,可以根据专家经验或项目需要为各个语义识别模型设置优先级和概率阈值,优先级的高低可以根据该模型解决用户的需求的紧迫程度来设置,如:对于问答型、任务型的会话,用户可能比较着急获得会话应答,对于闲聊型会话,用户对于会话反馈的时间可能要求没有那么高。例如:若语义识别模型包括任务语义识别模型、问答语义识别模型、闲聊语义识别模型,则可以设置任务语义识别模型的优先级最高为1,问答语义识别模型的优先级为2,低于任务语义识别模型的优先级,闲聊语义识别模型的优先级最低。此外,还可以设置各个语义识别模型对应的概率阈值,概率阈值可以表示语义识别模型识别出的语义识别结果的可信度。例如:可以根据实际使用需要设置,任务语义识别模型的概率阈值为0.8,问答语义识别模型的概率阈值为0.9,闲聊语义识别模型的概率阈值为0.7。
设置好各个语义识别模型的优先级和概率阈值后,可以优先调用优先级高的语义识别模型对用户会话信息转换后的会话向量信息进行语义识别,获得对应的初始语义识别结果以及初始语义识别结果对应的概率值。若初始语义识别结果的概率值大于或等于对应的语义识别模型的概率阈值,则认为该初始语义识别结果满足要求,可以作为语义识别结果,用于后续的意图识别结果的排序。若优先级最高的语义识别模型识别出的初始语义识别结果的概率值均小于该语义识别模型的概率阈值,则调用优先级第二的语义识别模型进行语义识别,同样的,判断优先级第二的初始语义识别结果的概率值是否满足概率阈值的要求,若不满足,则调用优先级第三的语义识别模型进行语义识别,直至获得概率值满足对应的概率阈值的初始语义识别结果。
例如:语义识别模型包括任务语义识别模型、问答语义识别模型、闲聊语义识别模型,预先设置任务语义识别模型的优先级最高为1,概率阈值为0.8;问答语义识别模型的优先级为2,低于任务语义识别模型的优先级,概率阈值为0.9;闲聊语义识别模型的优先级最低,概率阈值为0.7。在对用户会话信息转换后的会话向量信息进行语义识别时,可以先调用任务语义识别模型进行语义识别。任务语义识别模型对会话向量信息进行语义识别的初始语义识别结果为a、b,其中初始语义识别结果a的概率值为0.6,初始语义识别结果b的概率值为0.75。可以看出任务语义识别模型获得的初始语义识别结果的概率值均小于其概率阈值0.8,不符合要求,则调用优先级第二的问答语义识别模型对会话向量信息进行语义识别。问答语义识别模型的初始语义识别结果为c、d、e,其中,初始语义识别结果c的概率值为0.8,初始语义识别结果为d的概率值为0.95,初始语义识别结果为e的概率值为0.93。可以看出,问答语义识别模型识别出的初始语义识别结果d、e的概率值大于问答语义识别模型的概率阈值0.9,可以将初始语义识别结果d、e作为语义识别结果,用于后续的意图识别结果的排序处理。若问答语义识别模型的初始语义识别结果的概率值也小于其概率阈值,则可以调用优先级最低的闲聊语义识别模型进行语义识别。
当然,若所有的语义识别模型的初始语义识别结果的概率值均不符合对应的概率阈值的要求,则可以选择概率值高的初始语义识别结果作为最终的语义识别结果。如:可以选择概率值排在前3个的初始语义识别结果作为语义识别结果,进行后续意图排序,并以建议的形式反馈给用户。
本说明书实施例,给不同的语义识别模型设置优先级和概率阈值,基于优先级的高低进行语义识别模型的调用,优先解决用户紧迫需求,减少了系统计算量,提高了系统的响应速度。
在上述实施例的基础上,本说明书一些实施例可以采用下述方法训练构建意图排序模型:
获取历史会话信息和所述历史会话信息对应的用户信息;
从所述历史会话信息中获取单轮会话信息和所述单轮会话信息对应的语义识别结果;
判断所述语义识别结果是否准确,若准确,则将所述单轮会话信息、所述语义识别结果、所述用户信息存储到正样本库中,否则,将所述单轮会话信息、所述语义识别结果、所述用户信息存储到负样本库中;
判断所述单轮会话信息是否是最后一轮会话,若否,则从所述历史会话信息中获取下一轮会话信息,进行正样本数据、负样本数据的判断和存储,若是,则从所述正样本库和所述负样本库中读取样本数据,利用梯度增强算法进行模型训练,获得所述意图排序模型。
在具体的实施过程中,图2是本说明书一个实施例中意图排序模型的训练方法示意图,如图2所示,本说明书实施例中意图排序模型的训练过程可以参考如下:
步骤202、获取历史会话信息。可以将用户的会话信息存储在数据存储单元,在进行意图排序模型训练时,可以从数据存储单元中读取一通历史会话信息。
步骤204、提取历史会话信息中的单轮会话信息及其语义识别结果,同时读取会话其他相关信息,如:历史会话信息对应的用户信息(如:用户的年龄、职业、消费习惯等)。
步骤206、判断所述语义识别结果是否准确,若准确,则将所述单轮会话信息、所述语义识别结果、所述用户信息存储到正样本库中,否则,将所述单轮会话信息、所述语义识别结果、所述用户信息存储到负样本库中。例如:可以在系统辅助下,人工判断提取的语义识别结果是否正确,正确则将数据存储至训练数据正样本库中,错误则存储至负样本库中。
步骤208、判断该单轮会话信息是否为最后一轮会话,是则继续步骤210,否则重复步骤204,继续提取该历史会话信息的单轮会话信息并判断。
步骤210、判断是否已读取了所有新增的会话信息,是则继续步骤212,否则重复步骤202,从数据存储单元读取新一通历史会话信息;
步骤212、从训练样本库中读取所有正负样本数据,使用xgboost算法进行训练,并将训练完成的模型文件(即意图排序模型)保存至数据存储单元,获得意图排序模型。其中,xgboost(extreme Gradient Boosting)是一个高级的梯度增强算法,本说明书一些实施例中,xgboost模型目标函数可以表示为:
Figure BDA0002134587820000101
上式中,obj(θ)可以表示xgboost模型的目标函数,在模型训练过程中,不断优化obj值,obj值越小,表示模型结构越好。y可以表示正确结果,
Figure BDA0002134587820000102
表示模型预测结果,n可以表示样本总数量,i可以表示第i个样本数据,K可以表示决策树的总数量,k可以表示第k棵决策树。上述目标函数第一部分即
Figure BDA0002134587820000103
可以表示模型预测结果与正确结果之间的误差值,第二部分即
Figure BDA0002134587820000104
可以表示正则项,用于控制模型复杂度。
本说明书实施例,将历史会话信息作为样本数据,提取历史会话信息中的单轮会话信息,进行多轮会话意图识别的意图排序模型训练,获得了一种在复杂语境中准确识别用户意图的意图排序模型,使对话机器人在多轮交互场景下,更准确识别用户意图,提高对话成功率,提升用户体验。
图3是本说明书实施例中提供的一种意图识别系统的结构示意图,如图3所示,本说明书实施例还提供了一种意图识别系统,该系统可以包括:数据存储单元5、用户交互单元1、词向量生成单元2、语义识别单元3、意图选择单元4,其中:
用户交互单元1负责接收用户请求与应答用户。
词向量生成单元2可以将用户请求文本进行预处理后,使用词向量预训练模型将文本的转换为向量形式,每个词的n维向量表示为[w1,w2,…,wn]。其中,词向量预训练模型使用ELMO算法,ELMO基于双向语言模型,可以根据训练集动态生成词的向量表示,在不同的上下文语境中,同一个词的向量表示是不同的。例如“卡被atm机吞了怎么办”和“网页卡住了怎么办”,2句话中的“卡”字含义不同,其向量形式也不同。
语义识别单元3可以负责使用单元中各语义识别模型进行语义识别,输出所有语义识别结果。
意图选择单元4可以负责对语义识别单元3输出的语义识别结果进行排序,将得分最高的意图传递给用户交互单元1。
数据存储单元5可以负责各类数据存储,包括会话信息、用户信息、模型文件等,其中,模型文件可以包括词向量预训练模型、语义识别模型(如:任务语义识别模型、问答语义识别模型、闲聊语义识别模型)、意图排序模型等。
图4是本说明书又一个实施例中意图识别方法的流程示意图,下面结合图3-图4具体介绍本说明书实施例中意图识别方法的具体过程:
步骤401、用户交互单元1可以接收用户输入文本或用户语音转换文本即接收用户会话信息,将接收到的用户会话信息保存至数据存储单元5,并传递给词向量生成单元2。
步骤402、词向量生成单元2对输入文本进行分词、停用词过滤等预处理后,从数据存储单元5读取词向量预训练模型,将分词序列转换为向量形式,传递给语义识别单元3。
步骤403、语义识别单元3接收输入向量,从数据存储单元5获取各语义识别模型,并按预设优先级,分别调用语义识别模型进行语义识别并计算各语义识别结果的概率,将符合概率阈值的语义识别结果传递给意图选择单元4。
概率计算公式可以参考如下:
Y=softmax(f(x))
上式中,x可以表示输入文本的向量形式,f(x)可以表示语义识别函数,根据语义识别模型算法的选择不同而不同,利用softmax函数计算得到各意图分类(即语义识别结果)的概率分布Y。
步骤404、意图选择单元4接收语义识别单元3的语义识别结果,从数据存储单元5获取用户会话信息的会话上文信息、用户信息及意图排序模型,将语义识别结果、会话上文信息、用户信息等各项特征输入意图排序模型,得到意图排序结果,将排序最高的语义识别结果传递给用户交互单元1。
其中,意图排序模型可以使用xgboost算法,结合用户信息,会话上文信息等作为输入特征,分别为每个语义识别结果进行评分,按评分由高到低进行排序,取排名最高的结果输出。
xgboost模型准确率高,计算速度快,它可以由一组CART决策树组成,在做预测时,将每棵树的预测值求和及为其最终预测值,其数学形式表示为:
Figure BDA0002134587820000121
上式中,x可以表示输入意图识别模型的特征数据,i可以表示第i个语义识别结果,
Figure BDA0002134587820000122
可以表示第i个语义识别结果对应的排序分值,K可以表示树的总棵数,k可以表示第k棵树,F可以表示所有可能的CART树(分类回归树),f可以表示表示一棵具体的CART树。
步骤405、用户交互单元1得到最终意图识别结果,生成对应答复反馈给用户,并等待用户下一轮对话请求。如:可以根据获得的意图识别结果从应答库中找出对应的应答信息反馈给用户。
本说明书实施例,将用户输入的用户对话信息转化为会话向量信息,根据多种语义识别模型对应的优先级,分别调用各个语义识别模型对会话向量信息进行语义识别,获得多个语义识别结果。再结合会话上文信息、用户信息,利用意图排序模型,对语义识别结果进行排序,将排序最高的语义识别结果作为最终的意图识别结果。本说明书实施例结合会话上下文、用户信息等多项特征,提供了一种在复杂语境中准确识别用户意图的方法,在多轮交互场景下,更准确识别用户意图,结合用户个人信息,提高用会话意图识别的针对性,提高了对话成功率,提升了用户体验。
本说明书中上述方法的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
基于上述所述的意图识别方法,本说明书一个或多个实施例还提供一种意图识别方法装置。所述的装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思,本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似,因此本说明书实施例具体的装置的实施可以参见前述方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
具体地,图5是本说明书一个实施例中意图识别装置的结构示意图,本说明书实施例中的意图识别装置可以是设置能够与用户进行对话的终端或能够实现其功能的设备中,本说明书实施例不作具体限定。如图5所示,本说明书实施例中一种意图识别装置可以包括:对话信息接收模块51、向量转换模块52、语义识别模块53、关联信息获取模块54、意图识别模块55,其中:
对话信息接收模块51,可以用于接收用户对话信息;
向量转换模块52,可以用于将所述用户对话信息转换成会话向量信息;
语义识别模块53,可以用于利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个语义识别结果;
关联信息获取模块54,可以用于获取用户信息以及所述用户对话信息的会话上文信息;
意图识别模块55,可以用于根据所述用户信息、所述会话上文信息、所述语义识别结果,利用预先构建的意图排序模型,对所述语义识别结果进行排序,将排序最高的语义识别结果作为目标意图识别结果。
本说明书实施例提供的意图识别装置,将用户输入的用户对话信息转化为会话向量信息,通过多种语义识别模型对会话向量信息进行语义识别,获得多个语义识别结果。再结合会话上文信息、用户信息,利用意图排序模型,对语义识别结果进行排序,将排序最高的语义识别结果作为最终的意图识别结果。本说明书实施例结合会话上下文、用户信息等多项特征,提供了一种在复杂语境中准确识别用户意图的方法,在多轮交互场景下,更准确识别用户意图,结合用户个人信息,针对性的对用户会话进行意图识别,提高了对话成功率,提升了用户体验。
在上述实施例的基础上,本说明书一些实施例中,所述语义识别模块具体用于:
设置所述不同业务类型的语义识别模型优先级和概率阈值;
调用优先级最高的语义识别模型对所述会话向量信息进行语义识别,获得多个初始语义识别结果以及所述初始语义识别结果对应的概率值;
若所述初始语义识别结果对应的概率值大于或等于所述优先级最高的语义识别模型对应的概率阈值,则将所述初始语义识别结果作为语义识别结果;
若所述初始语义识别结果对应的概率值小于所述优先级最高的语义识别模型对应的概率阈值,则调用优先级次高的语义识别模型对所述会话向量信息进行语义识别,直至获得的初始语义识别结果对应的概率值大于或等于对应的语义识别模型的概率阈值。
本说明书实施例提供的意图识别装置,给不同的语义识别模型设置优先级和概率阈值,基于优先级的高低进行语义识别模型的调用,优先解决用户紧迫需求,减少了系统计算量,提高了系统的响应速度。
需要说明的,上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本说明书实施例还提供一种意图识别数据处理设备,包括:至少一个处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现上述实施例的意图识别方法,如:
接收用户对话信息;
将所述用户对话信息转换成会话向量信息;
利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个语义识别结果;
获取用户信息以及所述用户对话信息的会话上文信息;
根据所述用户信息、所述会话上文信息、所述语义识别结果,利用预先构建的意图排序模型,对所述语义识别结果进行排序,将排序最高的语义识别结果作为目标意图识别结果。
需要说明的,上述所述的终端设备根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
在上述实施例的基础上,本说明书一个实施例中还可以提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现上述实施例中意图识别方法,如:
接收用户对话信息;
将所述用户对话信息转换成会话向量信息;
利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个语义识别结果;
获取用户信息以及所述用户对话信息的会话上文信息;
根据所述用户信息、所述会话上文信息、所述语义识别结果,利用预先构建的意图排序模型,对所述语义识别结果进行排序,将排序最高的语义识别结果作为目标意图识别结果。
所述存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。
需要说明的,上述所述的计算机可读存储介质根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本说明书提供的风险防控系统可以为单独的意图识别系统,也可以应用在多种数据分析处理系统中。所述系统可以包括上述实施例中任意一个意图识别装置。所述的系统可以为单独的服务器,也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的服务器集群、系统(包括分布式系统)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述核对差异数据的检测系统可以包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤。
本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图6是本说明书实施例中意图识别服务器的硬件结构框图。如图6所示,服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器200、以及用于通信功能的传输模块300。本邻域普通技术人员可以理解,图6所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器10还可包括比图6中所示更多或者更少的组件,例如还可以包括其他的处理硬件,如数据库或多级缓存、GPU,或者具有与图6所示不同的配置。
存储器200可用于存储应用软件的软件程序以及模块,如本说明书实施例中的风险防控方法对应的程序指令/模块,处理器100通过运行存储在存储器200内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器200可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器200可进一步包括相对于处理器100远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输模块300包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块300可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上,所述的存储介质可以计算机读取并执行,实现本说明书实施例所描述方案的效果。
本说明书实施例提供的上述风险防控方法或装置可以在计算机中由处理器执行相应的程序指令来实现,如使用windows操作系统的c++语言在PC端实现、linux系统实现,或其他例如使用android、iOS系统程序设计语言在智能终端实现,以及基于量子计算机的处理逻辑实现等。
需要说明的是说明书上述所述的装置、处理设备、计算机存储介质、系统根据相关方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照对应方法实施例的描述,在此不作一一赘述。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书实施例的实施例而已,并不用于限制本说明书实施例。对于本领域技术人员来说,本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书实施例的权利要求范围之内。

Claims (9)

1.一种意图识别方法,其特征在于,所述方法包括:
接收用户对话信息;
将所述用户对话信息转换成会话向量信息;
利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个语义识别结果;
获取用户信息以及所述用户对话信息的会话上文信息;
根据所述用户信息、所述会话上文信息、所述语义识别结果,利用预先构建的意图排序模型,对所述语义识别结果进行排序,将排序最高的语义识别结果作为目标意图识别结果;
所述意图排序模型的训练方法包括:
获取历史会话信息和所述历史会话信息对应的用户信息;
从所述历史会话信息中获取单轮会话信息和所述单轮会话信息对应的语义识别结果;
判断所述语义识别结果是否准确,若准确,则将所述单轮会话信息、所述语义识别结果、所述用户信息存储到正样本库中,否则,将所述单轮会话信息、所述语义识别结果、所述用户信息存储到负样本库中;
判断所述单轮会话信息是否是最后一轮会话,若否,则从所述历史会话信息中获取下一轮会话信息,进行正样本数据、负样本数据的判断和存储,若是,则从所述正样本库和所述负样本库中读取样本数据,利用梯度增强算法进行模型训练,获得所述意图排序模型。
2.根据权利要求1所述的方法,其特征在于,所述利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个语义识别结果,包括:
利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个识别结果和所述识别结果对应的概率值;
将所述概率值符合预设要求的识别结果作为语义识别结果。
3.根据权利要求1所述的方法,其特征在于,所述利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个语义识别结果,包括:
设置所述不同业务类型的语义识别模型优先级和概率阈值;
调用优先级最高的语义识别模型对所述会话向量信息进行语义识别,获得多个初始语义识别结果以及所述初始语义识别结果对应的概率值;
若所述初始语义识别结果对应的概率值大于或等于所述优先级最高的语义识别模型对应的概率阈值,则将所述初始语义识别结果作为语义识别结果;
若所述初始语义识别结果对应的概率值小于所述优先级最高的语义识别模型对应的概率阈值,则调用优先级次高的语义识别模型对所述会话向量信息进行语义识别,直至获得的初始语义识别结果对应的概率值大于或等于对应的语义识别模型的概率阈值。
4.根据权利要求1所述的方法,其特征在于,所述语义识别模型包括:任务语义识别模型、问答语义识别模型、闲聊语义识别模型中的至少一个。
5.一种意图识别装置,其特征在于,所述装置包括:
对话信息接收模块,用于接收用户对话信息;
向量转换模块,用于将所述用户对话信息转换成会话向量信息;
语义识别模块,用于利用不同业务类型的语义识别模型对所述会话向量信息进行语义识别,获得多个语义识别结果;
关联信息获取模块,用于获取用户信息以及所述用户对话信息的会话上文信息;
意图识别模块,用于根据所述用户信息、所述会话上文信息、所述语义识别结果,利用预先构建的意图排序模型,对所述语义识别结果进行排序,将排序最高的语义识别结果作为目标意图识别结果;
所述意图排序模型的训练方法包括:
获取历史会话信息和所述历史会话信息对应的用户信息;
从所述历史会话信息中获取单轮会话信息和所述单轮会话信息对应的语义识别结果;
判断所述语义识别结果是否准确,若准确,则将所述单轮会话信息、所述语义识别结果、所述用户信息存储到正样本库中,否则,将所述单轮会话信息、所述语义识别结果、所述用户信息存储到负样本库中;
判断所述单轮会话信息是否是最后一轮会话,若否,则从所述历史会话信息中获取下一轮会话信息,进行正样本数据、负样本数据的判断和存储,若是,则从所述正样本库和所述负样本库中读取样本数据,利用梯度增强算法进行模型训练,获得所述意图排序模型。
6.根据权利要求5所述的装置,所述语义识别模块具体用于:
设置所述不同业务类型的语义识别模型优先级和概率阈值;
调用优先级最高的语义识别模型对所述会话向量信息进行语义识别,获得多个初始语义识别结果以及所述初始语义识别结果对应的概率值;
若所述初始语义识别结果对应的概率值大于或等于所述优先级最高的语义识别模型对应的概率阈值,则将所述初始语义识别结果作为语义识别结果;
若所述初始语义识别结果对应的概率值小于所述优先级最高的语义识别模型对应的概率阈值,则调用优先级次高的语义识别模型对所述会话向量信息进行语义识别,直至获得的初始语义识别结果对应的概率值大于或等于对应的语义识别模型的概率阈值。
7.一种意图识别数据处理设备,其特征在于,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现权利要求1-4任一项所述方法的步骤。
8.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,所述指令被执行时实现权利要求1-4任一项所述方法的步骤。
9.一种意图识别系统,其特征在于,包括:数据存储单元、用户交互单元、词向量生成单元、语义识别单元、意图选择单元;
所述数据存储单元用户存储会话信息、用户信息、模型文件,所述模型文件包括:词向量预训练模型、语义识别模型、意图排序模型;
所述用户交互单元用于接收会话请求和返回会话应答信息;
所述词向量生成单元用于从所述数据存储单元调用所述词向量预训练模型,将所述用户交互单元接收到的会话请求信息转化为会话向量信息,并发送给所述语义识别单元;
所述语义识别单元用于从所述数据存储单元调用所述语义识别模型,按照所述语义识别模型对应的优先级,分别对所述会话向量信息进行语义识别,获得多个语义识别结果;
所述意图选择单元用于从所述数据存储单元获取所述会话请求信息的会话上文信息、用户信息和意图排序模型,并将所述会话上文信息、用户信息、语义识别结果输入到所述意图排序模型中,获得各个语义识别结果的排序值,将排序值最高的语义识别结果作为意图识别结果返回给所述用户交互单元;所述意图排序模型的训练方法包括:获取历史会话信息和所述历史会话信息对应的用户信息;从所述历史会话信息中获取单轮会话信息和所述单轮会话信息对应的语义识别结果;判断所述语义识别结果是否准确,若准确,则将所述单轮会话信息、所述语义识别结果、所述用户信息存储到正样本库中,否则,将所述单轮会话信息、所述语义识别结果、所述用户信息存储到负样本库中;判断所述单轮会话信息是否是最后一轮会话,若否,则从所述历史会话信息中获取下一轮会话信息,进行正样本数据、负样本数据的判断和存储,若是,则从所述正样本库和所述负样本库中读取样本数据,利用梯度增强算法进行模型训练,获得所述意图排序模型;
所述用户交互单元基于所述意图识别结果生成对应的会话应答信息。
CN201910649175.8A 2019-07-18 2019-07-18 一种意图识别方法、装置及系统 Active CN110334201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910649175.8A CN110334201B (zh) 2019-07-18 2019-07-18 一种意图识别方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910649175.8A CN110334201B (zh) 2019-07-18 2019-07-18 一种意图识别方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110334201A CN110334201A (zh) 2019-10-15
CN110334201B true CN110334201B (zh) 2021-09-21

Family

ID=68145742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910649175.8A Active CN110334201B (zh) 2019-07-18 2019-07-18 一种意图识别方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110334201B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401071A (zh) * 2019-01-02 2020-07-10 百度在线网络技术(北京)有限公司 模型的训练方法、装置、计算机设备和可读存储介质
CN111666006B (zh) * 2019-03-05 2022-01-14 京东方科技集团股份有限公司 画作问答方法及装置、画作问答系统、可读存储介质
CN110795532A (zh) * 2019-10-18 2020-02-14 珠海格力电器股份有限公司 一种语音信息的处理方法、装置、智能终端以及存储介质
CN111104495B (zh) * 2019-11-19 2023-07-28 深圳追一科技有限公司 基于意图识别的信息交互方法、装置、设备和存储介质
CN111078848A (zh) * 2019-11-29 2020-04-28 支付宝(杭州)信息技术有限公司 一种用于对话机器人的输入提示方法及装置
CN110929014B (zh) * 2019-12-09 2023-05-23 联想(北京)有限公司 信息处理方法、装置、电子设备及存储介质
CN111274787B (zh) * 2020-02-21 2023-04-18 支付宝(杭州)信息技术有限公司 一种用户意图预测方法和系统
CN112309387A (zh) * 2020-02-26 2021-02-02 北京字节跳动网络技术有限公司 用于处理信息的方法和装置
CN111488913A (zh) * 2020-03-17 2020-08-04 华为技术有限公司 基于多分析任务的数据分析方法及电子设备
CN111428483B (zh) * 2020-03-31 2022-05-24 华为技术有限公司 语音交互方法、装置和终端设备
CN111488426B (zh) * 2020-04-17 2024-02-02 支付宝(杭州)信息技术有限公司 一种查询意图确定方法、装置及处理设备
CN111737987B (zh) * 2020-06-24 2023-01-20 深圳前海微众银行股份有限公司 意图识别方法、装置、设备及存储介质
CN111783439B (zh) * 2020-06-28 2022-10-04 平安普惠企业管理有限公司 人机交互对话处理方法、装置、计算机设备及存储介质
CN112035626A (zh) * 2020-07-06 2020-12-04 北海淇诚信息科技有限公司 一种大规模意图的快速识别方法、装置和电子设备
CN111782792A (zh) * 2020-08-05 2020-10-16 支付宝(杭州)信息技术有限公司 用于信息处理的方法和装置
CN112149410A (zh) * 2020-08-10 2020-12-29 招联消费金融有限公司 语义识别方法、装置、计算机设备和存储介质
CN111753076B (zh) * 2020-08-12 2022-08-26 腾讯科技(深圳)有限公司 对话方法、装置、电子设备及可读存储介质
CN112163087B (zh) * 2020-11-10 2023-06-23 山东比特智能科技股份有限公司 对话系统中意图冲突的解决方法、系统及装置
CN112615774B (zh) * 2020-12-16 2023-09-15 上海明略人工智能(集团)有限公司 即时通讯信息处理方法、装置、即时通讯系统及电子设备
CN112527969B (zh) * 2020-12-22 2022-11-15 上海浦东发展银行股份有限公司 增量意图聚类方法、装置、设备及存储介质
CN112559719A (zh) * 2020-12-23 2021-03-26 中移(杭州)信息技术有限公司 意图识别方法、装置、电子设备和存储介质
CN112732911B (zh) * 2020-12-30 2023-10-10 平安科技(深圳)有限公司 基于语义识别的话术推荐方法、装置、设备及存储介质
CN113763947B (zh) * 2021-01-15 2024-04-05 北京沃东天骏信息技术有限公司 一种语音意图识别方法、装置、电子设备及存储介质
CN112801239B (zh) * 2021-01-28 2023-11-21 科大讯飞股份有限公司 输入识别方法、装置、电子设备和存储介质
CN112800230B (zh) * 2021-03-22 2021-06-22 贝壳找房(北京)科技有限公司 文本处理方法、装置、计算机可读存储介质及电子设备
CN113158692B (zh) * 2021-04-22 2023-09-12 中国平安财产保险股份有限公司 基于语义识别的多意图处理方法、系统、设备及存储介质
CN113220852B (zh) * 2021-05-06 2023-04-25 支付宝(杭州)信息技术有限公司 人机对话方法、装置、设备和存储介质
CN113779226A (zh) * 2021-09-27 2021-12-10 泰康保险集团股份有限公司 会话需求处理方法、装置、计算机可读介质及电子设备
CN114118080B (zh) * 2021-11-10 2022-09-13 北京深维智信科技有限公司 一种从销售会话中自动识别客户意向的方法及系统
CN115712706B (zh) * 2022-11-07 2023-09-15 贝壳找房(北京)科技有限公司 一种基于会话确定动作决策的方法及装置
CN116483981A (zh) * 2023-06-16 2023-07-25 北京好心情互联网医院有限公司 对话生成方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095950A (zh) * 2016-06-14 2016-11-09 中国科学院自动化研究所 一种人机对话中教授意图答案生成方法
CN106294341A (zh) * 2015-05-12 2017-01-04 阿里巴巴集团控股有限公司 一种智能问答系统及其主题判别方法和装置
CN106407178A (zh) * 2016-08-25 2017-02-15 中国科学院计算技术研究所 一种会话摘要生成方法及装置
US9818405B2 (en) * 2016-03-15 2017-11-14 SAESTEK Ses ve Iletisim Bilgisayar Tekn. San. Ve Tic. A.S. Dialog management system
CN107832439A (zh) * 2017-11-16 2018-03-23 百度在线网络技术(北京)有限公司 多轮状态追踪的方法、系统及终端设备
CN108829757A (zh) * 2018-05-28 2018-11-16 广州麦优网络科技有限公司 一种聊天机器人的智能服务方法、服务器及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942198B (zh) * 2013-01-18 2017-07-28 佳能株式会社 用于挖掘意图的方法和设备
US9721570B1 (en) * 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform
CN107515857B (zh) * 2017-08-31 2020-08-18 科大讯飞股份有限公司 基于定制技能的语义理解方法及系统
CN108897723B (zh) * 2018-06-29 2022-08-02 北京百度网讯科技有限公司 场景对话文本识别方法、装置以及终端
CN109545203A (zh) * 2018-12-14 2019-03-29 深圳壹账通智能科技有限公司 语音识别方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294341A (zh) * 2015-05-12 2017-01-04 阿里巴巴集团控股有限公司 一种智能问答系统及其主题判别方法和装置
US9818405B2 (en) * 2016-03-15 2017-11-14 SAESTEK Ses ve Iletisim Bilgisayar Tekn. San. Ve Tic. A.S. Dialog management system
CN106095950A (zh) * 2016-06-14 2016-11-09 中国科学院自动化研究所 一种人机对话中教授意图答案生成方法
CN106407178A (zh) * 2016-08-25 2017-02-15 中国科学院计算技术研究所 一种会话摘要生成方法及装置
CN107832439A (zh) * 2017-11-16 2018-03-23 百度在线网络技术(北京)有限公司 多轮状态追踪的方法、系统及终端设备
CN108829757A (zh) * 2018-05-28 2018-11-16 广州麦优网络科技有限公司 一种聊天机器人的智能服务方法、服务器及存储介质

Also Published As

Publication number Publication date
CN110334201A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110334201B (zh) 一种意图识别方法、装置及系统
CN110377911B (zh) 对话框架下的意图识别方法和装置
CN110390108B (zh) 基于深度强化学习的任务型交互方法和系统
US11704500B2 (en) Techniques to add smart device information to machine learning for increased context
WO2018006727A1 (zh) 机器人客服转人工客服的方法和装置
CN112732911B (zh) 基于语义识别的话术推荐方法、装置、设备及存储介质
CN109514586B (zh) 实现智能客服机器人的方法及系统
CN110990543A (zh) 智能对话的生成方法、装置、计算机设备及计算机存储介质
CN111428010B (zh) 人机智能问答的方法和装置
CN111666400B (zh) 消息获取方法、装置、计算机设备及存储介质
CN111666416A (zh) 用于生成语义匹配模型的方法和装置
CN114678014A (zh) 意图识别方法、装置、计算机设备及计算机可读存储介质
CN111357051A (zh) 语音情感识别方法、智能装置和计算机可读存储介质
CN112632248A (zh) 问答方法、装置、计算机设备和存储介质
CN112364622A (zh) 对话文本分析方法、装置、电子装置及存储介质
CN112989843B (zh) 意图识别方法、装置、计算设备及存储介质
CN117575008A (zh) 训练样本生成方法、模型训练方法、知识问答方法及设备
CN116521832A (zh) 对话交互方法、装置及系统、电子设备和存储介质
CN114898156A (zh) 基于跨模态语义表征学习和融合的图像分类方法及系统
CN113676603B (zh) 呼叫控制方法、装置、设备及存储介质
CN110321409B (zh) 基于人工智能的辅助面试方法、装置、设备及存储介质
CN117131183B (zh) 一种基于会话模拟的客服自动回复方法及系统
CN116844530A (zh) 语音信息的处理方法、装置、可读存储介质和电子装置
CN117952227A (zh) 模型处理方法、电子设备及存储设备
CN116150314A (zh) 模型训练方法、意图识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant