CN111563144A - 基于语句前后关系预测的用户意图识别方法及装置 - Google Patents
基于语句前后关系预测的用户意图识别方法及装置 Download PDFInfo
- Publication number
- CN111563144A CN111563144A CN202010116553.9A CN202010116553A CN111563144A CN 111563144 A CN111563144 A CN 111563144A CN 202010116553 A CN202010116553 A CN 202010116553A CN 111563144 A CN111563144 A CN 111563144A
- Authority
- CN
- China
- Prior art keywords
- sentence
- statement
- user
- model
- sentences
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 61
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 60
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3343—Query execution using phonetics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于语句前后关系预测的用户意图识别方法、装置、计算机设备和存储介质，通过设置多个样本数据，将各个样本数据输入预训练语言模型进行预训练，并在预训练语言模型针对样本数据的识别准确率达到第一设定准确率时，根据预训练语言模型当前的运行参数确定初始模型，向初始模型输入测试语句，以预测测试语句的下一条语句作为唯一目标对初始模型进行微调，在初始模型的预测准确率达到第二设定准确率时，根据初始模型当前的运行参数确定意图识别模型，采用意图识别模型确定用户输入的语句的后一句语句，根据所确定的后一句语句确定用户意图，所确定的用户意图具有较高的准确性。
Description
技术领域
本发明涉及语音信号处理技术领域，尤其涉及一种基于语句前后关系预测的用户意图识别方法、装置、计算机设备和存储介质。
背景技术
随着人工智能的发展，智能对话机器人已进入人们的日常生活。这些对话机器人需要与用户自然对话，理解用户说话的语义，准确识别用户的意图，从而更高效、真实地与用户交互。在智能对话机器人系统中，用户意图识别是否准确决定对话系统是否能够生成合理的回复，是对话系统是否智能最重要的体现。
目前用户语义意图识别有基于关键字、基于正则表达式、基于规则模板、基于传统机器学习如支持向量机以及基于当前蓬勃发展的深度学习等方法。例如，有方案提出一种基于文本相似度的意图识别方法，解决通过语音转为文本存在错误而导致的意图识别错误的问题，其用到的文本相似度的计算方法包括基于字符编辑距离的算法和基于深度学习得到的词向量相似性的算法；还有方案提出通过组合字和拼音的特征向量训练意图识别深度学习模型，将所有领域的数据集转为字序列和相应的拼音序列，输入第一深度学习网络训练得到语言模型，然后将该语言模型的编码层参数矩阵初始化和更新，再将字序列和拼音序列输入到第二深度学习网络编码后，加权投入到第二深度学习网络训练意图识别模型等等。然而，传统的用户意图识别方案往往存在准确率低的问题。
发明内容
针对以上问题，本发明提出一种基于语句前后关系预测的用户意图识别方法、装置、计算机设备和存储介质。
为实现本发明的目的，提供一种基于语句前后关系预测的用户意图识别方法，包括如下步骤：
S10，设置多个样本数据；所述样本数据包括第一条语句，第二条语句，以及第一条语句和第二条语句的语句属性特征和位置关系；
S20，将各个样本数据输入预训练语言模型进行预训练，并在预训练语言模型针对样本数据的识别准确率达到第一设定准确率时，根据预训练语言模型当前的运行参数确定初始模型；
S30，向所述初始模型输入测试语句，以预测测试语句的下一条语句作为唯一目标对所述初始模型进行微调，在初始模型的预测准确率达到第二设定准确率时，根据初始模型当前的运行参数确定意图识别模型；
S40，采用所述意图识别模型确定用户输入的语句的后一句语句，根据所确定的后一句语句确定用户意图。
在一个实施例中，设置多个样本数据包括：
获取多组语句，设置各组语句中各个词的单词嵌入向量、标识嵌入向量和位置嵌入向量，根据各组语句以及各自语句分别对应的单词嵌入向量、标识嵌入向量和位置嵌入向量确定样本数据；其中各组语句均包括第一语句和第二语句；所述单词嵌入向量表征相应单词的内容；所述标识嵌入向量表征相应单词属于第一语句或者第二语句；所述位置嵌入向量表征相应单词在所在语句中的位置。
在一个实施例中，采用所述意图识别模型确定用户输入的语句的后一句语句包括：
读取用户输入的语句，将用户输入的语句输入所述意图识别模型，所述意图识别模型输入多个待选语句以及各个待选语句的概率值，将概率值最大的待选语句确定为用户输入的语句的后一句语句。
一种基于语句前后关系预测的用户意图识别装置，包括：
设置模块，用于设置多个样本数据；所述样本数据包括第一条语句，第二条语句，以及第一条语句和第二条语句的语句属性特征和位置关系；
预训练模块，用于将各个样本数据输入预训练语言模型进行预训练，并在预训练语言模型针对样本数据的识别准确率达到第一设定准确率时，根据预训练语言模型当前的运行参数确定初始模型；
微调模块，用于向所述初始模型输入测试语句，以预测测试语句的下一条语句作为唯一目标对所述初始模型进行微调，在初始模型的预测准确率达到第二设定准确率时，根据初始模型当前的运行参数确定意图识别模型；
确定模块，用于采用所述意图识别模型确定用户输入的语句的后一句语句，根据所确定的后一句语句确定用户意图。
在一个实施例中，所述设置模块进一步用于：
获取多组语句，设置各组语句中各个词的单词嵌入向量、标识嵌入向量和位置嵌入向量，根据各组语句以及各自语句分别对应的单词嵌入向量、标识嵌入向量和位置嵌入向量确定样本数据；其中各组语句均包括第一语句和第二语句；所述单词嵌入向量表征相应单词的内容；所述标识嵌入向量表征相应单词属于第一语句或者第二语句；所述位置嵌入向量表征相应单词在所在语句中的位置。
在一个实施例中，所述确定模块进一步用于：
读取用户输入的语句，将用户输入的语句输入所述意图识别模型，所述意图识别模型输入多个待选语句以及各个待选语句的概率值，将概率值最大的待选语句确定为用户输入的语句的后一句语句。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例的基于语句前后关系预测的用户意图识别方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例的基于语句前后关系预测的用户意图识别方法的步骤。
上述基于语句前后关系预测的用户意图识别方法、装置、计算机设备和存储介质，通过设置多个样本数据，将各个样本数据输入预训练语言模型进行预训练，并在预训练语言模型针对样本数据的识别准确率达到第一设定准确率时，根据预训练语言模型当前的运行参数确定初始模型，向初始模型输入测试语句，以预测测试语句的下一条语句作为唯一目标对初始模型进行微调，在初始模型的预测准确率达到第二设定准确率时，根据初始模型当前的运行参数确定意图识别模型，采用意图识别模型确定用户输入的语句的后一句语句，根据所确定的后一句语句确定用户意图，所确定的用户意图具有较高的准确性。
附图说明
图1是一个实施例的基于语句前后关系预测的用户意图识别方法流程图；
图2是一个实施例的语句构成过程示意图；
图3是一个实施例的微调时的模型与训练目标示意图；
图4是一个实施例的基于语句前后关系预测的用户意图识别装置结构示意图；
图5是一个实施例的计算机设备示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请提供的基于语句前后关系预测的用户意图识别方法，可以应用于相关用户意图识别终端(如需要与用户交流的机器人等)。上述用户意图识别终端可以设置多个样本数据，将各个样本数据输入预训练语言模型进行预训练，并在预训练语言模型针对样本数据的识别准确率达到第一设定准确率时，根据预训练语言模型当前的运行参数确定初始模型，向所述初始模型输入测试语句，以预测测试语句的下一条语句作为唯一目标对所述初始模型进行微调，在初始模型的预测准确率达到第二设定准确率时，根据初始模型当前的运行参数确定意图识别模型，采用所述意图识别模型确定用户输入的语句的后一句语句，根据所确定的后一句语句确定用户意图，以提高所确定的用户意图的准确性。其中，用户意图识别终端可以但不限于是各种个人计算机和笔记本电脑等智能处理设备。
在一个实施例中，如图1所示，提供了一种基于语句前后关系预测的用户意图识别方法，以该方法应用于用户意图识别终端为例进行说明，包括以下步骤：
S10，设置多个样本数据；所述样本数据包括第一条语句，第二条语句，以及第一条语句和第二条语句的语句属性特征和位置关系。
上述语句属性特征包括相应语句所包括的单词，以及各个单词的位置等内容。
在一个实施例中，设置多个样本数据包括：
获取多组语句，设置各组语句中各个词的单词嵌入向量、标识嵌入向量和位置嵌入向量，根据各组语句以及各自语句分别对应的单词嵌入向量、标识嵌入向量和位置嵌入向量确定样本数据；其中各组语句均包括第一语句和第二语句；所述单词嵌入向量表征相应单词的内容；所述标识嵌入向量表征相应单词属于第一语句或者第二语句；所述位置嵌入向量表征相应单词在所在语句中的位置。
具体地，上述各组语句均包括第一语句和第二语句，第一语句可以为相应组语句的前一条语句，第二语句可以为相应语句的后一条语句。
进一步地，上述样本数据作为后续预训练语言模型的输入，其中每个序列的第一个标记可以始终是相应分类标记。与此标记对应的最终输出隐藏状态用作表示第二条语句是否为第一条语句的下一语句。第一条和第二条语句可以封装在一起形成单个序列，作为一组语句。
在一个示例中，可以通过两种方式区分语句。第一种方式是使用特殊符号([SEP])将它们分开。第二种方式是向每个单词添加学习到的标识嵌入向量，以指示它是属于语句A(第一语句)还是语句B(第二语句)。对于每一个单词，它的输入由单词本身的单词嵌入向量、标识嵌入向量(EA、EB)和位置嵌入向量(E0、E1、E2...)相加得到。具体过程可以参考图2所示。
S20，将各个样本数据输入预训练语言模型进行预训练，并在预训练语言模型针对样本数据的识别准确率达到第一设定准确率时，根据预训练语言模型当前的运行参数确定初始模型。
上述第一设定准确率可以依据用户识别识别的精度进行设置，如设置为98％等值。
具体地，预训练使用与对话系统无关的大规模单语语料库进行训练。相应模型(预训练语言模型)使用两种任务作为目标进行预训练。第一个任务是屏蔽语言模型。在输入时随机屏蔽一定比例的单词，然后在模型的输出预测这些屏蔽掉的单词，这种方式可以构建双向的深度网络。第二个任务是预测第二条语句是否为下一个语句。在为每个预训练样本选择两个语句时，百分之五十的概率第二条语句是跟随第一条语句的实际下一个语句，百分之五十的概率是来自语料库的随机语句。
S30，向所述初始模型输入测试语句，以预测测试语句的下一条语句作为唯一目标对所述初始模型进行微调，在初始模型的预测准确率达到第二设定准确率时，根据初始模型当前的运行参数确定意图识别模型。
上述第二设定准确率可以依据用户识别识别的精度进行设置，如设置为98％等值。
具体地，预训练完成后，用对话系统配置的语句对预训练后的模型进行微调。在微调阶段，不再以屏蔽语言模型作为训练目标，而仅仅以预测下一条语句作为唯一目标，因此模型的输入不再屏蔽任何单词。微调阶段的样本以期望用户所说的语句作为第一条语句，以对话系统中配置的下一节点的语句作为第二条语句，生成任务训练集中的正样本；以期望用户所说的语句作为第一条语句，以话术中配置的其它节点的语句作为第二条语句，生成任务训练集中的负样本。
可选地，微调时的模型与训练目标如图3所示。
S40，采用所述意图识别模型确定用户输入的语句的后一句语句，根据所确定的后一句语句确定用户意图。
在一个实施例中，采用所述意图识别模型确定用户输入的语句的后一句语句包括：
读取用户输入的语句，将用户输入的语句输入所述意图识别模型，所述意图识别模型输入多个待选语句以及各个待选语句的概率值，将概率值最大的待选语句确定为用户输入的语句的后一句语句。
在实际人机对话过程中，以用户真实所说的语句作为第一条语句，当前节点中所有分支的语句作为第二条语句，执行相应模型(意图识别模型)的预测方法，得到每一条语句作为用户所说语句的下一条语句的概率。取概率最高的语句所在的分支作为匹配的意图，并返回概率最高的语句作为回复。
进一步地，在预测阶段，模型的输入同样不再屏蔽任何单词。
上述基于语句前后关系预测的用户意图识别方法，通过设置多个样本数据，将各个样本数据输入预训练语言模型进行预训练，并在预训练语言模型针对样本数据的识别准确率达到第一设定准确率时，根据预训练语言模型当前的运行参数确定初始模型，向初始模型输入测试语句，以预测测试语句的下一条语句作为唯一目标对初始模型进行微调，在初始模型的预测准确率达到第二设定准确率时，根据初始模型当前的运行参数确定意图识别模型，采用意图识别模型确定用户输入的语句的后一句语句，根据所确定的后一句语句确定用户意图，所确定的用户意图具有较高的准确性。
在一个实施例中，对于上述基于语句前后关系预测的用户意图识别方法的应用过程中，语言模型预训练对于改进许多自然语言处理任务效果非常显著。这些任务包括语句级别的任务以及单词级别的任务，如预测语句之间关系的自然语言推理、命名实体识别和知识问答等。基于Transformer的双向编码表征(BERT)是最近提出的预训练语言模型，该预训练模型能高效抽取文本信息并应用于各种自然语言处理任务，它的出现刷新了11项自然语言处理任务的最优性能记录。为了训练能够理解语句关系的模型，BERT提出可以从任何单语语料库训练预测下一条语句的任务，即判断两条语句是否应该为连续的前后语句关系。在为每个预训练样本选择两个语句时，百分之五十的概率第二条语句是跟随第一条语句的实际下一条语句，百分之五十的概率是来自语料库的随机语句，即第二条语句实际上不是第一条语句的下一条语句。在训练深度神经网络的双向表征时，为了不让每个单词影响注意力机制，BERT随机屏蔽一定比例的输入单词，然后预测被屏蔽的单词。在本发明中，我们提出以两条语句是否应该为连续的前后语句关系作为意图识别的一种判断依据，提高意图识别的准确率。具体来说，以期望用户所说的语句作为第一条语句，以对话系统中配置的下一节点的语句作为第二条语句，生成任务训练集中的正样本；以期望用户所说的语句作为第一条语句，以话术中配置的其它节点的语句作为第二条语句，生成任务训练集中的负样本。正负样本生成以后，在此数据上继续训练微调BERT预训练模型，直至模型的损失值收敛。在实际人机对话过程中，以用户真实所说的语句作为第一条语句，当前节点中所有分支的语句作为第二条语句，执行模型的预测方法，得到每一条语句作为用户所说语句的下一条语句的概率。取概率最高的语句所在的分支作为匹配的意图，并返回概率最高的语句作为回复。
参考图4所示，图4为一个实施例的基于语句前后关系预测的用户意图识别装置结构示意图，包括：
设置模块10，用于设置多个样本数据；所述样本数据包括第一条语句，第二条语句，以及第一条语句和第二条语句的语句属性特征和位置关系；
预训练模块20，用于将各个样本数据输入预训练语言模型进行预训练，并在预训练语言模型针对样本数据的识别准确率达到第一设定准确率时，根据预训练语言模型当前的运行参数确定初始模型；
微调模块30，用于向所述初始模型输入测试语句，以预测测试语句的下一条语句作为唯一目标对所述初始模型进行微调，在初始模型的预测准确率达到第二设定准确率时，根据初始模型当前的运行参数确定意图识别模型；
确定模块40，用于采用所述意图识别模型确定用户输入的语句的后一句语句，根据所确定的后一句语句确定用户意图。
在一个实施例中，所述设置模块进一步用于：
获取多组语句，设置各组语句中各个词的单词嵌入向量、标识嵌入向量和位置嵌入向量，根据各组语句以及各自语句分别对应的单词嵌入向量、标识嵌入向量和位置嵌入向量确定样本数据；其中各组语句均包括第一语句和第二语句；所述单词嵌入向量表征相应单词的内容；所述标识嵌入向量表征相应单词属于第一语句或者第二语句；所述位置嵌入向量表征相应单词在所在语句中的位置。
在一个实施例中，所述确定模块进一步用于：
读取用户输入的语句，将用户输入的语句输入所述意图识别模型，所述意图识别模型输入多个待选语句以及各个待选语句的概率值，将概率值最大的待选语句确定为用户输入的语句的后一句语句。
关于基于语句前后关系预测的用户意图识别装置的具体限定可以参见上文中对于基于语句前后关系预测的用户意图识别方法的限定，在此不再赘述。上述基于语句前后关系预测的用户意图识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于语句前后关系预测的用户意图识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
基于如上所述的示例，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现如上述各实施例中的任意一种基于语句前后关系预测的用户意图识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述基于语句前后关系预测的用户意图识别方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
据此，在一个实施例中还提供一种计算机存储介质计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述各实施例中的任意一种基于语句前后关系预测的用户意图识别方法。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于语句前后关系预测的用户意图识别方法，其特征在于，包括如下步骤：
S10，设置多个样本数据；所述样本数据包括第一条语句，第二条语句，以及第一条语句和第二条语句的语句属性特征和位置关系；
S20，将各个样本数据输入预训练语言模型进行预训练，并在预训练语言模型针对样本数据的识别准确率达到第一设定准确率时，根据预训练语言模型当前的运行参数确定初始模型；
S30，向所述初始模型输入测试语句，以预测测试语句的下一条语句作为唯一目标对所述初始模型进行微调，在初始模型的预测准确率达到第二设定准确率时，根据初始模型当前的运行参数确定意图识别模型；
S40，采用所述意图识别模型确定用户输入的语句的后一句语句，根据所确定的后一句语句确定用户意图。
2.根据权利要求1所述的基于语句前后关系预测的用户意图识别方法，其特征在于，设置多个样本数据包括：
获取多组语句，设置各组语句中各个词的单词嵌入向量、标识嵌入向量和位置嵌入向量，根据各组语句以及各自语句分别对应的单词嵌入向量、标识嵌入向量和位置嵌入向量确定样本数据；其中各组语句均包括第一语句和第二语句；所述单词嵌入向量表征相应单词的内容；所述标识嵌入向量表征相应单词属于第一语句或者第二语句；所述位置嵌入向量表征相应单词在所在语句中的位置。
3.根据权利要求1所述的基于语句前后关系预测的用户意图识别方法，其特征在于，采用所述意图识别模型确定用户输入的语句的后一句语句包括：
读取用户输入的语句，将用户输入的语句输入所述意图识别模型，所述意图识别模型输入多个待选语句以及各个待选语句的概率值，将概率值最大的待选语句确定为用户输入的语句的后一句语句。
4.一种基于语句前后关系预测的用户意图识别装置，其特征在于，包括：
设置模块，用于设置多个样本数据；所述样本数据包括第一条语句，第二条语句，以及第一条语句和第二条语句的语句属性特征和位置关系；
预训练模块，用于将各个样本数据输入预训练语言模型进行预训练，并在预训练语言模型针对样本数据的识别准确率达到第一设定准确率时，根据预训练语言模型当前的运行参数确定初始模型；
微调模块，用于向所述初始模型输入测试语句，以预测测试语句的下一条语句作为唯一目标对所述初始模型进行微调，在初始模型的预测准确率达到第二设定准确率时，根据初始模型当前的运行参数确定意图识别模型；
确定模块，用于采用所述意图识别模型确定用户输入的语句的后一句语句，根据所确定的后一句语句确定用户意图。
5.根据权利要求3所述的基于语句前后关系预测的用户意图识别方法，其特征在于，所述设置模块进一步用于：
获取多组语句，设置各组语句中各个词的单词嵌入向量、标识嵌入向量和位置嵌入向量，根据各组语句以及各自语句分别对应的单词嵌入向量、标识嵌入向量和位置嵌入向量确定样本数据；其中各组语句均包括第一语句和第二语句；所述单词嵌入向量表征相应单词的内容；所述标识嵌入向量表征相应单词属于第一语句或者第二语句；所述位置嵌入向量表征相应单词在所在语句中的位置。
6.根据权利要求3所述的基于语句前后关系预测的用户意图识别方法，其特征在于，所述确定模块进一步用于：
读取用户输入的语句，将用户输入的语句输入所述意图识别模型，所述意图识别模型输入多个待选语句以及各个待选语句的概率值，将概率值最大的待选语句确定为用户输入的语句的后一句语句。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010116553.9A CN111563144B (zh) | 2020-02-25 | 2020-02-25 | 基于语句前后关系预测的用户意图识别方法及装置 |
| US17/802,109 US20230080671A1 (en) | 2020-02-25 | 2021-02-02 | User intention recognition method and apparatus based on statement context relationship prediction |
| PCT/CN2021/074788 WO2021169745A1 (zh) | 2020-02-25 | 2021-02-02 | 基于语句前后关系预测的用户意图识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010116553.9A CN111563144B (zh) | 2020-02-25 | 2020-02-25 | 基于语句前后关系预测的用户意图识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111563144A true CN111563144A (zh) | 2020-08-21 |
| CN111563144B CN111563144B (zh) | 2023-10-20 |
Family
ID=72071365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010116553.9A Active CN111563144B (zh) | 2020-02-25 | 2020-02-25 | 基于语句前后关系预测的用户意图识别方法及装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230080671A1 (zh) |
| CN (1) | CN111563144B (zh) |
| WO (1) | WO2021169745A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076080A (zh) * | 2021-04-21 | 2021-07-06 | 百度在线网络技术（北京）有限公司 | 模型训练方法和装置、意图识别方法和装置 |
| WO2021169745A1 (zh) * | 2020-02-25 | 2021-09-02 | 升智信息科技(南京)有限公司 | 基于语句前后关系预测的用户意图识别方法及装置 |
| CN114398903A (zh) * | 2022-01-21 | 2022-04-26 | 平安科技（深圳）有限公司 | 意图识别方法、装置、电子设备及存储介质 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220374604A1 (en) * | 2021-05-18 | 2022-11-24 | International Business Machines Corporation | Natural language bias detection in conversational system environments |
| CN114238566A (zh) * | 2021-12-10 | 2022-03-25 | 零犀(北京)科技有限公司 | 一种语音或文本数据的数据增强方法及装置 |
| CN114021572B (zh) * | 2022-01-05 | 2022-03-22 | 苏州浪潮智能科技有限公司 | 一种自然语言处理方法、装置、设备及可读存储介质 |
| CN114021573B (zh) * | 2022-01-05 | 2022-04-22 | 苏州浪潮智能科技有限公司 | 一种自然语言处理方法、装置、设备及可读存储介质 |
| CN114818738A (zh) * | 2022-03-01 | 2022-07-29 | 达而观信息科技（上海）有限公司 | 一种客服热线用户意图轨迹识别的方法及系统 |
| CN116911314B (zh) * | 2023-09-13 | 2023-12-19 | 北京中关村科金技术有限公司 | 意图识别模型的训练方法、会话意图识别方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108829894A (zh) * | 2018-06-29 | 2018-11-16 | 北京百度网讯科技有限公司 | 口语词识别和语义识别方法及其装置 |
| CN109635947A (zh) * | 2018-12-14 | 2019-04-16 | 安徽省泰岳祥升软件有限公司 | 基于答案采样的机器阅读理解模型训练方法及装置 |
| CN110516055A (zh) * | 2019-08-16 | 2019-11-29 | 西北工业大学 | 一种结合bert的用于教学任务的跨平台智能问答实现方法 |
| CN110674639A (zh) * | 2019-09-24 | 2020-01-10 | 拾音智能科技有限公司 | 一种基于预训练模型的自然语言理解方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8145473B2 (en) * | 2006-10-10 | 2012-03-27 | Abbyy Software Ltd. | Deep model statistics method for machine translation |
| CN109597993B (zh) * | 2018-11-30 | 2021-11-05 | 深圳前海微众银行股份有限公司 | 语句分析处理方法、装置、设备以及计算机可读存储介质 |
| CN110287283B (zh) * | 2019-05-22 | 2023-08-01 | 中国平安财产保险股份有限公司 | 意图模型训练方法、意图识别方法、装置、设备及介质 |
| CN110795552B (zh) * | 2019-10-22 | 2024-01-23 | 腾讯科技（深圳）有限公司 | 一种训练样本生成方法、装置、电子设备及存储介质 |
| CN111563144B (zh) * | 2020-02-25 | 2023-10-20 | 升智信息科技(南京)有限公司 | 基于语句前后关系预测的用户意图识别方法及装置 |
-
2020
- 2020-02-25 CN CN202010116553.9A patent/CN111563144B/zh active Active
-
2021
- 2021-02-02 WO PCT/CN2021/074788 patent/WO2021169745A1/zh active Application Filing
- 2021-02-02 US US17/802,109 patent/US20230080671A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108829894A (zh) * | 2018-06-29 | 2018-11-16 | 北京百度网讯科技有限公司 | 口语词识别和语义识别方法及其装置 |
| CN109635947A (zh) * | 2018-12-14 | 2019-04-16 | 安徽省泰岳祥升软件有限公司 | 基于答案采样的机器阅读理解模型训练方法及装置 |
| CN110516055A (zh) * | 2019-08-16 | 2019-11-29 | 西北工业大学 | 一种结合bert的用于教学任务的跨平台智能问答实现方法 |
| CN110674639A (zh) * | 2019-09-24 | 2020-01-10 | 拾音智能科技有限公司 | 一种基于预训练模型的自然语言理解方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021169745A1 (zh) * | 2020-02-25 | 2021-09-02 | 升智信息科技(南京)有限公司 | 基于语句前后关系预测的用户意图识别方法及装置 |
| CN113076080A (zh) * | 2021-04-21 | 2021-07-06 | 百度在线网络技术（北京）有限公司 | 模型训练方法和装置、意图识别方法和装置 |
| CN114398903A (zh) * | 2022-01-21 | 2022-04-26 | 平安科技（深圳）有限公司 | 意图识别方法、装置、电子设备及存储介质 |
| CN114398903B (zh) * | 2022-01-21 | 2023-06-20 | 平安科技（深圳）有限公司 | 意图识别方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111563144B (zh) | 2023-10-20 |
| WO2021169745A1 (zh) | 2021-09-02 |
| US20230080671A1 (en) | 2023-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563144B (zh) | 基于语句前后关系预测的用户意图识别方法及装置 | |
| CN112487182B (zh) | 文本处理模型的训练方法、文本处理方法及装置 | |
| Kim et al. | Two-stage multi-intent detection for spoken language understanding | |
| WO2021072875A1 (zh) | 智能对话的生成方法、装置、计算机设备及计算机存储介质 | |
| CN111062217B (zh) | 语言信息的处理方法、装置、存储介质及电子设备 | |
| CN111738016B (zh) | 多意图识别方法及相关设备 | |
| WO2022142041A1 (zh) | 意图识别模型的训练方法、装置、计算机设备和存储介质 | |
| CN108711421A (zh) | 一种语音识别声学模型建立方法及装置和电子设备 | |
| CN108710704B (zh) | 对话状态的确定方法、装置、电子设备及存储介质 | |
| EP4109324A2 (en) | Method and apparatus for identifying noise samples, electronic device, and storage medium | |
| CN115599901B (zh) | 基于语义提示的机器问答方法、装置、设备及存储介质 | |
| US11947920B2 (en) | Man-machine dialogue method and system, computer device and medium | |
| CN113297366A (zh) | 多轮对话的情绪识别模型训练方法、装置、设备及介质 | |
| CN113723105A (zh) | 语义特征提取模型的训练方法、装置、设备及存储介质 | |
| CN114880472A (zh) | 数据处理方法、装置及设备 | |
| Diao et al. | Heterographic pun recognition via pronunciation and spelling understanding gated attention network | |
| CN111241820A (zh) | 不良用语识别方法、装置、电子装置及存储介质 | |
| CN112818096A (zh) | 对话生成方法及其装置 | |
| CN115687934A (zh) | 意图识别方法、装置、计算机设备及存储介质 | |
| CN113012685B (zh) | 音频识别方法、装置、电子设备及存储介质 | |
| CN114298032A (zh) | 文本标点检测方法、计算机设备及存储介质 | |
| CN116306612A (zh) | 一种词句生成方法及相关设备 | |
| Zhu | RNN Language Processing Model-Driven Spoken Dialogue System Modeling Method | |
| Ribeiro et al. | Automatic recognition of the general-purpose communicative functions defined by the ISO 24617-2 standard for dialog act annotation | |
| CN112037772A (zh) | 基于多模态的响应义务检测方法、系统及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |