CN111897929A - 多轮问句的处理方法和装置、存储介质及电子设备 - Google Patents

多轮问句的处理方法和装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111897929A
CN111897929A CN202010774608.5A CN202010774608A CN111897929A CN 111897929 A CN111897929 A CN 111897929A CN 202010774608 A CN202010774608 A CN 202010774608A CN 111897929 A CN111897929 A CN 111897929A
Authority
CN
China
Prior art keywords
question
sample
target
intention
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010774608.5A
Other languages
English (en)
Other versions
CN111897929B (zh
Inventor
张宇楠
雷植程
童丽霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010774608.5A priority Critical patent/CN111897929B/zh
Publication of CN111897929A publication Critical patent/CN111897929A/zh
Application granted granted Critical
Publication of CN111897929B publication Critical patent/CN111897929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种多轮问句的处理方法和装置、存储介质及电子设备。其中，该方法包括：获取待识别的第一组问句，对第一组问句中的每个问句进行意图识别，得到对应的第一组意图标签，将第一组问句以及第一组意图标签输入目标模型，得到目标模型输出的第一组问句中问句之间的语义层次关系。本发明解决了相关技术中存在的难以获知多轮问句之间的层次关系，以有效支撑后续的各种多轮对话的技术问题。

Description

多轮问句的处理方法和装置、存储介质及电子设备
技术领域
本发明涉及计算机领域，具体而言，涉及一种多轮问句的处理方法和装置、存储介质及电子设备。
背景技术
在用户进行会话的过程中，对话过程往往是多轮的，例如，用户会不停地进行各种提问、并基于提问得到的回答继续进行提问等，尤其在咨询业务本身比较复杂时更容易出现。
目前的相关技术中，对多轮对话的建模主要采用端到端模型，对多轮问句直接将其输入到神经网络中。端到端模型一般利用神经网络中的上下文编码、注意力等模块来直接建模多轮问句的关系。
而相关技术中存在其建模过程都是隐式的。主要都是依赖于端到端神经网络构造的损失函数，在优化的过程中学习建模方式。当模型训练完毕后，神经网络对多轮问句是如何建模属于黑盒状态，难以解释多轮问句中每个问句之间的关系，不便于模型的分析和后续优化
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种多轮问句的处理方法和装置、存储介质及电子设备，以至少解决相关技术中存在的难以获知多轮问句之间的层次关系，以有效支撑后续的各种多轮对话的技术问题。
根据本发明实施例的一个方面，提供了一种多轮问句的处理方法，包括：获取待识别的第一组问句，其中，所述第一组问句包括按照产生顺序排列的多轮问句，所述多轮问句包括第一意图锁定问句和所述第一意图锁定问句的后续问句；对所述第一组问句中的每个问句进行意图识别，得到对应的第一组意图标签，其中，所述第一组意图标签中的每个意图标签用于表示所述第一组问句中对应的问句的对话意图；将所述第一组问句以及所述第一组意图标签输入目标模型，得到所述目标模型输出的所述第一组问句中问句之间的语义层次关系，其中，所述目标模型是使用一组样本对对待训练的模型进行训练得到的模型，所述一组样本对中的每个样本对包括一组样本问句以及对应的一组样本意图标签。
可选地，所述将所述第一组问句以及所述第一组意图标签输入目标模型，得到所述目标模型输出的所述第一组问句中问句之间的语义层次关系，包括：将所述第一意图锁定问句和第一意图标签输入所述目标模型中的目标编码器，得到所述目标编码器输出的第一输出序列，其中，所述第一意图标签为所述第一组意图标签中与所述第一意图锁定问句对应的意图标签；将所述后续问句和所述第一输出序列输入到所述目标模型中的目标解码器，得到第一解码结果；根据所述第一解码结果和所述第一组意图标签，确定所述第一组问句中问句之间的语义层次关系。
可选地，所述将所述第一意图锁定问句和第一意图标签输入所述目标模型中的目标编码器，得到所述目标编码器输出的第一输出序列，包括：对所述第一意图锁定问句中包括的字信息进行字嵌入，得到第一目标字序列；对所述第一意图锁定问句中包括的词信息进行词嵌入，得到第一目标词序列；将所述第一目标字序列与所述第一目标词序列进行融合，得到第一目标句序列；将所述第一意图标签进行嵌入，得到第一目标标签序列；将所述第一目标标签序列与所述第一目标句序列进行融合，得到所述第一输出序列。
可选地，所述将所述后续问句和所述第一输出序列输入到所述目标模型中的目标解码器，得到第一解码结果，包括：对所述后续问句中包括的字信息进行字嵌入，得到第二目标字序列；对所述后续问句中包括的词信息进行词嵌入，得到第二目标词序列；将所述第二目标字序列与所述第二目标词序列进行融合，得到第二目标句序列；将所述第二目标句序列以及所述第一输出序列输入到所述目标模型中的目标解码器，得到所述第一解码结果，其中，所述第一解码结果用于表示生成的目标后续问句，所述目标后续问句与所述第一意图锁定问句对应。
可选地，所述根据所述第一解码结果和所述第一组意图标签，确定所述第一组问句中问句之间的语义层次关系，包括：基于所述第一解码结果和所述第一组意图标签生成第一组输入样本对，其中，所述第一组输入样本对包括由所述第一组意图锁定问句与所述第一组意图标签所组成的第一组样本和由所述第一解码结果表示的与所述第一组意图锁定问句对应的后续问句组成的第二组样本；将所述第一组输入样本对输入所述目标模型，得到一组目标参数，其中，所述目标参数用于表示所述第一解码结果为所述第一组问句中每个问句的后续问句的概率；将所述第一解码结果确定为与所述一组目标参数中数值最大的目标参数对应的意图锁定问句的后续问句，以确定所述第一组问句中问句之间的语义层次关系。
可选地，所述获取待识别的第一组问句，包括：从所述多轮问句中的每个问句中识别第一字段，其中，所述第一字段用于表示所述第一字段对应的问句是否为意图锁定问句，在所述问句不为意图锁定问句的情况下，将所述问句确定为所述意图锁定问句的后续问句；将所述意图锁定问句及所述意图锁定问句的后续问句确定为所述第一组问句。
可选地，所述方法还包括：获取所述一组样本对；使用所述一组样本对对所述待训练的模型进行训练；在所述待训练的模型输出的预估的意图锁定问句的后续问句与实际的意图锁定问句的后续问句之间的损失函数满足预定条件的情况下，停止对所述待训练的模型进行训练，将所述待训练的模型确定为所述目标模型。
可选地，所述使用所述一组样本对对所述待训练的模型进行训练，包括：将所述一组样本问句中的意图锁定样本问句和对应的样本意图标签输入所述待训练的模型中的待训练编码器，得到所述待训练编码器输出的第一输出训练序列，其中，所述一组样本问句包括按照产生顺序排列的多轮样本问句，所述多轮样本问句包括所述意图锁定样本问句和所述意图锁定样本问句的后续样本问句，所述一组样本意图标签中的每个意图标签用于表示所述一组样本问句中对应的问句的对话意图，所述对应的样本意图标签为所述一组样本意图标签中与所述意图锁定样本问句对应的意图标签；将所述后续样本问句和所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到第一训练解码结果；根据所述第一训练解码结果和所述第一组样本意图标签，确定所述一组样本问句中问句之间的语义层次关系。
可选地，所述将所述一组样本问句中的所述意图锁定样本问句和对应的样本意图标签输入所述待训练的模型中的待训练编码器，得到所述待训练编码器输出的第一输出训练序列，包括：对所述意图锁定样本问句中包括的字信息进行字嵌入，得到第一目标样本字序列；对所述意图锁定样本问句中包括的词信息进行词嵌入，得到第一目标样本词序列；将所述第一目标样本字序列与所述第一目标样本词序列进行融合，得到第一目标样本句序列；将所述样本意图标签进行嵌入，得到第一目标样本标签序列；将所述第一目标样本标签序列与所述第一目标样本句序列进行融合，得到所述第一输出训练序列。
可选地，所述将所述后续样本问句和所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到第一训练解码结果，包括：对所述后续样本问句中包括的字信息进行字嵌入，得到第二目标样本字序列；对所述后续样本问句中包括的词信息进行词嵌入，得到第二目标样本词序列；将所述第二目标样本字序列与所述第二目标样本词序列进行融合，得到第二目标样本句序列；将所述第二目标样本句序列以及所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到所述第一训练解码结果，其中，所述第一训练解码结果用于表示生成的目标后续样本问句，所述目标后续样本问句与所述意图锁定样本问句对应。
可选地，所述根据所述第一训练解码结果和所述第一组样本意图标签，确定所述一组样本问句中问句之间的语义层次关系，包括：基于所述第一训练解码结果和所述第一组样本意图标签生成第一组输入训练样本对，其中，所述第一组输入训练样本对包括由所述意图锁定样本问句与所述第一组样本意图标签所组成的第一组训练样本和由所述第一训练解码结果表示的与所述意图锁定样本问句对应的后续样本问句组成的第二组训练样本；将所述第一组输入训练样本对输入所述待训练的模型，得到一组样本参数，其中，所述样本参数用于表示所述第一训练解码结果为所述一组样本问句中每个样本问句的后续样本问句的概率；将所述第一训练解码结果确定为与所述一组样本参数中数值最大的样本参数对应的意图锁定样本问句的后续样本问句，以所述一组样本问句中问句之间的语义层次关系。
根据本发明实施例的另一方面，还提供了一种多轮问句的处理装置，包括：
获取模块，用于获取待识别的第一组问句，其中，所述第一组问句包括按照产生顺序排列的多轮问句，所述多轮问句包括第一意图锁定问句和所述第一意图锁定问句的后续问句；
识别模块，用于对所述第一组问句中的每个问句进行意图识别，得到对应的第一组意图标签，其中，所述第一组意图标签中的每个意图标签用于表示所述第一组问句中对应的问句的对话意图；
处理模块，用于将所述第一组问句以及所述第一组意图标签输入目标模型，得到所述目标模型输出的所述第一组问句中问句之间的语义层次关系，其中，所述目标模型是使用一组样本对对待训练的模型进行训练得到的模型，所述一组样本对中的每个样本对包括一组样本问句以及对应的一组样本意图标签。
可选地，所述处理模块，包括：
第一处理单元，用于将所述第一意图锁定问句和第一意图标签输入所述目标模型中的目标编码器，得到所述目标编码器输出的第一输出序列，其中，所述第一意图标签为所述第一组意图标签中与所述第一意图锁定问句对应的意图标签；
第二处理单元，用于将所述后续问句和所述第一输出序列输入到所述目标模型中的目标解码器，得到第一解码结果；
第一确定单元，用于根据所述第一解码结果和所述第一组意图标签，确定所述第一组问句中问句之间的语义层次关系。
可选地，所述第一处理单元，包括：
第一嵌入子单元，用于对所述第一意图锁定问句中包括的字信息进行字嵌入，得到第一目标字序列；
第二嵌入子单元，用于对所述第一意图锁定问句中包括的词信息进行词嵌入，得到第一目标词序列；
第一融合子单元，用于将所述第一目标字序列与所述第一目标词序列进行融合，得到第一目标句序列；
第三嵌入子单元，用于将所述第一意图标签进行嵌入，得到第一目标标签序列；
第二融合子单元，用于将所述第一目标标签序列与所述第一目标句序列进行融合，得到所述第一输出序列。
可选地，所述第二处理单元，包括：
第四嵌入子单元，用于对所述后续问句中包括的字信息进行字嵌入，得到第二目标字序列；
第五嵌入子单元，用于对所述后续问句中包括的词信息进行词嵌入，得到第二目标词序列；
第三融合子单元，用于将所述第二目标字序列与所述第二目标词序列进行融合，得到第二目标句序列；
处理子单元，用于将所述第二目标句序列以及所述第一输出序列输入到所述目标模型中的目标解码器，得到所述第一解码结果，其中，所述第一解码结果用于表示生成的目标后续问句，所述目标后续问句与所述第一意图锁定问句对应。
可选地，所述第一确定单元，包括：
生成子单元，用于基于所述第一解码结果和所述第一组意图标签生成第一组输入样本对，其中，所述第一组输入样本对包括由所述第一组意图锁定问句与所述第一组意图标签所组成的第一组样本和由所述第一解码结果表示的与所述第一组意图锁定问句对应的后续问句组成的第二组样本；
计算子单元，用于将所述第一组输入样本对输入所述目标模型，得到一组目标参数，其中，所述目标参数用于表示所述第一解码结果为所述第一组问句中每个问句的后续问句的概率；
确定子单元，用于将所述第一解码结果确定为与所述一组目标参数中数值最大的目标参数对应的意图锁定问句的后续问句，以确定所述第一组问句中问句之间的语义层次关系。
可选地，所述获取模块，包括：
识别单元，用于从所述多轮问句中的每个问句中识别第一字段，其中，所述第一字段用于表示所述第一字段对应的问句是否为意图锁定问句，在所述问句不为意图锁定问句的情况下，将所述问句确定为所述意图锁定问句的后续问句；
第二确定单元，用于将所述意图锁定问句及所述意图锁定问句的后续问句确定为所述第一组问句。
可选地，所述装置还用于：获取所述一组样本对；使用所述一组样本对对所述待训练的模型进行训练；在所述待训练的模型输出的预估的意图锁定问句的后续问句与实际的意图锁定问句的后续问句之间的损失函数满足预定条件的情况下，停止对所述待训练的模型进行训练，将所述待训练的模型确定为所述目标模型。
可选地，所述装置还用于通过如下方式使用所述一组样本对对所述待训练的模型进行训练：将所述一组样本问句中的意图锁定样本问句和对应的样本意图标签输入所述待训练的模型中的待训练编码器，得到所述待训练编码器输出的第一输出训练序列，其中，所述一组样本问句包括按照产生顺序排列的多轮样本问句，所述多轮样本问句包括所述意图锁定样本问句和所述意图锁定样本问句的后续样本问句，所述一组样本意图标签中的每个意图标签用于表示所述一组样本问句中对应的问句的对话意图，所述对应的样本意图标签为所述一组样本意图标签中与所述意图锁定样本问句对应的意图标签；将所述后续样本问句和所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到第一训练解码结果；根据所述第一训练解码结果和所述第一组样本意图标签，确定所述一组样本问句中问句之间的语义层次关系。
可选地，所述装置还用于通过如下方式将所述一组样本问句中的所述意图锁定样本问句和对应的样本意图标签输入所述待训练的模型中的待训练编码器，得到所述待训练编码器输出的第一输出训练序列：对所述意图锁定样本问句中包括的字信息进行字嵌入，得到第一目标样本字序列；对所述意图锁定样本问句中包括的词信息进行词嵌入，得到第一目标样本词序列；将所述第一目标样本字序列与所述第一目标样本词序列进行融合，得到第一目标样本句序列；将所述样本意图标签进行嵌入，得到第一目标样本标签序列；将所述第一目标样本标签序列与所述第一目标样本句序列进行融合，得到所述第一输出训练序列。
可选地，所述装置还用于通过如下方式将所述后续样本问句和所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到第一训练解码结果：对所述后续样本问句中包括的字信息进行字嵌入，得到第二目标样本字序列；对所述后续样本问句中包括的词信息进行词嵌入，得到第二目标样本词序列；将所述第二目标样本字序列与所述第二目标样本词序列进行融合，得到第二目标样本句序列；将所述第二目标样本句序列以及所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到所述第一训练解码结果，其中，所述第一训练解码结果用于表示生成的目标后续样本问句，所述目标后续样本问句与所述意图锁定样本问句对应。
可选地，所述装置还用于通过如下方式根据所述第一训练解码结果和所述第一组样本意图标签，确定所述一组样本问句中问句之间的语义层次关系：基于所述第一训练解码结果和所述第一组样本意图标签生成第一组输入训练样本对，其中，所述第一组输入训练样本对包括由所述意图锁定样本问句与所述第一组样本意图标签所组成的第一组训练样本和由所述第一训练解码结果表示的与所述意图锁定样本问句对应的后续样本问句组成的第二组训练样本；将所述第一组输入训练样本对输入所述待训练的模型，得到一组样本参数，其中，所述样本参数用于表示所述第一训练解码结果为所述一组样本问句中每个样本问句的后续样本问句的概率；将所述第一训练解码结果确定为与所述一组样本参数中数值最大的样本参数对应的意图锁定样本问句的后续样本问句，以所述一组样本问句中问句之间的语义层次关系。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述多轮问句的处理方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的多轮问句的处理方法。
在本发明实施例中，采用获取待识别的第一组问句，对第一组问句中的每个问句进行意图识别，得到对应的第一组意图标签，将第一组问句以及第一组意图标签输入目标模型，得到目标模型输出的第一组问句中问句之间的语义层次关系的方式，达到了基于显式关系解析的多轮对话建模的目的，从而实现了获取多轮问句之间的逻辑关系，提高建模的精细化程度，便于分析及后续调优的技术效果，进而解决了相关技术中存在的难以获知多轮问句之间的层次关系，以有效支撑后续的各种多轮对话的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的多轮问句的处理方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的多轮问句的处理方法的流程示意图；
图3是根据本发明实施例的一种可选的多轮问句的处理方法的示意图；
图4是根据本发明实施例的又一种可选的多轮问句的处理方法的示意图；
图5是根据本发明实施例的又一种可选的多轮问句的处理方法的示意图；
图6是根据本发明实施例的又一种可选的多轮问句的处理方法的示意图；
图7是根据本发明实施例的另一种可选的多轮问句的处理方法的流程示意图；
图8是根据本发明实施例的一种可选的多轮问句的处理装置的结构示意图；
图9是根据本发明实施例的另一种可选的多轮问句的处理装置的结构示意图；
图10是根据本发明实施例的又一种可选的多轮问句的处理装置的结构示意图；
图11是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：
自监督学习：处于监督学习和无监督学习之间一种新的学习模式。相较于两者，自监督学习不像监督学习一样需要人工标注数据标签，同时也不像无监督学习一样完全没有标签来进行学习。自监督学习通过精心设计的任务，使得数据可以自动得到任务所需标签，例如，当前预训练语言模型采用的(MLM)掩码语言模型。
seq2seq：泛指一类神经网络框架结构，主要由编码器及解码器组成。它的输入是一个序列，输出也是一个序列，往往用在序列生成的任务上，如文本翻译、摘要提取、闲聊等。其中常见的编码器和解码器的网络结构有循环神经网络(RNN)、卷积神经网络(CNN)及Transformer的编解码器。
嵌入：也叫分布式表示，指神经网络中，将经过独热编码的高维稀疏向量通过嵌入矩阵转换为低维的稠密向量。常用在字或者词的嵌入中，将字或词转换为稠密向量。
下面结合实施例对本发明进行说明：
根据本发明实施例的一个方面，提供了一种多轮问句的处理方法，可选地，在本实施例中，上述多轮问句的处理方法可以应用于如图1所示的由服务器101和用户终端103所构成的硬件环境中。如图1所示，服务器101通过网络与终端103进行连接，可用于为用户终端或用户终端上安装的客户端提供服务，目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。可在服务器上或独立于服务器设置数据库105，用于为服务器101提供数据存储服务，上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络，用户终端103可以是配置有目标客户端的终端，可以包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile InternetDevices，移动互联网设备)、PAD、台式电脑、智能电视等，上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器，多轮问句的处理的应用程序107通过用户终端103进行显示，可通过终端上配置的多轮问句的处理的应用程序107的入口，使用上述多轮问句的处理服务，上述仅是一种示例，本实施例中对此不作任何限定。
可选地，作为一种可选的实施方式，如图2所示，上述多轮问句的处理方法包括：
S202，获取待识别的第一组问句，其中，第一组问句包括按照产生顺序排列的多轮问句，多轮问句包括第一意图锁定问句和第一意图锁定问句的后续问句；
可选地，在本实施例中，上述第一组问句可以包括但不限于会话应用中进行的多轮对话语句，例如，可以包括但不限于用户与智能客服进行对话的一组问句。
可选地，在本实施例中，上述第一意图锁定问句可以为上述多轮对话语句中按照产生顺序排列的多轮问句中顺序为第一位的问句，上述第一意图锁定问句的后续问句可以包括但不限于上述多轮对话语句中按照产生顺序排列的多轮问句中顺序为第一位的问句之后的问句，上述意图锁定可以包括但不限于给定某个问句，则模型根据语序或者语义的关系生成其下个最有可能的问句，此时，给定的问句即为意图锁定问句，其下个最有可能的问句即为第一意图锁定问句的后续问句，可以包括但不限于通过给定问句中的“意图是否锁定”字段，来确定该句是否为意图锁定问句，例如，“我的零钱提现没有到账”具有明显的业务意图“零钱提现未到账”，则该问句即为上述意图锁定问句，其后续的问句均为对该问句的补充，直到后续问句中出现新的意图锁定问句。
需要说明的是，上述多轮问句中的每个问句都可以作为上述第一意图锁定问句，而上述第一意图锁定问句的后续问句即为上述第一意图锁定问句产生顺序之后的问句。
S204，对第一组问句中的每个问句进行意图识别，得到对应的第一组意图标签，其中，第一组意图标签中的每个意图标签用于表示第一组问句中对应的问句的对话意图；
可选地，在本实施例中，上述意图识别可以由系统预设，或者，根据对上述第一组问句进行预处理，生成与上述第一组问句对应的第一组意图标签，上述第一组意图标签用于表示与其对应的问句的对话意图。
例如，在用户问句“钱发错人了”及智能客服的相应答句“您可联系对方协商”的情况下，更有可能的下个问句是“没有他联系方式”；而当智能客服相应答句是“检测到您某笔转账使用了延迟功能，可点击查看详情”时，则更有可能下个问句是“延迟到账可以直接退回吗？”。这里需解释的是对于相同的用户问句，智能客服有不同的答句是因为通过对用户的某些状态进行预先判断，并据此为响应的问句配置意图标签。
S206，将第一组问句以及第一组意图标签输入目标模型，得到目标模型输出的第一组问句中问句之间的语义层次关系，其中，目标模型是使用一组样本对对待训练的模型进行训练得到的模型，一组样本对中的每个样本对包括一组样本问句以及对应的一组样本意图标签。
可选地，在本实施例中，上述目标模型可以包括但不限于当前或者未来可以实现获取到上述第一组问句中问句之间的语义层次关系的目标模型，例如，可以包括但不限于seq2seq神经网络框架结构中的Transformer模型、循环神经网络模型、卷积神经网络模型等，可以包括但不限于上述一种或者多种的组合，以及其他能够获取上述第一组问句中问句之间的语义层次关系的模型。
可选地，在本实施例中，上述语义层次关系可以包括但不限于从属、并列等关系，上述从属关系用于表示第二个问句为用于答复第一个问句的语句，则将上述第一个问句和第二个问句确定为从属关系，上述并列关系用于表示第一个问句和第二个问句均为用于答复第三个问句的语句，则将上述第一个问句和第二个问句确定为并列关系。上述仅是一种示例，具体问句之间的层次关系本实施例不做任何具体的限定。
可选地，在本实施例中，上述多轮问句的处理方法可以应用于如图3所示的多轮自动问答的应用场景中，其中，用户侧的三轮问句构成了上述的第一组问句，“为什么帐号余额每天少20元”即为上述第一组问句中的第一意图锁定问句，而“对比后，发现确实少了20元”以及“查看过了，不是自动扣款”均为上述第一意图锁定问句的后续问句，通过对“为什么帐号余额每天少20元”进行意图识别，得到意图标签“帐号余额”，则自动识别出用户的意图锁定问句的对话意图为询问与帐号余额相关联的意图问句，对于用户发送的“没有任何扣款”以及“在哪里查看及关闭自动扣款”均为回复客服“请查看是否存在自动扣款”的并列问句，而“查看过了，不是自动扣款”为“在哪里查看及关闭自动扣款”的后续问句，通过将如图3中所示的第一组问句以及第一组意图标签输入目标模型，进而，能够输出第一组问句中问句之间的语义层次关系，例如，不同问句之间存在的并列关系、从属关系等多种语义层次关系。
通过本实施例，采用获取待识别的第一组问句，对第一组问句中的每个问句进行意图识别，得到对应的第一组意图标签，将第一组问句以及第一组意图标签输入目标模型，得到目标模型输出的第一组问句中问句之间的语义层次关系的方式，达到了基于显式关系解析的多轮对话建模的目的，从而实现了获取多轮问句之间的逻辑关系，提高建模的精细化程度，便于分析及后续调优的技术效果，进而解决了相关技术中存在的难以获知多轮问句之间的层次关系，以有效支撑后续的各种多轮对话的技术问题。
在一个可选的实施例中，所述将所述第一组问句以及所述第一组意图标签输入目标模型，得到所述目标模型输出的所述第一组问句中问句之间的语义层次关系，包括：将所述第一意图锁定问句和第一意图标签输入所述目标模型中的目标编码器，得到所述目标编码器输出的第一输出序列，其中，所述第一意图标签为所述第一组意图标签中与所述第一意图锁定问句对应的意图标签；将所述后续问句和所述第一输出序列输入到所述目标模型中的目标解码器，得到第一解码结果；根据所述第一解码结果和所述第一组意图标签，确定所述第一组问句中问句之间的语义层次关系。
可选地，在本实施中，上述目标编码器为目标模型中配置的编码器，编码器的输入是意图锁定问句及相应答复对应的意图标签，输出为将第一意图锁定问句中的字词信息和第一意图标签进行嵌入融合后的序列。
可选地，在本实施中，上述目标解码器为目标模型中配置的解码器，解码器的输入是意图锁定问句的后续问句和上述编码器出书的序列，输出为第一解码结果，其中，上述第一解码结果可以包括但不限于基于上述意图锁定问句的后续问句进行字词融合，并与上述第一输出序列进行共同解码后得到的输出结果，可以但不限于为与上述意图锁定问句对应的后续问句，也可以但不限于为后续问句和第一输出序列的相关性参数。
通过本实施例，通过将第一意图锁定问句和第一意图标签输入目标模型中的目标编码器，得到目标编码器输出的第一输出序列，并将后续问句和第一输出序列输入到目标模型中的目标解码器，得到第一解码结果，根据第一解码结果中生成的问句以及相关性参数和第一组意图标签，确定第一组问句中问句之间的语义层次关系，能够解决了相关技术中存在的难以获知多轮问句之间的层次关系，以有效支撑后续的各种多轮对话的技术问题，达到实现获取多轮问句之间的逻辑关系，提高建模的精细化程度，便于分析及后续调优的技术效果。
在一个可选的实施例中，所述将所述第一意图锁定问句和第一意图标签输入所述目标模型中的目标编码器，得到所述目标编码器输出的第一输出序列，包括：对所述第一意图锁定问句中包括的字信息进行字嵌入，得到第一目标字序列；对所述第一意图锁定问句中包括的词信息进行词嵌入，得到第一目标词序列；将所述第一目标字序列与所述第一目标词序列进行融合，得到第一目标句序列；将所述第一意图标签进行嵌入，得到第一目标标签序列；将所述第一目标标签序列与所述第一目标句序列进行融合，得到所述第一输出序列。
可选地，在本实施例中，输入是意图锁定问句及相应答复对应的意图标签，分别用X＝(w1，w2...，wn)及L表示。可以但不限于利用改进的Transformer编码器进行字词及意图的融合编码。
图4是根据本发明实施例的一种可选的多轮问句的处理方法示意图，如图4所示，意图锁定问句为“发货单怎么查不到”，相应的答复对应的意图标签为“第三方商品问题。”编码器进行编码时进行了两次融合，第一次是对问句单词在嵌入层中进行基于字词的联合嵌入并融合。第二次是将意图标签嵌入后的向量与问句各单词嵌入后的向量序列基于多个Transformer编码器所组成的编码层进行融合。
对问句单词进行基于字词的联合嵌入并融合，在用户问句多样性较强，构造的词表大小有限的情况下(例如，构造词表大小为20000)，许多词将只能用特殊符号“/unk”进行表示，会造成比较大的语义丢失。但是由字构成的字表大小却是比较小的(例如，构造的字表大小为5000)，并且能覆盖绝大部分用户问句的中文字。如图4中示例，假设单词“发货单”并不存在于词表中，即只能用“/unk”进行表示。但是由于字词联合嵌入过程还考虑了其字面信息，因此最终融合后的该词的编码向量是能一定程度体现出“发货”这一语义信息的。
需要说明的是，具体的融合方式可以但不限于如下所示：对于问句X中的某个单词wi，得到其字序列(c1，c2...，cni)并进行字嵌入(Embedding)，表示为(Ec1，Ec2...，Ecni)，
Figure BDA0002617912960000171
dc为字嵌入的维度，也即，第一目标字序列。随后对该序列使用一维卷积(Convld)并经过最大池化(Max Pooling)得到基于字序列的编码向量
Figure BDA0002617912960000174
其中，一维卷积的卷积核分别采用1、2、3、4，dconv为卷积输出通道大小。此外单词wi的词嵌入用
Figure BDA0002617912960000172
表示，dw为词嵌入的大小，也即，第一目标词序列。最终，该词的字词融合表示Ewci采用两者的拼接，即Ewci＝[Ewi；Ci]，
Figure BDA0002617912960000173
也即，第一目标句序列。
对问句单词进行基于字词的联合嵌入并融合后，可以但不限于融合意图标签信息L。将L进行嵌入得到用
Figure BDA0002617912960000175
表示，dl为标签嵌入的大小，而后直接将其与字词融合表示序列组合，即最终编码器输入的向量序列为(Ewc1，Ewc2...，Ewcn，EL)。可以将上述序列之间的关系设置为dl＝dw+dconv以保持该序列各向量大小的一致。
在进行两步融合后，即可将向量序列(Ewc1，Ewc2...，Ewcn，EL)输入到TransformerEncoder模块中，得到编码器输出的上述第一输出序列，即
(E1，E2...，En，En+1)＝TransformerEncoder(Ewc1，Ewc2...，Ewcn，EL)。
通过本实施例，能够基于上述目标编码器对上述多轮问句进行预处理，进而实现获取多轮问句之间的逻辑关系，提高建模的精细化程度。
在一个可选的实施例中，所述将所述后续问句和所述第一输出序列输入到所述目标模型中的目标解码器，得到第一解码结果，包括：对所述后续问句中包括的字信息进行字嵌入，得到第二目标字序列；对所述后续问句中包括的词信息进行词嵌入，得到第二目标词序列；将所述第二目标字序列与所述第二目标词序列进行融合，得到第二目标句序列；将所述第二目标句序列以及所述第一输出序列输入到所述目标模型中的目标解码器，得到所述第一解码结果，其中，所述第一解码结果用于表示生成的目标后续问句，所述目标后续问句与所述第一意图锁定问句对应。
可选地，在本实施例中，解码器模块的输入为意图锁定问句的后续问句，用Y＝(w1，w2...，wm)表示。对上述意图锁定问句的后续问句进行基于字词的联合嵌入，得到字词融合表示(Ewc1，Ewc2...，Ewcm)并将其作为解码器的输入。
可选地，在本实施例中，图5是根据本发明实施例的另一种可选的多轮问句的处理方法示意图，如图5所示，可以但不限于在输入端要在前面拼接一个问句起始标记“/sos”，输出端的第一意图标签要在后面拼接一个问句结束标记“/eos”。且两者在进行字词融合表示时其字序列的编码向量直接用零向量代替，进而，实现通过目标解码器进行自回归方式的预测。
可选地，在本实施例中，将向量序列(Ewc1，Ewc2...，Ewcm)以及编码器的输出序列(E1，E2...，En，En+1)一起输入到Transformer Decoder模块中，得到解码器的输出，即
(D1，D2...，Dm)＝TransformerDecoder((Ewc1，Ewc2...，Ewcm)，(E1，E2...，En，En+1))
之后，将解码器输出进行全连接映射，转换为一个词表大小的向量，经过softmax归一化后即是当前位置单词的预测的概率，由此跟经过one-hot编码后的第一意图标签进行交叉熵(Cross Entropy)损失函数的计算。
通过本实施例，能够基于上述目标编码器对上述多轮问句进行预处理，进而实现获取多轮问句之间的逻辑关系，提高建模的精细化程度。
在一个可选的实施例中，所述根据所述第一解码结果和所述第一组意图标签，确定所述第一组问句中问句之间的语义层次关系，包括：基于所述第一解码结果和所述第一组意图标签生成第一组输入样本对，其中，所述第一组输入样本对包括由所述第一组意图锁定问句与所述第一组意图标签所组成的第一组样本和由所述第一解码结果表示的与所述第一组意图锁定问句对应的后续问句组成的第二组样本；将所述第一组输入样本对输入所述目标模型，得到一组目标参数，其中，所述目标参数用于表示所述第一解码结果为所述第一组问句中每个问句的后续问句的概率；将所述第一解码结果确定为与所述一组目标参数中数值最大的目标参数对应的意图锁定问句的后续问句，以确定所述第一组问句中问句之间的语义层次关系。
可选地，在本实施例中，图6是根据本发明实施例的另一种可选的多轮问句的处理方法示意图，如图6所示，假设多轮问句共t个问句：U1，U2...，Ut，并且每个问句对应的意图标签为：L1，L2...，Lt。首先构造seq2seq模型的第一组输入样本对：对于每个Ui(i≥2)，遍历Uj(j≤i)及对应的Lj(j≤i)，分别构造Uj+Lj→Ui的样本对作为seq2seq模型的输入。并得到对应的分值Si-j，也即，上述目标参数。随后对于每个i，取分值最高的Si-j，假设此时j＝k，(例如，k＝argmaxjSi-j)。则第i个问句是第j个问句最有可能的后续问句，进而，能够进一步整理出上述多轮问句的语义层次关系。
需要说明的是，Seq2seq模型在对输入的问句确定上述目标参数的过程中，目标参数跟解码器输入的问句长度有关。因为seq2seq模型训练时，可以采用包括但不限于极大似然估计，在进行预测问句的时候，上述问句越长，则有越多个单词的条件概率相乘，会致使长问句的概率(即分值)偏低。而分值对于编码器输入的问句长度则是不敏感的，因此，在给定第i个问句，比较分值Si-j时，可以通过包括但不限于固定输入解码器的问句Ui，而改变输入编码器的问句Uj来比较，由此避免了目标参数跟解码器输入的问句长度关联，进而，能够得到多轮问句中的每个问句最有可能是前面哪个问句的后续问句，并依此对应关系解析构造出语义层级关系。
通过本实施例，能够基于上述目标模型生成的目标参数以及对应关系，实现获取多轮问句之间的逻辑关系，提高建模的精细化程度。
在一个可选的实施例中，所述获取待识别的第一组问句，包括：从所述多轮问句中的每个问句中识别第一字段，其中，所述第一字段用于表示所述第一字段对应的问句是否为意图锁定问句，在所述问句不为意图锁定问句的情况下，将所述问句确定为所述意图锁定问句的后续问句；将所述意图锁定问句及所述意图锁定问句的后续问句确定为所述第一组问句。
可选地，在本实施例中，可以通过包括但不限于自监督学习下的数据处理方式识别上述第一字段，例如，根据定义的任务对数据自动生成标签，换而言之，根据任务定义，构造出“用户问句—用户问句的后续问句”的pair对。
需要说明的是，可以但不限于通过对目前已积累的大量多轮问句做句子窗口大小为2的滑动，由此构造问句pair对。
可选地，在本实施例中，由于并非所有多轮对话里面用户的多个问句都是严格的层层递进，且没有跳转的，因此，可以利用所处业务场景的数据特点，对多轮对话数据进行了过滤，进而降低获取数据的噪音，提高目标模型的效果。
图7是根据本发明实施例的另一种可选的多轮问句的处理方法流程示意图，如图7所示，具体步骤如下：
S702，检测业务场景中的多轮对话数据，其中，某些用户问句会有“意图是否锁定”字段，如果为“是”则表示该问句是明确地属于业务内的某个意图，例如“我的零钱提现没有到账”具有明显的业务意图“零钱提现未到帐”。那么可以假设对于该意图锁定问句，其后续的问句都是对于该锁定问句的补充，并且后续问句只截取至下个不同的意图锁定问句出现的时候。
S704，基于检测结果构造：意图锁定问句—意图锁定问句的多个后续问句所组成的多个pair对。
通过确定上述基于第一字段是否表示意图锁定，进而确定问句是否为意图锁定问句，避免错误选取到意图跳转后的后续问句。
S706，基于所述意图锁定问句的后续问句预先确定用户的状态并生成意图标签；
S708，基于预先确定用户的状态，构造意图锁定问句+相应答复对应的意图标签——意图锁定问句的后续问句的pair对。
通过本实施例，能够体现出多轮问句之间的语义层次关系，并且在多轮对话数据中，在给定问句后，判断某个问句是否是下个问句时，该给定问句所对应的答复句也具有较强的参考意义。例如，在用户问句“钱发错人了”及相应答句为“您可联系对方协商”的情况下，更有可能的下个问句是“没有他联系方式”；而当相应答句是“检测到您某笔转账使用了延迟功能，可点击查看详情”时，则更有可能下个问句是“延迟到账可以直接退回吗？”。对于相同的用户问句，通过对用户的某些状态进行预先判断，并据此给出不同答复，能够实现自监督学习任务时将答复的信息一并考虑，通过意图标签来表示需要答复的信息，也即，将上述对话意图对应的意图标签添加到目标模型中，以更好的获取上述多轮问句的问句之间的语义层次关系。
在一个可选的实施例中，所述方法还包括：获取所述一组样本对；使用所述一组样本对对所述待训练的模型进行训练；在所述待训练的模型输出的预估的意图锁定问句的后续问句与实际的意图锁定问句的后续问句之间的损失函数满足预定条件的情况下，停止对所述待训练的模型进行训练，将所述待训练的模型确定为所述目标模型。
可选地，在本实施例中，将解码器的输出进行全连接映射，转换为词表大小的向量，经过softmax归一化后即是当前位置单词的预测的概率。由此跟经过one-hot编码后的目标句子标签进行交叉熵损失函数的计算，在上述损失函数满足预定条件的情况下，停止对所述待训练的模型进行训练，将所述待训练的模型确定为所述目标模型，上述预定条件可以包括但不限于小于预设阈值、大于预设阈值等能够确定上述损失函数收敛的预设条件。
在一个可选的实施例中，所述使用所述一组样本对对所述待训练的模型进行训练，包括：将所述一组样本问句中的意图锁定样本问句和对应的样本意图标签输入所述待训练的模型中的待训练编码器，得到所述待训练编码器输出的第一输出训练序列，其中，所述一组样本问句包括按照产生顺序排列的多轮样本问句，所述多轮样本问句包括所述意图锁定样本问句和所述意图锁定样本问句的后续样本问句，所述一组样本意图标签中的每个意图标签用于表示所述一组样本问句中对应的问句的对话意图，所述对应的样本意图标签为所述一组样本意图标签中与所述意图锁定样本问句对应的意图标签；将所述后续样本问句和所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到第一训练解码结果；根据所述第一训练解码结果和所述第一组样本意图标签，确定所述一组样本问句中问句之间的语义层次关系。
可选地，在本实施例中，上述待训练的模型可以包括但不限于当前或者未来可以实现根据第一训练解码结果和第一组样本意图标签，确定一组样本问句中问句之间的语义层次关系的模型，例如，可以包括但不限于seq2seq神经网络框架结构中的Transformer模型、循环神经网络模型、卷积神经网络模型等，可以包括但不限于上述一种或者多种的组合，以及其他能够获取上述第一组问句中问句之间的语义层次关系的模型。
可选地，在本实施例中，上述样本问句可以包括但不限于未进行标注的样本问句，通过设计任务来学习样本问句的语序和语义的关系。例如，可以将任务定义为：给定某个用户问句，模型需生成其下个最有可能的问句。由此，上述待训练的模型能学习到问句之间的语序或者语义关系，进而得到上述目标模型。
可选地，在本实施例中，上述语义层次关系可以包括但不限于从属、并列等关系，上述从属关系用于表示第二个问句为用于答复第一个问句的语句，则将上述第一个问句和第二个问句确定为从属关系，上述并列关系用于表示第一个问句和第二个问句均为用于答复第三个问句的语句，则将上述第一个问句和第二个问句确定为并列关系。上述仅是一种示例，具体问句之间的层次关系本实施例不做任何具体的限定。
通过本实施例，根据一组样本问句中的意图锁定样本问句和对应的样本意图标签生成第一输出训练序列，再基于第一输出训练序列以及后续样本问句，生成第一训练解码结果，进而，根据第一训练解码结果和第一组样本意图标签，确定一组样本问句中问句之间的语义层次关系，达到了基于显式关系解析的多轮对话训练建模的目的，提高训练后的模型的精细化程度，便于分析及后续调优的技术效果。
在一个可选的实施例中，所述将所述一组样本问句中的所述意图锁定样本问句和对应的样本意图标签输入所述待训练的模型中的待训练编码器，得到所述待训练编码器输出的第一输出训练序列，包括：对所述意图锁定样本问句中包括的字信息进行字嵌入，得到第一目标样本字序列；对所述意图锁定样本问句中包括的词信息进行词嵌入，得到第一目标样本词序列；将所述第一目标样本字序列与所述第一目标样本词序列进行融合，得到第一目标样本句序列；将所述样本意图标签进行嵌入，得到第一目标样本标签序列；将所述第一目标样本标签序列与所述第一目标样本句序列进行融合，得到所述第一输出训练序列。
可选地，在本实施例中，上述待训练编码器的输入是意图锁定样本问句及相应答复对应的样本意图标签，分别用X＝(w1，w2...，wn)及L表示。可以但不限于利用改进的Transformer编码器进行字词及意图的融合编码。
对问句单词进行基于字词的联合嵌入并融合后，可以但不限于融合意图标签信息L。将L进行嵌入得到用
Figure BDA0002617912960000241
表示，dl为标签嵌入的大小，而后直接将其与字词融合表示序列组合，即最终待训练编码器输入的向量序列为(Ewc1，Ewc2...，Ewcn，EL)。可以将上述序列之间的关系设置为dl＝dw+dconv以保持该序列各向量大小的一致。
在进行两步融合后，即可将向量序列(Ewc1，Ewc2...，Ewcn，EL)输入到TransformerEncoder模块中，得到编码器输出的上述第一输出训练序列，即
(E1，E2...，En，En+1)＝TransformerEncoder(Ewc1，Ewc2...，Ewcn，EL)。
通过本实施例，能够基于上述待训练编码器对上述样本问句进行预处理，进而实现获取样本问句之间的逻辑关系，进而，实现对待训练的模型进行训练。
在一个可选的实施例中，所述将所述后续样本问句和所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到第一训练解码结果，包括：对所述后续样本问句中包括的字信息进行字嵌入，得到第二目标样本字序列；对所述后续样本问句中包括的词信息进行词嵌入，得到第二目标样本词序列；将所述第二目标样本字序列与所述第二目标样本词序列进行融合，得到第二目标样本句序列；将所述第二目标样本句序列以及所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到所述第一训练解码结果，其中，所述第一训练解码结果用于表示生成的目标后续样本问句，所述目标后续样本问句与所述意图锁定样本问句对应。
可选地，在本实施例中，待训练解码器的输入为意图锁定样本问句的后续样本问句，用Y＝(w1，w2...，wm)表示。对上述意图锁定样本问句的后续样本问句进行基于字词的联合嵌入，得到字词融合表示(Ewc1，Ewc2...，Ewcm)并将其作为待训练解码器的输入。
将向量序列(Ewc1，Ewc2...，Ewcm)以及待训练编码器的输出序列(E1，E2...，En，En+1)一起输入到Transformer Decoder模块中，得到待训练解码器的输出，即
(D1，D2...，Dm)＝TransformerDecoder((Ewc1，Ewc2...，Ewcm)，(E1，E2...，En，En+1))
之后，将带训解码器输出进行全连接映射，转换为一个词表大小的向量，经过softmax归一化后即是当前位置单词的预测的概率，由此跟经过one-hot编码后的第一意图标签进行交叉熵损失函数的计算。
通过本实施例，能够基于上述目标编码器对上述多轮问句进行预处理，进而实现获取多轮问句之间的逻辑关系，进而，实现对待训练的模型进行训练。
在一个可选的实施例中，所述根据所述第一训练解码结果和所述第一组样本意图标签，确定所述一组样本问句中问句之间的语义层次关系，包括：基于所述第一训练解码结果和所述第一组样本意图标签生成第一组输入训练样本对，其中，所述第一组输入训练样本对包括由所述意图锁定样本问句与所述第一组样本意图标签所组成的第一组训练样本和由所述第一训练解码结果表示的与所述意图锁定样本问句对应的后续样本问句组成的第二组训练样本；将所述第一组输入训练样本对输入所述待训练的模型，得到一组样本参数，其中，所述样本参数用于表示所述第一训练解码结果为所述一组样本问句中每个样本问句的后续样本问句的概率；将所述第一训练解码结果确定为与所述一组样本参数中数值最大的样本参数对应的意图锁定样本问句的后续样本问句，以所述一组样本问句中问句之间的语义层次关系。
可选地，在本实施例中，假设样本问句共t个问句：U1，U2...，Ut，并且每个问句对应的意图标签为：L1，L2...，Lt。首先构造seq2seq模型的第一组输入训练样本对：对于每个Ui(i≥2)，遍历Uj(j≤i)及对应的Lj(j≤i)，分别构造Uj+Lj→Ui的训练样本对作为seq2seq模型的输入。并得到对应的分值Si-j，也即，上述样本参数。随后对于每个i，取分值最高的Si-j，假设此时j＝k，(例如，k＝argmaxjSi-j)。则第i个问句是第j个问句最有可能的后续问句，进而，能够进一步整理出上述样本问句的语义层次关系。
需要说明的是，Seq2seq模型在对输入的问句确定上述样本参数的过程中，样本参数跟待训练解码器输入的问句长度有关。因为seq2seq模型训练时，可以采用包括但不限于极大似然估计，在进行预测问句的时候，上述问句越长，则有越多个单词的条件概率相乘，会致使长问句的概率(即分值)偏低。而分值对于编码器输入的问句长度则是不敏感的，因此，在给定第i个问句，比较分值Si-j时，可以通过包括但不限于固定输入待训练解码器的问句Uj，而改变输入编码器的问句Uj来比较，由此避免了样本参数跟待训练解码器输入的问句长度关联，进而，能够得到样本问句中的每个问句最有可能是前面哪个问句的后续问句，并依此对应关系解析构造出语义层级关系。
通过本实施例，能够基于上述目标模型生成的样本参数以及对应关系，实现获取样本问句之间的逻辑关系，进而，实现对待训练的模型进行训练。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述多轮问句的处理方法的多轮问句的处理装置。如图8所示，该装置包括：
获取模块802，用于获取待识别的第一组问句，其中，第一组问句包括按照产生顺序排列的多轮问句，多轮问句包括第一意图锁定问句和第一意图锁定问句的后续问句；
识别模块804，用于对第一组问句中的每个问句进行意图识别，得到对应的第一组意图标签，其中，第一组意图标签中的每个意图标签用于表示第一组问句中对应的问句的对话意图；
处理模块806，用于将第一组问句以及第一组意图标签输入目标模型，得到目标模型输出的第一组问句中问句之间的语义层次关系，其中，目标模型是使用一组样本对对待训练的模型进行训练得到的模型，一组样本对中的每个样本对包括一组样本问句以及对应的一组样本意图标签。
在一个可选的实施例中，所述处理模块806，如图9所示，包括：
第一处理单元902，用于将所述第一意图锁定问句和第一意图标签输入所述目标模型中的目标编码器，得到所述目标编码器输出的第一输出序列，其中，所述第一意图标签为所述第一组意图标签中与所述第一意图锁定问句对应的意图标签；
第二处理单元904，用于将所述后续问句和所述第一输出序列输入到所述目标模型中的目标解码器，得到第一解码结果；
第一确定单元906，用于根据所述第一解码结果和所述第一组意图标签，确定所述第一组问句中问句之间的语义层次关系。
在一个可选的实施例中，所述第一处理单元902，如图10所示，包括：
第一嵌入子单元1002，用于对所述第一意图锁定问句中包括的字信息进行字嵌入，得到第一目标字序列；
第二嵌入子单元1004，用于对所述第一意图锁定问句中包括的词信息进行词嵌入，得到第一目标词序列；
第一融合子单元1006，用于将所述第一目标字序列与所述第一目标词序列进行融合，得到第一目标句序列；
第三嵌入子单元1008，用于将所述第一意图标签进行嵌入，得到第一目标标签序列；
第二融合子单元1010，用于将所述第一目标标签序列与所述第一目标句序列进行融合，得到所述第一输出序列。
在一个可选的实施例中，所述第二处理单元904，包括：
第四嵌入子单元，用于对所述后续问句中包括的字信息进行字嵌入，得到第二目标字序列；
第五嵌入子单元，用于对所述后续问句中包括的词信息进行词嵌入，得到第二目标词序列；
第三融合子单元，用于将所述第二目标字序列与所述第二目标词序列进行融合，得到第二目标句序列；
处理子单元，用于将所述第二目标句序列以及所述第一输出序列输入到所述目标模型中的目标解码器，得到所述第一解码结果，其中，所述第一解码结果用于表示生成的目标后续问句，所述目标后续问句与所述第一意图锁定问句对应。
在一个可选的实施例中，所述第一确定单元906，包括：
生成子单元，用于基于所述第一解码结果和所述第一组意图标签生成第一组输入样本对，其中，所述第一组输入样本对包括由所述第一组意图锁定问句与所述第一组意图标签所组成的第一组样本和由所述第一解码结果表示的与所述第一组意图锁定问句对应的后续问句组成的第二组样本；
计算子单元，用于将所述第一组输入样本对输入所述目标模型，得到一组目标参数，其中，所述目标参数用于表示所述第一解码结果为所述第一组问句中每个问句的后续问句的概率；
确定子单元，用于将所述第一解码结果确定为与所述一组目标参数中数值最大的目标参数对应的意图锁定问句的后续问句，以确定所述第一组问句中问句之间的语义层次关系。
在一个可选的实施例中，所述获取模块802，包括：
识别单元，用于从所述多轮问句中的每个问句中识别第一字段，其中，所述第一字段用于表示所述第一字段对应的问句是否为意图锁定问句，在所述问句不为意图锁定问句的情况下，将所述问句确定为所述意图锁定问句的后续问句；
第二确定单元，用于将所述意图锁定问句及所述意图锁定问句的后续问句确定为所述第一组问句。
在一个可选的实施例中，所述装置还用于：获取所述一组样本对；使用所述一组样本对对所述待训练的模型进行训练；在所述待训练的模型输出的预估的意图锁定问句的后续问句与实际的意图锁定问句的后续问句之间的损失函数满足预定条件的情况下，停止对所述待训练的模型进行训练，将所述待训练的模型确定为所述目标模型。
在一个可选的实施例中，所述装置还用于通过如下方式使用所述一组样本对对所述待训练的模型进行训练：将所述一组样本问句中的所述意图锁定样本问句和对应的样本意图标签输入所述待训练的模型中的待训练编码器，得到所述待训练编码器输出的第一输出训练序列，其中，所述对应的样本意图标签为所述一组样本意图标签中与所述意图锁定样本问句对应的意图标签；将所述后续样本问句和所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到第一训练解码结果；根据所述第一训练解码结果和所述第一组样本意图标签，确定所述一组样本问句中问句之间的语义层次关系。
在一个可选的实施例中，所述装置还用于通过如下方式将所述一组样本问句中的所述意图锁定样本问句和对应的样本意图标签输入所述待训练的模型中的待训练编码器，得到所述待训练编码器输出的第一输出训练序列：对所述意图锁定样本问句中包括的字信息进行字嵌入，得到第一目标样本字序列；对所述意图锁定样本问句中包括的词信息进行词嵌入，得到第一目标样本词序列；将所述第一目标样本字序列与所述第一目标样本词序列进行融合，得到第一目标样本句序列；将所述样本意图标签进行嵌入，得到第一目标样本标签序列；将所述第一目标样本标签序列与所述第一目标样本句序列进行融合，得到所述第一输出训练序列。
在一个可选的实施例中，所述装置还用于通过如下方式将所述后续样本问句和所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到第一训练解码结果：对所述后续样本问句中包括的字信息进行字嵌入，得到第二目标样本字序列；对所述后续样本问句中包括的词信息进行词嵌入，得到第二目标样本词序列；将所述第二目标样本字序列与所述第二目标样本词序列进行融合，得到第二目标样本句序列；将所述第二目标样本句序列以及所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到所述第一训练解码结果，其中，所述第一训练解码结果用于表示生成的目标后续样本问句，所述目标后续样本问句与所述意图锁定样本问句对应。
在一个可选的实施例中，所述装置还用于通过如下方式根据所述第一训练解码结果和所述第一组样本意图标签，确定所述一组样本问句中问句之间的语义层次关系：基于所述第一训练解码结果和所述第一组样本意图标签生成第一组输入训练样本对，其中，所述第一组输入训练样本对包括由所述意图锁定样本问句与所述第一组样本意图标签所组成的第一组训练样本和由所述第一训练解码结果表示的与所述意图锁定样本问句对应的后续样本问句组成的第二组训练样本；将所述第一组输入训练样本对输入所述待训练的模型，得到一组样本参数，其中，所述样本参数用于表示所述第一训练解码结果为所述一组样本问句中每个样本问句的后续样本问句的概率；将所述第一训练解码结果确定为与所述一组样本参数中数值最大的样本参数对应的意图锁定样本问句的后续样本问句，以所述一组样本问句中问句之间的语义层次关系。
根据本发明实施例的又一个方面，还提供了一种用于实施上述多轮问句的处理方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为终端为例来说明。如图11所示，该电子设备包括存储器1102和处理器1104，该存储器1102中存储有计算机程序，该处理器1104被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取待识别的第一组问句，其中，第一组问句包括按照产生顺序排列的多轮问句，多轮问句包括第一意图锁定问句和第一意图锁定问句的后续问句；
S2，对第一组问句中的每个问句进行意图识别，得到对应的第一组意图标签，其中，第一组意图标签中的每个意图标签用于表示第一组问句中对应的问句的对话意图；
S3，将第一组问句以及第一组意图标签输入目标模型，得到目标模型输出的第一组问句中问句之间的语义层次关系，其中，目标模型是使用一组样本对对待训练的模型进行训练得到的模型，一组样本对中的每个样本对包括一组样本问句以及对应的一组样本意图标签。
可选地，本领域普通技术人员可以理解，图11所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图11其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图11中所示更多或者更少的组件(如网络接口等)，或者具有与图11所示不同的配置。
其中，存储器1102可用于存储软件程序以及模块，如本发明实施例中的多轮问句的处理方法和装置对应的程序指令/模块，处理器1104通过运行存储在存储器1102内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的多轮问句的处理方法。存储器1102可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1102可进一步包括相对于处理器1104远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1102具体可以但不限于用于多轮问句与问句之间的语义层次关系等信息。作为一种示例，如图11所示，上述存储器1102中可以但不限于包括上述多轮问句的处理装置中的获取模块802、识别模块804以及处理模块806。此外，还可以包括但不限于上述多轮问句的处理装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置1106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1106包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1106为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器1108，用于显示上述多轮问句；和连接总线1110，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本发明实施例的又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述多轮问句的处理过程中的各种可选实现方式中提供的方法。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取待识别的第一组问句，其中，第一组问句包括按照产生顺序排列的多轮问句，多轮问句包括第一意图锁定问句和第一意图锁定问句的后续问句；
S2，对第一组问句中的每个问句进行意图识别，得到对应的第一组意图标签，其中，第一组意图标签中的每个意图标签用于表示第一组问句中对应的问句的对话意图；
S3，将第一组问句以及第一组意图标签输入目标模型，得到目标模型输出的第一组问句中问句之间的语义层次关系，其中，目标模型是使用一组样本对对待训练的模型进行训练得到的模型，一组样本对中的每个样本对包括一组样本问句以及对应的一组样本意图标签。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种多轮问句的处理方法，其特征在于，包括：
获取待识别的第一组问句，其中，所述第一组问句包括按照产生顺序排列的多轮问句，所述多轮问句包括第一意图锁定问句和所述第一意图锁定问句的后续问句；
对所述第一组问句中的每个问句进行意图识别，得到对应的第一组意图标签，其中，所述第一组意图标签中的每个意图标签用于表示所述第一组问句中对应的问句的对话意图；
将所述第一组问句以及所述第一组意图标签输入目标模型，得到所述目标模型输出的所述第一组问句中问句之间的语义层次关系，其中，所述目标模型是使用一组样本对对待训练的模型进行训练得到的模型，所述一组样本对中的每个样本对包括一组样本问句以及对应的一组样本意图标签。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一组问句以及所述第一组意图标签输入目标模型，得到所述目标模型输出的所述第一组问句中问句之间的语义层次关系，包括：
将所述第一意图锁定问句和第一意图标签输入所述目标模型中的目标编码器，得到所述目标编码器输出的第一输出序列，其中，所述第一意图标签为所述第一组意图标签中与所述第一意图锁定问句对应的意图标签；
将所述后续问句和所述第一输出序列输入到所述目标模型中的目标解码器，得到第一解码结果；
根据所述第一解码结果和所述第一组意图标签，确定所述第一组问句中问句之间的语义层次关系。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一意图锁定问句和第一意图标签输入所述目标模型中的目标编码器，得到所述目标编码器输出的第一输出序列，包括：
对所述第一意图锁定问句中包括的字信息进行字嵌入，得到第一目标字序列；
对所述第一意图锁定问句中包括的词信息进行词嵌入，得到第一目标词序列；
将所述第一目标字序列与所述第一目标词序列进行融合，得到第一目标句序列；
将所述第一意图标签进行嵌入，得到第一目标标签序列；
将所述第一目标标签序列与所述第一目标句序列进行融合，得到所述第一输出序列。
4.根据权利要求2所述的方法，其特征在于，所述将所述后续问句和所述第一输出序列输入到所述目标模型中的目标解码器，得到第一解码结果，包括：
对所述后续问句中包括的字信息进行字嵌入，得到第二目标字序列；
对所述后续问句中包括的词信息进行词嵌入，得到第二目标词序列；
将所述第二目标字序列与所述第二目标词序列进行融合，得到第二目标句序列；
将所述第二目标句序列以及所述第一输出序列输入到所述目标模型中的目标解码器，得到所述第一解码结果，其中，所述第一解码结果用于表示生成的目标后续问句，所述目标后续问句与所述第一意图锁定问句对应。
5.根据权利要求2所述的方法，其特征在于，所述根据所述第一解码结果和所述第一组意图标签，确定所述第一组问句中问句之间的语义层次关系，包括：
基于所述第一解码结果和所述第一组意图标签生成第一组输入样本对，其中，所述第一组输入样本对包括由所述第一组意图锁定问句与所述第一组意图标签所组成的第一组样本和由所述第一解码结果表示的与所述第一组意图锁定问句对应的后续问句组成的第二组样本；
将所述第一组输入样本对输入所述目标模型，得到一组目标参数，其中，所述目标参数用于表示所述第一解码结果为所述第一组问句中每个问句的后续问句的概率；
将所述第一解码结果确定为与所述一组目标参数中数值最大的目标参数对应的意图锁定问句的后续问句，以确定所述第一组问句中问句之间的语义层次关系。
6.根据权利要求1所述的方法，其特征在于，所述获取待识别的第一组问句，包括：
从所述多轮问句中的每个问句中识别第一字段，其中，所述第一字段用于表示所述第一字段对应的问句是否为意图锁定问句，在所述问句不为意图锁定问句的情况下，将所述问句确定为所述意图锁定问句的后续问句；
将所述意图锁定问句及所述意图锁定问句的后续问句确定为所述第一组问句。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述一组样本对；
使用所述一组样本对对所述待训练的模型进行训练；
在所述待训练的模型输出的预估的意图锁定问句的后续问句与实际的意图锁定问句的后续问句之间的损失函数满足预定条件的情况下，停止对所述待训练的模型进行训练，将所述待训练的模型确定为所述目标模型。
8.根据权利要求7所述的方法，其特征在于，所述使用所述一组样本对对所述待训练的模型进行训练，包括：
将所述一组样本问句中的意图锁定样本问句和对应的样本意图标签输入所述待训练的模型中的待训练编码器，得到所述待训练编码器输出的第一输出训练序列，其中，所述一组样本问句包括按照产生顺序排列的多轮样本问句，所述多轮样本问句包括所述意图锁定样本问句和所述意图锁定样本问句的后续样本问句，所述一组样本意图标签中的每个意图标签用于表示所述一组样本问句中对应的问句的对话意图，所述对应的样本意图标签为所述一组样本意图标签中与所述意图锁定样本问句对应的意图标签；
将所述后续样本问句和所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到第一训练解码结果；
根据所述第一训练解码结果和所述第一组样本意图标签，确定所述一组样本问句中问句之间的语义层次关系。
9.根据权利要求8所述的方法，其特征在于，所述将所述一组样本问句中的所述意图锁定样本问句和对应的样本意图标签输入所述待训练的模型中的待训练编码器，得到所述待训练编码器输出的第一输出训练序列，包括：
对所述意图锁定样本问句中包括的字信息进行字嵌入，得到第一目标样本字序列；
对所述意图锁定样本问句中包括的词信息进行词嵌入，得到第一目标样本词序列；
将所述第一目标样本字序列与所述第一目标样本词序列进行融合，得到第一目标样本句序列；
将所述样本意图标签进行嵌入，得到第一目标样本标签序列；
将所述第一目标样本标签序列与所述第一目标样本句序列进行融合，得到所述第一输出训练序列。
10.根据权利要求8所述的方法，其特征在于，所述将所述后续样本问句和所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到第一训练解码结果，包括：
对所述后续样本问句中包括的字信息进行字嵌入，得到第二目标样本字序列；
对所述后续样本问句中包括的词信息进行词嵌入，得到第二目标样本词序列；
将所述第二目标样本字序列与所述第二目标样本词序列进行融合，得到第二目标样本句序列；
将所述第二目标样本句序列以及所述第一输出训练序列输入到所述待训练的模型中的待训练解码器，得到所述第一训练解码结果，其中，所述第一训练解码结果用于表示生成的目标后续样本问句，所述目标后续样本问句与所述意图锁定样本问句对应。
11.根据权利要求8所述的方法，其特征在于，所述根据所述第一训练解码结果和所述第一组样本意图标签，确定所述一组样本问句中问句之间的语义层次关系，包括：
基于所述第一训练解码结果和所述第一组样本意图标签生成第一组输入训练样本对，其中，所述第一组输入训练样本对包括由所述意图锁定样本问句与所述第一组样本意图标签所组成的第一组训练样本和由所述第一训练解码结果表示的与所述意图锁定样本问句对应的后续样本问句组成的第二组训练样本；
将所述第一组输入训练样本对输入所述待训练的模型，得到一组样本参数，其中，所述样本参数用于表示所述第一训练解码结果为所述一组样本问句中每个样本问句的后续样本问句的概率；
将所述第一训练解码结果确定为与所述一组样本参数中数值最大的样本参数对应的意图锁定样本问句的后续样本问句，以所述一组样本问句中问句之间的语义层次关系。
12.一种多轮问句的处理装置，其特征在于，包括：
获取模块，用于获取待识别的第一组问句，其中，所述第一组问句包括按照产生顺序排列的多轮问句，所述多轮问句包括第一意图锁定问句和所述第一意图锁定问句的后续问句；
识别模块，用于对所述第一组问句中的每个问句进行意图识别，得到对应的第一组意图标签，其中，所述第一组意图标签中的每个意图标签用于表示所述第一组问句中对应的问句的对话意图；
处理模块，用于将所述第一组问句以及所述第一组意图标签输入目标模型，得到所述目标模型输出的所述第一组问句中问句之间的语义层次关系，其中，所述目标模型是使用一组样本对对待训练的模型进行训练得到的模型，所述一组样本对中的每个样本对包括一组样本问句以及对应的一组样本意图标签。
13.根据权利要求12所述的装置，其特征在于，所述处理模块，包括：
第一处理单元，用于将所述第一意图锁定问句和第一意图标签输入所述目标模型中的目标编码器，得到所述目标编码器输出的第一输出序列，其中，所述第一意图标签为所述第一组意图标签中与所述第一意图锁定问句对应的意图标签；
第二处理单元，用于将所述后续问句和所述第一输出序列输入到所述目标模型中的目标解码器，得到第一解码结果；
确定单元，用于根据所述第一解码结果和所述第一组意图标签，确定所述第一组问句中问句之间的语义层次关系。
14.一种计算机可读的存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至11任一项中所述的方法。
15.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至11任一项中所述的方法。
CN202010774608.5A 2020-08-04 2020-08-04 多轮问句的处理方法和装置、存储介质及电子设备 Active CN111897929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010774608.5A CN111897929B (zh) 2020-08-04 2020-08-04 多轮问句的处理方法和装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010774608.5A CN111897929B (zh) 2020-08-04 2020-08-04 多轮问句的处理方法和装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111897929A true CN111897929A (zh) 2020-11-06
CN111897929B CN111897929B (zh) 2021-05-14

Family

ID=73245477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010774608.5A Active CN111897929B (zh) 2020-08-04 2020-08-04 多轮问句的处理方法和装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111897929B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507234A (zh) * 2020-12-21 2021-03-16 北京明略软件系统有限公司 物料的推送方法及装置、存储介质、电子设备
CN112732911A (zh) * 2020-12-30 2021-04-30 平安科技（深圳）有限公司 基于语义识别的话术推荐方法、装置、设备及存储介质
CN113032545A (zh) * 2021-05-29 2021-06-25 成都晓多科技有限公司 基于无监督对话预训练的对话理解与答案配置方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150378984A1 (en) * 2014-06-30 2015-12-31 International Business Machines Corporation Augmenting semantic models based on morphological rules
CN105354185A (zh) * 2015-10-30 2016-02-24 上海智臻智能网络科技股份有限公司 用于问答系统挖掘关联问句的方法及装置
US20180046710A1 (en) * 2015-06-01 2018-02-15 AffectLayer, Inc. Automatic generation of playlists from conversations
CN108509411A (zh) * 2017-10-10 2018-09-07 腾讯科技（深圳）有限公司 语义分析方法和装置
CN109101537A (zh) * 2018-06-27 2018-12-28 北京慧闻科技发展有限公司 基于深度学习的多轮对话数据分类方法、装置和电子设备
CN109598000A (zh) * 2018-12-28 2019-04-09 百度在线网络技术（北京）有限公司 语义关系识别方法、装置、计算机设备和存储介质
CN110298019A (zh) * 2019-05-20 2019-10-01 平安科技（深圳）有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN111309914A (zh) * 2020-03-03 2020-06-19 支付宝(杭州)信息技术有限公司 基于多个模型结果对多轮对话的分类方法和装置
CN111382243A (zh) * 2018-12-29 2020-07-07 深圳市优必选科技有限公司 文本的类别匹配方法、类别匹配装置及终端
CN111400455A (zh) * 2020-03-18 2020-07-10 北京工业大学 基于知识图谱的问答系统的关系检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150378984A1 (en) * 2014-06-30 2015-12-31 International Business Machines Corporation Augmenting semantic models based on morphological rules
US20180046710A1 (en) * 2015-06-01 2018-02-15 AffectLayer, Inc. Automatic generation of playlists from conversations
CN105354185A (zh) * 2015-10-30 2016-02-24 上海智臻智能网络科技股份有限公司 用于问答系统挖掘关联问句的方法及装置
CN108509411A (zh) * 2017-10-10 2018-09-07 腾讯科技（深圳）有限公司 语义分析方法和装置
CN109101537A (zh) * 2018-06-27 2018-12-28 北京慧闻科技发展有限公司 基于深度学习的多轮对话数据分类方法、装置和电子设备
CN109598000A (zh) * 2018-12-28 2019-04-09 百度在线网络技术（北京）有限公司 语义关系识别方法、装置、计算机设备和存储介质
CN111382243A (zh) * 2018-12-29 2020-07-07 深圳市优必选科技有限公司 文本的类别匹配方法、类别匹配装置及终端
CN110298019A (zh) * 2019-05-20 2019-10-01 平安科技（深圳）有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN111309914A (zh) * 2020-03-03 2020-06-19 支付宝(杭州)信息技术有限公司 基于多个模型结果对多轮对话的分类方法和装置
CN111400455A (zh) * 2020-03-18 2020-07-10 北京工业大学 基于知识图谱的问答系统的关系检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
雷植程等: "腾讯智能客服人机协同实践", 《人工智能》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507234A (zh) * 2020-12-21 2021-03-16 北京明略软件系统有限公司 物料的推送方法及装置、存储介质、电子设备
CN112507234B (zh) * 2020-12-21 2024-03-01 北京明略软件系统有限公司 物料的推送方法及装置、存储介质、电子设备
CN112732911A (zh) * 2020-12-30 2021-04-30 平安科技（深圳）有限公司 基于语义识别的话术推荐方法、装置、设备及存储介质
CN112732911B (zh) * 2020-12-30 2023-10-10 平安科技（深圳）有限公司 基于语义识别的话术推荐方法、装置、设备及存储介质
CN113032545A (zh) * 2021-05-29 2021-06-25 成都晓多科技有限公司 基于无监督对话预训练的对话理解与答案配置方法及系统

Also Published As

Publication number Publication date
CN111897929B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN111897929B (zh) 多轮问句的处理方法和装置、存储介质及电子设备
CN112214685B (zh) 一种基于知识图谱的个性化推荐方法
US20200301954A1 (en) Reply information obtaining method and apparatus
CN112164391A (zh) 语句处理方法、装置、电子设备及存储介质
CN110069612B (zh) 一种回复生成方法及装置
CN111241237A (zh) 一种基于运维业务的智能问答数据处理方法及装置
CN110475129A (zh) 视频处理方法、介质及服务器
CN112131883B (zh) 语言模型训练方法、装置、计算机设备和存储介质
WO2023241410A1 (zh) 数据处理方法、装置、设备及计算机介质
CN110399473B (zh) 为用户问题确定答案的方法和装置
CN113672708A (zh) 语言模型训练方法、问答对生成方法、装置及设备
WO2023029501A1 (zh) 智能问诊方法、装置、电子设备及存储介质
CN115293348A (zh) 一种多模态特征提取网络的预训练方法及装置
CN116578688A (zh) 基于多轮问答的文本处理方法、装置、设备及存储介质
CN110597968A (zh) 一种回复选择方法及装置
CN113705315A (zh) 视频处理方法、装置、设备及存储介质
CN111625715A (zh) 信息提取方法、装置、电子设备及存储介质
CN115114419A (zh) 问答处理方法、装置、电子设备和计算机可读介质
CN113868519A (zh) 信息搜索方法、装置、电子设备和存储介质
CN112749556B (zh) 多语言模型的训练方法和装置、存储介质和电子设备
CN113449081A (zh) 文本特征的提取方法、装置、计算机设备及存储介质
CN111506717B (zh) 问题答复方法、装置、设备及存储介质
CN117093864A (zh) 文本生成模型训练方法以及装置
CN116701604A (zh) 问答语料库的构建方法和装置、问答方法、设备及介质
CN116775875A (zh) 问题语料库构建方法和装置、问答方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant