CN110472029A - 一种数据处理方法、装置以及计算机可读存储介质 - Google Patents

一种数据处理方法、装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN110472029A
CN110472029A CN201910708921.6A CN201910708921A CN110472029A CN 110472029 A CN110472029 A CN 110472029A CN 201910708921 A CN201910708921 A CN 201910708921A CN 110472029 A CN110472029 A CN 110472029A
Authority
CN
China
Prior art keywords
language
vector
information
inquiry
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910708921.6A
Other languages
English (en)
Other versions
CN110472029B (zh
Inventor
王兴光
韩云
牛成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910708921.6A priority Critical patent/CN110472029B/zh
Publication of CN110472029A publication Critical patent/CN110472029A/zh
Application granted granted Critical
Publication of CN110472029B publication Critical patent/CN110472029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种数据处理方法、装置以及计算机可读存储介质，该方法包括：获取语言查询信息与语言环境信息之间的第一关联信息；根据第一关联信息和语言环境信息，确定语言查询信息对应的语言查询向量；根据第一关联信息和语言查询信息，确定语言环境信息对应的语言环境向量；根据语言查询向量和语言环境向量，确定语言查询信息对应的第一语言理解结果。采用本申请，可提高针对语言查询信息的语言理解的准确性。

Description

一种数据处理方法、装置以及计算机可读存储介质
技术领域
本申请涉及数据处理的技术领域，尤其涉及一种数据处理方法、装置以及计算机可读存储介质。
背景技术
随着计算机网络的不断发展，人机交互的相关技术逐渐趋于成熟，用户可以直接与机器进行对话，机器可以理解用户向其输入的话语，从而可以对应向用户给出回复，该回复可以是一种界面跳转的操作，也可以是一句回复的话。但是，在自然语言理解这一领域，想要令机器非常准确地理解用户的话语，始终是一大难点。
当前技术中，主要是通过理解用户的当前对话数据的语义，对应向用户给出相应的回复。但是，很多时候用户在录入对话数据时，会省略掉一些词语，或者携带一些网络用语，因此，机器在对用户的当前对话数据进行理解时，很容易造成理解偏差或者理解不全面，导致得到的针对用户的当前对话数据的理解结果并不准确。
申请内容
本申请提供了一种数据处理方法、装置以及计算机可读存储介质，可提高理解语言查询信息的准确性。
本申请一方面提供了一种数据处理方法，包括：
获取语言查询信息与语言环境信息之间的第一关联信息；
根据所述第一关联信息和所述语言环境信息，确定所述语言查询信息对应的语言查询向量；
根据所述第一关联信息和所述语言查询信息，确定所述语言环境信息对应的语言环境向量；
根据所述语言查询向量和所述语言环境向量，确定所述语言查询信息对应的第一语言理解结果。
其中，所述获取语言查询信息与语言环境信息之间的第一关联信息，包括：
获取所述语言查询信息对应的第一向量以及所述语言环境信息对应的第二向量；
根据所述第一向量和所述第二向量，确定所述第一关联信息。
其中，所述获取所述语言查询信息对应的第一向量以及所述语言环境信息对应的第二向量，包括：
获取所述语言查询信息对应的第一词序列，获取所述语言环境信息对应的第二词序列；
基于语言理解模型中的词向量生成网络和所述第一词序列，获取所述第一向量；
基于所述词向量生成网络和所述第二词序列，获取所述第二向量。
其中，所述获取所述语言查询信息对应的第一词序列，包括：
获取所述语言查询信息对应的第一初始词序列；
在所述第一初始词序列中添加分类标记和补充字符；所述分类标记用于确定所述语言查询信息的意图识别结果；所述补充字符为用于将所述第一初始词序列的长度补全至长度阈值的字符；
将已添加所述分类标记和所述补充字符的第一初始词序列，确定为所述第一词序列。
其中，所述第一语言理解结果包括意图识别结果；
所述根据所述语言查询向量和所述语言环境向量，确定所述语言查询信息对应的第一语言理解结果，包括：
根据所述语言查询向量和所述语言环境向量，对所述第一词序列中的分类标记进行更新，得到更新后的分类标记；
基于所述更新后的分类标记和所述语言理解模型中的第一分类网络，分别确定所述语言查询信息与多种目标意图之间的意图概率；
将所述多种目标意图中，最大的意图概率所指向的目标意图，确定为所述语言查询信息对应的意图识别结果。
其中，所述语言环境信息中包括多轮历史对话数据；所述第二词序列中包括所述多轮历史对话数据中的每轮历史对话数据分别对应的子词序列；
所述获取所述语言环境信息对应的第二词序列，包括：
分别获取所述每轮历史对话数据对应的第二初始词序列；
当所述第二初始词序列的长度小于长度阈值时，基于补充字符对所述第二初始词序列进行序列补全，将序列补全后的第二初始词序列确定为所述子词序列；所述子词序列的长度等于所述长度阈值；
将所述每轮历史对话数据分别对应的子词序列进行拼接，得到所述第二词序列。
其中，所述语言环境信息中包括多轮历史对话数据；所述第二词序列中包括所述多轮历史对话数据中的每轮历史对话数据分别对应的子词序列；
所述获取所述语言环境信息对应的第二词序列，包括：
分别获取所述每轮历史对话数据对应的第二初始词序列；
当所述第二初始词序列的长度大于长度阈值时，将补充字符添加至所述第二初始词序列中，并对所述第二初始词序列进行序列截取，将序列截取后的第二初始词序列确定为所述子词序列；所述补充字符用于间隔不同历史对话数据对应的子词序列；所述子词序列的长度等于所述长度阈值；
将所述每个历史对话数据分别对应的子词序列进行拼接，得到所述第二词序列。
其中，所述第二词序列中包括多轮历史对话数据中的每轮历史对话数据分别对应的子词序列；还包括：
分别设置所述第二词序列中的每个子词序列的定位向量；所述定位向量用于标识所述第二词序列中的每个子词序列之间的位置关系；所述定位向量还用于标识所述第一词序列中属于同一子词序列中的多个词；
则，所述基于所述词向量生成网络和所述第二词序列，获取所述第二向量，包括：
基于所述定位向量、所述词向量生成网络和所述第二词序列，获取所述第二向量。
其中，所述第一向量中包括所述语言查询信息中的多个词的词向量；所述第二向量中包括所述语言环境信息中的多个词的词向量；
所述根据所述第一向量和所述第二向量，确定所述第一关联信息，包括：
基于语言理解模型中的第一关联性增强网络、所述第一向量中的多个词向量和所述第二向量中的多个词向量，分别确定所述语言查询信息中的每个词与所述语言环境信息中的每个词之间的依赖关系；所述依赖关系表征两个词之间的相似度；
根据所述依赖关系，分别确定所述语言查询信息中的每个词与所述语言环境信息中的每个词之间的词关联信息；
将所述词关联信息确定为所述第一关联信息。
其中，所述根据所述语言查询向量和所述语言环境向量，确定所述语言查询信息对应的第一语言理解结果，包括：
根据所述语言查询信息中的每个词与所述语言环境信息中的每个词之间的词关联信息，进行指代消解，得到指代消解结果；所述指代消解结果表征进行指代消解的多个词所指向的实体相同；
根据所述指代消解结果、所述语言查询向量和所述语言环境向量，确定所述第一语言理解结果。
其中，所述根据所述第一关联信息和所述语言环境信息，确定所述语言查询信息对应的语言查询向量，包括：
基于语言理解模型中的第一关联性增强网络、所述第一关联信息和所述语言环境信息对应的第二向量，确定所述第二向量对应的第一关联向量；
将所述第一关联向量与所述第一向量进行拼接，得到所述语言查询向量。
其中，所述根据所述第一关联信息和所述语言查询信息，确定所述语言环境信息对应的语言环境向量，包括：
基于语言理解模型中的第一关联性增强网络、所述第一关联信息和所述语言查询信息对应的第一向量，确定所述第一向量对应的第二关联向量；
将所述第二关联向量与所述第二向量进行拼接，得到所述语言环境向量。
其中，所述语言查询向量中包括所述语言查询信息中的多个词的拼接词向量；所述语言环境向量中包括所述语言环境信息中的多个词的拼接词向量；所述第一语言理解结果包括第一槽位填充结果；
所述根据所述语言查询向量和所述语言环境向量，确定所述语言查询信息对应的第一语言理解结果，包括：
基于语言理解模型中的第二分类网络、所述语言查询向量中的多个词的拼接词向量和所述语言环境向量中的多个词的拼接词向量，为所述语言查询信息中的每个词添加第一词意标签；
将所述第一词意标签确定为所述第一槽位填充结果。
其中，所述语言查询向量中包括所述语言查询信息中的多个词的拼接词向量；所述语言环境向量中包括所述语言环境信息中的多个词的拼接词向量；还包括：
根据所述第一关联信息，对所述语言查询信息中的每个词和所述语言环境信息中的每个词进行指代消解，得到指代消解结果；所述指代消解结果表征进行指代消解的多个词所指向的实体相同；
基于语言理解模型中的第二分类网络、所述指代消解结果、所述语言查询向量中的多个词的拼接词向量和所述语言环境向量中的多个词的拼接词向量，为所述语言环境信息中的每个词添加第二词意标签；
将所述第二词意标签确定为所述语言环境信息对应的第二槽位填充结果，将所述第二槽位填充结果确定为所述语言环境信息对应的第二语言理解结果。
其中，所述根据所述语言查询向量和所述语言环境向量，确定所述语言查询信息对应的第一语言理解结果，包括：
基于所述语言理解模型中的自归一化网络对所述语言查询向量中的拼接信息进行关联性增强，得到第一过渡向量，基于所述自归一化网络对所述语言环境向量中的拼接信息进行关联性增强，得到第二过渡向量；
基于所述语言理解模型中的第二关联性增强网络，获取所述第一过渡向量和所述第二过渡向量之间的第二关联信息；
根据所述第二关联信息、所述第一过渡向量和所述第二过渡向量，确定所述语言查询信息对应的更新语言查询向量和所述语言环境信息对应的更新语言环境向量；
根据所述更新语言查询向量和所述更新语言环境向量，确定所述第一语言理解结果。
本申请另一方面提供了一种数据处理方法，包括：
基于初始语言理解模型，获取样本语言查询信息与样本语言环境信息之间的样本关联信息；
根据所述样本关联信息、所述样本语言查询信息和所述样本语言环境信息，确定所述样本语言查询信息对应的样本语言查询向量和所述样本语言环境信息对应的样本语言环境向量；
根据所述样本语言查询向量和所述样本语言环境向量，确定所述样本语言查询信息对应的第一样本语言理解结果；
基于所述第一样本语言理解结果训练所述初始语言理解模型，得到语言理解模型。
本申请一方面提供了一种数据处理装置，包括：
第一获取模块，用于获取语言查询信息与语言环境信息之间的第一关联信息；
第一确定模块，用于根据所述第一关联信息和所述语言环境信息，确定所述语言查询信息对应的语言查询向量；
第二确定模块，用于根据所述第一关联信息和所述语言查询信息，确定所述语言环境信息对应的语言环境向量；
第三确定模块，用于根据所述语言查询向量和所述语言环境向量，确定所述语言查询信息对应的第一语言理解结果。
其中，所述第一获取模块，包括：
第一获取单元，用于获取所述语言查询信息对应的第一向量以及所述语言环境信息对应的第二向量；
第一确定单元，用于根据所述第一向量和所述第二向量，确定所述第一关联信息。
其中，所述第一获取单元，包括：
序列获取子单元，用于获取所述语言查询信息对应的第一词序列，获取所述语言环境信息对应的第二词序列；
第一获取子单元，用于基于语言理解模型中的词向量生成网络和所述第一词序列，获取所述第一向量；
第二获取子单元，用于基于所述词向量生成网络和所述第二词序列，获取所述第二向量。
其中，所述序列获取子单元，包括：
第三获取子单元，用于获取所述语言查询信息对应的第一初始词序列；
添加子单元，用于在所述第一初始词序列中添加分类标记和补充字符；所述分类标记用于确定所述语言查询信息的意图识别结果；所述补充字符为用于将所述第一初始词序列的长度补全至长度阈值的字符；
第一确定子单元，用于将已添加所述分类标记和所述补充字符的第一初始词序列，确定为所述第一词序列。
其中，所述第一语言理解结果包括意图识别结果；
所述第三确定模块，包括：
更新单元，用于根据所述语言查询向量和所述语言环境向量，对所述第一词序列中的分类标记进行更新，得到更新后的分类标记；
第二确定单元，用于基于所述更新后的分类标记和所述语言理解模型中的第一分类网络，分别确定所述语言查询信息与多种目标意图之间的意图概率；
意图确定单元，用于将所述多种目标意图中，最大的意图概率所指向的目标意图，确定为所述语言查询信息对应的意图识别结果。
其中，所述语言环境信息中包括多轮历史对话数据；所述第二词序列中包括所述多轮历史对话数据中的每轮历史对话数据分别对应的子词序列；
所述序列获取子单元，包括：
第四获取子单元，用于分别获取所述每轮历史对话数据对应的第二初始词序列；
补全子单元，用于当所述第二初始词序列的长度小于长度阈值时，基于补充字符对所述第二初始词序列进行序列补全，将序列补全后的第二初始词序列确定为所述子词序列；所述子词序列的长度等于所述长度阈值；
第一拼接子单元，用于将所述每轮历史对话数据分别对应的子词序列进行拼接，得到所述第二词序列。
其中，所述语言环境信息中包括多轮历史对话数据；所述第二词序列中包括所述多轮历史对话数据中的每轮历史对话数据分别对应的子词序列；
所述序列获取子单元，包括：
第五获取子单元，用于分别获取所述每轮历史对话数据对应的第二初始词序列；
截取子单元，用于当所述第二初始词序列的长度大于长度阈值时，将补充字符添加至所述第二初始词序列中，并对所述第二初始词序列进行序列截取，将序列截取后的第二初始词序列确定为所述子词序列；所述补充字符用于间隔不同历史对话数据对应的子词序列；所述子词序列的长度等于所述长度阈值；
第二拼接子单元，用于将所述每个历史对话数据分别对应的子词序列进行拼接，得到所述第二词序列。
其中，所述第二词序列中包括多轮历史对话数据中的每轮历史对话数据分别对应的子词序列；所述数据处理装置，还包括：
定位模块，用于分别设置所述第二词序列中的每个子词序列的定位向量；所述定位向量用于标识所述第二词序列中的每个子词序列之间的位置关系；所述定位向量还用于标识所述第一词序列中属于同一子词序列中的多个词；
则，所述第二获取子单元还用于：
基于所述定位向量、所述词向量生成网络和所述第二词序列，获取所述第二向量。
其中，所述第一向量中包括所述语言查询信息中的多个词的词向量；所述第二向量中包括所述语言环境信息中的多个词的词向量；
所述第一确定单元，包括：
第二确定子单元，用于基于语言理解模型中的第一关联性增强网络、所述第一向量中的多个词向量和所述第二向量中的多个词向量，分别确定所述语言查询信息中的每个词与所述语言环境信息中的每个词之间的依赖关系；所述依赖关系表征两个词之间的相似度；
第三确定子单元，用于根据所述依赖关系，分别确定所述语言查询信息中的每个词与所述语言环境信息中的每个词之间的词关联信息；
第四确定子单元，用于将所述词关联信息确定为所述第一关联信息。
其中，所述第三确定模块，包括：
消解单元，用于根据所述语言查询信息中的每个词与所述语言环境信息中的每个词之间的词关联信息，进行指代消解，得到指代消解结果；所述指代消解结果表征进行指代消解的多个词所指向的实体相同；
第三确定单元，用于根据所述指代消解结果、所述语言查询向量和所述语言环境向量，确定所述第一语言理解结果。
其中，所述第一确定模块，包括：
第四确定单元，用于基于语言理解模型中的第一关联性增强网络、所述第一关联信息和所述语言环境信息对应的第二向量，确定所述第二向量对应的第一关联向量；
第一拼接单元，用于将所述第一关联向量与所述第一向量进行拼接，得到所述语言查询向量。
其中，所述第二确定模块，包括：
第五确定单元，用于基于语言理解模型中的第一关联性增强网络、所述第一关联信息和所述语言查询信息对应的第一向量，确定所述第一向量对应的第二关联向量；
第二拼接单元，用于将所述第二关联向量与所述第二向量进行拼接，得到所述语言环境向量。
其中，所述语言查询向量中包括所述语言查询信息中的多个词的拼接词向量；所述语言环境向量中包括所述语言环境信息中的多个词的拼接词向量；所述第一语言理解结果包括第一槽位填充结果；
所述第三确定模块，包括：
添加单元，用于基于语言理解模型中的第二分类网络、所述语言查询向量中的多个词的拼接词向量和所述语言环境向量中的多个词的拼接词向量，为所述语言查询信息中的每个词添加第一词意标签；
第六确定单元，用于将所述第一词意标签确定为所述第一槽位填充结果。
其中，所述语言查询向量中包括所述语言查询信息中的多个词的拼接词向量；所述语言环境向量中包括所述语言环境信息中的多个词的拼接词向量；所述数据处理装置，还包括：
消解模块，用于根据所述第一关联信息，对所述语言查询信息中的每个词和所述语言环境信息中的每个词进行指代消解，得到指代消解结果；所述指代消解结果表征进行指代消解的多个词所指向的实体相同；
添加模块，用于基于语言理解模型中的第二分类网络、所述指代消解结果、所述语言查询向量中的多个词的拼接词向量和所述语言环境向量中的多个词的拼接词向量，为所述语言环境信息中的每个词添加第二词意标签；
结果确定模块，用于将所述第二词意标签确定为所述语言环境信息对应的第二槽位填充结果，将所述第二槽位填充结果确定为所述语言环境信息对应的第二语言理解结果。
其中，所述第三确定模块，包括：
归一化单元，用于基于所述语言理解模型中的自归一化网络对所述语言查询向量中的拼接信息进行关联性增强，得到第一过渡向量，基于所述自归一化网络对所述语言环境向量中的拼接信息进行关联性增强，得到第二过渡向量；
第二获取单元，用于基于所述语言理解模型中的第二关联性增强网络，获取所述第一过渡向量和所述第二过渡向量之间的第二关联信息；
第七确定单元，用于根据所述第二关联信息、所述第一过渡向量和所述第二过渡向量，确定所述语言查询信息对应的更新语言查询向量和所述语言环境信息对应的更新语言环境向量；
第八确定单元，用于根据所述更新语言查询向量和所述更新语言环境向量，确定所述第一语言理解结果。
本申请另一方面提供了一种数据处理装置，包括：
第二获取模块，用于基于初始语言理解模型，获取样本语言查询信息与样本语言环境信息之间的样本关联信息；
第四确定模块，用于根据所述样本关联信息、所述样本语言查询信息和所述样本语言环境信息，确定所述样本语言查询信息对应的样本语言查询向量和所述样本语言环境信息对应的样本语言环境向量；
第五确定模块，用于根据所述样本语言查询向量和所述样本语言环境向量，确定所述样本语言查询信息对应的第一样本语言理解结果；
训练模块，用于基于所述第一样本语言理解结果训练所述初始语言理解模型，得到语言理解模型。
本申请一方面提供了一种数据处理装置，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如本申请中一方面/另一方面中的方法。
本申请一方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被处理器执行时使该处理器执行上述一方面/另一方面中的方法。
本申请可以通过语言查询信息与语言环境信息之间的关联性，使得语言查询信息与语言环境信息之间可以进行相互表示，并得到语言查询信息对应的语言查询向量以及语言环境信息对应的语言环境向量，通过进行相互表示得到的语言查询向量和语言环境向量，得到语言查询信息对应的第一语言理解结果。由此可见，本申请提出的方法可以对语言查询信息与语言环境信息进行相互表示，从而增强语言查询信息与语言环境信息之间的关联性，并基于相互表示得到的语言查询向量和语言环境向量，得到语言查询信息对应的第一语言理解结果，提高了得到的第一语言理解结果的准确性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请提供的一种系统的架构示意图；
图1b是本申请提供的一种语言理解的场景示意图；
图2是本申请提供的一种数据处理方法的流程示意图；
图3是本申请提供的一种数据处理方法的流程示意图；
图4是本申请提供的一种序列的结构示意图；
图5是本申请提供的一种指代消解的场景示意图；
图6是本申请提供的一种语言识别模型的结构示意图；
图7是本申请提供的另一种数据处理方法的流程示意图；
图8是本申请提供的一种参数修正的场景示意图；
图9是本申请提供的一种数据处理装置的结构示意图；
图10是本申请提供的另一种数据处理装置的结构示意图；
图11是本申请提供的另一种数据处理装置的结构示意图。
具体实施方式
下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请涉及到自然语言处理(Nature Language processing，NLP)，自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。
请参见图1a，是本申请提供的一种系统的架构示意图。如图1a所示，该系统结构示意图包括服务器100、终端200a、终端200b和终端200c，服务器100可以和终端200a、终端200b和终端200c之间相互通信。此处以终端200a与服务器100之间的通信为例进行本申请的说明。终端200a可以获取到用户录入的当前对话数据(即在最近的时间内获取到的用户的对话数据)，终端200a可以将获取到的用户的当前对话数据发送给服务器100。服务器100中还保存有用户的历史对话数据(即在接收到用户的当前对话数据之前一段时间内接收到的用户的对话数据)。服务器100可以通过用户的历史对话数据对用户的当前对话数据进行理解，理解的内容包括当前对话数据对应的对话意图以及当前对话数据中的每个词的槽位填充。其中，对话意图的理解是指用户通过当前对话数据想要做的事。例如，用户的当前对话数据为“播放歌手G的夏天”，则当前对话数据的意图是“听歌”，表明用户通过当前对话数据的意图是想要听歌。槽位填充是指为当前对话数据中的每个词添加标签，每个词的标签表明了该个词的含义，即具体指向的实体。例如，当前对话数据为“播放歌手G的夏天”，则可以为“歌手G”这个词添加标签为“歌手”，为“夏天”这个词添加标签为“歌曲”。通过对用户的当前对话数据进行理解，并得到当前对话数据的意图识别结果以及槽位填充结果，后续，服务器100可以根据当前对话数据的意图识别结果以及槽位填充结果，对应给用户给出相应的回复。该回复可以是一种操作回复(例如终端页面的跳转指令)，也可以是一句话的回复(例如人机对话中，根据用户录入的对话对应给出回复的可视化文字或者语音)，服务器100可以将生成的回复发送给终端200a。当服务器100生成的回复为针对终端页面的跳转指令时，终端200a可以根据获取到的回复从当前的终端界面对应跳转到跳转指令所指示的终端界面。当服务器100生成的回复为可视化文字或者语音时，终端200a可以在应用界面界面中展示/播放接收到的可视化文字或者语音，以使用户可以通过终端接收到回复给他的可视化文字或者语音。请参见图1b，是本申请提供的一种语言理解的场景示意图。如图1b所示，历史对话a1为服务器100预先存储的用户的历史对话数据，服务器100可以在内存中获取到历史对话a1。历史对话a1中包括m轮对话，分别为对话b1、对话b2、…、对话bm-1和对话bm。其中，m轮对话中的每轮对话都对应有一个词序列，可以将历史对话a1中的多轮对话(包括m轮对话)的词序列进行拼接，得到历史对话a1对应的词序列a2。词序列a3为当前对话数据对应的词序列。其中，可以将词序列a3称之为语言查询信息，通过语言查询信息表征了用户想要查询的内容，或者可以理解为语言查询信息表征用户想要得到的回应。另外，可以将词序列a2称之为语言环境信息，通过语言环境信息表征了语言查询信息的语境，通过语言环境信息可以更好地理解语言查询信息(即用户的当前对话数据)。服务器100可以分别得到词序列a3对应的初始向量以及词序列a2对应的初始向量。可以获取到词序列a3对应的初始向量与词序列a2的初始向量之间的关联信息a4，通过该关联信息a4，可以使得词序列a3对应的初始向量与词序列a2对应的初始向量之间可以相互表示，该关联信息a4表征了语言查询信息对应的初始向量以及语言环境信息对应的初始向量之间的关联性。其中，词序列的向量可以理解为是一种嵌入表示，通过关联信息a4和词序列a3对应的初始向量可以得到词序列a2对应的初始向量的另一种嵌入表示a6，通过关联信息a4和词序列a2对应的初始向量可以得到词序列a3对应的初始向量的另一种嵌入表示a5。其中，嵌入表示a5中包含了词序列a2对应的初始向量的维度信息，嵌入表示a6中包含了词序列a3对应的初始向量的维度信息。通过嵌入表示a5和嵌入表示a6增强了词序列a3对应的初始向量与词序列a2对应的初始向量之间的关联性。通过上述得到的嵌入表示a5和嵌入表示a6，可以得到当前对话数据(可以理解为词序列a3)对应的槽位填充结果以及意图识别结果。举个例子，如图1b所示，页面a7为终端200a中获取用户的当前对话数据的页面，获取的方式是语音获取。用户可以在页面a7中录入语音对话数据(获取到的语音对话数据可以称之为当前对话数据)，终端200a可以识别出用户的语音对话数据的具体内容，此处以识别出用户的语音对话数据的具体内容为“播放他的春暖花开”为例进行说明。当上述词序列a3为识别出的当前对话数据“播放他的春暖花开”时，终端200a可以将识别出的对话数据“播放他的春暖花开”发送给服务器100。服务器100可以获取到用户的历史对话数据(即在获取到对话数据“播放他的春暖花开”之前某段时间内获取到的对话数据)，此处以获取到3轮历史对话数据为例进行说明，获取到的3轮历史对话数据分别为“打开歌手G的音乐列表”、“播放列表全部的歌曲”以及“播放他的《春花秋月》”。服务器100可以根据用户的历史对话数据对用户的当前对话数据“播放他的春暖花开”进行理解，理解的结果为，当前对话数据“播放他的春暖花开”的意图识别结果为“听歌”。当前对话数据中的代词“他”的标签为“歌手”，“春暖花开”的标签为“歌曲”，并且通过联系历史对话数据，可以理解知道当前对话数据中的代词“他”具体指的是“歌手G”，则，服务器对当前对话数据“播放他的春暖花开”的理解为“播放歌手G的歌曲《春暖花开》”。服务器100可以根据理解得到的当前对话数据“播放他的春暖花开”的理解结果(包括意图识别结果以及槽位填充结果)，向终端200a发送播放指令。终端200a可以根据接收到的播放指令跳转到页面a8，在页面a8中播放歌手G的春暖花开，到此，即实现了对用户的当前对话数据进行理解，并向用户给出相应的回复。
可选的，上述对用户的当前对话数据的理解过程也可以由终端200a实现，即终端200a无需将当前对话数据发送给服务器100，终端200a可以直接对当前对话数据进行理解，并向用户给出相应的回复。其中，对用户的当前对话数据进行理解的执行设备根据具体的应用场景决定，这里不做限制。
采用本申请提供的方法，可以提高历史对话数据与当前对话数据之间的关联性，可以对当前对话数据理解得更准确，即获取到的针对当前对话数据的意图识别结果以及槽位填充结果更加准确，从而可以提高人机交互的准确性。
请参见图2，是本申请提供的一种数据处理方法的流程示意图，如图2所示，所述方法可以包括：
步骤S101，获取语言查询信息与语言环境信息之间的第一关联信息；
具体的，执行主体可以是服务器，也可以是终端，这里以执行主体为服务器为例进行说明。上述语言查询信息可以指服务器获取到的用户的当前对话数据，该当前对话数据指获取到的最新对话数据，即服务器获取到的用户在最近的时间点录入的对话数据。语言查询信息表征了用户想要查询的信息，或者可以理解为用户当前想要的回应(例如，对话回应或者终端页面跳转回应)。其中，语言查询信息可以是语音信息，也可以是文字信息。语言环境信息可以指服务器之前缓存下来的用户的历史对话数据，即服务器在获取到用户的当前对话数据之前获取到的用户的对话数据。语言环境信息表征了用户的语言查询信息(即当前对话数据)的语境，通过语言环境信息可以对语言查询信息进行较好的理解。语言环境信息的获取方式包括：服务器可以获取在接收到用户的当前对话数据之前某段时间内的对话数据作为语言环境信息；或者，获取在接收到用户的当前对话数据之前用户的所有对话数据作为语言环境信息；或者，获取在接收到用户的当前对话数据之前用户的指定轮数的对话数据作为语言环境信息。例如，获取在接收到用户的当前对话数据之前的5轮对话数据、10轮对话数据或者20轮对话数据作为语言环境信息等。由上可知，语言环境信息中包括了多轮历史对话，即本申请提出的方法可以通过多轮历史对话实现对语言查询信息的语言理解。上述语言环境信息的具体获取方式根据实际应用场景决定，这里不做限制。首先，服务器可以获取语言查询信息的嵌入表示，语言查询信息的嵌入表示实际是一个向量，因此，可以将语言查询信息的嵌入表示称之为第一向量，第一向量表征了语言查询信息与多个维度之间的关联性。同时获取语言环境信息的嵌入表示，可以将语言环境信息的嵌入表示称之为第二向量，第二向量表征了语言环境信息与多个维度之间的关联性。当语言查询信息或者语言环境信息为语音信息时，可以先识别出语音信息中的文字信息，进而再获取文字信息对应的第一向量。通过上述语言查询信息对应的第一向量和语言环境信息对应的第二向量，可以获取到语言查询信息与语言环境信息之间的第一关联信息，该第一关联信息表征了语言查询信息与语言环境信息之间的关联性，即表征了第一向量与第二向量之间的关联性。
步骤S102，根据所述第一关联信息和所述语言环境信息，确定所述语言查询信息对应的语言查询向量；
具体的，服务器可以通过上述第一关联信息对第二向量做运算，得到第二向量对应的另一种向量。服务器可以将第二向量对应的另一种向量与第一向量拼接起来，得到上述语言查询信息对应的语言查询向量，因此，语言查询向量中包含拼接的第二向量对应的另一种向量中所携带的第二向量的维度特征，也可以理解为语言环境向量中携带有语言查询信息对应的维度特征。
步骤S103，根据所述第一关联信息和所述语言查询信息，确定所述语言环境信息对应的语言环境向量；
具体的，同样，服务器可以通过上述第一关联信息对第一向量做运算，得到第一向量对应的另一种向量。服务器可以将第一向量对应的另一种向量与第二向量拼接起来，得到上述语言环境信息对应的语言环境向量，因此，语言环境向量中包含拼接的第一向量对应的另一种向量中所携带的第一向量的维度特征，也可以理解为语言环境向量中携带有语言查询信息对应的维度特征。
步骤S104，根据所述语言查询向量和所述语言环境向量，确定所述语言查询信息对应的第一语言理解结果；
具体的，上述语言查询向量与语言环境向量都是在考虑到语言环境信息与语言查询信息之间的关联性得到的，因此，语言查询向量中包含了语言环境信息对应的维度特征。服务器可以通过上述语言查询向量和语言环境向量得到语言查询信息对应的第一语言理解结果，第一语言理解结果中包括语言查询信息对应的意图识别结果以及槽位填充结果。其中，意图识别结果为识别出的用户通过语言查询信息想要得到的回复类型，例如，听歌或者看电影。槽位填充结果为给语言查询信息中的词添加的标签信息，例如，给歌曲“夏天”添加的标签为“歌曲名”。首先服务器可以得到语言查询向量对应的初始槽位填充结果，以及语言环境向量对应的初始槽位填充结果。通过语言查询向量对应的初始槽位填充结果以及语言环境向量对应的初始槽位填充结果之间的相互校正，可以得到语言查询向量对应的最终的槽位填充结果以及语言环境向量对应的最终的槽位填充结果。在相互校正槽位填充结果时，语言查询向量的槽位填充结果会覆盖掉语言环境信息中同类型的槽位填充结果，例如语言查询向量中包括歌手“歌手A”，语言环境向量中包括歌手“歌手B”，则“歌手A”会覆盖填充掉“歌手B”。可以将得到的语言查询向量对应的最终的槽位填充结果以及语言查询信息对应的意图识别结果，称之为第一语言理解结果。
本申请可以通过语言查询信息与语言环境信息之间的关联性，使得语言查询信息与语言环境信息之间可以进行相互表示，并得到语言查询信息对应的语言查询向量以及语言环境信息对应的语言环境向量，通过进行相互表示得到的语言查询向量和语言环境向量，得到语言查询信息对应的第一语言理解结果。由此可见，本申请提出的方法可以对语言查询信息与语言环境信息进行相互表示，从而增强语言查询信息与语言环境信息之间的关联性，并基于相互表示得到的语言查询向量和语言环境向量，得到语言查询信息对应的第一语言理解结果，提高了得到的第一语言理解结果的准确性。
请参见图3，是本申请提供的一种数据处理方法的流程示意图，如图3所示，所述方法可以包括：
步骤S201，获取所述语言查询信息对应的第一词序列，获取所述语言环境信息对应的第二词序列；基于语言理解模型中的词向量生成网络和所述第一词序列，获取所述第一向量；基于所述词向量生成网络和所述第二词序列，获取所述第二向量；根据所述第一向量和所述第二向量，确定第一关联信息；
具体的，同样以执行主体为服务器进行说明，服务器可以获取语言查询信息对应的第一初始词序列，第一初始词序列中包含了语言查询信息中的多个词，即第一初始词序列是语言查询信息中包含的词所构成的词序列。在第一初始词序列中添加分类标记和补充字符。其中，添加至第一初始词序列的分类标记可以是词向量生成网络(例如BERT模型)预先训练得到的初始标记，分类标记也是一个向量embedding，记为CLS，分类标记在语言识别模型对语言查询信息进行理解的过程中会一直更新，分类标记用于识别出语言查询信息对应的意图，得到意图识别结果。其中，补充字符可以记为SEP，补充字符用于将第一初始词序列的长度补全至长度阈值。具体为，可以设置序列的长度阈值，例如设置长度阈值为L。服务器可以在第一初始词序列中添加补充字符SEP，使得添加了分类标记以及补充字符的第一初始词序列的长度为长度阈值L。将已添加有分类标记和补充字符的第一初始词序列称之为第一词序列。其中，第一词序列中所包含的语言查询信息中的词的数量最多为L-2，即长度为L的第一词序列中包括语言查询信息中的最多L-2个词、1个CLS以及1个补充字符，换言之，第一词序列中包括1个CLS以及至少一个SEP。当第一初始词序列的长度超过L-2时，可以对第一初始词序列进行截取，将第一初始词序列截取至长度为L-2的词序列，即保留第一初始词序列中前L-2个词，截取掉第一初始词序列中第L-2个词之后的词。请一并参见图4，是本申请提供的一种序列的结构示意图。如图4所示，第一词序列可以是序列c1，序列c1中第一位为分类标记CLS，分类标记CLS之后接着为语言查询信息中的多个词，分别为w1、w2、w3、w4、…，多个词之后为补充字符SEP，序列c1的长度为长度阈值L。由于语言环境信息中包括多轮历史对话数据，则服务器可以分别获取语言环境信息中的每轮历史对话数据对应的第二初始词序列。第二初始词序列中包含了历史对话数据中的多个词，即第二初始词序列是历史对话数据中包含的词所构成的词序列。其中，每轮历史对话数据中可以包括用户向终端录入的问询对话数据以及终端向用户回复的回复对话数据，即可以将用户与终端之间的一问一答的对话数据作为一轮历史对话数据，则每轮历史对话数据对应的第二初始词序列中，均分别包含对用户的问询对话数据以及终端的回复对话数据经过分词之后得到的全部词。同样，可以设置序列的长度阈值为L，当第二初始词序列的长度小于长度阈值L时，服务器可以通过补充字符SEP对第二初始词序列进行补全，使得补全之后的第二初始词序列的长度为长度阈值L。可以将长度补全至长度阈值L的第二初始词序列称之为历史对话数据对应的子词序列。当上述语言环境信息中的每轮历史对话数据对应的第二初始词序列的长度均小于长度阈值L时，服务器通过上述方式(序列补全的方式)可以得到每轮历史对话数据对应的子词序列。服务器可以将每轮历史对话数据分别对应的子词序列进行拼接，可以按照接收到每轮历史对话数据的时间先后进行拼接，即将先接收到的历史对话数据对应子词序列拼接在序列前面，将后接收到的历史对话数据对应的子词序列拼接在序列后面。通过上述拼接操作，服务器可以得到语言环境信息对应的第二词序列。更多的，当上述第二初始词序列的长度大于或者等于长度阈值L时，可以在第二初始词序列中添加至少一个补充字符SEP。补充字符除了可以将长度小于长度阈值的初始词序列的长度补全至长度阈值之外，还可以作为间隔不同历史对话数据对应的子词序列的间隔符。在长度原本就大于或者等于长度阈值的第二初始词序列中添加补充字符之后，接着可以对已添加有补充字符的第二初始词序列进行序列截取，截取至长度为L的序列。可以将进行序列截取后的第二初始词序列称之为历史对话数据对应的子词序列，保留第二初始词序列中包含的历史对话数据的前L-1个词，截取掉第二初始词序列中包含的历史对话数据的第L-1个词之后的词。其中，子词序列中所包含的单轮历史对话数据中的词的数量最多为L-1，即长度为L的子词序列中包括历史对话数据中的最多L-1个词以及1个补充字符，换言之，子词序列中包括至少一个SEP。当上述语言环境信息中的每轮历史对话数据对应的第二初始词序列的长度均大于或者等于长度阈值L时，服务器通过上述方式(序列截取的方式)可以得到每轮历史对话数据对应的子词序列。服务器可以将每轮历史对话数据分别对应的子词序列进行拼接，可以按照接收到每轮历史对话数据的时间先后进行拼接，即将先接收到的历史对话数据对应子词序列拼接在序列前面，将后接收到的历史对话数据对应的子词序列拼接在序列后面。通过上述拼接操作，服务器可以得到语言环境信息对应的第二词序列。当上述语言环境信息中的多轮历史对话数据分别对应的第二初始词序列的长度既有小于长度阈值L的，也有大于或者等于长度阈值L的时，服务器通过上述两种方式(包括序列补全的方式和序列截取的方式)可以得到每轮历史对话数据对应的子词序列。服务器可以将每轮历史对话数据分别对应的子词序列(包括截取得到的子词序列以及补全得到的子词序列)进行拼接，得到语言环境信息对应的第二词序列。当语言环境信息中有m轮历史对话数据时，第二词序列的长度为mL。如图4所示，第二词序列可以是序列c2，每个子词序列的长度为L，每个子词序列中包括历史对话数据中的多个词，分别为w1、w2、w3、…，多个词之后为补充字符SEP，序列c2中拼接有语言环境信息中的多轮历史对话数据对应的子词序列。此外，还可以分别为语言环境信息中的每轮历史对话数据对应的子词序列设置定位向量，即设置第二词序列中的每个子词序列的定位向量，该定位向量中包含了每个子词序列的定位特征。定位向量用于标识第二子词序列中每个子词序列之间的上下文位置关系，即标识第二子词序列中的每个子词序列对应的历史对话数据的接收时间，每轮历史对话数据的接收时间决定了每轮历史对话数据对应的子词序列的位置关系。定位向量还用于标识属于同一个子词序列中的多个词，即同一个子词序列中的多个词的定位特征相同。若是语言环境信息中包含m轮历史对话数据，则第二词序列中有m个子词序列，即定位向量中包含m个定位特征，一个子词序列对应于一个定位特征。例如，将距离语言查询信息的接收时间最近的对话数据接收时间对应的历史对话数据的子词序列的定位特征设置为1，将距离语言查询信息的接收时间第二近的对话数据接收时间对应的历史对话数据的子词序列的定位特征设置为2，按照历史对话数据的接收时间与语言查询信息的接收时间之间的远近距离，依次设置每个子词序列的定位特征，根据每个子词序列的定位特征得到上述定位向量。如图4所示，定位向量可以是序列c3的形式，即序列c3为定位向量对应的定位序列，由于语言环境信息中包括m轮历史对话数据，则序列c3中包括定位特征1到定位特征m，共m个定位特征。每个定位特征的长度也为长度阈值L，每个定位特征也使用补充字符进行补全和间隔。服务器可以将上述语言环境信息对应的第二词序列与定位向量对应的定位序列都输入到词向量生成网络中，得到第二词序列对应的序列向量以及定位序列对应的定位向量，词向量生成网络可以将第二词序列对应的序列向量与定位向量相加，得到第二词序列对应的第二向量。第二向量中通过定位向量引入了其所包含的每个词的上下文位置信息。并且，在词向量生成网络生成第二向量时，考虑到了第二词序列中每个子词序列的位置关系，位置越靠前的子词序列表明越重要，位置越靠后的子词序列表明越不重要，即生成第二向量的限制条件包括第二词序列中的每个子词序列的位置先后，因此第二向量可以更准确地表达多轮历史对话数据之间的关联。可以将第二向量称之为语言环境信息的embedding，可以将第二向量表示为H0，且H0∈RmL×d。其中，R表示一种语言，用于将文本向量化，即进行词嵌入，d表示第二向量的向量维度，d的具体取值根据实际应用场景决定，这里不做限制，mL表示生成第二向量中的词向量的长度(或者称之为个数)，即第二向量中的词向量的长度为m轮历史对话数据对应的子词序列总的长度(每个子词序列的长度为L)。可以将第一词序列输入到词向量生成网络中，得到第一词序列对应的第一向量。可以将第一向量称之为语言查询信息的embedding，可以将第一向量表示为T0，且T0∈RL×d，其中，d表示第一向量的向量维度，d的具体取值根据实际应用场景决定，这里不做限制，L表示第一向量中的词向量的个数。服务器可以将上述H0和T0输入到第一关联性增强网络中，在第一关联性增强网络中可以得到第一向量中的每个词向量与第二向量中的每个词向量之间的依赖关系，即可以得到语言查询信息中的每个词与语言环境信息中的每个词之间的依赖关系，该依赖关系表征了两个词之间的相似度，即两个词指向同一实体的可能性。通过上述得到的词与词之间的依赖关系可以得到语言查询信息中的每个词与语言环境信息中的每个词之间的词关联信息，可以将该词关联信息称之为H0和T0之间的第一关联信息。可以将该第一关联信息表示为αi,j，αi,j表示第二向量中的第j个词与第一向量中的第i个词之间的关联性，其中，αi,j的具体运算可以参见公式(1)：
其中，exp表示以e为底的指数。relu为一个分段的线性函数，常用作激活函数，relu函数在函数值大于0时，取其本身的值x，在函数值小于等于0时，取0。W为一个参数，可以扩大语言理解模型的容量。表示H0中第j个词的embedding(嵌入表示，即向量)，表示T0中第i个词的embedding。其中，上述词向量生成网络可以是BERT(BidirectionalEncoder Representations from Transformers)模型(一种语言表征模型)，上述语言查询信息与语言环境信息可以共用一个BERT模型，也可以分别使用一个BERT模型得到上述第一向量和第二向量(即使用两个BERT模型)。当语言查询信息与语言环境信息共用一个BERT模型时，语言查询信息与语言环境信息的参数是对BERT模型共享的，可以将语言查询信息对应的第一词序列与语言环境信息对应的第二词序列同时输入BERT模型中，通过BERT模型分别得到语言查询信息对应的第一向量和语言环境信息对应的第二向量。其中，BERT模型的具体数量根据实际应用场景决定，这里不做限制。
更多的，还可以通过上述得到的词关联信息进行指代消解，并得到指代消解结果。其中指代消解旨在将表征相同实体的多个词进行隐式的消解，两个词是否是指向同一实体可以通过词关联信息进行判别。例如，可以将αi,j的最大的几个值所指向的词判定为指向同一实体，例如，确定αi,j中的i不变，变动j的取值，可以将根据j的不同取值得到的多个αi,j中值最大的3个αi,j对应的词进行指代消解。请参见图5，是本申请提供的一种指代消解的场景示意图。如图5所示，历史对话数据包括对话d1，即“播放歌手G的夏天”，语言查询信息d2(即当前对话数据)为“播放他的春天”。通过计算对话d1中的词“歌手G”与信息d2中的代词“他”之间的关联性(也可称之为相似度)，即αi,j，可以知道词“歌手G”与代词“他”之间的关联性较高，则可以将“他”指代消解为“歌手G”，即框d3中所示的“他”全等于“歌手G”，“他”就是“歌手G”。到此，就实现了隐式的指代消解，得到的指代消解结果即是将“他”指代消解为了“歌手G”。其中，指代消解就是指找出对话中的代词，并确定代词具体表示的名词实体。通过指代消解，可以为后续针对语言查询信息以及语言环境信息的语言理解服务。即可以根据指代消解结果帮助理解语言查询信息以及语言环境信息，得到语言查询信息对应的第一语言理解结果以及语言环境信息对应的第二语言理解结果。
步骤S202，根据所述第一关联信息和所述语言环境信息，确定所述语言查询信息对应的语言查询向量；所述语言查询向量中携带所述语言环境信息对应的维度特征；
具体的，可以在第一关联性增强网络中，根据上述第一关联信息和语言环境信息，得到语言查询信息对应的语言查询向量T1，具体过程参见公式(2)和公式(3)：
T1＝[t1；em1；g1'],...,[tL；emL；g'L] (2)
其中，当i为1时，g1'表示将j的所有取值带入公式(3)求和得到的第一向量中第一个词向量对应的关联向量，t1表示语言查询信息中的第一个词的embedding。α1,j表示第一向量中的第一个词向量与第二向量中的第j个词向量之间的关联性(即步骤201中得到的第一关联信息，表明了语言查询信息中的第一个词与语言环境信息中的第j个词之间的关联性)，公式(2)中的em1表示语言查询信息中的第一个词是否出现在语言环境信息中。em1取值可以包括0和1，当公式(2)中的em1取值为0时，表明语言查询信息中的第一个词没有出现在语言环境信息中，当公式(2)中的em1取值为1时，表明语言查询信息中的第一个词出现在了语言环境信息中。hj表示语言环境信息对应的第二向量中第j个词的embedding。其中，当i不为1时，公式(2)与公式(3)中的变量含义与上述i为1时，含义相同，只是带入的i的值不同。其中，第一向量中包括向量t1到向量tL，将i和j的值依次带入公式(3)，通过公式(3)可以分别得到向量t1到向量tL对应的关联向量g1'到g'L，可以将关联向量g1'到g'L称之为第二向量对应的第一关联向量。可以将上述第一向量与第一关联向量进行拼接，同时将em1到emL对应进行拼接，如公式(2)所示，可以将第一向量中的向量t1与其对应的关联向量g1'和em1进行拼接，将第一向量中的向量t2与其对应的关联向量g'2和em2进行拼接，…，将第一向量中的向量tL与其对应的关联向量g'L和emL进行拼接。可以将语言查询向量中的每个词向量称之为拼接词向量，例如[t1；em1；g1']为语言查询向量中的一个拼接词向量。通过上述拼接操作，可以实现第一关联向量与第一向量的拼接，最终得到语言查询向量T1。语言查询向量T1中通过第一关联信息拼接有语言环境信息中的向量维度特征，语言查询向量T1∈RL×(2d+1)，即语言查询向量T1的维度由d变为了2d+1，其中，2d+1个维度包括第一向量原本的d个维度、第二向量原本的d个维度以及em1到emL对应的1个维度。
步骤S203，根据所述第一关联信息和所述语言查询信息，确定所述语言环境信息对应的语言环境向量；所述语言环境向量中携带所述语言查询信息对应的维度特征；
具体的，可以在第一关联性增强网络中，根据上述第一关联信息和语言查询信息，得到语言环境信息对应的语言环境向量H1，具体过程参见公式(4)和公式(3)：
H1＝[h1；em1；g1],...,[hmL；emmL；gmL] (4)
其中，当j为1时，g1表示将i的所有取值带入公式(5)求和得到的第二向量中第一个词向量对应的关联向量，h1表示语言环境信息中的第一个词的embedding。αi,1表示第二向量中的第一个词向量与第一向量中的第i个词向量之间的关联性(即步骤201中得到的第一关联信息，表明了语言查询信息中的第i个词与语言环境信息中的第一个词之间的关联性)，公式(4)中的em1表示语言环境信息中的第一个词是否出现在语言查询信息中。em1取值可以包括0和1，当公式(4)中的em1取值为0时，表明语言环境信息中的第一个词没有出现在语言查询信息中，当公式(4)中的em1取值为1时，表明语言环境信息中的第一个词出现在了语言查询信息中。ti表示语言查询信息对应的第一向量中第i个词的embedding。其中，当j不为1时，公式(4)与公式(5)中的变量含义与上述j为1时，含义相同，只是带入的j的值不同。其中，第二向量中包括向量h1到向量hmL，将i和j的值依次带入公式(5)，通过公式(5)可以分别得到向量h1到向量hmL对应的关联向量g1到gmL，可以将关联向量g1到gmL称之为第一向量对应的第二关联向量。可以将上述第二向量与第二关联向量进行拼接，同时将em1到emL对应进行拼接，如公式(4)所示，可以将第二向量中的向量h1与其对应的关联向量g1和em1进行拼接，将第二向量中的向量h2与其对应的关联向量g2和em2进行拼接，…，将第二向量中的向量hmL与其对应的关联向量gmL和emmL进行拼接。可以将语言环境向量中的每个词向量称之为拼接词向量，例如[h1；em1；g1]为语言环境向量中的一个拼接词向量。通过上述拼接操作，可以实现第二关联向量与第二向量的拼接，最终得到语言环境向量H1。语言环境向量H1中通过第一关联信息拼接有语言查询信息中的向量维度特征，语言环境向量H1∈RmL×(2d+1)，即语言查询向量T1的维度由d变为了2d+1，其中，2d+1个维度包括第一向量原本的d个维度、第二向量原本的d个维度以及em1到emL对应的1个维度。
通过第一关联性增强网络可以增强第一向量和第二向量之间的关联性，即增强语言查询信息与语言环境信息之间的关联性。通过第一关联性增强网络得到的语言查询向量与语言环境向量中都包含了其之间的关联信息，实现了语言查询信息与语言环境信息之间关联性的增强。上述第一关联性增强网络可以称之为cross attention，cross attention也是一个注意力机制网络。上述获取语言查询向量和获取语言环境向量的先后顺序不作要求，即可以并行获取，也可以先获取语言查询向量，后获取语言环境向量，或者，还可以先获取语言环境向量，后获取语言查询向量，两者的获取顺序根据实际应用场景决定，这里不做限制。
步骤S204，基于所述语言理解模型中的自归一化网络对所述语言查询向量中的拼接信息进行关联性增强，得到第一过渡向量，基于所述自归一化网络对所述语言环境向量中的拼接信息进行关联性增强，得到第二过渡向量；
具体的，可以通过语言理解模型中的自归一化网络(self-attention)对语言查询向量中的拼接信息(包含语言环境信息以及语言查询信息)进行关联性增强，通过自归一化网络可以得到语言查询向量中每两个向量之间的关联性，从而在语言查询向量内部增强两两向量之间的关联性，实现对语言查询向量中拼接的两种维度特征的融合，可以将已通过自归一化网络实现特征融合的语言查询向量称之为上述第一过渡向量。同样，也可以通过语言理解模型中的自归一化网络(self-attention)对语言环境向量中的拼接信息(包含语言环境信息以及语言查询信息)进行关联性增强，通过上述自归一化网络可以得到语言环境向量中每两个向量之间的关联性，从而在语言查询向量内部增强两两向量之间的关联性，实现对语言查询向量中拼接的两种维度特征的融合，可以将已通过自归一化网络实现特征融合的语言环境向量称之为上述第二过渡向量。另外，自归一化网络还会对语言查询向量以及语言环境向量的均值以及方差进行限定，限定在合适的值的范围内。其中，上述语言环境向量以及语言查询向量在进行特征融合时，可以分别使用一个自归一化网络进行特征的融合(即使用两个自归一化网络)，也可以共用一个自归一化网络进行特征的融合，自归一化网络的个数根据实际应用场景决定，这里不做限制。
步骤S205，基于所述语言理解模型中的第二关联性增强网络，获取所述第一过渡向量和所述第二过渡向量之间的第二关联信息；
具体的，通过语言理解模型中的第二关联性增强网络，可以获取第一过渡向量以及第二过渡向量之间的第二关联信息。其中，第一关联性增强网络与第二关联性增强网络的网络结构相同，只是网络的参数可能不同，因此，与上述步骤S201中所描述的，通过第一关联性增强网络获取第一向量与第二向量之间的第一关联信息的过程相同，此处是以第二关联性增强网络获取第一过渡向量以及第二过渡向量之间的第二关联信息，即第二关联性增强网络对应于第一关联性增强网络，第一过渡向量对应于第一向量，第二过渡向量对应于第二向量。因此，获取第一关联信息时，带入上述公式(1)的值是第一向量与第二向量对应的值，此处，获取第二关联信息时，带入公式(1)的值是第一过渡向量与第二过渡向量对应的值。具体获取第二关联信息的过程请参见上述步骤S201，这里不再进行赘述。
步骤S206，根据所述第二关联信息、所述第一过渡向量和所述第二过渡向量，确定所述语言查询信息对应的更新语言查询向量和所述语言环境信息对应的更新语言环境向量；
具体的，服务器可以通过语言理解模型根据上述第二关联信息、第一过渡向量和第二过渡向量，得到语言查询信息对应的更新语言查询向量以及语言环境信息对应的更新语言环境向量。其中，得到更新语言查询向量的过程与上述得到语言查询向量的过程相同，只是得到更新语言查询向量是在第二关联性增强网络中实现的，并且是通过第二关联信息、第一过渡向量和第二过渡向量得到的，而上述得到语言查询向量是在第一关联性增强网络中实现的，并且是通过第一关联信息、第一向量和第二向量得到的。同理，得到更新语言环境向量是在第二关联性增强网络中实现的，并且是通过第二关联信息、第一过渡向量和第二过渡向量得到的，而上述得到语言环境向量是在第一关联性增强网络中实现的，并且是通过第一关联信息、第一向量和第二向量得到的。即在得到语言查询向量时，带入公式(2)和公式(3)的值为第一关联信息、第一向量与第二向量对应的值，在得到更新语言查询向量时，带入公式(2)和公式(3)的值为第二关联信息、第一过渡向量与第二过渡向量对应的值。同理，在得到语言环境向量时，带入公式(4)和公式(5)的值为第一关联信息、第一向量与第二向量对应的值，在得到更新语言环境向量时，带入公式(4)和公式(5)的值为第二关联信息、第一过渡向量与第二过渡向量对应的值。得到更新语言查询信息的具体过程请参见上述步骤S202，得到更新语言环境信息的具体过程请参见上述步骤S203，这里不再进行赘述。
步骤S207，根据所述更新语言查询向量和所述更新语言环境向量，确定第一语言理解结果和第二语言理解结果；
具体的，在语言理解模型中，可以通过上述更新语言查询向量和更新语言环境向量得到语言查询信息对应的第一语言理解结果，第一语言理解结果中包括语言查询信息对应的意图识别结果以及槽位填充结果。其中，意图识别结果为识别出的用户通过语言查询信息想要得到的回复类型，例如，听歌或者看电影。由于，上述更新语言查询向量可以理解为是根据第一向量得到的，第一向量是根据第一词序列得到的，并且第一词序列中添加有分类标记CLS，因此，第一向量中包括分类标记CLS的嵌入表示。在通过上述第一关联性增强网络、自归一化网络以及第二关联性增强网络，得到更新语言查询向量的过程中，分类标记CLS在网络中的嵌入表示也在一直更新，即可以理解为是通过语言查询向量和语言环境向量不断在对第一词序列中的分类标记CLS的嵌入表示进行更新。由于分类标记CLS是用于识别语言查询信息的意图，得到意图识别结果，因此，可以通过更新完成的分类标记CLS得到语言查询信息准确的意图识别结果。具体为，可以将更新语言查询向量输入全连接层，全连接层之后还可以连接一个分类网络softmax(可以将与得到意图识别结果对应的分类网络称之为第一分类网络)，通过更新语言查询向量中的分类标记CLS以及第一分类网络，可以得到语言查询信息对应与多种目标意图之间的意图概率。其中，目标意图可以是预先设定好的若干种意图(例如听歌、看视频等)，目标意图的具体数量根据实际应用场景决定，这里不做限制。语言查询信息对应与多种目标意图之间的意图概率可以是一个概率分布，语言查询信息与某种目标意图之间的意图概率越高，表明语言查询信息越偏向该种意图，可以将每种目标意图对应的意图概率中，意图概率最大的目标意图，作为语言查询信息对应的意图识别结果。此外，槽位填充结果为给语言查询信息中的词添加的标签信息，例如，给歌曲“夏天”添加的标签为“歌曲名”。首先可以得到更新语言查询向量对应的初始槽位填充结果，以及更新语言环境向量对应的初始槽位填充结果。通过更新语言查询向量对应的初始槽位填充结果以及更新语言环境向量对应的初始槽位填充结果之间的相互校正，可以得到更新语言查询向量对应的最终的槽位填充结果以及更新语言环境向量对应的最终的槽位填充结果。在相互校正槽位填充结果时，更新语言查询向量的槽位填充结果会覆盖掉语言环境信息中同类型的槽位填充结果，例如更新语言查询向量中包括歌手“歌手A”，更新语言环境向量中包括歌手“歌手B”，则“歌手A”会覆盖填充掉“歌手B”。上述在得到槽位填充结果时，也可以理解为一个分类任务，可以将上述更新语言查询向量和更新语言环境向量输入到全连接层中，全连接层之后可以连接一个分类网络softmax(可以将与得到槽位填充结果对应的分类网络称之为第二分类网络)，通过第二分类网络可以得到语言查询信息中的每个词以及语言环境信息中的每个词与多种标签之间的概率，可以将与每个词的概率最大的标签作为该个词的槽位填充结果。例如，语言查询信息中包括词“歌手G”，对应的标签有“歌手”、“学校”和“舞台”，则根据“歌手G”与每个标签之间的概率可以知道，词“歌手G”与标签“歌手”之间的概率最大，则可以为“歌手G”设置标签“歌手”，作为“歌手G”的槽位填充结果。再例如，语言环境信息中包括词“深大”，对应的标签有“歌手”、“学校”和“舞台”，则根据“深大”与每个标签之间的概率可以知道，词“深大”与标签“学校”之间的概率最大，则可以为“深大”设置标签“学校”，作为“深大”的槽位填充结果。由于语言查询向量和语言环境向量中每个词的词向量为两种向量拼接得到，因此可以将语言查询向量中每个词对应的词向量称之为拼接词向量，可以将语言环境向量中的每个词对应的词向量也称之为拼接词向量。计算语言查询信息向量与语言环境向量之间的关联性，也就是计算语言查询信息向量中每个拼接词向量与语言环境向量中每个拼接词向量之间的关联性。可以通过计算得到的语言查询信息向量与语言环境向量之间的关联性，为语言查询信息和语言环境信息中的每个词添加标签。可以将为语言查询信息中的每个词添加的标签称之为第一词意标签，可以将为语言环境信息中的每个词添加的标签称之为第二词意标签。可以将语言查询信息中所有词对应的第一词意标签称之为第一槽位填充结果，可以将语言环境信息中所有词对应的第二词意标签称之为第二槽位填充结果。上述第一语言理解结果为语言查询信息对应的语言理解结果，上述第二语言理解结果为语言环境信息对应的语言理解结果。第一语言理解结果中可以包括语言查询信息对应的意图识别结果以及第一槽位填充结果，第二语言理解结果是语言环境信息对应的第二槽位填充结果。
请参见图6，是本申请提供的一种语言识别模型的结构示意图。可以将第一词序列和第二词序列输入词向量生成网络中，第一词序列和第二词序列可以共用同一个词序列，也可以分别使用一个词向量生成网络，词向量生成网络可以是BERT网络。通过词向量生成网络可以生成第一词序列对应的第一向量T0以及第二词序列对应的第二向量H0。可以将第一向量和第二向量输入第一关联性增强网络(cross-attention)，得到第一向量对应的语言查询向量T1和第二向量对应的语言环境向量H1。可以将语言查询向量T1和语言环境向量H1分别输入标准化层(Layer-Normalization)，其中标准化层用于限制语言查询向量T1和语言环境向量H1中每个词向量本身的均值和方差，防止梯度消失和梯度爆炸。接着，可以将通过标准化层之后的语言查询向量T1和语言环境向量H1输入到自归一化网络，得到第一过渡向量T2和第二过渡向量H2。其中，语言查询向量T1和语言环境向量H1可以共用同一个自归一化网络，也可以分别使用一个自归一化网络，自归一化网络的个数可以根据实际应用场景决定，这里不做限制。可以将第一过渡向量T2和第二过渡向量H2再分别输入到标准化层(Layer-Normalization)，再将通过标准化层的第一过渡向量T2和第二过渡向量H2输入到第二关联性增强网络，得到第一过渡向量T2对应的更新语言查询信息T3和第二过渡向量H2对应的更新语言环境信息H3，将更新语言查询信息T3和更新语言环境信息H3分别输入到全连接层(Full-Connect)，输出更新语言环境信息H3对应的槽位填充结果和更新语言查询信息T3对应的槽位填充结果，并输出更新语言查询信息T3对应的意图识别结果。其中，可根据实际情况对图6中的语言识别模型的结构进行调整，调整的方式包括：可以选择去掉第二关联性增强网络，即只保留第一关联性增强网络一个关联性增强网络；也可以选择去掉自归一化网络；还可以选择同时去掉第二关联性增强网络和自归一化网络。语言理解模型中保留哪些网络根据实际应用场景决定，这里不做限制。通过本申请提供的方法可以通过多轮历史对话数据实现对当前对话数据的理解，并且在对当前对话数据进行理解的过程中，通过端到端的语言理解模型同时实现槽位填充、意图识别和指代消解等多种语言理解任务。其中，端到端指语言理解模型一端到语言理解结果一端。可以将端到端理解为，语言理解模型具有处理多种语言理解任务的能力，每种语言理解任务为一个子端，则语言理解模型是将多个语言理解任务对应的多个子端进行综合，聚集为一端，通过语言理解模型对应的一端到达语言理解结果对应的另一端，即通过语言理解模型一端即可得到当前对话数据对应的语言理解结果。
本申请可以通过语言查询信息与语言环境信息之间的关联性，使得语言查询信息与语言环境信息之间可以进行相互表示，并得到语言查询信息对应的语言查询向量以及语言环境信息对应的语言环境向量，通过进行相互表示得到的语言查询向量和语言环境向量，得到语言查询信息对应的第一语言理解结果。由此可见，本申请提出的方法可以对语言查询信息与语言环境信息进行相互表示，从而增强语言查询信息与语言环境信息之间的关联性，并基于相互表示得到的语言查询向量和语言环境向量，得到语言查询信息对应的第一语言理解结果，提高了得到的第一语言理解结果的准确性。
请参见图7，是本申请提供的另一种数据处理方法的流程示意图，如图7所示，所述方法可以包括：
步骤S301，基于初始语言理解模型，获取样本语言查询信息与样本语言环境信息之间的样本关联信息；
具体的，通过初始语言理解模型，获取样本语言查询信息与样本语言环境信息之间的样本关联信息。其中样本语言环境信息中包括多轮样本历史对话数据，样本语言查询信息为样本语言环境信息对应的当前对话数据。其中，获取样本语言查询信息与样本语言环境信息之间的样本关联信息的过程，与上述获取语言查询信息与语言环境信息之间的第一关联信息(即第一向量与第二向量之间的第一关联信息)的过程一致，也需要首先得到样本语言查询信息对应的第一样本向量以及样本语言环境信息对应的第二样本向量，进而获取样本语言查询信息对应的第一样本向量以及样本语言环境信息对应的第二样本向量之间的样本关联信息。只是在获取第一关联信息时是通过语言理解模型获取的，而获取样本关联信息时是通过初始语言理解模型获取的，初始语言理解模型为还未训练完成的语言理解模型，初始语言理解模型的结构可以是上述图6所示的模型结果，因此，获取样本关联信息的具体过程可以参见上述步骤S201，这里不再进行赘述。
步骤S302，根据所述样本关联信息、所述样本语言查询信息和所述样本语言环境信息，确定所述样本语言查询信息对应的样本语言查询向量和所述样本语言环境信息对应的样本语言环境向量；
具体的，通过初始语言理解模型，根据样本关联信息、样本语言查询信息和样本语言环境信息，得到样本语言查询信息对应的样本语言查询向量和样本语言环境信息对应的样本语言环境向量。其中，得到样本语言查询向量的过程与上述得到语言查询向量的过程相同，得到样本语言环境向量的过程与上述得到语言环境向量的过程相同，只是在获取语言查询向量和语言环境向量时是通过语言理解模型获取的，而获取样本语言查询向量和样本语言环境向量时是通过初始语言理解模型获取的，因此，具体过程可以参见上述步骤S202和步骤S203，这里不再进行赘述。
步骤S303，根据所述样本语言查询向量和所述样本语言环境向量，确定所述样本语言查询信息对应的第一样本语言理解结果；
具体的，根据样本语言查询向量和样本语言环境向量，可以得到样本语言查询信息对应的第一样本语言理解结果，还可以得到样本语言环境信息对应的第二样本语言理解结果。其中，得到第一样本语言理解结果的过程与上述得到第一语言理解结果的过程相同，得到第二样本语言理解结果的过程与上述得到第二语言理解结果的过程相同，只是在得到第一语言理解结果与第二语言理解结果时是通过语言理解模型得到的，而得到第一样本语言理解结果与第二样本语言理解结果时是通过初始语言理解模型得到的，因此，具体过程可以参见上述步骤S207，这里不再进行赘述。
步骤S304，基于所述第一样本语言理解结果训练所述初始语言理解模型，得到语言理解模型；
具体的，通过第一样本语言理解结果训练初始语言理解模型，即是通过第一样本语言理解结果修正初始语言理解模型的模型参数。其中，样本语言查询信息对应有第一语言理解结果标签，第一语言理解结果标签中包括样本语言查询信息对应的意图标签，该意图标签为样本语言查询信息真正的意图，第一语言理解结果中还包括样本语言查询信息中的每个词真正的槽位填充标签，该槽位填充标签为样本语言查询信息中的每个词真正的槽位填充。上述样本语言环境信息对应有第二语言理解结果标签，第二语言理解结果中还包括样本语言环境信息中的每个词真正的槽位填充标签，该槽位填充标签为样本语言环境信息中的每个词真正的槽位填充。请参见图8，是本申请提供的一种参数修正的场景示意图。如图8所示，结果e3中包括样本语言查询信息e1对应的第一样本语言理解结果以及样本语言环境信息e2对应的第二样本语言理解结果。样本语言查询信息e1的第一样本语言理解结果中包括对样本语言查询信息理解得到的意图识别结果(通过信息e1中的分类标记得到)，以及样本语言查询信息中每个词的槽位填充结果，样本语言环境信息e2的第二样本语言理解结果中包括样本语言环境信息中的每个词的槽位填充结果。标签e4对应有信息e3中每个词的槽位填充结果对应的槽位填充标签，标签e4中还有意图识别结果对应的意图标签。可以根据第一样本语言理解结果中初始语言理解模型理解得到的意图识别结果，与样本语言查询信息对应的意图标签所指向的真正的意图之间的差异，得到样本语言查询信息e1的意图识别结果对应的梯度图；可以根据第一样本语言理解结果中初始语言理解模型理解得到的槽位填充结果，与样本语言查询信息对应的槽位填充标签所指向的真正的槽位填充之间的差异，得到样本语言查询信息e1的槽位填充结果对应的梯度图；可以根据第二样本语言理解结果中初始语言理解模型理解得到的槽位填充结果，与样本语言环境信息对应的槽位填充标签所指向的真正的槽位填充之间的差异，得到样本语言环境信息e2的槽位填充结果对应的梯度图。初始语言理解模型中包括词向量生成网络、第一关联性增强网络、第二关联性增强网络以及自归一化网络，则初始语言理解模型的网络参数包括词向量生成网络的网络参数、第一关联性增强网络的网络参数、第二关联性增强网络的网络参数以及自归一化网络的网络参数。将上述样本语言查询信息e1的意图识别结果对应的梯度图、样本语言查询信息e1的槽位填充结果对应的梯度图和样本语言环境信息e2的槽位填充结果对应的梯度图反向传播至初始语言理解模型中的词向量生成网络、第一关联性增强网络、第二关联性增强网络以及自归一化网络，可以分别对应修正词向量生成网络、第一关联性增强网络、第二关联性增强网络以及自归一化网络的网络参数，即实现了对初始语言理解模型的网络参数的修正。当初始语言理解模型的结构是上述图6所示的模型结果时，初始语言理解模型的网络参数包括词向量生成网络(例如BERT网络)的网络参数、第一关联性增强网络的网络参数、第二关联性增强网络的网络参数、标准化层(Layer-Normalization)的网络参数以及自归一化网络(Self-Normalization)的网络参数，则在修正初始语言理解模型的网络参数时，需要修正上述词向量生成网络的网络参数、第一关联性增强网络的网络参数、第二关联性增强网络的网络参数、标准化层的网络参数以及自归一化网络的网络参数。
当通过上述过程对初始语言理解模型的网络参数修正完成时，可以将网络参数修正完成的初始语言理解模型称之为语言理解模型。其中，初始语言理解模型的网络参数的修正完成与否，可以根据对初始语言理解模型的训练次数进行判定，可以设置次数阈值，当初始语言理解模型的训练次数达到次数阈值时，则判定初始语言理解模型的网络参数修正完成。语言理解模型可以根据输入的语言查询信息以及语言环境信息，对应输出语言查询信息对应的第一语言理解结果(包括语言查询信息对应的意图识别结果以及第一槽位填充结果)以及语言环境信息对应的第二语言理解结果(语言环境信息对应的第二槽位填充结果)。
本申请可以通过语言查询信息与语言环境信息之间的关联性，使得语言查询信息与语言环境信息之间可以进行相互表示，并得到语言查询信息对应的语言查询向量以及语言环境信息对应的语言环境向量，通过进行相互表示得到的语言查询向量和语言环境向量，得到语言查询信息对应的第一语言理解结果。由此可见，本申请提出的方法可以对语言查询信息与语言环境信息进行相互表示，从而增强语言查询信息与语言环境信息之间的关联性，并基于相互表示得到的语言查询向量和语言环境向量，得到语言查询信息对应的第一语言理解结果，提高了得到的第一语言理解结果的准确性。
请参见图9，是本申请提供的一种数据处理装置的结构示意图。如图9所示，该数据处理装置1可以包括：第一获取模块11、第一确定模块12、第二确定模块13和第三确定模块14；
第一获取模块11，用于获取语言查询信息与语言环境信息之间的第一关联信息；
第一确定模块12，用于根据所述第一关联信息和所述语言环境信息，确定所述语言查询信息对应的语言查询向量；
第二确定模块13，用于根据所述第一关联信息和所述语言查询信息，确定所述语言环境信息对应的语言环境向量；
第三确定模块14，用于根据所述语言查询向量和所述语言环境向量，确定所述语言查询信息对应的第一语言理解结果。
其中，所述第一获取模块11、第一确定模块12、第二确定模块13和第三确定模块14的具体功能实现方式请参见图2对应的实施例中的步骤S101-步骤S104，这里不再进行赘述。
其中，所述第一获取模块11，包括第一获取单元111和第一确定单元112：
第一获取单元111，用于获取所述语言查询信息对应的第一向量以及所述语言环境信息对应的第二向量；
第一确定单元112，用于根据所述第一向量和所述第二向量，确定所述第一关联信息。
其中，所述第一获取单元111和第一确定单元112的具体功能实现方式请参见图3对应的实施例中的步骤S201，这里不再进行赘述。
其中，所述第一获取单元111，包括序列获取子单元1111、第一获取子单元1112和第二获取子单元1113：
序列获取子单元1111，用于获取所述语言查询信息对应的第一词序列，获取所述语言环境信息对应的第二词序列；
第一获取子单元1112，用于基于语言理解模型中的词向量生成网络和所述第一词序列，获取所述第一向量；
第二获取子单元1113，用于基于所述词向量生成网络和所述第二词序列，获取所述第二向量。
其中，所述序列获取子单元1111、第一获取子单元1112和第二获取子单元1113的具体功能实现方式请参见图3对应的实施例中的步骤S201，这里不再进行赘述。
其中，所述序列获取子单元1111，包括第三获取子单元11111、添加子单元11112和第一确定子单元11113：
第三获取子单元11111，用于获取所述语言查询信息对应的第一初始词序列；
添加子单元11112，用于在所述第一初始词序列中添加分类标记和补充字符；所述分类标记用于确定所述语言查询信息的意图识别结果；所述补充字符为用于将所述第一初始词序列的长度补全至长度阈值的字符；
第一确定子单元11113，用于将已添加所述分类标记和所述补充字符的第一初始词序列，确定为所述第一词序列。
其中，所述第三获取子单元11111、添加子单元11112和第一确定子单元11113的具体功能实现方式请参见图3对应的实施例中的步骤S201，这里不再进行赘述。
其中，所述第一语言理解结果包括意图识别结果；
所述第三确定模块14，包括更新单元1401、第二确定单元1402和意图确定单元1403：
更新单元1401，用于根据所述语言查询向量和所述语言环境向量，对所述第一词序列中的分类标记进行更新，得到更新后的分类标记；
第二确定单元1402，用于基于所述更新后的分类标记和所述语言理解模型中的第一分类网络，分别确定所述语言查询信息与多种目标意图之间的意图概率；
意图确定单元1403，用于将所述多种目标意图中，最大的意图概率所指向的目标意图，确定为所述语言查询信息对应的意图识别结果。
其中，所述更新单元1401、第二确定单元1402和意图确定单元1403的具体功能实现方式请参见图3对应的实施例中的步骤S207，这里不再进行赘述。
其中，所述语言环境信息中包括多轮历史对话数据；所述第二词序列中包括所述多轮历史对话数据中的每轮历史对话数据分别对应的子词序列；
所述序列获取子单元1111，包括第四获取子单元11114、补全子单元11115和第一拼接子单元11116：
第四获取子单元11114，用于分别获取所述每轮历史对话数据对应的第二初始词序列；
补全子单元11115，用于当所述第二初始词序列的长度小于长度阈值时，基于补充字符对所述第二初始词序列进行序列补全，将序列补全后的第二初始词序列确定为所述子词序列；所述子词序列的长度等于所述长度阈值；
第一拼接子单元11116，用于将所述每轮历史对话数据分别对应的子词序列进行拼接，得到所述第二词序列。
其中，所述第四获取子单元11114、补全子单元11115和第一拼接子单元11116的具体功能实现方式请参见图3对应的实施例中的步骤S201，这里不再进行赘述。
其中，所述语言环境信息中包括多轮历史对话数据；所述第二词序列中包括所述多轮历史对话数据中的每轮历史对话数据分别对应的子词序列；
所述序列获取子单元1111，包括第五获取子单元11117、截取子单元11118和第二拼接子单元11119：
第五获取子单元11117，用于分别获取所述每轮历史对话数据对应的第二初始词序列；
截取子单元11118，用于当所述第二初始词序列的长度大于长度阈值时，将补充字符添加至所述第二初始词序列中，并对所述第二初始词序列进行序列截取，将序列截取后的第二初始词序列确定为所述子词序列；所述补充字符用于间隔不同历史对话数据对应的子词序列；所述子词序列的长度等于所述长度阈值；
第二拼接子单元11119，用于将所述每个历史对话数据分别对应的子词序列进行拼接，得到所述第二词序列。
其中，所述第五获取子单元11117、截取子单元11118和第二拼接子单元11119的具体功能实现方式请参见图3对应的实施例中的步骤S201，这里不再进行赘述。
其中，所述第二词序列中包括多轮历史对话数据中的每轮历史对话数据分别对应的子词序列；所述数据处理装置1，还包括定位模块15：
定位模块15，用于分别设置所述第二词序列中的每个子词序列的定位向量；所述定位向量用于标识所述第二词序列中的每个子词序列之间的位置关系；所述定位向量还用于标识所述第一词序列中属于同一子词序列中的多个词；
则，所述第二获取子单元1113还用于：
基于所述定位向量、所述词向量生成网络和所述第二词序列，获取所述第二向量。
其中，所述定位模块15的具体功能实现方式请参见图3对应的实施例中的步骤S201，这里不再进行赘述。
其中，所述第一向量中包括所述语言查询信息中的多个词的词向量；所述第二向量中包括所述语言环境信息中的多个词的词向量；
所述第一确定单元112，包括第二确定子单元1121、第三确定子单元1122和第四确定子单元1123：
第二确定子单元1121，用于基于语言理解模型中的第一关联性增强网络、所述第一向量中的多个词向量和所述第二向量中的多个词向量，分别确定所述语言查询信息中的每个词与所述语言环境信息中的每个词之间的依赖关系；所述依赖关系表征两个词之间的相似度；
第三确定子单元1122，用于根据所述依赖关系，分别确定所述语言查询信息中的每个词与所述语言环境信息中的每个词之间的词关联信息；
第四确定子单元1123，用于将所述词关联信息确定为所述第一关联信息。
其中，所述第二确定子单元1121、第三确定子单元1122和第四确定子单元1123的具体功能实现方式请参见图3对应的实施例中的步骤S201，这里不再进行赘述。
其中，所述第三确定模块14，包括消解单元1404和第三确定单元1405：
消解单元1404，用于根据所述语言查询信息中的每个词与所述语言环境信息中的每个词之间的词关联信息，进行指代消解，得到指代消解结果；所述指代消解结果表征进行指代消解的多个词所指向的实体相同；
第三确定单元1405，用于根据所述指代消解结果、所述语言查询向量和所述语言环境向量，确定所述第一语言理解结果。
其中，所述消解单元1404和第三确定单元1405的具体功能实现方式请参见图3对应的实施例中的步骤S202，这里不再进行赘述。
其中，所述第一确定模块12，包括第四确定单元121和第一拼接单元122：
第四确定单元121，用于基于语言理解模型中的第一关联性增强网络、所述第一关联信息和所述语言环境信息对应的第二向量，确定所述第二向量对应的第一关联向量；
第一拼接单元122，用于将所述第一关联向量与所述第一向量进行拼接，得到所述语言查询向量。
其中，所述第四确定单元121和第一拼接单元122的具体功能实现方式请参见图3对应的实施例中的步骤S202，这里不再进行赘述。
其中，所述第二确定模块13，包括第五确定单元131和第二拼接单元132：
第五确定单元131，用于基于语言理解模型中的第一关联性增强网络、所述第一关联信息和所述语言查询信息对应的第一向量，确定所述第一向量对应的第二关联向量；
第二拼接单元132，用于将所述第二关联向量与所述第二向量进行拼接，得到所述语言环境向量。
其中，所述第五确定单元131和第二拼接单元132的具体功能实现方式请参见图3对应的实施例中的步骤S203，这里不再进行赘述。
其中，所述语言查询向量中包括所述语言查询信息中的多个词的拼接词向量；所述语言环境向量中包括所述语言环境信息中的多个词的拼接词向量；所述第一语言理解结果包括第一槽位填充结果；
所述第三确定模块14，包括添加单元1406和第六确定单元1407：
添加单元1406，用于基于语言理解模型中的第二分类网络、所述语言查询向量中的多个词的拼接词向量和所述语言环境向量中的多个词的拼接词向量，为所述语言查询信息中的每个词添加第一词意标签；
第六确定单元1407，用于将所述第一词意标签确定为所述第一槽位填充结果。
其中，所述添加单元1406和第六确定单元1407的具体功能实现方式请参见图3对应的实施例中的步骤S207，这里不再进行赘述。
其中，所述语言查询向量中包括所述语言查询信息中的多个词的拼接词向量；所述语言环境向量中包括所述语言环境信息中的多个词的拼接词向量；所述数据处理装置1，还包括消解模块16、添加模块17和结果确定模块18：
消解模块16，用于根据所述第一关联信息，对所述语言查询信息中的每个词和所述语言环境信息中的每个词进行指代消解，得到指代消解结果；所述指代消解结果表征进行指代消解的多个词所指向的实体相同；
添加模块17，用于基于语言理解模型中的第二分类网络、所述指代消解结果、所述语言查询向量中的多个词的拼接词向量和所述语言环境向量中的多个词的拼接词向量，为所述语言环境信息中的每个词添加第二词意标签；
结果确定模块18，用于将所述第二词意标签确定为所述语言环境信息对应的第二槽位填充结果，将所述第二槽位填充结果确定为所述语言环境信息对应的第二语言理解结果。
其中，所述消解模块16、添加模块17和结果确定模块18的具体功能实现方式请参见图3对应的实施例中的步骤S207，这里不再进行赘述。
其中，所述第三确定模块14，包括归一化单元1408、第二获取单元1409、第七确定单元1410和第八确定单元1411：
归一化单元1408，用于基于所述语言理解模型中的自归一化网络对所述语言查询向量中的拼接信息进行关联性增强，得到第一过渡向量，基于所述自归一化网络对所述语言环境向量中的拼接信息进行关联性增强，得到第二过渡向量；
第二获取单元1409，用于基于所述语言理解模型中的第二关联性增强网络，获取所述第一过渡向量和所述第二过渡向量之间的第二关联信息；
第七确定单元1410，用于根据所述第二关联信息、所述第一过渡向量和所述第二过渡向量，确定所述语言查询信息对应的更新语言查询向量和所述语言环境信息对应的更新语言环境向量；
第八确定单元1411，用于根据所述更新语言查询向量和所述更新语言环境向量，确定所述第一语言理解结果。
其中，所述归一化单元1408、第二获取单元1409、第七确定单元1410和第八确定单元1411的具体功能实现方式请参见图3对应的实施例中的步骤S204-步骤S207，这里不再进行赘述。
本申请可以通过语言查询信息与语言环境信息之间的关联性，使得语言查询信息与语言环境信息之间可以进行相互表示，并得到语言查询信息对应的语言查询向量以及语言环境信息对应的语言环境向量，通过进行相互表示得到的语言查询向量和语言环境向量，得到语言查询信息对应的第一语言理解结果。由此可见，本申请提出的方法可以对语言查询信息与语言环境信息进行相互表示，从而增强语言查询信息与语言环境信息之间的关联性，并基于相互表示得到的语言查询向量和语言环境向量，得到语言查询信息对应的第一语言理解结果，提高了得到的第一语言理解结果的准确性。
请参见图10，是本申请提供的另一种数据处理装置的结构示意图。如图10所示，该数据处理装置2可以包括：第二获取模块21、第四确定模块22、第五确定模块23和训练模块24；
第二获取模块21，用于基于初始语言理解模型，获取样本语言查询信息与样本语言环境信息之间的样本关联信息；
第四确定模块22，用于根据所述样本关联信息、所述样本语言查询信息和所述样本语言环境信息，确定所述样本语言查询信息对应的样本语言查询向量和所述样本语言环境信息对应的样本语言环境向量；
第五确定模块23，用于根据所述样本语言查询向量和所述样本语言环境向量，确定所述样本语言查询信息对应的第一样本语言理解结果和所述样本语言环境信息对应的第二样本语言理解结果；
训练模块24，用于基于所述第一样本语言理解结果训练所述初始语言理解模型，得到语言理解模型。
其中，所述第二获取模块21、第四确定模块22、第五确定模块23和训练模块24的具体功能实现方式请参见图7对应的实施例中的步骤S301-步骤S304，这里不再进行赘述。
本申请可以通过语言查询信息与语言环境信息之间的关联性，使得语言查询信息与语言环境信息之间可以进行相互表示，并得到语言查询信息对应的语言查询向量以及语言环境信息对应的语言环境向量，通过进行相互表示得到的语言查询向量和语言环境向量，得到语言查询信息对应的第一语言理解结果。由此可见，本申请提出的方法可以对语言查询信息与语言环境信息进行相互表示，从而增强语言查询信息与语言环境信息之间的关联性，并基于相互表示得到的语言查询向量和语言环境向量，得到语言查询信息对应的第一语言理解结果，提高了得到的第一语言理解结果的准确性。
请参见图11，是本申请提供的另一种数据处理装置的结构示意图。如图11所示，所述数据处理装置1000可以包括：处理器1001，网络接口1004和存储器1005，此外，所述数据处理装置1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图11所示的数据处理装置1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现前文图2、图3和图7中任一个所对应实施例中对所述数据处理方法的描述。
应当理解，本申请中所描述的数据处理装置1000可执行前文图2、图3和图7中任一个所对应实施例中对所述数据处理方法的描述，也可执行前文图9所对应实施例中对所述数据处理装置1以及前文图10所对应实施例中对所述数据处理装置2的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请还提供了一种计算机可读存储介质，且所述计算机可读存储介质中存储有前文提及的数据处理装置1和数据处理装置2所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图2、图3和图7中任一个所对应实施例中对所述数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖范围。

Claims (15)

1.一种数据处理方法，其特征在于，包括：
获取语言查询信息与语言环境信息之间的第一关联信息；
根据所述第一关联信息和所述语言环境信息，确定所述语言查询信息对应的语言查询向量；
根据所述第一关联信息和所述语言查询信息，确定所述语言环境信息对应的语言环境向量；
根据所述语言查询向量和所述语言环境向量，确定所述语言查询信息对应的第一语言理解结果。
2.根据权利要求1所述的方法，其特征在于，所述获取语言查询信息与语言环境信息之间的第一关联信息，包括：
获取所述语言查询信息对应的第一向量以及所述语言环境信息对应的第二向量；
根据所述第一向量和所述第二向量，确定所述第一关联信息。
3.根据权利要求2所述的方法，其特征在于，所述获取所述语言查询信息对应的第一向量以及所述语言环境信息对应的第二向量，包括：
获取所述语言查询信息对应的第一词序列，获取所述语言环境信息对应的第二词序列；
基于语言理解模型中的词向量生成网络和所述第一词序列，获取所述第一向量；
基于所述词向量生成网络和所述第二词序列，获取所述第二向量。
4.根据权利要求3所述的方法，其特征在于，所述获取所述语言查询信息对应的第一词序列，包括：
获取所述语言查询信息对应的第一初始词序列；
在所述第一初始词序列中添加分类标记和补充字符；所述分类标记用于确定所述语言查询信息的意图识别结果；所述补充字符为用于将所述第一初始词序列的长度补全至长度阈值的字符；
将已添加所述分类标记和所述补充字符的第一初始词序列，确定为所述第一词序列。
5.根据权利要求4所述的方法，其特征在于，所述第一语言理解结果包括意图识别结果；
所述根据所述语言查询向量和所述语言环境向量，确定所述语言查询信息对应的第一语言理解结果，包括：
根据所述语言查询向量和所述语言环境向量，对所述第一词序列中的分类标记进行更新，得到更新后的分类标记；
基于所述更新后的分类标记和所述语言理解模型中的第一分类网络，分别确定所述语言查询信息与多种目标意图之间的意图概率；
将所述多种目标意图中，最大的意图概率所指向的目标意图，确定为所述语言查询信息对应的意图识别结果。
6.根据权利要求3所述的方法，其特征在于，所述语言环境信息中包括多轮历史对话数据；所述第二词序列中包括所述多轮历史对话数据中的每轮历史对话数据分别对应的子词序列；
所述获取所述语言环境信息对应的第二词序列，包括：
分别获取所述每轮历史对话数据对应的第二初始词序列；
当所述第二初始词序列的长度小于长度阈值时，基于补充字符对所述第二初始词序列进行序列补全，将序列补全后的第二初始词序列确定为所述子词序列；所述子词序列的长度等于所述长度阈值；
将所述每轮历史对话数据分别对应的子词序列进行拼接，得到所述第二词序列。
7.根据权利要求2所述的方法，其特征在于，所述第一向量中包括所述语言查询信息中的多个词的词向量；所述第二向量中包括所述语言环境信息中的多个词的词向量；
所述根据所述第一向量和所述第二向量，确定所述第一关联信息，包括：
基于语言理解模型中的第一关联性增强网络、所述第一向量中的多个词向量和所述第二向量中的多个词向量，分别确定所述语言查询信息中的每个词与所述语言环境信息中的每个词之间的依赖关系；所述依赖关系表征两个词之间的相似度；
根据所述依赖关系，分别确定所述语言查询信息中的每个词与所述语言环境信息中的每个词之间的词关联信息；
将所述词关联信息确定为所述第一关联信息。
8.根据权利要求2所述的方法，其特征在于，所述根据所述第一关联信息和所述语言环境信息，确定所述语言查询信息对应的语言查询向量，包括：
基于语言理解模型中的第一关联性增强网络、所述第一关联信息和所述语言环境信息对应的第二向量，确定所述第二向量对应的第一关联向量；
将所述第一关联向量与所述第一向量进行拼接，得到所述语言查询向量。
9.根据权利要求2所述的方法，其特征在于，所述根据所述第一关联信息和所述语言查询信息，确定所述语言环境信息对应的语言环境向量，包括：
基于语言理解模型中的第一关联性增强网络、所述第一关联信息和所述语言查询信息对应的第一向量，确定所述第一向量对应的第二关联向量；
将所述第二关联向量与所述第二向量进行拼接，得到所述语言环境向量。
10.根据权利要求1所述的方法，其特征在于，所述语言查询向量中包括所述语言查询信息中的多个词的拼接词向量；所述语言环境向量中包括所述语言环境信息中的多个词的拼接词向量；所述第一语言理解结果包括第一槽位填充结果；
所述根据所述语言查询向量和所述语言环境向量，确定所述语言查询信息对应的第一语言理解结果，包括：
基于语言理解模型中的第二分类网络、所述语言查询向量中的多个词的拼接词向量和所述语言环境向量中的多个词的拼接词向量，为所述语言查询信息中的每个词添加第一词意标签；
将所述第一词意标签确定为所述第一槽位填充结果。
11.根据权利要求1所述的方法，其特征在于，所述语言查询向量中包括所述语言查询信息中的多个词的拼接词向量；所述语言环境向量中包括所述语言环境信息中的多个词的拼接词向量；还包括：
根据所述第一关联信息，对所述语言查询信息中的每个词和所述语言环境信息中的每个词进行指代消解，得到指代消解结果；所述指代消解结果表征进行指代消解的多个词所指向的实体相同；
基于语言理解模型中的第二分类网络、所述指代消解结果、所述语言查询向量中的多个词的拼接词向量和所述语言环境向量中的多个词的拼接词向量，为所述语言环境信息中的每个词添加第二词意标签；
将所述第二词意标签确定为所述语言环境信息对应的第二槽位填充结果，将所述第二槽位填充结果确定为所述语言环境信息对应的第二语言理解结果。
12.根据权利要求1所述的方法，其特征在于，所述根据所述语言查询向量和所述语言环境向量，确定所述语言查询信息对应的第一语言理解结果，包括：
基于所述语言理解模型中的自归一化网络对所述语言查询向量中的拼接信息进行关联性增强，得到第一过渡向量，基于所述自归一化网络对所述语言环境向量中的拼接信息进行关联性增强，得到第二过渡向量；
基于所述语言理解模型中的第二关联性增强网络，获取所述第一过渡向量和所述第二过渡向量之间的第二关联信息；
根据所述第二关联信息、所述第一过渡向量和所述第二过渡向量，确定所述语言查询信息对应的更新语言查询向量和所述语言环境信息对应的更新语言环境向量；
根据所述更新语言查询向量和所述更新语言环境向量，确定所述第一语言理解结果。
13.一种数据处理方法，其特征在于，包括：
基于初始语言理解模型，获取样本语言查询信息与样本语言环境信息之间的样本关联信息；
根据所述样本关联信息、所述样本语言查询信息和所述样本语言环境信息，确定所述样本语言查询信息对应的样本语言查询向量和所述样本语言环境信息对应的样本语言环境向量；
根据所述样本语言查询向量和所述样本语言环境向量，确定所述样本语言查询信息对应的第一样本语言理解结果；
基于所述第一样本语言理解结果训练所述初始语言理解模型，得到语言理解模型。
14.一种数据处理装置，其特征在于，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如权利要求1-13任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-13任一项所述的方法。
CN201910708921.6A 2019-08-01 2019-08-01 一种数据处理方法、装置以及计算机可读存储介质 Active CN110472029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910708921.6A CN110472029B (zh) 2019-08-01 2019-08-01 一种数据处理方法、装置以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910708921.6A CN110472029B (zh) 2019-08-01 2019-08-01 一种数据处理方法、装置以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110472029A true CN110472029A (zh) 2019-11-19
CN110472029B CN110472029B (zh) 2024-03-19

Family

ID=68508502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910708921.6A Active CN110472029B (zh) 2019-08-01 2019-08-01 一种数据处理方法、装置以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110472029B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125331A (zh) * 2019-12-20 2020-05-08 京东方科技集团股份有限公司 语义识别方法、装置、电子设备及计算机可读存储介质
CN111667817A (zh) * 2020-06-22 2020-09-15 平安资产管理有限责任公司 一种语音识别方法、装置、计算机系统及可读存储介质
CN111930884A (zh) * 2020-07-03 2020-11-13 华为技术有限公司 一种确定回复语句的方法、设备和人机对话系统
CN113326367A (zh) * 2021-06-30 2021-08-31 四川启睿克科技有限公司 基于端到端文本生成的任务型对话方法和系统
CN114692085A (zh) * 2022-03-30 2022-07-01 北京字节跳动网络技术有限公司 特征提取方法、装置、存储介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796787A (zh) * 2014-05-20 2017-05-31 亚马逊技术有限公司 在自然语言处理中使用先前对话行为进行的语境解释
CN107193865A (zh) * 2017-04-06 2017-09-22 上海奔影网络科技有限公司 人机交互中自然语言意图理解方法及装置
WO2018036555A1 (zh) * 2016-08-25 2018-03-01 腾讯科技（深圳）有限公司 会话处理方法及装置
US10032463B1 (en) * 2015-12-29 2018-07-24 Amazon Technologies, Inc. Speech processing with learned representation of user interaction history
CN108334487A (zh) * 2017-07-14 2018-07-27 腾讯科技（深圳）有限公司 缺失语意信息补全方法、装置、计算机设备和存储介质
CN108776834A (zh) * 2018-05-07 2018-11-09 上海商汤智能科技有限公司 系统增强学习方法和装置、电子设备、计算机存储介质
CN109597881A (zh) * 2018-12-17 2019-04-09 北京百度网讯科技有限公司 匹配度确定方法、装置、设备和介质
CN109670177A (zh) * 2018-12-20 2019-04-23 翼健(上海)信息科技有限公司 一种基于lstm实现医学语义归一化的控制方法及控制装置
CN109697282A (zh) * 2017-10-20 2019-04-30 阿里巴巴集团控股有限公司 一种语句的用户意图识别方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796787A (zh) * 2014-05-20 2017-05-31 亚马逊技术有限公司 在自然语言处理中使用先前对话行为进行的语境解释
US10032463B1 (en) * 2015-12-29 2018-07-24 Amazon Technologies, Inc. Speech processing with learned representation of user interaction history
WO2018036555A1 (zh) * 2016-08-25 2018-03-01 腾讯科技（深圳）有限公司 会话处理方法及装置
CN107193865A (zh) * 2017-04-06 2017-09-22 上海奔影网络科技有限公司 人机交互中自然语言意图理解方法及装置
CN108334487A (zh) * 2017-07-14 2018-07-27 腾讯科技（深圳）有限公司 缺失语意信息补全方法、装置、计算机设备和存储介质
CN109697282A (zh) * 2017-10-20 2019-04-30 阿里巴巴集团控股有限公司 一种语句的用户意图识别方法和装置
CN108776834A (zh) * 2018-05-07 2018-11-09 上海商汤智能科技有限公司 系统增强学习方法和装置、电子设备、计算机存储介质
CN109597881A (zh) * 2018-12-17 2019-04-09 北京百度网讯科技有限公司 匹配度确定方法、装置、设备和介质
CN109670177A (zh) * 2018-12-20 2019-04-23 翼健(上海)信息科技有限公司 一种基于lstm实现医学语义归一化的控制方法及控制装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125331A (zh) * 2019-12-20 2020-05-08 京东方科技集团股份有限公司 语义识别方法、装置、电子设备及计算机可读存储介质
CN111125331B (zh) * 2019-12-20 2023-10-31 京东方科技集团股份有限公司 语义识别方法、装置、电子设备及计算机可读存储介质
CN111667817A (zh) * 2020-06-22 2020-09-15 平安资产管理有限责任公司 一种语音识别方法、装置、计算机系统及可读存储介质
CN111930884A (zh) * 2020-07-03 2020-11-13 华为技术有限公司 一种确定回复语句的方法、设备和人机对话系统
CN113326367A (zh) * 2021-06-30 2021-08-31 四川启睿克科技有限公司 基于端到端文本生成的任务型对话方法和系统
CN114692085A (zh) * 2022-03-30 2022-07-01 北京字节跳动网络技术有限公司 特征提取方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN110472029B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110472029A (zh) 一种数据处理方法、装置以及计算机可读存储介质
EP3623957A1 (en) Generation of point of interest copy
CN109145153A (zh) 意图类别的识别方法和装置
CN110032623B (zh) 用户问句与知识点标题的匹配方法和装置
CN111708869B (zh) 人机对话的处理方法及装置
CN103995870A (zh) 交互式搜索方法和装置
CN110457689A (zh) 语义处理方法及相关装置
CN108198040A (zh) 教育资源分配方法、装置、计算机设备及存储介质
CN108763535A (zh) 信息获取方法及装置
CN107767871A (zh) 文本显示方法、终端及服务器
CN108614851A (zh) 教学系统中的注释内容显示方法以及装置
CN113505204A (zh) 召回模型训练方法、搜索召回方法、装置和计算机设备
US20230029687A1 (en) Dialog method and system, electronic device and storage medium
CN107665188A (zh) 一种语义理解方法及装置
CN106649739A (zh) 多轮交互信息继承识别方法、装置以及交互系统
CN114281957A (zh) 自然语言数据查询方法、装置、电子设备及存储介质
CN116959433B (zh) 文本处理方法、装置、电子设备和存储介质
CN110263218A (zh) 视频描述文本生成方法、装置、设备和介质
CN111079418A (zh) 命名体识别方法、装置、电子设备和存储介质
CN109325806A (zh) 一种用户信息的处理方法及装置
CN112115252A (zh) 智能辅助写作处理方法、装置、电子设备及存储介质
CN117216212A (zh) 对话处理方法、对话模型训练方法、装置、设备及介质
CN107967304A (zh) 会话交互处理方法、装置及电子设备
CN111553138A (zh) 用于规范内容结构文档的辅助写作方法及装置
CN113342948A (zh) 一种智能问答方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant