CN116151355B - 一种模型训练和业务执行的方法、装置、介质及设备 - Google Patents

一种模型训练和业务执行的方法、装置、介质及设备 Download PDF

Info

Publication number
CN116151355B
CN116151355B CN202310422202.4A CN202310422202A CN116151355B CN 116151355 B CN116151355 B CN 116151355B CN 202310422202 A CN202310422202 A CN 202310422202A CN 116151355 B CN116151355 B CN 116151355B
Authority
CN
China
Prior art keywords
features
target
feature
sentence
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310422202.4A
Other languages
English (en)
Other versions
CN116151355A (zh
Inventor
陆陈昊
邱鹏
王一张
杨非
潘淑
唐娜娜
王娅静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310422202.4A priority Critical patent/CN116151355B/zh
Publication of CN116151355A publication Critical patent/CN116151355A/zh
Application granted granted Critical
Publication of CN116151355B publication Critical patent/CN116151355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本说明书公开了一种模型训练和业务执行的方法、装置、介质及设备。所述模型训练和业务执行的方法包括：将样本语句输入待训练业务模型，确定样本语句对应的初始语义特征，并对初始语义特征进行处理，基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到中间特征，基于第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到目标特征，根据目标特征，确定头尾指针矩阵以及字间关系矩阵，根据头尾指针矩阵以及字间关系矩阵，确定目标特征矩阵，基于目标特征矩阵，识别样本语句中包含的实体对象，以最小化识别出的实体对象与样本语句中实际包含的实体对象之间的偏差为优化目标，对业务模型进行训练。

Description

一种模型训练和业务执行的方法、装置、介质及设备
技术领域
本说明书涉及计算机技术领域，尤其涉及一种模型训练和业务执行的方法、装置、介质及设备。
背景技术
随着智能对话技术的发展，自然语言识别的准确性也得到了不断的提升，而意图识别任务和槽位填充任务作为自然语言识别业务的重要组成部分，是否能够对语句中的实体对象以及对话语句的意图进行准确的识别决定了是否能够准确的执行整个自然语言处理业务。
目前通常会对用户输入的语句进行实体识别，从而确定该语句中包含的实体对象以及实体类型，进而根据该实体对象以及实体类型执行业务，但是目前的实体识别方法的准确性较低，很难准确的识别出的对话语句中包含的各个实体，甚至会影响最终的业务执行结果，降低用户体验。
因此，如何对用户输入的语句进行准确的识别以及提取，提高自然语言处理业务的准确性，进而提高用户体验，是一个亟待解决的问题。
发明内容
本说明书提供一种模型训练和业务执行的方法、装置、介质及设备，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种模型训练的方法，包括：
获取样本语句；
将所述样本语句输入待训练业务模型，确定所述样本语句对应的初始语义特征，并对所述初始语义特征进行处理，得到处理后特征；
基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到中间特征，基于第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到目标特征，其中，所述第一膨胀系数和第二膨胀系数的最小值大于所述第三膨胀系数和第四膨胀系数的最大值；
根据所述目标特征，确定头尾指针矩阵，以及，根据所述处理后特征，确定字间关系矩阵，所述头尾指针矩阵用于表征所述样本语句中各文字为实体对象的起始字的概率和末尾字的概率，所述字间关系矩阵用于表征各文字之间的语义连接关系和位置关系；
根据所述头尾指针矩阵以及所述字间关系矩阵，确定目标特征矩阵；
基于所述目标特征矩阵，识别所述样本语句中包含的实体对象，以最小化从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练。
可选地，所述业务模型包括：编码层、目标特征提取层以及解码层中的至少一种。
可选地，确定所述样本语句对应的初始语义特征，并对所述初始语义特征进行处理，得到处理后特征，具体包括：
将所述样本语句输入所述编码层，确定所述样本语句对应的初始语义特征，并对所述初始语义特征进行处理，得到处理后特征，所述处理后特征为经过编码后的语义特征；
基于所述目标特征矩阵，识别所述样本语句中包含的实体对象，具体包括：
将所述目标特征矩阵输入所述解码层，对所述目标特征矩阵进行解析，识别所述样本语句中包含的实体对象。
可选地，基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到中间特征，基于第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到目标特征，具体包括：
将所述处理后特征输入所述目标特征提取层，基于所述第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到所述中间特征，基于所述第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到所述目标特征。
可选地，所述编码层包括：初始特征提取层；
将所述样本语句输入待训练业务模型，确定所述样本语句对应的初始语义特征，具体包括：
将所述样本语句以及所述样本语句的前文语句输入所述初始特征提取层，确定所述样本语句对应的第一语义特征以及所述前文语句对应的第二语义特征；
将所述第一语义特征以及所述第二语义特征进行拼接，根据拼接后的语义特征确定所述初始语义特征。
可选地，将所述第一语义特征以及所述第二语义特征进行拼接，根据拼接后的语义特征确定所述初始语义特征，具体包括：
将所述第二语义特征按照指定维度进行平均处理，并将平均处理后的第二语义特征进行扩展，得到扩展后的第二语义特征；
将所述扩展后的第二语义特征与所述第一语义特征按照最后一个特征维度进行拼接，并将拼接后的语义特征输入长短记忆网络，得到所述初始语义特征。
可选地，在将所述样本语句以及所述样本语句的前文语句输入所述初始特征提取层之前，所述方法还包括：
获取经过预训练的特征提取模型对应的模型参数；
将所述模型参数加载到所述初始特征提取层。
可选地，对所述特征提取模型进行预训练，具体包括：
获取预训练样本语句；
对所述预训练样本语句进行掩码处理，得到掩码后语句；
将所述预训练样本语句以及所述掩码后语句输入所述特征提取模型，得到所述预训练样本语句对应的语义特征以及所述掩码后语句对应的语义特征；
对所述预训练样本语句对应的语义特征进行至少一次降采样处理，得到每次降采样后的语义特征；
将每次降采样后的语义特征以及所述掩码后语句对应的语义特征作为正样本，将当前训练批次中除所述预训练样本语句外的其余预训练样本语句对应的语义特征作为负样本；
以最小化所述预训练样本语句对应的语义特征与所述正样本之间的偏差，以及最大化所述预训练样本语句对应的语义特征与所述负样本之间的偏差为优化目标，对所述特征提取模型进行训练。
可选地，对所述特征提取模型进行训练，具体包括：
根据所述预训练样本语句对应的语义特征与所述正样本之间的偏差，以及所述预训练样本语句对应的语义特征与所述负样本之间的偏差，确定所述特征提取模型的对比学习损失值；
通过所述特征提取模型，对所述掩码后语句中被掩码的字词进行预测，根据预测出的字词与被掩码的实际字词之间的偏差，确定所述特征提取模型的掩码预测损失值；
根据所述对比学习损失值以及所述掩码预测损失值，确定所述特征提取模型的综合损失值；
以最小化所述综合损失值为优化目标，对所述特征提取模型进行训练。
可选地，所述编码层还包括：归一化层以及表征融合层；
将所述初始语义特征输入所述归一化层，得到归一化语义特征；
基于奇异值分解算法对所述归一化语义特征进行分解，在分解出的各特征向量中确定出用于表征所述样本语句中各文字在时序和位置上对应空间信息的左酉矩阵向量，作为所述样本语句对应的位置编码；
通过所述表征融合层，将所述归一化语义特征与所述位置编码进行拼接，得到所述处理后特征。
可选地，将所述初始语义特征输入所述归一化层，得到归一化语义特征，具体包括：
根据所述初始语义特征，确定所述归一化层对应的第一参数以及第二参数；
根据所述初始语义特征、所述第一参数、所述第二参数、各初始语义特征的均值以及各初始语义特征的方差，确定所述归一化语义特征。
可选地，将所述归一化语义特征与所述位置编码特征进行拼接，得到所述处理后特征，具体包括：
创建掩码矩阵，所述掩码矩阵中左下角元素的元素值与右上角元素的元素值不同；
根据所述掩码矩阵，确定针对所述初始语义特征的区域掩码，所述区域掩码用于对各实体对象中具有首尾字关系的特征与具有相邻字关系的特征进行区分；
通过所述表征融合层，将所述归一化语义特征、所述位置编码以及所述区域掩码进行拼接，得到所述处理后特征。
可选地，基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到中间特征，具体包括：
基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，并通过残差网络将卷积处理结果与所述处理后特征相加，得到所述中间特征。
可选地，所述业务模型还包括：意图识别层；
以最小化从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练，具体包括：
将所述目标特征输入所述意图识别层，根据所述目标特征对应的动态阈值，识别所述样本语句对应的意图；
以最小化从所述样本语句中识别出的意图与所述样本语句实际对应的意图之间的偏差，以及，最小化所述从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练。
可选地，所述方法还包括：
对所述目标特征进行平均池化处理，得到意图表征向量；
根据所述意图表征向量的最大值、所述意图表征向量的最小值以及可学习变量，确定所述动态阈值。
可选地，以最小化从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练，具体包括：
将所述目标特征矩阵输入所述解码层，根据所述目标特征矩阵最后一维最大值对应的索引，确定预测标签空间；
根据所述预测标签空间，确定预测出的实体对象对应的预测实体类型以及预测索引序列，并将所述预测实体类型和所述预测索引序列进行组合，得到预测结果，以及，在预设的索引库中查询所述样本语句中实际包含的实体对象对应的实际实体类型以及实际索引序列，并将所述实际实体类型和实际索引序列进行组合，得到目标结果；
以最小化所述预测结果和所述目标结果之间的偏差为优化目标，对所述业务模型进行训练。
本说明书提供了一种业务执行的方法，包括：
获取用户输入的目标语句；
将所述目标语句输入所述业务模型，确定所述目标语句对应的目标特征，并根据所述目标特征，确定所述目标语句中包含的实体对象，其中，所述业务模型是通过上述模型训练的方法训练得到的；
根据所述目标语句中包含的实体对象执行业务。
可选地，根据所述目标语句中包含的实体对象执行业务，具体包括：
根据所述目标语句对应的目标特征，确定所述目标语句对应的意图；
根据所述目标语句对应的意图以及所述目标语句中包含的实体对象，执行所述业务。
本说明书提供了一种模型训练的装置，包括：
获取模块，获取样本语句；
输入模块，将所述样本语句输入待训练业务模型，确定所述样本语句对应的初始语义特征，并对所述初始语义特征进行处理，得到处理后特征；
卷积模块，基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到中间特征，基于第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到目标特征，其中，所述第一膨胀系数和第二膨胀系数的最小值大于所述第三膨胀系数和第四膨胀系数的最大值；
第一确定模块，根据所述目标特征，确定头尾指针矩阵，以及，根据所述处理后特征，确定字间关系矩阵，所述头尾指针矩阵用于表征所述样本语句中各文字为实体对象的起始字的概率和末尾字的概率，所述字间关系矩阵用于表征各文字之间的语义连接关系和位置关系；
第二确定模块，根据所述头尾指针矩阵以及所述字间关系矩阵，确定目标特征矩阵；
训练模块，基于所述目标特征矩阵，识别所述样本语句中包含的实体对象，以最小化从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练和业务执行的方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练和业务执行的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的模型训练的方法中，将样本语句输入待训练业务模型，确定样本语句对应的初始语义特征，并对初始语义特征进行处理，基于第一膨胀系数和第二膨胀系数对处理后特征进行卷积处理，得到中间特征，基于第三膨胀系数和第四膨胀系数对中间特征进行卷积处理，得到目标特征，根据目标特征，确定头尾指针矩阵以及字间关系矩阵，根据头尾指针矩阵以及字间关系矩阵，确定目标特征矩阵，基于目标特征矩阵，识别样本语句中包含的实体对象，以最小化识别出的实体对象与样本语句中实际包含的实体对象之间的偏差为优化目标，对业务模型进行训练。
从上述方法可以看出，本方案在对样本语句中的实体对象进行识别的过程中，能够根据处理后特征，确定出用于表征样本语句中各文字为实体对象的起始字的概率和末尾字的概率的头尾指针矩阵，以及用于表示字与字之间关系的字间关系矩阵，而后将上述两种矩阵进行组合并解析，基于字与字之间的语义关系以及样本语句中的头尾字关系，准确的确定出样本语句中包含的实体对象。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中提供的一种模型训练的方法的流程示意图；
图2为本说明书中提供的一种归一化特征的确定过程示意图；
图3为本说明书中提供的一种业务执行的方法的流程示意图；
图4为本说明书提供的一种意图识别和实体抽取任务的整体流程示意图；
图5为本说明书提供的一种模型训练的装置的示意图；
图6为本说明书提供的一种业务执行的装置的示意图；
图7为本说明书提供的一种应用于图1或图3的电子设备的示意结构图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种模型训练的方法的流程示意图，包括以下步骤：
S101：获取样本语句；
S102：将所述样本语句输入待训练业务模型，确定所述样本语句对应的初始语义特征，并对所述初始语义特征进行处理，得到处理后特征。
意图识别任务以及槽位填充任务作为智能对话系统中的重要组成部分，槽位填充通常基于实体抽取的方式实现，从非结构化数据中定义文本区间，并将这些文本区间用预定义的实体类和非实体标签，属于字词级别的监督学习范畴。意图识别通常是分类任务。是语句层面的任务，尝试理解一句话或者一段文本，并将其归纳为预定义的某类标签中，属于语句级别的监督学习范畴。
意图识别任务以及槽位填充任务的准确性决定了智能对话系统能否对用户的意图以及需求进行准确的识别，从而对用户输入的语音或者文本语句进行准确的反馈，进而提高用户体验。
基于此，本说明书提供了一种模型训练和业务执行的方法，使得训练出的业务模型能够基于样本语句中各文字为实体对象首尾字的概率以及字与字之间的字间关系（包括语义连接关系和位置关系）准确的识别出样本语句中的实体对象，进而提高自然语言识别业务的准确性。
其中，服务器需要获取训练样本，该训练样本的标签可以为样本语句对应的意图以及该样本语句中包含的实体对象。该样本语句可以为用户的历史对话语句或者历史搜索语句。
在本说明书中，服务器可以基于公开数据集Cross WOZ获取上述训练样本，该数据集有101626条语句，包含景点、酒店、餐馆、出租和地铁等多个领域，以及多种意图标签和槽位（实体对象）标签。
进一步的，服务器可以对上述训练样本（样本语句）进行构建。使用Cross WOZ数据集中的训练集、验证集和测试集。对每一个数据集进行改造，对于训练集中的每个训练样本，首先获取该样本中各文字对应标签的标签序列，而后创建一个存储所有标签序列和对应实体类型的索引库。
具体的，遍历该标签序列，当出现实体对象的起始字对应的标签（如以“B-”为前缀的标签）时，可以新建一个键值对，实体类型名称作为“键”，同时创建一个新的索引列表存储标签序列中各标签对应的索引，该索引列表作为对应“键”的“键值”，进而根据由各“键”及对应“键值”组成的键值对构建上述索引库。当出现实体对象的末尾字或中间字对应的标签（如以“I-”为前缀的标签）时，可以在上述索引库中查找该标签对应的“键”，同时在索引列表中追加标签的索引。
这样一来，当遍历完上述标签序列时，可以获取到实体对象的标签序列和对应的索引列表。由该标签序列可以确定出实体类型，并按照键名为“index”，“type”的格式进行存储，从而完成对索引库的构建，该索引库列表中的每一项为一个实体对象，该实体对象的信息包含有该实体对象的实体类型以及对应的索引列表。换句话说，通过实体类型以及对应的索引列表可以确定出唯一的实体对象。
另外，服务器可以根据上述训练样本的标签更新为对样本语句字间关系进行描述的标签，该字间关系可以包括相邻字（Next Neighbor Word，NNW）关系和首尾字（Tail-Head-Word-*，THW-*）关系。
对于给定语句sent1中两个文字w1和w2，w1对应的索引小于w2对应的索引，若w1和w2在同一个实体对象中，且满足w1是w2的直接前驱结点（即w1为w2的前一个字），那么认为文字w1和w2之间存在NNW字词关系。对于给定语句sent1中包含的实体对象ent1，ent1的末尾字
Figure SMS_1
和起始字/>
Figure SMS_2
之间的关系为THW-*关系。
对于训练样本中的样本语句sent1，服务器可以创建一个大小为
Figure SMS_3
，值为0的矩阵L1，矩阵L1的每一个值表示对应两个文字的关系权重，其中/>
Figure SMS_4
为当前语句的长度。服务器可以遍历语句中的实体对象，获得该实体对象映射到该样本语句特定文字的NNW和THW-*，如果两个文字之间为NNW关系，将矩阵L1上的对应的值更新为1，如果是THW-*关系，则将矩阵L1上的值更新为当前实体类型对应的值。而后服务器可以将该矩阵作为样本语句对应的标签。
以样本语句为“我要去看A市博物馆”为例，矩阵L大小为(9，9，16)，即本次槽位填充任务共有16类实体对象，实体类型对应的值表示其对应第几类实体。实体对象“A市博物馆”对应的值为10，字“A”与“馆”存在THW-*的关系，“A”对应的索引为4，“馆”对应的索引为8，则L[8，4 ]=10。字“A”与“市”存在NNW关系，“市”对应的索引为5，则L[4，5]=1。
获取样本语句后，服务器可以将该样本语句输入待训练业务模型，确定样本语句对应的初始语义特征，并对所述初始语义特征进行处理，得到处理后特征。
在本说明书中，该业务模型可以包含有编码层、目标特征提取层、意图识别层以及解码层，其中，意图识别层用于执行意图识别任务，确定样本语句对应意图，解码层用于执行槽位填充的实体抽取任务，确定样本语句中包含的实体类型以及实体对象，意图识别层（意图识别任务）与解码层（实体抽取任务）共用上述编码层以及目标特征提取层。
上述编码层包含有初始特征提取层、（长短期记忆网络）BILSTM层、归一化层以及表征融合层，其中，初始特征提取层中可以设置有Bert网络，该Bert网络共有12个网络层，每层具有不同的表征意义，对于底层表征主要倾向于字与字之间的连接关系，高层表征主要倾向于语义关系，服务器可以将Bert模型各网络层中最高3层提取到的特征和最低3层提取到的特征进行平均，得到Bert层输出的语义特征。这样一来，提取到的特征就能同时兼顾字与字之间的连接关系以及样本语句的语义关系，从而同时满足意图识别任务和实体抽取任务。
在本说明书中，业务模型的训练过程可以包含两个阶段，即对业务模型进行训练的阶段以及对业务模型训练之前的预训练阶段。
在预训练阶段中，服务器可以先对预设的特征提取模型进行预训练，该特征提取模型可以为Bert模型（如chinese-roberta-wwm-ext），服务器可以在上述公开数据集CrossWOZ中，获取对该模型进行预训练的无标签预训练样本语句，其中，各预训练样本语句中包含有历史目标语句以及该历史目标语句的前文语句，服务器可以将各历史目标语句及其前文语句进行合并去重，从而得到上述各样本语句。
需要说明的是，对特征提取模型进行预训练的样本语句中的历史目标语句与对业务模型进行训练的样本语句可以为同一语句，不需要事先对其进行标注。
服务器可以对样本语句进行掩码处理，得到掩码后语句，具体的，服务器可以将一个预训练样本语句的15%随机掩码，同时在该15%的部分中取10%的部分不进行掩码，再取10%的部分替换成随机字符，剩余80%的部分使用[MASK]标记进行掩码，得到掩码后语句。
而后服务器可以将预训练样本语句以及掩码后语句输入特征提取(Bert)模型，得到预训练样本语句对应的语义特征以及掩码后语句对应的语义特征，服务器可以对预训练样本语句对应的语义特征进行至少一次降采样（Dropout）处理，得到每次降采样后的语义特征，而后将每次降采样后的语义特征以及掩码后语句对应的语义特征作为正样本，将当前训练批次中除预训练样本语句外的其余预训练样本语句对应的语义特征作为负样本，以最小化预训练样本语句对应的语义特征与正样本之间的偏差，以及最大化预训练样本语句对应的语义特征与负样本之间的偏差为优化目标，对特征提取模型进行训练。
例如，服务器可以对预训练样本语句（未掩码的语句）对应的语义特征E进行两次Dropout 操作，分别得到
Figure SMS_5
和/>
Figure SMS_6
。对于一个训练批次中的语义特征BE，做以下定义，对一个语义特征E，将掩码后语句对应的语义特征/>
Figure SMS_7
、
Figure SMS_8
和/>
Figure SMS_9
作为正样本(positive)，将同一批次的其余语义特征作为负样本 (negative)，而后根据输出的语义特征E及其对应的正样本和负样本确定特征提取模型的对比学习损失值，该对比学习损失值可以通过如下公式进行表示：
Figure SMS_10
其中，
Figure SMS_11
为特征提取模型的对比学习损失值，M为与语义特征E对应的经过人为处理后的语义特征个数，在本说明书中，其对应的值可以为3，N表示一个训练批次中所有语义特征的个数，d表示距离，该距离可以为余弦距离。t为调节变量，为超参数，/>
Figure SMS_12
为特征提取模型提取到当前预训练样本语句的语义特征，/>
Figure SMS_13
为其他预训练样本语句的语义特征。
另外，服务器还可以通过预训练样本语句，对掩码[MASK]对应的字词进行预测，其标签空间为特征提取模型BERT提供的词汇表，根据预测出的字词与掩码[MASK]实际掩盖的字词之间的偏差，确定特征提取模型的掩码预测损失值，以使模型预测出的字词逐渐接近被掩盖的实际字词，该掩码预测损失值可以表示为：
Figure SMS_14
其中，
Figure SMS_15
为特征提取模型对应的掩码预测损失值，M为一个训练批次中被掩码掉的字词个数，/>
Figure SMS_16
为被掩盖的字词。
服务器可以根据上述对比学习损失值以及掩码预测损失值，确定特征提取模型的综合损失值，进而以最小化该综合损失值为优化目标，对特征提取模型进行训练。
在对业务模型进行训练时，服务器可以将经过预训练的特征提取（Bert）模型的模型参数加载到业务模型的初始特征提取层中，当输入样本语句后，服务器可以根据该初始特征提取层，确定样本语句对应的初始语义特征。
在本说明书中，服务器可以将样本语句及其前文语句同时输入初始特征提取层，初始特征提取层可以确定样本语句对应的第一语义特征
Figure SMS_17
，大小为
Figure SMS_18
，以及前文语句对应的第二语义特征/>
Figure SMS_19
，大小为/>
Figure SMS_20
，而后将/>
Figure SMS_21
按照指定维度（如倒数第二维度）进行取平均，并将得到的结果按照倒数第二维度扩展/>
Figure SMS_22
倍，得到扩展后语义特征/>
Figure SMS_23
。
服务器可以将
Figure SMS_26
和/>
Figure SMS_27
按照最后一个维度进行拼接，得到语义表征向量/>
Figure SMS_29
，大小为/>
Figure SMS_25
。而后服务器可以将得到的/>
Figure SMS_28
放入双向长短记忆网络BILSTM 中，得到初始语义特征/>
Figure SMS_30
，大小为/>
Figure SMS_31
，其中/>
Figure SMS_24
为BILSTM的隐藏层的维度dim。
由于归一化处理能够有效避免异常值干扰模型的性能，提高模型学习效果和速度，因此，得到初始语义特征后，服务器可以将初始语义特征输入归一化层，对初始语义特征进行归一化处理以及维度扩展，得到大小为
Figure SMS_32
的归一化语义特征/>
Figure SMS_33
。
具体的，服务器可以根据初始语义特征，确定归一化层对应的第一参数γ以及第二参数λ，进而根据初始语义特征、第一参数、第二参数、各初始语义特征的均值以及各初始语义特征的方差，确定归一化语义特征，该归一化语义特征可以表示为：
Figure SMS_34
其中，
Figure SMS_35
为归一化语义特征，/>
Figure SMS_36
为当前样本语句的初始语义特征，/>
Figure SMS_37
为出当前样本语句外的其他样本语句对应的初始语义特征，/>
Figure SMS_38
为特征均值，/>
Figure SMS_39
为特征方差。第一参数γ可以由公式/>
Figure SMS_40
进行确定，第二参数λ可以由公式/>
Figure SMS_41
进行确定。为了便于理解，本说明书提供了一种归一化特征的确定过程示意图，如图2所示。
图2为本说明书中提供的一种归一化特征的确定过程示意图。
其中，对于输入归一化层的特征向量x，归一化层可以根据各特征向量的均值及方差，以及以当前样本语句的初始语义特征为控制条件确定出的第一参数γ和第二参数λ，对特征向量x进行归一化处理，从而得到经过归一化的特征向量
Figure SMS_42
。
上述均值以及方差的确定公式可以为：
Figure SMS_43
进一步的，业务模型可以通过奇异值分解算法，将归一化语义特征进行分解，得到左酉矩阵向量U、普通矩阵线路S、右酉矩阵向量V三个特征向量，其中，U的含义为提取归一化语义特征
Figure SMS_44
的倒数第二维度的信息，即提取/>
Figure SMS_45
在时序和位置上的空间信息，用于表征样本语句中各文字对应位置信息，服务器可以将该向量作为位置编码。同时使用一层线形层对左酉矩阵向量U进行调整以适应模型训练。公式为：
Figure SMS_46
其中，
Figure SMS_47
为调整后的位置编码，/>
Figure SMS_48
分别为权重以及偏置。
另外，服务器还可以创建掩码矩阵，该掩码矩阵中左下角元素的元素值与右上角元素的元素值不同，例如，服务器可以创建一个右上三角值为1，左下三角值为2的掩码矩阵，并将该矩阵放入编码层，得到分布式掩码矩阵
Figure SMS_49
，编码层将单个数值扩展成分布式的向量表示，使/>
Figure SMS_50
扩展成四维张量，大小为
Figure SMS_51
，/>
Figure SMS_52
表示扩展后的维度。同时也将“1”和“2”带有的数值关系去除，使用分布式向量代替，从而得到最终的区域掩码，使得该区域掩码能够对各实体对象中具有首尾字关系的特征与具有相邻字关系的特征进行区分。
而后服务器可以通过编码层中的表征融合层，将归一化语义特征
Figure SMS_53
、位置编码
Figure SMS_54
以及区域掩码/>
Figure SMS_55
进行拼接，得到处理后特征/>
Figure SMS_56
。其中，
Figure SMS_57
的大小为/>
Figure SMS_58
，
Figure SMS_59
。
当然，服务器也可以不对区域掩码进行确定，而是只将归一化语义特征
Figure SMS_60
与位置编码/>
Figure SMS_61
进行拼接从而得到上述处理后特征/>
Figure SMS_62
。
需要说明的是，本说明书中的初始语义特征以及处理后特征可以为将样本语句中的每个文字对应的特征进行拼接后得到的特征，其中包含了样本语句中每一个文字对应的特征向量。
S103：基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到中间特征，基于第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到目标特征，其中，所述第一膨胀系数和第二膨胀系数的最小值大于所述第三膨胀系数和第四膨胀系数的最大值。
得到处理后特征
Figure SMS_63
后，服务器可以将其输入业务模型的目标特征提取层，该目标特征提取层中各卷积核的大小可以为 (3，3)。由于膨胀系数为3和4的空洞卷积对应的感受野大小分别为7和9，符合较长实体对象的字数，所以更适用于提取较长的实体对象和非连续的实体对象的表征信息。而膨胀系数为0和1的空洞卷积，感受野为3和5，有利于提取长度适中的实体对象的表征信息，适用于提取嵌套实体，因此，在本说明书中的第一膨胀系数可以为3，第二膨胀系数可以为4，第三膨胀系数可以为0，第四膨胀系数可以为1。
其中，在特征提取层中，第一膨胀系数的空洞卷积与第二膨胀系数的空洞卷积之间的关系可以为并联关系，第三膨胀系数的空洞卷积与第四膨胀系数的空洞卷积之间的关系也可以为并联关系，而并联的第一膨胀系数、第二膨胀系数与并联的第三膨胀系数、第四膨胀系数的空洞卷积之间的关系可以为串联关系。
当然，服务器也可以将上述膨胀系数设置为其他值，如将膨胀系数2和3分别设置为第一膨胀系数和第二膨胀系数，具体可以根据实际情况进行设定，本说明书对此不做具体限定。
目标特征提取层可以首先使用第一膨胀系数和第二膨胀系数（膨胀系数3和4）的空洞卷积对处理后特征
Figure SMS_64
进行卷积处理，得到卷积处理结果/>
Figure SMS_65
，而后使用残差网络将卷积处理结果/>
Figure SMS_66
和处理后特征/>
Figure SMS_67
相加，将输出结果放入GELU激活函数中，得到表达远距离字间关系的中间特征/>
Figure SMS_68
。
通过第三膨胀系数和第四膨胀系数（膨胀系数0和1）的空洞卷积对中间特征
Figure SMS_69
进行卷积处理，得到兼顾远近距离字间关系的目标特征/>
Figure SMS_70
，大小为
Figure SMS_71
。
S104：根据所述目标特征，确定头尾指针矩阵，以及，根据所述处理后特征，确定字间关系矩阵，所述头尾指针矩阵用于表征所述样本语句中各文字为实体对象的起始字的概率和末尾字的概率，所述字间关系矩阵用于表征各文字之间的语义连接关系和位置关系。
S105：根据所述头尾指针矩阵以及所述字间关系矩阵，确定目标特征矩阵。
服务器可以根据所述目标特征，确定头尾指针矩阵，以及，根据所述处理后特征，确定字间关系矩阵。
具体的，服务器可以构建实体对象头尾token之间的信息交互关系，并通过头尾指针矩阵的方式展示出来，以样本语句“A市博物馆大厅”为例，假设实体对象“A市”对应的实体标签ID为2，实体对象“博物馆大厅”，对应的实体标签ID为3，将目标特征输入指定注意力网络（如双仿射流注意力网络）后可以得到一个7*7的矩阵X，在样本语句中实体对象“A市”的起始字和末尾字的索引分别为0和1，实体对象“博物馆大厅”起始字和末尾字的索引分别为2和6，则X[0][1]=2，X[2，6]=3，矩阵X中其余值为0。
在构建头尾指针矩阵的过程中，服务器可以根据目标特征
Figure SMS_72
构建头部表征向量以及尾部表征向量，其中，头部表征向量可以表示为：
Figure SMS_73
，用于表征各文字为目标对象起始字的概率，尾部表征向量可以表示为：/>
Figure SMS_74
，用于表征各文字为目标对象末尾字的概率。上述权重/>
Figure SMS_75
、/>
Figure SMS_76
以及偏置/>
Figure SMS_77
、/>
Figure SMS_78
可以根据实际情况进行设定，本说明书对此不做具体限定。
获取头部表征向量以及尾部表征向量后，服务器可以先通过头部表征向量与预设权重矩阵相乘，再将尾部表征向量与预设权重矩阵相乘，以获取每两个字作为目标对象的起始字和末尾字的权重值，进而根据上述权重值确定头尾指针矩阵。
服务器可以先初始化一个仿射矩阵B，大小为
Figure SMS_79
，而后将头部表征向量/>
Figure SMS_80
与仿射矩阵B相乘，得到结果再与尾部表征向量/>
Figure SMS_81
相乘，得到最后的头尾指针矩阵，大小为/>
Figure SMS_82
，其中，该头尾指针矩阵用于表征所述样本语句中各文字为实体对象的起始字的概率和末尾字的概率。
另外，服务器可以通过全连接网络MLP，将目标特征
Figure SMS_83
转化为字间关系矩阵，/>
Figure SMS_84
的大小为/>
Figure SMS_85
，该全连接网络MLP由一层线性层和激活函数GELU函数组成，经过MLP层后得到的字间关系矩阵的大小为
Figure SMS_86
，其中，该字间关系矩阵用于表征各文字之间的语义连接关系和位置关系，描述任意两个文字为同一实体对象中具有前后相邻关系的文字的概率。
而后服务器可以将上述头尾指针矩阵以及字间关系矩阵进行加权求和，从而得到能够表征字与字之间的语义连接关系、位置关系以及首尾字关系的目标特征矩阵。
S106：基于所述目标特征矩阵，识别所述样本语句中包含的实体对象，以最小化从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练。
服务器可以将目标特征矩阵输入用于执行实体抽取任务的解码层，该解码层中部署有基于NNW关系和THW-*关系的解码器，服务器可以将目标特征矩阵输入解码层，确定目标矩阵最后一维的最大值对应的索引，并将该索引作为预测标签空间，其大小可以为
Figure SMS_87
。
而后根据预测标签空间，确定预测出的实体对象对应的预测实体类型以及预测索引序列，并将预测实体类型和预测索引序列进行组合，得到预测结果，以及，在预设的索引库中查询样本语句实际包含的实体对象对应的实际实体类型以及实际索引序列，并将所述实际实体类型和实际索引序列进行组合，得到目标结果。
在本说明书中，上述THW-*关系可以表示为
Figure SMS_88
，包含有实体对象末尾字对应索引以及实体类型，NNW关系可以表示为/>
Figure SMS_89
表示，包含有实体对象对应的起始字、中间字以及末尾字对应的索引。其中/>
Figure SMS_90
表示实体对象的中间字，并且起始字对应索引的索引值小于中间字，而中间字对应索引的索引值小于末尾字。/>
一个实体对象的索引可以表示为
Figure SMS_92
。在构建NNW关系数据结构时，当文字/>
Figure SMS_96
与/>
Figure SMS_97
在同一个实体对象中，并且/>
Figure SMS_93
为/>
Figure SMS_95
的前一个字，此时可以将/>
Figure SMS_98
的NNW中，中间字的索引赋值给/>
Figure SMS_99
，并将/>
Figure SMS_91
的索引也作为中间字的索引放入/>
Figure SMS_94
中。
当W2的NNW关系（Head，Tail）对应的值为
Figure SMS_100
时，W1的NNW关系（Head，Tail）对应的值为/>
Figure SMS_101
。此时可以根据每个实体的起始字的NNW关系，获得实体对象中间字的索引，而后可以根据起始字的THW-*关系，获得实体对象末尾字的索引和实体类型，根据起始字在样本语句中的位置，即可得到实体对象起始字的索引，而后可以将实体对应的全部索引以及实体类型进行组合，即可获得最终的预测结果。
与此同时，服务器可以将上述目标特征
Figure SMS_102
输入意图识别层，从而根据目标特征/>
Figure SMS_103
以及该目标特征对应的动态阈值，确定样本语句对应的意图，作为预测意图。
具体的，服务器可以对目标特征进行平均池化，池化核大小为
Figure SMS_104
，得到意图表征向量/>
Figure SMS_105
，大小为/>
Figure SMS_106
，由于意图识别任务为多标签分类任务，因此该意图识别层可以使用一个层线性层和一个可学习的动态阈值threshold生成预测结果（预测意图），其大小为
Figure SMS_107
。该动态阈值可以表示为：
Figure SMS_108
其中，threshold为动态阈值，
Figure SMS_109
为意图表征向量的最大值，即
Figure SMS_110
，/>
Figure SMS_111
为意图表征向量的最小值，即/>
Figure SMS_112
，t为可学习变量，用于对动态阈值进行适应性调整。
对于槽位填充的实体抽取任务，服务器可以以最小化上述预测结果和所述目标结果之间的偏差为优化目标，对所述业务模型进行训练，从而实现业务模型预测出的预测实体对象与样本语句中实际包含的实体对象之间偏差的最小化。
而对于意图识别任务，服务器可以以最小化预测意图与样本语句实际对应的意图标签之间的偏差为优化目标，对业务模型进行训练，其对应损失函数的损失值可以表示为：
Figure SMS_113
其中，
Figure SMS_114
为损失值，/>
Figure SMS_115
为样本语句/>
Figure SMS_116
的预测意图，/>
Figure SMS_117
为样本语句/>
Figure SMS_118
的实际意图。
需要说明的是，在此过程中服务器可以同时对业务模型的意图识别任务以及实体抽取任务进行优化，即以最小化上述预测意图与样本语句实际对应的意图之间的偏差，以及，最小化从样本语句中预测出的实体对象与样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练。直至满足训练目标，即可将该业务模型进行部署。其中，上述训练目标可以为业务模型收敛至预设范围或者达到预设训练次数。
以上为从模型训练的角度，对本说明书提供的模型训练的方法进行说明，下面将从模型的实际应用角度，对本说明书提供的一种业务执行的方法进行说明，如图3所示。
图3为本说明书中提供的一种业务执行的方法的流程示意图，包括以下步骤：
S301：获取用户输入的目标样本语句。
S302：将所述样本语句输入所述业务模型，确定所述目标样本语句对应的目标特征，并根据所述目标特征，确定所述目标样本语句中包含的实体对象，其中，所述业务模型是通过上述模型训练的方法训练得到的。
服务器可以获取用户在业务平台中输入的样本语句，并将该样本语句输入经过训练并部署好的业务模型，由业务模型对该目标样本语句进行特征提取，确定目标样本语句对应的目标特征。
业务模型的下游模块（意图识别层）可以根据所述目标样本语句对应的目标特征，确定目标样本语句对应的意图，与此同时，业务模型可以根据上述目标特征，确定其对应的头尾指针矩阵以及字间关系矩阵，根据字间关系矩阵以及头尾指针矩阵确定出目标矩阵，进而通过解码层中部署的解码器对目标矩阵进行解码，确定目标样本语句中包含的实体对象。为了便于理解，本说明书提供了一种意图识别和实体抽取任务的整体流程示意图，如图4所示。
图4为本说明书提供的一种意图识别和实体抽取任务的整体流程示意图。
其中，服务器将目标样本语句输入业务模型后，业务模型的初始特征提取层（Bert层）可以先获取到语义表征向量
Figure SMS_119
，而后经过长短期记忆网络，得到初始语义特征
Figure SMS_120
。
服务器可以通过奇异值分解算法，获取位置编码，并将位置编码，区域掩码以及由归一化层输出的归一化语义特征
Figure SMS_121
进行特征融合，得到处理后特/>
Figure SMS_122
。
而后服务器可以将处理后特征
Figure SMS_123
输入目标特征提取层，先获取到目标样本语句的初始语义特征，通过第一膨胀系数（膨胀系数3）和第二膨胀系数（膨胀系数4）的各卷积核对处理后特征进行特征提取，得到中间特征，通过第三膨胀系数（膨胀系数0）和第四膨胀系数（膨胀系数1）的各卷积核对中间特征进行特征提取，得到目标特征/>
Figure SMS_124
。
而后服务器可以将目标特征
Figure SMS_125
输入双仿射流注意力网络，获取头尾指针矩阵，将目标特征/>
Figure SMS_126
输入全连接网络（MLP），获取字间关系矩阵。而后将头尾指针矩阵与字间关系矩阵进行融合，得到目标矩阵，并通过实体抽取层（解码层）中的解码器对其进行解码，以确定目标样本语句中包含的实体对象，与此同时，服务器可以将目标特征
Figure SMS_127
输入意图识别层，从而确定目标样本语句对应意图。
S303：根据所述目标样本语句中包含的实体对象执行业务。
服务器可以根据目标样本语句中包含的实体对象以及目标样本语句对应的意图来执行业务，例如，在智能客服场景下，服务器可以根据目标样本语句的意图以及其中包含的实体对象，来回答用户的问题，或者对用户的具体需求进行进一步的提问。
从上述方法可以看出，本方案在对样本语句中的实体对象进行识别的过程中，能够根据处理后特征，确定出用于表征样本语句中各文字为实体对象的起始字的概率和末尾字的概率的头尾指针矩阵，以及用于表示字与字之间关系的字间关系矩阵，而后将上述两种矩阵进行组合并解析，基于字与字之间的语义关系以及样本语句中的头尾字关系，准确的确定出样本语句中包含的实体对象。以上为本说明书的一个或多个实施模型训练的方法，基于同样的思路，本说明书还提供了相应的模型训练的装置，如图5所示。
图5为本说明书提供的一种模型训练的装置的示意图，包括：
获取模块501，用于获取样本语句；
输入模块502，用于将所述样本语句输入待训练业务模型，确定所述样本语句对应的初始语义特征，并对所述初始语义特征进行处理，得到处理后特征；
卷积模块503，用于基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到中间特征，基于第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到目标特征，其中，所述第一膨胀系数和第二膨胀系数的最小值大于所述第三膨胀系数和第四膨胀系数的最大值；
第一确定模块504，用于根据所述目标特征，确定头尾指针矩阵，以及，根据所述处理后特征，确定字间关系矩阵，所述头尾指针矩阵用于表征所述样本语句中各文字为实体对象的起始字的概率和末尾字的概率，所述字间关系矩阵用于表征各文字之间的语义连接关系和位置关系；
第二确定模块505，用于根据所述头尾指针矩阵以及所述字间关系矩阵，确定目标特征矩阵；
训练模块506，用于基于所述目标特征矩阵，识别所述样本语句中包含的实体对象，以最小化从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练。
可选地，所述业务模型包括：编码层、目标特征提取层以及解码层中的至少一种。
可选地，所述输入模块502具体用于，将所述样本语句输入所述编码层，确定所述样本语句对应的初始语义特征，并对所述初始语义特征进行处理，得到处理后特征，所述处理后特征为经过编码后的语义特征；基于所述目标特征矩阵，识别所述样本语句中包含的实体对象，具体包括：将所述目标特征矩阵输入所述解码层，对所述目标特征矩阵进行解析，识别所述样本语句中包含的实体对象。
可选地，所述卷积模块503具体用于，将所述处理后特征输入所述目标特征提取层，基于所述第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到所述中间特征，基于所述第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到所述目标特征。
可选地，所述编码层包括：初始特征提取层；
可选地，所述输入模块502具体用于，将所述样本语句以及所述样本语句的前文语句输入所述初始特征提取层，确定所述样本语句对应的第一语义特征以及所述前文语句对应的第二语义特征；将所述第一语义特征以及所述第二语义特征进行拼接，根据拼接后的语义特征确定所述初始语义特征。
可选地，所述输入模块502具体用于，将所述第二语义特征按照指定维度进行平均处理，并将平均处理后的第二语义特征进行扩展，得到扩展后的第二语义特征；将所述扩展后的第二语义特征与所述第一语义特征按照最后一个特征维度进行拼接，并将拼接后的语义特征输入长短记忆网络，得到所述初始语义特征。
可选地，在将所述样本语句以及所述样本语句的前文语句输入所述初始特征提取层之前，所述输入模块502还用于，获取经过预训练的特征提取模型对应的模型参数；将所述模型参数加载到所述初始特征提取层。
可选地，所述训练模块506具体用于，获取预训练样本语句；对所述预训练样本语句进行掩码处理，得到掩码后语句；将所述预训练样本语句以及所述掩码后语句输入所述特征提取模型，得到所述预训练样本语句对应的语义特征以及所述掩码后语句对应的语义特征；对所述预训练样本语句对应的语义特征进行至少一次降采样处理，得到每次降采样后的语义特征；将每次降采样后的语义特征以及所述掩码后语句对应的语义特征作为正样本，将当前训练批次中除所述预训练样本语句外的其余预训练样本语句对应的语义特征作为负样本；以最小化所述预训练样本语句对应的语义特征与所述正样本之间的偏差，以及最大化所述预训练样本语句对应的语义特征与所述负样本之间的偏差为优化目标，对所述特征提取模型进行训练。
可选地，所述训练模块506具体用于，根据所述预训练样本语句对应的语义特征与所述正样本之间的偏差，以及所述预训练样本语句对应的语义特征与所述负样本之间的偏差，确定所述特征提取模型的对比学习损失值；通过所述特征提取模型，对所述掩码后语句中被掩码的字词进行预测，根据预测出的字词与被掩码的实际字词之间的偏差，确定所述特征提取模型的掩码预测损失值；根据所述对比学习损失值以及所述掩码预测损失值，确定所述特征提取模型的综合损失值；以最小化所述综合损失值为优化目标，对所述特征提取模型进行训练。
可选地，所述编码层还包括：归一化层以及表征融合层；
所述输入模块502具体用于，将所述初始语义特征输入所述归一化层，得到归一化语义特征；基于奇异值分解算法对所述归一化语义特征进行分解，在分解出的各特征向量中确定出用于表征所述样本语句中各文字在时序和位置上对应空间信息的左酉矩阵向量，作为所述样本语句对应的位置编码；通过所述表征融合层，将所述归一化语义特征与所述位置编码进行拼接，得到所述处理后特征。
可选地，所述输入模块502具体用于，根据所述初始语义特征，确定所述归一化层对应的第一参数以及第二参数；根据所述初始语义特征、所述第一参数、所述第二参数、各初始语义特征的均值以及各初始语义特征的方差，确定所述归一化语义特征。
可选地，所述输入模块502具体用于，创建掩码矩阵，所述掩码矩阵中左下角元素的元素值与右上角元素的元素值不同；根据所述掩码矩阵，确定针对所述初始语义特征的区域掩码，所述区域掩码用于对各实体对象中具有首尾字关系的特征与具有相邻字关系的特征进行区分；通过所述表征融合层，将所述归一化语义特征、所述位置编码以及所述区域掩码进行拼接，得到所述处理后特征。
可选地，所述卷积模块503具体用于，基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，并通过残差网络将卷积处理结果与所述处理后特征相加，得到所述中间特征。
可选地，所述业务模型还包括：意图识别层；所述训练模块506具体用于，以最小化从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练，具体包括：将所述目标特征输入所述意图识别层，根据所述目标特征对应的动态阈值，识别所述样本语句对应的意图；以最小化从所述样本语句中识别出的意图与所述样本语句实际对应的意图之间的偏差，以及，最小化所述从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练。
可选地，所述训练模块506还用于，对所述目标特征进行平均池化处理，得到意图表征向量；根据所述意图表征向量的最大值、所述意图表征向量的最小值以及可学习变量，确定所述动态阈值。
可选地，所述训练模块506具体用于，将所述目标特征矩阵输入所述解码层，根据所述目标特征矩阵最后一维最大值对应的索引，确定预测标签空间；根据所述预测标签空间，确定预测出的实体对象对应的预测实体类型以及预测索引序列，并将所述预测实体类型和所述预测索引序列进行组合，得到预测结果，以及，在预设的索引库中查询所述样本语句中实际包含的实体对象对应的实际实体类型以及实际索引序列，并将所述实际实体类型和实际索引序列进行组合，得到目标结果；以最小化所述预测结果和所述目标结果之间的偏差为优化目标，对所述业务模型进行训练。
图6为本说明书提供的一种业务执行的装置的示意图，包括：
获取模块601，用于获取用户输入的目标语句；
确定模块602，用于将所述目标语句输入所述业务模型，确定所述目标语句对应的目标特征，并根据所述目标特征，确定所述目标语句中包含的实体对象，其中，所述业务模型是通过上述模型训练的方法训练得到的；
执行模块603，用于根据所述目标语句中包含的实体对象执行业务。
可选地，所述执行模块603具体用于，根据所述目标语句对应的目标特征，确定所述目标语句对应的意图；根据所述目标语句对应的意图以及所述目标语句中包含的实体对象，执行所述业务。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1或图3提供的一种模型训练和业务执行的方法。
本说明书还提供了图7所示的一种对应于图1或图3的电子设备的示意结构图。如图7所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1或图3所述的模型训练和业务执行的方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（ProgrammableLogic Device， PLD）（例如现场可编程门阵列（Field Programmable Gate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（HardwareDescription Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（AdvancedBoolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（JavaHardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby HardwareDescription Language）等，目前最普遍使用的是VHDL（Very-High-Speed IntegratedCircuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (21)

1.一种模型训练的方法，其特征在于，包括：
获取样本语句；
将所述样本语句输入待训练业务模型，确定所述样本语句对应的初始语义特征，并对所述初始语义特征进行处理，得到处理后特征；
基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到中间特征，基于第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到目标特征，其中，所述第一膨胀系数和第二膨胀系数的最小值大于所述第三膨胀系数和第四膨胀系数的最大值；
根据所述目标特征，确定头尾指针矩阵，以及，根据所述处理后特征，确定字间关系矩阵，所述头尾指针矩阵用于表征所述样本语句中各文字为实体对象的起始字的概率和末尾字的概率，所述字间关系矩阵用于表征各文字之间的语义连接关系和位置关系；
根据所述头尾指针矩阵以及所述字间关系矩阵，确定目标特征矩阵；
基于所述目标特征矩阵，识别所述样本语句中包含的实体对象，以最小化从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练。
2.如权利要求1所述的方法，其特征在于，所述业务模型包括：编码层、目标特征提取层以及解码层中的至少一种。
3.如权利要求2所述的方法，其特征在于，确定所述样本语句对应的初始语义特征，并对所述初始语义特征进行处理，得到处理后特征，具体包括：
将所述样本语句输入所述编码层，确定所述样本语句对应的初始语义特征，并对所述初始语义特征进行处理，得到处理后特征，所述处理后特征为经过编码后的语义特征；
基于所述目标特征矩阵，识别所述样本语句中包含的实体对象，具体包括：
将所述目标特征矩阵输入所述解码层，对所述目标特征矩阵进行解析，识别所述样本语句中包含的实体对象。
4.如权利要求1所述的方法，其特征在于，基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到中间特征，基于第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到目标特征，具体包括：
将所述处理后特征输入所述目标特征提取层，基于所述第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到所述中间特征，基于所述第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到所述目标特征。
5.如权利要求2所述的方法，其特征在于，所述编码层包括：初始特征提取层；
将所述样本语句输入待训练业务模型，确定所述样本语句对应的初始语义特征，具体包括：
将所述样本语句以及所述样本语句的前文语句输入所述初始特征提取层，确定所述样本语句对应的第一语义特征以及所述前文语句对应的第二语义特征；
将所述第一语义特征以及所述第二语义特征进行拼接，根据拼接后的语义特征确定所述初始语义特征。
6.如权利要求5所述的方法，其特征在于，将所述第一语义特征以及所述第二语义特征进行拼接，根据拼接后的语义特征确定所述初始语义特征，具体包括：
将所述第二语义特征按照指定维度进行平均处理，并将平均处理后的第二语义特征进行扩展，得到扩展后的第二语义特征；
将所述扩展后的第二语义特征与所述第一语义特征按照最后一个特征维度进行拼接，并将拼接后的语义特征输入长短记忆网络，得到所述初始语义特征。
7.如权利要求5所述的方法，其特征在于，在将所述样本语句以及所述样本语句的前文语句输入所述初始特征提取层之前，所述方法还包括：
获取经过预训练的特征提取模型对应的模型参数；
将所述模型参数加载到所述初始特征提取层。
8.如权利要求7所述的方法，其特征在于，对所述特征提取模型进行预训练，具体包括：
获取预训练样本语句；
对所述预训练样本语句进行掩码处理，得到掩码后语句；
将所述预训练样本语句以及所述掩码后语句输入所述特征提取模型，得到所述预训练样本语句对应的语义特征以及所述掩码后语句对应的语义特征；
对所述预训练样本语句对应的语义特征进行至少一次降采样处理，得到每次降采样后的语义特征；
将每次降采样后的语义特征以及所述掩码后语句对应的语义特征作为正样本，将当前训练批次中除所述预训练样本语句外的其余预训练样本语句对应的语义特征作为负样本；
以最小化所述预训练样本语句对应的语义特征与所述正样本之间的偏差，以及最大化所述预训练样本语句对应的语义特征与所述负样本之间的偏差为优化目标，对所述特征提取模型进行训练。
9.如权利要求8所述的方法，其特征在于，对所述特征提取模型进行训练，具体包括：
根据所述预训练样本语句对应的语义特征与所述正样本之间的偏差，以及所述预训练样本语句对应的语义特征与所述负样本之间的偏差，确定所述特征提取模型的对比学习损失值；
通过所述特征提取模型，对所述掩码后语句中被掩码的字词进行预测，根据预测出的字词与被掩码的实际字词之间的偏差，确定所述特征提取模型的掩码预测损失值；
根据所述对比学习损失值以及所述掩码预测损失值，确定所述特征提取模型的综合损失值；
以最小化所述综合损失值为优化目标，对所述特征提取模型进行训练。
10.如权利要求2所述的方法，其特征在于，所述编码层还包括：归一化层以及表征融合层；
对所述初始语义特征进行处理，得到处理后特征，具体包括：
将所述初始语义特征输入所述归一化层，得到归一化语义特征；
基于奇异值分解算法对所述归一化语义特征进行分解，在分解出的各特征向量中确定出用于表征所述样本语句中各文字在时序和位置上对应空间信息的左酉矩阵向量，作为所述样本语句对应的位置编码；
通过所述表征融合层，将所述归一化语义特征与所述位置编码进行拼接，得到所述处理后特征。
11.如权利要求10所述的方法，其特征在于，将所述初始语义特征输入所述归一化层，得到归一化语义特征，具体包括：
根据所述初始语义特征，确定所述归一化层对应的第一参数以及第二参数；
根据所述初始语义特征、所述第一参数、所述第二参数、各初始语义特征的均值以及各初始语义特征的方差，确定所述归一化语义特征。
12.如权利要求10所述的方法，其特征在于，将所述归一化语义特征与所述位置编码特征进行拼接，得到所述处理后特征，具体包括：
创建掩码矩阵，所述掩码矩阵中左下角元素的元素值与右上角元素的元素值不同；
根据所述掩码矩阵，确定针对所述初始语义特征的区域掩码，所述区域掩码用于对各实体对象中具有首尾字关系的特征与具有相邻字关系的特征进行区分；
通过所述表征融合层，将所述归一化语义特征、所述位置编码以及所述区域掩码进行拼接，得到所述处理后特征。
13.如权利要求1所述的方法，其特征在于，基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到中间特征，具体包括：
基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，并通过残差网络将卷积处理结果与所述处理后特征相加，得到所述中间特征。
14.如权利要求1所述的方法，其特征在于，所述业务模型还包括：意图识别层；
以最小化从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练，具体包括：
将所述目标特征输入所述意图识别层，根据所述目标特征对应的动态阈值，识别所述样本语句对应的意图；
以最小化从所述样本语句中识别出的意图与所述样本语句实际对应的意图之间的偏差，以及，最小化所述从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练。
15.如权利要求14所述的方法，其特征在于，所述方法还包括：
对所述目标特征进行平均池化处理，得到意图表征向量；
根据所述意图表征向量的最大值、所述意图表征向量的最小值以及可学习变量，确定所述动态阈值。
16.如权利要求2所述的方法，其特征在于，以最小化从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练，具体包括：
将所述目标特征矩阵输入所述解码层，根据所述目标特征矩阵最后一维最大值对应的索引，确定预测标签空间；
根据所述预测标签空间，确定预测出的实体对象对应的预测实体类型以及预测索引序列，并将所述预测实体类型和所述预测索引序列进行组合，得到预测结果，以及，在预设的索引库中查询所述样本语句中实际包含的实体对象对应的实际实体类型以及实际索引序列，并将所述实际实体类型和实际索引序列进行组合，得到目标结果；
以最小化所述预测结果和所述目标结果之间的偏差为优化目标，对所述业务模型进行训练。
17.一种业务执行的方法，其特征在于，包括：
获取用户输入的目标语句；
将所述目标语句输入所述业务模型，确定所述目标语句对应的目标特征，并根据所述目标特征，确定所述目标语句中包含的实体对象，其中，所述业务模型是通过上述权利要求1~16任一项所述的方法训练得到的；
根据所述目标语句中包含的实体对象执行业务。
18.如权利要求17所述的方法，其特征在于，根据所述目标语句中包含的实体对象执行业务，具体包括：
根据所述目标语句对应的目标特征，确定所述目标语句对应的意图；
根据所述目标语句对应的意图以及所述目标语句中包含的实体对象，执行所述业务。
19.一种模型训练的装置，其特征在于，包括：
获取模块，获取样本语句；
输入模块，将所述样本语句输入待训练业务模型，确定所述样本语句对应的初始语义特征，并对所述初始语义特征进行处理，得到处理后特征；
卷积模块，基于第一膨胀系数和第二膨胀系数对所述处理后特征进行卷积处理，得到中间特征，基于第三膨胀系数和第四膨胀系数对所述中间特征进行卷积处理，得到目标特征，其中，所述第一膨胀系数和第二膨胀系数的最小值大于所述第三膨胀系数和第四膨胀系数的最大值；
第一确定模块，根据所述目标特征，确定头尾指针矩阵，以及，根据所述处理后特征，确定字间关系矩阵，所述头尾指针矩阵用于表征所述样本语句中各文字为实体对象的起始字的概率和末尾字的概率，所述字间关系矩阵用于表征各文字之间的语义连接关系和位置关系；
第二确定模块，根据所述头尾指针矩阵以及所述字间关系矩阵，确定目标特征矩阵；
训练模块，基于所述目标特征矩阵，识别所述样本语句中包含的实体对象，以最小化从所述样本语句中识别出的实体对象与所述样本语句中实际包含的实体对象之间的偏差为优化目标，对所述业务模型进行训练。
20.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~18任一项所述的方法。
21.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~18任一项所述的方法。
CN202310422202.4A 2023-04-19 2023-04-19 一种模型训练和业务执行的方法、装置、介质及设备 Active CN116151355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310422202.4A CN116151355B (zh) 2023-04-19 2023-04-19 一种模型训练和业务执行的方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310422202.4A CN116151355B (zh) 2023-04-19 2023-04-19 一种模型训练和业务执行的方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN116151355A CN116151355A (zh) 2023-05-23
CN116151355B true CN116151355B (zh) 2023-07-11

Family

ID=86373997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310422202.4A Active CN116151355B (zh) 2023-04-19 2023-04-19 一种模型训练和业务执行的方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN116151355B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116384515B (zh) * 2023-06-06 2023-09-01 之江实验室 一种模型训练的方法、装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113948217A (zh) * 2021-11-23 2022-01-18 重庆邮电大学 一种基于局部特征整合的医学嵌套命名实体识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102244982B1 (ko) * 2019-12-31 2021-04-27 성균관대학교산학협력단 이미지 학습을 이용한 텍스트 필터링 방법 및 장치
CN115439692A (zh) * 2022-09-09 2022-12-06 阿波罗智联(北京)科技有限公司 一种图像处理方法、装置、电子设备及介质
CN115545002B (zh) * 2022-11-29 2023-03-31 支付宝(杭州)信息技术有限公司 一种模型训练和业务处理的方法、装置、存储介质及设备
CN115859996A (zh) * 2022-11-30 2023-03-28 电信科学技术第五研究所有限公司 一种实体关系抽取模型及其构建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113948217A (zh) * 2021-11-23 2022-01-18 重庆邮电大学 一种基于局部特征整合的医学嵌套命名实体识别方法

Also Published As

Publication number Publication date
CN116151355A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111144126A (zh) 一种语义分析模型的训练方法、语义分析方法及装置
CN116151355B (zh) 一种模型训练和业务执行的方法、装置、介质及设备
CN116663618B (zh) 一种算子优化方法、装置、存储介质及电子设备
CN112417093B (zh) 一种模型训练的方法及装置
CN113221555A (zh) 一种基于多任务模型的关键词识别方法、装置及设备
CN115545002A (zh) 一种模型训练和业务处理的方法、装置、存储介质及设备
CN111222315B (zh) 一种电影剧本情节预测方法
CN113887206B (zh) 一种模型训练及关键词提取方法及装置
CN116502633A (zh) 一种业务执行的方法、装置、存储介质及电子设备
CN116186330B (zh) 一种基于多模态学习的视频去重方法及装置
CN116308738B (zh) 一种模型训练的方法、业务风控的方法及装置
CN116205232B (zh) 一种确定目标模型的方法、装置、存储介质及设备
CN114912513A (zh) 一种模型训练的方法、识别信息的方法及装置
CN115456114A (zh) 一种模型训练和业务执行的方法、装置、介质及设备
CN115204395A (zh) 数据的处理方法、装置及设备
CN109325127B (zh) 一种风险识别方法和装置
CN113344197A (zh) 一种识别模型的训练方法、业务执行的方法以及装置
CN117034942B (zh) 一种命名实体识别方法、装置、设备及可读存储介质
CN115017915B (zh) 一种模型训练、任务执行的方法及装置
CN116434787B (zh) 一种语音情感识别的方法、装置、存储介质及电子设备
CN115423485B (zh) 数据处理方法、装置及设备
CN116501852B (zh) 一种可控对话模型训练方法、装置、存储介质及电子设备
CN117573849A (zh) 一种知识图谱多跳问答方法、装置、设备及存储介质
CN116186272A (zh) 一种联合训练方法、装置、存储介质及电子设备
CN117828360A (zh) 一种模型训练、代码生成方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant