CN113887243A - 语义分类模型的训练方法、装置、设备及存储介质 - Google Patents
语义分类模型的训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113887243A CN113887243A CN202111267955.XA CN202111267955A CN113887243A CN 113887243 A CN113887243 A CN 113887243A CN 202111267955 A CN202111267955 A CN 202111267955A CN 113887243 A CN113887243 A CN 113887243A
- Authority
- CN
- China
- Prior art keywords
- training
- model
- matrix
- classification
- semantic classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 233
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013145 classification model Methods 0.000 title claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 163
- 239000013598 vector Substances 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 241000931705 Cicada Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及数据处理技术领域，揭示了一种语义分类模型的训练方法、装置、设备及存储介质，其中方法包括：将训练样本输入第一分类训练模型中，得到第一语义分类结果，并通过损失函数计算第一语义分类结果的第一损失值；将扰动元素项与稀疏矩阵进行叠加，得到扰动矩阵；将不同的扰动矩阵添加至第一分类训练模型的词嵌入向量中，得到若干个第二分类训练模型；采用每一个第二分类训练模型分别对训练样本进行语义分类，得到若干组不同的第二语义分类结果，通过损失函数计算每一组第二语义分类结果的第二损失值，并根据第二损失值在第二分类训练模型中选取目标训练模型；将满足迭代完成条件的目标训练模型作为语义分类模型；从而提高模型的泛化能力。
Description
技术领域
本申请涉及到人工智能技术领域，特别是涉及到一种语义分类模型的训练方法、装置、设备及存储介质。
背景技术
智能客户、AI助手、人机对话等是AI科学中重要的应用领域，若AI在语言沟通时无法理解用户所表达的意图，会导致用户与AI之间无法有效沟通。在将AI应用于现实场景中时，只有准确理解对方的语言所表达的含义，机器才能做出正确的响应。然而现有技术中，在关系核实的场景中，数据有噪声的情况下，模型的泛化往往会遇到阻碍。
发明内容
本申请的主要目的为提供一种语义分类模型的训练方法、装置、设备及存储介质，旨在解决现有技术中对数据有噪声的情况下，模型的泛化能力较低的问题。
为了实现上述发明目的，本申请提出一种语义分类模型的训练方法，所述方法包括：
将训练样本输入第一分类训练模型中，得到第一语义分类结果，并通过损失函数计算所述第一语义分类结果的第一损失值；
根据预设的扰动规则生成若干个扰动元素项，并将所述扰动元素项与预设的稀疏矩阵进行叠加，得到扰动矩阵；
将不同的所述扰动矩阵添加至所述第一分类训练模型的词嵌入向量中，得到若干个第二分类训练模型；
采用每一个所述第二分类训练模型分别对所述训练样本进行语义分类，得到若干组不同的第二语义分类结果，通过所述损失函数计算每一组所述第二语义分类结果的第二损失值，并根据所述第二损失值在所述第二分类训练模型中选取目标训练模型；
根据所述目标训练模型对应的第二损失值，采用梯度回传算法对所述目标训练模型进行迭代更新，直至满足预设的迭代完成条件，将满足所述迭代完成条件的所述目标训练模型作为语义分类模型。
进一步的，所述将所述扰动元素项与预设的稀疏矩阵进行叠加，得到扰动矩阵，包括：
对所述扰动元素项与所述稀疏矩阵进行乘积计算，得到叠加矩阵，计算所述叠加矩阵的叠加矩阵值；
计算第一阈值矩阵的第一矩阵值和第二阈值矩阵的第二矩阵值，其中第一矩阵值小于第二矩阵值；
若所述叠加矩阵值大于所述第二矩阵值，将所述第二阈值矩阵作为所述扰动矩阵，若所述叠加矩阵值小于所述第一矩阵值，将所述第一阈值矩阵作为所述扰动矩阵，若所述叠加矩阵值不大于所述第二矩阵值且不小于所述第一矩阵值，将所述叠加矩阵作为所述扰动矩阵。
进一步的，所述通过所述损失函数计算每一组所述第二语义分类结果的第二损失值，包括：
通过交叉熵损失函数计算每一组所述第二语义分类结果的交叉熵损失值，并将所述交叉熵损失值作为所述第二损失值。
进一步的，所述将训练样本输入第一分类训练模型中之前，还包括：
对初始样本进行特征提取，并将提取的特征参数与预设的音色数据中存储的参考音色数据进行音色误差计算；
根据所述音色误差，对所述初始样本中不满足预设的误差范围的音色进行滤除，得到所述训练样本。
进一步的，所述根据所述第二损失值在所述第二分类训练模型中选取目标训练模型，包括：
对每一个所述第二分类训练模型对应的所有第二损失值进行平均值计算；
将平均值最小的第二损失值对应的第二分类训练模型作为所述目标训练模型。
进一步的，所述将满足所述迭代完成条件的所述目标训练模型作为语义分类模型之后，还包括：
接收目标语音，对所述目标语音进行语速分析，得到语速参数；
根据所述语速参数对所述目标语音进行语速调节，并将调节后的所述目标语音输入所述语义分类模型中，得到语义分类结果。
进一步的，所述得到语义分类结果之后，还包括：
根据所述语义分类结果生成答复语句；
向目标设备发送通信连接请求，并接收所述目标设备返回的连接成功信息；
将发送所述通信连接请求与接收所述连接成功信息之间的时间作为延时时间，若所述延时时间大于预设的阈值，在预设的延时语句库中选取延时语句添加至所述答复语句中，并将添加后的所述答复语句发送至所述目标设备。
本申请还提出了一种语义分类模型的训练装置，包括：
第一分类模块，用于将训练样本输入第一分类训练模型中，得到第一语义分类结果，并通过损失函数计算所述第一语义分类结果的第一损失值；
扰动生成模块，用于根据预设的扰动规则生成若干个扰动元素项，并将所述扰动元素项与预设的稀疏矩阵进行叠加，得到扰动矩阵；
扰动添加模块，用于将不同的所述扰动矩阵添加至所述第一分类训练模型的词嵌入向量中，得到若干个第二分类训练模型；
第二分类模块，用于采用每一个所述第二分类训练模型分别对所述训练样本进行语义分类，得到若干组不同的第二语义分类结果，通过所述损失函数计算每一组所述第二语义分类结果的第二损失值，并根据所述第二损失值在所述第二分类训练模型中选取目标训练模型；
模型训练模块，用于根据所述目标训练模型对应的第二损失值，采用梯度回传算法对所述目标训练模型进行迭代更新，直至满足预设的迭代完成条件，将满足所述迭代完成条件的所述目标训练模型作为语义分类模型。
本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的语义分类模型的训练方法、装置、设备及存储介质，通过第一分类训练模型对训练样本进行一次常规分类，并通过预设的损失函数计算此时的第一损失值，从而为后续模型优化提供参照数据基础，提高了模型训练的准确性；通过稀疏矩阵对扰动元素项进行叠加，避免存在一个或多个的扰动元素项的扰动量过大，影响模型分类的准确度的问题，并且，通过引入扰动作为噪声对模型进行训练，使得模型不会过拟合训练样本，从而提高了模型的泛化能力；通过选取不同的扰动矩阵，对第一分类训练模型的词嵌入向量进行干扰，得到若干个不同的第二分类训练模型，提高了对同一训练样本的分类结果的丰富度，以便于后续选取扰动后更符合需求的模型；通过选取第二损失值更符合需求的第二语义分类结果所对应的第二模型作为最贴合要求的目标训练模型，能够在扰动元素项选取的无序性中，确保得到的目标训练模型的有序性；通过梯度回传算法将筛选得到的目标训练模型进行迭代更新，直至满足完成条件，从而得到了意图识别能力更强的语义分类模型。
附图说明
图1为本申请一实施例的语义分类模型的训练方法的流程示意图；
图2为本申请一具体实施方式的语义分类模型的训练方法的流程示意图；
图3为本申请一实施例的语义分类模型的训练装置的结构示意框图；
图4为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，为了实现上述发明目的，本申请提出一种语义分类模型的训练方法，所述方法包括：
S1：将训练样本输入第一分类训练模型中，得到第一语义分类结果，并通过损失函数计算所述第一语义分类结果的第一损失值；
S2：根据预设的扰动规则生成若干个扰动元素项，并将所述扰动元素项与预设的稀疏矩阵进行叠加，得到扰动矩阵；
S3：将不同的所述扰动矩阵添加至所述第一分类训练模型的词嵌入向量中，得到若干个第二分类训练模型；
S4：采用每一个所述第二分类训练模型分别对所述训练样本进行语义分类，得到若干组不同的第二语义分类结果，通过所述损失函数计算每一组所述第二语义分类结果的第二损失值，并根据所述第二损失值在所述第二分类训练模型中选取目标训练模型；
S5：根据所述目标训练模型对应的第二损失值，采用梯度回传算法对所述目标训练模型进行迭代更新，直至满足预设的迭代完成条件，将满足所述迭代完成条件的所述目标训练模型作为语义分类模型。
本实施例通过第一分类训练模型对训练样本进行一次常规分类，并通过预设的损失函数计算此时的第一损失值，从而为后续模型优化提供参照数据基础，提高了模型训练的准确性；通过稀疏矩阵对扰动元素项进行叠加，避免存在一个或多个的扰动元素项的扰动量过大，影响模型分类的准确度的问题，并且，通过引入扰动作为噪声对模型进行训练，使得模型不会过拟合训练样本，从而提高了模型的泛化能力；通过选取不同的扰动矩阵，对第一分类训练模型的词嵌入向量进行干扰，得到若干个不同的第二分类训练模型，提高了对同一训练样本的分类结果的丰富度，以便于后续选取扰动后更符合需求的模型；通过选取第二损失值更符合需求的第二语义分类结果所对应的第二模型作为最贴合要求的目标训练模型，能够在扰动元素项选取的无序性中，确保得到的目标训练模型的有序性；通过梯度回传算法将筛选得到的目标训练模型进行迭代更新，直至满足完成条件，从而得到了意图识别能力更强的语义分类模型。
对于步骤S1，本实施例应用于语义识别，尤其是语义识别模型的训练中，可以基于人工智能技术对模型进行训练。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。在具体的对话场景中，往往会出现如下的对话类型：机器人提问，Q：请问您和***是亲属关系吗？客户回答A：不清楚，我不知道；对于这类核实关系是否清楚的对话中，往往会因为客户答复的含义不明确导致产生噪声数据，使得模型过拟合噪声数据后，泛化能力变差。为了提高模型泛化能力，先建立或读取一个携带原语义分类算法的初始模型作为第一分类模型，使其先对训练样本进行一次常规分类，并通过预设的损失函数计算此时的第一损失值，从而为后续模型优化提供参照数据基础。本发明中，通过第一分类训练模型对训练样本进行一次常规分类，并通过预设的损失函数计算此时的第一损失值，从而为后续模型优化提供参照数据基础，提高了模型训练的准确性。
对于步骤S2，上述扰动规则可以为随机生成，也可以为在预设的扰动项数据库中随机获取；在获取到随机的若干扰动元素项后，为了避免其对第一分类训练模型的干扰导致第一分类训练模型的误差过大，本发明采用稀疏矩阵的方式对扰动项进行限制，其中，稀疏矩阵中的元素可以为小于1的正数，对扰动元素项进行叠加后，得到较小的一个扰动值。本发明中，通过稀疏矩阵对扰动元素项进行叠加，避免存在一个或多个的扰动元素项的扰动量过大，影响模型分类的准确度的问题。
对于步骤S3，上述词嵌入向量word embedding，其中，embedding在数学上表示一个映射maping，即一个单射函数injective结构或结构保存structure-preserving结构，其中，单射函数中每个Y只有唯一的X对应，structure-preserving能够对结构进行映射，例如在X所属的空间上X1<X2，那么映射后在Y所属空间上同理Y1<Y2，由此可见，对于词嵌入wordembedding，就是将单词word映射到另外一个空间，其中这个映射具有injective和structure-preserving的特点，可认为是单词嵌入，即把X所属空间的单词映射为到Y空间的多维向量，那么该多维向量相当于嵌入到Y所属空间中。将扰动矩阵添加至词嵌入向量中，即对随机的词嵌入向量进行随机的映射干扰，使得映射关系改变，反映被忽略的噪声因素对映射关系的影响，从而避免模型的过拟合。本发明中，通过选取不同的扰动矩阵，对第一分类训练模型的词嵌入向量进行干扰，得到若干个不同的第二分类训练模型，提高了对同一训练样本的分类结果的丰富度，以便于后续选取扰动后更符合需求的模型。
对于步骤S4，由于采用的扰动矩阵不同，通过扰动矩阵干扰后的第二分类训练模型也各不相同，因此，不同的第二分类训练模型对上述训练样本进行语义分类得到的第二语义分类结果也各不相同，在此基础上，选取第二损失值更符合需求的第二语义分类结果所对应的第二模型作为最贴合要求的目标训练模型，能够在扰动元素项选取的无序性中，确保得到的目标训练模型的有序性。
对于步骤S5，对于训练模型来说，神经网络的每一层可以看做是使用一个函数对变量的一次计算，在微分中链式法则用于计算复合函数的导数。梯度回传算法是一种计算链式法则的算法，通过第二损失值对应的Jacobian矩阵和梯度的乘积计算得到，在目标训练模型中预设若干层梯度，并通过上述梯度回传算法一层层地进行目标训练模型更新，直至满足预设的迭代完成条件。本发明通过梯度回传算法将筛选得到的目标训练模型进行迭代更新，直至满足完成条件，从而得到了意图识别能力更强的语义分类模型。
在一个实施例中，所述将所述扰动元素项与预设的稀疏矩阵进行叠加，得到扰动矩阵，包括：
S21：对所述扰动元素项与所述稀疏矩阵进行乘积计算，得到叠加矩阵，计算所述叠加矩阵的叠加矩阵值；
S22：计算第一阈值矩阵的第一矩阵值和第二阈值矩阵的第二矩阵值，其中第一矩阵值小于第二矩阵值；
S23：若所述叠加矩阵值大于所述第二矩阵值，将所述第二阈值矩阵作为所述扰动矩阵，若所述叠加矩阵值小于所述第一矩阵值，将所述第一阈值矩阵作为所述扰动矩阵，若所述叠加矩阵值不大于所述第二矩阵值且不小于所述第一矩阵值，将所述叠加矩阵作为所述扰动矩阵。
本实施例通过扰动范围限定的方式对干扰程度进行限定，避免随机扰动对模型产生的干扰过大，导致干扰后的模型对训练样本的语义分类的误差过大，产生无效模型的问题。
对于步骤S21，可以通过计算叠加矩阵的行列式的方式得到叠加矩阵值，示例性地，当叠加矩阵为
时，其叠加矩阵值k算法如下：
k＝a11a22a33+a12a23a31+a13a21a32-a11a23a32-a12a21a33-a13a22a31
对于步骤S22，第一阈值矩阵和第二阈值矩阵分别为预设的标准最小值和最大值矩阵，对第一阈值矩阵和第二阈值矩阵同样通过上述行列式算法计算，得到第一矩阵值和第二矩阵值，而叠加矩阵值在第一矩阵值和第二矩阵值之间的叠加矩阵即较为合适的扰动矩阵。
对于步骤S23，将第一矩阵值和第二矩阵值之间的区域作为扰动范围，当叠加矩阵的叠加矩阵值超出扰动范围时，若大于第二矩阵值，则舍弃该叠加矩阵，取第二矩阵值对应的第二阈值矩阵作为扰动矩阵；若干扰过小，可能导致产生的第二分类训练模型无意义，因此，若叠加矩阵的叠加矩阵值小于第一矩阵值，则舍弃该叠加矩阵，取第一矩阵值对应的第一阈值矩阵作为扰动矩阵；此外，若叠加矩阵值不大于第二矩阵值且不小于第一矩阵值，即处于扰动范围内时，将该叠加矩阵值对应的叠加矩阵作为扰动矩阵。
在一个实施例中，所述通过所述损失函数计算每一组所述第二语义分类结果的第二损失值，包括：
S41：通过交叉熵损失函数计算每一组所述第二语义分类结果的交叉熵损失值，并将所述交叉熵损失值作为所述第二损失值。
本实施例通过交叉熵损失函数计算每一组第二语义分类结果的交叉熵损失值，避免了损失值较小时训练梯度过小，导致模型衰退难以继续训练问题，从而提高了模型训练的稳定性。
对于步骤S41，在每次得到所述交叉熵损失后均进行一次梯度回传，对上述目标训练模型中的计算参数进行迭代更新，在满足迭代完成条件时停止更新；上述迭代完成条件可以为迭代次数满足迭代次数阈值，或者连续两次训练得到的第二损失值之间的变化值小于预设阈值。具体地，上述迭代更新还可以采用梯度下降法，根据交叉熵损失函数进行迭代。
在一个实施例中，参照图2，所述将训练样本输入第一分类训练模型中之前，还包括：
S101：对初始样本进行特征提取，并将提取的特征参数与预设的音色数据中存储的参考音色数据进行音色误差计算；
S102：根据所述音色误差，对所述初始样本中不满足预设的误差范围的音色进行滤除，得到所述训练样本。
本实施例通过对音色进行比对并滤除不满足预设的误差范围的音色，排除了非人声的影响，提高了语义识别的准确度。
对于步骤S101，为了提高语义识别的准确度，可以对人声以外的音色进行预先滤除。具体来说，可以根据音色对初始样本进行特征提取，示例性地，初始样本中除人声之外，可能包括蝉叫声、鸟叫声等环境音，可以根据不同声音的音色进行标记和提取，并将各个提取的音色数据与参考音色数据进行相似度计算，并根据相似度的倒数得到音色误差，即相似度越大，音色误差越小。得到音色误差后可根据预设的误差范围进行音色滤除，并将未被滤除的音色作为训练样本，从而对初始样本中的环境音进行滤除，提高识别效率。
在一个实施例中，所述根据所述第二损失值在所述第二分类训练模型中选取目标训练模型，包括：
S51：对每一个所述第二分类训练模型对应的所有第二损失值进行平均值计算；
S52：将平均值最小的第二损失值对应的第二分类训练模型作为所述目标训练模型。
本实施例通过对第二分类训练模型对应的所有第二损失值进行平均值计算，并根据平均值选取目标训练模型，避免了偶然误差对模型选取的影响，提高了模型选取的置信度。
对于步骤S51，为了减小个体偏差或随机误差对第二损失值的影响，将一个第二分类训练模型对应的第二损失值作为一个组，再对每一个组的第二损失值进行平均值计算，从而综合性地对不同扰动矩阵下的第二分类训练模型进行准确性评估。
在一个实施例中，所述将满足所述迭代完成条件的所述目标训练模型作为语义分类模型之后，还包括：
S61：接收目标语音，对所述目标语音进行语速分析，得到语速参数；
S62：根据所述语速参数对所述目标语音进行语速调节，并将调节后的所述目标语音输入所述语义分类模型中，得到语义分类结果。
本实施例通过对目标语音的语速进行分析，并对目标语音进行语速调节，提高了语义分类的准确性。
对于步骤S61，在智能机器人的实际对话过程中，由于面对的用户往往具备不同的说话习惯，因此可能会出现语速过快导致汉字连读等问题，影响语义分类结果，示例性地，当用户想表达“去西安怎么买票”的意思时，若发音过快会导致智能机器人误识别为“去‘xian’怎么买票”，进而导致识别结果出现误差。具体地，可以通过目标语音的波形来识别包含的音素串，将各个音素串组合成音节，并计算单位时间内音节的个数，即可得到语速参数。
对于步骤S62，若语速参数大于预设的第一语速阈值，则降低该段目标语音的语速，例如将该段目标语音按照0.5倍率播放等；若语速参数小于预设的第二语速阈值，则提高该段目标语音的语速，例如将该段目标语音按照1.25倍率播放等。
在一个实施例中，所述得到语义分类结果之后，还包括：
S63：根据所述语义分类结果生成答复语句；
S64：向目标设备发送通信连接请求，并接收所述目标设备返回的连接成功信息；
S65：将发送所述通信连接请求与接收所述连接成功信息之间的时间作为延时时间，若所述延时时间大于预设的阈值，在预设的延时语句库中选取延时语句添加至所述答复语句中，并将添加后的所述答复语句发送至所述目标设备。
本实施例根据网络通信的延迟时间在答复语句中添加对应的延时语句，提高了语句答复的智能性。
对于步骤S63，在得到目标语音的语义分类结果后，可再根据预设的语音匹配模型选取预设的答复内容，并形成答复语句。
对于步骤S65，当形成答复语句后，即可向智能机器人等目标设备发起通信连接，但是若当前网络状况较差或者发生故障，则连接时间往往会出现延迟，而该段延迟对与目标设备对话的用户而言，就是该目标设备的反应较慢。基于上述情况，为了提高目标设备答复的智能度，可以在延时语句库中选取一个或多个延时语句，添加至答复语句的开头或结尾处，上述延时语句可以为“抱歉”，“让您久等了”，“感谢您的等待”等，其具体内容在此不做具体限定。
参照图3，本申请还提出了一种语义分类模型的训练装置，包括：
第一分类模块100，用于将训练样本输入第一分类训练模型中，得到第一语义分类结果，并通过损失函数计算所述第一语义分类结果的第一损失值；
扰动生成模块200，用于根据预设的扰动规则生成若干个扰动元素项，并将所述扰动元素项与预设的稀疏矩阵进行叠加，得到扰动矩阵；
扰动添加模块300，用于将不同的所述扰动矩阵添加至所述第一分类训练模型的词嵌入向量中，得到若干个第二分类训练模型；
第二分类模块400，用于采用每一个所述第二分类训练模型分别对所述训练样本进行语义分类，得到若干组不同的第二语义分类结果，通过所述损失函数计算每一组所述第二语义分类结果的第二损失值，并根据所述第二损失值在所述第二分类训练模型中选取目标训练模型；
模型训练模块500，用于根据所述目标训练模型对应的第二损失值，采用梯度回传算法对所述目标训练模型进行迭代更新，直至满足预设的迭代完成条件，将满足所述迭代完成条件的所述目标训练模型作为语义分类模型。
本实施例通过第一分类训练模型对训练样本进行一次常规分类，并通过预设的损失函数计算此时的第一损失值，从而为后续模型优化提供参照数据基础，提高了模型训练的准确性；通过稀疏矩阵对扰动元素项进行叠加，避免存在一个或多个的扰动元素项的扰动量过大，影响模型分类的准确度的问题，并且，通过引入扰动作为噪声对模型进行训练，使得模型不会过拟合训练样本，从而提高了模型的泛化能力；通过选取不同的扰动矩阵，对第一分类训练模型的词嵌入向量进行干扰，得到若干个不同的第二分类训练模型，提高了对同一训练样本的分类结果的丰富度，以便于后续选取扰动后更符合需求的模型；通过选取第二损失值更符合需求的第二语义分类结果所对应的第二模型作为最贴合要求的目标训练模型，能够在扰动元素项选取的无序性中，确保得到的目标训练模型的有序性；通过梯度回传算法将筛选得到的目标训练模型进行迭代更新，直至满足完成条件，从而得到了意图识别能力更强的语义分类模型。
在一个实施例中，所述扰动生成模块200，还用于：
对所述扰动元素项与所述稀疏矩阵进行乘积计算，得到叠加矩阵，计算所述叠加矩阵的叠加矩阵值；
计算第一阈值矩阵的第一矩阵值和第二阈值矩阵的第二矩阵值，其中第一矩阵值小于第二矩阵值；
若所述叠加矩阵值大于所述第二矩阵值，将所述第二阈值矩阵作为所述扰动矩阵，若所述叠加矩阵值小于所述第一矩阵值，将所述第一阈值矩阵作为所述扰动矩阵，若所述叠加矩阵值不大于所述第二矩阵值且不小于所述第一矩阵值，将所述叠加矩阵作为所述扰动矩阵。
在一个实施例中，所述第二分类模块400，还用于：
通过交叉熵损失函数计算每一组所述第二语义分类结果的交叉熵损失值，并将所述交叉熵损失值作为所述第二损失值。
在一个实施例中，还包括音色滤除模块600，用于：
对初始样本进行特征提取，并将提取的特征参数与预设的音色数据中存储的参考音色数据进行音色误差计算；
根据所述音色误差，对所述初始样本中不满足预设的误差范围的音色进行滤除，得到所述训练样本。
在一个实施例中，所述模型训练模块500，还用于：
对每一个所述第二分类训练模型对应的所有第二损失值进行平均值计算；
将平均值最小的第二损失值对应的第二分类训练模型作为所述目标训练模型。
在一个实施例中，还包括语速调节模块700，用于：
接收目标语音，对所述目标语音进行语速分析，得到语速参数；
根据所述语速参数对所述目标语音进行语速调节，并将调节后的所述目标语音输入所述语义分类模型中，得到语义分类结果。
在一个实施例中，所述语速调节模块700，还用于：
根据所述语义分类结果生成答复语句；
向目标设备发送通信连接请求，并接收所述目标设备返回的连接成功信息；
将发送所述通信连接请求与接收所述连接成功信息之间的时间作为延时时间，若所述延时时间大于预设的阈值，在预设的延时语句库中选取延时语句添加至所述答复语句中，并将添加后的所述答复语句发送至所述目标设备。
参照图4，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存语义分类模型的训练方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种语义分类模型的训练方法。所述语义分类模型的训练方法，包括：将训练样本输入第一分类训练模型中，得到第一语义分类结果，并通过损失函数计算所述第一语义分类结果的第一损失值；根据预设的扰动规则生成若干个扰动元素项，并将所述扰动元素项与预设的稀疏矩阵进行叠加，得到扰动矩阵；将不同的所述扰动矩阵添加至所述第一分类训练模型的词嵌入向量中，得到若干个第二分类训练模型；采用每一个所述第二分类训练模型分别对所述训练样本进行语义分类，得到若干组不同的第二语义分类结果，通过所述损失函数计算每一组所述第二语义分类结果的第二损失值，并根据所述第二损失值在所述第二分类训练模型中选取目标训练模型；根据所述目标训练模型对应的第二损失值，采用梯度回传算法对所述目标训练模型进行迭代更新，直至满足预设的迭代完成条件，将满足所述迭代完成条件的所述目标训练模型作为语义分类模型。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种语义分类模型的训练方法，包括步骤：将训练样本输入第一分类训练模型中，得到第一语义分类结果，并通过损失函数计算所述第一语义分类结果的第一损失值；根据预设的扰动规则生成若干个扰动元素项，并将所述扰动元素项与预设的稀疏矩阵进行叠加，得到扰动矩阵；将不同的所述扰动矩阵添加至所述第一分类训练模型的词嵌入向量中，得到若干个第二分类训练模型；采用每一个所述第二分类训练模型分别对所述训练样本进行语义分类，得到若干组不同的第二语义分类结果，通过所述损失函数计算每一组所述第二语义分类结果的第二损失值，并根据所述第二损失值在所述第二分类训练模型中选取目标训练模型；根据所述目标训练模型对应的第二损失值，采用梯度回传算法对所述目标训练模型进行迭代更新，直至满足预设的迭代完成条件，将满足所述迭代完成条件的所述目标训练模型作为语义分类模型。
上述执行的语义分类模型的训练方法，本实施例通过第一分类训练模型对训练样本进行一次常规分类，并通过预设的损失函数计算此时的第一损失值，从而为后续模型优化提供参照数据基础，提高了模型训练的准确性；通过稀疏矩阵对扰动元素项进行叠加，避免存在一个或多个的扰动元素项的扰动量过大，影响模型分类的准确度的问题，并且，通过引入扰动作为噪声对模型进行训练，使得模型不会过拟合训练样本，从而提高了模型的泛化能力；通过选取不同的扰动矩阵，对第一分类训练模型的词嵌入向量进行干扰，得到若干个不同的第二分类训练模型，提高了对同一训练样本的分类结果的丰富度，以便于后续选取扰动后更符合需求的模型；通过选取第二损失值更符合需求的第二语义分类结果所对应的第二模型作为最贴合要求的目标训练模型，能够在扰动元素项选取的无序性中，确保得到的目标训练模型的有序性；通过梯度回传算法将筛选得到的目标训练模型进行迭代更新，直至满足完成条件，从而得到了意图识别能力更强的语义分类模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种语义分类模型的训练方法，其特征在于，所述方法包括：
将训练样本输入第一分类训练模型中，得到第一语义分类结果，并通过损失函数计算所述第一语义分类结果的第一损失值；
根据预设的扰动规则生成若干个扰动元素项，并将所述扰动元素项与预设的稀疏矩阵进行叠加，得到扰动矩阵；
将不同的所述扰动矩阵添加至所述第一分类训练模型的词嵌入向量中，得到若干个第二分类训练模型；
采用每一个所述第二分类训练模型分别对所述训练样本进行语义分类，得到若干组不同的第二语义分类结果，通过所述损失函数计算每一组所述第二语义分类结果的第二损失值，并根据所述第二损失值在所述第二分类训练模型中选取目标训练模型；
根据所述目标训练模型对应的第二损失值，采用梯度回传算法对所述目标训练模型进行迭代更新，直至满足预设的迭代完成条件，将满足所述迭代完成条件的所述目标训练模型作为语义分类模型。
2.根据权利要求1所述的语义分类模型的训练方法，其特征在于，所述将所述扰动元素项与预设的稀疏矩阵进行叠加，得到扰动矩阵，包括：
对所述扰动元素项与所述稀疏矩阵进行乘积计算，得到叠加矩阵，计算所述叠加矩阵的叠加矩阵值；
计算第一阈值矩阵的第一矩阵值和第二阈值矩阵的第二矩阵值，其中第一矩阵值小于第二矩阵值；
若所述叠加矩阵值大于所述第二矩阵值，将所述第二阈值矩阵作为所述扰动矩阵，若所述叠加矩阵值小于所述第一矩阵值，将所述第一阈值矩阵作为所述扰动矩阵，若所述叠加矩阵值不大于所述第二矩阵值且不小于所述第一矩阵值，将所述叠加矩阵作为所述扰动矩阵。
3.根据权利要求1所述的语义分类模型的训练方法，其特征在于，所述通过所述损失函数计算每一组所述第二语义分类结果的第二损失值，包括：
通过交叉熵损失函数计算每一组所述第二语义分类结果的交叉熵损失值，并将所述交叉熵损失值作为所述第二损失值。
4.根据权利要求1所述的语义分类模型的训练方法，其特征在于，所述将训练样本输入第一分类训练模型中之前，还包括：
对初始样本进行特征提取，并将提取的特征参数与预设的音色数据中存储的参考音色数据进行音色误差计算；
根据所述音色误差，对所述初始样本中不满足预设的误差范围的音色进行滤除，得到所述训练样本。
5.根据权利要求1所述的语义分类模型的训练方法，其特征在于，所述根据所述第二损失值在所述第二分类训练模型中选取目标训练模型，包括：
对每一个所述第二分类训练模型对应的所有第二损失值进行平均值计算；
将平均值最小的第二损失值对应的第二分类训练模型作为所述目标训练模型。
6.根据权利要求1所述的语义分类模型的训练方法，其特征在于，所述将满足所述迭代完成条件的所述目标训练模型作为语义分类模型之后，还包括：
接收目标语音，对所述目标语音进行语速分析，得到语速参数；
根据所述语速参数对所述目标语音进行语速调节，并将调节后的所述目标语音输入所述语义分类模型中，得到语义分类结果。
7.根据权利要求6所述的语义分类模型的训练方法，其特征在于，所述得到语义分类结果之后，还包括：
根据所述语义分类结果生成答复语句；
向目标设备发送通信连接请求，并接收所述目标设备返回的连接成功信息；
将发送所述通信连接请求与接收所述连接成功信息之间的时间作为延时时间，若所述延时时间大于预设的阈值，在预设的延时语句库中选取延时语句添加至所述答复语句中，并将添加后的所述答复语句发送至所述目标设备。
8.一种语义分类模型的训练装置，其特征在于，包括：
第一分类模块，用于将训练样本输入第一分类训练模型中，得到第一语义分类结果，并通过损失函数计算所述第一语义分类结果的第一损失值；
扰动生成模块，用于根据预设的扰动规则生成若干个扰动元素项，并将所述扰动元素项与预设的稀疏矩阵进行叠加，得到扰动矩阵；
扰动添加模块，用于将不同的所述扰动矩阵添加至所述第一分类训练模型的词嵌入向量中，得到若干个第二分类训练模型；
第二分类模块，用于采用每一个所述第二分类训练模型分别对所述训练样本进行语义分类，得到若干组不同的第二语义分类结果，通过所述损失函数计算每一组所述第二语义分类结果的第二损失值，并根据所述第二损失值在所述第二分类训练模型中选取目标训练模型；
模型训练模块，用于根据所述目标训练模型对应的第二损失值，采用梯度回传算法对所述目标训练模型进行迭代更新，直至满足预设的迭代完成条件，将满足所述迭代完成条件的所述目标训练模型作为语义分类模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111267955.XA CN113887243A (zh) | 2021-10-29 | 2021-10-29 | 语义分类模型的训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111267955.XA CN113887243A (zh) | 2021-10-29 | 2021-10-29 | 语义分类模型的训练方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113887243A true CN113887243A (zh) | 2022-01-04 |
Family
ID=79014188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111267955.XA Pending CN113887243A (zh) | 2021-10-29 | 2021-10-29 | 语义分类模型的训练方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113887243A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574146A (zh) * | 2023-11-15 | 2024-02-20 | 广州方舟信息科技有限公司 | 文本分类标注方法、装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190197429A1 (en) * | 2016-12-12 | 2019-06-27 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for training classification model, and method and apparatus for classifying data |
| CN110866113A (zh) * | 2019-09-30 | 2020-03-06 | 浙江大学 | 基于稀疏自注意力机制微调伯特模型的文本分类方法 |
| CN113011587A (zh) * | 2021-03-24 | 2021-06-22 | 支付宝(杭州)信息技术有限公司 | 一种隐私保护的模型训练方法和系统 |
| US20210319267A1 (en) * | 2020-04-14 | 2021-10-14 | Robert Bosch Gmbh | Device and method for training a classifier |
-
2021
- 2021-10-29 CN CN202111267955.XA patent/CN113887243A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190197429A1 (en) * | 2016-12-12 | 2019-06-27 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for training classification model, and method and apparatus for classifying data |
| CN110866113A (zh) * | 2019-09-30 | 2020-03-06 | 浙江大学 | 基于稀疏自注意力机制微调伯特模型的文本分类方法 |
| US20210319267A1 (en) * | 2020-04-14 | 2021-10-14 | Robert Bosch Gmbh | Device and method for training a classifier |
| CN113011587A (zh) * | 2021-03-24 | 2021-06-22 | 支付宝(杭州)信息技术有限公司 | 一种隐私保护的模型训练方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李文慧;张英俊;潘理虎;: "改进biLSTM网络的短文本分类方法", 计算机工程与设计, no. 03, 16 March 2020 (2020-03-16) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574146A (zh) * | 2023-11-15 | 2024-02-20 | 广州方舟信息科技有限公司 | 文本分类标注方法、装置、电子设备和存储介质 |
| CN117574146B (zh) * | 2023-11-15 | 2024-05-28 | 广州方舟信息科技有限公司 | 文本分类标注方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136690B (zh) | 语音合成方法、装置及计算机可读存储介质 | |
| CN110211563B (zh) | 面向情景及情感的中文语音合成方法、装置及存储介质 | |
| Li et al. | Robust automatic speech recognition: a bridge to practical applications | |
| CN110210032B (zh) | 文本处理方法及装置 | |
| CN109887484A (zh) | 一种基于对偶学习的语音识别与语音合成方法及装置 | |
| CN113254613B (zh) | 对话问答方法、装置、设备及存储介质 | |
| CN113297366B (zh) | 多轮对话的情绪识别模型训练方法、装置、设备及介质 | |
| CN110796231B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN112712789B (zh) | 跨语言音频转换方法、装置、计算机设备和存储介质 | |
| CN115116448A (zh) | 语音提取方法、神经网络模型训练方法、装置及存储介质 | |
| CN114743539A (zh) | 语音合成方法、装置、设备及存储介质 | |
| CN115171666A (zh) | 语音转换模型训练方法、语音转换方法、装置及介质 | |
| CN112382272A (zh) | 可控制语音速度的语音合成方法、装置、设备及存储介质 | |
| CN116959465A (zh) | 语音转换模型训练方法、语音转换方法、装置及介质 | |
| CN113887243A (zh) | 语义分类模型的训练方法、装置、设备及存储介质 | |
| KR20220071960A (ko) | 고품질의 합성 음성을 생성하는 음성 합성 시스템 | |
| CN111933125B (zh) | 联合模型的语音识别方法、装置和计算机设备 | |
| CN117672176A (zh) | 基于语音自监督学习表征的重读可控语音合成方法及装置 | |
| CN113223504A (zh) | 声学模型的训练方法、装置、设备和存储介质 | |
| CN114724568A (zh) | 基于神经网络的语音转换方法、系统、设备及存储介质 | |
| CN110956981A (zh) | 语音情感识别方法、装置、设备及存储介质 | |
| CN113593525B (zh) | 口音分类模型训练和口音分类方法、装置和存储介质 | |
| CN115359780A (zh) | 语音合成方法、装置、计算机设备及存储介质 | |
| CN116189656A (zh) | 一种语音翻译方法、语音翻译装置、设备及存储介质 | |
| CN115018988A (zh) | 虚拟形象视频流生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |