CN112579774A - 模型训练方法、模型训练装置及终端设备 - Google Patents
模型训练方法、模型训练装置及终端设备 Download PDFInfo
- Publication number
- CN112579774A CN112579774A CN202011504757.6A CN202011504757A CN112579774A CN 112579774 A CN112579774 A CN 112579774A CN 202011504757 A CN202011504757 A CN 202011504757A CN 112579774 A CN112579774 A CN 112579774A
- Authority
- CN
- China
- Prior art keywords
- training
- trained
- sentence
- model
- text classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 200
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013145 classification model Methods 0.000 claims abstract description 123
- 238000012545 processing Methods 0.000 claims abstract description 43
- 239000013598 vector Substances 0.000 claims description 104
- 238000004590 computer program Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000003058 natural language processing Methods 0.000 claims description 9
- 230000000873 masking effect Effects 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请适用于人工智能技术领域，提供了模型训练方法、模型训练装置、终端设备及存储介质，其中，一种模型训练方法，包括：对第一待训练语句进行掩码处理；根据进行掩码处理后的第一待训练语句对文本分类模型进行第一训练，获得第一训练完成的文本分类模型；根据第二待训练语句对所述第一训练完成的文本分类模型进行第二训练，获得第二训练完成的文本分类模型；基于待预测语句，对所述第二训练完成的文本分类模型进行第三训练，获得第三训练完成的文本分类模型。通过上述方法，可以获得准确性较高的文本分类模型。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及模型训练方法、模型训练装置、终端设备及计算机可读存储介质。
背景技术
文本分类是自然语言处理中一项十分基础且重要的工作。它的应用也非常广泛，比如：垃圾信息过滤，新闻分类，词性标注等等。
目前，用于常用的机器学习相关的文本分类方法有基于逻辑回归、支持向量机的文本分类方法等。而这些机器学习算法在根据输入的文本进行特征提取时，提取的文本点信息都较为独立，不能很好地利用上下文信息，从而导致文本分类的准确性较低。
发明内容
有鉴于此，本申请实施例提供了模型训练方法、模型训练装置、终端设备及计算机可读存储介质，可以获得准确性较高的文本分类模型。
第一方面，本申请实施例提供了一种模型训练方法，包括：
对第一待训练语句进行掩码处理，其中，所述掩码处理指将第一待训练语句中的指定文字进行遮盖，以将所述指定文字作为待预测文字，若所述指定文字涉及第一产品名，则将涉及的每一个第一产品名作为一组待预测文字；
根据进行掩码处理后的第一待训练语句对文本分类模型进行第一训练，获得第一训练完成的文本分类模型，其中，第一训练中，所述文本分类模型用于对进行掩码处理后的第一待训练语句中的待预测文字进行预测；
根据第二待训练语句对所述第一训练完成的文本分类模型进行第二训练，获得第二训练完成的文本分类模型，其中，各个所述第二待训练语句中分别包括至少一个第一产品名，并且，每个所述第二训练语句对应有业务标签，第二训练中，所述文本分类模型用于确定所述第二待训练语句所对应的业务类别；
基于待预测语句，对所述第二训练完成的文本分类模型进行第三训练，获得第三训练完成的文本分类模型，其中，所述待预测语句与所述第一待训练语句以及所述第二训练语句不同，第三训练中，基于所述文本分类模型中的至少两个指定层的输出确定所述第三训练是否完成。
第二方面，本申请实施例提供了一种模型训练装置，包括：
掩码处理模块，用于对第一待训练语句进行掩码处理，其中，所述掩码处理指将第一待训练语句中的指定文字进行遮盖，以将所述指定文字作为待预测文字，若所述指定文字涉及第一产品名，则将涉及的每一个第一产品名作为一组待预测文字；
第一训练模块，用于根据进行掩码处理后的第一待训练语句对文本分类模型进行第一训练，获得第一训练完成的文本分类模型，其中，第一训练中，所述文本分类模型用于对进行掩码处理后的第一待训练语句中的待预测文字进行预测；
第二训练模块，用于根据第二待训练语句对所述第一训练完成的文本分类模型进行第二训练，获得第二训练完成的文本分类模型，其中，各个所述第二待训练语句中分别包括至少一个第一产品名，并且，每个所述第二训练语句对应有业务标签，第二训练中，所述文本分类模型用于确定所述第二待训练语句所对应的业务类别；
第三训练模块，用于基于待预测语句，对所述第二训练完成的文本分类模型进行第三训练，获得第三训练完成的文本分类模型，其中，所述待预测语句与所述第一待训练语句以及所述第二训练语句不同，第三训练中，基于所述文本分类模型中的至少两个指定层的输出确定所述第三训练是否完成。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器、显示器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面所述的模型训练方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的模型训练方法。
实施本申请实施例提供的模型训练方法具有以下有益效果：本申请实施例中，可以将产品名等业务术语通过掩码处理后的第一待训练语句通过第一训练融入进文本分类模型中，获得第一训练完成的文本分类模型；然后，再通过第二待训练语句的业务标签和第一产品名，将业务类别和产品名等业务特征融入到第一训练完成的文本分类模型中，获得第二训练完成的文本分类模型；接着，可以通过第三训练和待预测语句，第二训练完成的文本分类模型进行精调，从而获得第三训练完成的预设模型，此时，所述第三训练完成的预设模型能够较为准确地识别文本中的业务信息。可见，通过本申请实施例，能够通过多层次的模型训练，获得文本分类准确率较高的第三训练完成的文本分类模型，以在后续能够通过该第三训练完成的文本分类模型，较为准确地检测文本类别。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种模型训练方法的流程示意图；
图2是本申请一实施例提供的步骤S104的一种流程示意图；
图3是本申请一实施例提供的一种模型训练装置的结构示意图；
图4是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的模型训练方法可以应用于服务器、台式电脑、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
请参阅图1，图1示出了本申请实施例提供的一种模型训练方法的流程图。
如图1所示，本实施例提供的一种模型训练方法可以包括：
步骤S101，对第一待训练语句进行掩码处理，其中，所述掩码处理指将第一待训练语句中的指定文字进行遮盖，以将所述指定文字作为待预测文字，若所述指定文字涉及第一产品名，则将涉及的每一个第一产品名作为一组待预测文字。
本申请实施例中，所述掩码处理可以随机地确定指定文字的位置和包含的文字个数，当然，可以根据其他预设的规则确定指定文字的位置和包含的文字个数等。若任一所述掩码处理中涉及第一产品名，则该掩码处理即对该第一产品名打上掩码。
例如，“请问产品A适合有小孩的家庭”，会对“产品A”打上连续的掩码进行遮盖以用于预测，而不会仅仅对“A”打上掩码。
步骤S102，根据进行掩码处理后的第一待训练语句对文本分类模型进行第一训练，获得第一训练完成的文本分类模型，其中，第一训练中，所述文本分类模型用于对进行掩码处理后的第一待训练语句中的待预测文字进行预测。
所述文本分类模型的具体结构在此不作限定。示例性的，所述文本分类模型可以为分层注意网络(Hierarchical Attention Network)、动态记忆网络(Dynamic MemoryNetwork)、文本卷积神经网络(Text Convolutional Neural Network)或者12层transformer模型等等。
其中，所述第一训练完成的判断方式可以有多种。例如，可以是第一训练的迭代次数达到预设次数，也可以是第一训练的某一次迭代过程中，所述文本分类模型对第一待训练语句的待预测文字的预测精度达到第一精度阈值等等。所述第一训练中的损失函数等在此也不做限定。示例性的，所述第一训练中的损失函数可以为交叉熵函数、均方差函数等等。
本申请实施例中，可以将产品名等业务术语通过掩码处理后的第一待训练语句通过第一训练融入进文本分类模型中，获得第一训练完成的文本分类模型。
步骤S103，根据第二待训练语句对所述第一训练完成的文本分类模型进行第二训练，获得第二训练完成的文本分类模型，其中，各个所述第二待训练语句中分别包括至少一个第一产品名，并且，每个所述第二训练语句对应有业务标签，第二训练中，所述文本分类模型用于确定所述第二待训练语句所对应的业务类别。
第二训练过程可以用于区分业务用语(即产品名)在文本分类模型中的融入效果，使得
示例性的，所述业务标签可以包括业务类别标签、业务对象标签、业务内容标签等等中的至少一种。所述业务标签可以用于判断所述第二训练是否完成，也可以用于将业务信息通过第二训练的方式融入第二训练完成的文本分类模型中，使得第二训练完成的文本分类模型能够识别业务标签中的信息，从而使得第一产品名、业务术语、业务内容以及指向的业务类别等业务信息在第二训练完成的文本分类模型中得到突显。
其中，所述第二训练完成的判断方式可以有多种。例如，可以是第二训练的迭代次数达到预设次数，也可以是第二训练的某一次迭代过程中，所述文本分类模型对第二待训练语句的待预测文字的预测精度达到第二精度阈值等等。所述第二训练中的损失函数等在此也不做限定。示例性的，所述第二训练中的损失函数可以为交叉熵函数、均方差函数等等。
步骤S104，基于待预测语句，对所述第二训练完成的文本分类模型进行第三训练，获得第三训练完成的文本分类模型，其中，所述待预测语句与所述第一待训练语句以及所述第二训练语句不同，第三训练中，基于所述文本分类模型中的至少两个指定层的输出确定所述第三训练是否完成。
本申请实施例中，所述待预测语句可以与所述第一待训练语句以及第二待训练语句不同。此时，所述待预测语句可以认为是实际应用场景中的具体应用数据，因此，在针对具体业务，可以通过所述第三训练过程和所述待预测语句，将第二训练完成的文本分类模型迁移到新数据(即待预测语句)中。因此，所述待预测语句可以针对不同的应用场景而变化。
可见，所述第三训练可以用于针对业务场景的迁移学习。也即是说，在获得第二训练完成的文本分类模型之后，针对与第一待训练语句和第二待训练语句存在不同的业务场景，可以获取包含该业务场景的待预测语句，并通过包含该业务场景的待预测语句对所述第二训练完成的文本分类模型进行第三训练，以对所述第二训练完成的文本分类模型进行有针对性地精调，获得第三训练完成的文本分类模型。此时，第三训练完成的文本分类模型可以较好地识别待预测语句所对应的业务场景下的文本类别，同时，在第二训练完成的文本分类模型的基础上进行第三训练时，训练难度大大减小，训练效率较高。
在一些实施例中，所述基于待预测语句，对所述第二训练完成的文本分类模型进行第三训练，获得第三训练完成的文本分类模型，包括：
步骤S201，在所述第三训练的每一次迭代过程中，针对一个待预测语句，将所述待预测语句输入第二训练完成的预设模型，获得第二训练完成的预设模型的至少两个指定层针对所述待预测语句所分别输出的第一词向量；
步骤S202，针对第二训练完成的预设模型所输出的关于所述待预测语句的输出向量，获取与所述输出向量相关联的第二词向量，其中，所述输出向量所指示的业务类别与所述第二词向量所指示的业务类别相同；
步骤S203，根据所述待预测语句中除所述第一词向量相关联的文字以外的其他部分，获得第三词向量；
步骤S204，根据所述第一词向量、第二词向量、第三词向量和预设分类网络，进行业务分类；
步骤S205，根据业务分类结果，确定所述第三训练是否完成。
本申请实施例中，所述第二训练完成的文本分类模型的至少两个指定层的类型、个数以及结构形式在此不做限制。示例性的，所述指定层可以包括特征提取层、激活层和/或全连接层等等。
在一些实施例中，所述针对第二训练完成的预设模型所输出的关于所述待预测语句的输出向量，获取与所述输出向量相关联的第二词向量可以包括：
针对第二训练完成的预设模型所输出的关于所述待预测语句的输出向量，基于产品图谱获取与所述输出向量相关联的第二词向量。
其中，所述产品图谱中的每一个节点包括至少一个第一产品名，一个所述节点中的第一产品名对应同一个产品，并且，每一个节点所对应的属性信息包含所述节点所对应的产品的业务信息。因此，可以通过所述产品图谱，获取到与所述输出向量所指示的业务类别相关联的第一产品名，再通过诸如第二训练完成的文本分类模型等，获得与所述输出向量所指示的业务类别相关联的第一产品名的词向量作为所述第二词向量。
所述第一词向量可以认为是表征待预测语句中的第一产品名的特征向量，第二训练完成的预设模型所输出的关于所述待预测语句的输出向量可以用于指示所述待预测语句的业务类别，而所述第二词向量可以认为是与所述输出向量所指示的业务类别相关联的第一产品名的词向量。所述第三词向量可以包含所述待预测语句中的第一产品名的上下文信息。
此时，通过所述预设分类网络可以整合所述第一词向量、第二词向量和第三词向量的信息，从而根据多维度的信息进行业务分类。示例性的，所述预设分类网络可以包括全连接层。
在一些实施例中，所述根据所述第一词向量、第二词向量、第三词向量和预设分类网络，进行业务分类，包括：
对至少两个所述第一词向量进行池化处理，获得第一向量；
对所述第二词向量进行池化处理，获得第二向量；
对所述第三词向量进行池化处理，获得第三向量；
根据所述第一向量、第二向量、第三向量和预设分类网络，进行业务分类。
示例性的，所述池化处理可以为最大池化处理。所述第二训练完成的文本分类模型的至少两个指定层的类型、个数以及结构形式在此不做限制。
示例性的，所述第二训练完成的文本分类模型的至少两个指定层可以为所述第二训练完成的文本分类模型的最后四层。该最后四层针对所述待预测语句所分别输出的第一词向量可以称为CLS(classification)向量；
该第一词向量经过最大池化处理后形成一个融合四层CLS向量的第一向量，记为h(CLS’)。
针对第二训练完成的文本分类模型基于所述待预测语句的输出向量，基于所述产品图谱查找与所述输出向量相关联的第二词向量，该第二词向量经过最大池化处理后获得一个与CLS向量维度相同的第二向量记为h(A)。
根据所述待预测语句中除所述第一词向量相关联的文字以外的其他部分，获得第三词向量；
该第二词向量经过最大池化处理后形成一个与CLS向量维度相同的第三向量记为h(B)；
h(CLS’)、h(A)和h(B)经过预设分类网络，可以进行分类操作，以进行业务分类，获得业务分类结果，从而根据该业务分类结果和预设损失函数(如交叉熵函数)，确定是否训练完成。
在一些实施例中，各个所述第一产品名和所述业务标签为根据产品图谱而得到，所述产品图谱中的每一个节点包括至少一个第一产品名，一个所述节点中的第一产品名对应同一个产品，并且，每一个节点所对应的属性信息包含所述节点所对应的产品的业务信息。
在一些实施例中，在对第一待训练语句进行掩码处理之前，还包括：
从预设语料中获取待识别产品名；
针对每一个待识别产品名，确定所述待识别产品名分别相对于各个标准产品名的相似度信息；
根据各个所述相似度信息，生成产品名关联列表，所述产品名关联列表中包括至少两个第一产品名和各个第一产品名之间的关联关系，任一所述第一产品名为标准产品名或者待识别产品名；
根据预设业务信息和所述产品名关联列表，生成产品图谱。
其中，所述语料可以为特定业务领域的文本资料。从所述预设语料中获取待识别产品名的方式可以有多种。例如，可以是通过人工提取得到，也可以是通过预设的关键词提取算法等等方式从所述预设语料的标题、预设产品列表、文件描述部分内容等位置提取得到。
所述标准产品名可以从预设的标准产品名列表中提取得到。示例性的，所述标准产品名列表可以是从特定业务领域的标准产品名录等文件中提取得到。
例如，对于保险业务，所述标准产品名可以从目前在售的保险条目文件等等。
所述待识别产品名可以认为是业务预料中可能存在的对所述标准产品名的别称。针对每一个待识别产品名，若所述待识别产品名与任一标准产品名的相似度大于预设相似度阈值，则可以认为所述待识别产品名为该标准产品名的相似说法，也即是说，可以认为该待识别产品名与所述标准产品名相关联，并指向同一产品。
可见，通过生成产品名关联列表，从而可以确定哪一些产品名与同一个业务相关联，以为后续的业务分类提供分类基础。
所述业务信息可以从预设的业务文件中提取得到，所述业务信息可以标识对应的产品的定义、业务范围、目标客户、业务内容以及业务类别等等中的至少一种。其中，目标客户还可以包括目标客户年龄、职业等客户群体信息。
需要说明的是，所述属性信息的具体获取形式可以有多种。例如，可以通过人工获取，也可以通过关键词匹配的方式提取得到，或者，还可以通过特定的深度学习模型获取到。
在一些实施例中，示例性的，所述属性信息可以通过预先训练的BERT+CRF模型从预设的业务文件中提取得到。
其中，所述条件随机场(Conditional Random Fields，CRF)模型是一种基于遵循马尔可夫性的概率图模型。所述BERT模型是一个预训练语言表示模型(pre-trainedlanguage representations model)，全称为Bidirectional Encoder Representationsfrom Transformers。
BERT+CRF模型为命名实体识别模型，命名实体识别(Named Entity Recognition，简称NER)模型可以在信息提取、问答系统、句法分析、机器翻译等应用领域中进行应用。
对所述BERT+CRF模型的预训练可以通过预设产品名和对应的预设属性信息共同构成的预设语句进行初步训练，再通过业务文件中的文本对初步训练后的BERT+CRF模型进行精调，然后通过精调后的BERT+CRF模型，从所述业务文件中，提取各个产品名所分别对应的属性信息。
在一些实施例中，所述针对每一个待识别产品名，确定所述待识别产品名分别相对于各个标准产品名的相似度信息，包括：
将所述待识别产品名与预设的标准产品名输入第一自然语言处理模型，获得所述第一自然语言处理模型的输出结果，所述输出结果包括每一个所述待识别产品名分别相对于各个标准产品名的相似度信息。
所述第一自然语言处理模型在此不作限制。示例性的，所述第一自然语言处理模型可以为BERT模型。所述BERT模型是一个预训练语言表示模型(pre-trained languagerepresentations model)，全称为Bidirectional Encoder Representations fromTransformers。
通过所述BERT模型，可以计算每一个所述待识别产品名分别相对于每一个标准产品名之间的相似度信息。
在一些实施例中，在获得第三训练完成的文本分类模型之后，还包括：
通过所述第三训练完成的文本分类模型，对待检测文本进行文本分类，以确定所述待检测文本的业务类别。
本申请实施例中，所述第三训练完成的文本分类模型能够对特定业务的业务术语进行识别，从而可以根据识别得到的业务数据信息，对涉及特定业务场景的待检测文本进行较为准确的文本分类，获得较为准确的业务类别。
本申请实施例中，可以将产品名等业务术语通过掩码处理后的第一待训练语句通过第一训练融入进文本分类模型中，获得第一训练完成的文本分类模型；然后，再通过第二待训练语句的业务标签和第一产品名，将业务类别和产品名等业务特征融入到第一训练完成的文本分类模型中，获得第二训练完成的文本分类模型；接着，可以通过第三训练和待预测语句，第二训练完成的文本分类模型进行精调，从而获得第三训练完成的预设模型，此时，所述第三训练完成的预设模型能够较为准确地识别文本中的业务信息。可见，通过本申请实施例，能够通过多层次的模型训练，获得文本分类准确率较高的第三训练完成的文本分类模型，以在后续能够通过该第三训练完成的文本分类模型，较为准确地检测文本类别。
请参阅图3，图3是本申请实施例提供的一种模型训练装置的结构框图。本实施例中该终端设备包括的各单元用于执行上述各个模型训练方法实施例中的各步骤。具体请参阅上述模型训练方法所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。
参照图3，该模型训练装置3包括：
掩码处理模块301，用于对第一待训练语句进行掩码处理，其中，所述掩码处理指将第一待训练语句中的指定文字进行遮盖，以将所述指定文字作为待预测文字，若所述指定文字涉及第一产品名，则将涉及的每一个第一产品名作为一组待预测文字；
第一训练模块302，用于根据进行掩码处理后的第一待训练语句对文本分类模型进行第一训练，获得第一训练完成的文本分类模型，其中，第一训练中，所述文本分类模型用于对进行掩码处理后的第一待训练语句中的待预测文字进行预测；
第二训练模块303，用于根据第二待训练语句对所述第一训练完成的文本分类模型进行第二训练，获得第二训练完成的文本分类模型，其中，各个所述第二待训练语句中分别包括至少一个第一产品名，并且，每个所述第二训练语句对应有业务标签，第二训练中，所述文本分类模型用于确定所述第二待训练语句所对应的业务类别；
第三训练模块304，用于基于待预测语句，对所述第二训练完成的文本分类模型进行第三训练，获得第三训练完成的文本分类模型，其中，所述待预测语句与所述第一待训练语句以及所述第二训练语句不同，第三训练中，基于所述文本分类模型中的至少两个指定层的输出确定所述第三训练是否完成。
可选的，所述第三训练模块304包括：
训练单元，用于在所述第三训练的每一次迭代过程中，针对一个待预测语句，将所述待预测语句输入第二训练完成的预设模型，获得第二训练完成的预设模型的至少两个指定层针对所述待预测语句所分别输出的第一词向量；
第一处理单元，用于针对第二训练完成的预设模型所输出的关于所述待预测语句的输出向量，获取与所述输出向量相关联的第二词向量，其中，所述输出向量所指示的业务类别与所述第二词向量所指示的业务类别相同；
第二处理单元，用于根据所述待预测语句中除所述第一词向量相关联的文字以外的其他部分，获得第三词向量；
分类单元，用于根据所述第一词向量、第二词向量、第三词向量和预设分类网络，进行业务分类；
第三处理单元，用于根据业务分类结果，确定所述第三训练是否完成。
可选的，所述分类单元具体包括：
第一处理子单元，用于对至少两个所述第一词向量进行池化处理，获得第一向量；
第二处理子单元，用于对所述第二词向量进行池化处理，获得第二向量；
第三处理子单元，用于对所述第三词向量进行池化处理，获得第三向量；
分类子单元，用于根据所述第一向量、第二向量、第三向量和预设分类网络，进行业务分类。
可选的，各个所述第一产品名和所述业务标签为根据产品图谱而得到，所述产品图谱中的每一个节点包括至少一个第一产品名，一个所述节点中的第一产品名对应同一个产品，并且，每一个节点所对应的属性信息包含所述节点所对应的产品的业务信息。
可选的，该模型训练装置3还包括：
获取模块，用于从预设语料中获取待识别产品名；
确定模块，用于针对每一个待识别产品名，确定所述待识别产品名分别相对于各个标准产品名的相似度信息；
第一生成模块，用于根据各个所述相似度信息，生成产品名关联列表，所述产品名关联列表中包括至少两个第一产品名和各个第一产品名之间的关联关系，任一所述第一产品名为标准产品名或者待识别产品名；
第二生成模块，用于根据预设业务信息和所述产品名关联列表，生成产品图谱。
可选的，所述确定模块具体用于：
将所述待识别产品名与预设的标准产品名输入第一自然语言处理模型，获得所述第一自然语言处理模型的输出结果，所述输出结果包括每一个所述待识别产品名分别相对于各个标准产品名的相似度信息。
可选的，该模型训练装置3还包括：
文本分类模块，用于通过所述第三训练完成的文本分类模型，对待检测文本进行文本分类，以确定所述待检测文本的业务类别。
本申请实施例中，可以将产品名等业务术语通过掩码处理后的第一待训练语句通过第一训练融入进文本分类模型中，获得第一训练完成的文本分类模型；然后，再通过第二待训练语句的业务标签和第一产品名，将业务类别和产品名等业务特征融入到第一训练完成的文本分类模型中，获得第二训练完成的文本分类模型；接着，可以通过第三训练和待预测语句，第二训练完成的文本分类模型进行精调，从而获得第三训练完成的预设模型，此时，所述第三训练完成的预设模型能够较为准确地识别文本中的业务信息。可见，通过本申请实施例，能够通过多层次的模型训练，获得文本分类准确率较高的第三训练完成的文本分类模型，以在后续能够通过该第三训练完成的文本分类模型，较为准确地检测文本类别。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图4是本申请另一实施例提供的一种终端设备的结构框图。如图4所示，该实施例的终端设备4包括：处理器41、存储器42以及存储在所述存储器42中并可在所述处理器41上运行的计算机程序43，例如模型训练方法的程序。处理器41执行所述计算机程序43时实现上述各个模型训练方法各实施例中的步骤，例如图1所示的S101至S104，或者图2所示的S201至S205。或者，所述处理器41执行所述计算机程序43时实现上述图3对应的实施例中各单元的功能，例如，图3所示的单元301至304的功能，具体请参阅图3对应的实施例中的相关描述，此处不赘述。
示例性的，所述计算机程序43可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器42中，并由所述处理器41执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序43在所述终端设备40中的执行过程。例如，所述计算机程序43可以被分割成第一获取单元、第一确定单元、第一调整单元、第二调整单元以及执行单元，各单元具体功能如上所述。
所述终端设备可包括，但不仅限于，处理器41、存储器42。本领域技术人员可以理解，图4仅仅是终端设备4的示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述转台设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器41可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器42可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器42也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器42还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器42用于存储所述计算机程序以及所述转台设备所需的其他程序和数据。所述存储器42还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例中，上述处理器40执行上述计算机程序42以实现上述任意各个模型训练方法实施例中的步骤时，可以将产品名等业务术语通过掩码处理后的第一待训练语句通过第一训练融入进文本分类模型中，获得第一训练完成的文本分类模型；然后，再通过第二待训练语句的业务标签和第一产品名，将业务类别和产品名等业务特征融入到第一训练完成的文本分类模型中，获得第二训练完成的文本分类模型；接着，可以通过第三训练和待预测语句，第二训练完成的文本分类模型进行精调，从而获得第三训练完成的预设模型，此时，所述第三训练完成的预设模型能够较为准确地识别文本中的业务信息。可见，通过本申请实施例，能够通过多层次的模型训练，获得文本分类准确率较高的第三训练完成的文本分类模型，以在后续能够通过该第三训练完成的文本分类模型，较为准确地检测文本类别。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现可实现上述各个模型训练方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个模型训练方法实施例中的步骤。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种模型训练方法，其特征在于，包括：
对第一待训练语句进行掩码处理，其中，所述掩码处理指将第一待训练语句中的指定文字进行遮盖，以将所述指定文字作为待预测文字，若所述指定文字涉及第一产品名，则将涉及的每一个第一产品名作为一组待预测文字；
根据进行掩码处理后的第一待训练语句对文本分类模型进行第一训练，获得第一训练完成的文本分类模型，其中，第一训练中，所述文本分类模型用于对进行掩码处理后的第一待训练语句中的待预测文字进行预测；
根据第二待训练语句对所述第一训练完成的文本分类模型进行第二训练，获得第二训练完成的文本分类模型，其中，各个所述第二待训练语句中分别包括至少一个第一产品名，并且，每个所述第二训练语句对应有业务标签，第二训练中，所述文本分类模型用于确定所述第二待训练语句所对应的业务类别；
基于待预测语句，对所述第二训练完成的文本分类模型进行第三训练，获得第三训练完成的文本分类模型，其中，所述待预测语句与所述第一待训练语句以及所述第二训练语句不同，第三训练中，基于所述文本分类模型中的至少两个指定层的输出确定所述第三训练是否完成。
2.如权利要求1所述的模型训练方法，其特征在于，所述基于待预测语句，对所述第二训练完成的文本分类模型进行第三训练，获得第三训练完成的文本分类模型，包括：
在所述第三训练的每一次迭代过程中，针对一个待预测语句，将所述待预测语句输入第二训练完成的预设模型，获得第二训练完成的预设模型的至少两个指定层针对所述待预测语句所分别输出的第一词向量；
针对第二训练完成的预设模型所输出的关于所述待预测语句的输出向量，获取与所述输出向量相关联的第二词向量，其中，所述输出向量所指示的业务类别与所述第二词向量所指示的业务类别相同；
根据所述待预测语句中除所述第一词向量相关联的文字以外的其他部分，获得第三词向量；
根据所述第一词向量、第二词向量、第三词向量和预设分类网络，进行业务分类；
根据业务分类结果，确定所述第三训练是否完成。
3.如权利要求2所述的模型训练方法，其特征在于，所述根据所述第一词向量、第二词向量、第三词向量和预设分类网络，进行业务分类，包括：
对至少两个所述第一词向量进行池化处理，获得第一向量；
对所述第二词向量进行池化处理，获得第二向量；
对所述第三词向量进行池化处理，获得第三向量；
根据所述第一向量、第二向量、第三向量和预设分类网络，进行业务分类。
4.如权利要求1所述的模型训练方法，其特征在于，各个所述第一产品名和所述业务标签为根据产品图谱而得到，所述产品图谱中的每一个节点包括至少一个第一产品名，一个所述节点中的第一产品名对应同一个产品，并且，每一个节点所对应的属性信息包含所述节点所对应的产品的业务信息。
5.如权利要求4所述的模型训练方法，其特征在于，在对第一待训练语句进行掩码处理之前，还包括：
从预设语料中获取待识别产品名；
针对每一个待识别产品名，确定所述待识别产品名分别相对于各个标准产品名的相似度信息；
根据各个所述相似度信息，生成产品名关联列表，所述产品名关联列表中包括至少两个第一产品名和各个第一产品名之间的关联关系，任一所述第一产品名为标准产品名或者待识别产品名；
根据预设业务信息和所述产品名关联列表，生成产品图谱。
6.如权利要求5所述的模型训练方法，其特征在于，所述针对每一个待识别产品名，确定所述待识别产品名分别相对于各个标准产品名的相似度信息，包括：
将所述待识别产品名与预设的标准产品名输入第一自然语言处理模型，获得所述第一自然语言处理模型的输出结果，所述输出结果包括每一个所述待识别产品名分别相对于各个标准产品名的相似度信息。
7.如权利要求1至6任意一项所述的模型训练方法，其特征在于，在获得第三训练完成的文本分类模型之后，还包括：
通过所述第三训练完成的文本分类模型，对待检测文本进行文本分类，以确定所述待检测文本的业务类别。
8.一种模型训练装置，其特征在于，包括：
掩码处理模块，用于对第一待训练语句进行掩码处理，其中，所述掩码处理指将第一待训练语句中的指定文字进行遮盖，以将所述指定文字作为待预测文字，若所述指定文字涉及第一产品名，则将涉及的每一个第一产品名作为一组待预测文字；
第一训练模块，用于根据进行掩码处理后的第一待训练语句对文本分类模型进行第一训练，获得第一训练完成的文本分类模型，其中，第一训练中，所述文本分类模型用于对进行掩码处理后的第一待训练语句中的待预测文字进行预测；
第二训练模块，用于根据第二待训练语句对所述第一训练完成的文本分类模型进行第二训练，获得第二训练完成的文本分类模型，其中，各个所述第二待训练语句中分别包括至少一个第一产品名，并且，每个所述第二训练语句对应有业务标签，第二训练中，所述文本分类模型用于确定所述第二待训练语句所对应的业务类别；
第三训练模块，用于基于待预测语句，对所述第二训练完成的文本分类模型进行第三训练，获得第三训练完成的文本分类模型，其中，所述待预测语句与所述第一待训练语句以及所述第二训练语句不同，第三训练中，基于所述文本分类模型中的至少两个指定层的输出确定所述第三训练是否完成。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的模型训练方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011504757.6A CN112579774B (zh) | 2020-12-18 | 2020-12-18 | 模型训练方法、模型训练装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011504757.6A CN112579774B (zh) | 2020-12-18 | 2020-12-18 | 模型训练方法、模型训练装置及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112579774A true CN112579774A (zh) | 2021-03-30 |
| CN112579774B CN112579774B (zh) | 2024-07-26 |
Family
ID=75136031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011504757.6A Active CN112579774B (zh) | 2020-12-18 | 2020-12-18 | 模型训练方法、模型训练装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112579774B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220900A (zh) * | 2021-05-10 | 2021-08-06 | 深圳价值在线信息科技股份有限公司 | 实体消歧模型的建模方法和实体消歧预测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165249A (zh) * | 2018-08-07 | 2019-01-08 | 阿里巴巴集团控股有限公司 | 数据处理模型构建方法、装置、服务器和用户端 |
| CN110717039A (zh) * | 2019-09-17 | 2020-01-21 | 平安科技（深圳）有限公司 | 文本分类方法和装置、电子设备、计算机可读存储介质 |
| CN112084337A (zh) * | 2020-09-17 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 文本分类模型的训练方法、文本分类方法及设备 |
-
2020
- 2020-12-18 CN CN202011504757.6A patent/CN112579774B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165249A (zh) * | 2018-08-07 | 2019-01-08 | 阿里巴巴集团控股有限公司 | 数据处理模型构建方法、装置、服务器和用户端 |
| CN110717039A (zh) * | 2019-09-17 | 2020-01-21 | 平安科技（深圳）有限公司 | 文本分类方法和装置、电子设备、计算机可读存储介质 |
| CN112084337A (zh) * | 2020-09-17 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 文本分类模型的训练方法、文本分类方法及设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220900A (zh) * | 2021-05-10 | 2021-08-06 | 深圳价值在线信息科技股份有限公司 | 实体消歧模型的建模方法和实体消歧预测方法 |
| CN113220900B (zh) * | 2021-05-10 | 2023-08-25 | 深圳价值在线信息科技股份有限公司 | 实体消歧模型的建模方法和实体消歧预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112579774B (zh) | 2024-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108121700B (zh) | 一种关键词提取方法、装置及电子设备 | |
| US20230039496A1 (en) | Question-and-answer processing method, electronic device and computer readable medium | |
| CN111488426A (zh) | 一种查询意图确定方法、装置及处理设备 | |
| CN110502738A (zh) | 中文命名实体识别方法、装置、设备和查询系统 | |
| CN107341143B (zh) | 一种句子连贯性判断方法及装置和电子设备 | |
| CN112632226B (zh) | 基于法律知识图谱的语义搜索方法、装置和电子设备 | |
| CN109086265B (zh) | 一种语义训练方法、短文本中多语义词消歧方法 | |
| CN111539197A (zh) | 文本匹配方法和装置以及计算机系统和可读存储介质 | |
| CN111739520B (zh) | 一种语音识别模型训练方法、语音识别方法、装置 | |
| CN112101042B (zh) | 文本情绪识别方法、装置、终端设备和存储介质 | |
| CN111459977A (zh) | 自然语言查询的转换 | |
| CN111274822A (zh) | 语义匹配方法、装置、设备及存储介质 | |
| CN113282711A (zh) | 一种车联网文本匹配方法、装置、电子设备及存储介质 | |
| CN113626704A (zh) | 基于word2vec模型的推荐信息方法、装置及设备 | |
| CN113641833A (zh) | 服务需求匹配方法及装置 | |
| CN113947086A (zh) | 样本数据生成方法、训练方法、语料生成方法和装置 | |
| US20180307676A1 (en) | Systems, Devices, Components and Associated Computer Executable Code for Recognizing and Analyzing/Processing Modification Sentences within Human Language | |
| CN112487154B (zh) | 一种基于自然语言的智能搜索方法 | |
| CN112307175B (zh) | 一种文本处理方法、装置、服务器及计算机可读存储介质 | |
| CN112579774B (zh) | 模型训练方法、模型训练装置及终端设备 | |
| US20230351121A1 (en) | Method and system for generating conversation flows | |
| US11481389B2 (en) | Generating an executable code based on a document | |
| CN110717029A (zh) | 一种信息处理方法和系统 | |
| CN113988085B (zh) | 文本语义相似度匹配方法、装置、电子设备及存储介质 | |
| CN116976341A (zh) | 实体识别方法、装置、电子设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |