CN115617998A - 一种基于智能营销场景的文本分类方法及装置 - Google Patents
一种基于智能营销场景的文本分类方法及装置 Download PDFInfo
- Publication number
- CN115617998A CN115617998A CN202211288897.3A CN202211288897A CN115617998A CN 115617998 A CN115617998 A CN 115617998A CN 202211288897 A CN202211288897 A CN 202211288897A CN 115617998 A CN115617998 A CN 115617998A
- Authority
- CN
- China
- Prior art keywords
- preset
- classification model
- feature
- features
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种基于智能营销场景的文本分类方法及装置,涉及数据处理领域,主要目的在于实现提高对于智能营销场景的文本分类准确率,进而提高在智能营销场景中判别用户的意图准确率。本发明主要的技术方案为:获取所述智能营销场景的文本;将所述智能营销场景的文本放入预设分类模型进行文本分类,所述预设分类模型至少包括特征提取功能和特征计算功能;利用所述预设分类模型的特征提取功能获取基础特征;基于所述基础特征利用所述预设分类模型的特征计算功能获取目标特征,所述目标特征为具有判别力的特征;根据所述目标特征进行文本分类。本发明用于智能营销场景的文本分类。
Description
技术领域
本发明涉数据处理技术领域,尤其涉及一种基于智能营销场景的文本分类方法及装置。
背景技术
在智能营销场景中,需要通过机器人与人的沟通对话判别用户的意图进行营销推荐。
目前,采用BERT(英文全称为Bidirectional Encoder Representation fromTransformers,是一个预训练的语言表征模型)作为分类模型进行机器学习或者深度学习,通过构造语料,模型训练,部署模型,最后在云端基于机器人与人沟通对话的全部对话文本进行实时预测用户的意图。
但是,BERT作为分类模型虽然自身包含自注意力机制,可以有效的关注到有效特征上面,但是,BERT作为分类模型对于在智能营销场景中产生的包含较多口语化词汇的对话文本进行分类的准确率却较低,导致在智能营销场景中判别用户的意图准确率也较低。
发明内容
鉴于上述问题,本发明提供一种基于智能营销场景的文本分类方法及装置,主要目的是为了实现提高对于智能营销场景的文本分类准确率,进而提高在智能营销场景中判别用户的意图准确率。
为解决上述技术问题,本发明提出以下方案:
第一方面,本发明提供一种基于智能营销场景的文本分类方法,所述方法包括:
获取所述智能营销场景的文本;
将所述智能营销场景的文本放入预设分类模型进行文本分类,所述预设分类模型至少包括特征提取功能和特征计算功能;
利用所述预设分类模型的特征提取功能获取基础特征;
基于所述基础特征利用所述预设分类模型的特征计算功能获取目标特征,所述目标特征为具有判别力的特征;
根据所述目标特征进行文本分类。
优选地,所述预设分类模型至少包括特征提取器、正交投影层和梯度反转层;
所述利用所述预设分类模型的特征提取功能获取基础特征,包括:
利用所述预设分类模型的特征提取器从所述预处理数据中获取基础特征。
优选地,所述基于所述基础特征利用所述预设分类模型的特征计算功能获取目标特征,包括:
根据所述基础特征利用所述预设分类模型的梯度反转层计算得到无区分性特征;
根据所述基础特征和所述无区分性特征利用所述预设分类模型的正交投影层计算得到目标特征。
优选地,所述正交投影层具有获取有区分性特征的功能和获取目标特征的功能;
所述根据所述基础特征和所述无区分性的特征利用所述预设分类模型的正交投影层计算得到目标特征,包括:
根据所述基础特征利用所述正交投影层的获取有区分性特征的功能得到所述有区分性特征;
根据所述有区分性特征和所述无区分性特征利用所述正交投影层的获取目标特征的功能得到所述目标特征。
优选地,所述方法还包括:
根据BERT特征提取器和FP-NET网络结构构建所述预设分类模型;
根据预设训练集、预设测试集和预设验证集对所述预设分类模型进行训练,得到所述预设分类模型的目标参数。
优选地,在所述根据预设训练集、预设测试集和预设验证集对所述预设分类模型进行训练,得到所述预设分类模型的目标参数之前,所述方法还包括:
获取原始数据,所述原始数据是预设智能营销场景的对话文本;
删除所述原始数据的预设词汇得到目标原始数据,所述预设词汇为无意义词汇;
根据预设标注类别将所述目标原始数据进行分类标注,得到标注数据,所述预设标注类别至少包括强肯定意图、弱肯定意图、已处理意图、忙碌状态意图、电话助理意图、明确拒绝意图和用户辱骂意图;
将所述标注数据按照预设比例分配为预设训练集、预设测试集和预设验证集。
优选地,所述根据预设训练集、预设测试集和预设验证集对所述预设分类模型进行训练,得到所述预设分类模型的目标参数,包括:
监测基于所述预设训练集训练所述预设分类模型的步数是否到达预设步数;
当所述基于所述预设训练集训练所述预设分类模型的步数到达预设步数时,基于所述预设验证集对所述预设分类模型的分类结果进行检验,得到检验结果;
判断所述检验结果是否到达预设条件;
若所述检验结果到达预设条件,则停止训练所述预设分类模型,且基于所述预设测试集对所述预设分类模型进行测试,计算出所述预设分类模型的准确率和召回率;
判断所述准确率和所述召回率是否达到预设条件;
若所述准确率和所述召回率达到预设条件,则将所述预设分类模型经训练得到的参数确定为所述目标参数。
第二方面,本发明提供一种基于智能营销场景的文本分类装置,所述装置包括:
第一获取单元,用于获取所述智能营销场景的文本;
放入单元,用于将所述智能营销场景的文本放入预设分类模型进行文本分类,所述预设分类模型至少包括特征提取功能和特征计算功能;
第二获取单元,用于利用所述预设分类模型的特征提取功能获取基础特征;
第三获取单元,用于基于所述基础特征利用所述预设分类模型的特征计算功能获取目标特征,所述目标特征为具有判别力的特征;
分类单元,用于根据所述目标特征进行文本分类。
优选地,所述预设分类模型至少包括特征提取器、正交投影层和梯度反转层;所述第二获取单元,包括:
用于利用所述预设分类模型的特征提取器从所述预处理数据中获取基础特征。
优选地,所述第三获取单元,包括:
第一计算模块,用于根据所述基础特征利用所述预设分类模型的梯度反转层计算得到无区分性特征;
第二计算模块,用于根据所述基础特征和所述无区分性特征利用所述预设分类模型的正交投影层计算得到目标特征。
优选地,所述正交投影层具有获取有区分性特征的功能和获取目标特征的功能;所述第二计算模块,包括:
第一获取子模块,用于根据所述基础特征利用所述正交投影层的获取有区分性特征的功能得到所述有区分性特征;
第二获取子模块,用于根据所述有区分性特征和所述无区分性特征利用所述正交投影层的获取目标特征的功能得到所述目标特征。
优选地,所述装置还包括:
构建单元,用于根据BERT特征提取器和FP-NET网络结构构建所述预设分类模型;
训练单元,用于根据预设训练集、预设测试集和预设验证集对所述预设分类模型进行训练,得到所述预设分类模型的目标参数。
优选地,所述装置还包括:
第四获取单元,用于获取原始数据,所述原始数据是预设智能营销场景的对话文本;
删除单元,用于删除所述原始数据的预设词汇得到目标原始数据,所述预设词汇为无意义词汇;
标注单元,用于根据预设标注类别将所述目标原始数据进行分类标注,得到标注数据,所述预设标注类别至少包括强肯定意图、弱肯定意图、已处理意图、忙碌状态意图、电话助理意图、明确拒绝意图和用户辱骂意图;
分配单元,用于将所述标注数据按照预设比例分配为预设训练集、预设测试集和预设验证集。
优选地,所述训练单元,包括:
监测模块,用于监测基于所述预设训练集训练所述预设分类模型的步数是否到达预设步数;
检验模块,用于当所述基于所述预设训练集训练所述预设分类模型的步数到达预设步数时,基于所述预设验证集对所述预设分类模型的分类结果进行检验,得到检验结果;
第一判断模块,用于判断所述检验结果是否到达预设条件;
测试模块,用于若所述检验结果到达预设条件,则停止训练所述预设分类模型,且基于所述预设测试集对所述预设分类模型进行测试,计算出所述预设分类模型的准确率和召回率;
第二判断模块,用于判断所述准确率和所述召回率是否达到预设条件;
确定模块,用于若所述准确率和所述召回率达到预设条件,则将所述预设分类模型经训练得到的参数确定为所述目标参数。
为了实现上述目的,根据本发明的第三方面,提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述第一方面所述基于智能营销场景的文本分类方法。
为了实现上述目的,根据本发明的第四方面,提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如第二方面所述用于基于智能营销场景的文本分类装置的全部或部分步骤。
借由上述技术方案,本发明提供的基于智能营销场景的文本分类方法及装置,是由于BERT作为分类模型虽然自身包含自注意力机制,可以有效的关注到有效特征上面,但是,对于在智能营销场景中产生的包含较多口语化词汇的对话文本进行分类的准确率却较低。为此,本发明通过获取所述智能营销场景的文本;将所述智能营销场景的文本放入预设分类模型进行文本分类,所述预设分类模型至少包括特征提取功能和特征计算功能;利用所述预设分类模型的特征提取功能获取基础特征;基于所述基础特征利用所述预设分类模型的特征计算功能获取目标特征,所述目标特征为具有判别力的特征;根据所述目标特征进行文本分类。本发明通过构建的包括特征提取功能和特征计算功能的预设分类模型可以实现提高对于智能营销场景的文本分类准确率,进而提高在智能营销场景中判别用户的意图准确率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种基于智能营销场景的文本分类方法流程图;
图2示出了本发明实施例提供的另一种基于智能营销场景的文本分类方法流程图;
图3示出了本发明实施例提供的一种基于智能营销场景的文本分类装置的组成框图;
图4示出了本发明实施例提供的另一种基于智能营销场景的文本分类装置的组成框图;
图5示出了本发明实施例提供的预设分类模型的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
目前,BERT作为分类模型虽然自身包含自注意力机制,可以有效的关注到有效特征上面,但是,对于在智能营销场景中产生的包含较多口语化词汇的对话文本进行分类的准确率却较低。针对此问题,发明人想到通过集合BERT模型和FP-NET网络结构构建分类模型,使该分类模型具有特征提取功能和特征计算功能,通过特征提取功能从原始数据中提取基础特征,再基于该基础特征通过特征计算功能得到具有判别力的特征,基于该具有判别力的特征进行文本分类,可以提高对于智能营销场景的文本分类准确率,进而提高在智能营销场景中判别用户的意图准确率。
为此,本发明实施例提供了一种基于智能营销场景的文本分类方法,通过该方法实现提高对于智能营销场景的文本分类准确率,进而提高在智能营销场景中判别用户的意图准确率。其具体执行步骤如图1所示,包括:
101、获取智能营销场景的文本。
在智能营销场景中通过机器人与人的沟通对话,并且由ASR系统将智能营销场景的沟通对话内容转换成智能营销场景的文本,进而获取所述智能营销场景的文本。
102、将智能营销场景的文本放入预设分类模型进行文本分类。
所述预设分类模型至少包括特征提取功能和特征计算功能;所述特征提取功能可以由TextCNN特征提取器或BERT特征提取器来实现;所述特征计算功能可以由FP-Net网络结构通过特征映射(Feature Projection)的方法进行实现,本实施例不做具体限定。
103、利用预设分类模型的特征提取功能获取基础特征。
根据步骤102可知,所述特征提取功能可以由TextCNN特征提取器或BERT特征提取器来实现,利用预设分类模型的TextCNN特征提取器或BERT特征提取器从所述智能营销场景的文本中提取特征,该特征定义为基础特征。
104、基于基础特征利用预设分类模型的特征计算功能获取目标特征。
根据步骤102可知,所述特征计算功能可以由FP-Net网络结构通过特征映射(Feature Projection)的方法进行实现,利用预设分类模型的FP-Net网络结构通过特征映射(Feature Projection)的方法从所述基础特征中计算获取目标特征,所述目标特征为具有判别力的特征。
105、根据所述目标特征进行文本分类。
根据步骤104可知,所述目标特征为具有判别力的特征;例如:不喜欢A产品、讨厌A产品等,本实施例不做具体限定。根据所述目标特征将所述智能营销场景的文本进行文本分类。
基于上述图1实施例的实现方式可以看出,本发明提供一种基于智能营销场景的文本分类方法,是由于BERT作为分类模型虽然自身包含自注意力机制,可以有效的关注到有效特征上面,但是,对于在智能营销场景中产生的包含较多口语化词汇的对话文本进行分类的准确率却较低。为此,本发明通过获取所述智能营销场景的文本;将所述智能营销场景的文本放入预设分类模型进行文本分类,所述预设分类模型至少包括特征提取功能和特征计算功能;利用所述预设分类模型的特征提取功能获取基础特征;基于所述基础特征利用所述预设分类模型的特征计算功能获取目标特征,所述目标特征为具有判别力的特征;根据所述目标特征进行文本分类。本发明通过构建的包括特征提取功能和特征计算功能的预设分类模型可以实现提高对于智能营销场景的文本分类准确率,进而提高在智能营销场景中判别用户的意图准确率。
进一步的,作为对图1所示实施例的细化及扩展,本发明实施例还提供了另一种基于智能营销场景的文本分类方法,如图2所示,其具体步骤如下:
201、根据BERT特征提取器和FP-NET网络结构构建预设分类模型。
如图5所示,根据BERT特征提取器和FP-NET网络结构构建预设分类模型为FP-NET网络结构,其中,包括智能营销场景的文本嵌入层、BERT特征提取器1、BERT特征提取器2、OPL层、GRL层、分类器1和分类器2。
所述智能营销场景的文本嵌入层用于将获取到的智能营销场景的文本放入所述预设分类模型中;所述BERT特征提取器1和所述BERT特征提取器2分别从所述智能营销场景的文本嵌入层的所述智能营销场景的文本中提取基础特征,且分别将提取到的基础特征提供给GRL层和OPL层;
所述GRL层(gradient reverse layer/梯度反转层)处理基础特征的方式为:让梯度在前向传播的时候保持不变,在反向传播的时候,方向与经过GRL之前的相反。所述GRL层处理基础特征后得到的特征为不重要的特征(common feature),即为无区别性特征,用fc表示;最后将无区别性特征fc输出到分类器2中进行分类处理,由于是不重要的特征分类,对于智能营销场景的文本分类没有实际意义,分类处理方式本实施例不进行具体限定;
所述OPL层(Orthogonal Projection Layer/正交投影层)处理基础特征的方式:通过公式(1)和(2)获得投影特征,其中,为投影特征,fp为经过所述OPL层处理后的有区别性特征,fc为无区别性特征;根据fp和通过公式(3)获得目标特征即具有判别力的特征;再将所述OPL层计算出的目标特征输出到分类器1中,所述分类器1基于所述目标特征通过公式(4)进行分类预测,得到分类结果YOPL。
公式(1):fp*=Proj(fp,fc),
202、根据预设训练集、预设测试集和预设验证集对预设分类模型进行训练,得到预设分类模型的目标参数。
其中,预设训练集、预设测试集和预设验证集是由标注数据按照预设比例分配设置得到的,所述预设比例可以为8:1:1,本实施例不做具体限定;所述标注数据是根据预设标注类别将目标原始数据进行分类标注得到的,所述预设标注类别至少包括强肯定意图、弱肯定意图、已处理意图、忙碌状态意图、电话助理意图、明确拒绝意图和用户辱骂意图;所述目标原始数据是删除原始数据的预设词汇得到的,所述预设词汇为无意义词汇,例如:喂、你好、哪里等,本实施例不做具体限定;所述原始数据是预设智能营销场景的对话文本,所述预设智能营销场景可以为产品营销场景、服务营销场景等,本实施例不做具体限定。
进一步的,所述根据预设训练集、预设测试集和预设验证集对所述预设分类模型进行训练,得到所述预设分类模型的目标参数,包括:
监测基于所述预设训练集训练所述预设分类模型的步数是否到达预设步数,所述预设步数可以为100步、200步,本实施例不做具体限定;当所述基于所述预设训练集训练所述预设分类模型的步数到达预设步数时,基于所述预设验证集对所述预设分类模型的分类结果进行检验,得到检验结果;当所述基于所述预设训练集训练所述预设分类模型的步数未到达预设步数时,则继续进行基于所述预设训练集训练所述预设分类模型直到步数到达预设步数;
再进一步判断所述检验结果是否到达预设条件,所述预设条件可以为所述预设分类模型基于所述验证集的分类预测准确率趋于稳定,稳定可以通过预设阈值来表示,例如:预设阈值可以为95%、98%等,本实施例不做具体限定;
若所述检验结果到达预设条件,则停止训练所述预设分类模型,且基于所述预设测试集对所述预设分类模型进行测试,计算出所述预设分类模型的准确率和召回率;判断所述准确率和所述召回率是否达到预设条件,所述预设条件可以为预设阈值,例如:预设阈值可以为90%、95%等,本实施例不做具体限定;若所述准确率和所述召回率达到预设条件,则将所述预设分类模型经上述训练得到的参数确定为所述目标参数。具有所述目标参数的预设分类模型可以上线部署用于智能营销场景的文本分类;若所述检验结果未到达预设条件,则继续训练所述预设分类模型直至所述检验结果到达预设条件。
203、获取智能营销场景的文本。
本步骤结合上述方法中101步骤的描述,在此相同的内容不赘述。
举例说明:
获取金融产品营销场景的文本,包括的内容可以为:“机器人:您好,我这边是AA资产理财中心,我们公司主要是为客户配置固定收益理财产品的。客户A(ID:123456):不用啦!”
包括的内容可以为:“机器人:您好,我这边是AA资产理财中心,我们公司主要是为客户配置固定收益理财产品的。客户B(ID:123457):有什么类型的呀?机器人:现在有一个短期的理财产品,年化收益12%,周期一年,不知道您是否感兴趣?客户B(ID:123457):可以详细介绍一下,很感兴趣。”
204、将智能营销场景的文本放入预设分类模型进行文本分类。
本步骤结合上述方法中102步骤的描述,在此相同的内容不赘述。
如图5所示所述预设分类模型至少包括特征提取器、正交投影层和梯度反转层。根据步骤202可知,所述预设分类模型还包括智能营销场景的文本嵌入层,将由步骤203得到的所述智能营销场景的文本放入所述预设分类模型的所述智能营销场景的文本嵌入层,以便后续进行文本分类。
205、利用预设分类模型的特征提取功能获取基础特征。
本步骤结合上述方法中103步骤的描述,在此相同的内容不赘述。
所述特征提取功能是由特征提取器来实现;利用所述预设分类模型的特征提取器从所述预处理数据中获取基础特征。所述特征提取器为BERT特征提取器。
举例说明:
假设所述预设分类模型的所述智能营销场景的文本嵌入层中嵌入的智能营销场景的文本为“机器人:您好,我这边是AA资产理财中心,我们公司主要是为客户配置固定收益理财产品的。客户A(ID:123456):不用啦!”;如图5所示所述预设分类模型的BERT特征提取器1和BERT特征提取器2分别对所述智能营销场景的文本进行基础特征提取,提取的特征可以为“AA资产理财中心”、“固定收益理财产品”、“客户A(ID:123456)”和“不用”。
206、基于基础特征利用预设分类模型的特征计算功能获取目标特征。
本步骤结合上述方法中104步骤的描述,在此相同的内容不赘述。
其中,所述目标特征为具有判别力的特征;所述特征计算功能是由正交投影层和梯度反转层来共同实现。
先根据所述基础特征利用所述预设分类模型的梯度反转层计算得到无区分性特征,具体计算方式参见步骤202;再根据所述基础特征和所述无区分性特征利用所述预设分类模型的正交投影层计算得到目标特征,具体计算方式参见步骤202。
进一步的,所述正交投影层具有获取有区分性特征的功能和获取目标特征的功能;所述根据所述基础特征和所述无区分性的特征利用所述预设分类模型的正交投影层计算得到目标特征,包括:根据所述基础特征利用所述正交投影层的获取有区分性特征的功能得到所述有区分性特征,具体计算方式参见步骤202;根据所述有区分性特征和所述无区分性特征利用所述正交投影层的获取目标特征的功能得到所述目标特征,具体计算方式参见步骤202。
207、根据所述目标特征进行文本分类。
本步骤结合上述方法中105步骤的描述,在此相同的内容不赘述。
根据目标特征可以将所述智能营销场景中针对某项产品的客户反馈按照不同的意向程度进行文本分类,可以分为强意向客户、弱意向客户、已处理客户、忙碌状态客户、电话助理客户、明确拒绝意向客户和辱骂客户等文本分类;根据分类后的文本获取针对某项产品的相同意向程度的客户,进行精准营销方案的推送;例如:向针对A项产品的强意向客户推送A项产品相关信息。
基于上述图2的实现方式可以看出,本发明提供一种基于智能营销场景的文本分类方法,通过根据BERT特征提取器和OPL层以及GRL层对智能营销场景的文本进行特征处理,得到有判别力的特征,再基于所述由判别力的特征对所述智能营销场景的文本进行分类,可以避免被不重要的特征进行干扰,可以提高3%-5%的文本分类的准确率,进而提高在智能营销场景中判别用户意图的准确率。
进一步的,作为对上述图1所示方法的实现,本发明实施例还提供了一种基于智能营销场景的文本分类装置,用于对上述图1所示的方法进行实现。该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图3所示,该装置包括:
第一获取单元31,用于获取所述智能营销场景的文本;
放入单元32,用于将从所述第一获取单元31得到的所述智能营销场景的文本放入预设分类模型进行文本分类,所述预设分类模型至少包括特征提取功能和特征计算功能;
第二获取单元33,用于利用从所述放入单元32得到的所述预设分类模型的特征提取功能获取基础特征;
第三获取单元34,用于基于从所述第二获取单元33得到的所述基础特征利用所述预设分类模型的特征计算功能获取目标特征,所述目标特征为具有判别力的特征;
分类单元35,用于根据从所述第三获取单元34得到的所述目标特征进行文本分类。
进一步的,作为对上述图2所示方法的实现,本发明实施例还提供了另一种基于智能营销场景的文本分类装置,用于对上述图2所示的方法进行实现。该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图4所示,该装置包括:
第四获取单元38,用于获取原始数据,所述原始数据是预设智能营销场景的对话文本;
删除单元39,用于删除从所述第四获取单元38得到的所述原始数据的预设词汇得到目标原始数据,所述预设词汇为无意义词汇;
标注单元40,用于根据预设标注类别将从所述删除单元39得到的所述目标原始数据进行分类标注,得到标注数据,所述预设标注类别至少包括强肯定意图、弱肯定意图、已处理意图、忙碌状态意图、电话助理意图、明确拒绝意图和用户辱骂意图;
分配单元41,用于将从所述标注单元40得到的所述标注数据按照预设比例分配为预设训练集、预设测试集和预设验证集;
构建单元36,用于根据BERT特征提取器和FP-NET网络结构构建所述预设分类模型;
训练单元37,用于根据从所述分配单元41得到的预设训练集、预设测试集和预设验证集对从所述构建单元36得到的所述预设分类模型进行训练,得到所述预设分类模型的目标参数;
第一获取单元31,用于获取所述智能营销场景的文本;
放入单元32,用于将从所述第一获取单元31得到的所述智能营销场景的文本放入预设分类模型进行文本分类,所述预设分类模型至少包括特征提取功能和特征计算功能;
第二获取单元33,用于利用从所述放入单元32得到的从所述训练单元37得到的所述预设分类模型的特征提取功能获取基础特征;
第三获取单元34,用于基于从所述第二获取单元33得到的所述基础特征利用所述预设分类模型的特征计算功能获取目标特征,所述目标特征为具有判别力的特征;
分类单元35,用于根据从所述第三获取单元34得到的所述目标特征进行文本分类。
进一步的,所述预设分类模型至少包括特征提取器、正交投影层和梯度反转层;所述第二获取单元33,包括:
还用于利用所述预设分类模型的特征提取器从所述预处理数据中获取基础特征。
进一步的,所述第三获取单元34,包括:
第一计算模块341,用于根据所述基础特征利用所述预设分类模型的梯度反转层计算得到无区分性特征;
第二计算模块342,用于根据从所述第一计算模块341得到的所述基础特征和所述无区分性特征利用所述预设分类模型的正交投影层计算得到目标特征。
进一步的,所述正交投影层具有获取有区分性特征的功能和获取目标特征的功能;所述第二计算模块342,包括:
第一获取子模块3421,用于根据所述基础特征利用所述正交投影层的获取有区分性特征的功能得到所述有区分性特征;
第二获取子模块3422,用于根据从所述第一获取子模块3421得到的所述有区分性特征和所述无区分性特征利用所述正交投影层的获取目标特征的功能得到所述目标特征。
进一步的,所述训练单元37,包括:
监测模块371,用于监测基于所述预设训练集训练所述预设分类模型的步数是否到达预设步数,
检验模块372,用于当从所述监测模块371得到的所述基于所述预设训练集训练所述预设分类模型的步数到达预设步数时,基于所述预设验证集对所述预设分类模型的分类结果进行检验,得到检验结果;
第一判断模块373,用于判断从所述检验模块372得到的所述检验结果是否到达预设条件;
测试模块374,用于若从所述第一判断模块373得到的所述检验结果到达预设条件,则停止训练所述预设分类模型,且基于所述预设测试集对所述预设分类模型进行测试,计算出所述预设分类模型的准确率和召回率;
第二判断模块375,用于判断从所述测试模块374得到的所述准确率和所述召回率是否达到预设条件;
确定模块376,用于若从所述第二判断模块375得到的所述准确率和所述召回率达到预设条件,则将所述预设分类模型经训练得到的参数确定为所述目标参数。
进一步的,本发明实施例还提供一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述图1-2中所述的基于智能营销场景的文本分类方法。
进一步的,本发明实施例还提供一种存储介质,所述存储介质用于存储计算机程序,其中,所述计算机程序运行时控制所述存储介质所在设备执行上述图1-2中所述的基于智能营销场景的文本分类方法。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外,存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于智能营销场景的文本分类方法,其特征在于,所述方法包括:
获取所述智能营销场景的文本;
将所述智能营销场景的文本放入预设分类模型进行文本分类,所述预设分类模型至少包括特征提取功能和特征计算功能;
利用所述预设分类模型的特征提取功能获取基础特征;
基于所述基础特征利用所述预设分类模型的特征计算功能获取目标特征,所述目标特征为具有判别力的特征;
根据所述目标特征进行文本分类。
2.根据权利要求1所述的方法,其特征在于,所述预设分类模型至少包括特征提取器、正交投影层和梯度反转层;
所述利用所述预设分类模型的特征提取功能获取基础特征,包括:
利用所述预设分类模型的特征提取器从所述预处理数据中获取基础特征。
3.根据权利要求2所述的方法,其特征在于,所述基于所述基础特征利用所述预设分类模型的特征计算功能获取目标特征,包括:
根据所述基础特征利用所述预设分类模型的梯度反转层计算得到无区分性特征;
根据所述基础特征和所述无区分性特征利用所述预设分类模型的正交投影层计算得到目标特征。
4.根据权利要求3所述的方法,其特征在于,所述正交投影层具有获取有区分性特征的功能和获取目标特征的功能;
所述根据所述基础特征和所述无区分性的特征利用所述预设分类模型的正交投影层计算得到目标特征,包括:
根据所述基础特征利用所述正交投影层的获取有区分性特征的功能得到所述有区分性特征;
根据所述有区分性特征和所述无区分性特征利用所述正交投影层的获取目标特征的功能得到所述目标特征。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
根据BERT特征提取器和FP-NET网络结构构建所述预设分类模型;
根据预设训练集、预设测试集和预设验证集对所述预设分类模型进行训练,得到所述预设分类模型的目标参数。
6.根据权利要求5所述的方法,其特征在于,在所述根据预设训练集、预设测试集和预设验证集对所述预设分类模型进行训练,得到所述预设分类模型的目标参数之前,所述方法还包括:
获取原始数据,所述原始数据是预设智能营销场景的对话文本;
删除所述原始数据的预设词汇得到目标原始数据,所述预设词汇为无意义词汇;
根据预设标注类别将所述目标原始数据进行分类标注,得到标注数据,所述预设标注类别至少包括强肯定意图、弱肯定意图、已处理意图、忙碌状态意图、电话助理意图、明确拒绝意图和用户辱骂意图;
将所述标注数据按照预设比例分配为预设训练集、预设测试集和预设验证集。
7.根据权利要求6所述的方法,其特征在于,所述根据预设训练集、预设测试集和预设验证集对所述预设分类模型进行训练,得到所述预设分类模型的目标参数,包括:
监测基于所述预设训练集训练所述预设分类模型的步数是否到达预设步数;
当所述基于所述预设训练集训练所述预设分类模型的步数到达预设步数时,基于所述预设验证集对所述预设分类模型的分类结果进行检验,得到检验结果;
判断所述检验结果是否到达预设条件;
若所述检验结果到达预设条件,则停止训练所述预设分类模型,且基于所述预设测试集对所述预设分类模型进行测试,计算出所述预设分类模型的准确率和召回率;
判断所述准确率和所述召回率是否达到预设条件;
若所述准确率和所述召回率达到预设条件,则将所述预设分类模型经训练得到的参数确定为所述目标参数。
8.一种用于基于智能营销场景的文本分类装置,其特征在于,包括:
第一获取单元,用于获取所述智能营销场景的文本;
放入单元,用于将所述智能营销场景的文本放入预设分类模型进行文本分类,所述预设分类模型至少包括特征提取功能和特征计算功能;
第二获取单元,用于利用所述预设分类模型的特征提取功能获取基础特征;
第三获取单元,用于基于所述基础特征利用所述预设分类模型的特征计算功能获取目标特征,所述目标特征为具有判别力的特征;
分类单元,用于根据所述目标特征进行文本分类。
9.一种存储介质,所述存储介质包括存储的程序,其特征在于,在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求7中任一项所述基于智能营销场景的文本分类方法。
10.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至权利要求7中任一项所述基于智能营销场景的文本分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211288897.3A CN115617998A (zh) | 2022-10-20 | 2022-10-20 | 一种基于智能营销场景的文本分类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211288897.3A CN115617998A (zh) | 2022-10-20 | 2022-10-20 | 一种基于智能营销场景的文本分类方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115617998A true CN115617998A (zh) | 2023-01-17 |
Family
ID=84863834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211288897.3A Pending CN115617998A (zh) | 2022-10-20 | 2022-10-20 | 一种基于智能营销场景的文本分类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115617998A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117033641A (zh) * | 2023-10-07 | 2023-11-10 | 江苏微皓智能科技有限公司 | 一种大型预训练语言模型的网络结构优化微调方法 |
-
2022
- 2022-10-20 CN CN202211288897.3A patent/CN115617998A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117033641A (zh) * | 2023-10-07 | 2023-11-10 | 江苏微皓智能科技有限公司 | 一种大型预训练语言模型的网络结构优化微调方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348580B (zh) | 构建gbdt模型的方法、装置及预测方法、装置 | |
CN112860841B (zh) | 一种文本情感分析方法、装置、设备及存储介质 | |
CN110533018B (zh) | 一种图像的分类方法及装置 | |
CN112966189B (zh) | 一种基金产品推荐系统 | |
CN110569502A (zh) | 一种违禁广告语的识别方法、装置、计算机设备及存储介质 | |
CN112732871A (zh) | 一种机器人催收获取客户意向标签的多标签分类方法 | |
CN110458600A (zh) | 画像模型训练方法、装置、计算机设备及存储介质 | |
CN117409419A (zh) | 图像检测方法、设备及存储介质 | |
CN115617998A (zh) | 一种基于智能营销场景的文本分类方法及装置 | |
CN114860941A (zh) | 一种基于数据大脑的行业数据治理方法及系统 | |
CN109685104B (zh) | 一种识别模型的确定方法和装置 | |
CN112667803A (zh) | 一种文本情感分类方法及装置 | |
CN114581702A (zh) | 图像分类方法、装置、计算机设备及计算机可读存储介质 | |
CN113806501B (zh) | 意图识别模型的训练方法、意图识别方法和设备 | |
CN116662555A (zh) | 一种请求文本处理方法、装置、电子设备及存储介质 | |
CN110738032B (zh) | 一种生成裁判文书本院认为段的方法及装置 | |
CN112733743B (zh) | 模型训练方法、数据、图像质量评估方法及相关装置 | |
CN106971306B (zh) | 产品问题的识别方法及系统 | |
CN110210518B (zh) | 提取降维特征的方法和装置 | |
CN115860889A (zh) | 一种基于人工智能的金融贷款大数据管理方法及系统 | |
CN113722442B (zh) | 基于关键词识别的联动性分析方法及相关产品 | |
CN117668232A (zh) | 应用评价方法、装置、设备和存储介质 | |
CN117520645A (zh) | 基于金融产品的用户确定方法、装置以及电子设备 | |
CN115271911A (zh) | 一种风控模型的创建方法及装置 | |
CN115438153A (zh) | 一种意图匹配度分析模型的训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |