CN109344257B - 文本情感识别方法及装置、电子设备、存储介质 - Google Patents
文本情感识别方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN109344257B CN109344257B CN201811244553.6A CN201811244553A CN109344257B CN 109344257 B CN109344257 B CN 109344257B CN 201811244553 A CN201811244553 A CN 201811244553A CN 109344257 B CN109344257 B CN 109344257B
- Authority
- CN
- China
- Prior art keywords
- text
- emotion
- sample
- cost
- texts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008451 emotion Effects 0.000 claims abstract description 260
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 82
- 238000012937 correction Methods 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000012795 verification Methods 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000003066 decision tree Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000008194 pharmaceutical composition Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Machine Translation (AREA)
Abstract
本公开提供了一种文本情感识别方法及装置、电子设备、计算机可读存储介质,属于人工智能技术领域。该方法包括:获取样本文本集,所述样本文本集包括多个样本文本以及各所述样本文本对应的情感分类标签;根据所述样本文本集中的情感分类标签的数量分布对初始代价进行修正计算,获得修正代价;通过所述样本文本集与所述修正代价训练一提升算法学习模型,得到文本情感识别模型;通过所述文本情感识别模型对待识别文本进行识别,得到所述待识别文本的情感识别结果。本公开可以提高识别不同情感类别的文本的准确率均衡性,改善识别效果,且具有较强的适用性。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及一种文本情感识别方法及装置、电子设备、计算机可读存储介质。
背景技术
随着计算机技术的发展,越来越多的互联网企业致力于通过分析大数据以提高服务质量。其中,对文本进行情感识别是一项重要的工作,例如对用户作出的服务评价进行情感识别、对互联网文章进行情感识别与分类等,从而更好地了解用户的诉求、或者实现文本的精准定位与推荐等有益效果。
现有的文本情感识别方法大多采用常规的机器学习模型,依赖于特定语料的样本文本对模型进行训练。然而在很多语料中,不同情感的样本文本都存在比例不均衡的问题,例如在识别电商消费者对商品评价的情感的场景中,由于正面评价的数量通常远多于负面评价的数量,导致样本文本的比例不均衡,训练出的机器学习模型识别正面情感文本的准确率会高于识别负面情感文本的准确率,影响文本情感识别的效果。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供了一种文本情感识别方法及装置、电子设备、计算机可读存储介质,进而至少在一定程度上克服现有的文本情感识别方法识别不同情感类别的文本时准确率不均衡的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种文本情感识别方法,包括:获取样本文本集,所述样本文本集包括多个样本文本以及各所述样本文本对应的情感分类标签;根据所述样本文本集中的情感分类标签的数量分布对初始代价进行修正计算,获得修正代价;通过所述样本文本集与所述修正代价训练一提升算法学习模型,得到文本情感识别模型;通过所述文本情感识别模型对待识别文本进行识别,得到所述待识别文本的情感识别结果。
在本公开的一种示例性实施例中,所述情感分类标签包括正面情感文本与负面情感文本;所述根据所述样本文本集中的情感分类标签的数量分布对初始代价进行修正计算,获得修正代价包括:获取初始代价cost10和cost01,cost10为将正面情感文本误认为负面情感文本的初始代价,cost01为将负面情感文本误认为正面情感文本的初始代价;统计所述样本文本集中的正面情感文本数量Q1与负面情感文本数量Q0;通过以下公式对所述初始代价进行修正计算,获得所述修正代价:
其中,R1为样本偏差比例,costm10为将正面情感文本误认为负面情感文本的修正代价,costm01为将负面情感文本误认为正面情感文本的修正代价,a为指数参数。
在本公开的一种示例性实施例中,所述通过所述样本文本集与所述修正代价训练一提升算法学习模型,得到文本情感识别模型包括:将所述样本文本集划分为训练子集T与验证子集D,D={x1,x2…xm};利用所述训练子集T训练所述提升算法学习模型;通过所述提升算法学习模型获取所述验证子集D中每个样本文本xi的情感识别结果f(xi);根据公式(4)计算所述提升算法学习模型的错误率:
如果所述错误率低于学习阈值,则判定所述提升算法学习模型训练完成,将训练后的所述提升算法学习模型确定为所述文本情感识别模型;其中,m为所述验证子集中的样本文本数量,i∈[1,m];E为所述提升算法学习模型的错误率,D+为所述验证子集D的正面情感样本文本子集,D-为所述验证子集D的负面情感样本文本子集,yi为样本文本xi的情感分类标签。
在本公开的一种示例性实施例中,所述方法还包括:分别根据公式(5)与公式(6)计算所述提升算法学习模型的正面样本错误率E+与负面样本错误率E-:
根据公式(7)计算所述提升算法学习模型的错误率比例:
如果所述错误率比例处于预设范围,则继续检测所述错误率是否低于学习阈值。其中,s为所述验证子集D的正面情感样本文本数量,v为所述验证子集D的负面情感样本文本数量,m=s+v。
在本公开的一种示例性实施例中,所述方法还包括:如果所述错误率比例未处于所述预设范围,则再次利用所述训练子集T训练所述提升算法学习模型;通过以下公式重新计算所述提升算法学习模型的错误率比例:
再次检测所述错误率比例是否处于所述预设范围。
在本公开的一种示例性实施例中,所述情感分类标签包括1级正面情感文本、2级正面情感文本、……、n级正面情感文本和1级负面情感文本、2级负面情感文本、……、n级负面情感文本,n为大于1的整数。
在本公开的一种示例性实施例中,所述提升算法学习模型包括梯度提升决策树模型、Adaboost模型或Xgboost模型。
根据本公开的一个方面,提供一种文本情感识别装置,包括:样本获取模块,用于获取样本文本集,所述样本文本集包括多个样本文本以及各所述样本文本对应的情感分类标签;代价修正模块,用于根据所述样本文本集中的情感分类标签的数量分布对初始代价进行修正计算,获得修正代价;模型获取模块,用于通过所述样本文本集与所述修正代价训练一提升算法学习模型,得到文本情感识别模型;目标识别模块,用于通过所述文本情感识别模型对待识别文本进行识别,得到所述待识别文本的情感识别结果。
根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的方法。
本公开的示例性实施例具有以下有益效果:
根据获取的样本文本集以及基于不同情感样本文本的数量分布得到的修正代价权重,训练并得到文本情感识别模型,再通过文本情感识别模型对待识别文本进行情感识别。一方面,根据不同情感的样本文本的数量分布对初始代价进行修正计算,使得修正代价能够平衡不同情感的样本文本的数量偏差情况,可以提高文本情感识别模型识别不同情感文本的准确率均衡性,改善文本情感识别效果;另一方面,在训练提升算法学习模型时,通过修正代价对模型的偏好进行一定的引导,可以加强对修正代价较高的样本文本的关注,从而加速训练过程,实现更好的训练效果;再一方面,本实施例中,对应用场景的语料没有特别限定要求,且可以通过调整修正代价来满足不同场景的需求,使得本实施例的文本情感识别方法具有较强的适用性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出本示例性实施例中一种文本情感识别方法的流程图;
图2示意性示出本示例性实施例中一种文本情感识别方法的子流程图;
图3示意性示出本示例性实施例中另一种文本情感识别方法的子流程图;
图4示意性示出本示例性实施例中一种文本情感识别装置的结构框图;
图5示意性示出本示例性实施例中一种用于实现上述方法的电子设备;
图6示意性示出本示例性实施例中一种用于实现上述方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
本公开的示例性实施例首先提供了一种文本情感识别方法,其中文本一般指文字形式的信息,本实施例中也可以将语音信息通过特定工具转化为文本后进行情感识别;情感识别可以是对文本所传达的情感状态的分类判断,例如文本情感为正面或负面、褒义或贬义等。
下面结合附图1对本示例性实施例做进一步说明,如图1所示,文本情感识别方法可以包括以下步骤S110~S140:
步骤S110,获取样本文本集,样本文本集包括多个样本文本以及各样本文本对应的情感分类标签。
其中,样本文本可以是在特定应用场景的语料中抽取的文本,通常可以覆盖该语料中各种类型的文本。根据该应用场景的文本情感识别需要,可以对样本文本进行情感分类标注,以得到情感分类标签,例如在识别电商消费者对商品评价的情感的场景中,通常需要将情感分类为正面与负面,则可以从评价文本中抽取大量样本文本,并逐一标注其为正面情感文本或负面情感文本;又例如在识别社交网络用户个人动态的情感时,通常需要将情感分类为“高兴”、“沮丧”、“愤怒”、“悲伤”等多种类别,对于样本文本“天气太好了”,可以标注其情感分类标签为“高兴”,对于样本文本“今天真倒霉”,可以标注其情感分类标签为“沮丧”等。本实施例对于情感分类标签的具体内容不做特别限定。
步骤S120,根据样本文本集中的情感分类标签的数量分布对初始代价进行修正计算,获得修正代价。
其中,代价是代价敏感学习中的概念,反映错误识别所导致的后果严重程度。初始代价可以是从应用场景出发,考虑对文本情感错误识别的代价而确定的参数。在同一应用场景中,对于不同情感类型的文本错误识别的初始代价通常不同;在不同的应用场景中,对于同一情感类型的文本错误识别的初始代价也可能不同。举例而言,在采用好评制来评价坐席客服人员时,一般更关注客户给予的正面情感评价,以鼓励和表扬优秀客服人员,在该场景中,将正面情感文本错误识别为负面情感文本的初始代价较高,将负面情感文本错误识别为正面情感文本的初始代价较低;在对电商产品进行评估时,通常更关注消费者给予的负面情感评价,以改进产品质量,在该场景中,将负面情感文本错误识别为正面情感文本的初始代价较高,将正面情感文本错误识别为负面情感文本的初始代价较低。
在样本文本集中,情感分类标签的数量分布反映不同情感的样本文本的不均衡情况,可以通过不同情感的样本文本之间的比例、方差或标准差等一个或多个指标定量表示,例如:在某样本文本集中,“正面”的情感分类标签有80000条,“负面”的情感分类标签有20000条,则该样本集中情感分类标签的数量分布可以是4∶1;或者该样本文本集中,数量分布体现为“正面”的情感分类标签占总情感分类标签的4/5,“负面”的情感分类标签占总情感分类标签的1/5等。在多分类的场景中,通常采用方差或标准差来表示情感分类标签的数量分布。本实施例对此不做特别限定。
根据上述情感分类标签的数量分布,可以通过特定的函数或公式对不同情感类型的文本的初始代价进行修正计算,结合期望的修正方向,可以获得修正代价。举例而言,如果正面样本文本比例较低或数量较少,则可以修正正面情感文本的初始代价,使其具有更高的代价权重。如果负面样本文本比例较低或数量较少,则可以修正负面情感文本的初始代价,使其具有更高的代价权重。
步骤S130,通过样本文本集与修正代价训练一提升算法学习模型,得到文本情感识别模型。
提升算法学习模型可以应用于提高弱分类算法准确度的场景中,在本实施例中,提升算法学习模型可以对不同准确率的样本文本设置不同的采样权重,从而使模型更加关注于修正代价较高的样本文本。提升算法学习模型可以包括多种模型,例如,梯度提升决策树模型、Adaboost模型或Xgboost模型等。
训练过程可以包括:提升算法学习模型以样本文本为输入,输出样本文本的情感分类结果,将情感分类结果与情感分类标签进行对比;再通过修正代价对对比的结果进行计算,得到模型识别的准确率;通过迭代调整模型的参数,直至准确率达到一定的标准,可以认为训练完成。训练完成的提升算法学习模型即为文本情感识别模型。
步骤S140,通过文本情感识别模型对待识别文本进行识别,得到待识别文本的情感识别结果。
通过上述训练完成的文本情感识别模型,可以对待识别文本进行识别,情感识别结果为待识别文本的情感分类结果,例如,情感识别结果可以是正面情感文本或负面情感文本等。
基于上述说明,在本示例性实施例中,根据获取的样本文本集以及基于不同情感样本文本的数量分布得到的修正代价权重,训练并得到文本情感识别模型,再通过文本情感识别模型对待识别文本进行情感识别。一方面,根据不同情感的样本文本的数量分布对初始代价进行修正计算,使得修正代价能够平衡不同情感的样本文本的数量偏差情况,可以提高文本情感识别模型识别不同情感文本的准确率均衡性,改善文本情感识别效果;另一方面,在训练提升算法学习模型时,通过修正代价对模型的偏好进行一定的引导,可以加强对修正代价较高的样本文本的关注,从而加速训练过程,实现更好的训练效果;再一方面,本实施例中,对应用场景的语料没有特别限定要求,且可以通过调整修正代价来满足不同场景的需求,使得本实施例的文本情感识别方法具有较强的适用性。
在一示例性实施例中,情感分类标签可以包括正面情感文本与负面情感文本。步骤S120可以通过以下步骤实现:
获取初始代价cost10和cost01,cost10为将正面情感文本误认为负面情感文本的初始代价,cost01为将负面情感文本误认为正面情感文本的初始代价。
统计样本文本集中的正面情感文本数量Q1与负面情感文本数量Q0。
通过以下公式对初始代价进行修正计算,获得修正代价:
其中,R10为样本偏差比例,costm10为将正面情感文本误认为负面情感文本的修正代价,costm01为将负面情感文本误认为正面情感文本的修正代价,a为指数参数。
根据上述分析,样本文本集中不同情感分类的样本文本具有不同的初始代价与修正代价。当情感分类标签为正面情感文本与负面情感文本时,可以用“0”表示负面情感,“1”表示正面情感。获取的初始代价cost10和cost01,就可以分别表示将正面情感文本误认为负面情感文本的初始代价和将负面情感文本误认为正面情感文本的初始代价。
基于样本文本集中正面情感文本数量Q1与负面情感文本数量Q0,可以通过公式(1)、公式(2)以及公式(3),计算修正代价,a为指数参数,反映修正的程度,a越大,表示修正的程度越高;一般0<a≤1,可以根据经验及实际使用的情况设定a的数值。
举例而言,如果正面情感文本数量Q1=80000,负面情感文本数量Q0=20000,设置a=1/2,根据公式计算可以得到R10=4,代入公式(2)和公式(3)中计算,可得costm10=0.5cost10,costm01=2cost01。可见,经过修正计算,正面情感文本的修正代价低于其初始代价,负面情感文本的修正代价高于其初始代价。
在其他实施例中,也可以通过计算不同情感分类的样本文本的偏差比例,来对初始代价进行修正。例如:在样本文本集中,负面情感文本数量为Q0,正面情感文本数量为Q1,负面情感的偏差比例可以为:修正代价可以通过公式:costm10=cost10·R0, 来计算。
举例而言,如果正面情感文本数量Q1=80000,负面情感文本数量Q0=20000,R0=0.4,分别代入公式costm10=cost10·R0和公式调整初始代价,得到costm10=0.4cost10,costm01=2.5cost01。经过修正计算,也可以使正面情感文本的修正代价低于其初始代价,负面情感文本的修正代价高于其初始代价。
在一示例性实施例中,参考图2所示,步骤S130可以包括以下步骤:
步骤S201,将样本文本集划分为训练子集T与验证子集D,D={x1,x2…xm}。
步骤S202,利用训练子集T训练提升算法学习模型。
步骤S203,通过提升算法学习模型获取验证子集D中每个样本文本xi的情感识别结果f(xi)。
步骤S204,根据公式(4)计算提升算法学习模型的错误率:
步骤S205,如果错误率低于学习阈值,则判定提升算法学习模型训练完成,将训练后的提升算法学习模型确定为文本情感识别模型。
其中,m为验证子集中的样本文本数量,i∈[1,m];E为提升算法学习模型的错误率,D+为验证子集D的正面情感样本文本子集,D-为验证子集D的负面情感样本文本子集,yi为样本文本xi的情感分类标签。
在步骤S201中,可以直接将样本文本集划分为两个互斥的集合,其中一个集合作为训练子集,另一个作为验证子集,在训练完成模型之后,以便于用来评估其验证误差,作为对泛化误差的估计。假设样本文本集包含100000个样本文本,采取8/2分样,可以将其划分为包含80000个训练样本文本的子集,即训练子集T,以及包含20000个验证样本文本的子集,即验证子集D,D={x1,x2…xm},x1、x2等代表D中的样本文本。其中,训练子集和验证子集的分配比例可以根据需要确定,在此不做具体限制。
提升算法学习模型可以以训练子集为输入,输出对训练子集中样本文本的情感分类结果,调整模型参数,继续训练模型,然后可以通过验证子集来验证模型是否符合要求,通过公式(4)计算提升算法学习模型的错误率。公式(4)中,II(·)为指示函数,在括号内的·为真和假时分别取值为1和0,对于D中的每个样本文本xi,如果模型输出的结果f(xi)与情感分类标签yi相同,则xi的错误指数为0;如果模型输出的结果与情感分类标签不同,则xi的错误指数为costm10(当xi为正面样本文本时)或costm01(当xi为负面样本文本时);对D中的所有样本文本的错误指数取算术平均值,可以得到模型的错误率E。错误率E的值越低表示提升算法学习模型训练的效果越好。
在模型的训练中,可以设置一学习阈值的判断机制,来判断提升算法学习模型的错误率是否在可接受范围内。如果计算所得的错误率低于学习阈值,则判断模型训练完成,得到文本情感识别模型;如果计算所得的错误率等于或高于学习阈值,则不能通过验证,可以继续对模型进行训练。可以根据经验或实际使用情况设定学习阈值,本实施例对于其具体数值不做限定。
在一示例性实施例中,文本情感识别方法还可以包括以下步骤:
分别根据公式(5)与公式(6)计算提升算法学习模型的正面样本错误率E+与负面样本错误率E-:
根据公式(7)计算提升算法学习模型的错误率比例:
如果错误率比例处于预设范围,则继续检测错误率是否低于学习阈值。
其中,s为验证子集D的正面情感样本文本数量,即D+的样本文本数量,v为验证子集D的负面情感样本文本数量,即D-的样本文本数量,m=s+v。
考虑到正面样本与负面样本错误率的差异性,可以根据公式(5)与公式(6)分别计算提升算法学习模型的正面样本错误率E+与负面样本错误率E-,正面样本错误率E+为利用正面样本文本子集D+验证提升算法学习模型的错误率,即对于正面样本文本识别的错误率;负面样本错误率E-为利用负面样本文本子集D-验证提升算法学习模型的错误率,即对于负面样本文本识别的错误率。则通过上述公式(4)计算的错误率为对于正面样本文本与负面样本文本整体识别的错误率。
在一示例性实施例中,在计算出E+与E-后,也可以通过公式计算出样本文本子集D验证提升算法学习模型的错误率,与上述公式(4)所计算的错误率一致。
根据公式(7)可以计算提升算法模型的错误率比例A,A反映了模型对于不同情感样本文本识别的错误率不均衡程度。当A为1时,表示正面样本错误率E+与负面样本错误率E-相等,此时模型对于正面样本文本与负面样本文本识别的错误率均衡;当A与1相差过多,无论是大于1或者小于1,都说明模型对于正面样本文本与负面样本文本识别的错误率不均衡程度较高,训练并未达到要求。本实施例意为在判断提升算法学习模型的错误率是否达到要求之前,首先判断模型识别不同情感样本文本的错误率是否均衡,如果均衡性达到要求,再继续判断错误率是否达到要求。
根据应用场景中可接收的错误率不均衡程度,可以设置一预设范围,以衡量错误率均衡性是否达到要求,当错误率比例处于预设范围内时,则说明均衡性达到要求,可以继续判断错误率是否达到学习阈值的标准。例如:可以设置预设范围为[0.5,2],当正面情感样本错误率是负面情感样本错误率的2倍时,计算所得错误率比例A=0.5,当负面情感样本错误率是正面情感样本错误率的2倍时,计算所得错误率比例A=2,处于预设范围之内,表示可以接受这种程度的不均衡性,继续检测错误率是否低于学习阈值。
在其他实施例中,也可以利用B=|lgA|来定量表示提升算法学习模型对于不同情感样本文本识别的错误率不均衡程度,当B=0时表示完全均衡,B越大表示均衡性越差,因此可以设置关于B的阈值以衡量模型的错误率均衡性是否达到要求。
进一步的,如果错误率比例未处于预设范围之内,需要对提升算法学习模型进一步进行训练。在一示例性实施例中,文本情感识别方法还包括以下步骤:
如果错误率比例未处于预设范围,则再次利用训练子集T训练提升算法学习模型。
通过以下公式重新计算提升算法学习模型的错误率比例:
再次检测错误率比例是否处于所述预设范围。
举例而言,如果在公式(5)和公式(6)中计算所得正面样本错误率E+大于负面样本错误率E-,导致错误率比例A大于1,为了提高提升算法学习模型的错误率均衡性,可以再次训练模型,并通过公式(8)与公式(9)再次计算E-与E+。在公式(8)与公式(9)中,如果上一次验证中计算的A大于1,则E+通过乘以A得到了提高,E-通过乘以1/A得到了降低,即在本轮训练中,如果E+与E-没有得到较大改善,其比例A将继续增大,因此将使得模型的训练过程加速,提升训练效果。通过上述过程可以更快的实现模型的错误率均衡。
图3示出了本示例性实施例中一种文本情感识别模型训练的流程图,通过对样本文本集计算样本偏差比例,并根据样本偏差比例计算修正代价,以训练提升算法学习模型;然后计算模型训练的错误率比例及错误率,并依此进行判断;如果判断错误率比例未处于预设范围内,则可以返回模型训练步骤,继续训练提升算法学习模型,如果判断错误率比例处于预设范围内,则可以继续进行错误率是否低于学习阈值的判断;进一步的,如果判断错误率等于或高于学习阈值,则可以返回模型训练步骤,继续训练提升算法学习模型,如果判断错误率低于学习阈值,则可以认为模型训练完成,得到文本情感识别模型。
在一示例性实施例中,情感分类标签可以包括:1级正面情感文本、2级正面情感文本、……、n级正面情感文本和1级负面情感文本、2级负面情感文本、……、n级负面情感文本,n为大于1的整数。
其中,样本文本的情感可以分类正面情感和负面情感,进一步的,正面情感与负面情感根据情感程度还可以分为1级正面情感文本、2级正面情感文本、……、n级正面情感文本和1级负面情感文本、2级负面情感文本、……、n级负面情感文本。可以通过识别关键词或关键字的方式来确定情感分类等级,例如,关键词为“好”的样本文本可以标注其情感分类标签为1级正面情感文本,关键词包括“非常”、“好”的样本文本可以标注其情感分类标签为2级正面情感文本等等。另外,情感分类标签还可以包括中性情感文本等,在此不做具体限制。
本公开的示例性实施例还提供了一种文本情感识别装置。参照图4,该装置400可以包括,样本获取模块410,代价修正模块420,模型获取模块430及目标识别模块440。其中,样本获取模块410用于获取样本文本集,样本文本集包括多个样本文本以及各样本文本对应的情感分类标签;代价修正模块420用于根据样本文本集中的情感分类标签的数量分布对初始代价进行修正计算,获得修正代价;模型获取模块430用于通过样本文本集与修正代价训练一提升算法学习模型,得到文本情感识别模型;目标识别模块440,用于通过文本情感识别模型对待识别文本进行识别,得到待识别文本的情感识别结果。
在一示例性实施例中,情感分类标签包括正面情感文本与负面情感文本;模型生成模块可以包括:初始代价获取单元,用于获取初始代价cost10和cost01,cost10为将正面情感文本误认为负面情感文本的初始代价,cost01为将负面情感文本误认为正面情感文本的初始代价;文本统计单元,用于统计样本文本集中的正面情感文本数量Q1与负面情感文本数量Q0;代价修正单元,用于通过以下公式对初始代价进行修正计算,获得修正代价:
其中,R10为样本偏差比例,costm10为将正面情感文本误认为负面情感文本的修正代价,costm01为将负面情感文本误认为正面情感文本的修正代价,a为指数参数。
在一示例性实施例中,模型获取模块可以包括:划分单元,用于将样本文本集划分为训练子集T与验证子集D,D={x1,x2…xm};训练单元,用于利用训练子集T训练提升算法学习模型;验证单元,用于通过提升算法学习模型获取验证子集D中每个样本文本xi的情感识别结果f(xi);计算单元,用于根据公式(4)计算提升算法学习模型的错误率:
判断单元,用于在错误率低于学习阈值时,判定提升算法学习模型训练完成,将训练后的提升算法学习模型确定为文本情感识别模型;其中,m为验证子集中的样本文本数量,i∈[1,m];E为提升算法学习模型的错误率,D+为验证子集D的正面情感样本文本子集,D-为验证子集D的负面情感样本文本子集,yi为样本文本xi的情感分类标签。
在一示例性实施例中,计算单元还可以用于分别根据公式(5)与公式(6)计算提升算法学习模型的正面样本错误率E+与负面样本错误率E-:
以及,用于根据公式(7)计算提升算法学习模型的错误率比例:
判断单元还可以用于在错误率比例处于预设范围时,继续检测错误率是否低于学习阈值。其中,s为验证子集D的正面情感样本文本数量,v为验证子集D的负面情感样本文本数量,m=s+v。
在一示例性实施例中,训练单元还可以用于如果错误率比例未处于预设范围,则再次利用训练子集T训练提升算法学习模型;计算单元还可以用于通过以下公式重新计算提升算法学习模型的错误率比例:
判断单元还可以用于再次检测错误率比例是否处于预设范围。
在一示例性实施例中,情感分类标签可以包括1级正面情感文本、2级正面情感文本、……、n级正面情感文本和1级负面情感文本、2级负面情感文本、……、n级负面情感文本,n为大于1的整数。
在一示例性实施例中,提升算法学习模型可以包括梯度提升决策树模型、Adaboost模型或Xgboost模型。
上述各模块/单元的具体细节已经在对应的方法部分实施例中进行了详细的描述,因此此处不再赘述。
本公开的示例性实施例还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本公开的这种示例性实施例的电子设备500。图5显示的电子设备500仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于:上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530、显示单元540。
其中,存储单元存储有程序代码,程序代码可以被处理单元510执行,使得处理单元510执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,处理单元510可以执行图1所示的步骤S110~S140,也可以执行图2所示的步骤S201~S205等。
存储单元520可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)521和/或高速缓存存储单元522,还可以进一步包括只读存储单元(ROM)523。
存储单元520还可以包括具有一组(至少一个)程序模块525的程序/实用工具524,这样的程序模块525包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备500交互的设备通信,和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且,电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器560通过总线530与电子设备500的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备500使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施例的方法。
本公开的示例性实施例还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图6所示,描述了根据本公开的示例性实施例的用于实现上述方法的程序产品600,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言-诸如Java、C++等,还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的示例性实施例,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (8)
1.一种文本情感识别方法,其特征在于,包括:
获取样本文本集,所述样本文本集包括多个样本文本以及各所述样本文本对应的情感分类标签;
根据所述样本文本集中的情感分类标签的数量分布对初始代价进行修正计算,获得修正代价;
通过所述样本文本集与所述修正代价训练一提升算法学习模型,得到文本情感识别模型;
通过所述文本情感识别模型对待识别文本进行识别,得到所述待识别文本的情感识别结果;
其中,所述情感分类标签包括正面情感文本与负面情感文本;
所述根据所述样本文本集中的情感分类标签的数量分布对初始代价进行修正计算,获得修正代价包括:
获取初始代价cost10和cost01,cost10为将正面情感文本误认为负面情感文本的初始代价,cost01为将负面情感文本误认为正面情感文本的初始代价;
统计所述样本文本集中的正面情感文本数量Q1与负面情感文本数量Q0;
通过以下公式对所述初始代价进行修正计算,获得所述修正代价:
其中,R10为样本偏差比例,costm10为将正面情感文本误认为负面情感文本的修正代价,costm01为将负面情感文本误认为正面情感文本的修正代价,a为指数参数;
所述通过所述样本文本集与所述修正代价训练一提升算法学习模型,得到文本情感识别模型包括:
将所述样本文本集划分为训练子集T与验证子集D,D={x1,x2…xm};
利用所述训练子集T训练所述提升算法学习模型;
通过所述提升算法学习模型获取所述验证子集D中每个样本文本xi的情感识别结果f(xi);
根据公式(4)计算所述提升算法学习模型的错误率:
如果所述错误率低于学习阈值,则判定所述提升算法学习模型训练完成,将训练后的所述提升算法学习模型确定为所述文本情感识别模型;
其中,m为所述验证子集中的样本文本数量,i∈[1,m];E为所述提升算法学习模型的错误率,D+为所述验证子集D的正面情感样本文本子集,D-为所述验证子集D的负面情感样本文本子集,y(为样本文本xi的情感分类标签。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
分别根据公式(5)与公式(6)计算所述提升算法学习模型的正面样本错误率E+与负面样本错误率E-:
根据公式(7)计算所述提升算法学习模型的错误率比例:
如果所述错误率比例处于预设范围,则继续检测所述错误率是否低于学习阈值;
其中,s为所述验证子集D的正面情感样本文本数量,v为所述验证子集D的负面情感样本文本数量,m=s+v。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
如果所述错误率比例未处于所述预设范围,则再次利用所述训练子集T训练所述提升算法学习模型;
通过以下公式重新计算所述提升算法学习模型的错误率比例:
再次检测所述错误率比例是否处于所述预设范围。
4.根据权利要求1所述的方法,其特征在于,所述情感分类标签包括1级正面情感文本、2级正面情感文本、……、n级正面情感文本和1级负面情感文本、2级负面情感文本、……、n级负面情感文本,n为大于1的整数。
5.根据权利要求1所述的方法,其特征在于,所述提升算法学习模型包括梯度提升决策树模型、Adaboost模型或Xgboost模型。
6.一种文本情感识别装置,其特征在于,包括:
样本获取模块,用于获取样本文本集,所述样本文本集包括多个样本文本以及各所述样本文本对应的情感分类标签;
代价修正模块,用于根据所述样本文本集中的情感分类标签的数量分布对初始代价进行修正计算,获得修正代价;
模型获取模块,用于通过所述样本文本集与所述修正代价训练一提升算法学习模型,得到文本情感识别模型;
目标识别模块,用于通过所述文本情感识别模型对待识别文本进行识别,得到所述待识别文本的情感识别结果;
其中,所述情感分类标签包括正面情感文本与负面情感文本;
所述根据所述样本文本集中的情感分类标签的数量分布对初始代价进行修正计算,获得修正代价包括:
获取初始代价cost10和cost01,cost10为将正面情感文本误认为负面情感文本的初始代价,cost01为将负面情感文本误认为正面情感文本的初始代价;
统计所述样本文本集中的正面情感文本数量Q1与负面情感文本数量Q0;
通过以下公式对所述初始代价进行修正计算,获得所述修正代价:
其中,R10为样本偏差比例,costm10为将正面情感文本误认为负面情感文本的修正代价,costm01为将负面情感文本误认为正面情感文本的修正代价,a为指数参数;
所述通过所述样本文本集与所述修正代价训练一提升算法学习模型,得到文本情感识别模型包括:
将所述样本文本集划分为训练子集T与验证子集D,D={x1,x2…xm};
利用所述训练子集T训练所述提升算法学习模型;
通过所述提升算法学习模型获取所述验证子集D中每个样本文本xi的情感识别结果f(xi);
根据公式(4)计算所述提升算法学习模型的错误率:
如果所述错误率低于学习阈值,则判定所述提升算法学习模型训练完成,将训练后的所述提升算法学习模型确定为所述文本情感识别模型;
其中,m为所述验证子集中的样本文本数量,i∈[1,m];E为所述提升算法学习模型的错误率,D+为所述验证子集D的正面情感样本文本子集,D-为所述验证子集D的负面情感样本文本子集,y(为样本文本xi的情感分类标签。
7.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811244553.6A CN109344257B (zh) | 2018-10-24 | 2018-10-24 | 文本情感识别方法及装置、电子设备、存储介质 |
PCT/CN2019/089166 WO2020082734A1 (zh) | 2018-10-24 | 2019-05-30 | 文本情感识别方法、装置、电子设备及计算机非易失性可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811244553.6A CN109344257B (zh) | 2018-10-24 | 2018-10-24 | 文本情感识别方法及装置、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109344257A CN109344257A (zh) | 2019-02-15 |
CN109344257B true CN109344257B (zh) | 2024-05-24 |
Family
ID=65311430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811244553.6A Active CN109344257B (zh) | 2018-10-24 | 2018-10-24 | 文本情感识别方法及装置、电子设备、存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109344257B (zh) |
WO (1) | WO2020082734A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344257B (zh) * | 2018-10-24 | 2024-05-24 | 平安科技(深圳)有限公司 | 文本情感识别方法及装置、电子设备、存储介质 |
CN110069601A (zh) * | 2019-04-03 | 2019-07-30 | 平安科技(深圳)有限公司 | 情绪检测分析方法及相关装置 |
CN110351090B (zh) * | 2019-05-27 | 2021-04-27 | 平安科技(深圳)有限公司 | 群签名数字证书吊销方法及装置、存储介质、电子设备 |
CN110516416B (zh) * | 2019-08-06 | 2021-08-06 | 咪咕文化科技有限公司 | 身份验证方法、验证端和客户端 |
CN110909258B (zh) * | 2019-11-22 | 2023-09-29 | 上海喜马拉雅科技有限公司 | 一种信息推荐方法、装置、设备及存储介质 |
CN110910904A (zh) * | 2019-12-25 | 2020-03-24 | 浙江百应科技有限公司 | 一种建立语音情感识别模型的方法及语音情感识别方法 |
CN112069311B (zh) * | 2020-08-04 | 2024-06-11 | 北京声智科技有限公司 | 一种文本提取方法、装置、设备及介质 |
CN112507082B (zh) * | 2020-12-16 | 2024-08-16 | 作业帮教育科技(北京)有限公司 | 一种智能识别不当文本交互的方法、装置和电子设备 |
CN113705206B (zh) * | 2021-08-13 | 2023-01-03 | 北京百度网讯科技有限公司 | 情感预测模型的训练方法、装置、设备及存储介质 |
CN117591634B (zh) * | 2023-12-04 | 2024-08-20 | 广东南方智媒科技有限公司 | 一种文本纠错方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103106211A (zh) * | 2011-11-11 | 2013-05-15 | 中国移动通信集团广东有限公司 | 客户咨询文本的情感识别方法及装置 |
CN104376842A (zh) * | 2013-08-12 | 2015-02-25 | 清华大学 | 神经网络语言模型的训练方法、装置以及语音识别方法 |
WO2018045910A1 (zh) * | 2016-09-09 | 2018-03-15 | 阿里巴巴集团控股有限公司 | 情感倾向的识别方法、对象分类方法及数据处理系统 |
CN107958292A (zh) * | 2017-10-19 | 2018-04-24 | 山东科技大学 | 基于代价敏感学习的变压器模糊谨慎推理故障诊断方法 |
CN108460421A (zh) * | 2018-03-13 | 2018-08-28 | 中南大学 | 不平衡数据的分类方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975992A (zh) * | 2016-05-18 | 2016-09-28 | 天津大学 | 一种基于自适应升采样的不平衡数据集分类方法 |
CN106815369B (zh) * | 2017-01-24 | 2019-09-20 | 中山大学 | 一种基于Xgboost分类算法的文本分类方法 |
CN109344257B (zh) * | 2018-10-24 | 2024-05-24 | 平安科技(深圳)有限公司 | 文本情感识别方法及装置、电子设备、存储介质 |
-
2018
- 2018-10-24 CN CN201811244553.6A patent/CN109344257B/zh active Active
-
2019
- 2019-05-30 WO PCT/CN2019/089166 patent/WO2020082734A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103106211A (zh) * | 2011-11-11 | 2013-05-15 | 中国移动通信集团广东有限公司 | 客户咨询文本的情感识别方法及装置 |
CN104376842A (zh) * | 2013-08-12 | 2015-02-25 | 清华大学 | 神经网络语言模型的训练方法、装置以及语音识别方法 |
WO2018045910A1 (zh) * | 2016-09-09 | 2018-03-15 | 阿里巴巴集团控股有限公司 | 情感倾向的识别方法、对象分类方法及数据处理系统 |
CN107958292A (zh) * | 2017-10-19 | 2018-04-24 | 山东科技大学 | 基于代价敏感学习的变压器模糊谨慎推理故障诊断方法 |
CN108460421A (zh) * | 2018-03-13 | 2018-08-28 | 中南大学 | 不平衡数据的分类方法 |
Non-Patent Citations (1)
Title |
---|
基于代价敏感的随机森林不平衡数据分类算法;杨杰明;高聪;曲朝阳;阚中锋;高冶;常成;;科学技术与工程;20180228(第06期);290-295 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020082734A1 (zh) | 2020-04-30 |
CN109344257A (zh) | 2019-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109344257B (zh) | 文本情感识别方法及装置、电子设备、存储介质 | |
WO2019095782A1 (zh) | 一种数据样本标签处理方法及装置 | |
CN110472675B (zh) | 图像分类方法、图像分类装置、存储介质与电子设备 | |
US20190333118A1 (en) | Cognitive product and service rating generation via passive collection of user feedback | |
US11640551B2 (en) | Method and apparatus for recommending sample data | |
CN109214436A (zh) | 一种针对目标场景的预测模型训练方法及装置 | |
US20160284344A1 (en) | Speech data recognition method, apparatus, and server for distinguishing regional accent | |
CN112990294B (zh) | 行为判别模型的训练方法、装置、电子设备及存储介质 | |
WO2020056995A1 (zh) | 语音流利度识别方法、装置、计算机设备及可读存储介质 | |
CN111447574B (zh) | 短信分类方法、装置、系统和存储介质 | |
CN111414754A (zh) | 一种事件的情感分析方法、装置、服务器及存储介质 | |
CN112883990A (zh) | 数据分类方法及装置、计算机存储介质、电子设备 | |
CN110647523A (zh) | 数据质量的分析方法及装置、存储介质、电子设备 | |
CN111950647A (zh) | 分类模型训练方法和设备 | |
US11145308B2 (en) | Symbol sequence estimation in speech | |
CN115456089A (zh) | 一种分类模型的训练方法、装置、设备和存储介质 | |
CN113762401A (zh) | 自适应分类任务阈值调整方法、装置、设备及存储介质 | |
CN116975400A (zh) | 一种数据分级分类方法、装置、电子设备及存储介质 | |
CN116468479A (zh) | 确定页面质量评估维度方法、页面质量的评估方法和装置 | |
CN110826616A (zh) | 信息处理方法及装置、电子设备、存储介质 | |
CN115527520A (zh) | 异常检测方法、装置、电子设备和计算机可读存储介质 | |
CN114297235A (zh) | 风险地址识别方法、系统及电子设备 | |
CN111488738B (zh) | 非法信息的识别方法、装置 | |
CN109408531B (zh) | 缓慢下跌型数据的检测方法及装置、电子设备、存储介质 | |
CN112560437A (zh) | 文本通顺度的确定方法、目标模型的训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |