CN110377742A - 文本分类评测方法、装置、可读存储介质和计算机设备 - Google Patents

Abstract

本申请涉及一种文本分类评测方法、装置、可读存储介质和计算机设备，所述方法包括：获取多个预定渠道对目标文本的分类结果；统计多个分类结果中各类分类结果的相同数量；将相同数量达到数量阈值的分类结果确定为目标文本的标准分类结果；当待评估分类模型对目标文本分类获得的待评估分类结果与标准分类结果一致时，判定待评估分类模型的分类正确。上述方法中，通过获取多个渠道对同一目标文本的分类结果，将各分类结果中相同数量达到数量阈值的一类分类结果确定为该目标文本的标准分类结果，将待评估分类模型对目标文本的分类结果与标准分类结果比较，若相同则认为待评估分类模型分类正确；可以提高对文本分类的评测效率和准确率。

Description

文本分类评测方法、装置、可读存储介质和计算机设备

技术领域

本申请涉及评测技术领域，特别是涉及一种文本分类评测方法、装置、计算机可读存储介质和计算机设备。

背景技术

随着信息技术的发展，文本信息的种类和数量越来越丰富，文本分类的效果也变得越来越重要。目前已有大量的文本分类方法，而检测这些文本分类方法的效果，需要对通过各种文本分类方法获得分类结果的正确性进行判断。

现有技术中，检测文本分类结果正确性的方法有人工评测、众测的方法，还有通过训练分类模型进行分类结果的评测方法，人工评测和众测的方式效率低，而通过训练分类模型进行分类结果评测的方法中，分类模型的分类准确率难以保证，而分类模型的分类准确率直接影响评测的准确性。

发明内容

基于此，有必要针对上述技术问题，提供一种文本分类评测方法、装置、计算机可读存储介质和计算机设备。

一种文本分类评测方法，所述方法包括：

获取多个预定渠道对目标文本的分类结果；

统计所述多个分类结果中各类分类结果的相同数量；

将相同数量达到数量阈值的分类结果确定为所述目标文本的标准分类结果；

当待评估分类模型对所述目标文本分类获得的待评估分类结果与所述标准分类结果一致时，判定所述待评估分类模型的分类正确。

一种文本分类评测装置，所述装置包括：

分类结果获取模块，用于获取多个预定渠道对目标文本的分类结果；

统计模块，用于统计所述多个分类结果中各类分类结果的相同数量；

标准分类结果确定模块，用于将相同数量达到数量阈值的分类结果确定为所述目标文本的标准分类结果；

评测模块，用于当待评估分类模型对所述目标文本分类获得的待评估分类结果与所述标准分类结果一致时，判定所述待评估分类模型的分类正确。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述文本分类评测方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述文本分类评测方法的步骤。

上述文本分类评测方法、装置、计算机可读存储介质和计算机设备，通过获取多个渠道对同一目标文本的分类结果，将各分类结果中相同数量达到数量阈值的一类分类结果确定为该目标文本的标准分类结果，将待评估分类模型对目标文本的分类结果与标准分类结果比较，若相同则认为待评估分类模型分类正确；从而可以提高对文本分类的评测效率和准确率。

附图说明

图1为一个实施例中文本分类评测方法的应用环境图；

图2为一个实施例中文本分类评测方法的流程示意图；

图3为一个实施例中获取多个预定渠道对目标文本的分类结果的流程示意图；

图4为一个具体实施例中文本分类评测方法的流程示意图；

图5为一个具体实施例中文本分类评测方法的实现架构图；

图6a为一个具体实施例中自测的流程示意图；

图6b为一个具体实施例中一键评测的流程示意图；

图7为一个实施例中文本分类评测装置的结构框图；

图8为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中文本分类评测方法的应用环境图。该文本分类评测方法应用于文本分类评测系统。该文本分类评测系统涉及终端110，在另一部分实施例中还涉及服务器120。终端110和服务器120通过网络连接。终端获取多个预定渠道对目标文本的分类结果；统计其中各类分类结果的相同数量；并将相同数量达到数量阈值的分类结果确定为目标文本的标准分类结果；通过比对待评估分类模型对目标文本分类获得的待评估分类结果与标准分类结果是否一致，来判定待评估分类模型的分类正确。其中，在一些实施例中，获取预定渠道对目标文本的分类结果可以是从服务器中获取。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

如图2所示，在一个实施例中，提供了一种文本分类评测方法。本实施例主要以该方法应用于上述图1中的终端来举例说明。参照图2，该文本分类评测方法具体包括步骤S210至步骤S240。

步骤S210，获取多个预定渠道对目标文本的分类结果。

其中所说的渠道可以是收录大量文本，并对不同的文本进行分类归类的应用软件；或者可以是对文本进行分类的搜索引擎；也可以是一种对文本进行分类的方法，例如可以是人工对文本进行分类，或者也可以是采用训练得到的神经网络模型实现对文本进行分类的方法；例如预定渠道为应用软件时可以包括：今日头条、公众号、知乎、好奇心日报和简书等等中的任意组合，搜索引擎可以包括：百度、阿里、搜狗等等中的任意组合。

对于同一个文本，不同渠道可能将其划分的类别是不相同的。在本实施例中，目标文本为用于评测待评估分类模型的分类是否正确的一个评测文本，通过确定目标文本的标准分类结果，然后判断待评估分类结果对目标文本的分类是否为标准分类结果，则可确定待评估分类模型的分类是否准确。当然，需要确定待评估分类模型的分类是否准确，需要结合待评估分类模型对多个目标文本的分类是否正确来判断。

在一个具体实施例中，分类结果可以是娱乐、美食、科技、体育或者新闻中的一个。

在本实施例中，预先设定了需要获取分类结果的渠道，在需要对待评估分类模型分类是否准确进行评测时，首先获取各预定渠道对同一个目标文本进行分类后获得的分类结果。

步骤S220，统计多个分类结果中各类分类结果的相同数量。

本实施例中是对步骤S210中获取的多个预定渠道对目标文本的分类结果对应的类别的数量进行统计，实际上即为确认多个预定渠道对目标文本的分类有哪些相同的，哪些是不相同的，统计出来分类结果相同的数量。

例如，在一个具体实施例中，预定渠道为A、B和C，目标文本为X，获取渠道A对X的分类结果为a，渠道B对X的分类结果为b，以及渠道C中对X的分类结果为a，则可以确定渠道A、B和C对目标文本X的分类结果中存在相同数量的分类结果为a，且相同数量为2。在另一个实施例中，获取到渠道A对目标文本Y的分类结果为a，渠道B对Y的分类结果为a，以及渠道C中对Y的分类结果为a，则可以确定渠道A、B和C对目标文本Y的分类结果中存在相同数量的分类结果为a，且相同数量为3。

步骤S230，将相同数量达到数量阈值的分类结果确定为目标文本的标准分类结果。

数量阈值可以结合预定渠道的数量进行设定。在本实施例中，将多个预定渠道的分类结果中，相同数量达到数量阈值的一类分类结果确定为目标文本的标准分类结果。标准分类结果为对目标文本分类的较为准确的分类结果。

在一个具体实施例中，预定渠道的数量为3个，将数量阈值设定为2个，当检测到3个预定渠道对目标文本的分类结果中分类相同的相同数量达到2个时(2个相同或者3个相同)，将这2个或3个相同的分类结果作为目标文本的标准分类结果。例如一个实施例中，渠道A对X的分类结果为a，渠道B对X的分类结果为b，以及渠道C中对X的分类结果为a，则可以确定渠道A、B和C对目标文本X的分类结果中存在2个相同的分类结果a，满足达到数量阈值2的条件，将a作为对目标文本X的标准分类结果；而另一实施例中，渠道A对目标文本Y的分类结果为a，渠道B对Y的分类结果为a，以及渠道C中对Y的分类结果为a，则可以确定渠道A、B和C对目标文本Y的分类结果中存在3个相同的分类结果a，满足达到数量阈值2的条件，同样地，将a作为对目标文本Y的标准分类结果。

在另一个实施例中，也有可能在获取到的多个预定渠道对目标文本的分类结果中，不存在分类相同的分类结果，或者获取到的多个预定渠道对目标文本的分类结果中，存在分类相同的分类结果但相同数量未达到数量阈值，则认为暂时无法确定对目标文本分类的标准分类结果，此时，将这一目标文本过滤，不作为评测待评估分类模型的评测文本。例如一个实施例中，渠道A对目标文本Z的分类结果为a，渠道B对Z的分类结果为b，以及渠道C中对Z的分类结果为c，因此本实施例中无法确定Z的标准分类结果；另一个实施例中，渠道A对Z的分类结果为a，渠道B对Z的分类结果为b，渠道C中对Z的分类结果为c，渠道D中对Z的分类结果为a，渠道E中对Z的分类结果为c，存在分类相同的分类结果为a、c，相同数量均为2，而在本实施例中设置的数量阈值为4，相同数量的分类结果数量未达到数量阈值，因此也无法确定本实施例中Z的标准分类结果；此时将目标文本Z过滤，不作为评测待评估分类模型的评测文本。

步骤S240，当待评估分类模型对目标文本分类获得的待评估分类结果与标准分类结果一致时，判定待评估分类模型的分类正确。

在从多个预定渠道获得的对目标文本的分类结果通过上述方法确定对目标文本的标准分类结果之后，将待评估分类模型对目标文本分类的分类结果与该标准分类结果进行比较，当待评估分类模型对目标文本分类的分类结果与标准分类结果相同时，则认为待评估分类模型对应目标文本的分类是准确的。本实施例中的待评估分类模型表示需要进行分类评测的分类模型，待评估分类结果表示待评估分类模型对目标文本进行分类之后获得的分类结果。例如，待评估分类模型对上述目标文本进行分类，获得的分类结果为c，则将c记为本实施例中的待评估分类结果。

可以理解地，在另一个实施例中，当待评估分类模型对目标文本分类获得的待评估分类结果与标准分类结果不一致时，判定待评估分类模型的分类不正确。

上述文本分类评测方法，通过获取多个渠道对同一目标文本的分类结果，将各分类结果中相同数量达到数量阈值的一类分类结果确定为该目标文本的标准分类结果，将待评估分类模型对目标文本的分类结果与标准分类结果比较，若相同则认为待评估分类模型分类正确；从而可以提高对文本分类的评测效率和准确率。

进一步地，在一个实施例中，相同数量达到数量阈值的分类结果，为相同数量最多的分类结果。

在本实施例中，若预定渠道设定为3个以上，且在步骤S210中获取到的多个预定渠道对目标文本的分类结果中存在分类相同的分类结果有多个，例如，预定渠道包括A、B、C、D和F，获取这些预定渠道对目标文本X的分类结果分别为a、b、a、b和a，其中，分类结果a和b均存在相同的分类结果，数量分别为3和2，且数量阈值为2，即a和b均满足数量阈值，此时，选取相同数量最多的分类结果作为标准分类结果。

在一个实施例中，预定渠道的数目为奇数个。即在本实施例中，获取对目标文本的分类结果时，获取的是奇数个预定渠道中对目标文本的分类结果。在另一实施例中，预定渠道包括3个或3个以上。

在另一实施例中，若分类结果为a和b的相同数量相同，且均满足数量阈值，可以将这一目标文本过滤，不用做评测待评测分类模型的评测文本，也可以将这两个分类结果一起作为标准分类结果，在比对待评估分类模型对目标文本的分类结果是否正确时，只需与其中一个分类结果相同即可认为待评估分类模型对目标文本的分类是准确的。假如一个文本的文本内容中既包含分类a的相关内容，也包含分类b的相关内容，则在不同的渠道中，该文本可能会被划分至a分类(分类结果为a)，也可能会被划分至b分类中(分类结果为b)，可以认为两个分类结果均为正确的分类，此时将这两个分类结果一起作为标准分类结果。

在一个实施例中，如图3所示，获取多个预定渠道对目标文本的分类结果，包括步骤S310至步骤S330。

步骤S310，通过爬虫爬取来源软件中的目标文本，获取来源软件对目标文本分类的分类结果。

爬虫是一种按照一定的规则自动地抓取信息的程序或脚本。

步骤S320，获取来源软件以外的预定渠道对目标文本的分类结果。

步骤S330，将来源软件以及来源软件以外的预定软件对目标文本的分类结果确定为多个预定渠道对目标文本的分类结果。

在本实施例中，预先设定的预定渠道为应用软件；首先通过爬虫工具从来源软件中爬取一篇目标文本，获取来源软件对该目标文本分类的分类结果，将通过其它应用软件的提供的分类接口，获取该目标文本的分类结果，各应用软件对目标文本的分类结果即为预定渠道对目标文本的分类结果。

上述文本分类评测方法，在对待评估分类模型的分类准确性进行评测时，首先通过爬虫工具爬取一篇目标文本，以及获取该来源软件对其分类发的分类结果，然后获取来源软件以外的软件对目标文件的分类结果，无需事先确定用于评测的目标文本，而是在获取分类结果的过程中随机选取目标文本，可以提高评测效率。

在一个实施例中，目标文本包括多个；在本实施例中，上述文本分类评测方法还包括：根据待评估分类模型对各目标文本的分类结果的正确性，确定待评估分类模型的分类准确率。

对待评估分类模型的分类准确性进行评测，需要结合待评估分类模型对多个目标文本的分类是否准确来判定。在本实施例中，在对待评估分类模型对多个目标文本分类是否准确进行评测之后，确定待评估分类模型的分类准确率。例如在一个实施例中，目标文本的数量包括100，通过上述文本分类评测方法确定待评估分类模型对其中的88篇目标文本的分类的评测结果为分类正确，而对剩余的12篇目标文本的分类的评测结果为分类错误，则可以确定待评估分类模型的分类准确率为88％。

进一步地，在一个实施例中，当分类准确率不满足业务需求时，根据待评估分类模型对各目标文本的分类结果的正确性优化待评估分类模型的参数。

在一个实施例中，业务需求为对待评估分类模型期望的准确率，可以理解地业务需求可以根据用户需求来设定。在本实施例中，在判定待评估分类模型的准确率不满足业务需求时，对待评估分类模型的参数进行优化。其中，优化模型参数的方法可以通过任意一种方法实现。

在一个具体实施例中，获取预定渠道对目标文本的分类结果中除了多个预定软件，还包括通过训练确定的分类模型，以预定渠道包括3个为例，获取预定渠道的分类结果的过程具体包括通过爬虫工具爬取来源软件中的一篇目标文本，获取来源软件对该目标文本的分类结果；获取预定软件以外的一个软件对该目标文本的分类结果；将该目标文本输入通过训练确定的分类模型获得其对目标文本的分类结果，来源软件、来源软件以外的一个软件以及通过训练确定的分类模型对目标文本的分类结果，即为预定渠道对目标文本分类的分类结果。

进一步地，通过训练确定的分类模型也可以是待评估分类模型，即在本实施例中，获取对目标文本的分类结果包括待评估分类结果；此时，统计分类结果的相同数量，判定相同数量是否达到数量阈值之后，分为两种情况：第一种，相同数量达到数量阈值但并非所有分类结果均相同，(例如3个分类结果中有2个分类结果相同)，此时，将相同数量达到数量阈值的分类结果确定为标准分类结果，然后将待评估结果与该标准分类结果进行比较，确定待评估结果是否分类正确；第二种为相同数量达到数量阈值且为所有分类结果均相同(例如3个分类结果全部为a)，此时将a确定为标准分类结果，而由于待评估分类结果已经是3个分类中的一个，因此已经可以确定待评估分类结果与标准分类结果一致，无需再进行比对待评估分类结果与标准分类结果是否一致的步骤，即可确定待评估分类模型对目标文本分类的待评估分类结果为分类正确。

在一个实施例中，确定多个目标文本各自对应的子分类；在本实施例中，在根据待评估分类模型对各目标文本的分类结果的正确性，确定待评估分类模型的分类准确率之后，还包括：根据待评估分类模型对各目标文本的分类结果的正确性，确定待评估分类模型对各子分类的子分类准确率。

其中，多个目标文本各种对应的子分类实际上即为各目标文本的标准分类结果所对应的分类，待评估分类模型的分类准确率表示的是待评估分类模型的整体分类准确率，而子分类准确率表示的是待评估分类模型对各子分类的分类准确率，进一步地，可以利用子分类准确率指导优化待评估分类模型的参数。

在一个实施例中，分别判断各子分类的子分类准确率是否满足子分类的业务需求，若一个子分类的子分类准确率不满足该子分类的业务需求，则对待评估分类模型的参数进行优化。在一个实施例中，整体分类准确率满足业务需求，而其中的某一项子分类的子分类准确率不满足该子分类业务需求，可以针对该一子分类来优化模型参数，例如重新选择该子分类的训练样本等方式来调整待评估分类模型的参数。可以理解地，在其它实施例中，也可以是通过其它方式实现根据子分类准确率优化待评估分类模型的参数。

在一个实施例中，上述文本分类评测方法在确定多个目标文本所对应的子分类之后还包括步骤：确定待评估分类模型的覆盖率。进一步地，在优化待评估分类模型的参数时结合覆盖率来进行优化。

在另一个实施例中，上述文本分类评测方法在优化待评估分类模型的参数之后，还包括：采用上述方法确定优化后的待评估分类模型的分类准确率、子分类准确率以及覆盖率，显示优化前后的待评估分类模型的分类准确率、子分类准确率以及覆盖率对比。

进一步地，在一个实施例中，上述文本分类评测方法还包括：显示待评估分类模型对目标文本分类错误的目标文本。

在一个具体实施例中，如图4所示，为本实施例中文本分类评测方法的流程示意图。在本实施例中，以预定渠道包括预定软件、搜索引擎和通过训练确定的分类模型，数量阈值设置为2个为例，上述文本分类评测方法包括以下步骤：

通过来源爬虫执行器从预定软件中爬取目标文本，并获取来源软件对目标文本的分类结果；通过搜索引擎提供的分类结果，获取搜索引擎对目标文本的分类结果；获取通过训练确定的分类模型对目标文本的分类结果(本实施例中通过训练确定的分类模型与待评估分类模型区别开来)。

将上述三个分类结果进行比较，确定其中是否有相同的分类结果，若存在相同的分类结果则还确定该分类结果的相同数量，当相同数量达到数量阈值2个时，将该分类结果确定为标准分类结果，将待评估分类模型对目标文本的分类结果(待评估分类结果)与标准分类结果比较，确定待评估分类结果是否与标准分类结果一致，若一致则认为待评估分类模型对目标文本的分类正确。

若上述三个分类结果中不存在相同的分类结果，则将该目标文本过滤，不作为评测待评估分类模型的准确性的评测文本。

采用上述方法获取多个目标文本的分类结果，并基于各分类结果对待评估分类模型的对各目标文本的分类是否正确进行判断之后，还确定待评估分类模型的分类准确率、子分类准确率、分类覆盖率。并在分类准确率、子分类准确率不满足业务需求时，根据待评估分类模型对各目标文本分类的正确性来优化待评估分类模型的参数。

在根据待评估分类模型对各目标文本分类的正确性来优化待评估分类模型的参数之后，重新对优化后的待评估分类模型的分类准确性进行评测，并显示优化前后待评估分类模型的分类准确性对比，具体可以包括分类准确率、子分类准确率的对比。

进一步地，在一个实施例中，还包括将待评估分类模型对目标文件的分类结果为分类错误的目标文本作为badcase进行显示。

如图5所示，为本实施例中的文本分类评测方法的实现架构图，具体为获得待评估分类模型的分类准确率、子分类准确率、覆盖率以及badcase之后的操作流程示意图。

在一个实施例中，上述文本分类评测方法可以用于自评和一键评测，其中，自评用于开发本地自测，而一键评测用于发布之后的部署评测，如图6a所示，为本实施例中自测的流程示意图；如图6b所示，为本实施例中一键评测的流程示意图。

上述文本分类评测方法，相比人工评测文本分类是否正确的方式而言，可以避免主观评测失误的因素，提高评测的准确率，且由于通过程序完成可以提高评测效率和召回率；而与通过自建分类模型进行评测的方式而言，本申请提供的文本分类评测方法结合多个渠道对目标文本的分类结果来确定标准分类结果，可以减少由于自建分类模型分类不准确导致评测不准确的问题。此外，测试无需介入，而是对待评估分类模型评测获得评测结果，根据评测结合进行模型参数优化，再对优化后的待评估分类模型进行评测，如此可以实现自动化评测。最后，通过上述文本分类的评测方法可以实现文本分类评测的规模化。

应该理解的是，虽然图2、3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

一种文本分类评测装置，如图7所示，该装置包括分类结果获取模块、统计模块、标准分类结果确定模块以及评测模块。其中：

分类结果获取模块710，用于获取多个预定渠道对目标文本的分类结果。

统计模块720，用于统计多个分类结果中各类分类结果的相同数量。

标准分类结果确定模块730，用于将相同数量达到数量阈值的分类结果确定为目标文本的标准分类结果。

评测模块740，用于当待评估分类模型对目标文本分类获得的待评估分类结果与标准分类结果一致时，判定待评估分类模型的分类正确。

上述文本分类评测装置，通过获取多个渠道对同一目标文本的分类结果，将各分类结果中相同数量达到数量阈值的一类分类结果确定为该目标文本的标准分类结果，将待评估分类模型对目标文本的分类结果与标准分类结果比较，若相同则认为待评估分类模型分类正确。从而可以提高对文本分类的评测效率和准确率。

在一个实施例中，上述装置还包括：准确率确定模块，用于根据待评估分类模型对多个目标文本的分类结果的正确性，确定待评估分类模型的分类准确率。

在一个实施例中，上述装置还包括：模型优化模块，用于当分类准确率不满足业务需求时，根据待评估分类模型对各目标文本的分类结果的正确性优化待评估分类模型的参数。

在一个实施例中，上述装置还包括：子分类确定模块，用于确定多个目标文本各自对应的子分类；子分类准确率确定模块，用于根据待评估分类模型对各目标文本的分类结果的正确性，确定待评估分类模型对各子分类的子分类准确率。

图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端。如图8所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现文本分类评测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行文本分类评测方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的文本分类评测装置可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该文本分类评测装置的各个程序模块，比如，图7所示的分类结果获取模块、分类结果获取模块、标准分类结果确定模块和评测模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的文本分类评测方法中的步骤。

例如，图8所示的计算机设备可以通过如图7所示的文本分类评测装置中的分类结果获取模块执行获取多个预定渠道对目标文本的分类结果。计算机设备可通过统计模块执行步骤统计多个分类结果中各类分类结果的相同数量。计算机设备可通过标准分类结果确定模块执行将相同数量达到数量阈值的分类结果确定为目标文本的标准分类结果。计算机设备可通过评测模块执行当待评估分类模型对目标文本分类获得的待评估分类结果与标准分类结果一致时，判定待评估分类模型的分类正确。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

获取多个预定渠道对目标文本的分类结果；

统计多个分类结果中各类分类结果的相同数量；

将相同数量达到数量阈值的分类结果确定为目标文本的标准分类结果；

当待评估分类模型对目标文本分类获得的待评估分类结果与标准分类结果一致时，判定待评估分类模型的分类正确。

在一个实施例中，计处理器执行计算机程序时实现以下步骤：相同数量达到数量阈值的分类结果，为相同数量最多的分类结果。

在一个实施例中，计处理器执行计算机程序时实现以下步骤：预定渠道的数目为奇数个。

在一个实施例中，计处理器执行计算机程序时实现以下步骤：获取多个预定渠道对目标文本的分类结果，包括：

通过爬虫爬取来源软件中的目标文本，获取来源软件对目标文本分类的分类结果；

获取除来源软件以外的预定渠道对目标文本的分类结果；

将来源软件以及来源软件以外的预定软件对目标文本的分类结果确定为多个预定渠道对目标文本的分类结果。

在一个实施例中，计处理器执行计算机程序时实现以下步骤：目标文本包括多个；

根据待评估分类模型对各目标文本的分类结果的正确性，确定待评估分类模型的分类准确率。

在一个实施例中，计处理器执行计算机程序时实现以下步骤：当分类准确率不满足业务需求时，根据待评估分类模型对各目标文本的分类结果的正确性优化待评估分类模型的参数。

在一个实施例中，计处理器执行计算机程序时实现以下步骤：确定多个目标文本各自对应的子分类；

在根据待评估分类模型对各目标文本的分类结果的正确性，确定待评估分类模型的分类准确率之后，还包括：根据待评估分类模型对各目标文本的分类结果的正确性，确定待评估分类模型对各子分类的子分类准确率。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器实现以下步骤：

获取多个预定渠道对目标文本的分类结果；

统计多个分类结果中各类分类结果的相同数量；

将相同数量达到数量阈值的分类结果确定为目标文本的标准分类结果；

当待评估分类模型对目标文本分类获得的待评估分类结果与标准分类结果一致时，判定待评估分类模型的分类正确。

在一个实施例中，计算机程序被处理器执行时，使得处理器实现以下步骤：相同数量达到数量阈值的分类结果，为相同数量最多的分类结果。

在一个实施例中，计算机程序被处理器执行时，使得处理器实现以下步骤：预定渠道的数目为奇数个。

在一个实施例中，计算机程序被处理器执行时，使得处理器实现以下步骤：获取多个预定渠道对目标文本的分类结果，包括：

通过爬虫爬取来源软件中的目标文本，获取来源软件对目标文本分类的分类结果；

获取除来源软件以外的预定渠道对目标文本的分类结果；

将来源软件以及来源软件以外的预定软件对目标文本的分类结果确定为多个预定渠道对目标文本的分类结果。

在一个实施例中，计算机程序被处理器执行时，使得处理器实现以下步骤：目标文本包括多个；

根据待评估分类模型对各目标文本的分类结果的正确性，确定待评估分类模型的分类准确率。

在一个实施例中，计算机程序被处理器执行时，使得处理器实现以下步骤：当分类准确率不满足业务需求时，根据待评估分类模型对各目标文本的分类结果的正确性优化待评估分类模型的参数。

在一个实施例中，计算机程序被处理器执行时，使得处理器实现以下步骤：确定多个目标文本各自对应的子分类；

在根据待评估分类模型对各目标文本的分类结果的正确性，确定待评估分类模型的分类准确率之后，还包括：根据待评估分类模型对各目标文本的分类结果的正确性，确定待评估分类模型对各子分类的子分类准确率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种文本分类评测方法，包括：

获取多个预定渠道对目标文本的分类结果；

统计所述多个分类结果中各类分类结果的相同数量；

将相同数量达到数量阈值的分类结果确定为所述目标文本的标准分类结果；

当待评估分类模型对所述目标文本分类获得的待评估分类结果与所述标准分类结果一致时，判定所述待评估分类模型的分类正确。

2.根据权利要求1所述的方法，其特征在于，所述相同数量达到数量阈值的分类结果，为相同数量最多的分类结果。

3.根据权利要求1所述的方法，其特征在于，所述预定渠道的数目为奇数个。

4.根据权利要求1所述的方法，其特征在于，获取多个预定渠道对目标文本的分类结果，包括：

通过爬虫爬取来源软件中的目标文本，获取所述来源软件对所述目标文本分类的分类结果；

获取所述来源软件以外的预定渠道对所述目标文本的分类结果；

将所述来源软件以及所述来源软件以外的预定软件对所述目标文本的分类结果确定为多个预定渠道对目标文本的分类结果。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述目标文本包括多个；

所述方法还包括：根据所述待评估分类模型对各目标文本的分类结果的正确性，确定所述待评估分类模型的分类准确率。

6.根据权利要求5所述的方法，其特征在于，当所述分类准确率不满足业务需求时，根据所述待评估分类模型对各目标文本的分类结果的正确性优化所述待评估分类模型的参数。

7.根据权利要求5所述的方法，其特征在于，确定多个所述目标文本各自对应的子分类；

在根据所述待评估分类模型对各目标文本的分类结果的正确性，确定所述待评估分类模型的分类准确率之后，还包括：根据所述待评估分类模型对各目标文本的分类结果的正确性，确定所述待评估分类模型对各所述子分类的子分类准确率。

8.一种文本分类评测装置，其特征在于，所述装置包括：

分类结果获取模块，用于获取多个预定渠道对目标文本的分类结果；

统计模块，用于统计所述多个分类结果中各类分类结果的相同数量；

标准分类结果确定模块，用于将相同数量达到数量阈值的分类结果确定为所述目标文本的标准分类结果；

评测模块，用于当待评估分类模型对所述目标文本分类获得的待评估分类结果与所述标准分类结果一致时，判定所述待评估分类模型的分类正确。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。