CN106951925B - 数据处理方法、装置、服务器及系统 - Google Patents

Abstract

本发明实施例提供一种数据处理方法、装置、服务器及系统，所述方法包括：从总样本集中获取本次待标注样本集，并发送到用户终端；接收用户终端返回的第一标注结果集；根据第一标注结果集，进行模型训练，获取训练模型并对训练模型的准确率进行评估；若评估结果不满足预设条件，根据训练模型，重新从总样本集中获取下次待标注样本集，并发送到用户终端，接收用户终端返回的第二标注结果集，根据第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将评估结果满足预设条件对应的训练模型作为最终模型。所述方法通过与用户终端交互的方式，减少了样本标注的工作量，且提高了样本训练的效率。

Description

数据处理方法、装置、服务器及系统

技术领域

本发明涉及计算机应用领域，具体而言，涉及一种数据处理方法、装置、服务器及系统。

背景技术

现有技术中，对模型的训练流程大多数是采用如下流程：人工对大量采集的数据进行一次性的批注，所有样本批注完成后，才交由服务器进行训练，由于样本较多，导致训练周期太长，并且若训练产生的模型进行评估后，无法达到预期效果则需要重新对所有样本进行标注后，再重新进行训练，这样导致标注工作量较大，并且效率较低。

发明内容

有鉴于此，本发明实施例的目的在于提供一种数据处理方法、装置、服务器及系统，以解决上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种数据处理方法，所述方法包括：从总样本集中获取本次待标注样本集，并发送到用户终端；接收所述用户终端返回的第一标注结果集；根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估；若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型。

第二方面，本发明实施例提供了一种数据处理装置，所述装置包括：第一处理模块，用于从总样本集中获取本次待标注样本集，并发送到用户终端；接收模块，用于接收所述用户终端返回的第一标注结果集；第二处理模块，用于根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估；第三处理模块，用于若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型。

第三方面，本发明实施例提供了一种服务器，所述服务器包括存储器及处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时以使所述处理器执行以下操作：从总样本集中获取本次待标注样本集，并发送到用户终端；接收所述用户终端返回的第一标注结果集；根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估；若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型。

第四方面，本发明实施例提供了一种数据处理系统，所述系统包括用户终端及服务器，所述服务器，用于从总样本集中获取本次待标注样本集，并发送到用户终端；接收所述用户终端返回的第一标注结果集；根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估；若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型；所述用户终端，用于接收所述服务器发送的本次待标注样本集，并向所述服务器返回第一标注结果集；接收所述服务器发送的下次待标注样本集，并向所述服务器返回第二标注结果集。

与现有技术相比，本发明实施例提供的一种数据处理方法、装置、服务器及系统，通过从总样本集中获取本次待标注样本集，并发送到用户终端，接收所述用户终端返回的第一标注结果集，根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估，若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型，在这种方式下，在当训练模型的评估结果不佳时，服务器能重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，使得用户终端能够根据筛选出的下次待标注样本集进行标注，通过这种与用户终端交互的方式，能够及时给用户终端返回筛选后的样本集，减少了样本标注的工作量，并且通过服务器根据训练样本进行筛选，使得下次待标注样本更有针对性，提高了样本训练的效率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例提供的服务器与用户终端交互的示意图。

图2是本发明实施例提供的服务器的结构框图。

图3是本发明第一实施例提供的一种数据处理方法的流程图。

图4是本发明第一实施例提供的一种数据处理方法的部分流程图。

图5是本发明第一实施例提供的一种数据处理方法的中步骤S410的流程图。

图6是本发明第二实施例提供的一种数据处理装置的结构框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，是本发明实施例提供的服务器200与用户终端100进行交互的示意图。所述服务器200通过网络与一个或多个用户终端100进行通信连接，以进行数据通信或交互。所述服务器200可以是网络服务器、数据库服务器等。所述用户终端100可以是个人电脑(personal computer，PC)、平板电脑、智能手机、个人数字助理(personal digitalassistant，PDA)等。

如图2所示，是所述服务器200的方框示意图。所述服务器200包括数据处理装置500、存储器220、存储控制器230、处理器240。

所述存储器220、存储控制器230、处理器240各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据处理装置500包括至少一个可以软件或固件(firmware)的形式存储于所述存储器中或固化在所述服务器200的操作系统(operating system，OS)中的软件功能模块。所述处理器240用于执行存储器220中存储的可执行模块，例如所述数据处理装置500包括的软件功能模块或计算机程序。

其中，存储器220可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。其中，存储器220用于存储程序，所述处理器240在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器中，或者由处理器实现。

处理器240可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解，图2所示的结构仅为示意，服务器200还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

图3示出了本发明第一实施例提供的一种数据处理方法的流程图，请参阅图3，该数据处理方法运行于上述服务器中，该方法包括：

步骤S310，从总样本集中获取本次待标注样本集，并发送到用户终端。

作为一种实施方式，根据第一预设关键词集，从总样本集中筛选出本次待标注样本。

具体的，若所述第一预设关键词集包含关键词A及关键词B，可以设置从总样本集中筛选出同时包含关键词A及关键词B的样本作为本次待标注样本，也可以设置从总样本集中筛选出包含关键词A或关键词B的样本作为本次待标注样本，还可以设置从总样本集中筛选出包含关键词A但不包含关键词B的样本作为本次待标注样本等。可以理解的是，设置的筛选规则有多种，其筛选出的本次待标注样本也有多种；第一预设关键词集中设置的关键词种类越多，其筛选出的本次待标注样本的实施方式也越多。

作为一种实施方式，在步骤S310之前，所述方法还可以包括：从第三方平台实时获取样本，生成所述总样本集。

例如，可以直接获取线上的聊天记录作为样本，加入总样本集中，而不需首先将聊天记录导入成Word格式的样本，再上传到系统进行分析，这种方式，不需要数据的手动下载和上传过程，这样完成一次“标注－训练”闭环的周期比较短，可以短时间内对模型进行多次改进，提高了模型迭代改进的效率。

步骤S320，接收所述用户终端返回的第一标注结果集。

用户终端接收到本次待标注样本集后，将该本次待标注样本集显示到用户终端显示界面上，并接收用户通过用户终端的输入设备输入的标注结果，并形成第一标注结果集。用户终端将所述第一标注结果集发送到服务器。

通过这种方式，用户终端可以提供了良好的人机可视化交互界面，普通人都可以通过系统界面进行操作，对样本进行判断，通过鼠标点击等动作进行标记。不需要进行一些复杂的数据处理、筛选的工作，这样大大降低了标注人员的门槛。

步骤S330，根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估。

对已经标注的样本进行模型训练的实施方式有很多，例如，可以对已经标注的样本进行分类训练或者对已经标注的样本进行聚类训练等。进一步的，对已经标注的样本进行分类训练的实施方式又有多种，例如，决策树算法，贝叶斯算法，人工神经网络算法，支持向量机算法等。进一步的，对已经标注的样本进行聚类训练的实施方式又有多种，例如，Single－Link算法，Complete－Link算法，Average－Link算法等。

对训练模型进行准确率评估的实施方式也有多种。例如，假设第一标注结果集中包含20个样本，可以用其中16个样本进行模型训练，获得训练模型，再将剩余的4个样本用于对该模型训练进行测试，获得试用该训练模型分类获得的标签，将该分类标签与原始标注结果进行比较，计算获得准确率。

步骤S340，若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型。

预设条件的设置可以根据需求进行设置，例如，可以设置为准确率大于某个预设阈值，则该评估结果满足预设条件。

请参阅图4，作为一种实施方式，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集的步骤，包括：

步骤S410，根据所述训练模型，分别对所述总样本集中的各个样本进行判定，获取每个样本对应的判定结果。

进一步的，考虑到若直接对总样本集中的各个样本进行判定，其计算量可能较大，因此，作为一种优选的实施方式，请参阅图5，作为一种实施方式，步骤S410可以包括：

步骤S411，根据第二预设关键词集，从所述总样本集中筛选出下次待标注候选样本集。

可以理解的是，设置的筛选规则有多种，其筛选出的下次待标注样本也有多种；第二预设关键词集中设置的关键词种类越多，其筛选出的下次待标注样本的实施方式也越多。

进一步的，所述第二预设关键词集与第一预设关键词集可以相同，也可以不相同；其设置的从所述总样本集进行筛选的规则也可以相同或不同。

步骤S412，根据所述训练模型，分别对所述下次待标注候选样本集中的各个样本进行判定，获取每个样本对应的判定结果。

作为一种实施方式，所述每个样本对应的判定结果为一个概率值。具体的，若所述训练模型为分类模型，其分类的结果为每个样本计算出一个概率值，设置一个预设阈值，当样本的概率值大于该预设阈值，则该样本为B类，若样本的概率值小于或等于该预设阈值，则该样本为A类。采用所述训练模型，将所述下次待标注候选样本集中的各个样本计算其对应的概率值。

步骤S420，根据所述每个样本对应的判定结果，获取下次待标注样本集。

作为一种实施方式，依次遍历每个样本对应的概率值，若当前样本对应的概率值属于预设区间，则将所述当前样本加入所述下次待标注样本集中，直到遍历完每个样本对应的概率值。

具体的，假设预设区域为[0.4，0.6]，可以理解的是，若当前样本对应的概率值属于该区域内，也就是说该样本在判断为A类或B类时是比较模糊或不确定的，因此，可以将该样本作为下次待标注样本，重新进行标注后，再重新进行训练。而不属于该预设区域的样本，则认为是分类准确的，可以不再进行再次标注及再次训练。

通过这种方式的筛选，可大大节省人工的标注量。第一次标后，训练得到一个模型，该模型会自动挑选出最需要标注的样本，舍弃已经学习到不需要再标注的相似样本或重复样本，这样每次标注的都是对改进模型效率最高的样本，避免标注工作量的浪费，降低标注成本。

本发明实施例提供的数据处理方法，通过从总样本集中获取本次待标注样本集，并发送到用户终端，接收所述用户终端返回的第一标注结果集，根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估，若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型，在这种方式下，在当训练模型的评估结果不佳时，服务器能重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，使得用户终端能够根据筛选出的下次待标注样本集进行标注，通过这种与用户终端交互的方式，能够及时给用户终端返回筛选后的样本集，减少了样本标注的工作量，并且通过服务器根据训练样本进行筛选，使得下次待标注样本更有针对性，提高了样本训练的效率。

请参阅图6，是本发明第二实施例提供的数据处理装置500的功能模块示意图。所述数据处理装置500包括第一处理模块510，接收模块520，第二处理模块530，第三处理模块540。

第一处理模块510，用于从总样本集中获取本次待标注样本集，并发送到用户终端。

接收模块520，用于接收所述用户终端返回的第一标注结果集。

第二处理模块530，用于根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估。

第三处理模块540，用于若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型。

以上各模块可以是由软件代码实现，此时，上述的各模块可存储于服务器200的存储器220内。以上各模块同样可以由硬件例如集成电路芯片实现。

本发明第三实施例提供了一种服务器，所述服务器包括存储器及处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时以使所述处理器执行以下操作：

从总样本集中获取本次待标注样本集，并发送到用户终端；

接收所述用户终端返回的第一标注结果集；

根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估；

若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型。

本发明第四实施例提供了一种数据处理系统，所述系统包括用户终端及服务器。

所述服务器，用于从总样本集中获取本次待标注样本集，并发送到用户终端；接收所述用户终端返回的第一标注结果集；根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估；若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型。

所述用户终端，用于接收所述服务器发送的本次待标注样本集，并向所述服务器返回第一标注结果集；接收所述服务器发送的下次待标注样本集，并向所述服务器返回第二标注结果集。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本发明实施例所提供的数据处理装置、服务器及系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第三等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种数据处理方法，其特征在于，所述方法包括：

从第三方平台实时获取聊天记录，生成总样本集；

从所述总样本集中获取本次待标注样本集，并发送到用户终端；其中，所述本次待标注样本集为所述总样本集的子集；

接收所述用户终端返回的第一标注结果集；

根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估；

若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型；其中，所述下次待标注样本集为所述总样本集的子集；

其中，所述根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，包括：

根据所述训练模型，分别对所述总样本集中的各个样本进行判定，获取每个样本对应的判定结果；

根据所述每个样本对应的判定结果，获取下次待标注样本集；

所述从总样本集中获取本次待标注样本集，包括：

根据第一预设关键词集，从总样本集中筛选出本次待标注样本集；

所述根据所述训练模型，分别对所述总样本集中的各个样本进行判定，获取每个样本对应的判定结果，包括：

根据第二预设关键词集，从所述总样本集中筛选出下次待标注候选样本集；

根据所述训练模型，分别对所述下次待标注候选样本集中的各个样本进行判定，获取每个样本对应的判定结果；

所述每个样本对应的判定结果为一个概率值，所述根据所述每个样本对应的判定结果，获取下次待标注样本集，包括：

依次遍历每个样本对应的概率值，若当前样本对应的概率值属于预设区间，则将所述当前样本加入所述下次待标注样本集中，直到遍历完每个样本对应的概率值。

2.根据权利要求1所述的方法，其特征在于，在所述对所述训练模型的准确率进行评估之后，所述方法还包括：

若评估结果满足预设条件，则将所述训练模型作为最终模型。

3.一种数据处理装置，其特征在于，所述装置包括：

第一处理模块，用于从第三方平台实时获取聊天记录，生成总样本集；从所述总样本集中获取本次待标注样本集，并发送到用户终端；其中，所述本次待标注样本集为所述总样本集的子集；

接收模块，用于接收所述用户终端返回的第一标注结果集；

第二处理模块，用于根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估；

第三处理模块，用于若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型；其中，所述下次待标注样本集为所述总样本集的子集；

其中，所述第三处理模块具体用于：根据所述训练模型，分别对所述总样本集中的各个样本进行判定，获取每个样本对应的判定结果；根据所述每个样本对应的判定结果，获取下次待标注样本集；

所述第一处理模块具体用于根据第一预设关键词集，从总样本集中筛选出本次待标注样本集；

所述第三处理模块具体还用于根据第二预设关键词集，从所述总样本集中筛选出下次待标注候选样本集；根据所述训练模型，分别对所述下次待标注候选样本集中的各个样本进行判定，获取每个样本对应的判定结果；

所述第三处理模块具体还用于依次遍历每个样本对应的概率值，若当前样本对应的概率值属于预设区间，则将所述当前样本加入所述下次待标注样本集中，直到遍历完每个样本对应的概率值。

4.一种服务器，其特征在于，所述服务器包括存储器及处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时以使所述处理器执行以下操作：

从第三方平台实时获取聊天记录，生成总样本集；

从所述总样本集中获取本次待标注样本集，并发送到用户终端；其中，所述本次待标注样本集为所述总样本集的子集；

接收所述用户终端返回的第一标注结果集；

根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估；

若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型；其中，所述下次待标注样本集为所述总样本集的子集；

其中，所述根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，包括：

根据所述训练模型，分别对所述总样本集中的各个样本进行判定，获取每个样本对应的判定结果；

根据所述每个样本对应的判定结果，获取下次待标注样本集；

所述从总样本集中获取本次待标注样本集，包括：

根据第一预设关键词集，从总样本集中筛选出本次待标注样本集；

所述根据所述训练模型，分别对所述总样本集中的各个样本进行判定，获取每个样本对应的判定结果，包括：

根据第二预设关键词集，从所述总样本集中筛选出下次待标注候选样本集；

根据所述训练模型，分别对所述下次待标注候选样本集中的各个样本进行判定，获取每个样本对应的判定结果；

所述每个样本对应的判定结果为一个概率值，所述根据所述每个样本对应的判定结果，获取下次待标注样本集，包括：

依次遍历每个样本对应的概率值，若当前样本对应的概率值属于预设区间，则将所述当前样本加入所述下次待标注样本集中，直到遍历完每个样本对应的概率值。

5.一种数据处理系统，其特征在于，所述系统包括用户终端及服务器，

所述服务器，用于从第三方平台实时获取聊天记录，生成总样本集；从所述总样本集中获取本次待标注样本集，并发送到用户终端；接收所述用户终端返回的第一标注结果集；其中，所述本次待标注样本集为所述总样本集的子集；根据所述第一标注结果集，进行模型训练，获取训练模型并对所述训练模型的准确率进行评估；

若评估结果不满足预设条件，根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，并发送到所述用户终端，接收所述用户终端返回的第二标注结果集，根据所述第二标注结果集，重新获取训练模型并对该训练模型的准确率进行评估，直到评估结果满足预设条件，将所述评估结果满足预设条件对应的训练模型作为最终模型；

其中，所述根据所述训练模型，重新从所述总样本集中获取下次待标注样本集，包括：根据所述训练模型，分别对所述总样本集中的各个样本进行判定，获取每个样本对应的判定结果；根据所述每个样本对应的判定结果，获取下次待标注样本集；

所述从总样本集中获取本次待标注样本集，包括：根据第一预设关键词集，从总样本集中筛选出本次待标注样本集；

所述根据所述训练模型，分别对所述总样本集中的各个样本进行判定，获取每个样本对应的判定结果，包括：根据第二预设关键词集，从所述总样本集中筛选出下次待标注候选样本集；根据所述训练模型，分别对所述下次待标注候选样本集中的各个样本进行判定，获取每个样本对应的判定结果；

所述每个样本对应的判定结果为一个概率值，所述根据所述每个样本对应的判定结果，获取下次待标注样本集，包括：依次遍历每个样本对应的概率值，若当前样本对应的概率值属于预设区间，则将所述当前样本加入所述下次待标注样本集中，直到遍历完每个样本对应的概率值；

所述用户终端，用于接收所述服务器发送的本次待标注样本集，并向所述服务器返回第一标注结果集；接收所述服务器发送的下次待标注样本集，并向所述服务器返回第二标注结果集；其中，所述下次待标注样本集为所述总样本集的子集。

Images