CN104933588A

CN104933588A - 用于拓展商品品类的数据标注平台及方法

Info

Publication number: CN104933588A
Application number: CN201510379235.0A
Authority: CN
Inventors: 景亮
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2015-07-01
Filing date: 2015-07-01
Publication date: 2015-09-23

Abstract

本发明公开了用于拓展商品品类的数据标注平台及方法，该平台包括任务管理模块、数据标注模块、数据校验模块和模型训练模块，任务管理模块导入待标注数据及标注方式，数据标注模块对待标注数据进行数据标注，得到标注数据，数据校验模块对标注数据进行校验，模型训练模块对校验后的标注数据进行模型训练，输出训练模型。采用这种数据标注平台，能够解决现有数据标注方式非常耗时、难以保证准确率的问题。

Description

用于拓展商品品类的数据标注平台及方法

技术领域

本发明涉及电子商务领域，特别涉及一种用于拓展商品品类的数据标注平台及采用其进行数据标注的方法。

背景技术

由于网上购物的流行，商家需要处理用户的各种问题，用户需要查询各种商品的信息。当咨询量过大时，人工客服必然处理不过来，才有了智能客服这一新技术的发展。智能客服的一种实例就是智能应答系统，它是对用户的历史问题进行分析，并训练模型，以达到对用户的新问题进行判断，并达到自动回复的目的。用户的问题数据来源主要来自于用户与商家客服之间的对话，当然只需要取用户的问题作为训练数据进行训练即可。商家客服是按照商品的品类进行分类的，即用户咨询的是某一个品类的商家客服。智能应答系统采用对每一个品类的用户问题进行分析，模型训练，即可达到针对该品类问题的有效回答。而当品类十分庞大时，每一个品类的问题都需要客服人员进行人工整理与分类，这是一个非常庞大，非常耗时的工程。

在现有的数据标注过程中，首先标注人员通过开会，确定需要扩展的品类，以及对应的业务树，标注规则，然后获取需要新上线的品类标注数据，并将该品类的标注数据切分到单个的excel表格中，标注人员按照事先确定好的规则和业务树，对各自负责的数据表格进行标注，标注完后，再由负责人对标注结果进行合并，整理，最后由研发人员对标注结果进行审核以及模型训练，得到最终的模型文件并执行上线操作。这种标注过程存在以下问题：1.整个标注过程非常复杂，且需要多方人员的共同配合，因此对一个新品类进行数据标注，并给出该品类下完整的应答流程，从时间和人力成本来看已非常高；2.在数据标注过程中，由于打字过程中的拼写错误、保存数据格式的不统一，再加上标注人员的主观性，因此无法保证标注的准确率，也就无法判断标注的质量。所以，对于一个大型的网购平台来说，要想将所有的品类数据都进行标注、训练模型并上线，将是一个非常耗时、难以保证准确率的任务。

发明内容

(一)要解决的技术问题

本发明的目的在于提供一种用于拓展商品品类的数据标注平台及采用其进行数据标注的方法，以解决现有数据标注方式非常耗时、难以保证准确率的问题。

(二)技术方案

本发明提供一种用于拓展商品品类的数据标注平台，该平台包括：

任务管理模块，用于导入待标注数据及标注方式；

数据标注模块，用于展示出待标注数据及标注方式，并根据所述标注方式对待标注数据进行数据标注，得到标注数据；

数据校验模块，用于展示出标注数据、校验方式，并根据校验方式对所述标注数据进行校验，生成校验结果；

模型训练模块，用于对校验后的标注数据进行模型训练，输出训练模型。

本发明还提供一种采用数据标注平台进行数据标注的方法，该方法包括：

S1，任务管理模块导入待标注数据及标注方式；

S2，数据标注模块展示出所述待标注数据及标注方式，并根据标注方式对待标注数据进行数据标注，得到标注数据；

S3，数据校验模块展示出标注数据、校验方式，并根据校验方式对标注数据进行校验，生成校验结果；

S4，模型训练模块对校验后的标注数据进行模型训练，输出训练模型。

(三)有益效果

1、本发明将商品名数据、意图识别数据、商品属性数据及文法数据这四类数据集成一个通用的平台上，能够对四类标注数据同时进行标注，提高了数据标注的效率。

2、通过本发明的数据标注平台，管理员进行标注任务上传、任务指派以及规则制定；标注人员和校验人员通过自己的账号进入系统，查看只属于自己的标注任务，明确自己的责任；管理员通过平台看到每个任务的标注进度以及每个人的数据标注准确率，提醒对应的标注人员，注意进度以及标注质量。通过这种方式，提高了数据标注的效率。

3、本发明将相同的待标注数据分别分配给多个标注人员，通过标注一致率确保多个标注人员标注的准确性，然后通过对标注数据进行校验来再次提高准确率，最后通过交叉验证得到模型准确率，在模型准确率小于90％时进行迭代校验，进一步保证了数据标注的质量。

附图说明

图1是本发明提供的用于拓展商品品类的数据标注平台的结构示意图。

图2是本发明提供的数据标注方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提供的用于拓展商品品类的数据标注平台，任务管理模块导入待标注数据及标注方式，数据标注模块对待标注数据进行数据标注，得到标注数据，数据校验模块对标注数据进行校验，模型训练模块对校验后的标注数据进行模型训练，输出训练模型。采用这种数据标注平台，能够解决现有数据标注方式非常耗时、难以保证准确率的问题。

如图1所示，图1是本发明的用于拓展商品品类的数据标注平台的结构示意图，该数据标注平台包括任务管理模块10、数据标注模块20、数据校验模块30和模型训练模块40，其中：

任务管理模块10用于导入待标注数据及标注方式，其中待标注数据的类别至少包括商品名数据、意图识别数据、商品属性数据及文法数据。

数据标注模块20用于展示出待标注数据及标注方式，将相同的待标注数据分别分配给多个标注人员，根据标注方式对待标注数据进行数据标注，数据标注完成后，判断多个标注人员的标注一致率，若标注一致率小于50％，则舍弃标注数据，若标注一致率大于等于50％，则将标注数据传入数据校验模块。

数据校验模块30展示出标注数据及校验方式，并根据校验方式对标注数据进行校验，生成校验结果。

模型训练模块40用于对校验后的标注数据进行模型训练，输出训练模型，并采用交叉验证的方法获取训练模型的准确率，若准确率小于90％，则将训练模型输出的模型预测数据与校验结果传送给数据校验模块，进行迭代校验，直到准确率大于等于90％。

另外，为了方便对该平台的用户进行管理，本发明的数据标注平台还包括用户管理模块00，用于对用户进行划分，并设置相应的权限，其中，用户至少包括管理员、标注人员、校验人员及研发人员。

另外，为了方便训练模型的上线，本发明的数据标注平台还包括模型上传模块50，当训练模型的准确率大于等于90％时，上传此训练模型。

本发明提供的数据标注平台将商品名数据、意图识别数据、商品属性数据及文法数据这四类数据集成在一起，能够对四类标注数据同时进行标注，提高了数据标注的效率；另外，管理员、标注人员和校验人员分工明确，管理员通过平台看到每个任务的标注进度以及每个人的数据标注准确率，提醒对应的标注人员，注意进度以及标注质量，通过这种方式，提高了数据标注的效率；本发明将相同的待标注数据分别分配给多个标注人员，通过标注一致率确保多个标注人员标注的准确性，然后通过对标注数据进行校验来再次提高准确率，最后通过交叉验证得到模型准确率，在模型准确率小于90％时进行迭代校验，进一步保证了数据标注的质量。

基于图1所示的数据标注平台，本发明还提供一种采用该平台进行数据标注的方法，该方法通过任务管理模块导入待标注数据及标注方式，通过数据标注模块对待标注数据进行数据标注，得到标注数据，通过数据校验模块对标注数据进行校验，通过模型训练模块对校验后的标注数据进行模型训练，输出训练模型。采用这种数据标注方法，能够解决现有数据标注方式非常耗时、难以保证准确率的问题。

根据图2所示的数据标注方法，结合具体实施例，该数据标注方法包括：

S1，任务管理模块导入待标注数据及标注方式，其中待标注数据的类别至少包括商品名数据、意图识别数据、商品属性数据及文法数据；

S2，数据标注模块展示出待标注数据及标注方式，将相同的待标注数据分别分配给多个标注人员，根据标注方式对待标注数据进行数据标注，数据标注完成后，判断多个标注人员的标注一致率，若标注一致率小于50％，则舍弃标注数据，若标注一致率大于等于50％，则将标注数据传入数据校验模块；

S3，数据校验模块展示出标注数据及校验方式，并根据校验方式对标注数据进行校验，生成校验结果；

S4，模型训练模块对校验后的标注数据进行模型训练，输出训练模型，并采用交叉验证的方法获取训练模型的准确率，若准确率小于90％，则将训练模型输出的模型预测数据与校验结果传送给数据校验模块，进行迭代校验，直到准确率大于等于90％；

另外，为了方便对用户进行管理，本发明的数据标注方法还包括：

S0，用户管理模块对用户进行划分，并设置相应的权限，其中，用户至少包括管理员、标注人员、校验人员及研发人员。

另外，为了方便训练模型的上线，本发明的数据标注方法还包括：

S5，当训练模型的准确率大于等于90％时，模型上传模块上传此训练模型。

本发明提供的数据标注方法将商品名数据、意图识别数据、商品属性数据及文法数据这四类数据集成一个通用的平台上，能够对四类标注数据同时进行标注，提高了数据标注的效率；另外，管理员、标注人员和校验人员分工明确，管理员通过平台看到每个任务的标注进度以及每个人的数据标注准确率，提醒对应的标注人员，注意进度以及标注质量，通过这种方式，提高了数据标注的效率；本发明将相同的待标注数据分别分配给多个标注人员，通过标注一致率确保多个标注人员标注的准确性，然后通过对标注数据进行校验来再次提高准确率，最后通过交叉验证得到模型准确率，在模型准确率小于90％时进行迭代校验，进一步保证了数据标注的质量。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种用于拓展商品品类的数据标注平台，其特征在于，该平台包括：

任务管理模块，用于导入待标注数据及标注方式；

数据标注模块，用于展示出所述待标注数据及所述标注方式，并根据所述标注方式对待标注数据进行数据标注，得到标注数据；

数据校验模块，用于展示出所述标注数据及校验方式，并根据所述校验方式对所述标注数据进行校验，生成校验结果；以及

2.根据权利要求1所述的数据标注平台，其特征在于，该平台还包括用户管理模块，用于对用户进行划分，并设置相应的权限。

3.根据权利要求2所述的数据标注平台，其特征在于，所述用户至少包括管理员、标注人员、校验人员及研发人员。

4.根据权利要求1所述的数据标注平台，其特征在于，该平台还包括模型上传模块，用于上传所述训练模型。

5.根据权利要求1所述的数据标注平台，其特征在于，所述待标注数据的类别至少包括商品名数据、意图识别数据、商品属性数据及文法数据。

6.根据权利要求1所述的数据标注平台，其特征在于，数据标注模块将相同的待标注数据分别分配给多个标注人员，数据标注完成后，判断多个标注人员的标注一致率，若标注一致率小于50％，则舍弃所述标注数据，若标注一致率大于等于50％，则将所述标注数据传入数据校验模块。

7.根据权利要求4所述的数据标注平台，其特征在于，所述模型训练模块获取所述训练模型的准确率，若所述准确率小于90％，则将所述训练模型输出的模型预测数据与所述校验结果传送给数据校验模块，进行迭代校验，若所述准确率小于大于等于90％，所述上传模块上传所述训练模型。

8.根据权利要求7所述的数据标注平台，其特征在于，所述模型训练模块采用交叉验证的方法获取所述训练模型的准确率。

9.一种采用权利要求1-8中任意一项所述的平台进行数据标注的方法，该方法包括：

S1，任务管理模块导入待标注数据及标注方式；

S2，数据标注模块展示出所述待标注数据及所述标注方式，并根据所述标注方式对待标注数据进行数据标注，得到标注数据；

S3，数据校验模块展示出所述标注数据及校验方式，并根据所述校验方式对所述标注数据进行校验，生成校验结果；

10.根据权利要求9所述的方法，其特征在于，该方法还包括：

S0，用户管理模块对用户进行划分，并设置相应的权限。

11.根据权利要求10所述的方法，其特征在于，所述用户至少包括管理员、标注人员、校验人员及研发人员。

12.根据权利要求9所述的方法，其特征在于，该方法还包括：

S5，模型上传模块上传所述训练模型。

13.根据权利要求9所述的方法，其特征在于，所述待标注数据的类别至少包括商品名数据、意图识别数据、商品属性数据及文法数据。

14.根据权利要求9所述的方法，其特征在于，在所述S1中，数据标注模块将相同的待标注数据分别分配给多个标注人员，数据标注完成后，判断多个标注人员的标注一致率，若标注一致率小于50％，则舍弃所述标注数据，若标注一致率大于等于50％，则将所述标注数据传入数据校验模块。

15.根据权利要求12所述的方法，其特征在于，所述模型训练模块获取所述训练模型的准确率，若所述准确率小于90％，则将所述训练模型输出的模型预测数据与所述校验结果传送给数据校验模块，进行迭代校验，若所述准确率小于大于等于90％，所述上传模块上传所述训练模型。

16.根据权利要求15所述的方法，其特征在于，所述模型训练模块采用交叉验证的方法获取所述训练模型的准确率。