CN113609825A - 一种客户属性标签智能标识方法和装置 - Google Patents

Abstract

本申请公开了一种客户属性标签智能标识方法和装置，该方法包括：从网络上抓取实体单位在网络上公开的信息；将公开的信息进行处理，得到自然语言表达的无格式文本；将无格式文本输入到机器学习模型中，其中，根据多组训练数据训练得到的，多组训练数据中的每组训练数据均包括输入数据和输出数据，输入数据是自然语言表达的无格式文本，输出数据是人工根据自然语言表达的无格式文本标注的标签；从机器学习模型中获取输出机器学习模型输出的至少一个标签；将至少一个标签作为属性信息增加到实体单位上。通过本申请解决了现有技术对实体单位采用人工标注标签所导致的问题，提高了标签标注的准确性以及效率。

Description

一种客户属性标签智能标识方法和装置

技术领域

本申请涉及到数据智能处理领域，具体而言，涉及一种客户属性标签智能标识方法和装置。

背景技术

为了对一些企业或者单位进行区分，在一些系统中需要对这些实体单位进行标注。目前，标注的方法基本上是依靠人工进行标注，或者是依靠一些简单的规则根据实体单位的名称来进行标注。

这种标注方法效率比较低，另外由于每个人标注的标准不同，可能会导致不同人标注出来的标签是不一样的。

发明内容

本申请实施例提供了一种客户属性标签智能标识方法和装置，以至少解决现有技术中对实体单位采用人工标注标签所导致的问题。

根据本申请的一个方面，提供了一种客户属性标签智能标识方法，包括：从网络上抓取实体单位在所述网络上公开的信息；将所述公开的信息进行处理，得到自然语言表达的无格式文本，其中，所述处理用于去除所述公开信息的文字格式；将所述无格式文本输入到机器学习模型中，其中，所述机器学习模型是根据多组训练数据训练得到的，所述多组训练数据中的每组训练数据均包括输入数据和输出数据，所述输入数据是自然语言表达的无格式文本，所述输出数据是人工根据所述自然语言表达的无格式文本标注的标签；所述人工标注的标签在进行训练之前是经过检查和校验的；从所述机器学习模型中获取输出所述机器学习模型输出的至少一个标签；将所述至少一个标签作为属性信息增加到所述实体单位上。

进一步地，从网络上抓取实体单位在所述网络上公开的信息包括：按照预先配置的频率从网络上抓取所述实体单位在所述网络上公开的信息。

进一步地，将所述无格式文本输入到所述机器学习模型中包括：将所述无格式文本与历史无格式文本进行内容比较，其中，所述历史无格式文本为在此次抓取之前，抓取到的公开的信息经过处理得到无格式文本；如果所述无格式文本的内容与所述历史无格式文本的内容不同，则将所述无格式文本输入到所述机器学习模型中。

进一步地，还包括：如果所述无格式文本的内容与所述历史无格式文本的内容相似程度超过阈值，则将所述无格式文本标记为重复内容，其中，所述重复内容为仅进行保存而不输入到所述机器学习模型中的内容。

进一步地，将所述至少一个标签作为属性信息增加到所述实体单位上包括：判断所述至少一个标签是否与所述实体单位上已经有的标签重复；将与所述实体单位已经有的标签重复的标签丢弃，将所述至少一个标签中经过丢弃后剩余的标签作为属性信息增加到所述实体单位上。

根据本申请的另一个方面，还提供了一种客户属性标签智能标识装置，包括：抓取模块，用于从网络上抓取实体单位在所述网络上公开的信息；处理模块，用于将所述公开的信息进行处理，得到自然语言表达的无格式文本，其中，所述处理用于去除所述公开信息的文字格式；输入模块，用于将所述无格式文本输入到机器学习模型中，其中，所述机器学习模型是根据多组训练数据训练得到的，所述多组训练数据中的每组训练数据均包括输入数据和输出数据，所述输入数据是自然语言表达的无格式文本，所述输出数据是人工根据所述自然语言表达的无格式文本标注的标签；所述人工标注的标签在进行训练之前是经过检查和校验的；获取模块，用于从所述机器学习模型中获取输出所述机器学习模型输出的至少一个标签；标注模块，用于将所述至少一个标签作为属性信息增加到所述实体单位上。

进一步地，所述抓取模块用于：按照预先配置的频率从网络上抓取所述实体单位在所述网络上公开的信息。

进一步地，所述输入模块用于：将所述无格式文本与历史无格式文本进行内容比较，其中，所述历史无格式文本为在此次抓取之前，抓取到的公开的信息经过处理得到无格式文本；如果所述无格式文本的内容与所述历史无格式文本的内容不同，则将所述无格式文本输入到所述机器学习模型中。

进一步地，还包括：保存模块，用于在所述无格式文本的内容与所述历史无格式文本的内容相似程度超过阈值的情况下，则将所述无格式文本标记为重复内容，其中，所述重复内容为仅进行保存而不输入到所述机器学习模型中的内容。

进一步地，所述标注模块用于：判断所述至少一个标签是否与所述实体单位上已经有的标签重复；将与所述实体单位已经有的标签重复的标签丢弃，将所述至少一个标签中经过丢弃后剩余的标签作为属性信息增加到所述实体单位上。

在本申请实施例中，采用了从网络上抓取实体单位在所述网络上公开的信息；将所述公开的信息进行处理，得到自然语言表达的无格式文本，其中，所述处理用于去除所述公开信息的文字格式；将所述无格式文本输入到机器学习模型中，其中，所述机器学习模型是根据多组训练数据训练得到的，所述多组训练数据中的每组训练数据均包括输入数据和输出数据，所述输入数据是自然语言表达的无格式文本，所述输出数据是人工根据所述自然语言表达的无格式文本标注的标签；所述人工标注的标签在进行训练之前是经过检查和校验的；从所述机器学习模型中获取输出所述机器学习模型输出的至少一个标签；将所述至少一个标签作为属性信息增加到所述实体单位上。通过本申请解决了现有技术对实体单位采用人工标注标签所导致的问题，提高了标签标注的准确性以及效率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的客户属性标签智能标识方法的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种客户属性标签智能标识方法，图1是根据本申请实施例的客户属性标签智能标识方法的流程图，如图1所示，该流程包括如下步骤：

步骤S102，从网络上抓取实体单位在所述网络上公开的信息；

在该步骤中，可以按照预先配置的频率从网络上抓取所述实体单位在所述网络上公开的信息，例如，每天在固定时间点来进行抓取。

抓取的方式有很多种，例如，可以访问预先配置的网络地址，并从所述网络地址中抓取与所述实体单位相关的内容。

步骤S104，将所述公开的信息进行处理，得到自然语言表达的无格式文本，其中，所述处理用于去除所述公开信息的文字格式；

可选地，为了缓解机器学习模型所在的服务器的计算压力，可以将所述无格式文本与历史无格式文本进行内容比较，其中，所述历史无格式文本为在此次抓取之前，抓取到的公开的信息经过处理得到无格式文本；如果所述无格式文本的内容与所述历史无格式文本的内容不同，则将所述无格式文本输入到所述机器学习模型中。

如果所述无格式文本的内容与所述历史无格式文本的内容相似程度超过阈值，则将所述无格式文本标记为重复内容，其中，所述重复内容为仅进行保存而不输入到所述机器学习模型中的内容。

作为一个可以选择增加的实施方式，还可以将所述无格式文本中无意义的内容进行删除，然后将删除之后的无格式文本输入到机器学习模型中。删除无意义内容的方式有很多种，例如，预先配置多个关键词，其中，所述关键词的数量比预先配置的标签池中的标签的数量多。使用预定的标点符号进行断句，例如，使用句号进行断句。判断使用句号断句之后得到的每个句子中是否包括所述预先配置的多个关键词中的至少一个，如果该句子中没有包括所述预先配置的多个关键词中的任何一个，则确定该句子为没有任何意义的句子，将该句子删除，其中，被删除之后的句子不被输入到所述机器学习模型中。

步骤S106，将所述无格式文本输入到机器学习模型中，其中，所述机器学习模型是根据多组训练数据训练得到的，所述多组训练数据中的每组训练数据均包括输入数据和输出数据，所述输入数据是自然语言表达的无格式文本，所述输出数据是人工根据所述自然语言表达的无格式文本标注的标签；所述人工标注的标签在进行训练之前是经过检查和校验的；

作为一个可以选择增加实施方式，人工进行标注的标签是从预先配置的标签池中选择出来的，所述标签池中保存有多个可用标签。在人工根据自然语言表达的无格式文本进行标注之后，获取所述人工标注的标签，判断所述人工标注的标签是否为所述标签池中的标签，如果不是所述标签池中的标签则将发出提示信息，其中，所述提示信息用于指示该标签出现了错误。

作为另一个可选的实施方式，还可以使用不进行提示，直接对人工进行标注的标签进行修改。在该可选实施方式中，获取所述人工标注的标签，判断所述人工标注的标签是否为所述标签池中的标签，如果不是将所述人工标注的标签与所述标签池中的标签进行比较，查找与所述人工标注的标签最接近的标签；将查找到的最接近的标签替换掉人工标注的标签后保存为训练数据。

可选地，在人工标注的标签被替换掉之后，保存替换之前的标签和替换之后的标签之间的对应关系，在人工标注的标签不是所述标签池中的标签时，首先在对应关系中进行查找，如果在对应关系中查找到可以被替换的标签，则根据对应关系中指示的标签对人工标注的标签进行替换，如果在所述对应关系中无法查找到可以被替换的标签的情况下，再在标签池中查找与人工标注的标签最接近的标签。

步骤S108，从所述机器学习模型中获取输出所述机器学习模型输出的至少一个标签；

步骤S110，将所述至少一个标签作为属性信息增加到所述实体单位上。

可选地，还可以判断所述至少一个标签是否与所述实体单位上已经有的标签重复；将与所述实体单位已经有的标签重复的标签丢弃，将所述至少一个标签中经过丢弃后剩余的标签作为属性信息增加到所述实体单位上。

通过上述步骤解决了现有技术对实体单位采用人工标注标签所导致的问题，提高了标签标注的准确性以及效率。

在上述实施方式中，训练数据中的文本需要对应至少两种标签，其中，所述两种标签中的第一种标签为供应标签，所述供应标签用于指示该实体单位能够提供的产品和/或服务，所述两种标签中的另一种标签为需求标签，所述需求标签用于指示该实体单位需要的产品和/或服务。

在所述机器学习模型输出的至少一个标签中包括需求标签的情况下，还可以从得到该需求标签的无格式文本中获取时间信息，该时间信息用于指示该需求标签的时效性，将获取到的需求标签以及该时间信息发送至带有供应标签的实体单位。

在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。

上述程序可以运行在处理器中，或者也可以存储在存储器中（或称为计算机可读介质），计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。

该本实施例中就提供了这样的一种装置或系统。该装置被称为客户属性标签智能标识装置，该装置包括：抓取模块，用于从网络上抓取实体单位在所述网络上公开的信息；处理模块，用于将所述公开的信息进行处理，得到自然语言表达的无格式文本，其中，所述处理用于去除所述公开信息的文字格式；输入模块，用于将所述无格式文本输入到机器学习模型中，其中，所述机器学习模型是根据多组训练数据训练得到的，所述多组训练数据中的每组训练数据均包括输入数据和输出数据，所述输入数据是自然语言表达的无格式文本，所述输出数据是人工根据所述自然语言表达的无格式文本标注的标签；所述人工标注的标签在进行训练之前是经过检查和校验的；获取模块，用于从所述机器学习模型中获取输出所述机器学习模型输出的至少一个标签；标注模块，用于将所述至少一个标签作为属性信息增加到所述实体单位上。

该系统或者装置用于实现上述的实施例中的方法的功能，该系统或者装置中的每个模块与方法中的每个步骤相对应，已经在方法中进行过说明的，在此不再赘述。

例如，所述抓取模块用于：按照预先配置的频率从网络上抓取所述实体单位在所述网络上公开的信息。可选地，所述输入模块用于：将所述无格式文本与历史无格式文本进行内容比较，其中，所述历史无格式文本为在此次抓取之前，抓取到的公开的信息经过处理得到无格式文本；如果所述无格式文本的内容与所述历史无格式文本的内容不同，则将所述无格式文本输入到所述机器学习模型中。

又例如，还包括：保存模块，用于在所述无格式文本的内容与所述历史无格式文本的内容相似程度超过阈值的情况下，则将所述无格式文本标记为重复内容，其中，所述重复内容为仅进行保存而不输入到所述机器学习模型中的内容。可选地，所述标注模块用于：判断所述至少一个标签是否与所述实体单位上已经有的标签重复；将与所述实体单位已经有的标签重复的标签丢弃，将所述至少一个标签中经过丢弃后剩余的标签作为属性信息增加到所述实体单位上。

通过本实施例解决了现有技术对实体单位采用人工标注标签所导致的问题，提高了标签标注的准确性以及效率。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种客户属性标签智能标识方法，其特征在于，包括：

从网络上抓取实体单位在所述网络上公开的信息；

将所述公开的信息进行处理，得到自然语言表达的无格式文本，其中，所述处理用于去除所述公开信息的文字格式；

将所述无格式文本输入到机器学习模型中，其中，所述机器学习模型是根据多组训练数据训练得到的，所述多组训练数据中的每组训练数据均包括输入数据和输出数据，所述输入数据是自然语言表达的无格式文本，所述输出数据是人工根据所述自然语言表达的无格式文本标注的标签；所述人工标注的标签在进行训练之前是经过检查和校验的；

从所述机器学习模型中获取输出所述机器学习模型输出的至少一个标签；

将所述至少一个标签作为属性信息增加到所述实体单位上。

2.根据权利要求1所述的方法，其特征在于，从网络上抓取实体单位在所述网络上公开的信息包括：

按照预先配置的频率从网络上抓取所述实体单位在所述网络上公开的信息。

3.根据权利要求2所述的方法，其特征在于，将所述无格式文本输入到所述机器学习模型中包括：

将所述无格式文本与历史无格式文本进行内容比较，其中，所述历史无格式文本为在此次抓取之前，抓取到的公开的信息经过处理得到无格式文本；

如果所述无格式文本的内容与所述历史无格式文本的内容不同，则将所述无格式文本输入到所述机器学习模型中。

4.根据权利要求3所述的方法，其特征在于，还包括：

如果所述无格式文本的内容与所述历史无格式文本的内容相似程度超过阈值，则将所述无格式文本标记为重复内容，其中，所述重复内容为仅进行保存而不输入到所述机器学习模型中的内容。

5.根据权利要求1至4中任一项所述的方法，其特征在于，将所述至少一个标签作为属性信息增加到所述实体单位上包括：

判断所述至少一个标签是否与所述实体单位上已经有的标签重复；

将与所述实体单位已经有的标签重复的标签丢弃，将所述至少一个标签中经过丢弃后剩余的标签作为属性信息增加到所述实体单位上。

6.一种客户属性标签智能标识装置，其特征在于，包括：

抓取模块，用于从网络上抓取实体单位在所述网络上公开的信息；

处理模块，用于将所述公开的信息进行处理，得到自然语言表达的无格式文本，其中，所述处理用于去除所述公开信息的文字格式；

输入模块，用于将所述无格式文本输入到机器学习模型中，其中，所述机器学习模型是根据多组训练数据训练得到的，所述多组训练数据中的每组训练数据均包括输入数据和输出数据，所述输入数据是自然语言表达的无格式文本，所述输出数据是人工根据所述自然语言表达的无格式文本标注的标签；所述人工标注的标签在进行训练之前是经过检查和校验的；

获取模块，用于从所述机器学习模型中获取输出所述机器学习模型输出的至少一个标签；

标注模块，用于将所述至少一个标签作为属性信息增加到所述实体单位上。

7.根据权利要求6所述的装置，其特征在于，所述抓取模块用于：

按照预先配置的频率从网络上抓取所述实体单位在所述网络上公开的信息。

8.根据权利要求7所述的装置，其特征在于，所述输入模块用于：

将所述无格式文本与历史无格式文本进行内容比较，其中，所述历史无格式文本为在此次抓取之前，抓取到的公开的信息经过处理得到无格式文本；

如果所述无格式文本的内容与所述历史无格式文本的内容不同，则将所述无格式文本输入到所述机器学习模型中。

9.根据权利要求8所述的装置，其特征在于，还包括：

保存模块，用于在所述无格式文本的内容与所述历史无格式文本的内容相似程度超过阈值的情况下，则将所述无格式文本标记为重复内容，其中，所述重复内容为仅进行保存而不输入到所述机器学习模型中的内容。

10.根据权利要求6至9中任一项所述的装置，其特征在于，所述标注模块用于：

判断所述至少一个标签是否与所述实体单位上已经有的标签重复；

将与所述实体单位已经有的标签重复的标签丢弃，将所述至少一个标签中经过丢弃后剩余的标签作为属性信息增加到所述实体单位上。

Images