CN116245109A - 文本处理方法、装置及电子设备 - Google Patents

Abstract

本公开提供了文本处理方法，涉及内容审核、敏感词匹配等技术领域。具体方案：获取待发布文本及包括多个敏感词及每个敏感词对应的第一权重的参考词表；基于参考词表，对将待发布文本进行遍历，确定待发布文本中包含的目标敏感词集；在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对待发布文本进行处理，确定待发布文本的敏感概率；根据每个目标敏感词的第一权重及敏感概率，确定是否对待发布文本进行封禁处理。从而提高了文本处理的可靠性。

Description

文本处理方法、装置及电子设备

技术领域

本公开涉及人工智能技术领域，尤其涉及内容风控、敏感词检测等技术领域，具体涉及文本处理方法、装置及电子设备。

背景技术

随着互联网时代的到来，海量网络资源使得人们日常生活、社会交流、学习工作等变得越来越方便快捷。但是人们在享受着互联网带来的便利的同时，也有不少人利用互联网发布一些不良信息，造成诸多的不良影响。因此对待发布内容进行审核，过滤至关重要。

发明内容

本公开提供了一种文本处理方法、装置及电子设备。

根据本公开的一方面，提供了一种文本处理方法，包括：

获取待发布文本及参考词表,其中,参考词表中包括多个敏感词及每个敏感词对应的第一权重；

基于参考词表，对待发布文本进行遍历，确定待发布文本中包含的目标敏感词集；

在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对待发布文本进行处理，确定待发布文本的敏感概率，其中，头部目标敏感词为第一权重大于第三阈值的目标敏感词；

根据每个目标敏感词的第一权重及敏感概率，确定是否对待发布文本进行封禁处理。

根据本公开的另一方面，提供了一种文本处理装置，包括：

获取模块，用于获取待发布文本及参考词表,其中,参考词表中包括多个敏感词及每个敏感词对应的第一权重；

确定模块，用于基于参考词表，对待发布文本进行遍历，确定待发布文本中包含的目标敏感词集；

预测模块，用于在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对待发布文本进行处理，确定待发布文本的敏感概率，其中，头部目标敏感词为第一权重大于第三阈值的目标敏感词；

处理模块，用于根据每个目标敏感词的第一权重及敏感概率，确定是否对待发布文本进行封禁处理。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例提供的一种文本处理方法的流程示意图；

图2为本公开实施例提供的另一种文本处理方法的流程示意图；

图3为本公开实施例提供的另一种文本处理方法的流程示意图；

图4为本公开实施例提供的另一种文本处理方法的流程示意图；

图5为本公开实施例提供的另一种文本处理装置的结构示意图；

图6是用来实现本公开实施例的文本处理的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

人工智能，是研究使用计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术领域也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术包括计算机视觉技术、语音识别技术、自然语言处理技术以及深度学习、大数据处理技术、知识图谱技术等几大方向。

本公开中，在目标敏感词集中目标敏感词的数量小于第一阈值，且所述头部目标敏感词的数量小于第二阈值情况下，根据每个目标敏感词的第一权重及基于待发布文本整体语义确定的敏感概率，确定是否对待发布文本进行封禁处理，从而提高了文本处理的可靠性。

下面参考附图，对本公开实施例的文本处理方法、装置、电子设备和存储介质进行详细说明。

需要说明的是，本公开实施的文本处理方法被配置于文本处理装置(以下简称为处理装置)中来举例说明，处理装置可以应用于任一电子设备中，以使该电子设备可以执行对待发布文本进行审核的功能。

其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。

图1为本公开实施例提供的一种文本处理方法的流程示意图。

如图1所示，该方法包括：

步骤101，获取待发布文本及参考词表,其中,参考词表中包括多个敏感词及每个敏感词对应的第一权重。

其中，第一权重可以用于指示敏感词的重要性。可以根据敏感词出现的概率，确定敏感词的第一权重。敏感词的第一权重越大，说明包含该敏感词的文本是敏感文本的可能性越大。

此外，在不同封禁审查类型中，敏感词的第一权重可能不同。比如，在赌博文本中“博彩”对应的第一权重较大。而在辱骂文本中“博彩”对应的第一权重较小，甚至在辱骂文本中“博彩”不属于敏感词。因此，可以根据不同封禁审查类型，生成不同的参考词表，以提高对文本进行封禁处理的可靠性。

本公开中，用户通过客户端提交待发布文本后，处理装置即可获取待发布文本，并根据预先设置的文本封禁审查类型，获取该封禁审查类型对应的参考词表。

步骤102，基于参考词表，对待发布文本进行遍历，确定待发布文本中包含的目标敏感词集。

本公开中，可以利用预先设置的任意敏感词匹配算法，比如AC(Aho-Corasickautomaton，AC自动机)算法，基于参考词表，对将待发布文本进行遍历，确定待发布文本中包含的目标敏感词集。

步骤103，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对待发布文本进行处理，确定待发布文本的敏感概率，其中，头部目标敏感词为第一权重大于第三阈值的目标敏感词。

本公开中，在目标敏感词的数量大于第一阈值，或者头部目标敏感词的数量大于第二阈值情况下，说明待发布文本是敏感文本，此时，可以直接对待发布文本进行封禁处理。从而提高了文本处理的效率。

而在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，为了提高文本处理的可靠性，可以利用文本处理模型，基于待发布文本整体的语义，对待发布文本进行进一步的处理，确定待发布文本的敏感概率。之后，结合待发布文本的敏感概率，确定是否对待发布文本进行封禁处理。

步骤104，根据每个目标敏感词的第一权重及敏感概率，确定是否对待发布文本进行封禁处理。

本公开中，敏感概率是基于待发布文本的语义确定的待发布文本是敏感文本的可能性。第一权重表征单个词的敏感度，且目标敏感词的第一权重可以通过人工根据实际场景，进行设定或调整，目标敏感词的第一权重可靠性较高。基于此，可以根据每个目标敏感词的第一权重，对敏感概率进行修正，从而实现整体和局部的融合，提高文本处理的可靠性。

可选的，可以将每个目标敏感词对应的第一权重与目标敏感词集中所有目标敏感词对应的第一权重之和的比值，确定为每个目标敏感词对应的第一权重的系数，并基于各个目标敏感词的第一权重和系数的乘积之和，对敏感概率进行修正。

可选的，可以根据目标敏感词对应的第一权重中的最大值，对敏感概率进行调整。

在修正后的敏感概率大于预设阈值的情况下，说明待发布文本为敏感文本，并对待发布文本进行封禁处理。而在修正后的敏感概率小于预设阈值的情况下，说明待发布文本不是敏感文本，可以对待发布文本进行发布。

本公开中，在获取待发布文本及包括多个敏感词及每个敏感词对应的第一权重的参考词表后，基于参考词表，对将待发布文本进行遍历，确定待发布文本中包含的目标敏感词集，之后，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对待发布文本进行处理，确定待发布文本的敏感概率，然后，根据每个目标敏感词的第一权重及敏感概率，确定是否对待发布文本进行封禁处理。由此，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，根据每个目标敏感词的第一权重及基于待发布文本整体语义确定的敏感概率，确定是否对待发布文本进行封禁处理，从而提高了文本处理的可靠性。

图2为本公开实施例提供的一种文本处理方法的流程示意图。

如图2所示，该方法包括：

步骤201，获取待发布文本及参考词表,其中,参考词表中包括多个敏感词及每个敏感词对应的第一权重。

步骤202，基于参考词表，对待发布文本进行遍历，确定待发布文本中包含的目标敏感词集。

步骤203，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对待发布文本进行处理，确定待发布文本的敏感概率，其中，头部目标敏感词为第一权重大于第三阈值的目标敏感词。

步骤204，根据每个目标敏感词的第一权重及敏感概率，确定是否对待发布文本进行封禁处理。

本公开中，步骤201-步骤204的具体实现过程，可参见本公开任一实施例的详细描述,在此不再赘述。

步骤205，获取敏感词的第一权重的更新请求，其中，更新请求中包括待更新敏感词，及待更新敏感词的类型。

其中，待更新敏感词的类型可以包括遗漏数据类型、误招数据类型等。可以将被误封禁的文本中的敏感词的类型设置为误招数据类型，将被漏封禁的文本中的敏感词的类型设置为遗漏数据类型。

本公开中，根据每个目标敏感词的第一权重及敏感概率，确定是否对待发布文本进行封禁处理之后，系统可以将待发布文本、待发布文本的目标敏感词集、敏感概率以及是否进行封禁处理保存在系统中。之后，运维人员可以对一段时间内的待分布文本进行审核，确定被误封禁的文本以及被漏封禁的文本。之后，将被误封禁的文本中的敏感词以及被漏封禁的文本中的敏感词作为待更新敏感词，并将被误封禁的文本中的敏感词的类型设置为误招数据类型，将被漏封禁的文本中的敏感词的类型设置为遗漏数据类型。然后，可以通过处理装置对应的客户端或人际交互界面，基于待更新敏感词以及各待更新敏感词的类型，生成并向处理装置发送更新请求，以更新参考词表中的待更新敏感词的第一权重。从而提高敏感词的第一权重的可靠性。

步骤206，在待更新敏感词的类型为遗漏数据类型，且参考词表中不包含待更新敏感词的情况下，在参考词表中添加待更新敏感词，并将待更新敏感词对应的第一权重设置为默认权重。

本公开中，为了避开文本封禁，可能会用衍生词去代替敏感词。比如，用“菠菜”来代替“博彩”。或者随着时间和社会事件的变化，敏感词也发生了变化。而此时可能会出现漏封禁的现象。运维人员可以对漏封禁的文本进行审核后，筛选出新的敏感词，或者补充新的社会事件对应的新的敏感词，并发送更新请求，以在参考词表中添加新的敏感词。

步骤207，在待更新敏感词的类型为遗漏数据类型，且参考词表中包含待更新敏感词的情况下，增大参考词表中待更新敏感词对应的第一权重。

本公开中，在待更新敏感词的类型为遗漏数据类型，且参考词表中包含待更新敏感词的情况下，说明待更新敏感词的第一权重不足以指示待发布文本的敏感程度，待更新敏感词的第一权重设置的偏小。此时，可以将参考词表中待更新敏感词对应的第一权重增加预设数值。从而提高第一权重的可靠性。

步骤208，在待更新敏感词的错误类型为误招数据类型，且参考词表中包含待更新敏感词的情况下，减小参考词表中待更新敏感词对应的第一权重。

本公开中，在待更新敏感词的类型为误招数据类型，且参考词表中包含待更新敏感词的情况下，说明更新敏感词的第一权重超过了待发布文本的敏感程度，待更新敏感词的第一权重设置的偏大。此时，可以将参考词表中待更新敏感词对应的第一权重减少预设数值。从而提高第一权重的可靠性。

可选的，更新请求中还包括待更新敏感词对应的第二权重，可以利用第二权重，更新参考词表中待更新敏感词对应的第一权重。提高了配置第一权重的灵活性。

可选的，在预设时间段内，任一敏感词对应的第一权重及更新后的第一权重均小于第六阈值的情况下，说明该任一敏感词为不重要的敏感词，可以删除参考词表中任一敏感词，去除冗余数据。

本公开中，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，根据每个目标敏感词的第一权重及基于待发布文本整体语义确定的敏感概率，确定是否对待发布文本进行封禁处理，从而提高了文本处理的可靠性。

图3为本公开实施例提供的一种文本处理方法的流程示意图。

如图3所示，该方法包括：

步骤301，获取待发布文本及参考词表,其中,参考词表中包括多个敏感词及每个敏感词对应的第一权重。

步骤302，基于参考词表，对待发布文本进行遍历，确定待发布文本中包含的目标敏感词集。

步骤303，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对待发布文本进行处理，确定待发布文本的敏感概率，其中，头部目标敏感词为第一权重大于第三阈值的目标敏感词。

本公开中，步骤301-步骤303的具体实现过程，可参见本公开任一实施例的详细描述,在此不再赘述。

步骤304，将每个目标敏感词对应的第一权重与目标敏感词集中所有目标敏感词对应的第一权重之和的比值，确定为每个目标敏感词对应的第一权重的系数。

本公开中，可以对目标敏感词集中所有目标敏感词对应的第一权重进行加权融合，之后，即可根据加权融合后的值，对敏感值进行修正，以提高敏感概率的准确性，进而提高文本处理的可靠性。

步骤305，基于各个目标敏感词的第一权重和系数的乘积之和，对敏感概率进行修正。

本公开中，可以计算各个目标敏感词的第一权重和系数的乘积之和，并在该和在第三预设范围内，且敏感概率大于第五阈值的情况下，可以将该和与敏感概率差的绝对值乘以预设系数，确定调整值。之后，可以将敏感概率加上该调整值，以提高敏感概率的准确性。

此外，在各个目标敏感词的第一权重和系数的乘积之和在第四预设范围内，且敏感概率大于第五阈值的情况下，可以将该和与敏感概率差的绝对值乘以预设系数，确定调整值。之后，可以将敏感概率减去该调整值，以提高敏感概率的准确性。

其中，第三预设范围的最小值大于或等于第四预设范围的最大值，且第三预设范围的最大值小于第三阈值。

步骤306，在修正后的敏感概率大于第四阈值的情况下，对待发布文本进行封禁处理。

本公开中，在修正后的敏感概率大于第四阈值的情况下，说明待发布文本为敏感文本，可以对待发布文本进行封禁处理。而在修正后的敏感概率小于第四阈值的情况下，说明待发布文本不为敏感文本，可以对待发布文本进行发布。

本公开中，在获取待发布文本及包括多个敏感词及每个敏感词对应的第一权重的参考词表后，基于参考词表，对将待发布文本进行遍历，确定待发布文本中包含的目标敏感词集，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对待发布文本进行处理，确定待发布文本的敏感概率，之后，将每个目标敏感词对应的第一权重与目标敏感词集中所有目标敏感词对应的第一权重之和的比值，确定为每个目标敏感词对应的第一权重的系数，并基于各个目标敏感词的第一权重和系数的乘积之和，对敏感概率进行修正，然后，在修正后的敏感概率大于第四阈值的情况下，对待发布文本进行封禁处理。由此，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，基于各个目标敏感词的第一权重和系数的乘积之和，对敏感概率进行修正，并根据修正后的敏感概率确定是否对待发布文本进行封禁处理，从而提高了文本处理的可靠性。

图4为本公开实施例提供的一种文本处理方法的流程示意图。

如图4所示，该方法包括：

步骤401，获取待发布文本及参考词表,其中,参考词表中包括多个敏感词及每个敏感词对应的第一权重。

步骤402，基于参考词表，对待发布文本进行遍历，确定待发布文本中包含的目标敏感词集。

步骤403，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对待发布文本进行处理，确定待发布文本的敏感概率，其中，头部目标敏感词为第一权重大于第三阈值的目标敏感词。

本公开中，步骤401-步骤403的具体实现过程，可参见本公开任一实施例的详细描述,在此不再赘述。

步骤404，在目标敏感词对应的第一权重中的最大值在第一预设范围内，且敏感概率大于第五阈值的情况下，增大敏感概率。

本公开中，目标敏感词对应的第一权重中的最大值可以表征待发布文本为敏感文本的最大可能性。因此，可以基于目标敏感词对应的第一权重中的最大值，来修正敏感概率，在保证对文本封禁处理的准确性的同时，降低文本处理方法的复杂度。

本公开中，当目标敏感词的第一权重指示的待发布文本的敏感性与敏感概率相指示的待发布文本的敏感性一致时(即目标敏感词的第一权重和敏感概率都较大)，说明待发布文本为敏感文本的可能性较高。此时，可以将敏感概率增加预设阈值，以提高文本处理的可靠性。

比如，目标敏感词对应的第一权重中的最大值在0.6-0.8之间，敏感概率为0.75。可以将敏感概率增大为0.80。

步骤405，在目标敏感词对应的第一权重中的最大值在第二预设范围内，且敏感概率大于第五阈值的情况下，减小敏感概率。

其中，第一预设范围的最小值大于或等于第二预设范围的最大值，且第一预设范围的最大值小于第三阈值。

本公开中，当目标敏感词的第一权重很小时，待发布文本为敏感文本的可能性也较小。而当目标敏感词的第一权重较小，敏感概率较大时，说明敏感概率过大。此时，可以将敏感概率减少预设阈值，以提高文本处理的可靠性。

比如，目标敏感词对应的第一权重中的最大值在0.3以下，敏感概率为0.80。可以将敏感概率减小为0.75。

可选的，当在目标敏感词对应的第一权重中的最大值在第一预设范围的最小值与第二预设范围的最大值之间时，待发布文本可能是敏感文本也可能是不敏感文本。此时可以保持敏感概率不变。

步骤406，在修正后的敏感概率大于第四阈值的情况下，对待发布文本进行封禁处理。

本公开中，步骤406的具体实现过程，可参见本公开任一实施例的详细描述，在此不再赘述。

本公开中，在获取待发布文本及包括多个敏感词及每个敏感词对应的第一权重的参考词表后，基于参考词表，对将待发布文本进行遍历，确定待发布文本中包含的目标敏感词集，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对待发布文本进行处理，确定待发布文本的敏感概率，之后，在目标敏感词对应的第一权重中的最大值在第一预设范围内，且敏感概率大于第五阈值的情况下，增大敏感概率，在目标敏感词对应的第一权重中的最大值在第二预设范围内，且敏感概率大于第五阈值的情况下，减小敏感概率，然后，在修正后的敏感概率大于第四阈值的情况下，对待发布文本进行封禁处理。由此，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，根据目标敏感词对应的第一权重中的最大值，对敏感概率进行修正，并根据修正后的敏感概率确定是否对待发布文本进行封禁处理，从而提高了文本处理的可靠性。

为了实现上述实施例，本公开实施例还提出一种文本处理装置。

图5为本公开实施例提供的一种文本处理装置的结构示意图。

如图5所示，该文本处理装置500包括：获取模块510、确定模块520、预测模块530、处理模块540。

获取模块510，用于获取待发布文本及参考词表,其中,参考词表中包括多个敏感词及每个敏感词对应的第一权重；

确定模块520，用于基于参考词表，对待发布文本进行遍历，确定待发布文本中包含的目标敏感词集；

预测模块530，用于在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对待发布文本进行处理，确定待发布文本的敏感概率，其中，头部目标敏感词为第一权重大于第三阈值的目标敏感词；

处理模块540，用于根据每个目标敏感词的第一权重及敏感概率，确定是否对待发布文本进行封禁处理。

在本公开实施例一种可能的实现方式中，还包括更新模块，用于：

获取敏感词的第一权重的更新请求，其中，更新请求中包括待更新敏感词，及待更新敏感词的类型；

在待更新敏感词的类型为遗漏数据类型，且参考词表中不包含待更新敏感词的情况下，在参考词表中添加待更新敏感词，并将待更新敏感词对应的第一权重设置为默认权重；

在待更新敏感词的类型为遗漏数据类型，且参考词表中包含待更新敏感词的情况下，增大参考词表中待更新敏感词对应的第一权重；

在待更新敏感词的错误类型为误招数据类型，且参考词表中包含待更新敏感词的情况下，减小参考词表中待更新敏感词对应的第一权重。

在本公开实施例一种可能的实现方式中，上述更新模块，还用于：

更新请求中还包括待更新敏感词对应的第二权重，利用第二权重，更新参考词表中待更新敏感词对应的第一权重。

在本公开实施例一种可能的实现方式中，上述处理模块，用于：

将每个目标敏感词对应的第一权重与目标敏感词集中所有目标敏感词对应的第一权重之和的比值，确定为每个目标敏感词对应的第一权重的系数；

基于各个目标敏感词的第一权重和系数的乘积之和，对敏感概率进行修正；

在修正后的敏感概率大于第四阈值的情况下，对待发布文本进行封禁处理。

在本公开实施例一种可能的实现方式中，上述处理模块540，包括：

在目标敏感词对应的第一权重中的最大值在第一预设范围内，且敏感概率大于第五阈值的情况下，增大敏感概率；

在目标敏感词对应的第一权重中的最大值在第二预设范围内，且敏感概率大于第五阈值的情况下，减小敏感概率，其中，第一预设范围的最小值大于或等于第二预设范围的最大值，且第一预设范围的最大值小于第三阈值；

在修正后的敏感概率大于第四阈值的情况下，对待发布文本进行封禁处理。

在本公开实施例一种可能的实现方式中，上述更新模块，还用于：

在预设时间段内，任一敏感词对应的第一权重及更新后的第一权重均小于第六阈值的情况下，删除参考词表中任一敏感词。

在本公开实施例一种可能的实现方式中，上述处理模块540，还用于：

在目标敏感词的数量大于第一阈值，或者头部目标敏感词的数量大于第二阈值情况下，对待发布文本进行封禁处理。

需要说明的是，前述文本处理方法实施例的解释说明，也适用于该实施例的装置，故在此不再赘述。

本公开中，在获取待发布文本及包括多个敏感词及每个敏感词对应的第一权重的参考词表后，基于参考词表，对将待发布文本进行遍历，确定待发布文本中包含的目标敏感词集，之后，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对待发布文本进行处理，确定待发布文本的敏感概率，然后，根据每个目标敏感词的第一权重及敏感概率，确定是否对待发布文本进行封禁处理。由此，在目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，根据每个目标敏感词的第一权重及基于待发布文本整体语义确定的敏感概率，确定是否对待发布文本进行封禁处理，从而提高了文本处理的可靠性。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)602中的计算机程序或者从存储单元608加载到RAM(Random AccessMemory，随机访问/存取存储器)603中的计算机程序，来执行各种适当的动作和处理。在RAM603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。I/O(Input/Output，输入/输出)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如文本处理方法。例如，在一些实施例中，对文本处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的文本处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文本处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过

该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于5提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，

作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、0或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器

的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质

的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络5的示例包括：LAN(Local Area Network，局域网)、WAN(Wide Area Network，

广域网)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具

有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器0可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(Virtual Private Server，虚拟专用服务器)中，存在的管理难度大，业务s扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或5删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执

行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种文本处理方法，所述方法包括：

获取待发布文本及参考词表,其中,所述参考词表中包括多个敏感词及每个所述敏感词对应的第一权重；

基于所述参考词表，对所述待发布文本进行遍历，确定所述待发布文本中包含的目标敏感词集；

在所述目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对所述待发布文本进行处理，确定所述待发布文本的敏感概率，其中，所述头部目标敏感词为第一权重大于第三阈值的目标敏感词；

根据每个所述目标敏感词的第一权重及所述敏感概率，确定是否对所述待发布文本进行封禁处理。

2.如权利要求1所述方法，其中，还包括：

获取所述敏感词的第一权重的更新请求，其中，所述更新请求中包括待更新敏感词，及所述待更新敏感词的类型；

在所述待更新敏感词的类型为遗漏数据类型，且所述参考词表中不包含所述待更新敏感词的情况下，在所述参考词表中添加所述待更新敏感词，并将所述待更新敏感词对应的第一权重设置为默认权重；

在所述待更新敏感词的类型为遗漏数据类型，且所述参考词表中包含所述待更新敏感词的情况下，增大所述参考词表中所述待更新敏感词对应的第一权重；

在所述待更新敏感词的错误类型为误招数据类型，且所述参考词表中包含所述待更新敏感词的情况下，减小所述参考词表中所述待更新敏感词对应的第一权重。

3.如权利要求2所述方法，其中，还包括：

所述更新请求中还包括所述待更新敏感词对应的第二权重，利用所述第二权重，更新所述参考词表中所述待更新敏感词对应的第一权重。

4.如权利要求1所述方法，其中，所述根据每个所述目标敏感词的第一权重及所述敏感概率，确定是否对所述待发布文本进行封禁处理，包括：

将每个所述目标敏感词对应的第一权重与所述目标敏感词集中所有目标敏感词对应的第一权重之和的比值，确定为每个所述目标敏感词对应的第一权重的系数；

基于各个所述目标敏感词的第一权重和系数的乘积之和，对所述敏感概率进行修正；

在修正后的敏感概率大于第四阈值的情况下，对所述待发布文本进行封禁处理。

5.如权利要求1所述方法，其中，所述根据每个所述目标敏感词的第一权重及所述敏感概率，确定是否对所述待发布文本进行封禁处理，包括：

在所述目标敏感词对应的第一权重中的最大值在第一预设范围内，且所述敏感概率大于第五阈值的情况下，增大所述敏感概率；

在所述目标敏感词对应的第一权重中的最大值在第二预设范围内，且所述敏感概率大于第五阈值的情况下，减小所述敏感概率，其中，所述第一预设范围的最小值大于或等于所述第二预设范围的最大值，且所述第一预设范围的最大值小于所述第三阈值；

在修正后的敏感概率大于第四阈值的情况下，对所述待发布文本进行封禁处理。

6.如权利要求1所述方法，其中，还包括：

在预设时间段内，任一敏感词对应的第一权重及更新后的第一权重均小于第六阈值的情况下，删除所述参考词表中所述任一敏感词。

7.如权利要求1所述方法，其中，还包括：

在所述目标敏感词的数量大于第一阈值，或者所述头部目标敏感词的数量大于第二阈值情况下，对所述待发布文本进行封禁处理。

8.一种文本处理装置，所述方法包括：

获取模块，用于获取待发布文本及参考词表,其中,所述参考词表中包括多个敏感词及每个所述敏感词对应的第一权重；

确定模块，用于基于所述参考词表，对所述待发布文本进行遍历，确定所述待发布文本中包含的目标敏感词集；

预测模块，用于在所述目标敏感词集中目标敏感词的数量小于第一阈值，且头部目标敏感词的数量小于第二阈值情况下，利用文本处理模型，对所述待发布文本进行处理，确定所述待发布文本的敏感概率，其中，所述头部目标敏感词为第一权重大于第三阈值的目标敏感词；

处理模块，用于根据每个所述目标敏感词的第一权重及所述敏感概率，确定是否对所述待发布文本进行封禁处理。

9.如权利要求8所述装置，其中，还包括更新模块，用于：

获取所述敏感词的第一权重的更新请求，其中，所述更新请求中包括待更新敏感词，及所述待更新敏感词的类型；

在所述待更新敏感词的类型为遗漏数据类型，且所述参考词表中不包含所述待更新敏感词的情况下，在所述参考词表中添加所述待更新敏感词，并将所述待更新敏感词对应的第一权重设置为默认权重；

在所述待更新敏感词的类型为遗漏数据类型，且所述参考词表中包含所述待更新敏感词的情况下，增大所述参考词表中所述待更新敏感词对应的第一权重；

在所述待更新敏感词的错误类型为误招数据类型，且所述参考词表中包含所述待更新敏感词的情况下，减小所述参考词表中所述待更新敏感词对应的第一权重。

10.如权利要求9所述装置，其中，所述更新模块，还用于：

所述更新请求中还包括所述待更新敏感词对应的第二权重，利用所述第二权重，更新所述参考词表中所述待更新敏感词对应的第一权重。

11.如权利要求8所述装置，其中，所述处理模块，用于：

将每个所述目标敏感词对应的第一权重与所述目标敏感词集中所有目标敏感词对应的第一权重之和的比值，确定为每个所述目标敏感词对应的第一权重的系数；

基于各个所述目标敏感词的第一权重和系数的乘积之和，对所述敏感概率进行修正；

在修正后的敏感概率大于第四阈值的情况下，对所述待发布文本进行封禁处理。

12.如权利要求1所述装置，其中，所述处理模块，包括：

在所述目标敏感词对应的第一权重中的最大值在第一预设范围内，且所述敏感概率大于第五阈值的情况下，增大所述敏感概率；

在所述目标敏感词对应的第一权重中的最大值在第二预设范围内，且所述敏感概率大于第五阈值的情况下，减小所述敏感概率，其中，所述第一预设范围的最小值大于或等于所述第二预设范围的最大值，且所述第一预设范围的最大值小于所述第三阈值；

在修正后的敏感概率大于第四阈值的情况下，对所述待发布文本进行封禁处理。

13.如权利要求1所述装置，其中，所述更新模块，还用于：

在预设时间段内，任一敏感词对应的第一权重及更新后的第一权重均小于第六阈值的情况下，删除所述参考词表中所述任一敏感词。

14.如权利要求1所述装置，其中，所述处理模块，还用于：

在所述目标敏感词的数量大于第一阈值，或者所述头部目标敏感词的数量大于第二阈值情况下，对所述待发布文本进行封禁处理。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

Images