CN112861507B - 文本处理方法、装置、服务器及存储介质 - Google Patents
文本处理方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN112861507B CN112861507B CN202110268419.5A CN202110268419A CN112861507B CN 112861507 B CN112861507 B CN 112861507B CN 202110268419 A CN202110268419 A CN 202110268419A CN 112861507 B CN112861507 B CN 112861507B
- Authority
- CN
- China
- Prior art keywords
- text
- predicted value
- trained
- rule
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000014509 gene expression Effects 0.000 claims description 63
- 230000000903 blocking effect Effects 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 2
- 230000004083 survival effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种文本处理方法、装置、服务器及存储介质。其中，方法包括：获取客户端的待分享的第一文本；将所述第一文本输入训练好的预测模型中，以得到所述第一文本的第一预估值，所述预测模型用于预测文本被限制访问的概率值，所述第一预估值为所述训练好的预测模型对所述第一文本被限制访问的预估值；在所述第一预估值大于或等于第一阈值的情况下，向所述客户端发送第一提示信息，所述第一提示信息包括所述第一预估值。本公开的服务器可以无需借助人力，通过预测模型自主得到待分享文本的被限制访问的预估值，从而可以提高预估效率。
Description
技术领域
本公开涉及互联网技术领域，尤其涉及一种文本处理方法、装置、服务器及存储介质。
背景技术
随着互联网技术的发展，越来越多的运营人员通过客户端分享文本，推广产品。相关技术中，会对待分享文本进行被封禁概率预估，以便运营人员可以及时发现封禁的隐患。然而，相关技术中一般采用人工经验进行待分享文本的被封禁概率预估，预估效率较低。
发明内容
本公开提供一种文本处理方法、装置、服务器及存储介质，以至少解决相关技术中采用人工经验进行待分享文本的被封禁概率预估，导致预估效率较低的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种文本处理方法，包括：
获取客户端的待分享的第一文本；
将所述第一文本输入训练好的预测模型中，以得到所述第一文本的第一预估值，所述预测模型用于预测文本被限制访问的概率值，所述第一预估值为所述训练好的预测模型对所述第一文本被限制访问的预估值；
在所述第一预估值大于或等于第一阈值的情况下，向所述客户端发送第一提示信息，所述第一提示信息包括所述第一预估值。
根据本公开实施例的第二方面，提供一种文本处理装置，包括：
第一获取模块，被配置为获取客户端的待分享的第一文本；
第一输入模块，被配置为将所述第一文本输入训练好的预测模型中，以得到所述第一文本的第一预估值，所述预测模型用于预测文本被限制访问的概率值，所述第一预估值为所述训练好的预测模型对所述第一文本被限制访问的预估值；
第一发送模块，被配置为在所述第一预估值大于或等于第一阈值的情况下，向所述客户端发送第一提示信息，所述第一提示信息包括所述第一预估值。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的文本处理方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的文本处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括：
可执行指令，当所述可执行指令在计算机上运行时，使得计算机程序产品能够执行如第一方面所述的文本处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
在本公开实施例中，服务器可以采用训练好的预测模型，来预测得到客户端的待分享文本的被限制访问的预估值。可见，本公开实施例的服务器可以无需借助人力，通过预测模型自主得到待分享文本的被限制访问的预估值，从而可以提高预估效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种文本处理方法的流程图。
图2是根据一示例性实施例示出的一种文本处理装置的框图。
图3是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
首先，对本公开所提供的技术方案的应用场景进行介绍：
用户可以在客户端输入待分享文本。服务器获取待分享文本之后，可以预估待分享文本的被限制访问概率，也可以称为被封禁概率，在被封禁概率较高时，可以向客户端发送提示信息，以提示用户当前的待分享文本极有可能被封禁，进而方便用户决定及时调整待分享文本，提高分享文本的存活率。
在本公开实施例中，客户端可以理解为：电子设备，或，电子设备安装的应用程序。服务器可以理解为应用程序的后台服务器，但不仅限于此。在实际应用中，电子设备可以为手机、电脑、可穿戴设备等设备。
以下结合具体实施例，对本公开实施例所提供的文本处理方法进行介绍。本公开实施例所提供方法可以应用于上述服务器。
如图1所示，文本处理方法可以包括以下步骤。
在步骤S11中，获取客户端的待分享的第一文本。
具体实现时，用户在客户端输入所述第一文本后，在分享所述第一文本之前，可以向服务器发送第一请求，用于请求服务器对所述第一文本进行被封禁概率评估。可选的，一种实现方式中，所述第一文本可以直接携带于所述第一请求中；另一种实现方式中，服务器在接收到所述第一请求后，可以发送文本获取请求，之后，客户端向服务器发送所述第一文本，具体可根据实际情况决定，本申请实施例对此不做限定。
在步骤S12中，将所述第一文本输入训练好的预测模型中，以得到所述第一文本的第一预估值，所述预测模型用于预测文本被限制访问的概率值，所述第一预估值为所述训练好的预测模型对所述第一文本被限制访问的预估值。
本公开实施例的服务器可以预先存储有训练好，且可以用于预测文本被限制访问的概率值的预测模型。这样，服务器可以直接将获取到的所述第一文本输入至训练好的预测模型中，得到所述第一文本的第一预估值。可以理解的是，所述第一文本为训练好的预测模型的输入，第一预估值为训练好的预测模型的输出。
在步骤S13中，在所述第一预估值大于或等于第一阈值的情况下，向所述客户端发送第一提示信息，所述第一提示信息包括所述第一预估值。
具体实现时，所述第一阈值可以用于衡量文本被限制访问的概率值高低程度，具体可根据实际情况决定，本申请实施例对此不做限定。
在所述第一预估值大于或等于第一阈值的情况下，说明所述第一文本被限制访问的概率值较高，即所述第一文本的存活率较低。服务器可以向客户端发送包括所述第一预估值的第一提示信息，以提示用户所述第一文本被限制访问的概率值较高，为提高分享文本的存活率，可以对所述第一文本进行调整。但可以理解地是，是否调整所述第一文本由用户决定，所述第一提示信息为用户决定是否调整所述第一文本的辅助信息。
在所述第一预估值小于第一阈值的情况下，说明所述第一文本被限制访问的概率值较低，即所述第一文本的存活率较高。一种实现方式中，服务器可以不做任何处理，这样，客户端若在预设时长内未接收到服务器的提示信息，可以知晓所述第一文本的存活率较高，直接分享所述第一文本，这样，可以减少客户端与服务器间的通信，从而可以节约信令开销。另一种实现方式中，服务器可以通知客户端所述第一文本的存活率较高，这样，客户端无需等待预设时长，从而可以提高文本分享的速率。
本公开实施例的文本处理方法，服务器可以采用训练好的预测模型，来预测得到待分享文本的被限制访问的预估值。可见，本公开实施例的服务器可以无需借助人力，通过预测模型自主得到待分享文本的被限制访问的预估值，从而可以提高预估效率。
在本公开实施例中，服务器可以结合预测模型以及第一规则对待分享文本进行被封禁概率预测，以提高待分享文本的被封禁概率预测的可靠性，其中，所述第一规则用于确定文本被限制访问的概率值，所述第一规则也可以称为封禁规则，或封禁策略等。
可选的，所述将所述第一文本输入训练好的预测模型中的步骤之后，所述方法还包括：
在所述第一预估值小于所述第一阈值的情况下，使用第一规则对所述第一文本进行匹配，所述第一规则用于确定文本被限制访问的概率值；
在所述第一规则中存在与所述第一文本匹配的正则表达式的情况下，向所述客户端发送第二提示信息，用于提示所述第一文本被限制访问的概率值为100％。
在本可选实施方式中，在所述第一预估值小于所述第一阈值的情况下，服务器可以进一步通过第一规则来进一步确定所述第一文本被限制访问的概率值，从而可以提高带分享文本的被封禁概率预测的可靠性。
具体实现时，所述第一规则可以使用正则表达式编写，所述第一规则可以包括Q个封禁主题对应的P个正则表达式，P和Q均为正整数。可以理解的是，所述Q个封禁主题与所述P个正则表达式可以是以下任一项对应关系：一对一的对应关系；一对多的对应关系；多对一的对应关系。在实施时，所述Q个封禁主题可以由服务器决定，如：所述Q个封禁主题可以包括：暴力、色情、反动、虚假宣传等，具体可根据实际情况决定，本公开实施例对此不做限定。
服务器在使用第一规则对所述第一文本进行匹配时，可以检测所述第一规则包括的P个正则表达式中是否存在与所述第一文本匹配的正则表达式。
在所述P个正则表达式中存在与所述第一文本匹配的正则表达式的情况下，说明所述第一文本的被封禁概率为100％，从而服务器可以向所述客户端发送第二提示信息，以提示所述第一文本被限制访问的概率值为100％，用户需要对所述第一文本进行调整。
在所述P个正则表达式中不存在与所述第一文本匹配的正则表达式的情况下，说明所述第一文本被限制访问的概率值较小，此情况下服务器的处理方式可参见步骤S13中所述第一预估值小于第一阈值时服务器的处理方式，此处不再赘述。在此情况下，可选的，可以将所述第一预估值确定为所述第一文本的被封禁概率，但不仅限于此。
在本公开实施例中，可选的，所述将所述第一文本输入训练好的预测模型中的步骤之后，所述使用第一规则对所述第一文本进行匹配的步骤之前，所述方法还包括：
检测存储库中是否存在与所述第一文本匹配的正则表达式；
在所述存储库中不存在与所述第一文本匹配的正则表达式的情况下，生成与所述第一文本匹配的第一正则表达式；
利用所述第一正则表达式，更新所述存储库和第一规则；
所述使用第一规则对所述第一文本进行匹配的步骤，包括：
使用更新后的第一规则对所述第一文本进行匹配。
服务器的存储库中存储有K个正则表达式，所述K个正则表达式包括所述P个正则表达式，且K为大于P的整数。在本公开实施例中，若存储库中存在与某文本匹配的正则表达式，可以视该文本为登录文本；若存储库中不存在与某文本匹配的正则表达式，可以视该文本为非登录文本。可以理解的是，对于非登录文本，在利用第一规则对其进行匹配时，即使未匹配成功，也不能完全表示非登录文本的被封禁概率较低。
因此，在本可选实施方式中，服务器在使用第一规则对所述第一文本进行被封禁概率预测之前，可以先检测服务器的存储库中是否存储有与所述第一文本匹配的正则表达式，即判断所述第一文本是否为登录文本。
在所述第一文本为登录文本的情况下，可以直接使用第一规则对所述第一文本进行匹配，并基于匹配结果执行相应操作，具体可参考前述描述，此处不再赘述。
在所述第一文本为非登录文本的情况下，服务器可以生成与所述第一文本匹配的第一正则表达式，并利用所述第一正则表达式，更新所述存储库和第一规则。
具体实现时，更新后的存储库中包括所述第一正则表达式，而更新后的第一规则中是否存储有所述第一正则表达式，可基于所述第一正则表达式是否与所述Q个封禁主题匹配的匹配结果确定，具体地，若所述第一正则表达式与所述Q个封禁主题匹配，则更新后的第一规则中包括所述第一正则表达式，若所述第一正则表达式与所述Q个封禁主题不匹配，则更新后的第一规则中不包括所述第一正则表达式。
之后，服务器可以使用更新后的第一规则对所述第一文本进行匹配，进而根据该匹配结果执行相应操作，具体可参考前述描述，此处不再赘述。
这样，对于检测到的未登录文本，可以生成与该未登录文本对应的正则表达式，以更新所述存储库和第一规则，使得该未登录文本转换为登录文本，之后，再使用更新后的第一规则对所述第一文本进行匹配，从而可以进一步提高文本被封禁概率判定的准确度。
在本公开实施例中，服务器获取训练好的预测模型的方式可以是接收获取，也可以是自身训练获取，具体可根据实际情况决定，本公开实施例对此不做限定。
对于训练好的预测模型通过自身训练获取的方式，可选的，所述将所述第一文本输入训练好的预测模型中的步骤之前，所述方法还包括：
获取第一信息对，所述第一信息包括样本文本，及预先标注的第二预估值，所述第二预估值为预先标注的所述样本文本被限制访问的预估值；
将所述第一信息对输入待训练的预测模型中，以得到第三预估值，所述第三预估值为所述待训练的预测模型对所述样本文本被限制访问的预估值；
根据所述第二预估值和所述第三预估值，确定第一损失函数；
根据所述第一损失函数，调节待训练的预测模型的模型参数，得到训练好的预测模型。
具体实现时，所述第二预估值可以为由人工标注的所述样本文本的预估值，也可以由其他训练好的预测模型预测得到的所述样本文本的预估值，具体可根据实际情况决定，本公开实施例对此不做限定。
服务器在获取到所述第一信息对后，可以直接将所述第一信息对作为待训练的预测模型的输入，待训练的预测模型的输出为第三预估值，即待训练的预测模型预测得到的所述样本文本的预估值。
之后，可以根据所述第二预估值和所述第三预估值，确定第一损失函数，利用所述第一损失函数，调节待训练的预测模型的模型参数，以此类推，直至得到训练好的预测模型。
在本公开实施例中，服务器可以使用双向长短期记忆(Long short-term memory,LSTM)训练预测模型，但不仅限于此。
可选的，所述将所述第一信息输入待训练的预测模型中的步骤，包括：
获取所述样本文本对应的N个词向量，N为正整数；
生成N个第二信息对，每个第二信息对包括一个词向量和所述第二预估值，且不同第二信息对包括的词向量不同；
将所述N个第二信息对输入待训练的预测模型中。
在本可选实施方式中，服务器在获取到所述第一文本对后，可以先获取所述样本文本对应的N个词向。具体实现时，服务器可以对所述样本文本进行归一化处理，然后进行分词，每个词的词索引可以通过嵌入(embedding)转化为256维的词向量。
再获取到所述N个词向量之后，可以生成N个第二信息对，将所述成N个第二信息对作为待训练的预测模型的输入，待训练的预测模型的输出为所述第三预估值。这样，相比于直接将所述第一信息对作为待训练的预测模型的输入，可以简化预测模型的预测操作，从而可以提高预测速率。
需要说明的是，本公开实施例中介绍的多种可选的实施方式，在彼此不冲突的情况下可以相互结合实现，也可以单独实现，对此本公开实施例不作限定。
为方便理解，示例说明如下：
本发明主要由两部分组成：
一、通过预先标注、整理的分享文案文本，训练预测模型。
a、首先可以人工整理分享文案和封禁概率的对应关系。
形如二元组<S,T>，其中S代表分享文案，T代表封禁概率。封禁概率T取值范围可以为：{0,1,2,…,100}，取值越大被封禁的概率越大。0代表不会被封禁，100代表一定会被封禁。
b.使用双向LSTM训练封禁概率模型：
首先对带分享的文案文本进行归一化处理，然后进行分词。将每个词的词索引通过embedding转化为256维的词向量，再填充词向量和对应的封禁值对，使用归一化指数函数(softmax函数)交叉熵定义损失函数，采用自适应矩估计(Adam)优化器作为优化器进行训练。
二、根据每一种封禁类别编写对应类别特定封禁规则。
针对每一类封禁：如暴力、色情、反动、虚假宣传等，使用正则表达式编写封禁规则。
当输入分享文案时，采用训练模型+规则互补的方式，计算出此分享文案预估的被封禁概率。具体如下：
首先，使用上述第一部分生成的模型预测文案的被封禁预估值T，如果T≥H，则该文案被封禁的概率为T/100；如果T<H，被任务再使用第二部分的正则表达式去匹配分享文本，如果此时存在正则表达式匹配上分享文案，则该文案被封禁的概率为100％；反之，该文案被封禁的概率为T/100。
本公开实施例可以在分享前预先给出此文案被封禁的一个定量的概率大小，提供运营和产品决策。对未登录文案处理效果较好，不会出现单独规则匹配无法识别的情况。
图2是根据一示例性实施例示出的一种直播管理装置的框图。参照图2，该装置包括：
第一获取模块201，被配置为获取客户端的待分享的第一文本；
第一输入模块202，被配置为将所述第一文本输入训练好的预测模型中，以得到所述第一文本的第一预估值，所述预测模型用于预测文本被限制访问的概率值，所述第一预估值为所述训练好的预测模型对所述第一文本被限制访问的预估值；
第一发送模块203，被配置为在所述第一预估值大于或等于第一阈值的情况下，向所述客户端发送第一提示信息，所述第一提示信息包括所述第一预估值。
可选的，所述文本处理装置还包括：
匹配模块，被配置为在所述第一预估值小于所述第一阈值的情况下，使用第一规则对所述第一文本进行匹配，所述第一规则用于确定文本被限制访问的概率值；
第二发送模块，被配置为在所述第一规则中存在与所述第一文本匹配的正则表达式的情况下，向所述客户端发送第二提示信息，用于提示所述第一文本被限制访问的概率值为100％。
可选的，所述文本处理装置还包括：
检测模块，被配置为检测存储库中是否存在与所述第一文本匹配的正则表达式；
生成模块，被配置为在所述存储库中不存在与所述第一文本匹配的正则表达式的情况下，生成与所述第一文本匹配的第一正则表达式；
更新模块，被配置为利用所述第一正则表达式，更新所述存储库和第一规则；
所述匹配模块，被配置为使用更新后的第一规则对所述第一文本进行匹配。
可选的，所述文本处理装置还包括：
第二获取模块，被配置为获取第一信息对，所述第一信息包括样本文本，及预先标注的第二预估值，所述第二预估值为预先标注的所述样本文本被限制访问的预估值；
第二输入模块，被配置为将所述第一信息对输入待训练的预测模型中，以得到第三预估值；
确定模块，被配置为根据所述第二预估值和所述第三预估值，确定第一损失函数，所述第三预估值为所述待训练的预测模型对所述样本文本被限制访问的预估值；
调节模块，被配置为根据所述第一损失函数，调节待训练的预测模型的模型参数，得到训练好的预测模型。
可选的，所述第二输入模块，包括：
获取单元，被配置为获取所述样本文本对应的N个词向量，N为正整数；
生成单元，被配置为生成N个第二信息对，每个第二信息对包括一个词向量和所述第二预估值，且不同第二信息对包括的词向量不同；
输入单元，被配置为将所述N个第二信息对输入待训练的预测模型中。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图3是根据一示例性实施例示出的一种服务器的框图。如图3所示，服务器30包括：处理器31、存储器32、用户接口33、总线接口34和收发器35。
在图3中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器31代表的一个或多个处理器和存储器32代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口34提供接口。针对不同的用户设备，用户接口33还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。处理器31负责管理总线架构和通常的处理，存储器32可以存储处理器31在执行操作时所使用的数据。
处理器31，用于读取存储器32中的程序，执行下列过程：
获取客户端的待分享的第一文本；
将所述第一文本输入训练好的预测模型中，以得到所述第一文本的第一预估值，所述预测模型用于预测文本被限制访问的概率值，所述第一预估值为所述训练好的预测模型对所述第一文本被限制访问的预估值；
在所述第一预估值大于或等于第一阈值的情况下，通过收发器35向所述客户端发送第一提示信息，所述第一提示信息包括所述第一预估值。
可选的，处理器31，用于读取存储器32中的程序，执行下列过程：
在所述第一预估值小于所述第一阈值的情况下，使用第一规则对所述第一文本进行匹配，所述第一规则用于确定文本被限制访问的概率值；
在所述第一规则中存在与所述第一文本匹配的正则表达式的情况下，通过收发器35向所述客户端发送第二提示信息，用于提示所述第一文本被限制访问的概率值为100％。
可选的，处理器31，用于读取存储器32中的程序，执行下列过程：
检测存储库中是否存在与所述第一文本匹配的正则表达式；
在所述存储库中不存在与所述第一文本匹配的正则表达式的情况下，生成与所述第一文本匹配的第一正则表达式；
利用所述第一正则表达式，更新所述存储库和第一规则；
所述使用第一规则对所述第一文本进行匹配的步骤，包括：
使用更新后的第一规则对所述第一文本进行匹配。
可选的，处理器31，用于读取存储器32中的程序，执行下列过程：
获取第一信息对，所述第一信息包括样本文本，及预先标注的第二预估值，所述第二预估值为预先标注的所述样本文本被限制访问的预估值；
将所述第一信息对输入待训练的预测模型中，以得到第三预估值，所述第三预估值为所述待训练的预测模型对所述样本文本被限制访问的预估值；
根据所述第二预估值和所述第三预估值，确定第一损失函数；
根据所述第一损失函数，调节待训练的预测模型的模型参数，得到训练好的预测模型。
可选的，处理器31，用于读取存储器32中的程序，执行下列过程：
获取所述样本文本对应的N个词向量，N为正整数；
生成N个第二信息对，每个第二信息对包括一个词向量和所述第二预估值，且不同第二信息对包括的词向量不同；
将所述N个第二信息对输入待训练的预测模型中。
关于上述实施例中的服务器，其可实现上述方法中的各个步骤，此处将不做详细阐述说明。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器33，上述指令可由网络设备的处理器31执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，包括：可执行指令，当所述可执行指令在计算机上运行时，使得计算机能够执行上述方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种文本处理方法，其特征在于，所述方法包括：
获取客户端的待分享的第一文本；
将所述第一文本输入训练好的预测模型中，以得到所述第一文本的第一预估值，所述预测模型用于预测文本被限制访问的概率值，所述第一预估值为所述训练好的预测模型对所述第一文本被限制访问的预估值；
在所述第一预估值大于或等于第一阈值的情况下，向所述客户端发送第一提示信息，所述第一提示信息包括所述第一预估值；
所述将所述第一文本输入训练好的预测模型中的步骤之后，所述方法还包括：
在所述第一预估值小于所述第一阈值的情况下，使用第一规则对所述第一文本进行匹配，所述第一规则用于确定文本被限制访问的概率值，所述第一规则包括预设的Q个封禁主题对应的P个正则表达式，P和Q均为正整数；
在所述第一规则中存在与所述第一文本匹配的正则表达式的情况下，向所述客户端发送第二提示信息，用于提示所述第一文本被限制访问的概率值为100％。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一文本输入训练好的预测模型中的步骤之后，所述使用第一规则对所述第一文本进行匹配的步骤之前，所述方法还包括：
检测存储库中是否存在与所述第一文本匹配的正则表达式；
在所述存储库中不存在与所述第一文本匹配的正则表达式的情况下，生成与所述第一文本匹配的第一正则表达式；
利用所述第一正则表达式，更新所述存储库和第一规则，其中，在所述第一正则表达式与预设的封禁主题匹配的情况下，更新后的第一规则中包括所述第一正则表达式，在所述第一正则表达式与预设的封禁主题不匹配的情况下，更新后的第一规则中不包括所述第一正则表达式；
所述使用第一规则对所述第一文本进行匹配的步骤，包括：
使用更新后的第一规则对所述第一文本进行匹配。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一文本输入训练好的预测模型中的步骤之前，所述方法还包括：
获取第一信息对，所述第一信息包括样本文本，及预先标注的第二预估值，所述第二预估值为预先标注的所述样本文本被限制访问的预估值；
将所述第一信息对输入待训练的预测模型中，以得到第三预估值，所述第三预估值为所述待训练的预测模型对所述样本文本被限制访问的预估值；
根据所述第二预估值和所述第三预估值，确定第一损失函数；
根据所述第一损失函数，调节待训练的预测模型的模型参数，得到训练好的预测模型。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一信息对输入待训练的预测模型中的步骤，包括：
获取所述样本文本对应的N个词向量，N为正整数；
生成N个第二信息对，每个第二信息对包括一个词向量和所述第二预估值，且不同第二信息对包括的词向量不同；
将所述N个第二信息对输入待训练的预测模型中。
5.一种文本处理装置，其特征在于，所述文本处理装置包括：
第一获取模块，被配置为获取客户端的待分享的第一文本；
第一输入模块，被配置为将所述第一文本输入训练好的预测模型中，以得到所述第一文本的第一预估值，所述预测模型用于预测文本被限制访问的概率值，所述第一预估值为所述训练好的预测模型对所述第一文本被限制访问的预估值；
第一发送模块，被配置为在所述第一预估值大于或等于第一阈值的情况下，向所述客户端发送第一提示信息，所述第一提示信息包括所述第一预估值；
所述文本处理装置还包括：
匹配模块，被配置为在所述第一预估值小于所述第一阈值的情况下，使用第一规则对所述第一文本进行匹配，所述第一规则用于确定文本被限制访问的概率值，所述第一规则包括预设的Q个封禁主题对应的P个正则表达式，P和Q均为正整数；
第二发送模块，被配置为在所述第一规则中存在与所述第一文本匹配的正则表达式的情况下，向所述客户端发送第二提示信息，用于提示所述第一文本被限制访问的概率值为100％。
6.根据权利要求5所述的文本处理装置，其特征在于，所述文本处理装置还包括：
检测模块，被配置为检测存储库中是否存在与所述第一文本匹配的正则表达式；
生成模块，被配置为在所述存储库中不存在与所述第一文本匹配的正则表达式的情况下，生成与所述第一文本匹配的第一正则表达式；
更新模块，被配置为利用所述第一正则表达式，更新所述存储库和第一规则，其中，在所述第一正则表达式与预设的封禁主题匹配的情况下，更新后的第一规则中包括所述第一正则表达式，在所述第一正则表达式与预设的封禁主题不匹配的情况下，更新后的第一规则中不包括所述第一正则表达式；
所述匹配模块，被配置为使用更新后的第一规则对所述第一文本进行匹配。
7.根据权利要求5所述的文本处理装置，其特征在于，所述文本处理装置还包括：
第二获取模块，被配置为获取第一信息对，所述第一信息包括样本文本，及预先标注的第二预估值，所述第二预估值为预先标注的所述样本文本被限制访问的预估值；
第二输入模块，被配置为将所述第一信息对输入待训练的预测模型中，以得到第三预估值，所述第三预估值为所述待训练的预测模型对所述样本文本被限制访问的预估值；
确定模块，被配置为根据所述第二预估值和所述第三预估值，确定第一损失函数；
调节模块，被配置为根据所述第一损失函数，调节待训练的预测模型的模型参数，得到训练好的预测模型。
8.根据权利要求7所述的文本处理装置，其特征在于，所述第二输入模块，包括：
获取单元，被配置为获取所述样本文本对应的N个词向量，N为正整数；
生成单元，被配置为生成N个第二信息对，每个第二信息对包括一个词向量和所述第二预估值，且不同第二信息对包括的词向量不同；
输入单元，被配置为将所述N个第二信息对输入待训练的预测模型中。
9.一种服务器，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的文本处理方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行如权利要求1至4中任一项所述的文本处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110268419.5A CN112861507B (zh) | 2021-03-12 | 2021-03-12 | 文本处理方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110268419.5A CN112861507B (zh) | 2021-03-12 | 2021-03-12 | 文本处理方法、装置、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112861507A CN112861507A (zh) | 2021-05-28 |
| CN112861507B true CN112861507B (zh) | 2023-11-14 |
Family
ID=75994234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110268419.5A Active CN112861507B (zh) | 2021-03-12 | 2021-03-12 | 文本处理方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861507B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368542A (zh) * | 2017-06-27 | 2017-11-21 | 山东华软金盾软件股份有限公司 | 一种涉密数据的涉密等级评定方法 |
| CN109582788A (zh) * | 2018-11-09 | 2019-04-05 | 北京京东金融科技控股有限公司 | 垃圾评论训练、识别方法、装置、设备及可读存储介质 |
| CN110134961A (zh) * | 2019-05-17 | 2019-08-16 | 北京邮电大学 | 文本的处理方法、装置和存储介质 |
| CN111339768A (zh) * | 2020-02-27 | 2020-06-26 | 携程旅游网络技术（上海）有限公司 | 敏感文本检测方法、系统、电子设备及介质 |
| CN112036167A (zh) * | 2020-08-25 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、服务器及存储介质 |
| CN112380346A (zh) * | 2020-11-23 | 2021-02-19 | 宁波深擎信息科技有限公司 | 金融新闻情感分析方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11140266B2 (en) * | 2019-08-08 | 2021-10-05 | Verizon Patent And Licensing Inc. | Combining multiclass classifiers with regular expression based binary classifiers |
-
2021
- 2021-03-12 CN CN202110268419.5A patent/CN112861507B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368542A (zh) * | 2017-06-27 | 2017-11-21 | 山东华软金盾软件股份有限公司 | 一种涉密数据的涉密等级评定方法 |
| CN109582788A (zh) * | 2018-11-09 | 2019-04-05 | 北京京东金融科技控股有限公司 | 垃圾评论训练、识别方法、装置、设备及可读存储介质 |
| CN110134961A (zh) * | 2019-05-17 | 2019-08-16 | 北京邮电大学 | 文本的处理方法、装置和存储介质 |
| CN111339768A (zh) * | 2020-02-27 | 2020-06-26 | 携程旅游网络技术（上海）有限公司 | 敏感文本检测方法、系统、电子设备及介质 |
| CN112036167A (zh) * | 2020-08-25 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、服务器及存储介质 |
| CN112380346A (zh) * | 2020-11-23 | 2021-02-19 | 宁波深擎信息科技有限公司 | 金融新闻情感分析方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112861507A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190057164A1 (en) | Search method and apparatus based on artificial intelligence | |
| WO2020082572A1 (zh) | 生成式对抗网络的训练方法、相关设备及介质 | |
| CN111061874A (zh) | 敏感信息检测方法和装置 | |
| CN110659657B (zh) | 训练模型的方法和装置 | |
| CN110381101B (zh) | Api网关控制系统、控制方法、设备和介质 | |
| CN111079186B (zh) | 数据分析的方法、装置、设备和存储介质 | |
| CN107291774B (zh) | 错误样本识别方法和装置 | |
| CN108171576A (zh) | 订单处理方法、装置、电子设备及计算机可读存储介质 | |
| CN114693694A (zh) | 图像处理的方法、设备和计算机可读存储介质 | |
| CN118114771B (zh) | 可信执行环境中的函数工具调用方法及装置、介质、设备 | |
| CN110705603B (zh) | 动态判断用户请求数据相似度的方法及系统 | |
| CN114612688A (zh) | 对抗样本生成方法、模型训练方法、处理方法及电子设备 | |
| US20170302516A1 (en) | Entity embedding-based anomaly detection for heterogeneous categorical events | |
| CN114548118A (zh) | 一种服务对话检测方法及系统 | |
| CN107885872B (zh) | 用于生成信息的方法和装置 | |
| CN112861507B (zh) | 文本处理方法、装置、服务器及存储介质 | |
| CN109218024B (zh) | 用于控制权限的方法和装置 | |
| CN116431912A (zh) | 用户画像推送方法及装置 | |
| CN115620726A (zh) | 语音文本生成方法、语音文本生成模型的训练方法、装置 | |
| CN116415064A (zh) | 双目标域推荐模型的训练方法及装置 | |
| CN112148902B (zh) | 数据处理方法、装置、服务器及存储介质 | |
| CN111859917A (zh) | 主题模型构建方法、设备及计算机可读存储介质 | |
| CN111783143B (zh) | 用户数据的业务模型使用确定方法、装置及系统 | |
| CN116708023B (zh) | 流量异常检测方法、装置、电子设备和可读存储介质 | |
| CN113010784B (zh) | 用于生成预测信息的方法、装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |