CN113221550B - 文本过滤方法、装置、设备和介质 - Google Patents

Abstract

本申请实施例公开了一种文本过滤方法、装置、设备和介质，涉及数据处理技术领域，尤其涉及智能搜索技术。具体实现方案为：对目标文本进行切词，得到候选词序列；对所述候选词序列中的词语进行词性标注；根据词性标注结果，过滤所述候选词序列中的冗余词，以生成目标词序列。本申请实施例提供一种文本过滤方法、装置、设备和介质，以提高文本过滤的准确率。

Description

文本过滤方法、装置、设备和介质

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及智能搜索技术。具体地，本申请实施例提供了一种文本过滤方法、装置、设备和介质。

背景技术

一般地，在对文本进行语义分析之前，需要过滤文本中对语义分析没有贡献的词语，也即过滤文本中的冗余词。

当前，对文本进行冗余过滤的方法主要包括：将冗余词记录在词表中，匹配文本与词表中的冗余词，将匹配一致的词语，从文本中滤除，以实现对文本的冗余过滤。

然而，发明人在实现本发明的过程中发现上述方法的冗余过滤准确率并不高。

发明内容

本申请实施例提供一种文本过滤方法、装置、设备和介质，以提高文本冗余过滤的准确率。

本申请实施例提供一种文本过滤方法，该方法包括：

对目标文本进行切词，得到候选词序列；

对所述候选词序列中的词语进行词性标注；

根据词性标注结果，过滤所述候选词序列中的冗余词，以生成目标词序列。

本申请实施例通过根据目标文本中候选词序列的词性标注结果，过滤所述候选词序列中的冗余词，相比根据词表进行冗余过滤，本申请实施例可以实现对词表中未记录词语的过滤。

又因为相同词语在不同文本中的成分不同，对文本语义分析的贡献也不同，所以基于词表可能造成对非冗余词的错误过滤。而本申请实施例通过词性标注结果可以区分相同词语的不同成分，进而基于不同成分对文本语义分析的贡献，可以实现对词语的准确过滤。因此，本申请实施例可以提高对目标文本冗余过滤的准确率。

进一步地，所述根据词性标注结果，过滤所述候选词序列中的冗余词，包括：

根据词性标注结果，从所述候选词序列中确定候选冗余词；

根据已知的非冗余词，对所述候选冗余词进行过滤，以得到目标冗余词；

过滤所述候选词序列中的所述目标冗余词。

基于该技术特征，本申请实施例通过根据词性标注结果，从所述候选词序列中确定候选冗余词；然后根据已知的非冗余词，对所述候选冗余词进行过滤，以得到目标冗余词，从而实现对目标冗余词的准确确定。进而基于目标冗余词对所述候选词序列进行过滤，以进一步提高目标文本冗余过滤的准确率。

进一步地，所述根据词性标注结果，从所述候选词序列中确定候选冗余词，包括：

将所述候选词序列中，词性标注结果为连词、叹词、拟声词、介词、助词和语气词中至少一种的词语，作为候选冗余词。

基于该技术特征，本申请实施例通过将所述候选词序列中，词性标注结果为对文本语义分析无贡献的词语类型的词语，作为候选冗余词，从而实现对候选冗余词的确定。

进一步地，所述根据词性标注结果，过滤所述候选词序列中的冗余词，以生成目标词序列之后，所述方法还包括：

根据所述目标词序列，确定所述目标文本的同义文本。

基于该技术特征，本申请实施例根据经过冗余过滤的目标词序列，确定所述目标文本的同义文本，从而实现在同义文本生成场景的应用。在该应用中，因为没有目标冗余词的影响，所以本申请实施例可以确定出更多，且具有实质区别的同义文本。

进一步的，所述根据所述目标词序列，确定所述目标文本的同义文本之后，所述方法还包括：

若所述目标文本为待检索文本，则匹配待检索文本的同义文本与经过冗余过滤的关键文本；

根据匹配结果，展示关键文本关联的待投放信息。

基于该技术特征，本申请实施例通过匹配待检索文本的同义文本与经过冗余过滤的关键文本；根据匹配结果，展示关键文本关联的待投放信息，从而实现信息的准确投放。

进一步地，所述根据匹配结果，展示关键文本关联的待投放信息，包括：

计算所述待检索文本和未经冗余过滤的关键文本的相似度；

若所述待检索文本的同义文本与经过冗余过滤的关键文本匹配一致，且相似度计算结果大于设定相似度阈值，则展示关键文本关联的投放信息。

基于该技术特征，本申请实施例通过计算所述待检索文本和未经冗余过滤的关键文本的相似度；若所述待检索文本的同义文本与经过冗余过滤的关键文本匹配一致，且相似度计算结果大于设定相似度阈值，则展示关键文本关联的投放信息，从而进一步提高信息投放的准确率。

进一步地，所述计算所述待检索文本和未经冗余过滤的关键文本的相似度包括：

将所述待检索文本和未经冗余过滤的关键文本输入预先训练的相似度计算模型，输出所述待检索文本和未经冗余过滤的关键文本的相似度；

其中，所述相似度计算模型的训练包括两个阶段，第一阶段中基于第一样本数据集对初始模型进行训练；

第二阶段中基于第二样本数据集，对经过第一阶段训练的初始模型进行训练，所述第一样本数据集的样本数量大于所述第二样本数据集的样本数量，且所述第一样本数据集的准确率低于所述第二样本数据集的准确率。

基于该技术特征，本申请实施例通过利用海量低准确率的第一样本数据集对初始模型进行第一阶段的训练；基于相对较少数量的高准确率的第二样本数据集进行第二阶段的训练，从而实现对相似度计算模型的准确训练。

本申请实施例还提供了一种文本过滤装置，该装置包括：

切词模块，用于对目标文本进行切词，得到候选词序列；

词性标注模块，用于对所述候选词序列中的词语进行词性标注；

冗余过滤模块，用于根据词性标注结果，过滤所述候选词序列中的冗余词，以生成目标词序列。

进一步地，所述冗余过滤模块，包括：

候选冗余词确定单元，用于根据词性标注结果，从所述候选词序列中确定候选冗余词；

目标冗余词确定单元，用于根据已知的非冗余词，对所述候选冗余词进行过滤，以得到目标冗余词；

冗余词过滤单元，用于过滤所述候选词序列中的所述目标冗余词。

进一步地，所述候选冗余词确定单元具体用于：

将所述候选词序列中，词性标注结果为连词、叹词、拟声词、介词、助词和语气词中至少一种的词语，作为候选冗余词。

进一步地，所述装置还包括：

目标文本确定模块，用于所述根据词性标注结果，过滤所述候选词序列中的冗余词，以生成目标词序列之后，根据所述目标词序列，确定所述目标文本的同义文本。

进一步地，所述装置还包括：

文本匹配模块，用于所述根据所述目标词序列，确定所述目标文本的同义文本之后，若所述目标文本为待检索文本，则匹配待检索文本的同义文本与经过冗余过滤的关键文本；

信息展示模块，用于根据匹配结果，展示关键文本关联的待投放信息。

进一步地，所述信息展示模块，包括：

相似度计算单元，用于计算所述待检索文本和未经冗余过滤的关键文本的相似度；

信息展示单元，用于若所述待检索文本的同义文本与经过冗余过滤的关键文本匹配一致，且相似度计算结果大于设定相似度阈值，则展示关键文本关联的投放信息。

进一步地，所述相似度计算单元具体用于：

将所述待检索文本和未经冗余过滤的关键文本输入预先训练的相似度计算模型，输出所述待检索文本和未经冗余过滤的关键文本的相似度；

其中，所述相似度计算模型的训练包括两个阶段，第一阶段中基于第一样本数据集对初始模型进行训练；

第二阶段中基于第二样本数据集，对经过第一阶段训练的初始模型进行训练，所述第一样本数据集的样本数量大于所述第二样本数据集的样本数量，且所述第一样本数据集的准确率低于所述第二样本数据集的准确率。

本申请实施例还提供了一种电子设备，所述设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例中任一项所述的方法。

本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例中任一项所述的方法。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请第一实施例提供的一种文本过滤方法的流程图；

图2是本申请第二实施例提供的一种文本过滤方法的流程图；

图3是本申请第三实施例提供的一种文本过滤方法的流程图；

图4是本申请第四实施例提供的一种同义文本的生成示意图；

图5是本申请第四实施例提供的一种同义文本匹配示意图；

图6是本申请第五实施例提供的一种文本过滤装置的结构示意图；

图7是本申请实施例文本过滤方法的电子设备框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

第一实施例

图1是本申请第一实施例提供的一种文本过滤方法的流程图。本实施例可适用于对文本进行冗余过滤的情况。该方法可以由一种文本过滤装置来执行。该装置可以由软件和/或硬件的方式实现。参见图1，本申请实施例提供的文本过滤方法包括：

S110、对目标文本进行切词，得到候选词序列。

其中，目标文本是指待冗余过滤的文本。

S120、对所述候选词序列中的词语进行词性标注。

具体地，该词性标注方法可以是任意词性标注方法，本实施例对此并不进行任何限制。

S130、根据词性标注结果，过滤所述候选词序列中的冗余词，以生成目标词序列。

具体地，根据词性标注结果，过滤所述候选词序列中的冗余词，包括：

过滤所述候选词序列中词性标注结果为连词、叹词、拟声词、介词、助词和语气词中至少一种的词语。

本申请实施例通过根据目标文本中候选词序列的词性标注结果，过滤所述候选词序列中的冗余词，相比根据词表进行冗余过滤，本申请实施例可以实现对词表中未记录词语的过滤。

又因为相同词语在不同文本中的成分不同，对文本语义分析的贡献也不同，所以基于词表可能造成对非冗余词的错误过滤。而本申请实施例通过词性标注结果可以区分相同词语的不同成分，进而基于不同成分对文本语义分析的贡献，可以实现对词语的准确过滤。因此，本申请实施例可以提高对目标文本冗余过滤的准确率。

第二实施例

图2是本申请第二实施例提供的一种文本过滤方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图2，本申请第二实施例提供的文本过滤方法包括：

S210、对目标文本进行切词，得到候选词序列。

S220、对所述候选词序列中的词语进行词性标注。

S230、根据词性标注结果，从所述候选词序列中确定候选冗余词。

具体地，所述根据词性标注结果，从所述候选词序列中确定候选冗余词，包括：

将所述候选词序列中，词性标注结果为连词、叹词、拟声词、介词、助词和语气词中至少一种的词语，作为候选冗余词。

S240、根据已知的非冗余词，对所述候选冗余词进行过滤，以得到目标冗余词。

其中，非冗余词是指属于冗余词词性的，但不是冗余词的词语。

具体地，非冗余词可以从错误滤除的冗余词中确定，也可以人工设定，本实施例对此并不进行任何限制。

S250、过滤所述候选词序列中的所述目标冗余词。

本申请实施例的技术方案，通过根据词性标注结果，从所述候选词序列中确定候选冗余词；然后根据已知的非冗余词，对所述候选冗余词进行过滤，以得到目标冗余词，从而实现对目标冗余词的准确确定。进而基于目标冗余词对所述候选词序列进行过滤，以进一步提高目标文本的冗余过滤准确率。

第三实施例

图3是本申请第三实施例提供的一种文本过滤方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图3，本申请实施例提供的文本过滤方法包括：

S310、对目标文本进行切词，得到候选词序列。

S320、对所述候选词序列中的词语进行词性标注。

S330、根据词性标注结果，过滤所述候选词序列中的冗余词，以生成目标词序列。

S340、根据所述目标词序列，确定所述目标文本的同义文本。

为提高信息投放的准确率，所述根据所述目标词序列，确定所述目标文本的同义文本之后，所述方法还包括：

若所述目标文本为待检索文本，则匹配待检索文本的同义文本与经过冗余过滤的关键文本；

根据匹配结果，展示关键文本关联的待投放信息。

关键文本是索引待投放信息的文本。

具体地，关键文本可以是待投放信息中的关键词。

对关键文本的冗余过滤方法可以是上述实施例提供的冗余过滤方法。

为进一步提高信息投放的准确率，所述根据匹配结果，展示关键文本关联的待投放信息，包括：

计算所述待检索文本和未经冗余过滤的关键文本的相似度；

若所述待检索文本的同义文本与经过冗余过滤的关键文本匹配一致，且相似度计算结果大于设定相似度阈值，则展示关键文本关联的投放信息。

为实现对相似度计算模型的准确训练，所述计算所述待检索文本和未经冗余过滤的关键文本的相似度包括：

将所述待检索文本和未经冗余过滤的关键文本输入预先训练的相似度计算模型，输出所述待检索文本和未经冗余过滤的关键文本的相似度；

其中，所述相似度计算模型的训练包括两个阶段，第一阶段中基于第一样本数据集对初始模型进行训练；

第二阶段中基于第二样本数据集，对经过第一阶段训练的初始模型进行训练，所述第一样本数据集的样本数量大于所述第二样本数据集的样本数量，且所述第一样本数据集的准确率低于所述第二样本数据集的准确率。本申请实施例根据经过冗余过滤的目标词序列，确定所述目标文本的同义文本，从而实现在同义文本生成场景的应用。在该应用中，因为没有目标冗余词的影响，所以本申请实施例可以确定出更多，且具有实质区别的同义文本。

第四实施例

本实施例是在上述实施例的基础上，以应用场景为搜索触发场景为例提供的一种可选方案。可选地，本申请实施例可以应用于任何需要进行语义同义变换和语义复述的场景。具体地，本实施例提供的搜索触发方法包括：

对获取的目标检索文本进行切词，得到候选词序列；

对所述候选词序列进行词性标注；

根据词性标注结果，从所述候选词序列中确定候选冗余词；

根据已知的非冗余词，对所述候选冗余词进行过滤，以得到目标冗余词；

过滤所述候选词序列中的所述目标冗余词。

将经过过滤的目标检索文本输入预先训练的翻译模型，输出至少一个同义句；

其中，基于transformer的神经网络机器翻译模型。

匹配输出的同义句与经过过滤的关键文本；

将目标检索文本和未经过滤的关键文本输入预先训练的相似度计算模型中，输出相似度计算结果，其中打分模型的结构是bert结构，初值是google publish的模型参数，该模型的训练有两个阶段：一个是基于准确率低的海量数据进行第一阶段的训练，另外一个是基于准确率高的少量样本，对经过第一阶段训练的初始模型进行第二阶段的训练；

若输出的同义句与经过过滤的关键文本匹配一致，且相似度计算结果大于设定相似度阈值，则展示关键文本关联的投放信息。

示例性地，目标检索文本是：双眼皮手术的价格，冗余过滤之后为：双眼皮手术价格。关键文本是：重睑手术多少钱？冗余过滤之后为：重睑手术多少钱。参见图4，将冗余过滤后的目标检索文本输入预先训练的翻译模型，输出至少一个同义文本。参见图5，具体地，少一个同义文本可以是：重睑手术多少钱，重睑手术价格、重睑手术费用和割双眼皮多钱。然后，将经过冗余过滤的关键文本与上述至少一个同义文本进行匹配，若匹配一致，且未经冗余过滤的目标检索文本与未经冗余过滤的关键文本的相似度大于设定阈值，则展示关键文本关联的投放信息。

本方案的有益效果在于：使用基于非冗余文本的生成触发可以产生语义级别的同义变换，同时使用冗余过滤后的数据集进行模型训练在精简数据集的同时可以拼接到更多的同义句，这给信息投放系统召回了大量高质量的投放信息。

第五实施例

图6是本申请第五实施例提供的一种文本过滤装置的结构示意图。参见图6，本申请实施例提供的文本过滤装置600包括：切词模块601、词性标注模块602和冗余过滤模块603。

其中，切词模块601，用于对目标文本进行切词，得到候选词序列；

词性标注模块602，用于对所述候选词序列中的词语进行词性标注；

冗余过滤模块603，用于根据词性标注结果，过滤所述候选词序列中的冗余词，以生成目标词序列。

本申请实施例通过根据目标文本中候选词序列的词性标注结果，过滤所述候选词序列中的冗余词，相比根据词表进行冗余过滤，本申请实施例可以实现对词表中未记录词语的过滤。

又因为相同词语在不同文本中的成分不同，对文本语义分析的贡献也不同，所以基于词表可能造成对非冗余词的错误过滤。而本申请实施例通过词性标注结果可以区分相同词语的不同成分，进而基于不同成分对文本语义分析的贡献，可以实现对词语的准确过滤。因此，本申请实施例可以提高对目标文本冗余过滤的准确率。

进一步的，所述冗余过滤模块，包括：

候选冗余词确定单元，用于根据词性标注结果，从所述候选词序列中确定候选冗余词；

目标冗余词确定单元，用于根据已知的非冗余词，对所述候选冗余词进行过滤，以得到目标冗余词；

冗余词过滤单元，用于过滤所述候选词序列中的所述目标冗余词。

进一步地，所述候选冗余词确定单元具体用于：

将所述候选词序列中，词性标注结果为连词、叹词、拟声词、介词、助词和语气词中至少一种的词语，作为候选冗余词。

进一步地，所述装置还包括：

目标文本确定模块，用于所述根据词性标注结果，过滤所述候选词序列中的冗余词，以生成目标词序列之后，根据所述目标词序列，确定所述目标文本的同义文本。

进一步地，所述装置还包括：

文本匹配模块，用于所述根据所述目标词序列，确定所述目标文本的同义文本之后，若所述目标文本为待检索文本，则匹配待检索文本的同义文本与经过冗余过滤的关键文本；

信息展示模块，用于根据匹配结果，展示关键文本关联的待投放信息。

进一步地，所述信息展示模块，包括：

相似度计算单元，用于计算所述待检索文本和未经冗余过滤的关键文本的相似度；

信息展示单元，用于若所述待检索文本的同义文本与经过冗余过滤的关键文本匹配一致，且相似度计算结果大于设定相似度阈值，则展示关键文本关联的投放信息。

进一步地，所述相似度计算单元具体用于：

将所述待检索文本和未经冗余过滤的关键文本输入预先训练的相似度计算模型，输出所述待检索文本和未经冗余过滤的关键文本的相似度；

其中，所述相似度计算模型的训练包括两个阶段，第一阶段中基于第一样本数据集对初始模型进行训练；

第二阶段中基于第二样本数据集，对经过第一阶段训练的初始模型进行训练，所述第一样本数据集的样本数量大于所述第二样本数据集的样本数量，且所述第一样本数据集的准确率低于所述第二样本数据集的准确率。

第六实施例

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是根据本申请实施例的文本过滤方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的文本过滤方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的文本过滤方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的文本过滤方法对应的程序指令/模块(例如，附图6所示的切词模块601、词性标注模块602和冗余过滤模块)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的文本过滤方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据文本过滤电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至文本过滤电子设备。上述网络的实例包括但不限于互联网、企业内部网、区块链网络、局域网、移动通信网及其组合。

文本过滤方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与文本过滤电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (9)

1.一种文本过滤方法，其特征在于，包括：

对目标文本进行切词，得到候选词序列；

对所述候选词序列中的词语进行词性标注；

根据词性标注结果，过滤所述候选词序列中的冗余词，以生成目标词序列；

根据所述目标词序列，确定所述目标文本的同义文本；

若所述目标文本为待检索文本，则匹配待检索文本的同义文本与经过冗余过滤的关键文本；

计算所述待检索文本和未经冗余过滤的关键文本的相似度；

若所述待检索文本的同义文本与经过冗余过滤的关键文本匹配一致，且相似度计算结果大于设定相似度阈值，则展示关键文本关联的待投放信息；其中，所述关键文本是待投放信息中的关键词。

2.根据权利要求1所述的方法，其特征在于，所述根据词性标注结果，过滤所述候选词序列中的冗余词，包括：

根据词性标注结果，从所述候选词序列中确定候选冗余词；

根据已知的非冗余词，对所述候选冗余词进行过滤，以得到目标冗余词；

过滤所述候选词序列中的所述目标冗余词。

3.根据权利要求2所述的方法，其特征在于，所述根据词性标注结果，从所述候选词序列中确定候选冗余词，包括：

将所述候选词序列中，词性标注结果为连词、叹词、拟声词、介词、助词和语气词中至少一种的词语，作为候选冗余词。

4.根据权利要求1所述的方法，其特征在于，所述计算所述待检索文本和未经冗余过滤的关键文本的相似度包括：

将所述待检索文本和未经冗余过滤的关键文本输入预先训练的相似度计算模型，输出所述待检索文本和未经冗余过滤的关键文本的相似度；

其中，所述相似度计算模型的训练包括两个阶段，第一阶段中基于第一样本数据集对初始模型进行训练；

第二阶段中基于第二样本数据集，对经过第一阶段训练的初始模型进行训练，所述第一样本数据集的样本数量大于所述第二样本数据集的样本数量，且所述第一样本数据集的准确率低于所述第二样本数据集的准确率。

5.一种文本过滤装置，其特征在于，包括：

切词模块，用于对目标文本进行切词，得到候选词序列；

词性标注模块，用于对所述候选词序列中的词语进行词性标注；

冗余过滤模块，用于根据词性标注结果，过滤所述候选词序列中的冗余词，以生成目标词序列；

目标文本确定模块，用于所述根据词性标注结果，过滤所述候选词序列中的冗余词，以生成目标词序列之后，根据所述目标词序列，确定所述目标文本的同义文本；

文本匹配模块，用于所述根据所述目标词序列，确定所述目标文本的同义文本之后，若所述目标文本为待检索文本，则匹配待检索文本的同义文本与经过冗余过滤的关键文本；

信息展示模块，用于根据匹配结果，展示关键文本关联的待投放信息；其中，所述关键文本是待投放信息中的关键词；

其中，所述信息展示模块，包括：

相似度计算单元，用于计算所述待检索文本和未经冗余过滤的关键文本的相似度；

信息展示单元，用于若所述待检索文本的同义文本与经过冗余过滤的关键文本匹配一致，且相似度计算结果大于设定相似度阈值，则展示关键文本关联的待投放信息。

6.根据权利要求5所述的装置，其特征在于，所述冗余过滤模块，包括：

候选冗余词确定单元，用于根据词性标注结果，从所述候选词序列中确定候选冗余词；

目标冗余词确定单元，用于根据已知的非冗余词，对所述候选冗余词进行过滤，以得到目标冗余词；

冗余词过滤单元，用于过滤所述候选词序列中的所述目标冗余词。

7.根据权利要求6所述的装置，其特征在于，所述候选冗余词确定单元具体用于：

将所述候选词序列中，词性标注结果为连词、叹词、拟声词、介词、助词和语气词中至少一种的词语，作为候选冗余词。

8. 一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。