CN111966789A - 一种文本过滤方法、装置、设备和存储介质 - Google Patents

一种文本过滤方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111966789A
CN111966789A CN202010845647.XA CN202010845647A CN111966789A CN 111966789 A CN111966789 A CN 111966789A CN 202010845647 A CN202010845647 A CN 202010845647A CN 111966789 A CN111966789 A CN 111966789A
Authority
CN
China
Prior art keywords
vector
text
target text
phrase
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010845647.XA
Other languages
English (en)
Inventor
卓民
杨楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kaniu Technology Co ltd
Original Assignee
Shenzhen Kaniu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kaniu Technology Co ltd filed Critical Shenzhen Kaniu Technology Co ltd
Priority to CN202010845647.XA priority Critical patent/CN111966789A/zh
Publication of CN111966789A publication Critical patent/CN111966789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种文本过滤方法、装置、设备和存储介质。该方法包括：获取目标文本和所述目标文本的文本标题；从所述目标文本中提取出第一预设数量的第一关键词，并从所述文本标题中提取出第二预设数量的第二关键词；将所述第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将所述第二关键词输入至预先训练好的神经网络模型以得到第二词组向量；确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量；确定所述第一向量和第二向量的第一余弦相似度；根据所述第一余弦相似度过滤所述目标文本。本发明实施例实现了过滤主题和内容不合的文本。

Description

一种文本过滤方法、装置、设备和存储介质
技术领域
本发明实施例涉及文本技术，尤其涉及一种文本过滤方法、装置、设备和存储介质。
背景技术
在博眼球、赚点击的时代，很多文本的主题和其内容不合,或是内容彼此不协调，商家获取到了点击量，但是用户的时间却因此被浪费。
在现有的用户获取文本进行阅读的过程中，存在大量的所谓“标题党”的文本，但没有方法对这些文本进行过滤，用户需要逐条的进行筛选，无法直接找到自己想要看的文本，或者当用户需要基于某些关键词进行搜索时，只通过标题查找往往也查找不到自己想要的文本，因此对主题和其内容不合的文本进行过滤的需求越来越迫切，以提高用户的阅读和搜索体验。
发明内容
本发明实施例提供一种文本过滤方法、装置、设备和存储介质，以实现过滤主题和内容不合的文本。
为达此目的，本发明实施例提供了一种文本过滤方法，该方法包括：
获取目标文本和所述目标文本的文本标题；
从所述目标文本中提取出第一预设数量的第一关键词，并从所述文本标题中提取出第二预设数量的第二关键词；
将所述第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将所述第二关键词输入至预先训练好的神经网络模型以得到第二词组向量；
确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量；
确定所述第一向量和第二向量的第一余弦相似度；
根据所述第一余弦相似度过滤所述目标文本。
进一步的，所述根据所述第一余弦相似度过滤所述目标文本包括：
判断所述第一余弦相似度是否小于第一阈值；
若所述第一余弦相似度小于第一阈值，过滤所述目标文本。
进一步的，所述确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量之后包括：
确定所述第一向量和第二向量的平均向量为第三向量；
将所述目标文本和第三向量组合后保存至预设数据库中。
进一步的，所述将所述目标文本和第三向量组合后保存至预设数据库中之后包括：
获取所述预设数据库中对比文本的第四向量；
确定所述第三向量和第四向量的第二余弦相似度；
根据所述第二余弦相似度确定所述目标文本和对比文本的相似度。
进一步的，所述将所述目标文本和第三向量组合后保存至预设数据库中之后包括：
获取用户输入的第三预设数量的第三关键词，所述第三预设数量为所述第一预设数量和第二预设数量之和；
将所述第三关键词输入至预先训练好的神经网络模型以得到第三词组向量；
确定所述第三词组向量的平均向量为第五向量；
从所述预设数据库中确定搜索文本，所述搜索文本的第六向量与所述第五向量的第三余弦相似度大于第二阈值。
进一步的，所述第一关键词的提取采用TF-IDF技术，所述第二关键词的提取采用LSA模型或LDA模型。
进一步的，所述神经网络模型为Word2vec模型。
一方面，本发明实施例还提供了一种文本过滤装置，该装置包括：
文本获取模块，用于获取目标文本和所述目标文本的文本标题；
关键词提取模块，用于从所述目标文本中提取出第一预设数量的第一关键词，并从所述文本标题中提取出第二预设数量的第二关键词；
向量生成模块，用于将所述第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将所述第二关键词输入至预先训练好的神经网络模型以得到第二词组向量；
向量平均模块，用于确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量；
相似确定模块，用于确定所述第一向量和第二向量的第一余弦相似度；
文本过滤模块，用于根据所述第一余弦相似度过滤所述目标文本。
另一方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例提供的方法。
又一方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例提供的方法。
本发明实施例通过获取目标文本和所述目标文本的文本标题；从所述目标文本中提取出第一预设数量的第一关键词，并从所述文本标题中提取出第二预设数量的第二关键词；将所述第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将所述第二关键词输入至预先训练好的神经网络模型以得到第二词组向量；确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量；确定所述第一向量和第二向量的第一余弦相似度；根据所述第一余弦相似度过滤所述目标文本，解决了用户进行搜索或阅读时无法直接获取到自己想要的文本的问题，实现了过滤主题和内容不合的文本的效果。
附图说明
图1是本发明实施例一提供的一种文本过滤方法的流程示意图；
图2是本发明实施例二提供的一种文本过滤方法的流程示意图；
图3是本发明实施例二提供的一种相似文本搜索方法的流程示意图；
图4是本发明实施例二提供的一种关键字文本搜索方法的流程示意图；
图5是本发明实施例三提供的一种文本过滤装置的结构示意图；
图6为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一模块称为第二模块，且类似地，可将第二模块称为第一模块。第一模块和第二模块两者都是模块，但其不是同一模块。术语“第一”、“第二”等不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明实施例的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
如图1所示，本发明实施例一提供了一种文本过滤方法，该方法包括：
S110、获取目标文本和所述目标文本的文本标题。
S120、从所述目标文本中提取出第一预设数量的第一关键词，并从所述文本标题中提取出第二预设数量的第二关键词。
本实施例中，在进行文本过滤时，首先需要获取到目标文本和目标文本的文本标题，其中，目标文本即该目标文本的文本正文，然后从目标文本中提取出第一预设数量的第一关键词，并从文本标题中提取出第二预设数量的第二关键词，第一关键词代表了目标文本的关键内容，第二关键词也代表了目标文本的文本标题的关键内容，而第一预设数量和第二预设数量可以为用户定义的，若用户的精度需求较高，则可以设置第一预设数量和第二预设数量较大，若用户的处理速度需求较高，则可以设置第一预设数量和第二预设数量较小。
S130、将所述第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将所述第二关键词输入至预先训练好的神经网络模型以得到第二词组向量。
S140、确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量。
本实施例中，得到第一预设数量的第一关键词和第二预设数量的第二关键词后，就可以将第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将第二关键词输入至预先训练好的神经网络模型以得到第二词组向量，其中神经网络模型是预先训练好的，即将关键词输入该神经网络模型，就可以得到与该关键词对应的词组向量，因第一关键词为第一预设数量，第二关键词为第二预设数量，因此第一词组向量也为第一预设数量，第二词组向量也为第二预设数量。然后确定第一词组向量的平均向量为第一向量，并确定第二词组向量的平均向量为第二向量，即分别计算第一预设数量的第一词组向量的平均值作为第一向量，用来表示目标文本，并计算第二预设数量的第二词组向量的平均值作为第二向量，用来表示目标文本的文本标题。
S150、确定所述第一向量和第二向量的第一余弦相似度。
S160、根据所述第一余弦相似度过滤所述目标文本。
本实施例中，得到第一向量和第二向量后，就可以计算第一向量和第二向量的第一余弦相似度，第一余弦相似度用来表示目标文本和目标文本的文本标题的相似度，因此可以根据第一余弦相似度来判断是否需要过滤掉该目标文本，由此无需用户自行判断，直接过滤掉主题和内容不合的文本。
进一步的，目标文本还可以为该目标文本的文本正文中的一个段落，从该段落中提取出第一预设数量的第一关键词，生成第一向量和文本标题的第二向量计算第一余弦相似度，若根据第一余弦相似度判断出该段落和文本标题相似度较低，就可以过滤剔除掉该段落，并继续采用上述方法计算目标文本中每个段落的第一余弦相似度，由此可以过滤掉目标文本中和文本标题不相关的段落。
本发明实施例通过获取目标文本和所述目标文本的文本标题；从所述目标文本中提取出第一预设数量的第一关键词，并从所述文本标题中提取出第二预设数量的第二关键词；将所述第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将所述第二关键词输入至预先训练好的神经网络模型以得到第二词组向量；确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量；确定所述第一向量和第二向量的第一余弦相似度；根据所述第一余弦相似度过滤所述目标文本，解决了用户进行搜索或阅读时无法直接获取到自己想要的文本的问题，实现了过滤主题和内容不合的文本的效果。
实施例二
如图2所示，本发明实施例二提供了一种文本过滤方法，本发明实施例二是在本发明实施例一的基础上进一步的说明解释，该方法包括：
S210、获取目标文本和所述目标文本的文本标题。
本实施例中，目标文本可以为多个，示例性的，获取到两个目标文本，具体的，文本A为“新楼盘盛大开幕，机不可失，时不再来…”，文本A的文本标题A为“新股神诞生！目前已盈利10倍”，文本B为“股市成交量已恢复，继券商板块快速拉升后，医药和芯片板块继续上涨，创业板指创4年来新高…”，文本B的文本标题B为“全面引爆上涨，股市机会来临”。
S220、从所述目标文本中提取出第一预设数量的第一关键词，并从所述文本标题中提取出第二预设数量的第二关键词。
本实施例中，第一关键词的提取采用TF-IDF(Term Frequency–Inverse DocumentFrequency)技术，第二关键词的提取采用LSA(Latent semantic analysis)模型或LDA(Latent Dirichlet Allocation)模型。示例性的，设定第一预设数量和第二预设数量都为3，使用TF-IDF技术提取出文本A的第一关键词为“楼盘、开幕、机不可失”，提取出文本B的第一关键词为“股市、板块、上涨”，然后使用LDA模型提取出文本A的第二关键词为“股神、诞生、盈利”，提取出文本B的第二关键词为“引爆、上涨、股市”。
S230、将所述第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将所述第二关键词输入至预先训练好的神经网络模型以得到第二词组向量。
S240、确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量。
本实施例中，神经网络模型为Word2vec(word to vector)模型。示例性的，将文本A的第一关键词为“楼盘、开幕、机不可失”输入至预先训练好的Word2vec模型得到第一词组向量，即【11,2.6，…23,13】、【7,47，…31,4.22】、【12,3.1，…45,62】，并将文本A的第二关键词“股神、诞生、盈利”输入至该Word2vec模型得到第二词组向量，即【0...2,2.1，…14，33】、【3.2,22，…20,11】、【6.6,11，…1.2,33】，其中每个词组向量都为一个300维的向量，同理处理文本B也可以得到3个第一词组向量和3个第二词组向量。进一步的，分别计算3个第一词组向量的平均值作为第一向量，即【10,17.57，…33,26.4】，并计算第二预设数量的第二词组向量的平均值作为第二向量，即【3.34,11.7，…11.73,25.67】。
S250、确定所述第一向量和第二向量的平均向量为第三向量。
S260、将所述目标文本和第三向量组合后保存至预设数据库中。
本实施例中，还可以计算第一向量和第二向量的平均值作为第三向量，即【6.67,14.64，…22.37,26.04】，第三向量用来表示整个目标文本，并将目标文本和第三向量组合后保存至预设数据库中，预设数据库中的文本都包括第三向量，因此可以在该预设数据库中进行用于相似文本的搜索和通过关键词进行搜索。
S270、确定所述第一向量和第二向量的第一余弦相似度。
S280、判断所述第一余弦相似度是否小于第一阈值。
S290、若所述第一余弦相似度小于第一阈值，过滤所述目标文本。
本实施例中，需要计算第一向量【10,17.57，…33,26.4】和第二向量【3.34,11.7，…11.73,25.67】的余弦相似度，即第一余弦相似度，然后判断第一余弦相似度是否小于第一阈值，可以得到文本A的第一余弦相似度小于第一阈值，则过滤文本A，得到文本B的第一余弦相似度大于或等于第一阈值，则保留文本B。
作为优选的，对于未被过滤掉的目标文本，就可以展示给用户。在未被过滤掉的目标文本展示给用户之前，还可以过滤掉这些目标文本中同一段落内句子间的相似度低的句子。具体的，将目标文本以段落进行划分，每个段落以句子进行划分，将目标文本中同一段落内的句子依次两两输入至预先训练好的孪生神经网络(Siamese Network)模型以得到同一段落内句子间的相似度，并根据同一段落内句子间的相似度获取同一段落内每个句子的相似度，最后根据所述相似度过滤句子并展示目标文本。示例性的，目标文本包括段落一，段落一中包括句子A、句子B和句子C，然后将句子A和句子B作为一组，句子A和句子C作为一组，句子B和句子C作为一组，一次输入至预先训练好的神经网络模型，其中神经网络模型已经过预先训练，输入两个句子后就可以得到这两个句子的相似度，由此可以得到句子A和句子B的相似度，句子A和句子C的相似度，句子B和句子C的相似度。然后按同样的方法处理段落二、段落三等，直至将整个目标文本处理完毕。其中，句子A和句子B的相似度高，句子A和句子C的相似度低，且句子B和句子C的相似度低，那么可以说明句子C是该段落中无效的信息，因此将句子C过滤掉后展示目标文本。
作为优选的，过滤掉同一段落内句子间的相似度低的句子后，还可以过滤未被过滤掉的目标文本中无关的词语。具体的，采用命名实体识别技术(NER，Named EntityRecognition)提取出所述目标文本中的第一实体词语，并将第一实体词语输入至预先训练好的Word2vec神经网络模型以得到每个第一实体词语的第一词向量，确定第一词向量的中心点，最后获取与第二词向量对应的第一实体词语作为所述目标文本的过滤词，其中第二词向量为与中心点的距离最远的前第一预设数量的第一词向量。其中第一预设数量为用户设置的，用户根据过滤需求设定第一预设数量，然后获取到与第二词向量对应的第一实体词语，因第二词向量距离中心点远，则说明第二词向量对应的第一实体词语与目标文本的主要含义相关性较低，因此将其作为目标文本的过滤词。由此将相似度低的句子和过滤词过滤掉后展示目标文本，用户可以快速的获取到自己需要的信息。
一实施例中，如图3所示，在步骤S260之后还可以执行下述相似文本搜索方法：
S310、获取所述预设数据库中对比文本的第四向量。
S320、确定所述第三向量和第四向量的第二余弦相似度。
S330、根据所述第二余弦相似度确定所述目标文本和对比文本的相似度。
本实施例中，在获取到目标文本和目标文本的第三向量后，可以根据第三向量从预设数据库中获取到与目标文本相似的文本，具体的，从预设数据库中获取对比文本的第四向量，其中对比文本的第四向量的生成方法和目标文本的第三向量的生成方法相同，对比文本为预设数据库中已保存的全部文本，逐个计算第四向量和第三向量的第二余弦相似度，然后根据第二余弦相似度确定目标文本和对比文本的相似度，找出第二余弦相似度大于预设值或第二余弦相似度从大到小排名为前预设数量的第四向量，即相似度高的第四向量，然后获得第四向量对应的对比文本，作为目标文本相似搜索的结果。而目标文本和目标文本的第三向量组合后保存至预设数据库中后，将作为后续被搜索的对比文本和对比文本的第四向量。
示例性的，一个对比文本的第四向量为【13,43.51，…12,9.22】，然后计算第三向量【6.67,14.64，…22.37,26.04】和第四向量为【13,43.51，…12,9.22】的第二余弦相似度，若该第二余弦相似度大于预设值，则将该对比文本作为目标文本相似搜索的结果。
一实施例中，如图4所示，在步骤S260之后还可以执行下述关键词文本搜索方法：
S410、获取用户输入的第三预设数量的第三关键词，所述第三预设数量为所述第一预设数量和第二预设数量之和。
S420、将所述第三关键词输入至预先训练好的神经网络模型以得到第三词组向量。
S430、确定所述第三词组向量的平均向量为第五向量。
S440、从所述预设数据库中确定搜索文本，所述搜索文本的第六向量与所述第五向量的第三余弦相似度大于第二阈值。
本实施例中，预设数据库中的文本都包括第三向量，因此用户可以通过输入关键词来进行文本搜索。具体的，首先获取用户输入的第三预设数量的第三关键词，作为优选的，第三预设数量为第一预设数量和第二预设数量之和，需要说明的是，在生成第三向量的过程中，提取了第三预设数量的关键词，因此用户输入的关键词数量也需要为第三预设数量才能提高准确性，而用户输入的第三关键词不足第三预设数量时，也可以复制其中的某个第三关键词，使其达到第三预设数量。然后将第三关键词输入至预先训练好的神经网络模型以得到第三词组向量，并确定第三词组向量的平均向量为第五向量，然后计算第五向量与预设数据库中每个第三向量的第三余弦相似度，找到第三余弦相似度大于第二阈值的第六向量，或第三余弦相似度从大到小排名为前预设数量的第六向量，将与第六向量对应的文本，即搜索文本作为结果输出。
示例性的，用户输入的第三关键词为“股市、板块、上涨、引爆”，因其不足第三预设数量，将自动补充为“股市、板块、上涨、引爆、上涨、股市”，获得其对应的第五向量为【6.67,14.64，…22.37,26.04】，然后计算第五向量与预设数据库中每个第三向量的第三余弦相似度，最终搜索到第三余弦相似度大于第二阈值的第六向量也为【6.67,14.64，…22.37,26.04】，即搜索文本为文本B。
实施例三
如图5所示，本发明实施例三提供了一种文本过滤装置100，本发明实施例三所提供的文本过滤装置100可执行本发明任意实施例所提供的文本过滤方法，具备执行方法相应的功能模块和有益效果。该文本过滤装置100包括文本获取模块200、关键词提取模块300、向量生成模块400、向量平均模块500、相似确定模块600和文本过滤模块700。
具体的，文本获取模块200用于获取目标文本和所述目标文本的文本标题；关键词提取模块300用于从所述目标文本中提取出第一预设数量的第一关键词，并从所述文本标题中提取出第二预设数量的第二关键词；向量生成模块400用于将所述第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将所述第二关键词输入至预先训练好的神经网络模型以得到第二词组向量；向量平均模块500用于确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量；相似确定模块600用于确定所述第一向量和第二向量的第一余弦相似度；文本过滤模块700用于根据所述第一余弦相似度过滤所述目标文本。
本实施例中，文本过滤模块700具体用于判断所述第一余弦相似度是否小于第一阈值；若所述第一余弦相似度小于第一阈值，过滤所述目标文本。作为优选的，第一关键词的提取采用TF-IDF技术，所述第二关键词的提取采用LSA模型或LDA模型，神经网络模型为Word2vec模型。
进一步的，该文本过滤装置100还包括数据库建立模块800、相似搜索模块900和关键字搜索模块1000。
具体的，数据库建立模块800用于确定所述第一向量和第二向量的平均向量为第三向量；将所述目标文本和第三向量组合后保存至预设数据库中。相似搜索模块900用于获取所述预设数据库中对比文本的第四向量；确定所述第三向量和第四向量的第二余弦相似度；根据所述第二余弦相似度确定所述目标文本和对比文本的相似度。关键字搜索模块1000用于获取用户输入的第三预设数量的第三关键词，所述第三预设数量为所述第一预设数量和第二预设数量之和；将所述第三关键词输入至预先训练好的神经网络模型以得到第三词组向量；确定所述第三词组向量的平均向量为第五向量；从所述预设数据库中确定搜索文本，所述搜索文本的第六向量与所述第五向量的第三余弦相似度大于第二阈值。
实施例四
图6为本发明实施例四提供的一种计算机设备12的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的方法：
获取目标文本和所述目标文本的文本标题；
从所述目标文本中提取出第一预设数量的第一关键词，并从所述文本标题中提取出第二预设数量的第二关键词；
将所述第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将所述第二关键词输入至预先训练好的神经网络模型以得到第二词组向量；
确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量；
确定所述第一向量和第二向量的第一余弦相似度；
根据所述第一余弦相似度过滤所述目标文本。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的方法：
获取目标文本和所述目标文本的文本标题；
从所述目标文本中提取出第一预设数量的第一关键词，并从所述文本标题中提取出第二预设数量的第二关键词；
将所述第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将所述第二关键词输入至预先训练好的神经网络模型以得到第二词组向量；
确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量；
确定所述第一向量和第二向量的第一余弦相似度；
根据所述第一余弦相似度过滤所述目标文本。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种文本过滤方法，其特征在于，包括：
获取目标文本和所述目标文本的文本标题；
从所述目标文本中提取出第一预设数量的第一关键词，并从所述文本标题中提取出第二预设数量的第二关键词；
将所述第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将所述第二关键词输入至预先训练好的神经网络模型以得到第二词组向量；
确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量；
确定所述第一向量和第二向量的第一余弦相似度；
根据所述第一余弦相似度过滤所述目标文本。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一余弦相似度过滤所述目标文本包括：
判断所述第一余弦相似度是否小于第一阈值；
若所述第一余弦相似度小于第一阈值，过滤所述目标文本。
3.根据权利要求1所述的方法，其特征在于，所述确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量之后包括：
确定所述第一向量和第二向量的平均向量为第三向量；
将所述目标文本和第三向量组合后保存至预设数据库中。
4.根据权利要求3所述的方法，其特征在于，所述将所述目标文本和第三向量组合后保存至预设数据库中之后包括：
获取所述预设数据库中对比文本的第四向量；
确定所述第三向量和第四向量的第二余弦相似度；
根据所述第二余弦相似度确定所述目标文本和对比文本的相似度。
5.根据权利要求3所述的方法，其特征在于，所述将所述目标文本和第三向量组合后保存至预设数据库中之后包括：
获取用户输入的第三预设数量的第三关键词，所述第三预设数量为所述第一预设数量和第二预设数量之和；
将所述第三关键词输入至预先训练好的神经网络模型以得到第三词组向量；
确定所述第三词组向量的平均向量为第五向量；
从所述预设数据库中确定搜索文本，所述搜索文本的第六向量与所述第五向量的第三余弦相似度大于第二阈值。
6.根据权利要求1所述的方法，其特征在于，所述第一关键词的提取采用TF-IDF技术，所述第二关键词的提取采用LSA模型或LDA模型。
7.根据权利要求1所述的方法，其特征在于，所述神经网络模型为Word2vec模型。
8.一种文本过滤装置，其特征在于，包括：
文本获取模块，用于获取目标文本和所述目标文本的文本标题；
关键词提取模块，用于从所述目标文本中提取出第一预设数量的第一关键词，并从所述文本标题中提取出第二预设数量的第二关键词；
向量生成模块，用于将所述第一关键词输入至预先训练好的神经网络模型以得到第一词组向量，并将所述第二关键词输入至预先训练好的神经网络模型以得到第二词组向量；
向量平均模块，用于确定所述第一词组向量的平均向量为第一向量，并确定所述第二词组向量的平均向量为第二向量；
相似确定模块，用于确定所述第一向量和第二向量的第一余弦相似度；
文本过滤模块，用于根据所述第一余弦相似度过滤所述目标文本。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202010845647.XA 2020-08-20 2020-08-20 一种文本过滤方法、装置、设备和存储介质 Pending CN111966789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010845647.XA CN111966789A (zh) 2020-08-20 2020-08-20 一种文本过滤方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010845647.XA CN111966789A (zh) 2020-08-20 2020-08-20 一种文本过滤方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN111966789A true CN111966789A (zh) 2020-11-20

Family

ID=73389649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010845647.XA Pending CN111966789A (zh) 2020-08-20 2020-08-20 一种文本过滤方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111966789A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070129935A1 (en) * 2004-01-30 2007-06-07 National Institute Of Information And Communicatio Method for generating a text sentence in a target language and text sentence generating apparatus
CN107577763A (zh) * 2017-09-04 2018-01-12 北京京东尚科信息技术有限公司 检索方法和装置
CN108304379A (zh) * 2018-01-15 2018-07-20 腾讯科技（深圳）有限公司 一种文章识别方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070129935A1 (en) * 2004-01-30 2007-06-07 National Institute Of Information And Communicatio Method for generating a text sentence in a target language and text sentence generating apparatus
CN107577763A (zh) * 2017-09-04 2018-01-12 北京京东尚科信息技术有限公司 检索方法和装置
CN108304379A (zh) * 2018-01-15 2018-07-20 腾讯科技（深圳）有限公司 一种文章识别方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN108334490B (zh) 关键词提取方法以及关键词提取装置
CN107220232B (zh) 基于人工智能的关键词提取方法及装置、设备与可读介质
US11216504B2 (en) Document recommendation method and device based on semantic tag
CN107992596B (zh) 一种文本聚类方法、装置、服务器和存储介质
CN109840321B (zh) 文本推荐方法、装置及电子设备
CN108170749B (zh) 基于人工智能的对话方法、装置及计算机可读介质
CN110069608B (zh) 一种语音交互的方法、装置、设备和计算机存储介质
US8161063B2 (en) Multimedia object retrieval from natural language queries
JP6361351B2 (ja) 発話ワードをランク付けする方法、プログラム及び計算処理システム
EP3314461A1 (en) Learning entity and word embeddings for entity disambiguation
US11436282B2 (en) Methods, devices and media for providing search suggestions
CN109325108B (zh) 查询处理方法、装置、服务器及存储介质
CN109858045B (zh) 机器翻译方法和装置
CN107608618B (zh) 一种用于可穿戴设备的交互方法、装置和可穿戴设备
CN110377750B (zh) 评论生成及评论生成模型训练方法、装置及存储介质
CN110750627A (zh) 一种素材的检索方法、装置、电子设备及存储介质
CN114880447A (zh) 信息检索方法、装置、设备及存储介质
WO2019173085A1 (en) Intelligent knowledge-learning and question-answering
RU2654789C2 (ru) Способ (варианты) и электронное устройство (варианты) обработки речевого запроса пользователя
WO2020052060A1 (zh) 用于生成修正语句的方法和装置
CN112182255A (zh) 用于存储媒体文件和用于检索媒体文件的方法和装置
WO2016210203A1 (en) Learning entity and word embeddings for entity disambiguation
CN109670080A (zh) 一种影视标签的确定方法、装置、设备及存储介质
CN112231444A (zh) 结合rpa和ai的语料数据的处理方法、装置和电子设备
WO2019231635A1 (en) Method and apparatus for generating digest for broadcasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination