CN104866547B - 一种针对组合字类关键词的过滤方法 - Google Patents

一种针对组合字类关键词的过滤方法 Download PDF

Info

Publication number
CN104866547B
CN104866547B CN201510231538.8A CN201510231538A CN104866547B CN 104866547 B CN104866547 B CN 104866547B CN 201510231538 A CN201510231538 A CN 201510231538A CN 104866547 B CN104866547 B CN 104866547B
Authority
CN
China
Prior art keywords
matching field
lexical item
document
word
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510231538.8A
Other languages
English (en)
Other versions
CN104866547A (zh
Inventor
蒋大可
何俊
莫燕峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUBEI JINCHU NETWORK TECHNOLOGY CO., LTD.
Original Assignee
HUBEI JINCHU NETWORK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUBEI JINCHU NETWORK TECHNOLOGY Co Ltd filed Critical HUBEI JINCHU NETWORK TECHNOLOGY Co Ltd
Priority to CN201510231538.8A priority Critical patent/CN104866547B/zh
Publication of CN104866547A publication Critical patent/CN104866547A/zh
Application granted granted Critical
Publication of CN104866547B publication Critical patent/CN104866547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/289—Object oriented databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种文字处理方法，特别是一种针对组合字类关键词的过滤方法，采用本方法对信息进行检测可以识别组合字类关键词，并将敏感、违规的词项存储下来供用户选择不同的方式将其处理。

Description

一种针对组合字类关键词的过滤方法
技术领域
本发明涉及一种文字处理方法，特别是一种针对组合字类关键词的过滤方法。
背景技术
目前网络作为传播信息的主要工具，不仅提供了人们所需要的资源，还充斥着大量的垃圾信息，特别是一些论坛上，充斥着大量的垃圾信息，为了防止这些垃圾信息通过用户发帖的方式进行传播，实现网络信息安全，最有效的解决方法就是对这些内容信息进行关键词过滤，但用户如果在写关键词的时候中间穿插一些别的词汇而达到规避过滤的目的，现有技术就很难将其识别。
发明目的
本发明的目的在于提供一种针对组合字类关键词的过滤方法，采用本方法对信息进行检测可以识别组合字类关键词，并将敏感、违规的词项存储下来供用户选择不同的方式将其处理。
实现本发明目的的技术方案是:一种针对组合字类关键词的过滤方法，其特征在于:包括以下步骤:
1.1.对文本进行预处理，去除ＨＴＭＬ标签、换行符、表情标签，得到预处理文本；
1.2.从预处理文本中的起点取出不超过词典最大长度的汉字串作为匹配字段；
1.3.在词典中查找该匹配字段，如果找到该匹配字段，则切分出一条词，设长度为ｎ，并后移ｎ个字作为下一次分词的起点；
1.4.返回步骤1.2;
1.5.若未找到该匹配字段，则去除匹配字段的最后一个字，作为新的匹配字段，并转到步骤1.3；
1.6.当预处理文本中所有汉字串被处理完毕则得出第一匹配结果；
1.7.将预处理文本从其尾部取出不超过词典最大长度的汉字串作为匹配字段；
1.8.在词典中查找该匹配字段，如果找到该匹配字段，则切分出一条词，设长度为ｎ，并前移ｎ个字作为下一次分词的起点；
1.9.返回步骤1.7；
1.10.若未找到该匹配字段，则去除匹配字段的第一个字，作为新的匹配字段，并转到步骤1.8；
1.11.预处理文本中的汉字串被再次处理完毕，则得出第二匹配结果，取第一匹配结果与第二匹配结果的并集；
1.12.计算并集中各个词项 t的权重值，公式如下:
其中，词频TF是指词项在一篇文档中出现的次数，定义为，表示词项t在文 档d中出现的次数；逆文档率IDF是指词项出现在所有文档中的次数的倒数，定义为，其中D表示文档集合的大小，DF(t)表示文档集合中包含词项t的文档 的数目；
1.13.所有词项的权重计算出来之后按照权重从小到大依次排列，选出50～100个高频词项用来表示文档；
1.14.从以往处理过的文本中提取组合字类型的关键词，形成特征词典；
1.15.将特征词典中的组合类型的关键词在中文分词表中进行匹配，将匹配到的词项拆分并通过正则表达式表达；
1.16.用正则表达式与步骤1.13选出的50～100个高频词项进行匹配；
1.17.若匹配成功则将其存储；
1.18.对存储词项选择相应的处理方式，如提示、删除或锁定。
而且步骤1.15中所述的正则表达式如下：
例如“招聘兼职”在中文分词表中对应的拆分方式是:(招|扌召)（聘|耳甹）兼（耳|只）,则其对应的正则表达式即为:{(招|扌召)（聘|耳甹）|兼（职|耳只） }。
本发明的优点在于: 采用本方法对信息进行检测可以识别组合字类关键词，并将敏感、违规的词项存储下来供用户选择不同的方式将其处理。
附图说明
图1是本方法的逻辑步骤图。
具体实施方式
参见图1，以下将结合实施例对本发明做进一步说明。
一种文字处理方法，特别是一种针对组合字类关键词的过滤方法，其特征在于:包括以下步骤:
1.1.对文本进行预处理，去除ＨＴＭＬ标签、换行符、表情标签，得到预处理文本；
1.2.从预处理文本中的起点取出不超过词典最大长度的汉字串作为匹配字段；
1.3.在词典中查找该匹配字段，如果找到该匹配字段，则切分出一条词，设长度为ｎ，并后移ｎ个字作为下一次分词的起点；
1.4.返回步骤1.2;
1.5.若未找到该匹配字段，则去除匹配字段的最后一个字，作为新的匹配字段，并转到步骤1.3；
1.6.当预处理文本中所有汉字串被处理完毕则得出第一匹配结果；
1.7.将预处理文本从其尾部取出不超过词典最大长度的汉字串作为匹配字段；
1.8.在词典中查找该匹配字段，如果找到该匹配字段，则切分出一条词，设长度为ｎ，并前移ｎ个字作为下一次分词的起点；
1.9.返回步骤1.7；
1.10.若未找到该匹配字段，则去除匹配字段的第一个字，作为新的匹配字段，并转到步骤1.8；
1.11.预处理文本中的汉字串被再次处理完毕，则得出第二匹配结果，取第一匹配结果与第二匹配结果的并集；
1.12.计算并集中各个词项 t的权重值，公式如下:
其中，词频TF是指词项在一篇文档中出现的次数，定义为，表示词项t在文 档d中出现的次数；逆文档率IDF是指词项出现在所有文档中的次数的倒数，定义为，其中D表示文档集合的大小，DF(t)表示文档集合中包含词项t的文档 的数目；
1.13.所有词项的权重计算出来之后按照权重从小到大依次排列，选出50～100个高频词项用来表示文档；
1.14.从以往处理过的文本中提取组合字类型的关键词，形成特征词典；
1.15.将特征词典中的组合类型的关键词在中文分词表中进行匹配，将匹配到的词项拆分并通过正则表达式表达；
1.16.用正则表达式与步骤1.13选出的50～100个高频词项进行匹配；
1.17.若匹配成功则将其存储；
1.18.对存储词项选择相应的处理方式，如提示、删除或锁定。
而且步骤1.15中所述的正则表达式如下：
例如“招聘兼职”在中文分词表中对应的拆分方式是:(招|扌召)（聘|耳甹）兼（耳|只）,则其对应的正则表达式即为:{(招|扌召)（聘|耳甹）|兼（职|耳只） }。
特征词典中的特征词是根据需要，从经过处理的文本中按不同需求提取的，比如哪些词通常容易以哪种方式出现，是不是组合字等。用户也可自定义设置关键字对信息进行检索，设置某个关键词的时候要同时设置关键词要按照哪些规则进行检索，组合字规则的关键词在表示的时候就要用一定的符号表示。

Claims (2)

1.一种针对组合字类关键词的过滤方法，其特征在于:包括以下步骤:
1.1.对文本进行预处理，去除ＨＴＭＬ标签、换行符、表情标签，得到预处理文本；
1.2.从预处理文本中的起点取出不超过词典最大长度的汉字串作为匹配字段；
1.3.在词典中查找该匹配字段，如果找到该匹配字段，则切分出一条词，设长度为ｎ，并后移ｎ个字作为下一次分词的起点；
1.4.返回步骤1.2;
1.5.若未找到该匹配字段，则去除匹配字段的最后一个字，作为新的匹配字段，并转到步骤1.3；
1.6.当预处理文本中所有汉字串被处理完毕则得出第一匹配结果；
1.7.将预处理文本从其尾部取出不超过词典最大长度的汉字串作为匹配字段；
1.8.在词典中查找该匹配字段，如果找到该匹配字段，则切分出一条词，设长度为ｎ，并前移ｎ个字作为下一次分词的起点；
1.9.返回步骤1.7；
1.10.若未找到该匹配字段，则去除匹配字段的第一个字，作为新的匹配字段，并转到步骤1.8；
1.11.预处理文本中的汉字串被再次处理完毕，则得出第二匹配结果，取第一匹配结果与第二匹配结果的并集；
1.12.计算并集中各个词项 t的权重值，公式如下:
其中，词频TF是指词项在一篇文档中出现的次数，定义为，表示词项t在文档d中出现的次数；逆文档率IDF是指词项出现在所有文档中的次数的倒数，定义为，其中D表示文档集合的大小，DF(t)表示文档集合中包含词项t的文档的数目；
1.13.所有词项的权重计算出来之后按照权重从小到大依次排列，选出50～100个高频词项用来表示文档；
1.14.从以往处理过的文本中提取组合字类型的关键词，形成特征词典；
1.15.将特征词典中的组合类型的关键词在中文分词表中进行匹配，将匹配到的词项拆分并通过正则表达式表达；
1.16.用正则表达式与步骤1.13选出的50～100个高频词项进行匹配；
1.17.若匹配成功则将其存储；
1.18.对存储词项选择相应的处理方式，如提示、删除或锁定。
2.根据权利要求1所述的一种针对组合字类关键词的过滤方法，其特征在于:步骤1.15中所述的正则表达式如下：
例如“招聘兼职”在中文分词表中对应的拆分方式是:(招|扌召)（聘|耳甹）兼（耳 |只）,则其对应的正则表达式即为:{(招|扌召)（聘|耳甹）|兼（职|耳只） }。
CN201510231538.8A 2015-05-08 2015-05-08 一种针对组合字类关键词的过滤方法 Active CN104866547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510231538.8A CN104866547B (zh) 2015-05-08 2015-05-08 一种针对组合字类关键词的过滤方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510231538.8A CN104866547B (zh) 2015-05-08 2015-05-08 一种针对组合字类关键词的过滤方法

Publications (2)

Publication Number Publication Date
CN104866547A CN104866547A (zh) 2015-08-26
CN104866547B true CN104866547B (zh) 2019-04-23

Family

ID=53912374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510231538.8A Active CN104866547B (zh) 2015-05-08 2015-05-08 一种针对组合字类关键词的过滤方法

Country Status (1)

Country Link
CN (1) CN104866547B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426360B (zh) * 2015-11-12 2018-08-07 中国建设银行股份有限公司 一种关键词抽取方法及装置
CN108140194B (zh) * 2016-06-01 2022-07-29 谷歌有限责任公司 基于在线聊天的通信基础设施中的转换时延减少
CN109284441B (zh) * 2018-09-18 2020-12-04 中国人民解放军战略支援部队信息工程大学 动态自适应网络敏感信息检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334773A (zh) * 2007-06-28 2008-12-31 联想(北京)有限公司 一种过滤搜索引擎查询结果的方法
CN101950302A (zh) * 2010-09-29 2011-01-19 李晓耕 基于移动设备的海量音乐库管理方法
CN104572977A (zh) * 2014-12-31 2015-04-29 北京农业信息技术研究中心 一种农产品质量安全事件在线检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7353165B2 (en) * 2002-06-28 2008-04-01 Microsoft Corporation Example based machine translation system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334773A (zh) * 2007-06-28 2008-12-31 联想(北京)有限公司 一种过滤搜索引擎查询结果的方法
CN101950302A (zh) * 2010-09-29 2011-01-19 李晓耕 基于移动设备的海量音乐库管理方法
CN104572977A (zh) * 2014-12-31 2015-04-29 北京农业信息技术研究中心 一种农产品质量安全事件在线检测方法

Also Published As

Publication number Publication date
CN104866547A (zh) 2015-08-26

Similar Documents

Publication Publication Date Title
Kannan et al. Preprocessing techniques for text mining
CN104268175B (zh) 一种数据搜索的装置及其方法
WO2015149533A1 (zh) 一种基于网页内容分类进行分词处理的方法和装置
CN108052500B (zh) 一种基于语义分析的文本关键信息提取方法及装置
CN103226576A (zh) 基于语义相似度的垃圾评论过滤方法
CN103699567B (zh) 一种基于标题指纹与正文指纹实现相同新闻聚类的方法
CN109543126A (zh) 基于块文字占比的网页正文信息提取方法
CN104102681A (zh) 一种微博关键事件获取方法和装置
Man Feature extension for short text categorization using frequent term sets
CN104866547B (zh) 一种针对组合字类关键词的过滤方法
CN109299235A (zh) 知识库搜索方法、装置及计算机可读存储介质
CN106569989A (zh) 一种用于短文本的去重方法及装置
CN104850609B (zh) 一种针对跳字类关键词的过滤方法
Dadachev et al. On the helmholtz principle for data mining
CN108536676B (zh) 数据处理方法、装置、电子设备及存储介质
CN106776678A (zh) 新的关键词优化实现搜索引擎优化技术
Al-Lahham et al. Conditional arabic light stemmer: condlight.
CN105574004B (zh) 一种网页去重方法和设备
CN113806483A (zh) 数据处理方法、装置、电子设备及计算机程序产品
Kulkarni et al. Knowledge discovery in text mining using association rule extraction
CN102737017B (zh) 一种提取页面主题的方法和装置
US20180005300A1 (en) Information presentation device, information presentation method, and computer program product
CN111897927B (zh) 融合Copulas理论和关联规则挖掘的中文查询扩展方法
Li et al. Keyphrase extraction and grouping based on association rules
CN113792546A (zh) 语料库的构建方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160811

Address after: 430000 Chutian media building, No. 181, East Lake Road, Wuchang District, Hubei, Wuhan

Applicant after: HUBEI JINCHU NETWORK TECHNOLOGY CO., LTD.

Address before: 430077 third floor, Chutian culture creative industry building, East Lake New Technology Development Zone, Hubei, Wuhan

Applicant before: Hubei optical valley is medium limited company all over the world

GR01 Patent grant
GR01 Patent grant