CN107480275A - 一种基于大数据的有害信息监测方法及系统 - Google Patents
一种基于大数据的有害信息监测方法及系统 Download PDFInfo
- Publication number
- CN107480275A CN107480275A CN201710719520.1A CN201710719520A CN107480275A CN 107480275 A CN107480275 A CN 107480275A CN 201710719520 A CN201710719520 A CN 201710719520A CN 107480275 A CN107480275 A CN 107480275A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- information
- website
- owner
- keywords
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000009193 crawling Effects 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007774 longterm Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及网络有害信息监测领域，公开了一种基于大数据的有害信息监测方法及系统，利用网络爬虫对监测网站的内容进行实时爬取，以获取网页的页面信息；对网页的页面信息，进行分析、分词，建立文档索引和关键词索引，并保存至索引数据库；根据词库文件，计算监测网站的网页的关键词评分；当监测网站的网页的关键词评分大于预设阈值时，对所述监测网站进行记录；向所述监测网站的所有者发送通告信息。本发明提高了有害信息的监测效率，误差率低，可以对有害信息实现长效管控。
Description
技术领域
本发明涉及网络有害信息监测领域，尤其涉及一种基于大数据的有害信息 监测方法及系统。
背景技术
近年来，互联网业务发展十分迅猛，它加快了信息传播的速度，拓宽了信 息传播的渠道，对经济的发展、社会的进步、科技的普及起到了积极的作用， 但是随之而产生的信息内容安全问题也越来越突出，特别是当前境内外敌对势 力和一些不法分子，利用互联网进行各种违法犯罪活动问题突出，各种有害信 息在互联网上的传播，严重地危害了国家安全和社会稳定。
现有技术中的有害信息监测系统的主要目的仅满足于对互联网基础资源 的基础管理工作，侧重于对相关资源的管理及追溯，以及这些资源的拥有者资 料的管理，相关资源实名制的管理，但并未侧重于对违法有害信息的发现、监 测、拦截、处置，虽然也有一套信安设备，其中也具备有非法信息的发现及过 滤功能，但是功能单一，且这些监管指令主要是由政府主管部门下发，由系统 执行，而不是企业自主设置，此外也仅仅具备最简单的记录与拦截的功能，而 不具备关键字分级、自主发现、自动汇总、就地通知、异步通知、批量处理、 分类管理等必须功能，更不具备防止误判的功能，所以面对如何减少有害信息 的滋生、传播这个问题，就无法发挥有效作用。
发明内容
本发明提供一种基于大数据的有害信息监测方法及系统，解决现有技术中 有害信息监测系统对有害信息监测功能单一的技术问题。
本发明的目的是通过以下技术方案实现的：
一种基于大数据的有害信息监测方法，包括：
利用网络爬虫对监测网站的内容进行实时爬取，以获取网页的页面信息；
对网页的页面信息，进行分析、分词，建立文档索引和关键词索引，并保 存至索引数据库；
根据词库文件，计算监测网站的网页的关键词评分，所述词库文件包括负 面关键词和正面关键词，所述负面关键词设有对应的正分值，所述正面关键词 设有对应的负分值；
当监测网站的网页的关键词评分大于预设阈值时，对所述监测网站进行记 录；
向所述监测网站的所有者发送通告信息，所述通告信息包含网页记录原因、 记录的关键词、处置方式。
一种基于大数据的有害信息监测系统，包括：
获取模块，用于利用网络爬虫对监测网站的内容进行实时爬取，以获取网 页的页面信息；
索引模块，用于对网页的页面信息，进行分析、分词，建立文档索引和关 键词索引，并保存至索引数据库；
计算模块，用于根据词库文件，计算监测网站的网页的关键词评分，所述 词库文件包括负面关键词和正面关键词，所述负面关键词设有对应的正分值， 所述正面关键词设有对应的负分值；
记录模块，用于当监测网站的网页的关键词评分大于预设阈值时，对所述 监测网站进行记录；
通告模块，用于向所述监测网站的所有者发送通告信息，所述通告信息包 含网页记录原因、记录的关键词、处置方式。
本发明提供一种基于大数据的有害信息监测方法及系统，利用网络爬虫对 监测网站的内容进行实时爬取，以获取网页的页面信息；对网页的页面信息， 进行分析、分词，建立文档索引和关键词索引，并保存至索引数据库；根据词 库文件，计算监测网站的网页的关键词评分；当监测网站的网页的关键词评分 大于预设阈值时，对所述监测网站进行记录；向所述监测网站的所有者发送通 告信息。本发明提高了有害信息的监测效率，误差率低，可以对有害信息实现 长效管控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是 本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性 的前提下，还可根据这些附图获得其他的附图。
图1为本发明实施例的一种基于大数据的有害信息监测方法的流程图；
图2为本发明实施例的一种基于大数据的有害信息监测系统的结构示意 图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和 具体实施方式对本发明作进一步详细的说明。
如图1所示，为本发明实施例提供的一种基于大数据的有害信息监测方法， 包括：
步骤101、利用网络爬虫对监测网站的内容进行实时爬取，以获取网页的 页面信息；
步骤102、对网页的页面信息，进行分析、分词，建立文档索引和关键词 索引，并保存至索引数据库；
步骤103、根据词库文件，计算监测网站的网页的关键词评分；
其中，所述词库文件包括负面关键词和正面关键词，所述负面关键词设有 对应的正分值，所述正面关键词设有对应的负分值；本发明实施例给负面关键 字进行评分，不同的关键词因其重要性或二义性，给予不同的分值，最后系统 在判断该信息是否属于非法信息时，以分值作为依据，以尽可能的避免误判。 而对于正面关键词，例如“法院、民警、检查机关、刑法、抓获、严厉打击” 等具备正面意义的词汇，给予一定的负分，将此分值与其它负面关键词分值相 加，相加值与预设阈值进行比较作为判断依据，减少对一些新闻文章中出现的 非法关键词的误判，提高系统使用体验。
步骤104、当监测网站的网页的关键词评分大于预设阈值时，对所述监测 网站进行记录；
步骤105、向所述监测网站的所有者发送通告信息；
其中，所述通告信息包含网页记录原因、记录的关键词、处置方式。
其中，步骤105之后，包括：
步骤105-1、判断预设时间之内是否接收到所述监测网站的所有者的处置 反馈信息；
步骤105-2、当预设时间之内接收到所述监测网站的所有者的处置反馈信 息时，根据所述反馈信息，对所述监测网站进行处理；
步骤105-3、当预设时间之内未接收到所述监测网站的所有者的处置反馈 信息时，对所述监测网站进行阻断。
步骤105包括多种方式，包括：
通过移动应用通知所述监测网站的所有者；或者，
通过邮件通知的方式通知所述监测网站的所有者；或者，
通过在用户访问网站的时，返回通知信息；或者，
通过后台系统通知所述监测网站的所有者。
步骤103具体可以包括：
根据词库文件，确定负面关键词的分值及正面关键词的分值，将所有负面 关键词的分值与所有正面关键词的分值相加，所述负面关键词和正面关键词的 分值由重要性或二义性确定。
步骤105-2具体可以包括：
步骤105-4、当所述反馈信息为确认监测结果正确，并完成处理的信息时， 删除所述监测网站的记录；
步骤105-5、当所述反馈信息为监测结果有误时，删除所述监测网站的记 录，并更新词库文件。
本发明提供一种基于大数据的有害信息监测方法，利用网络爬虫对监测网 站的内容进行实时爬取，以获取网页的页面信息；对网页的页面信息，进行分 析、分词，建立文档索引和关键词索引，并保存至索引数据库；根据词库文件， 计算监测网站的网页的关键词评分；当监测网站的网页的关键词评分大于预设 阈值时，对所述监测网站进行记录；向所述监测网站的所有者发送通告信息。 本发明提高了有害信息的监测效率，误差率低，可以对有害信息实现长效管控。
本发明实施例还提供了一种基于大数据的有害信息监测系统，如图2所示， 包括：
获取模块210，用于利用网络爬虫对监测网站的内容进行实时爬取，以获 取网页的页面信息；
索引模块220，用于对网页的页面信息，进行分析、分词，建立文档索引 和关键词索引，并保存至索引数据库；
计算模块230，用于根据词库文件，计算监测网站的网页的关键词评分， 所述词库文件包括负面关键词和正面关键词，所述负面关键词设有对应的正分 值，所述正面关键词设有对应的负分值；
记录模块240，用于当监测网站的网页的关键词评分大于预设阈值时，对 所述监测网站进行记录；
通告模块250，用于向所述监测网站的所有者发送通告信息，所述通告信 息包含网页记录原因、记录的关键词、处置方式。
其中，还可以包括处理模块260，处理模块260包括：
判断单元261，用于判断预设时间之内是否接收到所述监测网站的所有者 的处置反馈信息；
处理单元262，用于当预设时间之内接收到所述监测网站的所有者的处置 反馈信息时，根据所述反馈信息，对所述监测网站进行处理；
阻断单元263，用于当预设时间之内未接收到所述监测网站的所有者的处 置反馈信息时，对所述监测网站进行阻断。
所述通告模块250包括：
第一通告单元251，用于通过移动应用通知所述监测网站的所有者；或者，
第二通告单元252，用于通过邮件通知的方式通知所述监测网站的所有者； 或者，
第三通告单元253，用于通过在用户访问网站的时，返回通知信息；或者，
第四通告单元254，用于通过后台系统通知所述监测网站的所有者。
所述计算模块230，具体用于根据词库文件，确定负面关键词的分值及正 面关键词的分值，将所有负面关键词的分值与所有正面关键词的分值相加，所 述负面关键词和正面关键词的分值由重要性或二义性确定。
所述处理单元262，包括：
记录删除子单元2621，用于当所述反馈信息为确认监测结果正确，并完 成处理的信息时，删除所述监测网站的记录；
词库更新子单元2622，用于当所述反馈信息为监测结果有误时，删除所 述监测网站的记录，并更新词库文件。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明 可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施， 但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案对 背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机 软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干 指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等) 执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原 理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的 方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思 想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书 内容不应理解为对本发明的限制。
Claims (10)
1.一种基于大数据的有害信息监测方法，其特征在于，包括：
利用网络爬虫对监测网站的内容进行实时爬取，以获取网页的页面信息；
对网页的页面信息，进行分析、分词，建立文档索引和关键词索引，并保存至索引数据库；
根据词库文件，计算监测网站的网页的关键词评分，所述词库文件包括负面关键词和正面关键词，所述负面关键词设有对应的正分值，所述正面关键词设有对应的负分值；
当监测网站的网页的关键词评分大于预设阈值时，对所述监测网站进行记录；
向所述监测网站的所有者发送通告信息，所述通告信息包含网页记录原因、记录的关键词、处置方式。
2.根据权利要求1所述的基于大数据的有害信息监测方法，其特征在于，所述向所述监测网站的所有者发送通告信息的步骤之后，包括：
判断预设时间之内是否接收到所述监测网站的所有者的处置反馈信息；
当预设时间之内接收到所述监测网站的所有者的处置反馈信息时，根据所述反馈信息，对所述监测网站进行处理；
当预设时间之内未接收到所述监测网站的所有者的处置反馈信息时，对所述监测网站进行阻断。
3.根据权利要求1所述的基于大数据的有害信息监测方法，其特征在于，向所述监测网站的所有者发送通告信息，包括：
通过移动应用通知所述监测网站的所有者；或者，
通过邮件通知的方式通知所述监测网站的所有者；或者，
通过在用户访问网站的时，返回通知信息；或者，
通过后台系统通知所述监测网站的所有者。
4.根据权利要求1所述的基于大数据的有害信息监测方法，其特征在于，所述根据词库文件，计算监测网站的网页的关键词评分的步骤，包括：
根据词库文件，确定负面关键词的分值及正面关键词的分值，将所有负面关键词的分值与所有正面关键词的分值相加，所述负面关键词和正面关键词的分值由重要性或二义性确定。
5.根据权利要求2所述的基于大数据的有害信息监测方法，其特征在于，所述当预设时间之内接收到所述监测网站的所有者的处置反馈信息时，根据所述反馈信息，对所述监测网站进行处理的步骤，包括：
当所述反馈信息为确认监测结果正确，并完成处理的信息时，删除所述监测网站的记录；
当所述反馈信息为监测结果有误时，删除所述监测网站的记录，并更新词库文件。
6.一种基于大数据的有害信息监测系统，其特征在于，包括：
获取模块，用于利用网络爬虫对监测网站的内容进行实时爬取，以获取网页的页面信息；
索引模块，用于对网页的页面信息，进行分析、分词，建立文档索引和关键词索引，并保存至索引数据库；
计算模块，用于根据词库文件，计算监测网站的网页的关键词评分，所述词库文件包括负面关键词和正面关键词，所述负面关键词设有对应的正分值，所述正面关键词设有对应的负分值；
记录模块，用于当监测网站的网页的关键词评分大于预设阈值时，对所述监测网站进行记录；
通告模块，用于向所述监测网站的所有者发送通告信息，所述通告信息包含网页记录原因、记录的关键词、处置方式。
7.根据权利要求6所述的基于大数据的有害信息监测系统，其特征在于，还包括处理模块，所述处理模块包括：
判断单元，用于判断预设时间之内是否接收到所述监测网站的所有者的处置反馈信息；
处理单元，用于当预设时间之内接收到所述监测网站的所有者的处置反馈信息时，根据所述反馈信息，对所述监测网站进行处理；
阻断单元，用于当预设时间之内未接收到所述监测网站的所有者的处置反馈信息时，对所述监测网站进行阻断。
8.根据权利要求6所述的基于大数据的有害信息监测系统，其特征在于，所述通告模块包括：
第一通告单元，用于通过移动应用通知所述监测网站的所有者；或者，
第二通告单元，用于通过邮件通知的方式通知所述监测网站的所有者；或者，
第三通告单元，用于通过在用户访问网站的时，返回通知信息；或者，
第四通告单元，用于通过后台系统通知所述监测网站的所有者。
9.根据权利要求6所述的基于大数据的有害信息监测系统，其特征在于，所述计算模块，具体用于根据词库文件，确定负面关键词的分值及正面关键词的分值，将所有负面关键词的分值与所有正面关键词的分值相加，所述负面关键词和正面关键词的分值由重要性或二义性确定。
10.根据权利要求7所述的基于大数据的有害信息监测系统，其特征在于，所述处理单元，包括：
记录删除子单元，用于当所述反馈信息为确认监测结果正确，并完成处理的信息时，删除所述监测网站的记录；
词库更新子单元，用于当所述反馈信息为监测结果有误时，删除所述监测网站的记录，并更新词库文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710719520.1A CN107480275A (zh) | 2017-08-21 | 2017-08-21 | 一种基于大数据的有害信息监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710719520.1A CN107480275A (zh) | 2017-08-21 | 2017-08-21 | 一种基于大数据的有害信息监测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107480275A true CN107480275A (zh) | 2017-12-15 |
Family
ID=60601015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710719520.1A Pending CN107480275A (zh) | 2017-08-21 | 2017-08-21 | 一种基于大数据的有害信息监测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107480275A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284441A (zh) * | 2018-09-18 | 2019-01-29 | 中国人民解放军战略支援部队信息工程大学 | 动态自适应网络敏感信息检测方法及装置 |
| CN112905888A (zh) * | 2020-09-10 | 2021-06-04 | 中数通信息有限公司 | 一种基于信息监测的关键词发现方法、系统和电子设备 |
| CN113099441A (zh) * | 2021-03-29 | 2021-07-09 | Oppo广东移动通信有限公司 | 网址管理方法、网址管理平台、电子设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070276790A1 (en) * | 2006-05-24 | 2007-11-29 | Microsoft Corporation | Real-time analysis of web browsing behavior |
| CN104063390A (zh) * | 2013-03-20 | 2014-09-24 | 腾讯科技（深圳）有限公司 | 一种微博数据处理方法及系统 |
| CN105335869A (zh) * | 2015-09-24 | 2016-02-17 | 精硕世纪科技（北京）有限公司 | 一种广告监测的预警方法及系统 |
| CN106126705A (zh) * | 2016-07-01 | 2016-11-16 | 武汉泰迪智慧科技有限公司 | 一种大规模网络数据实时爬取系统 |
-
2017
- 2017-08-21 CN CN201710719520.1A patent/CN107480275A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070276790A1 (en) * | 2006-05-24 | 2007-11-29 | Microsoft Corporation | Real-time analysis of web browsing behavior |
| CN104063390A (zh) * | 2013-03-20 | 2014-09-24 | 腾讯科技（深圳）有限公司 | 一种微博数据处理方法及系统 |
| CN105335869A (zh) * | 2015-09-24 | 2016-02-17 | 精硕世纪科技（北京）有限公司 | 一种广告监测的预警方法及系统 |
| CN106126705A (zh) * | 2016-07-01 | 2016-11-16 | 武汉泰迪智慧科技有限公司 | 一种大规模网络数据实时爬取系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284441A (zh) * | 2018-09-18 | 2019-01-29 | 中国人民解放军战略支援部队信息工程大学 | 动态自适应网络敏感信息检测方法及装置 |
| CN109284441B (zh) * | 2018-09-18 | 2020-12-04 | 中国人民解放军战略支援部队信息工程大学 | 动态自适应网络敏感信息检测方法及装置 |
| CN112905888A (zh) * | 2020-09-10 | 2021-06-04 | 中数通信息有限公司 | 一种基于信息监测的关键词发现方法、系统和电子设备 |
| CN113099441A (zh) * | 2021-03-29 | 2021-07-09 | Oppo广东移动通信有限公司 | 网址管理方法、网址管理平台、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100723867B1 (ko) | 피싱웹페이지 차단 장치 및 방법 | |
| Brynielsson et al. | Harvesting and analysis of weak signals for detecting lone wolf terrorists | |
| CN110442712B (zh) | 风险的确定方法、装置、服务器和文本审理系统 | |
| WO2020164276A1 (zh) | 网页数据爬取方法、装置、系统及计算机可读存储介质 | |
| Brynielsson et al. | Analysis of weak signals for detecting lone wolf terrorists | |
| US7991760B2 (en) | Constructing a domain-specific ontology by mining the web | |
| US20150356091A1 (en) | Method and system for identifying microblog user identity | |
| CN111581355B (zh) | 威胁情报的主题检测方法、装置和计算机存储介质 | |
| US10565311B2 (en) | Method for updating a knowledge base of a sentiment analysis system | |
| CN111435393B (zh) | 对象漏洞的检测方法、装置、介质及电子设备 | |
| Shapira et al. | Content-based data leakage detection using extended fingerprinting | |
| CN107480275A (zh) | 一种基于大数据的有害信息监测方法及系统 | |
| Zhou et al. | CTI view: APT threat intelligence analysis system | |
| CN111586695B (zh) | 短信识别方法及相关设备 | |
| Pandela et al. | Browser forensics on web-based tiktok applications | |
| CN113849595A (zh) | 一种基层治理事件类型识别方法及系统 | |
| US10430454B2 (en) | Systems and methods for culling search results in electronic discovery | |
| CN109254827B (zh) | 一种基于大数据与机器学习的虚拟机安全防护方法及系统 | |
| CN108804501B (zh) | 一种检测有效信息的方法及装置 | |
| CN107491530B (zh) | 一种基于文件自动标记信息的社会关系挖掘分析方法 | |
| EP4120625B1 (en) | System, device and method for detecting social engineering attacks in digital communications | |
| CN107329956B (zh) | 一种项目信息标准化方法及装置 | |
| CN110147491B (zh) | 一种引流信息识别方法和装置 | |
| CN111563276B (zh) | 一种网页篡改检测方法、检测系统及相关设备 | |
| KR101933347B1 (ko) | 개인 디지털 정보 자취 추적을 통한 삭제 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171215 |