CN1949780A - 网络留言系统及留言过滤方法 - Google Patents

网络留言系统及留言过滤方法 Download PDF

Info

Publication number
CN1949780A
CN1949780A CN 200610140847 CN200610140847A CN1949780A CN 1949780 A CN1949780 A CN 1949780A CN 200610140847 CN200610140847 CN 200610140847 CN 200610140847 A CN200610140847 A CN 200610140847A CN 1949780 A CN1949780 A CN 1949780A
Authority
CN
China
Prior art keywords
message
module
user
identifying code
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200610140847
Other languages
English (en)
Other versions
CN1949780B (zh
Inventor
俞军
郭眈
齐玉杰
边江
李明远
张猛
王鹏云
侯震宇
赵秀文
俞建林
刘建国
李彦宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN2006101408475A priority Critical patent/CN1949780B/zh
Publication of CN1949780A publication Critical patent/CN1949780A/zh
Application granted granted Critical
Publication of CN1949780B publication Critical patent/CN1949780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种网络留言系统,包括用户接口、用户操作控制模块、生成验证码模块及后台管理系统;后台管理系统包括后台管理模块、数据库管理系统及提交管理模块。本发明网络留言过滤方法当获知用户浏览页面信息时分配浏览ID,根据过滤词敏感度的不同采取先发表留言后过滤或先过滤后发表留言的方法。本发明在获得浏览页面信息时分配浏览ID,验证码需要正确才能发表留言,提交留言后根据操作和内容进行后续的监控,并且留言过滤方法对于不需要实时过滤的留言先发表,对于过滤词敏感度较高的留言先发到后台,经过滤后发表,使得服务器负荷不大而且不遗漏垃圾留言。本发明可有效过滤网络留言系统中的垃圾留言,具有良好的效果和应用价值。

Description

网络留言系统及留言过滤方法
技术领域
本发明涉及一种留言系统及留言过滤方法,特别是一种具有过滤垃圾留言信息的系统及方法,属于互联网技术领域。
背景技术
随着网络的快速发展,越来越多的人选择通过互联网来搜索信息或者寻找合适的、有相近兴趣或相近需求的人进行沟通。
网络留言系统是基于关键词和相关搜索的网络社区的技术支撑系统。通过留言系统,用户通过对某个词语的搜索,即可直接获得关于该词语的专门留言区域入口。搜索关键词时,留言系统会判断是否存在与关键词对应的讨论区,如果有,则显示相关内容并提示进入查看,如果没有,则引导用户通过发表第一条内容的方式来创建与该关键词匹配或相关讨论区的功能。
垃圾留言是指以强迫性广告或宣传为目的,利用网络留言系统发表的留言。随着网络留言系统的普及,一些黑客或者不法商人进行不断的登录尝试,或者不断提交一些网络信息,形成垃圾留言。由于现有的网络留言系统对发送者没有任何限制,发送者可以发送数量不受限制的留言,这就为强迫性广告或宣传的不法者借机牟利提供了便利。垃圾留言干扰了人们对留言系统的正常使用,如果连续发表统一的内容充斥在留言系统中,不久,留言系统中的一些论坛的整个板块就全是垃圾留言的信息了,其他信息则被挤到后面,这使得从大量留言中找出有用信息的效率大大降低。
为了解决上述的问题,业界研究并开发出反垃圾留言的技术,其目的是遏制垃圾留言。许多网络留言系统也意识到了防止恶意发表垃圾留言的重要性,纷纷使用了一些反垃圾的措施,其基本方法是在网络留言系统设置一些控制用户操作的方法,其中当发表的留言匹配相应的特征描述时自动执行相应的操作(如拒绝、接收或放到审查区等),这样留言系统就可以在接受留言时根据这些控制方法自动删除或者禁止发表留言。
现有技术的主要问题是没有一种有效反垃圾留言的系统及方法。要么留言系统过于宽松而接收了垃圾留言,要么由于过于严格而拒绝了非垃圾留言。垃圾留言的制造者不断的加强对发表留言得伪装来避免被过滤掉,如不断地更换留言标题等。虽然不少留言系统利用了图片验证码技术,但不同程度的存在安全性隐患,如被计算机图形学工具识破并破解。并且传统的验证码识别方式比较简单,它的数字位置是固定的,所以垃圾留言者只需要提取每一幅数字的图片(没有噪音点的)然后把每一个特殊数字独有的象素位置记录下来,然后在网络上提取需要破解的特征码,祛除噪音点,对其位置和记录位置进行比对,就能确定相应的数字了。因此现有的网络留言系统反垃圾留言的效果并不理想。
发明内容
本发明的目的在于针对现有网络留言系统过滤垃圾留言效果不理想及现有网络留言系统过滤垃圾留言方法的不足,提供一种有效过滤垃圾留言的网络留言系统及留言过滤方法。
为了实现上述目的,本发明提供了一种网络留言系统,包括用户接口、用户操作控制模块、生成验证码模块及后台管理系统,其中,
用户接口,与用户操作控制模块和后台管理系统连接,负责将后台管理系统的数据按一定的模板组装成用户可见的页面,与用户的请求交互;
用户操作控制模块,与用户接口及生成验证码模块相连,用于对留言的内容、浏览、发表等操作进行控制;
生成验证码模块,与用户操作控制模块相连,用于产生验证码图片;
所述后台管理系统包括后台管理模块、连接模块、数据库管理系统及提交管理模块,
连接模块,连接用户接口到提交管理模块、数据库管理系统及后台管理模块,执行用户操作控制模块和后台传来的数据库管理操作;
后台管理模块:与连接模块相连,用于对信息进行控制管理;
数据库管理系统:与连接模块相连,用于对数据的读写和控制操作;
提交管理模块:与连接模块相连,用于对所有提交的留言内容进行管理和控制,并控制后台管理系统中的各个模块进行相应操作。
上述技术方案中,所述用户操作控制模块还包括安全获取模块、验证模块、行为过滤模块及内容过滤模块。
安全获取模块:与用户接口和生成验证码模块相连,用于用户接口每次重建页面时,获得安全相关数据;验证模块:与用户接口相连,用于每次递交操作时对用户输入的验证信息进行验证;行为过滤模块:与用户接口相连,用于对递交操作进行递交操作频率等控制;内容过滤模块:与用户接口相连,用于对递交操作的信息内容进行内容检测过滤及后台管理系统提供支持。
上述安全获取模块还包括浏览ID分配模块,用于用户每次浏览页面时分配随机的浏览ID;还包括脚本验证模块,用于用户浏览时生成内嵌入浏览器的脚本验证函数。内容过滤模块还包括URL(Uniform Resource Locator,在Internet的WWW服务程序上用于指定信息位置的表示方法,也称为网址)过滤模块、关键词过滤模块及过滤流程选择模块,可根据过滤词敏感度级别通过后台管理系统进行对提交的留言进行不同方式的审查和过滤。
本发明网络留言系统中通过浏览ID分配模块中生成的浏览ID对用户进行验证,以检验用户是否在用户接口产生的有效页面进行提交。本发明网络留言系统通过验证模块还对留言进行时间间隔的控制、同一IP地址的发表留言数目控制、行为控制、基于特征(如标题和内容等)进行过滤。
本发明网络留言系统的优点有以下几个:
首先,留言系统的结构先进和完善。表现在:完全分布式,每一个模块都可以由多台服务器来提供服务;提供从内容、行为、交互各方面进行反垃圾留言的功能;高性能,支持留言系统巨大的流量、浏览和发表留言的快速性。
其次,浏览ID和验证码的可靠安全和友好。
再次,一个高效准确的前台反垃圾系统,和友好强大的后台管理系统。后台管理系统向管理员提供了强大便捷的工具,对垃圾留言的分类和自动判断更大为减轻了管理员的审查负担。
本发明还提供一种网络留言过滤方法,包括如下步骤:
步骤1:获得用户浏览页面的信息,产生随机的浏览ID;
步骤2:判断是否需要验证码,如果需要则产生验证码;否则执行步骤4;
步骤3:接收到用户输入的验证码信息,判断浏览ID的有效性,如果无效则结束,否则判断输入的验证码是否正确,不正确则结束,否则执行步骤4;
步骤4:对提交的留言进行过滤,根据过滤结果执行相应的发表或删除操作。
上述技术方案中,步骤3之后还包括步骤4’:判断发表留言的频率是否超过设置的频率阈值,超过则结束,否则执行步骤4;步骤4包括:4.1判断是否在受限制留言区域发表留言,如果是执行步骤4.2;否则发表留言,执行步骤5;4.2对发表留言的标题和内容进行内容扫描和过滤词匹配;4.3根据过滤词敏感度的不同选择执行相应的过滤方法。
本发明网络留言过滤方法提供了如下过滤方式:1.用户浏览时为其分配浏览ID,并且获得随机验证码信息;2.在发留言时,判断浏览ID和验证码的有效性,只有浏览ID有效并且验证码正确才可以发表留言;3.对于发表的留言对其操作进行统计,如果留言发表的频率超过一定值,则对此用户进行相应操作;4.对留言内容进行过滤,不符合内容的留言进行删除;5.根据过滤词敏感级别的不同选择不同的过滤选择流程。本发明留言过滤方法中对用户提交的留言进行判断,有效浏览ID才可以提交留言,根据内容选择不同的过滤和发表方法,对敏感度级别不高不需要实时审查的留言,可以先发表留言后续进行过滤,服务器压力小,对于敏感度级别较高的留言可以采用先发到后台,经过滤后再发到前台浏览,两种方式的结合即不会造成服务器负荷太大同时对留言进行过滤,也不会漏掉垃圾留言,后续还会进行过滤。
综上所述,本发明网络留言系统及留言过滤方法可以有效地遏制垃圾留言,整个留言系统及过滤方法,能够从标题、内容、频度等全方位进行控制,防御住以前大量的黄反、广告、刷屏等情况,以及一些恶意攻击。后台管理系统向管理员提供了强大便捷的工具,对垃圾留言的分类和自动判断更大为减轻了管理员的审查负担。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明网络留言系统结构图;
图2为本发明用户操作控制模块及生成验证码模块一实施例优选结构图;
图3为本发明网络留言过滤方法流程图;
图4为图3在网络留言系统中应用的实施例解析图;
图5为本发明先过滤后发表留言的优选流程图;
图6为图5在网络留言系统中应用的实施例解析图;
图7为本发明先发表后过滤留言的优选流程图;
图8为图7在网络留言系统中应用的实施例解析图。
具体实施方式
图1为本发明网络留言系统结构图。如图1所示,本发明网络留言系统,包括用户接口、用户操作控制模块1、生成验证码模块2及后台管理系统3,其中,
用户接口,与用户操作控制模块1和后台管理系统3连接,负责将后台管理系统3的数据按一定的模板组装成用户可见的页面,与用户的请求交互;
用户操作控制模块1,与用户接口及生成验证码模块2相连,用于对留言的内容、浏览、发表等操作进行控制;
生成验证码模块2,与用户操作控制模块1相连,用于产生验证码图片;
所述后台管理系统3包括后台管理模块、连接模块、数据库管理系统及提交管理模块,
连接模块,连接用户接口到提交管理模块、数据库管理系统及后台管理模块,执行用户操作控制模块和后台传来的数据库管理操作;
后台管理模块:与连接模块相连,用于对信息进行控制管理;
数据库管理系统:与连接模块相连,用于对数据的读写和控制操作;
提交管理模块:与连接模块相连,用于对所有提交的留言内容进行管理和控制,并控制后台管理系统中的各个模块进行相应操作。
上述技术方案中,后台管理系统3还可包括传递模块:连接提交管理模块及连接模块,用于将提交管理模块产生的管理指令转发到相应的后台管理系统。所述用户接口与用户操作控制模块1及后台管理系统3之间还包括适配模块,可以为用户接口提供一个统一的接口。
上述技术方案中,用户操作控制模块1包括安全获取模块、验证模块;
安全获取模块:与用户接口相连,并且和生成验证码模块相连,用于用户接口每次重建页面时,和安全获取模块交互,获得安全相关数据;
验证模块:与用户接口相连,用于用户的每次递交操作时对用户输入的验证信息进行验证。
上述技术方案中,用户操作控制模块1还包括行为过滤模块,与用户接口相连,用于对递交留言操作进行递交操作频率等控制。所述用户操作控制模块1还包括内容过滤模块,与用户接口相连,用于对递交操作的留言进行内容检测过滤及为后台管理系统提供支持。
图1中数据库管理系统可采用现在公知的数据库管理系统,例如SQLserver(Structured Query Language,结构查询语言)或者Oracle等数据库管理系统,可对数据进行操作和管理;连接模块可采用一连接器,执行前后台传来的数据库管理操作;后台管理模块可由PHP(Hypertext Preprocessor,超文本预处理器)和SQLserver组建而成,基于浏览器/服务器结构,提高后台人工管理的管理。其中PHP为一种服务器的HTML(Hyper Text MarkupLanguege,超文本标记语言)脚本编程语言,广泛应用于动态网页技术,可以更好的支持模板和快速开发。本发明中提交管理模块作了合法性验证(包括扫描文章中是否包含过滤词)后将留言内容转发给后台不同服务器模块。后台不同类型的模块存储不同数据,这使不同类型的浏览操作由不同的模块专门进行处理,发表留言后后台管理系统继续对帖子进行监控,后台管理模块进行不同的操作,经判断是垃圾留言的会由连接模块发给提交管理进行删除操作。
图2为本发明用户操作控制模块及生成验证码模块一优选实施例结构图,所述用户接口与用户操作控制模块1及后台管理系统3之间包括适配模块,为用户接口提供统一的接口。本优选实施结构中用户操作控制模块1包括安全获取模块、验证模块、行为过滤模块及内容过滤模块;
安全获取模块:通过适配模块与用户接口相连,并且和生成验证码模块相连,用于用户接口每次重建页面时,和安全获取模块交互,获得安全相关数据;
验证模块:通过适配模块与用户接口相连,用于每次递交操作时对用户输入的验证信息进行验证;
行为过滤模块:通过适配模块与用户接口相连,用于对递交操作进行递交操作频率等控制;
内容过滤模块:通过适配模块与用户接口相连,用于对递交操作的信息内容进行内容检测过滤及后台管理系统提供支持。
上述技术方案中,安全获取模块还包括浏览ID分配模块和脚本验证模块,浏览ID分配模块用于用户每次浏览页面时分配随机的浏览ID;脚本验证模块用于用户浏览时生成内嵌于浏览器的脚本验证函数。脚本语言可采用现在流行的JavaScript(一种由Sun公司推出的网页脚本语言),可由客户端浏览器解释执行,从而丰富网页功能和方便用户交互。
上述方案中,验证模块还包括计数模块,与用户接口相连,用于验证用户重复输入的时间间隔和重复输入的次数。
上述技术方案中,内容过滤模块还包括关键词检查模块、URL(UniformResource Locator,在Internet的WWW服务程序上用于指定信息位置的表示方法,也称为网址)检查模块及过滤流程选择模块,它们分别与用户接口相连;关键词检查模块用于过滤留言中的检索词;URL检查模块用于过滤留言链接的网址是否包含过滤词;过滤流程选择模块用于根据过滤词敏感度级别选择不同的过滤方式。
如图2所示,本发明生成验证码模块2包括验证码图片获取模块及验证码生成模块:
验证码图片获取模块:与用户操作控制模块中的安全获取模块相连,由安全获取模块调用并连接到验证码生成模块,获取产生的验证码图片并传回安全获取模块;验证码生成模块:与验证码图片获取模块相连,产生图片验证码。
图2中验证码生成模块可采用现在使用的灰度图图片验证码技术,即captcha(Completely Automated Public Turing Test to Tell Computers andHumans Apart,意为给出人能通过而计算机不能通过的测试,以此来区分人为和计算机模拟的操作),能有效抵抗各种网络垃圾留言,可根据安全获取模块产生的随机字符串验证码,生成灰度图形式的图片验证码,包括数字和字母;如果只需生成小图验证码,可采用只产生数字的captcha的简化版本,易于普通用户输入,此时安全获取模块可不需通过验证码图片获取模块直接调用captcha的简化版本。
本系统的工作过程为:用户接口展现一个用户页面时,会向安全获取模块发出请求,安全获取模块指示是否需要用验证码和验证脚本,如果需要产生随机的验证字符串,交给验证码图片获取模块,验证码图片获取模块收到请求后,连接到验证码生成模块,获得该验证码的图片。当页面展现时,验证码图片获取模块就呈现该验证码图片。用户输入验证码并提交后,用户接口将用户输入信息交给验证模块进行验证。
行为过滤模块从用户操作方面对用户留言进行控制,通过记录用户发贴频率,限制用户在短时间内的大量恶意提交。
内容过滤模块从提交内容方面对用户留言进行控制,通过进行一系列的(自动的)文章内容检查,过滤用户的广告、黄反、重复的提交留言。
本发明中安全获取模块在用户浏览时分配唯一的浏览ID及内嵌入浏览器的脚本验证函数。验证码和浏览ID在整个系统中起至关重要的作用,每个用户重建页面时才分配浏览ID,防止垃圾留言未浏览网页的群发现象,验证码随机生成字符信息放入图片中,防止计算机直接识别。本发明中验证码采用的验证码其图片数字的位置是随机出现,大小也是随机出现,以防恶意攻破。验证码图片加入了复杂的背景干扰、字体扭曲等技术,为防止破解还同时提供了另一套图片备案机制,可随时切换。浏览ID通过随机计算获得,并且经常更换计算因子,以防止破解,保证了ID的安全性。同时设定了ID的最大使用次数,一方面照顾了用户无意输入错误的情况,一方面杜绝了重发攻击。
同时,本发明通过浏览分配ID,不仅产生图片验证码,还产生内嵌于客户端浏览器的一段脚本验证函数,当用户提交时,将同时提交脚本计算出的相应值,该值将传回验证模块进行校验,验证模块使用与安全获取模块相同的加密/解密算法,从而判断用户的输入信息是否正确以及用户是否在用户接口产生的有效页面中进行提交,防止伪造,进一步增强了安全性,并且由于系统自动生成验证脚本计算值,不需要用户手动输入,界面更为友好。
总之,通过在安全获取模块产生ID,再将该ID加密为图片验证码和脚本验证,最后在验证模块进行验证,保证了验证码的正确性,有效防止利用机器群发垃圾留言的不法制造者,因此成效明显。
内容过滤模块对提交留言的标题和内容进行过滤,判断是否包含过滤的URL,是否包含过滤的关键词以及根据敏感度不同选择不同的过滤方法。
本发明网络留言系统防止发表垃圾留言的方式有:1.用户浏览时为其分配浏览ID,并且获得随机验证码信息;2.在提交留言时,判断浏览ID和验证码的有效性,只有有浏览ID并且验证码正确才可以发表;3.对于发表的留言对其操作进行统计,如果留言频率超过一定阈值,则判断为恶意发留言,对此用户进行相应操作;4.发表留言后对内容进行过滤,不符合内容的留言进行删除。后台管理系统通过后台管理模块管理各种过滤词,负责向内容过滤模块转发最新的过滤词表,内容过滤模块对标题和内容等进行扫描过滤。
本发明网络留言系统的优点有以下几个:
首先,发垃圾系统的结构先进和完善。表现在:完全分布式,每一个模块都可以由多台服务器来提供服务;提供完善的从内容、行为、交互各方面进行反垃圾的功能;高性能,支持留言系统巨大的流量、浏览和快速反应发留言请求。
其次,浏览ID和验证码的可靠安全和友好。
再次,一个高效的准确的前台反垃圾系统,和友好强大的后台管理系统。本发明网络留言系统高效且易于扩展,能够从标题、内容、URL、IP、频度等全方位进行控制,防御大量的黄反、广告、刷屏等情况,以及一些恶意攻击。后台管理系统向管理员提供了便捷的工具,对垃圾的分类和自动判断更减轻了管理员的审查负担。
图3为本发明网络留言过滤方法流程图,包括如下步骤:
步骤1:获得用户浏览页面的信息,产生随机的浏览ID;
步骤2:判断是否需要验证码,如果需要则产生验证码;否则执行步骤4;
步骤3:接收到用户输入的验证码信息,判断浏览ID的有效性,如果无效则结束,否则判断输入的验证码是否正确,不正确则结束,否则执行步骤4;
步骤4:对提交的留言进行过滤,根据过滤结果执行相应的发表或删除操作。
上述方法中,步骤4之后还包括步骤5:将提交的留言存入后台管理系统。
上述方法中步骤2判断是否需要验证码的方法有多种,例如:对用户类别进行分析,如果用户为匿名则需要验证码,否则不需要验证码。
步骤2还可采用如下方法判断是否需要验证码:对已注册用户进行分析,如果为老用户则不需要验证码,否则判断新注册用户发表留言数目是否大于某一设定值,如果不大于则需要验证码,否则判断限制日期是否超过,如果超过则不需要验证码,否则需要验证码。
具体的,1、记录新用户发表留言数目,当新注册用户发留言数目达到某一设定值时,记录该天日期。2、在发表留言数目达到设定值的日期往后推到限制日期,该用户发表留言不再需要输入验证码。
举例:用户user111为10号注册,在12号时,这个ID发留言数达到设定值,则从限制日期开始,该ID发表留言不再需要输入验证码。限制日期为留言数目达到设定值那天后推定若干天,它为一可调控的阈值。
本发明网络留言过滤方法中,步骤2判断需要验证码之后还包括产生验证脚本。此时,步骤3在接收到用户输入的验证码信息之后还包括:产生验证脚本计算值;浏览ID有效之后还包括:判断验证脚本所产生的计算值是否正确,不正确则结束,否则执行步骤4。
步骤2中产生验证码包括生成灰度图验证码或者只生成数字的小图验证码。骤3之后还可包括判断发表留言的频率是否超过设置的频率阈值,超过则结束,否则执行步骤4。发表留言的频率根据记录的用户名判断发表留言频率,还可根据用户重复留言的时间间隔和重复输入的次数、IP统计等判断发表留言的频率。重复留言的时间间隔设置为一设定值,正常人发表留言的时间间隔不小于此设定值,区分利用机器群发垃圾留言的恶意留言制造者。
图4为本发明的网络留言过滤方法在本发明系统中应用的实施例解析图,现对照图4介绍本发明网络留言过滤方法在系统中的应用:
当用户浏览页面时用户接口由安全获取模块生成浏览ID,对用户发表留言、递交等操作传入适配模块,安全获取模块在需要用户验证信息时还产生验证码,在图中步骤1、步骤2通过安全获取模块完成;步骤3通过验证模块完成。如图所示,适配模块与用户交互时发来用户的验证请求(包括验证码、浏览ID等),验证请求发送到验证模块,验证模块对验证码等信息进行验证,验证后结果返回到适配模块,如果结果错误则禁止发表留言;如果验证正确,则进入行为过滤模块对其发表留言的操作进行过滤。行为过滤后返回到适配模块,行为过滤模块验证正确后通过内容过滤模块进行内容过滤,对提交的留言进行审查、过滤,即步骤4,内容过滤后返回到适配模块,内容过滤需要入库时,连接到后台管理系统的连接模块执行后台相应的操作5,操作完成后由连接模块返回到适配模块与前台交互。
本发明中步骤4包括:
4.1判断是否在受限制留言区域发表留言,如果是执行步骤4.2;否则发表留言,执行步骤5;
4.2对发表留言的标题和内容进行内容扫描和过滤词匹配;
4.3根据过滤词敏感度的不同选择执行相应的过滤流程。
所述步骤4.2之前还包括判断发表留言是否带有链接,如果没有链接执行步骤4.2,否则检查链接的URL是否包含过滤词,如果包含过滤词则进行过滤词计数处理,否则直接执行步骤4.2。
上述技术方案中,步骤4.2包括:
4.2.1对留言的标题和内容进行过滤,判断是否包含过滤词,如果包含,进行过滤词计数处理,否则执行步骤4.3;
4.2.2对过滤结果分析,判断过滤词出现的次数是否大于某一设定值,如果大于则填写过滤的结果,否则不填写过滤词的结果。在过滤之前,会进行Unicode(统一字符编码标准)转义和大小写转换,Unicode可以混合输入和显示世界各国语言,并且能输入和显示通常的文本编辑软件所无法输入和显示的更多的汉字和世界各国文字。
上述步骤4.3包括:
4.3.1判断是否为特殊情况,如果是,设置所有留言先过滤,过滤之后存储通过的留言到发表区域,然后执行步骤5,否则执行步骤4.3.2;
4.3.2判断4.2检测到的过滤词敏感度是否最高,如果是,先过滤留言,过滤后执行发表或删除操作,执行步骤5,否则执行步骤4.3.3;
4.3.3判断4.2检测到的过滤词总数是否超过设定值,如果是,先发表留言再过滤,过滤后执行发表或删除操作,否则直接执行步骤5。
如图5所示,为本发明先过滤后发表留言的优选流程图。本发明4.3.2中先过滤留言,过滤后执行发表或删除操作具体包括:
4.3.2.1将留言和需要过滤的原因等数据发给后台管理系统;
4.3.2.2数据插入数据库管理系统中;
4.3.2.3过滤留言;
4.3.2.4由数据库管理系统选取并修改过滤通过或删除的留言状态;
4.3.2.5发表过滤通过的留言。
图6为图5在本发明系统中应用的实施例解析图。
4.3.2.1用户接口将留言和需要过滤的原因等数据发给后台管理系统中的连接模块,如图6所示;4.3.2.2连接模块将数据插入数据库管理系统数据库相应的表中;4.3.2.3管理员通过后台管理模块审核留言,并将过滤通过或删除的留言发给连接模块;4.3.2.4数据库管理系统选取并修改过滤通过或删除的留言状态;4.3.2.5连接模块将过滤通过的留言发给提交管理模块。
如图7所示,为本发明先发表后过滤留言的优选流程图。本发明4.3.3中先发表留言再过滤,过滤后执行发表或删除操作具体包括:
4.3.3.1’将已发表未过滤但有疑义的留言发到后台管理系统;
4.3.3.2’数据插入数据库管理系统中;
4.3.3.3’过滤留言;
4.3.3.4’数据库管理系统更改过滤后需要删除的留言状态;
4.3.3.5’批量删除需要删除的留言。
图8为图7在本发明系统中应用的实施例解析图。
先发表后过滤的留言是已经发布到线上的数据,但是有一定的嫌疑。它是由系统认为有嫌疑的留言或发贴,再由用户接口将数据发给提交管理模块从而发到线上,再执行以下步骤:
4.3.3.1’由传递模块将已发表未过滤但有疑义的留言发到连接模块;4.3.3.2’由连接模块将数据插入数据库管理系统数据库相应的表中;4.3.3.3’管理员通过后台管理模块审核先需要过滤的留言;认为需要删除的留言会由后台管理模块发给连接模块;4.3.3.4’数据库管理系统更改过滤后需要删除的留言状态;4.3.3.5’连接模块发给提交管理模块,批量删除需要删除的留言。
本发明网络留言过滤方法通过浏览分配ID,可以为每一次浏览页面生成唯一的ID,同时设定了ID最大使用次数,并且产生图片验证码和内嵌于客户端浏览器的一段脚本验证函数。当用户提交留言时,将同时提交该脚本计算出的一个值,经过验证,从而确认用户是否在有效页面中进行提交,而不是用户伪造的。本发明网络留言过滤的方式有:1.用户浏览时为其分配浏览ID,并且获得随机验证码信息;2.在发表留言时,判断浏览ID和验证码的有效性,只有有浏览ID并且验证码正确才可以发帖;3.对于发过的留言对其操作进行统计,如果留言频率超过一定值,则对此用户进行相应操作;对留言发表的时间间隔也设置某一设定值,为正常人发帖的时间间隔,机器留言时间快,时间间隔短,超过一定频率的连续留言判定为恶意垃圾留言;4.对留言内容进行过滤,对不符合内容的留言进行删除。在用户发表留言时根据发表的内容将要发表的留言分成两种,对于不需要实时过滤的留言,服务器压力小可以先发表后审核,对于敏感度级别较高的留言可以采用先发到后台,经过滤后再发到前台浏览,两种方式的结合可以使网络留言后台反垃圾系统即不会造成对所有留言同时过滤,造成服务器负荷太大,也不会漏掉已发表的垃圾留言,后续还会进行过滤和审查。
综上所述,本发明网络留言系统及留言过滤方法可以有效地遏制垃圾留言。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围。

Claims (30)

1.一种网络留言系统,包括用户接口、用户操作控制模块、生成验证码模块及后台管理系统,其中,
用户接口,与用户操作控制模块和后台管理系统连接,负责将后台管理系统的数据按一定的模板组装成用户可见的页面,与用户的请求交互;
用户操作控制模块,与用户接口及生成验证码模块相连,用于对留言的内容、浏览、发表等操作进行控制;
生成验证码模块,与用户操作控制模块相连,用于产生验证码图片;
所述后台管理系统包括连接模块、后台管理模块、数据库管理系统及提交管理模块,
连接模块,连接用户接口到提交管理模块、数据库管理系统及后台管理模块,执行用户操作控制模块和后台传来的管理操作;
后台管理模块:与连接模块相连,用于对信息进行控制管理;
数据库管理系统:与连接模块相连,用于对数据的读写和控制操作;
提交管理模块:与连接模块相连,用于对所有提交的留言内容进行管理和控制,并控制后台管理系统中的各个模块进行相应操作。
2.如权利要求1所述的网络留言系统,其中,所述用户操作控制模块及后台管理系统之间还包括适配模块,适配模块还与用户接口连接,为用户接口提供统一的接口。
3.如权利要求1或2所述的网络留言系统,其中,所述用户操作控制模块包括行为过滤模块,与用户接口相连,用于对递交留言操作进行递交操作频率等控制。
4.如权利要求3所述的网络留言系统,其中,所述用户操作控制模块包括内容过滤模块,与用户接口相连,用于对递交操作的留言进行内容检测过滤及为后台管理系统提供支持。
5.如权利要求4所述的网络留言系统,其中,所述内容过滤模块还包括关键词检查模块、网址检查模块,它们分别与用户接口相连;关键词检查模块用于过滤留言中的检索词;网址检查模块用于过滤留言链接的网址是否包含过滤词。
6.如权利要求4所述的网络留言系统,其中,所述内容过滤模块还包括过滤流程选择模块,与用户接口相连,用于根据过滤词敏感度级别选择不同的过滤流程。
7.如权利要求1所述的网络留言系统,其中,所述后台管理系统还包括传递模块:连接提交管理模块及连接模块,用于将提交管理模块产生的管理指令转发到后台管理系统。
8.如权利要求1、2、4、5、6或7任一所述的网络留言系统,其中,所述用户操作控制模块包括安全获取模块、验证模块;
安全获取模块:与用户接口相连,并且和生成验证码模块相连,用于用户接口每次重建页面时,和安全获取模块交互,获得安全相关数据;
验证模块:与用户接口相连,用于用户的每次递交操作时对用户输入的验证信息进行验证。
9.如权利要求8所述的网络留言系统,其中,所述安全获取模块还包括浏览ID分配模块,与用户接口相连,在获得用户浏览页面信息时分配随机的浏览ID。
10.如权利要求8所述的网络留言系统,其中,所述安全获取模块还包括脚本验证模块,与用户接口相连,用于获得用户浏览页面信息时生成内嵌于浏览器的脚本验证函数。
11.如权利要求8所述的网络留言系统,其中,所述验证模块包括计数模块,与用户接口相连,用于验证用户重复输入的时间间隔和重复输入的次数。
12.如权利要求8所述的网络留言系统,其中,所述生成验证码模块包括:验证码图片获取模块及验证码生成模块;
验证码图片获取模块:与用户操作控制模块中的安全获取模块相连,由安全获取模块调用并连接到验证码生成模块,将安全相关的数据传递到验证码生成模块,并获取产生的验证码图片传回安全获取模块;
验证码生成模块:与验证码图片获取模块相连,产生图片验证码,包括数字和字母。
13.如权利要求8所述的网络留言系统,其中,所述生成验证码模块包括小图生成模块:与用户操作控制模块中的安全获取模块相连,产生包含数字的小图验证码。
14.一种网络留言过滤方法,包括如下步骤:
步骤1:获得用户浏览页面的信息,产生随机的浏览ID;
步骤2:判断是否需要验证码,如果需要则产生验证码;否则执行步骤4;
步骤3:接收到用户输入的验证码信息,判断浏览ID的有效性,如果无效则结束,否则判断输入的验证码是否正确,不正确则结束,否则执行步骤4;
步骤4:对提交的留言进行过滤,根据过滤结果执行相应的发表或删除操作。
15.如权利要求14所述的方法,其中,步骤4之后还包括:
步骤5:将提交的留言存入后台管理系统。
16.如权利要求14所述的方法,其中,步骤3之后还包括,
步骤4’:判断发表留言的频率是否超过设置的频率阈值,超过则结束,否则执行步骤4。
17.如权利要求14所述的方法,其中,步骤2判断需要验证码之后还包括:产生验证脚本。
18.如权利要求17所述的方法,其中,所述步骤3在接收到用户输入的验证码信息之后判断浏览ID有效性之前还包括:产生验证脚本计算值;浏览ID有效之后还包括:判断验证脚本所产生的计算值是否正确,不正确则结束,否则执行步骤4。
19.如权利要求14所述的方法,其中,步骤2是否需要验证码包括:对用户类别进行分析,如果是匿名用户则需要验证码,否则不需要验证码。
20.如权利要求14所述的方法,其中,步骤2是否需要验证码包括:
对已注册用户进行分析,如果是老用户则不需要验证码,否则判断新注册用户发表留言数目是否大于某一设定值,如果不大于则需要验证码,否则判断限制日期是否超过,如果超过则不需要验证码,否则需要验证码。
21.如权利要求14所述的方法,其中,步骤2中产生验证码包括:生成灰度图验证码的大图片验证码或者生成数字的小图验证码。
22.如权利要求16所述的方法,其中,所述发表留言的频率包括:记录不同用户名对应的发表留言频率。
23.如权利要求14所述的方法,其中,所述步骤3之后还包括:判断用户重复留言的时间间隔和重复输入的次数,如果超过则结束,否则执行步骤4。
24.如权利要求14-23任一所述的方法,其中,步骤4包括:
4.1判断是否在受限制留言区域发表留言,如果是执行步骤4.2;否则发表留言,执行步骤5;
4.2对发表留言的标题和内容进行内容扫描和过滤词匹配;
4.3根据过滤词敏感度的不同选择执行相应的过滤流程。
25.如权利要求24所述的方法,其中,所述步骤4.2之前还包括判断发表留言是否带有链接,如果没有链接执行步骤4.2,否则检查链接的网址是否包含过滤词,如果包含过滤词则进行过滤词计数处理,否则直接执行步骤4.2。
26.如权利要求25所述的方法,其中,所述步骤4.2包括:
4.2.1对留言的标题和内容进行过滤,判断是否包含过滤词,如果包含进行过滤词计数处理,否则执行步骤4.3;
4.2.2对过滤结果分析,判断过滤词出现的次数是否大于某一设定值,如果大于则填写过滤的结果,否则不填写过滤词的结果。
27.如权利要求26所述的方法,其中,步骤4.2.1之前还包括:大小写转换和统一字符编码标准转义。
28.如权利要求24所述的方法,其中,步骤4.3包括:
4.3.1判断是否为特殊情况,如果是,设置所有留言先过滤,过滤之后将通过的留言发表到留言区域,然后执行步骤5,否则执行步骤4.3.2;
4.3.2判断4.2检测到的过滤词敏感度是否最高,如果是,先过滤留言,然后执行发表或删除操作,执行步骤5,否则执行步骤4.3.3;
4.3.3判断4.2检测到的过滤词总数是否超过设定值,如果超过,先发表留言再过滤,过滤后执行发表或删除操作,否则直接执行步骤5。
29.如权利要求28所述的方法,其中,4.3.2中先过滤留言,然后执行发表或删除操作包括:
4.3.2.1将留言和过滤的原因等数据发给后台管理系统;
4.3.2.2数据插入数据库管理系统中;
4.3.2.3过滤留言;
4.3.2.4由数据库管理系统选取并修改通过或删除的留言状态;
4.3.2.5将通过的留言发表到留言区域。
30.如权利要求28所述的方法,其中,4.3.3中先发表留言再过滤,过滤后执行发表或删除操作包括:
4.3.3.1’将已发表未过滤但有疑义的留言数据发到后台管理系统;
4.3.3.2’数据插入数据库管理系统中;
4.3.3.3’过滤留言;
4.3.3.4’数据库管理系统更改过滤后需要删除的留言状态;
4.3.3.5’批量删除需要删除的留言。
CN2006101408475A 2006-10-12 2006-10-12 网络留言系统及留言过滤方法 Active CN1949780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2006101408475A CN1949780B (zh) 2006-10-12 2006-10-12 网络留言系统及留言过滤方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2006101408475A CN1949780B (zh) 2006-10-12 2006-10-12 网络留言系统及留言过滤方法

Publications (2)

Publication Number Publication Date
CN1949780A true CN1949780A (zh) 2007-04-18
CN1949780B CN1949780B (zh) 2012-04-18

Family

ID=38019158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101408475A Active CN1949780B (zh) 2006-10-12 2006-10-12 网络留言系统及留言过滤方法

Country Status (1)

Country Link
CN (1) CN1949780B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877704A (zh) * 2010-06-02 2010-11-03 中兴通讯股份有限公司 一种进行网络访问控制的方法及服务网关
CN102315952A (zh) * 2010-06-29 2012-01-11 百度在线网络技术(北京)有限公司 一种用于社区网络中检测垃圾帖子的方法与设备
CN102315955A (zh) * 2010-06-30 2012-01-11 上海薄荷信息科技有限公司 一种为垃圾信息设置障碍的控制方法以及相应的控制装置
CN103065027A (zh) * 2011-10-19 2013-04-24 腾讯科技(深圳)有限公司 一种提供给第三方sns网页游戏的留言方法及装置
CN103095558A (zh) * 2012-12-20 2013-05-08 华南理工大学 一种面向无线射频移动终端的在线留言方法及其系统
CN103106217A (zh) * 2011-11-15 2013-05-15 腾讯科技(深圳)有限公司 一种留言信息的处理方法和设备
CN106210014A (zh) * 2016-07-04 2016-12-07 微梦创科网络科技(中国)有限公司 一种信息处理方法和设备
CN107508734A (zh) * 2017-08-17 2017-12-22 北京小米移动软件有限公司 多媒体留言播放方法及装置
CN111556109A (zh) * 2020-04-17 2020-08-18 北京达佳互联信息技术有限公司 请求处理方法、装置、电子设备和存储介质
CN112887291A (zh) * 2021-01-20 2021-06-01 中国科学院计算技术研究所 基于深度学习的i2p流量识别方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7013300B1 (en) * 1999-08-03 2006-03-14 Taylor David C Locating, filtering, matching macro-context from indexed database for searching context where micro-context relevant to textual input by user
CN1350241A (zh) * 2001-12-03 2002-05-22 上海交通大学 网络聊天室内容安全监管系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877704A (zh) * 2010-06-02 2010-11-03 中兴通讯股份有限公司 一种进行网络访问控制的方法及服务网关
WO2011150692A1 (zh) * 2010-06-02 2011-12-08 中兴通讯股份有限公司 一种进行网络访问控制的方法及服务网关
CN102315952A (zh) * 2010-06-29 2012-01-11 百度在线网络技术(北京)有限公司 一种用于社区网络中检测垃圾帖子的方法与设备
CN102315955A (zh) * 2010-06-30 2012-01-11 上海薄荷信息科技有限公司 一种为垃圾信息设置障碍的控制方法以及相应的控制装置
CN103065027A (zh) * 2011-10-19 2013-04-24 腾讯科技(深圳)有限公司 一种提供给第三方sns网页游戏的留言方法及装置
CN103065027B (zh) * 2011-10-19 2017-02-22 腾讯科技(深圳)有限公司 一种提供给第三方sns网页游戏的留言方法及装置
CN103106217A (zh) * 2011-11-15 2013-05-15 腾讯科技(深圳)有限公司 一种留言信息的处理方法和设备
CN103106217B (zh) * 2011-11-15 2016-09-14 腾讯科技(深圳)有限公司 一种留言信息的处理方法和设备
CN103095558B (zh) * 2012-12-20 2016-06-22 华南理工大学 一种面向无线射频移动终端的在线留言方法及其系统
CN103095558A (zh) * 2012-12-20 2013-05-08 华南理工大学 一种面向无线射频移动终端的在线留言方法及其系统
CN106210014A (zh) * 2016-07-04 2016-12-07 微梦创科网络科技(中国)有限公司 一种信息处理方法和设备
CN107508734A (zh) * 2017-08-17 2017-12-22 北京小米移动软件有限公司 多媒体留言播放方法及装置
CN111556109A (zh) * 2020-04-17 2020-08-18 北京达佳互联信息技术有限公司 请求处理方法、装置、电子设备和存储介质
CN111556109B (zh) * 2020-04-17 2021-05-18 北京达佳互联信息技术有限公司 请求处理方法、装置、电子设备和存储介质
CN112887291A (zh) * 2021-01-20 2021-06-01 中国科学院计算技术研究所 基于深度学习的i2p流量识别方法及系统

Also Published As

Publication number Publication date
CN1949780B (zh) 2012-04-18

Similar Documents

Publication Publication Date Title
CN1949780A (zh) 网络留言系统及留言过滤方法
CN101312393B (zh) 一种sql注入漏洞检测方法及系统
CN1249605C (zh) 信息提供服务器、终端装置及其控制方法以及信息提供系统
CN1235381C (zh) 安全的文件传输方法与系统
US8359651B1 (en) Discovering malicious locations in a public computer network
CN102891897B (zh) 网页分享方法和服务器及客户端
US8693782B2 (en) Image based spam blocking
CN1588879A (zh) 一种互联网内容过滤系统及过滤方法
CN1926493A (zh) 用于将证书链接到签名文件的方法和系统
US20110314152A1 (en) Systems and methods for determining compliance of references in a website
CN1845489A (zh) 验证信息生成装置及其方法、反自动机验证装置及其方法
CN101971591A (zh) 分析网址的系统及方法
CN108399164B (zh) 基于模板的电子公文分类分级系统
CN107896219B (zh) 一种网站脆弱性的检测方法、系统及相关装置
CN1506873A (zh) 在全异的网域之间验证和传送可核实授权的方法和系统
CN1728039A (zh) 用于处理数字权利管理系统中的权利对象的方法和系统
CN101042699A (zh) 基于访问控制的安全搜索引擎系统
CN102902917A (zh) 用于预防钓鱼式攻击的方法和系统
JP2006236003A (ja) データエントリ方法
CN106529294B (zh) 一种用于手机病毒判定与过滤的方法
CN1464402A (zh) 用户身份确认和授予操作权限的方法
CN1695101A (zh) 有选择性地允许和禁止网络上访问软件应用的系统及方法
CN1929376A (zh) 建立通用名身份认证系统并存储用户信息的方法
CN1845119A (zh) 认证信息的存储、管理与代理认证的方法和系统
CN103235918B (zh) 可信文件的收集方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant