CN101547211B - 一种针对ip地址段扫描发现特定网站的方法 - Google Patents

一种针对ip地址段扫描发现特定网站的方法 Download PDF

Info

Publication number
CN101547211B
CN101547211B CN2009101428627A CN200910142862A CN101547211B CN 101547211 B CN101547211 B CN 101547211B CN 2009101428627 A CN2009101428627 A CN 2009101428627A CN 200910142862 A CN200910142862 A CN 200910142862A CN 101547211 B CN101547211 B CN 101547211B
Authority
CN
China
Prior art keywords
address field
address
port
specific website
website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101428627A
Other languages
English (en)
Other versions
CN101547211A (zh
Inventor
孙伟力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING SHENGSHI GUANGMING SOFTWARE TECHNOLOGY Co Ltd
Original Assignee
BEIJING SHENGSHI GUANGMING SOFTWARE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING SHENGSHI GUANGMING SOFTWARE TECHNOLOGY Co Ltd filed Critical BEIJING SHENGSHI GUANGMING SOFTWARE TECHNOLOGY Co Ltd
Priority to CN2009101428627A priority Critical patent/CN101547211B/zh
Publication of CN101547211A publication Critical patent/CN101547211A/zh
Application granted granted Critical
Publication of CN101547211B publication Critical patent/CN101547211B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明的一种针对IP地址段扫描发现特定网站的方法，包括以下步骤：①输入IP地址段，对所述IP地址段内的每个IP地址在网络上进行扫描；②检测所述每个IP地址所属的网络终端的操作系统的用于提供网页浏览服务的端口是否开放，若所述端口开放，则获取所述端口的默认页面；③对获取的所述默认页面的标题和/或内容通过关键词进行筛选，若所述默认页面包含所述关键词，则报警提示。本发明可以对任意IP地址段进行扫描发现该IP地址段内是否存在包含所述关键词的特定网站，不仅针对性强，而且效率高、准确度高。

Description

一种针对IP地址段扫描发现特定网站的方法
技术领域
本发明涉及一种网络信息安全方法。具体地说，涉及一种自定义IP段扫描发现特定网站的方法。 
背景技术
互联网发展迅猛，网站数量激增。但是一些网站存在非法的内容，这很容易引发网络违法犯罪行为，特别是一些未进行备案的网站，网络监管部门无法对其进行监管。对于存在非法内容的网站，单纯依靠网民举报或网络监管人员进行逐一排查远远不够，网络监管部门需要能够主动地去发现。 
现有一种在互联网上发现网站的蜘蛛搜索技术，又名网络爬虫技术，通过输入一个起始网站的统一资源定位符(Uniform Resource Locator，英文缩写为URL)也被称为网页地址，系统会到该网页地址上上搜索全部的网页，然后在每一个网页中寻找引用的其他的网页地址，根据这种引用关系无限制的循环搜索，找到数量庞大的网页，然后进行信息过滤，找到包含特定关键词的网页。该现有技术的缺点是：第一，只能进行不确定的遍历搜索，无法针对特定IP地址段进行搜索发现特定网站(在本专利申请中，所述特定网站是指包含特定关键词的网站，例如含有非法词语的网站)；第二，对服务器性能要求很高，同时要求服务器具有海量数据的存储能力；第三，发现特定网站的效率低；第四，对与其他网站之间无引用关系的网站、需要用户登陆验证的网站等不能进行发现。 
另外一种方法是在网站服务器上安装网络监管客户端进行网络数据抓包，对获取的网页进行筛选，当找到包含特定关键词的网页时将该网页的信息传送给网络监管服务器端。该现有技术存在的缺点是：第一，只能针对已知的网站服务器进行特定网站寻找，对未备案的网站无法实施；第二，需要 安装网络监管客户端，使用起来不方便，而且网络客户端的运行也会降低网站服务器的工作效率，影响网站的运行速度。 
在互联网上，任何网站的网页都必然还有一定的内容，也就是说，由关键词构成的内容是网页的重要组成部分。虽然因为人为的因素，相同或等同的内容的表达方式因人而异，但可选择的关键词的范围则是相对固定的。这样为用关键词作为技术特征提供了应用基础。 
本文中，IP是英文Internet Protocol的缩写，意为国际互联网络通讯协定。IP地址是互联网通信地址，采用标准格式，具有全球唯一性，在互联网上寻找一个主机必须靠IP地址才能找到。端口(port)是计算机与外界通讯交流的出口，即计算机的操作系统为需要与互联网通信的应用程序分配的出口。操作系统的端口有许多个，以端口号加以区分，不同端口号的端口对应不同的功能，例如80端口被默认为用于网页浏览。在互联网上，各主机间通过TCP/IP协议发送和接收数据包，各个数据包根据其目的主机的IP地址来进行互联网络中的传输，当目的主机接收到数据包后，将根据数据包包含的目的端口号，把数据发送到相应端口，对应的程序就会收到数据包。计算机操作系统为应用程序与TCP/IP协议交互提供了称为套接字(Socket)的接口，套接字里面有丰富的网络开发函数，可以完成多种网络通讯。默认页面是指提供互联网网页服务的主机中预先设置的默认被访问的页面，主机中存在若干可以被访问的页面，如果请求访问的人不指明要访问哪个页面时，主机默认就把设置好的页面返回给发送请求的人，每一个默认页面都有内容和标题。 
发明内容
为此，本发明要解决现有技术不能针对IP地址段扫描发现特定网站的问题，提出一种针对IP地址段扫描发现特定网站的方法。 
为解决上述技术问题，本发明的一种针对IP地址段扫描发现特定网站的方法，包括以下步骤： 
①输入IP地址段，对所述IP地址段内的每个IP地址在网络上进行扫描； 
②检测所述每个IP地址所属的网络终端的操作系统的用于提供网页浏览服务的端口是否开放，若所述端口开放，则获取所述端口的默认页面； 
③对获取的所述默认页面的标题和/或内容通过关键词进行筛选，若所述默认页面包含所述关键词，则报警提示。 
所述步骤③中的所述根据获取的所述默认页面进行判断是根据获取的所述默认页面的标题进行判断。 
所述步骤③中还包括在所述报警提示之前或之后进行数据储存。 
所述步骤①中采用多线程进行扫描。 
上述获取所述端口的默认页面的步骤是通过创建套接字与用于提供网页浏览服务的端口连接，并发送HTTP协议的get请求报文来实现的。 
本发明的上述技术方案相比现有技术具有以下优点：第一，可以对任意的IP地址段进行扫描发现特定网站，由于IP地址与地理区域存在关联，各地的网络监管部门可以针对所辖区域的IP地址段进行扫描，这样可以掌握所辖区域内的特定网站情况，不论该特定网站是否备案、是否与其他网站存在引用关系；第二，对服务器设备要求不高，不需要海量的存储能力；第三，采用多线程扫描，发现特定网站的效率高。 
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中 
图1是本发明的流程图； 
图2是本发明的中间通信过程图。 
具体实施方式
如图1所示，本发明的针对IP地址段扫描发现特定网站的方法，包括下列步骤：第一步，录入需扫描的IP地址段，所述IP地址段是指两个IP地址之间的所有IP地址的集合，如60.214.176.24-60.214.189.252就是一 个IP地址段，根据所述IP地址段内包含的IP地址数量的多少采用多线程在网络上扫描遍历所述IP地址段内的每一个IP地址。第二步，判断所述每一个IP地址所属的网络终端上是否存在网站服务，方法是通过检测所述网络终端的操作系统的用于提供网页浏览服务的端口是否开放，所述操作系统一般默认80端口用于提供网页浏览等服务，如果所述端口开放，则认为存在网站服务，进一步获取所述端口的默认页面；如果所述端口关闭，则认为不存在网站服务，返回进行下一个IP地址的扫描。第三步，对获取的所述默认页面的内容通过关键词进行筛选，若所述默认页面包含所述关键词，则进行数据信息存储并报警提示；如果所述默认页面不包含所述关键词则返回进行下一个IP地址的扫描。所述默认页面的内容不可能为空，内容里面必然包含有所述关键词，虽然人们对于同一事物的表述有差异，但是所述关键词还是可以确定的，人们通过所述关键词进行检索能够找到目标网页。特别是网络监管部门需要主动地去发现所辖区域内包含非法内容的网站，例如涉及毒品内容的网站，所述关键词可以设置为“毒品”、“白粉”、“海洛因”、“摇头丸”，这样在将所述IP地址段设置为包含所辖区域内的所有IP地址的条件下，网络监管部门就可以发现所辖区域内涉及毒品内容的网站，从而能够进行下一步的监管。 
如图2所示，本发明的中间通信过程，先是创建套接字，请求与IP地址对应的所述网络终端的所述操作系统的80端口建立连接，如果建立连接成功，说明所述80端口是开放的，所述IP地址对应的可能是网站服务器；如果建立连接失败，说明所述80端口是关闭的，在排除网站的架设者更改所述操作系统用于提供网页浏览服务的端口的情况下，可以明确判断所述IP地址对应的不是网站服务器。在与所述80端口建立连接成功之后，在所述套接字上写HTTP协议的get请求，所述网站服务器在接到所述get请求后会将其默认页面发给请求者，请求者在所述套接字上获取所述默认页面，对所述默认页面的内容进行关键词筛选，如果有则对信息进行存储并报警提示；如果没有，则返回；然后关闭所述套接字，结束与该IP地址对应的所述网络终端的所述操作系统的80端口的通信。 
本发明可以针对任意的IP地址段进行扫描发现特定网站，不仅针对性强，而且效率高，不存在漏检。使各地的网络监管部门可以主动地去发现所辖区域IP地址段内的特定网站情况，不论网站备案与否，从而为网络监管提供了有利条件。 
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。 

Claims (4)

1.一种针对IP地址段扫描发现特定网站的方法，其特征在于：包括以下步骤：
①输入IP地址段，对所述IP地址段内的每个IP地址在网络上进行扫描；
②检测所述每个IP地址所属的网络终端的操作系统的用于提供网页浏览服务的端口是否开放，若所述端口开放，则获取所述端口的默认页面；
③对获取的所述默认页面的标题和/或内容通过关键词进行筛选，若所述默认页面包含所述关键词，则报警提示。
2.根据权利要求1所述的针对IP地址段扫描发现特定网站的方法，其特征在于：所述步骤③中还包括在所述报警提示之前或之后进行数据储存。
3.根据权利要求1所述的针对IP地址段扫描发现特定网站的方法，其特征在于：所述步骤①中采用多线程进行扫描。
4.根据权利要求1至3任一所述的针对IP地址段扫描发现特定网站的方法，其特征在于：上述获取所述端口的默认页面的步骤是通过创建套接字与用于提供网页浏览服务的端口连接，并发送HTTP协议的get请求报文来实现的。
CN2009101428627A 2009-05-19 2009-05-19 一种针对ip地址段扫描发现特定网站的方法 Expired - Fee Related CN101547211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009101428627A CN101547211B (zh) 2009-05-19 2009-05-19 一种针对ip地址段扫描发现特定网站的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009101428627A CN101547211B (zh) 2009-05-19 2009-05-19 一种针对ip地址段扫描发现特定网站的方法

Publications (2)

Publication Number Publication Date
CN101547211A CN101547211A (zh) 2009-09-30
CN101547211B true CN101547211B (zh) 2012-07-04

Family

ID=41194094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101428627A Expired - Fee Related CN101547211B (zh) 2009-05-19 2009-05-19 一种针对ip地址段扫描发现特定网站的方法

Country Status (1)

Country Link
CN (1) CN101547211B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888317A (zh) * 2010-06-22 2010-11-17 济宁盛世光明软件技术有限公司 跨网段扫描局域网内计算机的方法
CN105430068B (zh) * 2015-11-09 2019-06-11 Tcl集团股份有限公司 一种基于局域网的云复制方法及系统
CN109040333B (zh) * 2018-07-10 2021-12-07 北京秦淮数据有限公司 一种域名备案管理系统
CN111786960A (zh) * 2020-06-10 2020-10-16 中国移动通信集团黑龙江有限公司 网站备案情况核查的方法、装置、设备及存储介质
CN112235336A (zh) * 2020-07-08 2021-01-15 国家计算机网络与信息安全管理中心 一种基于协议指纹的区块链节点主动发现方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383855A (zh) * 2007-09-04 2009-03-11 沈阳 一种基于ip地址信息获取计算机精确地理位置信息的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383855A (zh) * 2007-09-04 2009-03-11 沈阳 一种基于ip地址信息获取计算机精确地理位置信息的方法

Also Published As

Publication number Publication date
CN101547211A (zh) 2009-09-30

Similar Documents

Publication Publication Date Title
CN102239673B (zh) 剖析电信网络中的数据业务的方法和系统
CN110650128B (zh) 一种检测以太坊数字货币盗取攻击的系统及方法
CN103179132B (zh) 一种检测和防御cc攻击的方法及装置
CN102143243B (zh) 动态路由处理方法和装置及其家庭网关
EP2924941B1 (en) Method and device for preventing service illegal access
CN103220371B (zh) 内容适配方法及系统
US20050086340A1 (en) System and methods for robust discovery of servers and services in a heterogeneous environment
CN101547211B (zh) 一种针对ip地址段扫描发现特定网站的方法
CN102833262A (zh) 基于whois信息的钓鱼网站收集、鉴定方法和系统
CN102752300A (zh) 动态防盗链系统和动态防盗链方法
CN102497632A (zh) 基于智能手机的网页访问控制方法和系统以及智能手机
EP1684534A2 (en) Method of and apparatus for improving data processing speed of an identity module
CN104363252B (zh) 网站安全检测方法与装置
CN102737119A (zh) 统一资源定位符的查找方法、过滤方法和相关设备及系统
CN108418780A (zh) Ip地址的过滤方法及装置、系统、dns服务器
CN110062064A (zh) 一种地址解析协议arp请求报文响应方法及装置
CN103957282A (zh) 一种域内终端用户域名解析加速系统及其方法
CN106302384A (zh) Dns报文处理方法及装置
JP4009591B2 (ja) データベースにアクセスするためのドメインネーミングシステム（ｄｎｓ）
US20190334936A1 (en) Malicious website discovery using web analytics identifiers
US10225358B2 (en) Page push method, device, server and system
CN102271331B (zh) 一种检测业务提供商sp站点可靠性的方法及系统
CN110233821A (zh) 一种智能设备网络空间的探测和安全扫描系统及其方法
CN103647774A (zh) 基于云计算的web内容信息过滤方法
CN103227815B (zh) 控制浏览器缓存的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: BEIJING SUNSHINE SOFTWARE TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: JINING SHENGSHI GUANGMING SOFTWARE TECHNOLOGY CO., LTD.

Effective date: 20120413

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 272000 JINING, SHANDONG PROVINCE TO: 100084 HAIDIAN, BEIJING

TA01 Transfer of patent application right

Effective date of registration: 20120413

Address after: 100084 A, block A-4, No. 28, information road, Beijing, Haidian District, 04A-3

Applicant after: BEIJING SHENGSHI GUANGMING SOFTWARE TECHNOLOGY CO., LTD.

Address before: 272000 Shandong city of Jining province high tech Development Zone Jinyu Road No. 54 Park three room 4C208

Applicant before: Jining Shengshi Guangming Software Technology Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120704

Termination date: 20210519