CN106357482A - 一种基于网络协议实施监控网页访问的方法 - Google Patents
一种基于网络协议实施监控网页访问的方法 Download PDFInfo
- Publication number
- CN106357482A CN106357482A CN201611076033.XA CN201611076033A CN106357482A CN 106357482 A CN106357482 A CN 106357482A CN 201611076033 A CN201611076033 A CN 201611076033A CN 106357482 A CN106357482 A CN 106357482A
- Authority
- CN
- China
- Prior art keywords
- value
- network
- packet
- content
- web
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Abstract
本发明公开了一种基于网络协议实施监控网页访问的方法，其特征在于包括以下步骤：S1：通过监控路由器，实现网页请求数据包采集，收集网络数据中的网页请求数据包；S2：网页请求数据包解析，获取httpHost值和网络路径值；S3：请求返回包采集，收集网络数据中的网页请求返回包；S4：请求返回包解析，获取获取返回内容长度和返回内容，并将其写入缓存；S5：网页请求封装，将网络请求与返回的值进行整合，获得网页的内容。本发明的有益效果如下：1、无需安装客户端，方便且隐蔽；2、通过抓取、解析路由器上收发的网络数据包实现监控，保护隐私数据的信息安全；3、可以获取被监控的设备中所浏览的所有网页记录，准确高效。
Description
技术领域
本发明涉及信息安全技术领域，特别涉及一种基于网络协议实施监控网页访问的方法。
背景技术
随着科技的发展，人们对网络的依赖也越来越大，网络泄密问题也随之显现出来，各大公司，各种部门也不得不对职员的网络使用情况进行管控，防止职员泄露机密信息。
目前市面上也有很多的网络管控工具，大多数都是对电脑进行管控，且需在电脑上安装客户端，由客户端收集数据发送到监控端实现监控。这种方式就必然会有以下问题：1：客户端被卸载或禁用后就不会再起到监控作用；2：由于客户端需要在后台运行，不断向服务器发送数据必然会使耗电量增大，显然在移动设备上是不适用的。
发明内容
本发明针对现有技术的缺陷，提供了一种基于网络协议实施监控网页访问的方法，能有效的解决上述现有技术存在的问题。
一种基于网络协议实施监控网页访问的方法，包括以下步骤：
S1：通过监控路由器，实现网页请求数据包采集，收集网络数据中的网页请求数据包；
S2：网页请求数据包解析，获取httpHost值和网络路径值；
S3：请求返回包采集，收集网络数据中的网页请求返回包；
S4：请求返回包解析，获取获取返回内容长度和返回内容，并将其写入缓存；
S5：网页请求封装，将网络请求与返回的值进行整合，获得网页的内容。
作为优选，所述S1的详细步骤如下：
S11：通过第三方API提供的相应接口抓取用户使用网络过程中产生的数据包，再通过浏览器的协议类型、端口号、Host和网络请求地址进行过滤，若发现对应数据包则记录起来；
S12：获取HTTP请求的Accept值，从记录的数据包中扫描特征“Accept:”到“0D0A”截取字符串即为Accrpt值；
S13：判断请求是否为网页请求，若Accept值中包含“text/html”则为网页请求，执行S2；否则表示不是网页请求，结束解析。
作为优选，所述S2的详细步骤如下：
S21：httpHost解析，从数据包中的“Host:”到“0D0A”截取的字符串即为httpHost值；
S22：网络路径解析，从数据包中的“GET”到“HTTP/1.1”截取的字符串即为网络路径值。
作为优选，所述S3的详细步骤如下：
S31：通过第三方API提供的相应接口抓取用户使用网络过程中产生的数据包，再通过返回包协议类型：TCP-HTTP和端口号：80，找到相应数据包并开始记录；
S32：获取返回内容类型，从数据包中的“Content-Type：”到第一个“；”截取字符串即为返回内容类型；
S33：判断返回内容类型是否为“text/html”，若是则是网页类型，执行S4；不是则结束解析。
作为优选，所述S4的详细步骤如下：
S41：获取返回内容长度命名为length；从http消息头“0D0A0D0A”位置后为返回内容长度的十六进制字符串值，该字符串以“0D0A”结束，通过转换方法得到返回内容十进制长度值记为length；
S42：获取返回内容，从内容长度向后获取length个字节为返回内容；
S43：将返回内容写入到缓存；将内容进行解压，又因解压gz压缩内容的系统库只提供了对gz文件的解压操作，所以需将内容写入到一个后缀名为“.gz”的文件中；
S44：解压文件，调用系统库直接对上一步保存的缓存文件进行解压，解压后得到一个网页文件即html文件，并将该html存储到指定路径；
S45：解析文件，调用库函数对html文件进行解析，根据网页的标签属性获取对应的内容。
作为优选，所述S5的详细步骤如下：
S51：申请一个全局对象缓存获取到的数值列表；
S52：获取网络请求数据包的本地端口号，通过第三方API的相应接口可获取到网络请求数据包的本地端口号；
S53：网络请求数据包校验取值；将本地端口号做为key在缓存列表中查找是否存在数值，该数值应为S44得到的html文件路径和S45获取到的title值，若是则将该值与S2获取到的httpHost和网络路径组合起来即为一个完整的网页访问数据；若不是则执行S54；
S54：若S53判断数值不存在，则将S2获取到的httpHost和网络路径以本地端口号为key存储到缓存列表中；
S55：获取网络请求返回包的本地端口号，通过第三方API的相应接口可获取到网络请求返回包的本地端口号；
S56：网络请求返回包校验取值；将本地端口号做为key在缓存列表中查找是否存在数值，该数值应为S2获取到的httpHost和网络路径，若是则将该值与S44得到的html文件路径和S45获取到的title值组合起来即为一个完整的网页访问数据；若不是则执行S57；
S57：若S55判断数值不存在，则将S44得到的html文件路径和S45获取到的title值以本地端口号为key存储到缓存列表中。
与现有技术相比本发明的优点在于：1、无需安装客户端，方便且隐蔽；2、通过抓取、解析路由器上收发的网络数据包实现监控，保护隐私数据的信息安全；3、可以获取被监控的设备中所浏览的所有网页记录，准确高效。
具体实施方式
为使本发明的目的：技术方案及优点更加清楚明白，以下举实施例，对本发明做进一步详细说明。
一种基于网络协议实施监控网页访问的方法，包括以下步骤：
S1：网页请求数据包采集；
S11：通过第三方API提供的相应接口抓取用户使用网络过程中产生的数据包，再通过浏览器的协议类型、端口号、Host和网络请求地址进行过滤，若发现对应数据包则记录起来；
S12：获取HTTP请求的Accept值，从记录的数据包中扫描特征“Accept:”到“0D0A”截取字符串即为Accrpt值；
S13：判断请求是否为网页请求，若Accept值中包含“text/html”则为网页请求，执行S2；否则表示不是网页请求，结束解析。
S2：网页请求数据包解析；
S21：httpHost解析，从数据包中的“Host:”到“0D0A”截取的字符串即为httpHost值；
S22：网络路径解析，从数据包中的“GET”到“HTTP/1.1”截取的字符串即为网络路径值。
S3：请求返回包采集；
S31：通过第三方API提供提供的相应接口抓取用户使用网络过程中产生的数据包，再通过返回包协议类型：TCP-HTTP和端口号：80，找到相应数据包并开始记录；
S32：获取返回内容类型，从数据包中的“Content-Type：”到第一个“；”截取字符串即为返回内容类型；
S33：判断返回内容类型是否为“text/html”，若是则是网页类型，执行S4；不是则结束解析。
S4：请求返回包解析；
S41：获取返回内容长度命名为length；从http消息头“0D0A0D0A”位置后为返回内容长度的十六进制字符串值，该字符串以0D0A结束，通过转换方法及可得到返回内容十进制长度值记为length；
S42：获取返回内容，从内容长度向后获取length个字节为返回内容；
S43：将返回内容写入到缓存；由于返回内容是通过gz压缩后传输的，所以需要将内容进行解压，又因解压gz压缩内容的系统库只提供了对gz文件的解压操作，所以需将内容写入到一个后缀名为“.gz”的文件中；
S44：解压文件，调用系统库直接对上一步保存的缓存文件进行解压，解压后得到一个网页文件即html文件，并将该html存储到指定路径(存储至硬盘)；
S45：解析文件，调用库函数对html文件进行解析，根据网页的标签属性获取对应的内容。
例如取得网页的title标签可获得网页的标题；
获取百度用户账号的方法如下：
步骤一：直接通过文本读取的方式找到PageData.user节点，将内容存储到json对象中；
步骤二：通过json对象提供的方法获取到user_id(用户ID),user_name(用户名称)。
获取浏览的文本信息的方法如下：
通过网页解析接口(如Dom、jsoup等都可以解析网页内容)找到class＝"text"，id＝"text"的div标签；
步骤二：通过网页解析接口提供的方法获取到div内的文本内容。
S5：网页请求封装，要得到一个完整的信息需将网络请求与返回的值进行整合，由于每一次完整的会话本地端口号都相同的，所以可通过本地端口号进行匹配；
S51：申请一个全局对象缓存获取到的数值列表，本例申请了一个JSONArray对象
S52：获取网络请求数据包的本地端口号，通过第三方API的相应接口可获取到网络请求数据包的本地端口号；
S53：网络请求数据包校验取值；将本地端口号做为key在缓存列表中查找是否存在数值，该数值应为S44得到的html文件路径和S45获取到的title值，若是则将该值与S2获取到的httpHost和网络路径组合起来即为一个完整的网页访问数据；若不是则执行S54；
S54：若S53判断数值不存在，则将S2获取到的httpHost和网络路径以本地端口号为key存储到缓存列表中；
S55：获取网络请求返回包的本地端口号，通过第三方API的相应接口可获取到网络请求返回包的本地端口号；
S56：网络请求返回包校验取值；将本地端口号做为key在缓存列表中查找是否存在数值，该数值应为S2获取到的httpHost和网络路径，若是则将该值与S44得到的html文件路径和S45获取到的title值组合起来即为一个完整的网页访问数据；若不是则执行S57；
S57：若S55判断数值不存在，则将S44得到的html文件路径和S45获取到的title值以本地端口号为key存储到缓存列表中。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (6)
1.一种基于网络协议实施监控网页访问的方法，其特征在于包括以下步骤：
S1：通过监控路由器，实现网页请求数据包采集，收集网络数据中的网页请求数据包；
S2：网页请求数据包解析，获取httpHost值和网络路径值；
S3：请求返回包采集，收集网络数据中的网页请求返回包；
S4：请求返回包解析，获取获取返回内容长度和返回内容，并将其写入缓存；
S5：网页请求封装，将网络请求与返回的值进行整合，获得网页的内容。
2.根据权利要求1所述的一种基于网络协议实施监控网页访问的方法，其特征在于所述S1的详细步骤如下：
S11：通过第三方API提供的相应接口抓取用户使用网络过程中产生的数据包，再通过浏览器的协议类型、端口号、Host和网络请求地址进行过滤，若发现对应数据包则记录起来；
S12：获取HTTP请求的Accept值，从记录的数据包中扫描特征“Accept:”到“0D0A”截取字符串即为Accrpt值；
S13：判断请求是否为网页请求，若Accept值中包含“text/html”则为网页请求，执行S2；否则表示不是网页请求，结束解析。
3.根据权利要求2所述的一种基于网络协议实施监控网页访问的方法，其特征在于所述S2的详细步骤如下：
S21：httpHost解析，从数据包中的“Host:”到“0D0A”截取的字符串即为httpHost值；
S22：网络路径解析，从数据包中的“GET”到“HTTP/1.1”截取的字符串即为网络路径值。
4.根据权利要求3所述的一种基于网络协议实施监控网页访问的方法，其特征在于所述S3的详细步骤如下：
S31：通过第三方API提供的相应接口抓取用户使用网络过程中产生的数据包，再通过返回包协议类型：TCP-HTTP和端口号：80，找到相应数据包并开始记录；
S32：获取返回内容类型，从数据包中的“Content-Type：”到第一个“；”截取字符串即为返回内容类型；
S33：判断返回内容类型是否为“text/html”，若是则是网页类型，执行S4；不是则结束解析。
5.根据权利要求4所述的一种基于网络协议实施监控网页访问的方法，其特征在于所述S4的详细步骤如下：
S41：获取返回内容长度命名为length；从http消息头“0D0A0D0A”位置后为返回内容长度的十六进制字符串值，该字符串以“0D0A”结束，通过转换方法得到返回内容十进制长度值记为length；
S42：获取返回内容，从内容长度向后获取length个字节为返回内容；
S43：将返回内容写入到缓存；将内容进行解压，又因解压gz压缩内容的系统库只提供了对gz文件的解压操作，所以需将内容写入到一个后缀名为“.gz”的文件中；
S44：解压文件，调用系统库直接对上一步保存的缓存文件进行解压，解压后得到一个网页文件即html文件，并将该html存储到指定路径；
S45：解析文件，调用库函数对html文件进行解析，根据网页的标签属性获取对应的内容。
6.根据权利要求5所述的一种基于网络协议实施监控网页访问的方法，其特征在于所述S5的详细步骤如下：
S51：申请一个全局对象缓存获取到的数值列表；
S52：获取网络请求数据包的本地端口号，通过第三方API的相应接口可获取到网络请求数据包的本地端口号；
S53：网络请求数据包校验取值；将本地端口号做为key在缓存列表中查找是否存在数值，该数值应为S44得到的html文件路径和S45获取到的title值，若是则将该值与S2获取到的httpHost和网络路径组合起来即为一个完整的网页访问数据；若不是则执行S54；
S54：若S53判断数值不存在，则将S2获取到的httpHost和网络路径以本地端口号为key存储到缓存列表中；
S55：获取网络请求返回包的本地端口号，通过第三方API的相应接口可获取到网络请求返回包的本地端口号；
S56：网络请求返回包校验取值；将本地端口号做为key在缓存列表中查找是否存在数值，该数值应为S2获取到的httpHost和网络路径，若是则将该值与S44得到的html文件路径和S45获取到的title值组合起来即为一个完整的网页访问数据；若不是则执行S57；
S57：若S55判断数值不存在，则将S44得到的html文件路径和S45获取到的title值以本地端口号为key存储到缓存列表中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611076033.XA CN106357482B (zh) | 2016-11-30 | 2016-11-30 | 一种基于网络协议实施监控网页访问的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611076033.XA CN106357482B (zh) | 2016-11-30 | 2016-11-30 | 一种基于网络协议实施监控网页访问的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106357482A true CN106357482A (zh) | 2017-01-25 |
| CN106357482B CN106357482B (zh) | 2019-10-29 |
Family
ID=57862982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611076033.XA Active CN106357482B (zh) | 2016-11-30 | 2016-11-30 | 一种基于网络协议实施监控网页访问的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106357482B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109613412A (zh) * | 2018-12-19 | 2019-04-12 | 上海哥瑞利软件有限公司 | 实时分析stdf检测数据的方法 |
| CN112152973A (zh) * | 2019-06-28 | 2020-12-29 | 北京奇虎科技有限公司 | 监控待访问网页内容的方法、装置和系统以及路由器 |
| CN116032809A (zh) * | 2022-12-28 | 2023-04-28 | 上海天旦网络科技发展有限公司 | 使用Wasm的网络协议分析方法及系统 |
| CN116361586A (zh) * | 2023-06-02 | 2023-06-30 | 成都无糖信息技术有限公司 | 一种网页内实现http协议请求数据高亮的方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101252474A (zh) * | 2008-04-01 | 2008-08-27 | 陈世杰 | 一种基于网桥模式对局域网数据报文进行控制的方法 |
| CN102361484A (zh) * | 2011-07-05 | 2012-02-22 | 上海交通大学 | 被动网络性能测量系统及其页面识别方法 |
| CN103118007A (zh) * | 2013-01-06 | 2013-05-22 | 瑞斯康达科技发展股份有限公司 | 一种用户访问行为的获取方法和系统 |
| CN103297291A (zh) * | 2013-05-08 | 2013-09-11 | 携程计算机技术（上海）有限公司 | 网站实时状态监控方法及系统 |
| CN103825772A (zh) * | 2012-11-16 | 2014-05-28 | 华为技术有限公司 | 识别用户点击行为的方法及网关设备 |
| CN104573040A (zh) * | 2015-01-19 | 2015-04-29 | 百度在线网络技术（北京）有限公司 | 抓取网页数据的方法及系统 |
-
2016
- 2016-11-30 CN CN201611076033.XA patent/CN106357482B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101252474A (zh) * | 2008-04-01 | 2008-08-27 | 陈世杰 | 一种基于网桥模式对局域网数据报文进行控制的方法 |
| CN102361484A (zh) * | 2011-07-05 | 2012-02-22 | 上海交通大学 | 被动网络性能测量系统及其页面识别方法 |
| CN103825772A (zh) * | 2012-11-16 | 2014-05-28 | 华为技术有限公司 | 识别用户点击行为的方法及网关设备 |
| CN103118007A (zh) * | 2013-01-06 | 2013-05-22 | 瑞斯康达科技发展股份有限公司 | 一种用户访问行为的获取方法和系统 |
| CN103297291A (zh) * | 2013-05-08 | 2013-09-11 | 携程计算机技术（上海）有限公司 | 网站实时状态监控方法及系统 |
| CN104573040A (zh) * | 2015-01-19 | 2015-04-29 | 百度在线网络技术（北京）有限公司 | 抓取网页数据的方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109613412A (zh) * | 2018-12-19 | 2019-04-12 | 上海哥瑞利软件有限公司 | 实时分析stdf检测数据的方法 |
| CN109613412B (zh) * | 2018-12-19 | 2020-12-08 | 上海哥瑞利软件有限公司 | 实时分析stdf检测数据的方法 |
| CN112152973A (zh) * | 2019-06-28 | 2020-12-29 | 北京奇虎科技有限公司 | 监控待访问网页内容的方法、装置和系统以及路由器 |
| CN116032809A (zh) * | 2022-12-28 | 2023-04-28 | 上海天旦网络科技发展有限公司 | 使用Wasm的网络协议分析方法及系统 |
| CN116361586A (zh) * | 2023-06-02 | 2023-06-30 | 成都无糖信息技术有限公司 | 一种网页内实现http协议请求数据高亮的方法 |
| CN116361586B (zh) * | 2023-06-02 | 2023-10-03 | 成都无糖信息技术有限公司 | 一种网页内实现http协议请求数据高亮的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106357482B (zh) | 2019-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10447560B2 (en) | Data leakage protection in cloud applications | |
| US8819819B1 (en) | Method and system for automatically obtaining webpage content in the presence of javascript | |
| US8180376B1 (en) | Mobile analytics tracking and reporting | |
| US8578010B2 (en) | Methods and system for tracking web page analytics | |
| CN104348803B (zh) | 链路劫持检测方法、装置、用户设备、分析服务器及系统 | |
| US8544100B2 (en) | Detecting secure or encrypted tunneling in a computer network | |
| CN101388768B (zh) | 检测恶意http请求的方法及装置 | |
| CN102129528B (zh) | 一种web网页篡改识别方法及系统 | |
| US20120060211A1 (en) | Detecting Secure or Encrypted Tunneling in a Computer Network | |
| CN106357482B (zh) | 一种基于网络协议实施监控网页访问的方法 | |
| CN103368978B (zh) | 实现智能移动终端应用漏洞和通信安全检测的方法 | |
| US20200177608A1 (en) | Ontology Based Persistent Attack Campaign Detection | |
| CN106528657A (zh) | 浏览器跳转至应用程序的控制方法及装置 | |
| CN103888490A (zh) | 一种全自动的web客户端人机识别的方法 | |
| CN103118007B (zh) | 一种用户访问行为的获取方法和系统 | |
| CN103368957A (zh) | 对网页访问行为进行处理的方法及系统、客户端、服务器 | |
| US8789177B1 (en) | Method and system for automatically obtaining web page content in the presence of redirects | |
| CN105302801A (zh) | 一种资源缓存方法及装置 | |
| CN103731429A (zh) | web应用漏洞检测方法及装置 | |
| CN102868909B (zh) | Mp4在线视频缓存方法及装置 | |
| CN112507264A (zh) | 一种可溯源自动实现网络电子取证的系统及方法 | |
| CN103905421A (zh) | 一种基于url异构性的可疑事件检测方法及系统 | |
| CN105260378A (zh) | 数据库审计的方法和设备 | |
| US8037067B1 (en) | Systems and methods for tracking user activity at website | |
| CN103853764B (zh) | 终端信息同步方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 641000 Songshan South Road 253, Neijiang City, Sichuan Province Applicant after: Sichuan Miwu Traceless Science and Technology Co., Ltd. Address before: 641000 Songshan South Road 253, Neijiang City, Sichuan Province Applicant before: SICHUAN MWH INFORMATION SAFETY TECHNOLOGY CO., LTD. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210917 Address after: 641100 No.1 Hanyu Avenue, Shizhong District, Neijiang City, Sichuan Province Patentee after: XLY SALVATIONDATA TECHNOLOGY Inc. Address before: 641000 Songshan South Road 253, Neijiang City, Sichuan Province Patentee before: Sichuan Miwu Traceless Science and Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |