CN108833525A - 一种基于Fiddler的HTTPS流量内容的审计方法 - Google Patents
一种基于Fiddler的HTTPS流量内容的审计方法 Download PDFInfo
- Publication number
- CN108833525A CN108833525A CN201810582418.6A CN201810582418A CN108833525A CN 108833525 A CN108833525 A CN 108833525A CN 201810582418 A CN201810582418 A CN 201810582418A CN 108833525 A CN108833525 A CN 108833525A
- Authority
- CN
- China
- Prior art keywords
- fiddler
- https
- data
- file
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/61—Installation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供了一种基于Fiddler的HTTPS流量内容的审计方法，涉及计算机技术领域。该方法首先在局域网、企业的出口网关处安装Fiddler软件；启动Fiddler软件，生成根CA证书，并分发至局域网和企业内部的机器，使之信任；局域网和企业内部的机器的代理服务设置为部署Fiddler的服务器的IP，端口为8888；启动Fiddler并打开HTTPS协议数据的捕获开关，Fiddler底层启动捕包处理流程，捕获网卡上所有数据包。编写处理插件代码并编译为dll文件，对实时捕获的HTTPS协议数据包的请求包和返回包提取字段并保存；编写HTTPS正则匹配模块的代码并编译为exe文件，对data目录中保存的文本文件进行正则匹配，生成日志。本发明以一种最小代价、灵活部署，满足对局域网、企业内部中小客户的HTTPS流量内容的审计要求。
Description
技术领域
本发明涉及计算机技术领域，具体是一种基于Fiddler的HTTPS(Hyper TextTransfer Protocol over Secure Socket Layer)流量内容的审计方法。
背景技术
随着人们对保护隐私数据越来越重视，HTTPS越来越被广泛应用于电子商务、银行、购物及社交等网站。HTTPS在提供给数据安全的同时，也给局域网、企业内网等带来了安全隐患。一些人通过HTTPS将企业内部的公司商业信息泄露出去，通过HTTPS将发动一些黑客攻击或传播木马病毒等，因此需要对HTTPS流量进行内容的审计。
常见的HTTPS流量审计方法是：在企业出口购买基于HTTPS的中间人的硬件设备，但此方法投入成本很大，并且是定制化，不易于后期扩展。
发明内容
针对上述技术问题，本发明提供了一种基于Fiddler的HTTPS流量内容的审计方法，能够解决局域网、企业内部中小客户的HTTPS流量内容的审计要求。
具体步骤如下：
步骤一、在局域网、企业的出口网关处，安装WINDOWS服务器并部署Fiddler最新版本的软件；
步骤二、启动Fiddler软件，生成根CA证书，并分发至局域网和企业内部的机器，使之信任；
步骤三、局域网和企业内部的机器的代理服务设置为部署Fiddler的服务器的IP，端口为8888；
步骤四、启动Fiddler并打开HTTPS协议数据的捕获开关，Fiddler底层启动捕包处理流程，捕获网卡上所有数据包。
所有数据包是指实时捕获的HTTPS双向数据。
步骤五、编写处理插件代码并编译为dll文件，对实时捕获的HTTPS协议数据包的请求包和返回包提取字段并保存；
具体如下：
步骤501、用编译工具Visual Studio 2010创建一个Visual C#Class Library的工程；
步骤502、在Visual C#Class Library的工程中编写处理插件代码；
处理插件代码实现的功能包括两部分：
首先、将HTTPS协议数据包的请求包和返回包的字段进行提取；
字段包括：HTTP头部的URL、域名、请求体数据和返回体数据；
然后，将提取到的数据按照文本文件的格式写入到％Program Files％\Fiddler2\data目录中；
步骤503、用编译工具Visual Studio 2010将处理插件代码编译为dll文件；并将dll文件拷贝至％Program Files％\Fiddler2\Scripts目录进行安装；
Fiddler软件启动后自动加载此目录下的dll文件。
步骤六、编写HTTPS正则匹配模块的代码并编译为exe文件，对data目录中保存的文本文件进行正则匹配，生成日志。
具体如下：
步骤601、用编译工具Visual Studio 2010创建一个Visual C++Application的工程；
步骤602、在Visual C++Application的工程中编写处理代码；
编写处理代码的功能包括：
首先，读取％Program Files％\Fiddler2\rule目录下设置的正则规则集合，并实时对％Program Files％\Fiddler2\data目录进行监控；
然后，每隔1秒钟判断是否有新的文本文件生成，如果没有，继续每隔1秒钟进行判断；如果有，自动读取此文件的内容，并解析出新的文本文件里的URL、域名、请求体数据和返回体数据字段，并进行正则表达式的匹配，判断是否命中了正则规则，如果命中，将URL、域名、请求体数据、返回体数据及命中的正则规则内容写入到％Program Files％\Fiddler2\log目录，并生成日志；否则每隔1秒钟进行判断；
步骤603、用编译工具Visual Studio 2010将上述处理代码编译为exe文件；并将exe文件拷贝至％Program Files％\Fiddler2\run目录下；
点击exe文件即启动了正则匹配模块。
本发明的优点在于：一种基于Fiddler的HTTPS流量内容的审计方法，以一种开源软件加插件代码编写，满足对局域网、企业内部中小客户的HTTPS流量内容的审计要求。
附图说明
图1是本发明一种基于Fiddler的HTTPS流量内容的审计方法的流程图；
图2是本发明一种基于Fiddler的HTTPS流量内容的审计方法依赖的系统架构图；
图3是本发明HTTPS协议数据处理插件的流程图；
图4是本发明数据的正则匹配处理流程图；
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明提供了一种基于Fiddler的HTTPS流量内容的审计方法，包括了利用Fiddler开源的HTTPS数据捕获模块、自定义HTTPS插件处理模块及自定义HTTPS正则匹配处理模块。使用Fiddler开源工具自身的HTTPS数据捕获模块，对HTTPS双向数据进行实时获取；编写自定义处理插件，提取出HTTPS数据的请求包和返回包的数据，再提取出相关的字段；编写HTTPS正则匹配模块，按照指定正则匹配规则集合对字段内容进行正则匹配。本方法以一种最小代价、灵活部署，满足对局域网、企业内部中小客户的HTTPS流量内容的审计要求。
如图1所示，具体步骤如下：
步骤一、在局域网、企业的出口网关处，安装WINDOWS服务器并部署Fiddler最新版本的软件；
如图2所示，本发明所依赖的整体架构：包括
n个客户端PC、安装了Fiddler的服务器及n个WEB服务器。各客户端PC设置网络代理，将代理服务器设置为安装了Fiddler的服务器的IP地址以及端口为8888。
Fiddler软件菜单Tools->Options->HTTPS界面，选择Capture HTTPS CONNECTS，并且选择Decrypt HTTPS traffic。点击Actions里面的Export Root CertifiCate toDesktop，将生成FiddlerRoot.cer文件，将此文件分发至各客户端PC进行安装；
步骤二、启动Fiddler软件，生成根CA证书，并分发至局域网和企业内部的机器，使之信任；
步骤三、局域网和企业内部的机器的代理服务设置为部署Fiddler的服务器的IP，端口为8888；
步骤四、启动Fiddler并打开HTTPS协议数据的捕获开关，Fiddler底层启动捕包处理流程，捕获网卡上所有数据包。
所有数据包是指实时捕获的HTTPS双向数据。
步骤五、编写处理插件代码并编译为dll文件，对实时捕获的HTTPS协议数据包的请求包和返回包提取字段并保存；
如图3所示，具体如下：
步骤501、用编译工具Visual Studio 2010创建一个Visual C#Class Library的工程；
步骤502、在Visual C#Class Library的工程中编写处理插件代码；
处理插件代码实现的功能包括两部分：
首先、将HTTPS协议数据包的请求包和返回包的字段进行提取；
字段包括：HTTP头部的URL、域名、请求体数据和返回体数据；
处理请求包的回调函数的处理逻辑为：提取HTTPS协议的连接信息；如果连接的HTTP的请求方法为GET方法，那么提取出连接中的URL信息；如果连接的HTTP的请求方法为POST方法，那么提取出连接中的域名及请求体的信息；
处理返回包的回调函数的处理逻辑为：提取HTTPS协议的连接信息，提取连接的返回数据包字段；
然后，将提取到的数据按照文本文件的格式写入到％Program Files％\Fiddler2\data目录中；
步骤503、用编译工具Visual Studio 2010将处理插件代码编译为dll文件；并将dll文件拷贝至％Program Files％\Fiddler2\Scripts目录进行安装；
Fiddler软件启动后自动加载此目录下的dll文件。
步骤六、编写HTTPS正则匹配模块的代码并编译为exe文件，对data目录中保存的文本文件进行正则匹配，生成日志。
如图4所示，预先准备正则规则集合，包括URL正则规则和关键词规则。对于请求包中对URL、域名和请求体数据进行正则匹配，对于返回包中对返回体数据进行正则匹配，如果命中，生成日志文件。具体如下：
步骤601、用编译工具Visual Studio 2010创建一个Visual C++Application的工程；
步骤602、在Visual C++Application的工程中编写处理代码；
编写处理代码的功能包括：
首先，读取％Program Files％\Fiddler2\rule目录下设置的正则规则集合，并实时对％Program Files％\Fiddler2\data目录进行监控；
然后，每隔1秒钟判断是否有新的文本文件生成，如果没有，继续每隔1秒钟进行判断；如果有，自动读取此文件的内容，并解析出新的文本文件里的URL、域名、请求体数据和返回体数据字段，并进行正则表达式的匹配，判断是否命中了正则规则，如果命中，将URL、域名、请求体数据、返回体数据及命中的正则规则内容写入到％Program Files％\Fiddler2\log目录，并生成日志；否则每隔1秒钟进行判断；
步骤603、用编译工具Visual Studio 2010将上述处理代码编译为exe文件；并将exe文件拷贝至％Program Files％\Fiddler2\run目录下；
点击exe文件即启动了正则匹配模块；
以上实施用例仅用于说明本发明而非限制。本领域的普通技术人员应当理解，对本发明修改变形或者等同替换，而不脱离本发明精神范围的，其均应涵盖在本发明的权利要求当中。
Claims (4)
1.一种基于Fiddler的HTTPS流量内容的审计方法，其特征在于，具体步骤如下：
步骤一、在局域网、企业的出口网关处，安装WINDOWS服务器并部署Fiddler最新版本的软件；
步骤二、启动Fiddler软件，生成根CA证书，并分发至局域网和企业内部的机器，使之信任；
步骤三、局域网和企业内部的机器的代理服务设置为部署Fiddler的服务器的IP，端口为8888；
步骤四、启动Fiddler并打开HTTPS协议数据的捕获开关，Fiddler底层启动捕包处理流程，捕获网卡上所有数据包；
步骤五、编写处理插件代码并编译为dll文件，对实时捕获的HTTPS协议数据包的请求包和返回包提取字段并保存；
具体如下：
步骤501、用编译工具Visual Studio 2010创建一个Visual C#Class Library的工程；
步骤502、在Visual C#Class Library的工程中编写处理插件代码；
步骤503、用编译工具Visual Studio 2010将处理插件代码编译为dll文件；并将dll文件拷贝至％Program Files％\Fiddler2\Scripts目录进行安装；
Fiddler软件启动后自动加载此目录下的dll文件；
步骤六、编写HTTPS正则匹配模块的代码并编译为exe文件，对data目录中保存的文本文件进行正则匹配，生成日志；
具体如下：
步骤601、用编译工具Visual Studio 2010创建一个Visual C++Application的工程；
步骤602、在Visual C++Application的工程中编写处理代码；
步骤603、用编译工具Visual Studio 2010将上述处理代码编译为exe文件；并将exe文件拷贝至％Program Files％\Fiddler2\run目录下；
点击exe文件即启动了正则匹配模块。
2.如权利要求1所述的一种基于Fiddler的HTTPS流量内容的审计方法，其特征在于，步骤四所述的所有数据包是指实时捕获的HTTPS双向数据。
3.如权利要求1所述的一种基于Fiddler的HTTPS流量内容的审计方法，其特征在于，步骤502所述的处理插件代码实现的功能包括两部分：
首先，将HTTPS协议数据包的请求包和返回包的字段进行提取；
字段包括：HTTP头部的URL、域名、请求体数据和返回体数据；
然后，将提取到的数据按照文本文件的格式写入到％Program Files％\Fiddler2\data目录中。
4.如权利要求1所述的一种基于Fiddler的HTTPS流量内容的审计方法，其特征在于，步骤602所述的编写正则匹配处理代码的功能包括：
首先，读取％Program Files％\Fiddler2\rule目录下设置的正则规则集合，并实时对％Program Files％\Fiddler2\data目录进行监控；
然后，每隔1秒钟判断是否有新的文本文件生成，如果没有，继续每隔1秒钟进行判断；如果有，自动读取此文件的内容，并解析出新的文本文件里的URL、域名、请求体数据和返回体数据字段，并进行正则表达式的匹配，判断是否命中了正则规则，如果命中，将URL、域名、请求体数据、返回体数据及命中的正则规则内容写入到％Program Files％\Fiddler2\log目录，并生成日志；否则每隔1秒钟进行判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810582418.6A CN108833525B (zh) | 2018-06-07 | 2018-06-07 | 一种基于Fiddler的HTTPS流量内容的审计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810582418.6A CN108833525B (zh) | 2018-06-07 | 2018-06-07 | 一种基于Fiddler的HTTPS流量内容的审计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108833525A true CN108833525A (zh) | 2018-11-16 |
| CN108833525B CN108833525B (zh) | 2021-06-25 |
Family
ID=64144600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810582418.6A Active CN108833525B (zh) | 2018-06-07 | 2018-06-07 | 一种基于Fiddler的HTTPS流量内容的审计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108833525B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111770004A (zh) * | 2020-06-26 | 2020-10-13 | 武汉众邦银行股份有限公司 | 一种基于Fiddler的HTTP(S)流量内容自动化校验方法及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106656665A (zh) * | 2016-12-08 | 2017-05-10 | 深圳创维数字技术有限公司 | 一种测试局域网网速的方法和装置 |
| CN106713059A (zh) * | 2015-11-16 | 2017-05-24 | 任子行网络技术股份有限公司 | 一种基于http协议的新闻app数据采集方法及系统 |
| CN108040045A (zh) * | 2017-12-07 | 2018-05-15 | 百度在线网络技术（北京）有限公司 | 访问流量文件的生成方法、装置、服务器及存储介质 |
-
2018
- 2018-06-07 CN CN201810582418.6A patent/CN108833525B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106713059A (zh) * | 2015-11-16 | 2017-05-24 | 任子行网络技术股份有限公司 | 一种基于http协议的新闻app数据采集方法及系统 |
| CN106656665A (zh) * | 2016-12-08 | 2017-05-10 | 深圳创维数字技术有限公司 | 一种测试局域网网速的方法和装置 |
| CN108040045A (zh) * | 2017-12-07 | 2018-05-15 | 百度在线网络技术（北京）有限公司 | 访问流量文件的生成方法、装置、服务器及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111770004A (zh) * | 2020-06-26 | 2020-10-13 | 武汉众邦银行股份有限公司 | 一种基于Fiddler的HTTP(S)流量内容自动化校验方法及存储介质 |
| CN111770004B (zh) * | 2020-06-26 | 2021-09-07 | 武汉众邦银行股份有限公司 | 一种http(s)流量内容自动化校验方法及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108833525B (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6902037B2 (ja) | パターンマッチングベースのデータセット抽出 | |
| JP6527590B2 (ja) | オフライン・ネットワーク・トラフィックに基づいてカバート・チャネルのネットワーク侵入を検出するためのシステムおよび方法 | |
| CN109361711B (zh) | 防火墙配置方法、装置、电子设备及计算机可读介质 | |
| US8301653B2 (en) | System and method for capturing and reporting online sessions | |
| IL275042A (en) | Security monitoring Level of application programming programming with self-adaptation | |
| US20120240235A1 (en) | Methods and systems for providing a framework to test the security of computing system over a network | |
| JP2019133700A (ja) | ウェブサイトのためのシステムおよび方法 | |
| Casey et al. | Malware forensics field guide for Linux systems: digital forensics field guides | |
| KR102179792B1 (ko) | 웹 브라우저 기반 스크래핑 시스템 및 방법 | |
| Soares et al. | Cloud security: state of the art | |
| CN101378396A (zh) | 网络钓鱼通知服务 | |
| Mahadewa et al. | Identifying privacy weaknesses from multi-party trigger-action integration platforms | |
| US20150207705A1 (en) | Method for file activity monitoring | |
| CN106789869B (zh) | 基于Basic认证的流量代理漏洞检测方法及系统 | |
| Li et al. | Mash-IF: Practical information-flow control within client-side mashups | |
| CN104954363B (zh) | 用于生成接口文档的方法和装置 | |
| Yin et al. | Scanner++: Enhanced Vulnerability Detection of Web Applications with Attack Intent Synchronization | |
| CN111935092B (zh) | 一种基于第三方应用的信息交互方法、装置和电子设备 | |
| CN108833525A (zh) | 一种基于Fiddler的HTTPS流量内容的审计方法 | |
| David et al. | A two-stage model for social network investigations in digital forensics | |
| Kemerlis et al. | iLeak: A lightweight system for detecting inadvertent information leaks | |
| US11461588B1 (en) | Advanced data collection block identification | |
| Manson | Remote Desktop Software as a forensic resource | |
| US20160378982A1 (en) | Local environment protection method and protection system of terminal responding to malicious code in link information | |
| Baviskar et al. | Protection of web user’s privacy by securing browser from web privacy attacks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |