CN108833525B - 一种基于Fiddler的HTTPS流量内容的审计方法 - Google Patents

一种基于Fiddler的HTTPS流量内容的审计方法 Download PDF

Info

Publication number
CN108833525B
CN108833525B CN201810582418.6A CN201810582418A CN108833525B CN 108833525 B CN108833525 B CN 108833525B CN 201810582418 A CN201810582418 A CN 201810582418A CN 108833525 B CN108833525 B CN 108833525B
Authority
CN
China
Prior art keywords
fiddler
data
compiling
https
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810582418.6A
Other languages
English (en)
Other versions
CN108833525A (zh
Inventor
孙波
房婧
王亿芳
李胜男
毛蔚轩
盖伟麟
李轶夫
侯美佳
张泽亚
胡小勇
谢铭
王峰
汪军强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Scistor Technologies Co ltd
National Computer Network and Information Security Management Center
Original Assignee
Beijing Scistor Technologies Co ltd
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Scistor Technologies Co ltd, National Computer Network and Information Security Management Center filed Critical Beijing Scistor Technologies Co ltd
Priority to CN201810582418.6A priority Critical patent/CN108833525B/zh
Publication of CN108833525A publication Critical patent/CN108833525A/zh
Application granted granted Critical
Publication of CN108833525B publication Critical patent/CN108833525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供了一种基于Fiddler的HTTPS流量内容的审计方法，涉及计算机技术领域。该方法首先在局域网、企业的出口网关处安装Fiddler软件；启动Fiddler软件，生成根CA证书，并分发至局域网和企业内部的机器，使之信任；局域网和企业内部的机器的代理服务设置为部署Fiddler的服务器的IP，端口为8888；启动Fiddler并打开HTTPS协议数据的捕获开关，Fiddler底层启动捕包处理流程，捕获网卡上所有数据包。编写处理插件代码并编译为dll文件，对实时捕获的HTTPS协议数据包的请求包和返回包提取字段并保存；编写HTTPS正则匹配模块的代码并编译为exe文件，对data目录中保存的文本文件进行正则匹配，生成日志。本发明以一种最小代价、灵活部署，满足对局域网、企业内部中小客户的HTTPS流量内容的审计要求。

Description

一种基于Fiddler的HTTPS流量内容的审计方法
技术领域
本发明涉及计算机技术领域，具体是一种基于Fiddler的HTTPS(Hyper TextTransfer Protocol over Secure Socket Layer)流量内容的审计方法。
背景技术
随着人们对保护隐私数据越来越重视，HTTPS越来越被广泛应用于电子商务、银行、购物及社交等网站。HTTPS在提供给数据安全的同时，也给局域网、企业内网等带来了安全隐患。一些人通过HTTPS将企业内部的公司商业信息泄露出去，通过HTTPS将发动一些黑客攻击或传播木马病毒等，因此需要对HTTPS流量进行内容的审计。
常见的HTTPS流量审计方法是：在企业出口购买基于HTTPS的中间人的硬件设备，但此方法投入成本很大，并且是定制化，不易于后期扩展。
发明内容
针对上述技术问题，本发明提供了一种基于Fiddler的HTTPS流量内容的审计方法，能够解决局域网、企业内部中小客户的HTTPS流量内容的审计要求。
具体步骤如下：
步骤一、在局域网、企业的出口网关处，安装WINDOWS服务器并部署Fiddler最新版本的软件；
步骤二、启动Fiddler软件，生成根CA证书，并分发至局域网和企业内部的机器，使之信任；
步骤三、局域网和企业内部的机器的代理服务设置为部署Fiddler的服务器的IP，端口为8888；
步骤四、启动Fiddler并打开HTTPS协议数据的捕获开关，Fiddler底层启动捕包处理流程，捕获网卡上所有数据包。
所有数据包是指实时捕获的HTTPS双向数据。
步骤五、编写处理插件代码并编译为dll文件，对实时捕获的HTTPS协议数据包的请求包和返回包提取字段并保存；
具体如下：
步骤501、用编译工具Visual Studio 2010创建一个Visual C#Class Library的工程；
步骤502、在Visual C#Class Library的工程中编写处理插件代码；
处理插件代码实现的功能包括两部分：
首先、将HTTPS协议数据包的请求包和返回包的字段进行提取；
字段包括：HTTP头部的URL、域名、请求体数据和返回体数据；
然后，将提取到的数据按照文本文件的格式写入到％Program Files％\Fiddler2\data目录中；
步骤503、用编译工具Visual Studio 2010将处理插件代码编译为dll文件；并将dll文件拷贝至％Program Files％\Fiddler2\Scripts目录进行安装；
Fiddler软件启动后自动加载此目录下的dll文件。
步骤六、编写HTTPS正则匹配模块的代码并编译为exe文件，对data目录中保存的文本文件进行正则匹配，生成日志。
具体如下：
步骤601、用编译工具Visual Studio 2010创建一个Visual C++Application的工程；
步骤602、在Visual C++Application的工程中编写处理代码；
编写处理代码的功能包括：
首先，读取％Program Files％\Fiddler2\rule目录下设置的正则规则集合，并实时对％Program Files％\Fiddler2\data目录进行监控；
然后，每隔1秒钟判断是否有新的文本文件生成，如果没有，继续每隔1秒钟进行判断；如果有，自动读取此文件的内容，并解析出新的文本文件里的URL、域名、请求体数据和返回体数据字段，并进行正则表达式的匹配，判断是否命中了正则规则，如果命中，将URL、域名、请求体数据、返回体数据及命中的正则规则内容写入到％Program Files％\Fiddler2\log目录，并生成日志；否则每隔1秒钟进行判断；
步骤603、用编译工具Visual Studio 2010将上述处理代码编译为exe文件；并将exe文件拷贝至％Program Files％\Fiddler2\run目录下；
点击exe文件即启动了正则匹配模块。
本发明的优点在于：一种基于Fiddler的HTTPS流量内容的审计方法，以一种开源软件加插件代码编写，满足对局域网、企业内部中小客户的HTTPS流量内容的审计要求。
附图说明
图1是本发明一种基于Fiddler的HTTPS流量内容的审计方法的流程图；
图2是本发明一种基于Fiddler的HTTPS流量内容的审计方法依赖的系统架构图；
图3是本发明HTTPS协议数据处理插件的流程图；
图4是本发明数据的正则匹配处理流程图；
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明提供了一种基于Fiddler的HTTPS流量内容的审计方法，包括了利用Fiddler开源的HTTPS数据捕获模块、自定义HTTPS插件处理模块及自定义HTTPS正则匹配处理模块。使用Fiddler开源工具自身的HTTPS数据捕获模块，对HTTPS双向数据进行实时获取；编写自定义处理插件，提取出HTTPS数据的请求包和返回包的数据，再提取出相关的字段；编写HTTPS正则匹配模块，按照指定正则匹配规则集合对字段内容进行正则匹配。本方法以一种最小代价、灵活部署，满足对局域网、企业内部中小客户的HTTPS流量内容的审计要求。
如图1所示，具体步骤如下：
步骤一、在局域网、企业的出口网关处，安装WINDOWS服务器并部署Fiddler最新版本的软件；
如图2所示，本发明所依赖的整体架构：包括
n个客户端PC、安装了Fiddler的服务器及n个WEB服务器。各客户端PC设置网络代理，将代理服务器设置为安装了Fiddler的服务器的IP地址以及端口为8888。
Fiddler软件菜单Tools->Options->HTTPS界面，选择Capture HTTPS CONNECTS，并且选择Decrypt HTTPS traffic。点击Actions里面的Export Root CertifiCate toDesktop，将生成FiddlerRoot.cer文件，将此文件分发至各客户端PC进行安装；
步骤二、启动Fiddler软件，生成根CA证书，并分发至局域网和企业内部的机器，使之信任；
步骤三、局域网和企业内部的机器的代理服务设置为部署Fiddler的服务器的IP，端口为8888；
步骤四、启动Fiddler并打开HTTPS协议数据的捕获开关，Fiddler底层启动捕包处理流程，捕获网卡上所有数据包。
所有数据包是指实时捕获的HTTPS双向数据。
步骤五、编写处理插件代码并编译为dll文件，对实时捕获的HTTPS协议数据包的请求包和返回包提取字段并保存；
如图3所示，具体如下：
步骤501、用编译工具Visual Studio 2010创建一个Visual C#Class Library的工程；
步骤502、在Visual C#Class Library的工程中编写处理插件代码；
处理插件代码实现的功能包括两部分：
首先、将HTTPS协议数据包的请求包和返回包的字段进行提取；
字段包括：HTTP头部的URL、域名、请求体数据和返回体数据；
处理请求包的回调函数的处理逻辑为：提取HTTPS协议的连接信息；如果连接的HTTP的请求方法为GET方法，那么提取出连接中的URL信息；如果连接的HTTP的请求方法为POST方法，那么提取出连接中的域名及请求体的信息；
处理返回包的回调函数的处理逻辑为：提取HTTPS协议的连接信息，提取连接的返回数据包字段；
然后，将提取到的数据按照文本文件的格式写入到％Program Files％\Fiddler2\data目录中；
步骤503、用编译工具Visual Studio 2010将处理插件代码编译为dll文件；并将dll文件拷贝至％Program Files％\Fiddler2\Scripts目录进行安装；
Fiddler软件启动后自动加载此目录下的dll文件。
步骤六、编写HTTPS正则匹配模块的代码并编译为exe文件，对data目录中保存的文本文件进行正则匹配，生成日志。
如图4所示，预先准备正则规则集合，包括URL正则规则和关键词规则。对于请求包中对URL、域名和请求体数据进行正则匹配，对于返回包中对返回体数据进行正则匹配，如果命中，生成日志文件。具体如下：
步骤601、用编译工具Visual Studio 2010创建一个Visual C++Application的工程；
步骤602、在Visual C++Application的工程中编写处理代码；
编写处理代码的功能包括：
首先，读取％Program Files％\Fiddler2\rule目录下设置的正则规则集合，并实时对％Program Files％\Fiddler2\data目录进行监控；
然后，每隔1秒钟判断是否有新的文本文件生成，如果没有，继续每隔1秒钟进行判断；如果有，自动读取此文件的内容，并解析出新的文本文件里的URL、域名、请求体数据和返回体数据字段，并进行正则表达式的匹配，判断是否命中了正则规则，如果命中，将URL、域名、请求体数据、返回体数据及命中的正则规则内容写入到％Program Files％\Fiddler2\log目录，并生成日志；否则每隔1秒钟进行判断；
步骤603、用编译工具Visual Studio 2010将上述处理代码编译为exe文件；并将exe文件拷贝至％Program Files％\Fiddler2\run目录下；
点击exe文件即启动了正则匹配模块；
以上实施用例仅用于说明本发明而非限制。本领域的普通技术人员应当理解，对本发明修改变形或者等同替换，而不脱离本发明精神范围的，其均应涵盖在本发明的权利要求当中。

Claims (2)

1.一种基于Fiddler的HTTPS流量内容的审计方法，其特征在于，具体步骤如下：
步骤一、在局域网、企业的出口网关处，安装WINDOWS服务器并部署Fiddler最新版本的软件；
步骤二、启动Fiddler软件，生成根CA证书，并分发至局域网和企业内部的机器，使之信任；
步骤三、局域网和企业内部的机器的代理服务设置为部署Fiddler的服务器的IP，端口为8888；
步骤四、启动Fiddler并打开HTTPS协议数据的捕获开关，Fiddler底层启动捕包处理流程，捕获网卡上所有数据包；
步骤五、编写处理插件代码并编译为dll文件，对实时捕获的HTTPS协议数据包的请求包和返回包提取字段并保存；
具体如下：
步骤501、用编译工具Visual Studio 2010创建一个Visual C#Class Library的工程；
步骤502、在Visual C#Class Library的工程中编写处理插件代码；
所述的处理插件代码实现的功能包括两部分：首先、将HTTPS协议数据包的请求包和返回包的字段进行提取；
字段包括：HTTP头部的URL、域名、请求体数据和返回体数据；
处理请求包的回调函数的处理逻辑为：提取HTTPS协议的连接信息；如果连接的HTTP的请求方法为GET方法，那么提取出连接中的URL信息；如果连接的HTTP的请求方法为POST方法，那么提取出连接中的域名及请求体的信息；
处理返回包的回调函数的处理逻辑为：提取HTTPS协议的连接信息，提取连接的返回数据包字段；
然后，将提取到的数据按照文本文件的格式写入到％Program Files％\Fiddler2\data目录中；
步骤503、用编译工具Visual Studio 2010将处理插件代码编译为dll文件；并将dll文件拷贝至％Program Files％\Fiddler2\Scripts目录进行安装；
Fiddler软件启动后自动加载此目录下的dll文件；
步骤六、编写HTTPS正则匹配模块的代码并编译为exe文件，对data目录中保存的文本文件进行正则匹配，生成日志；
具体如下：
步骤601、用编译工具Visual Studio 2010创建一个Visual C++Application的工程；
步骤602、在Visual C++Application的工程中编写处理代码；
所述的编写正则匹配处理代码的功能包括：
首先，读取％Program Files％\Fiddler2\rule目录下设置的正则规则集合，并实时对％Program Files％\Fiddler2\data目录进行监控；
然后，每隔1秒钟判断是否有新的文本文件生成，如果没有，继续每隔1秒钟进行判断；如果有，自动读取此文件的内容，并解析出新的文本文件里的URL、域名、请求体数据和返回体数据字段，并进行正则表达式的匹配，判断是否命中了正则规则，如果命中，将URL、域名、请求体数据、返回体数据及命中的正则规则内容写入到％Program Files％\Fiddler2\log目录，并生成日志；否则每隔1秒钟进行判断；
步骤603、用编译工具Visual Studio 2010将上述处理代码编译为exe文件；并将exe文件拷贝至％Program Files％\Fiddler2\run目录下；
点击exe文件即启动了正则匹配模块。
2.如权利要求1所述的一种基于Fiddler的HTTPS流量内容的审计方法，其特征在于，步骤四所述的所有数据包是指实时捕获的HTTPS双向数据。
CN201810582418.6A 2018-06-07 2018-06-07 一种基于Fiddler的HTTPS流量内容的审计方法 Active CN108833525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810582418.6A CN108833525B (zh) 2018-06-07 2018-06-07 一种基于Fiddler的HTTPS流量内容的审计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810582418.6A CN108833525B (zh) 2018-06-07 2018-06-07 一种基于Fiddler的HTTPS流量内容的审计方法

Publications (2)

Publication Number Publication Date
CN108833525A CN108833525A (zh) 2018-11-16
CN108833525B true CN108833525B (zh) 2021-06-25

Family

ID=64144600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810582418.6A Active CN108833525B (zh) 2018-06-07 2018-06-07 一种基于Fiddler的HTTPS流量内容的审计方法

Country Status (1)

Country Link
CN (1) CN108833525B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111770004B (zh) * 2020-06-26 2021-09-07 武汉众邦银行股份有限公司 一种http(s)流量内容自动化校验方法及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106656665A (zh) * 2016-12-08 2017-05-10 深圳创维数字技术有限公司 一种测试局域网网速的方法和装置
CN106713059A (zh) * 2015-11-16 2017-05-24 任子行网络技术股份有限公司 一种基于http协议的新闻app数据采集方法及系统
CN108040045A (zh) * 2017-12-07 2018-05-15 百度在线网络技术（北京）有限公司 访问流量文件的生成方法、装置、服务器及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713059A (zh) * 2015-11-16 2017-05-24 任子行网络技术股份有限公司 一种基于http协议的新闻app数据采集方法及系统
CN106656665A (zh) * 2016-12-08 2017-05-10 深圳创维数字技术有限公司 一种测试局域网网速的方法和装置
CN108040045A (zh) * 2017-12-07 2018-05-15 百度在线网络技术（北京）有限公司 访问流量文件的生成方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN108833525A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
JP6902037B2 (ja) パターンマッチングベースのデータセット抽出
CA2966408C (en) A system and method for network intrusion detection of covert channels based on off-line network traffic
US8875296B2 (en) Methods and systems for providing a framework to test the security of computing system over a network
Balduzzi et al. A security analysis of amazon's elastic compute cloud service
Cheng et al. Towards a first step to understand the cryptocurrency stealing attack on ethereum
US20080229419A1 (en) Automated identification of firewall malware scanner deficiencies
US20150047034A1 (en) Composite analysis of executable content across enterprise network
CN101378396A (zh) 网络钓鱼通知服务
US20090328210A1 (en) Chain of events tracking with data tainting for automated security feedback
Yamada et al. RAT-based malicious activities detection on enterprise internal networks
CN108833525B (zh) 一种基于Fiddler的HTTPS流量内容的审计方法
US9160765B1 (en) Method for securing endpoints from onslaught of network attacks
Sharif Web Attacks Analysis and Mitigation Techniques
JP6007308B1 (ja) 情報処理装置、情報処理方法及びプログラム
Ngongang Cloud Computing Security
JP5478381B2 (ja) アプリケーション判定システムおよびプログラム
Mokhov et al. Automating MAC spoofer evidence gathering and encoding for investigations
Sahu et al. DNS pharming through PHP injection: Attack scenario and investigation
Xu et al. Identifying malware with HTTP content type inconsistency via header-payload comparison
Gundert Proactive threat identification neutralizes remote access trojan efficacy
Decanio et al. Voyager: Tracking with a Click
Ma et al. Sulleyex: A fuzzer for stateful network protocol
US20230306114A1 (en) Method and system for automatically generating malware signature
Cardwell Basic Malware Traffic Analysis
Decanio Channel Islands

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant