CN107070812A - 一种https协议分析方法及其系统 - Google Patents

一种https协议分析方法及其系统 Download PDF

Info

Publication number
CN107070812A
CN107070812A CN201710301684.2A CN201710301684A CN107070812A CN 107070812 A CN107070812 A CN 107070812A CN 201710301684 A CN201710301684 A CN 201710301684A CN 107070812 A CN107070812 A CN 107070812A
Authority
CN
China
Prior art keywords
https
address
http
pages
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710301684.2A
Other languages
English (en)
Inventor
夏祖转
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Greenet Information Service Co Ltd
Original Assignee
Wuhan Greenet Information Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Greenet Information Service Co Ltd filed Critical Wuhan Greenet Information Service Co Ltd
Priority to CN201710301684.2A priority Critical patent/CN107070812A/zh
Publication of CN107070812A publication Critical patent/CN107070812A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种HTTPS协议分析方法及其系统，针对加密的HTTPS协议数据包，从数据包中分离出HTTPS加密流量，从HTTPS加密流量中提取未知的服务器端IP地址及对应端口号；使用爬虫对所述IP地址及对应端口号进行爬取；将爬取的HTTPS页面根据爬虫证书进行解密，得到对应的http页面内容；对所述http页面进行识别；确定http页面所属应用；并将所述IP地址及对应端口号作为应用特征更新至规则库中。

Description

一种HTTPS协议分析方法及其系统
技术领域
本发明涉及一种计算机或互联网技术领域,具体地说是一种分析HTTPS加密流量的方法及其系统。
背景技术
HTTP协议传输的数据都是未加密的，使HTTP协议传输隐私信息非常不安全。为了保证这些隐私数据的安全传输，很多银行网站或电子邮箱等等安全级别较高的服务都会采用HTTPS协议，普通网站也会使用HTTPS协议来对用户的账号密码等隐私信息进行加密传输。
HTTPS(全称：Hyper Text Transfer Protocol over Secure Socket Layer)是以安全为目标的HTTP通道，即HTTP的安全版，是在HTTP下加入SSL层。HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。HTTPS是一个URI scheme(抽象标识符体系)，句法类同https:体系，用于安全的HTTP数据传输。https:URL表明它使用了HTTP，但HTTPS存在不同于HTTP的默认端口及一个加密/身份验证层(在HTTP与TCP之间)。这个系统的最初研发由网景公司(Netscape)进行，并内置于其浏览器Netscape Navigator中，提供了身份验证与加密通讯方法。现在它被广泛用于万维网上安全敏感的通讯，例如交易支付方面。
因此，随着HTTPS协议使用越来越广泛，加密的流量占比也越来越大。但是，由于HTTPS的加密特性，针对使用HTTPS加密的流量的识别不够理想。
发明内容
为了解决上述技术问题，本发明的目的是提供一种HTTPS协议分析方法及其系统。
本发明的HTTPS协议分析方法是按以下方式实现的，包括以下步骤：
步骤101，从数据包中分离出HTTPS加密流量，从HTTPS加密流量中提取未知的服务器端IP地址及对应端口号；
步骤102，反馈所述IP地址及对应端口号到爬虫模块；
步骤103，使用爬虫对所述IP地址及对应端口号进行爬取；
步骤104，将爬取的HTTPS页面根据爬虫证书进行解密，得到对应的http页面内容；
步骤105，对所述http页面进行识别；
步骤106，确定http页面所属应用；
步骤107，在确定http页面所属应用后，将所述IP地址及对应端口号作为应用特征更新至规则库中。
进一步，在步骤103后，判断爬虫是否爬取到页面；如果爬取到页面，则进入步骤104；否则，由于爬取不到页面，无法确定该IP地址及对应端口号属于哪个应用的服务器的IP地址及对应端口号，结束识别。
进一步，步骤106中的确定http页面所属应用包括：判断所属应用能否细分步骤。
进一步，判断所属应用能否细分步骤包括：判断http页面能否识别为某个应用；如果可以，则直接进入步骤107；否则，在http页面不能识别为某个应用时，需要协议分析人员对爬取的http页面进行分析，以确定该页面所属应用。
本发明还提供一种用于实现HTTPS协议分析方法的系统，包括：
数据分离和提取模块，用于从数据包中分离出HTTPS加密流量，从HTTPS加密流量中提取未知的服务器端IP地址及对应端口号；
爬虫模块，用于接收未知的服务器端IP地址及对应端口号，以及使用爬虫对所述IP地址及对应端口号进行爬取；
解密模块，用于将爬取的HTTPS页面根据爬虫证书进行解密，得到对应的http页面内容；
识别模块，用于对所述http页面进行识别；
页面所属应用确定模块，用于确定http页面所属应用，以及在确定http页面所属应用后，将所述IP地址及对应端口号作为应用特征更新至规则库中。
进一步，还包括一个爬虫抓取判断模块，用于判断爬虫是否爬取到页面；如果爬取到页面，则进入步骤104；否则，由于爬取不到页面，无法确定该IP地址及对应端口号属于哪个应用的服务器的IP地址及对应端口号，结束识别。
进一步，页面所属应用确定模块包括一个细分判断模块，用于判断所属应用能否细分；判断http页面能否识别为某个应用；如果可以，则直接进入步骤107；否则，在http页面不能识别为某个应用时，需要协议分析人员对爬取的http页面进行分析，以确定该页面所属应用。
本发明的有益效果：本发明的HTTPS协议分析方法及其系统具有以下优点：
1、针对加密的HTTPS协议数据包，虽然HTTPS对数据进行了加密，网络设备无法知道别人访问HTTPS网站的URI、HOST等信息，但是确可以获取到HTTPS服务器的IP地址及服务端口号。
2、将爬虫技术引用到HTTPS协议识别分析中，使用爬虫技术模拟真实用户去访问HTTPS网站，将提取未知的服务器端IP地址及对应端口号反馈到爬虫模块，使用爬虫对提取的IP和端口进行爬取，实现了对HTTPS网站的首页访问。
3、由于使用的是爬虫服务器对HTTPS首页进行访问，爬虫所使用的私钥是自己的，因此可以使用私钥证书对加密内容进行解密、得到解密后的内容，从而可以分析爬取到明文文件。这样，就将分析加密的HTTPS协议转换为分析HTTP文件。通过对爬取的文件进行分析，可以确定IP及端口属于那个应用，于是可以将该IP和端口作为该应用的特征。
附图说明
图1是HTTPS协议分析流程图。
具体实施方式
参照说明书附图1对本发明作以下详细地说明。
本发明的HTTPS协议分析方法是按以下方式实现的，包括以下步骤：
步骤101，从数据包中分离出HTTPS加密流量，从HTTPS加密流量中提取未知的服务器端IP地址及对应端口号；
步骤102，反馈所述IP地址及对应端口号到爬虫模块；
步骤103，使用爬虫对所述IP地址及对应端口号进行爬取；
步骤104，将爬取的HTTPS页面根据爬虫证书进行解密，得到对应的http页面内容；
步骤105，对所述http页面进行识别；
步骤106，确定http页面所属应用；
步骤107，在确定http页面所属应用后，将所述IP地址及对应端口号作为应用特征更新至规则库中。
进一步，在步骤103后，判断爬虫是否爬取到页面；如果爬取到页面，则进入步骤104；否则，由于爬取不到页面，无法确定该IP地址及对应端口号属于哪个应用的服务器的IP地址及对应端口号，结束识别。
进一步，步骤106中的确定http页面所属应用包括：判断所属应用能否细分步骤。
进一步，判断所属应用能否细分步骤包括：判断http页面能否识别为某个应用；如果可以，则直接进入步骤107；否则，在http页面不能识别为某个应用时，需要协议分析人员对爬取的http页面进行分析，以确定该页面所属应用。
本发明还提供一种用于实现HTTPS协议分析方法的系统，包括：
数据分离和提取模块，用于从数据包中分离出HTTPS加密流量，从HTTPS加密流量中提取未知的服务器端IP地址及对应端口号；
爬虫模块，用于接收未知的服务器端IP地址及对应端口号，以及使用爬虫对所述IP地址及对应端口号进行爬取；
解密模块，用于将爬取的HTTPS页面根据爬虫证书进行解密，得到对应的http页面内容；
识别模块，用于对所述http页面进行识别；
页面所属应用确定模块，用于确定http页面所属应用，以及在确定http页面所属应用后，将所述IP地址及对应端口号作为应用特征更新至规则库中。
进一步，还包括一个爬虫抓取判断模块，用于判断爬虫是否爬取到页面；如果爬取到页面，则进入步骤104；否则，由于爬取不到页面，无法确定该IP地址及对应端口号属于哪个应用的服务器的IP地址及对应端口号，结束识别。
进一步，页面所属应用确定模块包括一个细分判断模块，用于判断所属应用能否细分；判断http页面能否识别为某个应用；如果可以，则直接进入步骤107；否则，在http页面不能识别为某个应用时，需要协议分析人员对爬取的http页面进行分析，以确定该页面所属应用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种HTTPS协议分析方法，其特征在于，包括以下步骤：
步骤101，从数据包中分离出HTTPS加密流量，从HTTPS加密流量中提取未知的服务器端IP地址及对应端口号；
步骤102，反馈所述IP地址及对应端口号到爬虫模块；
步骤103，使用爬虫对所述IP地址及对应端口号进行爬取；
步骤104，将爬取的HTTPS页面根据爬虫证书进行解密，得到对应的http页面内容；
步骤105，对所述http页面进行识别；
步骤106，确定http页面所属应用；
步骤107，在确定http页面所属应用后，将所述IP地址及对应端口号作为应用特征更新至规则库中。
2.根据权利要求1所述的一种HTTPS协议分析方法，其特征在于，在步骤103后，判断爬虫是否爬取到页面；如果爬取到页面，则进入步骤104；否则，由于爬取不到页面，无法确定该IP地址及对应端口号属于哪个应用的服务器的IP地址及对应端口号，结束识别。
3.根据权利要求1所述的一种HTTPS协议分析方法，其特征在于，步骤106中的确定http页面所属应用包括：判断所属应用能否细分步骤。
4.根据权利要求3所述的一种HTTPS协议分析方法，其特征在于，判断所属应用能否细分步骤包括：判断http页面能否识别为某个应用；如果可以，则直接进入步骤107；否则，在http页面不能识别为某个应用时，需要协议分析人员对爬取的http页面进行分析，以确定该页面所属应用。
5.一种用于实现权利要求1-4中任一项所述一种HTTPS协议分析方法的系统，包括：
数据分离和提取模块，用于从数据包中分离出HTTPS加密流量，从HTTPS加密流量中提取未知的服务器端IP地址及对应端口号；
爬虫模块，用于接收未知的服务器端IP地址及对应端口号，以及使用爬虫对所述IP地址及对应端口号进行爬取；
解密模块，用于将爬取的HTTPS页面根据爬虫证书进行解密，得到对应的http页面内容；
识别模块，用于对所述http页面进行识别；
页面所属应用确定模块，用于确定http页面所属应用，以及在确定http页面所属应用后，将所述IP地址及对应端口号作为应用特征更新至规则库中。
6.根据权利要求5所述的系统，其特征在于，还包括一个爬虫抓取判断模块，用于判断爬虫是否爬取到页面；如果爬取到页面，则进入步骤104；否则，由于爬取不到页面，无法确定该IP地址及对应端口号属于哪个应用的服务器的IP地址及对应端口号，结束识别。
7.根据权利要求5所述的系统，其特征在于，页面所属应用确定模块包括一个细分判断模块，用于判断所属应用能否细分；判断http页面能否识别为某个应用；如果可以，则直接进入步骤107；否则，在http页面不能识别为某个应用时，需要协议分析人员对爬取的http页面进行分析，以确定该页面所属应用。
CN201710301684.2A 2017-05-02 2017-05-02 一种https协议分析方法及其系统 Pending CN107070812A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710301684.2A CN107070812A (zh) 2017-05-02 2017-05-02 一种https协议分析方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710301684.2A CN107070812A (zh) 2017-05-02 2017-05-02 一种https协议分析方法及其系统

Publications (1)

Publication Number Publication Date
CN107070812A true CN107070812A (zh) 2017-08-18

Family

ID=59603869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710301684.2A Pending CN107070812A (zh) 2017-05-02 2017-05-02 一种https协议分析方法及其系统

Country Status (1)

Country Link
CN (1) CN107070812A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948266A (zh) * 2017-11-17 2018-04-20 武汉绿色网络信息服务有限责任公司 非对称路由环境中http上行流量的处理方法及系统
CN109067739A (zh) * 2018-07-27 2018-12-21 平安科技（深圳）有限公司 通信数据加密方法和装置
CN109194622A (zh) * 2018-08-08 2019-01-11 西安交通大学 一种基于特征效率的加密流量分析特征选择方法
CN109639784A (zh) * 2018-11-30 2019-04-16 新华三技术有限公司 服务器管理信息获取方法、装置、客户端及存储介质
CN109672687A (zh) * 2018-12-31 2019-04-23 南京理工大学 基于可疑度评估的http混淆流量检测方法
CN115567503A (zh) * 2022-12-07 2023-01-03 华信咨询设计研究院有限公司 一种基于流量分析的https协议分析方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013123799A1 (zh) * 2012-02-23 2013-08-29 汉柏科技有限公司 利用数字证书识别加密协议的识别方法及系统
CN105141575A (zh) * 2015-06-25 2015-12-09 北京网康科技有限公司 加密应用识别和加密网页内容分类方法及装置
WO2016049609A1 (en) * 2014-09-25 2016-03-31 Hughes Network Systems, Llc Application-aware multihoming for data traffic acceleration in data communications networks
CN105610665A (zh) * 2015-07-29 2016-05-25 哈尔滨工业大学（威海） 一种适用于移动设备的vpn协议
WO2016085412A1 (en) * 2014-11-28 2016-06-02 Pte Ltd, Expert Team Systems and methods for intercepting, filtering and blocking content from internet in real-time
CN106131016A (zh) * 2016-07-13 2016-11-16 北京知道创宇信息技术有限公司 恶意url检测干预方法、系统及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013123799A1 (zh) * 2012-02-23 2013-08-29 汉柏科技有限公司 利用数字证书识别加密协议的识别方法及系统
WO2016049609A1 (en) * 2014-09-25 2016-03-31 Hughes Network Systems, Llc Application-aware multihoming for data traffic acceleration in data communications networks
WO2016085412A1 (en) * 2014-11-28 2016-06-02 Pte Ltd, Expert Team Systems and methods for intercepting, filtering and blocking content from internet in real-time
CN105141575A (zh) * 2015-06-25 2015-12-09 北京网康科技有限公司 加密应用识别和加密网页内容分类方法及装置
CN105610665A (zh) * 2015-07-29 2016-05-25 哈尔滨工业大学（威海） 一种适用于移动设备的vpn协议
CN106131016A (zh) * 2016-07-13 2016-11-16 北京知道创宇信息技术有限公司 恶意url检测干预方法、系统及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948266A (zh) * 2017-11-17 2018-04-20 武汉绿色网络信息服务有限责任公司 非对称路由环境中http上行流量的处理方法及系统
CN109067739A (zh) * 2018-07-27 2018-12-21 平安科技（深圳）有限公司 通信数据加密方法和装置
CN109067739B (zh) * 2018-07-27 2021-10-08 平安科技（深圳）有限公司 通信数据加密方法和装置
CN109194622A (zh) * 2018-08-08 2019-01-11 西安交通大学 一种基于特征效率的加密流量分析特征选择方法
CN109639784A (zh) * 2018-11-30 2019-04-16 新华三技术有限公司 服务器管理信息获取方法、装置、客户端及存储介质
CN109639784B (zh) * 2018-11-30 2021-07-06 新华三技术有限公司 服务器管理信息获取方法、装置、客户端及存储介质
CN109672687A (zh) * 2018-12-31 2019-04-23 南京理工大学 基于可疑度评估的http混淆流量检测方法
CN109672687B (zh) * 2018-12-31 2021-04-13 南京理工大学 基于可疑度评估的http混淆流量检测方法
CN115567503A (zh) * 2022-12-07 2023-01-03 华信咨询设计研究院有限公司 一种基于流量分析的https协议分析方法

Similar Documents

Publication Publication Date Title
CN107070812A (zh) 一种https协议分析方法及其系统
US9716726B2 (en) Method of identifying and counteracting internet attacks
US8316429B2 (en) Methods and systems for obtaining URL filtering information
US7757278B2 (en) Method and apparatus for transparent encryption
CN103825887B (zh) 基于https加密的网站过滤方法和系统
CN104283903B (zh) 文件的下载方法及装置
Choo et al. Evidence and forensics in the cloud: challenges and future research directions
US9258115B2 (en) Securing information exchanged via a network
CN107577729B (zh) 一种基于双通道的网页数据取证方法及系统
US20180302437A1 (en) Methods of identifying and counteracting internet attacks
CN107463848B (zh) 一种面向应用的密文搜索方法、装置、代理服务器和系统
CN105049448B (zh) 单点登录装置和方法
CN105141575A (zh) 加密应用识别和加密网页内容分类方法及装置
WO2007078037A1 (en) Web page protection method employing security appliance and set-top box having the security appliance built therein
CN104104686B (zh) 一种基于移动互联网的网络数据包解析取证方法
CN104426663A (zh) 一种url地址加密方法
Bareño-Gutiérrez et al. Analysis of WEB Browsers of HSTS Security Under the MITM Management Environment
CN112887427B (zh) 一种云平台加密系统及方法
KR102211033B1 (ko) 전자인증절차의 대행 서비스 시스템
KR101788019B1 (ko) 정보유출방지 장치 및 방법
CN113037743A (zh) 一种云端服务器文件的加密方法及系统
CN110311923A (zh) 一种自适应、双通道的国密算法https访问方法和系统
Wang et al. Identification of MEEK-Based TOR Hidden Service Access Using the Key Packet Sequence
Yoon et al. Encrypted Network Traffic Analysis Method via Secure Socket Layer Handshake Control
EP3200420B1 (en) Providing communications security to an end-to-end communication connection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818