CN110581780B - 针对web服务器资产的自动识别方法 - Google Patents

针对web服务器资产的自动识别方法 Download PDF

Info

Publication number
CN110581780B
CN110581780B CN201910797029.XA CN201910797029A CN110581780B CN 110581780 B CN110581780 B CN 110581780B CN 201910797029 A CN201910797029 A CN 201910797029A CN 110581780 B CN110581780 B CN 110581780B
Authority
CN
China
Prior art keywords
http
data packet
protocol
port
executing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910797029.XA
Other languages
English (en)
Other versions
CN110581780A (zh
Inventor
刘元
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN201910797029.XA priority Critical patent/CN110581780B/zh
Publication of CN110581780A publication Critical patent/CN110581780A/zh
Application granted granted Critical
Publication of CN110581780B publication Critical patent/CN110581780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种针对WEB服务器资产的自动识别方法：包括以下步骤：S1、采集流量作为数据包；S2、从内存中获取数据包，判断数据包中的端口是否为常规端口；如果数据包属于常规端口，执行步骤S4；如果数据包属于非常规端口；执行步骤S3；S3、对会话中客户端方向报文长度不为0的数据包进行特征匹配：如果匹配成功，设定该会话的协议类型为HTTP协议并将数据包传送到协议解析模块，执行步骤S4；如果匹配失败，数据包丢弃；S4、从数据包中还原出HTTP行为的HTTP审计日志，将HTTP审计日志发送到资产识别模块，执行步骤S5；S5、资产识别。本发明可以有效的解决非常规端口的WEB服务器资产的识别问题。

Description

针对WEB服务器资产的自动识别方法
技术领域
本发明涉及一种WEB服务器资产识别方法，具体涉及一种针对WEB服务器资产的自动识别方法。
背景技术
随着信息化技术的快速发展，网络安全的重要性与日俱增。要满足网络安全检查要求、提升网络安全治理能力，一项重要的基础性工作就是详细、完整的识别组织内部的信息资产,才能尽可能封堵组织内部的安全漏洞、私人服务器，保护数据资产的安全性。
因此，需要对现有技术进行改进。
发明内容
本发明要解决的技术问题是提供一种高效的针对WEB服务器资产的自动识别方法。
为解决上述技术问题，本发明提供一种针对WEB服务器资产的自动识别方法：包括以下步骤：
S1、采集流量作为数据包；
S2、从内存中获取数据包，判断数据包中的端口是否为常规端口；如果数据包属于常规端口，执行步骤S4；如果数据包属于非常规端口；执行步骤S3；
S3、对会话中客户端方向报文长度不为0的数据包进行特征匹配：如果匹配成功，设定该会话的协议类型为HTTP协议并将数据包传送到协议解析模块，执行步骤S4；如果匹配失败，数据包丢弃；
S4、从数据包中还原出HTTP行为的HTTP审计日志，将HTTP审计日志发送到资产识别模块，执行步骤S5；
S5、资产识别，将资产信息进行备案。
作为对本发明针对WEB服务器资产的自动识别方法的改进：
步骤S5包括：
步骤S51：提取HTTP审计日志的目的地址
根据HTTP协议解析后还原的HTTP审计日志，提取目的地址信息，作为WEB服务器资产的IP；
步骤S52：提取HTTP审计日志的域名信息
根据HTTP协议解析后还原的HTTP审计日志，提取HOST域名信息，作为WEB服务器资产的域名。
作为对本发明针对WEB服务器资产的自动识别方法的进一步改进：
引擎启动时，在内存中完成匹配HTTP协议的特征串初始化，将特征串采用多模匹配的方式进行预编译处理；
可基于特征串对数据包进行多模匹配，若非常规端口的报文符合这些特征即认为是HTTP协议；然后根据数据包中的五元组建立会话信息；如果会话中协议类型是HTTP协议，执行步骤S4；如果会话中协议类型不是HTTP协议，执行步骤S3。
作为对本发明针对WEB服务器资产的自动识别方法的进一步改进：
特征串的特征1：请求方法特征串，包含GET，POST，HEAD，PUT，DELETE，OPTIONS，CONNECT，TRACE，PATCH，MOVE，COPY，LINK，UNLINK，WRAPPED，Extension-mothed；特征2：HTTP版本特征串，HTTP/1.1；特征3：请求头特征串，包含Referer:，Accept:，Accept-Encoding:，Accept-Language:，Content-Type:，User-Agent:，Host:，Cookie:，Date:，Pragma:，Range:，Location:，Server:，Last-modified:。
作为对本发明针对WEB服务器资产的自动识别方法的进一步改进：
五元组包括源IP、源端口、目的IP、目的端口和传输层协议。
作为对本发明针对WEB服务器资产的自动识别方法的进一步改进：
HTTP审计日志包括客户端IP和端口、服务端IP和端口、请求方法、URL、请求头、HOST等。
本发明针对WEB服务器资产的自动识别方法的技术优势为：
本发明可以有效的解决非常规端口的WEB服务器资产的识别问题。本发明通过HTTP协议自动识别和解析，将还原后的HTTP审计日志关联出WEB服务器资产，可以有效的发现WEB服务器资产，快速形成全网的WEB服务器资产识别的能力。
(1)HTTP协议自动识别,准确识别出网络流量中常规端口和非常规端口的HTTP协议流量；
(2)资产自动识别，对常规端口和非常规端口的HTTP协议流量进行解析，还原后的HTTP审计日志关联出WEB服务器资产，可以有效的发现WEB服务器资产，快速形成全网的WEB服务器资产的自动识别能力。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为针对WEB服务器资产的自动识别方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此。
实施例1、针对WEB服务器资产的自动识别方法，如图1所示，包括以下步骤：
S1、采集流量作为数据包；
持续采集网络环境中的流量，以数据包形式保存到内存。
S2、从内存中获取数据包，判断数据包中的端口是否为常规端口；提供基于常规端口识别HTTP协议的方法，并把属于常规端口的数据包传递到协议解析模块(步骤S4)，非常规端口的数据包传到到协议识别模块(步骤S3)。
引擎启动时，会在内存中完成匹配HTTP协议的特征串初始化，将特征串采用多模匹配的方式进行预编译处理。
这些特征串的特征1：请求方法特征串，包含GET，POST，HEAD，PUT，DELETE，OPTIONS，CONNECT，TRACE，PATCH，MOVE，COPY，LINK，UNLINK，WRAPPED，Extension-mothed等。特征2：HTTP版本特征串，HTTP/1.1等。特征3：请求头特征串，包含Referer:，Accept:，Accept-Encoding:，Accept-Language:，Content-Type:，User-Agent:，Host:，Cookie:，Date:，Pragma:，Range:，Location:，Server:，Last-modified:等。
可基于这些特征串对数据包进行多模匹配，若非常规端口的报文符合这些特征即认为是HTTP协议。
然后根据数据包中的五元组(源IP、源端口、目的IP、目的端口、传输层协议)建立会话信息。如果会话中协议类型是HTTP协议，执行步骤S4。如果会话中协议类型不是HTTP协议，执行步骤S3；
S3、协议识别；
对会话中客户端方向报文长度不为0的数据包进行特征匹配(多模匹配)：如果匹配成功，设定该会话的协议类型为HTTP协议并将数据包传送到协议解析模块，执行步骤S4；如果匹配失败，数据包丢弃。
S4、协议解析；
提供基于HTTP协议标准规范对数据包进行解析和行为还原的方法，从数据包中还原出HTTP行为的HTTP审计日志，将HTTP审计日志发送到资产识别模块，执行步骤S5。
S5、资产识别；
资产识别模块提供基于HTTP审计日志关联资产的方法，将资产信息进行备案，包括以下步骤：
步骤1：提取HTTP审计日志的目的地址
根据HTTP协议解析后还原的HTTP审计日志，提取目的地址信息，作为WEB服务器资产的IP。
步骤2：提取HTTP审计日志的域名信息
根据HTTP协议解析后还原的HTTP审计日志，提取HOST域名信息，作为WEB服务器资产的域名。
HTTP审计日志就是从数据包中已经解析还原出的行为信息，可以包含很多信息，比如客户端IP和端口、服务端IP和端口、请求方法、URL、请求头、HOST等等。所以从审计日志中提取目的端口和HOST域名信息，是可以直接提取的。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (1)

1.针对WEB服务器资产的自动识别方法，其特征在于包括以下步骤：
S1、采集流量作为数据包；
S2、从内存中获取数据包，判断数据包中的端口是否为常规端口；如果数据包属于常规端口，执行步骤S4；如果数据包属于非常规端口；执行步骤S3；
引擎启动时，会在内存中完成匹配HTTP协议的特征串初始化，将特征串采用多模匹配的方式进行预编译处理；
特征串的特征1：请求方法特征串，包含GET，POST，HEAD，PUT，DELETE，OPTIONS，CONNECT，TRACE，PATCH，MOVE，COPY，LINK，UNLINK，WRAPPED，Extension-mothed；特征2：HTTP版本特征串，HTTP/1.1；特征3：请求头特征串，包含Referer:，Accept:，Accept-Encoding:，Accept-Language:，Content-Type:，User-Agent:，Host:，Cookie:，Date:，Pragma:，Range:，Location:，Server:，Last-modified:；
基于特征串对数据包进行多模匹配，若非常规端口的报文符合特征即认为是HTTP协议；
然后根据数据包中的五元组建立会话信息；如果会话中协议类型是HTTP协议，执行步骤S4；如果会话中协议类型不是HTTP协议，执行步骤S3；
所述五元组为源IP、源端口、目的IP、目的端口和传输层协议；
S3、对会话中客户端方向报文长度不为0的数据包进行特征匹配：如果匹配成功，设定该会话的协议类型为HTTP协议并将数据包传送到协议解析模块，执行步骤S4；如果匹配失败，数据包丢弃；
S4、从数据包中还原出HTTP行为的HTTP审计日志，将HTTP审计日志发送到资产识别模块，执行步骤S5；
S5、资产识别，将资产信息进行备案；
包括以下步骤：
步骤1：提取HTTP审计日志的目的地址
根据HTTP协议解析后还原的HTTP审计日志，提取目的地址信息，作为WEB服务器资产的IP；
步骤2：提取HTTP审计日志的域名信息
根据HTTP协议解析后还原的HTTP审计日志，提取HOST域名信息，作为WEB服务器资产的域名；
HTTP审计日志就是从数据包中已经解析还原出的行为信息，包含如下信息：客户端IP和端口、服务端IP和端口、请求方法、URL、请求头以及HOST；所以从审计日志中提取目的端口和HOST域名信息，是可以直接提取的。
CN201910797029.XA 2019-08-27 2019-08-27 针对web服务器资产的自动识别方法 Active CN110581780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910797029.XA CN110581780B (zh) 2019-08-27 2019-08-27 针对web服务器资产的自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910797029.XA CN110581780B (zh) 2019-08-27 2019-08-27 针对web服务器资产的自动识别方法

Publications (2)

Publication Number Publication Date
CN110581780A CN110581780A (zh) 2019-12-17
CN110581780B true CN110581780B (zh) 2022-10-21

Family

ID=68811952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910797029.XA Active CN110581780B (zh) 2019-08-27 2019-08-27 针对web服务器资产的自动识别方法

Country Status (1)

Country Link
CN (1) CN110581780B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177595B (zh) * 2019-12-20 2024-04-05 杭州九略智能科技有限公司 一种针对http协议模板化提取资产信息的方法
CN111399893A (zh) * 2020-03-20 2020-07-10 深信服科技股份有限公司 服务信息更新方法、装置、设备及计算机可读存储介质
CN112667896A (zh) * 2020-12-29 2021-04-16 成都科来网络技术有限公司 一种基于网络行为推导的资产识别方法、计算机程序及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916294A (zh) * 2014-04-29 2014-07-09 华为技术有限公司 协议类型的识别方法和装置
CN104243228A (zh) * 2013-06-07 2014-12-24 金琥 基于会话及http协议标准检测http隧道数据的方法
CN105162614A (zh) * 2015-06-19 2015-12-16 成都艾尔普科技有限责任公司 网络用户行为审计与责任管理方法
CN108900554A (zh) * 2018-08-22 2018-11-27 杭州安恒信息技术股份有限公司 Http协议资产检测方法、系统、设备及计算机介质
CN109309587A (zh) * 2018-10-09 2019-02-05 广东网安科技有限公司 一种日志采集方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243228A (zh) * 2013-06-07 2014-12-24 金琥 基于会话及http协议标准检测http隧道数据的方法
CN103916294A (zh) * 2014-04-29 2014-07-09 华为技术有限公司 协议类型的识别方法和装置
CN105162614A (zh) * 2015-06-19 2015-12-16 成都艾尔普科技有限责任公司 网络用户行为审计与责任管理方法
CN108900554A (zh) * 2018-08-22 2018-11-27 杭州安恒信息技术股份有限公司 Http协议资产检测方法、系统、设备及计算机介质
CN109309587A (zh) * 2018-10-09 2019-02-05 广东网安科技有限公司 一种日志采集方法及系统

Also Published As

Publication number Publication date
CN110581780A (zh) 2019-12-17

Similar Documents

Publication Publication Date Title
US10795992B2 (en) Self-adaptive application programming interface level security monitoring
US10091248B2 (en) Context-aware pattern matching accelerator
US9185125B2 (en) Systems and methods for detecting and mitigating threats to a structured data storage system
CN101741644B (zh) 流量检测方法及装置
Rossow et al. Sandnet: Network traffic analysis of malicious software
CN110581780B (zh) 针对web服务器资产的自动识别方法
US8522348B2 (en) Matching with a large vulnerability signature ruleset for high performance network defense
US9853876B1 (en) Mobile application identification in network traffic via a search engine approach
CN101557329B (zh) 一种基于应用层的数据分割方法及装置
WO2015165296A1 (zh) 协议类型的识别方法和装置
US12003517B2 (en) Enhanced cloud infrastructure security through runtime visibility into deployed software
US20120124661A1 (en) Method for detecting a web application attack
JP2017016650A (ja) コンピュータネットワーク上の資産を検出および識別するための方法およびシステム
CN110958231A (zh) 基于互联网的工控安全事件监测平台及其方法
Anderson et al. Accurate TLS fingerprinting using destination context and knowledge bases
CN108259416B (zh) 检测恶意网页的方法及相关设备
KR101017015B1 (ko) 네트워크 기반 고성능 콘텐츠 보안 시스템 및 방법
CN113922992B (zh) 一种基于http会话的攻击检测方法
Schwartzenberg Using machine learning techniques for advanced passive operating system fingerprinting
US10257093B2 (en) Information processing device, method, and medium
KR102695897B1 (ko) 전자 장치 및 이에 의한 트래픽의 분석 방법
CN110943873B (zh) 一种报文流的处理方法、装置和可读介质
KR100669240B1 (ko) 평가규칙표기언어를 이용한 ＩＰｖ6 네트워크 계층의보안성 평가 시스템 및 방법
CN114978745A (zh) 口令审计方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant