CN103152340A - 一种跨资源访问的协议识别方法 - Google Patents

一种跨资源访问的协议识别方法 Download PDF

Info

Publication number
CN103152340A
CN103152340A CN2013100636991A CN201310063699A CN103152340A CN 103152340 A CN103152340 A CN 103152340A CN 2013100636991 A CN2013100636991 A CN 2013100636991A CN 201310063699 A CN201310063699 A CN 201310063699A CN 103152340 A CN103152340 A CN 103152340A
Authority
CN
China
Prior art keywords
domain name
information
protocol
address
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100636991A
Other languages
English (en)
Other versions
CN103152340B (zh
Inventor
余兆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opzoon Technology Co Ltd
Original Assignee
Opzoon Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opzoon Technology Co Ltd filed Critical Opzoon Technology Co Ltd
Priority to CN201310063699.1A priority Critical patent/CN103152340B/zh
Publication of CN103152340A publication Critical patent/CN103152340A/zh
Application granted granted Critical
Publication of CN103152340B publication Critical patent/CN103152340B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明提供一种跨资源访问的协议识别方法，该方法包括提取具体业务协议应用和该应用的跨资源访问的服务器的协议特征建立特征库；基于特征库对网络协议报文内容进行DPI检测识别并对所需报文的回应包进行内容解析，得到访问资源的域名信息或报文五元组信息，如果回应包提供的是域名，则通过DNS解析域名得到访问资源的五元组信息，最终利用得到的五元组信息与新链接报文内容进行正则匹配，若匹配则识别新链接信息为所述的具体应用业务协议。通过本发明可将跨资源访问的一系列协议有效关联起来，识别为某一具体应用业务协议，有效对网络流量进行管理。

Description

一种跨资源访问的协议识别方法
技术领域
本发明涉及网络协议识别技术领域，具体涉及一种跨资源访问的协议识别方法。
背景技术
随着互联网和移动互联网的快速发展，用户的体验与参与也越来越丰富，除了文字传播，网络流量分布中以音频与视频的流量占有较大比重，如果不能对这些流量正确识别并加以监管和控制，将很大程度上加大网络的拥堵，影响用户的体验。如以千千静听为代表的主要以音乐与视频MV传播为主要业务的应用协议，除了自身的海量服务器存储大量的播放资源以外，部分资源还可以跨其它服务器去获取，这种跨服务器获取资源的方式采用的是服务器本身的应用协议，这些服务器只存放资源的链接信息，根据获取的资源链接信息找到存储资源的所在服务器从而提供给用户，这是一个连续的过程，涉及到多种协议。根据这种连续的跨资源访问方式，采用多协议的结合，如果不采用某种技术辅助识别，则大量的音视频流量不能识别为具体业务协议，从而影响了对这部分网络流量的监管。
目前协议识别领域主要采用的协议识别技术是DPI(Deep PacketInspection深度包检测)与DFI(Deep Flow Inspection深度流检测)两个部分，DPI主要是对协议内容进行扫描匹配，针对跨资源访问的协议，本身对协议的识别采用DPI，应用业务的跨资源连续访问方式中的每一种协议都采用DPI识别。现有的跨资源访问的服务器的流量被识别为单个的服务器的协议。
但针对这种跨资源访问的流量不能简单仅仅只是识别为单个协议，还需要根据一系列的访问方式及在访问链上多协议的内联性进行综合识别，只有统一识别为某一具体应用业务协议，才能有效进行流量管理。
发明内容
(一)所要解决的技术问题
本发明提供一种基于跨资源访问的协议识别方法，把跨资源访问的连续的涉及多种的不同协议有效识别为本应用业务协议，高效率地完成对需要跨服务器资源访问的应用协议的识别，进而实现对网络流量的监管与控制。
(二)技术方案
本发明提供一种跨资源访问的协议识别方法，该方法包括：
A：提取业务协议应用的域名关键字，编译形成特征库；
B：提取所述应用的跨资源访问服务器的域名关键字，编译并加入所述特征库；
C：基于所述特征库对网络中不同链接信息进行DPI检测识别，若发现所述业务协议应用，则将所述业务协议应用记录下来，所述记录有时间限制；
若发现所述应用的跨资源访问服务器，则判断是否有所述记录：否，则将链接信息直接识别为本服务器的协议；是，则对服务器链接的回复包进行提取，若得到访问资源的域名关键字，存储域名关键字转至步骤D，若得到访问资源的IP地址，存储IP地址直接转至步骤E；
D：扫描主机的DNS请求，判断请求解析的域名是否与所述访问资源的域名关键字相匹配，若匹配，则记录DNS解析出的访问资源的IP地址；
E：根据所述访问资源的IP地址形成链接五元组信息并存储，判断网络中下一条链接信息的链接五元组信息与所述存储的五元组信息是否匹配，若匹配则将所述链接信息识别为具体业务应用协议。
其中，所述步骤A包括：抓取所述业务协议应用的离线报文，分析并提取域名关键字。
其中，所述访问资源的域名关键字存储于域名hash表，所述访问资源的IP地址存储于IP地址hash表。
其中，所述五元组信息存储时间为：成功匹配一次后清空，或不管匹配与否，预定时间后清空。
(三)有益效果
本发明对跨资源访问的协议进行内联性识别，统一识别为具体业务应用协议，而不是识别为不同的单个服务器的协议，这种访问资源一般流量较大，只有统一跨资源访问链接上的所有协议才能将这种资源的协议统一识别为应用业务协议，对业务应用协议管理实现了对资源管理，进而统一了对流量的监管，净化了网络流量环境，减缓了网络拥堵，提高了用户体验。
附图说明
图1为本发明所述的跨资源访问的协议识别方法步骤流程图。
具体实施方式
下面结合附图和实施实施例，对本发明的具体实施方式作进一步详细描述。
本发明提供一种跨资源访问的协议识别方法，具体步骤如图1所示：简单起见，以千千静听这一应用为例，
A：提取业务协议应用的域名关键字，编译形成特征库。
通过抓取千千静听的离线报文，分析提取千千静听的域名关键字及其它特征，即能唯一识别为千千静听协议的所有特征(报文内容信息)，将这些信息编译形成特征库。
B：提取所述应用的跨资源访问服务器的域名关键字，编译并加入所述特征库。
抓取千千静听的跨资源访问的服务器的离线报文，提取其中的服务器的域名及其它关键字特征并进行编译，加入步骤A中的所述特征库。
C：基于所述特征库对网络中不同链接信息进行DPI检测识别，若发现所述业务协议应用，则将所述业务协议应用记录下来，所述记录有时间限制；
若发现所述应用的跨资源访问服务器，判断是否有所述记录：否，则直接识别为本服务器的协议；是，则对服务器链接的回复包进行提取，若得到访问资源的域名关键字，转至步骤E，若得到访问资源的IP地址，直接转至步骤F。
将形成的特征库编入系统，系统监听网络中不同链接信息，基于所述特征库，对链接信息进行DPI检测识别即对信息的数据报文进行正则表达式的扫描匹配，若发现与特征库中千千静听的特征相匹配，即识别发现了千千静听的链接，则进行记录，这样表示跨资源访问这条访问链的头是具体业务应用协议，目的是将这条访问链上的所有协议均识别为千千静听的协议；
当出现千千静听的跨资源访问的服务器的链接，则进行判断此前有没有记录过千千静听的链接，如果没记录则直接识别为单个服务器协议并返回，这里，所述记录有时间戳限制，记录表示用户正在使用千千静听播放器，而且当前服务器即存放资源的服务器是千千静听协议需要访问的。
如果记录过，则对千千静听跨资源访问的服务器链接的回复包进行解析提取，服务器存放的是访问资源的存储地址。对于资源的访问域名信息或IP地址信息，若提取得到访问资源的域名关键字，则将其存入域名hash表，转至步骤D；若提取得到访问资源的IP地址，则将其存入IP地址hash表，直接转至步骤E。
D：扫描主机的DNS请求，判断请求解析的域名是否与所述访问资源的域名关键字相匹配，若匹配，则记录DNS解析出的访问资源的IP地址。
扫描主机DNS请求，匹配DNS报文与所存储报文的域名信息，如不匹配则继续扫描；如匹配则解析DNS回复报文，提取访问资源的IP地址，即目的IP地址，将源IP地址与目地IP地址存储起来进行后续报文匹配。
E：根据所述访问资源的目的IP地址形成五元组信息，判断网络中下一条链接信息的五元组信息与所述获取的五元组信息是否匹配，如果匹配则识别为具体业务应用协议。
基于目的IP地址，源IP地址形成五元组(源ip、目地ip、源端口、目的端口、协议)信息并存储。
继续监听网络链接，将监听到的下一条链接报文的链接五元组信息与已存储的五元组信息进行正则匹配。如匹配则打上千千静听的标签，识别为千千静听的链接，最终这种跨资源访问的协议才能真正识别完毕，这种大流量资源最终会识别为具体应用业务协议，如千千静听等。这里得到的五元组信息存储时间也有时间戳，两种选择：成功匹配一次后清空；不管匹配与否，一定时间后清空。
本实施例的跨资源访问的协议识别方法，将多种协议统一识别为了一种具体业务协议，有效的实现了流量的管理。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (4)

1.一种跨资源访问的协议识别方法，其特征在于，该方法包括：
A：提取业务协议应用的域名关键字，编译形成特征库；
B：提取所述应用的跨资源访问服务器的域名关键字，编译并加入所述特征库；
C：基于所述特征库对网络中不同链接信息进行DPI检测识别，若发现所述业务协议应用，则将所述业务协议应用记录下来，所述记录有时间限制；
若发现所述应用的跨资源访问服务器，则判断是否有所述记录：否，则将链接信息直接识别为本服务器的协议；是，则对服务器链接的回复包进行提取，若得到访问资源的域名关键字，存储域名关键字转至步骤D，若得到访问资源的IP地址，存储IP地址直接转至步骤E；
D：扫描主机的DNS请求，判断请求解析的域名是否与所述访问资源的域名关键字相匹配，若匹配，则记录DNS解析出的访问资源的IP地址；
E：根据所述访问资源的IP地址形成链接五元组信息并存储，判断网络中下一条链接信息的链接五元组信息与所述存储的五元组信息是否匹配，若匹配则将所述链接信息识别为具体业务应用协议。
2.如权利要求1所述方法，其特征在于，所述步骤A包括：抓取所述业务协议应用的离线报文，分析并提取域名关键字。
3.如权利要求1所述方法，其特征在于，所述访问资源的域名关键字存储于域名hash表，所述访问资源的IP地址存储于IP地址hash表。
4.如权利要求1所述方法，其特征在于，所述五元组信息存储时间为：成功匹配一次后清空，或不管匹配与否，预定时间后清空。
CN201310063699.1A 2013-02-28 2013-02-28 一种跨资源访问的协议识别方法 Expired - Fee Related CN103152340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310063699.1A CN103152340B (zh) 2013-02-28 2013-02-28 一种跨资源访问的协议识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310063699.1A CN103152340B (zh) 2013-02-28 2013-02-28 一种跨资源访问的协议识别方法

Publications (2)

Publication Number Publication Date
CN103152340A true CN103152340A (zh) 2013-06-12
CN103152340B CN103152340B (zh) 2015-12-02

Family

ID=48550203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310063699.1A Expired - Fee Related CN103152340B (zh) 2013-02-28 2013-02-28 一种跨资源访问的协议识别方法

Country Status (1)

Country Link
CN (1) CN103152340B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103957286A (zh) * 2014-04-18 2014-07-30 上海聚流软件科技有限公司 Dns安全系统及其故障处理方法
CN104579805A (zh) * 2013-10-12 2015-04-29 郑州冰川网络技术有限公司 一种新的网络流量识别方法
CN108259371A (zh) * 2016-12-28 2018-07-06 亿阳信通股份有限公司 一种基于流处理的网络流量数据解析方法和装置
CN112688884A (zh) * 2020-12-30 2021-04-20 北京安博通科技股份有限公司 加密流量自定义应用识别方法、系统、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741644A (zh) * 2009-12-16 2010-06-16 成都市华为赛门铁克科技有限公司 流量检测方法及装置
CN102347949A (zh) * 2011-09-28 2012-02-08 上海西默通信技术有限公司 基于dpi的应用协议分析方法
CN102624878A (zh) * 2012-02-23 2012-08-01 汉柏科技有限公司 基于dns协议识别p2p协议的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741644A (zh) * 2009-12-16 2010-06-16 成都市华为赛门铁克科技有限公司 流量检测方法及装置
CN102347949A (zh) * 2011-09-28 2012-02-08 上海西默通信技术有限公司 基于dpi的应用协议分析方法
CN102624878A (zh) * 2012-02-23 2012-08-01 汉柏科技有限公司 基于dns协议识别p2p协议的方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104579805A (zh) * 2013-10-12 2015-04-29 郑州冰川网络技术有限公司 一种新的网络流量识别方法
CN103957286A (zh) * 2014-04-18 2014-07-30 上海聚流软件科技有限公司 Dns安全系统及其故障处理方法
CN103957286B (zh) * 2014-04-18 2016-04-06 北京奇虎科技有限公司 Dns安全系统及其故障处理方法
CN108259371A (zh) * 2016-12-28 2018-07-06 亿阳信通股份有限公司 一种基于流处理的网络流量数据解析方法和装置
CN112688884A (zh) * 2020-12-30 2021-04-20 北京安博通科技股份有限公司 加密流量自定义应用识别方法、系统、装置及存储介质

Also Published As

Publication number Publication date
CN103152340B (zh) 2015-12-02

Similar Documents

Publication Publication Date Title
CN101924757B (zh) 追溯僵尸网络的方法和系统
CN110650128B (zh) 一种检测以太坊数字货币盗取攻击的系统及方法
CN102045363B (zh) 网络流量特征识别规则的建立方法、识别控制方法及装置
CN102724317B (zh) 一种网络数据流量分类方法和装置
US20110153811A1 (en) System and method for modeling activity patterns of network traffic to detect botnets
CN102148854B (zh) 对等节点共享流量识别方法和装置
KR20100075043A (ko) Ｉｒｃ 및 ｈｔｔｐ 봇넷 보안 관제를 위한 관리 시스템 및 그 방법
CN106789242B (zh) 一种基于手机客户端软件动态特征库的识别应用智能分析方法
CN105321108A (zh) 一种用于在对等网络上创建共享信息列表的系统和方法
CN107145779B (zh) 一种离线恶意软件日志的识别方法和装置
CN104320304A (zh) 一种易扩展的多方式融合的核心网用户流量应用识别方法
CN104639391A (zh) 一种生成网络流量记录的方法及相应的流量检测设备
CN104994016B (zh) 用于分组分类的方法和装置
CN102739457A (zh) 一种基于dpi和svm技术的网络流量识别系统及方法
Sharma et al. A new labeled flow-based DNS dataset for anomaly detection: PUF dataset
CN113825129B (zh) 一种5g网络环境下工业互联网资产测绘方法
CN103152340B (zh) 一种跨资源访问的协议识别方法
Vaarandi Detecting anomalous network traffic in organizational private networks
US20120047248A1 (en) Method and System for Monitoring Flows in Network Traffic
CN114143086A (zh) 一种Web应用识别方法、装置、电子设备及存储介质
CN102271331A (zh) 一种检测业务提供商sp站点可靠性的方法及系统
CN101668035B (zh) 一种实时识别多种p2p-tv应用视频流的方法
Cukier et al. A statistical analysis of attack data to separate attacks
CN102075355B (zh) 日志系统及其使用方法
Oudah et al. Using burstiness for network applications classification

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
PP01 Preservation of patent right

Effective date of registration: 20180823

Granted publication date: 20151202

PP01 Preservation of patent right
PD01 Discharge of preservation of patent

Date of cancellation: 20210823

Granted publication date: 20151202

PD01 Discharge of preservation of patent
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151202

Termination date: 20190228

CF01 Termination of patent right due to non-payment of annual fee