CN109474603A - 数据抓包处理方法及终端设备 - Google Patents
数据抓包处理方法及终端设备 Download PDFInfo
- Publication number
- CN109474603A CN109474603A CN201811423759.5A CN201811423759A CN109474603A CN 109474603 A CN109474603 A CN 109474603A CN 201811423759 A CN201811423759 A CN 201811423759A CN 109474603 A CN109474603 A CN 109474603A
- Authority
- CN
- China
- Prior art keywords
- data
- myproxy
- behalf
- tool
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0281—Proxies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明适用于计算机应用技术领域,提供了一种数据抓包处理方法、终端设备及计算机可读存储介质,包括:通过根据源应用信息和目的应用信息搭建Myproxy代理工具,根据Myproxy代理工具基于各类协议对数据进行抓包得到通信数据流,最后对通信数据流进行过滤和分析得到数据分析结果,以清楚全面的抓取到各应用在运行过程中的通信数据流,并提高了数据抓包的效率。
Description
技术领域
本发明属于计算机应用技术领域,尤其涉及一种数据抓包处理方法、终端设备及计算机可读存储介质。
背景技术
在对网络进行安全检查的时候,通过抓包来实现,就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作,抓包也经常被用来进行数据截取等。现有技术中通过网络抓包工具如wireshark或者tcpdump实现数据的抓包,这些工具和命令都是用来抓取服务器和服务器之间的通讯包,对于分析网络通信是否正常比较实用,但对于开发来说更需要关心的是通信中内容,例如入参、出参以及每个参数的类型,但这些信息在这些工具中看不到或者很难看懂。因此,现有技术中很容易出现抓包得到的数据不够清楚、全面的问题。
发明内容
有鉴于此,本发明实施例提供了一种数据抓包处理方法、终端设备及计算机可读存储介质,以解决现有技术中抓包得到的数据不够清楚、全面的问题。
本发明实施例的第一方面提供了一种数据抓包处理方法,包括:
根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流;
将所述通信数据流在所述Myproxy代理工具中进行数据过滤,得到目标数据;
对所述目标数据进行分析,得到数据分析结果。
本发明实施例的第二方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流;
将所述通信数据流在所述Myproxy代理工具中进行数据过滤,得到目标数据;
对所述目标数据进行分析,得到数据分析结果。
本发明实施例的第三方面提供了一种终端设备,包括:
获取单元,用于根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流;
过滤单元,用于将所述通信数据流在所述Myproxy代理工具中进行数据过滤,得到目标数据;
分析单元,用于对所述目标数据进行分析,得到数据分析结果。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
本发明实施例与现有技术相比存在的有益效果是:
本发明实施例通过根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流;将所述通信数据流在Myproxy代理工具中进行数据过滤,得到目标数据;对所述目标数据进行分析,得到数据分析结果。通过根据源应用信息和目的应用信息搭建Myproxy代理工具,根据Myproxy代理工具基于各类协议对数据进行抓包得到通信数据流,最后对通信数据流进行过滤和分析得到数据分析结果,以清楚全面的抓取到各应用在运行过程中的通信数据流,并提高了数据抓包的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的数据抓包处理方法的流程图;
图2是本发明实施例二提供的数据抓包处理方法的流程图;
图3是本发明实施例三提供的终端设备的示意图;
图4是本发明实施例四提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
参见图1,图1是本发明实施例一提供的数据抓包处理方法的流程图。本实施例中数据抓包处理方法的执行主体为终端。终端包括但不限于智能手机、平板电脑、可穿戴设备等移动终端,还可以是台式电脑等。如图所示的数据抓包处理方法可以包括以下步骤:
S101:根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流。
在现在的开发环境中,开发人员或者测试人员需要实时获取到计算机应用程序的运行数据,这种需求一般通过抓取通信数据包的方式来实现。就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作,抓包也经常被用来进行数据截取等。目前用的比较多的网络抓包工具如WIRESHARK,还有网络人员在工作中用的比较多的是TCPDump,这些工具和命令都是用来抓取服务器和服务器之间的通讯包,对于分析网络通信的运行状态是否正常比较实用,但还是对于开发人员来说这些工具都不实用。因为对于开发来说更需要关心的是通信中内容,比如应用程序或者程序中的每个函数的入参、出参以及每个参数的类型,但还是这些信息在这行工具中看不到或者很难看懂。
在本实施例中,对源应用和目的应用之间的数据进行抓包之前,先确定需要获取数据的源应用和目的应用,例如移动终端和服务器之间进行数据处理和通信交互,则此处的源应用和目的应用便是移动终端和服务器。确定源应用和目的应用的方式可以是确定源应用和目的应用的设备编号、网络互连协议(Internet Protocol,IP)地址、媒体访问控制地址(Media Access Control Address,MAC)等,此处不做限定。其中,源应用和目的应用可以是服务器、计算机、平板电脑、移动手机等设备。在确定了源应用和目的应用之后,需要将这两个应用之间进行连接,因此,需要确定源应用和目的应用的信息。其中,这些应用的信息可以是IP地址、MAC地址或者是登录该应用的用户的用户标识等,此处不做限定。在获取到源应用信息和目的应用信息之后,根据源应用信息和目的应用信息,搭建Myproxy代理工具。Myproxy由一个信息库服务器和一整套连接工具组成,首先用永久证书和信息库取得联系,如果是通过网格入口代为联系,网格入口还需向信息库服务器提交代理证书。示例性地,在这一过程,服务器会验证客户的客户标识、通行证等信息。在网格信任上,客户标识相当于客户的手写签名,简洁且明确。客户在信息库上的委托代理是有时间限制的,一般有一个星期的生命期,当然用户可以改变周期长短,也可以随时随地取消代理。
根据搭建好的源应用和目的应用之间的Myproxy代理工具,把客户端的请求数据以及服务端返回的数据完整的抓取下来。在本实施例中,Myproxy是基于不同的网络协议获取源数据,MyProxy实现了一个超文本传输协议(HTTP,Hyper Text Transfer Protocol)/以安全为目标的HTTP通道(Hyper Text Transfer Protocol over Secure Socket Layer,HTTPS)/简单邮件传输协议(Simple Mail Transfer Protocol,SMTP)/邮局协议版本3(Post Office Protocol-Version 3,POP3)的协议的代理服务。需要说明的是,本实施例中通过Myproxy代理工具来获取数据时,可以获取不同协议对应的数据,具体通过截取HTTP、HTTPS、TCP等各种协议的端口号Socket的通讯数据流作为源数据。本实施例中的,网格安全代理系统Myproxy主要是为网格入口服务的系统软件,它可以在网格上的任何地方访问到它们的证书,即便不在网格上,也应保证能访问到它们的长期证书;允许委托他人去访问网格,只要你信任他;随时删除掉不信任者的作业,以降低危险;支持多种格式的用户;尽可能给予用户更大范围的委托权。
进一步的,由于在进行数据截取时,所截取的协议类型有很多,其对应的源应用或者目标应用也有较多数目。这种情况下很容易在数据截取或者抓包的过程中发生数据拥塞,使得当前网络负载加重,设置造成网络瘫痪的问题。考虑到这种情况,在本实施例中,通过对当前获取到的通信数据流进行流量分析,确定当前通信数据流的特点,根据当前通信数据流的特点以及预设的流量模型,控制数据流的获取频率。具体的,可以实时观测当前数据获取的流量,并设定一个流量预设,若当前的数据获取流量大于或者等于该流量阈值,则进行告警,或者自动减少一个源应用和目标应用的数据,以减少同一时间之内获取到的通信数据的数据量,保证通信数据流的完整流通和传递。
S102:将所述通信数据流在所述Myproxy代理工具中进行数据过滤,得到目标数据。
在获取到通信数据流之后,由于很多情况下获取到的数据可能存在出现问题的数据,或者获取到的数据流的数据量较大而不能进行精确的处理,在本实施例中,将获取到的通信数据流在Myproxy代理工具中进行数据过滤,以得到过滤之后的目标数据。
通过监控向指定目标应用上发送的请求,对网络请求和通信数据流进行过滤得到目标数据。具体的,本实施例可以在Myproxy代理工具主界面的Filter栏中填入需要过滤出来的关键字。例如我们需要获取的通信数据流的对象为服务器,该服务器的地址是:http://ABCD.com,则只需要在Filter栏中填入ABCD.com即可。除此之外还可以填入需要监控的协议、主机地址、端口号等参数,这样便可只截取目标网站的封包来实现数据过滤。
S103:对所述目标数据进行分析,得到数据分析结果。
在获取到目标数据之后,若是用户在测试应用的环境中使用本实施例,则可以根据获取到的目标数据生成测试用例。测试步骤是最小的单位,一个完整的测试用例是由多个测试步骤所组成的,而每一个测试步骤,都需要根据实际的业务要求进行组织。一个测试用例代表一个完整操作,接口测试的目的在于模拟外部的调用来验证接口的功能,而接口功能的各个分支则由传入参数,即测试数据的不同来遍历。
具体的,在对目标数据进行分析时,可以将目标数据按一定规律用列表方式表达出来,记录和处理目标数据。表格的设计要求对应关系清楚、简单明了、有利于发现相关量之间的关系,此外还可以根据需要还可以列出除原始数据以外的计算栏目和统计栏目等。分析数据是将收集的数据通过加工、整理和分析、使其转化为信息。可选的,可以通过关联图、系统图、矩阵图、计划评审技术、过程决策程序图法、矩阵数据图等方法进行数据分析。
上述方案,通过根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流;将所述通信数据流在Myproxy代理工具中进行数据过滤,得到目标数据;对所述目标数据进行分析,得到数据分析结果。通过根据源应用信息和目的应用信息搭建Myproxy代理工具,根据Myproxy代理工具基于各类协议对数据进行抓包得到通信数据流,最后对通信数据流进行过滤和分析得到数据分析结果,以清楚全面的抓取到各应用在运行过程中的通信数据流,并提高了数据抓包的效率。
参见图2,图2是本发明实施例二提供的数据抓包处理方法的流程图。本实施例中数据抓包处理方法的执行主体为终端。终端包括但不限于智能手机、平板电脑、可穿戴设备等移动终端,还可以是台式电脑等。如图所示的数据抓包处理方法可以包括以下步骤:
S201:确定待获取通信数据的源应用和目的应用,并获取所述源应用的源应用信息和所述目的应用的目的应用信息。
在对源应用和目的应用之间的数据进行抓包之前,先确定需要获取数据的源应用和目的应用。确定的方式可以是确定源应用和目的应用的设备编号、IP地址、MAC地址等。其中,源应用和目的应用可以是服务器、计算机、平板电脑、移动手机等设备,此处不做限定。
在确定了源应用和目的应用之后,需要将这两个应用之间进行连接,因此,需要确定源应用的源应用信息和目的应用的目的应用信息,这些应用的信息可以是IP地址、MAC地址或者是登录该应用的用户标识等,还可以是源应用和目的应用的配置信息,此处不做限定。
S202:根据所述源应用信息和所述目的应用信息,搭建Myproxy代理工具。
在获取到源应用信息和目的应用信息之后,根据源应用信息和目的应用信息,搭建Myproxy代理工具。Myproxy由一个信息库服务器和一整套连接工具组成。首先用永久证书和信息库取得联系,如果是通过网格入口代为联系,网格入口还需向信息库服务器提交代理证书。示例性地,在这一过程,服务器会验证客户的客户标识、通行证等。在网格信任上,客户标识相当于客户的手写签名,简洁且明确。客户在信息库上的委托代理是有时间限制的,一般有一个星期的生命期,当然用户可以改变周期长短,也可以随时随地取消代理。
MyProxy是网格安全代理系统,主要是为网格入口服务的系统软件,在本实施例中我们选择的是一类应用服务器的网格门户作为网格的入口。MyProxy是委托证书到网格门户的一种解决方法,允许网格门户代表用户鉴定网格服务。用户在MyProxy信息库里存储证书,并发送用户名和密码到网格门户,用户无论何时何地,只要需要就能取回存储在MyProxy信息库里网格证书,而不再需要管理私钥和证书。为用户安全地存储安全证书和代理证书,使用代理以后,实现过程的安全性大大提高,但是私钥的安全还是落在了用户的身上。由用户来管理私钥,用户并不能保证能选择合适的密码来保护私钥的安全,实际上,很多用户甚至并没有为他们的密钥选择密码,也并不能保证密钥存储的位置是安全的。
为了通过网格门户使用MyProxy,首先将网格证书存储到网格门户能够使用的MyProxy服务器。一旦证书存储到MyProxy服务器,用户就能用MyProxy用户名和密码登录到网格门户。登录后,用户就能通过网格门户接口访问网格服务。网格门户使用MyProxy用户名和密码登录,并利用它们通过MyProxy服务器的鉴定,取回证书。通常情况下,用户使用客户端程序和安全证书开始,其中安全证书是与服务器连接中必不可少的,然后通过鉴定信息和取回限制将一系列代理证书委托给服务器。鉴定信息包括用户名,和稍后在取回操作中鉴定需要的密码。用户标识和密码由用户选择,但是必须复合MyProxy系统和本地协议。用户名在某种程度上相当于手写签名,简洁而且明确,用户名和密码使用户更加容易记忆和使用,实现通过专门的专业的服务来代替用户管理用户的私钥和安全证书,保证网络服务代理的安全性,以及通过该网络服务代理获取数据的私密性和安全性。
S203:根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流。
在本实施例中S203与图1对应的实施例中S101的实现方式完全相同,具体可参考图1对应的实施例中的S101的相关描述,在此不再赘述。
S204:将所述通信数据流在所述Myproxy代理工具中进行数据过滤,得到目标数据。
通常情况下,我们需要对从应用程序中获取到的数据进行过滤,只监控向指定目录服务器上发送的请求。对于这种需求,可以通过在数据获取的主界面的过滤栏中填入需要过滤出来的关键字。例如我们的服务器的地址是http://ABCD.com,只需在过滤栏中填入ABCD.com即可进行数据过滤,将其余网站的数据删除,只留下该网站的数据。可短的,还可以在菜单栏选择“记录设置”,选择添加一个项目并填入需要监控的协议、主机地址、端口号等信息,这样就可只截取目标网站的封包。
在除了上述的方式之外,步骤S204中还可以包括步骤S2041~S2042:
S2041:确定所述通信数据流中的数据信息与所述Myproxy代理工具中的预设数据信息之间的相似度。
在本实施例中的Myproxy代理工具中预设有数据信息,通过预设数据信息确定所需的数据信息。这里的数据信息可以包括数据类型、数据结构或者获取数据的时间等,用于表示除数据内容的其他信息,此处不做限定。
在本实施例中,通过计算通信数据流的数据信息与预设数据信息之间的相似度,确定当前的通信数据流情况是否符合预设的所需数据。可选的,可以通过计算两个序列之间的距离确定相似度。示例性地,可以通过欧几里得距离、欧式距离的标准化、马哈拉诺比斯距离、曼哈顿距离、切比雪夫距离、明可夫斯基距离或者海明距离的方式来计算两个状态序列之间的距离,也可以通过计算余弦相似度以及调整余弦相似度、皮尔森相关系数、对数似然相似度、对数似然相似率、互信息增益或者词对相似度的方式来计算通信数据流中的数据信息与Myproxy代理工具中的预设数据信息之间的相似度。
示例性的,可以通过相似系数计算通信数据流中的数据信息与所述Myproxy代理工具中的预设数据信息之间的相似度:其中,X,Y分别用于表示通信数据流中的数据信息序列、Myproxy代理工具中的预设数据信息序列,通过计算两个信息序列之间的相似系数,便可以确定两个信息序列之间的运行偏离值。
S2042:根据所述相似度和预设的相似度阈值,对所述通信数据流进行过滤,得到所述目标数据。
在本实施例中,与预设数据信息对应的,预设有相似度阈值,用于衡量所计算出来的相似度的大小,若计算出来的通信数据流中的数据信息与Myproxy代理工具中的预设数据信息之间的相似度大于或者等于该相似度阈值则,当前的通信数据流中的数据为本实施例中所需要的数据,符合本实施例的要求;若相似度小于该相似度阈值则,当前的通信数据流中的数据不属于本实施例中所需要的数据,对于这种通信数据流进行删除。
进一步的,在计算出当前整个通信数据流中的数据信息与预设数据信息的相似度之后,确定相似度大于或者等于相似度阈值的第一数据量、相似度小于相似度阈值的第二数据量,当第一数据量大于第二数据量时,说明整个通信数据流中存在较多的与预设数据信息相似的数据信息,这种情况下,可以直接将通信数据流中的相似度较低的数据删除;或者,当第一数据量小于第二数据量时,说明整个通信数据流中存在较多的与预设数据信息不相似的数据信息,这种情况下,可以直接提取通信数据流中的相似度较高的数据。通过这种方式,可以直接处理数据量较少的数据,减少待处理的数据量,提高数据处理效率。
进一步的,还可以根据关键词对通信数据流进行过滤,将数据采集模块传输过来的网络信息数据,以关键词为主旨进行过滤,确认是否满足网络信息安全传输的策略,并将解析结果进行返回;采用网络数据挖掘技术,从网络中得到信息,并将其传输到数据处理模块进行处理,形成有关网络信息特征的描述。
S205:对所述目标数据进行分析,得到数据分析结果。
在将获取到的通信数据流中的数据进行滤除之后,对目标数据进行分析,得到分析结果。
具体的,步骤S205可以包括步骤S2051~S2052:
S2051:根据所述目标数据的生成时间,将所述生成时间连续的目标数据整合为一条连接信息。
从网络中采集的网络信息数据包依据采集时间顺序进行排列,在同一时间内,构建多个连接方式,根据时间排列顺序,不同连接的数据包就会相互影响,所以把各个连接的全部数据包整理为一条连接信息。
S2052:对所述连接信息进行解析,得到所述连接信息在预设的空间向量上的数据特征,并根据所述数据特征得到所述数据分析结果。
对连接信息进行解析,确定一个数据属性所对应的数据值情况。经解析后,数据特征存在差别,会对网络信息的过滤结果形成干扰,将全部数据特征统一映射到空间向量中,以对数据设定特征进行分析得到分析结果。若需要获取当前网络中的数据量使用情况,则可以确定每个时刻中的通信数据流在数据量维度的控件向量上的数据值,通过预设时间之内的数据值,确定当前预设时间之内的数据量使用情况。
示例性的,本方案中根据连接信息的特征,对应设有空间向量,用于与连接信息的数据特征一一对应,以将数据特征进行量化,实现对连接信息的解析与分析。本实施例中的连接信息的数据属性可以包括但不限于:连接时长、连接数据量、连接数据类型、数据中重要程度,对应的建立空间向量为:v={link_t;link_s;link_m;link_d},通过确定该连接信息在向量空间中的每个数据量的值,便可以实现对该连接信息的量化。在将每个连接信息量化之后,可以通过空间向量的计算,综合确定该连接信息的重要程度,也可以通过将各个连接信息的空间向量进行对比,确定每个连接信息的特点,例如,信息的新旧程度、重要程度或者信息量的大小等。
S206:根据所述数据分析结果,在每个数据获取时刻所获取到的所述通信数据流的数据量进行相关性拟合分析,得到数据流量变化规律。
在得到数据分析结果之后,因为通信网络或者应用程序在不同时刻的通信数据流的数据量时不同的,同时,在一些情况下,很容易发生数据拥塞的情况。为了防止这种情况产生,本实施例中根据每个数据获取时刻所获取到的通信数据流的数据量进行相关性拟合分析,具体的,用连续曲线近似地刻画或比拟平面上离散点组所表示的坐标之间的函数关系。更广泛地说,空间或高维空间中的相应问题亦属此范畴。在数值分析中,曲线拟合就是用解析表达式逼近离散数据,即离散数据的公式化。实践中,离散点组或数据往往是各种物理问题和统计问题有关量的多次观测值或实验值,它们是零散的,不仅不便于处理,而且通常不能确切和充分地体现出其固有的规律。
在实际应用中,所采集到的通信数据流的数据量是离散数据,需恰当地选取一般模型中函数的类别和具体形式,这是拟合效果的基础。若已知离散数据的实际背景规律,即因变量对自变量的依赖关系已有表达式形式确定的经验公式,则直接取相应的经验公式为拟合模型。反之,可通过对模型中基函数的不同选取,分别进行相应的拟合并择其效果佳者。函数对模型的适应性起着测试的作用,故又称为测试函数。另一种途径是:在模型中纳入个数和种类足够多的测试函数,借助于数理统计方法中的相关性分析和显著性检验,对所包含的测试函数逐个或依次进行筛选以建立较适合的模型。当然,上述方法还可对拟合的残差再次进行,以弥补初次拟合的不足。总之,当数据中变量之间的内在联系不明确时,为选择到相适应的模型,一般需要反复地进行拟合试验和分析鉴别。
S207:根据所述数据流量变化规律,预测未来预设时间之内超出预设流量阈值的目标时刻。
在本实施例中,预设有流量阈值,用于衡量当前时刻的数据流量是否超出标准,当数据流量大于或者等于该流量阈值时,则说明当前的数据流量或者网络负载超出我们的标准量,可能造成网络通信负载过重,程序运行出现故障的问题,考虑到这种情况,本实施例中,在确定数据流量规律之后,便能可以根据该数据流量规律进行预测,得到未来预设时间之内超出预设流量阈值的目标时刻。
具体的,在确定了数据流量规律之后,该规律可以是一个分段函数的形式,其自变量为时间,因变量为数据流量使用量,本实施例中,可以通过该流量使用规律确定未来预设时间之内的流量使用量,该流量使用量可以精确到某天的流量使用情况,也可以是一天中每小时的使用情况。通过预测未来预设时间之内超出预设流量阈值的目标时刻,可以提醒管理人员预先进行相应的处理,保证通信网络或者应用程序可以正常运行。
S208:根据所述目标时刻,调整所述通信数据流的获取频率。
在确定了未来预设时间之内超出预设流量阈值的目标时刻之后,对该目标时刻下的通信数据流进行调整。在实际应用中,一般都是应为某个时刻的通信数据流的使用量较大可能会造成网络拥塞等问题,因此,在确定了目标时刻之后,面对该时刻下的通信数据流可能会递增而造成网络拥塞的问题,可以适当的降低该目标时刻下的通信数据流量,以保证网络中的通信数据流处在一个安全的范围中。示例性地,可以设定一个安全通信数据流量阈值,将该目标时刻下的通信数据流进行引流,直到确定该时刻下的通信数据流量小于该安全通信数据流量阈值,以此来保证通信网络的稳定运行。
进一步的,由于在实际应用中是通过数据采集获取到通信数据流,一般情况下,采集动作会一直进行,而在目标时刻下,若如同普通的方式继续采集数据,则可能造成数据暴增,而不能有一个安全稳定的方式持有和处理这些数据,因此,在本实施例中,在确定了目标时刻之后,通过对目标时刻的数据获取频率进行调整,以减少当前时刻所获取到的数据量。具体的,调整方式可以是设定一个数据采样频率,用于根据该数据采样频率进行周期性的通信数据流的获取,保证获取到的通信数据流的数据量在通信网络的处理效率范围之内。
上述方案,通过确定待获取通信数据的源应用和目的应用,并获取所述源应用的源应用信息和所述目的应用的目的应用信息;根据所述源应用信息和所述目的应用信息,搭建Myproxy代理工具。根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流;将所述通信数据流在所述Myproxy代理工具中进行数据过滤,得到目标数据;对所述目标数据进行分析,得到数据分析结果。根据所述数据分析结果,在每个数据获取时刻所获取到的所述通信数据流的数据量进行相关性拟合分析,得到数据流量变化规律;根据所述数据流量变化规律,预测未来预设时间之内超出预设流量阈值的目标时刻;根据所述目标时刻,调整所述通信数据流的获取频率。本实施例通过根据源应用信息和目的应用信息搭建Myproxy代理工具,根据Myproxy代理工具基于各类协议对数据进行抓包得到通信数据流,最后对通信数据流进行过滤和分析,得到数据分析结果,可以清楚全面的抓取到各应用在运行过程中的通信数据流,并提高了数据抓包的效率。
参见图3,图3是本发明实施例三提供的一种终端设备的示意图。终端设备包括的各单元用于执行图1~图2对应的实施例中的各步骤。具体请参阅图1~图2各自对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。本实施例的终端设备300包括:
获取单元301,用于根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流;
过滤单元302,用于将所述通信数据流在所述Myproxy代理工具中进行数据过滤,得到目标数据;
分析单元303,用于对所述目标数据进行分析,得到数据分析结果。
进一步的,所述终端设备还可以包括:
信息获取单元,用于确定待获取通信数据的源应用和目的应用,并获取所述源应用的源应用信息和所述目的应用的目的应用信息;
工具搭建单元,用于根据所述源应用信息和所述目的应用信息,搭建Myproxy代理工具。
进一步的,所述过滤单元302可以包括:
相似度确定单元,用于确定所述通信数据流中的数据信息与所述Myproxy代理工具中的预设数据信息之间的相似度;
数据过滤单元,用于根据所述相似度和预设的相似度阈值,对所述通信数据流进行过滤,得到所述目标数据。
进一步的,所述分析单元303可以包括:
整合单元,用于根据所述目标数据的生成时间,将所述生成时间连续的目标数据整合为一条连接信息;
解析单元,用于对所述连接信息进行解析,得到所述连接信息在预设的空间向量上的数据特征,并根据所述数据特征得到所述数据分析结果。
进一步的,所述终端设备还可以包括:
拟合单元,根据所述数据分析结果,在每个数据获取时刻所获取到的所述通信数据流的数据量进行相关性拟合分析,得到数据流量变化规律;
预测单元,用于根据所述数据流量变化规律,预测未来预设时间之内超出预设流量阈值的目标时刻;
调整单元,用于根据所述目标时刻,调整所述通信数据流的获取频率。
上述方案,通过根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流;将所述通信数据流在Myproxy代理工具中进行数据过滤,得到目标数据;对所述目标数据进行分析,得到数据分析结果。通过根据源应用信息和目的应用信息搭建Myproxy代理工具,根据Myproxy代理工具基于各类协议对数据进行抓包得到通信数据流,最后对通信数据流进行过滤和分析得到数据分析结果,以清楚全面的抓取到各应用在运行过程中的通信数据流,并提高了数据抓包的效率。
图4是本发明实施例四提供的终端设备的示意图。如图4所示,该实施例的终端设备4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个数据抓包处理方法实施例中的步骤,例如图1所示的步骤101至103。或者,所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能,例如图3所示单元301至303的功能。
示例性的,所述计算机程序42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。
所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是终端设备4的示例,并不构成对终端设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端设备4的内部存储单元,例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备,例如所述终端设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card,FC)等。进一步地,所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据抓包处理方法,其特征在于,包括:
根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流;
将所述通信数据流在所述Myproxy代理工具中进行数据过滤,得到目标数据;
对所述目标数据进行分析,得到数据分析结果。
2.如权利要求1所述的数据抓包处理方法,其特征在于,所述根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取源应用和目的应用之间的通信数据流之前,包括:
确定待获取通信数据的源应用和目的应用,并获取所述源应用的源应用信息和所述目的应用的目的应用信息;
根据所述源应用信息和所述目的应用信息,搭建Myproxy代理工具。
3.如权利要求1所述的数据抓包处理方法,其特征在于,所述将所述通信数据流在所述Myproxy代理工具中进行数据过滤,得到目标数据,包括:
确定所述通信数据流中的数据信息与所述Myproxy代理工具中的预设数据信息之间的相似度;
根据所述相似度和预设的相似度阈值,对所述通信数据流进行过滤,得到所述目标数据。
4.如权利要求1所述的数据抓包处理方法,其特征在于,所述对目标数据进行分析,得到数据分析结果,包括:
根据所述目标数据的生成时间,将所述生成时间连续的目标数据整合为一条连接信息;
对所述连接信息进行解析,得到所述连接信息在预设的空间向量上的数据特征,并根据所述数据特征得到所述数据分析结果。
5.如权利要求1所述的数据抓包处理方法,其特征在于,所述对所述连接信息进行解析,得到所述连接信息在预设的空间向量上的数据特征,并根据所述数据特征得到所述数据分析结果之后,还包括:
根据所述数据分析结果,在每个数据获取时刻所获取到的所述通信数据流的数据量进行相关性拟合分析,得到数据流量变化规律;
根据所述数据流量变化规律,预测未来预设时间之内超出预设流量阈值的目标时刻;
根据所述目标时刻,调整所述通信数据流的获取频率。
6.一种终端设备,其特征在于,包括存储器以及处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如下步骤:
根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流;
将所述通信数据流在所述Myproxy代理工具中进行数据过滤,得到目标数据;
对所述目标数据进行分析,得到数据分析结果。
7.如权利要求6所述的终端设备,其特征在于,所述根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取源应用和目的应用之间的通信数据流之前,包括:
确定待获取通信数据的源应用和目的应用,并获取所述源应用的源应用信息和所述目的应用的目的应用信息;
根据所述源应用信息和所述目的应用信息,搭建Myproxy代理工具。
8.如权利要求6所述的终端设备,其特征在于,所述将所述通信数据流在所述Myproxy代理工具中进行数据过滤,得到目标数据,包括:
确定所述通信数据流中的数据信息与所述Myproxy代理工具中的预设数据信息之间的相似度;
根据所述相似度和预设的相似度阈值,对所述通信数据流进行过滤,得到所述目标数据。
9.一种终端设备,其特征在于,包括:
获取单元,用于根据预先在源应用和目的应用之间搭建好的网络安全代理系统Myproxy代理工具,获取所述源应用和所述目的应用之间的通信数据流;
过滤单元,用于将所述通信数据流在所述Myproxy代理工具中进行数据过滤,得到目标数据;
分析单元,用于对所述目标数据进行分析,得到数据分析结果。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811423759.5A CN109474603B (zh) | 2018-11-27 | 2018-11-27 | 数据抓包处理方法及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811423759.5A CN109474603B (zh) | 2018-11-27 | 2018-11-27 | 数据抓包处理方法及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109474603A true CN109474603A (zh) | 2019-03-15 |
CN109474603B CN109474603B (zh) | 2023-05-30 |
Family
ID=65674517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811423759.5A Active CN109474603B (zh) | 2018-11-27 | 2018-11-27 | 数据抓包处理方法及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109474603B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110740131A (zh) * | 2019-09-30 | 2020-01-31 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN110995538A (zh) * | 2019-12-03 | 2020-04-10 | 北京博睿宏远数据科技股份有限公司 | 网络数据采集方法、装置、系统、设备及存储介质 |
CN111061711A (zh) * | 2019-11-28 | 2020-04-24 | 同济大学 | 一种基于数据处理行为的大数据流卸载方法和装置 |
CN113342689A (zh) * | 2021-07-01 | 2021-09-03 | 中诚信征信有限公司 | 一种接口的自动化测试方法、装置、电子设备及存储介质 |
CN113886201A (zh) * | 2021-09-17 | 2022-01-04 | 厦门立林科技有限公司 | 基于通信数据包的多节点系统性能分析方法及系统、存储介质 |
CN115002203A (zh) * | 2021-03-02 | 2022-09-02 | 京东科技信息技术有限公司 | 数据包抓取方法、装置、设备及计算机可读介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9154479B1 (en) * | 2012-09-14 | 2015-10-06 | Amazon Technologies, Inc. | Secure proxy |
WO2016180182A1 (zh) * | 2015-10-30 | 2016-11-17 | 中兴通讯股份有限公司 | 业务套餐的推荐方法和装置 |
US9577979B1 (en) * | 2012-11-14 | 2017-02-21 | Viasat, Inc. | Local name resolution |
CN107395597A (zh) * | 2017-07-25 | 2017-11-24 | 合肥红铭网络科技有限公司 | 一种虚拟主机防御优化方法 |
CN108363662A (zh) * | 2018-01-29 | 2018-08-03 | 深圳壹账通智能科技有限公司 | 一种应用程序测试方法、存储介质及终端设备 |
CN108737332A (zh) * | 2017-04-17 | 2018-11-02 | 南京邮电大学 | 一种基于机器学习的中间人攻击预测方法 |
-
2018
- 2018-11-27 CN CN201811423759.5A patent/CN109474603B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9154479B1 (en) * | 2012-09-14 | 2015-10-06 | Amazon Technologies, Inc. | Secure proxy |
US9577979B1 (en) * | 2012-11-14 | 2017-02-21 | Viasat, Inc. | Local name resolution |
WO2016180182A1 (zh) * | 2015-10-30 | 2016-11-17 | 中兴通讯股份有限公司 | 业务套餐的推荐方法和装置 |
CN108737332A (zh) * | 2017-04-17 | 2018-11-02 | 南京邮电大学 | 一种基于机器学习的中间人攻击预测方法 |
CN107395597A (zh) * | 2017-07-25 | 2017-11-24 | 合肥红铭网络科技有限公司 | 一种虚拟主机防御优化方法 |
CN108363662A (zh) * | 2018-01-29 | 2018-08-03 | 深圳壹账通智能科技有限公司 | 一种应用程序测试方法、存储介质及终端设备 |
Non-Patent Citations (3)
Title |
---|
中文作者: "burpsuite实战指南", 《HTTPS://T0DATA.GITBOOKS.IO/BURPSUITE/CONTENT/》 * |
机智勇敢大啉啉: "Burp Suite 详细基本用法(一):Proxy、Target 模", 《知乎》 * |
机智勇敢大啉啉: "Burp Suite 详细基本用法(二):Spider、", 《知乎》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110740131A (zh) * | 2019-09-30 | 2020-01-31 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN111061711A (zh) * | 2019-11-28 | 2020-04-24 | 同济大学 | 一种基于数据处理行为的大数据流卸载方法和装置 |
CN111061711B (zh) * | 2019-11-28 | 2023-09-01 | 同济大学 | 一种基于数据处理行为的大数据流卸载方法和装置 |
CN110995538A (zh) * | 2019-12-03 | 2020-04-10 | 北京博睿宏远数据科技股份有限公司 | 网络数据采集方法、装置、系统、设备及存储介质 |
CN115002203A (zh) * | 2021-03-02 | 2022-09-02 | 京东科技信息技术有限公司 | 数据包抓取方法、装置、设备及计算机可读介质 |
CN113342689A (zh) * | 2021-07-01 | 2021-09-03 | 中诚信征信有限公司 | 一种接口的自动化测试方法、装置、电子设备及存储介质 |
CN113886201A (zh) * | 2021-09-17 | 2022-01-04 | 厦门立林科技有限公司 | 基于通信数据包的多节点系统性能分析方法及系统、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109474603B (zh) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109474603A (zh) | 数据抓包处理方法及终端设备 | |
US11792229B2 (en) | AI-driven defensive cybersecurity strategy analysis and recommendation system | |
CN111092852B (zh) | 基于大数据的网络安全监控方法、装置、设备及存储介质 | |
US12063254B2 (en) | Parametric analysis of integrated operational and information technology systems | |
US20220078210A1 (en) | System and method for collaborative cybersecurity defensive strategy analysis utilizing virtual network spaces | |
US20220210200A1 (en) | Ai-driven defensive cybersecurity strategy analysis and recommendation system | |
CN111786950B (zh) | 基于态势感知的网络安全监控方法、装置、设备及介质 | |
US20220201042A1 (en) | Ai-driven defensive penetration test analysis and recommendation system | |
CN111654489B (zh) | 一种网络安全态势感知方法、装置、设备及存储介质 | |
CN110149343A (zh) | 一种基于流的异常通联行为检测方法和系统 | |
Lin et al. | Understanding IEC-60870-5-104 traffic patterns in SCADA networks | |
KR101883400B1 (ko) | 에이전트리스 방식의 보안취약점 점검 방법 및 시스템 | |
Coluccia et al. | Distribution-based anomaly detection via generalized likelihood ratio test: A general maximum entropy approach | |
WO2021216163A2 (en) | Ai-driven defensive cybersecurity strategy analysis and recommendation system | |
CN111669384A (zh) | 融合深度神经网络和层级注意力机制的恶意流量检测方法 | |
Kumar et al. | Unsupervised outlier detection technique for intrusion detection in cloud computing | |
CN115795330A (zh) | 一种基于ai算法的医疗信息异常检测方法及系统 | |
Price-Williams et al. | Nonparametric self-exciting models for computer network traffic | |
Bezas et al. | Comparative analysis of open source security information & event management systems (SIEMs) | |
CN104580090B (zh) | 安全策略运维评估的方法及装置 | |
Pan et al. | Anomaly behavior analysis for building automation systems | |
Zhang et al. | Automating rapid network anomaly detection with in-band network telemetry | |
CN116644437A (zh) | 数据安全评估方法、装置及存储介质 | |
Pikoulas et al. | An agent-based Bayesian forecasting model for enhanced network security | |
Kai et al. | Development of qualification of security status suitable for cloud computing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |