CN114095385B - 数据监测系统、数据监测装置及数据监测方法 - Google Patents
数据监测系统、数据监测装置及数据监测方法 Download PDFInfo
- Publication number
- CN114095385B CN114095385B CN202010750749.3A CN202010750749A CN114095385B CN 114095385 B CN114095385 B CN 114095385B CN 202010750749 A CN202010750749 A CN 202010750749A CN 114095385 B CN114095385 B CN 114095385B
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- analysis result
- buffer
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012806 monitoring device Methods 0.000 title claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 173
- 239000000872 buffer Substances 0.000 claims abstract description 58
- 230000006399 behavior Effects 0.000 claims abstract description 38
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims description 48
- 239000000523 sample Substances 0.000 claims description 25
- 239000007787 solid Substances 0.000 claims description 5
- 230000007425 progressive decline Effects 0.000 claims 1
- 238000007405 data analysis Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 6
- 238000013480 data collection Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012351 Integrated analysis Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开涉及数据监测系统、装置及方法。数据监测装置包括现场可编程门阵列和存储器,现场可编程门阵列包括:缓存单元,反复执行将新采集到的数据写入到第一或第二缓存,并在写入完成时,将写入切换到第一、第二缓存中的另一方的操作;第一分析单元,与写入并行地,对第一或第二缓存中的另一方的数据进行分段分析取得特征分析结果;第二分析单元,对一个会话的特征分析结果进行行为分析,取得行为分析结果,进而,基于多个行为分析结果对各会话间的关联关系进行综合分析,取得综合分析结果;发送单元,将第一分析单元无法比对的异常数据和综合分析结果发送到后台监测服务器。根据本公开,能够实现高速的数据采集和强实时性的数据分析。
Description
技术领域
本公开涉及数据监测系统、数据监测装置及数据监测方法。更具体地,涉及5G核心网的网络开放功能接口的数据监测分析技术。
背景技术
第五代移动通信网的核心网与之前的2G/3G/4G相比,增加了一个尤为特色的功能—网络功能开放(NEF,Network Exposure Function)。网络功能开放业务,是移动通信网络的核心网从之前的2G/3G/4G的封闭走向开放的结果,可以满足更多个性化的需求。
在5G网络架构中,网络功能开放提供的开放业务有:基础资源、增值业务、数据信息和运营支撑。5G网络功能开放对核心网的基础资源、增值业务、数据信息、运营支撑、用户数据增值业务、基础设施等进行能力适配、封装、编排,最后通过统一的接口面向第三方提供网络能力。
网络开放功能是面向核心网络之外第三方的业务,网络的安全一直是业内重点关注的问题。为了确保网络足够安全,必须进行有效的防范和强有力的监测,除了与网络开放功能相关的服务器在自身稳定性的基础上增强防范外,还可以通过部署相对独立的监测系统,对网络开放功能调用者的系列行为进行实时监测,从而及时发现异常行为,为网络的安全增加一道强有力的屏障。
目前,核心网架构上为了有效隔离网络资源与第三方调用者,采用NEF网关进行信息转接的处理方式,第三方调用者获取网络资源,必须通过NEF网关。为了确保第三方调用者访问过程中的网络安全,可以在NEF网关上部署一些必要的监控软件、软件防火墙、硬件防火墙等工具,但是如此构建网络系统,必然会大幅增加相关服务器的负荷,同时也会增加调用的时延和复杂性。在这种架构下,难以基于数据深度、时间维度、访问关联度而对访问异常进行更深层次的挖掘分析。
网络功能开放可以提供的业务及数据,都是在合法合规的范围内提供的,进而根据不同的授权级别提供合规范围内的不同层面的业务及数据。功能开放接口的访问具有瞬时数据流量的突发性、一定程度的不可以预测性以及第三方访问的随机性等特点。往往会出现第三方调用者的非法访问,甚至存在恶意攻击,对网络功能开放构成威胁。基于上述情况,在网络开放功能现成的架构上,建立一套高速、强实时、全方位的能快速进行不合规行为分析的监测系统是必要的。
当前,监测系统中使用较多的是“软探针+中心服务器”或者“硬探针+中心服务器”的架构。软探针是安装在服务器上的抓包软件,其对抓取到的数据进行较初级的分析或不分析,然后送到中心服务器进行集中处理;硬探针是对数据进行硬件高速采集,然后添加时间标签而传送到中心服务器进行集中处理。上述的处理架构及方式,基于软件采集和网络传输大量采集数据,在数据采集的时间精确度、分析的实时性上难以满足5G核心网的大数据、大流量的监测要求。
发明内容
公开的一个目的在于提供一种能够实现高速的数据采集和强实时性的数据分析的数据监测系统、数据监测装置以及数据监测方法。
在下文中给出了关于本公开的简要概述,以便提供关于本公开的一些方面的基本理解。但是,应当理解,这个概述并不是关于本公开的穷举性概述。它并不意图用来确定本公开的关键性部分或重要部分,也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念,以此作为稍后给出的更详细描述的前序。
根据本公开的一个方面,提供一种数据监测装置,用于对第三方调用者经由5G核心网的网络功能开放接口调用系统服务器的网络资源时的数据进行监测,其中,所述数据监测装置包括现场可编程门阵列和存储器,所述现场可编程门阵列包括:数据采集单元,从所述网络功能开放接口采集数据;缓存单元,包括第一缓存和第二缓存,反复执行将所述数据采集单元新采集到的数据写入到所述第一缓存或所述第二缓存,并在向所述第一缓存或所述第二缓存的写入完成时,将写入切换到所述第一缓存或所述第二缓存中的另一方的操作;第一分析单元,与所述缓存单元进行的写入并行地,将非写入操作中的所述第一缓存或所述第二缓存的数据进行分段,通过多个分析模块对分段得到的数据段与预先存储的特征数据库中的特征项数据进行比对,在比对成功的情况下,以时间戳、信源地址和信宿地址为头部信息、以各数据段的比对结果的特征项为数据信息,作为特征分析结果而存储到所述存储器,在比对不成功的情况下,将所述非写入操作中的所述第一缓存或所述第二缓存中的数据加上时间戳作为异常数据而存储到所述存储器;第二分析单元,对所述存储器中的属于一个会话的特征分析结果与所述特征数据库中的行为特征数据进行比对,取得行为分析结果,进而,基于所述行为分析结果对各所述会话间的关联关系与所述特征数据库中的关联特征数据进行比对,取得综合分析结果,将所述行为分析结果和所述综合分析结果存储到所述存储器;以及发送单元,将所述存储器中的所述异常数据和所述综合分析结果发送到后台监测服务器。
根据本公开的另一方面,提供一种数据监测系统,其中,所述数据监测系统包括:至少一个上述数据监测装置;以及后台监测服务器,对来自所述数据监测装置的所述异常数据和所述综合分析结果进行进一步的分析。
根据本公开的另一方面,提供一种数据监测方法,用于对第三方调用者经由5G核心网的网络功能开放接口调用系统服务器的网络资源时的数据进行监测,其中,所述数据监测方法包括:数据采集步骤,从所述网络功能开放接口采集数据;缓存步骤,反复执行将所述数据采集单元新采集到的数据写入到第一缓存或第二缓存,并在向所述第一缓存或第二缓存的写入完成时,将写入切换到所述第一缓存或第二缓存中的另一方的操作;第一分析步骤,与所述缓存步骤中进行的写入并行地,将非写入操作中的所述第一缓存或所述第二缓存的数据进行分段,通过多个分析模块对分段得到的数据段与预先存储的特征数据库中的特征项数据进行比对,在比对成功的情况下,以时间戳、信源地址和信宿地址为头部信息、以各数据段的比对结果的特征项为数据信息,作为特征分析结果而存储到所述存储器,在比对不成功的情况下,将所述非写入操作中的所述第一缓存或所述第二缓存中的数据加上时间戳作为异常数据而存储到存储器;第二分析步骤,对所述存储器中的属于一个会话的特征分析结果与所述特征数据库中的行为特征数据进行比对,取得行为分析结果,进而,基于所述行为分析结果对各所述会话间的关联关系与所述特征数据库中的关联特征数据进行比对,取得综合分析结果,将所述行为分析结果和所述综合分析结果存储到所述存储器;以及发送步骤,将所述存储器中的所述异常数据和所述综合分析结果发送到后台监测服务器。
根据本公开,提供能够实现高速的数据采集和强实时性的数据分析的数据监测系统、数据监测装置以及数据监测方法。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。参照附图,根据下面的详细描述,可以更清楚地理解本公开,其中:
图1是示出5G核心网的网络架构的示意图;
图2是示意地示出本公开的实施例的数据监测系统的构成的例子的框图;
图3是示出本公开的实施例的作为数据监测装置的探针100的构成的例子的框图;
图4是示意地示出本公开的实施例的数据监测装置100执行的处理的例示性的流程图;
具体实施方式
在下文中,参照附图详细地描述本公开内容的优选实施例。需要注意的是,在本说明书和附图中,用相同的附图标记来表示具有基本相同的功能和结构的结构元件,并且省略对这些结构元件的重复说明。
为便于理解,首先基于图1对5G核心网的网络架构进行简单说明。
图1是示出5G核心网的网络架构的示意图。如图1所示,5G核心网相比于4G核心网将控制面与用户面彻底分离,并将传统的网元拆分成多个网络功能NF(NetworkFunction),因为符合SBA(Service Based Architecture,服务化架构),各网络功能可以说是独立自治的,无论是新增、升级还是改造,都不会对其它NF造成影响。图1中示出的控制面的网络功能包括:NSSF(Network Slice Selection Function,网络切片选择功能)、NEF(Network Exposure Function,网络开放功能)、NRF(NF Repository Function,网络存储功能)、PCF(Policy Control function,策略控制功能)、UDM(Unified Data Management,统一数据管理)、AF(Application Function,应用功能)、AUSF(Authentication ServerFunction,鉴权服务器功能)、AMF(Access and Mobility Management Function,接入及移动性管理功能)以及SMF(Session Management Function,会话管理功能)。另外,作为用户面的网络功能示出有UPF(User Plane Function,用户面功能)。
控制面的NF采用基于服务化架构的SBI串行总线接口协议,传输层统一采用HTTP/2协议,应用层携带不同的服务消息,应用到各个NF上即各种服务接口(例如,Nnssf、Nnef……等),由于底层传输方式相同,所以如图1所示,所有的服务化接口可以在同一总线上进行传输。另外,在控制面与用户面(UPF)、5G核心网(控制面和用户名)与无线侧(UE即用户终端、AN即接入网)、外部网络(例如DN即数据网络)之间仍保留传统点对点通信的接口(例如,N1、N2……等)。
本公开涉及的数据监测是对5G核心网的网络开放功能(NEF)接口的数据进行监测分析的技术。以下,结合附图详细说明本公开涉及的数据监测系统。
图2是示意地示出本公开的实施例的数据监测系统的构成的例子的框图。
如图2所示,本公开的数据监测系统1000主要包括探针100(即数据监测装置)和后台监测服务器200(即后台监测服务器)。探针100对NEF接口进行高速的数据采集及本地的快速数据分析处理,采用双数据缓存乒乓切换方式,同时进行数据采集和初次分析,并对一个会话的初次分析结果进行二次分析,进而基于多个会话进行三次分析。在此,初次分析是指通过特征库数据段比对而从大量的采集原始数据中得出数据的特征性结论,在此,对于比对分析正常的采集数据,仅保留特征性结论而不留存原始数据。另一方面,若接收到无法进行特征库数据段对比分析的异常数据时,则对数据打上时间戳(包含年月日时分秒微秒的时间标识,例如,来源于FPGA中的时间戳生成模块),然后写入高速DDRAM中。探针100进行初次分析、二次分析以及三次分析,分析更长时间维度的第三方的行为特征,并将三次分析的综合分析结果和无法完成特征库数据段比对的异常数据的原始数据(附加有时间戳)提交给后台监测服务器200,由后台监测服务器200汇总由多个探针提交的数据进行整体分析,基于分析结果输出例如预警数据等,以辅助网络管理单元进行有效的拦截以及及时采取保障措施。
接下来,结合图3具体说明本公开的作为数据监测装置的构成。图3是示意地示出本公开的实施例的作为数据监测装置的探针100的构成的例子的框图。
如图3所示,探针100部署在5G核心网中,对5G网络开放功能的各个接口进行高速的原始数据采集和快速的数据初次分析、二次分析以及三次分析。探针100的硬件构成主要包括:FPGA(Field-Programmable Gate Array,即现场可编程门阵列)101和存储器102。在一些实施例中,如图3所示,作为FPGA101使用内嵌有多核CPU(central processing unit,中央处理单元)的所谓的“高速FPGA”。另外,探针100并非一个独立的工作装置,其与后台监测服务器200时刻保持有效的数据交互,并与部署在其他位置的探针保持时钟上的高度同步。
在一些实施例中,如图3所示,作为存储器,使用例如DDRAM(Double Data RateSDRAM,双倍速率同步动态随机存储器)的所谓的“高速DDRAM”。例如,高速DDRAM具有32GB的大小,能够提供更大的存储容量、适应更长时间跨度的分析,用于存储初次、二次、三次分析结果数据以及异常数据。另外,在一些实施例中,探针100还可以包括高速SSD(Solid StateDisk或Solid State Drive,固态硬盘或固态驱动器)(未图示)。
在图3中,FPGA101作为主体结构包括:数据采集模块1011、缓存器1012、特征分析模块1013、ARM核1014、ARM核1015。其中,数据采集模块(即数据采集单元)1011,经由作为数据采集接口的NEF接口高速地采集数据。缓存器(即缓存单元)1012包括缓存A和缓存B(即第一缓存和第二缓存),其将数据采集模块1011新采集到数据缓存到缓存A或缓存B中(图3中示出为缓存A),并且在向缓存A的写入完成之前,由特征分析模块(即第一分析单元)1013并行地对另一缓存中已写入完毕的数据进行分段分析,在向缓存A或缓存B的写入完成时,马上将写入切换到缓存A或缓存B中的另一方。在本次数据分析过程中,FPGA101采用双数据缓存乒乓切换方式,同时进行数据采集和初次分析,采集数据的写入不影响当前正在分析的寄存器中的数据。作为例子,在图3中示出为先对缓存A写入数据,同时并行地对缓存B中的数据进行分段分析,在向缓存A的写入完成时,将写入切换到缓存B,同时并行地对缓存A中的已存储数据进行分段分析。但是应当理解,当然也可以先对缓存B进行数据写入,同时并行地对缓存A中的数据进行分段分析。即在本公开中,缓存A和缓存B是无区别的。
特征分析模块1013包括多个独立的分析模块,各个独立的分析模块在最新数据写入结束前完成本次数据分析,并在新数据写入完成时,马上切换到对另一缓存的新数据进行分析。在图3所示的实施例中,作为初次分析,特征分析模块1013将对缓存B中的数据进行分段,各个独立的分析模块对分段得到的数据段与预先存储的特征数据库中的特征项数据分别进行比对。在比对成功的情况下,以时间戳、信源地址和信宿地址为头部信息、以各数据段的比对结果的特征项为数据信息,作为特征分析结果而存储到DDRAM(即存储器)102。另一方面,在比对不成功的情况下,即无法比对获得与分段得到的数据段相符的特征项数据时,则对缓存B中的数据加上时间戳,作为异常数据而存储到DDRAM(即存储器)102。
ARM核1014(即第二分析单元),基于特征分析模块1013递交到DDRAM102的特征分析结果的头部信息的时间戳、信源地址以及信宿地址,按照时间戳表示的时间先后顺序对特征分析结果进行排列,对属于一次会话(基于信源地址、信宿地址确定)的特征分析结果与特征数据库中的行为特征数据进行比对,进行二次分析。例如,在一些实施例中,作为二次分析,ARM核1014考察从第三方调用者到系统服务器的方向,对排列的信息进行行为分析,例如判定是否包括恶意调用、违规调用等。
具体而言,例如,ARM核1014将在第三方调用者到系统服务器的方向上的特征分析结果按照时间顺序与特征数据库中预先定义的行为特征数据(能够表征某种特定的行为的数据)进行比对,作为例子,例如判定第三方调用是否存在非授权调用;第三方调用是否进行违规端口扫描;第三方调用是否进行操作码、操作参数的递增式、递减式、伪随机式的扫描;第三方调用是否在恶意寻找系统服务漏洞等。进而,ARM核1014考察系统服务器到第三方调用者的方向,根据排列的信息的比对结果分析服务器的行为是否正常、服务器外送的信息是否合规。进而,ARM核1014将二次分析结果即行为分析结果存储到DDRAM102中(图3中未图示),并对存储到DDRAM102中的二次分析结果的数量进行统计。
当二次分析结果达到一定数量(其中,具体数量可以根据需要设定)后,ARM核1014对不同的会话(例如,基于信源地址、信宿地址确定)进行三次分析,将各个会话流程之间的关联关系与特征数据库中预先存储的关联特征数据进行比对分析,判断第三方调用是否存在多点联合恶意调用、联合分布式攻击等,生成三次分析结果即综合分析结果。然后,例如,对三次分析结果添加时间戳、探针识别号,存储到DDRAM102中,之后由ARM核1015传输给后台监测服务器200。
在一些实施例中,ARM核1014还对特征分析模块1013存储到DDRAM102中的异常数据进行异常分析和分类。具体而言,例如,ARM核1014将异常数据与特征数据库中的异常特征项进行比对,在比对通过的情况下,取得相应的异常特征项并存储到DDRAM102中。
另外,ARM核1015(即发送单元)用于与后台监测服务器200进行数据交互,将异常数据的原始数据(添加有时间戳)和三次分析结果传输给后台监测服务器200,由后台监测服务器200汇总多个探针的数据进一步执行四次分析,五次分析等。另外,在ARM核1014经异常数据分析而获取到异常特征项的情况下,AMR核1015将异常特征传输给后台监测服务器200,否则将异常数据(附加有时间戳)传输给后台监测服务器进行异常分析—需要将数据提交给监测服务器,并由监测服务器汇总其他探针的数据进行整体分析。
以上对FPGA101的硬件处理的核心结构进行了说明,如图3的虚线所示,FPGA101还可以包括时间戳生成模块(即时间戳生成单元)1016,其生成用于赋予到分析结果以及异常数据的时间戳。如上所述,时间戳是包含年月日时分秒微秒的时间标识。应当注意,在FPGA101中设置时间戳生成模块是可选结构,其也可以设置在FPGA101之外。
另外,应当注意,FPGA中的特征分析模块1013和ARM1014进行初次、二次及三次分析时需要采用与后台监测服务器200一致的特征数据库,特征数据库中包含面向各种行为分析的不同数据段、不同层面的特征集、特征子集以及特征项。
进而,虽未在图3中示出,但探针100还可以包括高速SSD(Solid State Drive,固态硬盘)。例如,高速SSD具有2TB的存储容量,可以存储原始数据、异常数据以及包括初次分析、二次分析以及三次分析在内的分析结果数据。通过设置该高速SSD,能够在掉电等突发状况时存储关键数据。进而,在探针100与后台监测服务器之间的传输带宽受限的情况下,还能够将该高速SSD作为非网络传输介质来使用。其中,高速SSD与高速DDRAM进行数据交互时,采用DMA(Direct Memory Access,直接存储器存储)的传输方式,以减少对CPU资源的占用。
在一些实施例中,FPGA各个独立分析模块会根据被分析数据的长度和结构进行合适的调配启用,而并非全部模块每次都启动工作。
接下来,结合图4具体说明数据监测装置100执行的数据分析方法的流程。图4是示意地示出本公开的实施例的数据监测装置100所执行的数据监测处理的例示性的流程图。
在步骤S3001中,由数据采集模块1011从网络功能开放接口高速采集数据。
在步骤S3002中,缓存器1012反复执行将数据采集模块1011新采集到的数据写入到缓存A或缓存B,并在向缓存A或缓存B的写入完成时,将写入操作切换到缓存A或缓存B的另一方的操作。在图3所示的例子中,将新采集到的数据写入到缓存A中,在向缓存A的写入完成时,将写入操作切换到缓存B。
在步骤S3003中,与缓存器1012的写入操作并行地,特征分析模块1013将缓存器1012的处于非写入操作中的缓存A或缓存B的数据进行分段,通过多个分析模块(分析模块1、分析模块2、……分析模块n)对分段得到的数据段(数据段1、数据段2、……数据段n)与预先存储的特征数据库中的特征数据(特征项1、特征项2、……特征项n)分别进行比对。在比对成功而取得与各数据段相符的特征项的情况下,以时间戳、信源地址和信宿地址为头部信息、以各数据段的比对结果的特征项为数据信息,作为特征分析结果而存储到高速DDRAM102,另一方面,在比对不成功而未取得与各数据段相符的特征项的情况下,将缓存中的数据加上时间戳作为异常数据而存储到高速DDRAM102。在此,特征分析模块1013执行的特征分析有时也被称为初次分析。
接下来,在步骤S3004中,由ARM核1014对高速DDRAM102中的属于一个会话的特征分析结果按时间戳示出的时间信息排序,并与特征数据库中的行为特征数据进行比对,取得行为分析结果并存储到高速DDRAM102,并对取得行为分析结果进行计数。进而,在取得的行为分析结果达到一定数量(可根据需要设定)后,ARM核1014基于取得的行为分析结果对多个会话间的关联关系与特征数据库中的关联特征数据进行比对,取得综合分析结果并存储到高速DDRAM102。由ARM核1014执行的行为分析(针对一个对话)有时也被称为二次分析,ARM核1014执行的综合分析(多个会话间)有时也被成为三次分析。
其中,在ARM核1014进行行为分析时,基于对话流程的分析方法,作信源和信宿的关联,并基于一次完整的对话,在内存中生成按时间先后排列的信息。然后,ARM核1014考察第三方调用者到系统服务器的方向,对排列的信息进行恶意调用、违规调用等行为的分析,具体包括:第三方调用是否存在非授权调用;第三方调用是否进行违规端口扫描;第三方调用是否进行操作码、操作参数的递增式、递减式、伪随机式的扫描;第三方调用是否在恶意寻找系统服务漏洞。进一步地,ARM核1014还考察系统服务器到第三方调用者的方向,根据从排列的信息分析服务器的行为是否正常、服务器外送的信息是否合规。
ARM核1014进行的综合分析是对各个对话流程之间的关联关系的分析,对外部第三方调用是否存在多点联合恶意调用、是否存在联合分布式攻击等进行判断。
在步骤S3005中,ARM核1015与DDRAM102进行数据交互,将DDRAM102中存储的异常数据和综合分析结果上报后台监测服务器200,由后台监测服务器200进行四次分析,五次分析等。在一些实施例中,ARM核1015还可以将DDRAM102中存储的特征分析结果和行为分析结果也上报到后台监测服务器200。
目前广泛采用分布式采集方式中的探针或者数据采集设备,采用基于软件的数据采集方式,对采集的数据进行本地存储,或做较为初级分析或少量分析、或直接网络传输,然后将数据汇总到后台监测服务器进行集中分析。而软件采集数据的速率较低,大量数据传输大量占用网络传输带宽,并产生较大时延,并且,后台监测服务器需要对海量数据进行分析,滞后性明显,这都会导致系统整体的时效性、有效性的降低。
根据本公开的数据监测装置、数据监测系统以及数据监测方法,通过采用双数据缓存乒乓切换方式实现数据采集和初次分析同时进行,确保了采集数据的连续性、低时延性,并且在数据分析中采用了多个分析模块独立地并行分析的方式,确保了数据分析的快速进行。
进而,根据本公开的数据监测装置、数据监测系统以及数据监测方法,初次分析、二次分析以及三次分析下沉到探针中进行。通过在本地进行基于一个会话的二次分析、基于多个会话的三次分析,从大量采集的原始数据中得出数据特征性结论,除了无法完成比对的异常数据外,原始数据不留存,有效减少了向后台监测服务器数据传送时所需的带宽传输需求,同时也有效地减轻了后台监测服务器的处理负荷,对整个监测系统的监测实时性起到了关键性的作用。
另外,根据本公开的数据监测装置、数据监测系统以及数据监测方法,仅在5G核心网的网络功能开放接口布置探针即可,不会对网络产生任何负面影响,对网络功能开放接口数据的进出时延也没有任何影响,可靠地确保了5G核心网自身的安全性。
进而,根据本公开的数据监测装置、数据监测系统以及数据监测方法,ARM核1014根据时间戳、信源地址、信宿地址,能够利用一个会话、多个会话,基于数据深度、更长的时间维度、访问关联度而对第三方调用者的访问异常进行更深层次的挖掘分析,进一步可靠地确保了5G核心网自身的安全性。
应当理解,本说明书中“实施例”或类似表达方式的引用是指结合该实施例所述的特定特征、结构、或特性系包括在本公开的至少一个具体实施例中。因此,在本说明书中,“在本公开的实施例中”及类似表达方式的用语的出现未必指相同的实施例。
本领域技术人员应当知道,本公开被实施为一系统、装置、方法或作为计算机程序产品的计算机可读媒体(例如非瞬态存储介质)。因此,本公开可以实施为各种形式,例如完全的硬件实施例、完全的软件实施例(包括固件、常驻软件、微程序代码等),或者也可实施为软件与硬件的实施形式,在以下会被称为“电路”、“模块”或“系统”。此外,本公开也可以任何有形的媒体形式实施为计算机程序产品,其具有计算机可使用程序代码存储于其上。
本公开的相关叙述参照根据本公开具体实施例的系统、装置、方法及计算机程序产品的流程图和/或框图来进行说明。可以理解每一个流程图和/或框图中的每一个块,以及流程图和/或框图中的块的任何组合,可以使用计算机程序指令来实施。这些计算机程序指令可供通用型计算机或特殊计算机的处理器或其它可编程数据处理装置所组成的机器来执行,而指令经由计算机或其它可编程数据处理装置处理以便实施流程图和/或框图中所说明的功能或操作。
在附图中显示根据本公开各种实施例的系统、装置、方法及计算机程序产品可实施的架构、功能及操作的流程图及框图。因此,流程图或框图中的每个块可表示一模块、区段、或部分的程序代码,其包括一个或多个可执行指令,以实施指定的逻辑功能。另外应当注意,在某些其它的实施例中,块所述的功能可以不按图中所示的顺序进行。举例来说,两个图示相连接的块事实上也可以同时执行,或根据所涉及的功能在某些情况下也可以按图标相反的顺序执行。此外还需注意,每个框图和/或流程图的块,以及框图和/或流程图中块的组合,可藉由基于专用硬件的系统来实施,或者藉由专用硬件与计算机指令的组合,来执行特定的功能或操作。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种数据监测装置,用于对第三方调用者经由5G核心网的网络功能开放接口调用系统服务器的网络资源时的数据进行监测,其中,
所述数据监测装置包括现场可编程门阵列和存储器,
所述现场可编程门阵列包括:
数据采集单元,从所述网络功能开放接口采集数据;
缓存单元,包括第一缓存和第二缓存,反复执行将所述数据采集单元新采集到的数据写入到所述第一缓存或所述第二缓存,并在向所述第一缓存或所述第二缓存的写入完成时,将写入切换到所述第一缓存或所述第二缓存中的另一方的操作;
第一分析单元,与所述缓存单元进行的写入并行地,将非写入操作中的所述第一缓存或所述第二缓存的数据进行分段,通过多个分析模块对分段得到的数据段与预先存储的特征数据库中的特征项数据进行比对,在比对成功的情况下,以时间戳、信源地址和信宿地址为头部信息、以各数据段的比对结果的特征项为数据信息,作为特征分析结果而存储到所述存储器,在比对不成功的情况下,将所述非写入操作中的所述第一缓存或所述第二缓存中的数据加上时间戳作为异常数据而存储到所述存储器;
第二分析单元,对所述存储器中的属于一个会话的特征分析结果与所述特征数据库中的行为特征数据进行比对,取得行为分析结果,进而,基于多个所述行为分析结果对各所述会话间的关联关系与所述特征数据库中的关联特征数据进行比对,取得综合分析结果,将所述行为分析结果和所述综合分析结果存储到所述存储器;以及
发送单元,将所述存储器中的所述异常数据和所述综合分析结果发送到后台监测服务器。
2.根据权利要求1所述的数据监测装置,其中,
所述数据监测装置是探针。
3.根据权利要求1所述的数据监测装置,其中,
所述数据监测装置还包括固态硬盘,用于存储采集数据、所述异常数据、所述特征分析结果、所述行为分析结果以及所述综合分析结果。
4.根据权利要求1所述的数据监测装置,其中,
所述第一分析单元的所述多个分析模块根据所述非写入操作中的所述第一缓存或所述第二缓存中的数据的长度和结构而调配启用。
5.根据权利要求1所述的数据监测装置,其中,
所述现场可编程门阵列还包括时间戳生成单元,生成所述时间戳。
6.根据权利要求1所述的数据监测装置,其中,
在所述第二分析单元中,按时间先后排列所述特征分析结果,对所述第三方调用者的行为进行分析,并且对所述系统服务器的行为进行分析。
7.根据权利要求6所述的数据监测装置,其中,
所述第二分析单元在对所述第三方调用者的行为进行分析时,至少分析所述第三方调用者是否存在非授权调用、在违规端口扫描、对操作码及操作参数的递增递减或伪随机式的扫描、恶意寻找系统服务漏洞中的一种或多种行为。
8.根据权利要求1至7中任意一项所述的数据监测装置,其中,
所述第一分析单元和所述第二分析单元进行比对时使用的特征数据库与所述后台监测服务器使用的特征数据库相同。
9.一种数据监测系统,其中,
所述数据监测系统包括:
至少一个权利要求1至8中任意一项所述的数据监测装置;以及
后台监测服务器,对来自所述数据监测装置的所述异常数据和所述综合分析结果进行进一步的分析。
10.一种数据监测方法,用于对第三方调用者经由5G核心网的网络功能开放接口调用系统服务器的网络资源时的数据进行监测,其中,
所述数据监测方法包括:
数据采集步骤,从所述网络功能开放接口采集数据;
缓存步骤,反复执行将所述数据采集步骤新采集到的数据写入到第一缓存或第二缓存,并在向所述第一缓存或第二缓存的写入完成时,将写入切换到所述第一缓存或第二缓存中的另一方的操作;
第一分析步骤,与所述缓存步骤中进行的写入并行地,将非写入操作中的所述第一缓存或所述第二缓存的数据进行分段,通过多个分析模块对分段得到的数据段与预先存储的特征数据库中的特征项数据进行比对,在比对成功的情况下,以时间戳、信源地址和信宿地址为头部信息、以各数据段的比对结果的特征项为数据信息,作为特征分析结果而存储到存储器,在比对不成功的情况下,将所述非写入操作中的所述第一缓存或所述第二缓存中的数据加上时间戳作为异常数据而存储到所述存储器;
第二分析步骤,对所述存储器中的属于一个会话的特征分析结果与所述特征数据库中的行为特征数据进行比对,取得行为分析结果,进而,基于所述行为分析结果对各所述会话间的关联关系与所述特征数据库中的关联特征数据进行比对,取得综合分析结果,将所述行为分析结果和所述综合分析结果存储到所述存储器;以及
发送步骤,将所述存储器中的所述异常数据和所述综合分析结果发送到后台监测服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010750749.3A CN114095385B (zh) | 2020-07-30 | 2020-07-30 | 数据监测系统、数据监测装置及数据监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010750749.3A CN114095385B (zh) | 2020-07-30 | 2020-07-30 | 数据监测系统、数据监测装置及数据监测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114095385A CN114095385A (zh) | 2022-02-25 |
CN114095385B true CN114095385B (zh) | 2024-01-02 |
Family
ID=80294893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010750749.3A Active CN114095385B (zh) | 2020-07-30 | 2020-07-30 | 数据监测系统、数据监测装置及数据监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114095385B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116436825A (zh) * | 2022-10-27 | 2023-07-14 | 中国电信股份有限公司 | 丢包处理方法及系统、网络设备 |
CN116321524B (zh) * | 2023-04-11 | 2023-10-24 | 广州爱浦路网络技术有限公司 | 环境监测数据处理方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110312279A (zh) * | 2018-03-27 | 2019-10-08 | 电信科学技术研究院有限公司 | 一种网络数据的监测方法及装置 |
CN111182591A (zh) * | 2018-11-12 | 2020-05-19 | 华为技术有限公司 | 网络切换的方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109997334B (zh) * | 2016-10-06 | 2022-08-09 | 康维达无线有限责任公司 | 具有用于3gpp网络中物联网应用的间接连接的中继和收费的会话管理 |
US10986010B2 (en) * | 2018-08-09 | 2021-04-20 | At&T Intellectual Property I, L.P. | Mobility network slice selection |
-
2020
- 2020-07-30 CN CN202010750749.3A patent/CN114095385B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110312279A (zh) * | 2018-03-27 | 2019-10-08 | 电信科学技术研究院有限公司 | 一种网络数据的监测方法及装置 |
CN111182591A (zh) * | 2018-11-12 | 2020-05-19 | 华为技术有限公司 | 网络切换的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114095385A (zh) | 2022-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lin et al. | A survey on network security-related data collection technologies | |
US10805322B2 (en) | Packet capture and network traffic replay | |
US11003773B1 (en) | System and method for automatically generating malware detection rule recommendations | |
CN114095385B (zh) | 数据监测系统、数据监测装置及数据监测方法 | |
CN110557251A (zh) | 工业数据安全隔离采集系统及内外网数据单向传输方法 | |
EP4060958B1 (en) | Attack behavior detection method and apparatus, and attack detection device | |
RU2535630C2 (ru) | Способ и устройство для сбора данных мобильной связи | |
CN114465739A (zh) | 异常识别方法和系统、存储介质及电子装置 | |
WO2017185827A1 (zh) | 用于确定应用程序可疑行为的方法和装置 | |
US12088583B2 (en) | Permissions for backup-related operations | |
JP2016508353A (ja) | ネットワークメタデータを処理する改良されたストリーミング方法およびシステム | |
CN100370762C (zh) | 告警报文的处理方法、装置和系统 | |
CN102006186A (zh) | 一种内网设备非法外联监控系统及其方法 | |
CN110138731B (zh) | 一种基于大数据的网络防攻击方法 | |
GB2594107A (en) | Network analytics | |
CN118041660A (zh) | 一种高速大规模并发全量网络流量入侵检测方法及系统 | |
CN110351274B (zh) | 一种网络攻击面追踪的方法、服务器和系统 | |
CN110351273B (zh) | 一种网络追踪长链条攻击的方法、装置和系统 | |
CN111585813B (zh) | 一种物联网环境下网络节点的管理方法及系统 | |
CN110213301B (zh) | 一种转移网络攻击面的方法、服务器和系统 | |
CN112714070A (zh) | 通信方法、装置、系统及存储介质 | |
CN113452702B (zh) | 一种微服务流量检测系统和方法 | |
Xiao et al. | Implementation and evaluation of accountability using flow-net in wireless networks | |
CN108566377A (zh) | 一种攻击事件取证方法、装置及存储介质 | |
CN114157716A (zh) | 基于区块链的数据处理方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |