CN116016720A - 一种多接口多通道在线离线网络协议解析系统及方法 - Google Patents
一种多接口多通道在线离线网络协议解析系统及方法 Download PDFInfo
- Publication number
- CN116016720A CN116016720A CN202211605065.XA CN202211605065A CN116016720A CN 116016720 A CN116016720 A CN 116016720A CN 202211605065 A CN202211605065 A CN 202211605065A CN 116016720 A CN116016720 A CN 116016720A
- Authority
- CN
- China
- Prior art keywords
- unit
- network
- data
- layer
- protocol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 92
- 238000003860 storage Methods 0.000 claims abstract description 61
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 238000012544 monitoring process Methods 0.000 claims description 25
- 238000012423 maintenance Methods 0.000 claims description 23
- 230000000977 initiatory effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 abstract description 15
- 238000004891 communication Methods 0.000 abstract description 5
- 230000002085 persistent effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 14
- 238000007726 management method Methods 0.000 description 10
- 230000002776 aggregation Effects 0.000 description 8
- 238000004220 aggregation Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000010223 real-time analysis Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 101100226364 Arabidopsis thaliana EXT1 gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请属于网络通信技术领域,涉及一种多接口多通道在线离线网络协议解析系统及方法。系统包括:接入层、处理层、存储层以及应用层;所述接入层与所述处理层之间、所述处理层与所述存储层之间、所述存储层与所述应用层之间均采用网络连接,以使所述接入层完成数据载入后输入所述处理层、所述处理层完成数据规整后输入所述存储层、所述存储层完成数据入库后输入所述应用层、所述应用层完成数据检索后输出并进行数据展示;所述存储层包括数据库单元,所述处理层输入所述存储层的数据存入所述数据库单元中。采用本系统能够进行持久化保存和在线输出,能够扩展后端在线数据分析。
Description
技术领域
本申请涉及网络通信技术领域,特别是涉及一种多接口多通道在线离线网络协议解析系统及方法。
背景技术
在特定的应用背景下,需要对IP网络通信数据(以下简称网络数据)进行探查、解析、清分、还原和统计分析,从而掌握此网络中的网络态势和用户行为。该业务的详细流程可以分为首先汇聚目标网络数据,然后网络协议栈的分层模型逐层进行网络协议解析,提取网络协议元数据信息,进而根据元数据信息按照一定的规则对数据进行清分,再按照具体的业务还原手段提取清分数据中的应用内容,最后将还原内容结合大数据和人工智能技术统计、分析和掌握网络整体态势和用户行为。由此可见,网络协议解析是其中的关键流程,其解析质量直接决定了后续清分、提取和统计分析的结果。同时,在处理实时网络数据时,网络协议解析的效率也至关重要,解析效率低下将导致数据丢失,从而无法相对完整的掌握网络态势和用户行为。
现有的协议解析技术是以wireshark系列产品为代表的网络协议解析工具,其主要模块包括核心模块、捕获模块、pcap载入模块、协议解析模块和用户界面模块,捕获模块负责监听和捕获网卡数据、pcap载入模块负责处理离线保存的pcap文件、协议解析模块通过良好的软件架构设计实现了插件方式的协议解析器,一种协议解析插件对应一种网络协议解析能力,用户界面模块提供交互页面,核心模块负责整合其他模块,组装成应用。wireshark还提供了一定的数据分析处理能力。
传统技术协议解析阶段支持在线处理,但将解析结果暂存在内存中,未进行持久化保存,也不能在线输出,后续数据分析阶段要求停止实时解析,然后基于内存中的解析结果进行离线数据分析,虽然可以保证当前的分析效率,但实际需求通常要求对网络数据进行自动化、不间断的实时监测和分析,实时解析网络数据包,自动监测网络状态、用户行为和异常事件告警。离线数据分析既不满足系统对连续实时监测的要求,也不满足系统对自动化分析的要求,还不满足对数据各个维度的解析结果统计、挖掘和深度解析。
发明内容
基于此,有必要针对上述技术问题,提供一种多接口多通道在线离线网络协议解析系统及方法,能够进行持久化保存和在线输出,能够扩展后端在线数据分析。
一种多接口多通道在线离线网络协议解析系统,包括:接入层、处理层、存储层以及应用层;
所述接入层与所述处理层之间、所述处理层与所述存储层之间、所述存储层与所述应用层之间均采用网络连接,以使所述接入层完成数据载入后输入所述处理层、所述处理层完成数据规整后输入所述存储层、所述存储层完成数据入库后输入所述应用层、所述应用层完成数据检索后输出并进行数据展示;
所述存储层包括数据库单元,所述处理层输入所述存储层的数据存入所述数据库单元中。
在一个实施例中,所述接入层包括:网口捕获单元、文件载入单元、网络接收单元以及中间件订阅单元;所述网口捕获单元、所述文件载入单元、所述网络接收单元以及所述中间件订阅单元均与所述接入层采用网络连接;
所述网口捕获单元用于接收本机网卡实时数据并处理为标准网络数据;
所述文件载入单元用于接收本机离线数据并进行拆包解包处理为标准网络数据;
所述网络接收单元用于接收前级设备输出数据并进行私有协议处理为标准网络数据;
所述中间件订阅单元用于接收外部系统实时数据并进行私有协议处理为标准网络数据。
在一个实施例中,所述处理层包括:多个协议解析单元,每个协议解析单元均与所述处理层采用网络连接;
每个协议解析单元均对应一个解析服务进程,并对标准网络数据按照分层网络模型进行逐层网络协议解析处理,得到网络数据各层协议元数据。
在一个实施例中,所述处理层还包括:负载均衡模块;所述负载均衡模块同时与所述处理层以及每个协议处理单元采用网络连接;
所述负载均衡模块接收输入的解析请求并访问每个协议解析单元。
在一个实施例中,所述存储层包括:文件系统单元、数据库单元、网络输出单元以及中间件发布单元;所述文件系统单元、所述数据库单元、所述网络输出单元以及所述中间件发布单元均与所述存储层采用网络连接;
所述文件系统单元用于保存文件数据;
所述数据库单元用于保存结构数据;
所述网络输出单元用于保存私有数据;
所述中间件发布单元用于保存格式化数据。
在一个实施例中,所述应用层包括:模块管理单元、系统运维单元、监视审计单元、外部接口单元以及人机界面单元;所述模块管理单元、所述系统运维单元、所述监视审计单元、所述外部接口单元以及所述人机界面单元均与所述应用层采用网络连接;
所述模块管理单元用于管理所述接入层、所述处理层以及所述存储层,并配置所述网口捕获单元、所述文件载入单元、所述网络接收单元、所述中间件订阅单元、每个协议解析单元、所述文件系统单元、所述数据库单元、所述网络输出单元以及所述中间件发布单元;
所述系统运维单元用于监视主机运行状态信息和资源回收;
所述监视审计单元用于实时监控所述网口捕获单元、所述文件载入单元、所述网络接收单元、所述中间件订阅单元、每个协议解析单元、所述文件系统单元、所述数据库单元、所述网络输出单元以及所述中间件发布单元的状态,并对协议解析结果进行实时审计;
所述外部接口单元用于为外部运维运控系统提供接口以便于集成;
所述人机界面单元采用微服务架构以实现前后端分离。
在一个实施例中,所述微服务架构为B/S架构。
一种多接口多通道在线离线网络协议解析方法,采用多接口多通道在线离线网络协议解析系统,包括:
接收外部数据,并发起协议解析请求;
响应协议解析请求,执行网络协议解析,并发起存储输出请求;
响应存储输出请求,按照配置对解析结果进行存储和输出;
实时监控、审计和展示,并等待接收外部控制指令。
在一个实施例中,在接收外部数据之前,还包括:
系统初始化,载入默认系统配置,所述应用层、所述接入层、所述处理层以及所述存储层依次执行模块配置。
在一个实施例中,在接收外部数据之后,还包括:
判断外部数据类型并判断非标准网络数据时,进行拆包解包和/或私有协议处理。
上述多接口多通道在线离线网络协议解析系统及方法,相比现有技术仅考虑单机处理因此将解析结果暂存到内存,本申请考虑系统级处理,存储输出模块包括文件系统、数据库、中间件发布和网络输出的多输出接口,通过多进程的方式实现了多通道的协议解析单元,处理层输入存储层的数据存入数据库单元中,解决传统技术不能多通道并行网络协议解析,无法应对多通达大流量网络数据解析场景的问题,实时抓包结果能够进行持久化保存和在线输出,能够进行离线数据分析,也能够扩展后端在线数据分析。
附图说明
图1为一个实施例中一种多接口多通道在线离线网络协议解析系统的架构图;
图2为一个实施例中接入层的架构图;
图3为一个实施例中处理层的架构图;
图4为一个实施例中存储层的架构图;
图5为一个实施例中应用层的架构图;
图6为一个实施例中一种多接口多通道在线离线网络协议解析方法的流程示意图;
图7为另一个实施例中一种多接口多通道在线离线网络协议解析方法的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明,本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本申请中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多组”的含义是至少两组,例如两组,三组等,除非另有明确具体的限定。
在本申请中,除非另有明确的规定和限定,术语“连接”、“固定”等应做广义理解,例如,“固定”可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接,还可以是物理连接或无线通信连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
另外,本申请各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
本申请提供了一种多接口多通道在线离线网络协议解析系统,如图1所示,在一个实施例中,包括:接入层、处理层、存储层以及应用层,分别对应汇聚模块、协议解析模块、存储输出模块和运维控制模块。
接入层与处理层之间、处理层与存储层之间、存储层与应用层之间均采用网络连接,以使接入层完成数据载入后输入处理层、处理层完成数据规整后输入存储层、存储层完成数据入库后输入应用层、应用层完成数据检索后输出并进行数据展示。
如图2所示,接入层包括:网口捕获单元、文件载入单元、网络接收单元以及中间件订阅单元;网口捕获单元、文件载入单元、网络接收单元以及中间件订阅单元均与接入层采用网络连接。接入层的汇聚模块具备多接口和支持在线-离线数据处理特性,支持多种外部数据汇聚方式,分别为网口捕获、文件载入、网络接收和中间件订阅方式,对应网口捕获单元、文件载入单元、网络接收单元和中间件订阅单元。
网口捕获单元用于接收本机网卡实时数据并处理为标准网络数据。网络捕获单元不限制实现方法,可以集成tcpdump、wireshark等工具,也可以基于libpcap自行实现,还可以基于libpcap开发,基于libpcap开发的网口捕获单元的具体抓包流程包括:查找网络设备、打开网络设备、获取网络参数、编译过滤策略、设置过滤器、利用回调方法捕获数据包、关闭网络设备。总之,网口捕获接口对网卡设备进行监控,将本机网卡接收的数据作为汇聚模块的输入,抓包数据为标准网络数据,可以直接通过协议请求送入下一级协议解析模块。
文件载入单元用于接收本机离线数据并进行拆包解包处理为标准网络数据。具体地,文件载入支持用户将存储在本机文件系统上离线数据载入作为汇聚模块输入,文件数据通常数据量大,数据类型为非标准网络数据,例如卫星网链路数据或移动网链路数据,此时需要进行拆包解包处理转换为标准网络数据,通过协议请求送入下一级协议解析模块。至于接收不同格式的非标准网络数据后,如何进行拆包解包处理为标准网络数据,应根据非标准数据的封装协议进行相应协议解析处理,例如针对卫星链路HDLC数据,需要进行卫星链路HDLC协议解析和IP数据提取处理。
网络接收单元用于接收前级设备输出数据,并通过链路数据处理或私有协议数据处理为标准网络数据。具体地,网络接收单元接收前级设备的输出数据,前级设备可能应用于非标准网络,例如卫星网链路数据或移动网链路数据,也可能自行添加设备私有数据头。协议解析模块只能处理标准网络数据,如果网络接收单元将接收到的数据直接输出到协议解析模块将无法识别和处理。网络接收单元集成多种链路处理器,也支持扩展私有协议处理器,支持解析非以太网链路和私有协议并提取承载的标准网络数据,然后过协议请求送入下一级协议解析模块。例如:针对卫星链路HDLC数据,进行卫星链路HDLC协议解析和IP数据提取处理。
中间件订阅单元用于接收外部系统实时数据并进行私有协议处理为标准网络数据。中间件可以是各种支持发布订阅通信模式的消息中间件,例如kafka、rocketmq、zeromq等。具体地,中间件订阅方式是通过消息中间件接收外部系统实时数据,外部系统数据通常具有系统定义的私有协议格式,需要通过私有协议处理转化为标准网络数据,然后过协议请求送入下一级协议解析模块,以Kafka为例,汇聚模块公开一个Kafka主题,并订阅此主题,外部数据通过此主题发布数据,汇聚模块即可通过此主题接收到外部数据。其中网口捕获、网络接收和中间件订阅适用于在线数据的实时解析处理,文件载入适用于离线数据批处理。
如图3所示,处理层包括:多个协议解析单元以及负载均衡模块,协议解析单元由wireshark二次开发实现,具体方法是将wireshark的增强型包解析器封装restful风格接口,接收pcap数据作为参数,将协议解析结果以json的方式返回给调用者。每个协议解析单元均与处理层采用网络连接,负载均衡模块同时与处理层以及每个协议处理单元采用网络连接。处理层的协议解析模块的基本功能是负责对标准网络数据进行协议解析处理,与现有协议解析器相比,其典型特征是具备多通道属性。协议解析模块由多个解析单元组成的服务集群。
每个协议解析单元均对应一个解析服务进程,并对标准网络数据按照分层网络模型进行逐层网络协议解析处理,得到网络数据各层协议元数据。
负载均衡模块接收输入的解析请求并访问每个协议解析单元。具体地,解析服务集群通过负载均衡访问,解析请求代理负责处理外部解析请求,协议解析结果由通过存储请求送入下一级存储输出模块。
如图4所示,存储层包括:文件系统单元、数据库单元、网络输出单元以及中间件发布单元;文件系统单元、数据库单元、网络输出单元以及中间件发布单元均与存储层采用网络连接。存储层的存储输出模块具有多输出接口的典型特征,支持将不同格式的协议解析结果数据按照不同的方式保存或输出。存储输出模块的输出接口包括数据库、文件系统、网络输出和中间件发布。
文件系统单元用于保存文件数据。具体地,包括原始数据文件、中间数据文件、结果数据文件、参数配置文件和系统日志文件等。例如:文件系统单元可以是计算机操作系统自带的文件系统NTFS、FAT32和EXT4等。
数据库单元用于保存结构数据。具体地,包括协议解析字段信息、模块参数配置信息、协议解析处理记录和系统日志信息等。例如:数据库单元可以是结构型或文档型数据库,包括mysql、PostgreSQL和mongodb等。
网络输出单元用于保存私有数据。具体地,将处理结果按照外部设备私有协议要求的方式实时输出。例如:网络输出单元一般使用socket接口。
中间件发布单元用于保存格式化数据。具体地,将处理结果按照外部系统格式化要求的方式实时输出。例如:中间件发布单元可以是kafka、rocketmq和rabbitmq的发布者。
需要说明:文件系统单元、数据库单元、网络输出单元以及中间件发布单元均输出至应用层,但网络输出单元以及中间件发布单元还输出至外部设备或系统。
如图5所示,应用层包括:模块管理单元、系统运维单元、监视审计单元、外部接口单元以及人机界面单元;模块管理单元、系统运维单元、监视审计单元、外部接口单元以及人机界面单元均与应用层采用网络连接。应用层的运维控制模块负责对整个解析系统进行管理和控制,具体包括五个单元,每个单元都通过微服务的方式实现,每个单元都是完整的,实现单一功能,单元可以独立运行,单元之间通过restful风格接口通信。
模块管理单元用于管理接入层、处理层以及存储层,并配置网口捕获单元、文件载入单元、网络接收单元、中间件订阅单元、每个协议解析单元、文件系统单元、数据库单元、网络输出单元以及中间件发布单元。具体地,对于汇聚模块,具体包括配置汇聚数据类型,配置抓包接口的网卡设备和过滤参数,配置文件接口的文件所在目录和文件大小,配置网络接口的协议类型和网络地址,配置中间件接口的主题名称;对于协议解析模块,具体包括配置解析单元的生效协议、生效字段和输出类型;对于存储输出模块,具体包括配置数据库接口的数据库地址和数据表表名,配置网络接口的协议类型和网络地址,配置文件接口的输出目录、文件大小、文件保存期限,配置中间件单元的主题名称。
系统运维单元用于监视主机运行状态信息和资源回收。具体地,包括资源占用率、设备运行参数以及资源清理功能等。
监视审计单元用于实时监控网口捕获单元、文件载入单元、网络接收单元、中间件订阅单元、每个协议解析单元、文件系统单元、数据库单元、网络输出单元以及中间件发布单元的状态,并对协议解析结果进行实时审计。具体地,对模块状态进行实时监控,对网络数据协议解析结果进行实时审计和展示;模块监控包括各模块运行状态、参数配置、协议解析处理实时信息等,审计包括从处理结果中提取并生成网络用户流量占比和网络协议分布等信息。
外部接口单元用于为外部运维运控系统提供接口以便于集成。具体地,接口为POST类型接口。
人机界面单元采用微服务架构以实现前后端分离,具体地,微服务架构为B/S架构。
需要说明,前述的网络连接为现有技术,具体可以是有线以太网连接或者无线网络连接等。
本申请中,汇聚模块典型特征为具备多输入接口,具体包括网口捕获、文件载入、网络接收和中间件订阅,以应对不同输入类型的本机和外部数据;协议解析模块的典型特征为具备多通道协议解析能力,其多通道能力由协议解析单元服务集群实现;存储模块典型特征为具备多输出接口,具体包括文件系统、数据库、网络输出和中间件发布;运维管理模块包括模块管理、系统运维、监视审计、外部接口和人机界面五个单元组成。系统工作流程的关键步骤为:数据载入、数据处理、数据入库、数据检索和数据展示。数据流的处理过程为:汇聚模块接收外部数据、协议解析模块进行协议解析处理、存储输出模块保存和输出处理结果信息。运维控制模块通过控制流管理汇聚模块、处理模块和存储模块,提供人机界面、审计监控和外部接口能力。
上述多接口多通道在线离线网络协议解析系统,相比现有技术仅考虑单机处理因此将解析结果暂存到内存,本申请考虑系统级处理,存储输出模块包括文件系统、数据库、中间件发布和网络输出的多输出接口,通过多进程的方式实现了多通道的协议解析单元,处理层输入存储层的数据存入数据库单元中,解决传统技术不能多通道并行网络协议解析,无法应对多通达大流量网络数据解析场景的问题,实时抓包结果能够进行持久化保存和在线输出,能够进行离线数据分析,也能够扩展后端在线数据分析。
此外,传统技术通常采用本地网卡设备抓包模式和文件模式,对于抓包捕获的本机网卡网络数据,其数据结构通常为链路层-网络层-传输层-应用层,然后按照网络协议栈逐层解析,而面对由外部系统通过网络发送的待解析数据的场景,传统解析器抓到的数据包结构为链路层-网络层-传输层-网络层-传输层-应用层,待分析的数据包全部位于后三层,传统方案解析到第一个传输层,把后面的三层当作未知的数据,不再解析处理,无法满足外部用户数据解析需求,对于文件模式,传统技术只能识别按照指定格式封装数据包的文件,对于原始数据包未封装的文件,传统技术无法拆包,进而也无法解析数据包。相比现有技术的文件和抓包接口,本申请中的汇聚模块具有的网口捕获、文件载入、网络接收和中间件订阅的多输入接口,解决不能完整解析通过外部网络或者其他接口输入的数据包的问题,解决不能解析未按指定格式封装的原始数据包的问题,通过汇聚模块的设计实现了网口捕获、文件载入、网络接收和中间件订阅多接口输入支持,其中文件载入按照文件中数据包的封装格式进行拆包解包以及网络接收和中间件订阅后续的私有协议处理,能很好解析外部输入数据,解析未按指定格式封装数据包的文件。
传统技术不具备多通道捕获分析能力,不能同时处理多个通道的网络数据。相比现有技术的单通道协议解析器,本申请协议解析模块的多通道协议解析单元,解决不支持多通道并行处理的问题,通过存储输出模块解析结果持久化保存和实时结果输出,解决传统技术只能在线进行协议解析,数据分析需要暂停后进行手动离线处理或手动载入离线文件进行分析的问题,为后端扩展数据分析处理系统,实现不间断自动化实时网络数据处理,如解析结果统计、数据挖掘和深度分析奠定了基础。
传统技术为带人机界面的单体应用,人机界面和业务处理耦合,主要采用C/C++实现,对于协议解析的关键部分,C/C++可以保证其处理效率,然而传统技术对于用户页面、数据库访问、外部接口、运维控制等功能的实现方式过于复杂或者未实现,不利于与外部运维运控系统集成。相比现有技术无法集成外部运维运控系统,本申请运维控制模块外部控制单元;相比现有技术单体应用架构和纯C/C++实现,本申请采用B/S架构提供外部接口,实现页面和业务进行解耦,并混合使用C/C++和JAVA多语言的实现方式,解决单体应用架构,且用户页面、数据库访问、外部接口、运维控制等功能由C/C++实现过于复杂或者未实现,无法与外部运维运控系统集成的问题,带来了传统技术不具备的系统管理能力和外部运维运控系统集成能力。
本申请还提供了一种多接口多通道在线离线网络协议解析方法,如图6所示,在一个实施例中,包括:
步骤602:接收外部数据,并发起协议解析请求;
步骤604:响应协议解析请求,执行网络协议解析,并发起存储输出请求;
步骤606:响应存储输出请求,按照配置对解析结果进行存储和输出;
步骤608:实时监控、审计和展示,并等待接收外部控制指令。
优选地,在接收外部数据之前,还包括:系统初始化,载入默认系统配置,应用层、接入层、处理层以及存储层依次执行模块配置。
进一步优选地,在接收外部数据之后,还包括:判断外部数据类型并判断非标准网络数据时,进行拆包解包和/或私有协议处理,具体如图7所示。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种多接口多通道在线离线网络协议解析系统,其特征在于,包括:接入层、处理层、存储层以及应用层;
所述接入层与所述处理层之间、所述处理层与所述存储层之间、所述存储层与所述应用层之间均采用网络连接,以使所述接入层完成数据载入后输入所述处理层、所述处理层完成数据规整后输入所述存储层、所述存储层完成数据入库后输入所述应用层、所述应用层完成数据检索后输出并进行数据展示;
所述存储层包括数据库单元,所述处理层输入所述存储层的数据存入所述数据库单元中。
2.根据权利要求1所述的多接口多通道在线离线网络协议解析系统,其特征在于,所述接入层包括:网口捕获单元、文件载入单元、网络接收单元以及中间件订阅单元;所述网口捕获单元、所述文件载入单元、所述网络接收单元以及所述中间件订阅单元均与所述接入层采用网络连接;
所述网口捕获单元用于接收本机网卡实时数据并处理为标准网络数据;
所述文件载入单元用于接收本机离线数据并进行拆包解包处理为标准网络数据;
所述网络接收单元用于接收前级设备输出数据并进行私有协议处理为标准网络数据;
所述中间件订阅单元用于接收外部系统实时数据并进行私有协议处理为标准网络数据。
3.根据权利要求1所述的多接口多通道在线离线网络协议解析系统,其特征在于,所述处理层包括:多个协议解析单元,每个协议解析单元均与所述处理层采用网络连接;
每个协议解析单元均对应一个解析服务进程,并对标准网络数据按照分层网络模型进行逐层网络协议解析处理,得到网络数据各层协议元数据。
4.根据权利要求3所述的多接口多通道在线离线网络协议解析系统,其特征在于,所述处理层还包括:负载均衡模块;所述负载均衡模块同时与所述处理层以及每个协议处理单元采用网络连接;
所述负载均衡模块接收输入的解析请求并访问每个协议解析单元。
5.根据权利要求2所述的多接口多通道在线离线网络协议解析系统,其特征在于,所述存储层包括:文件系统单元、数据库单元、网络输出单元以及中间件发布单元;所述文件系统单元、所述数据库单元、所述网络输出单元以及所述中间件发布单元均与所述存储层采用网络连接;
所述文件系统单元用于保存文件数据;
所述数据库单元用于保存结构数据;
所述网络输出单元用于保存私有数据;
所述中间件发布单元用于保存格式化数据。
6.根据权利要求5所述的多接口多通道在线离线网络协议解析系统,其特征在于,所述应用层包括:模块管理单元、系统运维单元、监视审计单元、外部接口单元以及人机界面单元;所述模块管理单元、所述系统运维单元、所述监视审计单元、所述外部接口单元以及所述人机界面单元均与所述应用层采用网络连接;
所述模块管理单元用于管理所述接入层、所述处理层以及所述存储层,并配置所述网口捕获单元、所述文件载入单元、所述网络接收单元、所述中间件订阅单元、每个协议解析单元、所述文件系统单元、所述数据库单元、所述网络输出单元以及所述中间件发布单元;
所述系统运维单元用于监视主机运行状态信息和资源回收;
所述监视审计单元用于实时监控所述网口捕获单元、所述文件载入单元、所述网络接收单元、所述中间件订阅单元、每个协议解析单元、所述文件系统单元、所述数据库单元、所述网络输出单元以及所述中间件发布单元的状态,并对协议解析结果进行实时审计;
所述外部接口单元用于为外部运维运控系统提供接口以便于集成;
所述人机界面单元采用微服务架构以实现前后端分离。
7.根据权利要求6所述的多接口多通道在线离线网络协议解析系统,其特征在于,所述微服务架构为B/S架构。
8.一种多接口多通道在线离线网络协议解析方法,其特征在于,采用权利要求1至7任一项所述的多接口多通道在线离线网络协议解析系统,包括:
接收外部数据,并发起协议解析请求;
响应协议解析请求,执行网络协议解析,并发起存储输出请求;
响应存储输出请求,按照配置对解析结果进行存储和输出;
实时监控、审计和展示,并等待接收外部控制指令。
9.根据权利要求8所述的多接口多通道在线离线网络协议解析方法,其特征在于,在接收外部数据之前,还包括:
系统初始化,载入默认系统配置,所述应用层、所述接入层、所述处理层以及所述存储层依次执行模块配置。
10.根据权利要求9所述的多接口多通道在线离线网络协议解析方法,其特征在于,在接收外部数据之后,还包括:
判断外部数据类型并判断非标准网络数据时,进行拆包解包和/或私有协议处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211605065.XA CN116016720A (zh) | 2022-12-14 | 2022-12-14 | 一种多接口多通道在线离线网络协议解析系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211605065.XA CN116016720A (zh) | 2022-12-14 | 2022-12-14 | 一种多接口多通道在线离线网络协议解析系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116016720A true CN116016720A (zh) | 2023-04-25 |
Family
ID=86022186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211605065.XA Pending CN116016720A (zh) | 2022-12-14 | 2022-12-14 | 一种多接口多通道在线离线网络协议解析系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116016720A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105119756A (zh) * | 2015-09-10 | 2015-12-02 | 深圳市网誉科技有限公司 | 一种基于网络管理平台与数据分析的网络监控系统及方法 |
WO2016054992A1 (zh) * | 2014-10-10 | 2016-04-14 | 中兴通讯股份有限公司 | 网络数据采集系统及方法 |
CN111556066A (zh) * | 2020-05-08 | 2020-08-18 | 国家计算机网络与信息安全管理中心 | 一种网络行为检测方法及装置 |
CN114615301A (zh) * | 2022-03-10 | 2022-06-10 | 天津航天机电设备研究所 | 一种集成异构工业互联网设备的平台及其构建方法 |
US20220294883A1 (en) * | 2021-03-11 | 2022-09-15 | Xilinx, Inc. | Network interface device |
CN115333967A (zh) * | 2022-10-11 | 2022-11-11 | 南京中孚信息技术有限公司 | 数据上报方法、系统、设备及存储介质 |
-
2022
- 2022-12-14 CN CN202211605065.XA patent/CN116016720A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016054992A1 (zh) * | 2014-10-10 | 2016-04-14 | 中兴通讯股份有限公司 | 网络数据采集系统及方法 |
CN105119756A (zh) * | 2015-09-10 | 2015-12-02 | 深圳市网誉科技有限公司 | 一种基于网络管理平台与数据分析的网络监控系统及方法 |
CN111556066A (zh) * | 2020-05-08 | 2020-08-18 | 国家计算机网络与信息安全管理中心 | 一种网络行为检测方法及装置 |
US20220294883A1 (en) * | 2021-03-11 | 2022-09-15 | Xilinx, Inc. | Network interface device |
CN114615301A (zh) * | 2022-03-10 | 2022-06-10 | 天津航天机电设备研究所 | 一种集成异构工业互联网设备的平台及其构建方法 |
CN115333967A (zh) * | 2022-10-11 | 2022-11-11 | 南京中孚信息技术有限公司 | 数据上报方法、系统、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
张楠: "基于IP网络的通用数据采集系统的设计与实现", 中国优秀硕士学位论文全文数据库(信息科技辑), 15 August 2015 (2015-08-15), pages 140 - 312 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111131379B (zh) | 一种分布式流量采集系统和边缘计算方法 | |
WO2021169268A1 (zh) | 数据处理方法、装置、设备和存储介质 | |
CN110457178A (zh) | 一种基于日志采集分析的全链路监控告警方法 | |
WO2014049804A1 (ja) | 分散システムにおけるシステム動作トレース方法 | |
US20230327942A1 (en) | Data detection method and apparatus, electronic device, computer storage medium, and computer program product | |
CN107404417A (zh) | 一种监控数据的处理方法、处理装置及处理系统 | |
CN102938770A (zh) | 一种实现多协议消息统一接口的方法及相关装置、系统 | |
US10009220B2 (en) | In-vehicle information system and information processing method thereof | |
CN113505048A (zh) | 基于应用系统画像的统一监控平台及实现方法 | |
CN108123840A (zh) | 日志处理方法及系统 | |
CN112052227A (zh) | 数据变更日志的处理方法、装置和电子设备 | |
WO2024149297A1 (zh) | 容器网络抓包处理方法、装置、设备及可读存储介质 | |
CN102571424A (zh) | 一种工程事件处理方法、装置和系统 | |
CN111817865A (zh) | 一种监控网管设备的方法及监控系统 | |
CN113626869A (zh) | 数据处理方法、系统、电子设备以及存储介质 | |
CN116016720A (zh) | 一种多接口多通道在线离线网络协议解析系统及方法 | |
KR101482668B1 (ko) | 변전소 구성 언어 기반의 데이터베이스 생성 방법 및 시스템 | |
CN114756301B (zh) | 日志处理方法、装置和系统 | |
CN116260703A (zh) | 分布式消息服务节点cpu性能故障自恢复方法及装置 | |
CN116136801B (zh) | 云平台的数据处理方法、装置、电子设备及存储介质 | |
CN112671567B (zh) | 一种基于服务化接口的5g核心网拓扑发现方法及装置 | |
CN109684158B (zh) | 分布式协调系统的状态监控方法、装置、设备及存储介质 | |
CN113515425A (zh) | 数据动态上报的方法和装置 | |
CN109684159A (zh) | 分布式消息系统的状态监控方法、装置、设备及存储介质 | |
CN112134636B (zh) | 一种遥感卫星地面站网远程集中监控系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |