CN108287905B - 一种网络流特征的提取与存储方法 - Google Patents

一种网络流特征的提取与存储方法 Download PDF

Info

Publication number
CN108287905B
CN108287905B CN201810079545.4A CN201810079545A CN108287905B CN 108287905 B CN108287905 B CN 108287905B CN 201810079545 A CN201810079545 A CN 201810079545A CN 108287905 B CN108287905 B CN 108287905B
Authority
CN
China
Prior art keywords
data
network
characteristic
extracting
storing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810079545.4A
Other languages
English (en)
Other versions
CN108287905A (zh
Inventor
高英
李若鹏
靳亚洽
刘煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810079545.4A priority Critical patent/CN108287905B/zh
Publication of CN108287905A publication Critical patent/CN108287905A/zh
Application granted granted Critical
Publication of CN108287905B publication Critical patent/CN108287905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Abstract

一种网络流特征的提取与存储方法,包括以下步骤：S1：使用gopacket数据包工具驱动libpcap函数包，捕捉原始的网络数据包，按网络的不同的层次的特性提取网络数据包，得到特征原文数据，并且进行落盘处理，生成本地网络数据包文件并存储；S2：使用avro二进制序列化的方式将特征原文数据序列化成特征二进制数据；S3：将特征二进制数据写入到分布式消息队列构成的数据管道中，进行数据的缓存存储，形成缓存数据；S4：将缓存数据进行反序列化处理得到特征数据，获取到所述特征原文数据，运用窗口运算获取所述特征原文数据的统计特征数据；S5：将所述特征原文数据和统计特征数据用列式稀疏存储的方式存储在分布式数据库Hbase中。

Description

一种网络流特征的提取与存储方法
技术领域
本发明涉及计算机通信技术领域，具体涉及一种网络流特征的提取与存储方法。
背景技术
目前许多的网络特征提取工具往往依赖于开源软件如：snort、SNMP、netflow等，物理硬件资源利用率得不到很好的提升，磁盘的IO瓶颈得不到解决，网络资源大量浪费，以及数据的可靠、冗余等机制的缺失，阻碍系统整体的性能、可靠性，最终导致大量的物理、人力资源的浪费。并且snort等的工具的不可控性会带来很多安全性问题以及更多的人力成本，同时，面对海量网络数据流的情况下，传统的网络流特征提取工具的性能不足以承担高速网络的网络流特征提取与存储工作。本发明所使用的特征提取技术能够在大流量的情况下保障整个系统的高效性、稳定性，节省物理、人力成本。
在实际生产环境中，特征数据流的传输，往往采用原文的方式在数据管道中流转，处理灵活性低，造成了网络资源的浪费，容易达到网络瓶颈，进而从而引发整个系统的停滞。
发明内容
针对现有技术中所存在的不足，本发明提供了一种网络流特征的提取与存储方法，解决在有限的网络条件下保障网络流特征提取的鲁棒性、高效性，保证存储的可用性、可靠性的问题。为实现上述目的，本发明采用了如下的技术方案：一种网络流特征的提取与存储方法,包括以下步骤：
S1：使用gopacket数据包工具驱动libpcap函数包，按网络的不同的层次的特性对网络数据进行网络数据包提取，得到特征原文数据,并且进行落盘处理，生成本地数据包文件并存储；
S2：使用avro二进制序列化的方式将特征原文数据序列化成特征二进制数据；
S3：将特征二进制数据写入到分布式消息队列构成的数据管道中，进行数据的缓存存储；
S4：提取缓存数据进行反序列化处理得到特征数据，运用基于Flink流式处理引擎的窗口运算获取所述特征数据的统计特征数据；
S5：将所述特征数据和统计特征数据拼接成网络流特征，用列式稀疏存储的方式将网络流特征存储在分布式数据库Hbase中。
进一步的，运用基于Flink流式处理引擎的窗口运算获取所述特征数据的统计特征数据，得到数量统计特征数据和时间统计特征数据，具体实现步骤为：
S4-1：建立时间窗口并设定时间阈值；
S4-2：对进入时间窗口的特征数据中的每一条数据时数据进行信息计算；
S4-3：到达时间窗口的时间阈值时，调用窗口计算，得出时间统计特征数据；
S4-4：建立数量窗口并设定数量时间阈值；
S4-5：对进入窗口的特征数据中的每一条数据时数据进行信息计算；
S4-6：到达时间数量时间阈值时，调用窗口计算，得出数量统计特征数据。
进一步的，特征原文数据的类型包括特征包括Ethernet、IP、ICMP、TCP和UDP五种协议的报文头部数值特征。
进一步的，步骤S1中特征原文数据提取的具体步骤为：
S1-1：将原始的网络数据包镜像汇聚，得到镜像数据；
S1-2：捕获网络数据包：运用libpcap函数包处理镜像数据捕获网络数据包；
S1-3：运用gopacket工具读取网络数据包，按照网络的不同的层次的特性，提取各个协议的报文头部特征，既得到特征原文数据，并打包成多个本地的pcap包，既网络数据包本地文件。
进一步的，所述步骤S1-1中：原始的网络数据包镜像汇聚的处理过程为：得到镜像数据是通过网络设备的SPAN模块，将其他端口的网络流镜像到指定的的端口，获取整个网络的镜像网络流。
相比于现有技术，本发明具有如下有益效果：本发明创新的使用avro二进制序列化的方式进行数据特征流的传输，提供更灵活的数据流传输方式，节省网络资源，提高系统的整体性能。同时，本发明所使用的基于分布式文件系统的分布式数据库来进行流量特征的存储，相对于市面上其他的直接采用本地磁盘的存储方案，具有高可靠、高可用、大容量等特点，提供更可靠、高效的存储服务。
附图说明
图1为本发明结构框图；
图2为特征原文数据中Ethernet和IP协议包含特征内容表图；
图3为特征原文数据中ICMP、TCP和UDP协议包含特征内容表图。
具体实施方式
相关术语解释：Libpcap：一种用于捕获网络数据包的函数包，具有高性能、高稳定的特点，目前被市面上大多数捕获工具所采用；Gopacket：一种驱动libpcap函数包，捕获并解析网络包数据的工具。具有高效率、低资源消耗等特点；Kakfa：是一种具有优秀的性能、可靠性的分布式消息队列，使用生产者消费者模型，在本发明中用来打造高性能、高可靠的数据管道；Flink：新一代真正意义上的流式处理引擎，具有优秀的性能与丰富的处理API；在本发明中用于切分特征以及提取统计特征；HDFS：一种分布式文件系统，能存储PB级以上的数据，具有优秀的可靠性和性能。在本发明中作为分布式数据库的底层存储支撑；HBase：一种列式分布式数据库，具有较好的写入性能与存储性能，采用列式稀疏存储，在本发明中用于存储最终的特征数据；Avro：一种二进制序列化文件格式，具有高性能、低资源占用、低空间占用、高灵活性的特性，在本发明中用于数据管道前后的数据交换，节约网络资源。
下面结合附图对本发明做进一步的说明。
如图1所示，本发明所述的一种网络流特征的提取与存储方法,包括以下步骤：
S1：使用gopacket数据包工具驱动libpcap函数包，按网络的不同的层次的特性对网络数据进行数据特征提取，得到特征原文数据,并且进行落盘处理，生成本地数据包文件并存储。Libpcap是目前unix以及linux平台下的基础网络数据捕获函数包，能够提供高性能的数据包捕获服务。本发明创新的使用gopacket数据包工具来驱动libpcap函数包，捕捉原始的网络数据包。捕获到的数据包包含了应用层、网络层、传输层、数据链路层等四层的数据内容。其中很多的数据内容是没有价值的，因此需要进行特征的再次提取。同时，将数据包进行落盘处理，生成本地pcap包文件，用于长时间存储保存，用于后续发现网络异常行为问题时方便进行数据回放或查找。
S2：使用avro二进制序列化的方式将特征原文数据序列化成特征二进制数据；avro二进制序列化格式，通过定义数据组装模式(schema)，将特征原文数据序列化成二进制格式(bytes)，进行发送。使用avro二进制序列化的方式具有存储空间占用小、序列化效率高等特性，能够有效的节约网络资源。同时，avro二进制格式自带的动态类型(Dynamictyping)特性，使得在进行特征模式升级时，能够提供更好的兼容性，不需要进行多次编码修改，节省人力成本。
S3：将特征二进制数据写入到分布式消息队列构成的数据管道中，进行数据的缓存存储，形成缓存数据；数据管道层连接了数据收集层与实时计算层，具有承上启下的作用。数据管道为数据收集层所收集到的数据提供了一个缓冲通道以及统一的数据通道。在真实的场景中，往往会出现瞬间访问量过大、或者下游实时处理出现停顿的问题，这是数据管道的缓冲作用就尤为重要，能够在真实场景中保障数据传输的可靠性，避免数据的丢失，提升整个系统的鲁棒性。同时统一的数据管道利于数据流的管理，节省更多的人力成本。使用分布式消息队列(Kafka)作为数据管道的基础，Kafka是一款工业界非常流行的消息队列软件，能够同时支持多个生产者与消费者，保障数据传输的高效性，具备的数据分区复制(replica)功能，保障数据的可靠性。
S4：将缓存数据进行反序列化处理得到特征数据，运用基于Flink流式处理引擎的窗口运算获取所述特征数据的统计特征数据；
S5：将所述特征数据和统计特征数据拼接成网络流特征，用列式稀疏存储的方式将网络流特征存储在分布式数据库Hbase中。本发明使用HDFS(分布式文件系统)作为数据存储层的基础。HDFS是一种市面上常用的分布式文件系统，多用于大数据领域。其具备数据冗余备份、分片存储等功能，保障了数据存储的可靠性和高效性。
Hbase集群采用Master/Slave架构，主要分为三种类型的角色：HMaster、HRegionServer、Zookeeper。HMaster节点管理HRegionServer节点，并对其实现负载均衡。HMaster负责管理HRegion，如HRegion进行分裂时，为其分配新的HRegion，在HRegionServer失效或下线时将HRegion进行迁移到其他的HRegionServer。HMaster负责管理命名空间与表的元数据，并提供权限控制功能。HRegionServer用于存放和管理HRegion，HRegion实际存放在HDFS中，由HRegion进行管理。Client在读写数据时，先从HMaster获取元数据，在根据数据的RowKey找到所在的HRegionServer与HRegion，然后进行数据的读写。ZooKeeper集群的作用是为Hbase集群做协调工作，负责存放Hbase集群的元数据以及整个集群的状态信息，同时也为HMaster的主从节点失败切换提供支持。HRegion是Hbase中的表的分布的最小单位。HRegion按照RowKey进行水平划分，由于HRegion中的RowKey是排序的，因此HRegion中存放的数据是从StratKey到EndKey之间的数据，因此可以根据RowKey区间快速定位一个数据所在的HRegion。HRegion由HMaster分配到对应的HRegionServer中，有HRegionServer负责HRegion的管理。HRegion中的数据实际存储于HDFS中，因此客户端对于HRegion的读写实际上是读HDFS上的数据文件。另外，由于HDFS不支持文件的修改，对于HRegion数据的写入实际上是重新写入一个数据块到原本的数据之后。
进一步的，运用基于Flink流式处理引擎的窗口运算获取所述特征数据的统计特征数据，得到数量统计特征数据和时间统计特征数据，具体实现步骤为：
S4-1：建立时间窗口并设定时间阈值；
S4-2：对进入时间窗口的特征数据中的每一条数据时数据进行信息计算；
S4-3：到达时间窗口的时间阈值时，调用窗口计算，得出时间统计特征数据；
S4-4：建立数量窗口并设定数量时间阈值；
S4-5：对进入窗口的特征数据中的每一条数据时数据进行信息计算；
S4-6：到达时间数量时间阈值时，调用窗口计算，得出数量统计特征数据。
例如时间窗口设为10秒，数量窗口设为1000个数据包；时间阈值设定为10秒。以下为具体方式：
1.过去10秒内，与当前包具有相同目标的主机的数据包数；
2.过去10秒内，与当前包具有相同服务的主机的数据包数；
3.过去10秒内，与当前包具有相同目标主机的数据包的百分比；
4.过去10秒内，与当前包具有相同服务的主机的数据包的百分比；
5.过去10秒内，与当前包具有不同目标主机的数据包的百分比；
6.前1000个数据包中，与当前包具有相同目标的主机的数据包数；
7.前1000个数据包中，与当前包具有相同服务的主机的数据包数；
8.前1000个数据包中，与当前包具有相同目标主机的数据包的百分比；
9.前1000个数据包中，与当前包具有相同服务的主机的数据包的百分比；
10.前1000个数据包中，与当前包具有不同目标主机的数据包的百分比。
进一步的，特征原文数据的类型包括：特征原文数据至少49个特征，其中38个数据包各维度协议的报文头部数值特征，维度协议包括5种协议(Ethernet、IP、ICMP、TCP、UDP)，，剩余特征包括1个数据标记特征(用于标记数据的类型)；10个统计特征。
例如TCP协议的报文头部数值特征包括源IP、目的IP、源端口、目的端口和源MAC地址。5种协议的全部报文头部数值特征见图2和图3。
进一步的，步骤S1中特征原文数据提取的具体步骤为：
S1-1：将原始的网络数据包镜像汇聚，得到镜像网络流；
S1-2：捕获网络数据包：运用libpcap函数包处理镜像网络流；
S1-3：运用gopacket工具读取网络数据包，按照网络的不同的层次的特性，提取各个协议的报文头部各维度数值，既得到特征原文数据，并且进行落盘处理，生成本地数据包文件并存储。
进一步的，所述原始的网络数据包镜像汇聚，得到镜像数据是通过网络设备的SPAN模块，将其他端口的网络流镜像到指定的的端口，获取整个网络的镜像网络流。
数据管道提供了提供数据的缓冲以及冗余备份服务。设计原因为：网络中的海量数据存在时间性，如某个时间段网络流量突然过大，或者下游流式处理不过来，因此一个可靠高效的缓存工具就显得尤为重要，可以避免数据的丢失。
Libpcap是目前通用的一种网络数据捕获工具库，其他的工具大多使用Libpcap进行网络数据包的捕获。Gopacket是Google公司开发提供的一个网络数据包捕获工具包。市面上也存在其他的网络数据包的捕获方法，gopacket是优选的一种。
进一步的，网络数据包的捕获步骤：
1.查找网络设备；2.打开网络设备；3.获得网络参数；4.编译过滤策略；5.设置过滤器；6.利用回调函数获取网络数据包；7.关闭网络设备。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种网络流特征的提取与存储方法,其特征在于，包括以下步骤：
S1：使用gopacket数据包工具驱动libpcap函数包，按网络的不同的层次的特性对网络数据进行网络数据包提取，得到特征原文数据,并且进行落盘处理，生成本地数据包文件并存储；
S2：使用avro二进制序列化的方式将特征原文数据序列化成特征二进制数据；
S3：将特征二进制数据写入到分布式消息队列构成的数据管道中，进行数据的缓存存储；
S4：提取缓存数据进行反序列化处理得到特征数据，运用基于Flink流式处理引擎的窗口运算获取所述特征数据的统计特征数据，具体实现步骤为：
S4-1：建立时间窗口并设定时间阈值；
S4-2：对进入时间窗口的特征数据中的每一条数据时数据进行信息计算；
S4-3：到达时间窗口的时间阈值时，调用窗口计算，得出时间统计特征数据；
S4-4：建立数量窗口并设定数量时间阈值；
S4-5：对进入窗口的特征数据中的每一条数据时数据进行信息计算；
S4-6：到达时间数量时间阈值时，调用窗口计算，得出数量统计特征数据；
S5：将所述特征数据和统计特征数据拼接成网络流特征，用列式稀疏存储的方式将网络流存储在分布式数据库Hbase中。
2.如权利要求1所述的一种网络流特征的提取与存储方法，其特征在于，特征原文数据的类型包括特征包括Ethernet、IP、ICMP、TCP和UDP五种协议的报文头部数值特征。
3.如权利要求1所述的一种网络流特征的提取与存储方法，其特征在于，步骤S1中特征原文数据提取的具体步骤为：
S1-1：将原始的网络数据包镜像汇聚，得到镜像网络流；
S1-2：捕获网络数据包：运用libpcap函数包处理镜像网络流捕获网络数据包；
S1-3：运用gopacket工具读取网络数据包，按照网络的不同的层次的特性，提取各个协议的报文头部特征，既得到特征原文数据，并打包成多个本地的pcap包，既网络数据包本地文件。
4.如权利要求3所述的一种网络流特征的提取与存储方法，其特征在于，所述步骤S1-1中：原始的网络数据包镜像汇聚的处理过程为：得到镜像数据是通过网络设备的SPAN模块，将其他端口的网络流镜像到指定的的端口，获取整个网络的镜像网络流。
CN201810079545.4A 2018-01-26 2018-01-26 一种网络流特征的提取与存储方法 Active CN108287905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810079545.4A CN108287905B (zh) 2018-01-26 2018-01-26 一种网络流特征的提取与存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810079545.4A CN108287905B (zh) 2018-01-26 2018-01-26 一种网络流特征的提取与存储方法

Publications (2)

Publication Number Publication Date
CN108287905A CN108287905A (zh) 2018-07-17
CN108287905B true CN108287905B (zh) 2020-04-21

Family

ID=62836000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810079545.4A Active CN108287905B (zh) 2018-01-26 2018-01-26 一种网络流特征的提取与存储方法

Country Status (1)

Country Link
CN (1) CN108287905B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344717B (zh) * 2018-09-01 2021-10-19 哈尔滨工程大学 一种多阈值动态统计的深海目标在线检测识别方法
CN109726744B (zh) * 2018-12-14 2020-11-10 深圳先进技术研究院 一种网络流量分类方法
CN110222091B (zh) * 2019-06-10 2021-03-30 帷幄匠心科技（杭州）有限公司 一种海量数据实时统计分析方法
CN112181973B (zh) * 2019-07-01 2023-05-30 北京涛思数据科技有限公司 一种时序数据的存储方法
CN110661683B (zh) * 2019-09-26 2021-07-16 苏州浪潮智能科技有限公司 一种基于pcap格式的文件分析UDP协议的方法及装置
CN112039797A (zh) * 2019-12-20 2020-12-04 杭州九略智能科技有限公司 一种基于工业环境下工业流量收集并重放的方法
CN111143415B (zh) * 2019-12-26 2023-12-29 政采云有限公司 一种数据处理方法、装置和计算机可读存储介质
CN114363005A (zh) * 2021-12-08 2022-04-15 北京六方云信息技术有限公司 基于机器学习的icmp检测方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630322A (zh) * 2009-08-26 2010-01-20 中国人民解放军信息工程大学 树形目录结构下的文件集在数据库中的存储和访问方法
US8180916B1 (en) * 2009-07-17 2012-05-15 Narus, Inc. System and method for identifying network applications based on packet content signatures
CN103177215A (zh) * 2013-03-05 2013-06-26 四川电力科学研究院 基于软件控制流特征的计算机恶意软件检测新方法
CN103746982A (zh) * 2013-12-30 2014-04-23 中国科学院计算技术研究所 一种http网络特征码自动生成方法及其系统
CN107122422A (zh) * 2017-04-06 2017-09-01 山东建筑大学 面向服务的智慧住区实时数据库系统及其工作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180916B1 (en) * 2009-07-17 2012-05-15 Narus, Inc. System and method for identifying network applications based on packet content signatures
CN101630322A (zh) * 2009-08-26 2010-01-20 中国人民解放军信息工程大学 树形目录结构下的文件集在数据库中的存储和访问方法
CN103177215A (zh) * 2013-03-05 2013-06-26 四川电力科学研究院 基于软件控制流特征的计算机恶意软件检测新方法
CN103746982A (zh) * 2013-12-30 2014-04-23 中国科学院计算技术研究所 一种http网络特征码自动生成方法及其系统
CN107122422A (zh) * 2017-04-06 2017-09-01 山东建筑大学 面向服务的智慧住区实时数据库系统及其工作方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FloSIS: A Highly Scalable Network Flow Capture System for Fast Retrieval and Storage Efficiency;Jihyung Lee 等;《USENIX ATC"15 Proceedings of the 2015 USENIX Conference on Usenix Annual Technical Conference》;20150710;第99-104页 *
Metric learning with statistical features for network traffic classification;Ziqing Zhang 等;《2017 IPCCC》;20171212;第1-7页 *
实时网络流特征提取系统设计;陈涛 等;《哈尔滨理工大学学报》;20170430;第22卷(第2期);第445-457页 *

Also Published As

Publication number Publication date
CN108287905A (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
CN108287905B (zh) 一种网络流特征的提取与存储方法
US11061942B2 (en) Unstructured data fusion by content-aware concurrent data processing pipeline
CN111131379B (zh) 一种分布式流量采集系统和边缘计算方法
CN109672856B (zh) 资源同步方法和装置
CN110489484B (zh) 数据同步方法、装置、可读存储介质及电子设备
KR20040068505A (ko) 파일 분할 분배 방법
CN111835562B (zh) 日志上传方法、日志查询方法、系统
CN103581044A (zh) 一种流量统计方法和装置
CN109672857B (zh) 监控资源的信息处理方法和装置
CN111787349B (zh) 一种数据缓存方法、装置、设备及介质
CN109660753B (zh) 资源同步方法和装置
CN110572698B (zh) 一种统计巡检和监控播放记录的方法、装置、设备、介质
CN108234178A (zh) 一种统一管理菜单文件的方法和装置
CN110233749B (zh) 一种故障处理方法、系统及装置和存储介质
CN112019604A (zh) 边缘数据传输方法和系统
CN109802992B (zh) 一种资源变化日志读写的方法和装置
CN109802990B (zh) 一种减少数据冗余的资源日志读写方法和装置
CN110557608B (zh) 资源监控方法、装置和计算机可读存储介质
CN108696389B (zh) 一种基于海量数据的网络流量及协议报文分析平台
WO2022152230A1 (zh) 信息流识别方法、网络芯片及网络设备
CN109979571A (zh) 一种病理图片加载方法和装置
CN110401846B (zh) 基于视联网的数据存取方法、装置、系统、设备及介质
CN110266768B (zh) 一种数据传输方法和系统
CN111193619B (zh) 一种日志文件的采集方法及装置
CN110688532B (zh) 一种事务管理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant