CN109828842A - 一种基于dpdk技术开发的高性能数据采集引擎方法 - Google Patents
一种基于dpdk技术开发的高性能数据采集引擎方法 Download PDFInfo
- Publication number
- CN109828842A CN109828842A CN201910083172.2A CN201910083172A CN109828842A CN 109828842 A CN109828842 A CN 109828842A CN 201910083172 A CN201910083172 A CN 201910083172A CN 109828842 A CN109828842 A CN 109828842A
- Authority
- CN
- China
- Prior art keywords
- dpdk
- data
- performance
- data acquisition
- technological development
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000011161 development Methods 0.000 title claims abstract description 42
- 238000013461 design Methods 0.000 claims abstract description 20
- BBEAQIROQSPTKN-UHFFFAOYSA-N pyrene Chemical compound C1=CC=C2C=CC3=CC=CC4=CC=C1C2=C43 BBEAQIROQSPTKN-UHFFFAOYSA-N 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 7
- GVEPBJHOBDJJJI-UHFFFAOYSA-N fluoranthrene Natural products C1=CC(C2=CC=CC=C22)=C3C2=CC=CC3=C1 GVEPBJHOBDJJJI-UHFFFAOYSA-N 0.000 claims abstract description 6
- 238000005516 engineering process Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 24
- 238000007726 management method Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000012827 research and development Methods 0.000 claims description 13
- 238000013508 migration Methods 0.000 claims description 10
- 230000005012 migration Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000013481 data capture Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000003139 buffering effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 238000013517 stratification Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 5
- 241000596871 Ixia Species 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000013480 data collection Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于DPDK技术开发的高性能数据采集引擎方法，通过DPDK‑based DCE的线程模型设计、DPDK‑based DCE的CPU核分配及绑定设计、DPDK‑based DCE架构的数据流转发及核分布设计、DPDK‑based DCE架构的进线程模型设计、DPDK‑based DCE架构的进线程事件处理流程表大的技术方案支撑了数据高性能采集的实现，基础系统运行时就实现了较少的上下文切换、更少的数据复制、并提高了性能，实现对Linux应用程序进行很少的更改或者无需修改，通过IXIA IxChariot仪表测试，得到数据表明以DPDK为基础的数据包动态转发技术解决了传统x86 CPU核性能无法充分利用的问题，实现了分核、绑核等复合利用CPU计算资源的目的，达到了在Linux环境下，用多核CPU可线速转发数据包的目的。
Description
技术领域
本发明涉及大数据领域，具体是一种基于DPDK技术开发的高性能数据采集引擎方法。
背景技术
现在大数据已经成为一个热门的行业，无论是大数据存储还是数据信息挖掘，都是非常具有价值的。高性能数据采集引擎DPDK-based DCETM(Data Collection Enginebase on Data Plane Development Kit)技术是基于Linux+DPDK开发的高性能业务支撑平台并通过DCE技术实现数据包高效采集的一个科学方案。
DPDK-based DCE技术架构中的一个研发关键点是将高速数据捕获和交付能力模块运行环境相关的数据移植到用户空间，形成精简运行时环境，通过截取系统调用的方式使得管理程序能够使用Linux内核之外的环境，而管理程序和Linux内核均不会意识到这一点。这样就实现了较少的上下文切换、更少的数据复制、并提高了性能，而只需对Linux管理程序进行很少的更改或者无需修改。
通过IXIA IxChariot仪表测试，得到数据表明基于DPDK-based DCE技术架构的数据采集性能是传统Linux libpcap数据采集性能的12.7倍；平均性能也都在10倍以上。从而以DPDK为基础的数据包高效采集技术解决了传统x86 CPU核性能无法充分利用的问题，实现了分核、绑核等复合利用CPU计算资源的目的，达到了在Linux环境下，用多核CPU可线速采集数据包的目的。
发明内容
本发明的目的在于提供一种基于DPDK技术开发的高性能数据采集引擎方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于DPDK技术开发的高性能数据采集引擎方法，其方法实施步骤如下：
(1)基于DPDK技术开发的高性能数据采集引擎平台；
(2)基于Soft-ASIC的多桥性能倍增技术；
(3)数据工具集研发：包括数据采集工具集研发和数据存储工具集研发。
作为本发明进一步的方案：所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台是基于Linux+DPDK开发的高性能业务支撑平台并通过DCE技术实现数据包高效采集实现，DPDK-based DCE引擎实现了基于Linux系统的高速IP数据包捕获的基础架构，高性能数据采集、分析和处理系统基于Linux和DPDK-based DCE架构建立，在该架构基础上通过开发专用的用户态内存管理、缓存管理、定时器、读写锁、线程锁、核间通讯等构成专用的网络加速平台，实现最佳性能。
作为本发明进一步的方案：所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台包括用户态业务精简运行时环境的实现，主要是精简运行时环境和业务应用加速两大模块，精简运行时环境主要实现了业务应用运行时所需的进程管理、内存管理、进程间通讯等内核需要做的工作，重新构建了业务应用运行时使用的内存、虚拟页、缓冲、调度、中断、信号、定时器、锁机制等。
作为本发明进一步的方案：所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台基于业务需要的CPU核分配机制的实现，通用的SMP核分配方法是让所有内核都运行同一个操作系统的拷贝。由于操作系统每时每刻都监控着系统的运行状态，因此可以在多核之间分配资源，而无需应用开发人员的干预，高性能数据采集引擎平台充分利用DPDK-based DCETM调度器的CPU亲和性(affinity)特点。将系统进行层次化、模块化设计，细分模块实现并将特定业务实现均分到各个CPU核心上，从而实现CPU资源的最大化利用。
作为本发明进一步的方案：所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台对于分平面设计好数据流的转发和CPU核间通信的高性能保证需要一个核性能分配架构设计。
作为本发明进一步的方案：所述步骤(1)中的于DPDK技术开发的高性能数据采集引擎平台需将高速数据捕获和业务功能模块运行环境相关的应用移植到用户空间，形成精简运行时环境，通过截取系统调用的方式使得应用程序能够使用Linux内核之外的环境，需要一个进线程模型设计方案，并能充分考虑到框架内各事件执行的集中管理能力。
作为本发明进一步的方案：所述进线程模设计方案对于进程都需处理管理和控制消息，可采用统一的事件处理机制，对于这种异步消息的处理，可使用Reactor模式，Reactor是一种事件驱动机制，Reactor逆置了事件处理流程，应用程序需要提供相应的接口并注册到Reactor上，如果相应的事件发生(消息到达)，Reactor将主动调用应用程序注册的接口(回调函数)。
作为本发明进一步的方案：所述步骤(2)中的基于Soft-ASIC的多桥性能倍增技术在展开多桥结构下，利用分核技术配合“Soft-ASIC”特有方案，完成多桥接入数据流量并发时，单桥对数据流量的分析能力不下降的等技术的研究，实现的多桥性能倍增目标。
作为本发明进一步的方案：所述步骤(3)中的数据采集工具集研发是基于X86Linux+DPDK高性能数据处理平台技术，配合“Soft-ASIC”方案，开发高速数据采集和数据转储系统，并形成数据采集工具，能够自动适应大数据流，以线速进行数据分类和转储，包括“数据应用类型的分类采集、数据源的分类采集、数据包分类采集”共三个工具，可应用在大数据试验环境的大数据采集与转储试验中，这项工具的应用，将大大提升大数据试验环境对数据的分类迁移能力，节约硬件投入，减少投资。
作为本发明再进一步的方案：所述步骤(3)中的数据存储工具集研发是基于存储性能预测、优化文件分块存储方案和数据信息迁移等技术的数据高效存储、管理的工具集，能够存储器的性能预测，选择最佳的存储系统，并将数据文件以最佳分布方式存储，并保证在数据迁移时数据文件的完整性，包括“存储性能预测、分片存储、分类存储”共两个工具，在大数据试验环境的应用，将有效帮助试验环境实现大数据的高效率分布式存储方案，工具集的支撑技术VSD迁移及存储地址空间转换等特性将有利于试验环境在完成大数据存储、处理、检索等任务时更快的实现大数据的可视化效果。
与现有技术相比，本发明的有益效果是：通过DPDK-based DCE的线程模型设计、DPDK-based DCE的CPU核分配及绑定设计、DPDK-based DCE架构的数据流转发及核分布设计、DPDK-based DCE架构的进线程模型设计、DPDK-based DCE架构的进线程事件处理流程表的技术方案支撑了大数据高性能采集的实现，基础系统运行时就实现了较少的上下文切换、更少的数据复制、并提高了性能，实现对Linux应用程序进行很少的更改或者无需修改，通过IXIA IxChariot仪表测试，得到数据表明基于DPDK-based DCE技术架构的数据采集性能是传统Linux libpcap数据采集性能的12.7倍；平均性能也都在10倍以上。从而以DPDK为基础的数据包动态转发技术解决了传统x86 CPU核性能无法充分利用的问题，实现了分核、绑核等复合利用CPU计算资源的目的，达到了在Linux环境下，用多核CPU可线速转发数据包的目的。
附图说明
图1为基于DPDK技术开发的高性能数据采集引擎方法的DPDK-based DCE模型示意框图。
图2为基于DPDK技术开发的高性能数据采集引擎方法的DPDK-based DCE的线程模型设计示意框图。
图3为基于DPDK技术开发的高性能数据采集引擎方法的DPDK-based DCE的CPU核分配及绑定设计示意框图。
图4为基于DPDK技术开发的高性能数据采集引擎方法的DPDK-based DCE架构的数据流转发及核分布设计示意框图。
图5为基于DPDK技术开发的高性能数据采集引擎方法的DPDK-based DCE架构的进线程模型设计示意框图。
图6为基于DPDK技术开发的高性能数据采集引擎方法的DPDK-based DCE架构的进线程事件处理流程表示意框图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中，一种基于DPDK技术开发的高性能数据采集引擎方法，其具体管理步骤如下：
(1)基于DPDK技术开发的高性能数据采集引擎平台，所述基于DPDK技术开发的高性能数据采集引擎平台是基于Linux+DPDK开发的高性能业务支撑平台并通过DCE技术实现数据包高效采集实现，DPDK-based DCE引擎实现了基于Linux系统的高速IP数据包捕获的基础架构，高性能数据采集、分析和处理系统基于Linux和DPDK-based DCE架构建立，在该架构基础上通过开发专用的用户态内存管理、缓存管理、定时器、读写锁、线程锁、核间通讯等构成专用的网络加速平台，实现最佳性能，Linux应用程序的加速有着非常严格的限制条件，多数应用程序针对Linux环境的运行而编译，使用了常规的Linux机制进行引导、系统调用、并与Linux内核交互来发送和接收数据。将这些与高速数据捕获和业务功能模块运行环境相关的应用移植到用户空间，形成精简运行时环境，通过截取系统调用的方式使得应用程序能够使用Linux内核之外的环境，而应用程序和Linux内核均不会意识到这一点。例如，进行套接字读取时，本地转发平面会将到达的网络数据直接放置到应用程序套接字缓冲区中，而在进行套接字写入时，本地转发平面会将应用程序缓冲区中的内容包格式化后发送到网络中，这些都无需Linux内核的介入，这样就实现了较少的上下文切换、更少的数据复制、并提高了性能，而只需对Linux应用程序进行很少的更改或者无需修改。
基于DPDK技术开发的高性能数据采集引擎平台包括用户态业务精简运行时环境的实现，主要是精简运行时环境和业务应用加速两大模块，精简运行时环境主要实现了业务应用运行时所需的进程管理、内存管理、进程间通讯等内核需要做的工作，重新构建了业务应用运行时使用的内存、虚拟页、缓冲、调度、中断、信号、定时器、锁机制等，用户态业务精简运行时环境需要实现进程与网络接口间传递数据，因此需要在用户态实现mbuff的创建和销毁；用户态业务精简运行时环境在实现业务功能时，定时器是必须的。本项目中使用软定时器。它以硬件定时器为基础，利用硬件定时器的中断来实现。该定时器具有资源多、定时时间长、使用灵活实现方便的特点，适用于本项目中的复杂应用场景；本系统中实现高速率数据分发时采用了pf-ring模式，实现对数据捕获和转发的无锁操作。
基于DPDK技术开发的高性能数据采集引擎平台基于业务需要的CPU核分配机制的实现，通用的SMP核分配方法是让所有内核都运行同一个操作系统的拷贝。由于操作系统每时每刻都监控着系统的运行状态，因此可以在多核之间分配资源，而无需应用开发人员的干预，高性能数据采集引擎平台充分利用DPDK-based DCETM调度器的CPU亲和性(affinity)特点。将系统进行层次化、模块化设计，细分模块实现并将特定业务实现均分到各个CPU核心上，从而实现CPU资源的最大化利用。
基于DPDK技术开发的高性能数据采集引擎平台对于分平面设计好数据流的转发和CPU核间通信的高性能保证需要一个核性能分配架构设计，关于数据流转发及核间通信的性能考虑：采用接口流量src+dst哈希到各个业务core，以避免在流处理时因资源竞争而消耗较多的性能；在转发core到work core分流时，采用按src哈希，以避免在做源QoS时，因资源竞争而消耗较多的性能；在NUMA架构下，本板的接口的数据流量尽量分发给同一Node上的CPU处理，避免不必要的跨CPU访问；业务处理报文尽量避免不必要的core间转发；同一core下的统计信息单独存储，在必要的时候选举某一core进行业务汇总分析，以避免不必要的资源竞争而消耗性能；核间通信接口采用共享内存封装；采用RCU锁减少资源竞争开销。
基于DPDK技术开发的高性能数据采集引擎平台需将高速数据捕获和业务功能模块运行环境相关的应用移植到用户空间，形成精简运行时环境，通过截取系统调用的方式使得应用程序能够使用Linux内核之外的环境，需要一个进线程模型设计方案，并能充分考虑到框架内各事件执行的集中管理能力，统一由管理进程来创建和管理其它工作进程，管理进程负责将各进程的对外通信接口通告给各个进程，各进程接收到其它进程的通道接口时，将其保存到自己的“通信录”里。如果进程间需要传递数据，则在“通信录”中获取目的进程的对应通道发送即可；各进程的启动参数、VCPU分配和绑定关系、内存使用、业务规格等等配置均可配，提供一个统一的配置文件，各进程在启动或是运行过程中均可从该配置文件中获取各自所需的配置信息；实现通用的消息处理机制，为各进程提供统一的管理和控制消息的处理框架。结合epoll模型实现了主动器模式的异步消息处理框架，在管理和控制消息流间接和突发性流量情景下，能大大减少CPU的是无效占用，在核共用的场景下比较理想。同时该框架提供了消息的处理注册机制，能很方面地添加对新消息的处理；转发和业务处理分离，由于业务的复杂性，出现问题的概率较高，分离能确保业务出现问题仍能正常转发，确保通信不中断；实现心跳机制，能在秒级重启出现故障的进程，恢复业务的处理，进一步确保可靠性。
所述进线程模设计方案对于进程都需处理管理和控制消息，可采用统一的事件处理机制，对于这种异步消息的处理，可使用Reactor模式，Reactor是一种事件驱动机制，Reactor逆置了事件处理流程，应用程序需要提供相应的接口并注册到Reactor上，如果相应的事件发生(消息到达)，Reactor将主动调用应用程序注册的接口(回调函数)。
(2)基于Soft-ASIC的多桥性能倍增技术，基于Soft-ASIC的多桥性能倍增技术在展开多桥结构下，利用分核技术配合“Soft-ASIC”特有方案，完成多桥接入数据流量并发时，单桥对数据流量的分析能力不下降的等技术的研究，实现的多桥性能倍增目标。
(3)数据工具集研发：包括数据采集工具集研发和数据存储工具集研发，所述数据采集工具集研发是基于X86Linux+DPDK高性能数据处理平台技术，配合“Soft-ASIC”方案，开发高速数据采集和数据转储系统，并形成数据采集工具，能够自动适应大数据流，以线速进行数据分类和转储，包括“数据应用类型的分类采集、数据源的分类采集、数据包分类采集”共三个工具，可应用在大数据试验环境的大数据采集与转储试验中，这项工具的应用，将大大提升大数据试验环境对数据的分类迁移能力，节约硬件投入，减少投资；所述数据存储工具集研发是基于存储性能预测、优化文件分块存储方案和数据信息迁移等技术的数据高效存储、管理的工具集，能够存储器的性能预测，选择最佳的存储系统，并将数据文件以最佳分布方式存储，并保证在数据迁移时数据文件的完整性，包括“存储性能预测、分片存储、分类存储”共两个工具，在大数据试验环境的应用，将有效帮助试验环境实现大数据的高效率分布式存储方案，工具集的支撑技术VSD迁移及存储地址空间转换等特性将有利于试验环境在完成大数据存储、处理、检索等任务时更快的实现大数据的可视化效果。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，其实施步骤如下：
(1)基于DPDK技术开发的高性能数据采集引擎平台；
(2)基于Soft-ASIC的多桥性能倍增技术；
(3)数据工具集研发：包括数据采集工具集研发和数据存储工具集研发。
2.根据权利要求1所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台是基于Linux+DPDK开发的高性能业务支撑平台并通过DCE技术实现数据包高效采集实现，DPDK-based DCE引擎实现了基于Linux系统的高速IP数据包捕获的基础架构，高性能数据采集、分析和处理系统基于Linux和DPDK-based DCE架构建立，在该架构基础上通过开发专用的用户态内存管理、缓存管理、定时器、读写锁、线程锁、核间通讯等构成专用的网络加速平台，实现最佳性能。
3.根据权利要求1所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台包括用户态业务精简运行时环境的实现，主要是精简运行时环境和业务应用加速两大模块，精简运行时环境主要实现了业务应用运行时所需的进程管理、内存管理、进程间通讯等内核需要做的工作，重新构建了业务应用运行时使用的内存、虚拟页、缓冲、调度、中断、信号、定时器、锁机制等。
4.根据权利要求1所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台基于业务需要的CPU核分配机制的实现，通用的SMP核分配方法是让所有内核都运行同一个操作系统的拷贝。由于操作系统每时每刻都监控着系统的运行状态，因此可以在多核之间分配资源，而无需应用开发人员的干预，高性能数据采集引擎平台充分利用DPDK-based DCETM调度器的CPU亲和性(affinity)特点。将系统进行层次化、模块化设计，细分模块实现并将特定业务实现均分到各个CPU核心上，从而实现CPU资源的最大化利用。
5.根据权利要求4所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台对于分平面设计好数据流的转发和CPU核间通信的高性能保证需要一个核性能分配架构设计。
6.根据权利要求4所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(1)中的于DPDK技术开发的高性能数据采集引擎平台需将高速数据捕获和业务功能模块运行环境相关的应用移植到用户空间，形成精简运行时环境，通过截取系统调用的方式使得应用程序能够使用Linux内核之外的环境，需要一个进线程模型设计方案，并能充分考虑到框架内各事件执行的集中管理能力。
7.根据权利要求6所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述进线程模设计方案对于进程都需处理管理和控制消息，可采用统一的事件处理机制，对于这种异步消息的处理，可使用Reactor模式，Reactor是一种事件驱动机制，Reactor逆置了事件处理流程，应用程序需要提供相应的接口并注册到Reactor上，如果相应的事件发生(消息到达)，Reactor将主动调用应用程序注册的接口(回调函数)。
8.根据权利要求6所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(2)中的基于Soft-ASIC的多桥性能倍增技术在展开多桥结构下，利用分核技术配合“Soft-ASIC”特有方案，完成多桥接入数据流量并发时，单桥对数据流量的分析能力不下降的等技术的研究，实现的多桥性能倍增目标。
9.根据权利要求6所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(3)中的数据采集工具集研发是基于X86Linux+DPDK高性能数据处理平台技术，配合“Soft-ASIC”方案，开发高速数据采集和数据转储系统，并形成数据采集工具，能够自动适应大数据流，以线速进行数据分类和转储，包括“数据应用类型的分类采集、数据源的分类采集、数据包分类采集”共三个工具，可应用在大数据试验环境的大数据采集与转储试验中，这项工具的应用，将大大提升大数据试验环境对数据的分类迁移能力，节约硬件投入，减少投资。
10.根据权利要求6所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(3)中的数据存储工具集研发是基于存储性能预测、优化文件分块存储方案和数据信息迁移等技术的数据高效存储、管理的工具集，能够存储器的性能预测，选择最佳的存储系统，并将数据文件以最佳分布方式存储，并保证在数据迁移时数据文件的完整性，包括“存储性能预测、分片存储、分类存储”共两个工具，在大数据试验环境的应用，将有效帮助试验环境实现大数据的高效率分布式存储方案，工具集的支撑技术VSD迁移及存储地址空间转换等特性将有利于试验环境在完成大数据存储、处理、检索等任务时更快的实现大数据的可视化效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910083172.2A CN109828842A (zh) | 2019-01-29 | 2019-01-29 | 一种基于dpdk技术开发的高性能数据采集引擎方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910083172.2A CN109828842A (zh) | 2019-01-29 | 2019-01-29 | 一种基于dpdk技术开发的高性能数据采集引擎方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109828842A true CN109828842A (zh) | 2019-05-31 |
Family
ID=66862689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910083172.2A Withdrawn CN109828842A (zh) | 2019-01-29 | 2019-01-29 | 一种基于dpdk技术开发的高性能数据采集引擎方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109828842A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111090268A (zh) * | 2020-03-24 | 2020-05-01 | 上海飞旗网络技术股份有限公司 | 基于线程划分的数据采集方法、装置及数据采集设备 |
| CN113672410A (zh) * | 2021-08-25 | 2021-11-19 | 北京天融信网络安全技术有限公司 | 一种数据处理方法及电子装置 |
| CN117667357A (zh) * | 2023-12-14 | 2024-03-08 | 江苏新质信息科技有限公司 | 一种多核并发轮询调度方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103036582A (zh) * | 2012-12-03 | 2013-04-10 | 高攀峰 | 一种通用型数字中频接收机 |
| US20180278539A1 (en) * | 2015-12-29 | 2018-09-27 | Amazon Technologies, Inc. | Relaxed reliable datagram |
| CN108628684A (zh) * | 2017-03-20 | 2018-10-09 | 华为技术有限公司 | 一种基于dpdk的报文处理方法及计算机设备 |
-
2019
- 2019-01-29 CN CN201910083172.2A patent/CN109828842A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103036582A (zh) * | 2012-12-03 | 2013-04-10 | 高攀峰 | 一种通用型数字中频接收机 |
| US20180278539A1 (en) * | 2015-12-29 | 2018-09-27 | Amazon Technologies, Inc. | Relaxed reliable datagram |
| CN108628684A (zh) * | 2017-03-20 | 2018-10-09 | 华为技术有限公司 | 一种基于dpdk的报文处理方法及计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 李伟成: "基于DPDK的报文采集系统的研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111090268A (zh) * | 2020-03-24 | 2020-05-01 | 上海飞旗网络技术股份有限公司 | 基于线程划分的数据采集方法、装置及数据采集设备 |
| CN111090268B (zh) * | 2020-03-24 | 2020-06-12 | 上海飞旗网络技术股份有限公司 | 基于线程划分的数据采集方法、装置及数据采集设备 |
| CN113672410A (zh) * | 2021-08-25 | 2021-11-19 | 北京天融信网络安全技术有限公司 | 一种数据处理方法及电子装置 |
| CN113672410B (zh) * | 2021-08-25 | 2023-08-25 | 北京天融信网络安全技术有限公司 | 一种数据处理方法及电子装置 |
| CN117667357A (zh) * | 2023-12-14 | 2024-03-08 | 江苏新质信息科技有限公司 | 一种多核并发轮询调度方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101436966B (zh) | 虚拟机环境下的网络监控与分析系统 | |
| CN101969391B (zh) | 一种支持融合网络业务的云平台及其工作方法 | |
| CN101944114B (zh) | 内存数据库和物理数据库间的数据同步方法 | |
| CN109445944A (zh) | 一种基于dpdk的网络数据采集处理系统及其方法 | |
| CN109828842A (zh) | 一种基于dpdk技术开发的高性能数据采集引擎方法 | |
| JP2015537307A (ja) | コンポーネント指向ハイブリッドクラウドオペレーティングシステムのアーキテクチャ及びその通信方法 | |
| US20060026169A1 (en) | Communication method with reduced response time in a distributed data processing system | |
| CN107046510B (zh) | 一种适用于分布式计算系统的节点及其组成的系统 | |
| WO2014110702A1 (zh) | 协同并发式消息总线、主动构件组装模型及构件拆分方法 | |
| Liu et al. | Optimizing shuffle in wide-area data analytics | |
| CN110768829A (zh) | 一种基于dpdk实现流量分析业务性能线性增长的方法 | |
| Simoncelli et al. | Stream-monitoring with blockmon: convergence of network measurements and data analytics platforms | |
| CN102193831B (zh) | 一种建立层次化的映射/归约并行编程模型的方法 | |
| Wan | Cloud Computing infrastructure for latency sensitive applications | |
| CN111404818A (zh) | 一种面向通用多核网络处理器的路由协议优化方法 | |
| WO2024088026A1 (zh) | 一种云数据迁移的优化方法及系统 | |
| CN109829094A (zh) | 分布式爬虫系统 | |
| US11916998B2 (en) | Multi-cloud edge system | |
| CN102902593A (zh) | 基于缓存机制的协议分发处理系统 | |
| Li et al. | Improving spark performance with zero-copy buffer management and RDMA | |
| US11630834B2 (en) | Label-based data representation I/O process and system | |
| Dhumal et al. | C-Balancer: A system for container profiling and scheduling | |
| CN113923212B (zh) | 一种网络数据包处理方法和装置 | |
| Lin et al. | A workload-driven approach to dynamic data balancing in MongoDB | |
| CN106997304B (zh) | 输入输出事件的处理方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190531 |