CN111858028A - 一种数据采集处理方法、系统、装置及介质 - Google Patents

一种数据采集处理方法、系统、装置及介质 Download PDF

Info

Publication number
CN111858028A
CN111858028A CN202010543093.8A CN202010543093A CN111858028A CN 111858028 A CN111858028 A CN 111858028A CN 202010543093 A CN202010543093 A CN 202010543093A CN 111858028 A CN111858028 A CN 111858028A
Authority
CN
China
Prior art keywords
memory
data
address
target
numa node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010543093.8A
Other languages
English (en)
Inventor
陈满明
黄永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yitong Century Internet Of Things Research Institute Guangzhou Co ltd
Original Assignee
Yitong Century Internet Of Things Research Institute Guangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yitong Century Internet Of Things Research Institute Guangzhou Co ltd filed Critical Yitong Century Internet Of Things Research Institute Guangzhou Co ltd
Priority to CN202010543093.8A priority Critical patent/CN111858028A/zh
Publication of CN111858028A publication Critical patent/CN111858028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877—Cache access modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种数据采集处理方法、系统、装置及介质，方法包括：确定网络端口所在的numa节点；根据所述numa节点配置目标CPU核；根据所述numa节点创建内存池，并绑定所述网络端口与所述内存池之间的对应关系；从所述内存池中分配内存缓存；根据所述内存缓存，配置DMA控制器的目标内存地址；通过所述DMA控制器将数据传输到所述目标内存地址；通过所述目标CPU核对所述数据进行处理。本发明可以缩短CPU核跨numa节点读取内存缓存的所带来的额外时延，提升了CPU核处理数据的速率，可广泛应用于数据处理技术领域。

Description

一种数据采集处理方法、系统、装置及介质
技术领域
本发明涉及数据处理技术领域，尤其是一种数据采集处理方法、系统、装置及介质。
背景技术
目前，随着越来越多的人使用移动终端接入移动网络，使得运营商网络产生的数据越来越巨量。随着数据流量的增大，对采集处理这些大流量数据的计算机的性能要求也越来越高。在现代的计算机架构中，随着CPU主频达到瓶颈，如何提升大数据采集处理性能成为亟需解决的问题。
发明内容
有鉴于此，本发明实施例提供一种数据采集处理方法、系统、装置及介质，以提升CPU核处理数据的速率。
本发明的第一方面提供了一种数据采集处理方法，包括：
确定网络端口所在的numa节点；
根据所述numa节点配置目标CPU核；
根据所述numa节点创建内存池，并绑定所述网络端口与所述内存池之间的对应关系；
从所述内存池中分配内存缓存；
根据所述内存缓存，配置DMA控制器的目标内存地址；
通过所述DMA控制器将数据传输到所述目标内存地址；
通过所述目标CPU核对所述数据进行处理。
在一些实施例中，所述确定网络端口所在的numa节点，包括：
确定所述网络端口的PCI地址；
根据所述PCI地址，确定所述网络端口所在的numa节点的标识。
在一些实施例中，所述确定所述网络端口的PCI地址，包括：
在DPDK库目录中执行第一脚本，获取接口名称；
根据所述接口名称获取对应的PCI地址。
在一些实施例中，根据所述numa节点配置目标CPU核，包括：
根据所述numa节点，对所述DPDK库的第一接口进行参数配置。
在一些实施例中，通过所述DMA控制器将数据传输到所述目标内存地址，包括：
根据所述目标内存地址，将缓存数据的虚拟地址转换成物理地址；
将所述物理地址作为DMA控制器的目标内存地址；
当网络端口存在待传输数据时，通过DMA控制器，经由PCIe总线将所述待传输数据传输到所述目标内存地址。
在一些实施例中，所述通过所述DMA控制器将数据传输到所述目标内存地址这一步骤之后，还包括：
根据所述虚拟地址和所述物理地址的转换关系，将所述待传输数据映射回应用层。
本发明的第二方面提供了一种数据采集处理系统，包括：
节点查询模块，用于确定网络端口所在的numa节点；
CPU核配置模块，用于根据所述numa节点配置目标CPU核；
内存池创建模块，用于根据所述numa节点创建内存池，并绑定所述网络端口与所述内存池之间的对应关系；
内存缓存分配模块，用于从所述内存池中分配内存缓存；
内存地址配置模块，用于根据所述内存缓存，配置DMA控制器的目标内存地址；
数据传输模块，用于通过所述DMA控制器将数据传输到所述目标内存地址；
数据处理模块，用于通过所述目标CPU核对所述数据进行处理。
本发明的第三方面提供了一种数据采集处理装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器用于根据所述程序执行如本发明第一方面所述的方法。
本发明的第四方面提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行完成如本发明第一方面所述的方法。
本发明确定网络端口所在的numa节点；根据所述numa节点配置目标CPU核；根据所述numa节点创建内存池，并绑定所述网络端口与所述内存池之间的对应关系；从所述内存池中分配内存缓存；根据所述内存缓存，配置DMA控制器的目标内存地址；通过所述DMA控制器将数据传输到所述目标内存地址；通过所述目标CPU核对所述数据进行处理。本发明通过目标CPU核来处理缓存的数据，其中，目标CPU核与缓存数据的内容同处于相同numa点的CPU核，可以缩短CPU核跨numa节点读取内存缓存的所带来的额外时延，提升了CPU核处理数据的速率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的配置过程的流程示意图；
图2为本发明实施例提供的数据采集过程的流程示意图；
图3为本发明实施例提供的多核NUMA架构计算机的结构示意图；
图4为本发明实施例提供的数据缓存路径示意图；
图5为本发明实施例提供的数据处理路径示意图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参见图1，本发明实施例通过配置使用具体的实例来说明。本实施例中操作系统是Centos7.6，DPDK的版本是19.11。
对于配置过程，包括以下步骤：
S1、确定网络端口所在的numa节点；
具体地，本实施例的步骤S1包括步骤S11和S12：
S11、确定所述网络端口的PCI地址；
具体地，本发明实施例在DPDK库目录中，执行脚本“./usertools/dpdk-devbind.py--status”，然后根据接口名称找到对应的PCI地址，本实施例假设PCI地址为“0000:5e:00.0”。
例如在操作系统Centos7.6中，确定PCI地址对应的numa节点id的方法是执行命令“cat/sys/bus/pci/devices/域\:总线号\:设备号.功能号/numa_node”，该执行命令的输出就是numa节点id。
本实施例以PCI地址为：“0000:5e:00.0”(它的域为：0000,总线号：5e,设备号：00,功能号：0)为例，执行的命令则为“cat/sys/bus/pci/devices/0000\:5e\:00.0/numa_node”。
S12、根据所述PCI地址，确定所述网络端口所在的numa节点的标识。
具体地，本实施例执行脚本“cat/sys/bus/pci/devices/0000\:5e\:00.0/numa_node e”，本实施例假设numa的id为0；
确定了网络端口的numa节点后，后续的内存和CPU配置都基于这个numa节点0。
S2、根据所述numa节点配置目标CPU核；
具体地，本实施例配置处理数据的CPU核；通过向DPDK库的接口rte_eal_init的“-l”参数指定在步骤S1中确定的numa节点0上的CPU核作为处理采集数据的CPU核。
S3、根据所述numa节点创建内存池，并绑定所述网络端口与所述内存池之间的对应关系；
具体地，本实施例利用步骤S1中确定的numa节点0，在numa节点0的物理内存申请足够大的内存块。
优选地，本实施例还包括步骤S4：
S4、绑定网络端口与内存池的对应关系；使用步骤S3创建的内存池初始化网络端口，确保后续网络数据缓存在这个内存池的内存中，保证外设NUMA的亲和性，提升网络数据传输性能。
参见图2，本发明实施例还提供了数据采集过程的流程示意图。对于本实施例的数据采集过程，包括步骤S21-S24：
S21、从所述内存池中分配内存缓存；
具体地，本实施例从内存池中分配一个固定长度内存缓存单元给后续DMA缓存数据；由于内存池所在的numa节点是明确的，并且是与网络端口在相同的节点上，所以，这里分配的内存缓存单元也是在该节点上的，确保了网络端口数据传输到本缓存具有更加低的时延。
S22、根据所述内存缓存，配置DMA控制器的目标内存地址；
具体地，本实施例在分配内存缓存后，需要把缓存的虚拟地址转换成物理地址，并赋给DMA控制器的目标内存地址；当网络端口有数据时，DMA通过PCIe总线把数据传输到目标内存地址上。
S23、通过所述DMA控制器将数据传输到所述目标内存地址；
具体地，当DMA把数据传输到内核的目标内存地址后，再利用物理地址和虚拟地址的转换关系，把缓存数据映射回应用层，避免使用内核的copy_user接口复制数据，减少系统性能消耗。
S24、通过所述目标CPU核对所述数据进行处理。
具体地，本实施例在初始化阶段已经指定相应numa节点的CPU核，使得CPU所在节点与缓存数据的节点是一样的。CPU从该内存读取数据相对于不同的numa内存节点具有更低的时延优势；网络端口的数据流量越大，这种时延的优势会更加明显。
综上所述，本发明针对现有技术中使用DPDK库实现网络数据采集处理存在的问题，通过分析多核NUMA架构计算机的NUMA亲和性物理特征，提供一种提升大数据采集核处理性能的方法，它包括CPU亲和性和外部设备亲和性两部分的性能提升方法。
其中，对于CPU亲和性：本发明利用CPU NUMA亲和性特征，通过设置与数据缓存的内存具有相同的numa节点的CPU核处理数据，可以使得CPU读取缓存数据的延迟更低，避免跨numa节点所带来的额外时间延迟。
对于外部设备亲和性：本发明利用外设PCIe设备NUMA的亲和性特征，通过配置缓存网络数据的内存与网络端口所在的PCIe在相同的numa节点，减少网络端口数据跨numa节点传输所带来的额外延迟，提升网络端口数据传输到内存的性能。
接下来，本实施例将介绍如何利用多核NUMA架构计算机的亲和性特征(包括CPU亲和性与外设IO亲和性)，最大化地提升多核NUMA架构计算机在网络数据采集处理应用上的性能。
首先介绍多核NUMA架构计算机的基本构成。如图3所示，多核NUMA架构计算机包括两个或者以上的numa节点，每个numa节点包括一个物理CPU、属于本地内存控制器上的内存和本地的IO资源。除此之外，还包括接在PCIe总线上的网络端口(如图3所示的eth0、eth1)、物理CPU之间的QPI总线(QuickPath Interconnect，它用于两个numa节点之间的数据快速交换)。
多核NUMA架构计算机亲和性介绍：
NUMA亲和性与NUMA的架构密切相关，它包括CPU NUMA亲和性和设备NUMA亲和性。其中，前者的意思是：从CPU角度看，哪些内存访问更快；后者的意思是：从PCIe外设的角度看，如果和CPU和内存相关的IO操作都发生在外设所在的numa节点，将会有更低的IO访问延迟。
在多核NUMA架构计算机中，网络端口数据采集过程中，数据走过的物理路径是：先经过网口端口，然后由DMA(直接内存控制器)通过PCIe总线传输到本地numa节点的内存或者通过QPI总线到跨numa节点的内存，最后被CPU核所处理。整个过程涉及前面提到的两种亲和性，这个是整个方案的关键点所在，下面将分别阐述亲和性的原理以及在该原理下的采集过程。
多核NUMA架构计算机亲和性包括CPU NUMA亲和性以及设备NUMA的亲和性，下面分别介绍。
1)外设NUMA的亲和性：
理解外设NUMA的亲和性，参见图4，它是在多核NUMA架构计算机的网络端口数据缓存路径示意图：
在图4中，网络端口eth0挂在节点numa0的PCIe总线上，从eth0进来的网络数据通过第一曲线401和第二曲线402两条路径到达缓存内存。其中，第一曲线路径表示的是：DMA通过PCIe总线把eth0的网络数据传输到节点numa0上的内存RAM0；第二曲线路径表示的是：DMA通过PCIe总线和QPI总线把eth0的网络数据传输到节点numa1的内存RAM1。从两条路径看出，第一曲线的路径要比第二曲线经过的路径要短，不需要通过QPI总线跨到numa节点的内存，显然，它传输数据需要更短的时间。实际使用是通过配置离网络端口所在PCIe更近距离的numa节点上的内存作为数据缓存(这里是把内存RAM0指派给eth0)，可以提升计算机数据采集的性能。
2)CPU NUMA的亲和性：
理解CPU NUMA亲和性，参见图5，它是在多核NUMA架构计算机中，内存缓存数据被不同CPU核处理的路径。
如图5所示，缓存在内存RAM0的数据通过第三曲线501和第四曲线502两条路径到达处理它的CPU核。其中，第三曲线表示的是：缓存数据的内存RAM0与处理它的CPU核Core0在相同的numa节点，CPU核直接通过内存控制器读取缓存数据；第四曲线表示的是，缓存数据的内存RAM0与处理它的CPU核Core1不在同一个numa节点，它需要通过QPI总线跨numa节点到达Core1。对比两条路径可以看出，需要跨numa节点的第四曲线路径比第三路径要长。在相同条件下，Core0读取RAM0上的缓存数据的时间要比Core1的要短。实际使用是，在缓存数据已经明确在哪个numa节点的情况下，通过配置在相同numa节点上的CPU核来处理它，这样可以提升核心处理数据的性能。
本发明实施例还提供了一种数据采集处理系统，包括：
节点查询模块，用于确定网络端口所在的numa节点；
CPU核配置模块，用于根据所述numa节点配置目标CPU核；
内存池创建模块，用于根据所述numa节点创建内存池，并绑定所述网络端口与所述内存池之间的对应关系；
内存缓存分配模块，用于从所述内存池中分配内存缓存；
内存地址配置模块，用于根据所述内存缓存，配置DMA控制器的目标内存地址；
数据传输模块，用于通过所述DMA控制器将数据传输到所述目标内存地址；
数据处理模块，用于通过所述目标CPU核对所述数据进行处理。
本发明实施例还提供了一种数据采集处理装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器用于根据所述程序执行如本发明所述的方法。
本发明实施例提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行完成如本发明所述的方法。
综上所述，本发明充分利用了多核NUMA架构计算机的外设NUMA亲和特性，提升网络端口大数据采集的性能，利用设备NUMA的亲和性，通过配置缓存数据的内存与网络端口所在PCIe在相同的numa节点的方法，提升网络端口数据通过PCIe总线传输到内存的性能。另外，本发明充分利用了多核NUMA架构计算机的CPU NUMA亲和特性，提升处理大数据的性能；利用CPU NUMA的亲和性，通过指定与缓存数据的内存在相同的numa点上的CPU核来处理数据，可以缩短CPU核跨numa节点读取内存缓存的所带来的额外时延，提升CPU核处理数据的速率。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种数据采集处理方法，其特征在于，包括：
确定网络端口所在的numa节点；
根据所述numa节点配置目标CPU核；
根据所述numa节点创建内存池，并绑定所述网络端口与所述内存池之间的对应关系；
从所述内存池中分配内存缓存；
根据所述内存缓存，配置DMA控制器的目标内存地址；
通过所述DMA控制器将数据传输到所述目标内存地址；
通过所述目标CPU核对所述数据进行处理。
2.根据权利要求1所述的一种数据采集处理方法，其特征在于，所述确定网络端口所在的numa节点，包括：
确定所述网络端口的PCI地址；
根据所述PCI地址，确定所述网络端口所在的numa节点的标识。
3.根据权利要求2所述的一种数据采集处理方法，其特征在于，所述确定所述网络端口的PCI地址，包括：
在DPDK库目录中执行第一脚本，获取接口名称；
根据所述接口名称获取对应的PCI地址。
4.根据权利要求3所述的一种数据采集处理方法，其特征在于，所述根据所述numa节点配置目标CPU核，包括：
根据所述numa节点，对所述DPDK库的第一接口进行参数配置，确定目标CPU核。
5.根据权利要求1所述的一种数据采集处理方法，其特征在于，所述通过所述DMA控制器将数据传输到所述目标内存地址，包括：
根据所述目标内存地址，将缓存数据的虚拟地址转换成物理地址；
将所述物理地址作为DMA控制器的目标内存地址；
当网络端口存在待传输数据时，通过DMA控制器，经由PCIe总线将所述待传输数据传输到所述目标内存地址。
6.根据权利要求5所述的一种数据采集处理方法，其特征在于，所述通过所述DMA控制器将数据传输到所述目标内存地址这一步骤之后，还包括：
根据所述虚拟地址和所述物理地址的转换关系，将所述待传输数据映射回应用层。
7.一种数据采集处理系统，其特征在于，包括：
节点查询模块，用于确定网络端口所在的numa节点；
CPU核配置模块，用于根据所述numa节点配置目标CPU核；
内存池创建模块，用于根据所述numa节点创建内存池，并绑定所述网络端口与所述内存池之间的对应关系；
内存缓存分配模块，用于从所述内存池中分配内存缓存；
内存地址配置模块，用于根据所述内存缓存，配置DMA控制器的目标内存地址；
数据传输模块，用于通过所述DMA控制器将数据传输到所述目标内存地址；
数据处理模块，用于通过所述目标CPU核对所述数据进行处理。
8.一种数据采集处理装置，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器用于根据所述程序执行如权利要求1-6中任一项所述的方法。
9.一种存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行完成如权利要求1-6中任一项所述的方法。
CN202010543093.8A 2020-06-15 2020-06-15 一种数据采集处理方法、系统、装置及介质 Pending CN111858028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010543093.8A CN111858028A (zh) 2020-06-15 2020-06-15 一种数据采集处理方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010543093.8A CN111858028A (zh) 2020-06-15 2020-06-15 一种数据采集处理方法、系统、装置及介质

Publications (1)

Publication Number Publication Date
CN111858028A true CN111858028A (zh) 2020-10-30

Family

ID=72986608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010543093.8A Pending CN111858028A (zh) 2020-06-15 2020-06-15 一种数据采集处理方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN111858028A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306775A (zh) * 2020-11-19 2021-02-02 山东云海国创云计算装备产业创新中心有限公司 双路cpu间通信链路的测试方法、装置、设备及介质
CN113253651A (zh) * 2021-05-20 2021-08-13 广州大学 一种用于电化学信号采集的动态过采样方法及电路

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306775A (zh) * 2020-11-19 2021-02-02 山东云海国创云计算装备产业创新中心有限公司 双路cpu间通信链路的测试方法、装置、设备及介质
CN112306775B (zh) * 2020-11-19 2023-03-14 山东云海国创云计算装备产业创新中心有限公司 双路cpu间通信链路的测试方法、装置、设备及介质
CN113253651A (zh) * 2021-05-20 2021-08-13 广州大学 一种用于电化学信号采集的动态过采样方法及电路

Similar Documents

Publication Publication Date Title
CN110647480B (zh) 数据处理方法、远程直接访存网卡和设备
US11966612B2 (en) Solid-state disk (SSD) data migration
CN112214166B (zh) 用于传输数据处理请求的方法和装置
DE112016004303T5 (de) Hardware-Vorhersageelement mit geringem Verwaltungsaufwand zur Verringerung der Leistungsumkehr für Kern-zu-Kern-Datenübertragungsoptimierungsbefehle
US11947472B2 (en) Composable infrastructure enabled by heterogeneous architecture, delivered by CXL based cached switch SoC
CN112632069B (zh) 哈希表数据存储管理方法、装置、介质和电子设备
CN111858028A (zh) 一种数据采集处理方法、系统、装置及介质
CN115374046B (zh) 一种多处理器数据交互方法、装置、设备及存储介质
CN111625181A (zh) 数据处理方法、独立硬盘冗余阵列控制器和数据存储系统
KR102326280B1 (ko) 데이터 처리 방법, 장치, 기기 및 매체
JP7419261B2 (ja) ストリーミングデータ転送のためのフロー圧縮を用いたデータ処理ネットワーク
US7904676B2 (en) Method and system for achieving varying manners of memory access
US9891929B2 (en) System and method for redirecting input/output (I/O) sequences
CN112015352B (zh) 存储块设备识别装置、系统和存储块设备读写方法
US11221770B2 (en) Providing a dynamic random-access memory cache as second type memory
US11960419B2 (en) Systems and methods for data prefetching for low latency data read from a remote server
CN112748854B (zh) 对快速存储设备的优化访问
US20210011716A1 (en) Processing circuit, information processing apparatus, and information processing method
CN113485643A (zh) 用于数据存取的方法及数据写入的控制器
US11003578B2 (en) Method and system for parallel mark processing
JP4431492B2 (ja) 複数のコヒーレンシー・グラニュールをサポートするデータ転送ユニット
US20230050808A1 (en) Systems, methods, and apparatus for memory access in storage devices
CN114253877B (zh) Liunx系统下的高速外围组件互联PCIE设备扫描方法及装置
CN113094328B (zh) 一种用于合成孔径雷达实时成像的多通道并行计算系统
CN117992379A (zh) 一种主机与设备的跨域访问方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510630 room 1101, building 1, No.16 Keyun Road, Tianhe District, Guangzhou City, Guangdong Province (office use only)

Applicant after: Guangdong Yitong Lianyun Intelligent Information Co.,Ltd.

Address before: 510630 building 1101, No.16 Keyun Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant before: YITONG CENTURY INTERNET OF THINGS RESEARCH INSTITUTE (GUANGZHOU) Co.,Ltd.