CN114201421B - 一种数据流处理方法、存储控制节点及可读存储介质 - Google Patents
一种数据流处理方法、存储控制节点及可读存储介质 Download PDFInfo
- Publication number
- CN114201421B CN114201421B CN202210144052.0A CN202210144052A CN114201421B CN 114201421 B CN114201421 B CN 114201421B CN 202210144052 A CN202210144052 A CN 202210144052A CN 114201421 B CN114201421 B CN 114201421B
- Authority
- CN
- China
- Prior art keywords
- data
- dpu
- memory
- processing
- data message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 86
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 91
- 230000015654 memory Effects 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 6
- 238000013144 data compression Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000005111 flow chemistry technique Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 101100217298 Mus musculus Aspm gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/1668—Details of memory controller
- G06F13/1684—Details of memory controller using multiple buses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
Abstract
本申请公开了一种数据流处理方法、存储控制节点及可读存储介质,存储控制节点中包括第一DPU和第二DPU,方法包括:第一DPU接收I/O请求,对I/O请求进行协议卸载,得到数据报文,并将数据报文存储在存储器中;第二DPU从存储器中获取数据报文,并对获取到的数据报文进行数据处理。本申请公开的上述技术方案,在存储控制节点中部署第一DPU和第二DPU,由第一DPU进行I/O请求接收、协议卸载和数据报文的存储,由第二DPU获取存储的数据报文,并对数据报文进行数据处理,即通过第一DPU和第二DPU来专门进行数据流的处理,从而提高数据流的处理效率,并提高数据流的处理性能。
Description
技术领域
本申请涉及数据流处理技术领域,更具体地说,涉及一种数据流处理方法、存储控制节点及可读存储介质。
背景技术
当前市场需求驱动全球存储数据量以ZB级激增,单个存储硬盘性能、存储内部CPU(Central Processing Unit)对内存访问带宽和存储所用的网络接口带宽也显著提升,客户对于存储系统I/O性能也提出了更高的需求。
当前主流的存储系统框架是以CPU计算为中心的架构,适用于传统的存储设备使用场景,以CPU为中心,通过高速总线将前端接口卡、GPU(Graphics Processing Unit,图形处理器)、内存、FPGA(Field Programmable Gate Array,现场可编程逻辑门阵列)、HDD(Hard Disk Drive,硬盘驱动器)、SSD(Solid State Disk,固态硬盘)等计算、存储及通信设备挂载在CPU下,所有的计算、控制都由CPU发起。但是,随着后摩尔时代的来临,CPU单核计算能力滞涨,因此,以CPU为中心的框架无法更好且更快地进行I/O数据流的处理,成为存储系统性能提升的瓶颈。
综上所述,如何提高数据流的处理效率和处理性能,是目前本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本申请的目的是提供一种数据流处理方法、存储控制节点及可读存储介质,用于提高数据流的处理效率和处理性能。
为了实现上述目的,本申请提供如下技术方案:
一种数据流处理方法,存储控制节点中包括第一DPU和第二DPU,所述数据流处理方法包括:
所述第一DPU接收I/O请求,对所述I/O请求进行协议卸载,得到数据报文,并将所述数据报文存储在存储器中;
所述第二DPU从所述存储器中获取数据报文,并对获取到的数据报文进行数据处理。
优选的,所述第一DPU将所述数据报文存储在存储器中,包括:
所述第一DPU确定所述数据报文中包含的数据的类型,根据所述数据报文中包含的数据的类型将所述数据报文存储在相应的存储器中。
优选的,所述第一DPU确定所述数据报文中包含的数据的类型,包括:
所述第一DPU对所述数据报文进行数据指纹计算,得到所述数据报文的数据指纹;
根据所述数据指纹确定所述数据报文中包含的数据的类型。
优选的,所述第一DPU将所述数据报文存储在存储器中,包括:
所述第一DPU通过高速互联总线将所述数据报文存储在存储器中。
优选的,所述第二DPU从所述存储器中获取数据报文,对获取到的数据报文进行数据处理,包括:
所述第二DPU通过所述高速互联总线从所述存储器中获取数据报文,并对获取到的数据报文进行纠删处理、加密处理、压缩处理、去重处理、数据一致性保护处理。
优选的,还包括:
所述存储控制节点中的CPU进行数据转发控制和存储管理。
一种存储控制节点,包括第一DPU和第二DPU,其中:
所述第一DPU,用于接收I/O请求,对所述I/O请求进行协议卸载,得到数据报文,并将所述数据报文存储在存储器中;
所述第二DPU,用于从所述存储器中获取数据报文,并对获取到的数据报文进行数据处理。
优选的,所述第一DPU,具体用于确定所述数据报文中包含的数据的类型,根据所述数据报文中包含的数据的类型将所述数据报文存储在相应的存储器中。
优选的,还包括CPU:
所述CPU,用于进行数据转发控制和存储管理。
一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的数据流处理方法的步骤。
本申请提供了一种数据流处理方法、存储控制节点及可读存储介质,存储控制节点中包括第一DPU和第二DPU,数据流处理方法包括:第一DPU接收I/O请求,对I/O请求进行协议卸载,得到数据报文,并将数据报文存储在存储器中;第二DPU从存储器中获取数据报文,并对获取到的数据报文进行数据处理。
本申请公开的上述技术方案,在存储控制节点中部署第一DPU和第二DPU,由第一DPU进行I/O请求接收、协议卸载和数据报文的存储,由第二DPU获取存储的数据报文,并对数据报文进行数据处理,即通过第一DPU和第二DPU来专门进行数据流的处理,从而提高数据流的处理效率,并提高数据流的处理性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种数据流处理方法的流程图;
图2为本申请实施例提供的存储控制节点的架构示意图;
图3为现有以CPU为核心进行数据处理的流程图。
具体实施方式
当前市场需求驱动全球存储数据量以ZB级激增,单个存储硬盘性能、存储内部CPU对内存访问带宽和存储所用的网络接口带宽也显著提升,客户对于存储系统I/O性能也提出了更高的需求(更高带宽、IOPS(Input/Output Operations Per Second,每秒进行读写(I/O)操作的次数)和更低时延),然而后摩尔时代半导体工艺制程发展减缓,单核算力滞涨(52%->3.5%),这些对于存储系统设计带来了巨大性能提升挑战。
当前主流的存储系统框架是以CPU计算为中心的架构,适用于传统的存储设备使用场景,以CPU为中心,通过高速总线将前端接口卡、GPU、内存、FPGA、HDD、SSD等计算、存储及通信设备挂载在CPU下,所有的计算、控制都由CPU发起。但是,随着后摩尔时代的来临,CPU单核计算能力滞涨,因此,以CPU为中心的框架无法更好且更快地进行I/O数据流的处理,成为存储系统性能提升的瓶颈。
为此,本申请提供一种数据流处理方法、存储控制节点及可读存储介质,用于提高数据流的处理效率和处理性能。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1和图2,其中,图1示出了本申请实施例提供地一种数据流处理方法的流程图,图2示出了本申请实施例提供的存储控制节点的架构示意图。本申请实施例提供地一种数据流处理方法,存储控制节点中可以包括第一DPU和第二DPU,数据流处理方法可以包括:
S11:第一DPU接收I/O请求,对I/O请求进行协议卸载,得到数据报文,并将数据报文存储在存储器中。
存储系统中所包含的存储控制控制节点是一类单独的物理设备,其主要实现接收和响应服务器的I/O请求(读操作、写操作)、数据组织(去重、压缩、加密、纠删)、保障数据一致性、对于数据转发控制、可靠性控制以及对存储系统的管理功能。其中,在本申请中,存储控制控制节点中除了包含有CPU之外,还可以至少包含有第一DPU(Data Processing Unit,数据处理器)和第二DPU,且可以利用第一DPU和第二DPU来实现数据流的处理。需要说明的是,图2中所示出的基于远程直接数据存取的网卡(RNIC)及交换机用于传输服务器所发送的I/O请求至存储控制节点。需要说明的是,图2中实线流对应的是数据流,虚线流对应的是控制流。
具体地,存储控制节点中的第一DPU实现接收和响应服务器的I/O请求。在此过程中,第一DPU对所接收到的I/O请求中的数据包进行协议卸载,具体地可以进行数据报文拆包、解析、校验等运算,得到数据报文。其中,第一DPU具体可以通过内部的硬件实现TCP(Transmission Control Protocol,传输控制协议)、NVMe over Fabrics(NVMe-oF,一个相对较新的协议规范,旨在使用NVMe通过网络结构将主机连接到存储)的网络协议的卸载。当然,也可以实现其他协议的卸载。相较于现有由CPU负责网络协议卸载工作,并由CPU进行数据拆包、解析、校验等运算而占用大量的CPU计算资源,本申请由专门用于进行数据处理的DPU进行协议卸载工作,以降低对CPU计算资源的消耗,提高协议卸载效率。
第一DPU在通过协议卸载而得到数据报文之后,可以将数据报文存储在存储器中,此过程是通过P2P(端到端)的DMA(Direct Memory Access,直接存储器访问)技术进行实现。其中,这里提及的存储器具体可以为DRAM(Dynamic Random Access Memory,动态随机存取存储器)或SCM(Storage Class Memory,存储级存储器),当然,也可以为其他类型的存储器,本申请对此不作限定。
通过利用第一DPU进行协议卸载和数据报文存储,可以便于后续对数据报文进行处理。而且通过利用DPU来专门实现前述过程,可以提高数据流的处理效率和处理性能,减少存储控制节点中CPU的数据处理量,降低CPU的压力。
S12:第二DPU从存储器中获取数据报文,并对获取到的数据报文进行数据处理。
考虑到在存储控制节点中还有数据处理的需求,因此,则可以利用第二DPU来从存储器中获取数据报文,并对获取到的数据报文进行处理。其中,第二DPU通过内置的数据流加速引擎可以通过硬件对数据报文的数据处理进行硬件加速,带来快速数据路径的优化和性能提升。相较于现有以CPU为中心进行数据处理时需要同时用到多个加速器进行实现,本申请直接利用专门用于进行数据处理的DPU通过内置的数据流加速引擎以硬件方式对数据处理进行硬件加速,带来快速数据路径的优化和性能提升,提高数据处理的效率,降低数据处理的复杂度。
通过上述过程可知,本申请在数据流的处理过程中,以DPU为中心,在数据流处理过程中多点离散式布局DPU,实现多种I/O硬件加速技术,利用DPU实现数据流的处理,也即将数据流处理和其他功能分离开来,并借助DPU来专门实现数据流处理,而不再由CPU进行数据流处理,既降低CPU的处理压力,又能够在短时间内完成流式快路径,提高数据流的处理效率和处理性能。
本申请公开的上述技术方案,在存储控制节点中部署第一DPU和第二DPU,由第一DPU进行I/O请求接收、协议卸载和数据报文的存储,由第二DPU获取存储的数据报文,并对数据报文进行数据处理,即通过第一DPU和第二DPU来专门进行数据流的处理,从而提高数据流的处理效率,并提高数据流的处理性能。
本申请实施例提供地一种数据流处理方法,第一DPU将数据报文存储在存储器中,可以包括:
第一DPU确定数据报文中包含的数据的类型,根据数据报文中包含的数据的类型将数据报文存储在相应的存储器中。
考虑到现有CPU在进行数据报文存储时所用介质是固定好或前期约定好的,而这会因如果固定好或前期约定好所有的数据报文均存储到DRAM中,机器掉电后DRAM中的数据会丢失,如果固定好或前期约定好存储到SCM中,则会因SCM存储数据量有限而无法满足大量数据存储的需求,为此,在本申请中,第一DPU在将数据报文存储在存储器中时,可以先确定数据报文中包含的数据的类型,然后,根据数据报文中包含的数据的类型将数据报文存储在与数据的类型相对应的存储器中,即实现实时地将不同的数据报文存储在不同的存储器中,从而带来快速数据路径的优化,并提高数据存储的合理性和可靠性。也即是说,在本申请中,第一DPU具体将数据存储在哪种存储器中是有选择的。以DRAM或SCM为例,具体可以根据数据报文中所包含的数据的类型来选择存储在DRAM或SCM中,其中,SCM相比DRAM具有非易失性的属性,存在上面的数据即使掉电也不会丢失,因此,将存储要可靠性要求高的数据(例如元数据等)存储在SCM中比存储在DRAM中效果及可靠性更优,并可以将存储可靠性要求低的数据存储在DRAM中。
本申请实施例提供地一种数据流处理方法,第一DPU确定数据报文中包含的数据的类型,可以包括:
第一DPU对数据报文进行数据指纹计算,得到数据报文的数据指纹;
根据数据指纹确定数据报文中包含的数据的类型。
在本申请中,第一DPU在确定数据报文中包含的数据的类型时,具体可以对数据报文进行数据指纹计算(例如采用MD5算法、SHA1算法等),以得到数据报文的数据指纹。之后,可以根据所计算出的数据指纹来确定数据报文中包含的数据的类型,以便根据数据的类型而将不同的数据报文存储在不同的存储器中。
通过上述方式可以便于准确地确定数据类型,以更好地将不同的数据报文存储在不同的存储器中。
本申请实施例提供地一种数据流处理方法,第一DPU将数据报文存储在存储器中,可以包括:
第一DPU通过高速互联总线将数据报文存储在存储器中。
在本申请中,存储控制节点中可以部署有高速互联总线,第一DPU可以通过高速互联总线将数据报文存储在存储器中,以通过借助高速互联总线而实现数据报文的共享,减少数据流处理过程中对数据报文的搬运次数,从而提高数据流的处理效率,降低数据流处理的复杂度。
本申请实施例提供地一种数据流处理方法,第二DPU从存储器中获取数据报文,包括:
第二DPU通过高速互联总线从存储器中获取数据报文,并对获取到的数据报文进行纠删处理、加密处理、压缩处理、去重处理、数据一致性保护处理。
相较于现有以CPU为中心,在获取数据报文以及对数据报文进行处理时需要用到多个加速器,带来大量的访问内存操作、数据搬运操作,存在效率低、性能不好等问题,本申请中的第二DPU可以通过高速互联总线进行数据报文获取,并借助高速互联总线及第二DPU内置的数据流加速引擎对数据报文进行纠删处理、加密处理、压缩处理、去重处理、数据一致性保护处理,以实现数据共享,减少数据搬运及对CPU资源的占用,提高数据处理效率和处理性能,并降低数据处理的复杂度。
具体地,如图2和图3所示,其中,图3示出了现有以CPU为核心进行数据处理的流程图,以①-⑤为数据压缩为例,现有在进行数据压缩时,①代表从网卡中获取数据,并存储在内存中,②代表通知到CPU内存已接收到数据,③代表从内存中搬运数据到其中一个加速器上,以进行数据压缩,④代表将压缩后的数据返回给内存,⑤代表将压缩后的数据搬运到磁盘中,由此可知,现有在数据压缩过程中需要不停地访问内存,并进行数据搬运,而在本申请中,第二DPU只需要通过高速互联总线从存储器中获取数据报文,并利用自身内置的加速模块进行数据压缩即可,而无需频繁进行数据搬运,且无需额外设置加速器。以⑥-⑨为数据纠删为例,⑥代表内存通知CPU内存里所存储的数据,⑦代表利用外置的加速器对数据进行纠删,⑧代表将纠删后的数据存储到内存中,⑨代表内存中所存储的纠删后的数据经过CPU搬运到网卡,并经由网卡发送出去,由此可知,现有在数据纠删过程中也需要频繁地访问内存,并进行数据搬运,而在本申请中,第二DPU只需通过高速互联总线从存储器中获取数据报文,并利用自身内置的加速模块进行数据纠删即可,而无需频繁进行数据搬运,且无需额外设置加速器。当然,①-⑤、⑥-⑨均可以为数据处理中的任意一个流程,通过图2可知,仅是一个数据处理流程,则至少需要4次或5次对内存的访问操作,而本申请通过高速互联总线可以实现数据共享,减少数据访问次数和数据搬运次数。
需要说明的是,上述的数据处理可以采用同一个第二DPU进行实现,以减少第二DPU的部署数量,降低存储控制节点以及数据流处理的成本。
当然,加密处理和压缩处理可以在数据路径上合并,以利用一个第二DPU进行实现(具体可以内置加速模块进行实现),也即如果既需要数据加密又需要数据压缩时,则I/O路径可以合并处理,以使得I/O路径更短更优,而上述的纠删处理、去重处理、数据一致性保护处理可以采用一个第二DPU进行实现。当然,也可以为上述的各个处理分别对应各自对应一个第二DPU。
本申请实施例提供地一种数据流处理方法,还可以包括:
存储控制节点中的CPU进行数据转发控制和存储管理。
在本申请中,存储控制节点中的CPU负责进行数据转发控制、存储可靠性管理、存储系统管理等较为复杂的控制逻辑功能,也即本申请通过数据流和控制流分离技术,使得CPU可以从现有的数据流处理和控制流处理而转为控制流处理和极少的数据处理,其余数据处理则由存储控制节点中的DPU进行实现,以降低CPU的处理压力和处理工作量,提高数据流处理效率,带来快速I/O路径的实现目的。
本申请实施例还提供了一种存储控制节点,参见图2,存储控制节点可以包括第一DPU和第二DPU,其中:
第一DPU,用于接收I/O请求,对I/O请求进行协议卸载,得到数据报文,并将数据报文存储在存储器中;
第二DPU,用于从存储器中获取数据报文,并对获取到的数据报文进行数据处理。
本申请实施例提供的一种存储控制节点,第一DPU,具体用于确定数据报文中包含的数据的类型,根据数据报文中包含的数据的类型将数据报文存储在相应的存储器中。
本申请实施例提供的一种存储控制节点,第一DPU,具体用于对数据报文进行数据指纹计算,得到数据报文的数据指纹;根据数据指纹确定数据报文中包含的数据的类型。
本申请实施例提供的一种存储控制节点,第一DPU,具体用于通过高速互联总线将数据报文存储在存储器中。
本申请实施例提供的一种存储控制节点,第二DPU,具体用于通过高速互联总线从存储器中获取数据报文,并对获取到的数据报文进行纠删处理、加密处理、压缩处理、去重处理、数据一致性保护处理。
本申请实施例提供的一种存储控制节点,还可以包括CPU:
CPU,用于进行数据转发控制和存储管理。
本申请实施例还提供了一种可读存储介质,可读存储介质中存储有计算机程序,计算机程序被处理器执行时刻实现如下步骤:
第一DPU接收I/O请求,对I/O请求进行协议卸载,得到数据报文,并将数据报文存储在存储器中;第二DPU从存储器中获取数据报文,并对获取到的数据报文进行数据处理。
该可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请提供的一种存储控制节点及可读存储介质中相关部分的说明可以参见本申请实施例提供的一种数据流处理方法中对应部分的详细说明,在此不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、 “包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外,本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种数据流处理方法,其特征在于,存储控制节点中包括第一DPU和第二DPU,所述数据流处理方法包括:
所述第一DPU接收I/O请求,对所述I/O请求进行协议卸载,得到数据报文,并将所述数据报文存储在存储器中;
所述第二DPU从所述存储器中获取数据报文,并对获取到的数据报文进行数据处理;
所述第一DPU将所述数据报文存储在存储器中,包括:
所述第一DPU确定所述数据报文中包含的数据的类型,根据所述数据报文中包含的数据的类型将所述数据报文存储在相应的存储器中;
所述第一DPU将所述数据报文存储在存储器中,包括:
所述第一DPU通过高速互联总线将所述数据报文存储在存储器中。
2.根据权利要求1所述的数据流处理方法,其特征在于,所述第一DPU确定所述数据报文中包含的数据的类型,包括:
所述第一DPU对所述数据报文进行数据指纹计算,得到所述数据报文的数据指纹;
根据所述数据指纹确定所述数据报文中包含的数据的类型。
3.根据权利要求1所述的数据流处理方法,其特征在于,所述第二DPU从所述存储器中获取数据报文,对获取到的数据报文进行数据处理,包括:
所述第二DPU通过所述高速互联总线从所述存储器中获取数据报文,并对获取到的数据报文进行纠删处理、加密处理、压缩处理、去重处理、数据一致性保护处理。
4.根据权利要求1所述的数据流处理方法,其特征在于,还包括:
所述存储控制节点中的CPU进行数据转发控制和存储管理。
5.一种存储控制节点,其特征在于,包括第一DPU和第二DPU,其中:
所述第一DPU,用于接收I/O请求,对所述I/O请求进行协议卸载,得到数据报文,并将所述数据报文存储在存储器中;
所述第二DPU,用于从所述存储器中获取数据报文,并对获取到的数据报文进行数据处理;
所述第一DPU,具体用于确定所述数据报文中包含的数据的类型,根据所述数据报文中包含的数据的类型将所述数据报文存储在相应的存储器中;
所述第一DPU,具体用于通过高速互联总线将所述数据报文存储在存储器中。
6.根据权利要求5所述的存储控制节点,其特征在于,还包括CPU:
所述CPU,用于进行数据转发控制和存储管理。
7.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的数据流处理方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210144052.0A CN114201421B (zh) | 2022-02-17 | 2022-02-17 | 一种数据流处理方法、存储控制节点及可读存储介质 |
PCT/CN2022/134124 WO2023155526A1 (zh) | 2022-02-17 | 2022-11-24 | 一种数据流处理方法、存储控制节点及非易失性可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210144052.0A CN114201421B (zh) | 2022-02-17 | 2022-02-17 | 一种数据流处理方法、存储控制节点及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114201421A CN114201421A (zh) | 2022-03-18 |
CN114201421B true CN114201421B (zh) | 2022-05-10 |
Family
ID=80645480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210144052.0A Active CN114201421B (zh) | 2022-02-17 | 2022-02-17 | 一种数据流处理方法、存储控制节点及可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114201421B (zh) |
WO (1) | WO2023155526A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116560900A (zh) * | 2022-01-30 | 2023-08-08 | 华为技术有限公司 | 读取数据的方法或写数据的方法及其相关系统 |
CN114201421B (zh) * | 2022-02-17 | 2022-05-10 | 苏州浪潮智能科技有限公司 | 一种数据流处理方法、存储控制节点及可读存储介质 |
CN114415985A (zh) * | 2022-03-31 | 2022-04-29 | 苏州浪潮智能科技有限公司 | 一种基于数控分离架构的存储数据处理单元 |
CN115099978B (zh) * | 2022-08-25 | 2022-11-18 | 深圳星云智联科技有限公司 | 一种数据处理方法及装置 |
CN115131008B (zh) * | 2022-08-30 | 2022-12-02 | 深圳星云智联科技有限公司 | 差异化校验机制实现方法及相关产品 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1156422A2 (en) * | 2000-05-19 | 2001-11-21 | Matsushita Electric Industrial Co., Ltd. | High-performance DMA controller |
CN101101699A (zh) * | 2007-07-30 | 2008-01-09 | 当代天启技术(北京)有限公司 | 数据采集和发送的装置和方法 |
CN108009119A (zh) * | 2016-10-27 | 2018-05-08 | 三星电子株式会社 | 处理器和控制工作流的方法 |
CN110892380A (zh) * | 2017-07-10 | 2020-03-17 | 芬基波尔有限责任公司 | 用于流处理的数据处理单元 |
CN113113068A (zh) * | 2020-01-10 | 2021-07-13 | 三星电子株式会社 | 存储器控制器和包括存储器控制器的存储装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7108192B2 (en) * | 1999-09-17 | 2006-09-19 | Silverbrook Research Pty Ltd | Rotationally symmetric tags |
CN101730145B (zh) * | 2008-10-29 | 2012-07-25 | 上海华为技术有限公司 | 一种负载均衡的方法、装置及系统 |
WO2013136857A1 (ja) * | 2012-03-13 | 2013-09-19 | 日本電気株式会社 | データ処理システム、半導体集積回路およびその制御方法 |
CN103973581B (zh) * | 2014-05-08 | 2017-04-12 | 华为技术有限公司 | 一种报文数据处理方法、装置及系统 |
US10180808B2 (en) * | 2016-10-27 | 2019-01-15 | Samsung Electronics Co., Ltd. | Software stack and programming for DPU operations |
US20190163493A1 (en) * | 2017-11-30 | 2019-05-30 | Western Digital Technologies, Inc. | Methods, systems and devices for recovering from corruptions in data processing units |
CN111083070A (zh) * | 2018-10-19 | 2020-04-28 | 中车株洲电力机车研究所有限公司 | 时间触发机制工业以太网交换机设备 |
US11637773B2 (en) * | 2020-02-11 | 2023-04-25 | Fungible, Inc. | Scaled-out transport as connection proxy for device-to-device communications |
CN112565919A (zh) * | 2021-02-18 | 2021-03-26 | 北京远度互联科技有限公司 | 数据发送处理方法、接收处理方法及装置、无人机 |
CN113703843B (zh) * | 2021-09-24 | 2024-04-12 | 中国人民解放军军事科学院军事医学研究院 | 一种寄存器数据处理方法、装置及存储器 |
CN114201421B (zh) * | 2022-02-17 | 2022-05-10 | 苏州浪潮智能科技有限公司 | 一种数据流处理方法、存储控制节点及可读存储介质 |
-
2022
- 2022-02-17 CN CN202210144052.0A patent/CN114201421B/zh active Active
- 2022-11-24 WO PCT/CN2022/134124 patent/WO2023155526A1/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1156422A2 (en) * | 2000-05-19 | 2001-11-21 | Matsushita Electric Industrial Co., Ltd. | High-performance DMA controller |
CN101101699A (zh) * | 2007-07-30 | 2008-01-09 | 当代天启技术(北京)有限公司 | 数据采集和发送的装置和方法 |
CN108009119A (zh) * | 2016-10-27 | 2018-05-08 | 三星电子株式会社 | 处理器和控制工作流的方法 |
CN110892380A (zh) * | 2017-07-10 | 2020-03-17 | 芬基波尔有限责任公司 | 用于流处理的数据处理单元 |
CN113113068A (zh) * | 2020-01-10 | 2021-07-13 | 三星电子株式会社 | 存储器控制器和包括存储器控制器的存储装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114201421A (zh) | 2022-03-18 |
WO2023155526A1 (zh) | 2023-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114201421B (zh) | 一种数据流处理方法、存储控制节点及可读存储介质 | |
US11102095B2 (en) | Monitoring data queues and providing alerts | |
US10860245B2 (en) | Method and apparatus for optimizing data storage based on application | |
US20160132541A1 (en) | Efficient implementations for mapreduce systems | |
EP4318251A1 (en) | Data access system and method, and device and network card | |
WO2023005748A1 (zh) | 数据处理方法以及装置 | |
US20150261622A1 (en) | Ephemeral remote data store for dual-queue systems | |
US20150264152A1 (en) | Dynamically instantiating dual-queue systems | |
CN109564502B (zh) | 应用于存储设备中的访问请求的处理方法和装置 | |
CN108540510B (zh) | 一种云主机创建方法、装置及云服务系统 | |
CN113419824A (zh) | 数据处理方法、装置、系统及计算机存储介质 | |
CN109857545B (zh) | 一种数据传输方法及装置 | |
CN115270033A (zh) | 一种数据访问系统、方法、设备以及网卡 | |
EP4152140A1 (en) | Network card and method for network card to process data | |
CN114461593B (zh) | 日志写入方法及其装置、电子设备及存储介质 | |
US11334487B2 (en) | Cache sharing in virtual clusters | |
CN111404842B (zh) | 数据传输方法、装置及计算机存储介质 | |
US10949102B2 (en) | Leveraging snapshot for time series pattern analysis prediction | |
CN110798366B (zh) | 任务逻辑的处理方法、装置及设备 | |
WO2024021470A1 (zh) | 一种跨区域的数据调度方法、装置、设备及存储介质 | |
US20220156146A1 (en) | Memory controller performing selective and parallel error correction, system including the same and operating method of memory device | |
CN116594551A (zh) | 一种数据存储方法及装置 | |
WO2024041140A1 (zh) | 数据处理方法、加速器及计算设备 | |
CN108762666B (zh) | 一种存储系统的访问方法、系统、介质及设备 | |
WO2024001827A1 (zh) | 数据访问方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |