CN116974727A - 基于多个处理核的数据流处理方法、装置、设备及介质 - Google Patents
基于多个处理核的数据流处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116974727A CN116974727A CN202311117112.0A CN202311117112A CN116974727A CN 116974727 A CN116974727 A CN 116974727A CN 202311117112 A CN202311117112 A CN 202311117112A CN 116974727 A CN116974727 A CN 116974727A
- Authority
- CN
- China
- Prior art keywords
- data
- data stream
- processing
- processed
- chain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000013500 data storage Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种基于多个处理核的数据流处理方法、装置、设备及介质。其中，基于多个处理核的数据流处理方法包括：通过多个处理核中的第一处理核获取待处理数据流；通过配置单元对处理数据流进行数据存储处理，得到具有对象索引的数据链；通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流；通过第二处理核对处理数据流进行数据处理。根据本公开实施例，能够实现对多个处理核的统一管理，提高处理核处理性能。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种基于多个处理核的数据流处理方法、装置、设备及介质。
背景技术
当前处理器可以通过多个处理核计算完成许多大规模计算任务，多个处理核根据不同的功能不同的处理核都会对处理的数据流进行存储和访问，现在大多数处理器内部的不同功能核都会占用固定的存储空间，且每个处理核都要做存储空间管理。
相关技术中，每个处理核针对不同场景处理不同长度的数据流，无法事先分配空间，导致多个处理核管理困难，降低处理核处理性能。
发明内容
为了解决上述技术问题，本公开提供了一种基于多个处理核的数据流处理方法、装置、设备及介质。
第一方面，本公开提供了一种基于多个处理核的数据流处理方法，包括：
通过多个处理核中的第一处理核获取待处理数据流；
通过配置单元对待处理数据流进行数据存储处理，得到具有对象索引的数据链；
通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流；
通过第二处理核对待处理数据流进行数据处理。
第二方面，本公开提供了一种基于多个处理核的数据流处理装置，包括：
第一处理模块，用于通过多个处理核中的第一处理核获取待处理数据流；
第二处理模块，用于通过配置单元对待处理数据流进行数据存储处理，得到具有对象索引的数据链；
第三处理模块，用于通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流；
第四处理模块，用于通过第二处理核对待处理数据流进行数据处理。
第三方面，本公开提供了一种基于多个处理核的数据流处理设备，包括：
处理器；
存储器，用于存储可执行指令；
其中，处理器用于从存储器中读取可执行指令，并执行可执行指令以实现第一方面的基于多个处理核的数据流处理方法。
第四方面，本公开提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现第一方面的基于多个处理核的数据流处理方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例的基于多个处理核的数据流处理方法、装置、设备及介质，能够通过多个处理核中的第一处理核获取待处理数据流，接着通过配置单元对处理数据流进行数据存储处理，得到具有对象索引的数据链，然后通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流，最后通过第二处理核对处理数据流进行数据处理，由此通过配置单元实现对待处理数据流的存储与读取，从而实现对多个处理核的统一管理，提高处理核处理性能。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例提供的一种基于多个处理核的数据流处理方法的流程示意图；
图2为本公开实施例提供的一种数据链的结构示意图；
图3为本公开实施例提供的另一种数据链的结构示意图；
图4为本公开实施例提供的一种数据流存储方法的流程示意图；
图5为本公开实施例提供的一种数据流读取方法的流程示意图；
图6为本公开实施例提供的一种基于多个处理核的数据流处理装置的结构示意图；
图7为本公开实施例提供的一种基于多个处理核的数据流处理设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
为了解决上述问题，本公开实施例提供了一种基于多个处理核的数据流处理方法、装置、设备及介质。下面结合图1至图5对本公开实施例提供的基于多个处理核的数据流处理方法进行详细说明。
图1示出了本公开实施例提供的一种基于多个处理核的数据流处理方法的流程示意图。
在本公开实施例中，该基于多个处理核的数据流处理方法可以由电子设备执行。例如电子设备可以为包括数据处理器(Data Processing Unit，DPU)设备卡的设备。
如图1所示，该基于多个处理核的数据流处理方法可以包括如下步骤。
S110、通过多个处理核中的第一处理核获取待处理数据流。
在本公开实施例中，电子设备可以通过多个处理核中的第一处理核获取待处理数据流。
可选地，多个处理核可以为一个处理器中集成两个或多个完整的计算引擎。
可选地，第一处理核可以为获取待处理数据流的处理核。
可选地，待处理数据流可以为需要进行计算处理的数据流。
具体地，电子设备可以通过多个处理核中的第一处理核获取待处理数据流。
S120、通过配置单元对待处理数据流进行数据存储处理，得到具有对象索引的数据链。
在本公开实施例中，电子设备可以通过配置单元对待处理数据流进行数据存储处理，得到具有对象索引的数据链。
可选地，配置单元可以为对待处理数据流进行配置的单元。
可选地，数据存储处理可以为用于对待处理数据流进行存储。
可选地，对象索引可以为用于记录数据的存储位置。
可选地，数据链可以为用于存储数据。
具体地，电子设备在得到待处理数据流之后，可以通过配置单元对该待处理数据流进行数据存储处理，从而得到具有对象索引的数据链。
S130、通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流。
在本公开实施例中，电子设备可以通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流。
可选地，第二处理核可以为用于处理数据流的处理核。
具体地，电子设备在得到具有对象索引的数据链之后，可以通过多个处理核中的第二处理核，基于对象索引读取数据链中存储的待处理数据流。
S140、通过第二处理核对待处理数据流进行数据处理。
在本公开实施例中，电子设备可以通过第二处理核对待处理数据流进行数据处理。
具体地，电子设备通过第二处理核读取待处理数据流之后，可以通过该第二处理核对待处理数据流进行数据处理。
由此，在本公开实施例中，能够通过多个处理核中的第一处理核获取待处理数据流，接着通过配置单元对处理数据流进行数据存储处理，得到具有对象索引的数据链，然后通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流，最后通过第二处理核对处理数据流进行数据处理，由此通过配置单元实现对待处理数据流的存储与读取，从而实现对多个处理核的统一管理，提高处理核处理性能。
可选地，待处理数据流可以包括数据流标识名和数据流数据。
可选地，数据流标识名可以为待处理数据流对应的标识名称。例如，数据流标识名可以为ID(Identity document)。
可选地，数据流数据可以数据流包括的所有数据。
可选地，S120可以具体包括：通过配置单元将数据流数据存储在预设最小存储单元中，并建立与数据流数据对应的对象索引，得到数据链。
在本公开实施例中，电子设备可以通过配置单元将数据流数据存储在预设最小存储单元中，并建立与数据流标识名对应的对象索引，得到数据链。
可选地，预设最小存储单元可以为预先设定的最小的存储页面单元。
具体地，电子设备在获取到待处理数据流之后，待处理数据流可以包括数据流标识名和数据流数据，电子设备可以通过配置单元将数据流数据存储在预设最小存储单元中，并建立与数据流标识名对应的对象索引，得到数据链。
可选地，通过配置单元将数据流数据存储在预设最小存储单元中，可以具体包括：在数据流数据的数据量小于或等于预设最小存储单元的存储量时，通过配置单元将数据流数据存储在最小存储单元中；在数据流数据的数据量大于预设最小存储单元的存储量时，通过配置单元将数据流数据存储在由多个最小存储单元组成的扩展单元中。
在本公开一些实施例中，在数据流数据的数据量小于或等于预设最小存储单元的存储量时，电子设备可以通过配置单元将数据流数据存储在最小存储单元中。
具体地，当数据流数据的数据量小于或等于预设最小存储单元的存储量时，电子设备可以通过配置单元将该数据流数据存储在预设最小存储单元中，例如，一个预设最小存储单元(Page)的存储量是固定的，电子设备可以判断数据流数据的数据量小于或等于该存储量时，可以将数据流数据存储在一个预设最小存储单元(Page)中，并建立与数据流标识名(ID)对应的对象索引(ID_Line)，得到数据链。
图2示出了本公开实施例提供的一种数据链的结构示意图。
如图2所示，Byte_total可以用于表征该数据链中存储的数据长度，Head_Page可以用于表征第一个预设最小存储单元，DDR_N可以用于表征内存，READY可以用于表征数据链的存储状态。其中，当数据流数据的数据量小于或等于一个预设最小存储单元(Page)的存储量时，可以通过图2所示的数据链进行数据存储，并建立对应的对象索引(ID_Line)。
在本公开另一些实施例中，在数据流数据的数据量大于预设最小存储单元的存储量时，电子设备可以通过配置单元将数据流数据存储在由多个预设最小存储单元组成的扩展单元中。
具体地，当数据流数据的数据量大于预设最小存储单元的存储量时，电子设备需要进行扩展，即由多个预设最小存储单元组成的扩展单元，并通过配置单元将数据流数据存储在该扩展单元中，例如，当数据流数据的数据量大于一个预设最小存储单元(Page)的存储量时，电子设备将数据流数据存储在多个预设最小存储单元(Page)中，直到数据流数据全部被存储，并建立与数据流标识名(ID)对应的对象索引(ID_Line)，得到数据链。
图3示出了本公开实施例提供的另一种数据链的结构示意图。
如图3所示，在ID链中，数据流数据的数据量大于一个预设最小存储单元(Page)的存储量，电子设备可以进行扩展Head_Line，Head_Line可以包括多个预设最小存储单元(Page)，即Page3、Page2、Page1、Page0，并且还可以继续扩展Next_Line，Next_Line同样可以包括多个预设最小存储单元(Page)，即Page3、Page2、Page1、Page0，直到该数据流数据全部被存储，并建立对应的对象索引(ID_Line)。
由此，在本公开实施例中，可以根据数据流数据的数据量动态的进行存储，实现对多个处理核的统一管理，提高处理核处理性能。
可选地，S130可以具体包括：通过第二处理核根据数据流标识名确定对应的对象索引，并获取对象索引对应的数据链中的数据长度信息；根据数据长度信息读取数据链中预设最小存储单元存储的数据流数据。
在本公开实施例中，电子设备可以通过第二处理核根据数据流标识名确定对应的对象索引，并获取对象索引对应的数据链中的数据长度信息。
可选地，数据长度信息可以为用于表征存储的数据的长度。例如，Byte_total可以用于表征数据长度信息。
具体地，在得到数据链之后，第二处理核需要对待处理数据流进行数据处理，则电子设备可以通过第二处理核根据数据流标识名(ID)确定对应的对象索引(ID_Line)，并根据该对象索引(ID_Line)确定对应的数据链，从而获取该数据链中的数据长度信息(Byte_total)。
进一步地，电子设备在得到数据长度信息之后，可以根据该数据长度信息读取数据链中预设最小存储单元存储的数据流数据。
具体地，电子设备在得到数据长度信息之后，可以根据该数据长度信息(Byte_total)读取数据链中预设最小存储单元(Page)存储的数据流数据。
可选地，根据数据长度信息读取数据链中预设最小存储单元存储的数据流数据，可以具体包括：在数据长度信息小于或等于预设长度时，根据数据长度信息读取数据链中预设最小存储单元存储的数据流数据；在数据长度信息大于预设长度时，根据数据长度信息依次读取数据链中多个最小存储单元存储的数据流数据。
在本公开一些实施例中，当数据长度信息小于或等于预设长度时，电子设备可以根据数据长度信息读取数据链中预设最小存储单元存储的数据流数据。
可选地，预设长度可以为预先设定的长度。例如，预设长度可以为1、2等，此处不作限定。
具体地，可以将一个预设最小存储单元作为1个长度，电子设备可以判断数据长度信息是否小于或等于预设长度，即判断有几个预设最小存储单元，当数据长度信息小于或等于预设长度时，此时电子设备可以确定数据链中有一个预设最小存储单元(Page)存储数据流数据，继续参见图2，电子设备可以通过第二处理核读取数据链中Head_Page存储的数据流数据。
在本公开另一些实施例中，当数据长度信息大于预设长度时，电子设备可以根据数据长度信息依次读取数据链中多个最小存储单元存储的数据流数据。
具体地，可以将一个预设最小存储单元作为1个长度，电子设备可以判断数据长度信息是否小于或等于预设长度，即判断有几个预设最小存储单元，当数据长度信息大于预设长度时，此时电子设备可以确定数据链中有多个预设最小存储单元(Page)存储数据流数据，继续参见图3，电子设备可以通过第二处理核先读取数据链中Head_Page存储的数据流数据，接着读取Head_Line中Page3、Page2、Page1、Page0存储的数据流数据，继续读取Next_Line中Page3、Page2、Page1、Page0存储的数据流数据，直到所有的预设最小存储单元(Page)都被读取完成。
可选地，该基于多个处理核的数据流处理方法还可以包括：获取待删除的数据流标识名；通过待删除的数据流标识名确定对应的对象索引，并删除对象索引对应的数据链中的索引值。
在本公开实施例中，电子设备可以获取待删除的数据流标识名。
具体地，当数据流已经被处理后，需要进行删除，电子设备可以获取待删除的数据流标识名。
进一步地，电子设备可以通过待删除的数据流标识名确定对应的对象索引，并删除对象索引对应的数据链中的索引值。
具体地，电子设备可以通过待删除的数据流标识名(ID)确定对应的对象索引(ID_Line)，确定对应的数据链，并删除对象索引对应的数据链中的索引值，例如索引值可以为Head_Page索引、Head_Line索引和Next_Line索引等。
图4示出了本公开实施例提供的一种数据流存储方法的流程示意图。
如图4所示，电子设备可以先获取待处理数据流，待处理数据流包括数据流标识名和数据流数据，接着将数据流数据存储到第一个预设最小存储单元(Head_Page)中，判断数据流数据的数据量是否大于第一个预设最小存储单元(Head_Page)的存储量，当数据流数据的数据量小于或等于第一个预设最小存储单元(Head_Page)的存储量时，建立对应的对象索引(ID_Line)，存储结束；当数据流数据的数据量大于第一个预设最小存储单元(Head_Page)的存储量时，电子设备扩展Head_Line：Page3、Page2、Page1、Page0，将数据流数据存储到该Head_Line中，接着判断数据流数据的数据量是否大于Head_Line的存储量，当数据流数据的数据量小于或等于Head_Line的存储量，建立对应的对象索引(ID_Line)，存储结束；当数据流数据的数据量大于Head_Line的存储量，电子设备继续扩展Next_Line：Page3、Page2、Page1、Page0，直到将数据流数据全部存储。
图5示出了本公开实施例提供的一种数据流读取方法的流程示意图。
如图5所示，电子设备可以根据数据流标识名(ID)确定对应的对象索引(ID_Line)，并确定对应数据链中数据长度信息(Byte_total)，根据Byte_total读取第一个预设最小存储单元(Head_Page)存储的数据流数据，接着判断Byte_total的数据长度是否大于Head_Page，若Byte_total的数据长度小于或等于Head_Page，则数据流数据全部读取；若Byte_total的数据长度大于Head_Page，则根据Byte_total读取Head_Line存储的数据流数据，接着判断Byte_total的数据长度是否大于Head_Line，若Byte_total的数据长度小于或等于Head_Line，则数据流数据全部读取；若Byte_total的数据长度大于Head_Line，则根据Byte_total读取Next_Line存储的数据流数据，直到所有数据流数据被读取。
图6示出了本公开实施例提供的一种基于多个处理核的数据流处理装置的结构示意图。
如图6所示，该基于多个处理核的数据流处理装置600可以包括第一处理模块610、第二处理模块620、第三处理模块630和第四处理模块640。
该第一处理模块610可以用于通过多个处理核中的第一处理核获取待处理数据流。
该第二处理模块620可以用于通过配置单元对待处理数据流进行数据存储处理，得到具有对象索引的数据链。
该第三处理模块630可以用于通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流。
该第四处理模块640可以用于通过第二处理核对待处理数据流进行数据处理。
由此，在本公开实施例中，能够通过多个处理核中的第一处理核获取待处理数据流，接着通过配置单元对处理数据流进行数据存储处理，得到具有对象索引的数据链，然后通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流，最后通过第二处理核对处理数据流进行数据处理，由此通过配置单元实现对待处理数据流的存储与读取，从而实现对多个处理核的统一管理，提高处理核处理性能。
在本公开一些实施例中，待处理数据流可以包括数据流标识名和数据流数据。
在本公开一些实施例中，该第二处理模块620可以具体用于通过配置单元将数据流数据存储在预设最小存储单元中，并建立与数据流标识名对应的对象索引，得到数据链。
在本公开一些实施例中，该第二处理模块620可以具体包括第一处理单元和第二处理单元。
该第一处理单元可以用于在数据流数据的数据量小于或等于预设最小存储单元的存储量时，通过配置单元将数据流数据存储在预设最小存储单元中。
该第二处理单元可以用于在数据流数据的数据量大于预设最小存储单元的存储量时，通过配置单元将数据流数据存储在由多个预设最小存储单元组成的扩展单元中。
在本公开一些实施例中，该第三处理模块630可以具体包括第三处理单元和第四处理单元。
该第三处理单元可以用于通过第二处理核根据数据流标识名确定对应的对象索引，并获取对象索引对应的数据链中的数据长度信息。
该第四处理单元可以用于根据数据长度信息读取数据链中预设最小存储单元存储的数据流数据。
在本公开一些实施例中，该第四处理单元可以具体包括第一读取子单元和第二读取子单元。
该第一读取子单元可以用于在数据长度信息小于或等于预设长度时，根据数据长度信息读取数据链中预设最小存储单元存储的数据流数据。
该第二读取子单元可以用于在数据长度信息大于预设长度时，根据数据长度信息依次读取数据链中多个最小存储单元存储的数据流数据。
在本公开一些实施例中，该基于多个处理核的数据流处理装置600还可以包括第五处理模块和第六处理模块。
该第五处理模块可以用于获取待删除的数据流标识名。
该第六处理模块可以用于通过待删除的数据流标识名确定对应的对象索引，并删除对象索引对应的数据链中的索引值。
需要说明的是，图6所示的基于多个处理核的数据流处理装置600可以执行图1至图5所示的方法实施例中的各个步骤，并且实现图1至图5所示的方法实施例中的各个过程和效果，在此不做赘述。
图7示出了本公开实施例提供的一种基于多个处理核的数据流处理设备的结构示意图。
在本公开一些实施例中，图7所示的基于多个处理核的数据流处理设备可以为电子设备。例如，该电子设备可以为包括DPU设备卡的设备。
如图7所示，该基于多个处理核的数据流处理设备可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地，上述处理器701可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器702可以包括用于信息或指令的大容量存储器。举例来说而非限制，存储器702可以包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个及其以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在综合网关设备的内部或外部。在特定实施例中，存储器702是非易失性固态存储器。在特定实施例中，存储器702包括只读存储器(Read-Only Memory，ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable ROM，PROM)、可擦除PROM(Electrical Programmable ROM，EPROM)、电可擦除PROM(Electrically ErasableProgrammable ROM，EEPROM)、电可改写ROM(Electrically Alterable ROM，EAROM)或闪存，或者两个或及其以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令，以执行本公开实施例所提供的基于多个处理核的数据流处理方法的步骤。
在一个示例中，该基于多个处理核的数据流处理设备还可包括收发器703和总线704。其中，如图7所示，处理器701、存储器702和收发器703通过总线704连接并完成相互间的通信。
总线704包括硬件、软件或两者。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(ExtendedIndustry Standard Architecture，EISA)总线、前端总线(Front Side BUS，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industrial Standard Architecture，ISA)总线、无限带宽互连、低引脚数(Low Pin Count，LPC)总线、存储器总线、微信道架构(MicroChannel Architecture，MCA)总线、外围控件互连(Peripheral Component Interconnect，PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial Advanced TechnologyAttachment，SATA)总线、视频电子标准协会局部(Video Electronics StandardsAssociation Local Bus，VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线704可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
本公开实施例还提供了一种非易失性计算机可读存储介质，该存储介质可以存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现本公开实施例所提供的基于多个处理核的数据流处理方法。
上述的存储介质可以例如包括计算机程序指令的存储器702，上述指令可由基于多个处理核的数据流处理设备的处理器701执行以完成本公开实施例所提供的基于多个处理核的数据流处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(Random Access Memory，RAM)、光盘只读存储器(Compact Disc ROM，CD-ROM)、磁带、软盘和光数据存储设备等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于多个处理核的数据流处理方法，其特征在于，包括：
通过多个处理核中的第一处理核获取待处理数据流；
通过配置单元对所述待处理数据流进行数据存储处理，得到具有对象索引的数据链；
通过所述多个处理核中的第二处理核基于所述对象索引读取所述数据链中存储的所述待处理数据流；
通过所述第二处理核对所述待处理数据流进行数据处理。
2.根据权利要求1所述的方法，其特征在于，所述待处理数据流包括数据流标识名和数据流数据。
3.根据权利要求2所述的方法，其特征在于，通过配置单元对所述待处理数据流进行数据存储处理，得到具有对象索引的数据链，包括：
通过所述配置单元将所述数据流数据存储在预设最小存储单元中，并建立与所述数据流标识名对应的所述对象索引，得到所述数据链。
4.根据权利要求3所述的方法，其特征在于，所述通过所述配置单元将所述数据流数据存储在预设最小存储单元中，包括：
在所述数据流数据的数据量小于或等于所述预设最小存储单元的存储量时，通过所述配置单元将所述数据流数据存储在所述预设最小存储单元中；
在所述数据流数据的数据量大于所述预设最小存储单元的存储量时，通过所述配置单元将所述数据流数据存储在由多个所述预设最小存储单元组成的扩展单元中。
5.根据权利要求4所述的方法，其特征在于，所述通过所述多个处理核中的第二处理核基于所述对象索引读取所述数据链中存储的所述待处理数据流，包括：
通过所述第二处理核根据所述数据流标识名确定对应的所述对象索引，并获取所述对象索引对应的所述数据链中的数据长度信息；
根据所述数据长度信息读取所述数据链中所述预设最小存储单元存储的所述数据流数据。
6.根据权利要求5所述的方法，其特征在于，所述根据所述数据长度信息读取所述数据链中所述预设最小存储单元存储的所述数据流数据，包括：
在所述数据长度信息小于或等于预设长度时，根据所述数据长度信息读取所述数据链中所述预设最小存储单元存储的所述数据流数据；
在所述数据长度信息大于预设长度时，根据所述数据长度信息依次读取所述数据链中多个所述最小存储单元存储的所述数据流数据。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待删除的数据流标识名；
通过所述待删除的数据流标识名确定对应的所述对象索引，并删除所述对象索引对应的所述数据链中的索引值。
8.一种基于多个处理核的数据流处理装置，其特征在于，包括：
第一处理模块，用于通过多个处理核中的第一处理核获取待处理数据流；
第二处理模块，用于通过配置单元对所述待处理数据流进行数据存储处理，得到具有对象索引的数据链；
第三处理模块，用于通过所述多个处理核中的第二处理核基于所述对象索引读取所述数据链中存储的所述待处理数据流；
第四处理模块，用于通过所述第二处理核对所述待处理数据流进行数据处理。
9.一种基于多个处理核的数据流处理设备，其特征在于，包括：
处理器；
存储器，用于存储可执行指令；
其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述权利要求1-7中任一项所述的基于多个处理核的数据流处理方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现上述权利要求1-7中任一项所述的基于多个处理核的数据流处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311117112.0A CN116974727A (zh) | 2023-08-31 | 2023-08-31 | 基于多个处理核的数据流处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311117112.0A CN116974727A (zh) | 2023-08-31 | 2023-08-31 | 基于多个处理核的数据流处理方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116974727A true CN116974727A (zh) | 2023-10-31 |
Family
ID=88476721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311117112.0A Pending CN116974727A (zh) | 2023-08-31 | 2023-08-31 | 基于多个处理核的数据流处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116974727A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114925101A (zh) * | 2022-06-16 | 2022-08-19 | 杭州网易云音乐科技有限公司 | 数据处理方法、装置、存储介质及电子设备 |
| CN114925015A (zh) * | 2022-05-25 | 2022-08-19 | 合众新能源汽车有限公司 | 基于多核处理器的数据处理方法、装置、设备及介质 |
| CN115061803A (zh) * | 2022-06-29 | 2022-09-16 | Oppo广东移动通信有限公司 | 一种多核处理系统及其任务调度方法、芯片、存储介质 |
| CN115599507A (zh) * | 2021-07-07 | 2023-01-13 | 清华大学（Cn） | 数据处理方法、执行工作站、电子设备和存储介质 |
-
2023
- 2023-08-31 CN CN202311117112.0A patent/CN116974727A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115599507A (zh) * | 2021-07-07 | 2023-01-13 | 清华大学（Cn） | 数据处理方法、执行工作站、电子设备和存储介质 |
| CN114925015A (zh) * | 2022-05-25 | 2022-08-19 | 合众新能源汽车有限公司 | 基于多核处理器的数据处理方法、装置、设备及介质 |
| CN114925101A (zh) * | 2022-06-16 | 2022-08-19 | 杭州网易云音乐科技有限公司 | 数据处理方法、装置、存储介质及电子设备 |
| CN115061803A (zh) * | 2022-06-29 | 2022-09-16 | Oppo广东移动通信有限公司 | 一种多核处理系统及其任务调度方法、芯片、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109559226B (zh) | 区块链交易执行方法、系统及电子设备和存储介质 | |
| KR101745456B1 (ko) | HiL 시뮬레이션 환경에서 대용량 데이터를 전송하기 위한 전자제어 장치, 이를 포함하는 시스템 및 그 방법 | |
| CN109802684B (zh) | 进行数据压缩的方法和装置 | |
| CN110727608B (zh) | 一种日志数据的存储方法、电子设备及存储介质 | |
| CN112269534A (zh) | 一种数据读取方法、装置、设备及计算机可读存储介质 | |
| CN108733674A (zh) | 一种a2l文件合并方法及装置 | |
| CN106293542B (zh) | 一种文件解压缩的方法及装置 | |
| CN107169057B (zh) | 一种重复图片的检测方法和装置 | |
| CN116974727A (zh) | 基于多个处理核的数据流处理方法、装置、设备及介质 | |
| CN108108467B (zh) | 数据删除方法及装置 | |
| CN109918343A (zh) | 一种自动生成ralf文件的方法及系统 | |
| CN113190437B (zh) | 无线模组的时序分析方法、装置、计算机设备和存储介质 | |
| CN113204706B (zh) | 基于MapReduce的数据筛选抽取方法及系统 | |
| CN115390847A (zh) | 日志处理方法及装置、计算机可读存储介质、终端 | |
| CN113722471A (zh) | 一种文本摘要生成方法、系统、电子设备及介质 | |
| CN109947371B (zh) | 数据记录方法、装置、存储器及t-box | |
| CN107704247B (zh) | 一种减小多核固件大小的方法 | |
| CN112817952A (zh) | 数据质量评估方法及系统 | |
| CN113255508A (zh) | 一种条码对比方法、系统、电子设备及存储介质 | |
| CN108415814B (zh) | 自动记录字段变化方法、应用服务器及计算机可读存储介质 | |
| CN111488727B (zh) | 词文件解析方法、词文件解析设备和计算机可读存储介质 | |
| CN116962551B (zh) | 基于dpu应用层报文重组的dpi安全检测方法 | |
| CN111324732A (zh) | 模型训练方法、文本处理方法、装置及电子设备 | |
| CN111124285B (zh) | 一种固态硬盘数据保持方法、装置、设备、介质 | |
| CN107391029B (zh) | 一种文件存储、读取方法及其对应的系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |