CN113608899B - 轻量级数据生产-消费者模式处理方法、系统及存储介质 - Google Patents

轻量级数据生产-消费者模式处理方法、系统及存储介质 Download PDF

Info

Publication number
CN113608899B
CN113608899B CN202111168008.5A CN202111168008A CN113608899B CN 113608899 B CN113608899 B CN 113608899B CN 202111168008 A CN202111168008 A CN 202111168008A CN 113608899 B CN113608899 B CN 113608899B
Authority
CN
China
Prior art keywords
data
consumer
storage buffer
value
buffers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111168008.5A
Other languages
English (en)
Other versions
CN113608899A (zh
Inventor
伍千虎
李志钢
黄尧
严俊兰
李雄华
宋亚涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Powersi Information Technology Co ltd
Original Assignee
Powersi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Powersi Information Technology Co ltd filed Critical Powersi Information Technology Co ltd
Priority to CN202111168008.5A priority Critical patent/CN113608899B/zh
Publication of CN113608899A publication Critical patent/CN113608899A/zh
Application granted granted Critical
Publication of CN113608899B publication Critical patent/CN113608899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种轻量级数据生产‑消费者模式处理方法、系统及计算机可读存储介质。通过确定分发渠道中环形指针队列存储缓冲区的数量值S，以及每个存储缓冲区的大小值K；根据数据分发器的数据分发规则，确定数据生产者产生的待写入数据所应分发至的目标存储缓存区；在消费者线程大于所述K值时，将所述存储缓冲区中的一个或多个存储缓冲区分别划分为多个部分缓存区，一个所述存储缓冲区中的所述多个部分缓存区分别分配至不同的所述消费者线程进行消费。无需复杂的调用流程，直接由分发渠道定义环形指针队列buffer的数量和个数，无需设置消息队列中间件，直接实现了数据包的生产‑消费处理，降低了数据量，实现轻量级的目的。

Description

轻量级数据生产-消费者模式处理方法、系统及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于内存的轻量级数据生产者-消费者模式驱动模型的实现方法、系统及计算机可读存储介质。
背景技术
请一并结合图1，在实际的软件开发过程中，通常产生数据的模块（生产者模块）负责产生数据，这些数据由另一个处理数据的模块（消费者模块）来负责处理（此处的模块是广义的，可以是类、函数、线程、进程等）。在生产者模块和消费者之间模块还需要有一个消息中间件（缓冲区），作为一个中介。生产者把数据放入缓冲区，而消费者从缓冲区取出数据。
目前IT界针对数据的生产和消费提供了多种的处理方式，其中最为常见的就是消息队列(MQ)，如：阿里的Rocket MQ、开源的Rabbit MQ和Kafka等，甚至有通过Redis的发布和订阅以及List数据结构实现了Redis消息队列。
消息队列是线程或者进程间交互的一种手段，任务之间可以通过消息队列来实现数据的沟通与交换，其基本模型也如图1所示。通常在程序开发中使用消息队列中间件来进行信息交换，能起到应用解耦、异步消息、流量削锋、优化性能等作用。然而，传统的消息队列的实现都是以消息中间件的形式存在的，如果在程序中使用，则必须先部署相应的中间件，并且在程序中添加客户端程序依赖，学习其复杂的调用流程，使用上述的消息队列产品会增加部署的难度、学习成本、程序的重量。
而在很多的数据处理(如：链路信息，监控信息)只需要在应用本地缓存，然后聚合，最后定时批量发送，实现一个数据缓冲的作用，而采用简单的队列(queue)数据结构，很难满足性能要求。
因此，有必要在此基础上，构建的一个基于内存的轻量级数据生产者-消费者模式的驱动模型实现方法以解决上述技术问题。
发明内容
本发明的主要目的在于提供一种基于内存的轻量级数据生产者-消费者模式驱动模型的实现方法、系统及计算机可读存储介质，以解决上述的技术问题。
为实现上述目的，本发明提供的一种轻量级数据生产-消费者模式处理方法，包括步骤：
步骤S1，确定分发渠道中存储缓冲区的数量值S，以及每个存储缓冲区的大小值K，其中，每个所述存储缓冲区为由K个存储单元构成的环形指针队列；
步骤S2，根据数据分发器的数据分发规则，确定数据生产者产生的待写入数据所应分发至的目标存储缓存区；
步骤S3，获取所述目标存储缓存区的写入状态是否为满；
步骤S41，在所述目标存储缓存区为空闲时，写入所述待写入数据；
步骤S42，在所述目标存储缓存区为满时，根据所述待写入数据的来源，确定对应的写入策略；其中，所述写入策略包括阻塞策略、覆盖策略以及返回策略中的至少两种；
步骤S5，获取数据消费者线程数，判断所述消费者线程数是否大于所述存储缓冲区的数量值；
步骤S61，在所述消费者线程大于所述存储缓冲区的数量值时，将S个所述存储缓冲区中的一个或多个存储缓冲区作为共用的存储缓冲区，在每个所述共用的存储缓冲区内划分出多个部分缓存区，一个所述共用的存储缓冲区中的多个所述部分缓存区分别分配至不同的所述消费者线程进行消费。
进一步的，还包括步骤S62，在所述消费者线程小于所述存储缓冲区的数量值时，至少两个所述存储缓冲区分配至同一个所述消费者线程进行消费。
进一步的，还包括步骤S62，在所述消费者线程等于所述存储缓冲区的数量值时，为每个所述存储缓冲区分配一个对应的所述消费者线程进行消费。
进一步的，所阻塞策略包括等待所述目标存储缓存区为空闲时，写入所述待写入数据；所述覆盖策略包括写入所述待写入数据至所述目标存储缓存区，覆盖所述目标存储缓存区的旧数据；所述返回策略包括返回false，由上层应用通过返回值判断如何处理。
进一步的，所述数据分发器包括线程分发器以及简单循环自增分发器；其中，所述线程分发器的数据分发规则包括根据写入的线程ID进行分发，保证相同线程写入的数据都在一个所述目标存储缓存区中；所述简单循环自增分发器的数据分发规则包括使用自增并取模的形式，确定要写入的所述目标存储缓存区。
进一步的，所述K的值为6或者8。
进一步的，环形指针队列包括strat值和end值，指针值初始值为所述strat值，在所述指针值递增至所述end值后，重置为所述strat值。
本发明还提供一种数据处理系统，包括存储器、处理器、存储在所述存储器中并可在所述处理器上运行的计算机程序、以及接收所述处理器指令的控制器，所述处理器执行所述计算机程序时实现如上任一项所述的轻量级数据生产-消费者模式处理方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的轻量级数据生产-消费者模式处理方法的步骤。
在本发明的技术方案中的轻量级数据生产-消费者模式处理方法，通过确定分发渠道中环形指针队列存储缓冲区的数量值S，以及每个存储缓冲区的大小值K；根据数据分发器的数据分发规则，确定数据生产者产生的待写入数据所应分发至的目标存储缓存区；在所述目标存储缓存区为满时，根据所述待写入数据的来源，确定对应的写入策略；其中，所述写入策略包括阻塞策略、覆盖策略以及返回策略中的至少两种；在所述消费者线程大于所述存储缓冲区的数量值时，将所述存储缓冲区中的一个或多个存储缓冲区分别划分为多个部分缓存区，一个所述存储缓冲区中的所述多个部分缓存区分别分配至不同的所述消费者线程进行消费。无需复杂的调用流程，直接由分发渠道定义环形指针队列buffer的数量和个数，借由简单的分发器规则和写入规则，无需设置消息队列中间件，直接实现了数据包的生产-消费处理，降低了数据量，实现轻量级的目的，同时有效地减缓了高速缓冲存储器颠簸。
附图说明
图1为背景技术中的数据生产者-消费者模型；
图2为本发明一实施例中的轻量级数据生产-消费者模式处理方法的流程示意图；
图3为本发明一实施例中的环形指针队列存储缓存区（buffer）的指针结构和展开结构示意图；
图4为本发明一实施例中的Buffer数量、Buffer大小与分发渠道Channels之间的关系示意图；
图5为本发明一实施例中轻量级数据生产-消费者模式调用示例；
图6为本发明一实施例中运行有轻量级数据生产-消费者模式处理方法的计算机系统的硬件结构示意图；
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
请参阅图2，为实现上述目的，本发明的第一实施例中提供一种轻量级数据生产-消费者模式处理方法。
步骤S1，确定分发渠道中存储缓冲区的数量值S，以及每个存储缓冲区的大小值K，其中，每个所述存储缓冲区为由K个存储单元构成的环形指针队列。
步骤S2，根据数据分发器的数据分发规则，确定数据生产者产生的待写入数据所应分发至的目标存储缓存区。
具体的，分发渠道(Channels)中存储缓冲区的定义属于底层的结构。请一并结合图3，底层使用定长数组作为存储缓冲区（Buffer），每个Buffer内部维护一个环形指针，允许指定其中指针值，从start值开始递增，当指针值递增到end值时，指针值则重置为start值，实现环形指针的效果，这样，就可以实现Buffer循环覆盖写入的模式。
请一并结合图4，定义分发渠道(Channels)的概念，Channels底层管理多个Buffer，允许构造指定Channels底层Buffer的数量和每个Buffer的大小。
同时指定用于确定一个数据元素应该写入到哪个Buffer对象的数据分发器，其中可以定义两种分发器：
线程分发器：根据写入线程的ID进行分发，保证同一个线程写入的数据都分往同一个Buffer中；
简单自增轮询分发器：使用轮询的形式，确定要写入的Buffer；
另外Channels提供写方法负责根据指定分发器向底层Buffer中填充数获取据，在Buffer中则提供读写相关方法，其中写方法负责向底层数组中填充数据，读方法则提供一次性读取（并清理）Buffer中全部或部分数据，至此，数据存储组件设计成型。
步骤S3，获取所述目标存储缓存区的写入状态是否为满；
步骤S41，在所述目标存储缓存区为空闲时，写入所述待写入数据；
步骤S42，在所述目标存储缓存区为满时，根据所述待写入数据的来源，确定对应的写入策略；其中，所述写入策略包括阻塞策略、覆盖策略以及返回策略中的至少两种。
其中，同时为了适应不同场景，Buffer需指定下面三种写入策略，这些策略只在Buffer写满的情况下才生效：
阻塞策略（默认）：写入线程阻塞等待，直到Buffer有空闲空间为止，写入所述待写入数据。
覆盖策略：写入所述待写入数据至所述目标存储缓存区，覆盖所述目标存储缓存区的旧数据，这种策略会导致缓存在Buffer中的旧数据丢失。
上层判断策略：如果无法写入则直接返回false，由上层应用通过返回值判断如何处理。
步骤S5，获取数据消费者线程数，判断所述消费者线程数是否大于所述存储缓冲区的数量值；
步骤S61，在所述消费者线程大于所述存储缓冲区的数量值时，将S个所述存储缓冲区中的一个或多个存储缓冲区作为共用的存储缓冲区，在每个所述共用的存储缓冲区内划分出多个部分缓存区，一个所述共用的存储缓冲区中的多个所述部分缓存区分别分配至不同的所述消费者线程进行消费。
进一步的，还包括步骤S62，在所述消费者线程小于所述存储缓冲区的数量值时，至少两个所述存储缓冲区分配至同一个所述消费者线程进行消费。
进一步的，还包括步骤S62，在所述消费者线程等于所述存储缓冲区的数量值时，为每个所述存储缓冲区分配一个对应的所述消费者线程进行消费。
具体的，生产者不做特殊的处理，可直接使用Channels的写操作。消费者定义消费线程概念，根据Channels中的Buffer数量以及消费线程数进行分配：如果Buffer个数较多，则一个消费线程处理多个Buffer；如果消费线程数较多，则一个Buffer被划分为多个区域，由不同的消费线程进行消费，也就是每个消费线程负责消费一个Buffer的一个区域；如果两者数量正好相同，则是一对一的消费关系。
请一并结合图5，这里的ConsumerThread1消费线程同时消费了三个Buffer，一个消费线程消费的Buffer都是来自同一个 Channels。如上图所示，ConsumerThread1消费线程会消费Buffer1和Buffer2中1-3这部分元素；同时也会消费 Buffer3中2-5这部分元素。ConsumerThread2线程只会消费Buffer3中0-1这部分元素。
在本发明的技术方案中的轻量级数据生产-消费者模式处理方法，通过确定分发渠道中环形指针队列存储缓冲区的数量值S，以及每个存储缓冲区的大小值K；根据数据分发器的数据分发规则，确定数据生产者产生的待写入数据所应分发至的目标存储缓存区；在所述目标存储缓存区为满时，根据所述待写入数据的来源，确定对应的写入策略；其中，所述写入策略包括阻塞策略、覆盖策略以及返回策略中的至少两种；在所述消费者线程大于所述存储缓冲区的数量值时，将所述存储缓冲区中的一个或多个存储缓冲区分别划分为多个部分缓存区，一个所述存储缓冲区中的所述多个部分缓存区分别分配至不同的所述消费者线程进行消费。无需复杂的调用流程，直接由分发渠道定义环形指针队列buffer的数量和个数，借由简单的分发器规则和写入规则，无需设置消息队列中间件，直接实现了数据包的生产-消费处理，降低了数据量，实现轻量级的目的，同时有效地减缓了高速缓冲存储器颠簸。
请参考图6，为本发明一实施例中，本发明的实施例还提供了一种计算机系统/基于规则库算法引擎的社保征收系统10，包括存储器51、处理器52以及存储在所述存储器51中并可在所述处理器52上运行的计算机程序53，所述处理器52执行所述计算机程序53时实现上述的轻量级数据生产-消费者模式处理方法的步骤。
即，在本发明的具体实施例中，计算机系统的处理器52执行所述计算机程序53时实现上述的轻量级数据生产-消费者模式处理方法的步骤，同样能够实现轻量级数据生产-消费者模式处理方法无需复杂的调用流程，直接由分发渠道定义环形指针队列buffer的数量和个数，借由简单的分发器规则和写入规则，无需设置消息队列中间件，直接实现了数据包的生产-消费处理，降低了数据量，实现轻量级的目的，同时有效地减缓了高速缓冲存储器颠簸的优点。
此外，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的轻量级数据生产-消费者模式处理方法的步骤。
即，在本发明的具体实施例中，计算机可读存储介质的计算机程序被处理器执行时实现上述的轻量级数据生产-消费者模式处理方法的步骤，同样能够实现轻量级数据生产-消费者模式处理方法无需复杂的调用流程，直接由分发渠道定义环形指针队列buffer的数量和个数，借由简单的分发器规则和写入规则，无需设置消息队列中间件，直接实现了数据包的生产-消费处理，降低了数据量，实现轻量级的目的，同时有效地减缓了高速缓冲存储器颠簸的优点。
示例性的，计算机可读存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。
在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、 或“第一实施例~第X实施例”等的描述意指结合该实施例或示例描述的具体特征、 结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料、方法步骤或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种轻量级数据生产-消费者模式处理方法，其特征在于，包括步骤：
步骤S1，确定分发渠道中存储缓冲区的数量值S，以及每个存储缓冲区的大小值K，其中，每个所述存储缓冲区为由K个存储单元构成的环形指针队列；
步骤S2，根据数据分发器的数据分发规则，确定数据生产者产生的待写入数据所应分发至的目标存储缓存区；
步骤S3，获取所述目标存储缓存区的写入状态是否为满；
步骤S41，在所述目标存储缓存区为空闲时，写入所述待写入数据；
步骤S42，在所述目标存储缓存区为满时，根据所述待写入数据的来源，确定对应的写入策略；其中，所述写入策略包括阻塞策略、覆盖策略以及返回策略中的至少两种；
步骤S5，获取数据消费者线程数，判断所述消费者线程数是否大于所述存储缓冲区的数量值；
步骤S61，在所述消费者线程大于所述存储缓冲区的数量值时，将S个所述存储缓冲区中的一个或多个存储缓冲区作为共用的存储缓冲区，在每个所述共用的存储缓冲区内划分出多个部分缓存区，一个所述共用的存储缓冲区中的多个所述部分缓存区分别分配至不同的所述消费者线程进行消费。
2.根据权利要求1所述的轻量级数据生产-消费者模式处理方法，其特征在于，还包括步骤S62，在所述消费者线程小于所述存储缓冲区的数量值时，至少两个所述存储缓冲区分配至同一个所述消费者线程进行消费。
3.根据权利要求1所述的轻量级数据生产-消费者模式处理方法，其特征在于，还包括步骤S62，在所述消费者线程等于所述存储缓冲区的数量值时，为每个所述存储缓冲区分配一个对应的所述消费者线程进行消费。
4.根据权利要求1所述的轻量级数据生产-消费者模式处理方法，其特征在于，所述阻塞策略包括等待所述目标存储缓存区为空闲时，写入所述待写入数据；所述覆盖策略包括写入所述待写入数据至所述目标存储缓存区，覆盖所述目标存储缓存区的旧数据；所述返回策略包括返回false，由上层应用通过返回值判断如何处理。
5.根据权利要求1所述的轻量级数据生产-消费者模式处理方法，其特征在于，所述数据分发器包括线程分发器以及简单循环自增分发器；其中，所述线程分发器的数据分发规则包括根据写入的线程ID进行分发，保证相同线程写入的数据都在一个所述目标存储缓存区中；所述简单循环自增分发器的数据分发规则包括使用自增并取模的形式，确定要写入的所述目标存储缓存区。
6.根据权利要求1所述的轻量级数据生产-消费者模式处理方法，其特征在于，所述K的值为6或者8。
7.根据权利要求6所述的轻量级数据生产-消费者模式处理方法，其特征在于，环形指针队列包括strat值和end值，指针值初始值为所述strat值，在所述指针值递增至所述end值后，重置为所述strat值。
8.一种数据处理系统，其特征在于，包括存储器、处理器、存储在所述存储器中并可在所述处理器上运行的计算机程序、以及接收所述处理器指令的控制器，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的轻量级数据生产-消费者模式处理方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的轻量级数据生产-消费者模式处理方法的步骤。
CN202111168008.5A 2021-10-08 2021-10-08 轻量级数据生产-消费者模式处理方法、系统及存储介质 Active CN113608899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111168008.5A CN113608899B (zh) 2021-10-08 2021-10-08 轻量级数据生产-消费者模式处理方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111168008.5A CN113608899B (zh) 2021-10-08 2021-10-08 轻量级数据生产-消费者模式处理方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113608899A CN113608899A (zh) 2021-11-05
CN113608899B true CN113608899B (zh) 2021-12-17

Family

ID=78310717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111168008.5A Active CN113608899B (zh) 2021-10-08 2021-10-08 轻量级数据生产-消费者模式处理方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113608899B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253714B (zh) * 2021-12-07 2024-04-12 四川新网银行股份有限公司 一种基于阻塞队列的多线程数据处理的方法、系统及设备
CN116684475B (zh) * 2023-08-01 2023-10-24 中海油信息科技有限公司 基于微服务的全流程数据流量控制系统与方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744621A (zh) * 2013-12-31 2014-04-23 深圳英飞拓科技股份有限公司 缓冲区循环读写的方法及装置
CN107239343A (zh) * 2017-06-02 2017-10-10 浪潮金融信息技术有限公司 数据处理方法及装置
CN111208985A (zh) * 2020-04-21 2020-05-29 南京云信达科技有限公司 基于生产者消费者模型的数据处理方法、系统及存储介质
CN112015529A (zh) * 2020-08-05 2020-12-01 北京奇艺世纪科技有限公司 数据任务调度方法、系统、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751737B2 (en) * 2009-06-26 2014-06-10 Alcatel Lucent Method and apparatus for using a shared ring buffer to provide thread synchronization in a multi-core processor system
US20210019261A1 (en) * 2019-07-17 2021-01-21 Red Hat, Inc. Memory cache-line bounce reduction for pointer ring structures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744621A (zh) * 2013-12-31 2014-04-23 深圳英飞拓科技股份有限公司 缓冲区循环读写的方法及装置
CN107239343A (zh) * 2017-06-02 2017-10-10 浪潮金融信息技术有限公司 数据处理方法及装置
CN111208985A (zh) * 2020-04-21 2020-05-29 南京云信达科技有限公司 基于生产者消费者模型的数据处理方法、系统及存储介质
CN112015529A (zh) * 2020-08-05 2020-12-01 北京奇艺世纪科技有限公司 数据任务调度方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN113608899A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN113608899B (zh) 轻量级数据生产-消费者模式处理方法、系统及存储介质
US5325526A (en) Task scheduling in a multicomputer system
CN105393227B (zh) 存储器控制的数据移动及时序
EP1783609A1 (en) Processing management device, computer system, distributed processing method, and computer program
US9293187B2 (en) Methods and apparatus for refreshing digital memory circuits
CN102611735A (zh) 一种应用服务的负载均衡方法及系统
CN101414269A (zh) 功率/性能服务质量的基于优先级的调节
GB2529075A (en) Graphics processor with non-blocking concurrent architecture
CN103605576A (zh) 一种基于多线程的MapReduce执行系统
US20110161969A1 (en) Consolidating CPU - Cache - Memory Access Usage Metrics
CN105320608A (zh) 用于控制存储器设备处理访问请求的存储器控制器和方法
CN103237296A (zh) 短信发送方法和用于发送短信的系统
CN101150486A (zh) 一种零拷贝缓冲区队列网络数据接收的管理方法
CN112947860B (zh) 一种分布式数据副本的分级存储与调度方法
CN113821940B (zh) 一种基于分布式黑板机制的仿真系统
CN115118723A (zh) 集群调度系统
CN113190528B (zh) 一种并行分布式大数据架构构建方法及系统
CN114710571A (zh) 数据包处理系统
CN109992399A (zh) 资源管理方法、装置、移动终端及计算机可读存储介质
WO2021218101A1 (zh) 固态硬盘的缓存管理系统、方法、装置
CN102567225A (zh) 一种管理系统内存的方法及装置
US20230289223A1 (en) Task scheduling method, game engine, device and storage medium
CN115391053B (zh) 基于cpu和gpu混合计算的在线服务方法及装置
CN116578416A (zh) 一种基于gpu虚拟化的信号级仿真加速方法
CN115981819A (zh) 用于多核系统的核心调度方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant