CN112965805A - 基于内存映射文件的跨进程异步任务处理方法及系统 - Google Patents

基于内存映射文件的跨进程异步任务处理方法及系统 Download PDF

Info

Publication number
CN112965805A
CN112965805A CN202110321934.5A CN202110321934A CN112965805A CN 112965805 A CN112965805 A CN 112965805A CN 202110321934 A CN202110321934 A CN 202110321934A CN 112965805 A CN112965805 A CN 112965805A
Authority
CN
China
Prior art keywords
task
storage
asynchronous
file
task information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110321934.5A
Other languages
English (en)
Other versions
CN112965805B (zh
Inventor
吝晓军
宋仁春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CIB Fintech Services Shanghai Co Ltd
Original Assignee
CIB Fintech Services Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CIB Fintech Services Shanghai Co Ltd filed Critical CIB Fintech Services Shanghai Co Ltd
Priority to CN202110321934.5A priority Critical patent/CN112965805B/zh
Publication of CN112965805A publication Critical patent/CN112965805A/zh
Application granted granted Critical
Publication of CN112965805B publication Critical patent/CN112965805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0871—Allocation or management of cache space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0873—Mapping of cache memory to specific storage devices or parts thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于内存映射文件的跨进程异步任务处理方法及系统，包括：步骤S1：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；步骤S2：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。本发明通过采用内存映射文件记录待处理任务的机制，实现跨进程任务登记和处理，主交易进程高效登记待处理任务，任务处理进程异步处理任务，既解决了额外附加的操作处理，又不影响主交易的性能，解决了各种高并发交易的附加操作，如日志记录、流量统计、异步消息发送等业务场景。

Description

基于内存映射文件的跨进程异步任务处理方法及系统
技术领域
本发明涉及计算机通信技术领域，具体地，涉及一种基于内存映射文件的跨进程异步任务处理解决方案。
背景技术
目前解决高并发异步处理任务比较流程的办法为消息队列，一般做法为主交易作为消息生产者将需要做的任务发送到消息队列，由消息消费者异步处理任务，这种方式需要消息中间件支撑，有以下缺点：
1.消息中间件过于庞大，需要单独部署，对整个系统架构带来额外开销，不适合体量较小的应用，且消息中间件本身技术复杂，需要专门的人员对其进行调优，技术成本比较大
2.消息中间件一般消息的发送和接收均需要通过网络通讯，其性能低于本方案采用的内存映射文件读写
3.消息中间件需要开启持久化来保障可靠性，进一步影响了消息发送接收的性能，本方案采用内存映射存储，既满足了持久化可靠性，又不影响读写性能。
专利文献CN109254845A(申请号：201810847512.X)公开了一种应用于分布式通信计算服务端的线性扩展实现方法，该方法充分的将Server主进程的各种功能拆分出来，采用微服务的方式，使每一种功能形成一个进程，进程内再根据不同功能的特点，划分出若干多线程，来处理具体的逻辑任务，进程彼此之间是独立运行的，互不干扰，进程间通信使用需要传送的必要数据作为上下文，进程之间使用Socket进行通信。本发明通过CPU占用率、网络宽带使用情况、用户在线数，提供一个合理的负载均衡算法；通过复用Socket实现了跨进程的通信，隔离了多个用户的同时操作，极大地缓解了单进程模型的压力；通过线程池，充分的利用了硬件上的所有CPU资源，极大地降低了服务器部署成本。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于内存映射文件的跨进程异步任务处理方法及系统。
根据本发明提供的一种基于内存映射文件的跨进程异步任务处理方法，包括：
步骤S1：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；
步骤S2：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。
优选地，所述步骤S1中任务存储模块包括：N个存储组，每个存储组包括任务信息存储文件和任务信息索引文件；
所述任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间；
所述任务信息索引文件记录每个存储单元的状态，组成一个循环链表按顺序存储待处理的任务信息。
优选地，所述步骤S1包括：锁定任务存储模块中一个存储组，查找存储组的任务信息索引文件的循环链表，在待处理单元后面最近的空闲存储单元进行记录，记录后将当前存储单元设置为待处理。
优选地，所述步骤S2包括：在异步任务处理进程中，当前异步任务处理进程与主交易进程运行在同一个服务器中。
优选地，所述步骤S2包括：针对任务存储模块中每一个存储组创建一个线程，当前线程负责顺序读取存储组的任务信息索引文件的循环链表，查找最前面的状态为待处理的任务，任务处理线程池执行最前面的状态为待处理的任务，在处理完成后将任务存储单元状态设置为空闲。
优选地，还包括：异步任务信息记录模块和异步任务信息处理模块均采用内存映射文件技术奖任务存储模块的存储文件映射到内存进行读写。
根据本发明提供的一种基于内存映射文件的跨进程异步任务处理系统，包括：
任务存储模块：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；
异步任务信息处理模块：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。
优选地，所述任务存储模块包括：N个存储组，每个存储组包括任务信息存储文件和任务信息索引文件；
所述任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间；
所述任务信息索引文件记录每个存储单元的状态，组成一个循环链表按顺序存储；
所述任务存储模块包括：锁定任务存储模块中一个存储组，查找存储组的任务信息索引文件的循环链表，在待处理单元后面最近的空闲存储单元进行记录，记录后将当前存储单元设置为待处理。
优选地，所述异步任务信息处理模块包括：在异步任务处理进程中，当前异步任务处理进程与主交易进程运行在同一个服务器中；
所述异步任务信息处理模块包括：针对任务存储模块中每一个存储组创建一个线程，当前线程负责顺序读取存储组的任务信息索引文件的循环链表，查找最前面的状态为待处理的任务，任务处理线程池执行最前面的状态为待处理的任务，在处理完成后将任务存储单元状态设置为空闲。
优选地，还包括：异步任务信息记录模块和异步任务信息处理模块均采用内存映射文件技术奖任务存储模块的存储文件映射到内存进行读写。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过采用内存映射文件记录待处理任务的机制，实现跨进程任务登记和处理，主交易进程高效登记待处理任务，任务处理进程异步处理任务，既解决了额外附加的操作处理，又不影响主交易的性能，解决了各种高并发交易的附加操作，如日志记录、流量统计、异步消息发送等业务场景，实现了功能解耦。
2、本发明采用内存映射文件记录待处理任务的机制，在任务信息读取写入均通过内存操作，不依赖任何外部设备和环境，其性能远远高于网络、数据库进行跨进程交互，大大降低了部署维护成本。
3、本发明采用内存映射文件记录待处理任务的机制，可以起到任务缓冲及持久化作用，在任务处理进程忙不过来的情况下，不影响主交易登记性能，同时也不会造成待处理任务丢失，而且随着存储文件越多，能够缓冲持久化的任务也越多。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于内存映射文件的跨进程异步任务处理系统示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
根据本发明提供的一种基于内存映射文件的跨进程异步任务处理方法，包括：
步骤S1：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；
具体地，所述步骤S1中任务存储模块包括：N个存储组，每个存储组包括任务信息存储文件和任务信息索引文件；
所述任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间；
所述任务信息索引文件记录每个存储单元的状态，组成一个循环链表按顺序存储待处理的任务信息。
具体地，所述步骤S1包括：锁定任务存储模块中一个存储组，查找存储组的任务信息索引文件的循环链表，在待处理单元后面最近的空闲存储单元进行记录，记录后将当前存储单元设置为待处理。
步骤S2：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。
具体地，所述步骤S2包括：在异步任务处理进程中，当前异步任务处理进程与主交易进程运行在同一个服务器中。
具体地，所述步骤S2包括：针对任务存储模块中每一个存储组创建一个线程，当前线程负责顺序读取存储组的任务信息索引文件的循环链表，查找最前面的状态为待处理的任务，任务处理线程池执行最前面的状态为待处理的任务，在处理完成后将任务存储单元状态设置为空闲。
具体地，还包括：异步任务信息记录模块和异步任务信息处理模块均采用内存映射文件技术奖任务存储模块的存储文件映射到内存进行读写。
根据本发明提供的一种基于内存映射文件的跨进程异步任务处理系统，包括：
任务存储模块：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；
具体地，所述任务存储模块包括：N个存储组，每个存储组包括任务信息存储文件和任务信息索引文件；
所述任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间；
所述任务信息索引文件记录每个存储单元的状态，组成一个循环链表按顺序存储待处理的任务信息；
所述任务存储模块包括：锁定任务存储模块中一个存储组，查找存储组的任务信息索引文件的循环链表，在待处理单元后面最近的空闲存储单元进行记录，记录后将当前存储单元设置为待处理。
异步任务信息处理模块：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。
具体地，所述异步任务信息处理模块包括：在异步任务处理进程中，当前异步任务处理进程与主交易进程运行在同一个服务器中；
所述异步任务信息处理模块包括：针对任务存储模块中每一个存储组创建一个线程，当前线程负责顺序读取存储组的任务信息索引文件的循环链表，查找最前面的状态为待处理的任务，任务处理线程池执行最前面的状态为待处理的任务，在处理完成后将任务存储单元状态设置为空闲。
具体地，还包括：异步任务信息记录模块和异步任务信息处理模块均采用内存映射文件技术奖任务存储模块的存储文件映射到内存进行读写。
实施例2
实施例2是实施例1的优选例
在高并发高吞吐应用的交易线程中需要进行一些额外的操作，如登记日志、统计流量等，但我们不希望这些操作影响交易线程本身逻辑处理和性能，本发明主要负责高效可靠的处理这些额外操作，而不影响交易线程本身逻辑处理和性能。
本方案分为两个进程，三个模块，包括：
任务存储模块，负责存储待处理的任务，其包括N个存储组，每个存储组包括两个文件，一个为任务信息存储文件，一个为任务信息索引文件。任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间，如1K，任务信息索引文件记录了每个存储单元的状态(0-空闲，1-待处理)，这样就组成了一个循环链表按顺序存储待处理的任务信息。假如一个任务单元占用1K空间，那么一个20M的任务信息存储文件可以存储20M/1K＝20480个任务信息，N个存储组就可以支撑N*20480个任务信息的存储，支撑N个线程同时登记任务信息。
异步任务信息记录模块，在主交易进程中运行，负责将需要额外处理的操作封装成一个任务信息，记录到任务存储模块中，其记录规则为：先锁定一个存储组，然后查找存储组的任务信息索引文件的循环链表，找出待处理单位后面最近的空闲存储单元0进行记录，记录后将该存储单元设置为待处理1，为了保障性能，这里采用内存映射文件技术将任务信息存储文件及索引文件映射到内存进行记录，同时保持住下一个空闲单元的指针，避免每次都查找空闲位置。
异步任务信息处理模块，在任务处理进程中运行，该进程与主交易进行运行在同一个服务器中，其针对每一个存储组创建一个线程，该线程负责顺序读取存储组的任务信息索引文件的循环链表，找出最前面的状态为待处理1的任务，然后交给任务处理线程池执行真正的操作(如记录日志、统计流程等)，在处理完成后将任务存储单元状态设置为空闲0。为了保障性能，这里采用内存映射文件技术将任务信息存储文件和任务信息索引文件映射到内存进行读取和状态更新。
如图1所示，任务信息索引文件1和任务信息存储文件1组成一个任务存储组，记录器1、读线程1分别归属任务信息记录模块和任务信息处理模块、负责读写对应的任务存储组文件，这样可以组成N个任务存储组及其对应的读写线程，支撑N个业务线程并发记录待处理任务。
按照以上三个模块的逻辑，主交易进程调用异步任务信息记录模块将需要处理的任务写入到任务存储模块中即可，而异步任务信息处理模块负责从任务存储模块读取待处理的任务进行处理，这样往复循环可以实现高效的异步任务处理，既处理了任务，也保障了交易进程的性能。为了保障读写性能，异步任务信息记录模块和异步任务信息处理模块均采用内存映射文件技术将任务存储模块的存储文件映射到内存进行读写。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种基于内存映射文件的跨进程异步任务处理方法，其特征在于，包括：
步骤S1：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；
步骤S2：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。
2.根据权利要求1所述的基于内存映射文件的跨进程异步任务处理方法，其特征在于，所述步骤S1中任务存储模块包括：N个存储组，每个存储组包括任务信息存储文件和任务信息索引文件；
所述任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间；
所述任务信息索引文件记录每个存储单元的状态，组成一个循环链表按顺序存储。
3.根据权利要求1所述的基于内存映射文件的跨进程异步任务处理方法，其特征在于，所述步骤S1包括：锁定任务存储模块中一个存储组，查找存储组的任务信息索引文件的循环链表，在待处理单元后面最近的空闲存储单元进行记录，记录后将当前存储单元设置为待处理。
4.根据权利要求1所述的基于内存映射文件的跨进程异步任务处理方法，其特征在于，所述步骤S2包括：针对任务存储模块中每一个存储组创建一个线程，当前线程负责顺序读取存储组的任务信息索引文件的循环链表，查找最前面的状态为待处理的任务，任务处理线程池执行最前面的状态为待处理的任务，在处理完成后将任务信息索引文件存储单元状态设置为空闲。
5.根据权利要求1所述的基于内存映射文件的跨进程异步任务处理方法，其特征还包括：异步任务信息记录模块和异步任务信息处理模块在两个进程中，运行在同一个服务器中，且均采用内存映射文件技术将任务存储模块的存储文件映射到内存进行读写，以便于提高性能及跨进程数据数据同步。
6.一种基于内存映射文件的跨进程异步任务处理系统，其特征在于，包括：
任务存储模块：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；
异步任务信息处理模块：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。
7.根据权利要求6所述的基于内存映射文件的跨进程异步任务处理系统，其特征在于，所述任务存储模块包括：N个存储组，每个存储组包括任务信息存储文件和任务信息索引文件；
所述任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间；
所述任务信息索引文件记录每个存储单元的状态，组成一个循环链表按顺序存储；
所述任务存储模块包括：锁定任务存储模块中一个存储组，查找存储组的任务信息索引文件的循环链表，在待处理单元后面最近的空闲存储单元进行记录，记录后将当前存储单元设置为待处理。
8.根据权利要求6所述的基于内存映射文件的跨进程异步任务处理系统，其特征在于，所述异步任务信息处理模块包括：在异步任务处理进程中，当前异步任务处理进程与主交易进程运行在同一个服务器中；
所述异步任务信息处理模块包括：针对任务存储模块中每一个存储组创建一个线程，当前线程负责顺序读取存储组的任务信息索引文件的循环链表，查找最前面的状态为待处理的任务，任务处理线程池执行最前面的状态为待处理的任务，在处理完成后将任务存储单元状态设置为空闲。
9.根据权利要求6所述的基于内存映射文件的跨进程异步任务处理系统，其特征在于，还包括：异步任务信息记录模块和异步任务信息处理模块均采用内存映射文件技术奖任务存储模块的存储文件映射到内存进行读写。
CN202110321934.5A 2021-03-25 2021-03-25 基于内存映射文件的跨进程异步任务处理方法及系统 Active CN112965805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110321934.5A CN112965805B (zh) 2021-03-25 2021-03-25 基于内存映射文件的跨进程异步任务处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110321934.5A CN112965805B (zh) 2021-03-25 2021-03-25 基于内存映射文件的跨进程异步任务处理方法及系统

Publications (2)

Publication Number Publication Date
CN112965805A true CN112965805A (zh) 2021-06-15
CN112965805B CN112965805B (zh) 2023-12-05

Family

ID=76278575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110321934.5A Active CN112965805B (zh) 2021-03-25 2021-03-25 基于内存映射文件的跨进程异步任务处理方法及系统

Country Status (1)

Country Link
CN (1) CN112965805B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934581A (zh) * 2023-03-08 2023-04-07 北京微步在线科技有限公司 一种跨进程内存的处理方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030026373A (ko) * 2001-09-06 2003-04-03 오정석 메모리 관리장치를 구비한 전송서버 및 그 방법
WO2015070705A1 (zh) * 2013-11-14 2015-05-21 华为技术有限公司 一种业务流程调度的计算机设备、方法和装置
US20160350392A1 (en) * 2015-05-29 2016-12-01 Nuodb, Inc. Table partitioning within distributed database systems
KR20190008673A (ko) * 2017-07-17 2019-01-25 주식회사 코난테크놀로지 비동기 방식을 사용하는 파일 색인장치 및 그 방법
CN109359005A (zh) * 2018-09-14 2019-02-19 厦门天锐科技股份有限公司 一种跨进程的数据采集处理方法
WO2019148734A1 (zh) * 2018-02-01 2019-08-08 平安科技（深圳）有限公司 统一线程池处理方法、应用服务器及计算机可读存储介质
CN111414134A (zh) * 2020-02-20 2020-07-14 上海交通大学 面向持久内存文件系统的事务写优化框架的方法及系统
CN112486913A (zh) * 2020-11-12 2021-03-12 思创数码科技股份有限公司 一种基于集群环境下的日志异步存储方法和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030026373A (ko) * 2001-09-06 2003-04-03 오정석 메모리 관리장치를 구비한 전송서버 및 그 방법
WO2015070705A1 (zh) * 2013-11-14 2015-05-21 华为技术有限公司 一种业务流程调度的计算机设备、方法和装置
US20160350392A1 (en) * 2015-05-29 2016-12-01 Nuodb, Inc. Table partitioning within distributed database systems
KR20190008673A (ko) * 2017-07-17 2019-01-25 주식회사 코난테크놀로지 비동기 방식을 사용하는 파일 색인장치 및 그 방법
WO2019148734A1 (zh) * 2018-02-01 2019-08-08 平安科技（深圳）有限公司 统一线程池处理方法、应用服务器及计算机可读存储介质
CN109359005A (zh) * 2018-09-14 2019-02-19 厦门天锐科技股份有限公司 一种跨进程的数据采集处理方法
CN111414134A (zh) * 2020-02-20 2020-07-14 上海交通大学 面向持久内存文件系统的事务写优化框架的方法及系统
CN112486913A (zh) * 2020-11-12 2021-03-12 思创数码科技股份有限公司 一种基于集群环境下的日志异步存储方法和设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DAMIEN IMBS ET AL.: "Read/write shared memory abstraction on top of asynchronous Byzantine message-passing systems", JOURNAL OF PARALLEL AND DISTRIBUTED COMPUTING *
康松林;樊晓平;施荣华;: "管理代理与监控模块通信设计", 计算机应用研究, no. 05 *
张帮亮等: "基于内存映射的大文件处理方法研究", 中文科技期刊数据库（全文版）工程技术 *
生拥宏;刘川意;鞠大鹏;汪东升;: "差量存储的集中式文件级连续数据保护方法", 计算机科学与探索, no. 04 *
隔壁老李头: "Android跨进程通信IPC之13——Binder总结", Retrieved from the Internet <URL:https://www.jianshu.com/p/485233919c15> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934581A (zh) * 2023-03-08 2023-04-07 北京微步在线科技有限公司 一种跨进程内存的处理方法及系统
CN115934581B (zh) * 2023-03-08 2023-05-05 北京微步在线科技有限公司 一种跨进程内存的处理方法及系统

Also Published As

Publication number Publication date
CN112965805B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
US9619430B2 (en) Active non-volatile memory post-processing
CN104731896B (zh) 一种数据处理方法及系统
KR101259557B1 (ko) 클러스터 데이터 관리 시스템 및 클러스터 데이터 관리 시스템에서 병렬 처리를 이용한 데이터 복구 방법
US8984085B2 (en) Apparatus and method for controlling distributed memory cluster
CN111444196B (zh) 块链式账本中全局状态的哈希的生成方法、装置及设备
CN111414389B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN104541244A (zh) 用于进行重放执行的方法和系统
US8566636B2 (en) Application recovery in a file system
CN111444192B (zh) 块链式账本中全局状态的哈希的生成方法、装置及设备
CN101963977A (zh) 无城市搜索方法及移动终端
US11126359B2 (en) Partitioning graph data for large scale graph processing
CN102968339A (zh) 基于云计算架构实现复杂事件处理的系统及其方法
CN109213432A (zh) 利用日志结构合并树将数据写入的存储设备及其方法
CN112965805B (zh) 基于内存映射文件的跨进程异步任务处理方法及系统
US7600074B2 (en) Controller of redundant arrays of independent disks and operation method thereof
CN111259066A (zh) 服务器集群数据同步方法及装置
US20160203032A1 (en) Series data parallel analysis infrastructure and parallel distributed processing method therefor
CN112764679B (zh) 一种动态扩容的方法及终端
CN111984198A (zh) 消息队列实现方法、装置及电子设备
Membrey et al. A disk based stream oriented approach for storing big data
CN103490923A (zh) 日志文件的读写方法、装置及系统
CN111208953A (zh) 一种分布式存储方法及其装置
CN109977079A (zh) 一种基于分布式文件系统的数据处理方法及装置
CN115757397A (zh) 数据库表的数据重整方法和装置、介质和计算机设备
CN109062731A (zh) 一种数据库切换时的幂等控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant