CN107203433A - 一种共享内存的多个程序间数据同步方法和装置 - Google Patents

Abstract

本发明实施例提供一种共享内存的多个程序间数据同步方法和装置，其中，该方法包括：针对共享内存的多个程序，当任一程序接收到新的请求时，生成设定结构的操作命令并执行，以及将生成的操作命令写入预设内存空间中；需要同步数据的程序监控所述预设内存空间；以及在监控到所述预设内存空间中写入新的操作命令后，读取并模拟完成所述新的操作命令，实现数据同步。本发明解决了现有的多个程序共享数据时候存在数据冲突的技术，达到了简单高效实现数据共享的技术效果。

Description

一种共享内存的多个程序间数据同步方法和装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种共享内存的多个程序间数据同步方法和装置。

背景技术

目前，为了实现不同程序件的同步，一般采用如下两种方式：

1)日志同步，即，每个程序将每一步的操作和操作结果写入日志，另一个程序读取日志，并解析还原操作，以实现同步。

2)共享内存，即，多个程序通过共享内存来共享数据。

然而，上述方式1日志同步的方式多用于故障后回滚数据等非实时场景，例如：mysql的binlog。通过该方式虽然可以实现同步，但是，如果希望做到实时同步，则对硬盘的读写速度要求很高，实现起来代价太大，因此，几乎无法通过该方式实现数据的实时同步。

上述方式2虽然可以实现0延迟的数据同步，但是由于内存没有写保护，因此会导致多个程序对同一块数据反复进行擦写，容易导致使用同一块内存的程序全部崩溃。

针对如何实现多个程序间的数据同步，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供一种共享内存的多个程序间数据同步方法和装置，以实现多个程序间的数据同步。

一方面，本发明实施例提供了一种共享内存的多个程序间数据同步方法，包括：

针对共享内存的多个程序，当任一程序接收到新的请求时，生成设定结构的操作命令并执行，以及将生成的操作命令写入预设内存空间中；需要同步数据的程序监控所述预设内存空间；以及在监控到所述预设内存空间中写入新的操作命令后，读取并模拟完成所述新的操作命令，实现数据同步。

可选地，所述预设内存空间是从共享内存中划分出的固定大小的内存区块，所述预设内存空间包括：数据存储区块、信息记录区块；其中，所述数据存储区块用于存储操作命令，所述信息记录区块用于存储数据存储区块的最后写入数据时间和大小；需要同步数据的程序监控所述预设内存空间，具体包括：需要同步数据的程序监控预设内存空间中、存储于信息记录区块的所述最后写入数据时间；以及监控到所述预设内存空间中写入新的操作命令的方法，具体包括：如果所述最后写入数据时间大于本程序记录的最后同步数据时间，则判定所述预设内存空间中写入新的操作命令。

可选地，所述操作命令采用带有时序的信令结构，具体信令结构包括如下字段：信令开始标志、本信令内数据长度、时间戳、被读取次数、最后读取时间、操作命令内容、附加参数和数据、信令结束标志；以及所述读取并模拟完成所述新的操作命令，实现数据同步之后，还包括：将读取的所述新的操作命令中，被读取次数字段的数值加一，并将最后读取时间字段修改为本程序的读取时间。

可选地，将操作命令按照先进先出的策略，按内存地址从前向后循环写入所述数据存储区块中。

可选地，上述方法还包括：从共享内存中划分出部分存储区域作为所述预设内存空间，并设置所述预设内存空间允许被共享内存的多个程序写入和读取数据。

另一方面，本发明实施例提供了一种共享内存的多个程序间数据同步装置，可以包括：

写入模块，用于针对共享内存的多个程序，当任一程序接收到新的请求时，生成设定结构的操作命令并执行，以及将生成的操作命令写入预设内存空间中；监控模块，用于需要同步数据的程序监控所述预设内存空间；以及同步模块，用于在监控到所述预设内存空间中写入新的操作命令后，读取并模拟完成所述新的操作命令，实现数据同步。

可选地，所述预设内存空间是从共享内存中划分出的固定大小的内存区块，所述预设内存空间包括：数据存储区块、信息记录区块；其中，所述数据存储区块用于存储操作命令，所述信息记录区块用于存储数据存储区块的最后写入数据时间和大小；其中，所述监控模块具体用于需要同步数据的程序监控预设内存空间中、存储于信息记录区块的所述最后写入数据时间；所述同步模块具体用于在所述最后写入数据时间大于本程序记录的最后同步数据时间的情况下，判定所述预设内存空间中写入新的操作命令。

可选地，所述操作命令采用带有时序的信令结构，具体信令结构包括如下字段：信令开始标志、本信令内数据长度、时间戳、被读取次数、最后读取时间、操作命令内容、附加参数和数据、信令结束标志；所述同步模块，还用于在读取并模拟完成所述新的操作命令，实现数据同步之后，将读取的所述新的操作命令中，被读取次数字段的数值加一，并将最后读取时间字段修改为本程序的读取时间。

可选地，所述写入模块，具体用于将操作命令按照先进先出的策略，按内存地址从前向后循环写入所述数据存储区块中。

可选地，上述装置还包括：设置模块，用于从共享内存中划分出部分存储区域作为所述预设内存空间，并设置所述预设内存空间允许被共享内存的多个程序写入和读取数据。

上述技术方案具有如下有益效果：因为开辟一段预设的内存空间，对于共享内存的多个程序都将自身基于新请求的操作命令写入预设的内存空间中，需要同步数据的程序监控预设内存空间；一旦监控到预设内存空间中写入新的操作命令，则读取并模拟完成新的操作命令，实现数据同步，从而解决了现有的多个程序共享数据时候存在数据冲突的技术，达到了简单高效实现数据共享的技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的共享内存的多个程序间数据同步方法流程图；

图2是根据本发明实施例的共享内存的多个程序间数据同步装置结构框图；

图3是根据本发明实施例的程序基于指令进行数据共享的流程图；

图4是根据本发明实施例的信令结构的组成示意图；

图5是根据本发明实施例的数据存储区块的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有的数据同步共享方法所存在的问题，在本例中提供了一种共享内存的多个程序间数据同步方法，如图1所示，可以包括如下步骤：

步骤101：针对共享内存的多个程序，当任一程序接收到新的请求时，生成设定结构的操作命令并执行，以及将生成的操作命令写入预设内存空间中；

即，可以为多个共享数据的程序设置一块预设内存空间，这块内存空间是这些程序都可以访问的，且对于每个程序而言，如果有对数据的操作或者修改指令，在执行这些操作命令的时候，也会将这些操作命令写入预设内存空间中，使得其它程序知道数据有修改，并可以基于这种操作命令模拟出新的数据，从而使得程序之间在共享数据的时候，也不会出现数据冲突。

步骤102：需要同步数据的程序监控所述预设内存空间；

步骤103：在监控到所述预设内存空间中写入新的操作命令后，读取并模拟完成所述新的操作命令，实现数据同步。

对于共享内存的多个程序中的各个程序而言，可以是接收请求，并响应于所述请求，生成操作命令；然后，执行操作命令，并将操作命令按照带有时序的信令格式进行转换，将格式转换后的操作命令写入所述预设内存空间中。同时，这些程序还需要实时监控预设内存空间中是否有新的操作命令写入，并在监控到有新的操作命令写入的情况下，读取并进行模拟，以实现数据的同步。

上述预设内存空间可以是从内存中划分出的固定大小的内存区块，其中，所述预设内存空间中可以包括：数据存储区块、存储区块信息记录区块，其中，所述数据存储区块用于存储操作命令，所述存储区块信息记录区块用于存储数据存储区块的最后写入数据时间(即最后写入操作命令的时间戳)和数据存储区块的大小。即，划分出一块特定的区域，所有的程序可以访问该区域。且该区域中的信令是按照时序存储的，从而可以实现数据不存在冲突的共享。

具体地，需要同步数据的程序可以监控预设内存空间中、存储于信息记录区块的最后写入数据时间，在确定最后写入数据时间大于本程序记录的最后同步数据时间，那么就确定预设内存空间中写入了新的操作命令。

上述预设内存空间中存储的每条操作命令可以以信令格式存储，其中，信令结构可以包括如下字段：信令开始标志、本信令内数据长度、时间戳、被读取次数、最后被读取时间、操作命令内容、附加参数和数据、信令结束标志。

然而，值得注意的是，上述所列举的信令结构仅是一种示意性描述，在实际实现的可以包括其它字段，或者是包括上述字段中的部分字段，具体实现方式可以根据实际情况和需要确定，本申请对此不作限定。

具体地，对于各个共享内存的程序而言，可以在读取并模拟完成新的操作命令，实现数据同步之后，将读取的新的操作命令中，被读取次数字段的数值加一，并将最后读取时间字段修改为本程序的读取时间。

在一个实施方式中，上述操作命令可以是按照先进先出的策略，按内存地址从前向后循环写入所述数据存储区块中。

基于同一发明构思，本发明实施例中还提供了一种共享内存的多个程序间数据同步装置，如下面的实施例所述。由于共享内存的多个程序间数据同步装置解决问题的原理与共享内存的多个程序间数据同步方法相似，因此共享内存的多个程序间数据同步装置的实施可以参见共享内存的多个程序间数据同步方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图2是本发明实施例的共享内存的多个程序间数据同步装置的一种结构框图，如图2所示，可以包括：写入模块201、监控模块202和同步模块203，下面对该结构进行说明。

写入模块201，用于针对共享内存的多个程序，当任一程序接收到新的请求时，生成设定结构的操作命令并执行，以及将生成的操作命令写入预设内存空间中；

监控模块202，用于需要同步数据的程序监控所述预设内存空间；以及

同步模块203，用于在监控到所述预设内存空间中写入新的操作命令后，读取并模拟完成所述新的操作命令，实现数据同步。

在一个实施方式中，所述预设内存空间是从共享内存中划分出的固定大小的内存区块，所述预设内存空间包括：数据存储区块、信息记录区块；其中，所述数据存储区块用于存储操作命令，所述信息记录区块用于存储数据存储区块的最后写入数据时间和大小；

相应的，监控模块202具体可以用于需要同步数据的程序监控预设内存空间中、存储于信息记录区块的所述最后写入数据时间；同步模块203具体可以用于在所述最后写入数据时间大于本程序记录的最后同步数据时间的情况下，判定所述预设内存空间中写入新的操作命令。

在一个实施方式中，上述操作命令采用带有时序的信令结构，具体信令结构可以包括但不限于如下字段：信令开始标志、本信令内数据长度、时间戳、被读取次数、最后读取时间、操作命令内容、附加参数和数据、信令结束标志；

相应的，同步模块203，还用于在读取并模拟完成所述新的操作命令，实现数据同步之后，将读取的所述新的操作命令中，被读取次数字段的数值加一，并将最后读取时间字段修改为本程序的读取时间。

在一个实施方式中，上述装置还可以包括：设置模块，用于从共享内存中划分出部分存储区域作为所述预设内存空间，并设置所述预设内存空间允许被共享内存的多个程序写入和读取数据。

下面结合一个具体实施例对上述方法和装置进行说明，然而值得注意的是，该具体实施例仅是为了更好地说明本申请，并不构成对本申请的不当限定。

在本例中，通过将各个程序每一步的对数据的处理抽象为标准命令，并按照时序将标准命令写入内存，从而实现多个程序之间的实时数据同步，且数据同步的延时对于外部请求而言几乎可以忽略不计。

如图3所示，程序在每次接收到新的请求的时候，将自身生成的操作命令写入指定的内存中。在该内存中，如果有需要同步数据的程序启动，当有对数据新的操作命令的情况下，立刻读取并模拟完成操作命令。为了实现该目的，可以设定同步数据的数据结构为带有时序的标准结构信令。如图4所示，信令结构可以包括：信令开始标志、本信令内数据长度、时间戳、被读取次数、最后读取时间、操作命令内容、附加参数和数据、信令结束标志。

对于上述信令结构中所包括的若干个部分，可以按照以下规则设定：

1)信令开始标志

8bit，用于标识整块完整信令从该位置开始；

2)本信令内数据长度

8bit+8bit，这两个8bit可以分别表示：操作命令的长度和附加参数和数据的长度；

3)时间戳

8bit；

4)被读取次数

8bit，用于记录本数据被读取的次数；

5)最后读取时间

8bit，用于记录本数据最后一次被读取的时间；

6)操作命令内容

不设定长度；

7)附加参数和数据

不设定长度；

8)信令结束标志

8bit，用于标识本段信令完整结束。

在内存中，上述信令可以按照如下方式存储：划出一块固定大小的内存，并将本块内存划分为两部分，如图5所示，所有的信令存储在数据存储区块，并在本块内存起始位置出划分32bit，存储数据存储区块的最后写入数据时间，然后再划分出32bit，用于存储数据存储区块的大小。在数据存储区块中，可以按照FIFO(先进先出)的策略按内存地址的顺序从前向后循环写入。

具体的，可以开辟一段远大于信令大小的新的干净内存，从这段内存的开头开始向结尾顺序写入。例如，预计信令的平均大小为1k，那么可以开辟出100M的内存用于存储，则当本段内存写满时，内存已经顺序存储了100万条信令。当内存被写满之后，可以将最新的信令继续从内存地址的开头开始存入，覆盖老的失效信令。

在进行数据同步的时候，可以按照如下方式进行：对于所有需要进行数据同步的程序，都需要记录最后同步数据时间(即本程序最后一次同步数据的时间戳)，并在第一次读取数据进行同步的时候，在本段内存中从前往后遍历查询到第一条大于最后同步数据时间的数据，读取本条数据后完成同步。之后，需要同步数据的程序都需要对本段内存开始处32bit的最后写入数据时间进行监控，每次发现监控得到的最后写入数据时间大于本程序的最后同步数据时间的情况下，读取同步后的数据，并将被读取信令中的被读取次数字段加一，并将被读取信令的最后读取时间修改为本程序的读取时间。

在上例中，极小的代价实现了一个可靠的程序之间共享内存的方案，避免了不同程序在共享内存时出现的反复擦写同一块内存，而导致的所有使用共享内存的程序崩溃的问题产生。且上述方案可以方便地接入第三方程序，进行日志记录、程序状态监控等功能，同时避免了反复遍历内存的操作，使得同步时间减少到可以忽略不计，从而大大降级了同步数据的延时。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种共享内存的多个程序间数据同步方法，其特征在于，包括：

针对共享内存的多个程序，当任一程序接收到新的请求时，生成设定结构的操作命令并执行，以及将生成的操作命令写入预设内存空间中；

需要同步数据的程序监控所述预设内存空间；以及

在监控到所述预设内存空间中写入新的操作命令后，读取并模拟完成所述新的操作命令，实现数据同步。

2.根据权利要求1所述的方法，其特征在于，所述预设内存空间是从共享内存中划分出的固定大小的内存区块，所述预设内存空间包括：数据存储区块、信息记录区块；其中，所述数据存储区块用于存储操作命令，所述信息记录区块用于存储数据存储区块的最后写入数据时间和大小；

需要同步数据的程序监控所述预设内存空间，具体包括：需要同步数据的程序监控预设内存空间中、存储于信息记录区块的所述最后写入数据时间；以及

监控到所述预设内存空间中写入新的操作命令的方法，具体包括：如果所述最后写入数据时间大于本程序记录的最后同步数据时间，则判定所述预设内存空间中写入新的操作命令。

3.根据权利要求2所述的方法，其特征在于，所述操作命令采用带有时序的信令结构，具体信令结构包括如下字段：信令开始标志、本信令内数据长度、时间戳、被读取次数、最后读取时间、操作命令内容、附加参数和数据、信令结束标志；以及

所述读取并模拟完成所述新的操作命令，实现数据同步之后，还包括：将读取的所述新的操作命令中，被读取次数字段的数值加一，并将最后读取时间字段修改为本程序的读取时间。

4.根据权利要求1所述的方法，其特征在于，将操作命令按照先进先出的策略，按内存地址从前向后循环写入所述数据存储区块中。

5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：

从共享内存中划分出部分存储区域作为所述预设内存空间，并设置所述预设内存空间允许被共享内存的多个程序写入和读取数据。

6.一种共享内存的多个程序间数据同步装置，其特征在于，包括：

写入模块，用于针对共享内存的多个程序，当任一程序接收到新的请求时，生成设定结构的操作命令并执行，以及将生成的操作命令写入预设内存空间中；

监控模块，用于需要同步数据的程序监控所述预设内存空间；以及

同步模块，用于在监控到所述预设内存空间中写入新的操作命令后，读取并模拟完成所述新的操作命令，实现数据同步。

7.根据权利要求6所述的装置，其特征在于，所述预设内存空间是从共享内存中划分出的固定大小的内存区块，所述预设内存空间包括：数据存储区块、信息记录区块；其中，所述数据存储区块用于存储操作命令，所述信息记录区块用于存储数据存储区块的最后写入数据时间和大小；

其中，所述监控模块具体用于需要同步数据的程序监控预设内存空间中、存储于信息记录区块的所述最后写入数据时间；所述同步模块具体用于在所述最后写入数据时间大于本程序记录的最后同步数据时间的情况下，判定所述预设内存空间中写入新的操作命令。

8.根据权利要求7所述的装置，其特征在于，所述操作命令采用带有时序的信令结构，具体信令结构包括如下字段：信令开始标志、本信令内数据长度、时间戳、被读取次数、最后读取时间、操作命令内容、附加参数和数据、信令结束标志；

所述同步模块，还用于在读取并模拟完成所述新的操作命令，实现数据同步之后，将读取的所述新的操作命令中，被读取次数字段的数值加一，并将最后读取时间字段修改为本程序的读取时间。

9.根据权利要求6所述的装置，其特征在于，所述写入模块，具体用于将操作命令按照先进先出的策略，按内存地址从前向后循环写入所述数据存储区块中。

10.根据权利要求6至9中任一项所述的装置，其特征在于，还包括：

设置模块，用于从共享内存中划分出部分存储区域作为所述预设内存空间，并设置所述预设内存空间允许被共享内存的多个程序写入和读取数据。