CN113886497A - 一种双向实时数据监控方法和装置 - Google Patents

Abstract

本申请公开了一种双向实时数据监控的方法，包括：监听两个数据源的数据，响应于第一数据源的任一数据发生变化，确定发生变化的任一数据为第一数据，从第二数据源提取与第一数据的数据标识相同的数据，确认从第二数据源提取的数据与变化后的第一数据是否相同，若不同，则将第一数据的数据信息保存到灰名单中；按照第一定时时间周期性检测灰名单中的各数据信息是否同步，若已同步，则删除；若未同步，则将相应的数据信息移出灰名单、保存到黑名单；按照第二定时时间周期性检测黑名单中的各数据信息是否同步，若已同步，则删除已同步数据的信息；若未同步，则通知用户超时未同步。应用本申请，能够更好地保障数据同步和不同数据源之间的数据一致性。

Description

一种双向实时数据监控方法和装置

技术领域

本申请涉及数据同步技术领域，尤其涉及一种双向实时数据的数据监控方法、装置、一种计算机可读存储介质以及一种电子设备。

背景技术

互联网服务日益增加，为保障数据安全迁移或全量备份，数据会在多处存储。过程中对外提供时，需要保障两个数据源数据一致。目前有很多进行数据同步的方法，对于数据是否发生变化进行监控，常见的有监听日志的方式进行变化数据的发现，在发现数据发生变化后，即刻通知启动数据同步，对于这个已经下发通知的数据变化信息，后续也不再进行监测。

发明内容

针对上述现有技术，本申请实施例公开一种双向实时数据监控方法、装置、一种计算机可读存储介质以及一种电子设备，能够更好地保障数据同步和不同数据源之间的数据一致性。

一种双向实时数据监控的方法，该方法包括：

监听两个数据源的数据，响应于第一数据源的任一数据发生变化，确定发生变化的所述任一数据为第一数据，从第二数据源提取与所述第一数据的数据标识相同的数据，确认从所述第二数据源提取的数据与变化后的所述第一数据是否相同，若不同，则将所述第一数据的数据信息保存到灰名单中；其中，所述第一数据源和所述第二数据源为具有数据同步关系的两个数据源；

按照第一定时时间周期性检测所述灰名单中的各数据信息所对应的数据是否已经同步成功，若同步成功，则删除已同步数据的数据信息；若未同步成功，则将相应数据的数据信息移出所述灰名单并保存到黑名单中，所述数据信息包括数据标识和数据的数据源信息；

按照第二定时时间周期性检测所述黑名单中的各数据信息对应的数据是否已经同步成功，若同步成功，则删除已同步数据的数据信息；若未同步成功，则通知用户超时未同步。

可选地，所述按照第一定时时间周期性检测所述灰名单中保存的各数据信息所对应的数据是否已经同步成功包括：按照所述第一定时时间，根据所述灰名单中各数据信息中的数据标识判断所述第一数据源和第二数据源中具有相应数据标识的数据是否一致，若一致，则确定相应数据已经同步成功，否则确定相应数据未同步成功；和/或，

所述按照第二定时时间周期性检测所述黑名单中保存的各数据信息所对应的数据是否已经同步成功包括：按照所述第二定时时间，根据所述黑名单中各数据信息中的数据标识判断所述第一数据源和第二数据源中具有相应数据标识的数据是否一致，若一致，则确定相应数据已经同步成功，否则确定相应数据未同步成功。

可选地，根据所述灰名单中的平均数据量、数据的业务需求和/或灰名单所在的存储空间大小确定所述第一定时时间；和/或，根据所述黑名单中的平均数据量、数据的业务需求和/或黑名单所在的存储空间大小确定所述第二定时时间。

可选地，该方法进一步包括：对于所述黑名单中的各数据信息，根据保存到所述黑名单中的时间长短，通过分级上报通知用户。

可选地，根据所述黑名单中数据的业务需求、数据修复时间和/或黑名单所在的存储空间大小，确定所述分级上报时不同分级对应的数据信息在所述黑名单中的保存时间。

可选地，所述分级上报的方式包括：向不同的接收方上报，和/或，采用不同的上报形式。

可选地，所述通知用户的方式包括：发送通知消息、发送邮件、发送短信、发送企业微信和/或按照用户设置的方式进行通知。

可选地，所述按照第一定时时间周期性检测所述灰名单中的各数据是否已经同步成功，若未同步成功，该方法进一步包括：通知用户相应的数据未完成同步。

一种双向实时数据监控的装置，包括：监听单元、消息处理单元、调度单元和存储单元；

所述监听单元，用于监听两个数据源的数据，响应于第一数据源的任一数据发生变化，确定发生变化的所述任一数据为第一数据，通知所述消息处理单元；

所述消息处理单元，用于在接收到所述监听单元发送的通知后，从第二数据源提取与所述第一数据的数据标识相同的数据，确认从所述第二数据源提取的数据与变化后的所述第一数据是否相同，若不同，则将所述第一数据的数据信息保存到灰名单中；其中，所述第一数据源和所述第二数据源为具有数据同步关系的两个数据源；

所述调度单元，用于按照第一定时时间周期性检测所述灰名单中的各数据信息所对应的数据是否已经同步成功，若同步成功，则删除已同步数据的数据信息；若未同步成功，则将相应数据的数据信息移出所述灰名单并保存到黑名单中，所述数据信息包括数据标识和数据的数据源信息；还用于按照第二定时时间周期性检测所述黑名单中的各数据信息对应的数据是否已经同步成功，若同步成功，则删除已同步数据的数据信息；若未同步成功，则通知用户超时未同步；

所述存储单元，用于保存灰名单和黑名单。

可选地，所述调度单元，进一步用于在周期性检测所述灰名单中的各数据信息时，若未同步成功，则通知用户相应的数据未完成同步。

可选地，所述调度单元，进一步用于针对所述黑名单中的各数据信息，根据保存到所述黑名单中的时间长短，通过分级上报通知用户。

一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现权利要求所述双向实时数据监控的方法。

一种电子设备，该电子设备至少包括所述计算机可读存储介质，还包括处理器；

所述处理器，用于从所述计算机可读存储介质中读取所述可执行指令，并执行所述指令以实现所述双向实时数据监控的方法。

综上，本申请实施例公开了一种双向实时数据监控的方法，监听两个数据源的数据，当一个数据源的任一数据发生变化时，从第二数据源提取与发生变化的数据标识相同的数据，确认该数据是否完成同步，若未完成，则将发生数据的信息保存到灰名单中。对于灰名单，按照设定的周期检测各数据信息是否已经同步成功，若同步成功，则删除已同步数据的信息；若未同步成功，则将相应的数据信息移出灰名单、保存到黑名单中。在黑名单中，按照设定的周期检测黑名单中的各数据信息是否已经同步成功，若同步成功，则删除已同步数据的信息；若未同步成功，则通知用户超时未同步。通过上述方式，当发现数据源中有数据发生变化后，周期性检查数据同步是否成功，并在同步未成功时通知用户，以更好地保证数据同步。进一步的，黑名单中的数据还可以根据进入的时间长短进行分级上报，从而实现了针对不同业务需求的分级和个性化处理。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请中双向实时数据监控方法的基本流程示意图；

图2为本申请中双向实时数据监控装置的基本结构示意图；

图3为本申请中双向实时数据监控方法的具体实现示意图；

图4为本申请中电子设备的基本结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

在本申请中，对于数据源中发生变化的数据进行记录，并跟踪其在另一数据源的同步状况，以通知用户，更好地实现数据同步和保证数据一致性。

图1为本申请中双向实时数据监控方法的基本流程示意图，该流程可以在图2所示的双向数据监控装置中实现。如图1和图2所示，该方法包括：

步骤101，监听两个数据源的数据变化情况。

在本申请的两个数据源中，相同的数据采用相同的唯一标识。例如，可以采用一行数据的MD5作为数据的唯一标识；或者，可以利用数据主键区分不同数据，再利用版本号区分自身数据的不同版本，这样利用数据主键+版本就可以作为数据的唯一标识。

具体进行数据源监听的处理可以在监听单元完成，采用现有的方式进行，例如，若数据是mysql，则可以通过监听binlog，采用cancel或epx等中间件发送数据变化的消息。

步骤102，响应于第一数据源的任一数据发生变化，确定发生变化的任一数据为第一数据，从第二数据源提取与第一数据的数据标识相同的数据，确认从第二数据源提取的数据与变化后的第一数据是否相同，若不同，则将第一数据的数据信息保存到灰名单中，若相同，则返回步骤101。

响应于第一数据源A的某个数据X发生变化，确定数据X为第一数据，从第二数据源B提取与数据X的数据标识相同的数据X’，确认数据源B中的数据X’是否与数据源A中的数据X同步，若未同步(即数据X与数据X’不同)，则将数据X的数据信息保存到灰名单中；若已同步(即数据X与数据X’相同)，返回步骤101。

本步骤中，当通过监听发现某个数据源(即前述第一数据源，以下称为数据源A)的某个数据(即前述第一数据，以下称为数据X)发生变化时，可以由监听单元将发生数据变化的消息发送给消息处理单元，并在该消息中携带数据X的信息。其中，可选地，在消息中携带的数据X的信息可以是全量信息，也就是可以包括数据源A中数据X发生变化后的具体内容以及数据X的唯一标识。

将变化后的数据与另一数据源(即前述第二数据源，以下称为数据源B)中标识相同的数据(即前述第二数据，以下称为数据X’)进行比较，如果二者相同，则说明两个数据源的数据X和X’是同步的，如果二者不同，则说明数据源A中的数据X发生变化后，在数据源B中的数据X’尚未完成同步。这种情况下需要将未完成同步的数据X的信息保存到灰名单中，以记录未完成同步的数据信息。这里的处理可以由消息处理单元执行，该消息处理单元反查两个数据源，确定发生变化的数据是否进行了同步处理。

步骤103，按照第一定时时间周期性检测灰名单中的各数据信息所对应的数据是否已经同步成功，若同步成功，则删除已同步数据的数据信息；若未同步成功，则将相应数据的数据信息移出灰名单并保存到黑名单中。

对于灰名单，每隔第一定时时间(以下称为时间间隔T1)进行一次处理，查询各数据信息是否已经同步成功，若同步成功，则删除已同步数据的信息；若未同步成功，则将相应的数据信息移出灰名单、保存到黑名单中。

本申请中，灰名单用于作为发生变化后未同步数据的第一级缓存。在灰名单中，记录数据的数据信息。最基本地，数据信息包括数据源信息(具体为发生变化的数据所在的数据源，本实施例中为数据源A)和数据标识。可选地，数据信息中还可以包括变化后的数据。每隔预设的第一定时时间T1，对灰名单中的各个数据信息进行一次遍历，判断每个数据信息对应的数据在两个数据源中是否一致，也就是说判断每个数据信息对应的数据是否已同步。当数据信息中不包括变化后的数据时，可以根据数据信息中的数据标识从两个数据源中提取相应数据进行比较；当数据信息中包括变化后的数据时，可以根据数据信息中的数据标识仅从数据源信息未指向的那个数据源(本实施例中为数据源B)提取相同标识的数据，然后将提取的数据与灰名单中保存的数据进行比较。

对于已经同步的数据，将相应的数据信息从灰名单中删除；对于仍未同步的数据，将相应的数据信息从灰名单中删除、并保存到黑名单中。可选地，对于遍历时仍未同步的数据，可以根据预先设定的通知策略，执行相应的通知操作，例如，简单地告知用户数据未同步，或者，告知用户在灰名单中未实现同步已被移入黑名单。具体通知的方式可以根据需要选择，例如发送通知、邮件、短信、企业微信等，也可以由业务方自定义具体通知方式。

灰名单中进行数据遍历的时间间隔T1可以由用户根据需要设置。一般地，根据little`s law法则，

L＝λ*W

其中，L为平均数量，λ为平均到达速率，w为在系统中的平均消耗时间。具体到本申请的灰名单处理中，假定灰名单中数据遍历操作的执行间隔为T1分钟，每分钟平均产生的不一致的数据量(以一个数据对应的数据信息量为单位)为n，因为T1分钟后不管一致不一致，都会移出灰名单，所以：λ＝n，W＝T1，因此灰名单中的平均数据量为L＝T1*n。

根据上述计算，可选地，可以根据灰名单中的平均数据量、数据的业务需求和/或灰名单所在的存储空间大小确定操作时间间隔T1。

本步骤的处理可选地可以在调度单元中实现。灰名单可以是保存在存储单元中。

步骤104，按照第二定时时间周期性检测黑名单中的各数据信息对应的数据是否已经同步成功，若同步成功，则删除已同步数据的数据信息；若未同步成功，则通知用户超时未同步。

对于黑名单，每隔第二定时时间(以下称为时间间隔T2)进行一次处理，查询各数据信息是否已经同步成功，若同步成功，则删除已同步数据的信息；若未同步成功，则通知相应数据的业务方。

本申请中，黑名单用于作为发生变化后未同步数据的第二级缓存。在黑名单中，保存的数据信息内容与灰名单中一致，即记录数据的数据信息。最基本地，数据信息包括数据源信息(具体为发生变化的数据所在的数据源，本实施例中为数据源A)和数据标识。每隔预设的第二定时时间T2，对黑名单中的各个数据信息进行一次遍历，判断每个数据信息对应的数据在两个数据源中是否一致，也就是说判断每个数据信息对应的数据是否已同步。具体判断数据信息对应的数据是否已经同步的处理，与灰名单中相同，这里就不再赘述。对于已经同步的数据，将其数据信息从黑名单中删除；对于仍未同步的数据，可选地，可以根据预先设定的通知策略，执行相应的通知操作。

在黑名单的处理中，在进行遍历时，对于未同步的数据会继续保存其数据信息，因此可选地，可以根据数据信息在黑名单中保存的时间长短不同，设置不同的通知策略，以进行分级和个性化处理。同时，对于不同的数据，其对应的通知策略也可以是不同的。例如，可以根据数据信息在黑名单中保存的时间长短不同，进行分级上报。这里的分级上报可以是向不同的接收方(业务方业务处理人员、业务方群组、业务方各级领导等)上报，也可以是采取不同的上报方式。不同的上报方式可以如灰名单一样，例如发送通知、邮件、短信、企业微信等，也可以由业务方自定义具体通知方式。

黑名单中进行数据遍历的时间间隔T2可以由用户根据需要设置。一般地，仍然采用little`s law法则，具体到本申请的黑名单处理中，假定黑名单中数据遍历操作的执行间隔为T2分钟，每分钟由灰名单进入黑名单的数据量(以一个数据对应的数据信息量为单位)为m，在系统中消耗的时间W取决于数据修复时间T(也就是数据在黑名单中保存的时间)所以：λ＝m，W＝T，因此黑名单中的平均数据量为L＝T*m。其中，数据修复后从黑名单中删除是每隔T2分钟进行一次，因此，数据在黑名单中的实际存储时间是与T2相关的，可见T2的确定需要综合考虑平均数据量以及数据修复时间T。

根据上述计算，可选地，可以根据黑名单中的平均数据量、数据的业务需求、数据修复时间T和/或黑名单所在的存储空间大小确定操作时间间隔T2。同时，根据数据信息在黑名单中保存的时间长短不同进行分级上报时，不同分级对应的保存时间可以根据数据的业务需求、数据修复时间T和/或灰名单所在的存储空间大小确定。例如，当数据在黑名单中的时间超过某一分级对应的数据信息在黑名单中的保存时间的上限Tth，那么将提高上报通知的级别，以尽快实现数据同步。

本步骤的处理可选地可以在调度单元中实现。黑名单可以是保存在存储单元中。

至此，本申请中的双向数据监控方法的流程结束。下面结合图2，总结一下图2中各个部件的具体功能。如图2所示，双向实时数据监控装置包括：监听单元、消息处理单元、调度单元和存储单元。

其中，监听单元，用于监听两个数据源的数据，响应于第一数据源A的任一数据X发生变化，确定发生变化的数据X为第一数据，通知消息处理单元。可选地，通知方式可以是向消息处理单元发送数据发生变化的消息，并携带数据X的数据信息。消息处理单元，用于在接收到监听单元发送的通知后，根据数据X的数据信息从第二数据源提取与数据X标识相同的数据，确认从第二数据源提取的数据与变化后的数据X是否相同，若不同，则将数据X的数据信息保存到灰名单中。调度单元，用于按照设定的第一定时时间周期性检测灰名单中的各数据信息对应的数据是否已经同步成功，若同步成功，则删除已同步数据的数据信息；若未同步成功，则将相应数据的数据信息移出灰名单并保存到黑名单中，其中，数据信息包括数据标识和数据的数据源信息；还用于按照设定的第二定时时间周期性检测黑名单中的各数据信息对应的数据是否已经同步成功，若同步成功，则删除已同步数据的数据信息；若未同步成功，则通知用户超时未同步。存储单元，用于保存灰名单和黑名单。

结合图1的流程和图2的装置，具体实现示意图可以如图3所示。通过上述本申请的方法和装置，采用灰黑名单双重通道方法，检测并记录两个数据源的短期和长期不同的数据，动态调整补救方案，保障两个数据源之间的数据双向同步的正确性。一方面利用消息处理单元对于发生变化的数据进行确认，确保未同步数据进行单独保存；另一方面通过灰名单和黑名单的处理使未同步数据可以分级进行处理，根据业务需要设定不同的通知策略，对不同数据源的数据同步可以实现分级和个性化处理。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储指令，所述指令在由处理器执行时可执行如上所述双向实时数据监控的方法中的步骤。实际应用中，所述的计算机可读介质可以是上述实施例各设备/装置/系统所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。其中，在计算机可读存储介质中存储指令，其存储的指令在由处理器执行时可执行如上所述实现双向实时数据监控的方法中的步骤。

根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

如图4所示，本发明实施例还提供一种电子设备。如图4所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402以及存储在存储器上并可在处理器上运行的计算机程序。在执行所述存储器402的程序时，可以实现GPU虚拟化的方法。

具体的，实际应用中，该电子设备还可以包括电源403、输入输出单元404等部件。本领域技术人员可以理解，图4中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行服务器的各种功能和处理数据，从而对该电子设备进行整体监控。

存储器402可用于存储软件程序以及模块，即上述计算机可读存储介质。处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

该电子设备还包括给各个部件供电的电源403，可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入输出单元404，该输入单元输出404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。该输入单元输出404还可以用于显示由用户输入的信息或提供给用户的信息以及各种图像用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。

本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。

本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思路，并不用于限制本申请。对于本领域的技术人员来说，可以依据本发明的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种双向实时数据监控的方法，其特征在于，该方法包括：

监听两个数据源的数据，响应于第一数据源的任一数据发生变化，确定发生变化的所述任一数据为第一数据，从第二数据源提取与所述第一数据的数据标识相同的数据，确认从所述第二数据源提取的数据与变化后的所述第一数据是否相同，若不同，则将所述第一数据的数据信息保存到灰名单中；其中，所述第一数据源和所述第二数据源为具有数据同步关系的两个数据源；

按照第一定时时间周期性检测所述灰名单中的各数据信息所对应的数据是否已经同步成功，若同步成功，则删除已同步数据的数据信息；若未同步成功，则将相应数据的数据信息移出所述灰名单并保存到黑名单中，所述数据信息包括数据标识和数据的数据源信息；

按照第二定时时间周期性检测所述黑名单中的各数据信息对应的数据是否已经同步成功，若同步成功，则删除已同步数据的数据信息；若未同步成功，则通知用户超时未同步。

2.根据权利要求1所述的方法，其特征在于，所述按照第一定时时间周期性检测所述灰名单中保存的各数据信息所对应的数据是否已经同步成功包括：按照所述第一定时时间，根据所述灰名单中各数据信息中的数据标识判断所述第一数据源和第二数据源中具有相应数据标识的数据是否一致，若一致，则确定相应数据已经同步成功，否则确定相应数据未同步成功；和/或，

所述按照第二定时时间周期性检测所述黑名单中保存的各数据信息所对应的数据是否已经同步成功包括：按照所述第二定时时间，根据所述黑名单中各数据信息中的数据标识判断所述第一数据源和第二数据源中具有相应数据标识的数据是否一致，若一致，则确定相应数据已经同步成功，否则确定相应数据未同步成功。

3.根据权利要求1所述的方法，其特征在于，根据所述灰名单中的平均数据量、数据的业务需求和/或灰名单所在的存储空间大小确定所述第一定时时间；和/或，根据所述黑名单中的平均数据量、数据的业务需求、数据修复时间和/或黑名单所在的存储空间大小确定所述第二定时时间。

4.根据权利要求1所述的方法，其特征在于，该方法进一步包括：对于所述黑名单中的各数据信息，根据保存到所述黑名单中的时间长短，通过分级上报通知用户。

5.根据权利要求4所述的方法，其特征在于，根据所述黑名单中数据的业务需求、数据修复时间和/或黑名单所在的存储空间大小，确定所述分级上报时不同分级对应的数据信息在所述黑名单中的保存时间。

6.根据权利要求4所述的方法，其特征在于，所述分级上报的方式包括：向不同的接收方上报，和/或，采用不同的上报形式。

7.根据权利要求1或6所述的方法，其特征在于，所述通知用户的方式包括：发送通知消息、发送邮件、发送短信、发送企业微信和/或按照用户设置的方式进行通知。

8.根据权利要求1所述的方法，其特征在于，所述按照第一定时时间周期性检测所述灰名单中的各数据是否已经同步成功，若未同步成功，该方法进一步包括：通知用户相应的数据未完成同步。

9.一种双向实时数据监控的装置，其特征在于，包括：监听单元、消息处理单元、调度单元和存储单元；

所述监听单元，用于监听两个数据源的数据，响应于第一数据源的任一数据发生变化，确定发生变化的所述任一数据为第一数据，通知所述消息处理单元；

所述消息处理单元，用于在接收到所述监听单元发送的通知后，从第二数据源提取与所述第一数据的数据标识相同的数据，确认从所述第二数据源提取的数据与变化后的所述第一数据是否相同，若不同，则将所述第一数据的数据信息保存到灰名单中；其中，所述第一数据源和所述第二数据源为具有数据同步关系的两个数据源；

所述调度单元，用于按照第一定时时间周期性检测所述灰名单中的各数据信息所对应的数据是否已经同步成功，若同步成功，则删除已同步数据的数据信息；若未同步成功，则将相应数据的数据信息移出所述灰名单并保存到黑名单中，所述数据信息包括数据标识和数据的数据源信息；还用于按照第二定时时间周期性检测所述黑名单中的各数据信息对应的数据是否已经同步成功，若同步成功，则删除已同步数据的数据信息；若未同步成功，则通知用户超时未同步；

所述存储单元，用于保存灰名单和黑名单。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时可实现权利要求1～8任一项所述双向实时数据监控的方法。

Images