CN111611252A - 数据同步过程中安全数据的监控、装置、设备和存储介质 - Google Patents
数据同步过程中安全数据的监控、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111611252A CN111611252A CN202010252719.XA CN202010252719A CN111611252A CN 111611252 A CN111611252 A CN 111611252A CN 202010252719 A CN202010252719 A CN 202010252719A CN 111611252 A CN111611252 A CN 111611252A
- Authority
- CN
- China
- Prior art keywords
- data
- time stamp
- safety
- synchronization
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据同步过程中安全数据的监控、装置、设备和存储介质,方法包括:确定关联表中每个数据同步表的时间标线时戳;根据每个所述时间标线时戳,确定所述关联表的安全数据时戳;确定每个所述数据同步表中数据产生时戳小于或者等于所述安全数据时戳的同步数据作为安全数据,以便在需要使用相关同步数据时,从安全数据获取所需的同步数据,从而防止出现因数据同步延时导致无法获取到数据时,而判断出关联表不存在的现象。采用本发明的技术方案,能够在数据分析时,获取到可靠的数据,避免逻辑理解错误,提高了数据分析结果的可靠性。
Description
技术领域
本发明属于数据分析技术领域,具体涉及一种数据同步过程中安全数据的监控、装置、设备和存储介质。
背景技术
在信息化建设中,在解决数据的产生与消费关系时,由于系统在上线时间不同,数据库类型各异等原因,需要把数据统一的、集中的通过同步软件将数据同步到统一数据库中进行分析。但是在数据同步过程中,因为软硬件资源、设计等多方面的限制原因,不可能做到完全实时同步,只能做到近似实时同步,即从源端产生数据到数据被同步到同步端一定会或多或少的存在时差,引起数据清洗和关联“连空”问题,特别是在同时同步的表多、数据量大、网络等资源情况不佳时更为明显。
现有技术,往往直接使用SQL语句直接从同步端获取数据,并进行相关分析。例如,发票单据在两个表存放,H表存发票抬头信息,D表存发票明细,假设13:50用户A开出一张发票:H表为:A-办公用品-费用2000,D表为手机-一台-2000;用户B在14:00开出一张发票:H表为:张三-办公用品-费用1000,D表为打印机-一台-900,铅笔-10支-100。上述发票的数据均通过同步软件进行实时同步,用户在14:02时,从同步端查帐,则会默认调取14:02以前的数据,但是H表可能在14:02将用户A和用户B的数据同步完成,而D表因为延迟可在14:03才能完成同步,此时D表中的最大能查询的数据实际为13:59时对应的用户B的数据,这样,14:02查询时由于D表未完成同步,只能查询到用户A的发票,而不能查询到用户B的发票,从而造成用户B查询发票时无法查询到自己的发票,进而导致逻辑理解错误:认为系统有问题而用B的单据没有开出,进而得到错误的分析结果。
因此,如何在进行数据分析时,避免逻辑理解错误,提高分析结果的可靠性,是本领域技术人员亟待解决的技术问题。
发明内容
本发明的主要目的是提供一种数据同步过程中安全数据的监控、装置、设备和存储介质,以解决进行数据分析时,易逻辑理解错误,导致分析结果的可靠性较低的问题。
针对上述问题,第一方面,本发明提供了一种数据同步过程中安全数据的监控方法,包括:
确定关联表中每个数据同步表的时间标线时戳;
根据每个所述时间标线时戳,确定所述关联表的安全数据时戳;
确定每个所述数据同步表中数据产生时戳小于或者等于所述安全数据时戳的同步数据作为数据同步过程中的安全数据,以便在对所述关联表进行分析时,从所述安全数据获取所需同步数据后进行分析。
进一步地,上述所述的数据同步过程中安全数据的监控方法中,所述确定关联表中每个数据同步表的时间标线时戳,包括:
检测每个所述数据同步表中是否存在待同步源数据;
若每个所述数据同步表存在待同步源数据,从每个所述数据同步表的已有同步数据中选取最大的数据产生时戳作为所述时间标线时戳;
若每个所述数据同步表不存在待同步源数据,将当前检测时戳作为所述时间标线时戳。
进一步地,上述所述的数据同步过程中安全数据的监控方法,还包括:
若每个所述数据同步表存在待同步源数据,对所述待同步源数据进行同步,以便对所述时间标线时戳进行更新。
进一步地,上述所述的数据同步过程中安全数据的监控方法,还包括:
若接收到所述关联表的数据分析请求,检测所述数据分析请求对应的目标同步表中的目标同步数据是否属于所述安全数据;
若所述目标同步数据属于所述安全数据,对所述关联表进行分析,输出分析结果;
若所述目标同步数据不属于所述安全数据,输出所述安全数据时戳,以提示请求者未到所述目标同步数据的分析时间。
进一步地,上述所述的数据同步过程中安全数据的监控方法,所述检测所述数据查询请求携带的目标查询数据是否属于所述安全数据,包括:
若所述目标同步数据的数据产生时戳大于所述安全数据时戳或者未检测到所述目标同步数据的数据产生时戳,检测出所述数据查询请求携带的目标查询数据不属于所述安全数据;
若所述目标同步数据的数据产生时戳小于或等于所述安全数据时戳,检测出所述数据查询请求携带的目标查询数据属于所述安全数据。
进一步地,上述所述的数据同步过程中安全数据的监控方法,所述根据每个所述时间标线时戳,确定所述关联表的安全数据时戳,包括:
对所有所述时间标线时戳进行排序,得到排序结果;
从所述排序结果中,选取最小时间标线时戳作为所述安全数据时戳。
进一步地,上述所述的数据同步过程中安全数据的监控方法中,所述数据产生时戳为每个所述数据同步表中进行数据同步时所记录的时戳。
本发明还提供一种数据同步过程中安全数据的监控装置,包括:
时间标线模块,用于确定关联表中每个数据同步表的时间标线时戳;
安全数据模块,用于根据每个所述时间标线时戳,确定所述关联表的安全数据时戳;确定每个所述数据同步表中数据产生时戳小于或者等于所述安全数据时戳的同步数据作为数据同步过程中的安全数据,以便在对所述关联表进行分析时,从所述安全数据获取所需同步数据后进行分析。
本发明还提供一种种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上任一项所述方法的步骤。
本发明还提供一种数据同步过程中安全数据的监控设备,其包括存储器和处理器,该存储器上存储有计算机程序,所述计算机程序被处理器执行时实现如上任一项所述方法的步骤。
与现有技术相比,上述方案中的一个或多个实施例可以具有如下优点或有益效果:
应用本发明的数据同步过程中安全数据的监控、装置、设备和存储介质,通过确定关联表中每个数据同步表的时间标线时戳;根据每个时间标线时戳,确定关联表的安全数据时戳;将每个数据同步表中数据产生时戳小于或者等于安全数据时戳的同步数据作为安全数据,以便对所述关联表进行分析时,从安全数据获取所需的同步数据,从而防止出现因数据同步延时导致无法获取到数据时,而判断出需要从关联表中获取的分析结果不存在的现象。采用本发明的技术方案,能够在数据分析时,获取到可靠的数据,避免逻辑理解错误,提高了数据分析结果的可靠性。
本发明的其它特征和优点将在随后的说明书中阐述,并且部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例共同用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明的数据同步过程中安全数据的监控实施例的流程图;
图2为数据同步表的示意图;
图3为数据同步表进行数据同步后的示意图;
图4为本发明的数据同步过程中安全数据的监控装置实施例的结构示意图
图5为本发明的数据同步过程中安全数据的监控设备实施例的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
为解决现有技术中存在的上述技术问题,本发明实施例提供了一种网络数据审计方法。
图1为本发明的数据同步过程中安全数据的监控实施例的流程图,如图1所示,本实施例的数据同步过程中安全数据的监控,具体包括如下步骤:
100、确定关联表中每个数据同步表的时间标线时戳;
在一个具体实现过程中,在对关联表进行分析时,而由于同步延时,可能会导致关联表中所有数据同步表中的同步数据并不是在同一个进度下,即部分数据同步表中的同步数据可能同步较快,而部分数据同步表中的同步数据可能同步较慢,这样则会造成在某一时间获取关联表中每个数据同步表时,一部分数据同步表的同步数据被获取到,而另一部分数据同步表只能获取到部分数据或者甚至所有数据无法被获取到,这就造成另一部分数据同步表被认为不存在,导致无法进行数据分析。例如,用户B在14:00开出一张发票,发票对应的H表可能在14:02将用户B的数据同步完成,而D表因为延迟可在14:03才能完成同步,这样用户B在查询自己的发票时,则只能从H表中获取到与自己相关的数据,而无法从获取D表中获取到与自己相关的数据,这样用户B则无法查询到自己的发票,用户B可能会重开发票等。
本实施例中,可以确定关联表中每个数据同步表的时间标线时戳,其中,该时间标线时戳为每个数据同步表中的同步数据能够被获取到的最晚时间。例如,前述的H表和D表,H表在14:02完成同步,其时间标线时戳14:02,D表在14:03才能完成同步,但D表的实际能够获取的最晚时间的数据为13:59,其时间标线时戳13:59。
本实施例中,在确定关联表中每个数据同步表的时间标线时戳时,具体可以按照如下步骤实现:
a、检测每个数据同步表中是否存在待同步源数据;若是,执行步骤b;若否,执行步骤c。
本实施例中,如果源端中的数据没有完成同步的情况下,源端的源数据会上传至同步端,作为待同步源数据等待对应的数据同步表进行同步,因此,可以检测每个数据同步表中是否存在待同步源数据;若是,执行步骤b,若否,执行步骤c。
b、从每个数据同步表的已有同步数据中选取最大的数据产生时戳作为时间标线时戳;
在一个具体实现过程中,可以对同步端中的数据同步表增加一个时间戳的额外的字段,该字段为数据产生时戳,记为“IUUC_TIMESTAMP”,详见图2,图2为数据同步表的示意图。这样,在源端的数据被同步到同步端的过程中,若数据同步表有数据产生,此时,可以在数据产生时戳对应的字段添加数据产生时戳的具体内容,以记录同步数据产生的年、月、日、时、分、秒......。详见图3,图3为数据同步表进行数据同步后的示意图。
本实施例中,若检测到每个数据同步表中存在待同步源数据,说明数据同步表仍在进行数据同步中,此时,可以从每个数据同步表的已有同步数据中选取最大的数据产生时戳作为时间标线时戳。例如,前述的D表,在14:02进行查询时,检测到源端存在待同步源数据,此时需要对源端存在中的待同步源数据进行同步,D表会产生新的数据,但是在D表产生新的数据之前,D表中最大的数据产生时戳13:59,这样,在14:02查询时,其实际的时间标线时戳是13:59。当待同步源数据完成以后,在下一次监控周期内,可以对每个表的时间标线时戳进行更新。
c、将当前检测时戳作为时间标线时戳。
若检测到每个数据同步表中不存在待同步源数据,说明每个数据同步表暂时不进行数据同步操作,此时,可将当前检测时戳作为时间标线时戳。例如,前述的H表,在14:02进行查询时,检测到源端不存在待同步源数据,则可以将H表时间标线时戳即为14:02。
101、根据每个时间标线时戳,确定关联表的安全数据时戳;
本实施例中,每个数据同步表中均对应各自的时间标线时戳,但由于部分数据同步表中仍需要进行数据同步,所以只能获取到这部分数据同步表中的部分数据,而不是全部数据,造成无法进行数据分析,此时,则会认为数据存在问题,造成逻辑理解错误,因此,为了防止在进行数据分析时出现逻辑理解错误,本实施例可以根据每个时间标线时戳,确定关联表的安全数据时戳,以保证在获取数据时能够同步获取数据。其中,该安全数据时戳为对关联表进行分析时,能够按照统一的时戳获取所需数据的时戳,也就是说,在进行数据分析时,可以获取安全数据时戳之前的数据,这样,即可保证每次进行数据分析时,均能够对有效数据进行分析,从而造成逻辑理解错误。
具体地,本实施例中,可以对所有时间标线时戳进行排序,得到排序结果;从得到的排序结果中,选取最小时间标线时戳作为安全数据时戳。即每次获取数据时,需要按照取最小时间标线时戳获取。例如,前述的H表时间标线时戳即为14:02,D表时间标线时戳即为13:59,此时对于整个账单而言,其安全数据时戳则为13:59,也就是说,从H表和D表中获取数据时,都是获取13:59之前的数据,。
102、确定每个数据同步表中数据产生时戳小于或者等于安全数据时戳的同步数据作为安全数据。
本实施例中,为了防止出现逻辑理解错误,需要将每个数据同步表中数据产生时戳小于或者等于安全数据时戳的同步数据确定为安全数据,这样,在对关联表进行分析时,可以从安全数据获取所需同步数据后进行分析,从而可以保证每次获取的数据是有效地数据,即在每次获取数据时,获取的同步数据为所能够获取到的最晚时刻的同步数据,这样,在对关联表进行分析时,则不会出现逻辑理解错误。
具体地,若接收到关联表的数据分析请求,检测数据分析请求对应的目标同步表中的目标同步数据是否属于安全数据。例如,可以检测数据分析请求对应的目标同步表中的目标同步数据是否存在数据产生时戳;若目标同步数据的数据产生时戳小于或等于安全数据时戳,检测出数据查询请求携带的目标查询数据属于安全数据,对关联表进行分析,输出分析结果。若目标同步数据存在数据产生时戳,且若目标同步数据的数据产生时戳大于安全数据时戳,或者,若目标同步数据不存在数据产生时戳检测出数据查询请求携带的目标查询数据不属于安全数据,输出安全数据时戳,以提示请求者未到目标同步数据的分析时间。
例如,用户B14:02查询自己的账单时,可以检测到H表中存在用户B的目标同步数据,其数据产生时戳为14:02,但由于账单的安全数据时戳为13:59,所以可以确定用户B的账单还未生成,此时可以获知由于安全数据时戳导致无法得到用户B的账单,而不是用户B的账单不存在,并将安全数据时戳输出,以便提示用户B未到目标同步数据的分析时间,从而防止用户B重新导入账单。或者,用户B14:02查询自己的账单时,由于延迟,H表和D表中均不存在用户B的目标同步数据,也就是说未检测到目标同步数据的数据产生时戳,所以可以确定用户B的账单还未生成,此时可以获知由于安全数据时戳导致无法得到用户B的账单,而不是用户B的账单不存在。
用户A在14:02查询自己的账单时,可以检测到H表和D表中中存在用户A的目标同步数据,其数据产生时戳为13:59,等于安全数据时戳,此时可以进行分析,将H表和D表进行融合,从而得到用户A的账单进行输出。
本实施例的数据同步过程中安全数据的监控,通过确定关联表中每个数据同步表的时间标线时戳;根据每个时间标线时戳,确定关联表的安全数据时戳;将每个数据同步表中数据产生时戳小于或者等于安全数据时戳的同步数据作为安全数据,以便对所述关联表进行分析时,从安全数据获取所需的同步数据,从而防止出现因数据同步延时导致无法获取到数据时,而判断出关联表不存在的现象。采用本发明的技术方案,能够在数据分析时,获取到可靠的数据,避免逻辑理解错误,提高了数据分析结果的可靠性。
需要说明的是,本发明实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本发明实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成的方法。
为解决现有技术中存在的上述技术问题,本发明实施例还提供了一种数据同步过程中安全数据的监控装置。
图4为本发明的数据同步过程中安全数据的监控装置实施例的结构示意图,如图4所示,本实施例的数据同步过程中安全数据的监控装置包括时间标线模块40和安全数据模块41。
时间标线模块40,用于确定关联表中每个数据同步表的时间标线时戳;
具体地,时间标线模块40用于若每个数据同步表存在待同步源数据,从每个数据同步表的已有同步数据中选取最大的数据产生时戳作为时间标线时戳;若每个数据同步表不存在待同步源数据,将当前检测时戳作为时间标线时戳。
安全数据模块41,用于根据每个时间标线时戳,确定关联表的安全数据时戳;确定每个数据同步表中数据产生时戳小于或者等于安全数据时戳的同步数据作为数据同步过程中的安全数据,以便在对关联表进行分析时,从安全数据获取所需同步数据后进行分析。
具体地,安全数据模块41,用于对所有时间标线时戳进行排序,得到排序结果;从排序结果中,选取最小时间标线时戳作为安全数据时戳。其中,本实施例里中的数据产生时戳为每个数据同步表中进行数据同步时所记录的时戳。
在一个具体实现过程中,若接收到关联表的数据分析请求,检测数据分析请求对应的目标同步表中的目标同步数据是否属于安全数据;若目标同步数据的数据产生时戳大于安全数据时戳或者未检测到目标同步数据的数据产生时戳,检测出数据查询请求携带的目标查询数据不属于安全数据;此时,输出安全数据时戳,以提示请求者未到目标同步数据的分析时间。若目标同步数据的数据产生时戳小于或等于安全数据时戳,检测出数据查询请求携带的目标查询数据属于安全数据。此时,对关联表进行分析,输出分析结果;若目标同步数据不属于安全数据,
本实施例的数据同步过程中安全数据的监控装置,通过确定关联表中每个数据同步表的时间标线时戳;根据每个时间标线时戳,确定关联表的安全数据时戳;将每个数据同步表中数据产生时戳小于或者等于安全数据时戳的同步数据作为安全数据,以便在需要使用相关同步数据时,从安全数据获取所需的同步数据,从而防止出现因数据同步延时导致无法获取到部分数据同步表的完整数据时,而判断出关联表不存在的现象。采用本发明的技术方案,能够在数据分析时,避免逻辑理解错误,提高数据分析结果的可靠性。
需要说明的是,上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
为解决现有技术中存在的上述技术问题,本发明实施例提供了一种数据同步过程中安全数据的监控设备。
图5为本发明的数据同步过程中安全数据的监控设备实施例的结构示意图,如图5所示,本发明实施例提供的数据同步过程中安全数据的监控设备包括存储器50和处理器51,该存储器50上存储有计算机程序,计算机程序被处理器51执行时实现上述方法的步骤。
进一步地,上述实施例中,数据同步过程中安全数据的监控设备优选为设置在数据分析系统的同步端。
为解决现有技术中存在的上述技术问题,本发明实施例提供了一种存储介质。
本发明实施例提供的存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法的步骤。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个分析模块32中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
虽然本发明所公开的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所公开的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种数据同步过程中安全数据的监控方法,其特征在于,包括:
确定关联表中每个数据同步表的时间标线时戳;
根据每个所述时间标线时戳,确定所述关联表的安全数据时戳;
确定每个所述数据同步表中数据产生时戳小于或者等于所述安全数据时戳的同步数据作为数据同步过程中的安全数据,以便在对所述关联表进行分析时,从所述安全数据获取所需同步数据后进行分析。
2.根据权利要求1所述的数据同步过程中安全数据的监控方法,其特征在于,所述确定关联表中每个数据同步表的时间标线时戳,包括:
检测每个所述数据同步表中是否存在待同步源数据;
若每个所述数据同步表存在待同步源数据,从每个所述数据同步表的已有同步数据中选取最大的数据产生时戳作为所述时间标线时戳;
若每个所述数据同步表不存在待同步源数据,将当前检测时戳作为所述时间标线时戳。
3.根据权利要求2所述的数据同步过程中安全数据的监控方法,其特征在于,还包括:
若每个所述数据同步表存在待同步源数据,对所述待同步源数据进行同步,以便对所述时间标线时戳进行更新。
4.根据权利要求1所述的数据同步过程中安全数据的监控方法,其特征在于,还包括:
若接收到所述关联表的数据分析请求,检测所述数据分析请求对应的目标同步表中的目标同步数据是否属于所述安全数据;
若所述目标同步数据属于所述安全数据,对所述关联表进行分析,输出分析结果;
若所述目标同步数据不属于所述安全数据,输出所述安全数据时戳,以提示请求者未到所述目标同步数据的分析时间。
5.根据权利要求4所述的数据同步过程中安全数据的监控方法,其特征在于,所述检测所述数据查询请求携带的目标查询数据是否属于所述安全数据,包括:
若所述目标同步数据的数据产生时戳大于所述安全数据时戳或者未检测到所述目标同步数据的数据产生时戳,检测出所述数据查询请求携带的目标查询数据不属于所述安全数据;
若所述目标同步数据的数据产生时戳小于或等于所述安全数据时戳,检测出所述数据查询请求携带的目标查询数据属于所述安全数据。
6.根据权利要求1所述的数据同步过程中安全数据的监控方法,其特征在于,所述根据每个所述时间标线时戳,确定所述关联表的安全数据时戳,包括:
对所有所述时间标线时戳进行排序,得到排序结果;
从所述排序结果中,选取最小时间标线时戳作为所述安全数据时戳。
7.根据权利要求1所述的数据同步过程中安全数据的监控方法,其特征在于,所述数据产生时戳为每个所述数据同步表中进行数据同步时所记录的时戳。
8.一种数据同步过程中安全数据的监控装置,其特征在于,包括:
时间标线模块,用于确定关联表中每个数据同步表的时间标线时戳;
安全数据模块,用于根据每个所述时间标线时戳,确定所述关联表的安全数据时戳;确定每个所述数据同步表中数据产生时戳小于或者等于所述安全数据时戳的同步数据作为数据同步过程中的安全数据,以便在对所述关联表进行分析时,从所述安全数据获取所需同步数据后进行分析。
9.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
10.一种数据同步过程中安全数据的监控设备,其包括存储器和处理器,其特征在于,该存储器上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010252719.XA CN111611252B (zh) | 2020-04-01 | 2020-04-01 | 数据同步过程中安全数据的监控、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010252719.XA CN111611252B (zh) | 2020-04-01 | 2020-04-01 | 数据同步过程中安全数据的监控、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111611252A true CN111611252A (zh) | 2020-09-01 |
CN111611252B CN111611252B (zh) | 2023-07-18 |
Family
ID=72203490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010252719.XA Active CN111611252B (zh) | 2020-04-01 | 2020-04-01 | 数据同步过程中安全数据的监控、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111611252B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004015553A (ja) * | 2002-06-07 | 2004-01-15 | Sanyo Electric Co Ltd | 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置 |
WO2006126852A1 (en) * | 2005-05-26 | 2006-11-30 | Electronics And Telecommunications Research Institute | Method and apparatus for synchronizing data service with video service in digital multimedia broadcasting |
WO2008069391A1 (en) * | 2006-12-05 | 2008-06-12 | Electronics And Telecommunications Research Institute | Apparatus and method of detecting timing synchronization for fast fourier transform |
CN101771528A (zh) * | 2008-12-31 | 2010-07-07 | 华为技术有限公司 | 实现时钟同步的方法、装置和系统 |
US20110038370A1 (en) * | 2008-04-21 | 2011-02-17 | Thomson Licensing | Time labelling associated with an equipment synchronisation system connected to a network |
CN103490422A (zh) * | 2013-09-30 | 2014-01-01 | 陕西省地方电力(集团)有限公司 | 一种实现电力需求响应的方法及装置 |
CN106874320A (zh) * | 2016-06-20 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 分布式流式数据处理的方法和装置 |
CN107370803A (zh) * | 2017-07-11 | 2017-11-21 | 福建省天奕网络科技有限公司 | 一种数据同步的方法及终端 |
CN107766575A (zh) * | 2017-11-14 | 2018-03-06 | 中国联合网络通信集团有限公司 | 读写分离的数据库访问方法及装置 |
CN108536752A (zh) * | 2018-03-13 | 2018-09-14 | 北京信安世纪科技有限公司 | 一种数据同步方法、装置和设备 |
CN109450582A (zh) * | 2018-11-01 | 2019-03-08 | 百度在线网络技术(北京)有限公司 | 传感器时间戳同步测试方法、装置、设备、介质及车辆 |
CN109634970A (zh) * | 2018-10-19 | 2019-04-16 | 平安科技(深圳)有限公司 | 表数据同步方法、设备、存储介质及装置 |
CN110119422A (zh) * | 2019-05-16 | 2019-08-13 | 武汉神算云信息科技有限责任公司 | 小微信贷租户数据仓库数据处理系统及设备 |
-
2020
- 2020-04-01 CN CN202010252719.XA patent/CN111611252B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004015553A (ja) * | 2002-06-07 | 2004-01-15 | Sanyo Electric Co Ltd | 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置 |
WO2006126852A1 (en) * | 2005-05-26 | 2006-11-30 | Electronics And Telecommunications Research Institute | Method and apparatus for synchronizing data service with video service in digital multimedia broadcasting |
WO2008069391A1 (en) * | 2006-12-05 | 2008-06-12 | Electronics And Telecommunications Research Institute | Apparatus and method of detecting timing synchronization for fast fourier transform |
US20110038370A1 (en) * | 2008-04-21 | 2011-02-17 | Thomson Licensing | Time labelling associated with an equipment synchronisation system connected to a network |
CN101771528A (zh) * | 2008-12-31 | 2010-07-07 | 华为技术有限公司 | 实现时钟同步的方法、装置和系统 |
CN103490422A (zh) * | 2013-09-30 | 2014-01-01 | 陕西省地方电力(集团)有限公司 | 一种实现电力需求响应的方法及装置 |
CN106874320A (zh) * | 2016-06-20 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 分布式流式数据处理的方法和装置 |
CN107370803A (zh) * | 2017-07-11 | 2017-11-21 | 福建省天奕网络科技有限公司 | 一种数据同步的方法及终端 |
CN107766575A (zh) * | 2017-11-14 | 2018-03-06 | 中国联合网络通信集团有限公司 | 读写分离的数据库访问方法及装置 |
CN108536752A (zh) * | 2018-03-13 | 2018-09-14 | 北京信安世纪科技有限公司 | 一种数据同步方法、装置和设备 |
CN109634970A (zh) * | 2018-10-19 | 2019-04-16 | 平安科技(深圳)有限公司 | 表数据同步方法、设备、存储介质及装置 |
CN109450582A (zh) * | 2018-11-01 | 2019-03-08 | 百度在线网络技术(北京)有限公司 | 传感器时间戳同步测试方法、装置、设备、介质及车辆 |
CN110119422A (zh) * | 2019-05-16 | 2019-08-13 | 武汉神算云信息科技有限责任公司 | 小微信贷租户数据仓库数据处理系统及设备 |
Non-Patent Citations (1)
Title |
---|
陈鸿雁;: "保险数据仓库数据抽取的设计与实现" * |
Also Published As
Publication number | Publication date |
---|---|
CN111611252B (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108647357B (zh) | 数据查询的方法及装置 | |
RU2691595C2 (ru) | Конструируемый поток данных для улучшенной обработки событий | |
CN111104445A (zh) | 数据同步方法、装置及设备 | |
CN110377704B (zh) | 数据一致性的检测方法、装置和计算机设备 | |
US10726042B2 (en) | Replication control using eventually consistent meta-data | |
CN106453297B (zh) | 检测主从延时方法、装置和系统 | |
US20140143625A1 (en) | Computer-readable recording medium, failure prediction device and applicability determination method | |
US10354255B2 (en) | Client access license tracking mechanism | |
CN108369550B (zh) | 实时更改来自不同源的数据 | |
WO2019057193A1 (zh) | 数据删除方法及分布式存储系统 | |
CN112579692B (zh) | 一种数据同步方法、装置、系统、设备及存储介质 | |
CN113392005B (zh) | 大文件处理测试方法及系统 | |
CN110505495A (zh) | 多媒体资源抽帧方法、装置、服务器及存储介质 | |
CN111352969B (zh) | 一种埋点数据分析方法、装置及电子设备 | |
CN114020844A (zh) | 基于配置的数据监听同步方法 | |
CN114020819A (zh) | 一种多系统参数同步方法及装置 | |
CN111913937B (zh) | 数据库运维方法和装置 | |
CN116823464B (zh) | 数据资产管理平台、电子设备及计算机可读存储介质 | |
CN111611252A (zh) | 数据同步过程中安全数据的监控、装置、设备和存储介质 | |
CN107578192A (zh) | 航空结算系统的运营指标监控方法 | |
CN111737303A (zh) | 数据查询方法、装置、计算机设备及存储介质 | |
CN115455059A (zh) | 一种基于底层数据解析用户行为的方法、装置及相关介质 | |
CN114637688A (zh) | 基于版本分支的覆盖率统计方法及装置 | |
CN115470189A (zh) | 一种数据查询方法、装置及可读存储介质 | |
CN111813880B (zh) | 一种国土空间规划项目管理方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |