CN109587192A - 数据同步方法及装置 - Google Patents

数据同步方法及装置 Download PDF

Info

Publication number
CN109587192A
CN109587192A CN201710906076.4A CN201710906076A CN109587192A CN 109587192 A CN109587192 A CN 109587192A CN 201710906076 A CN201710906076 A CN 201710906076A CN 109587192 A CN109587192 A CN 109587192A
Authority
CN
China
Prior art keywords
account
data
synchronization
failure
target account
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710906076.4A
Other languages
English (en)
Other versions
CN109587192B (zh
Inventor
张�雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201710906076.4A priority Critical patent/CN109587192B/zh
Publication of CN109587192A publication Critical patent/CN109587192A/zh
Application granted granted Critical
Publication of CN109587192B publication Critical patent/CN109587192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据同步方法及装置。该方法包括:在目标搜索引擎上确定需要进行数据同步的账户,得到账户集合,其中,账户集合中包括多个账户;将账户集合中每个账户的数据信息同步至预设数据库中;在同步完成后,获取目标账户,其中,目标账户为数据同步失败的账户;对目标账户的同步失败原因进行分析;基于分析结果对目标账户重新执行数据信息同步。通过本申请,解决了相关技术中对互联网中需要同步的账户进行数据同步的成功率较低的问题。

Description

数据同步方法及装置
技术领域
本申请涉及数据同步领域,具体而言,涉及一种数据同步方法及装置。
背景技术
数据同步程序每天会定时从搜索引擎同步用户投放广告的物料数据和前一天的消费数据。为了使消费数据能准确的匹配到对应的物料层级上,在同步消费数据之前必须先同步账户结构。但经常由于媒体端数据未生成、媒体服务不稳定、账户结构同步失败限制等原因导致前一天的消费数据同步失败。在相关技术中,同步程序每同步完一批账户之后,会将同步的结果发送邮件,告之相关人员,哪些账户同步失败哪些账户同步成功,当收件人收到邮件之后,分析邮件中同步失败的账户,手动处理同步失败的账户。然而,随着需要同步的账户数量越来越多,每次同步完数据后,会将每个账户的同步结果发给相关负责人,这时,通过手动处理同步失败的账户,会增加人力成本。另外,相关负责人在收到这些邮件后,处理同步失败的账户时,由于账户太多,一些账户经常被漏掉未处理,这样就导致该账户的数据最终同步失败,降低了同步成功率。
针对相关技术中对互联网中需要同步的账户进行数据同步的成功率较低的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种数据同步方法及装置,以解决相关技术中对互联网中需要同步的账户进行数据同步的成功率较低的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种数据同步方法。该方法包括:在目标搜索引擎上确定需要进行数据同步的账户,得到账户集合,其中,所述账户集合中包括多个账户;将所述账户集合中每个账户的数据信息同步至预设数据库中;在同步完成后,获取目标账户,其中,所述目标账户为数据同步失败的账户;对所述目标账户的同步失败原因进行分析;基于分析结果对所述目标账户重新执行数据信息同步。
进一步地,将所述账户集合中每个账户的数据信息同步至预设数据库中包括:将每个账户中的数据信息同步至所述预设数据库中;在对每个账户同步结束后,将每个账户的同步结果保存至所述预设数据库中,其中,所述同步结果为数据同步成功或数据同步失败;对所述同步结果为数据同步失败的账户,将目标账户数据同步失败的原因保存至所述预设数据库中。
进一步地,在同步完成后,获取目标账户包括:从所述预设数据库中提取所述同步结果为数据同步失败的账户,得到所述目标账户;在所述预设数据库中获取所述目标账户数据同步失败的原因;对所述目标账户的同步失败原因进行分析包括:判断所述目标账户数据同步失败的原因是否为账户结构同步失败;若所述目标账户数据同步失败的原因是账户结构同步失败,对所述目标账户进行账户结构同步,在账户结构同步结束之后,对所述目标账户的消费数据进行同步,其中,所述目标账户的数据信息包括:账户结构信息和消费数据信息;若所述目标账户数据同步失败的原因不是账户结构同步失败,对所述目标账户的消费数据信息重新进行同步。
进一步地,若所述目标账户数据同步失败的原因不是账户结构同步失败,对所述目标账户的消费数据信息重新进行同步之后,所述方法还包括:获取对所述目标账户的消费数据信息进行重新同步的同步结果;若该同步结果为数据同步失败,确定所述目标账户数据同步失败的原因为账户信息错误;对所述目标账户的数据信息暂停同步,并将账户错误信息发送至目标邮箱,其中,所述账户错误信息中包括所述目标账户的账户信息和提示账户信息错误的消息。
进一步地,基于分析结果对所述数据同步失败的账户重新执行数据同步之后,所述方法还包括:统计所述账户集合中每个账户的同步结果;基于所述同步结果计算数据同步成功率;以及将所述同步结果和所述数据同步成功率发送至目标地址。
为了实现上述目的,根据本申请的另一方面,提供了一种数据同步装置。该装置包括:确定单元,用于在目标搜索引擎上确定需要进行数据同步的账户,得到账户集合,其中,所述账户集合中包括多个账户;第一同步单元,用于将所述账户集合中每个账户的数据信息同步至预设数据库中;获取单元,用于在同步完成后,获取目标账户,其中,所述目标账户为数据同步失败的账户;分析单元,用于对所述目标账户的同步失败原因进行分析;第二同步单元,用于基于分析结果对所述目标账户重新执行数据信息同步。
进一步地,所述第一同步单元包括:同步模块,用于将每个账户中的数据信息同步至所述预设数据库中;保存模块,用于在对每个账户同步结束后,将每个账户的同步结果保存至所述预设数据库中,其中,所述同步结果为数据同步成功或数据同步失败;对所述同步结果为数据同步失败的账户,将目标账户数据同步失败的原因保存至所述预设数据库中。
进一步地,所述获取单元包括:提取模块,用于从所述预设数据库中提取所述同步结果为数据同步失败的账户,得到所述目标账户;获取模块,用于在所述预设数据库中获取所述目标账户数据同步失败的原因;所述分析单元包括:判断模块,用于判断所述目标账户数据同步失败的原因是否为账户结构同步失败;第一同步模块,用于若所述目标账户数据同步失败的原因是账户结构同步失败,对所述目标账户进行账户结构同步,在账户结构同步结束之后,对所述目标账户的消费数据进行同步,其中,所述目标账户的数据信息包括:账户结构信息和消费数据信息;第二同步模块,用于若所述目标账户数据同步失败的原因不是账户结构同步失败,对所述目标账户的消费数据信息重新进行同步。
为了实现上述目的,根据本申请的另一方面,提供了一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行上述实施方式中任意一项所述的数据同步方法。
为了实现上述目的,根据本申请的另一方面,提供了一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行上述实施方式中任意一项所述的数据同步方法。
通过本申请,可以通过在目标搜索引擎上确定出需要进行数据同步的账户,得到账户集合,然后可以将各个账户的数据信息同步至预设数据库中,在数据同步完成后,可以获取到数据同步失败的目标账户,并通过分析目标账户的同步失败原因,重新执行数据信息同步。在该实施例中,可以利用数据同步程序对出现同步失败的账户分析,然后重新将出现同步失败的账户的信息同步,这样无需人工一一查看同步失败的账户,也不需要人工来录入同步失败的数据,利用数据同步程序可以较为快速和准确的进行数据同步,解决相关技术中对互联网中需要同步的账户进行数据同步的成功率较低的问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的数据同步方法的流程图;以及
图2是根据本申请实施例提供的数据同步装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述,以下对本申请实施例涉及的部分名词或术语进行说明:
数据同步,包括两种同步方式,一是通过后台程序编码实现数据同步,二是直接作用于数据库,在数据库层面实现数据的同步。其中,在数据库层面进行数据同步时,需要预先清空同步的数据表中的数据,然后,从源数据库中读取数据,以同步到目标数据库中。
根据本申请的实施例,提供了一种数据同步方法。
图1是根据本申请实施例提供的数据同步方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,在目标搜索引擎上确定需要进行数据同步的账户,得到账户集合,其中,账户集合中包括多个账户。
可选的,本申请实施例应用于数据同步系统中,通过将目标搜索引擎产生的数据同步到数据库中,以实现数据同步的方案。
其中,上述的目标搜索引擎可以是用户采集的数据所使用的搜索引擎,该搜索引擎的类型不做限制,例如,百度、搜狗、360、神马等。该目标搜索引擎每天将产生的数据的搜索数据存储在临时存储介质中,以供后续进行数据分析。
对于上述实施例,目标搜索引擎产生的数据可以是用户投放广告产生的物料数据和每天的消费数据。每一个搜索引擎可能对应有多个不同的账户,每个账户每天对应产生的数据有很大的不同,对不同账户产生的数据,需要同步到对应的数据表中。以可选的,目标搜索引擎可以为单独的一个搜索引擎,其对应有多个不同的账户,目标搜索引擎对应的多个账户可以形成一个账户集合,从而在分析数据时,将该目标搜索引擎的对应的账户集合的相关数据信息提取出来,并进行分析,从而分析数据中是否有异常数据,由于一个搜索引擎对应的账户集合中存在多个账户,每个账户的数据可能是不同的,这时就需要将数据进行整理(可以为同步处理),以得到目标账户。
可选的,上述的多个账户可以组合为账户集合,将账户相应的信息添加在数据表中,在每个账户对应产生数据时,可以将相应的数据放置在数据表中,以同步处理多个账户产生的数据。
步骤S102,将账户集合中每个账户的数据信息同步至预设数据库中。
对于上述步骤S102,在将账户集合中每个账户的数据信息同步至预设数据库之前,可以启动数据同步程序,从而进行同步操作。可选的,上述的数据同步程序可以为用户开发的app程序,该数据同步程序可以将账户产生的数据同步到预设数据库中。
其中,上述的每个账户的数据信息可以包括账户结构数据和账户消费数据,其中,账户消费数据包括但不限于账户投放的广告信息、账户产生的消费信息等,其中,以账户投放广告为例,其产生的数据信息可以包括但不限于:广告信息、投放广告的物料数据、投放广告产生的消费数据等。
每个账户对应的数据,可以预先存储在账户数据表中,每个账户数据表中可以存储有账户数据信息,通过该账户数据表将每个账户的相关信息存储起来,在启动数据同步程序后,将该账户数据表中的数据同步到预设数据库中,利用账户数据表可以存储所有账户的数据信息,在需要同步处理数据时,可以直接从该账户数据表中提取数据,以进行同步处理。其中,该预设数据库可以为账户数据库,对应有空白数据表,通过该空白数据表可以将账户数据表中的数据同步。
对于上述实施例,对于步骤S102,其可以包括:将每个账户中的数据信息同步至预设数据库中;在对每个账户同步结束后,将每个账户的同步结果保存至预设数据库中,其中,同步结果为数据同步成功或数据同步失败;对同步结果为数据同步失败的账户,将目标账户数据同步失败的原因保存至预设数据库中。
即在同步账户的数据信息时,除了将账户的数据信息同步至预设数据库中,还可以保存账户的同步结果,上述的同步结果包括同步失败和同步成功两种情况,其中,对于同步失败的账户,可以将账户同步失败的原因保存在预设数据库中,以供后续的分析使用。
步骤S103,在同步完成后,获取目标账户,其中,目标账户为数据同步失败的账
可选的,上述步骤中的目标账户是数据同步失败的账户,本申请中对于账户同步失败的数据,可以快速分析同步失败原因,并将分析产生的同步失败的账户的数据重新同步到预设数据库中。
其中,该目标账户对应的数量不同,在数据同步程序执行完成后,需要检测同步的数据是否完整,每个账户对应的同步数据是否准确,这时,就需要对预设数据库中同步的账户数据进行分析,进而得到出现异常的数据,该异常的数据可以指示账户数据表中无数据,也可以是账户同步的数据出现差别,数据同步失败。
对于同步失败的数据,可以查询得到其对应的账户信息,该账户信息对应上述的目标账户,进而可以通过该目标账户,重新同步账户对应的数据,以完成数据的同步。
对于上述步骤S103,其可以包括:从预设数据库中提取同步结果为数据同步失败的账户,得到目标账户;在预设数据库中获取目标账户数据同步失败的原因。
可选的,通过上述实施例,可以提取出同步失败的目标账户,进而确定出该目标账户的同步失败的原因,通过分析同步失败的原因,可以在下次同步该目标账户的数据时,避免同样的错误发生。
步骤S104,对目标账户的同步失败原因进行分析。
需要说明的是上述的目标账户可以是一个也可以为多个,若目标账户为多个,对每个账户都进行分析,分析其数据同步失败的原因。
其中,上述步骤S104可以包括:判断目标账户数据同步失败的原因是否为账户结构同步失败;若目标账户数据同步失败的原因是账户结构同步失败,对目标账户进行账户结构同步,在账户结构同步结束之后,对目标账户的消费数据进行同步,其中,目标账户的数据信息包括:账户结构信息和消费数据信息;若目标账户数据同步失败的原因不是账户结构同步失败,对目标账户的消费数据信息重新进行同步。
通过上述实施方式,可以分析同步失败的目标账户的信息和原因,其中,本申请中账户同步失败可以包括但不限于:账户结构同步失败和媒体程序同步失败等。其中,账户结构可以是账户信息的排列结构。在同步账户的消费信息之前,需要同步账户结构。其中,媒体程序同步失败可以包括但不限于:媒体端数据未生成、媒体服务不稳定等。该媒体端数据未生成的情况可以理解为账户对应的投放广告所在的媒体端没有生成数据,其可以是由于媒体端出现故障导致的,也可以是媒体端产生的数据无法同步到账户数据表中。而对于媒体服务不稳定,其可以是由于媒体端出现异常导致的媒体服务出现异常(例如,黑屏),在媒体服务不稳定的情况下,产生的数据也是异常数据,与账户结构差异较大,无法准确同步至预设数据库中。
其中,若分析出账户同步失败的原因是账户结构同步失败,则可以在重新执行数据信息同步之前,将账户的结构重新同步,然后再同步账户的各项数据。
可选的,上述实施例中,对于由于账户结构出现异常导致账户数据同步失败的情况,可以先同步账户结构,然后进行账户的消费数据的同步,其中,同步失败的账户为目标账户,在目标账户的账户结构同步后,可以进行消费数据同步。
其中,上述的消费数据可以是账户在执行相应的业务时(例如,上述的投放广告)产生的消费数据,该消费数据对应各个账户信息。
若目标账户数据同步失败的原因不是账户结构同步失败,则不需先对账户的结构重新同步,直接执行对目标账户的消费数据信息进行同步。
步骤S105,基于分析结果对目标账户重新执行数据信息同步。
通过上述步骤,可以对同步失败的目标账户进行分析,从而确定出现同步失败的账户,进而将出现同步失败的账户的数据重新同步到预设数据库中,得到完整的账户信息数据表。
通过上述实施例,可以通过在目标搜索引擎上确定出需要进行数据同步的账户,得到账户集合,然后可以将各个账户的数据信息同步至预设数据库中,在数据同步完成后,可以获取到数据同步失败的目标账户,并通过分析目标账户的同步失败原因,重新执行数据信息同步。在该实施例中,可以利用数据同步程序对出现同步失败的账户分析,然后重新将出现同步失败的账户的信息同步,这样无需人工一一查看同步失败的账户,也不需要人工来录入同步失败的数据,利用数据同步程序可以较为快速和准确的进行数据同步,解决相关技术中对互联网中需要同步的账户进行数据同步的成功率较低的问题。
可选的,若目标账户数据同步失败的原因不是账户结构同步失败,对目标账户的消费数据信息重新进行同步之后,上述实施例还可以包括:获取对目标账户的消费数据信息进行重新同步的同步结果;若该同步结果为数据同步失败,确定目标账户数据同步失败的原因为账户信息错误;对目标账户的数据信息暂停同步,并将账户错误信息发送至目标邮箱,其中,账户错误信息中包括目标账户的账户信息和提示账户信息错误的消息。
其中,上述的账户信息可以为账户的登录信息,该登录信息可以包括但不限于:用户名和密码,即在对产生同步失败的目标账户重新同步后,若还出现同步失败的情况,可以确定出数据同步失败的原因为账户信息错误。该账户信息错误可以是输入的账户的用户名或密码错误。
对于上述的账户信息出现错误的情况下,可以对目标账户的数据信息暂停同步,并将账户错误信息发送至目标邮箱,以告知用户输入的账户信息错误,从而让用户重新输入正确的账户信息。
其中,上述的目标邮箱可以为账户同步信息的负责人的邮箱,也可以是出现同步失败的账户所对应的邮箱,将账户信息错误的原因发送至邮箱中,以让相应的负责人重新输入正确的账户信息。在发送账户信息错误时,可以将账户对应的相关提示信息也发送到邮箱中,已告知负责人出现的情况,避免负责人误删除该账户信息错误的邮件。
可选的,基于分析结果对数据同步失败的账户重新执行数据同步之后,上述实施例还可以包括:统计账户集合中每个账户的同步结果;基于同步结果计算数据同步成功率;以及将同步结果和数据同步成功率发送至目标地址。
通过上述实施方式,可以统计得到同步结果,以根据同步结果得到同步成功率,从而分析同步过程中出现的问题。可选的,将同步结果和数据同步成功率发送至目标地址,该目标地址可以为账户负责人所使用的终端的地址,账户负责人可以根据同步结果和数据同步成功率确定数据同步的效果,也可以通过该数据分析数据同步程序是否存在漏洞,以修改数据同步程序,提高数据同步分析效率。
利用上述实施例,可以采用自动统计、分析账户同步数据的方式,处理数据同步失败的账户,进而重新同步目标账户的数据,无需人工处理同步失败的数据,节省人力成本,提高数据同步的效率和成功率,最终可以保证每个账户生成消费数据的数据表。
下面是根据本发明实施例的具体实施例。
本申请实施例中,提供了一种数据同步方法的方案,该方法可以应用于账户消费数据系统中,该方法中产生的数据可以包括但不限于:投放广告产生的物料数据和前一天的消费数据,为了使消费数据能准确的匹配到对应的物料层级上,可以在同步消费数据之前,先同步账户结构,在同步账户结构后,将产生的账户信息同步到预设数据库中。
其中,上述的数据同步方法可以包括如下步骤:
步骤S21,同步所有账户的消费数据。其中,该消费数据可以是在第二天开始的时间同步,例如,凌晨1点时,同步所有账户的消费数据。由于账户较多,每个账户产生的消费数据过多,会花费很长的时间。
步骤S22,将同步结果保存至预设数据库中。
步骤S23,统计同步失败的账户。其中,该统计同步失败的账户的时间可以是用户根据系统的处理速度自行设置的,例如,早上8点。
步骤S24,分析同步失败的原因。
其中,在本申请实施例中,同步失败的原因包括但不限于:同步账户结构失败和非同步账户结构失败,其中,同步账户结构失败可以是预设数据库中的账户结构无法正常匹配,导致数据出现混乱或者数据未同步的情况,对于非同步账户结构失败,可以是媒体端数据未生成和媒体服务不稳定等导致的同步失败情况。
在分析出同步失败的原因是同步账户结构失败时,执行步骤S25,在分析出同步失败的原因是非同步账户结构失败时,执行步骤S26。
步骤S25,同步账户结构。
步骤S26,重新自动同步消费数据。
在上述实施例中,所有服务器上面的数据同步程序从每天凌晨开始同步所有账户前一天的消费数据,在早上八点之前将所有账户的消费数据同步完成。在本申请实施例中,出现账户同步失败包括:媒体端数据未生成、媒体服务不稳定、账户结构同步失败限制等原因。
在上述实施例中,在同步完一个账户之后,将账户同步结果的详细信息保存到数据库中,如果某个账户同步失败时,可以同时在数据库中记录该账户同步失败的原因。在所有账户的消费数据同步完成之后,开始统计所有账户的同步情况,找到同步失败的账户,通过分析这些账户同步失败的原因,自动处理出现同步失败的账户,以确保在数据同步完成。
通过上述实施例,可以将每个账户的消费数据同步完成后,将同步结果的详细信息保存在数据库中,在每天早上8点的时候从同步的结果信息中统计同步失败的账户,并且自动分析、处理同步失败的账户,最终保证所有账户的消费数同步成功。采用自动统计、分析、重新处理失败账户的方案,可以节省人力成本,同时提高了数据同步的处理效率和成功率。最终保证了每个账户可以按时生成前一天消费数据的报表。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种数据同步装置,需要说明的是,本申请实施例的数据同步装置可以用于执行本申请实施例所提供的用于数据同步方法。以下对本申请实施例提供的数据同步装置进行介绍。
图2是根据本申请实施例提供的数据同步装置的示意图。其中,该装置包括:确定单元10,用于在目标搜索引擎上确定需要进行数据同步的账户,得到账户集合,其中,账户集合中包括多个账户;第一同步单元20,用于将账户集合中每个账户的数据信息同步至预设数据库中;获取单元30,用于在同步完成后,获取目标账户,其中,目标账户为数据同步失败的账户;分析单元40,用于对目标账户的同步失败原因进行分析;第二同步单元50,用于基于分析结果对目标账户重新执行数据信息同步。
通过上述实施例,可以通过确定单元10在目标搜索引擎上确定出需要进行数据同步的账户,得到账户集合,然后可以通过第一同步单元20将各个账户的数据信息同步至预设数据库中,在数据同步完成后,可以通过获取单元30获取到同步失败的目标账户,并通过分析单元40分析同步失败的目标账户,通过第二同步单元50重新执行数据信息同步。在该实施例中,可以利用数据同步程序对出现同步失败的账户分析,然后重新将出现同步失败的账户的信息同步,这样无需人工一个个查看同步失败的账户,也不需要人工来录入同步失败的数据,利用数据同步程序可以较为快速和准确的进行数据同步,解决相关技术中对互联网中需要同步的账户进行数据同步的成功率较低的问题。
可选的,第一同步单元20包括:同步模块,用于将每个账户中的数据信息同步至预设数据库中;保存模块,用于在对每个账户同步结束后,将每个账户的同步结果保存至预设数据库中,其中,同步结果为数据同步成功或数据同步失败;对同步结果为数据同步失败的账户,将目标账户数据同步失败的原因保存至预设数据库中。
其中,获取单元30包括:提取模块,用于从预设数据库中提取同步结果为数据同步失败的账户,得到目标账户;获取模块,用于在预设数据库中获取目标账户数据同步失败的原因;分析单元包括:判断模块,用于判断目标账户数据同步失败的原因是否为账户结构同步失败;第一同步模块,用于若目标账户数据同步失败的原因是账户结构同步失败,对目标账户进行账户结构同步,在账户结构同步结束之后,对目标账户的消费数据进行同步,其中,目标账户的数据信息包括:账户结构信息和消费数据信息;第二同步模块,用于若目标账户数据同步失败的原因不是账户结构同步失败,对目标账户的消费数据信息重新进行同步。
其中,上述数据同步装置包括处理器和存储器,上述确定单元10、第一同步单元20、获取单元30、分析单元40和第二同步单元50等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提高了数据同步的处理效率和成功率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述数据同步方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据同步方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:在目标搜索引擎上确定需要进行数据同步的账户,得到账户集合,其中,账户集合中包括多个账户;将账户集合中每个账户的数据信息同步至预设数据库中;在同步完成后,获取目标账户,其中,目标账户为数据同步失败的账户;对目标账户的同步失败原因进行分析;基于分析结果对目标账户重新执行数据信息同步。
可选地,在处理器执行程序时,还可以将每个账户中的数据信息同步至预设数据库中;在对每个账户同步结束后,将每个账户的同步结果保存至预设数据库中,其中,同步结果为数据同步成功或数据同步失败;对同步结果为数据同步失败的账户,将目标账户数据同步失败的原因保存至预设数据库中。
可选地,在处理器执行程序时,还可以从预设数据库中提取同步结果为数据同步失败的账户,得到目标账户;在预设数据库中获取目标账户数据同步失败的原因;对目标账户的同步失败原因进行分析包括:判断目标账户数据同步失败的原因是否为账户结构同步失败;若目标账户数据同步失败的原因是账户结构同步失败,对目标账户进行账户结构同步,在账户结构同步结束之后,对目标账户的消费数据进行同步,其中,目标账户的数据信息包括:账户结构信息和消费数据信息;若目标账户数据同步失败的原因不是账户结构同步失败,对目标账户的消费数据信息重新进行同步。
可选地,在处理器执行程序时,还可以获取对目标账户的消费数据信息进行重新同步的同步结果;若该同步结果为数据同步失败,确定目标账户数据同步失败的原因为账户信息错误;对目标账户的数据信息暂停同步,并将账户错误信息发送至目标邮箱,其中,账户错误信息中包括目标账户的账户信息和提示账户信息错误的消息。
可选地,在处理器执行程序时,还可以统计账户集合中每个账户的同步结果;基于同步结果计算数据同步成功率;以及将同步结果和数据同步成功率发送至目标地址。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:在目标搜索引擎上确定需要进行数据同步的账户,得到账户集合,其中,账户集合中包括多个账户;将账户集合中每个账户的数据信息同步至预设数据库中;在同步完成后,获取目标账户,其中,目标账户为数据同步失败的账户;对目标账户的同步失败原因进行分析;基于分析结果对目标账户重新执行数据信息同步。
可选地,在数据处理设备执行程序时,还可以将每个账户中的数据信息同步至预设数据库中;在对每个账户同步结束后,将每个账户的同步结果保存至预设数据库中,其中,同步结果为数据同步成功或数据同步失败;对同步结果为数据同步失败的账户,将目标账户数据同步失败的原因保存至预设数据库中。
可选地,在数据处理设备执行程序时,还可以从预设数据库中提取同步结果为数据同步失败的账户,得到目标账户;在预设数据库中获取目标账户数据同步失败的原因;对目标账户的同步失败原因进行分析包括:判断目标账户数据同步失败的原因是否为账户结构同步失败;若目标账户数据同步失败的原因是账户结构同步失败,对目标账户进行账户结构同步,在账户结构同步结束之后,对目标账户的消费数据进行同步,其中,目标账户的数据信息包括:账户结构信息和消费数据信息;若目标账户数据同步失败的原因不是账户结构同步失败,对目标账户的消费数据信息重新进行同步。
可选地,在数据处理设备执行程序时,还可以获取对目标账户的消费数据信息进行重新同步的同步结果;若该同步结果为数据同步失败,确定目标账户数据同步失败的原因为账户信息错误;对目标账户的数据信息暂停同步,并将账户错误信息发送至目标邮箱,其中,账户错误信息中包括目标账户的账户信息和提示账户信息错误的消息。
可选地,在数据处理设备执行程序时,还可以统计账户集合中每个账户的同步结果;基于同步结果计算数据同步成功率;以及将同步结果和数据同步成功率发送至目标地址。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据同步方法,其特征在于,包括:
在目标搜索引擎上确定需要进行数据同步的账户,得到账户集合,其中,所述账户集合中包括多个账户;
将所述账户集合中每个账户的数据信息同步至预设数据库中;
在同步完成后,获取目标账户,其中,所述目标账户为数据同步失败的账户;
对所述目标账户的同步失败原因进行分析;
基于分析结果对所述目标账户重新执行数据信息同步。
2.根据权利要求1所述的方法,其特征在于,将所述账户集合中每个账户的数据信息同步至预设数据库中包括:
将每个账户中的数据信息同步至所述预设数据库中;
在对每个账户同步结束后,将每个账户的同步结果保存至所述预设数据库中,其中,所述同步结果为数据同步成功或数据同步失败;
对所述同步结果为数据同步失败的账户,将目标账户数据同步失败的原因保存至所述预设数据库中。
3.根据权利要求2所述的方法,其特征在于,
在同步完成后,获取目标账户包括:从所述预设数据库中提取所述同步结果为数据同步失败的账户,得到所述目标账户;在所述预设数据库中获取所述目标账户数据同步失败的原因;
对所述目标账户的同步失败原因进行分析包括:
判断所述目标账户数据同步失败的原因是否为账户结构同步失败;
若所述目标账户数据同步失败的原因是账户结构同步失败,对所述目标账户进行账户结构同步,在账户结构同步结束之后,对所述目标账户的消费数据进行同步,其中,所述目标账户的数据信息包括:账户结构信息和消费数据信息;
若所述目标账户数据同步失败的原因不是账户结构同步失败,对所述目标账户的消费数据信息重新进行同步。
4.根据权利要求3所述的方法,其特征在于,若所述目标账户数据同步失败的原因不是账户结构同步失败,对所述目标账户的消费数据信息重新进行同步之后,所述方法还包括:
获取对所述目标账户的消费数据信息进行重新同步的同步结果;
若该同步结果为数据同步失败,确定所述目标账户数据同步失败的原因为账户信息错误;
对所述目标账户的数据信息暂停同步,并将账户错误信息发送至目标邮箱,其中,所述账户错误信息中包括所述目标账户的账户信息和提示账户信息错误的消息。
5.根据权利要求1所述的方法,其特征在于,基于分析结果对所述数据同步失败的账户重新执行数据同步之后,所述方法还包括:
统计所述账户集合中每个账户的同步结果;
基于所述同步结果计算数据同步成功率;以及
将所述同步结果和所述数据同步成功率发送至目标地址。
6.一种数据同步装置,其特征在于,包括:
确定单元,用于在目标搜索引擎上确定需要进行数据同步的账户,得到账户集合,其中,所述账户集合中包括多个账户;
第一同步单元,用于将所述账户集合中每个账户的数据信息同步至预设数据库中;
获取单元,用于在同步完成后,获取目标账户,其中,所述目标账户为数据同步失败的账户;
分析单元,用于对所述目标账户的同步失败原因进行分析;
第二同步单元,用于基于分析结果对所述目标账户重新执行数据信息同步。
7.根据权利要求6所述的装置,其特征在于,所述第一同步单元包括:
同步模块,用于将每个账户中的数据信息同步至所述预设数据库中;
保存模块,用于在对每个账户同步结束后,将每个账户的同步结果保存至所述预设数据库中,其中,所述同步结果为数据同步成功或数据同步失败;
对所述同步结果为数据同步失败的账户,将目标账户数据同步失败的原因保存至所述预设数据库中。
8.根据权利要求7所述的装置,其特征在于,
所述获取单元包括:提取模块,用于从所述预设数据库中提取所述同步结果为数据同步失败的账户,得到所述目标账户;获取模块,用于在所述预设数据库中获取所述目标账户数据同步失败的原因;
所述分析单元包括:
判断模块,用于判断所述目标账户数据同步失败的原因是否为账户结构同步失败;
第一同步模块,用于若所述目标账户数据同步失败的原因是账户结构同步失败,对所述目标账户进行账户结构同步,在账户结构同步结束之后,对所述目标账户的消费数据进行同步,其中,所述目标账户的数据信息包括:账户结构信息和消费数据信息;
第二同步模块,用于若所述目标账户数据同步失败的原因不是账户结构同步失败,对所述目标账户的消费数据信息重新进行同步。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至5中任意一项所述的数据同步方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至5中任意一项所述的数据同步方法。
CN201710906076.4A 2017-09-28 2017-09-28 数据同步方法及装置 Active CN109587192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710906076.4A CN109587192B (zh) 2017-09-28 2017-09-28 数据同步方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710906076.4A CN109587192B (zh) 2017-09-28 2017-09-28 数据同步方法及装置

Publications (2)

Publication Number Publication Date
CN109587192A true CN109587192A (zh) 2019-04-05
CN109587192B CN109587192B (zh) 2021-09-07

Family

ID=65914062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710906076.4A Active CN109587192B (zh) 2017-09-28 2017-09-28 数据同步方法及装置

Country Status (1)

Country Link
CN (1) CN109587192B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225119A (zh) * 2019-06-13 2019-09-10 平安科技(深圳)有限公司 数据同步方法及相关设备
CN110543472A (zh) * 2019-08-09 2019-12-06 浙江大华技术股份有限公司 数据对账方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166309A (zh) * 2007-08-10 2008-04-23 中兴通讯股份有限公司 一种双归属系统中实现用户数据同步的方法
CN101826101A (zh) * 2010-01-25 2010-09-08 王平 搜索引擎装置及其方法
CN103646093A (zh) * 2013-12-18 2014-03-19 北京博雅立方科技有限公司 搜索引擎数据处理方法和平台
US20160026702A1 (en) * 2007-03-02 2016-01-28 Xdrive, Llc Digital Asset Management System (DAMS)
CN106611354A (zh) * 2015-10-27 2017-05-03 北京国双科技有限公司 一种同步结果展示的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160026702A1 (en) * 2007-03-02 2016-01-28 Xdrive, Llc Digital Asset Management System (DAMS)
CN101166309A (zh) * 2007-08-10 2008-04-23 中兴通讯股份有限公司 一种双归属系统中实现用户数据同步的方法
CN101826101A (zh) * 2010-01-25 2010-09-08 王平 搜索引擎装置及其方法
CN103646093A (zh) * 2013-12-18 2014-03-19 北京博雅立方科技有限公司 搜索引擎数据处理方法和平台
CN106611354A (zh) * 2015-10-27 2017-05-03 北京国双科技有限公司 一种同步结果展示的方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225119A (zh) * 2019-06-13 2019-09-10 平安科技(深圳)有限公司 数据同步方法及相关设备
WO2020248364A1 (zh) * 2019-06-13 2020-12-17 平安科技(深圳)有限公司 数据同步方法及相关设备
CN110543472A (zh) * 2019-08-09 2019-12-06 浙江大华技术股份有限公司 数据对账方法及相关装置

Also Published As

Publication number Publication date
CN109587192B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
JP6882474B2 (ja) リプレイ攻撃の検出のためのシステム及び方法
CN107040578A (zh) 数据同步方法、装置和系统
CN110413578A (zh) 数据解析的方法和装置
RU2015156608A (ru) Сетевое устройство и способ управления процессом службы
CN109766258A (zh) 一种性能测试方法、装置及计算机可读存储介质
CN107870948A (zh) 任务调度方法和装置
CN108234057A (zh) 基于bmc的服务器的时间同步方法、装置及存储介质
CN111708794B (zh) 基于大数据平台的数据比对方法、装置和计算机设备
CN106650496B (zh) 一种数据处理方法及装置
CN106685894B (zh) 一种风险识别方法、装置及系统
CN106603635B (zh) 一种平台数据异地备份方法
CN104951515A (zh) 一种提取并分析Android手机行踪轨迹的方法
CN105446757B (zh) 一种数据包的处理方法和设备
CN109800005A (zh) 一种客户端热更新方法及装置
CN109587192A (zh) 数据同步方法及装置
CN114647698A (zh) 数据同步方法、装置及计算机存储介质
CN109582543A (zh) 数据回溯方法和装置
CN109936474A (zh) 一种生成网络拓扑图的方法及设备
CN110019260B (zh) 一种用户数据的更新方法及相关设备
CN105022676A (zh) 一种内存数据库重做日志文件的恢复方法和装置
CN111651522B (zh) 一种数据同步方法及装置
CN104703173B (zh) 终端应用账户配置及检测方法、装置及系统
CN107145421A (zh) 一种异常信息获取方法和装置
CN106293996B (zh) 数据同步方法、主设备、备份设备和系统
CN104468569B (zh) 分布式数据的完整性检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant