CN105550347A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN105550347A
CN105550347A CN201510997751.XA CN201510997751A CN105550347A CN 105550347 A CN105550347 A CN 105550347A CN 201510997751 A CN201510997751 A CN 201510997751A CN 105550347 A CN105550347 A CN 105550347A
Authority
CN
China
Prior art keywords
data
website
information
database
changed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510997751.XA
Other languages
English (en)
Other versions
CN105550347B (zh
Inventor
李叠
庄上林
魏中华
解保功
岳帅杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201510997751.XA priority Critical patent/CN105550347B/zh
Publication of CN105550347A publication Critical patent/CN105550347A/zh
Application granted granted Critical
Publication of CN105550347B publication Critical patent/CN105550347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据处理方法及装置。其中,该方法包括:在数据中心的数据库中存储各个站点中的数据的信息;在所述数据需要变更时,在站点内对所述数据进行变更,并在变更完成后向所述数据中心推送变更的数据,推送的所述变更的数据用于更新所述数据中心中的数据的信息。本发明解决了相关技术中的数据结构无法满足需求的技术问题,可以实现根据数据的信息快速查询出该信息在所有站点相关的数据的技术效果。

Description

数据处理方法及装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种数据处理方法及装置。
背景技术
目前,同一用户可以在各个站点拥有个人数据。这些数据分散存储在各个站点的数据库中,用户要查看其在其中一个站点的数据时,必须先登录相应的站点。
当这些站点数量较多时,用户要查看他全部的数据,就需要分别登录每一个站点操作,较为繁琐。如果能设立一个中心站点(以下称为数据中心),用户登录后可以直接查看到他的所有站点的数据,可以大幅提升用户体验。这里的数据中心指的是整合了多个站点用户数据的系统。
在相关技术中有以下两大类实现方式:
一、让数据中心可以分别读取每个站点的数据库。数据中心通过直接访问多个站点的数据库,实现将这些数据对用户以统一的方式展示。
但是这种方式难以满足实际使用中对全局中多个数据的批处理等操作需求,例如排序等。例如,站内信、邮件等在展示给用户时,需要按时间进行排序。在每个站点内部,通常通过数据库索引的方式实现这种需求,例如:建议一个(用户标识(UserIdentifier,简称为UID),发送时间)的联合索引,就可以在给定UID时,迅速查询出UID对应的用户的最近N条站内信。但涉及多个站点时,没有全局的索引,就无法快速地进行这种查询,而需要从每个站点的数据库读出最近N条站内信,然后再对比它们的时间筛选出真正最近的N条,需要读取第二页(第从最近第N+1至第2N条)站内信时操作更为复杂和低效。其中
二、所有站点使用一个统一的数据库。
但是这种方式多个站点的数据库合为一体,数据量太大;并且这种整合数据的需求通常是先有了各个分离的站点,再有整合的需求,采用这种方法不能基于已有的存储方式,而需要对各个站点的数据存储方式进行很大的修改。
由此可见,在通常情况下,上述实现方式并不能满足需求,一方面是站点数量较大时,需要读取的次数很多;另一方面是,很多数据都有批处理(例如排序等)的需求,例如站内信需要按收信时间进行排序,使用上述方式无法高效地使数据中心实现对用户的全局数据进行排序。
针对相关技术中的数据结构无法满足需求的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法及装置,以至少解决相关技术中的数据结构无法满足需求的技术问题。
根据本发明实施例的一个方面,提供了一种数据处理方法,包括:在数据中心的数据库中存储各个站点中的数据的信息;在所述数据需要变更时,在站点内对所述数据进行变更,并在变更完成后向所述数据中心推送变更的数据,推送的所述变更的数据用于更新所述数据中心中的数据的信息。
可选地,在数据中心的数据库中存储各个站点中的数据的信息包括:在数据中心的数据库中存储各个站点中的数据的相关信息及所述数据的全局标识,其中,所述全局标识包括所述数据所在站点的站点标识和所述数据在所述站点内的局部数据标识。
可选地,所述数据的相关信息包括以下至少之一:所述数据对应的用户标识,所述数据的指定字段。
可选地,在数据中心的数据库中存储各个站点中的数据的信息包括:根据用户标识获取哈希函数,所述哈希函数用于将每个用户唯一映射至所述数据中心的数据库的一个数据表中。
可选地,在在变更完成后向所述数据中心推送变更的数据之后,还包括:如果推送失败,则将推送失败的数据按照预设的重试规则重新推送。
可选地,将推送失败的数据按照预设的重试规则重新推送包括:将推送失败的数据的局部数据标识添加到本站点的重试列表中,所述重试列表用于按照预设的重试规则重新推送表中的局部数据标识对应的数据。
可选地,在变更完成后向所述数据中心推送变更的数据之后,还包括:如果推送成功,在所述数据中心中查找到对应的数据的信息;根据变更的变更类型对查找到的数据的信息进行相应处理。
可选地,所述变更类型包括以下至少之一:创建新数据,修改数据,删除数据。
根据本发明实施例的另一方面,还提供了一种数据处理装置,包括:存储模块,用于在数据中心的数据库中存储各个站点中的数据的信息;变更模块,用于在所述数据需要变更时,在站点内对所述数据进行变更,并在变更完成后向所述数据中心推送变更的数据,推送的所述变更的数据用于更新所述数据中心中的数据的信息。
可选地,所述存储模块用于:在数据中心的数据库中存储各个站点中的数据的相关信息及所述数据的全局标识,其中,所述全局标识包括所述数据所在站点的站点标识和所述数据在所述站点内的局部数据标识。
在本发明实施例中,采用在数据中心的数据库中存储各个站点中的数据的信息;在所述数据需要变更时,在站点内对所述数据进行变更,并在变更完成后向所述数据中心推送变更的数据,推送的所述变更的数据用于更新所述数据中心中的数据的信息的方式,将各个站点中的数据的信息(例如时间等需求的信息)统一存储到数据中心的数据库中,使得在需要对不同站点间的多个数据进行批处理时,能够在数据中心中依据存储的信息进行该批处理;并且,在数据需要进行变更时,并不是直接对数据中心中的数据信息进行变更,而是首先对各个站点中的数据进行变更,并在各个站点中的数据变更完成后,再将变更的数据推送给数据中心以使数据中心进行变更。这样使得在各个站点中存储的数据仍然是准确的,数据中心的故障不会导致分站点停止服务。可以实现根据数据的信息快速查询出该信息在所有站点相关的数据的技术效果,进而解决了相关技术中的数据结构无法满足需求的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种数据处理方法的流程图;
图2是根据本发明实施例的一种数据处理装置的结构框图;
图3是根据本发明优选实施例的整体架构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种数据处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种数据处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,在数据中心的数据库中存储各个站点中的数据的信息;
步骤S104,在所述数据需要变更时,在站点内对所述数据进行变更,并在变更完成后向所述数据中心推送变更的数据,推送的所述变更的数据用于更新所述数据中心中的数据的信息。
通过上述步骤,将各个站点中的数据的信息(例如时间等需求的信息)统一存储到数据中心的数据库中,使得在需要对不同站点间的多个数据进行批处理时,能够在数据中心中依据存储的信息进行该批处理;并且,在数据需要进行变更时,并不是直接对数据中心中的数据信息进行变更,而是首先对各个站点中的数据进行变更,并在各个站点中的数据变更完成后,再将变更的数据推送给数据中心以使数据中心进行变更,这样使得在各个站点中存储的数据仍然是准确的,数据中心的故障不会导致分站点停止服务,解决了相关技术中的数据结构无法满足需求的技术问题,可以实现根据数据的信息快速查询出该信息在所有站点相关的数据。其中推送描述的是各站点将本站点的数据写到数据中心的行为。
可选地,在数据中心的数据库中存储各个站点中的数据的信息可以包括各个站点中的数据的相关信息及所述数据的全局标识,其中,所述全局标识可以包括所述数据所在站点的站点标识(SID)和所述数据在所述站点内的局部数据标识(LDID),SID是每个站点的全局唯一标识,LDID是每一条数据在一个站点上的本站点唯一标识,LDID在站点内唯一。
可选地,所述数据的相关信息可以包括以下至少之一:所述数据对应的用户标识(UID),所述数据的指定字段(例如创建时间、更新时间、大小等)。UID是用户在多个站点上共享的全局唯一标识。通过这种方式,可以在每一个站点上,与用户标识关联了一系列数据,这些数据可以分为很多类,例如:一个用户在一个站点上可以拥有订单、站内信、登录记录等。每一类数据可以使用相同的方法分别进行本申请中给出的整合,因此本实施例在论述时只针对一类数据进行描述。每一条数据都拥有一个LDID。
为了进行整合,对每条数据定义了一个全局标识,如上所述,使用了SID和LDID组成的二元组作为该全局标识。进行整合后,数据中心需要可以根据UID迅速找出UID所对应的所有数据的GDID,并且每一条数据可以根据GDID找到相应的SID和LDID。
在以UID作为主要索引依据的情况下,在数据中心的数据库中存储各个站点中的数据的信息时,可以按照如下方式进行存储:
根据用户标识获取哈希函数,所述哈希函数用于将每个用户唯一映射至所述数据中心的数据库的一个数据表中。具体地,在数据中心包含n个数据库,每个数据库中包含了m个数据表的情况下,所述哈希函数可以根据UID计算出一个[0,mn-1]区间内的整数值,然后将每一个用户唯一映射到这mn个数据表中的一个。
可选地,在步骤S104中向所述数据中心推送变更的数据的步骤之后,如果推送失败,则可以将推送失败的数据按照预设的重试规则重新推送。具体地,可以在站点中设置一个重试列表retry_list,将推送失败的数据对应的LDID插入本站点的重试列表中,所述重试列表用于按照预设的重试规则重新推送表中的局部数据标识对应的数据。其中所述重试规则可以根据需要设置,例如,按照一定的周期定时进行重新推送,或者,设置阈值,在表中的局部数据标识对应的数据数量达到该阈值后,进行重新推送,当然还可以由其他多种重试规则,本文中不再赘述。
可选地,在变更完成后向所述数据中心推送变更的数据的步骤之后,如果推送成功,则可以按照如下方式处理:
当数据中心获取到变更的数据后,在所述数据中心中查找到对应的数据的信息;然后根据变更的变更类型对查找到的数据的信息进行相应处理。其中所述变更类型可以包括以下至少之一:创建新数据,修改数据,删除数据,则根据变更的变更类型对查找到的数据的信息进行相应处理可以具体如下:
创建新数据:站点SID为用户UID创建新数据时,自动为新的数据分配了一个本站点唯一的标识LDID,然后将数据插入本地数据库(如上文所述,插入的数据内容包括LDID、UID和数据详细内容),同时将尝试向数据中心推送数据。推送的具体的做法是:站点根据UID,用上文所述的哈希函数计算出该用户在数据中心所对应的数据表,建立数据库连接(数据中心允许各站点直接连接和写入),然后插入数据,内容包括SID、LDID、UID及数据的信息,这里的数据的信息可以是上述数据详细内容中的部分或全部,例如可以是根据需要从上述数据详细内容中精简出的一部分内容,比如时间信息等。
修改、删除:与创建类似,在本站点数据库中修改后,用同样的方法根据UID找到数据中心中的数据表,根据(SID,LDID)找到那一条数据,然后对该数据的信息进行更新,或者将(SID,LDID)所标识的数据直接删除。
需要说明的是,上述数据需要变更可能是由用户操作发起的,也可以是由系统在处理数据时发起的,可能是通过数据中心对数据进行的操作或处理发起的,也可能是在各个站点本地对数据进行的操作或处理发起的,在本文中不一一赘述。
根据本发明实施例,提供了一种数据处理方法的装置实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的一种数据处理装置的结构框图,如图2所示,该装置包括:
存储模块22,用于在数据中心的数据库中存储各个站点中的数据的信息;变更模块24,与存储模块22相连,用于在所述数据需要变更时,在站点内对所述数据进行变更,并在变更完成后向所述数据中心推送变更的数据,推送的所述变更的数据用于更新所述数据中心中的数据的信息。
可选地,所述存储模块22可以用于:在数据中心的数据库中存储各个站点中的数据的相关信息及所述数据的全局标识,其中,所述全局标识包括所述数据所在站点的站点标识和所述数据在所述站点内的局部数据标识。
下面结合优选实施例进行说明,以下优选实施例结合了上述实施例及其优选实施方式。
在本优选实施例中,以便于查询某个用户的数据为例进行说明,将多个站点使用共同的帐号系统,建立一个数据中心,使得可以根据UID快速查询出用户在所有站点的数据,查询过程支持对数据进行筛选、排序等操作。
在各站点的产生新数据和数据发生变化时,除了将其写入站点的数据库,也同步推送到数据中心,并与所属用户关联起来。平台从数据中心读取数据,但用户的任何修改操作,都不直接修改数据中心,而是通过站点的接口进行,先修改站点数据库的数据,再同步推送到数据中心。
各站点向数据中心推送数据时,如因故未能成功写入,不回滚站点的数据库,而是将失败数据的标识符加入重试列表,定期重试。这样,数据中心的故障不会导致分站点停止服务。
每一个站点有一个全局唯一的站点标识(SID)。这些站点之间共用用户帐号系统,每一个用户有一个全局唯一的用户ID(UID)。在每一个站点上,每一个用户可以拥有多条数据,其中每一个数据的信息至少包含:所属的UID、该条数据的局部(即站点内)唯一数据标识(LDID)、数据详细内容。其中数据详细内容可能包含排序的关键字,例如数据的时间等。将每一条数据所在的站点SID和它在站点内的LDID组合起来的二元组(SID,LDID)作为数据的全局标识。
图3是根据本发明优选实施例的整体架构示意图,如图3所示,数据中心中包括多个数据库(DB),各个站点与数据中心相连,如果站点推送数据信息失败,则把该数据的标识添加到本地的重试列表中进行重试。
参考图3的整体架构,本优选实施例的技术方案包含以下四个部分:数据结构设计、从数据中心读取数据的操作、各站点数据发生变更时的操作、数据推送重试操作。
一:数据结构设计
(1)数据中心的数据库设计
数据中心由n个数据库构成,每个数据库中包含m个数据表,总共mn个数据表。这mn个数据表的结构相同,其中每一行存储一条数据,至少包括以下三个字段:
UID——该条数据所属的用户;
SID——该条数据所对应的站点;
LDID——该条数据在站点内的唯一标识。
数据表以(SID,LDID)为主键,同时为UID字段创建索引。当有数据排序的需求时(以按时间TIME排序为例),将对应的值也作为字段加到上述数据表中,并建立相应的联合索引(UID,TIME)。
定义一个哈希函数,它根据UID计算出一个[0,mn-1]区间内的整数值,将每一个用户唯一映射到这mn个数据表中的一个,该用户的所有数据都存放在对应的这个数据表中。
(2)各站点重试列表
每一个站点建立一个重试列表,可以记录一系列LDID。
二:从数据中心读取数据的操作
给定UID,根据他在所有站点的数据时,按以下步骤进行:
S402、根据第一部分所述的哈希函数,找到用户所在的数据中心的数据库和数据表。
S404、从数据表中读取出用户的数据。需要按顺序读出时,由于第一部分的描述中已经创建了的联合索引,查询可以快速完成。
S406、如果需要进一步获取数据的详细信息或对其进行修改,根据S404中读取出的数据包含的SID、LDID信息,到站点SID数据库中进一步操作。由于LDID是数据在站点SID中的唯一标识,这一查询可以快速完成。如果是修改操作,需要继续下文第三部分的操作。
三:各站点数据发生变更时的操作
站点SID对用户UID的数据LDID进行任务变更操作(创建、修改、删除)后,进行以下步骤:
S502、根据第一部分所述的哈希函数,找到用户所在的数据中心的数据库和数据表。
S504、如果数据已经删除,则从数据中心也删除(SID,LDID)所对应的行;如果数据未删除,则将对应的数据插入或更新到数据中心。
S506、如果S504操作因为数据中心故障而失败,将LDID加入本站点的重试列表。
这里任务变更操作通常分为创建、修改、删除三种操作。这些操作可能由用户操作,例如用户在网站上点击“下单”则系统在数据库中为其创建一个订单,选中某一项点击“删除”则发起一次删除操作;也可能是由系统自动发起,例如在一个交易系统中,设置了每一个订单的有效期为30分钟,那么系统会自动将逾期未支付自动将订单状态由“待支付”修改为“已过期”,则属于一次修改。无论哪种情况,都属于站点数据的变更。下面对这三种操作进行详细说明:
创建新数据:站点SID为用户UID创建新数据时,自动为新的数据分配了一个本站点唯一的标识LDID,然后将数据插入本地数据库(如上文所述,插入的数据内容包括LDID、UID和数据详细内容),同时将尝试向数据中心推送数据。推送的具体的做法是:站点根据UID,用上文所述的哈希函数计算出该用户在数据中心所对应的数据表,建立数据库连接(数据中心允许各站点直接连接和写入),然后插入数据,内容包括SID、LDID、UID及概要内容。(此处所说“概要内容”即是数据的信息,是从上文的“数据详细内容”中精简出来的,具体如何精简,是由需要用户通过访问数据中心可以直接看到哪些内容决定的,视具体情况而定。)
修改、删除:与创建类似,在本站点数据库中修改后,用同样的方法根据UID找到数据中心中的数据表,根据(SID,LDID)找到那一条数据,然后对其中的“概要内容”进行更新,或者将(SID,LDID)所标识的数据直接删除。
如果因为数据中心维护、临时故障等原因推送操作没有成功,则将相应的LDID插入本站点的重试列表(可通过在数据库中创建一个数据表retry_list实现)。
四:数据推送重试操作
在各站点设置定时任务,每隔一定时间启动一次步骤S602。
S602、读取本站点重试列表,取出一系列LDID,将它们加入集合S。
S604、如集合S为空,跳到S616。
S606、从集合S中任意取出一个LDID,并将其从集合S中删除。
S608、根据第一部分所述的哈希函数,找到用户所在的数据中心的数据库和数据表。
S610、从站点的数据中读出LDID对应的数据,如果已经删除,则从数据中心也删除(SID,LDID)对应的行;如果数据未删除,则将对应的数据插入或更新到数据中心。
S612、如果S610操作成功,则将LDID从本站点的重试列表中删除。
S614、跳到S604。
设计重试列表的机制的目的是保证在数据中心故障的情况下,各站点仍然可以正常工作(后果仅仅是修改的数据延迟推送到数据中心),避免数据中心成为所有站点共同的单点。
通过上述第一部分所述的数据中心的设计,避免了数据中心单个数据库过大超过硬件容量的问题,保证了系统的可扩展性。
通过上述步骤S404至S504,在数据中心未发生故障(即步骤S504能够操作成功)的情况下,各站点对数据的创建、修改、删除操作可以实时反映到数据中心,保证了系统的实时性。
通过上述第一部分(2)、步骤S506、步骤S602至S616的重试机制,可以确保在数据中心出现故障无法成功推送时,各站点无需对本站点对应的数据库修改进行回滚,而是将待推送的数据写到重试列表,待数据中心恢复后由S602至S616自动重新推送。通过这种方式,保证了各站点接入数据中心以后,其健壮性不降低。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
在数据中心的数据库中存储各个站点中的数据的信息;
在所述数据需要变更时,在站点内对所述数据进行变更,并在变更完成后向所述数据中心推送变更的数据,推送的所述变更的数据用于更新所述数据中心中的数据的信息。
2.根据权利要求1所述的方法,其特征在于,在数据中心的数据库中存储各个站点中的数据的信息包括:
在数据中心的数据库中存储各个站点中的数据的相关信息及所述数据的全局标识,其中,所述全局标识包括所述数据所在站点的站点标识和所述数据在所述站点内的局部数据标识。
3.根据权利要求2所述的方法,其特征在于,所述数据的相关信息包括以下至少之一:所述数据对应的用户标识,所述数据的指定字段。
4.根据权利要求3所述的方法,其特征在于,在数据中心的数据库中存储各个站点中的数据的信息包括:
根据用户标识获取哈希函数,所述哈希函数用于将每个用户唯一映射至所述数据中心的数据库的一个数据表中。
5.根据权利要求1所述的方法,其特征在于,在在变更完成后向所述数据中心推送变更的数据之后,还包括:
如果推送失败,则将推送失败的数据按照预设的重试规则重新推送。
6.根据权利要求5所述的方法,其特征在于,将推送失败的数据按照预设的重试规则重新推送包括:
将推送失败的数据的局部数据标识添加到本站点的重试列表中,所述重试列表用于按照预设的重试规则重新推送表中的局部数据标识对应的数据。
7.根据权利要求1所述的方法,其特征在于,在变更完成后向所述数据中心推送变更的数据之后,还包括:
如果推送成功,在所述数据中心中查找到对应的数据的信息;
根据变更的变更类型对查找到的数据的信息进行相应处理。
8.根据权利要求7所述的方法,其特征在于,所述变更类型包括以下至少之一:创建新数据,修改数据,删除数据。
9.一种数据处理装置,其特征在于,包括:
存储模块,用于在数据中心的数据库中存储各个站点中的数据的信息;
变更模块,用于在所述数据需要变更时,在站点内对所述数据进行变更,并在变更完成后向所述数据中心推送变更的数据,推送的所述变更的数据用于更新所述数据中心中的数据的信息。
10.根据权利要求9所述的装置,其特征在于,所述存储模块用于:
在数据中心的数据库中存储各个站点中的数据的相关信息及所述数据的全局标识,其中,所述全局标识包括所述数据所在站点的站点标识和所述数据在所述站点内的局部数据标识。
CN201510997751.XA 2015-12-25 2015-12-25 数据处理方法及装置 Active CN105550347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510997751.XA CN105550347B (zh) 2015-12-25 2015-12-25 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510997751.XA CN105550347B (zh) 2015-12-25 2015-12-25 数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN105550347A true CN105550347A (zh) 2016-05-04
CN105550347B CN105550347B (zh) 2020-07-14

Family

ID=55829536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510997751.XA Active CN105550347B (zh) 2015-12-25 2015-12-25 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN105550347B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291938A (zh) * 2017-07-06 2017-10-24 携程旅游网络技术(上海)有限公司 订单查询系统及方法
CN107967284A (zh) * 2016-10-20 2018-04-27 北京京东尚科信息技术有限公司 用于存储、查询订单信息的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000079408A2 (de) * 1999-06-18 2000-12-28 Sap Aktiengesellschaft Verfahren zur datenpflege in einem netzwerk teilweise replizierter datenbanksysteme
CN101251843A (zh) * 2007-11-23 2008-08-27 华中科技大学 一种用于数据网格的全分布式副本定位方法
CN101710901A (zh) * 2009-10-22 2010-05-19 乐视网信息技术(北京)股份有限公司 一种具有p2p功能的分布式存储系统和方法
CN101860474A (zh) * 2009-04-08 2010-10-13 中兴通讯股份有限公司 基于对等网络的资源信息处理方法及对等网络
CN103208153A (zh) * 2013-03-11 2013-07-17 万金朋 一种基于客户信息与储物柜位置动态绑定的智能云存储系统
CN104331501A (zh) * 2014-11-19 2015-02-04 广东花生信息科技有限公司 一种多平台的数据更新方法
CN104598610A (zh) * 2015-01-29 2015-05-06 无锡江南计算技术研究所 一种分步式数据库数据分发上传同步方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000079408A2 (de) * 1999-06-18 2000-12-28 Sap Aktiengesellschaft Verfahren zur datenpflege in einem netzwerk teilweise replizierter datenbanksysteme
CN101251843A (zh) * 2007-11-23 2008-08-27 华中科技大学 一种用于数据网格的全分布式副本定位方法
CN101860474A (zh) * 2009-04-08 2010-10-13 中兴通讯股份有限公司 基于对等网络的资源信息处理方法及对等网络
CN101710901A (zh) * 2009-10-22 2010-05-19 乐视网信息技术(北京)股份有限公司 一种具有p2p功能的分布式存储系统和方法
CN103208153A (zh) * 2013-03-11 2013-07-17 万金朋 一种基于客户信息与储物柜位置动态绑定的智能云存储系统
CN104331501A (zh) * 2014-11-19 2015-02-04 广东花生信息科技有限公司 一种多平台的数据更新方法
CN104598610A (zh) * 2015-01-29 2015-05-06 无锡江南计算技术研究所 一种分步式数据库数据分发上传同步方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡四元: "区域性信息资源整合服务系统的实现", 《现代信息技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967284A (zh) * 2016-10-20 2018-04-27 北京京东尚科信息技术有限公司 用于存储、查询订单信息的方法和装置
CN107291938A (zh) * 2017-07-06 2017-10-24 携程旅游网络技术(上海)有限公司 订单查询系统及方法
CN107291938B (zh) * 2017-07-06 2020-04-07 携程旅游网络技术(上海)有限公司 订单查询系统及方法

Also Published As

Publication number Publication date
CN105550347B (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN102171661B (zh) 从整体数据库备份中恢复所选对象
CN103246549B (zh) 一种数据转存的方法及系统
CN102402605A (zh) 用于搜索引擎索引的混合分布模型
CN103678337B (zh) 数据清除方法、装置及系统
CN105373602A (zh) 一种政策推送管理系统
CN103150394A (zh) 面向高性能计算的分布式文件系统元数据管理方法
CN105512283A (zh) 数据质量管理控制方法及装置
CN101650717A (zh) 一种节约数据库存储空间的方法和系统
CN102521145A (zh) Java卡系统及其空间分配处理方法
CN105550219A (zh) 一种信息资源的自动编目方法
CN102202087A (zh) 一种标识存储设备的方法及系统
CN104142930A (zh) 通用δ数据装载
CN106202416A (zh) 列表数据写方法和装置、列表数据读取方法和装置
CN104346458A (zh) 数据存储方法和存储设备
CN106487860A (zh) 工作信息的处理方法及装置
CN112905616A (zh) 一种区块链账本的存储系统
CN113240336A (zh) 一种基于标签的任务管理系统
CN105373746A (zh) 一种分布式数据处理方法和装置
CN101963993B (zh) 一种数据库单表记录快速查找的方法
CN101963978B (zh) 一种分布式数据库的管理方法、装置及系统
CN105872635A (zh) 视频资源分发的方法和装置
CN105550347A (zh) 数据处理方法及装置
CN105159925A (zh) 一种数据库集群数据分配方法及系统
CN104486448A (zh) 一种数据处理方法及装置
CN103098055A (zh) 移动客户关系管理中的递归导航

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant