CN105511808B - 一种数据操作方法、系统及相关装置 - Google Patents
一种数据操作方法、系统及相关装置 Download PDFInfo
- Publication number
- CN105511808B CN105511808B CN201510863613.2A CN201510863613A CN105511808B CN 105511808 B CN105511808 B CN 105511808B CN 201510863613 A CN201510863613 A CN 201510863613A CN 105511808 B CN105511808 B CN 105511808B
- Authority
- CN
- China
- Prior art keywords
- data
- identifier
- main machine
- machine
- data identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明实施例公开了数据操作方法、系统及相关装置,应用于数据处理技术领域。在本实施例的方法中,主用机器会在根据数据操作请求对数据标识对应的数据进行相应操作后,将该数据标识发送给第三方进程,这样第三方进程就可以将该数据标识同步给该主用机器对应的所有备用机器和主用机器,由主用机器和备用机器清除该数据标识对应的数据,从而达到了主备机器对于失效数据的同步。本实施例中采用由第三方进程同步失效数据,而由主用机器对数据进行操作,使得同步数据和操作数据分离操作,相比现有技术更加可靠;且本实施例中只有在主用机器对相应数据操作以后,才同步失效数据,保证了不会有错误的失效数据的同步。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种数据操作方法、系统及相关装置。
背景技术
一般来说,有持久存储数据功能的分布式系统,为了提高系统查询性能,会将热点数据缓存在内存中,并且相同主键(key)的数据一般会部署多个机器实例如一主多备,达到容灾部署和负载均衡的效果。
而当数据有写操作或其它操作导致内存脏数据的请求发生的时候,一般要通过一定的手段保证所有主备机器内存中内容和更新后数据的一致性(即不含脏数据)。通常的方法是在主用机器将更新数据储存到缓存后,就开始主动通知备用机器做相应处理,主要是在更新数据的同时清除失效数据。这样如果更新数据失败而又清除了失效数据,会导致丢失有效数据。
发明内容
本发明实施例提供一种数据操作方法、系统及相关装置,实现了第三方进程将失效数据同步给备用机器和主用机器。
本发明实施例提供一种数据操作方法,包括:
主用机器接收数据操作请求,所述数据操作请求用于请求对数据标识对应的数据进行操作;
所述主用机器根据所述数据操作请求对所述数据标识对应的数据进行相应操作;
所述主用机器将所述数据标识发送给第三方进程,以使得所述第三方进程将所述数据标识发送给所述主用机器对应的所有备用机器及所述主用机器,由所述备用机器及主用机器清除所述数据标识对应的数据。
本发明实施例提供一种数据操作方法,包括:
第三方进程接收主用机器发送的数据标识,所述数据标识是当主用机器根据数据操作请求对所述数据标识对应的数据进行相应操作后发送的;
所述第三方进程将所述数据标识发送给所述主用机器对应的所有备用机器及所述主用机器,以使得所述备用机器及主用机器清除所述数据标识对应的数据。
本发明实施例还提供一种主机,包括:
请求接收单元,用于接收数据操作请求,所述数据操作请求用于请求对数据标识对应的数据进行操作;
操作单元,用于根据所述请求接收单元接收的数据操作请求对所述数据标识对应的数据进行相应操作;
标识发送单元,用于在所述操作单元进行相应操作后,将所述数据标识发送给第三方进程,以使得所述第三方进程将所述数据标识发送给所述主机对应的所有备用机器及所述主机,由所述备用机器及主机清除所述数据标识对应的数据;
数据删除单元,用于接收所述第三方进程发送的所述数据标识,删除所述数据标识对应的数据。
本发明实施例还提供一种数据操作装置,包括:
标识接收单元,用于接收主用机器发送的数据标识,所述数据标识是当主用机器根据数据操作请求对所述数据标识对应的数据进行相应操作后发送的;
同步单元,用于将所述数据标识发送给所述主用机器对应的所有备用机器及所述主用机器,以使得所述备用机器及主用机器清除所述数据标识对应的数据。
本发明实施例还提供一种数据操作系统,包括:主用机器,第三方设备和多个备用机器,其中:
所述主用机器包括:
请求接收单元,用于接收数据操作请求,所述数据操作请求用于请求对数据标识对应的数据进行操作;
操作单元,用于根据所述请求接收单元接收的数据操作请求对所述数据标识对应的数据进行相应操作;
标识发送单元,用于在所述操作单元进行相应操作后,将所述数据标识发送给第三方进程,以使得所述第三方进程将所述数据标识发送给所述主用机器对应的所有备用机器及所述主用机器,由所述备用机器及主用机器清除所述数据标识对应的数据;
数据删除单元,用于接收所述第三方进程发送的所述数据标识,删除所述数据标识对应的数据;
所述第三方设备包括:
标识接收单元,用于接收主用机器发送的数据标识,所述数据标识是当主用机器根据数据操作请求对所述数据标识对应的数据进行相应操作后发送的;
同步单元,用于将所述数据标识发送给所述主用机器对应的所有备用机器及主用机器,以使得所述备用机器及主用机器清除所述数据标识对应的数据;
所述备用机器,用于接收到所述第三方进程发送的数据标识,清除所述数据标识对应的数据。
本发明实施例还提供一种数据操作系统,包括主用机器和多个备用机器;
所述主用机器包括:
请求接收单元,用于接收数据操作请求,所述数据操作请求用于请求对数据标识对应的数据进行操作;
操作单元,用于根据所述请求接收单元接收的数据操作请求对所述数据标识对应的数据进行相应操作;
标识发送单元,用于在所述操作单元进行相应操作后,将所述数据标识发送给第三方进程,以使得所述第三方进程将所述数据标识发送给所述主用机器对应的所有备用机器及所述主用机器,由所述备用机器和主用机器清除所述数据标识对应的数据;
数据删除单元,用于接收所述第三方进程发送的所述数据标识,删除所述数据标识对应的数据;
第三方进程,用于将所述数据标识发送给所述数据删除单元及所述主用机器对应的所有备用机器。
所述备用机器,用于接收到所述主用机器中第三方进程发送的数据标识,清除所述数据标识对应的数据。
可见,在本发明实施例的方法中,主用机器会在根据数据操作请求对数据标识对应的数据进行相应操作后,将该数据标识发送给第三方进程,这样第三方进程就可以将该数据标识同步给该主用机器对应的所有备用机器及主用机器,由备用机器及主用机器清除该数据标识对应的数据,从而达到了主备机器对于失效数据的同步。本实施例中采用由第三方进程同步失效数据,而由主用机器对数据进行操作,使得同步数据和操作数据分离操作,相比现有技术更加可靠;且本实施例中只有在主用机器对相应数据操作以后,才同步失效数据,保证了不会有错误的失效数据的同步。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据操作方法的流程图;
图2a是本发明实施例中一种主用机器的结构示意图;
图2b是本发明实施例中另一种主用机器的结构示意图;
图3是本发明实施例提供的另一种数据操作方法的流程图;
图4a是本发明实施例提供的一种主机的结构示意图;
图4b是本发明实施例提供的另一种主机的结构示意图;
图5是本发明实施例提供的一种数据操作装置的结构示意图;
图6是本发明实施例提供的另一种数据操作装置的结构示意图;
图7a是本发明实施例提供的一种数据操作系统的结构示意图;
图7b是本发明实施例提供的另一种数据操作系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排它的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供一种数据操作方法,主要是对原有数据更新的操作,或插入新数据的操作的方法,本实施例的方法是主用机器所执行的方法,流程图如图1所示,包括:
步骤101,主用机器接收数据操作请求,该数据操作请求用于请求对数据标识对应的数据进行操作,该数据操作请求主要是更新数据的数据更新请求,或是插入新数据的数据插入请求,在数据操作请求中包括操作的数据的数据标识,还包括操作的数据等。其中数据标识可以是数据的关键字(key)或索引等。
步骤102,主用机器根据数据操作请求对数据标识对应的数据进行相应操作。
可以理解,一般情况下,主用机器可以包括图2a所示的结构,具体包括表现层、逻辑层、数据接口层和数据处理层,其中,表现层主要是展现给用户的界面,是主用机器提供给用户的接口层;逻辑层主要是针对具体问题的操作,对数据的逻辑处理;数据接口层是逻辑层与数据处理层连接通道;数据处理层主要是直接对数据库进行操作,包括数据的插入、删除和更新。且在主用机器中还包括缓存和持久存储层比如数据库(在图2a中未示出),用于储存数据。
在本实施例中,用户可以操作主用机器的表现层,使得主用机器的表现层接收到数据操作请求传送给主用机器的逻辑层,则主用机器在执行上述步骤101时,主用机器的逻辑层接收到数据操作请求,在数据操作请求中包括数据标识;在执行上述步骤102时,主用机器的逻辑层通过主用机器的数据接口层将数据操作请求传送至数据处理层,由数据处理层根据数据操作请求对数据标识对应数据进行相应操作。可见,本实施例中,主用机器的逻辑层不对数据操作请求进行具体处理,而是传送给数据处理层处理。其中,由于数据处理层包括缓存和持久存储层,则主数据处理层根据数据操作请求对数据标识对应数据进行相应操作时,可以先将需要操作的数据即数据标识对应数据写入到缓存(即内存)中,然后再将缓存中储存的数据(即数据标识对应数据)写入到对应的持久存储层比如数据库(存于磁盘)中。
步骤103,主用机器将数据标识发送给第三方进程,以使得第三方进程将数据标识发送给主用机器对应的所有备用机器及主用机器,并由主用机器和备用机器清除数据标识对应的数据。具体地,由主用机器的数据处理层将该数据标识发送给第三方进程。由于本实施例中主要是针对数据操作请求为数据更新请求和数据插入请求所执行的方法,这样机器中原来储存的该数据标识对应的数据发生了变化,使得原始数据失效,需要将失效数据同步给备用机器,当备用机器接收到该数据标识后,直接清除数据标识对应的数据,达到了失效数据同步(即不含脏数据)的目的。该第三方进程可以是设置于同步中心等独立于主用机器的设备中;也可以是设置在主用机器内的进程,在这种情况下,主用机器的结构可以如图2b所示,即除了可以包括如图2a所示的结构外,还包括第三方进程。
可以理解,主用机器的数据处理层在进行相应数据操作时,由数据处理层将数据更新到主用机器的数据处理层所包括的持久存储层中,而缓存中的数据就会失效,则第三方进程在同步失效数据的时候,第三方进程在将数据标识发送给备用机器的同时,还发送数据标识给主用机器的数据处理层,这样主用机器的数据处理层接收第三方进程发送的数据标识,由数据处理层删除缓存中数据标识对应的数据。
需要说明的是,第三方进程是通过重试机制来保证失效数据的可靠同步,而不会同步正在操作的新数据。因为如果第三方进程同步正在操作的新数据,可能会因为同步新数据而导致引入失效数据(即脏数据)。
可见,在本发明实施例的方法中,主用机器会在根据数据操作请求对数据标识对应的数据进行相应操作后,将该数据标识发送给第三方进程,这样第三方进程就可以将该数据标识同步给该主用机器对应的所有备用机器及主用机器,由备用机器和主用机器清除该数据标识对应的数据,从而达到了主备机器对于失效数据的同步。本实施例中采用由第三方进程同步失效数据,而由主用机器对数据进行操作,使得同步数据和操作数据分离操作,相比现有技术更加可靠;且现有技术中当数据到达缓存后主用机器就开始同步数据,和现有中的技术相比,本发明实施例中只有在主用机器对相应数据操作即对持久存储层的数据操作以后,才同步失效数据,保证了不会有错误的失效数据的同步。
本发明实施例提供另一种数据操作方法,主要是对原有数据更新的操作,或插入新数据的操作的方法,本实施例的方法是第三方进程所执行的方法,流程图如图3所示,包括:
步骤201,第三方进程接收主用机器发送的数据标识,数据标识是当主用机器根据数据操作请求对数据标识对应的数据进行相应操作后发送的,其中主用机器具体发送数据标识的方法如上述实施例中所述,在此不进行赘述。
步骤202,第三方进程将数据标识发送给主用机器对应的所有备用机器及主用机器,以使得备用机器和主用机器清除数据标识对应的数据。
需要说明的是,本实施例中主用机器可以以通知的形式(比如失效数据通知等)发送该数据标识,这样第三方进程在接收到数据标识后,就知道需要同步该失效数据,从而会触发将该数据标识发送给备用机器和主用机器的步骤。
另外需要说明的是,本实施例中的第三方进程可以是设置于独立于主用机器的第三方设备中,比如同步中心等;在另一种情况下,第三方进程可以设置于主用机器内,则主用机器的结构可以如图2b所示,在此不进行赘述。具体地,第三方进程在执行本实施例的步骤201时,第三方进程是接收主用机器的数据处理层发送的数据标识,在执行步骤202中第三方进程在将数据标识发送给备用机器的同时,还可以发送数据标识给主用机器的数据处理层,这样主用机器的数据处理层接收到第三方进程发送的数据标识后,删除主用机器的数据处理层所包括的缓存中数据标识对应的数据。
在本发明实施例的方法中,第三方进程将数据标识同步给该主用机器对应的所有备用机器及主用机器,由备用机器及主用机器清除该数据标识对应的数据,从而达到了主备机器对于失效数据的同步,其中主用机器是在根据数据操作请求对数据标识对应的数据进行相应操作后才发送的数据标识。可见本实施例中采用由第三方进程同步失效数据,而由主用机器对数据进行操作,使得同步数据和操作数据分离操作,相比现有技术更加可靠;且本实施例中只有在主用机器对相应数据操作以后,才同步失效数据,保证了不会有错误的失效数据的同步。
本发明实施例还提供一种主机,即上述实施例中所述的主用机器,其结构示意图如图4所示,具体可以包括:
请求接收单元10,用于接收数据操作请求,所述数据操作请求用于请求对数据标识对应的数据进行操作,该数据操作请求可以是数据更新请求,或是数据插入请求,在数据操作请求中可以包括数据标识,及需要操作的数据。
操作单元11,用于根据所述请求接收单元10接收的数据操作请求对所述数据标识对应的数据进行相应操作。
标识发送单元12,用于在所述操作单元11进行相应操作后,将所述数据标识发送给第三方进程,以使得所述第三方进程将所述数据标识发送给所述主机对应的所有备用机器及主机,由所述备用机器及主机清除所述数据标识对应的数据;
数据删除单元13,用于接收第三方进程14发送的所述数据标识,删除所述数据标识对应的数据。
进一步地,参考图4b所示,本实施例中的主机除了可以包括如图4a所示的结构外,还可以包括:第三方进程14,用于将所述数据标识发送给所述数据删除单元13及主机对应的所有备用机器。在另一种情况下,在主机中可以不包括第三方进程14,该第三方进程14设置于独立于主机的设备比如说同步中心中等。
在本发明实施例中主机中,标识发送单元12会在操作单元11根据数据操作请求对数据标识对应的数据进行相应操作后,将该数据标识发送给第三方进程14,这样第三方进程14就可以将该数据标识同步给该主机对应的所有备用机器及主机中的数据删除单元13,由备用机器及数据删除单元13清除该数据标识对应的数据,从而达到了主备机器对于失效数据的同步。本实施例中采用由第三方进程14同步失效数据,而由本实施例的主机对数据进行操作,使得同步数据和操作数据分离操作,相比现有技术更加可靠;且本实施例中只有在主机对相应数据操作以后,才同步失效数据,保证了不会有错误的失效数据的同步。
本发明实施例还提供一种数据操作装置,比如设置上述实施例中所述的第三方进程的装置,其结构示意图如图5所示,具体可以包括:
标识接收单元20,用于接收主用机器发送的数据标识,所述数据标识是当主用机器根据数据操作请求对所述数据标识对应的数据进行相应操作后发送的;
同步单元21,用于将所述标识接收单元20接收的数据标识发送给所述主用机器对应的所有备用机器及所述主用机器,以使得所述备用机器及主用机器清除所述数据标识对应的数据。
具体地,标识接收单元20,具体用于接收所述主用机器的数据处理层发送的数据标识;同步单元21具体用于将所述数据标识发送给所述主用机器的数据处理层,以便所述主用机器的数据处理层删除主用机器的数据处理层所包括的缓存中所述数据标识对应的数据。
在本发明实施例的数据操作装置中,同步单元21将标识接收单元20接收的数据标识同步给该主用机器对应的所有备用机器及主用机器,由备用机器及主用机器清除该数据标识对应的数据,从而达到了主备机器对于失效数据的同步,其中主用机器是在根据数据操作请求对数据标识对应的数据进行相应操作后才发送的数据标识。可见采用由本发明实施例中的数据操作装置同步失效数据,而由主用机器对数据进行操作,使得同步数据和操作数据分离操作,相比现有技术更加可靠;且本实施例中只有在主用机器对相应数据操作以后,才同步失效数据,保证了不会有错误的失效数据的同步。
本发明实施例还提供一种数据操作装置,其结构示意图如图6所示,该数据操作装置可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)30(例如,一个或一个以上处理器)和存储器31,一个或一个以上存储应用程序321或数据322的存储介质32(例如一个或一个以上海量存储设备)。其中,存储器31和存储介质32可以是短暂存储或持久存储。存储在存储介质32的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对数据操作装置中的一系列指令操作。更进一步地,中央处理器30可以设置为与存储介质32通信,在数据操作装置上执行存储介质32中的一系列指令操作。
数据操作装置还包括一个或一个以上电源33,一个或一个以上有线或无线网络接口34,一个或一个以上输入输出接口35,和/或,一个或一个以上操作系统323,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述方法实施例中所述的由主用机器所执行的步骤可以基于该图6所示的数据操作装置的结构。且上述方法实施例中所述的由第三方进程所执行的步骤可以基于该图6所示的数据操作装置的结构。
本发明实施例还一种数据操作系统,结构示意图如图7a所示,包括:主用机器100,第三方设备200和多个备用机器300,其中,主用机器100的结构可以如图4a中的主机的结构,或如图6中的数据操作装置的结构,所述第三方设备200的结构可以如图5或图6中的数据操作装置的结构,在此不进行赘述;
备用机器300,用于接收到所述第三方设备200发送的数据标识,清除所述数据标识对应的数据。
本发明实施例还另一种数据操作系统,结构示意图如图7b所示,包括:主用机器400和多个备用机器500,其中,主用机器400中包括第三方进程,其结构可以如图4b中的主机的结构,或如图6中的数据操作装置的结构;
备用机器500,用于接收到所述主用机器400中第三方进程发送的数据标识,清除所述数据标识对应的数据。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM)、随机存取存储器RAM)、磁盘或光盘等。
以上对本发明实施例所提供的数据操作方法、系统及相关设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种数据操作方法,其特征在于,包括:
主用机器接收数据操作请求,所述数据操作请求用于请求对数据标识对应的数据进行操作;所述数据操作请求为数据更新请求或数据插入请求;
所述主用机器的数据处理层根据所述数据操作请求对所述数据标识对应的数据进行相应操作;
所述主用机器将所述数据标识发送给第三方进程,以使得所述第三方进程将所述数据标识发送给所述主用机器对应的所有备用机器及所述主用机器,由所述备用机器及主用机器清除所述数据标识对应的数据;
所述数据处理层包括缓存和持久存储层,所述主用机器的数据处理层根据所述数据操作请求对所述数据标识对应数据进行相应操作,包括:所述数据处理层将所述数据标识对应数据写入到缓存,然后将所述缓存中的数据标识对应数据写入到对应的持久存储层;
所述第三方进程将所述数据标识发送给所述主用机器,由所述主用机器清除所述数据标识对应的数据包括:所述第三方进程将所述数据标识发送给所述主用机器的数据处理层;所述数据处理层接收所述第三方进程发送的所述数据标识,所述数据处理层删除所述缓存中所述数据标识对应的数据。
2.如权利要求1所述的方法,其特征在于,
所述主用机器接收数据操作请求,所述数据操作请求用于请求对数据标识对应的数据进行操作包括:所述主用机器的逻辑层接收所述数据操作请求,所述数据操作请求中包括所述数据标识;
所述主用机器的数据处理层根据所述数据操作请求对所述数据标识对应的数据进行相应操作包括:所述主用机器的逻辑层通过所述主用机器的数据接口层将所述数据操作请求传送至数据处理层,所述数据处理层根据所述数据操作请求对所述数据标识对应数据进行相应操作。
3.一种数据操作方法,其特征在于,包括:
第三方进程接收主用机器发送的数据标识,所述数据标识是当主用机器的数据处理层根据数据操作请求将所述数据标识对应数据写入到缓存,然后将所述缓存中的数据标识对应数据写入到对应的持久存储层后发送的;所述数据操作请求为数据更新请求或数据插入请求;
所述第三方进程将所述数据标识发送给所述主用机器对应的所有备用机器及所述主用机器,以使得所述备用机器及主用机器清除所述数据标识对应的数据;
其中,所述第三方进程接收主用机器发送的数据标识,包括:所述第三方进程接收主用机器的数据处理层发送的数据标识;
所述第三方进程将所述数据标识发送给所述主用机器,以使得所述主用机器清除所述数据标识对应的数据,包括:所述第三方进程将所述数据标识发送给所述主用机器的数据处理层,所述数据处理层删除所述主用机器的数据处理层所包括的缓存中所述数据标识对应的数据。
4.一种主机,其特征在于,包括:
请求接收单元,用于接收数据操作请求,所述数据操作请求用于请求对数据标识对应的数据进行操作;所述数据操作请求为数据更新请求或数据插入请求;
操作单元,用于由数据处理层根据所述请求接收单元接收的数据操作请求对所述数据标识对应的数据进行相应操作,所述数据处理层包括缓存和持久存储层;其中,所述数据处理层根据所述请求接收单元接收的数据操作请求对所述数据标识对应的数据进行相应操作时,将所述数据标识对应数据写入到缓存,然后将所述缓存中的数据标识对应数据写入到对应的持久存储层;
标识发送单元,用于在所述数据处理层将所述缓存中的数据标识对应数据写入持久存储层后,将所述数据标识发送给第三方进程,以使得所述第三方进程将所述数据标识发送给所述主机对应的所有备用机器及所述主机,由所述备用机器和主机清除所述数据标识对应的数据;
数据删除单元,用于由所述数据处理层接收所述第三方进程发送的所述数据标识,删除所述缓存中所述数据标识对应的数据。
5.如权利要求4所述的主机,其特征在于,还包括:第三方进程,用于将所述数据标识发送给所述数据删除单元及所述主机对应的所有备用机器。
6.一种数据操作系统,其特征在于,包括:主用机器,第三方设备和多个备用机器,其中所述主用机器是如权利要求4所述的主机;
所述第三方设备包括:标识接收单元,用于接收主用机器发送的数据标识,所述数据标识是当主用机器根据数据操作请求对所述数据标识对应的数据进行相应操作后发送的;同步单元,用于将所述数据标识发送给所述主用机器对应的所有备用机器及所述主用机器,以使得所述备用机器及主用机器清除所述数据标识对应的数据;
所述备用机器,用于接收到所述第三方设备发送的数据标识,清除所述数据标识对应的数据。
7.一种数据操作系统,其特征在于,包括主用机器和多个备用机器;
所述主用机器中包括第三方进程,所述主用机器是如权利要求5所述的主机;
所述备用机器,用于接收到所述主用机器中第三方进程发送的数据标识,清除所述数据标识对应的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510863613.2A CN105511808B (zh) | 2015-12-01 | 2015-12-01 | 一种数据操作方法、系统及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510863613.2A CN105511808B (zh) | 2015-12-01 | 2015-12-01 | 一种数据操作方法、系统及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105511808A CN105511808A (zh) | 2016-04-20 |
CN105511808B true CN105511808B (zh) | 2019-12-17 |
Family
ID=55719828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510863613.2A Active CN105511808B (zh) | 2015-12-01 | 2015-12-01 | 一种数据操作方法、系统及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105511808B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109698757A (zh) * | 2017-10-20 | 2019-04-30 | 中兴通讯股份有限公司 | 切换主备设备、恢复用户数据的方法、服务器及网络设备 |
CN108804244B (zh) * | 2018-05-28 | 2021-01-01 | 北京小米移动软件有限公司 | 数据发送方法、装置及存储介质 |
CN110221988B (zh) * | 2019-05-05 | 2021-04-30 | 福建天泉教育科技有限公司 | 一种第三方数据的缓存优化方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101826073A (zh) * | 2009-03-06 | 2010-09-08 | 华为技术有限公司 | 分布式数据库同步方法、设备及系统 |
CN103138912A (zh) * | 2011-12-05 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 数据同步方法及系统 |
CN104503868A (zh) * | 2014-12-29 | 2015-04-08 | 成都致云科技有限公司 | 数据同步方法、装置以及系统 |
-
2015
- 2015-12-01 CN CN201510863613.2A patent/CN105511808B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101826073A (zh) * | 2009-03-06 | 2010-09-08 | 华为技术有限公司 | 分布式数据库同步方法、设备及系统 |
CN103138912A (zh) * | 2011-12-05 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 数据同步方法及系统 |
CN104503868A (zh) * | 2014-12-29 | 2015-04-08 | 成都致云科技有限公司 | 数据同步方法、装置以及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105511808A (zh) | 2016-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9372908B2 (en) | Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation | |
CN108418900B (zh) | 一种服务器集群系统中的缓存方法、写入点客户端和读客户端 | |
JP4668763B2 (ja) | ストレージ装置のリストア方法及びストレージ装置 | |
US9251230B2 (en) | Exchanging locations of an out of synchronization indicator and a change recording indicator via pointers | |
CN103473277B (zh) | 文件系统的快照方法和装置 | |
CN111104069B (zh) | 分布式存储系统的多区域数据处理方法、装置及电子设备 | |
EP2821925B1 (en) | Distributed data processing method and apparatus | |
US10565071B2 (en) | Smart data replication recoverer | |
JP2007286860A (ja) | データ転送方法及び情報処理装置 | |
JP2019519025A (ja) | 分散システムにおける範囲の分割および移動 | |
JP5686034B2 (ja) | クラスタシステム、同期制御方法、サーバ装置および同期制御プログラム | |
JP2005242403A (ja) | 計算機システム | |
US10379977B2 (en) | Data management method, node, and system for database cluster | |
CN107391033B (zh) | 数据迁移方法及装置、计算设备、计算机存储介质 | |
CN105511808B (zh) | 一种数据操作方法、系统及相关装置 | |
EP3786802A1 (en) | Method and device for failover in hbase system | |
CN112698926B (zh) | 数据处理方法、装置、设备、存储介质及系统 | |
CN106873902B (zh) | 一种文件存储系统、数据调度方法及数据节点 | |
JP6164042B2 (ja) | 中継装置、中継方法、中継プログラム、および中継システム | |
CN113407637A (zh) | 一种数据同步方法、装置、电子设备以及存储介质 | |
CN108762982A (zh) | 一种数据库恢复方法、装置及系统 | |
US20210240351A1 (en) | Remote copy system and remote copy management method | |
WO2018042469A1 (en) | Information processing system | |
CN109558205B (zh) | 磁盘访问方法及装置 | |
JP2016009217A (ja) | 冗長システム、冗長化方法および冗長化プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |