CN104750738A - 一种更新数据信息的方法、数据节点、管理节点及系统 - Google Patents

一种更新数据信息的方法、数据节点、管理节点及系统 Download PDF

Info

Publication number
CN104750738A
CN104750738A CN201310746832.3A CN201310746832A CN104750738A CN 104750738 A CN104750738 A CN 104750738A CN 201310746832 A CN201310746832 A CN 201310746832A CN 104750738 A CN104750738 A CN 104750738A
Authority
CN
China
Prior art keywords
request
data
back end
node
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310746832.3A
Other languages
English (en)
Other versions
CN104750738B (zh
Inventor
王凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201310746832.3A priority Critical patent/CN104750738B/zh
Publication of CN104750738A publication Critical patent/CN104750738A/zh
Application granted granted Critical
Publication of CN104750738B publication Critical patent/CN104750738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及通信技术领域,尤其涉及一种更新数据信息的方法、数据节点、管理节点及系统;解决现有技术中出现异常节点并恢复后,无法保证本恢复后数据节点的数据信息的准确性,导致分布式数据系统稳定性差;并且需要复制的数据信息数量庞大,导致系统恢复的时间较长的问题。本发明中根据数据更新请求的更新顺序为数据更新请求分配请求标识,在管理节点和数据节点均存储数据更新请求及对应的请求标识;当数据节点出现异常并恢复后,可以根据数据节点中的请求标识的更新顺序与管理节点中请求标识的更新顺序对数据节点进行更新处理,确保了数据信息的准确性,提高了分布式数据系统的准确性,减少了数据信息的复制数量,缩短了系统恢复的时长。

Description

一种更新数据信息的方法、数据节点、管理节点及系统
技术领域
本发明涉及通信技术领域,尤其涉及一种更新数据信息的方法、数据节点、管理节点及系统。
背景技术
随着传统的关系数据库、计算机网络和数字通信技术的飞速发展,以数据分布存储和分布处理为主要特征的分布式数据库的应用也来越广泛。分布式数据库的数据存储方法如下:系统中包括多个服务器,每个服务器作为分布式数据库的一个数据节点;当一个数据节点接收到数据后,将该数据存储在该数据节点的数据库中;该数据节点将该数据的信息进行广播;系统中的其他数据节点接收到该数据的信息后,将该数据的信息存储在对应的数据库中。由于分布式数据库是将数据存储在不同的数据节点中,因此每个数据节点中数据库中存储的数据的信息必须是实时一致的。当一个数据节点对自身的数据库进行更新后,系统中的其他数据节点必须实时更新该数据的信息。
分布式数据系统的数据信息的更新方法如下:如数据节点1接收到客户端发送的更新请求,根据更新请求对对应的数据进行更新处理,将更新后的数据的信息进行广播,系统中的其他数据节点接收到广播后,对自身数据库中的该数据的信息进行更新,并在更新后向数据节点1发送更新响应消息;若数据节点1接收到系统中的其他数据节点的全部更新响应消息后,通知客户端更新请求成功;若数据节点1未接收到一个或多个数据节点的更新响应消息,则确定系统中存在异常数据节点;数据节点1将该更新请求对应的数据的信息恢复至更新前;数据节点1通知其他数据节点将该更新请求对应的数据的信息恢复至更新前的数据的信息,并停止服务;数据节点1通知客户端更新请求失败并停止服务。当异常数据节点恢复后,将系统中其他任一一个数据节点中的数据信息发送至该异常数据节点,异常数据节点根据接收到的数据信息覆盖原有的数据信息,异常数据节点的数据信息复制完成后,分布式数据系统重新提供服务。
现有技术中,更新分布式数据系统中的数据信息时,为保证系统的数据节点中存储的数据信息的一致性,若出现一个异常数据节点,则确定该更新请求失败;当异常数据节点恢复正常后复制任意一个数据节点中的数据信息,由于无法保证复制的数据节点的数据信息的准确性,导致分布式数据系统稳定性差;并且需要复制的数据信息数量庞大,导致系统恢复的时间较长。
发明内容
本发明实施例提供了一种更新数据信息的方法、数据节点、管理节点及系统,以解决现有技术中,更新分布式数据系统中的数据信息时,为保证系统的数据节点中存储的数据信息的一致性,若出现一个异常数据节点,则确定该更新请求失败;当异常数据节点恢复正常后复制任意一个数据节点中的数据信息,由于无法保证复制的数据节点的数据信息的准确性,导致分布式数据系统稳定性差;并且需要复制的数据信息数量庞大,导致系统恢复的时间较长。
本发明实施例提供了一种更新数据信息的方法,应用于分布式数据系统,该方法包括:
数据节点接收到客户端发送的数据更新请求,将所述数据更新请求发送至管理节点;
所述数据节点接收所述管理节点发送的根据所述数据更新请求生成的请求标识;所述请求标识是管理节点为每个数据更新请求分配的用于表示更新顺序的标识;
所述数据节点根据数据更新请求更新对应的数据信息,并在更新后的数据信息中存储对应的请求标识;
所述数据节点将数据更新请求以及对应的请求标识进行广播,通知系统中其它数据节点根据数据更新请求进行数据信息更新处理,并在更新成功后存储该数据更新请求对应的请求标识;
所述数据节点在接收到系统中其它数据节点发送的更新请求响应信息后,向所述客户端发送数据更新请求成功的信息。
上述实施例中当数据节点根据更新请求进行更新处理时,将数据更新请求发送至管理节点,管理节点根据数据更新请求的更新顺序为数据更新请求分配请求标识,并将请求标识发送至数据更新请求对应的数据节点,使管理节点和数据节点均存储有表示更新顺序的请求标识;当数据节点出现异常并恢复后,可以根据数据节点中的请求标识的更新顺序与管理节点中请求标识的更新顺序对数据节点进行更新处理,确保了数据信息的准确性,提高了分布式数据系统的准确性,减少了数据信息的复制数量,缩短了系统恢复的时长。
本发明实施例中所述数据节点将数据更新请求以及对应的请求标识进行广播后,向所述客户端发送数据更新请求成功的信息之前,还包括:
所述数据节点确定在设定的时长内未反馈更新请求响应信息的数据节点为异常数据节点;
所述数据节点将异常数据节点的节点信息发送至管理节点,通知管理节点根据异常数据节点的节点信息将异常数据节点从系统中删除;所述异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;
所述数据节点接收所述管理节点发送的异常数据节点删除完成的信息。
上述实施例中系统中出现异常数据节点,则将该异常数据节点上报至管理节点,管理节点将该异常数据节点从系统中删除,由于每个数据节点中的数据在其他数据节点中有备份,因此删除异常的数据节点,不影响系统中数据的完整性;并保证了系统中数据节点中存储的数据信息的一致性,其他剩余的数据节点正常提供服务,提高了系统的稳定性。
本发明实施例中该方法还包括:
数据节点接收到分布式数据系统中的其他数据节点广播的更新请求及对应的请求标识;
所述数据节点根据所述广播的更新请求对对应的数据进行更新处理,并在更新成功后存储该更新请求对应的请求标识;
所述数据节点在存储请求标识之后,向所述进行广播的数据节点发送更新请求响应信息。
上述实施例中数据节点根据广播的更新请求更新对应的数据信息后,存储该更新请求对应的请求标识,并向广播的数据节点发送更新请求响应信息;使发送广播的数据节点确定系统中是否存在异常数据节点。
本发明实施例还提供了一种更新数据信息的方法,该方法包括:
管理节点接收到数据节点发送的更新请求,为所述更新请求分配一个用于表示更新顺序的请求标识,将所述请求标识发送至数据节点;
所述管理节点按照更新顺序存储更新请求及对应的请求标识。
上述实施例中管理节点为每个更新请求分配一个表示更新顺序的请求标识,并存储每个更新请求以及对应的请求标识;使管理节点可以根据数据节点中的更新顺序最近的请求标识与管理节点中更新顺序最近的请求标识是否一致,确定数据节点中的数据信息是否与系统中其他数据节点的数据信息是实时一致的。当数据节点出现异常并恢复后,可以根据数据节点中的请求标识的更新顺序与管理节点中请求标识的更新顺序对数据节点进行更新处理,确保了数据信息的准确性,提高了分布式数据系统的准确性,减少了数据信息的复制数量,缩短了系统恢复的时长。
本发明实施例中该方法还包括:
所述管理节点接收到数据节点发送的异常数据节点的节点信息,所述异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;
所述管理节点根据所述异常数据节点的节点信息将异常数据节点从分布式数据库数据系统中删除;
所述管理节点向所述数据节点发送异常数据节点删除完成信息。
上述实施例中管理节点根据接收到的异常数据节点的节点信息确定异常节点,将异常节点从系统中删除。由于每个数据节点中的数据在其他数据节点中有备份,因此删除异常的数据节点,不影响系统中数据的完整性;并保证了系统中数据节点中存储的数据信息的一致性,其他剩余的数据节点正常提供服务,提高了系统的稳定性。
本发明实施例中该方法还包括:
所述管理节点接收到异常数据节点恢复正常后发送的加入分布式数据系统的请求;
所述管理节点读取该恢复正常的异常数据节点中最后一次存储的请求标识;根据管理节点中存储的请求标识的更新顺序确定向该恢复正常的异常数据节点发送的请求标识以及对应的数据更新请求;
所述管理节点确定该恢复正常的异常数据节点加入分布式数据库系统。
上述实施例中当异常数据节点恢复正常后,管理节点根据异常数据节点中最后一次存储的请求标识,确定更新顺序在异常数据节点中最后一次存储的请求标识之后的请求标识,将确定的请求标识和对应的更新请求发送至异常数据节点;使异常数据节点重新加入分布式数据库系统的速度更快,只需要将被删除后的更新请求和请求标识导入,避免了将全部更新请求重新导入,造成重新进入系统时间周期长的问题。
本发明实施例中该方法还包括:
所述管理节点接收到新的数据节点发送的加入分布式数据库系统的请求;
所述管理节点对所述新的数据节点进行初始化处理,并将存储的请求标识以及对应的数据更新请求发送至新的数据节点;
所述管理节点确定所述新的数据节点加入分布式数据库系统。
上述实施例中当管理节点接收到新的数据节点发送的加入分布式数据库系统的请求,将管理节点中存储的请求标识以及对应的数据更新请求发送至新的数据节点,使新的数据节点与系统中原油的数据节点的数据信息保持实时一致。
本发明实施例中所述管理节点确定数据节点加入分布式数据库系统,具体包括:
所述管理节点读取数据节点中存储的更新顺序最近的请求标识;
所述管理节点确定数据节点中存储的更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识一致,则确定该数据节点加入分布式数据库系统。
上述实施例中管理节点根据请求加入系统中数据节点中更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识是否一致,确定是否将该数据节点加入分布式数据库系统;保证了分布式数据库系统数据节点的数据信息的一致性。
本发明实施例提供了一种更新数据信息的数据节点,应用于分布式数据系统,该数据节点包括:
更新请求处理单元,用于接收到客户端发送的数据更新请求,将所述数据更新请求发送至管理节点;
请求标识接收单元,用于接收所述管理节点发送的根据所述数据更新请求生成的请求标识;所述请求标识是管理节点为每个数据更新请求分配的用于表示更新顺序的标识;
更新请求执行单元,用于根据数据更新请求更新对应的数据信息,并在更新后的数据信息中存储对应的请求标识;
更新请求广播单元,用于将数据更新请求以及对应的请求标识进行广播,通知系统中其它数据节点根据数据更新请求进行数据信息更新处理,并在更新成功后存储该数据更新请求对应的请求标识;
更新信息处理单元,用于在接收到系统中其它数据节点发送的更新请求响应信息后,向所述客户端发送数据更新请求成功的信息。
上述实施例中当数据节点根据更新请求进行更新处理时,将数据更新请求发送至管理节点,管理节点根据数据更新请求的更新顺序为数据更新请求分配请求标识,并将请求标识发送至数据更新请求对应的数据节点,使管理节点和数据节点均存储有表示更新顺序的请求标识;当数据节点出现异常并恢复后,可以根据数据节点中的请求标识的更新顺序与管理节点中请求标识的更新顺序对数据节点进行更新处理,确保了数据信息的准确性,提高了分布式数据系统的准确性,减少了数据信息的复制数量,缩短了系统恢复的时长。
本发明实施中所述更新信息处理单元,用于:
确定将数据更新请求以及对应的请求标识进行广播后,确定在设定的时长内未反馈更新请求响应信息的数据节点为异常数据节点;将异常数据节点的节点信息发送至管理节点,通知管理节点根据异常数据节点的节点信息将异常数据节点从系统中删除;所述异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;接收所述管理节点发送的异常数据节点删除完成的信息,通知更新信息发送单元向所述客户端发送数据更新请求成功的信息。
上述实施例中系统中出现异常数据节点,则将该异常数据节点上报至管理节点,管理节点将该异常数据节点从系统中删除,由于每个数据节点中的数据在其他数据节点中有备份,因此删除异常的数据节点,不影响系统中数据的完整性;并保证了系统中数据节点中存储的数据信息的一致性,其他剩余的数据节点正常提供服务,提高了系统的稳定性。
本发明实施例中所述更新请求处理单元还用于:
接收到分布式数据系统中的其他数据节点广播的更新请求及对应的请求标识;
所述更新请求执行单元还用于:
根据所述广播的更新请求对对应的数据进行更新处理,并在更新成功后存储该更新请求对应的请求标识;
所述更新请求广播单元还用于:
在存储请求标识之后,向所述进行广播的数据节点发送更新请求响应信息。
上述实施例中数据节点根据广播的更新请求更新对应的数据信息后,存储该更新请求对应的请求标识,并向广播的数据节点发送更新请求响应信息;使发送广播的数据节点确定系统中是否存在异常数据节点。
本发明实施例提供给了一种更新数据信息的管理节点,该管理节点包括:
信息处理单元,用于接收到数据节点发送的更新请求,为所述更新请求分配一个用于表示更新顺序的请求标识,将所述请求标识发送至数据节点;
信息存储单元,用于按照更新顺序存储更新请求及对应的请求标识。
上述实施例中管理节点为每个更新请求分配一个表示更新顺序的请求标识,并存储每个更新请求以及对应的请求标识;使管理节点可以根据数据节点中的更新顺序最近的请求标识与管理节点中更新顺序最近的请求标识是否一致,确定数据节点中的数据信息是否与系统中其他数据节点的数据信息是实时一致的。当数据节点出现异常并恢复后,可以根据数据节点中的请求标识的更新顺序与管理节点中请求标识的更新顺序对数据节点进行更新处理,确保了数据信息的准确性,提高了分布式数据系统的准确性,减少了数据信息的复制数量,缩短了系统恢复的时长。
本发明实施例中所述信息处理单元还用于:
接收数据节点发送的异常数据节点的节点信息,所述异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;
该管理节点还包括节点管理单元,用于:
根据所述异常数据节点的节点信息将异常数据节点从分布式数据库数据系统中删除;向所述数据节点发送异常数据节点删除完成信息。
上述实施例中管理节点根据接收到的异常数据节点的节点信息确定异常节点,将异常节点从系统中删除。由于每个数据节点中的数据在其他数据节点中有备份,因此删除异常的数据节点,不影响系统中数据的完整性;并保证了系统中数据节点中存储的数据信息的一致性,其他剩余的数据节点正常提供服务,提高了系统的稳定性。
本发明实施例中所述信息处理单元还用于:
接收到异常数据节点恢复正常后发送的加入分布式数据系统的请求;
所述节点管理单元还用于:
读取该恢复正常的异常数据节点中最后一次存储的请求标识;根据请求标识的更新顺序确定在该恢复正常的异常数据节点中最后一次存储的请求标识之后更新的请求标识,将确定的请求标识以及对应的数据更新请求发送至该恢复正常的异常数据节点;确定该恢复正常的异常数据节点加入分布式数据库系统。
上述实施例中当异常数据节点恢复正常后,管理节点根据异常数据节点中最后一次存储的请求标识,确定更新顺序在异常数据节点中最后一次存储的请求标识之后的请求标识,将确定的请求标识和对应的更新请求发送至异常数据节点;使异常数据节点重新加入分布式数据库系统的速度更快,只需要将被删除后的更新请求和请求标识导入,避免了将全部更新请求重新导入,造成重新进入系统时间周期长的问题。
本发明实施例中所述信息处理单元还用于:
接收到新的数据节点发送的加入分布式数据库系统的请求;
所述节点管理单元还用于:
对所述新的数据节点进行初始化处理,并将存储的请求标识以及对应的数据更新请求发送至新的数据节点;确定所述新的数据节点加入分布式数据库系统。
上述实施例中当管理节点接收到新的数据节点发送的加入分布式数据库系统的请求,将管理节点中存储的请求标识以及对应的数据更新请求发送至新的数据节点,使新的数据节点与系统中原油的数据节点的数据信息保持实时一致。
本发明实施例中所述节点管理单元具体用于:
读取数据节点中存储的更新顺序最近的请求标识;确定数据节点中存储的更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识一致,则确定该数据节点加入分布式数据库系统。
上述实施例中管理节点根据请求加入系统中数据节点中更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识是否一致,确定是否将该数据节点加入分布式数据库系统;保证了分布式数据库系统数据节点的数据信息的一致性。
本发明实施例提供了一种更新数据信息的系统,该系统包括:
数据节点,用于接收到客户端发送的数据更新请求,将所述数据更新请求发送至管理节点;接收所述管理节点发送的根据所述数据更新请求生成的请求标识;所述请求标识是管理节点为每个数据更新请求分配的用于表示更新顺序的标识;根据数据更新请求更新对应的数据信息,并在更新后的数据信息中存储对应的请求标识;将数据更新请求以及对应的请求标识进行广播,通知系统中其它数据节点根据数据更新请求进行数据信息更新处理,并在更新成功后存储该数据更新请求对应的请求标识;在接收到系统中其它数据节点发送的更新请求响应信息后,向所述客户端发送数据更新请求成功的信息;
管理节点,用于接收到数据节点发送的更新请求,为所述更新请求分配一个用于表示更新顺序的请求标识,将所述请求标识发送至数据节点;按照更新顺序存储更新请求及对应的请求标识。
上述实施例中当数据节点根据更新请求进行更新处理时,将数据更新请求发送至管理节点,管理节点根据数据更新请求的更新顺序为数据更新请求分配请求标识,并将请求标识发送至数据更新请求对应的数据节点,使管理节点和数据节点均存储有表示更新顺序的请求标识;当数据节点出现异常并恢复后,可以根据数据节点中的请求标识的更新顺序与管理节点中请求标识的更新顺序对数据节点进行更新处理,确保了数据信息的准确性,提高了分布式数据系统的准确性,减少了数据信息的复制数量,缩短了系统恢复的时长。
本发明实施例中所述数据节点具体用于:
将数据更新请求以及对应的请求标识进行广播后,确定在设定的时长内未反馈更新请求响应信息的数据节点为异常数据节点;将异常数据节点的节点信息发送至管理节点,通知管理节点根据异常数据节点的节点信息将异常数据节点从系统中删除;所述异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;接收所述管理节点发送的异常数据节点删除完成的信息;
所述管理节点还用于:
接收数据节点发送的异常数据节点的节点信息,所述异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;根据所述异常数据节点的节点信息将异常数据节点从分布式数据库数据系统中删除,向所述数据节点发送异常数据节点删除完成信息。
上述实施例中系统中出现异常数据节点,则将该异常数据节点上报至管理节点,管理节点将该异常数据节点从系统中删除,由于每个数据节点中的数据在其他数据节点中有备份,因此删除异常的数据节点,不影响系统中数据的完整性;并保证了系统中数据节点中存储的数据信息的一致性,其他剩余的数据节点正常提供服务,提高了系统的稳定性。管理节点根据接收到的异常数据节点的节点信息确定异常节点,将异常节点从系统中删除。由于每个数据节点中的数据在其他数据节点中有备份,因此删除异常的数据节点,不影响系统中数据的完整性;并保证了系统中数据节点中存储的数据信息的一致性,其他剩余的数据节点正常提供服务,提高了系统的稳定性。
本发明实施例中所述数据节点还用于:
接收到分布式数据系统中的其他数据节点广播的更新请求及对应的请求标识;根据所述广播的更新请求对对应的数据进行更新处理,并在更新成功后存储该更新请求对应的请求标识;在存储请求标识之后,向所述进行广播的数据节点发送更新请求响应信息。
上述实施例中数据节点根据广播的更新请求更新对应的数据信息后,存储该更新请求对应的请求标识,并向广播的数据节点发送更新请求响应信息;使发送广播的数据节点确定系统中是否存在异常数据节点。
本发明实施例中所述管理节点还用于:
接收到异常数据节点恢复正常后发送的加入分布式数据系统的请求;读取该恢复正常的异常数据节点中最后一次存储的请求标识;根据请求标识的更新顺序确定在该恢复正常的异常数据节点中最后一次存储的请求标识之后更新的请求标识,将确定的请求标识以及对应的数据更新请求发送至该恢复正常的异常数据节点;确定该恢复正常的异常数据节点加入分布式数据库系统。
上述实施例中当异常数据节点恢复正常后,管理节点根据异常数据节点中最后一次存储的请求标识,确定更新顺序在异常数据节点中最后一次存储的请求标识之后的请求标识,将确定的请求标识和对应的更新请求发送至异常数据节点;使异常数据节点重新加入分布式数据库系统的速度更快,只需要将被删除后的更新请求和请求标识导入,避免了将全部更新请求重新导入,造成重新进入系统时间周期长的问题。
本发明实施例中所述管理节点还用于:
接收到新的数据节点发送的加入分布式数据库系统的请求;对所述新的数据节点进行初始化处理,并将存储的请求标识以及对应的数据更新请求发送至新的数据节点;确定所述新的数据节点加入分布式数据库系统。
上述实施例中当管理节点接收到新的数据节点发送的加入分布式数据库系统的请求,将管理节点中存储的请求标识以及对应的数据更新请求发送至新的数据节点,使新的数据节点与系统中原油的数据节点的数据信息保持实时一致。
本发明实施例中所述管理节点具体用于:
读取数据节点中存储的更新顺序最近的请求标识;确定数据节点中存储的更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识一致,则确定该数据节点加入分布式数据库系统。
上述实施例中管理节点根据请求加入系统中数据节点中更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识是否一致,确定是否将该数据节点加入分布式数据库系统;保证了分布式数据库系统数据节点的数据信息的一致性。
本发明实施例中当数据节点根据更新请求进行更新处理时,将数据更新请求发送至管理节点,管理节点根据数据更新请求的更新顺序为数据更新请求分配请求标识,并将请求标识发送至数据更新请求对应的数据节点,使管理节点和数据节点均存储有表示更新顺序的请求标识;当数据节点出现异常并恢复后,可以根据数据节点中的请求标识的更新顺序与管理节点中请求标识的更新顺序对数据节点进行更新处理,确保了数据信息的准确性,提高了分布式数据系统的准确性,减少了数据信息的复制数量,缩短了系统恢复的时长。
附图说明
图1为本发明实施例中一种数据节点更新数据信息的方法的流程示意图;
图2为本发明实施例中一种管理节点更新数据信息的方法的流程示意图;
图3为本发明实施例中一种数据节点更新数据信息的具体方法的流程示意图;
图4为本发明实施例中数据节点加入分布式数据系统的方法的流程示意图;
图5为本发明实施例中一种更新数据信息的数据节点的示意图;
图6为本发明实施例中一种更新数据信息的管理节点的示意图;
图7为本发明实施例中另一种更新数据信息的管理节点的示意图;
图8为本发明实施例中一种更新数据信息的系统的示意图。
具体实施方式
本发明实施例提供了一种更新数据信息的方法、数据节点、管理节点及系统,当数据节点根据更新请求进行更新处理,系统中出现异常数据节点时,管理节点将该异常数据节点从系统中删除,由于每个数据节点中的数据在其他数据节点中有备份,因此删除异常的数据节点,不影响系统中数据的完整性,并保证了系统中数据节点存储的数据信息的一致性;由于其他剩余的数据节点仍旧正常提供服务,提高了系统的稳定性。
下面结合说明书附图进行进一步说明、
如图1所示,为本发明实施例中一种更新数据信息的方法,该方法包括:
步骤101:数据节点接收到客户端发送的数据更新请求,将数据更新请求发送至管理节点;
步骤102:数据节点接收管理节点发送的根据数据更新请求生成的请求标识;请求标识是管理节点为每个数据更新请求分配的用于表示更新顺序的标识;
步骤103:数据节点根据数据更新请求更新对应的数据信息,并在更新后的数据信息中存储对应的请求标识;
步骤104:数据节点将数据更新请求以及对应的请求标识进行广播,通知系统中其它数据节点根据数据更新请求进行数据信息更新处理,并在更新成功后存储该数据更新请求对应的请求标识;
步骤105:数据节点在接收到系统中其它数据节点发送的更新请求响应信息后,向客户端发送数据更新请求成功的信息。
其中,步骤101中数据节点根据数据更新请求对对应的数据信息进行更新处理,具体包括:数据节点将接收到的更新请求发送至管理节点;接收管理节点发送的根据数据更新请求生成的请求标识;请求标识是管理节点为每个数据更新请求分配的用于表示更新顺序的标识;数据节点根据数据更新请求更新对应的数据信息,并在更新后的数据信息中存储对应的请求标识。
数据节点在接收到数据更新请求后,通知其他数据节点该更新请求对应的数据信息进入分布式写锁,即当前不允许其他节点对更新请求对应的数据信息进行任何操作。数据节点将更新请求发送至管理节点;管理节点根据数据更新请求分配的请求标识,并将请求标识发送至更新请求对应的数据节点。
其中管理节点分配的请求标识是表示数据更新请求的更新顺序的标识;如管理节点按照接收到数据更新请求的先后顺序生成序列号;管理节点接收到一个更新请求后,读取当前最大序列号,将当前最大序列号加1作为该更新请求的请求标识,将该请求标识发送至对应的数据节点;并且管理节点存储该请求标识及对应的更新数据请求。或,管理节点按照接收到数据更新请求的时间,生成一个时间标识,将该时间标识作为请求标识;若管理节点在同一时刻收到多个更新请求,则在该多个更新请求对应的时间标识上分别添加一个标识符,以表示同一时刻收到的多个更新请求对应的时间标识的先后顺序;管理节点按照时间标识的先后顺序对时间标识进行存储,并存储该时间标识对应的数据更新请求。
步骤103中数据节点在接收到该更新请求对应请求标识后,根据更新请求对对应的数据信息进行更新处理;同时,执行步骤104,数据节点将数据更新请求以及对应的请求标识进行广播,通知系统中其它数据节点根据数据更新请求进行数据信息更新处理,并在更新成功后存储该数据更新请求对应的请求标识。
系统中的其他数据节点在接收到更新请求以及对应的请求标识后,根据更新请求对对应的数据进行更新处理,并在更新处理成功后,存储该数据更新请求对应的数据标识。系统中的其他数据节点在更新处理成功后向进行广播的数据节点发送更新请求响应信息。
步骤104中,数据节点将数据更新请求以及对应的请求标识进行广播后,数据节点确定在设定的时长内未反馈更新请求响应信息的数据节点为异常数据节点;数据节点将异常数据节点的节点信息发送至管理节点,通知管理节点根据异常数据节点的节点信息将异常数据节点从系统中删除;数据节点接收管理节点发送的异常数据节点删除完成的信息。其中异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识。
数据节点将数据更新请求以及对应的请求标识进行广播后,开始计时,判断在设定的时间长度内系统中的其他数据节点是否都反馈了更新请求响应信息,若全部反馈了更新请求响应信息,则释放分布式写锁,并向发送更新请求的客户端发送更新请求成功的信息;若部分数据节点未反馈更新请求响应信息,则确定未反馈更新请求响应信息的数据节点为异常数据节点。其中异常数据节点不记录该更新请求对应的请求标识。
数据节点确定未反馈更新请求响应信息的异常数据节点的节点信息,并将该异常数据节点的节点信息发送至管理节点,其中异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识。管理节点在接收到异常数据节点的节点信息后,根据节点信息确定发生异常的数据节点,将该异常数据节点从系统中删除,并向系统后台发出告警信息,向后台发送发生异常的数据节点的节点信息。
步骤105中数据节点在接收到系统中其它数据节点发送的更新请求响应信息后,向客户端发送数据更新请求成功的信息,具体包括:数据节点在接收到系统中其它数据节点发送的更新请求响应信息,确定系统中存在异常数据节点,将异常数据节点上报至管理节点,并接收到管理节点发送的异常数据节点删除完成的信息,释放分布式写锁,并向发送数据更新请求的客户端发送更新请求成功的信息。
本发明实施例中数据节点接收到分布式数据系统中的其他数据节点广播的更新请求及对应的请求标识;数据节点根据所述广播的更新请求对对应的数据进行更新处理,并在更新成功后存储该更新请求对应的请求标识;数据节点在存储请求标识之后,向进行广播的数据节点发送更新请求响应信息。若数据节点根据更新请求进行更新处理没有成功,则确定此次更行处理失败,不存储此次数据更新请求对应的请求标识。
如图2所示,为本发明实施例中一种更新数据信息的方法,该方法包括:
步骤201:管理节点接收到数据节点发送的更新请求,为更新请求分配一个用于表示更新顺序的请求标识,将请求标识发送至数据节点;
步骤202:管理节点按照更新顺序存储更新请求及对应的请求标识。
其中步骤201中,当管理节点接收到数据节点发送的更新请求时,为更新请求分配一个用于表示更新顺序的请求标识,将请求标识发送至数据节点;管理节点按照更新顺序存储更新请求及对应的请求标识。管理节点分配的请求标识是表示数据更新请求的更新顺序的标识;如管理节点按照接收到数据更新请求的先后顺序生成序列号;管理节点接收到一个更新请求后,读取当前最大序列号,将当前最大序列号加1作为该更新请求的请求标识,将该请求标识发送至对应的数据节点;并且管理节点存储该请求标识及对应的更新数据请求。或,管理节点按照接收到数据更新请求的时间,生成一个时间标识,将该时间标识作为请求标识;若管理节点在同一时刻收到多个更新请求,则在该多个更新请求对应的时间标识上分别添加一个标识符,以表示同一时刻收到的多个更新请求对应的时间标识的先后顺序;管理节点按照时间标识的先后顺序对时间标识进行存储,并存储该时间标识对应的数据更新请求。
步骤202中,管理节点按照请求标识的序列号顺序存储数据更新请求及对应的请求标识;或管理节点按照请求标识的实现顺序存储数据更新请求及对应的请求标识。
该方法还包括:管理节点接收数据节点发送的异常数据节点的节点信息,异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;根据异常数据节点的节点信息将异常数据节点从分布式数据库数据系统中删除。
其中,管理节点在接收到异常数据节点的节点信息后,根据节点信息确定发生异常的数据节点,将该异常数据节点从系统中删除,并向系统后台发出告警信息,向后台发送发生异常的数据节点的节点信息。
较佳地,该方法还包括:管理节点接收到异常数据节点恢复正常后发送的加入分布式数据系统的请求;管理节点读取该恢复正常的异常数据节点中最后一次存储的请求标识;根据管理节点中存储的请求标识的更新顺序确定向该恢复正常的异常数据节点发送的请求标识以及对应的数据更新请求;管理节点确定该恢复正常的异常数据节点中更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识一致时,确定该恢复正常的异常数据节点加入分布式数据库系统。
管理节点接收到新的数据节点发送的加入分布式数据库系统的请求;管理节点对新的数据节点进行初始化处理,并将存储的请求标识以及对应的数据更新请求发送至新的数据节点;管理节点确定新的数据节点加入分布式数据库系统。
管理节点接收到数据节点发送的加入分布式数据库系统的请求,判断该数据节点是系统中被删除的异常数据节点,还是新的数据节点;若该数据节点是系统中被删除的异常数据节点,则读取该异常数据节点中最后一次存储的请求标识;根据管理节点中存储的请求标识的更新顺序确定向该异常数据节点发送的请求标识以及对应的数据更新请求;若该数据是新的数据节点,则对新的数据节点进行初始化处理,清除新的数据节点中的数据信息,并将管理节点中存储的请求标识以及对应的数据更新请求发送至新的数据节点。管理节点在确定发送加入请求的数据节点中更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识一致时,管理节点确定该发送加入请求的数据节点加入分布式数据库系统。
当发送的加入请求的数据节点是系统中被删除的异常数据节点时,只需要将请求标识的更新顺序将异常数据节点中的差量请求标识及对应的更新请求进行同步,减少了异常数据节点重新加入系统时,需要同步的数据量,缩短了异常节点的恢复时间。
如图3所示,为本发明实施例中一种数据节点更新数据信息的具体方法,该方法包括:
步骤301:数据节点接收到客户端发送的数据更新请求,通知其他数据节点该更新请求对应的数据信息进入分布式写锁;
步骤302:数据节点将接收到的数据更新请求发送至管理节点;
步骤303:数据节点接收到管理节点根据数据更新请求生成的请求标识;
步骤304:数据节点根据更新请求进行更新处理,同时将更新请求及对应的请求标识进行广播;
步骤305:数据节点判断在设定的时间长度内其他数据节点是否都反馈了更新请求响应信息,若全部反馈了更新请求响应信息,则执行步骤309,否则执行步骤306;
步骤306:数据节点确定未反馈更新请求响应信息的数据节点为异常数据节点;
步骤307:数据节点将异常数据节点的节点信息发送至管理节点;
步骤308:数据节点接收到管理节点发送的异常数据节点删除完成的信息;
步骤309:数据节点通知其他数据节点该更新请求对应的数据信息释放分布式写锁;
步骤310:数据节点向发送更新请求的客户端发送更新请求成功的信息,并结束本流程。
如图4所示,为本发明实施例中数据节点加入分布式数据系统的方法,该方法包括:
步骤401:管理节点接收到数据节点发送的加入分布式数据库系统的请求;
步骤402:管理节点判断该数据节点是否为系统中被删除的异常数据节点,若是被删除的异常数据节点,则执行步骤403,否则,执行步骤407;
步骤403:管理节点读取该异常数据节点中最后一次存储的请求标识;
步骤404:管理节点根据管理节点中存储的请求标识的更新顺序确定向该异常数据节点发送的请求标识以及对应的数据更新请求;
步骤405:管理节点确定该数据节点中更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识一致;
步骤406:管理节点确定该数据节点加入分布式数据库系统,并结束本流程;
步骤407:管理节点对数据节点进行初始化处理;
步骤408:管理节点将存储的请求标识以及对应的数据更新请求发送至数据节点,并执行步骤405。
基于同一发明构思,本发明实施例中还提供了一种更新数据信息的数据节点,由于该数据节点解决问题的原理与本发明实施例一种更新数据信息的方法相似,因此该数据节点的实施可以参见方法的实施,重复之处不再赘述。
如图5所示,为本发明实施例中一种更新数据信息的数据节点,该数据节点包括:
更新请求处理单元501,用于接收到客户端发送的数据更新请求,根据数据更新请求对对应的数据信息进行更新处理,并将数据更新请求进行广播;
请求标识接收单元502,用于接收管理节点发送的根据数据更新请求生成的请求标识;请求标识是管理节点为每个数据更新请求分配的用于表示更新顺序的标识;
更新请求执行单元503,用于根据数据更新请求更新对应的数据信息,并在更新后的数据信息中存储对应的请求标识;
更新请求广播单元504,用于将数据更新请求以及对应的请求标识进行广播,通知系统中其它数据节点根据数据更新请求进行数据信息更新处理,并在更新成功后存储该数据更新请求对应的请求标识;
更新信息处理单元505,用于在接收到系统中其它数据节点发送的更新请求响应信息后,向客户端发送数据更新请求成功的信息。
其中,更新请求处理单元501,具体用于:将接收到的更新请求发送至管理节点;接收管理节点发送的根据数据更新请求生成的请求标识;请求标识是管理节点为每个数据更新请求分配的用于表示更新顺序的标识;根据数据更新请求更新对应的数据信息,并在更新后的数据信息中存储对应的请求标识。
更新请求处理单元501在接收到数据更新请求后,通知其他数据节点该更新请求对应的数据信息进入分布式写锁,即当前不允许其他节点对更新请求对应的数据信息进行任何操作。更新请求处理单元501将更新请求发送至管理节点;管理节点根据数据更新请求分配的请求标识,并将请求标识发送至更新请求对应的数据节点。
其中管理节点分配的请求标识是表示数据更新请求的更新顺序的标识;如管理节点按照接收到数据更新请求的先后顺序生成序列号;管理节点接收到一个更新请求后,读取当前最大序列号,将当前最大序列号加1作为该更新请求的请求标识,将该请求标识发送至对应的数据节点;并且管理节点存储该请求标识及对应的更新数据请求。或,管理节点按照接收到数据更新请求的时间,生成一个时间标识,将该时间标识作为请求标识;若管理节点在同一时刻收到多个更新请求,则在该多个更新请求对应的时间标识上分别添加一个标识符,以表示同一时刻收到的多个更新请求对应的时间标识的先后顺序;管理节点按照时间标识的先后顺序对时间标识进行存储,并存储该时间标识对应的数据更新请求。
更新请求执行单元503在接收到该更新请求对应请求标识后,根据更新请求对对应的数据信息进行更新处理;同时,更新请求广播单元504将数据更新请求以及对应的请求标识进行广播,通知系统中其它数据节点根据数据更新请求进行数据信息更新处理,并在更新成功后存储该数据更新请求对应的请求标识。
系统中的其他数据节点在接收到更新请求以及对应的请求标识后,根据更新请求对对应的数据进行更新处理,并在更新处理成功后,存储该数据更新请求对应的数据标识。系统中的其他数据节点在更新处理成功后向进行广播的数据节点发送更新请求响应信息。其中若其他数据节点根据更新请求进行更新处理发生异常,则异常数据节点不记录该更新请求对应的请求标识。
更新请求广播单元504还用于:将数据更新请求以及对应的请求标识进行广播后,确定在设定的时长内未反馈更新请求响应信息的数据节点为异常数据节点;将异常数据节点的节点信息发送至管理节点,通知管理节点根据异常数据节点的节点信息将异常数据节点从系统中删除;接收所述管理节点发送的异常数据节点删除完成的信息。其中异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识。
更新信息处理单元505,还用于:确定将数据更新请求以及对应的请求标识进行广播后,确定在设定的时长内未反馈更新请求响应信息的数据节点为异常数据节点;将异常数据节点的节点信息发送至管理节点,通知管理节点根据异常数据节点的节点信息将异常数据节点从系统中删除;异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;接收管理节点发送的异常数据节点删除完成的信息,通知更新信息发送单元向客户端发送数据更新请求成功的信息。
更新信息处理单元505具体用于:将数据更新请求以及对应的请求标识进行广播后,开始计时,判断在设定的时间长度内系统中的其他数据节点是否都反馈了更新请求响应信息,若全部反馈了更新请求响应信息,则释放分布式写锁,并向发送更新请求的客户端发送更新请求成功的信息;若部分数据节点未反馈更新请求响应信息,则确定未反馈更新请求响应信息的数据节点为异常数据节点。其中异常数据节点不记录该更新请求对应的请求标识。
更新信息处理单元505,具体用于:确定未反馈更新请求响应信息的异常数据节点的节点信息,并将该异常数据节点的节点信息发送至管理节点,其中异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识。管理节点在接收到异常数据节点的节点信息后,根据节点信息确定发生异常的数据节点,将该异常数据节点从系统中删除,并向系统后台发出告警信息,向后台发送发生异常的数据节点的节点信息。
更新信息处理单元505,具体用于:数据节点在接收到系统中其它数据节点发送的更新请求响应信息,确定系统中存在异常数据节点,将异常数据节点上报至管理节点,并接收到管理节点发送的异常数据节点删除完成的信息,释放分布式写锁,并向发送数据更新请求的客户端发送更新请求成功的信息。
本发明实施例中,更新请求处理单元501还用于:接收到分布式数据系统中的其他数据节点广播的更新请求及对应的请求标识;更新请求执行单元503还用于:根据广播的更新请求对对应的数据进行更新处理,并在更新成功后存储该更新请求对应的请求标识;更新请求广播单元504还用于:在存储请求标识之后,向所述进行广播的数据节点发送更新请求响应信息。
如图6所示,为本发明实施例中一种更新数据信息的管理节点,该管理节点包括:
信息处理单元601,用于接收到数据节点发送的更新请求,为更新请求分配一个用于表示更新顺序的请求标识,将所述请求标识发送至数据节点;
信息存储单元602,用于按照更新顺序存储更新请求及对应的请求标识。
其中,信息处理单元601,具体用于:接收到数据节点发送的更新请求时,为更新请求分配一个用于表示更新顺序的请求标识,将请求标识发送至数据节点;信息处理单元601分配的请求标识是表示数据更新请求的更新顺序的标识;如信息处理单元601按照接收到数据更新请求的先后顺序生成序列号;接收到一个更新请求后,读取当前最大序列号,将当前最大序列号加1作为该更新请求的请求标识,将该请求标识发送至对应的数据节点;并且管理节点存储该请求标识及对应的更新数据请求。或,信息处理单元601接收到数据更新请求的时间,生成一个时间标识,将该时间标识作为请求标识;若信息处理单元601在同一时刻收到多个更新请求,则在该多个更新请求对应的时间标识上分别添加一个标识符,以表示同一时刻收到的多个更新请求对应的时间标识的先后顺序;信息处理单元601按照时间标识的先后顺序对时间标识进行存储,并存储该时间标识对应的数据更新请求。
信息存储单元602具体用于:按照请求标识的序列号顺序存储数据更新请求及对应的请求标识;或按照请求标识的实现顺序存储数据更新请求及对应的请求标识。
如图7所示,该管理节点中还包括节点管理单元701;信息处理单元601接收异常数据节点的节点信息,异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;节点管理单元701根据异常数据节点的节点信息确定发生异常的数据节点,将该异常数据节点从系统中删除,并向系统后台发出告警信息,向后台发送发生异常的数据节点的节点信息。
较佳地,信息处理单元601还用于:接收到异常数据节点恢复正常后发送的加入分布式数据系统的请求;节点管理单元701读取该恢复正常的异常数据节点中最后一次存储的请求标识;根据存储的请求标识的更新顺序确定向该恢复正常的异常数据节点发送的请求标识以及对应的数据更新请求;确定该恢复正常的异常数据节点中更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识一致时,确定该恢复正常的异常数据节点加入分布式数据库系统。
信息处理单元601还用于:接收到新的数据节点发送的加入分布式数据库系统的请求;节点管理单元701对新的数据节点进行初始化处理,并将存储的请求标识以及对应的数据更新请求发送至新的数据节点;确定新的数据节点中更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识一致时,确定该恢复正常的异常数据节点加入分布式数据库系统。
信息处理单元601接收到数据节点发送的加入分布式数据库系统的请求,判断该数据节点是系统中被删除的异常数据节点,还是新的数据节点;若该数据节点是系统中被删除的异常数据节点,则节点管理单元701读取该异常数据节点中最后一次存储的请求标识;根据存储的请求标识的更新顺序确定向该异常数据节点发送的请求标识以及对应的数据更新请求;若该数据是新的数据节点,则节点管理单元701对新的数据节点进行初始化处理,清除新的数据节点中的数据信息,并将存储的请求标识以及对应的数据更新请求发送至新的数据节点。节点管理单元701在确定发送加入请求的数据节点中更新顺序最近的请求标识与信息存储单元602中存储的更新顺序最近的请求标识一致时,确定该发送加入请求的数据节点加入分布式数据库系统。
当发送的加入请求的数据节点是系统中被删除的异常数据节点时,只需要将请求标识的更新顺序将异常数据节点中的差量请求标识及对应的更新请求进行同步,减少了异常数据节点重新加入系统时,需要同步的数据量,缩短了异常节点的恢复时间。
如图8所示,为本发明实施例中一种更新数据信息的系统,该系统包括:
数据节点801,用于接收到客户端发送的数据更新请求,将数据更新请求发送至管理节点;接收管理节点发送的根据数据更新请求生成的请求标识;请求标识是管理节点为每个数据更新请求分配的用于表示更新顺序的标识;根据数据更新请求更新对应的数据信息,并在更新后的数据信息中存储对应的请求标识;将数据更新请求以及对应的请求标识进行广播,通知系统中其它数据节点根据数据更新请求进行数据信息更新处理,并在更新成功后存储该数据更新请求对应的请求标识;在接收到系统中其它数据节点发送的更新请求响应信息后,向客户端发送数据更新请求成功的信息;
管理节点802,用于接收到数据节点发送的更新请求,为更新请求分配一个用于表示更新顺序的请求标识,将请求标识发送至数据节点;按照更新顺序存储更新请求及对应的请求标识。
其中,数据节点801将接收到的更新请求发送至管理节点;接收管理节点发送的根据数据更新请求生成的请求标识;请求标识是管理节点为每个数据更新请求分配的用于表示更新顺序的标识;数据节点根据数据更新请求更新对应的数据信息,并在更新后的数据信息中存储对应的请求标识。
数据节点801在接收到数据更新请求后,通知其他数据节点该更新请求对应的数据信息进入分布式写锁,即当前不允许其他节点对更新请求对应的数据信息进行任何操作。数据节点将更新请求发送至管理节点;管理节点根据数据更新请求分配的请求标识,并将请求标识发送至更新请求对应的数据节点。
数据节点801在接收到该更新请求对应请求标识后,根据更新请求对对应的数据信息进行更新处理;同时,数据节点801将数据更新请求以及对应的请求标识进行广播,通知系统中其它数据节点根据数据更新请求进行数据信息更新处理,并在更新成功后存储该数据更新请求对应的请求标识。
系统中的其他数据节点在接收到更新请求以及对应的请求标识后,根据更新请求对对应的数据进行更新处理,并在更新处理成功后,存储该数据更新请求对应的数据标识。系统中的其他数据节点在更新处理成功后向进行广播的数据节点发送更新请求响应信息。
数据节点801将数据更新请求以及对应的请求标识进行广播后,数据节点801确定在设定的时长内未反馈更新请求响应信息的数据节点为异常数据节点;数据节点801将异常数据节点的节点信息发送至管理节点,通知管理节点根据异常数据节点的节点信息将异常数据节点从系统中删除;数据节点801接收管理节点发送的异常数据节点删除完成的信息。其中异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识。
数据节点801将数据更新请求以及对应的请求标识进行广播后,开始计时,判断在设定的时间长度内系统中的其他数据节点是否都反馈了更新请求响应信息,若全部反馈了更新请求响应信息,则释放分布式写锁,并向发送更新请求的客户端发送更新请求成功的信息;若部分数据节点未反馈更新请求响应信息,则确定未反馈更新请求响应信息的数据节点为异常数据节点。其中异常数据节点不记录该更新请求对应的请求标识。
数据节点801确定未反馈更新请求响应信息的异常数据节点的节点信息,并将该异常数据节点的节点信息发送至管理节点,其中异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识。管理节点在接收到异常数据节点的节点信息后,根据节点信息确定发生异常的数据节点,将该异常数据节点从系统中删除,并向系统后台发出告警信息,向后台发送发生异常的数据节点的节点信息。
数据节点801数据节点在接收到系统中其它数据节点发送的更新请求响应信息后,向客户端发送数据更新请求成功的信息,具体包括:数据节点在接收到系统中其它数据节点发送的更新请求响应信息,确定系统中存在异常数据节点,将异常数据节点上报至管理节点,并接收到管理节点发送的异常数据节点删除完成的信息,释放分布式写锁,并向发送数据更新请求的客户端发送更新请求成功的信息。
数据节点801还用于接收到分布式数据系统中的其他数据节点广播的更新请求及对应的请求标识;数据节点根据所述广播的更新请求对对应的数据进行更新处理,并在更新成功后存储该更新请求对应的请求标识;数据节点在存储请求标识之后,向进行广播的数据节点发送更新请求响应信息。若数据节点根据更新请求进行更新处理没有成功,则确定此次更行处理失败,不存储此次数据更新请求对应的请求标识。
管理节点802在接收到数据节点发送的更新请求时,为更新请求分配一个用于表示更新顺序的请求标识,将请求标识发送至数据节点;管理节点802按照更新顺序存储更新请求及对应的请求标识。管理节点802分配的请求标识是表示数据更新请求的更新顺序的标识;如管理节点802按照接收到数据更新请求的先后顺序生成序列号;管理节点802接收到一个更新请求后,读取当前最大序列号,将当前最大序列号加1作为该更新请求的请求标识,将该请求标识发送至对应的数据节点;并且管理节点802存储该请求标识及对应的更新数据请求。或,管理节点802按照接收到数据更新请求的时间,生成一个时间标识,将该时间标识作为请求标识;若管理节点802在同一时刻收到多个更新请求,则在该多个更新请求对应的时间标识上分别添加一个标识符,以表示同一时刻收到的多个更新请求对应的时间标识的先后顺序;管理节点802按照时间标识的先后顺序对时间标识进行存储,并存储该时间标识对应的数据更新请求。
管理节点802按照请求标识的序列号顺序存储数据更新请求及对应的请求标识;或管理节点802按照请求标识的实现顺序存储数据更新请求及对应的请求标识。
管理节点802接收数据节点发送的异常数据节点的节点信息,异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;根据异常数据节点的节点信息将异常数据节点从分布式数据库数据系统中删除。管理节点802接收到异常数据节点的节点信息后,根据节点信息确定发生异常的数据节点,将该异常数据节点从系统中删除,并向系统后台发出告警信息,向后台发送发生异常的数据节点的节点信息。
管理节点802接收到异常数据节点恢复正常后发送的加入分布式数据系统的请求;管理节点802读取该恢复正常的异常数据节点中最后一次存储的请求标识;根据管理节点802中存储的请求标识的更新顺序确定向该恢复正常的异常数据节点发送的请求标识以及对应的数据更新请求;管理节点702确定该恢复正常的异常数据节点加入分布式数据库系统。
管理节点802接收到新的数据节点发送的加入分布式数据库系统的请求;管理节点802对新的数据节点进行初始化处理,并将存储的请求标识以及对应的数据更新请求发送至新的数据节点;管理节点802确定新的数据节点加入分布式数据库系统。
管理节点802接收到数据节点发送的加入分布式数据库系统的请求,判断该数据节点是系统中被删除的异常数据节点,还是新的数据节点;若该数据节点是系统中被删除的异常数据节点,则读取该异常数据节点中最后一次存储的请求标识;根据管理节点中存储的请求标识的更新顺序确定向该异常数据节点发送的请求标识以及对应的数据更新请求;若该数据是新的数据节点,则对新的数据节点进行初始化处理,清除新的数据节点中的数据信息,并将管理节点中存储的请求标识以及对应的数据更新请求发送至新的数据节点。管理节点802在确定发送加入请求的数据节点中更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识一致时,管理节点802确定该发送加入请求的数据节点加入分布式数据库系统。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (22)

1.一种更新数据信息的方法,应用于分布式数据系统,其特征在于,该方法包括:
数据节点接收到客户端发送的数据更新请求,将所述数据更新请求发送至管理节点;
所述数据节点接收所述管理节点发送的根据所述数据更新请求生成的请求标识;所述请求标识是管理节点为每个数据更新请求分配的用于表示更新顺序的标识;
所述数据节点根据数据更新请求更新对应的数据信息,并在更新后的数据信息中存储对应的请求标识;
所述数据节点将数据更新请求以及对应的请求标识进行广播,通知系统中其它数据节点根据数据更新请求进行数据信息更新处理,并在更新成功后存储该数据更新请求对应的请求标识;
所述数据节点在接收到系统中其它数据节点发送的更新请求响应信息后,向所述客户端发送数据更新请求成功的信息。
2.如权利要求1所述的方法,其特征在于,所述数据节点将数据更新请求以及对应的请求标识进行广播后,向所述客户端发送数据更新请求成功的信息之前,还包括:
所述数据节点确定在设定的时长内未反馈更新请求响应信息的数据节点为异常数据节点;
所述数据节点将异常数据节点的节点信息发送至管理节点,通知管理节点根据异常数据节点的节点信息将异常数据节点从系统中删除;所述异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;
所述数据节点接收所述管理节点发送的异常数据节点删除完成的信息。
3.如权利要求1所述的方法,其特征在于,该方法还包括:
所述数据节点接收到分布式数据系统中的其他数据节点广播的更新请求及对应的请求标识;
所述数据节点根据所述广播的更新请求对对应的数据进行更新处理,并在更新成功后存储该更新请求对应的请求标识;
所述数据节点在存储请求标识之后,向所述进行广播的数据节点发送更新请求响应信息。
4.一种更新数据信息的方法,其特征在于,该方法包括:
管理节点接收到数据节点发送的更新请求,为所述更新请求分配一个用于表示更新顺序的请求标识,将所述请求标识发送至数据节点;
所述管理节点按照更新顺序存储更新请求及对应的请求标识。
5.如权利要求4所述的方法,其特征在于,该方法还包括:
所述管理节点接收数据节点发送的异常数据节点的节点信息,所述异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;
所述管理节点根据所述异常数据节点的节点信息将异常数据节点从分布式数据库数据系统中删除;
所述管理节点向所述数据节点发送异常数据节点删除完成信息。
6.如权利要求4所述的方法,其特征在于,该方法还包括:
所述管理节点接收到异常数据节点恢复正常后发送的加入分布式数据系统的请求;
所述管理节点读取该恢复正常的异常数据节点中最后一次存储的请求标识;根据管理节点中存储的请求标识的更新顺序确定向该恢复正常的异常数据节点发送的请求标识以及对应的数据更新请求;
所述管理节点确定该恢复正常的异常数据节点加入分布式数据库系统。
7.如权利要求4所述的方法,其特征在于,该方法还包括:
所述管理节点接收到新的数据节点发送的加入分布式数据库系统的请求;
所述管理节点对所述新的数据节点进行初始化处理,并将存储的请求标识以及对应的数据更新请求发送至新的数据节点;
所述管理节点确定所述新的数据节点加入分布式数据库系统。
8.如权利要求6~7任一所述的方法,其特征在于,所述管理节点确定数据节点加入分布式数据库系统,具体包括:
所述管理节点读取数据节点中存储的更新顺序最近的请求标识;
所述管理节点确定数据节点中存储的更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识一致,则确定该数据节点加入分布式数据库系统。
9.一种更新数据信息的数据节点,应用于分布式数据系统,其特征在于,该数据节点包括:
更新请求处理单元,用于接收到客户端发送的数据更新请求,将所述数据更新请求发送至管理节点;
请求标识接收单元,用于接收所述管理节点发送的根据所述数据更新请求生成的请求标识;所述请求标识是管理节点为每个数据更新请求分配的用于表示更新顺序的标识;
更新请求执行单元,用于根据数据更新请求更新对应的数据信息,并在更新后的数据信息中存储对应的请求标识;
更新请求广播单元,用于将数据更新请求以及对应的请求标识进行广播,通知系统中其它数据节点根据数据更新请求进行数据信息更新处理,并在更新成功后存储该数据更新请求对应的请求标识;
更新信息处理单元,用于在接收到系统中其它数据节点发送的更新请求响应信息后,向所述客户端发送数据更新请求成功的信息。
10.如权利要求9所述的数据节点,其特征在于,所述更新信息处理单元还用于:
确定将数据更新请求以及对应的请求标识进行广播后,确定在设定的时长内未反馈更新请求响应信息的数据节点为异常数据节点;将异常数据节点的节点信息发送至管理节点,通知管理节点根据异常数据节点的节点信息将异常数据节点从系统中删除;所述异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;接收所述管理节点发送的异常数据节点删除完成的信息,向所述客户端发送数据更新请求成功的信息。
11.如权利要求9所述的数据节点,其特征在于,所述更新请求处理单元还用于:
接收到分布式数据系统中的其他数据节点广播的更新请求及对应的请求标识;
所述更新请求执行单元还用于:
根据所述广播的更新请求对对应的数据进行更新处理,并在更新成功后存储该更新请求对应的请求标识;
所述更新请求广播单元还用于:
在存储请求标识之后,向所述进行广播的数据节点发送更新请求响应信息。
12.一种更新数据信息的管理节点,其特征在于,该管理节点包括:
信息处理单元,用于接收到数据节点发送的更新请求,为所述更新请求分配一个用于表示更新顺序的请求标识,将所述请求标识发送至数据节点;
信息存储单元,用于按照更新顺序存储更新请求及对应的请求标识。
13.如权利要求12所述的管理节点,其特征在于,所述信息处理单元还用于:
接收数据节点发送的异常数据节点的节点信息,所述异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;
该管理节点还包括节点管理单元,用于:
根据所述异常数据节点的节点信息将异常数据节点从分布式数据库数据系统中删除;向所述数据节点发送异常数据节点删除完成信息。
14.如权利要求13所述的管理节点,其特征在于,所述信息处理单元还用于:
接收到异常数据节点恢复正常后发送的加入分布式数据系统的请求;
所述节点管理单元还用于:
读取该恢复正常的异常数据节点中最后一次存储的请求标识;根据请求标识的更新顺序确定在该恢复正常的异常数据节点中最后一次存储的请求标识之后更新的请求标识,将确定的请求标识以及对应的数据更新请求发送至该恢复正常的异常数据节点;确定该恢复正常的异常数据节点加入分布式数据库系统。
15.如权利要求13所述的管理节点,其特征在于,所述信息处理单元还用于:
接收到新的数据节点发送的加入分布式数据库系统的请求;
所述节点管理单元还用于:
对所述新的数据节点进行初始化处理,并将存储的请求标识以及对应的数据更新请求发送至新的数据节点;确定所述新的数据节点加入分布式数据库系统。
16.如权利要求14~15任一所述的管理节点,其特征在于,所述节点管理单元具体用于:
读取数据节点中存储的更新顺序最近的请求标识;确定数据节点中存储的更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识一致,则确定该数据节点加入分布式数据库系统。
17.一种更新数据信息的系统,其特征在于,该系统包括:
数据节点,用于接收到客户端发送的数据更新请求,将所述数据更新请求发送至管理节点;接收所述管理节点发送的根据所述数据更新请求生成的请求标识;所述请求标识是管理节点为每个数据更新请求分配的用于表示更新顺序的标识;根据数据更新请求更新对应的数据信息,并在更新后的数据信息中存储对应的请求标识;将数据更新请求以及对应的请求标识进行广播,通知系统中其它数据节点根据数据更新请求进行数据信息更新处理,并在更新成功后存储该数据更新请求对应的请求标识;在接收到系统中其它数据节点发送的更新请求响应信息后,向所述客户端发送数据更新请求成功的信息;
管理节点,用于接收到数据节点发送的更新请求,为所述更新请求分配一个用于表示更新顺序的请求标识,将所述请求标识发送至数据节点;按照更新顺序存储更新请求及对应的请求标识。
18.如权利要求17所述的系统,其特征在于,所述数据节点具体用于:
将数据更新请求以及对应的请求标识进行广播后,确定在设定的时长内未反馈更新请求响应信息的数据节点为异常数据节点;将异常数据节点的节点信息发送至管理节点,通知管理节点根据异常数据节点的节点信息将异常数据节点从系统中删除;所述异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;接收所述管理节点发送的异常数据节点删除完成的信息;
所述管理节点还用于:
接收数据节点发送的异常数据节点的节点信息,所述异常数据节点的节点信息包括异常数据节点的地址或异常数据节点的标识;根据所述异常数据节点的节点信息将异常数据节点从分布式数据库数据系统中删除,向所述数据节点发送异常数据节点删除完成信息。
19.如权利要求17所述的系统,其特征在于,所述数据节点还用于:
接收到分布式数据系统中的其他数据节点广播的更新请求及对应的请求标识;根据所述广播的更新请求对对应的数据进行更新处理,并在更新成功后存储该更新请求对应的请求标识;在存储请求标识之后,向所述进行广播的数据节点发送更新请求响应信息。
20.如权利要求17所述的系统,其特征在于,所述管理节点还用于:
接收到异常数据节点恢复正常后发送的加入分布式数据系统的请求;读取该恢复正常的异常数据节点中最后一次存储的请求标识;根据请求标识的更新顺序确定在该恢复正常的异常数据节点中最后一次存储的请求标识之后更新的请求标识,将确定的请求标识以及对应的数据更新请求发送至该恢复正常的异常数据节点;确定该恢复正常的异常数据节点加入分布式数据库系统。
21.如权利要求17所述的系统,其特征在于,所述管理节点还用于:
接收到新的数据节点发送的加入分布式数据库系统的请求;对所述新的数据节点进行初始化处理,并将存储的请求标识以及对应的数据更新请求发送至新的数据节点;确定所述新的数据节点加入分布式数据库系统。
22.如权利要求20~21任一所述的系统,其特征在于,所述管理节点具体用于:
读取数据节点中存储的更新顺序最近的请求标识;确定数据节点中存储的更新顺序最近的请求标识与管理节点中存储的更新顺序最近的请求标识一致,则确定该数据节点加入分布式数据库系统。
CN201310746832.3A 2013-12-30 2013-12-30 一种更新数据信息的方法、数据节点、管理节点及系统 Active CN104750738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310746832.3A CN104750738B (zh) 2013-12-30 2013-12-30 一种更新数据信息的方法、数据节点、管理节点及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310746832.3A CN104750738B (zh) 2013-12-30 2013-12-30 一种更新数据信息的方法、数据节点、管理节点及系统

Publications (2)

Publication Number Publication Date
CN104750738A true CN104750738A (zh) 2015-07-01
CN104750738B CN104750738B (zh) 2018-06-26

Family

ID=53590436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310746832.3A Active CN104750738B (zh) 2013-12-30 2013-12-30 一种更新数据信息的方法、数据节点、管理节点及系统

Country Status (1)

Country Link
CN (1) CN104750738B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682040A (zh) * 2015-11-11 2017-05-17 中兴通讯股份有限公司 数据管理方法及装置
CN106802939A (zh) * 2016-12-30 2017-06-06 华为技术有限公司 一种解决数据冲突的方法和系统
CN108241684A (zh) * 2016-12-26 2018-07-03 航天信息股份有限公司 一种数据更新方法和集群系统
CN109873714A (zh) * 2019-01-04 2019-06-11 平安科技(深圳)有限公司 云计算节点配置更新方法及终端设备
CN109933590A (zh) * 2019-03-19 2019-06-25 上海达梦数据库有限公司 一种数据更新方法、装置、服务器及存储介质
CN110737447A (zh) * 2018-07-18 2020-01-31 阿里巴巴集团控股有限公司 应用更新方法和装置
CN111342986A (zh) * 2018-12-19 2020-06-26 杭州海康威视系统技术有限公司 分布式节点管理方法及装置、分布式系统、存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006017686A3 (en) * 2004-08-04 2006-06-15 Flarion Technologies Inc Enhanced techniques for using core based nodes for state transfer
US20060265392A1 (en) * 2005-05-20 2006-11-23 Akira Sunada Data management system, data server, and data management method
CN101355476B (zh) * 2008-05-23 2011-05-11 林云帆 一种基于服务器群集的数据文件存储、分发和应用的系统和方法
CN101626563B (zh) * 2008-07-08 2012-07-04 中国移动通信集团公司 一种通信网络中的数据存储系统及信息处理方法
CN102693324A (zh) * 2012-01-09 2012-09-26 西安电子科技大学 一种分布式数据库同步系统、同步方法和节点管理方法
CN102769638A (zh) * 2011-05-05 2012-11-07 腾讯科技(深圳)有限公司 一种下载文件的方法、装置及系统
CN103036717A (zh) * 2012-12-12 2013-04-10 北京邮电大学 分布式数据的一致性维护系统和方法
CN103207867A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 处理数据块的方法、发起恢复操作的方法和节点
CN103268457A (zh) * 2013-05-31 2013-08-28 重庆大学 基于云计算的多层级关系信息管理系统及设计方法
CN103294675A (zh) * 2012-02-23 2013-09-11 上海盛霄云计算技术有限公司 一种分布式存储系统中的数据更新方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006017686A3 (en) * 2004-08-04 2006-06-15 Flarion Technologies Inc Enhanced techniques for using core based nodes for state transfer
US20060265392A1 (en) * 2005-05-20 2006-11-23 Akira Sunada Data management system, data server, and data management method
CN101355476B (zh) * 2008-05-23 2011-05-11 林云帆 一种基于服务器群集的数据文件存储、分发和应用的系统和方法
CN101626563B (zh) * 2008-07-08 2012-07-04 中国移动通信集团公司 一种通信网络中的数据存储系统及信息处理方法
CN102769638A (zh) * 2011-05-05 2012-11-07 腾讯科技(深圳)有限公司 一种下载文件的方法、装置及系统
CN102693324A (zh) * 2012-01-09 2012-09-26 西安电子科技大学 一种分布式数据库同步系统、同步方法和节点管理方法
CN103207867A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 处理数据块的方法、发起恢复操作的方法和节点
CN103294675A (zh) * 2012-02-23 2013-09-11 上海盛霄云计算技术有限公司 一种分布式存储系统中的数据更新方法及装置
CN103036717A (zh) * 2012-12-12 2013-04-10 北京邮电大学 分布式数据的一致性维护系统和方法
CN103268457A (zh) * 2013-05-31 2013-08-28 重庆大学 基于云计算的多层级关系信息管理系统及设计方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682040A (zh) * 2015-11-11 2017-05-17 中兴通讯股份有限公司 数据管理方法及装置
CN108241684A (zh) * 2016-12-26 2018-07-03 航天信息股份有限公司 一种数据更新方法和集群系统
CN108241684B (zh) * 2016-12-26 2021-08-24 航天信息股份有限公司 一种数据更新方法和集群系统
CN106802939A (zh) * 2016-12-30 2017-06-06 华为技术有限公司 一种解决数据冲突的方法和系统
WO2018120810A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 一种解决数据冲突的方法和系统
CN106802939B (zh) * 2016-12-30 2020-04-03 华为技术有限公司 一种解决数据冲突的方法和系统
CN110737447A (zh) * 2018-07-18 2020-01-31 阿里巴巴集团控股有限公司 应用更新方法和装置
CN110737447B (zh) * 2018-07-18 2023-11-14 阿里巴巴集团控股有限公司 应用更新方法和装置
CN111342986A (zh) * 2018-12-19 2020-06-26 杭州海康威视系统技术有限公司 分布式节点管理方法及装置、分布式系统、存储介质
CN109873714A (zh) * 2019-01-04 2019-06-11 平安科技(深圳)有限公司 云计算节点配置更新方法及终端设备
CN109873714B (zh) * 2019-01-04 2023-12-22 平安科技(深圳)有限公司 云计算节点配置更新方法及终端设备
CN109933590A (zh) * 2019-03-19 2019-06-25 上海达梦数据库有限公司 一种数据更新方法、装置、服务器及存储介质
CN109933590B (zh) * 2019-03-19 2021-04-20 上海达梦数据库有限公司 一种数据更新方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN104750738B (zh) 2018-06-26

Similar Documents

Publication Publication Date Title
CN104750738A (zh) 一种更新数据信息的方法、数据节点、管理节点及系统
CN105354108B (zh) 一种数据备份方法及节点
CN101645801B (zh) 基于集群管理的软件版本升级方法及命令交换机
CN103152390B (zh) 分布式存储系统的节点配置方法、装置、节点及系统
CN105468475A (zh) 数据库的备份方法及备份装置
CN103248725A (zh) 一种安全可靠的域名解析修复方法和系统
CN102143194A (zh) 数据同步的方法、系统、中间数据节点及终止数据节点
CN108762984B (zh) 一种连续性数据备份的方法及装置
CN103530362A (zh) 一种用于多副本分布式系统的计算机数据读写方法
CN107231400B (zh) 一种数据的同步方法和装置
CN102402441A (zh) 一种对多台计算机进行配置的系统和方法
CN105512171A (zh) 数据库同步的方法及装置
CN102279857B (zh) 一种实现数据复制的方法及系统
CN103685385A (zh) 一种文件同步的方法、系统和装置
CN111399764A (zh) 数据存储方法、读取方法、装置、设备及存储介质
CN103281356A (zh) 一种分发文件的方法及系统
CN110213359B (zh) 一种基于d2d的车联网组网数据推送系统和方法
CN103559198A (zh) 一种数据同步的方法及设备
CN108509296B (zh) 一种处理设备故障的方法和系统
CN106951443B (zh) 基于分布式系统的副本同步的方法、设备和系统
CN109542841B (zh) 集群中创建数据快照的方法及终端设备
CN109962797B (zh) 一种存储系统和推送业务视图的方法
CN105511808A (zh) 一种数据操作方法、系统及相关装置
CN108089946B (zh) 一种多节点快速增量备份方法
CN105007233A (zh) 一种基于dhcp服务器集群负载分配地址的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant