CN112000850B - 进行数据处理的方法、装置、系统及设备 - Google Patents
进行数据处理的方法、装置、系统及设备 Download PDFInfo
- Publication number
- CN112000850B CN112000850B CN202010873890.2A CN202010873890A CN112000850B CN 112000850 B CN112000850 B CN 112000850B CN 202010873890 A CN202010873890 A CN 202010873890A CN 112000850 B CN112000850 B CN 112000850B
- Authority
- CN
- China
- Prior art keywords
- index information
- storage server
- server
- data
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000015654 memory Effects 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 238000007726 management method Methods 0.000 description 77
- 238000010586 diagram Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种进行数据处理的方法、装置、系统及设备，属于互联网技术领域。该方法包括：向管理服务器发送的数据处理请求，其中，数据处理请求中携带有待处理数据的数据标识；接收管理服务器发送的索引信息的标识、索引信息的第一更新次数、以及索引信息对应的地址信息；基于地址信息，确定存储索引信息的第一存储服务器，并向第一存储服务器发送索引获取请求；接收第一存储服务器发送的索引信息，以及第一存储服务器发送的索引信息的第二更新次数；如果第二更新次数与第一更新次数一致，则基于第一存储服务器发送的索引信息对待处理数据进行处理。采用本申请可以降低对数据的进行处理失败的可能性。
Description
技术领域
本申请涉及互联网技术领域，特别涉及一种进行数据处理的方法、装置、系统及设备。
背景技术
随着互联网技术的进步，大数据的发展，分布式存储被应用的越来越广泛。
在分布式存储系统中设置有管理节点(即管理服务器)、存储节点(存储服务器)、数据节点(数据服务器)和业务节点(业务服务器)，管理节点中存储有存储数据(如视频数据)对应的索引信息标识以及存储索引信息的存储节点，存储节点中存储对应的索引信息，如条带索引。在索引信息中包括存储数据的存储位置、数据大小、校验码等信息。一般为了保证分布式存储系统的可用性，会将存储数据对应的索引信息存储在多个存储节点。当其中的一个存储节点出现故障时，还能够保证分布式存储系统的正常运行。用户在对数据进行的读写等处理时，可以通过业务节点向管理节点获取存储对应的索引信息的多个存储节点信息，业务节点再通过多个存储节点信息向其中一个存储节点获取数据对应的索引信息，再根据数据对应的索引信息对数据进行读写等处理。
在实现本申请的过程中，发明人发现现有技术至少存在以下问题：
由于索引信息会存储在多个存储节点，用户在对数据进行读写等处理之后，对应的多个存储节点中的索引信息也能也需要进行更新，如果对应的多个存储节点中存在有下线或出故障的存储节点，则该存储节点中索引信息无法进行更新，当再次对数据进行读写等处理时，业务节点可能会获取到没有更新的索引信息，从而导致对数据进行读写等处理的失败。
发明内容
本申请实施例提供了一种进行数据处理的方法、装置、系统及设备，可以降低存储数据的获取失败的可能性。所述技术方案如下：
第一方面，提供了一种进行数据处理的方法，应用于业务服务器，所述方法包括：
向管理服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；
接收所述管理服务器发送的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；
基于所述地址信息，确定存储索引信息的第一存储服务器，并向所述第一存储服务器发送索引获取请求，其中，所述索引获取请求中携带有所述索引信息的标识；
接收所述第一存储服务器发送的索引信息，以及所述第一存储服务器发送的索引信息的第二更新次数；
如果所述第二更新次数与所述第一更新次数一致，则基于所述第一存储服务器发送的索引信息对待处理数据进行处理。
可选的，所述方法还包括：
如果所述第二更新次数与所述第一更新次数不一致，则基于所述索引信息对应的地址信息，逐个向除所述第一存储服务器之外的存储有所述索引信息的其他存储服务器发送索引获取请求，直到接收到第二存储服务器发送的索引信息的第三更新次数与所述第一更新次数相等；
基于所述第二存储服务器发送的索引信息对待处理数据进行处理。
可选的，所述方法还包括：
向所述管理服务器发送新增存储服务器的增加通知，其中，所述增加通知中携带有所述新增存储服务器的地址信息。
第二方面，提供了一种进行数据处理的方法，应用于管理服务器，所述方法包括：
接收业务服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；
基于待处理数据的数据标识，确定与所述待处理数据对应的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；
将所述索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息发送至所述业务服务器；
对所述索引信息的第一更新次数进行更新。
可选的，所述方法还包括：
接收所述业务服务器发送的新增存储服务器的增加通知，其中，所述增加通知中携带有所述新增存储服务器的地址信息；
向所有存储服务器发送存储服务器数目更新通知；
接收所述存储服务器发送的扩容请求，其中，所述扩容请求中携带有任一索引信息的标识；
向所述存储服务器发送所述新增存储服务器的地址信息。
第三方面，提供了一种进行数据处理的方法，应用于第一存储服务器，所述方法包括：
接收业务服务器发送的索引获取请求，其中，所述索引获取请求中携带有索引信息的标识；
向所述业务服务器发送本地存储的所述标识对应的索引信息和第二更新次数。
可选的，所述方法还包括：
接收存储待处理数据的数据服务器在所述待处理数据处理结束后发送的索引信息更新通知，其中，所述索引信息更新通知中包括所述索引信息的更新数据；
基于所述索引信息更新通知，对所述本地存储的所述标识对应的索引信息进行更新，得到所述标识对应的更新之后的索引信息，并对本地存储的所述标识对应的第二更新次数进行更新，得到第四更新次数；
向第三存储服务器发送索引信息同步请求，其中，所述第三存储服务器为除所述第一存储服务器之外的存储所述标识对应的索引信息的存储服务器，所述索引信息同步请求中携带有所述标识对应的更新之后的索引信息、所述第四更新次数，以及所述索引信息的标识。
可选的，所述向第三存储服务器发送索引信息同步请求，包括：
按照预设的发送周期向第三存储服务器发送索引信息同步请求，直到接收到所述第三存储服务器发送的已同步通知时停止发送索引信息同步请求。
可选的，所述方法还包括：
接收第四存储服务器发送索引信息同步请求，其中，所述第四存储服务器为除所述第一存储服务器之外的存储所述标识对应的索引信息的存储服务器，所述第四存储服务器发送的索引信息同步请求中携带所述第四存储服务器中所述标识对应的更新之后的索引信息、所述第四存储服务器中所述标识对应的第五更新次数、以及所述标识；
确定本地存储的所述标识对应的索引信息和所述标识对应的第二更新次数；
如果所述第四存储服务器发送的所述标识对应的更新之后的索引信息与本地存储的所述标识对应的索引信息相同，且所述第五更新次数与所述第二更新次数相同，则向所述第四存储服务器发送已更新通知；如果所述第四存储服务器发送的所述标识对应的更新之后的索引信息与本地存储的所述标识对应的索引信息不同，或所述第五更新次数与所述第二更新次数不同，则基于所述第四存储服务器发送的所述标识对应的更新之后的索引信息对本地存储的所述标识对应的索引信息进行更新，并向所述第四存储服务器发送已更新通知。
可选的，所述方法还包括：
接收所述管理服务器发送的存储服务器数目更新通知；
如果本地存储的任一索引信息中记录的存储所述任一索引信息的存储服务器的数目低于预设数目时，则向所述管理服务器发送扩容请求，其中，所述扩容请求中携带有所述任一索引信息的标识；
接收所述管理服务器发送的新增存储服务器的地址信息；
基于所述新增存储服务器的地址信息，在所述任一索引信息中添加所述新增存储服务器的地址信息，得到添加新增存储服务器的地址信息之后的索引信息，并向所述第一存储服务器之外的存储所述任一索引信息的存储服务器以及所述新增存储服务器，发送所述任一索引信息同步请求，其中所述任一索引信息同步请求中携带有所述添加新增存储服务器的地址信息之后的索引信息。
第四方面，提供了一种进行数据处理的装置，所述装置包括：
发送模块，用于向管理服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；
接收模块，用于接收所述管理服务器发送的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；
确定模块，用于基于所述地址信息，确定存储索引信息的第一存储服务器，并向所述第一存储服务器发送索引获取请求，其中，所述索引获取请求中携带有所述索引信息的标识；
所述接收模块，还用于接收所述第一存储服务器发送的索引信息，以及所述第一存储服务器发送的索引信息的第二更新次数；
处理模块，用于如果所述第二更新次数与所述第一更新次数一致，则基于所述第一存储服务器发送的索引信息对待处理数据进行处理。
可选的，所述处理模块，还用于：
如果所述第二更新次数与所述第一更新次数不一致，则基于所述索引信息对应的地址信息，逐个向除所述第一存储服务器之外的存储有所述索引信息的其他存储服务器发送索引获取请求，直到接收到第二存储服务器发送的索引信息的第三更新次数与所述第一更新次数相等；
基于所述第二存储服务器发送的索引信息对待处理数据进行处理。
可选的，所述装置还包括增加模块，用于：
向所述管理服务器发送新增存储服务器的增加通知，其中，所述增加通知中携带有所述新增存储服务器的地址信息。
第五方面，提供了一种进行数据处理的装置，所述装置包括：
接收模块，用于接收业务服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；
确定模块，用于基于待处理数据的数据标识，确定与所述待处理数据对应的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；
发送模块，用于将所述索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息发送至所述业务服务器；
更新模块，用于对所述索引信息的第一更新次数进行更新。
可选的，所述装置还包括增加模块，用于：
接收所述业务服务器发送的新增存储服务器的增加通知，其中，所述增加通知中携带有所述新增存储服务器的地址信息；
向所有存储服务器发送存储服务器数目更新通知；
接收所述存储服务器发送的扩容请求，其中，所述扩容请求中携带有任一索引信息的标识；
向所述存储服务器发送所述新增存储服务器的地址信息。
第六方面，提供了一种进行数据处理的装置，所述装置包括：
接收模块，用于接收业务服务器发送的索引获取请求，其中，所述索引获取请求中携带有索引信息的标识；
发送模块，用于向所述业务服务器发送本地存储的所述标识对应的索引信息和第二更新次数。
可选的，所述装置还包括第一同步模块，用于：
接收存储待处理数据的数据服务器在所述待处理数据处理结束后发送的索引信息更新通知，其中，所述索引信息更新通知中包括所述索引信息的更新数据；
基于所述索引信息更新通知，对所述本地存储的所述标识对应的索引信息进行更新，得到所述标识对应的更新之后的索引信息，并对本地存储的所述标识对应的第二更新次数进行更新，得到第四更新次数；
向第三存储服务器发送索引信息同步请求，其中，所述第三存储服务器为除所述第一存储服务器之外的存储所述标识对应的索引信息的存储服务器，所述索引信息同步请求中携带有所述标识对应的更新之后的索引信息、所述第四更新次数，以及所述索引信息的标识。
可选的，所述第一同步模块用于：
按照预设的发送周期向第三存储服务器发送索引信息同步请求，直到接收到所述第三存储服务器发送的已同步通知时停止发送索引信息同步请求。
可选的，所述装置还包括第二同步模块，用于：
接收第四存储服务器发送索引信息同步请求，其中，所述第四存储服务器为除所述第一存储服务器之外的存储所述标识对应的索引信息的存储服务器，所述第四存储服务器发送的索引信息同步请求中携带所述第四存储服务器中所述标识对应的更新之后的索引信息、所述第四存储服务器中所述标识对应的第五更新次数、以及所述标识；
确定本地存储的所述标识对应的索引信息和所述标识对应的第二更新次数；
如果所述第四存储服务器发送的所述标识对应的更新之后的索引信息与本地存储的所述标识对应的索引信息相同，且所述第五更新次数与所述第二更新次数相同，则向所述第四存储服务器发送已更新通知；如果所述第四存储服务器发送的所述标识对应的更新之后的索引信息与本地存储的所述标识对应的索引信息不同，或所述第五更新次数与所述第二更新次数不同，则基于所述第四存储服务器发送的所述标识对应的更新之后的索引信息对本地存储的所述标识对应的索引信息进行更新，并向所述第四存储服务器发送已更新通知。
可选的，所述装置还包括增加模块，用于：
接收所述管理服务器发送的存储服务器数目更新通知；
如果本地存储的任一索引信息中记录的存储所述任一索引信息的存储服务器的数目低于预设数目时，则向所述管理服务器发送扩容请求，其中，所述扩容请求中携带有所述任一索引信息的标识；
接收所述管理服务器发送的新增存储服务器的地址信息；
基于所述新增存储服务器的地址信息，在所述任一索引信息中添加所述新增存储服务器的地址信息，得到添加新增存储服务器的地址信息之后的索引信息，并向所述第一存储服务器之外的存储所述任一索引信息的存储服务器以及所述新增存储服务器，发送所述任一索引信息同步请求，其中所述任一索引信息同步请求中携带有所述添加新增存储服务器的地址信息之后的索引信息。
第七方面，提供了一种同步索引信息的系统，所述系统包括管理服务器、业务服务器、存储服务器，其中：
所述业务服务器，用于向所述管理服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；接收所述管理服务器发送的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；基于所述地址信息，确定存储索引信息的存储服务器，并向所述存储服务器发送索引获取请求，其中，所述索引获取请求中携带有所述索引信息的标识；接收所述存储服务器发送的索引信息，以及所述存储服务器发送的索引信息的第二更新次数；如果所述第二更新次数与所述第一更新次数一致，则基于所述存储服务器发送的索引信息对待处理数据进行处理。
所述管理服务器，用于接收所述业务服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；基于待处理数据的数据标识，确定与所述待处理数据对应的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；将所述索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息发送至所述业务服务器；对所述索引信息的第一更新次数进行更新。
所述存储服务器，用于接收所述业务服务器发送的索引获取请求，其中，所述索引获取请求中携带有索引信息的标识；向所述业务服务器发送本地存储的所述标识对应的索引信息和第二更新次数。
第八方面，提供了一种业务服务器，所述业务服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如第一方面所述的进行数据处理的方法所执行的操作。
第九方面，提供了一种管理服务器，所述管理服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如第二方面所述的进行数据处理的方法所执行的操作。
第十方面，提供了一种存储服务器，所述存储服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如第三方面所述的进行数据处理的方法所执行的操作。
第十一方面，提供了一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的进行数据处理的方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例中，对管理服务器以及存储服务器中的索引信息设置对应的更新次数，业务服务器可以对比接收存储服务器发送的索引信息的更新次数和接收管理服务器发送的索引信息的更新次数，从而确定接收存储服务器发送的索引信息是否为最新的索引信息，可见采用本申请，可以根据索引信息对应的更新次数确定最新的索引信息，从而可以降低对数据的进行处理失败的可能性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的实施环境示意图；
图2是本申请实施例提供的一种进行数据处理的方法流程图；
图3是本申请实施例提供的一种进行数据处理的方法流程图；
图4是本申请实施例提供的一种进行数据处理的方法流程图；
图5是本申请实施例提供的一种进行数据处理的方法流程图；
图6是本申请实施例提供的一种进行数据处理的方法流程图；
图7是本申请实施例提供的一种进行数据处理的方法流程图；
图8是本申请实施例提供的一种进行数据处理的装置结构示意图；
图9是本申请实施例提供的一种进行数据处理的装置结构示意图；
图10是本申请实施例提供的一种进行数据处理的装置结构示意图；
图11是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供的进行数据处理的方法，可以应用在分布式存储系统中，如图1所示，在分布式存储系统中设置有管理节点(即管理服务器)、存储节点(存储服务器)、业务服务器以及数据服务器。其中，数据服务器中存储有用户的上传的数据，例如视频数据，管理节点中存储有数据对应的索引信息标识以及存储索引信息的存储节点，存储节点中存储有数据对应的索引信息，如条带索引。在索引信息中包括存储数据的存储位置、数据大小、校验码等信息。用户需要获取存储数据时可以通过业务服务器向管理服务器发送数据获取请求，管理服务器可以根据数据获取请求向业务服务器发送数据对应的索引信息标识以及存储索引信息的存储节点，业务服务器再根据接收到的索引信息标识以及存储索引信息的存储节点，向存储服务器发送数据对应的索引获取请求，存储服务器在接收到索引获取请求之后，可以将数据对应的索引信息发送至业务服务器，业务服务器再根据接收到的索引信息向对应的数据服务器获取对应的数据，或对数据进行覆盖写入、删除等。
一般为了保证分布式存储系统的可用性，会将数据对应的索引信息存储在多个存储节点。当其中的一个存储节点出现故障时，还能够保证分布式存储系统的正常运行。但由于数据索引信息会存储在多个存储节点，用户在对存储数据进行更改、删除等操作之后，对应的多个存储节点中的索引信息也需要进行更新，如果对应的多个存储节点中存在有下线或出故障的存储节点，则该存储节点中索引信息无法进行更新。当再次业务服务器需要对数据进行处理时，可能会从某个存储节点获取到没有更新的索引信息，从而可能导致数据处理失败。本申请实施例提供的进行数据处理的方法，可以对多个存储节点中的索引信息进行同步，且能保证业务服务器获取到最新的索引信息。可以避免因获取到没有更新的索引信息，从而导致数据处理失败的问题。
图2是本申请实施例提供的一种进行数据处理的方法流程图，该方法应用于管理服务器，参见图2，该方法的步骤包括：
步骤201、接收业务服务器发送的数据处理请求。
其中，数据处理请求中携带有待处理数据的数据标识；
步骤202、基于待处理数据的数据标识，确定与待处理数据对应的索引信息的标识、索引信息的第一更新次数、以及索引信息对应的地址信息。
其中，地址信息包括存储索引信息的多个存储服务器的服务器地址；
步骤203、将索引信息的标识、索引信息的第一更新次数、以及索引信息对应的地址信息发送至业务服务器；
步骤204、对索引信息的第一更新次数进行更新。
图3是本申请实施例提供的一种进行数据处理的方法流程图，该方法应用于业务服务器，参见图3，该方法的步骤包括：
步骤301、向管理服务器发送的数据处理请求。
其中，数据处理请求中携带有待处理数据的数据标识；
步骤302、接收管理服务器发送的索引信息的标识、索引信息的第一更新次数、以及索引信息对应的地址信息。
其中，地址信息包括存储索引信息的多个存储服务器的服务器地址；
步骤303、基于地址信息，确定存储索引信息的第一存储服务器，并向第一存储服务器发送索引获取请求。
其中，索引获取请求中携带有索引信息的标识；
步骤304、接收第一存储服务器发送的索引信息，以及第一存储服务器发送的索引信息的第二更新次数；
步骤305、如果第二更新次数与第一更新次数一致，则基于第一存储服务器发送的索引信息对待处理数据进行处理。
图4是本申请实施例提供的一种进行数据处理的方法流程图，该方法应用于第一存储服务器，参见图4，该方法的步骤包括：
步骤401、接收业务服务器发送的索引获取请求，其中，索引获取请求中携带有索引信息的标识；
步骤402、向业务服务器发送本地存储的标识对应的索引信息和第二更新次数。
图5是本申请实施例提供的一种进行数据处理的方法流程图。参见图5，该方法用于管理服务器、业务服务器以及第一存储服务器之间的交互，该方法的步骤包括：
步骤501、业务服务器向管理服务器发送的数据处理请求。
其中，数据处理请求中携带有待处理数据的数据标识。
在实施中，用户可以通过终端对存储在数据服务器中的数据进行读、更改、删除等操作，例如删除数据服务器中的一个文件，或，对视频数据进行更新等。用户在对相应的数据进行更改、删除之后，则对应的数据的索引信息也会改变。终端可以在对数据操作时向业务服务器发送对应操作的数据处理请求，其中数据请求中携带有待处理数据的数据标识，例如需要进行删除的文件对应的文件名。业务服务器在接收到终端发送的数据处理请求后，可以将数据处理请求转发至管理服务器，以获取待处理数据对应的索引信息标识。
步骤502、管理服务器基于待处理数据的数据标识，确定与待处理数据对应的索引信息的标识、索引信息的第一更新次数、以及索引信息对应的地址信息。
其中，地址信息包括存储索引信息的多个存储服务器的服务器地址。
在实施中，管理服务器在接收到数据处理请求之后，可以根据数据处理请求中携带的数据标识，查找本地与数据标识对应的索引信息的标识以及存储该索引信息的多个存储服务器的服务器地址，在管理服务器中每个索引信息标识还对应有版本号，即索引信息的更新次数。根据数据处理请求中携带的数据标识，还可以获取数据标识对应的索引信息在管理服务器中的版本号，即数据标识对应的索引信息的第一更新次数。
步骤503、管理服务器将索引信息的标识、索引信息的第一更新次数、以及索引信息对应的地址信息发送至业务服务器。
在实施中，管理服务器在根据业务服务器发送的数据处理请求，查找到待处理数据对应的索引信息的标识、存储索引信息的多个存储服务器的服务器地址、以及索引信息的第一更新次数之后，可以向业务服务器发送对应的索引信息的标识、存储索引信息的多个存储服务器的服务器地址、以及索引信息的第一更新次数。
步骤504、管理服务器对索引信息的第一更新次数进行更新。
在实施中，管理服务器向业务服务器发送对应的索引信息的标识、存储索引信息的多个存储服务器的服务器地址、以及索引信息的第一更新次数之后，可以对索引信息的第一更新次数进行更新，其中，可以采用自加一的方式对索引信息的第一更新次数进行更新。这样每次对待处理数据进行处理时，管理服务器可以将待处理数据对应的索引信息的版本号进行更新，从而可以确保管理服务器向业务服务器发送的索引信息的版本号是最新的版本号。
步骤505、业务服务器基于地址信息，确定存储索引信息的第一存储服务器，并向第一存储服务器发送索引获取请求。
其中，索引获取请求中携带有索引信息的标识。
在实施中，业务服务器在接收到管理服务器发送的索引信息的标识、存储索引信息的多个存储服务器的服务器地址、以及索引信息的第一更新次数之后，可以在存储第一索引信息的多个存储服务器的服务器地址中确定一个存储待处理数据对应的索引信息的第一存储服务器的服务器地址，然后根据第一存储服务器的服务器地址向第一存储服务器发送索引获取请求，其中，索引获取请求中携带有待处理数据对应的索引信息的标识。
步骤506、业务服务器向第一存储服务器发送索引获取请求。
步骤507、第一存储服务器向业务服务器发送本地存储的标识对应的索引信息和第二更新次数。
在实施中，第一存储服务器在接收到业务服务器发送的索引获取请求之后，可以根据获取请求中携带的待处理数据对应的索引信息的标识，在本地查找与该标识对应的索引信息，以及对应的索引信息的版本号，即索引信息的第二更新次数。然后将本地存储的标识对应的索引信息和第二更新次数发送至业务服务器。
步骤508、如果业务服务器第二更新次数与第一更新次数一致，则基于第一存储服务器发送的索引信息对待处理数据进行处理。
在实施中，业务服务器在接收到第一存储服务器发送的第一存储服务器本地存储的标识对应的索引信息和第二更新次数之后，可以将接收到的第二更新次数与接收管理服务器的第一更新次数进行对比，即对比待处理数据的索引信息对应的版本号。如果第二更新次数与第一更新次数一致，则说明第一存储服务器发送的索引信息为最新的索引信息。则可以按照第一存储服务器发送的索引信息对待处理的数据进行处理。在索引信息中记录有存储待处理数据服务器的服务器地址，以及在存储设备中的存储位置等信息。业务服务器可以根据索引信息，向数据服务器发送数据处理请求，以及对应的索引信息，如果是对数据进行更改，则还可以向数据服务器发送更改之后的数据。数据服务器可以根据索引信息对查找到待处理数据，并根据数据处理请求对待处理数据进行处理，例如，对存储的视频数据进行更新，删除某个文件等等。
可选的，如果第二更新次数与第一更新次数不一致，则基于索引信息对应的地址信息，逐个向除第一存储服务器之外的存储有索引信息的其他存储服务器发送索引获取请求，直到接收到第二存储服务器发送的索引信息的第三更新次数与第一更新次数相等；基于第二存储服务器发送的索引信息对待处理数据进行处理。
在实施中，如果第二更新次数与第一更新次数不一致，则说明第一存储服务器发送的待处理数据对应的索引信息并不是最新的索引信息。则业务服务器可以根据管理服务器发送的存储索引信息的多个存储服务器的服务器地址中，重新确定存储待处理数据对应的索引信息的存储服务器的服务器地址，并向对应的存储服务器发送索引获取请求。当接收到对应的存储服务器发送的索引信息以及对应索引信息的更新次数之后，可以将接收的索引信息的更新次数与管理服务器发送的第一更新次数进行对比，如果对比结果不一致，则再次根据管理服务器发送的存储索引信息的多个存储服务器的服务器地址，重新确定存储索引信息存储服务器的服务器地址，直到接收到第二存储服务器发送的索引信息的第三更新次数与管理服务器发送的第一更新次数一致，则根据第二存储服务器发送的索引信息对待处理数据进行处理。
本申请实施例中，对管理服务器以及存储服务器中的索引信息设置对应的更新次数，业务服务器可以对比接收存储服务器发送的索引信息的更新次数和接收管理服务器发送的索引信息的更新次数，从而确定接收存储服务器发送的索引信息是否为最新的索引信息，可见采用本申请，可以根据索引信息对应的更新次数确定最新的索引信息，从而可以降低对数据的进行处理失败的可能性。
图6是本申请实施例提供的一种进行数据处理的方法流程图。参见图6，该方法为存储服务器之间对索引信息进行同步的方法，该方法包括：
步骤601、接收存储待处理数据的数据服务器在待处理数据处理结束后发送的索引信息更新通知。
其中，索引信息更新通知中包括索引信息的更新数据。
在实施中，数据服务器在接收业务服务器发送的索引信息和数据处理请求之后，根据索引信息对待处理数据进行处理，例如可以是对数据服务器中的数据进行覆盖写入，删除等。数据服务器可以在对待处理数据进行处理之后，将处理之后的数据对应的索引信息的更新数据发送至第一存储服务器。例如，处理之后的数据的数据长度、数据块的个数、数据的更新时间等等。数据服务器可以向第一存储服务器发送索引信息更新通知，以指示第一存储服务器对待处理的数据对应的索引信息更新为处理之后的数据对应的索引信息。其中在索引信息更新通知可以携带有索引信息的更新数据和索引信息的标识，索引信息的更新数据可以是处理之后的数据的数据长度、数据块的个数、数据的更新时间等等。
步骤602、基于索引信息更新通知，对本地存储的标识对应的索引信息进行更新，得到标识对应的更新之后的索引信息，并对本地存储的标识对应的第二更新次数进行更新，得到第四更新次数。
在实施中，第一存储服务器接收到数据存储器发送的索引信息更新通知之后，可以根据索引信息更新通知中携带的索引信息的更新数据和索引信息的标识，对本地存储的与索引信息的标识对应的索引信息进行更新，例如，对对应的索引信息中包括的数据长度、数据块的个数、数据的更新时间等进行更新，得到更新之后的索引信息。并将索引信息的标识对应的索引信息的第二更新次数进行更新，例如可以采用自加一的方式将第二更新次数更新为第四更新次数。
步骤603、向第三存储服务器发送索引信息同步请求。
其中，第三存储服务器为除第一存储服务器之外的存储标识对应的索引信息的存储服务器，索引信息同步请求中携带有标识对应的更新之后的索引信息、第四更新次数，以及索引信息的标识。
在实施中，在存储服务器中存储的索引信息对应有同步状态或未同步状态，在第一存储服务器在接收到索引信息更新通知，并对对应的索引信息进行更新之后，可以将更新之后的索引信息对应的状态改为未同步的状态。第一存储服务器可以按照预设的同步周期，检测本地存储的索引信息中对应为未同步状态的索引信息。在检测到未同步的状态的更新之后的索引信息之后，可以根据未同步状态的索引信息中包括的存储该索引信息的多个存储服务器地址中，确定除第一存储服务器之外的其他存储服务器，即第三存储服务器，并向第三存储服务器发送索引信息同步请求。以指示第三存储服务器在接收到索引信息同步请求之后，按照索引信息同步请求中携带的更新之后的索引信息、第四更新次数对第三存储服务器中存储的对应的索引信息以及索引信息的更新次数进行同步。在第三存储服务器对索引信息进行同步之后，可以向第一存储服务器发送已同步通知。
其中，可以按照预设的发送周期向第三存储服务器发送索引信息同步请求，直到接收到第三存储服务器发送的已同步通知时停止发送索引信息同步请求。
在实施中，第三存储服务器在接收到索引信息同步请求之后，并对对应的索引信息进行同步之后，可以向第一存储服务器发送已同步通知。可能由于网络、第三存储服务器故障等问题，导致第三服务器可能无法收到索引信息同步请求，也无法向第一存储服务器发送已同步通知。所以第一存储服务器可以按照预设的发送周期向第三存储服务器发送索引信息同步请求，在接收到第三存储服务器发送的已同步通知之后，则说明索引信息同步成功，则可以停止向第三存储服务器发送索引信息同步请求。
可选的，第一存储服务器可以接收其他存储服务器发送的索引信息同步请求，对本地存储的索引信息进行同步，相应的处理如下：接收第四存储服务器发送索引信息同步请求，确定本地存储的标识对应的索引信息和标识对应的第二更新次数；如果第四存储服务器发送的标识对应的更新之后的索引信息与本地存储的标识对应的索引信息相同，且第五更新次数与第二更新次数相同，则向第四存储服务器发送已更新通知；如果第四存储服务器发送的标识对应的更新之后的索引信息与本地存储的标识对应的索引信息不同，或第五更新次数与第二更新次数不同，则基于第四存储服务器发送的标识对应的更新之后的索引信息对本地存储的标识对应的索引信息进行更新，并向第四存储服务器发送已更新通知。
其中，第四存储服务器为除第一存储服务器之外的存储标识对应的索引信息的存储服务器，第四存储服务器发送的索引信息同步请求中携带第四存储服务器中标识对应的更新之后的索引信息、第四存储服务器中标识对应的第五更新次数、以及标识；
在实施中，第一存储服务器接收第四存储服务器发送索引信息同步请求之后，可以根据第四存储服务器发送的索引信息同步请求中携带的索引信息标识，确定本地存储的与标识对应的索引信息以及对应的第二更新次数，再确定索引信息同步请求中携带的更新之后的索引信息、以及更新之后的索引信息对应的第五更新次数是否分别与本地存储的与标识对应的索引信息以及对应的第二更新次数相同。
如果第四存储服务器发送的更新之后的索引信息与本地存储的与标识对应的索引信息相同，且第五更新次数与第二更新次数相同，则说明第一存储服务器中本地存储的与标识对应的索引信息为最新的索引信息，不需要进行更新，则可以向第四存储服务器发送已更新通知。
如果第四存储服务器发送的更新之后的索引信息与本地存储与标识对应的索引信息不同，或第五更新次数与第二更新次数不同，则说明第四存储服务器中的更新之后的索引信息或第四存储服务器与标识对应的索引信息中有一个索引信息不是最新的索引信息，则可以根据第五更新次数与第二更新次数与确定那个存储服务器中的索引信息才是最新的索引信息，如果第五更新次数大于第二更新次数则第四存储服务器中更新之后的索引信息为最新的索引信息，则第一存储服务器可以根据第四存储服务器发送索引信息同步请求对对应的索引信息以及对应的索引信息的更新次数进行更新。如果第五更新次数小于第二更新次数则第四存储服务器中更新之后的索引信息为最新的索引信息。则第一存储服务器可以向第四存储服务器发送索引信息同步请求，以指示第四存储服务器对对应的索引信息以及对应的索引信息的更新次数进行更新。
本申请实施例中，对管理服务器以及存储服务器中的索引信息设置对应的更新次数，业务服务器可以对比接收存储服务器发送的索引信息的更新次数和接收管理服务器发送的索引信息的更新次数，从而确定接收存储服务器发送的索引信息是否为最新的索引信息，可见采用本申请，可以根据索引信息对应的更新次数确定最新的索引信息，从而可以降低对数据的进行处理失败的可能性。
图7是本申请实施例提供的一种进行数据处理的方法流程图，该方法应用于管理服务器、业务服务器与第一存储服务器，可以将索引信息同步到对分布式存储系统中新增的服务器中，该方法包括：
步骤701、业务服务器向管理服务器发送新增存储服务器的增加通知。
其中，增加通知中携带有新增存储服务器的地址信息。
在实施中，技术人员可以通过业务服务器在分布式存储系统中，增加用于存储服务器，在完成对新增存储服务器的设置之后，可以向管理服务器发送新增存储服务器的增加通知。
步骤702、管理服务器向所有存储服务器发送存储服务器数目更新通知。
管理服务器在接收到新增存储服务器的增加通知，可以向所有存储服务器发送存储服务器数目更新通知其中存储服务器数目更新通知携带有当前存储服务器的数量。
步骤703、如果存储服务器中本地存储的任一索引信息中记录的存储任一索引信息的存储服务器的数目低于预设数目时，则向管理服务器发送扩容请求。
其中，扩容请求中携带有任一索引信息的标识。
在实施中，第一存储服务器在接收到新增存储服务器的增加通知之后，可以对确定本地存储的各个索引信息中包括的存储服务器的数目是否低于预设数目，其中，预设数目可以由技术人员根据实际业务需求进行设置，此处不对该预设数目的数值进行限定，例如可以将预设数目设置为3。如果本地存储的各个索引信息中存在有索引信息包括的存储服务器的数目低于预设数目时，则第一存储服务器可以向管理服务器发送扩容请求。
步骤704、管理服务器向存储服务器发送新增存储服务器的地址信息。
步骤705、第一存储服务器基于新增存储服务器的地址信息，在任一索引信息中添加新增存储服务器的地址信息，得到添加新增存储服务器的地址信息之后的索引信息，并向第一存储服务器之外的存储任一索引信息的存储服务器以及新增存储服务器，发送任一索引信息同步请求。
其中，任一索引信息同步请求中携带有添加新增存储服务器的地址信息之后的索引信息。
在实施中，第一存储服务器在接收到新增存储服务器的地址信息字后，可以在需要进行扩容的索引信息中添加新增存储服务器的地址信息，得到添加新增存储服务器的地址信息之后的索引信息。然后可以向进行扩容的索引信息中记录的多个存储该索引信息的存储服务器，以及新增存储服务器发送索引信息同步请求，以指示新增存储服务器存储对应的索引信息，以及存储该索引信息的多个存储服务器对该索引信息进行更新。
本申请实施例中，对管理服务器以及存储服务器中的索引信息设置对应的更新次数，业务服务器可以对比接收存储服务器发送的索引信息的更新次数和接收管理服务器发送的索引信息的更新次数，从而确定接收存储服务器发送的索引信息是否为最新的索引信息，可见采用本申请，可以根据索引信息对应的更新次数确定最新的索引信息，从而可以降低对数据的进行处理失败的可能性。
本申请实施例提供了一种同步索引信息的系统，系统包括管理服务器、业务服务器、存储服务器，其中：
所述业务服务器，用于向所述管理服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；接收所述管理服务器发送的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；基于所述地址信息，确定存储索引信息的存储服务器，并向所述存储服务器发送索引获取请求，其中，所述索引获取请求中携带有所述索引信息的标识；接收所述存储服务器发送的索引信息，以及所述存储服务器发送的索引信息的第二更新次数；如果所述第二更新次数与所述第一更新次数一致，则基于所述存储服务器发送的索引信息对待处理数据进行处理。
所述管理服务器，用于接收所述业务服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；基于待处理数据的数据标识，确定与所述待处理数据对应的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；将所述索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息发送至所述业务服务器；对所述索引信息的第一更新次数进行更新。
所述存储服务器，用于接收所述业务服务器发送的索引获取请求，其中，所述索引获取请求中携带有索引信息的标识；向所述业务服务器发送本地存储的所述标识对应的索引信息和第二更新次数。
图8是本申请实施例提供了一种进行数据处理的装置，该装置可以是上述实施例中的管理服务器，所述装置包括：
接收模块810，用于接收业务服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；
确定模块820，用于基于待处理数据的数据标识，确定与所述待处理数据对应的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；
发送模块830，用于将所述索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息发送至所述业务服务器；
更新模块840，用于对所述索引信息的第一更新次数进行更新。
可选的，所述装置还包括增加模块，用于：
接收所述业务服务器发送的新增存储服务器的增加通知，其中，所述增加通知中携带有所述新增存储服务器的地址信息；
向所有存储服务器发送存储服务器数目更新通知；
接收所述存储服务器发送的扩容请求，其中，所述扩容请求中携带有任一索引信息的标识；
向所述存储服务器发送所述新增存储服务器的地址信息。
图9是本申请实施例提供了一种进行数据处理的装置，该装置可以是上述实施例中的业务服务器，所述装置包括：
发送模块910，用于向管理服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；
接收模块920，用于接收所述管理服务器发送的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；
确定模块930，用于基于所述地址信息，确定存储索引信息的第一存储服务器，并向所述第一存储服务器发送索引获取请求，其中，所述索引获取请求中携带有所述索引信息的标识；
接收模块920，还用于接收所述第一存储服务器发送的索引信息，以及所述第一存储服务器发送的索引信息的第二更新次数；
处理模块940，用于如果所述第二更新次数与所述第一更新次数一致，则基于所述第一存储服务器发送的索引信息对待处理数据进行处理。
可选的，所述处理模块940，用于：
如果所述第二更新次数与所述第一更新次数不一致，则基于所述索引信息对应的地址信息，逐个向除所述第一存储服务器之外的存储有所述索引信息的其他存储服务器发送索引获取请求，直到接收到第二存储服务器发送的索引信息的第三更新次数与所述第一更新次数相等；
基于所述第二存储服务器发送的索引信息对待处理数据进行处理。
可选的，所述装置还包括增加模块，用于：
向所述管理服务器发送新增存储服务器的增加通知，其中，所述增加通知中携带有所述新增存储服务器的地址信息。
图10是本申请实施例提供了一种进行数据处理的装置，该装置可以是上述实施例中的存储服务器，所述装置包括：
接收模块1010，用于接收业务服务器发送的索引获取请求，其中，所述索引获取请求中携带有索引信息的标识；
发送模块1020，用于向所述业务服务器发送本地存储的所述标识对应的索引信息和第二更新次数。
可选的，所述装置还包括第一同步模块，用于：
接收存储待处理数据的数据服务器在所述待处理数据处理结束后发送的索引信息更新通知，其中，所述索引信息更新通知中包括所述索引信息的更新数据；
基于所述索引信息更新通知，对所述本地存储的所述标识对应的索引信息进行更新，得到所述标识对应的更新之后的索引信息，并对本地存储的所述标识对应的第二更新次数进行更新，得到第四更新次数；
向第三存储服务器发送索引信息同步请求，其中，所述第三存储服务器为除所述第一存储服务器之外的存储所述标识对应的索引信息的存储服务器，所述索引信息同步请求中携带有所述标识对应的更新之后的索引信息、所述第四更新次数，以及所述索引信息的标识。
可选的，所述第一同步模块用于：
按照预设的发送周期向第三存储服务器发送索引信息同步请求，直到接收到所述第三存储服务器发送的已同步通知时停止发送索引信息同步请求。
可选的，所述装置还包括第二同步模块，用于：
接收第四存储服务器发送索引信息同步请求，其中，所述第四存储服务器为除所述第一存储服务器之外的存储所述标识对应的索引信息的存储服务器，所述第四存储服务器发送的索引信息同步请求中携带所述第四存储服务器中所述标识对应的更新之后的索引信息、所述第四存储服务器中所述标识对应的第五更新次数、以及所述标识；
确定本地存储的所述标识对应的索引信息和所述标识对应的第二更新次数；
如果所述第四存储服务器发送的所述标识对应的更新之后的索引信息与本地存储的所述标识对应的索引信息相同，且所述第五更新次数与所述第二更新次数相同，则向所述第四存储服务器发送已更新通知；如果所述第四存储服务器发送的所述标识对应的更新之后的索引信息与本地存储的所述标识对应的索引信息不同，或所述第五更新次数与所述第二更新次数不同，则基于所述第四存储服务器发送的所述标识对应的更新之后的索引信息对本地存储的所述标识对应的索引信息进行更新，并向所述第四存储服务器发送已更新通知。
可选的，所述装置还包括增加模块，用于：
接收所述管理服务器发送的存储服务器数目更新通知；
如果本地存储的任一索引信息中记录的存储所述任一索引信息的存储服务器的数目低于预设数目时，则向所述管理服务器发送扩容请求，其中，所述扩容请求中携带有所述任一索引信息的标识；
接收所述管理服务器发送的新增存储服务器的地址信息；
基于所述新增存储服务器的地址信息，在所述任一索引信息中添加所述新增存储服务器的地址信息，得到添加新增存储服务器的地址信息之后的索引信息，并向所述第一存储服务器之外的存储所述任一索引信息的存储服务器以及所述新增存储服务器，发送所述任一索引信息同步请求，其中所述任一索引信息同步请求中携带有所述添加新增存储服务器的地址信息之后的索引信息。
需要说明的是：上述实施例提供的进行数据处理的装置在同步索引信息时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的同步索引信息装置与进行数据处理的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图11是本申请实施例提供的一种服务器的结构示意图，该服务器1100可以是上述实施例中的管理服务器，或存储服务器、业务服务器、数据服务器等，可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing U nits，CPU)1101和一个或一个以上的存储器1102，其中，所述存储器1102中存储有至少一条指令，所述至少一条指令由所述处理器1101加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成下述实施例中进行数据处理的方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (14)
1.一种进行数据处理的方法，其特征在于，应用于业务服务器，所述方法包括：
向管理服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；
接收所述管理服务器发送的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址，所述第一更新次数是所述管理服务器进行更新的；
基于所述地址信息，确定存储索引信息的第一存储服务器，并向所述第一存储服务器发送索引获取请求，其中，所述索引获取请求中携带有所述索引信息的标识；
接收所述第一存储服务器发送的索引信息，以及所述第一存储服务器发送的索引信息的第二更新次数，所述第二更新次数是所述第一存储服务器进行更新的；
如果所述第二更新次数与所述第一更新次数一致，则基于所述第一存储服务器发送的索引信息对待处理数据进行处理；
向所述管理服务器发送新增存储服务器的增加通知，其中，所述增加通知中携带有所述新增存储服务器的地址信息，所述增加通知用于指示所述管理服务器向所有存储服务器发送存储服务器数目更新通知，接收所述存储服务器发送的扩容请求，其中，所述扩容请求中携带有任一索引信息的标识，向所述存储服务器发送所述新增存储服务器的地址信息，所述新增存储服务器的地址信息用于指示所述第一存储服务器基于所述新增存储服务器的地址信息，在所述任一索引信息中添加所述新增存储服务器的地址信息，得到添加新增存储服务器的地址信息之后的索引信息，并向所述第一存储服务器之外的存储所述任一索引信息的存储服务器以及所述新增存储服务器，发送所述任一索引信息同步请求，其中，所述任一索引信息同步请求中携带有所述添加新增存储服务器的地址信息之后的索引信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果所述第二更新次数与所述第一更新次数不一致，则基于所述索引信息对应的地址信息，逐个向除所述第一存储服务器之外的存储有所述索引信息的其他存储服务器发送索引获取请求，直到接收到第二存储服务器发送的索引信息的第三更新次数与所述第一更新次数相等；
基于所述第二存储服务器发送的索引信息对待处理数据进行处理。
3.一种进行数据处理的方法，其特征在于，应用于管理服务器，所述方法包括：
接收业务服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；
基于待处理数据的数据标识，确定与所述待处理数据对应的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；
将所述索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息发送至所述业务服务器，以指示所述业务服务器在确定所述第一更新次数与第二更新次数一致时，基于所述索引信息对待处理数据进行处理，其中，所述第二更新次数是由第一存储服务器更新的所述索引信息的更新次数；
对所述索引信息的第一更新次数进行更新；
接收所述业务服务器发送的新增存储服务器的增加通知，其中，所述增加通知中携带有所述新增存储服务器的地址信息；
向所有存储服务器发送存储服务器数目更新通知；
接收所述存储服务器发送的扩容请求，其中，所述扩容请求中携带有任一索引信息的标识；
向所述存储服务器发送所述新增存储服务器的地址信息，所述新增存储服务器的地址信息用于指示所述第一存储服务器基于所述新增存储服务器的地址信息，在所述任一索引信息中添加所述新增存储服务器的地址信息，得到添加新增存储服务器的地址信息之后的索引信息，并向所述第一存储服务器之外的存储所述任一索引信息的存储服务器以及所述新增存储服务器，发送所述任一索引信息同步请求，其中，所述任一索引信息同步请求中携带有所述添加新增存储服务器的地址信息之后的索引信息。
4.一种进行数据处理的方法，其特征在于，应用于第一存储服务器，所述方法包括：
接收业务服务器发送的索引获取请求，其中，所述索引获取请求中携带有索引信息的标识；
向所述业务服务器发送本地存储的所述标识对应的索引信息和第二更新次数，以指示所述业务服务器在确定所述第二更新次数与第一更新次数一致时，基于所述索引信息对待处理数据进行处理，其中，所述第一更新次数是由管理服务器更新的所述索引信息的更新次数；
接收所述管理服务器发送的存储服务器数目更新通知；
如果本地存储的任一索引信息中记录的存储所述任一索引信息的存储服务器的数目低于预设数目时，则向所述管理服务器发送扩容请求，其中，所述扩容请求中携带有所述任一索引信息的标识；
接收所述管理服务器发送的新增存储服务器的地址信息；
基于所述新增存储服务器的地址信息，在所述任一索引信息中添加所述新增存储服务器的地址信息，得到添加新增存储服务器的地址信息之后的索引信息，并向所述第一存储服务器之外的存储所述任一索引信息的存储服务器以及所述新增存储服务器，发送所述任一索引信息同步请求，其中，所述任一索引信息同步请求中携带有所述添加新增存储服务器的地址信息之后的索引信息。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收存储待处理数据的数据服务器在所述待处理数据处理结束后发送的索引信息更新通知，其中，所述索引信息更新通知中包括所述索引信息的更新数据；
基于所述索引信息更新通知，对所述本地存储的所述标识对应的索引信息进行更新，得到所述标识对应的更新之后的索引信息，并对本地存储的所述标识对应的第二更新次数进行更新，得到第四更新次数；
向第三存储服务器发送索引信息同步请求，其中，所述第三存储服务器为除所述第一存储服务器之外的存储所述标识对应的索引信息的存储服务器，所述索引信息同步请求中携带有所述标识对应的更新之后的索引信息、所述第四更新次数，以及所述索引信息的标识。
6.根据权利要求5所述的方法，其特征在于，所述向第三存储服务器发送索引信息同步请求，包括：
按照预设的发送周期向第三存储服务器发送索引信息同步请求，直到接收到所述第三存储服务器发送的已同步通知时停止发送索引信息同步请求。
7.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收第四存储服务器发送索引信息同步请求，其中，所述第四存储服务器为除所述第一存储服务器之外的存储所述标识对应的索引信息的存储服务器，所述第四存储服务器发送的索引信息同步请求中携带所述第四存储服务器中所述标识对应的更新之后的索引信息、所述第四存储服务器中所述标识对应的第五更新次数、以及所述标识；
确定本地存储的所述标识对应的索引信息和所述标识对应的第二更新次数；
如果所述第四存储服务器发送的所述标识对应的更新之后的索引信息与本地存储的所述标识对应的索引信息相同，且所述第五更新次数与所述第二更新次数相同，则向所述第四存储服务器发送已更新通知；如果所述第四存储服务器发送的所述标识对应的更新之后的索引信息与本地存储的所述标识对应的索引信息不同，或所述第五更新次数与所述第二更新次数不同，则基于所述第四存储服务器发送的所述标识对应的更新之后的索引信息对本地存储的所述标识对应的索引信息进行更新，并向所述第四存储服务器发送已更新通知。
8.一种进行数据处理的装置，其特征在于，所述装置包括：
发送模块，用于向管理服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；
接收模块，用于接收所述管理服务器发送的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址，所述第一更新次数是所述管理服务器进行更新的；
确定模块，用于基于所述地址信息，确定存储索引信息的第一存储服务器，并向所述第一存储服务器发送索引获取请求，其中，所述索引获取请求中携带有所述索引信息的标识；
所述接收模块，还用于接收所述第一存储服务器发送的索引信息，以及所述第一存储服务器发送的索引信息的第二更新次数，所述第二更新次数是所述第一存储服务器进行更新的；
处理模块，用于如果所述第二更新次数与所述第一更新次数一致，则基于所述第一存储服务器发送的索引信息对待处理数据进行处理；
增加模块，用于向所述管理服务器发送新增存储服务器的增加通知，其中，所述增加通知中携带有所述新增存储服务器的地址信息，所述增加通知用于指示所述管理服务器向所有存储服务器发送存储服务器数目更新通知，接收所述存储服务器发送的扩容请求，其中，所述扩容请求中携带有任一索引信息的标识，向所述存储服务器发送所述新增存储服务器的地址信息，所述新增存储服务器的地址信息用于指示所述第一存储服务器基于所述新增存储服务器的地址信息，在所述任一索引信息中添加所述新增存储服务器的地址信息，得到添加新增存储服务器的地址信息之后的索引信息，并向所述第一存储服务器之外的存储所述任一索引信息的存储服务器以及所述新增存储服务器，发送所述任一索引信息同步请求，其中，所述任一索引信息同步请求中携带有所述添加新增存储服务器的地址信息之后的索引信息。
9.一种进行数据处理的装置，其特征在于，所述装置包括：
接收模块，用于接收业务服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；
确定模块，用于基于待处理数据的数据标识，确定与所述待处理数据对应的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；
发送模块，用于将所述索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息发送至所述业务服务器，以指示所述业务服务器在确定所述第一更新次数与第二更新次数一致时，基于所述索引信息对待处理数据进行处理，其中，所述第二更新次数是由第一存储服务器更新的所述索引信息的更新次数；
更新模块，用于对所述索引信息的第一更新次数进行更新；
增加模块，用于接收所述业务服务器发送的新增存储服务器的增加通知，其中，所述增加通知中携带有所述新增存储服务器的地址信息；向所有存储服务器发送存储服务器数目更新通知；接收所述存储服务器发送的扩容请求，其中，所述扩容请求中携带有任一索引信息的标识；向所述存储服务器发送所述新增存储服务器的地址信息，所述新增存储服务器的地址信息用于指示所述第一存储服务器基于所述新增存储服务器的地址信息，在所述任一索引信息中添加所述新增存储服务器的地址信息，得到添加新增存储服务器的地址信息之后的索引信息，并向所述第一存储服务器之外的存储所述任一索引信息的存储服务器以及所述新增存储服务器，发送所述任一索引信息同步请求，其中，所述任一索引信息同步请求中携带有所述添加新增存储服务器的地址信息之后的索引信息。
10.一种进行数据处理的装置，其特征在于，所述装置包括：
接收模块，用于接收业务服务器发送的索引获取请求，其中，所述索引获取请求中携带有索引信息的标识；
发送模块，用于向所述业务服务器发送本地存储的所述标识对应的索引信息和第二更新次数，以指示所述业务服务器在确定所述第二更新次数与第一更新次数一致时，基于所述索引信息对待处理数据进行处理，其中，所述第一更新次数是由管理服务器更新的所述索引信息的更新次数；
增加模块，用于接收所述管理服务器发送的存储服务器数目更新通知；如果本地存储的任一索引信息中记录的存储所述任一索引信息的存储服务器的数目低于预设数目时，则向所述管理服务器发送扩容请求，其中，所述扩容请求中携带有所述任一索引信息的标识；接收所述管理服务器发送的新增存储服务器的地址信息；基于所述新增存储服务器的地址信息，在所述任一索引信息中添加所述新增存储服务器的地址信息，得到添加新增存储服务器的地址信息之后的索引信息，并向当前存储服务器之外的存储所述任一索引信息的存储服务器以及所述新增存储服务器，发送所述任一索引信息同步请求，其中，所述任一索引信息同步请求中携带有所述添加新增存储服务器的地址信息之后的索引信息。
11.一种同步索引信息的系统，其特征在于，所述系统包括管理服务器、业务服务器、存储服务器，其中：
所述业务服务器，用于向所述管理服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；接收所述管理服务器发送的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；基于所述地址信息，确定存储索引信息的存储服务器，并向所述存储服务器发送索引获取请求，其中，所述索引获取请求中携带有所述索引信息的标识；接收所述存储服务器发送的索引信息，以及所述存储服务器发送的索引信息的第二更新次数，所述第二更新次数是所述存储服务器进行更新的；如果所述第二更新次数与所述第一更新次数一致，则基于所述存储服务器发送的索引信息对待处理数据进行处理，向所述管理服务器发送新增存储服务器的增加通知；
所述管理服务器，用于接收所述业务服务器发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；基于待处理数据的数据标识，确定与所述待处理数据对应的索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息，其中，所述地址信息包括存储所述索引信息的多个存储服务器的服务器地址；将所述索引信息的标识、所述索引信息的第一更新次数、以及所述索引信息对应的地址信息发送至所述业务服务器；对所述索引信息的第一更新次数进行更新；接收所述业务服务器发送的新增存储服务器的增加通知，其中，所述增加通知中携带有所述新增存储服务器的地址信息；向所有存储服务器发送存储服务器数目更新通知；接收所述存储服务器发送的扩容请求，其中，所述扩容请求中携带有任一索引信息的标识；向所述存储服务器发送所述新增存储服务器的地址信息；
所述存储服务器，用于接收所述业务服务器发送的索引获取请求，其中，所述索引获取请求中携带有索引信息的标识；向所述业务服务器发送本地存储的所述标识对应的索引信息和第二更新次数；接收所述管理服务器发送的存储服务器数目更新通知；如果本地存储的任一索引信息中记录的存储所述任一索引信息的存储服务器的数目低于预设数目时，则向所述管理服务器发送扩容请求，其中，所述扩容请求中携带有所述任一索引信息的标识；接收所述管理服务器发送的新增存储服务器的地址信息；基于所述新增存储服务器的地址信息，在所述任一索引信息中添加所述新增存储服务器的地址信息，得到添加新增存储服务器的地址信息之后的索引信息，并向当前存储服务器之外的存储所述任一索引信息的存储服务器以及所述新增存储服务器，发送所述任一索引信息同步请求，其中，所述任一索引信息同步请求中携带有所述添加新增存储服务器的地址信息之后的索引信息。
12.一种业务服务器，其特征在于，所述业务服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至权利要求2任一项所述的进行数据处理的方法所执行的操作。
13.一种管理服务器，其特征在于，所述管理服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求3所述的进行数据处理的方法所执行的操作。
14.一种存储服务器，其特征在于，所述存储服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求4至权利要求7任一项所述的进行数据处理的方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010873890.2A CN112000850B (zh) | 2020-08-26 | 2020-08-26 | 进行数据处理的方法、装置、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010873890.2A CN112000850B (zh) | 2020-08-26 | 2020-08-26 | 进行数据处理的方法、装置、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112000850A CN112000850A (zh) | 2020-11-27 |
| CN112000850B true CN112000850B (zh) | 2024-02-20 |
Family
ID=73471103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010873890.2A Active CN112000850B (zh) | 2020-08-26 | 2020-08-26 | 进行数据处理的方法、装置、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112000850B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113259410B (zh) * | 2021-04-07 | 2023-06-20 | 中国科学院计算技术研究所 | 一种基于分布式存储的数据传输校验方法及系统 |
| CN114553895B (zh) * | 2022-04-24 | 2022-07-22 | 浙江中控技术股份有限公司 | 一种数据同步方法、系统、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294675A (zh) * | 2012-02-23 | 2013-09-11 | 上海盛霄云计算技术有限公司 | 一种分布式存储系统中的数据更新方法及装置 |
| CN103544261A (zh) * | 2013-10-16 | 2014-01-29 | 国家计算机网络与信息安全管理中心 | 一种海量结构化日志数据全局索引管理方法及装置 |
| CN107092437A (zh) * | 2016-02-17 | 2017-08-25 | 杭州海康威视数字技术股份有限公司 | 数据写入、读取方法及装置、云存储系统 |
| CN111026416A (zh) * | 2019-09-17 | 2020-04-17 | 拉扎斯网络科技（上海）有限公司 | 数据更新方法、系统、装置、电子设备及计算机存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5381535B2 (ja) * | 2009-09-14 | 2014-01-08 | 富士通株式会社 | データベースシステムの制御方法、インデックスサーバ及びプログラム |
-
2020
- 2020-08-26 CN CN202010873890.2A patent/CN112000850B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294675A (zh) * | 2012-02-23 | 2013-09-11 | 上海盛霄云计算技术有限公司 | 一种分布式存储系统中的数据更新方法及装置 |
| CN103544261A (zh) * | 2013-10-16 | 2014-01-29 | 国家计算机网络与信息安全管理中心 | 一种海量结构化日志数据全局索引管理方法及装置 |
| CN107092437A (zh) * | 2016-02-17 | 2017-08-25 | 杭州海康威视数字技术股份有限公司 | 数据写入、读取方法及装置、云存储系统 |
| CN111026416A (zh) * | 2019-09-17 | 2020-04-17 | 拉扎斯网络科技（上海）有限公司 | 数据更新方法、系统、装置、电子设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112000850A (zh) | 2020-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104283956B (zh) | 强一致性分布式数据存储方法、装置及系统 | |
| CN106874281B (zh) | 实现数据库读写分离的方法和装置 | |
| CN111399764B (zh) | 数据存储方法、读取方法、装置、设备及存储介质 | |
| EP2378437A1 (en) | Data synchronization methods in communication systems | |
| CN113094430B (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
| CN112000850B (zh) | 进行数据处理的方法、装置、系统及设备 | |
| CN105095489A (zh) | 一种分布式文件删除方法、装置和系统 | |
| CN110532123A (zh) | HBase系统的故障转移方法及装置 | |
| US11455117B2 (en) | Data reading method, apparatus, and system, avoiding version rollback issues in distributed system | |
| CN111399753B (zh) | 写入图片的方法和装置 | |
| CN115004662A (zh) | 数据同步方法、装置、数据存储系统及计算机可读介质 | |
| CN111897880B (zh) | 数据库同步方法、装置、终端设备以及存储介质 | |
| CN113742376A (zh) | 一种同步数据的方法、第一服务器以及同步数据的系统 | |
| CN112948494A (zh) | 数据同步方法、装置、电子设备和计算机可读介质 | |
| CN111147226B (zh) | 数据存储方法、装置及存储介质 | |
| CN115104295A (zh) | 数据处理方法、装置、电子装置及存储介质 | |
| CN111400248A (zh) | 写数据、恢复数据的方法及文件系统 | |
| CN111400327B (zh) | 一种数据同步方法、装置、电子设备及存储介质 | |
| CN114490540A (zh) | 数据存储方法、介质、装置和计算设备 | |
| CN109947727B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN113872994A (zh) | 组织架构同步方法、装置、计算机设备和存储介质 | |
| CN106407320B (zh) | 文件处理方法、装置及系统 | |
| CN117251456B (zh) | 一种主键值生成方法、装置、电子设备和存储介质 | |
| CN118427276A (zh) | 数据同步方法、装置、计算机设备及计算机可读存储介质 | |
| CN110046167B (zh) | 数据更新方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |