CN109309698A - 数据处理系统、方法和装置 - Google Patents

数据处理系统、方法和装置 Download PDF

Info

Publication number
CN109309698A
CN109309698A CN201710628061.6A CN201710628061A CN109309698A CN 109309698 A CN109309698 A CN 109309698A CN 201710628061 A CN201710628061 A CN 201710628061A CN 109309698 A CN109309698 A CN 109309698A
Authority
CN
China
Prior art keywords
location information
server cluster
group
target
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710628061.6A
Other languages
English (en)
Other versions
CN109309698B (zh
Inventor
乔超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710628061.6A priority Critical patent/CN109309698B/zh
Priority to PCT/CN2018/094878 priority patent/WO2019019897A1/zh
Priority to US16/629,497 priority patent/US11588890B2/en
Publication of CN109309698A publication Critical patent/CN109309698A/zh
Application granted granted Critical
Publication of CN109309698B publication Critical patent/CN109309698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078Resource delivery mechanisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请实施例公开了数据处理系统、方法和装置,该系统的一具体实施方式包括:该系统包括第一客户端、数据同步端和第二客户端;第一客户端用于将数据发送指令所指示的数据发送至第一服务器集群组中的第一服务器集群;数据同步端用于将第一服务器集群中的数据同步至第二服务器集群组中的第二服务器集群;第二客户端用于:从目标第二服务器集群获取数据;在当前从目标第二服务器集群正在获取的具有位置信息的数据传输中断时基于位置信息在第二位置信息组集合中确定目标第二位置信息组;在目标第二位置信息组中确定目标第二位置信息;从目标第二位置信息所指示的存储位置开始继续获取数据。该实施方式提高了数据处理系统的稳定性和数据处理效率。

Description

数据处理系统、方法和装置
技术领域
本申请涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及数据处理系统、方法和装置。
背景技术
现有的数据处理系统(例如Kafka分布式发布订阅消息系统等)通常采用单服务器集群提供数据存储服务,例如生产者将所生产的数据通过生产者客户端发送至该服务器集群,消费者通过消费者客户端从该服务器集群获取数据。因此,现有的数据处理系统存在稳定性差和数据处理效率低的问题。
发明内容
本申请实施例的目的在于提出一种改进的数据处理系统、方法和装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请实施例提供了一种数据处理系统,该系统包括:第一客户端、数据同步端和第二客户端;上述第一客户端,用于接收数据发送指令,将上述数据发送指令所指示的数据发送至第一服务器集群组中的第一服务器集群;上述数据同步端,用于将上述第一服务器集群组中的第一服务器集群中的数据同步至第二服务器集群组中的第二服务器集群;上述第二客户端,用于从目标第二服务器集群获取数据,其中,上述目标第二服务器集群归属于上述第二服务器集群组;响应于当前从上述目标第二服务器集群正在获取的具有位置信息的数据传输中断,则基于上述位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组,其中,上述第二位置信息组集合中的每个第二位置信息组所包括的各条第二位置信息分别对应上述第二服务器集群组中的不同的第二服务器集群,上述目标第二位置信息组中存在与上述位置信息匹配的第二位置信息;从上述目标第二位置信息组中选取第二位置信息作为目标第二位置信息;在上述目标第二位置信息所对应的第二服务器集群中,从上述目标第二位置信息所指示的存储位置开始继续获取数据。
在一些实施例中,上述第二位置信息组集合中的每个第二位置信息对应第一位置信息,上述第一位置信息是存储在该第二位置信息组中的各条第二位置信息分别指示的存储位置的数据在所在的第一服务器集群中的存储位置的信息。
在一些实施例中,上述第二客户端还用于:在预先存储的对应关系列表中确定目标对应关系,其中,上述对应关系列表中的每条对应关系包括第二位置信息和第一位置信息,该第二位置信息所指示的存储位置是上述目标第二服务器集群中的存储位置,上述目标对应关系是所包括的第二位置信息与上述位置信息匹配的对应关系;在上述第二位置信息组集合中查找所对应的第一位置信息与上述目标对应关系所包括的第一位置信息相同的第二位置信息组,将查找到的第二位置信息组作为目标第二位置信息组。
在一些实施例中,上述位置信息包括索引号,上述对应关系列表中的每条对应关系所包括的第二位置信息包括第一索引号;以及上述第二客户端还用于:在上述对应关系列表中查找所包括的第二位置信息与上述位置信息相同的对应关系;若未查找到,则在上述对应关系列表中查找所包括的第二位置信息包括目标第一索引号的对应关系,并将查找到的所包括的第二位置信息包括上述目标第一索引号的对应关系作为目标对应关系,其中,上述目标第一索引号满足以下任意一个条件:与上述索引号大小最接近且小于上述索引号、与上述索引号大小最接近且大于上述索引号。
在一些实施例中,上述第二客户端还用于:执行以下处理步骤:将上述索引号加减预置值以得到索引号范围,在上述对应关系列表中的、所包括的第二位置信息中的第一索引号处于上述索引号范围内的对应关系中查找所包括的第二位置信息包括上述目标第一索引号的对应关系,若查找到,则将查找到的所包括的第二位置信息包括上述目标第一索引号的对应关系作为目标对应关系;若未查找到所包括的第二位置信息包括上述目标第一索引号的对应关系,则对当前的上述预置值进行递增操作,并继续执行上述处理步骤。
在一些实施例中,上述系统还包括监控端,该监控端用于:监控上述第一服务器集群组中的各个第一服务器集群的负载情况,并将监控到的上述第一服务器集群组中的各个第一服务器集群的负载情况反馈到上述第一客户端;和/或监控上述第二服务器集群组中的各个第二服务器集群的负载情况,并将监控到的上述第二服务器集群组中的各个第二服务器集群的负载情况反馈到上述第二客户端。
在一些实施例中,上述第二客户端还用于:基于上述目标第二位置信息组得到候选第二服务器集群组;基于最新接收到的上述候选第二服务器集群组中的各个候选第二服务器集群的负载情况,在上述候选第二服务器集群组中选取候选第二服务器集群,将上述目标第二位置信息组中的、与所选取的候选第二服务器集群对应的第二位置信息作为目标第二位置信息。
在一些实施例中,上述第二服务器集群组中的部分第二服务器集群部署在同一机房中,上述第二客户端具有对应的机房信息;以及上述第二客户端还用于:确定上述候选第二服务器集群组中的、部署在上述机房信息所指示的机房中的候选第二服务器集群中是否存在未超负载的候选第二服务器集群,若存在,则选取上述未超负载的候选第二服务器集群中的负载最小的候选第二服务器集群。
在一些实施例中,上述第二客户端还用于:若不存在上述未超负载的候选第二服务器集群,则从上述候选第二服务器集群组中的、未部署在上述机房信息所指示的机房中的候选第二服务器集群中选取未超负载且负载最小的候选第二服务器集群。
在一些实施例中,上述监控端还用于:在监控到上述第一服务器集群组中的第一服务器集群超负载时,向该第一服务器集群当前所连接的第一客户端组中的至少一个第一客户端发送第一集群切换指令;和/或在监控到上述第二服务器集群组中的第二服务器集群超负载时,向该第二服务器集群当前所连接的第二客户端组中的至少一个第二客户端发送第二集群切换指令。
在一些实施例中,上述第一客户端还用于:响应于接收到上述监控端发送的第一集群切换指令,则从当前所连接的第一服务器集群切换到所接收到的第一集群切换指令所指示的第一服务器集群。
在一些实施例中,上述第二客户端还用于:响应于接收到上述监控端发送的第二集群切换指令,则从当前所连接的第二服务器集群切换到所接收到的第二集群切换指令所指示的第二服务器集群。
在一些实施例中,上述监控端还用于:在监控到上述第一服务器集群组中的第一服务器集群的带宽利用率超出阈值时,向该第一服务器集群当前所连接的第一客户端组中的至少一个第一客户端发送包括第一传输速度的第一限速指令;和/或在监控到上述第二服务器集群组中的第二服务器集群的带宽利用率超出上述阈值时,向该第二服务器集群当前所连接的第二客户端组中的至少一个第二客户端发送包括第二传输速度的第二限速指令。
在一些实施例中,上述第一客户端还用于:响应于接收到上述监控端发送的第一限速指令,则采用所接收到的第一限速指令所包括的第一传输速度发送数据。
在一些实施例中,上述第二客户端还用于:响应于接收到上述监控端发送的第二限速指令,则采用所接收到的第二限速指令所包括的第二传输速度获取数据。
第二方面,本申请实施例提供了一种数据处理方法,该方法包括:响应于当前从目标第二服务器集群正在获取的具有位置信息的数据传输中断,则基于上述位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组,其中,上述目标第二服务器集群归属于第二服务器集群组,上述第二位置信息组集合中的每个第二位置信息组所包括的各条第二位置信息分别对应上述第二服务器集群组中的不同的第二服务器集群,上述目标第二位置信息中存在与上述位置信息匹配的第二位置信息;从上述目标第二位置信息组中选取第二位置信息作为目标第二位置信息;在上述目标第二位置信息所对应的第二服务器集群中,从上述目标第二位置信息所指示的存储位置开始继续获取数据。
在一些实施例中,上述第二位置信息组集合中的每个第二位置信息对应第一位置信息,上述第一位置信息是存储在该第二位置信息组中的各条第二位置信息分别指示的存储位置的数据在所在的第一服务器集群中的存储位置的信息。
在一些实施例中,上述基于上述位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组,包括:在预先存储的对应关系列表中确定目标对应关系,其中,上述对应关系列表中的每条对应关系包括第二位置信息和第一位置信息,该第二位置信息所指示的存储位置是上述目标第二服务器集群中的存储位置,上述目标对应关系是所包括的第二位置信息与上述位置信息匹配的对应关系;在上述第二位置信息组集合中查找所对应的第一位置信息与上述目标对应关系所包括的第一位置信息相同的第二位置信息组,将查找到的第二位置信息组作为目标第二位置信息组。
在一些实施例中,上述位置信息包括索引号,上述对应关系列表中的每条对应关系所包括的第二位置信息包括第一索引号;以及上述在预先存储的对应关系列表中确定目标对应关系,包括:在上述对应关系列表中查找所包括的第二位置信息与上述位置信息相同的对应关系;若未查找到,则在上述对应关系列表中查找所包括的第二位置信息包括目标第一索引号的对应关系,并将查找到的所包括的第二位置信息包括上述目标第一索引号的对应关系作为目标对应关系,其中,上述目标第一索引号满足以下任意一个条件:与上述索引号大小最接近且小于上述索引号、与上述索引号大小最接近且大于上述索引号。
在一些实施例中,上述在上述对应关系列表中查找所包括的第二位置信息包括目标第一索引号的对应关系,包括:执行以下处理步骤:将上述索引号加减预置值以得到索引号范围,在上述对应关系列表中的、所包括的第二位置信息中的第一索引号处于上述索引号范围内的对应关系中查找所包括的第二位置信息包括上述目标第一索引号的对应关系,若查找到,则将查找到的所包括的第二位置信息包括上述目标第一索引号的对应关系作为目标对应关系;若未查找到所包括的第二位置信息包括上述目标第一索引号的对应关系,则对当前的上述预置值进行递增操作,并继续执行上述处理步骤。
在一些实施例中,上述从上述目标第二位置信息组中选取第二位置信息作为目标第二位置信息,包括:基于上述目标第二位置信息组得到候选第二服务器集群组;基于最新接收到的上述候选第二服务器集群组中的各个候选第二服务器集群的负载情况,在上述候选第二服务器集群组中选取候选第二服务器集群,将上述目标第二位置信息组中的、与所选取的候选第二服务器集群对应的第二位置信息作为目标第二位置信息,其中,该负载情况是从所连接的监控端接收的。
在一些实施例中,上述第二服务器集群组中的部分第二服务器集群部署在同一机房中,上述第二客户端具有对应的机房信息;以及上述基于最新接收到的上述候选第二服务器集群组中的各个候选第二服务器集群的负载情况,在上述候选第二服务器集群组中选取候选第二服务器集群,包括:确定上述候选第二服务器集群组中的、部署在上述机房信息所指示的机房中的候选第二服务器集群中是否存在未超负载的候选第二服务器集群,若存在,则选取上述未超负载的候选第二服务器集群中的负载最小的候选第二服务器集群。
在一些实施例中,上述基于最新接收到的上述候选第二服务器集群组中的各个候选第二服务器集群的负载情况,在上述候选第二服务器集群组中选取候选第二服务器集群,包括:若不存在上述未超负载的候选第二服务器集群,则从上述候选第二服务器集群组中的、未部署在上述机房信息所指示的机房中的候选第二服务器集群中选取未超负载且负载最小的候选第二服务器集群。
在一些实施例中,上述方法还包括:响应于接收到上述监控端发送的第二集群切换指令,则从当前所连接的第二服务器集群切换到所接收到的第二集群切换指令所指示的第二服务器集群。
在一些实施例中,上述方法还包括:响应于接收到上述监控端发送的包括第二传输速度的第二限速指令,则采用该第二传输速度获取数据。
第三方面,本申请实施例提供了一种数据处理装置,该装置包括:确定单元,配置用于响应于当前从目标第二服务器集群正在获取的具有位置信息的数据传输中断,则基于上述位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组,其中,上述目标第二服务器集群归属于第二服务器集群组,上述第二位置信息组集合中的每个第二位置信息组所包括的各条第二位置信息分别对应上述第二服务器集群组中的不同的第二服务器集群,上述目标第二位置信息中存在与上述位置信息匹配的第二位置信息;选取单元,配置用于从上述目标第二位置信息组中选取第二位置信息作为目标第二位置信息;获取单元,配置用于在上述目标第二位置信息所对应的第二服务器集群中,从上述目标第二位置信息所指示的存储位置开始继续获取数据。
在一些实施例中,上述第二位置信息组集合中的每个第二位置信息对应第一位置信息,上述第一位置信息是存储在该第二位置信息组中的各条第二位置信息分别指示的存储位置的数据在所在的第一服务器集群中的存储位置的信息。
在一些实施例中,上述确定单元包括:确定子单元,配置用于在预先存储的对应关系列表中确定目标对应关系,其中,上述对应关系列表中的每条对应关系包括第二位置信息和第一位置信息,该第二位置信息所指示的存储位置是上述目标第二服务器集群中的存储位置,上述目标对应关系是所包括的第二位置信息与上述位置信息匹配的对应关系;查找子单元,配置用于在上述第二位置信息组集合中查找所对应的第一位置信息与上述目标对应关系所包括的第一位置信息相同的第二位置信息组,将查找到的第二位置信息组作为目标第二位置信息组。
在一些实施例中,上述位置信息包括索引号,上述对应关系列表中的每条对应关系所包括的第二位置信息包括第一索引号;以及上述确定子单元包括:第一查找模块,配置用于在上述对应关系列表中查找所包括的第二位置信息与上述位置信息相同的对应关系;第二查找模块,配置用于若未查找到,则在上述对应关系列表中查找所包括的第二位置信息包括目标第一索引号的对应关系,并将查找到的所包括的第二位置信息包括上述目标第一索引号的对应关系作为目标对应关系,其中,上述目标第一索引号满足以下任意一个条件:与上述索引号大小最接近且小于上述索引号、与上述索引号大小最接近且大于上述索引号。
在一些实施例中,上述第二查找模块进一步配置用于:执行以下处理步骤:将上述索引号加减预置值以得到索引号范围,在上述对应关系列表中的、所包括的第二位置信息中的第一索引号处于上述索引号范围内的对应关系中查找所包括的第二位置信息包括上述目标第一索引号的对应关系,若查找到,则将查找到的所包括的第二位置信息包括上述目标第一索引号的对应关系作为目标对应关系;若未查找到所包括的第二位置信息包括上述目标第一索引号的对应关系,则对当前的上述预置值进行递增操作,并继续执行上述处理步骤。
在一些实施例中,上述选取单元包括:候选第二服务器集群组确定子单元,配置用于基于上述目标第二位置信息组得到候选第二服务器集群组;处理子单元,配置用于基于最新接收到的上述候选第二服务器集群组中的各个候选第二服务器集群的负载情况,在上述候选第二服务器集群组中选取候选第二服务器集群,将上述目标第二位置信息组中的、与所选取的候选第二服务器集群对应的第二位置信息作为目标第二位置信息,其中,该负载情况是从所连接的监控端接收的。
在一些实施例中,上述第二服务器集群组中的部分第二服务器集群部署在同一机房中,上述第二客户端具有对应的机房信息;以及上述处理子单元包括:第一选取模块,配置用于确定上述候选第二服务器集群组中的、部署在上述机房信息所指示的机房中的候选第二服务器集群中是否存在未超负载的候选第二服务器集群,若存在,则选取上述未超负载的候选第二服务器集群中的负载最小的候选第二服务器集群。
在一些实施例中,上述处理子单元包括:第二选取模块,配置用于若不存在上述未超负载的候选第二服务器集群,则从上述候选第二服务器集群组中的、未部署在上述机房信息所指示的机房中的候选第二服务器集群中选取未超负载且负载最小的候选第二服务器集群。
在一些实施例中,上述装置还包括:切换单元,配置用于响应于接收到上述监控端发送的第二集群切换指令,则从当前所连接的第二服务器集群切换到所接收到的第二集群切换指令所指示的第二服务器集群。
在一些实施例中,上述装置还包括:第一获取单元,配置用于响应于接收到上述监控端发送的包括第二传输速度的第二限速指令,则采用该第二传输速度获取数据。
第四方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当上述一个或多个程序被上述一个或多个处理器执行,使得上述一个或多个处理器实现如第二方面中任一实现方式描述的方法。
第五方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,上述程序被处理器执行时实现如第二方面中任一实现方式描述的方法。
本申请实施例提供的数据处理系统,通过第一客户端将数据发送指令所指示的数据发送至第一服务器集群组中的第一服务器集群;通过数据同步端将该第一服务器集群组中的第一服务器集群中的数据同步至第二服务器集群组中的第二服务器集群;通过第二客户端从该第二服务器集群组中的目标第二服务器集群获取数据,并在当前从该目标第二服务器集群正在获取的具有位置信息的数据传输中断时,基于该位置信息在预先存储的第二位置信息组集合中确定目标第二位置信息组,以便于在该目标第二位置信息组中选取第二位置信息作为目标第二位置信息,在该目标第二位置信息所对应的第二服务器集群中,从该目标第二位置信息所指示的存储位置开始继续获取数据。从而有效利用第一服务器集群组和第二服务器集群组,以及利用第二客户端对目标第二位置信息的确定,提高了数据处理系统的稳定性和数据处理效率。
本申请实施例提供的数据处理方法,通过在当前从目标第二服务器集群正在获取的具有位置信息的数据传输中断时,基于该位置信息在第二位置信息组集合中确定目标第二位置信息组,以便在该目标第二位置信息中选取第二位置信息作为目标第二位置信息,在该目标第二位置信息所对应的第二服务器集群中,从该目标第二位置信息所指示的存储位置开始继续获取数据。从而有效利用对目标第二位置信息的确定,避免了在目标第二位置信息所对应的第二服务器集群中从头开始获取数据,提高了数据获取效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的数据处理系统的一个实施例的流程图;
图3是根据本申请的数据处理系统的一个应用场景的示意图;
图4是根据本申请的数据处理系统的又一个实施例的流程图;
图5是根据本申请的数据处理方法的一个实施例的流程图;
图6是根据本申请的数据处理装置的一个实施例的结构示意图;
图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的数据处理系统、方法及装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括第一客户端101,网络102、104、106、108,第一服务器集群组103,数据同步端105,第二服务器集群组107和第二客户端109。第一服务器集群组103可以包括第一服务器集群1031、1032、1033,第二服务器集群组107可以包括第二服务器集群1071、1072、1073。网络102用以在第一客户端101和第一服务器集群组103之间提供通信链路的介质。网络104用以在第一服务器集群组103和数据同步端105之间提供通信链路的介质。网络106用以在数据同步端105和第二服务器集群组107之间提供通信链路的介质。网络108用以在第二服务器集群组107和第二客户端109之间提供通信链路的介质。网络102、104、106、108可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
第一客户端101可以通过网络102与第一服务器集群组103中的第一服务器集群1031、1032、1033交互,以发送或接收信息等。例如,用户可以通过第一客户端101将数据发送至第一服务器集群组103中的第一服务器集群1031、1032、1033等。
第一服务器集群组103中的第一服务器集群1031、1032、1033可以例如是部署有Kafka分布式发布订阅消息系统的服务器集群,该服务器集群可以例如用于储存第一客户端101发送的数据。
数据同步端105可以是提供各种服务的服务器,例如将第一服务器集群1031、1032、1033中的数据同步至第二服务器集群组107中的第二服务器集群1071、1072、1073。
第二服务器集群组107中的第二服务器集群1071、1072、1073可以例如是部署有Kafka分布式发布订阅消息系统的服务器集群,该服务器集群可以例如用于存储数据同步端105从第一服务器集群1031、1032、1033提取的数据。
第二客户端109可以通过网络108与第二服务器集群组107中的第二服务器集群1071、1072、1073交互,以发送或接收信息等。例如,第二客户端109可以从第二服务器集群1071、1072、1073获取数据,并在当前正在获取的数据传输中断时,进行相应的处理。
第一客户端101和第二客户端109上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、游戏类应用、社交平台软件等等。第一客户端101和第二客户端109可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
需要说明的是,本申请实施例所提供的数据处理方法一般由第二客户端109执行,相应地,数据处理装置一般设置于第二客户端109中。
应该理解,图1中的第一客户端、网络、第一服务器集群组、数据同步端、第二服务器集群组和第二客户端的数目仅仅是示意性的。根据实现需要,可以具有任意数目的第一客户端、网络、第一服务器集群组、数据同步端、第二服务器集群组和第二客户端。而且,第一服务器集群组和第二服务器集群组分别包括的第一服务器集群和第二服务器集群的数目可以根据实际需要进行设定。
继续参考图2,示出了根据本申请的数据处理系统的一个实施例的时序图。
本实施例的数据处理系统可以包括:第一客户端、数据同步端和第二客户端;该第一客户端,用于接收数据发送指令,将该数据发送指令所指示的数据发送至第一服务器集群组中的第一服务器集群;该数据同步端,用于将该第一服务器集群组中的第一服务器集群中的数据同步至第二服务器集群组中的第二服务器集群;该第二客户端,用于从目标第二服务器集群获取数据,其中,该目标第二服务器集群归属于该第二服务器集群组;响应于当前从该目标第二服务器集群正在获取的具有位置信息的数据传输中断,则基于该位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组,其中,该第二位置信息组集合中的每个第二位置信息组所包括的各条第二位置信息分别对应该第二服务器集群组中的不同的第二服务器集群,该目标第二位置信息组中存在与该位置信息匹配的第二位置信息;从该目标第二位置信息组中选取第二位置信息作为目标第二位置信息;在该目标第二位置信息所对应的第二服务器集群中,从该目标第二位置信息所指示的存储位置开始继续获取数据。
如图2所示,在步骤201中,第一客户端接收数据发送指令,将该数据发送指令所指示的数据发送至第一服务器集群组中的第一服务器集群。
在本实施例中,第一客户端(例如图1所示的第一客户端101)可以本地接收用户触发的数据发送指令,并将该数据发送指令所指示的数据发送至第一服务器集群组(例如图1所示的第一服务器集群组103)中的第一服务器集群(例如图1所示的第一服务器集群1031、1032、1033)。这里,上述第一客户端当前所连接的第一服务器集群可以是预先为上述第一客户端指定的第一服务器集群,也可以是上述第一客户端在上述第一服务器集群组中选取的第一服务器集群,例如采用负载均衡算法选取第一服务器集群,本实施例不对此方面内容做任何限定。需要说明的是,负载均衡算法可以包括轮询法、随机法、最小连接数法等等。由于负载均衡算法是目前广泛研究和应用的公知技术,在此不再赘述。
在本实施例的一些可选的实现方式中,上述第一客户端发送至上述第一服务器集群组中的第一服务器集群中的每条数据可以具有对应的话题,该话题可以例如是与美食、体育或娱乐新闻等等相关的话题,例如“红烧鱼的简单做法”、“足坛健将”、“2017年最受观众喜爱的女演员”等话题。
在步骤202中,数据同步端将第一服务器集群组中的第一服务器集群中的数据同步至第二服务器集群组中的第二服务器集群。
在本实施例中,数据同步端(例如图1所示的数据同步端105)可以实时或周期性地(例如每隔半小时或一小时等等)将第一服务器集群组中的第一服务器集群中的数据同步至第二服务器集群组(例如图1所示的第二服务器集群组107)中的第二服务器集群(例如图1所示的第二服务器集群1071、1072、1073)中。作为示例,上述数据同步端可以将上述第一服务器集群组中的第一服务器集群中的数据同步至上述第二服务器集群组中的各个第二服务器集群。
在本实施例的一些可选的实现方式中,上述第二服务器集群组中的各个第二服务器集群可以具有对应的话题,上述数据同步端可以将第一服务器集群组中的第一服务器集群所包括的具有话题的数据同步至所对应的话题与该数据所对应的话题相同的第二服务器集群。
在步骤203中,第二客户端从目标第二服务器集群获取数据。
在本实施例中,第二客户端(例如图1所示的第二客户端109)可以通过有线连接方式或者无线连接方式从目标第二服务器集群获取数据。其中,该目标第二服务器集群归属于上述第二服务器集群组。另外,该目标第二服务器集群可以是预先为上述第二客户端指定的第二服务器集群,也可以是上述第二客户端在上述第二服务器集群组中选取的第二服务器集群,例如采用负载均衡算法选取的第二服务器集群,本实施例不对此方面内容做任何限定。
在步骤204中,响应于当前从目标第二服务器集群正在获取的具有位置信息的数据传输中断,则第二客户端基于位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组。
在本实施例中,响应于当前从上述目标第二服务器集群正在获取的具有位置信息的数据传输中断,则上述第二客户端可以基于该位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组。其中,该位置信息可以是该数据在上述目标第二服务器中的存储位置的信息。上述第二位置信息组集合中的每个第二位置信息组所包括的各条第二位置信息可以分别对应上述第二服务器集群组中的不同的第二服务器集群。上述目标第二位置信息中存在与上述位置信息匹配(例如相同等)的第二位置信息。作为示例,上述第二客户端可以在上述第二位置信息组集合中查找包括与上述位置信息相同的第二位置信息的第二位置信息组,并将查找到的第二位置信息组作为目标第二位置信息组。需要说明的是,当正在获取的具有上述位置信息的数据的传输速度为零时,或上述第二客户端接收到针对该数据的传输异常信息时等等,上述第二客户端均可以确定该数据传输中断,本实施例不对此方面内容做任何限定。
在本实施例的一些可选的实现方式中,上述第二位置信息组集合中的每个第二位置信息组可以对应第一位置信息,该第一位置信息可以是存储在该第二位置信息组中的各条第二位置信息分别指示的存储位置的数据在所在的第一服务器集群中的存储位置的信息。需要说明的是,该第二位置信息组和其所对应的第一位置信息之间的对应关系可以是上述数据同步端记录的。上述数据同步端还可以用于定期地记录所同步的数据在所在的第一服务器集群和在所在的第二服务器集群中的存储位置的对应关系。
在本实施例的一些可选的实现方式中,上述第二客户端可以在预先存储的对应关系列表中确定目标对应关系。其中,该对应关系列表中的每条对应关系可以包括第二位置信息和第一位置信息,该第二位置信息所指示的存储位置可以是上述目标第二服务器集群中的存储位置,该目标对应关系可以是所包括的第二位置信息与上述位置信息匹配(例如相同等)的对应关系。上述第二客户端可以在上述第二位置信息组集合中查找所对应的第一位置信息与上述目标对应关系所包括的第一位置信息相同的第二位置信息组,将查找到的该第二位置信息组作为目标第二位置信息组。作为示例,上述第二客户端可以在上述对应关系列表中查找所包括的第二位置信息与上述位置信息相同的对应关系,若查找到,则上述第二客户端可以将查找到的对应关系作为目标对应关系。需要说明的是,上述对应关系列表中对应关系可以是上述数据同步端记录的。
在本实施例的一些可选的实现方式中,上述第二服务器集群组中的每个第二服务器集群中可以设置有用于存放数据的分区。上述位置信息可以包括索引号,该索引号可以是正在获取的具有上述位置信息的数据在上述目标第二服务器集群中的分区中的偏移量。上述对应关系列表中的每条对应关系所包括的第二位置信息可以包括第一索引号。这里,若上述第二客户端未在上述对应关系列表中查找到所包括的第二位置信息与上述位置信息相同的对应关系,则上述第二客户端可以在上述对应关系列表中查找所包括的第二位置信息包括目标第一索引号的对应关系,并将查找到的所包括的第二位置信息包括该目标第一索引号的对应关系作为目标对应关系。其中,该目标第一索引号可以满足以下任意一个条件:与上述索引号大小最接近且小于上述索引号、与上述索引号大小最接近且大于上述索引号。
作为示例,上述第二客户端可以执行以下处理步骤:将上述索引号加减预置值以得到索引号范围,在上述对应关系列表中的、所包括的第二位置信息中的第一索引号处于上述索引号范围内的对应关系中查找所包括的第二位置信息包括上述目标第一索引号的对应关系,若查找到,则将查找到的所包括的第二位置信息包括上述目标第一索引号的对应关系作为目标对应关系;若未查找到所包括的第二位置信息包括上述目标第一索引号的对应关系,则对当前的上述预置值进行递增操作(例如递增1000等),并继续执行该处理步骤。需要说明的是,上述预置值的初始值可以例如是1000,上述预置值的初始值以及每次对当前的上述预置值进行递增操作时所增加的数值可以根据实际需要进行设定,本实施例不对此方面内容做任何限定。
在步骤205中,第二客户端从目标第二位置信息组中选取第二位置信息作为目标第二位置信息。
在本实施例中,上述第二客户端在确定上述目标第二位置信息组后,上述第二客户端可以从上述目标第二位置信息组中选取第二位置信息作为目标第二位置信息。作为示例,上述第二客户端可以从上述目标第二位置信息组中随机选取第二位置信息作为目标第二位置信息。需要说明的是,上述第二客户端所确定的上述目标第二位置信息通常不是与上述目标第二服务器集群对应的第二位置信息。
在步骤206中,在目标第二位置信息所对应的第二服务器集群中,从目标第二位置信息所指示的存储位置开始继续获取数据。
在本实施例中,上述第二客户端在确定目标第二位置信息后,上述第二客户端可以在上述目标第二位置信息所对应的第二服务器集群中,从上述目标第二位置信息所指示的存储位置开始继续获取数据。
继续参见图3,图3是根据本实施例的数据处理系统的应用场景的一个时序图。在图3的应用场景中,第一客户端具有预先指定的第一服务器集群A1,第一服务器集群A1归属于第一服务器集群组A;第二客户端具有预先指定的第二服务器集群B1,第二服务器集群B1归属于第二服务器集群组B。如标号301所示,上述第一客户端可以本地接收用户触发的数据发送指令,将该数据发送指令所指示的数据发送至第一服务器集群组A中的第一服务器集群A1。如标号302所示,数据同步端可以将第一服务器集群A1中的数据同步至第二服务器集群组B中的各个第二服务器集群。如标号303所示,上述第二客户端可以从第二服务器集群组B中的第二服务器集群B1中获取数据。如标号304所示,响应于当前从第二服务器集群B1正在获取的具有位置信息M的数据传输中断,则上述第二客户端可以基于位置信息M,在预先存储的第二位置信息组集合中确定目标第二位置信息组(例如包括与位置信息M相同的第二位置信息的第二位置信息组)。如标号305所示,上述第二客户端可以在上述目标第二位置信息组中随机选取第二位置信息作为目标第二位置信息,其中,该目标第二位置信息所对应的第二服务器集群B2与第二服务器集群B1不是同一个第二服务器集群。如标号306所示,上述第二客户端可以在第二服务器集群B2中,从上述目标第二位置信息所指示的存储位置开始继续获取数据。
本申请的上述实施例提供的系统有效利用第一服务器集群组和第二服务器集群组,以及利用第二客户端对目标第二位置信息的确定,提高了数据处理系统的稳定性和数据处理效率。
进一步参考图4,其示出了数据处理系统的又一个实施例的时序图。
本实施例的数据处理系统可以包括:第一客户端、数据同步端、监控端和第二客户端;该第一客户端,用于接收数据发送指令,将该数据发送指令所指示的数据发送至第一服务器集群组中的第一服务器集群;该数据同步端,用于将该第一服务器集群组中的第一服务器集群中的数据同步至第二服务器集群组中的第二服务器集群;该监控端,用于监控第二服务器集群组中的各个第二服务器集群的负载情况,并将监控到的该第二服务器集群组中的各个第二服务器集群的负载情况反馈到该第二客户端;该第二客户端,用于从目标第二服务器集群获取数据,其中,该目标第二服务器集群归属于该第二服务器集群组;响应于当前从该目标第二服务器集群正在获取的具有位置信息的数据传输中断,则基于该位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组,其中,该第二位置信息组集合中的每个第二位置信息组所包括的各条第二位置信息分别对应该第二服务器集群组中的不同的第二服务器集群,该目标第二位置信息组中存在与该位置信息匹配的第二位置信息;基于该目标第二位置信息组得到候选第二服务器集群组;基于最新接收到的该候选第二服务器集群组中的各个候选第二服务器集群的负载情况,在该候选第二服务器集群组中选取候选第二服务器集群,将该目标第二位置信息组中的、与所选取的候选第二服务器集群对应的第二位置信息作为目标第二位置信息;在该目标第二位置信息所对应的第二服务器集群中,从该目标第二位置信息所指示的存储位置开始继续获取数据。
如图4所示,在步骤401中,第一客户端接收数据发送指令,将该数据发送指令所指示的数据发送至第一服务器集群组中的第一服务器集群。
在步骤402中,数据同步端将第一服务器集群组中的第一服务器集群中的数据同步至第二服务器集群组中的第二服务器集群。
在本实施例中,针对步骤401和步骤402的解释说明可分别参考图2所示实施例中的步骤201和步骤202中的相关说明,在此不再赘述。
在步骤403中,监控端监控第二服务器集群组中的各个第二服务器集群的负载情况,并将监控到的负载情况反馈到第二客户端。
在本实施例中,监控端可以实时或周期性地(例如每隔10分钟或半小时等)监控上述第二服务器集群组中的各个第二服务器集群的负载情况,并将该负载情况反馈到上述第二客户端。作为示例,上述监控端上可以预先部署有监控工具,该监控工具可以基于预设监控指标在上述第二服务器集群组中的各个第二服务器集群中采集监控数据,该监控工具还可以对采集的监控数据进行分析,计算出用于表征上述第二服务器集群组中的每个第二服务器集群的负载情况的数值。上述监控端可以将该数值反馈到上述第二客户端。需要说明的是,上述预设监控指标可以例如包括硬盘占用率、内存占用率、CPU(Central ProcessingUnit,中央处理器)占用率、带宽利用率等等。
在步骤404中,第二客户端从目标第二服务器集群获取数据。
在步骤405中,响应于当前从目标第二服务器集群正在获取的具有位置信息的数据传输中断,则第二客户端基于位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组。
在本实施例中,针对步骤404和步骤405的解释说明可分别参考图2所示实施例中的步骤203和步骤204中的相关说明,在此不再赘述。
在步骤406中,第二客户端基于目标第二位置信息组得到候选第二服务器集群组。
在本实施例中,由于上述第二位置信息组集合中的每个第二位置信息组所包括的各条第二位置信息分别对应上述第二服务器集群组中的不同的第二服务器集群,因此,上述第二客户端可以基于所确定的目标第二位置信息组得到候选第二服务器集群组。需要说明的是,该候选第二服务器集群组中的各个候选第二服务器集群是上述第二服务器集群组中的第二服务器集群。
在步骤407中,第二客户端基于最新接收到的候选第二服务器集群组中的各个候选第二服务器集群的负载情况,在候选第二服务器集群组中选取候选第二服务器集群,将目标第二位置信息组中的、与所选取的候选第二服务器集群对应的第二位置信息作为目标第二位置信息。
在本实施例中,上述第二客户端在得到候选第二服务器集群组后,上述第二客户端可以基于最新接收到的上述候选第二服务器集群组中的各个候选第二服务器集群的负载情况,在上述候选第二服务器集群组中选取候选第二服务器集群,将上述目标位置信息组中的、与所选取的候选第二服务器集群对应的第二位置信息作为目标第二位置信息。作为示例,上述第二客户端可以从上述候选第二服务器集群组中选取负载最小的候选第二服务器集群,例如将分别表征上述候选第二服务器集群组中的各个候选第二服务器集群的负载情况的数值两两进行比较,以选取负载最小的候选第二服务器集群。
在本实施例的一些可选的实现方式中,第二服务器集群组中的部分第二服务器集群可以部署在同一机房中,上述第二客户端可以具有对应的机房信息。上述第二客户端可以确定上述候选第二服务器集群组中的、部署在该机房信息所指示的机房中的候选第二服务器集群中是否存在未超负载的候选第二服务器集群,若存在,则上述第二客户端可以选取上述未超负载的候选第二服务器集群中的负载最小的候选第二服务器集群。若不存在上述未超负载的候选第二服务器集群,则上述第二客户端可以从上述候选第二服务器集群组中的、未部署在上述机房信息所指示的机房中的候选第二服务器集群中选取未超负载且负载最小的候选第二服务器集群。
在步骤408中,第二客户端在目标第二位置信息所对应的第二服务器集群中,从目标第二位置信息所指示的存储位置开始继续获取数据。
在本实施例中,上述第二客户端在确定目标第二位置信息后,可以在该目标第二位置信息所对应的第二服务器集群中,从该目标第二位置信息所指示的存储位置开始继续获取数据。
在本实施例的一些可选的实现方式中,上述监控端在监控上述第二服务器集群组中的各个第二服务器集群的负载情况时,还可以监控上述第一服务器集群组中的各个第一服务器集群组的负载情况,并将该负载情况反馈到上述第一客户端。
在本实施例的一些可选的实现方式中,上述第一客户端在向上述第一服务器集群组中的第一服务器集群发送的数据传输中断时,上述第一客户端可以基于最新接收到的上述第一服务器集群组中的各个第一服务器集群的负载情况,在上述第一服务器集群组中选取第一服务器集群作为目标第一服务器集群,上述第一客户端可以向该目标第一服务器集群重新发送传输中断的数据。需要指出的是,该目标第一服务器集群通常与数据传输中断时所连接的第一服务器集群不是同一个集群。这里,上述第一服务器集群组中的部分第一服务器集群可以部署在同一机房中,上述第一客户端可以具有对应的第一机房信息。需要说明的是,目标第一服务器集群的选取方法可参考图4所示实施例中的步骤407所记载的选取候选第二服务器集群的方法,在此不再赘述。
在本实施例的一些可选的实现方式中,上述第一服务器集群组中的部分第一服务器集群和上述第二服务器集群组中的部分第二服务器集群可以部署在同一机房中。
在本实施例的一些可选的实现方式中,上述监控端还可以用于:在监控到上述第一服务器集群组中的第一服务器集群超负载时,向该第一服务器集群当前所连接的第一客户端组中的至少一个第一客户端发送第一集群切换指令;和/或在监控到上述第二服务器集群组中的第二服务器集群超负载时,向该第二服务器集群当前所连接的第二客户端组中的至少一个第二客户端发送第二集群切换指令。需要说明的是,该第一集群切换指令所指示的第一服务器集群可以是上述第一服务器集群组中的负载最小的第一服务器集群;该第集群切换指令所指示的第二服务器集群可以是上述第二服务器集群组中的负载最小的第二服务器集群。
在本实施例的一些可选的实现方式中,上述第一客户端还可以用于:响应于接收到上述监控端发送的第一集群切换指令,则从当前所连接的第一服务器集群切换到所接收到的第一集群切换指令所指示的第一服务器集群。这样,可以提高第一客户端的数据发送效率。
在本实施例的一些可选的实现方式中,上述第二客户端还可以用于:响应于接收到上述监控端发送的第二集群切换指令,则从当前所连接的第二服务器集群切换到所接收到的第二集群切换指令所指示的第二服务器集群。这样,可以提高第二客户端的数据获取效率。
在本实施例的一些可选的实现方式中,上述监控端还可以用于:在监控到上述第一服务器集群组中的第一服务器集群的带宽利用率超出阈值时,向该第一服务器集群当前所连接的第一客户端组中的至少一个第一客户端发送包括第一传输速度的第一限速指令;和/或在监控到上述第二服务器集群组中的第二服务器集群的带宽利用率超出上述阈值时,向该第二服务器集群当前所连接的第二客户端组中的至少一个第二客户端发送包括第二传输速度的第二限速指令。作为示例,上述监控端在监控到上述第一服务器集群组中的第一服务器集群的带宽利用率超出阈值时,上述监控端可以向该第一服务器集群当前所连接的第一客户端组中的各个第一客户端发送包括第一传输速度的第一限速指令。上述监控端在监控到上述第二服务器集群组中的第二服务器集群的带宽利用率超出上述阈值时,向该第二服务器集群当前所连接的第二客户端组中的各个第二客户端发送包括第二传输速度的第二限速指令。
在本实施例的一些可选的实现方式中,上述第一客户端还可以用于:响应于接收到上述监控端发送的第一限速指令,则采用所接收到的第一限速指令所包括的第一传输速度发送数据。这样,可以减轻上述第一客户端当前所连接的第一服务器集群的带宽压力。
在本实施例的一些可选的实现方式中,上述第二客户端还可以用于:响应于接收到上述监控端发送的第二限速指令,则采用所接收到的第二限速指令所包括的第二传输速度获取数据。这样,可以减轻上述第二客户端当前所连接的第二服务器集群的带宽压力。
从图4中可以看出,与图2对应的实施例相比,本实施例中的数据处理系统突出了对目标第二位置信息进行确定的步骤。由此,本实施例描述的方案可以使第二客户端在目标第二位置信息所对应的负载较小的第二服务器集群中,从该目标第二位置信息所指示的存储位置继续获取数据,从而可以进一步提高数据处理系统的稳定性,以及提高第二客户端的数据获取效率。
进一步参考图5,其示出了数据处理方法的一个实施例的流程500。该数据处理方法的流程500,包括以下步骤:
步骤501,响应于当前从目标第二服务器集群正在获取的具有位置信息的数据传输中断,则基于位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组。
在本实施例中,数据处理方法运行于其上的电子设备(例如图1所示的第二客户端109)可以通过有线连接方式或者无线连接方式从目标第二服务器集群获取数据。若当前从目标第二服务器集群正在获取的具有位置信息的数据传输中断,则上述电子设备可以基于上述位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组。其中,上述目标第二服务器集群归属于第二服务器集群组。上述目标第二服务器集群可以是预先为上述电子设备指定的第二服务器集群,也可以是上述电子设备在上述第二服务器集群组中选取的第二服务器集群,例如采用负载均衡算法选取的第二服务器集群,本实施例不对此方面内容做任何限定。这里,上述位置信息可以是正在获取的具有上述位置信息的数据在上述目标第二服务器集群中的存储位置的信息。上述第二位置信息组集合中的每个位置信息组所包括的各条第二位置信息可以分别对应上述第二服务器集群组中的不同的第二服务器集群。上述目标第二位置信息中存在与上述位置信息匹配(例如相同等)的第二位置信息。作为示例,上述第二客户端可以在上述第二位置信息组集合中查找包括与上述位置信息相同的第二位置信息的第二位置信息组,并将查找到的第二位置信息组作为目标第二位置信息组。需要说明的是,当正在获取的具有上述位置信息的数据的传输速度为零时,或上述第二端接收到针对该数据的传输异常信息时等等,上述第二客户端均可以确定该数据传输中断,本实施例不对此方面内容做任何限定。
在本实施例中,上述第二服务器集群组中的每个第二服务器集群中的数据可以是数据同步端从第一服务器集群组中的第一服务器集群同步至该第二服务器集群的。上述第一服务器集群组中的每个第一服务器集群中的数据可以是该第一服务器集群所连接的第一客户端上传的。
步骤502,从目标第二位置信息组中选取第二位置信息作为目标第二位置信息。
在本实施例中,从目标第二位置信息组中选取第二位置信息的方法可参考图2所示实施例中的步骤205中的相关描述,或参考图4所示实施例中的步骤406和步骤407中的相关描述,在此不再赘述。
步骤503,在目标第二位置信息所对应的第二服务器集群中,从目标第二位置信息所指示的存储位置开始继续获取数据。
在本实施例中,上述电子设备在确定目标第二位置信息后,可以在该目标第二位置信息所对应的第二服务器集群中,从该目标第二位置信息所指示的存储位置开始继续获取数据。
本申请的上述实施例提供的方法有效利用对目标第二位置信息的确定,避免了在目标第二位置信息所对应的第二服务器集群中从头开始获取数据,提高了数据获取效率。
进一步参考图6,作为对上述各图所示方法的实现,本申请提供了一种数据处理装置的一个实施例,该装置实施例与图5所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,本实施例所示的数据处理装置600包括:确定单元601、选取单元602和获取单元603。其中,确定单元601配置用于响应于当前从目标第二服务器集群正在获取的具有位置信息的数据传输中断,则基于上述位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组,其中,上述目标第二服务器集群归属于第二服务器集群组,上述第二位置信息组集合中的每个第二位置信息组所包括的各条第二位置信息分别对应上述第二服务器集群组中的不同的第二服务器集群,上述目标第二位置信息中存在与上述位置信息匹配的第二位置信息;选取单元602配置用于从上述目标第二位置信息组中选取第二位置信息作为目标第二位置信息;而获取单元603配置用于在上述目标第二位置信息所对应的第二服务器集群中,从上述目标第二位置信息所指示的存储位置开始继续获取数据。
在本实施例中,数据处理装置600中:确定单元601、选取单元602和获取单元603的具体处理及其所带来的技术效果可分别参考图5对应实施例中的步骤501、步骤502和步骤503的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,上述第二位置信息组集合中的每个第二位置信息可以对应第一位置信息,上述第一位置信息可以是存储在该第二位置信息组中的各条第二位置信息分别指示的存储位置的数据在所在的第一服务器集群中的存储位置的信息。
在本实施例的一些可选的实现方式中,上述确定单元601可以包括:确定子单元(图中未示出),配置用于在预先存储的对应关系列表中确定目标对应关系,其中,上述对应关系列表中的每条对应关系包括第二位置信息和第一位置信息,该第二位置信息所指示的存储位置是上述目标第二服务器集群中的存储位置,上述目标对应关系是所包括的第二位置信息与上述位置信息匹配的对应关系;查找子单元(图中未示出),配置用于在上述第二位置信息组集合中查找所对应的第一位置信息与上述目标对应关系所包括的第一位置信息相同的第二位置信息组,将查找到的第二位置信息组作为目标第二位置信息组。
在本实施例的一些可选的实现方式中,上述位置信息可以包括索引号,上述对应关系列表中的每条对应关系所包括的第二位置信息可以包括第一索引号;以及上述确定子单元可以包括:第一查找模块(图中未示出),配置用于在上述对应关系列表中查找所包括的第二位置信息与上述位置信息相同的对应关系;第二查找模块(图中未示出),配置用于若未查找到,则在上述对应关系列表中查找所包括的第二位置信息包括目标第一索引号的对应关系,并将查找到的所包括的第二位置信息包括上述目标第一索引号的对应关系作为目标对应关系,其中,上述目标第一索引号满足以下任意一个条件:与上述索引号大小最接近且小于上述索引号、与上述索引号大小最接近且大于上述索引号。
在本实施例的一些可选的实现方式中,上述第二查找模块可以进一步配置用于:执行以下处理步骤:将上述索引号加减预置值以得到索引号范围,在上述对应关系列表中的、所包括的第二位置信息中的第一索引号处于上述索引号范围内的对应关系中查找所包括的第二位置信息包括上述目标第一索引号的对应关系,若查找到,则将查找到的所包括的第二位置信息包括上述目标第一索引号的对应关系作为目标对应关系;若未查找到所包括的第二位置信息包括上述目标第一索引号的对应关系,则对当前的上述预置值进行递增操作,并继续执行上述处理步骤。
在本实施例的一些可选的实现方式中,上述选取单元602可以包括:候选第二服务器集群组确定子单元(图中未示出),配置用于基于上述目标第二位置信息组得到候选第二服务器集群组;处理子单元(图中未示出),配置用于基于最新接收到的上述候选第二服务器集群组中的各个候选第二服务器集群的负载情况,在上述候选第二服务器集群组中选取候选第二服务器集群,将上述目标第二位置信息组中的、与所选取的候选第二服务器集群对应的第二位置信息作为目标第二位置信息,其中,该负载情况是从所连接的监控端接收的。
在本实施例的一些可选的实现方式中,上述第二服务器集群组中的部分第二服务器集群可以部署在同一机房中,上述第二客户端可以具有对应的机房信息;以及上述处理子单元可以包括:第一选取模块(图中未示出),配置用于确定上述候选第二服务器集群组中的、部署在上述机房信息所指示的机房中的候选第二服务器集群中是否存在未超负载的候选第二服务器集群,若存在,则选取上述未超负载的候选第二服务器集群中的负载最小的候选第二服务器集群。
在本实施例的一些可选的实现方式中,上述处理子单元可以包括:第二选取模块(图中未示出),配置用于若不存在上述未超负载的候选第二服务器集群,则从上述候选第二服务器集群组中的、未部署在上述机房信息所指示的机房中的候选第二服务器集群中选取未超负载且负载最小的候选第二服务器集群。
在本实施例的一些可选的实现方式中,上述装置600还可以包括:切换单元(图中未示出),配置用于响应于接收到上述监控端发送的第二集群切换指令,则从当前所连接的第二服务器集群切换到所接收到的第二集群切换指令所指示的第二服务器集群。
在本实施例的一些可选的实现方式中,上述装置600还可以包括:第一获取单元(图中未示出),配置用于响应于接收到上述监控端发送的包括第二传输速度的第二限速指令,则采用该第二传输速度获取数据。
本申请的上述实施例提供的装置有效利用对目标第二位置信息的确定,避免了在目标第二位置信息所对应的第二服务器集群中从头开始获取数据,提高了数据获取效率。
下面参考图7,其示出了适于用来实现本申请实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示,计算机系统700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括确定单元、选取单元和获取单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,确定单元还可以被描述为“基于位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备包括:响应于当前从目标第二服务器集群正在获取的具有位置信息的数据传输中断,则基于上述位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组,其中,上述目标第二服务器集群归属于第二服务器集群组,上述第二位置信息组集合中的每个第二位置信息组所包括的各条第二位置信息分别对应上述第二服务器集群组中的不同的第二服务器集群,上述目标第二位置信息中存在与上述位置信息匹配的第二位置信息;从上述目标第二位置信息组中选取第二位置信息作为目标第二位置信息;在上述目标第二位置信息所对应的第二服务器集群中,从上述目标第二位置信息所指示的存储位置开始继续获取数据。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (19)

1.一种数据处理系统,其特征在于,所述系统包括第一客户端、数据同步端和第二客户端;
所述第一客户端,用于接收数据发送指令,将所述数据发送指令所指示的数据发送至第一服务器集群组中的第一服务器集群;
所述数据同步端,用于将所述第一服务器集群组中的第一服务器集群中的数据同步至第二服务器集群组中的第二服务器集群;
所述第二客户端,用于从目标第二服务器集群获取数据,其中,所述目标第二服务器集群归属于所述第二服务器集群组;响应于当前从所述目标第二服务器集群正在获取的具有位置信息的数据传输中断,则基于所述位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组,其中,所述第二位置信息组集合中的每个第二位置信息组所包括的各条第二位置信息分别对应所述第二服务器集群组中的不同的第二服务器集群,所述目标第二位置信息组中存在与所述位置信息匹配的第二位置信息;从所述目标第二位置信息组中选取第二位置信息作为目标第二位置信息;在所述目标第二位置信息所对应的第二服务器集群中,从所述目标第二位置信息所指示的存储位置开始继续获取数据。
2.根据权利要求1所述的系统,其特征在于,所述第二位置信息组集合中的每个第二位置信息对应第一位置信息,所述第一位置信息是存储在该第二位置信息组中的各条第二位置信息分别指示的存储位置的数据在所在的第一服务器集群中的存储位置的信息。
3.根据权利要求2所述的系统,其特征在于,所述第二客户端还用于:
在预先存储的对应关系列表中确定目标对应关系,其中,所述对应关系列表中的每条对应关系包括第二位置信息和第一位置信息,该第二位置信息所指示的存储位置是所述目标第二服务器集群中的存储位置,所述目标对应关系是所包括的第二位置信息与所述位置信息匹配的对应关系;
在所述第二位置信息组集合中查找所对应的第一位置信息与所述目标对应关系所包括的第一位置信息相同的第二位置信息组,将查找到的第二位置信息组作为目标第二位置信息组。
4.根据权利要求3所述的系统,其特征在于,所述位置信息包括索引号,所述对应关系列表中的每条对应关系所包括的第二位置信息包括第一索引号;以及
所述第二客户端还用于:
在所述对应关系列表中查找所包括的第二位置信息与所述位置信息相同的对应关系;
若未查找到,则在所述对应关系列表中查找所包括的第二位置信息包括目标第一索引号的对应关系,并将查找到的所包括的第二位置信息包括所述目标第一索引号的对应关系作为目标对应关系,其中,所述目标第一索引号满足以下任意一个条件:与所述索引号大小最接近且小于所述索引号、与所述索引号大小最接近且大于所述索引号。
5.根据权利要求4所述的系统,其特征在于,所述第二客户端还用于:
执行以下处理步骤:将所述索引号加减预置值以得到索引号范围,在所述对应关系列表中的、所包括的第二位置信息中的第一索引号处于所述索引号范围内的对应关系中查找所包括的第二位置信息包括所述目标第一索引号的对应关系,若查找到,则将查找到的所包括的第二位置信息包括所述目标第一索引号的对应关系作为目标对应关系;
若未查找到所包括的第二位置信息包括所述目标第一索引号的对应关系,则对当前的所述预置值进行递增操作,并继续执行所述处理步骤。
6.根据权利要求1所述的系统,其特征在于,所述系统还包括监控端,所述监控端用于:
监控所述第一服务器集群组中的各个第一服务器集群的负载情况,并将监控到的所述第一服务器集群组中的各个第一服务器集群的负载情况反馈到所述第一客户端;和/或
监控所述第二服务器集群组中的各个第二服务器集群的负载情况,并将监控到的所述第二服务器集群组中的各个第二服务器集群的负载情况反馈到所述第二客户端。
7.根据权利要求6所述的系统,其特征在于,所述第二客户端还用于:
基于所述目标第二位置信息组得到候选第二服务器集群组;
基于最新接收到的所述候选第二服务器集群组中的各个候选第二服务器集群的负载情况,在所述候选第二服务器集群组中选取候选第二服务器集群,将所述目标第二位置信息组中的、与所选取的候选第二服务器集群对应的第二位置信息作为目标第二位置信息。
8.根据权利要求7所述的系统,其特征在于,所述第二服务器集群组中的部分第二服务器集群部署在同一机房中,所述第二客户端具有对应的机房信息;以及
所述第二客户端还用于:
确定所述候选第二服务器集群组中的、部署在所述机房信息所指示的机房中的候选第二服务器集群中是否存在未超负载的候选第二服务器集群,若存在,则选取所述未超负载的候选第二服务器集群中的负载最小的候选第二服务器集群。
9.根据权利要求8所述的系统,其特征在于,所述第二客户端还用于:
若不存在所述未超负载的候选第二服务器集群,则从所述候选第二服务器集群组中的、未部署在所述机房信息所指示的机房中的候选第二服务器集群中选取未超负载且负载最小的候选第二服务器集群。
10.根据权利要求6所述的系统,其特征在于,所述监控端还用于:
在监控到所述第一服务器集群组中的第一服务器集群超负载时,向该第一服务器集群当前所连接的第一客户端组中的至少一个第一客户端发送第一集群切换指令;和/或
在监控到所述第二服务器集群组中的第二服务器集群超负载时,向该第二服务器集群当前所连接的第二客户端组中的至少一个第二客户端发送第二集群切换指令。
11.根据权利要求10所述的系统,其特征在于,所述第一客户端还用于:
响应于接收到所述监控端发送的第一集群切换指令,则从当前所连接的第一服务器集群切换到所接收到的第一集群切换指令所指示的第一服务器集群。
12.根据权利要求10所述的系统,其特征在于,所述第二客户端还用于:
响应于接收到所述监控端发送的第二集群切换指令,则从当前所连接的第二服务器集群切换到所接收到的第二集群切换指令所指示的第二服务器集群。
13.根据权利要求6所述的系统,其特征在于,所述监控端还用于:
在监控到所述第一服务器集群组中的第一服务器集群的带宽利用率超出阈值时,向该第一服务器集群当前所连接的第一客户端组中的至少一个第一客户端发送包括第一传输速度的第一限速指令;和/或
在监控到所述第二服务器集群组中的第二服务器集群的带宽利用率超出所述阈值时,向该第二服务器集群当前所连接的第二客户端组中的至少一个第二客户端发送包括第二传输速度的第二限速指令。
14.根据权利要求13所述的系统,其特征在于,所述第一客户端还用于:
响应于接收到所述监控端发送的第一限速指令,则采用所接收到的第一限速指令所包括的第一传输速度发送数据。
15.根据权利要求13所述的系统,其特征在于,所述第二客户端还用于:
响应于接收到所述监控端发送的第二限速指令,则采用所接收到的第二限速指令所包括的第二传输速度获取数据。
16.一种数据处理方法,其特征在于,所述方法包括:
响应于当前从目标第二服务器集群正在获取的具有位置信息的数据传输中断,则基于所述位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组,其中,所述目标第二服务器集群归属于第二服务器集群组,所述第二位置信息组集合中的每个第二位置信息组所包括的各条第二位置信息分别对应所述第二服务器集群组中的不同的第二服务器集群,所述目标第二位置信息中存在与所述位置信息匹配的第二位置信息;
从所述目标第二位置信息组中选取第二位置信息作为目标第二位置信息;
在所述目标第二位置信息所对应的第二服务器集群中,从所述目标第二位置信息所指示的存储位置开始继续获取数据。
17.一种数据处理装置,其特征在于,所述装置包括:
确定单元,配置用于响应于当前从目标第二服务器集群正在获取的具有位置信息的数据传输中断,则基于所述位置信息,在预先存储的第二位置信息组集合中确定目标第二位置信息组,其中,所述目标第二服务器集群归属于第二服务器集群组,所述第二位置信息组集合中的每个第二位置信息组所包括的各条第二位置信息分别对应所述第二服务器集群组中的不同的第二服务器集群,所述目标第二位置信息中存在与所述位置信息匹配的第二位置信息;
选取单元,配置用于从所述目标第二位置信息组中选取第二位置信息作为目标第二位置信息;
获取单元,配置用于在所述目标第二位置信息所对应的第二服务器集群中,从所述目标第二位置信息所指示的存储位置开始继续获取数据。
18.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求17所述的方法。
19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求17所述的方法。
CN201710628061.6A 2017-07-28 2017-07-28 数据处理系统、方法和装置 Active CN109309698B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710628061.6A CN109309698B (zh) 2017-07-28 2017-07-28 数据处理系统、方法和装置
PCT/CN2018/094878 WO2019019897A1 (zh) 2017-07-28 2018-07-06 数据处理系统、方法和装置
US16/629,497 US11588890B2 (en) 2017-07-28 2018-07-06 System, method and apparatus having a redundant cluster for processing data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710628061.6A CN109309698B (zh) 2017-07-28 2017-07-28 数据处理系统、方法和装置

Publications (2)

Publication Number Publication Date
CN109309698A true CN109309698A (zh) 2019-02-05
CN109309698B CN109309698B (zh) 2020-09-29

Family

ID=65040358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710628061.6A Active CN109309698B (zh) 2017-07-28 2017-07-28 数据处理系统、方法和装置

Country Status (3)

Country Link
US (1) US11588890B2 (zh)
CN (1) CN109309698B (zh)
WO (1) WO2019019897A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286723A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 机房容灾控制方法、终端及存储介质
CN113810456A (zh) * 2021-02-09 2021-12-17 京东科技信息技术有限公司 数据获取方法、装置、系统、计算机设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541551B (zh) * 2020-12-16 2023-11-24 中国联合网络通信集团有限公司 加油站用户信息处理方法、装置及服务器
CN112835936A (zh) * 2021-02-05 2021-05-25 北京电解智科技有限公司 一种数据处理方法、装置和服务集群
CN115378992B (zh) * 2022-08-24 2024-02-27 中国银行股份有限公司 信息交互方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050278458A1 (en) * 2004-06-09 2005-12-15 Microsoft Corporation Analysis services database synchronization
CN104618219A (zh) * 2014-12-30 2015-05-13 北京奇虎科技有限公司 一种进行跨机房数据同步的方法和装置
CN104980519A (zh) * 2015-06-29 2015-10-14 北京奇虎科技有限公司 多机房存储系统
CN105610953A (zh) * 2015-12-31 2016-05-25 深圳市优户科技有限公司 一种分布式数据同步系统及方法
CN106487823A (zh) * 2015-08-24 2017-03-08 上海斐讯数据通信技术有限公司 一种基于sdn架构的文件传输方法及系统
CN106933625A (zh) * 2017-02-23 2017-07-07 湖北光谷天下传媒股份有限公司 一种多源软件更新的方法及系统
CN106953901A (zh) * 2017-03-10 2017-07-14 重庆邮电大学 一种提高消息传递性能的集群通信系统及其方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195680B1 (en) * 1998-07-23 2001-02-27 International Business Machines Corporation Client-based dynamic switching of streaming servers for fault-tolerance and load balancing
US7412514B2 (en) * 2000-08-17 2008-08-12 Hoshiko Llc Method and apparatus for improving bandwidth efficiency in a computer network
CN101771494A (zh) 2008-12-29 2010-07-07 深圳市维信联合科技有限公司 数据传输方法及装置
CN104539690B (zh) 2014-12-24 2018-05-04 大连理工大学 一种基于反馈机制和md5码检测的服务器远程数据同步方法
CN105554138B (zh) 2015-12-24 2019-07-19 深圳市优户科技有限公司 分布式数据同步系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050278458A1 (en) * 2004-06-09 2005-12-15 Microsoft Corporation Analysis services database synchronization
CN104618219A (zh) * 2014-12-30 2015-05-13 北京奇虎科技有限公司 一种进行跨机房数据同步的方法和装置
CN104980519A (zh) * 2015-06-29 2015-10-14 北京奇虎科技有限公司 多机房存储系统
CN106487823A (zh) * 2015-08-24 2017-03-08 上海斐讯数据通信技术有限公司 一种基于sdn架构的文件传输方法及系统
CN105610953A (zh) * 2015-12-31 2016-05-25 深圳市优户科技有限公司 一种分布式数据同步系统及方法
CN106933625A (zh) * 2017-02-23 2017-07-07 湖北光谷天下传媒股份有限公司 一种多源软件更新的方法及系统
CN106953901A (zh) * 2017-03-10 2017-07-14 重庆邮电大学 一种提高消息传递性能的集群通信系统及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286723A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 机房容灾控制方法、终端及存储介质
CN113810456A (zh) * 2021-02-09 2021-12-17 京东科技信息技术有限公司 数据获取方法、装置、系统、计算机设备及存储介质

Also Published As

Publication number Publication date
CN109309698B (zh) 2020-09-29
WO2019019897A1 (zh) 2019-01-31
US11588890B2 (en) 2023-02-21
US20200204624A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
CN109309698A (zh) 数据处理系统、方法和装置
CN108540831B (zh) 用于推送信息的方法和装置
CN110351323A (zh) 一种应用系统的参数管理方法和装置
CN108965907A (zh) 用于播放视频的方法、装置和系统
CN108282529A (zh) 发布和订阅数据的系统、方法和装置
CN107844324A (zh) 客户端页面跳转处理方法和装置
CN106293765A (zh) 一种布局更新方法及装置
CN109033001A (zh) 用于分配gpu的方法和装置
CN109446442A (zh) 用于处理信息的方法和装置
CN109905286A (zh) 一种监控设备运行状态的方法和系统
CN109936635A (zh) 负载均衡方法和装置
CN110321738A (zh) 信息处理方法和装置
CN109726343A (zh) 图像轮播方法和装置
CN108776692A (zh) 用于处理信息的方法和装置
CN109873863A (zh) 服务的异步调用方法和装置
CN110377416A (zh) 分布式分区任务调度方法和装置
CN110198335A (zh) 消息同步方法及装置、电子设备及存储介质
CN109413056A (zh) 用于处理信息的方法和装置
CN105721612B (zh) 数据传输方法和装置
CN109597810A (zh) 一种任务切分方法、装置、介质及电子设备
CN109492687A (zh) 用于处理信息的方法和装置
CN109857325A (zh) 显示界面切换方法、电子设备及计算机可读存储介质
CN108920309B (zh) 用于处理信息的方法和装置
CN109408647A (zh) 用于处理信息的方法和装置
CN108683531B (zh) 用于处理日志信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant