CN110365517B - 数据处理方法、装置、存储介质及计算机设备 - Google Patents

数据处理方法、装置、存储介质及计算机设备 Download PDF

Info

Publication number
CN110365517B
CN110365517B CN201910471719.6A CN201910471719A CN110365517B CN 110365517 B CN110365517 B CN 110365517B CN 201910471719 A CN201910471719 A CN 201910471719A CN 110365517 B CN110365517 B CN 110365517B
Authority
CN
China
Prior art keywords
client
server
available
abnormal
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910471719.6A
Other languages
English (en)
Other versions
CN110365517A (zh
Inventor
许威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Koubei Network Technology Co Ltd
Original Assignee
Zhejiang Koubei Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Koubei Network Technology Co Ltd filed Critical Zhejiang Koubei Network Technology Co Ltd
Priority to CN201910471719.6A priority Critical patent/CN110365517B/zh
Publication of CN110365517A publication Critical patent/CN110365517A/zh
Application granted granted Critical
Publication of CN110365517B publication Critical patent/CN110365517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据处理方法、装置、存储介质及计算机设备,涉及信息技术领域,主要目的在于能够动态调配客户端和服务端之间的连接,且能够实现在保证客户端的数据物理隔离的情况下,及时处理服务端和客户端的异常情况,从而能够保证客户端的数据处理成功,所述方法包括:监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常;若存在,则确定与异常的服务端配对连接的客户端,以及客户端对应的分组标识,分布式系统中的各个客户端按照所采用的程序组件隔离分组;基于最新的可用服务端列表,确定唯一对应分组标识的其他可用服务端;调配客户端和其他可用服务端配对连接,以利用其他可用服务端进行客户端的数据处理。

Description

数据处理方法、装置、存储介质及计算机设备
技术领域
本发明涉及信息技术领域,特别是涉及一种数据处理方法、装置、存储介质及计算机设备。
背景技术
随着大数据时代的来临,急速增长的数据量、繁杂多样的数据种类,变化飞快的数据形式,需要更加快速有效的海量数据处理方式,分布式系统应运而生。在分布式系统中通常多个服务端,为了对不同客户端的数据进行物理隔离,保证数据安全性,通常会为每个客户端预先分配一个固定连接的服务端。
目前,通常由与客户端固定连接的唯一服务端,处理客户端的数据。然而,在唯一服务端发生崩溃或者异常时,会造成无法处理客户端的数据。
发明内容
有鉴于此,本发明提供一种数据处理方法、装置、存储介质及计算机设备,主要目的在于能够动态调配客户端和服务端之间的连接,且能够实现在保证客户端的数据物理隔离的情况下,及时处理服务端和客户端的异常情况,从而能够保证客户端的数据处理成功。
依据本发明第一方面,提供了一种数据处理方法,包括:
监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组;
若存在,则确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识;
基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端;
调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理。
依据本发明第二方面,提供了一种数据处理装置,包括:
监测单元,用于监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组;
确定单元,用于若存在异常的服务端,则确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识;
所述确定单元,还用于基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端;
调配单元,用于调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理。
依据本发明第三方面,提供了一种存储介质,所述存储介质中存储有至少一可执行指令,所述执行指令使处理器执行以下步骤:
监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组;
若存在,则确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识;
基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端;
调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理。
依据本发明第四方面,提供了一种计算机设备,包括处理器、存储器、通信接口和通信总线所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信,所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行以下步骤:
监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组;
若存在,则确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识;
基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端;
调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理。
本发明提供的一种数据处理方法、装置、存储介质及计算机设备,与目前通常由与客户端固定连接的唯一服务端,处理客户端的数据相比,本发明能够监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组,在确定存在异常的服务端时,能够确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识。与此同时,基于最新的可用服务端列表,能够确定唯一对应所述分组标识的其他可用服务端;并能够调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理,因此,能够动态调配客户端和服务端之间的连接,且能够实现在保证客户端的数据物理隔离的情况下,及时处理服务端和客户端的异常情况,从而能够保证客户端的数据处理成功。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种数据处理方法的流程示意图;
图2示出了本发明实施例提供的一种分布式系统的示意图;
图3示出了本发明实施例提供的一种数据处理装置的结构示意图;
图4示出了本发明实施例提供的另一种数据处理装置的结构示意图;
图5示出了本发明实施例提供的一种计算机设备的实体结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
如背景技术所述,目前,通常由与客户端固定连接的唯一服务端,处理客户端的数据。然而,在唯一服务端发生崩溃或者异常时,会造成无法处理客户端的数据,导致客户端的数据处理成功。
为了解决上述技术问题,本发明实施例提供了一种数据处理方法,如图1所示,可以应用于分布式协调器,所述方法包括:
101、监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常。若是,则执行步骤102。
其中,如图2所示,与现有技术中的分布式系统相比,本发明实施例中的分布式系统包括分布式协调器、多个客户端、多个服务端,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组;各个客户端可以以租户的概念隔离分组,同一租户中的客户端采用同样的服务端系统或者程序组件,即每一个客户端对应一个租户,一个租户可以对应一个或者多个客户端,不同租户连接不同的服务端,即同一服务端仅能够连接同一分组或者同一租户的一个或者多个客户端,以实现不同用户之间数据处理和存储物理隔离,并保证数据安全性。举例来说,分布式系统的软件服务提供商可以将不同用户的客户端以租户的概念隔离成几个分组,以便进行数据隔离,一个分组的多个客户端,如电脑、手机等不同设备商安装的客户端,可以登录一个所属租户的账户,每个设备上安装的客户端为所属租户下的一个客户端。
需要说明的是,本发明实施例中的连接具体可以为网络连接,客户端与服务端的网络连接方式不限,可以采用任何网络协议,且通过网络协议可以确定服务端、客户端是否已配对连接,所述网络协议中包含服务端或客户端的连接情况。此外,所述分布式系统中异常的服务器可以为数据处理服务异常的服务端、网络异常的服务端或者为负载异常的服务器,通过分布式协调器监测服务端的服务异常情况、网络异常情况,负载异常情况,并为连接异常的服务端分配其他可用服务端,能够保证客户端的数据正常被处理。尤其是,在服务端发生过高异常情况时,通过为客户端分配其他可用服务端,能够达到负载均衡的目的。
102、确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识。
对于本发明实施例,服务端在每次上线时,服务端会将自身的标识信息上传给分布式协调器,以使得分布式协调器能否确定服务端当前可用。同样地,客户端在每次上线时,客户端会将自身的标识信息上传给分布式协调器,分布式协调器会根据客户端的标识信息确定其对应的分组,从而确定其对应的分组标识,并基于分组标识为客户端分配服务端配对连接,在配对连接后,所述分布式协调器会记录客户端与服务端的配对连接关系,因此,在监测到异常的服务端后,根据记录的配对连接关系即可确定其与其配对连接的客户端,以及客户端的分组标识。
103、基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端。
需要说明的是,可用服务端可以为数据服务正常、网络正常、且负载正常的服务端,在分布式系统中,客户端在下线之后,会与服务端断开连接,如果服务端无任何客户端连接,断开的服务端作为候选的服务端会等待分布式协调器调配,因此,分布式系统中各个客户对应的可用服务端列表为实时更新的状态,所述最新的可用服务端列表可以用于记录所述客户端所有可用的服务端。所述最新的可用服务端列表可以为根据客户端的历史数据的发送情况和当前所有可用服务端的负载情况确定的,所述唯一对应所述分组标识的其他可用服务端可以为不连接其他分组客户端的服务端,具体可以为没有配对连接任何客户端的服务端,当异常的服务端为负载异常的服务端时,所述其他可用服务端还可以为仅配对应连接该分组下客户端的服务端。
例如,分布式系统中服务端1存在异常,与服务端1配对连接的客户端为:客户端1和客户端2。客户端1和客户端2对应的分组标识为分组标识1,因此,可以确定分布式系统中唯一对应分组标识1的其他服务端,以供客户端1和客户端2配对连接,进而处理客户端1和客户端2的数据。
104、调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理。
本发明实施例提供的一种数据处理方法,与目前通常由与客户端固定连接的唯一服务端,处理客户端的数据相比,本发明能够监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常,在存在异常的服务端时,能够确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组。与此同时,基于最新的可用服务端列表,能够确定唯一对应所述分组标识的其他可用服务端;并能够调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理,因此,能够动态调配客户端和服务端之间的连接,且能够实现在保证客户端的数据物理隔离的情况下,及时处理服务端和客户端的异常情况,从而能够保证客户端的数据处理成功。
进一步的,为了更好的说明上述数据处理方法的过程,作为对上述实施例的细化和扩展,本发明实施例提供了几种可选实施例,但不限于此,具体如下所示:
本发明的一个可选实施例,为了达到分布式系统中的服务端负载均衡,实现自动调配客户端与相对空闲的服务端配对连接,所述步骤103包括:若异常的服务端为负载异常的服务端,则将所述可用服务端列表中的任意可用服务端,确定为唯一对应所述分组标识的其他可用服务端。与所述步骤103相对应的,所述步骤104具体可以包括:若所述客户端为多个,则从多个客户端中选取部分客户端,调配所述部分客户端和所述其他可用服务端配对连接,并保持剩余客户端与对应负载恢复正常的服务端配对连接;若所述客户端为一个,则调配所述客户端和所述其他可用服务端配对连接,同时保持所述客户端与对应负载恢复正常的服务端配对连接。在本发明实施例中,通过动态调配客户端与相对空闲的服务端配对连接,能够克服客户端的数据量较大时,服务端的负载较高,响应速度较慢,甚至导致服务端崩溃的缺陷,从而能够提升客户端的数据处理效率。
在具体应用场景中,为了能够保证客户端连接到符合用户需求的服务端,所述步骤103具体还可以包括:若异常的服务端为数据处理服务异常的服务端,或者为网络异常的服务端,则将所述可用服务端列表下发给所述客户端进行选择;并将所述客户端选择的新可用服务端,确定为唯一对应所述分组标识的其他可用服务端。所述客户端可以基于预定的选择策略选择新可用服务端,也可以接收人工选择的新可用服务端。
需要说明的是,为了保证及时处理客户端或者服务端的异常情况,所述分布式协调器在监测到客户端或服务端的服务异常时,可以进行报警。
本发明的另一个可选实施例,为了实现分布式系统中的客户端和服务器配对连接,所述方法还包括:当接收到所述客户端发送的服务器配对请求时,基于所述服务器配对请求,确定所述客户端的分组标识,并确定唯一对应所述分组标识的可用服务端;对所述客户端和所述可用服务端进行配对连接,以利用所述可用服务端处理所述客户端的数据。如图2所示,客户端1和客户端2对应的分组标识为分组标识1,分组标识1对应租户A,客户端3对应的分组标识为分组标识2,分组标识2对应租户B,分布式协调器会根据配对请求,将客户端1和客户端2与唯一对应租户A的服务端1配对连接,将客户端3与唯一对应租户B的服务端3配对连接。
在具体应用场景中,所述基于所述服务器配对请求,确定所述客户端的分组标识的步骤可以包括:若所述服务器配对请求携带有分组标识,则将请求携带的分组标识确定为所述客户端的分组标识;或者若所述服务器配对请求携带有客户端标识,则根据所述客户端标识,从预设分组表查询所述客户端的分组标识。
本发明的又一个可选实施例,所述方法还可以利用控制台实现客户端和服务器配对连接,具体包括:获取所述客户端的历史数据发送情况、以及所述分布式系统中各个服务端的负载情况;根据所述发送情况和所述负载情况,生成所述客户端对应的可用服务端列表;当接收到所述客户端发送的服务器配对请求时,向控制台发送所述客户端对应的可用服务端列表,所述控制台用于展示所述客户端对应的可用服务端列表供选择,并对所述客户端和选择的可用服务端进行配对连接。所述控制台在接收到可用服务端列表后,可以以下拉框的形式展示所述可用服务端列表,供工作任意手动选择与所述客户端配对的服务端,所述控制台在实现所述客户端和选择的可用服务端的配对连接后,可以向分布式协调器发送配对结果,以使得分布式协调器。
本发明的再一个可选实施例,为了能够获取分布式系统中的注册上线的客户端情况,注册上线的服务端情况,所述方法还包括:获取所述分布式系统中注册上线的客户端的标识信息,和注册上线的服务端的标识信息;根据所述注册上线的客户端的标识信息,生成注册上线的客户端列表,并根据所述注册上线的服务端的标识信息,生成注册上线的服务端列表;将所述注册上线的客户端列表、以及注册上线的服务端列表进行保存或者发送给控制台。
进一步地,作为图1的具体实现,本发明实施例提供了一种数据处理装置,如图3所示,所述装置包括:监测单元31、确定单元32和调配单元33,所述装置可以为分布式协调器。
所述监测单元31,可以用于监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组。所述监测单元31是本装置中监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常的主要功能模块。
所述确定单元32,可以用于若存在异常的服务端,则确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识。所述确定单元32是本装置中若存在异常的服务端,则确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识的主要功能模块。
所述确定单元32,还用于基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端。所述确定单元32是本装置中基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端的主要功能模块,也是核心模块。
所述调配单元33,可以用于调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理。所述调配单元33是本装置中调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理的主要功能模块。
在具体应用场景中,所述确定单元32,还可以用于若异常的服务端为负载异常的服务端,则将所述可用服务端列表中的任意可用服务端,确定为唯一对应所述分组标识的其他可用服务端。
与所述确定单元32相对应的,所述调配单元33,还可以用于若所述客户端为多个,则从多个客户端中选取部分客户端,调配所述部分客户端和所述其他可用服务端配对连接,并保持剩余客户端与对应负载恢复正常的服务端配对连接;或者若所述客户端为一个,则调配所述客户端和所述其他可用服务端配对连接,同时保持所述客户端与对应负载恢复正常的服务端配对连接。
所述确定单元32,具体可以用于若异常的服务端为数据处理服务异常的服务端,或者为网络异常的服务端,则将所述可用服务端列表下发给所述客户端进行选择;将所述客户端选择的新可用服务端,确定为唯一对应所述分组标识的其他可用服务端。
对于本发明实施例,为了实现客户端与服务端的配对连接,所述装置还包括:连接单元34,如图4所示。
所述确定单元32,还可以用于当接收到客户端发送的服务器配对请求时,基于所述服务器配对请求,确定所述客户端的分组标识,并确定唯一对应所述分组标识的可用服务端。
所述连接单元34,可以用于对所述客户端和所述可用服务端进行配对连接,以利用所述可用服务端处理所述客户端的数据。
在具体应用场景中,所述确定单元32,具体还可以用于若所述服务器配对请求携带有分组标识,则将请求携带的分组标识确定为所述客户端的分组标识;或者若所述服务器配对请求携带有客户端标识,则根据所述客户端标识,从预设分组表查询所述客户端的分组标识。
对于本发明实施例,所述装置还包括:获取单元35、生成单元36和发送单元37。
所述获取单元35,可以用于获取所述客户端的历史数据发送情况、以及所述分布式系统中各个服务端的负载情况;
所述生成单元36,用于根据所述历史数据发送情况和所述负载情况,生成所述客户端对应的可用服务端列表。
所述发送单元37,用于当接收到所述客户端发送的服务器配对请求时,向控制台发送所述客户端对应的可用服务端列表,所述控制台用于展示所述客户端对应的可用服务端列表供选择,并对所述客户端和选择的可用服务端进行配对连接。
此外,为了能够获取分布式系统中的注册上线的客户端情况,注册上线的服务端情况,所述装置还包括:保存单元38。
所述获取单元35,还用于获取所述分布式系统中注册上线的客户端的标识信息,和注册上线的服务端的标识信息;
所述生成单元36,还用于根据所述注册上线的客户端的标识信息,生成注册上线的客户端列表,并根据所述注册上线的服务端的标识信息,生成注册上线的服务端列表;
所述保存单元38,还用于将所述注册上线的客户端列表、以及注册上线的服务端列表进行保存;
所述发送单元37,还用于将所述注册上线的客户端列表、以及注册上线的服务端列表发送给所述控制台。
需要说明的是,本发明实施例提供的一种数据处理装置所涉及各功能模块的其他相应描述,可以参考图1所示方法的对应描述,在此不再赘述。
基于上述如图1所示方法,相应的,本发明实施例还提供了一种提供了一种存储介质,所述存储介质中存储有至少一可执行指令,所述执行指令使处理器执行以下步骤:监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常;若存在,则确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组;基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端;调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理。
基于上述如图1所示方法和如图3所示装置的实施例,本发明实施例还提供了一种计算机设备,如图5所示,处理器(processor)41、通信接口(Communications Interface)42、存储器(memory)43、以及通信总线44。其中:处理器41、通信接口42、以及存储器43通过通信总线44完成相互间的通信。通信接口44,用于与其它设备比如客户端或其它服务器等的网元通信。处理器41,用于执行程序,具体可以执行上述数据的转换方法实施例中的相关步骤。具体地,程序可以包括程序代码,该程序代码包括计算机操作指令。处理器41可能是中央处理器CPU,或者是特定集成电路ASIC(Application Specific IntegratedCircuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
终端包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。存储器43,用于存放程序。存储器43可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。程序具体可以用于使得处理器41执行以下操作:监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常;若存在,则确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组;基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端;调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理。
通过本发明的技术方案,能够监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常,在存在异常的服务端时,能够确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组。与此同时,基于最新的可用服务端列表,能够确定唯一对应所述分组标识的其他可用服务端;并能够调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理,因此,能够动态调配客户端和服务端之间的连接,且能够实现在保证客户端的数据物理隔离的情况下,及时处理服务端和客户端的异常情况,从而能够保证客户端的数据处理成功。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据处理装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (16)

1.一种数据处理方法,其特征在于,包括:
监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组;
若存在,则确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识;
基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端;
调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理;
其中,所述调配所述客户端和所述其他可用服务端配对连接,包括:
若所述客户端为多个,则从多个客户端中选取部分客户端,调配所述部分客户端和所述其他可用服务端配对连接,并保持剩余客户端与对应负载恢复正常的服务端配对连接;
若所述客户端为一个,则调配所述客户端和所述其他可用服务端配对连接,同时保持所述客户端与对应负载恢复正常的服务端配对连接。
2.根据权利要求1所述的方法,其特征在于,所述基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端,包括:
若异常的服务端为负载异常的服务端,则将所述可用服务端列表中的任意可用服务端,确定为唯一对应所述分组标识的其他可用服务端。
3.根据权利要求1所述的方法,其特征在于,所述基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端,包括:
若异常的服务端为数据处理服务异常的服务端,或者为网络异常的服务端,则将所述可用服务端列表下发给所述客户端进行选择;
将所述客户端选择的新可用服务端,确定为唯一对应所述分组标识的其他可用服务端。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常之前,所述方法还包括:
当接收到所述客户端发送的服务器配对请求时,基于所述服务器配对请求,确定所述客户端的分组标识,并确定唯一对应所述分组标识的可用服务端;
对所述客户端和所述可用服务端进行配对连接,以利用所述可用服务端处理所述客户端的数据。
5.根据权利要求4所述的方法,其特征在于,所述基于所述服务器配对请求,确定所述客户端的分组标识;
若所述服务器配对请求携带有分组标识,则将请求携带的分组标识确定为所述客户端的分组标识;
若所述服务器配对请求携带有客户端标识,则根据所述客户端标识,从预设分组表查询所述客户端的分组标识。
6.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
获取所述客户端的历史数据发送情况、以及所述分布式系统中各个服务端的负载情况;
根据所述发送情况和所述负载情况,生成所述客户端对应的可用服务端列表;
当接收到所述客户端发送的服务器配对请求时,向控制台发送所述客户端对应的可用服务端列表,所述控制台用于展示所述客户端对应的可用服务端列表供选择,并对所述客户端和选择的可用服务端进行配对连接。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取所述分布式系统中注册上线的客户端的标识信息,和注册上线的服务端的标识信息;
根据所述注册上线的客户端的标识信息,生成注册上线的客户端列表,并根据所述注册上线的服务端的标识信息,生成注册上线的服务端列表;
将所述注册上线的客户端列表、以及注册上线的服务端列表进行保存或者发送给控制台。
8.一种数据处理装置,其特征在于,包括:
监测单元,用于监测分布式系统中基于分组标识与客户端配对连接的服务端是否存在异常,所述分布式系统中的各个客户端按照所采用的程序组件隔离分组;
确定单元,用于若存在异常的服务端,则确定与异常的服务端配对连接的客户端,以及所述客户端的分组标识;
所述确定单元,还用于基于最新的可用服务端列表,确定唯一对应所述分组标识的其他可用服务端;
调配单元,用于调配所述客户端和所述其他可用服务端配对连接,以利用所述其他可用服务端进行所述客户端的数据处理;
所述调配单元,还用于若所述客户端为多个,则从多个客户端中选取部分客户端,调配所述部分客户端和所述其他可用服务端配对连接,并保持剩余客户端与对应负载恢复正常的服务端配对连接;或者若所述客户端为一个,则调配所述客户端和所述其他可用服务端配对连接,同时保持所述客户端与对应负载恢复正常的服务端配对连接。
9.根据权利要求8所述的装置,其特征在于,
所述确定单元,还用于若异常的服务端为负载异常的服务端,则将所述可用服务端列表中的任意可用服务端,确定为唯一对应所述分组标识的其他可用服务端。
10.根据权利要求8所述的装置,其特征在于,
所述确定单元,具体用于若异常的服务端为数据处理服务异常的服务端,或者为网络异常的服务端,则将所述可用服务端列表下发给所述客户端进行选择;将所述客户端选择的新可用服务端,确定为唯一对应所述分组标识的其他可用服务端。
11.根据权利要求8-10任一项所述的装置,其特征在于,所述装置还包括:连接单元,
所述确定单元,还用于当接收到客户端发送的服务器配对请求时,基于所述服务器配对请求,确定所述客户端的分组标识,并确定唯一对应所述分组标识的可用服务端;
所述连接单元,用于对所述客户端和所述可用服务端进行配对连接,以利用所述可用服务端处理所述客户端的数据。
12.根据权利要求11所述的装置,其特征在于,
所述确定单元,具体还用于若所述服务器配对请求携带有分组标识,则将请求携带的分组标识确定为所述客户端的分组标识;或者若所述服务器配对请求携带有客户端标识,则根据所述客户端标识,从预设分组表查询所述客户端的分组标识。
13.根据权利要求8-10任一项所述的装置,其特征在于,所述装置还包括:
获取单元,用于获取所述客户端的历史数据发送情况、以及所述分布式系统中各个服务端的负载情况;
生成单元,用于根据所述历史数据发送情况和所述负载情况,生成所述客户端对应的可用服务端列表;
发送单元,用于当接收到所述客户端发送的服务器配对请求时,向控制台发送所述客户端对应的可用服务端列表,所述控制台用于展示所述客户端对应的可用服务端列表供选择,并对所述客户端和选择的可用服务端进行配对连接。
14.根据权利要13所述的装置,其特征在于,所述装置还包括:保存单元,
所述获取单元,还用于获取所述分布式系统中注册上线的客户端的标识信息,和注册上线的服务端的标识信息;
所述生成单元,还用于根据所述注册上线的客户端的标识信息,生成注册上线的客户端列表,并根据所述注册上线的服务端的标识信息,生成注册上线的服务端列表;
所述保存单元,还用于将所述注册上线的客户端列表、以及注册上线的服务端列表进行保存;
所述发送单元,还用于将所述注册上线的客户端列表、以及注册上线的服务端列表发送给所述控制台。
15.一种存储介质,其上存储有计算机程序,所述存储介质中存储有至少一可执行指令,所述执行指令使处理器执行如权利要求1-7中任一项所述的数据处理方法对应的操作。
16.一种计算机设备,包括处理器、存储器、通信接口和通信总线所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信,所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的数据处理方法对应的操作。
CN201910471719.6A 2019-05-31 2019-05-31 数据处理方法、装置、存储介质及计算机设备 Active CN110365517B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910471719.6A CN110365517B (zh) 2019-05-31 2019-05-31 数据处理方法、装置、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910471719.6A CN110365517B (zh) 2019-05-31 2019-05-31 数据处理方法、装置、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN110365517A CN110365517A (zh) 2019-10-22
CN110365517B true CN110365517B (zh) 2022-06-24

Family

ID=68215007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910471719.6A Active CN110365517B (zh) 2019-05-31 2019-05-31 数据处理方法、装置、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN110365517B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895521A (zh) * 2019-11-07 2020-03-20 浪潮电子信息产业股份有限公司 一种osd与mon的连接方法、装置、设备及存储介质
CN113592059A (zh) * 2020-04-30 2021-11-02 伊姆西Ip控股有限责任公司 用于处理数据的方法、设备和计算机程序产品
CN114189507B (zh) * 2021-12-09 2024-03-01 北京思明启创科技有限公司 一种应用屏幕控制方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320492A (zh) * 2014-11-11 2015-01-28 北京国双科技有限公司 网站服务器调度方法和装置
CN106657354A (zh) * 2016-12-29 2017-05-10 努比亚技术有限公司 一种负载均衡装置和方法
CN108668101A (zh) * 2018-08-08 2018-10-16 广州视源电子科技股份有限公司 视频会议方法、装置和系统
CN109286663A (zh) * 2018-09-14 2019-01-29 郑州云海信息技术有限公司 一种分布式系统业务分配方法、装置及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320492A (zh) * 2014-11-11 2015-01-28 北京国双科技有限公司 网站服务器调度方法和装置
CN106657354A (zh) * 2016-12-29 2017-05-10 努比亚技术有限公司 一种负载均衡装置和方法
CN108668101A (zh) * 2018-08-08 2018-10-16 广州视源电子科技股份有限公司 视频会议方法、装置和系统
CN109286663A (zh) * 2018-09-14 2019-01-29 郑州云海信息技术有限公司 一种分布式系统业务分配方法、装置及设备

Also Published As

Publication number Publication date
CN110365517A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110365517B (zh) 数据处理方法、装置、存储介质及计算机设备
CN108234630B (zh) 基于分布式一致性协议实现的数据读取方法及装置
CN107592237B (zh) 一种混合云的资源监控方法及系统
CN110505319A (zh) 一种rs485从设备地址自动分配方法及系统
CN112015544A (zh) 一种k8s集群的负载均衡方法、装置、设备及存储介质
CN111327647A (zh) 一种容器对外提供服务的方法、装置及电子设备
CN111597024B (zh) 跨域集群处理方法、装置、电子设备及存储介质
JP6719640B2 (ja) マルチネットワークコンバージェンス方法と装置
CN111526038B (zh) 业务请求分发方法、装置、计算机设备及可读存储介质
CN113535319A (zh) 一种实现多rdma网卡虚拟化的方法、设备及存储介质
CN112579515A (zh) 线程消息处理方法及相关产品
WO2016095644A1 (zh) 数据库的高可用解决方法和装置
CN106254515A (zh) 一种存储系统的负载均衡方法及设备
EP3481099B1 (en) Load balancing method and associated device
CN102148760B (zh) Id申请方法、装置及系统
CN109032787B (zh) 一种任务分配方法及装置
CN104253702A (zh) 一种终端管理方法和系统
KR100619424B1 (ko) 동적 번랙 모니터 리스너 서버
CN111092952A (zh) 一种数据交互方法及相关产品
CN111385324A (zh) 一种数据通信方法、装置、设备和存储介质
CN103188309A (zh) 一种分布式系统中服务获取方法
CN105939278B (zh) 一种流量处理方法及装置
CN111935651B (zh) 一种集群业务实现方法、装置、介质、基站及系统
CN111935029B (zh) 网关负载均衡方法和装置、存储介质及电子设备
CN106557310B (zh) 一种远程桌面管理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant