CN113177179B - 数据请求连接管理方法、装置、设备及存储介质 - Google Patents

数据请求连接管理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113177179B
CN113177179B CN202110487701.2A CN202110487701A CN113177179B CN 113177179 B CN113177179 B CN 113177179B CN 202110487701 A CN202110487701 A CN 202110487701A CN 113177179 B CN113177179 B CN 113177179B
Authority
CN
China
Prior art keywords
data
request
type
data service
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110487701.2A
Other languages
English (en)
Other versions
CN113177179A (zh
Inventor
宋朋臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Securities Co Ltd
Original Assignee
Ping An Securities Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Securities Co Ltd filed Critical Ping An Securities Co Ltd
Priority to CN202110487701.2A priority Critical patent/CN113177179B/zh
Publication of CN113177179A publication Critical patent/CN113177179A/zh
Application granted granted Critical
Publication of CN113177179B publication Critical patent/CN113177179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据请求连接管理方法、装置、设备及存储介质,涉及网络通信技术领域。该方法包括:在接收到客户端发送的连接请求时,获取连接请求对应的请求数据类型;基于预设映射关系表确定请求数据类型对应的可选数据服务地址;根据各数据服务反馈的负载信息从可选数据服务地址中确定目标数据服务地址;将目标数据服务地址发送至客户端,以使客户端基于目标数据服务地址与对应的目标数据服务建立连接。此外,本发明还涉及区块链技术,源数据可以存储在区块链内,本发明通过对数据进行分类,根据预设的映射关系将不同请求数据类型的请求分配至不同数据服务,实现服务端的负载均衡,从而提高服务端的吞吐量,以支持更多的客户端请求。

Description

数据请求连接管理方法、装置、设备及存储介质
技术领域
本发明涉及云计算技术领域,尤其涉及一种数据请求连接管理方法、装置、设备及存储介质。
背景技术
客户端在向服务端请求数据时,需要先基于TCP协议建立客户端与服务端之间的连接,但现有的连接方法在请求的数据量较大时,服务端的数据处理效率较低。例如,若多个业务请求同时连接一个数据服务,则该数据服务在反馈当前业务请求时,无法反馈另一个业务请求,从而导致其他业务请求反馈的数据量延迟变大,从而降低服务端的数据处理效率。因此,如何提高服务端对数据请求的处理效率是亟待解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种数据请求连接管理方法、装置、设备及存储介质,旨在解决现有技术中服务端对数据请求的处理效率低的技术问题。
为实现上述目的,本发明提供一种数据请求连接管理方法,数据请求连接管理方法包括以下步骤:
在接收到客户端发送的连接请求时,获取连接请求对应的请求数据类型;
基于预设映射关系表确定请求数据类型对应的可选数据服务地址;
根据各数据服务反馈的负载信息从可选数据服务地址中确定目标数据服务地址;
将目标数据服务地址发送至客户端,以使客户端基于目标数据服务地址与对应的目标数据服务建立连接。
进一步的,基于预设映射关系表确定请求数据类型对应的可选数据服务地址之前,还包括:
接收各数据服务反馈的负载信息;
在各数据服务中存在负载信息为过载的第一类数据服务时,获取第一类数据服务的历史请求记录;
将历史请求记录对应的请求数据类型中请求次数大于预设次数的请求数据类型作为第一类请求数据类型;
根据第一类请求数据类型生成服务创建指令,并将服务创建指令发送至服务端,以使服务端根据服务创建指令创建与第一类请求数据类型对应的第二类数据服务;
根据第一类请求数据类型和第二类数据服务生成预设映射关系表。
进一步的,根据第一类请求数据类型生成服务创建指令,包括:
确定第一类请求数据类型对应的源数据的数据量;
在数据量大于预设数据量时,根据预设数据类型字典确定第一类请求数据类型对应的子数据类型;
根据子数据类型对源数据进行划分,获得多个子数据集;
根据子数据类型和子数据集生成服务创建指令。
进一步的,接收各数据服务反馈的负载信息之后,还包括:
在各数据服务中存在负载信息为轻载的第三类数据服务时,将各第三类数据服务对应的请求数据类型作为第二类请求数据类型;
根据第二类请求数据类型名称生成服务合并指令,并将服务合并指令发送至服务端,以使服务端根据服务合并指令将各第三类数据服务合并成第四类数据服务;
根据第二类请求数据类型和第四类数据服务生成预设映射关系表。
进一步的,根据各数据服务反馈的负载信息从可选数据服务地址中确定目标数据服务地址包括:
在请求数据类型对应的数据请求的数量为多个时,获取各数据请求对应的允许时延值;
根据各数据服务反馈的负载信息从可选数据服务地址中确定待匹配数据服务地址,待匹配数据服务地址的数量与数据请求的数量相等;
根据允许时延值,将各数据请求与待匹配数据服务地址进行匹配,获得各数据请求对应的目标数据服务地址。
进一步的,将目标数据服务地址发送至客户端,以使客户端基于目标数据服务地址与对应的目标数据服务建立连接之后,还包括:
接收服务端反馈的目标数据服务的状态信息;
在状态信息为异常时,获取请求数据类型对应的备选数据服务地址;
将备选数据服务地址发送至客户端,以使客户端基于备选数据服务地址与重新建立连接。
进一步的,将目标数据服务地址发送至客户端,以使客户端基于目标数据服务地址与对应的目标数据服务建立连接之后,还包括:
在接收到断线指令时,确定断线指令对应的第五类数据服务;
获取第五类数据服务对应的当前数据请求;
基于预设映射关系表确定当前数据请求对应的迁移数据服务地址,并根据迁移数据服务地址生成迁移指令;
将迁移指令发送至服务端,以使服务端断开第五类数据服务的服务连接,将当前数据请求迁移至迁移数据服务地址。
此外,为实现上述目的,本发明还提出一种数据请求连接管理装置,数据请求连接管理装置包括:
接收模块,用于在接收到客户端发送的连接请求时,获取连接请求对应的请求数据类型;
查询模块,用于基于预设映射关系表确定请求数据类型对应的可选数据服务地址;
选择模块,用于根据各数据服务反馈的负载信息从可选数据服务地址中确定目标数据服务地址;
反馈模块,用于将目标数据服务地址发送至客户端,以使客户端基于目标数据服务地址与对应的目标数据服务建立连接。
此外,为实现上述目的,本发明还提出一种数据请求连接管理设备,数据请求连接管理设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的数据请求连接管理程序,数据请求连接管理程序被处理器执行时实现如上文所述的数据请求连接管理方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,存储介质上存储有数据请求连接管理程序,数据请求连接管理程序被处理器执行时实现如上文所述的数据请求连接管理方法的步骤。
在本发明中,在接收到客户端发送的连接请求时,获取连接请求对应的请求数据类型;基于预设映射关系表确定请求数据类型对应的可选数据服务地址;根据各数据服务反馈的负载信息从可选数据服务地址中确定目标数据服务地址;将目标数据服务地址发送至客户端,以使客户端基于目标数据服务地址与对应的目标数据服务建立连接。在本发明中,源数据可以存储在区块链内,通过对数据进行分类,根据预设的映射关系将不同请求数据类型的请求分配至不同数据服务,实现服务端的负载均衡,从而提高服务端的吞吐量,以支持更多的客户端请求。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的数据请求连接管理设备的结构示意图;
图2为本发明数据请求连接管理方法第一实施例的流程示意图;
图3为本发明数据请求连接管理方法第二实施例的流程示意图;
图4为本发明数据请求连接管理方法第三实施例的流程示意图;
图5为本发明数据请求连接管理方法第四实施例的流程示意图;
图6为本发明数据请求连接管理装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的数据请求连接管理设备结构示意图。
如图1所示,该数据请求连接管理设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口、无线接口,对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory,RAM)存储器,也可以是稳定的存储器(Non-volatileMemory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对数据请求连接管理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据请求连接管理程序。
在图1所示的数据请求连接管理设备中,网络接口1004主要用于连接后台服务器,与所述后台服务器进行数据通信;用户接口1003主要用于连接用户设备;所述数据请求连接管理设备通过处理器1001调用存储器1005中存储的数据请求连接管理程序,并执行本发明实施例提供的数据请求连接管理方法。
基于上述硬件结构,提出本发明数据请求连接管理方法的实施例。
参照图2,图2为本发明数据请求连接管理方法第一实施例的流程示意图,提出本发明数据请求连接管理方法第一实施例。
在第一实施例中,数据请求连接管理方法包括以下步骤:
步骤S10:在接收到客户端发送的连接请求时,获取连接请求对应的请求数据类型。
应理解的是,本实施例的执行主体是为前述数据请求连接管理设备,该数据请求连接管理设备具有数据处理、数据通信及程序运行等功能,所述数据请求连接管理设备可以为电脑或服务器等计算机设备,当然,还可为其他具有相似功能的设备,本实施方式对此不加以限制。
需要说明的是,数据请求连接管理设备可以为独立于客户端与服务端的设备。连接请求是指客户端在需要发起数据请求时,先向数据请求连接管理设备提交的请求,客户端再根据数据请求连接管理设备反馈的信息向服务端发起数据请求。请求数据类型是指客户端根据数据请求所需要获取的源数据对应的数据类型。为进一步保证上述源数据的私密和安全性,上述源数据还可以存储于一区块链的节点中。
在本实施方式中,服务端基于数据类型对可提供的源数据进行分类;数据类型可以为图片数据或者视频数据;数据类型还可以为游戏动画数据、游戏互动数据或者游戏背包数据。数据类型的具体名称可以根据需求进行设置,本实施方式对此不加以限制。
在具体实现时,客户端将请求数据类型写入至连接请求中,数据请求连接管理设备在接收到连接请求时,可直接提取请求数据类型,获得连接请求对应的请求数据类型。此外,为提高客户端的访问效率,连接请求中允许携带多个请求数据类型,客户端可以一次性将所需要的请求数据类型发送至数据请求连接管理设备。
步骤S20:基于预设映射关系表确定请求数据类型对应的可选数据服务地址。
需要说明的是,服务端设置有多个数据服务以提供数据服务,客户端与数据服务连接后,可获取数据服务所能提供的数据类型。通常,各数据服务可以提供多种数据类型,各数据服务之间也可提供重复的数据类型。例如,数据服务A可提供数据类型a、b、c;数据服务B可提供数据类型d、e、f;数据服务C可提供数据类型a、d、g。
预设映射关系表中包含了各数据服务对应的数据服务地址与各数据类型之间的对应关系,数据服务地址可以为IP地址。数据请求连接管理设备在确定连接请求对应的请求数据类型后,通过查询预设映射关系表确定请求数据类型对应的可选数据服务地址。例如,若请求数据类型为a,则对应的可选数据服务地址为数据服务A、C所分别对应的IP地址。
步骤S30:根据各数据服务反馈的负载信息从可选数据服务地址中确定目标数据服务地址。
需要说明的是,负载信息用于表征数据服务的负载压力状况,数据服务内部可集成负载计算单元,负载计算单元根据数据服务的CPU状态信息,数据通讯量,连接客户端数量、使用内存等参数计算得到负载结果,将负载结果作为负载信息发送至数据请求连接管理设备。为了降低数据服务的运算压力,负载计算单元还可以直接设置在数据请求连接管理设备中。
在具体实现时,数据请求连接管理设备根据负载信息及预设的负载阈值确定各可选数据服务的负载状态。例如,负载信息可包括负载压力比,负载阈值可设置25%和75%两个界限,在负载压力比小于25%时,认定数据服务处于轻载状态,在负载压力比大于25%,小于75%时,认定数据服务处于正常负载状态,在负载压力比大于75%时,认定数据服务处于过载状态。
为实现对服务端的负载均衡,数据请求连接管理设备可将可选数据服务地址中负载压力比最小的数据服务地址作为目标数据服务地址。当然,还可以采用其他策略,如将可选数据服务地址中处于轻载状态下具有最小客户端连接数量的数据服务地址作为目标数据服务地址。目标数据服务地址的具体确定策略可以根据需要进行设备,本实施方式对此不加以限制。
步骤S40:将目标数据服务地址发送至客户端,以使客户端基于目标数据服务地址与对应的目标数据服务建立连接。
可以理解的是,客户端接收到目标数据服务地址后,向目标数据服务地址发起数据获取请求,以建立与目标数据服务之间的连接。若客户端所要求的请求数据类型为多个,则目标数据服务地址包括多个IP地址,客户端根据自身需求依次对各IP地址进行访问,获取相应的数据。
在第一实施例中,在接收到客户端发送的连接请求时,获取连接请求对应的请求数据类型;基于预设映射关系表确定请求数据类型对应的可选数据服务地址;根据各数据服务反馈的负载信息从可选数据服务地址中确定目标数据服务地址;将目标数据服务地址发送至客户端,以使客户端基于目标数据服务地址与对应的目标数据服务建立连接。在本实施例中,源数据可以存储在区块链内,通过对数据进行分类,根据预设的映射关系将不同请求数据类型的请求分配至不同数据服务,实现服务端的负载均衡,从而提高服务端的吞吐量,以支持更多的客户端请求。
参照图3,图3为本发明数据请求连接管理方法第二实施例的流程示意图,基于上述第一实施例,提出本发明数据请求连接管理方法的第二实施例。
在第二实施例中,所述步骤S20之前,还包括:
步骤S11:接收各数据服务反馈的负载信息。
在具体实现时,数据服务可以根据按照预设的时间间隔向数据请求连接管理设备反馈信息,当然也可以实时反馈。负载信息可以包括负载状态、负载压力比以及数据服务的运行信息,如CPU状态信息,数据通讯量,连接客户端数量、使用内存等。
步骤S12:在各数据服务中存在负载信息为过载的第一类数据服务时,获取第一类数据服务的历史请求记录。
参考第一实施例,数据请求连接管理设备可根据负载压力比及负载阈值判断各数据服务的负载状态。当数据服务过载时,说明该数据服务提供的数据属于高频访问数据,为保证数据服务的处理效率,可以考虑对该数据服务进行拓展。
需要说明的是,历史请求记录是指数据服务在过去一段时间内的访问记录,该访问记录中记载各每次数据请求所获取的请求数量类型。数据请求连接管理设备设置有记录单元,记录单元可向客户端反馈的数据服务地址进行记录,从而获得历史请求记录。或者,数据请求连接管理设备向各数据服务发起查询命令读取各数据服务的日志信息,从而获得历史请求记录。具体的时间段可以根据需求进行设置,如7天、2天等,本实施方式对此不加以限制。
步骤S13:将历史请求记录对应的请求数据类型中请求次数大于预设次数的请求数据类型作为第一类请求数据类型。
可以理解的是,各数据服务通常可提供多种数据类型的源数据,在历史请求记录中请求次数大于预设次数的请求数据类型通常为高频访问数据,其中,预设次数可以根据需要进行设置,如50次、10次等,本实施方式对此不加以限制。
步骤S14:根据第一类请求数据类型生成服务创建指令,并将服务创建指令发送至服务端,以使服务端根据服务创建指令创建与第一类请求数据类型对应的第二类数据服务。
客户端对该高频访问数据发起的数据请求为该数据服务带来了较大的处理压力,为降低数据服务的处理压力,分散数据请求的数量,以提高数据服务的处理效率,本实施方式为该高频访问数据单独创建对应数据服务。
需要说明的是,服务端在接收到服务创建指令时,从服务创建指令中获取第一类请求数据类型,同时根据第一类请求数据类型对应的源数据的存储地址创建新的数据服务,数据服务的创建方式已有成熟技术,本实施方式在此不在赘述。
进一步的,为保证创建的第二类数据服务不会轻易过载,根据第一类请求数据类型生成服务创建指令的过程可以为:确定第一类请求数据类型对应的源数据的数据量;在数据量大于预设数据量时,根据预设数据类型字典确定第一类请求数据类型对应的子数据类型;根据子数据类型对源数据进行划分,获得多个子数据集;根据子数据类型和子数据集生成服务创建指令。
需要说明的是,预设数据类型字典从概念的高低定义了各种数据类型对应的名称,例如,数据类型可以为图片数据,其对应的子数据类型可以包括:人体图片数据、动物图片数据、植物图片数据或者建筑图片数据等。在图片数据的数据量较大时,单独设置对应的第二类数据服务为客户端提供图片数据,可能仍然会出现过载情况。因此,本实施方式先对图片数据进行分类,再对分类后的数据分别创建对应的数据服务。
例如,服务器可分别创建提供人体图片数据的数据服务、提供动物图片数据的数据服务、提供植物图片数据的数据服务以及提供建筑图片数据的数据服务。当然,还可以根据各类图片数据的数据量创建数据服务,例如,分别创建提供人体图片数据的数据服务、提供动物图片数据、植物图片数据以及建筑图片数据的数据服务。
步骤S15:根据第一类请求数据类型和第二类数据服务生成预设映射关系表。
可以理解的是,数据请求连接管理设备为了准确向客户端反馈对应的数据服务地址,在服务端创建新的数据服务之后,需要对映射关系表进行更新。具体的,获取原预设映射关系表,对原预设映射关系表中第一类请求数据类型对应的数据服务中新增第二类数据服务,生成新的预设映射关系表。或者,在原预设映射关系表新增子数据类型与第二类数据服务之间的对应关系。
在本实施例中,为了充分利用服务端的网络资源,还可以对数据服务进行合并处理。在具体实现时,在各数据服务中存在负载信息为轻载的第三类数据服务时,将各第三类数据服务对应的请求数据类型作为第二类请求数据类型;根据第二类请求数据类型名称生成服务合并指令,并将服务合并指令发送至服务端,以使服务端根据服务合并指令将各第三类数据服务合并成第四类数据服务;根据第二类请求数据类型和第四类数据服务生成预设映射关系表。
数据服务的负载状态的判断可参考第一实施例,在此不在赘述。第三类数据服务的数量为多个,相应的第二类请求数据也包括多个数据类型。服务端根据服务合并指令确定各数据类型对应的源数据的存储地址,以创建第四类数据服务。在创建第四类数据服务之后,服务端可以将各第三类数据服务进行释放。
需要说明的是,若第三类数据服务的数量为一个,此时可以不进行合并;或者从负载状态为正常负载的数据服务中选择负载压力比最低的数据服务与第三类数据服务进行合并。当然,还应当考虑第三类数据服务和正常负载中选择负载压力比最低的数据服务合并后,是否会过载。具体的,可以将两者的负载压力比相加,判断相加后的负载压力比是否大于预设值,若是,则不合并;若否,则合并。
在第二实施例中,数据请求连接管理设备接收各数据服务反馈的负载信息,根据负载信息确定各数据服务的实际负载状态;在数据服务的负载过高时,对数据服务所提供的源数据进行分类,创建新的数据服务,分担负载压力;在数据服务的负载较低时,将数据服务进行合并,充分利用服务端资源。
参照图4,图4为本发明数据请求连接管理方法第三实施例的流程示意图,基于上述第一实施例和第二实施例,提出本发明数据请求连接管理方法的第三实施例。
在第三实施例中,所述步骤S30,包括:
步骤S301:在请求数据类型对应的数据请求的数量为多个时,获取各数据请求对应的允许时延值。
需要说明的是,数据请求连接管理设备可同时服务多个客户端,由于各客户端对数据的要求不同,对请求数据的反馈延时的要求也不同。为更好地为客户端提供数据请求服务,同时保证请求处理效率,本实施方式可针对不同客户端的时延情况反馈不同的数据服务地址。
在具体实现时,客户端可在连接请求中写设备识别码,数据请求连接管理设备根据设备识别码确定客户端的设备类型;再根据预设的时延表确定各设备类型对应的允许时延值,从而获取各数据请求对应的允许时延值。当然,允许时延值还可以采用其他方式获取,本实施方式对此不加以限制。
步骤S302:根据各数据服务反馈的负载信息从可选数据服务地址中确定待匹配数据服务地址,待匹配数据服务地址的数量与数据请求的数量相等。
需要说明的是,在数据请求的数量为多个时,直接将请求数据类型对应的数据服务地址返回至各客户端时,会造成数据服务短时间内处理效率降低,影响各数据请求的反馈时长。因此,本实施方式可根据数据请求的数量按照从小到大的顺序从可选数据服务地址中选择相应数量的待匹配数据服务地址。
例如,若数据请求的数量为3个,则将可选数据服务地址中负载压力比最低的3个数据服务地址作为待匹配数据服务地址。当然,若可选数据服务地址只有2个,即可选数据服务地址的数量小于数据请求的数量时,将所有可选数据服务地址作为待匹配数据服务地址。
步骤S303:根据允许时延值,将各数据请求与待匹配数据服务地址进行匹配,获得各数据请求对应的目标数据服务地址。
可以理解的是,为满足不同客户端对时延的要求,对于允许时延值较低的客户端需要反馈负载压力比最低的数据服务地址,对于允许时延值较高的客户端需要反馈负载压力比较高的数据服务地址。
在可选数据服务地址的数量小于数据请求的数量时,可根据各可选数据服务地址的负载压力比及各数据请求对应的时延值确定各可选数据服务地址对应的数据请求。例如,可选数据服务地址包括A、B、C、D,数据请求包括a、b、c、d、e、f、g;根据负载压力比及时延值进行分配计算,可确定对应关系为数据服务地址A对应数据请求a;数据服务地址B对应数据请求b;数据服务地址C对应数据请求c、d;数据服务地址D对应数据请求e、f、g。
在第三实施例中,数据请求连接管理设备根据各可选数据服务地址的负载压力比及各数据请求对应的时延值确定反馈至各客户端的数据服务地址;避免数据服务短时内的负载增大,实现服务端的负载均衡。
参照图5,图5为本发明数据请求连接管理方法第四实施例的流程示意图,基于上述第一实施例、第二实施例和第三实施例,提出本发明数据请求连接管理方法的第四实施例。
在第四实施例中,步骤S40之后,还包括:
步骤S50:在接收到断线指令时,确定断线指令对应的第五类数据服务。
需要说明的是,数据请求连接管理设备具有人工干预功能,管理者可以对各数据服务的连接进行控制,包括断线操作等,管理者可以基于数据请求连接管理设备所提供的预设交互界面输入断线指令。第五类数据服务是指管理者需要执行断线操作的数据服务,断线指令中可以携带有第五类数据服务的标识或者名称等,数据请求连接管理设备在接收到断线指令时,从断线指令中提取相应的标识或者名称,以确定对应的第五类数据服务。
步骤S60:获取第五类数据服务对应的当前数据请求。
可以理解的是,各数据服务需要对不同数据请求进行响应,当前数据请求包括第五类数据服务正在处理的数据请求,还可以包括等待处理的数据请求。
数据请求连接管理设备可对向客户反馈的数据服务地址进行记录,再通过读取该记录可确定第五类数据服务对应的当前数据请求。当然,数据请求连接管理设备还可以先向第五类数据服务发送连接查询命令,以使第五类数据服务反馈相应的当前数据请求。
步骤S70:基于预设映射关系表确定当前数据请求对应的迁移数据服务地址,并根据迁移数据服务地址生成迁移指令。
可以理解的是,服务端通常能够为每种数据类型提高多个数据服务,因此,当数据请求连接管理设备接收到断线指令后,先确定各数据请求对应的数据类型,再根据预设映射关系表确定各数据类型对应的替代数据服务地址。
需要说明的是,各数据类型对应的替代数据服务地址可能也存在多个,因此,可进一步根据替换数据服务所对应的负载情况从替代数据服务地址中确定迁移数据服务地址;再根据迁移数据服务地址生成迁移指令。具体的确定方式可以参考第一实施例,本实施方式在此不再赘述。
步骤S80:将迁移指令发送至服务端,以使服务端断开第五类数据服务的服务连接,将当前数据请求迁移至迁移数据服务地址。
服务端在接收到迁移指令时,从迁移指令中确定第五类数据服务、当前数据请求以及迁移数据服务地址等信息。服务端根据预设的迁移程序将当前数据请求迁移至迁移数据服务地址,从而断开第五类数据服务。具体的迁移方法已有成熟技术,本实施方式在此不在赘述。
在具体实现时,对于与第五类数据服务处于连接中的当前数据请求,服务端可以获取第五类数据服务已提供的数据信息,并将该数据信息传输至迁移数据服务。例如,第五类数据服务已经为连接中的当前数据请求提供了50%的数据,则服务端将该50%的数据对应的存储位置信息发送至迁移数据服务,是迁移数据服务在已提供的数据基础上,完成剩余的数据传输,避免迁移造成客户端重新获取全部数据。
此外,为进一步对各数据服务进行有效管理,在第四实施例中,步骤S40之后,还可以包括:接收服务端反馈的目标数据服务的状态信息;在状态信息为异常时,获取请求数据类型对应的备选数据服务地址;将备选数据服务地址发送至客户端,以使客户端基于备选数据服务地址与重新建立连接。
需要说明的是,目标数据服务是指服务端中与客户端建立连接的数据服务,数据服务可设置自检单元,自检单元可对数据服务的运行状态进行检测,在其异常时,生产异常信息。通常,数据服务在源数据丢失、与客户端连接中断等情况时,判断出现异常。当然,异常情况的判定可以根据需求进行设置,本实施方式对此不加以限制。
可以理解的是,在数据服务发生异常时,需要对异常数据服务的数据请求进行处理。同样,可以参照前述迁移控制流程,数据请求连接管理设备可以对异常数据服务对应的数据请求进行迁移,或者数据请求连接管理设备向客户端反馈可连接的备选数据服务地址,其客户端进行连接控制。其中,备选数据服务地址的确定方式可以参照前述迁移数据服务地址的确定方式,本实施方式再次不在赘述。
在第四实施例中,数据请求连接管理设备可根据管理者的命令对相关的数据请求进行迁移;还可以在检测到数据服务出现异常时,向客户端推送备选信息,以重新建立连接。本实施方式通过人工控制或者自动控制等方式,对数据服务的运行进行控制,可灵活地客户端与服务端之间的连接进行配置,使服务端更便于管理。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有数据请求连接管理程序,所述数据请求连接管理程序被处理器执行时实现如上文所述的数据请求连接管理方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
此外,参照图6,图6为本发明数据请求连接管理装置第一实施例的结构框图,本发明实施例还提出一种数据请求连接管理装置。
在本实施例中,数据请求连接管理装置包括:
接收模块10,用于在接收到客户端发送的连接请求时,获取连接请求对应的请求数据类型。
查询模块20,用于基于预设映射关系表确定请求数据类型对应的可选数据服务地址。
选择模块30,用于根据各数据服务反馈的负载信息从可选数据服务地址中确定目标数据服务地址;
反馈模块40,用于将目标数据服务地址发送至客户端,以使客户端基于目标数据服务地址与对应的目标数据服务建立连接。
在本实施例中,接收模块10在接收到客户端发送的连接请求时,获取连接请求对应的请求数据类型;查询模块20基于预设映射关系表确定请求数据类型对应的可选数据服务地址;选择模块30根据各数据服务反馈的负载信息从可选数据服务地址中确定目标数据服务地址;反馈模块40将目标数据服务地址发送至客户端,以使客户端基于目标数据服务地址与对应的目标数据服务建立连接。本实施例源数据可以存储在区块链内,通过对数据进行分类,根据预设的映射关系将不同请求数据类型的请求分配至不同数据服务,实现服务端的负载均衡,从而提高服务端的吞吐量,以支持更多的客户端请求。
在一实施例中,数据请求连接管理装置还包括映射表生成模块,映射表生成模块用于接收各数据服务反馈的负载信息;在各数据服务中存在负载信息为过载的第一类数据服务时,获取第一类数据服务的历史请求记录;将历史请求记录对应的请求数据类型中请求次数大于预设次数的请求数据类型作为第一类请求数据类型;根据第一类请求数据类型生成服务创建指令,并将服务创建指令发送至服务端,以使服务端根据服务创建指令创建与第一类请求数据类型对应的第二类数据服务;根据第一类请求数据类型和第二类数据服务生成预设映射关系表。
在一实施例中,映射表生成模块,还用于确定第一类请求数据类型对应的源数据的数据量;在数据量大于预设数据量时,根据预设数据类型字典确定第一类请求数据类型对应的子数据类型;根据子数据类型对源数据进行划分,获得多个子数据集;根据子数据类型和子数据集生成服务创建指令。
在一实施例中,映射表生成模块,还用于在各数据服务中存在负载信息为轻载的第三类数据服务时,将各第三类数据服务对应的请求数据类型作为第二类请求数据类型;根据第二类请求数据类型名称生成服务合并指令,并将服务合并指令发送至服务端,以使服务端根据服务合并指令将各第三类数据服务合并成第四类数据服务;根据第二类请求数据类型和第四类数据服务生成预设映射关系表。
在一实施例中,选择模块30,还用于在请求数据类型对应的数据请求的数量为多个时,获取各数据请求对应的允许时延值;根据各数据服务反馈的负载信息从可选数据服务地址中确定待匹配数据服务地址,待匹配数据服务地址的数量与数据请求的数量相等;根据允许时延值,将各数据请求与待匹配数据服务地址进行匹配,获得各数据请求对应的目标数据服务地址。
在一实施例中,数据请求连接管理装置还包括检测模块,检测模块用于接收服务端反馈的目标数据服务的状态信息;在状态信息为异常时,获取请求数据类型对应的备选数据服务地址;将备选数据服务地址发送至客户端,以使客户端基于备选数据服务地址与重新建立连接。
在一实施例中,数据请求连接管理装置还包括断线模块,断线模块在接收到断线指令时,确定断线指令对应的第五类数据服务;获取第五类数据服务对应的当前数据请求;基于预设映射关系表确定当前数据请求对应的迁移数据服务地址,并根据迁移数据服务地址生成迁移指令;将迁移指令发送至服务端,以使服务端断开第五类数据服务的服务连接,将当前数据请求迁移至迁移数据服务地址。
本发明所述数据请求连接管理装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为名称。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image,ROM)/随机存取存储器(Random AccessMemory,RAM)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种数据请求连接管理方法,其特征在于,所述数据请求连接管理方法包括以下步骤:
在接收到客户端发送的连接请求时,获取所述连接请求对应的请求数据类型;
基于预设映射关系表确定所述请求数据类型对应的可选数据服务地址;
根据各数据服务反馈的负载信息从所述可选数据服务地址中确定目标数据服务地址,其中,所述负载信息为根据数据服务的CPU状态信息,数据通讯量,连接客户端数量、使用内存其中的一个或多个计算得到负载结果,将所述负载结果作为负载信息的步骤得到的;
将所述目标数据服务地址发送至所述客户端,以使所述客户端基于所述目标数据服务地址与对应的目标数据服务建立连接;
所述基于预设映射关系表确定所述请求数据类型对应的可选数据服务地址之前,还包括:
接收各数据服务反馈的负载信息;
在各数据服务中存在负载信息为过载的第一类数据服务时,获取所述第一类数据服务的历史请求记录;
将所述历史请求记录对应的请求数据类型中请求次数大于预设次数的请求数据类型作为第一类请求数据类型;
根据所述第一类请求数据类型生成服务创建指令,并将所述服务创建指令发送至服务端,以使所述服务端根据所述服务创建指令创建与所述第一类请求数据类型对应的第二类数据服务;
根据所述第一类请求数据类型和所述第二类数据服务生成预设映射关系表;
所述根据所述第一类请求数据类型生成服务创建指令,包括:
确定所述第一类请求数据类型对应的源数据的数据量;
在所述数据量大于预设数据量时,根据预设数据类型字典确定所述第一类请求数据类型对应的子数据类型;
根据所述子数据类型对所述源数据进行划分,获得多个子数据集;
根据所述子数据类型和所述子数据集生成服务创建指令;
所述接收各数据服务反馈的负载信息之后,还包括:
在各数据服务中存在负载信息为轻载的第三类数据服务时,将各第三类数据服务对应的请求数据类型作为第二类请求数据类型;
根据所述第二类请求数据类型名称生成服务合并指令,并将所述服务合并指令发送至服务端,以使所述服务端根据所述服务合并指令将各第三类数据服务合并成第四类数据服务;
根据所述第二类请求数据类型和所述第四类数据服务生成预设映射关系表;
所述根据各数据服务反馈的负载信息从所述可选数据服务地址中确定目标数据服务地址包括:
在所述请求数据类型对应的数据请求的数量为多个时,获取各数据请求对应的允许时延值;
根据各数据服务反馈的负载信息从所述可选数据服务地址中确定待匹配数据服务地址,所述待匹配数据服务地址的数量与所述数据请求的数量相等;
根据所述允许时延值,将各数据请求与所述待匹配数据服务地址进行匹配,获得各数据请求对应的目标数据服务地址。
2.如权利要求1所述的数据请求连接管理方法,其特征在于,所述将所述目标数据服务地址发送至所述客户端,以使所述客户端基于所述目标数据服务地址与对应的目标数据服务建立连接之后,还包括:
接收服务端反馈的所述目标数据服务的状态信息;
在所述状态信息为异常时,获取所述请求数据类型对应的备选数据服务地址;
将所述备选数据服务地址发送至所述客户端,以使所述客户端基于所述备选数据服务地址与重新建立连接。
3.如权利要求1所述的数据请求连接管理方法,其特征在于,所述将所述目标数据服务地址发送至所述客户端,以使所述客户端基于所述目标数据服务地址与对应的目标数据服务建立连接之后,还包括:
在接收到断线指令时,确定所述断线指令对应的第五类数据服务;
获取所述第五类数据服务对应的当前数据请求;
基于所述预设映射关系表确定所述当前数据请求对应的迁移数据服务地址,并根据所述迁移数据服务地址生成迁移指令;
将所述迁移指令发送至服务端,以使所述服务端断开所述第五类数据服务的服务连接,将所述当前数据请求迁移至所述迁移数据服务地址。
4.一种数据请求连接管理装置,其特征在于,所述数据请求连接管理装置包括:
接收模块,用于在接收到客户端发送的连接请求时,获取所述连接请求对应的请求数据类型;
查询模块,用于基于预设映射关系表确定所述请求数据类型对应的可选数据服务地址;
选择模块,用于根据各数据服务反馈的负载信息从所述可选数据服务地址中确定目标数据服务地址,其中,所述负载信息为根据数据服务的CPU状态信息,数据通讯量,连接客户端数量、使用内存其中的一个或多个计算得到负载结果,将所述负载结果作为负载信息的步骤得到的;
反馈模块,用于将所述目标数据服务地址发送至所述客户端,以使所述客户端基于所述目标数据服务地址与对应的目标数据服务建立连接;
所述查询模块,还用于接收各数据服务反馈的负载信息;在各数据服务中存在负载信息为过载的第一类数据服务时,获取所述第一类数据服务的历史请求记录;将所述历史请求记录对应的请求数据类型中请求次数大于预设次数的请求数据类型作为第一类请求数据类型;根据所述第一类请求数据类型生成服务创建指令,并将所述服务创建指令发送至服务端,以使所述服务端根据所述服务创建指令创建与所述第一类请求数据类型对应的第二类数据服务;根据所述第一类请求数据类型和所述第二类数据服务生成预设映射关系表;
所述查询模块,还用于确定所述第一类请求数据类型对应的源数据的数据量;在所述数据量大于预设数据量时,根据预设数据类型字典确定所述第一类请求数据类型对应的子数据类型;根据所述子数据类型对所述源数据进行划分,获得多个子数据集;根据所述子数据类型和所述子数据集生成服务创建指令;
所述查询模块,还用于在各数据服务中存在负载信息为轻载的第三类数据服务时,将各第三类数据服务对应的请求数据类型作为第二类请求数据类型;根据所述第二类请求数据类型名称生成服务合并指令,并将所述服务合并指令发送至服务端,以使所述服务端根据所述服务合并指令将各第三类数据服务合并成第四类数据服务;根据所述第二类请求数据类型和所述第四类数据服务生成预设映射关系表;
所述选择模块,还用于在所述请求数据类型对应的数据请求的数量为多个时,获取各数据请求对应的允许时延值;根据各数据服务反馈的负载信息从所述可选数据服务地址中确定待匹配数据服务地址,所述待匹配数据服务地址的数量与所述数据请求的数量相等;根据所述允许时延值,将各数据请求与所述待匹配数据服务地址进行匹配,获得各数据请求对应的目标数据服务地址。
5.一种数据请求连接管理设备,其特征在于,所述数据请求连接管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据请求连接管理程序,所述数据请求连接管理程序被所述处理器执行时实现如权利要求1至3中任一项所述的数据请求连接管理方法的步骤。
6.一种存储介质,其特征在于,所述存储介质上存储有数据请求连接管理程序,所述数据请求连接管理程序被处理器执行时实现如权利要求1至3中任一项所述的数据请求连接管理方法的步骤。
CN202110487701.2A 2021-04-30 2021-04-30 数据请求连接管理方法、装置、设备及存储介质 Active CN113177179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110487701.2A CN113177179B (zh) 2021-04-30 2021-04-30 数据请求连接管理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110487701.2A CN113177179B (zh) 2021-04-30 2021-04-30 数据请求连接管理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113177179A CN113177179A (zh) 2021-07-27
CN113177179B true CN113177179B (zh) 2023-11-21

Family

ID=76928120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110487701.2A Active CN113177179B (zh) 2021-04-30 2021-04-30 数据请求连接管理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113177179B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489497B (zh) * 2022-01-14 2024-05-28 深圳市汇川技术股份有限公司 数据映射方法、服务端以及计算机可读存储介质
CN114679496B (zh) * 2022-02-17 2024-03-22 上海生慧樘科技有限公司 一种基于云端业务处理的用户筛选方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107733991A (zh) * 2017-09-19 2018-02-23 大唐网络有限公司 一种基于OpenStack架构提供负载均衡服务实现方法
CN108200218A (zh) * 2018-03-09 2018-06-22 北京奇艺世纪科技有限公司 一种实现负载均衡的方法、装置及电子设备
CN108989370A (zh) * 2017-05-31 2018-12-11 华为软件技术有限公司 一种cdn系统中的数据存储方法、设备及系统
CN109151025A (zh) * 2018-08-22 2019-01-04 京信通信系统(中国)有限公司 基于url的负载均衡方法、装置、计算机存储介质及设备
CN109451088A (zh) * 2018-10-30 2019-03-08 新华三大数据技术有限公司 一种数据访问方法及装置
CN110191186A (zh) * 2019-06-04 2019-08-30 湖北五五互联科技有限公司 Cdn服务器调度方法、设备及计算机可读存储介质
CN112035260A (zh) * 2020-09-03 2020-12-04 平安壹钱包电子商务有限公司 服务请求处理方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989370A (zh) * 2017-05-31 2018-12-11 华为软件技术有限公司 一种cdn系统中的数据存储方法、设备及系统
CN107733991A (zh) * 2017-09-19 2018-02-23 大唐网络有限公司 一种基于OpenStack架构提供负载均衡服务实现方法
CN108200218A (zh) * 2018-03-09 2018-06-22 北京奇艺世纪科技有限公司 一种实现负载均衡的方法、装置及电子设备
CN109151025A (zh) * 2018-08-22 2019-01-04 京信通信系统(中国)有限公司 基于url的负载均衡方法、装置、计算机存储介质及设备
CN109451088A (zh) * 2018-10-30 2019-03-08 新华三大数据技术有限公司 一种数据访问方法及装置
CN110191186A (zh) * 2019-06-04 2019-08-30 湖北五五互联科技有限公司 Cdn服务器调度方法、设备及计算机可读存储介质
CN112035260A (zh) * 2020-09-03 2020-12-04 平安壹钱包电子商务有限公司 服务请求处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN113177179A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
US11175913B2 (en) Elastic application framework for deploying software
US7159036B2 (en) Updating data from a source computer to groups of destination computers
US8028085B2 (en) Optimizing message transmission and delivery in a publisher-subscriber model
JP2021526751A (ja) 自己監視ブロックチェーンのための安全な合意に基づくエンドースメント
US20100138540A1 (en) Method of managing organization of a computer system, computer system, and program for managing organization
US7634560B2 (en) Method for measuring server performance, system for measuring server performance and computer programs therefor
WO2019237594A1 (zh) 会话保持方法、装置、计算机设备及存储介质
CN113177179B (zh) 数据请求连接管理方法、装置、设备及存储介质
CN102859961B (zh) 具有自适应的文件处理的分布式视频转码系统
US8660996B2 (en) Monitoring files in cloud-based networks
CN103620578A (zh) 经由网络分割的本地云计算
US20220318071A1 (en) Load balancing method and related device
JP2003058376A (ja) 配信システム、配信サーバとその配信方法、配信プログラム
US7716678B2 (en) Processing messages in a message queueing system
US7739364B2 (en) Method and apparatus for dynamically reconfiguring a server system
US11444998B2 (en) Bit rate reduction processing method for data file, and server
CN115665162A (zh) 一种用于灰度发布的智能分流引擎
CN116301568A (zh) 一种数据访问方法、装置以及设备
US9544371B1 (en) Method to discover multiple paths to disk devices cluster wide
CN106936643B (zh) 一种设备联动方法以及终端设备
CN112769960B (zh) 一种基于Nginx服务器的主动流量控制方法及系统
CN112799849B (zh) 一种数据处理方法、装置、设备及存储介质
CN110995890B (zh) 域名请求的调度方法及装置
US7730038B1 (en) Efficient resource balancing through indirection
US20230176908A1 (en) Systems, methods and computer program products for job management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant