CN111352716A - 一种基于大数据的任务请求方法、装置、系统及存储介质 - Google Patents
一种基于大数据的任务请求方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN111352716A CN111352716A CN202010162286.9A CN202010162286A CN111352716A CN 111352716 A CN111352716 A CN 111352716A CN 202010162286 A CN202010162286 A CN 202010162286A CN 111352716 A CN111352716 A CN 111352716A
- Authority
- CN
- China
- Prior art keywords
- session
- access node
- task request
- node
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 14
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 38
- 238000005516 engineering process Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241001124156 Mecoptera Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Abstract
本发明实施例公开了一种基于大数据的任务请求方法、装置、系统及存储介质，应用于信息处理技术领域。本地接入节点会根据客户端的任务请求确定携带该任务请求对应任务的会话，如果会话不属于本地接入节点的管理，则会根据会话的会话标识确定管理会话的另一接入节点的信息，从而将会话标识与任务请求转发给另一接入节点，由另一接入节点将任务请求携带在相应会话中发送到大数据的处理中心进行处理。这样，可以通过多个接入节点同时对外服务，不同的会话分布在不同的接入节点，实现了负载均衡，且当某一接入节点发生故障，可以通过其它接入节点继续为客户端的用户服务，提高了任务请求系统的性能。
Description
技术领域
本发明涉及大数据信息处理技术领域，特别涉及一种基于大数据的任务请求方法、装置、系统及存储介质。
背景技术
随着信息的发展，在现有的大规模数据处理系统(即大数据处理系统)中，有专门的计算引擎，比如Spark集群，当用户注册了基于某一应用的大数据处理业务后，用户可以通过客户端连接到Spark集群，具体地客户端需要先连接到接入节点，然后再通过接入节点连接到Spark集群，这样，客户端就可以通过接入节点向Spark集群发起任务请求，由Spark集群来处理任务请求。
在现有技术中，连接客户端与Spark集群之间的接入节点一般都采用主备形式的节点，其中，主用节点对外提供服务，而备用节点为待服务状态，当主用节点发生故障时，备用节点启用并对外服务。这样，在大数据处理系统运行的过程中，只有一个主用节点用于客户端与Spark集群之间的交互，存在性能瓶颈。
发明内容
本发明实施例提供一种基于大数据的任务请求方法、装置、系统及存储介质，实现了任务请求系统中的多个接入节点同时对外服务。
本发明实施例一方面提供一种基于大数据的任务请求方法，包括：
接收客户端的任务请求；
根据所述任务请求确定携带所述任务请求对应任务的会话；
当所述会话不属于本地接入节点的管理时，根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息；
根据所述另一接入节点的信息，将所述任务请求及所述会话标识转发给所述另一接入节点，以便所述另一接入节点将所述任务请求携带在所述会话标识表示的会话中发送到大数据的处理中心进行处理。
在本发明实施例一方面的一种实现方式中，所述方法还包括：
当所述会话属于本地接入节点的管理时，将所述任务请求携带在所述会话中发送到大数据的处理中心进行处理。
在本发明实施例一方面的另一种实现方式中，所述本地接入节点是所述客户端从所有未发生故障的接入节点中选择的接入节点。
本发明实施例另一方面提供一种基于大数据的任务请求方法，包括：
接收客户端的任务请求；
当所述任务请求中不包括特定结构体，生成新会话的会话标识，确定携带所述任务请求对应任务的会话为所述新会话；
当所述会话不属于本地接入节点的管理时，根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息；
将所述另一接入节点的信息及所述会话标识返回给所述客户端，以便所述客户端连接到所述另一接入节点，由所述另一接入节点将所述任务请求携带在所述会话标识表示的会话中发送到大数据的处理中心进行处理。
本发明实施例另一方面的一种实现方式中，所述方法还包括：
接收另一客户端发送的查询请求，所述查询请求中包括待查询会话标识；
根据所述待查询会话标识，确定管理所述待查询会话标识对应会话的接入节点的信息；
将所述确定的接入节点的信息返回给所述另一客户端，以便所述另一客户端将任务请求发送给所述确定的接入节点，由所述确定的接入节点将所述任务请求携带在相应会话中发送到大数据的处理中心进行处理。
本发明实施例另一方面的另一种实现方式中，所述方法还包括：
将所述本地接入节点的信息注册到文件系统中特定目录下的本地临时节点，监控所述文件系统中特定目录下的所有临时节点；
当所述特定目录下加入新临时节点时，确定所述本地接入节点管理的第一会话，删除所述第一会话，所述第一会话由所述新临时节点对应的新接入节点管理；
当所述特定目录下删除任一临时节点时，确定所述任一临时节点所管理的第二会话，添加所述第二会话，所述第二会话由所述本地接入节点管理。
本发明实施例另一方面提供一种任务请求装置，包括：
任务请求单元，用于接收客户端的任务请求；
会话确定单元，用于根据所述任务请求确定携带所述任务请求对应任务的会话；
节点确定单元，用于当所述会话不属于所述任务请求装置的管理时，根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息；
转发单元，用于根据所述另一接入节点的信息，将所述任务请求及所述会话标识转发给所述另一接入节点，以便所述另一接入节点将所述任务请求携带在所述会话标识表示的会话中发送到大数据的处理中心进行处理。
本发明实施例另一方面的一种实现方式中，所述任务请求装置还包括：
处理发送单元，用于当所述确定的会话属于所述任务请求装置的管理时，将所述任务请求携带在所述会话中发送到大数据的处理中心进行处理。
本发明实施例另一方面的另一种实现方式中，所述任务请求装置还包括：
监控分配单元，用于将所述任务请求装置的信息注册到文件系统中特定目录下的本地临时节点，监控所述文件系统中特定目录下的所有临时节点；当所述特定目录下加入新临时节点时，确定所述任务请求装置管理的第一会话，删除所述第一会话，所述第一会话由所述新临时节点对应的新接入节点管理。
本发明实施例另一方面提供一种任务请求装置，包括：
请求接收单元，用于接收客户端的任务请求；
新会话确定单元，用于当所述任务请求中不包括特定结构体，生成新会话的会话标识，确定携带所述任务请求对应任务的会话为所述新会话；
管理节点确定单元，用于当所述会话不属于任务请求装置的管理时，根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息；
返回单元，用于将所述另一接入节点的信息及所述会话标识返回给所述客户端，以便所述客户端连接到所述另一接入节点，由所述另一接入节点将所述任务请求携带在所述会话标识表示的会话中发送到大数据的处理中心进行处理。
本发明实施例另一方面的一种实现方式中，所述任务请求装置还包括：
查询发送单元，用于接收另一客户端发送的查询请求，所述查询请求中包括待查询会话标识；根据所述待查询会话标识，确定管理所述待查询会话标识对应会话的接入节点的信息；将所述确定的接入节点的信息返回给所述另一客户端，以便所述另一客户端将任务请求发送给所述确定的接入节点，由所述确定的接入节点将所述任务请求携带在相应会话中发送到大数据的处理中心进行处理。
本发明实施例另一方面的另一种实现方式中，所述任务请求装置还包括：
监控单元，用于将所述任务请求装置的信息注册到文件系统中特定目录下的本地临时节点，监控所述文件系统中特定目录下的所有临时节点；当所述特定目录下加入新临时节点时，确定所述任务请求装置管理的第一会话，删除所述第一会话，所述第一会话由所述新临时节点对应的新接入节点管理；当所述特定目录下删除任一临时节点时，确定所述任一临时节点所管理的第二会话，添加所述第二会话，所述第二会话由所述任务请求装置管理。
本发明实施例另一方面提供一种计算机可读存储介质，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如本发明实施例所述的基于大数据的任务请求方法。
本发明实施例另一方面提供一种服务器，包括处理器和存储器；
所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如本发明实施例所述的基于大数据的任务请求方法；所述处理器，用于实现所述多个计算机程序中的各个计算机程序。
本发明实施例另一方面提供一种基于大数据的任务请求系统，包括多个接入节点，所述任一接入节点是如本发明实施例所述的任务请求装置，或如本发明实施例所述的服务器。
这样，可以通过多个接入节点同时对外服务，不同的会话分布在不同的接入节点，实现了负载均衡，且当某一接入节点发生故障，可以通过其它接入节点继续为客户端的用户服务，提高了任务请求系统的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种任务请求系统的示意图；
图1b是本发明实施例提供的另一种任务请求系统的示意图；
图1c是本发明实施例提供的又一种任务请求系统的示意图；
图2是本发明一个实施例提供的一种任务请求方法的流程图；
图3是本发明一个实施例中一致性哈希环的示意图；
图4是本发明另一个实施例提供的一种任务请求方法的流程图；
图5是本发明应用实施例中文件系统的示意图；
图6a是本发明一个应用实施例中一种任务请求方法的流程图；
图6b是本发明一个应用实施例中文件系统的一种配置示意图；
图6c是本发明一个应用实施例中文件系统的另一种配置示意图；
图7是本发明另一个应用实施例中一种任务请求方法的流程图；
图8是本发明实施例提供的一种任务请求装置的结构示意图；
图9是本发明实施例提供的另一种任务请求装置的结构示意图；
图10是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供一种基于大数据的任务请求方法，主要可以应用于如图1a、图1b或图1c所示的任务请求系统，每一种任务请求系统都可以包括：客户端、多个接入节点(图中以n个接入节点为例说明)和大数据的处理中心，其中，当用户注册了大数据的服务，则可以通过客户端向大数据的处理中心发起任务请求；接入节点用于负责客户端与大数据的处理中心之间的交互，多个接入节点同时对外服务；而大数据的处理中心用于对任务请求进行处理。
在如图1a所示的系统中，还包括独立于接入节点的其它节点(如图1a中的节点1到节点m)，这些节点用于部署文件系统，而文件系统用于储存在任务请求过程中使用的数据，具体地可以采用分布式文件系统，分布于独立于接入节点的多个节点上。
在如图1b所示的系统中包括的分布式文件系统分布在全部或部分的接入节点上(图中以部署在m个接入节点为例说明，m小于上述n)，每个接入节点上部署一个文件子系统。
在其它情况下，如图1c所示的系统，文件系统一部分部署在接入节点上，另一部分部署在独立于接入节点的其它节点上。比如在m1个接入节点上分别部署文件子系统，而用另外的独立于接入节点的m2个节点部署其它的文件系统，每个节点可以对应一个文件子系统。
具体地，任务请求系统中的任一接入节点(比如本地接入节点)可以按照如下的两种方式来实现任务请求的过程：
在一种实现方式中，接收客户端的任务请求；根据所述任务请求确定携带所述任务请求对应任务的会话；当所述会话不属于本地接入节点的管理时，根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息；根据所述另一接入节点的信息，将所述任务请求及所述会话标识转发给所述另一接入节点，以便所述另一接入节点将所述任务请求携带在所述会话标识表示的会话中发送到大数据的处理中心进行处理。
在另一种实现方式中，接收客户端的任务请求；当所述任务请求中不包括特定结构体，生成新会话的会话标识，确定携带所述任务请求对应任务的会话为所述新会话；当所述会话不属于本地接入节点的管理时，根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息；将所述另一接入节点的信息及所述会话标识返回给所述客户端，以便所述客户端连接到所述另一接入节点，由所述另一接入节点将所述任务请求携带在所述会话标识表示的会话中发送到大数据的处理中心进行处理。
这样，可以通过多个接入节点同时对外服务，不同的会话分布在不同的接入节点，实现了负载均衡，且当某一接入节点发生故障，可以通过其它接入节点继续为客户端的用户服务，提高了任务请求系统的性能。
在具体的实施例中，上述接入节点可以为livy节点，而大数据的处理中心可以为spark集群，而文件系统可以包括ZooKeeper，还可以包括分布式文件系统(DistributedFileSystem)，其中，分布式文件系统可以是Hadoop分布式文件系统(HDFS)等，用于储存较大量的数据，而ZooKeeper用于储存较小量的数据，文件系统中各个节点之间通过一定的方式同步储存的信息。
可见，本发明实施例的任务请求系统主要基于云技术中大数据的处理技术，其中，云技术(Cloud technology)是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
而云计算(cloud computing)指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(DistributedComputing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(NetworkStorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
本发明实施例中的大数据(Big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。而本实施例中的大数据处理中心可以指专为大规模数据处理而设计的快速通用的计算处理中心，可以对客户端发起的任务请求进行处理，广泛应用于数据处理和应用分析等。
本发明一个实施例提供一种基于大数据的任务请求方法，主要是由上述图1a、图1b或图1c所示的任务请求系统中的任一接入节点(比如下述的本地接入节点)所执行的方法，在本实施例中客户端与接入节点之间可以采用传输架构(Representational StateTransfer，REST)连接方式，而多个接入节点之间可以有重定向的连接，本实施例的方法流程图如图2所示，包括：
步骤101，接收客户端的任务请求。
可以理解，当用户注册了某一业务的大数据服务后，就可以操作客户端，使得客户端可以根据用户操作查看任务请求系统中所有未发生故障的接入节点，这样，用户可以选择其中任一接入节点，与该接入节点之间建立连接；然后客户端可以通过建立的连接，向任一接入节点发起任务请求，而当与客户端连接的接入节点发生故障时，客户端还可以选择其它未发生故障的接入节点建立连接，并发起任务请求。
而对于任一接入节点(比如本地接入节点)在与客户端建立连接后，可以接收客户端的任务请求，该任务请求中可以包括任务的信息，进一步地，如果客户端在当前流程之前接收到任一接入节点返回的会话标识，则在任务请求中还可以包括该会话标识等信息。
步骤102，根据任务请求确定携带上述任务请求对应任务的会话。
具体地，当上述接收的任务请求中不包括会话标识时，需要本地接入节点生成新会话的会话标识，并确定携带任务请求对应任务的会话为该新会话，在这种情况下，本地接入节点还可以将新会话的会话标识返回给客户端；当上述接收的任务请求中包括会话标识，则可以直接确定管理上述任务请求对应任务的会话为该会话标识对应的会话。
其中，本地接入节点可以采用多种方式来生成新会话的会话标识，比如可以采用唯一识别码(Universally Unique Identifier，UUID)算法，或是采用Snowflake算法，也可以采用Zookeeper分布式锁等算法来生成会话标识。
步骤103，判断上述确定的会话是否属于本地接入节点的管理，当属于本地接入节点的管理时，执行步骤104；当不属于本地接入节点的管理时，执行步骤105和106。
具体地，本地接入节点会先计算会话的会话标识的哈希值，并确定计算的哈希值与本地接入节点对应的哈希值之间的距离是否在预置的一定范围内，如果在，则该会话属于本地接入节点的管理；如果不在，则该会话不属于本地接入节点的管理。
需要说明的是，本发明实施例中可以采用一致性哈希算法来管理各个接入节点与其管理的会话之间的对应关系，则任一接入节点在启动时，会将任一接入节点的地址信息的哈希值加入到一个一致性哈希环中，同时还会将任一接入节点的地址信息和端口信息等注册到文件系统中一个特定目录下的一个临时节点上，使得每个临时节点对应一个接入节点。在这种情况下，每个接入节点对应的哈希值主要为每个接入节点的地址信息的哈希值。
进一步地，为了使得会话在各个接入节点的均匀分布，可以为各个接入节点设置多个虚拟节点(比如200个虚拟节点)，而每个虚拟节点的哈希值也需要加入到该一致性哈希环中。在这种情况下，任一接入节点对应的哈希值主要包括任一接入节点的地址信息的哈希值，及任一接入节点的虚拟节点的哈希值。其中，任一接入节点的虚拟节点的哈希值可以采用接入节点的地址信息与虚拟节点的标识拼接后，对拼接后的信息进行哈希计算得到的值，任一接入节点的虚拟节点的哈希值基本处在任一接入节点的哈希值的附近。
例如图3所示的一致性哈希环中，4个接入节点分别对应的地址信息的哈希值分布于哈希环的4个位置(即位置1到4)，任一接入节点都包括两个虚拟节点，这两个虚拟节点的哈希值分布在任一接入节点的地址信息的哈希值附近的位置，这种情况下，任一接入节点对应的哈希值就包括3个位置的哈希值，即接入节点的地址信息的哈希值和两个虚拟节点的哈希值。
步骤104，将上述的任务请求携带在会话中发送到大数据的处理中心进行处理。
其中，如果在执行上述步骤102中确定的会话，是由本地接入节点生成的会话标识所表示的新会话，在这种情况下，本地接入节点在执行本步骤104时，需要先根据生成的会话标识创建新会话，然后再将上述的任务请求携带在创建的新会话中发送到大数据的处理中心进行处理。其中，本地接入节点在根据生成的会话标识创建新会话时，会将新会话的元数据储存到文件系统中。
需要说明的是，任一接入节点都可以创建一个或多个会话。
步骤105，根据上述确定的会话的会话标识，确定管理会话的另一接入节点的信息。
具体地，本地接入节点在确定另一接入节点的信息时，可以先确定会话标识的哈希值，并将会话标识的哈希值与各个接入节点分别对应的哈希值进行比较；将所有接入节点分别对应的哈希值中，距离所述会话标识的哈希值最近的一个哈希值对应的接入节点作为管理上述会话的接入节点；进而可以根据另一接入节点的哈希值确定另一接入节点的地址信息，具体地对另一接入节点的哈希值进行反哈希值计算，从而可以得到另一接入节点的地址信息。
其中，所有接入节点中任一接入节点分别对应的哈希值中包括：任一接入节点的地址信息的哈希值，及任一接入节点的虚拟节点的哈希值。或者，所有接入节点中任一接入节点分别对应的哈希值中只包括任一接入节点的地址信息的哈希值。
步骤106，根据另一接入节点的信息，将任务请求及会话标识转发给另一接入节点，以便另一接入节点将任务请求携带在会话标识表示的会话中发送到大数据的处理中心进行处理。
需要说明的是，上述步骤101到106是在任务请求系统中多个接入节点同时对外服务时，任一接入节点(比如本地接入节点)的流程，为了实现当一个接入节点故障或加入到任务请求系统时，保证各个接入节点的负载均衡，任一接入节点在启动时，都需要将任一接入节点的信息(包括接入节点的地址信息和端口信息等)储存到文件系统中特定目录下的一个临时节点，使得每个接入节点都对应一个临时节点，这样，每个接入节点都可以监控该特定目录下的所有临时节点。
具体地，对于本地接入节点来说，本地接入节点在启动时，会将本地接入节点的信息注册到文件系统中特定目录下的本地临时节点，同时也可以监控文件系统中特定目录下的所有临时节点；当特定目录下加入新临时节点时，说明有新接入节点接入到任务请求系统中，本地接入节点会接收到通知，则可以确定本地接入节点所管理的一部分会话，即第一会话，并删除第一会话，该第一会话由新临时节点对应的新接入节点管理第一会话；当特定目录下删除任一临时节点时，说明任一临时节点对应的任一接入节点发生故障，本地接入节点会接收通知，则可以确定任一临时节点所管理的一部分或全部会话，即第二会话，并添加第二会话，该第二会话由本地接入节点管理。
其中，在确定第一会话时，可以将本地接入节点所管理的会话中，会话标识的哈希值与新接入节点对应的哈希值之间的距离较近的会话作为第一会话。而在确定第二会话时，可以将任一接入节点所管理的会话中，会话标识的哈希值与本地接入节点对应的哈希值之间的距离较近的会话作为第二会话。
进一步地，本地接入节点可以接收其它接入节点发送的另一任务请求和另一会话标识，在这种情况下，本地接入节点会直接将另一任务请求携带在另一会话标识对应的会话中发送到大数据的处理中心进行处理。其中，如果本地接入节点中还未创建另一会话标识对应的会话，则本地接入节点还需要创建该另一会话标识对应的会话。
可见，在本实施例的方法中，在客户端与接入节点之间可以采用REST连接方式，而多个接入节点之间可以有重定向的连接的情况下，在任务请求系统中会部署多个接入节点同时对外服务，对于任一接入节点比如本地接入节点来说，会根据客户端的任务请求确定携带该任务请求对应任务的会话，如果会话不属于本地接入节点的管理，则会根据会话的会话标识确定管理会话的另一接入节点的信息，从而将会话标识与任务请求转发给另一接入节点，由另一接入节点将任务请求携带在相应会话中发送到大数据的处理中心进行处理。这样，可以通过多个接入节点同时对外服务，不同的会话分布在不同的接入节点，实现了负载均衡，且当某一接入节点发生故障，可以通过其它接入节点继续为客户端的用户服务，提高了任务请求系统的性能。
本发明一个实施例提供一种基于大数据的任务请求方法，主要是由上述图1a、图1b或图1c所示的任务请求系统中的任一接入节点(比如下述的本地接入节点)所执行的方法，在本实施例中客户端与接入节点之间可以采用Java数据库连接(Java Data BaseConnectivity，JDBC)方式连接，而多个接入节点之间并没有连接，本实施例的方法流程图如图4所示，包括：
步骤201，接收客户端的任务请求。
可以理解，当用户注册了某一业务的大数据服务后，就可以操作客户端，使得客户端可以根据用户操作查看任务请求系统中所有未发生故障的接入节点，这样，用户可以选择其中任一接入节点，与该接入节点之间建立连接；然后客户端可以通过建立的连接，向任一接入节点发起任务请求，而当与客户端连接的接入节点发生故障时，客户端还可以选择其它未发生故障的接入节点建立连接，并发起任务请求。
而对于任一接入节点(比如本地接入节点)在与客户端建立连接后，可以接收客户端的任务请求，该任务请求中可以包括任务的信息，进一步地，如果客户端在当前流程之前接收到任一接入节点返回的会话标识，则在任务请求中还可以包括特定结构体。
这里需要说明的是，本实施例中客户端发送JDBC形式的任务请求中不包含会话标识的字段，因此，即使客户端接收到了接入节点返回的会话标识，也不能在任务请求中携带该会话标识，这种情况下，客户端会在任务请求中携带特定结构体，比如会话处理(sessionHandle)或操作处理(operationHandle)等结构体。
步骤202，当任务请求中不包括特定结构体，生成新会话的会话标识，确定携带任务请求对应任务的会话为新会话。
具体地，本地接入节点可以采用多种方式来生成新会话的会话标识，比如可以采用UUID算法，或是采用Snowflake算法，也可以采用Zookeeper分布式锁等算法来生成会话标识。
步骤203，判断上述确定的会话是否属于本地接入节点的管理，当属于本地接入节点的管理时，执行步骤204；当不属于本地接入节点的管理时，执行步骤205和206。
具体地，本地接入节点会先计算会话的会话标识的哈希值，并确定计算的哈希值与本地接入节点对应的哈希值之间的距离是否在预置的一定范围内，如果在，则该会话属于本地接入节点的管理；如果不在，则该会话不属于本地接入节点的管理。其中，本地接入节点对应的哈希值主要为本地接入节点的地址信息的哈希值，或者，本地接入节点对应的哈希值主要包括本地接入节点的地址信息的哈希值及本地接入节点的虚拟节点的哈希值。
步骤204，将上述的任务请求携带在会话标识对应会话中发送到大数据的处理中心进行处理。
由于在执行上述步骤202中生成新会话的会话标识，则本地接入节点在执行本步骤204时，需要先根据生成的会话标识创建新会话，然后再将上述的任务请求携带在创建的新会话中发送到大数据的处理中心进行处理。
步骤205，根据上述生成的会话标识，确定管理会话的另一接入节点的信息。
具体地，本地接入节点在确定另一接入节点的信息时，可以先确定上述生成的会话标识的哈希值，并将会话标识的哈希值与各个接入节点分别对应的哈希值进行比较；将所有接入节点分别对应的哈希值中，距离所述会话标识的哈希值最近的一个哈希值对应的接入节点作为管理上述会话的接入节点；进而可以根据另一接入节点的哈希值确定另一接入节点的地址信息，具体地对另一接入节点的哈希值进行反哈希值计算，从而可以得到另一接入节点的地址信息。
步骤206，将另一接入节点的信息及会话标识返回给客户端，以便客户端连接到另一接入节点，由另一接入节点将任务请求携带会话标识表示的会话中发送到大数据的处理中心进行处理。
由于在JDBC的连接方式中，各个接入节点之间不存在重定向的连接，本地接入节点不能转发信息给另一接入节点，需要将本地接入节点将另一接入节点的信息和生成的会话标识返回给客户端，由客户端连接到相应的另一接入节点。
进一步地，如上述步骤201中接收的客户端的任务请求中包括了特定结构体，则本地接入节点就不会执行上述步骤202到206，需要根据特定结构体确定携带任务请求对应任务的会话是否属于本地接入节点的管理，当属于时，将上述的任务请求携带在对应会话中发送到大数据的处理中心进行处理；当不属于时，由于本地接入节点不能根据任务请求得知会话的会话标识，则不能确定由哪个接入节点向管理该会话，需要向客户端返回重定向的信息，以便客户端根据重定向的信息，逐个尝试其它未发生故障的接入节点，将任务请求通过另一接入节点发送到大数据的处理中心进行处理。
其中，在本发明实施例中，各个接入节点会分别储存各个接入节点的地址信息与特定结构体的对应关系，由于各个接入节点的地址信息都不同，则每个接入节点中储存的特定结构体是不同的。这样，本地接入节点在根据特定结构体确定会话是否属于本地接入节点的管理时，会在本地节点储存的特定结构体与本地接入节点的地址信息之间的对应关系，查找与任务请求中特定结构体对应的地址信息，如果查找不到，则说明携带该任务请求对应任务的会话不属于本地接入节点管理；如果查找到，则携带该任务请求对应任务的会话属于本地接入节点的管理。
另外需要说明的是，上述步骤201到206是在任务请求系统中多个接入节点同时对外服务时，任一接入节点(比如本地接入节点)的流程，为了实现当一个接入节点故障或加入到任务请求系统时，保证各个接入节点的负载均衡，任一接入节点在启动时，都需要将任一接入节点的信息(包括接入节点的地址信息和端口信息等)储存到文件系统中特定目录下的一个临时节点，使得每个接入节点都对应一个临时节点，这样，每个接入节点都可以监控该特定目录下的所有临时节点。具体地，对于本地接入节点在将本地接入节点所管理的会话分配给加入的新接入节点，及当任一接入节点发生故障时，接管发生故障的接入节点所管理的会话的方法具体见上述实施例中所述，在此不进行赘述。
这里需要说明的是，在本实施例中，当客户端与某一接入节点连接，且客户端发起的任务请求对应任务所携带的会话由该接入节点管理，当该接入节点发生故障时，客户端可以随机连接到其它接入节点，比如本地接入节点，向其它接入节点查询会话所管理的接入节点。具体地，对于本地接入节点来说，当接收到另一客户端发送的查询请求，该查询请求中包括待查询会话标识，则本地接入节点会根据待查询会话标识，确定管理待查询会话标识对应会话的接入节点的信息，然后将确定的接入节点的信息返回给另一客户端，这样，另一客户端与确定的接入节点连接，并将任务请求发送给确定的接入节点，由确定的接入节点将任务请求携带在相应会话中发送到大数据的处理中心进行处理。
可见，本实施例中在客户端与接入节点之间可以采用JDBC方式连接的情况下，可以通过多个接入节点同时对外服务，不同的会话分布在不同的接入节点，实现了负载均衡，且当某一接入节点发生故障，可以通过其它接入节点继续为客户端的用户服务，提高了任务请求系统的性能。
以下以一个具体的应用实例来说明本发明中基于大数据的任务请求方法，本实施例的方法可以应用在上述图1a、图1b或图1c的任务请求系统中，在本实施例中，客户端与多个接入节点之间采用REST连接方式，且接入节点具体为livy节点，大数据的处理中心为spark集群。
如图5所示，本实施例中的文件系统包括ZooKeeper和DistributedFileSystem，其中，在ZooKeeper中特定目录下储存多个未发生故障的livy节点对应的临时节点；在DistributedFileSystem储存着各个会话(session)的元数据，可以采用HDFS储存会话的元数据；而各个livy节点(即图中所述的各个主机)与会话之间的关系通过一致性哈希算法来管理，即通过构建的一致性哈希环可以得到各个livy节点所管理的会话。在其它实施例中，会话的元数据还可以储存在ZooKeeper中，在此不进行赘述。
如图6a所示，本实施例中的任务请求方法包括如下步骤：
步骤301，当每个livy节点在启动时，会将livy节点的地址信息即IP地址，及端口(PORT)信息注册到ZooKeeper中特定目录下的一个临时节点，这样，ZooKeeper会用特定目录下的所有临时节点构建哈希环TreeMap<HashKey,IP>。
步骤302，各个livy节点会计算对应的哈希值并加入到哈希环中，具体地，可以用livy节点的地址信息计算的32位哈希值(HashKey)，并将地址信息的哈希值加入到哈希环中；且为各个livy节点设置多个虚拟节点(比如200个虚拟节点)，用livy节点的地址信息与虚拟节点的标识进行拼接后，对拼接后的信息计算的哈希值，即可得到各个虚拟节点的哈希值，并将这些哈希值也加入到哈希环中。
需要说明的是，每个Livy节点的机器性能可能不同，比如LivyA节点为4核8G，LivyB节点为8核16G，如果需要LivyB节点承载的会话数目比LivyA节点高两倍，只需要将LivyA节点的livy.server.ha.replicate.num参数配置为LivyB节点的两倍，该参数控制每个livy节点的虚拟节点数目。
步骤303，用户可以操作客户端，使得客户端通过获取接口命令(Get API)：http:/livyserver:port/nodes获取ZooKeeper中特定目录下的所有临时节点对应的livy节点的信息，这样，用户可以随机选择某一个livy节点，比如livyA节点，并连接到该livyA节点，向livyA节点发起任务请求。
进一步地，用户可以操作客户端，使得客户端通过获取接口命令http:/livyserver:port/nodes获取所有livy节点的信息，进而再在每个livy节点上调用API，即可获取各个livy节点所管理的所有会话。
步骤304，livyA节点接收到任务请求后，如果该任务请求中不包括会话标识，则livyA节点还需要生成新会话的会话标识，确定携带该任务请求对应任务的会话为该新会话；如果该任务请求中包括会话标识，确定携带该任务请求对应任务的会话为该会话标识对应的会话。
其中，livyA节点在生成会话标识时，可以采用UUID和Snowflake算法，生成速度较快，不依赖ZooKeeper，但是ZooKeeper对该会话标识的可读性差，不方便使用，而由于需要生成会话标识的任务请求并不频繁，因此，在本实施例中，主要采用ZooKeeper分布式锁的算法来生成会话标识。
步骤305，livyA节点根据确定会话的会话标识判断确定的会话是否属于livyA节点的管理，如果属于，则执行步骤306；如果不属于，执行步骤307。
步骤306，livyA节点将上述的任务请求携带在会话中发送到spark集群进行处理。其中，如果该会话是上述步骤304生成的新会话的会话标识，则livyA节点还会创建新会话，即将会话的元数据储存到文件系统中的DistributedFileSystem或ZooKeeper中；且livyA节点还会将生成的会话标识返回给客户端。
具体地，在将会话的元数据储存到文件系统中的ZooKeeper时，文件系统可以采用如图6b所示的配置，具体包括如下属性的配置：ZooKeeper储存的多个livy节点的临时节点的信息、每个livy节点对应的虚拟节点的数目、livy节点注册时临时节点的ZooKeeper路径及储存元数据的ZooKeeper路径等；而在将会话的元数据按照HDFS的方法储存到文件系统的DistributedFileSystem中时，文件系统可以采用如图6c所示的配置，具体可以包括如下属性的配置：ZooKeeper储存的多个livy节点的临时节点的信息、每个livy节点对应的虚拟节点的数目、livy节点注册时临时节点的ZooKeeper路径及储存元数据的HDFS路径等。
步骤307，livyA节点根据会话标识确定会话所属的另一livyB节点的信息，并根据livyB节点的信息，将任务请求及会话标识通过超文本传输协议(HyperText TransferProtocol，HTTP)的307状态码转发给livyB节点。
其中，livyA节点在确定另一livyB节点的信息时，可以先用会话标识计算32位HashKey，即SessionIdHashKey，并在上述构建的哈希环中查询离SessionIdHashKe最近的哈希值，并对最近的哈希值进行反哈希计算，即可得到livyB节点的地址信息。
步骤308，livyB节点会将任务请求携带在会话标识对应的会话中发送到spark集群进行处理。
在这个过程中，如果livyB节点发现在当前节点还未创建该会话标识对应的会话，则livyB节点会先创建会话，然后再发送任务请求。
在本实施例中，采用多个livy节点同时对外服务，当有新livy节点加入时，则ZooKeeper中特定目录下的临时节点会发生变化，已有的livy节点会收到通知，则有些livy节点会将其管理的会话删除，由新livy节点直接管理，保证各个livy节点上的负载均衡。例如，当前有LivyA和LivyB节点，加入LivyC节点时，LivyA和LivyB节点通过监控特定目录，并收到通知，则LivyA和LivyB节点会分别删除部分会话，由livyC节点直接从文件系统中读取这部分会话的元数据进行管理。
当有livy节点发生故障时，ZooKeeper中特定目录下的临时节点也会发生变化，其余未发生故障的livy节点会收到通知，则这些livy节点会将发生故障的livy节点管理的会话进行接管，即从文件系统中读取这部分会话的元数据进行创建。例如当前有LivyA、LivyB和LivyC节点，LivyA节点发生故障时，LivyB和LivyC节点通过监控特定目录，并收到通知，则LivyB和LivyC节点会将LivyA节点之前管理的会话进行接管。
以下以一个具体的应用实例来说明本发明中基于大数据的任务请求方法，本实施例的方法可以应用在上述图1a、图1b或图1c的任务请求系统中，在本实施例中，客户端与接入节点之间采用JDBC方式连接，而多个接入节点之间并没有连接，且接入节点具体为livy节点，大数据的处理中心为spark集群，且本实施例中的文件系统采用上述图5所示的文件系统。
如图7所示，本实施例中的任务请求方法包括如下步骤：
步骤401，当每个livy节点在启动时，会将livy节点的地址信息即IP地址，及端口信息注册到ZooKeeper中特定目录下的一个临时节点，这样，ZooKeeper会用特定目录下的所有临时节点构建哈希环TreeMap<HashKey,IP>。
步骤402，各个livy节点会计算对应的哈希值并加入到哈希环中。
步骤403，用户可以操作客户端，在本实施例中具体为Hive JDBC客户端，使得HiveJDBC客户端查找到ZooKeeper中特定目录下的所有临时节点对应的livy节点的信息，这样，用户可以随机选择某一个livy节点，比如livyA节点，并连接到该livyA节点，向livyA节点发起任务请求。
其中，如果Hive JDBC客户端之前收到过任一livy节点发送的会话标识，则会在任务请求中携带特定结构体，否则，不会在任务请求中携带特定结构体，比如sessionHandle或operationHandle。
步骤404，livyA节点接收到任务请求后，如果该任务请求中不包括特定结构体，则livyA节点还需要生成新会话的会话标识，确定携带该任务请求对应任务的会话为该新会话，并继续执行如下步骤405；如果该任务请求中包括特定结构体，则执行如下步骤408。
步骤405，livyA节点根据生成的会话标识判断该新会话是否属于livyA节点的管理，如果属于，则执行步骤406；如果不属于，执行步骤407。
步骤406，livyA节点会创建会话标识对应的新会话，将上述的任务请求携带在会话中发送到spark集群进行处理。
步骤407，livyA节点根据会话标识确定会话所属的另一livyB节点的信息，并将livyB节点的信息及生成的会话标识返回给Hive JDBC客户端；Hive JDBC客户端会根据livyB节点的信息与livyB节点连接，并将任务请求中携带特定结构体发送给livyB节点，由livyB节点将任务请求携带在相应的会话中发送到spark集群处理。
步骤408，livyA节点会根据任务请求中包括的特定结构体，确定携带该任务请求对应任务的会话是否属于livyA节点，如果属于，才会将任务请求携带在会话中发送到spark集群进行处理；如果不属于，则执行步骤409。
步骤409，livyA节点会向Hive JDBC客户端返回重定向的信息，则Hive JDBC客户端会逐个尝试与其它livy节点连接，直到连接到某一livy节点(比如livyC节点)将任务请求携带在相应的会话中发送到spark集群进行处理。
在本实施例中，当Hive JDBC客户端与上述livyA节点连接，且Hive JDBC客户端发起的任务请求对应任务所携带的会话由livyA节点管理，当livyA节点发生故障时，HiveJDBC客户端可以随机连接到其它livy节点，比如livyC节点，向livyC节点查询会话所管理的livy节点，则livyC节点会向Hive JDBC客户端返回相应的livy节点(比如livyD节点)的信息，这样，Hive JDBC客户端将任务请求发送给livyD节点，由livyD节点将任务请求携带在相应会话中发送到spark集群进行处理。
本发明实施例还提供一种任务请求装置，比如上述图2所示实施例中的本地接入节点，其结构示意图如图8所示，具体可以包括：
任务请求单元10，用于接收客户端的任务请求。
会话确定单元11，用于根据所述任务请求单元10接收的任务请求确定携带所述任务请求对应任务的会话。
该会话确定单元11，具体用于当所述任务请求中不包括会话标识时，生成新会话的会话标识，确定携带所述任务请求对应任务的会话为所述新会话；当所述任务请求中包括会话标识时，确定携带所述任务请求对应任务的会话为所述会话标识对应的会话。
所述新会话的会话标识返回给所述客户端。
节点确定单元12，用于当所述会话确定单元11确定的会话不属于所述任务请求装置的管理时，根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息。
该节点确定单元12，具体用于确定所述会话标识的哈希值；将所有接入节点分别对应的哈希值中，距离所述会话标识的哈希值最近的一个哈希值对应的接入节点作为管理所述会话的另一接入节点；根据所述另一接入节点对应的哈希值确定所述另一接入节点的地址信息。其中，所述所有接入节点中任一接入节点分别对应的哈希值中包括：任一接入节点的地址信息的哈希值，及所述任一接入节点的虚拟节点的哈希值。
转发单元13，用于根据所述节点确定单元12确定的另一接入节点的信息，将所述任务请求及所述会话标识转发给所述另一接入节点，以便所述另一接入节点将所述任务请求携带在所述会话标识表示的会话中发送到大数据的处理中心进行处理。
进一步地，在本实施例的任务请求装置还可以包括：处理发送单元14和监控分配单元15，其中：
所述处理发送单元14，用于当所述会话确定单元11确定的会话属于所述任务请求装置的管理时，将所述任务请求携带在所述会话中发送到大数据的处理中心进行处理。
所述监控分配单元15，用于将所述任务请求装置的信息注册到文件系统中特定目录下的本地临时节点，监控所述文件系统中特定目录下的所有临时节点；当所述特定目录下加入新临时节点时，确定所述任务请求装置管理的第一会话，删除所述第一会话，所述第一会话由所述新临时节点对应的新接入节点管理。该监控分配单元15，还用于当所述特定目录下删除任一临时节点时，确定所述任一临时节点所管理的第二会话，添加所述第二会话，所述第二会话由所述任务请求装置管理。
这样，可以通过多个本实施例中的任务请求装置同时对外服务，不同的会话分布在不同的任务请求装置，实现了负载均衡，且当某一任务请求装置发生故障，可以通过其它任务请求装置继续为客户端的用户服务，提高了任务请求系统的性能。
本发明实施例还提供一种任务请求装置，比如上述图4所示实施例中的本地接入节点，其结构示意图如图9所示，具体可以包括：
请求接收单元20，用于接收客户端的任务请求。
新会话确定单元21，用于当所述请求接收单元20接收的任务请求中不包括特定结构体，生成新会话的会话标识，确定携带所述任务请求对应任务的会话为所述新会话。
新会话确定单元21，具体用于确定所述会话标识的哈希值；将所有接入节点分别对应的哈希值中，距离所述会话标识的哈希值最近的一个哈希值对应的接入节点作为管理所述会话的另一接入节点；根据所述另一接入节点对应的哈希值确定所述另一接入节点的地址信息。其中，所述所有接入节点中任一接入节点分别对应的哈希值中包括：任一接入节点的地址信息的哈希值，及所述任一接入节点的虚拟节点的哈希值。
管理节点确定单元22，用于当所述新会话确定单元21确定的会话不属于任务请求装置的管理时，根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息。
返回单元23，用于将所述管理节点确定单元22确定的另一接入节点的信息及所述会话标识返回给所述客户端，以便所述客户端连接到所述另一接入节点，由所述另一接入节点将所述任务请求携带在所述会话标识表示的会话中发送到大数据的处理中心进行处理。
所述返回单元23，还用于当所述请求接收单元20接收的任务请求中包括特定结构体，当根据所述特定结构体确定携带所述任务请求对应任务的会话不属于任务请求装置的管理时，向所述客户端返回重定向的信息，以便所述客户端根据所述重定向的信息，将所述任务请求通过管理所述会话的另一接入节点发送到大数据的处理中心进行处理。
进一步地，本实施例中的任务请求装置还可以包括：查询发送单元24和监控单元25，其中：
查询发送单元24，用于接收另一客户端发送的查询请求，所述查询请求中包括待查询会话标识；根据所述待查询会话标识，确定管理所述待查询会话标识对应会话的接入节点的信息；将所述确定的接入节点的信息返回给所述另一客户端，以便所述另一客户端将任务请求发送给所述确定的接入节点，由所述确定的接入节点将所述任务请求携带在相应会话中发送到大数据的处理中心进行处理。
监控单元25，用于将所述任务请求装置的信息注册到文件系统中特定目录下的本地临时节点，监控所述文件系统中特定目录下的所有临时节点；当所述特定目录下加入新临时节点时，确定所述任务请求装置管理的第一会话，删除所述第一会话，所述第一会话由所述新临时节点对应的新接入节点管理；当所述特定目录下删除任一临时节点时，确定所述任一临时节点所管理的第二会话，添加所述第二会话，所述第二会话由所述任务请求装置管理。
这样，可以通过多个本实施例中的任务请求装置同时对外服务，不同的会话分布在不同的任务请求装置，实现了负载均衡，且当某一任务请求装置发生故障，可以通过其它任务请求装置继续为客户端的用户服务，提高了任务请求系统的性能。
本发明实施例还提供一种服务器，其结构示意图如图10所示，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)30(例如，一个或一个以上处理器)和存储器31，一个或一个以上存储应用程序321或数据322的存储介质32(例如一个或一个以上海量存储设备)。其中，存储器31和存储介质32可以是短暂存储或持久存储。存储在存储介质32的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器30可以设置为与存储介质32通信，在服务器上执行存储介质32中的一系列指令操作。
具体地，在存储介质32中储存的应用程序321包括任务请求的应用程序，且该程序可以包括上述任务请求装置中的任务请求单元10，会话确定单元11，节点确定单元12，转发单元13、处理发送单元14和监控分配单元15，在此不进行赘述。更进一步地，中央处理器30可以设置为与存储介质32通信，在服务器上执行存储介质32中储存的列表处理的应用程序对应的一系列操作。
服务器还可以包括一个或一个以上电源33，一个或一个以上有线或无线网络接口34，和/或，一个或一个以上操作系统323，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述方法实施例中所述的由上述图2所示的实施例中本地接入节点所执行的步骤可以基于该图10所示的服务器的结构。
本发明实施例还提供另一种服务器，本实施例的服务器的结构与如上述图10所示的服务器的结构类似，不同的是，具体地，在存储介质中储存的应用程序包括任务请求的应用程序，且该程序可以包括上述任务请求装置中的请求接收单元20，新会话确定单元21，管理节点确定单元12，返回单元13、查询发送单元24和监控单元25，在此不进行赘述。更进一步地，中央处理器可以设置为与存储介质通信，在服务器上执行存储介质中储存的列表处理的应用程序对应的一系列操作。上述方法实施例中所述的由上述图4所示的实施例中本地接入节点所执行的步骤可以基于本实施例中服务器的结构。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如上述本地接入节点所执行的基于大数据的任务请求方法。
本发明实施例还提供另一种服务器，包括处理器和存储器；所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如上述本地接入节点所执行的基于大数据的任务请求方法；所述处理器，用于实现所述多个计算机程序中的各个计算机程序。
本发明实施例还提供一种基于大数据的任务请求系统，多个接入节点，所述任一接入节点是如上述图8或图9所述的任务请求装置，或如上述图10中所述的服务器。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM)、随机存取存储器(RAM)、磁盘或光盘等。
以上对本发明实施例所提供的一种基于大数据的任务请求方法、装置、系统及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种基于大数据的任务请求方法，其特征在于，包括：
接收客户端的任务请求；
根据所述任务请求确定携带所述任务请求对应任务的会话；
当所述会话不属于本地接入节点的管理时，根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息；
根据所述另一接入节点的信息，将所述任务请求及所述会话标识转发给所述另一接入节点，以便所述另一接入节点将所述任务请求携带在所述会话标识表示的会话中发送到大数据的处理中心进行处理。
2.如权利要求1所述的方法，其特征在于，所述根据所述任务请求，确定携带所述任务请求对应任务的会话，具体包括：
当所述任务请求中不包括会话标识时，生成新会话的会话标识，确定携带所述任务请求对应任务的会话为所述新会话；
所述方法还包括：将所述新会话的会话标识返回给所述客户端。
3.如权利要求1所述的方法，其特征在于，所述根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息，具体包括：
确定所述会话标识的哈希值；
将所有接入节点分别对应的哈希值中，距离所述会话标识的哈希值最近的一个哈希值对应的接入节点作为管理所述会话的另一接入节点；
根据所述另一接入节点对应的哈希值确定所述另一接入节点的地址信息。
4.如权利要求3所述的方法，其特征在于，所述所有接入节点中任一接入节点分别对应的哈希值中包括：任一接入节点的地址信息的哈希值，及所述任一接入节点的虚拟节点的哈希值。
5.如权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
将所述本地接入节点的信息注册到文件系统中特定目录下的本地临时节点，监控所述文件系统中特定目录下的所有临时节点；
当所述特定目录下加入新临时节点时，确定所述本地接入节点管理的第一会话，删除所述第一会话，所述第一会话由所述新临时节点对应的新接入节点管理。
6.如权利要求5所述的方法，其特征在于，所述方法还包括：
当所述特定目录下删除任一临时节点时，确定所述任一临时节点所管理的第二会话，添加所述第二会话，所述第二会话由所述本地接入节点管理。
7.一种任务请求方法，其特征在于，包括：
接收客户端的任务请求；
当所述任务请求中不包括特定结构体，生成新会话的会话标识，确定携带所述任务请求对应任务的会话为所述新会话；
当所述会话不属于本地接入节点的管理时，根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息；
将所述另一接入节点的信息及所述会话标识返回给所述客户端，以便所述客户端连接到所述另一接入节点，由所述另一接入节点将所述任务请求携带在所述会话标识表示的会话中发送到大数据的处理中心进行处理。
8.如权利要求7所述的方法，其特征在于，所述根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息，具体包括：
确定所述会话标识的哈希值；
将所有接入节点分别对应的哈希值中，距离所述会话标识的哈希值最近的一个哈希值对应的接入节点作为管理所述会话的另一接入节点；
根据所述另一接入节点对应的哈希值确定所述另一接入节点的地址信息。
9.如权利要求8所述的方法，其特征在于，所述所有接入节点中任一接入节点分别对应的哈希值中包括：任一接入节点的地址信息的哈希值，及所述任一接入节点的虚拟节点的哈希值。
10.如权利要求7至9任一项所述的方法，其特征在于，所述方法还包括：
当所述任务请求中包括特定结构体，且当根据所述特定结构体确定携带所述任务请求对应任务的会话不属于本地接入节点的管理时，向所述客户端返回重定向的信息，以便所述客户端根据所述重定向的信息，将所述任务请求通过管理所述会话的另一接入节点发送到大数据的处理中心进行处理。
11.一种任务请求装置，其特征在于，包括：
任务请求单元，用于接收客户端的任务请求；
会话确定单元，用于根据所述任务请求确定携带所述任务请求对应任务的会话；
节点确定单元，用于当所述会话不属于所述任务请求装置的管理时，根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息；
转发单元，用于根据所述另一接入节点的信息，将所述任务请求及所述会话标识转发给所述另一接入节点，以便所述另一接入节点将所述任务请求携带在所述会话标识表示的会话中发送到大数据的处理中心进行处理。
12.一种任务请求装置，其特征在于，包括：
请求接收单元，用于接收客户端的任务请求；
新会话确定单元，用于当所述任务请求中不包括特定结构体，生成新会话的会话标识，确定携带所述任务请求对应任务的会话为所述新会话；
管理节点确定单元，用于当所述会话不属于任务请求装置的管理时，根据所述会话的会话标识，确定管理所述会话的另一接入节点的信息；
返回单元，用于将所述另一接入节点的信息及所述会话标识返回给所述客户端，以便所述客户端连接到所述另一接入节点，由所述另一接入节点将所述任务请求携带在所述会话标识表示的会话中发送到大数据的处理中心进行处理。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如权利要求1至10任一项所述的基于大数据的任务请求方法。
14.一种服务器，其特征在于，包括处理器和存储器；
所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如权利要求1至10任一项所述的基于大数据的任务请求方法；所述处理器，用于实现所述多个计算机程序中的各个计算机程序。
15.一种基于大数据的任务请求系统，其特征在于，包括：多个接入节点，所述任一接入节点是如权利要求11或12所述的任务请求装置，或如权利要求14所述的服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010162286.9A CN111352716B (zh) | 2020-03-10 | 2020-03-10 | 一种基于大数据的任务请求方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010162286.9A CN111352716B (zh) | 2020-03-10 | 2020-03-10 | 一种基于大数据的任务请求方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111352716A true CN111352716A (zh) | 2020-06-30 |
| CN111352716B CN111352716B (zh) | 2024-03-01 |
Family
ID=71192557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010162286.9A Active CN111352716B (zh) | 2020-03-10 | 2020-03-10 | 一种基于大数据的任务请求方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111352716B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111885168A (zh) * | 2020-07-24 | 2020-11-03 | 高新兴科技集团股份有限公司 | 高可用接入系统及其接入方法 |
| CN112506955A (zh) * | 2020-12-10 | 2021-03-16 | 星环信息科技(上海)股份有限公司 | 一种查询处理方法、计算机设备及存储介质 |
| CN115086292A (zh) * | 2022-06-15 | 2022-09-20 | 浙江省标准化研究院(金砖国家标准化(浙江)研究中心、浙江省物品编码中心) | 分布式即时服务器推送方案架构设计方法、装置、存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050088084A (ko) * | 2005-05-24 | 2005-09-01 | 노키아 코포레이션 | 클라이언트 세션 식별자를 이용한 세션 관리 방법 및시스템 |
| CN102084638A (zh) * | 2008-11-26 | 2011-06-01 | 思科技术公司 | 计算机网络中接入服务器的确定性会话负载平衡和冗余 |
| CN102148739A (zh) * | 2010-02-05 | 2011-08-10 | 中国联合网络通信集团有限公司 | 一种ims会话路由控制方法及系统 |
| CN102624916A (zh) * | 2012-03-26 | 2012-08-01 | 华为技术有限公司 | 云计算系统中均衡负载的方法、节点管理器及系统 |
| KR20140040948A (ko) * | 2012-09-27 | 2014-04-04 | 삼성에스디에스 주식회사 | 동적 메시지 라우팅 시스템 및 방법 |
| CN104158755A (zh) * | 2014-07-30 | 2014-11-19 | 华为技术有限公司 | 传输报文的方法、装置和系统 |
| CN104869133A (zh) * | 2014-02-21 | 2015-08-26 | 华为技术有限公司 | 一种数据记录的方法、系统以及接入服务器 |
| CN106462544A (zh) * | 2014-03-31 | 2017-02-22 | 亚马逊科技公司 | 分布式存储系统中的会话管理 |
| CN107688487A (zh) * | 2011-09-09 | 2018-02-13 | 甲骨文国际公司 | 用于恢复数据库会话的状态的方法和系统 |
| CN110602182A (zh) * | 2019-08-27 | 2019-12-20 | 深圳前海达闼云端智能科技有限公司 | 服务调度方法、装置、系统、全局负载均衡器及客户端 |
-
2020
- 2020-03-10 CN CN202010162286.9A patent/CN111352716B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050088084A (ko) * | 2005-05-24 | 2005-09-01 | 노키아 코포레이션 | 클라이언트 세션 식별자를 이용한 세션 관리 방법 및시스템 |
| CN102084638A (zh) * | 2008-11-26 | 2011-06-01 | 思科技术公司 | 计算机网络中接入服务器的确定性会话负载平衡和冗余 |
| CN102148739A (zh) * | 2010-02-05 | 2011-08-10 | 中国联合网络通信集团有限公司 | 一种ims会话路由控制方法及系统 |
| CN107688487A (zh) * | 2011-09-09 | 2018-02-13 | 甲骨文国际公司 | 用于恢复数据库会话的状态的方法和系统 |
| CN102624916A (zh) * | 2012-03-26 | 2012-08-01 | 华为技术有限公司 | 云计算系统中均衡负载的方法、节点管理器及系统 |
| KR20140040948A (ko) * | 2012-09-27 | 2014-04-04 | 삼성에스디에스 주식회사 | 동적 메시지 라우팅 시스템 및 방법 |
| CN104869133A (zh) * | 2014-02-21 | 2015-08-26 | 华为技术有限公司 | 一种数据记录的方法、系统以及接入服务器 |
| CN106462544A (zh) * | 2014-03-31 | 2017-02-22 | 亚马逊科技公司 | 分布式存储系统中的会话管理 |
| CN104158755A (zh) * | 2014-07-30 | 2014-11-19 | 华为技术有限公司 | 传输报文的方法、装置和系统 |
| CN110602182A (zh) * | 2019-08-27 | 2019-12-20 | 深圳前海达闼云端智能科技有限公司 | 服务调度方法、装置、系统、全局负载均衡器及客户端 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111885168A (zh) * | 2020-07-24 | 2020-11-03 | 高新兴科技集团股份有限公司 | 高可用接入系统及其接入方法 |
| CN112506955A (zh) * | 2020-12-10 | 2021-03-16 | 星环信息科技(上海)股份有限公司 | 一种查询处理方法、计算机设备及存储介质 |
| CN112506955B (zh) * | 2020-12-10 | 2021-09-21 | 星环信息科技(上海)股份有限公司 | 一种查询处理方法、计算机设备及存储介质 |
| CN115086292A (zh) * | 2022-06-15 | 2022-09-20 | 浙江省标准化研究院(金砖国家标准化(浙江)研究中心、浙江省物品编码中心) | 分布式即时服务器推送方案架构设计方法、装置、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111352716B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Verma et al. | An efficient data replication and load balancing technique for fog computing environment | |
| CN112000448A (zh) | 基于微服务架构的应用管理方法 | |
| US7831734B2 (en) | Method and system for remote configuration of network devices | |
| CN111352716B (zh) | 一种基于大数据的任务请求方法、装置、系统及存储介质 | |
| CN103237060B (zh) | 一种数据对象获取方法、装置及系统 | |
| Han et al. | Green data centers for cloud-assisted mobile ad hoc networks in 5G | |
| WO2019153488A1 (zh) | 服务配置管理方法、装置、存储介质和服务器 | |
| TW201543243A (zh) | 在服務導向架構中的監控能力 | |
| US11354152B2 (en) | Self-evolving microservices | |
| EP3442201B1 (en) | Cloud platform construction method and cloud platform | |
| US20210344777A1 (en) | Enhanced self-assembling and self-configuring microservices | |
| CN112468589A (zh) | 数据分发方法、装置、计算机设备和存储介质 | |
| CN103647663A (zh) | 一种服务器集群内资源管理方法 | |
| CN112492022A (zh) | 提高数据库可用性的集群、方法、系统及存储介质 | |
| US20110153826A1 (en) | Fault tolerant and scalable load distribution of resources | |
| CN108650337B (zh) | 一种服务器探测方法、系统及存储介质 | |
| CN110661780A (zh) | 一种基于saas应用的无线城市数据共享方法与系统 | |
| CN114911602A (zh) | 一种服务器集群的负载均衡方法、装置、设备和存储介质 | |
| CN112799849B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN112612793B (zh) | 资源查询方法、装置、节点设备及存储介质 | |
| CN111294383B (zh) | 物联网服务管理系统 | |
| KR20140097717A (ko) | 디바이스 양방향 ｍ２ｍ 리소스 관리 방법 | |
| CN115129708A (zh) | 数据处理方法、装置和存储介质及电子设备 | |
| CN108848175B (zh) | 一种创建tcp连接的方法及装置 | |
| CN112910796A (zh) | 流量管理方法、装置、设备、存储介质以及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40023612 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |