CN110209496B - 基于数据处理的任务分片方法、装置及分片服务器 - Google Patents

基于数据处理的任务分片方法、装置及分片服务器 Download PDF

Info

Publication number
CN110209496B
CN110209496B CN201910422408.0A CN201910422408A CN110209496B CN 110209496 B CN110209496 B CN 110209496B CN 201910422408 A CN201910422408 A CN 201910422408A CN 110209496 B CN110209496 B CN 110209496B
Authority
CN
China
Prior art keywords
fragmentation
task
target
processed
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910422408.0A
Other languages
English (en)
Other versions
CN110209496A (zh
Inventor
付明建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN201910422408.0A priority Critical patent/CN110209496B/zh
Publication of CN110209496A publication Critical patent/CN110209496A/zh
Application granted granted Critical
Publication of CN110209496B publication Critical patent/CN110209496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5017—Task decomposition

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Multi Processors (AREA)

Abstract

本发明实施例公开了一种基于数据处理的任务分片方法、装置及分片服务器，其中，该方法应用于数据处理领域，包括：接收待处理任务，并检测待处理任务的任务属性，获取设备集群的负载信息，根据任务属性和负载信息确定针对待处理任务的目标分片策略，采用目标分片策略对待处理任务进行分片处理，得到N个子任务，根据预设的负载均衡规则将N个子任务发送至设备集群中的执行服务器。通过实施上述方法，可以根据任务属性和负载信息对分片策略进行实时调整，充分发挥各个执行服务器的性能，提升处理效率。

Description

基于数据处理的任务分片方法、装置及分片服务器
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于数据处理的任务分片方法、装置及分片服务器。
背景技术
随着计算技术的发展，一些任务的处理需要十分大的计算能力才能完成，如果采用集中式处理，则需要耗费大量时间，而且对处理设备(如服务器、电脑、手机等)的配置要求较高，若采用分布式处理，则可以将该任务进行分片，得到多个子任务，并将子任务分配给多个处理设备进行处理，则可以节约处理时间，提升处理效率。
然而，当前对于任务的分片策略以及对于子任务的分配策略需要用户预先配置，不能根据处理设备的状态变化实时对上述策略进行调整，导致处理设备的性能无法得到充分发挥，使得处理效率较低。
发明内容
本发明实施例提供了一种基于数据处理的任务分片方法、装置及分片服务器，可以基于执行服务器的负载情况对待处理的任务进行分片，提升任务的处理效率。
第一方面，本发明实施例提供了一种基于数据处理的任务分片方法，应用于设备集群中，所述设备集群包括至少一个执行服务器，所述方法包括：
接收待处理任务，并检测所述待处理任务的任务属性，所述任务属性包括所述待处理任务中待选分片节点的数量和位置；
获取所述设备集群的负载信息，所述负载信息包括了所述设备集群中每个执行服务器的负载量；
根据所述任务属性和所述负载信息确定针对所述待处理任务的目标分片策略，所述目标分片策略包括了针对所述待处理任务的目标分片数量和目标分片节点；
采用所述目标分片策略对所述待处理任务进行分片处理，得到N个子任务，所述N为所述目标分片数量；
根据预设的负载均衡规则将所述N个子任务发送至所述设备集群中的执行服务器。
第二方面，本发明实施例提供了一种基于数据处理的任务分片装置，所述装置包括：
接收模块，用于接收待处理任务；
检测模块，用于检测所述待处理任务的任务属性，所述任务属性包括所述待处理任务中待选分片节点的数量和位置；
获取模块，用于获取所述设备集群的负载信息，所述负载信息包括了所述设备集群中每个执行服务器的负载量；
确定模块，用于根据所述任务属性和所述负载信息确定针对所述待处理任务的目标分片策略，所述目标分片策略包括了针对所述待处理任务的目标分片数量和目标分片节点；
处理模块，用于采用所述目标分片策略对所述待处理任务进行分片处理，得到N个子任务，所述N为所述目标分片数量；
发送模块，用于根据预设的负载均衡规则将所述N个子任务发送至所述设备集群中的执行服务器。
第三方面，本发明实施例提供了一种分片服务器，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行第一方面所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行第一方面所述的方法。
本发明实施例中，分片服务器根据接收到的待处理任务的任务属性和设备集群的负载信息确定针对待处理任务的分片策略，并根据预设的负载均衡规则对分片得到子任务进行分配，可以提升任务处理过程中的容灾性能，在任务处理过程中即设备集群中的部分执行服务器出现故障，也不会影响整个任务处理系统的运行，进一步的，分片服务器根据接收到的待处理任务的任务属性和设备集群的负载信息确定针对待处理任务的分片策略，可以对分片策略进行实时调整，充分发挥各个执行服务器的性能，提升处理效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的一种任务处理系统的结构示意图；
图2是本发明实施例中的一种基于数据处理的任务分片方法的流程示意图；
图3是本发明实施例中的另一种基于数据处理的任务分片方法的流程示意图；
图4是本发明实施例中的一种基于数据处理的任务分片装置的结构示意图；
图5是本发明实施例中的一种分片服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，为本发明实施例提供的一种任务处理系统的结构示意图，该任务处理系统包括：分片服务器，与该分片服务器连接的至少一个终端，以及与该分片服务器相连接的设备集群，其中，终端可包括但不限于：手机、平板电脑、电脑等，用于与用户进行交互，例如接收用户上传的待处理任务，以及用于与分片服务器进行交互，将待处理任务发送至分片服务器以请求对该待处理任务进行处理等等。分片服务器用于接收终端发送的待处理任务，并对待处理任务进行分片处理，得到至少一个子任务，并将上述子任务发送至设备集群，设备集群是指具体执行该待处理任务的设备的集群，该设备集群由多个执行服务器组成，执行服务器用于处理分片服务器发送的子任务。
图1所示系统的工作原理大致包括：①终端向分片服务器发送待处理任务，具体实现中，终端可提供任务输入的交互界面，由用户在该界面中输入需要具体进行处理的任务，如检索任务、计算任务、资源获取任务等；②分片服务器接收终端上传的待处理任务，并按照目标分片策略对该待处理任务进行分片处理，得到N个子任务，其中，N为该目标分片策略中包括的目标分片数量。目标分片策略的具体确定方式可以为，分片服务器获取到该待处理任务的任务属性以及设备集群的负载信息，并根据任务属性和负载信息确定针对该待处理任务的目标分片策略。③分片服务器将分片处理得到的N个子任务按照预设的负载均衡规则发送至设备集群中的执行服务器。其中，预设的负载均衡规则可以为尽量使得各个执行服务器接收到子任务后的负载量差距最小的规则。④各个执行服务器对各个子任务进行处理，得到处理结果，并将处理结果返回至分片服务器。⑤分片服务器接收各个执行服务器返回的处理记结果，并对接收到的各个处理结果进行汇总，得到目标处理结果，并将目标处理结果返回至分片服务器。
综上可知，图1所示的任务处理系统可以将任务量较大的待处理任务分片为多个任务量相对较小的子任务，并且，任务处理系统至少具备如下优点：(1)容灾性能较佳，在任务处理过程中即设备集群中的部分执行服务器出现故障，也不会影响整个任务处理系统的运行；(2)根据接收到的待处理任务的任务属性和设备集群的负载信息确定针对待处理任务的分片策略，可以对分片策略进行实时调整，充分发挥各个执行服务器的性能，提升处理效率。(3)采用设备集群这样的集群架构来执行待处理任务，即由多台执行服务器协同处理任务，可以提升任务处理的速度；(4)扩展性能优，当需要提升任务处理系统的性能时，在设备集群中添加执行服务器即可。
如图2所示，为本发明实施例提供的一种基于数据处理的任务分片方法的流程示意图，本实施例中的基于数据处理的任务分片方法的流程可以包括：
S201、分片服务器接收待处理任务，并检测待处理任务的任务属性。
本发明实施例中，用户所使用的终端可提供任务输入的交互界面，由用户在该界面中输入需要具体进行处理的任务，如检索任务、计算任务、资源获取任务等。分片服务器接收到用户输入的待处理任务之后，可以将该待处理任务发送至分片服务器，由分片服务器对该待处理任务进行接收。具体的，分片服务器接收到该待处理任务之后，将检测该待处理任务的任务属性，其中，任务属性包括了该待处理任务的待选分片节点的数量和位置。
在一种实现方式中，待处理任务的待选分片节点可以由用户预先设置，分片服务器直接获取该待选分片节点的位置和数量，其中，待选分片节点为针对待处理任务的可选的分片节点，例如，用户可以预先设置了2个分片节点，若分片服务器在这2个分片节点处进行分片，则可以该任务分片为3个子任务。
在一种实现方式中，分片服务器确定待处理任务的待选分片节点的方式也可以为，分片服务器解析上述待处理任务，得到待处理任务对应的任务信息中各部分信息的任务类型，其中，任务类型包括检索类型、计算类型、资源获取类型等，具体可以由研发人员预先设置，分片服务器基于各部分信息的任务类型确定待处理任务中待选分片节点的数量和位置。具体的，分片服务器可以将各部分信息的任务类型的交界节点确定为待选分片节点。例如，待处理任务包括对应的任务信息中包括3个类型的信息，第一部分为检索类型，第二部分为计算类型，第三部分为资源获取类型，则可以将检索类型与计算类型的交界节点和计算类型与资源获取类型的交界节点确定为待选分片节点。
在一种实现方式中，待处理任务为单类型的任务，如网页资源获取任务、检索任务或计算任务，则分片服务器可以根据任务类型与待选分片节点的对应关系确定针对该待处理任务的待选分片节点。其中，任务类型与待选分片节点的对应关系具体可以由研发人员预先设定。例如，待处理任务的任务类型为网页资源获取类型，则其对应2个目标分片节点，上述2个目标分片节点用于将上述网页资源获取任务拆分为3个子任务，分别为网页中的文字资源获取子任务、网页中的图像资源获取子任务、网页中的代码资源获取子任务，其中文字资源获取子任务用于获取网页中的文字资源，图像资源获取子任务用于获取网页中的图像资源，代码资源获取子任务用于获取网页中的脚本代码资源。或者，任务类型为检索类型，则对应K-1个待选分片节点，上述K-1个待选分片节点用于将上述检索任务分片为K个子任务，其中，K的值具体可以为预设的用于检索的数据库的数量，若分片服务器采用上述待选分片节点对该待处理任务进行分片，则分片得到的第1个子任务可以用于在数据库1中进行检索，第K个子任务用于在数据库K中进行检索。
S202、分片服务器获取设备集群的负载信息。
本发明实施例中，负载信息包括了设备集群中每个执行服务器的负载量，其中，负载量可用于表示执行服务器的当前负载与最大负载之间的比值，又可称为负载率。当前负载可以为执行服务器当前正在处理的任务的数量，最大负载可以为该服务器最多可同时处理的任务的数量，最大负载由执行服务器的性能所决定。具体的，分片服务器管理及维护一个动态负载表，该动态负载表如下表1所示：
表1
执行服务器 负载量
执行服务器1 30％
执行服务器2 40％
… …
需要说明的是，上述表1中的数据是实时变化的，在一种实施方式中，设备集群中各个执行服务器可定时(每隔2秒、每隔5秒等)上报各自的负载量，由分片服务器判断各执行服务器的负载量是否发生变化，若发生变化则根据上报的数据对上述表1进行实时更新；或者，当设备集群中执行服务器自检发现自己的负载量发生变化时，将变化后的负载量上报至分片服务器，由分片服务器根据上报的数据对上述表1进行实时更新，或者，当分片服务器也可以在接收到待处理任务后向执行服务器发送负载量获取请求，并接收设备集群中各个执行服务器上传的负载量，分片服务器按照执行服务器上传的负载量对表1中预先记录的设备集群的历史负载信息进行更新。
S203、分片服务器根据任务属性和负载信息确定针对待处理任务的目标分片策略。
本发明实施例中，目标分片策略包括目标分片数量和目标分片节点，分片服务器获取到待处理任务的任务属性和设备集群的负载信息之后，将根据任务属性和负载信息确定针对待处理任务的目标分片策略。具体的，目标分片数量的具体确定方式可以为，分片服务器获取待选分片节点的数量，并根据待选分片节点的数量与分片数量的对应关系确定针对待处理任务的第一分片数量，其中，第一分片数量可以待选分片节点的数量加1，例如，针对待处理任务的待选分片节点的数量为X-1，则第一分片数量为X，X为正整数。分片服务器确定第一分片数量之后，将获取设备集群中负载量小于预设负载量的执行服务器的数量，并根据负载量小于预设负载量的执行服务器的数量确定针对待处理任务的第二分片数量，其中，第二分片数量可以与负载量小于预设负载量的执行服务器的数量相等，预设负载量可以50％，40％等，具体可以由研发人员预先设定。若第一分片数量小于或等于第二分片数量，则分片服务器将第一分片数量确定为目标分片数量。若第一分片数量大于第二分片数量，则分片服务器将第二分片数量确定为所述目标分片数量。例如，待选分片节点的数量为4，设备集群中负载量小于预设负载量的执行服务器的数量为2，则第一分片数量为5，第二分片数量为2，分片服务器确定目标分片数量为2，分片服务器确定目标分片数量之后，将生成包括目标分片数量的目标分片策略。
进一步的，目标分片策略还包括针对待处理任务的目标分片节点，目标分片节点的具体决定方式可以为，分片服务器根据目标分片数量从待选分片节点中选取出N-1个目标分片节点，N为目标分片数量。在一种实现方式中，目标分片数量为第一分片数量，则终端直接将针对该待处理任务的待选分片节点确定为目标分片节点。在另一种实现方式中，目标分片数量为第二分片数量，则终端从待选分片节点中选取出N-1个目标分片节点，其中，选取的具体方式可以为随机选取、等量选取等，具体可以由研发人员预先设置，本发明实施例不做限定。
举例说明，终端上传的待处理任务包括检索部分、计算部分、资源获取部分、排序部分、检测部分，则分片服务器通过解析该待处理任务将各部分的任务类型的交界节点确定为待选分片节点，得到第一待选分片节点、第二待选分片节点、第三待选分片节点和第四待选分片节点，分片服务器确定第一分片数量为5。进一步的，分片服务器获取到设备集群中负载量小于预设负载量的执行服务器的数量为3，则分片服务器确定第二分片数量为3，目标分片数量则为3，其对应的目标分片节点的数量为2。分片服务器确定目标分片节点的数量之后，则基于该目标分片节点的数量从上述4个待选分片节点中选择2个节点作为目标分片节点。分片服务器采用随机选取的方式将第二待选分片节点和第四待选分片节点确定为了目标分片节点，则目标分片节点可以将待处理任务分为3个部分。第一部分对应检索部分和计算部分的内容，第二部分对应资源获取部分和排序部分，第三部分对应检测部分的内容。
分片服务器确定目标分片数量和目标分片节点之后，将生成包括目标分片数量和目标分片节点的目标分片策略。
S204、分片服务器采用目标分片策略对待处理任务进行分片处理，得到N个子任务。
本发明实施例中，分片服务器确定针对待处理任务的目标分片策略之后，将采用目标分片策略对待处理任务进行分片处理，得到N个子任务。其中，N为目标分片策略中包括的目标分片数量，具体的，分片服务器获取目标分片策略中包括的针对该待处理任务的N-1个目标分片节点，并获取到该N-1个目标分片节点的位置，分片服务在该N-1个目标分片节点中的每个目标分片节点处，对该待处理任务进行分片处理，得到N个子任务。
S205、分片服务器根据预设的负载均衡规则将N个子任务发送至设备集群中的执行服务器。
本发明实施例中，预设的负载均衡规则可以为尽量使得各个执行服务器接收到子任务后的负载量差距最小的规则，具体实现中，分片服务器可以按照负载量由小到大的顺序对设备集群中的至少一个执行服务器进行排序，得到排序为前N位的执行服务器。进一步的，分片服务器获取分片得到的N个子任务中每个子任务对应的任务量，并按照任务量由大到小的顺序对所述N个子任务进行排序。分片服务器将排序为第M位的子任务发送至排序为第M位的执行服务器，其中，所述M为小于或等于所述N的正整数。即分片服务器建立子任务与执行服务的对应关系为，任务量排序为第M位的子任务对应负载量排序为第M位的执行服务器，分片服务器将各个子任务发送至对应的执行服务器。需要说明的是，子任务的任务量可以由该子任务的类型所确定，具体的，分片服务器可以获取单个执行服务器处理每种类型子任务的平均耗时，并根据平均耗时与任务量的对应关系确定该类型任务的任务量，例如，计算类子任务的平均耗时为0.1秒，则其对应的任务量为100，检索类子任务的平均耗时为0.2秒，则其对应的任务量为200，其中，平均耗时可以由历史记录的执行服务器针对不同类型的子任务的处理耗时统计得到，平均耗时与任务量的对应关系可以由研发人员预先设定。
本发明实施例中，分片服务器根据接收到的待处理任务的任务属性和设备集群的负载信息确定针对待处理任务的分片策略，并根据预设的负载均衡规则对分片得到子任务进行分配，可以提升任务处理过程中的容灾性能，在任务处理过程中即设备集群中的部分执行服务器出现故障，也不会影响整个任务处理系统的运行，进一步的，分片服务器根据接收到的待处理任务的任务属性和设备集群的负载信息确定针对待处理任务的分片策略，可以对分片策略进行实时调整，充分发挥各个执行服务器的性能，提升处理效率。并且，采用设备集群这样的集群架构来执行待处理任务，即由多台执行服务器协同处理任务，可以提升任务处理的速度，当需要提升任务处理系统的性能时，在设备集群中添加执行服务器即可。
如图3所示，为本发明实施例提供的一种基于数据处理的任务分片方法的流程示意图，本实施例中的基于数据处理的任务分片方法的流程可以包括：
S301、分片服务器接收待处理任务，并检测待处理任务的任务属性。
本发明实施例中，任务属性包括了该待处理任务的待选分片节点的数量和位置，其中，待选分片节点可以由用户在输入待处理任务时预先设置，例如，针对一个计算类任务，用于预先设置有两个待选分片节点，用于将该计算任务分为3个计算子任务。或者，待选分片节点也可以由任务类型所决定，例如，针对计算类任务，分片服务器可以预先检测该计算类任务中的可分片模块，并将各个可分片模块的交点确定为待选分片节点。
S302、分片服务器获取设备集群的负载信息。
本发明实施例中，负载信息包括了设备集群中每个执行服务器的负载量，其中，负载量可用于表示执行服务器的当前负载与最大负载之间的比值，又可称为负载率。
S303、分片服务器根据任务属性和负载信息确定针对待处理任务的目标分片策略。
本发明实施例中，目标分片策略包括了针对所述待处理任务的目标分片数量和目标分片节点。
具体的，分片服务获取待选分片节点的数量，并根据待选分片节点的数量与分片数量的对应关系确定针对待处理任务的第一分片数量，其中，第一分片节点的数量可以为待选分片节点的数量加1。进一步的，分片服务器判断获取到的设备集群中各个执行服务器的负载量是否小于预设负载量，并获取设备集群中负载量小于预设负载量的执行服务器的数量，根据负载量小于预设负载量的执行服务器的数量确定针对待处理任务的第二分片数量。其中，第二分片数量可以与负载量小于预设负载量的执行服务器的数量相等。进一步的，分片服务器将第一分片数量和第二分片数量中的较小的数量确定为目标分片数量。例如，待选分片节点的数量为4，负载量小于预设负载量的执行服务器的数量为3，则第一分片数量为5，第二分片数量为3，目标分片数量为3。
进一步的，分片服务器获取到目标分片数量之后，将根据目标分片数量从待选分片节点中选取出N-1个节点作为目标分片节点，其中，N为所述目标分片数量，具体的，目标分片节点的选取方式可以为随机选取，等差选取等，具体可以由研发人员预先设定。
分片服务器确定目标分片数量和目标分片节点之后，将生成包括目标分片数量和目标分片节点的目标分片策略。
S304、分片服务器采用目标分片策略对待处理任务进行分片处理，得到N个子任务。
本发明实施例中，分片服务器确定针对待处理任务的目标分片策略之后，将采用目标分片策略对待处理进行分片处理，得到N个子任务。其中，N为目标分片策略中包括的目标分片数量，具体的，分片服务器获取目标分片策略中包括的针对待处理任务的N-1个目标分片节点，并获取到N-1个目标分片节点的位置，分片服务在该N-1个目标分片节点中的每个目标分片节点处，对待处理任务进行分片处理，得到N个子任务。
S305、分片服务器根据预设的负载均衡规则将N个子任务发送至设备集群中的执行服务器。
本发明实施例中，分片服务器可以按照负载量由小到大的顺序对设备集群中的至少一个执行服务器进行排序，得到排序为前N位的执行服务器。进一步的，分片服务器获取分片得到的N个子任务中每个子任务对应的任务量，并按照任务量由大到小的顺序对所述N个子任务进行排序。分片服务器将排序为第M位的子任务发送至排序为第M位的执行服务器，其中，所述M为小于或等于所述N的正整数。即分片服务器建立子任务与执行服务的对应关系为，任务量排序为第M位的子任务对应负载量排序为第M位的执行服务器，分片服务器将各个子任务发送至对应的执行服务器。
S306、分片服务器接收所述设备集群中的N个执行服务器返回的处理结果。
本发明实施例中，分片服务器将子任务发送至设备集群中的执行服务器之后，将接收设备集群中N个执行服务器返回的处理结果。
在一种实现方式中，若分片服务器向第一执行服务器发送第一子任务之后，在预设时长后未接收到第一执行服务器返回的处理结果，则分片服务器可以检测当前设备集群中其他执行服务器的负载信息，以及第一子任务中存在的待选分片节点，并制定针对第一子任务的分片策略，采用上述针对第一子任务的分片策略对该第一子任务进行分片处理，得到Y个目标子任务，并将分片处理得到的Y个子任务发送至对应的执行服务器，Y为正整数，分片服务器接收各个执行服务器返回的处理结果，并将各个处理结果进行整理，得到针对第一子任务的处理结果。其中，预设时长可以由研发人员预先设置，可以为一个待处理任务的最大处理时长，若超过该预设时长，则分片服务器可以判断该执行服务器出现故障。通过上述方式，可以提升设备集群的容灾性，在任务处理过程中即设备集群中的部分执行服务器出现故障，也不会影响整个任务处理系统的运行。
S307、分片服务器按照预设合并规则对所述N个执行服务器返回的处理结果进行合并处理，得到目标处理结果。
本发明实施例中，分片服务器接收到N个执行服务器返回的处理结果之后，将按照预设的合并规则对各个执行服务器返回的处理结果进行合并处理，得到目标处理结果。其中，预设的合并规则可以与上述目标分片策略相对应，由分片服务器确定目标分片策略后制定。
S308、分片服务器发送所述目标处理结果至所述待处理任务对应的目标终端。
本发明实施例中，分片服务器确定目标分片结果之后，将发送该目标分片结果至对应的目标终端，其中目标终端可以为向该分片服务器发送待处理任务的终端。
本发明实施例中，分片服务器根据接收到的待处理任务的任务属性和设备集群的负载信息确定针对待处理任务的分片策略，并根据预设的负载均衡规则对分片得到子任务进行分配，通过实施上述方法，可以提升任务处理过程中的容灾性能，在任务处理过程中即设备集群中的部分执行服务器出现故障，也不会影响整个任务处理系统的运行，进一步的，分片服务器根据接收到的待处理任务的任务属性和设备集群的负载信息确定针对待处理任务的分片策略，可以对分片策略进行实时调整，充分发挥各个执行服务器的性能，提升处理效率。并且，采用设备集群这样的集群架构来执行待处理任务，即由多台执行服务器协同处理任务，可以提升任务处理的速度，当需要提升任务处理系统的性能时，在设备集群中添加执行服务器即可。
下面将结合附图4对本发明实施例提供的基于数据处理的任务分片装置进行详细介绍。需要说明的是，附图4所示的基于数据处理的任务分片装置，用于执行本发明图2-图3所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，经参照本发明图2-图3所示的实施例。
请参见图4，为本发明提供的一种基于数据处理的任务分片装置的结构示意图，该基于数据处理的任务分片装置40可包括：接收模块401、检测模块402、获取模块403、确定模块404、处理模块405、发送模块406。
接收模块401，用于接收待处理任务；
检测模块402，用于检测所述待处理任务的任务属性，所述任务属性包括所述待处理任务中待选分片节点的数量和位置；
获取模块403，用于获取所述设备集群的负载信息，所述负载信息包括了所述设备集群中每个执行服务器的负载量；
确定模块404，用于根据所述任务属性和所述负载信息确定针对所述待处理任务的目标分片策略，所述目标分片策略包括了针对所述待处理任务的目标分片数量和目标分片节点；
处理模块405，用于采用所述目标分片策略对所述待处理任务进行分片处理，得到N个子任务，所述N为所述目标分片数量；
发送模块406，用于根据预设的负载均衡规则将所述N个子任务发送至所述设备集群中的执行服务器。
在一种实现方式中，检测模块402，具体用于：
解析所述待处理任务，得到所述待处理任务对应的任务信息中各部分信息的任务类型；
基于所述各部分信息的任务类型确定所述待处理任务中待选分片节点的数量和位置。
在一种实现方式中，确定模块404，具体用于：
获取所述待选分片节点的数量，并根据所述待选分片节点的数量与分片数量的对应关系确定针对所述待处理任务的第一分片数量；
获取所述设备集群中负载量小于预设负载量的执行服务器的数量，并根据所述负载量小于预设负载量的执行服务器的数量确定针对所述待处理任务的第二分片数量；
将所述第一分片数量和所述第二分片数量中的较小的数量确定为所述目标分片数量；
根据所述目标分片数量从所述待选分片节点中选取出N-1个节点作为目标分片节点，所述N为所述目标分片数量；
生成包括所述目标分片数量和所述目标分片节点的目标分片策略。
在一种实现方式中，处理模块405，具体用于：
获取所述目标分片策略中包括的针对所述待处理的任务的N-1个目标分片节点；
在所述N-1个目标分片节点中的每个目标分片节点处，对所述待处理任务进行分片处理，得到N个子任务，所述N为所述目标分片策略中包括的目标分片数量。
在一种实现方式中，接收模块401，还用于：
接收所述设备集群中各个执行服务器上传的负载量；
按照所述负载量对预先记录的所述设备集群的历史负载信息进行更新。
在一种实现方式中，发送模块406，具体用于：
按照所述负载量由小到大的顺序对所述设备集群中的至少一个执行服务器进行排序；
获取所述N个子任务中每个子任务对应的任务量，并按照所述任务量由大到小的顺序对所述N个子任务进行排序；
将排序为第M位的子任务发送至排序为第M位的执行服务器，其中，所述M为小于或等于所述N的正整数。
在一种实现方式中，接收模块401，还用于接收所述设备集群中的N个执行服务器返回的处理结果；
处理模块405还用于按照预设合并规则对所述N个执行服务器返回的处理结果进行合并处理，得到目标处理结果；
发送模块406还用于发送所述目标处理结果至所述待处理任务对应的目标终端。
本发明实施例中，接收模块401接收待处理任务，检测模块402检测所述待处理任务的任务属性，获取模块403获取所述设备集群的负载信息，确定模块404根据所述任务属性和所述负载信息确定针对所述待处理任务的目标分片策略，处理模块405采用所述目标分片策略对所述待处理任务进行分片处理，得到N个子任务，发送模块406，根据预设的负载均衡规则将所述N个子任务发送至所述设备集群中的执行服务器。通过实施上述方法，可以提升任务处理过程中的容灾性能，在任务处理过程中即设备集群中的部分执行服务器出现故障，也不会影响整个任务处理系统的运行，进一步的，分片服务器根据接收到的待处理任务的任务属性和设备集群的负载信息确定针对待处理任务的分片策略，可以对分片策略进行实时调整，充分发挥各个执行服务器的性能，提升处理效率。
请参见图5，为本发明实施例提供了一种分片服务器的结构示意图。如图5所示，该分片服务器包括：至少一个处理器501，输入设备503，输出设备504，存储器505，至少一个通信总线502。其中，通信总线502用于实现这些组件之间的连接通信。其中，输入设备503可以是控制面板或者麦克风等，输出设备504可以是显示屏等。其中，存储器505可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器505可选的还可以是至少一个位于远离前述处理器501的存储装置。其中处理器501可以结合图4所描述的装置，存储器505中存储一组程序代码，且处理器501，输入设备503，输出设备505调用存储器505中存储的程序代码，用于执行以下操作：
输入设备503，用于接收待处理任务；
处理器501，用于检测所述待处理任务的任务属性，所述任务属性包括所述待处理任务中待选分片节点的数量和位置；
处理器501，用于获取所述设备集群的负载信息，所述负载信息包括了所述设备集群中每个执行服务器的负载量；
处理器501，用于根据所述任务属性和所述负载信息确定针对所述待处理任务的目标分片策略，所述目标分片策略包括了针对所述待处理任务的目标分片数量和目标分片节点；
处理器501，用于采用所述目标分片策略对所述待处理任务进行分片处理，得到N个子任务，所述N为所述目标分片数量；
输出设备504，用于根据预设的负载均衡规则将所述N个子任务发送至所述设备集群中的执行服务器。
在一种实现方式中，处理器501，具体用于：
解析所述待处理任务，得到所述待处理任务对应的任务信息中各部分信息的任务类型；
基于所述各部分信息的任务类型确定所述待处理任务中待选分片节点的数量和位置。
在一种实现方式中，处理器501，具体用于：
获取所述待选分片节点的数量，并根据所述待选分片节点的数量与分片数量的对应关系确定针对所述待处理任务的第一分片数量；
获取所述设备集群中负载量小于预设负载量的执行服务器的数量，并根据所述负载量小于预设负载量的执行服务器的数量确定针对所述待处理任务的第二分片数量；
将所述第一分片数量和所述第二分片数量中的较小的数量确定为所述目标分片数量；
根据所述目标分片数量从所述待选分片节点中选取出N-1个节点作为目标分片节点，所述N为所述目标分片数量；
生成包括所述目标分片数量和所述目标分片节点的目标分片策略。
在一种实现方式中，处理器501，具体用于：
获取所述目标分片策略中包括的针对所述待处理的任务的N-1个目标分片节点；
在所述N-1个目标分片节点中的每个目标分片节点处，对所述待处理任务进行分片处理，得到N个子任务，所述N为所述目标分片策略中包括的目标分片数量。
在一种实现方式中，输入设备503，还用于接收所述设备集群中各个执行服务器上传的负载量；
处理器501用于按照所述负载量对预先记录的所述设备集群的历史负载信息进行更新。
在一种实现方式中，处理器501，具体用于：
按照所述负载量由小到大的顺序对所述设备集群中的至少一个执行服务器进行排序；
获取所述N个子任务中每个子任务对应的任务量，并按照所述任务量由大到小的顺序对所述N个子任务进行排序；
输出设备504，用于将排序为第M位的子任务发送至排序为第M位的执行服务器，其中，所述M为小于或等于所述N的正整数。
在一种实现方式中，输入设备503，用于接收所述设备集群中的N个执行服务器返回的处理结果；
处理器501用于按照预设合并规则对所述N个执行服务器返回的处理结果进行合并处理，得到目标处理结果；
输出设备504，用于发送所述目标处理结果至所述待处理任务对应的目标终端。
本发明实施例中，输入设备503接收待处理任务，处理器501检测所述待处理任务的任务属性；处理器501获取所述设备集群的负载信息；处理器501根据所述任务属性和所述负载信息确定针对所述待处理任务的目标分片策略，处理器501，采用所述目标分片策略对所述待处理任务进行分片处理，得到N个子任务，所述N为所述目标分片数量；输出设备504根据预设的负载均衡规则将所述N个子任务发送至所述设备集群中的执行服务器。
通过实施上述方法，可以提升任务处理过程中的容灾性能，在任务处理过程中即设备集群中的部分执行服务器出现故障，也不会影响整个任务处理系统的运行，进一步的，分片服务器根据接收到的待处理任务的任务属性和设备集群的负载信息确定针对待处理任务的分片策略，可以对分片策略进行实时调整，充分发挥各个执行服务器的性能，提升处理效率。
本发明实施例中所述模块，可以通过通用集成电路，例如CPU(CentralProcessing Unit，中央处理器)，或通过ASIC(Application Specific IntegratedCircuit，专用集成电路)来实现。
应当理解，在本发明实施例中，所称处理器501可以是中央处理模块(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
总线502可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互联(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等，该总线502可以分为地址总线、数据总线、控制总线等，为便于表示，图5仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (9)

1.一种基于数据处理的任务分片方法，应用于设备集群中，所述设备集群包括至少一个执行服务器，其特征在于，所述方法包括：
接收待处理任务，并检测所述待处理任务的任务属性，所述任务属性包括所述待处理任务中待选分片节点的数量和位置；
获取所述设备集群的负载信息，所述负载信息包括了所述设备集群中每个执行服务器的负载量；
获取所述待选分片节点的数量，并根据所述待选分片节点的数量与分片数量的对应关系确定针对所述待处理任务的第一分片数量；
获取所述设备集群中负载量小于预设负载量的执行服务器的数量，并根据所述负载量小于预设负载量的执行服务器的数量确定针对所述待处理任务的第二分片数量；
将所述第一分片数量和所述第二分片数量中的较小的数量确定为目标分片数量；
根据所述目标分片数量从所述待选分片节点中选取出N-1个节点作为目标分片节点，所述N为所述目标分片数量；
生成包括所述目标分片数量和所述目标分片节点的目标分片策略，所述目标分片策略包括了针对所述待处理任务的目标分片数量和目标分片节点；
采用所述目标分片策略对所述待处理任务进行分片处理，得到N个子任务，所述N为所述目标分片数量；
根据预设的负载均衡规则将所述N个子任务发送至所述设备集群中的执行服务器。
2.根据权利要求1所述的方法，其特征在于，所述检测所述待处理任务的任务属性，包括：
解析所述待处理任务，得到所述待处理任务对应的任务信息中各部分信息的任务类型；
基于所述各部分信息的任务类型确定所述待处理任务中待选分片节点的数量和位置。
3.根据权利要求2所述的方法，其特征在于，所述采用所述目标分片策略对所述待处理任务进行分片处理，得到N个子任务，包括：
获取所述目标分片策略中包括的针对所述待处理的任务的N-1个目标分片节点；
在所述N-1个目标分片节点中的每个目标分片节点处，对所述待处理任务进行分片处理，得到N个子任务，所述N为所述目标分片策略中包括的目标分片数量。
4.根据权利要求1所述的方法，其特征在于，所述获取所述设备集群的负载信息之前，所述方法还包括：
接收所述设备集群中各个执行服务器上传的负载量；
按照所述负载量对预先记录的所述设备集群的历史负载信息进行更新。
5.根据权利要求1所述的方法，其特征在于，所述根据预设的负载均衡规则将所述N个子任务发送至所述设备集群中的执行服务器，包括：
按照所述负载量由小到大的顺序对所述设备集群中的至少一个执行服务器进行排序；
获取所述N个子任务中每个子任务对应的任务量，并按照所述任务量由大到小的顺序对所述N个子任务进行排序；
将排序为第M位的子任务发送至排序为第M位的执行服务器，其中，所述M为小于或等于所述N的正整数。
6.根据权利要求5所述的方法，其特征在于，所述将排序为第M位的子任务发送至排序为第M位的执行服务器之后，所述方法还包括：
接收所述设备集群中的N个执行服务器返回的处理结果；
按照预设合并规则对所述N个执行服务器返回的处理结果进行合并处理，得到目标处理结果；
发送所述目标处理结果至所述待处理任务对应的目标终端。
7.一种基于数据处理的任务分片装置，其特征在于，所述装置包括：
接收模块，用于接收待处理任务；
检测模块，用于检测所述待处理任务的任务属性，所述任务属性包括所述待处理任务中待选分片节点的数量和位置；
获取模块，用于获取设备集群的负载信息，所述负载信息包括了所述设备集群中每个执行服务器的负载量；
确定模块，用于获取所述待选分片节点的数量，并根据所述待选分片节点的数量与分片数量的对应关系确定针对所述待处理任务的第一分片数量；获取所述设备集群中负载量小于预设负载量的执行服务器的数量，并根据所述负载量小于预设负载量的执行服务器的数量确定针对所述待处理任务的第二分片数量；将所述第一分片数量和所述第二分片数量中的较小的数量确定为目标分片数量；根据所述目标分片数量从所述待选分片节点中选取出N-1个节点作为目标分片节点，所述N为所述目标分片数量；生成包括所述目标分片数量和所述目标分片节点的目标分片策略，所述目标分片策略包括了针对所述待处理任务的目标分片数量和目标分片节点；
处理模块，用于采用所述目标分片策略对所述待处理任务进行分片处理，得到N个子任务，所述N为所述目标分片数量；
发送模块，用于根据预设的负载均衡规则将所述N个子任务发送至所述设备集群中的执行服务器。
8.一种分片服务器，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。
CN201910422408.0A 2019-05-20 2019-05-20 基于数据处理的任务分片方法、装置及分片服务器 Active CN110209496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910422408.0A CN110209496B (zh) 2019-05-20 2019-05-20 基于数据处理的任务分片方法、装置及分片服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910422408.0A CN110209496B (zh) 2019-05-20 2019-05-20 基于数据处理的任务分片方法、装置及分片服务器

Publications (2)

Publication Number Publication Date
CN110209496A CN110209496A (zh) 2019-09-06
CN110209496B true CN110209496B (zh) 2022-05-17

Family

ID=67787962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910422408.0A Active CN110209496B (zh) 2019-05-20 2019-05-20 基于数据处理的任务分片方法、装置及分片服务器

Country Status (1)

Country Link
CN (1) CN110209496B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704183B (zh) * 2019-09-18 2021-01-08 深圳前海大数金融服务有限公司 数据处理方法、系统及计算机可读存储介质
CN110618880B (zh) * 2019-09-19 2022-05-27 中国银行股份有限公司 一种跨系统数据传递系统和方法
CN111092931B (zh) * 2019-11-15 2021-08-06 中国科学院计算技术研究所 电力系统在线超实时仿真的流式数据快速分发方法及系统
CN110866264A (zh) * 2019-11-15 2020-03-06 成都卫士通信息产业股份有限公司 一种多芯片多板卡协同运算方法、装置及设备
CN110659123B (zh) * 2019-11-29 2020-03-20 中国人民解放军国防科技大学 一种基于消息的分布式任务分发调度方法及装置
CN111191794B (zh) * 2019-12-29 2023-03-14 广东浪潮大数据研究有限公司 一种训练任务处理方法、装置、设备及可读存储介质
CN111190753B (zh) * 2019-12-30 2023-03-21 腾讯科技（深圳）有限公司 分布式任务处理方法、装置、存储介质和计算机设备
CN111176818B (zh) * 2019-12-31 2023-08-25 北京金山云网络技术有限公司 分布式预测的方法、装置、系统、电子设备及存储介质
CN111338797B (zh) * 2020-02-19 2023-09-05 望海康信(北京)科技股份公司 任务处理方法、装置、电子设备及计算机可读存储介质
CN111641678A (zh) * 2020-04-29 2020-09-08 深圳壹账通智能科技有限公司 任务调度方法、装置、电子设备及介质
CN112035258B (zh) * 2020-08-31 2022-06-17 中国平安财产保险股份有限公司 数据处理方法、装置、电子设备及介质
CN112162859A (zh) * 2020-09-24 2021-01-01 成都长城开发科技有限公司 数据处理方法、装置、计算机可读介质及电子设备
CN112162839A (zh) * 2020-09-25 2021-01-01 太平金融科技服务（上海）有限公司 任务调度方法、装置、计算机设备和存储介质
CN112231098A (zh) * 2020-09-29 2021-01-15 北京三快在线科技有限公司 任务处理方法、装置、设备及存储介质
CN112468548B (zh) * 2020-11-13 2023-05-30 苏州智加科技有限公司 数据处理方法、装置、系统、服务器及可读存储介质
CN112667656A (zh) * 2020-12-07 2021-04-16 南方电网数字电网研究院有限公司 交易数据的处理方法、装置、计算机设备和存储介质
CN112559179A (zh) * 2020-12-15 2021-03-26 建信金融科技有限责任公司 一种作业处理方法和装置
CN112541041A (zh) * 2020-12-23 2021-03-23 平安普惠企业管理有限公司 一种数据处理方法、装置、服务器及存储介质
CN112540841B (zh) * 2020-12-28 2021-11-12 智慧神州(北京)科技有限公司 任务调度的方法、装置、处理器与电子设备
CN112764924A (zh) * 2021-01-14 2021-05-07 城云科技（中国）有限公司 任务调度方法、装置及电子设备
CN113608854A (zh) * 2021-08-09 2021-11-05 深圳华大九天科技有限公司 用于版图验证的任务调度方法、装置、服务器和存储介质
CN113886089B (zh) * 2021-10-21 2024-01-26 上海勃池信息技术有限公司 一种任务处理方法、装置、系统、设备及介质
CN114327817A (zh) * 2021-12-22 2022-04-12 马上消费金融股份有限公司 一种任务分片方法、装置和电子设备
CN114327819B (zh) * 2021-12-24 2023-02-03 北京百度网讯科技有限公司 一种任务管理方法、装置、设备及存储介质
CN114710485B (zh) * 2022-02-21 2023-10-27 联想(北京)有限公司 处理方法和处理装置
CN114745382B (zh) * 2022-04-07 2024-05-24 中国邮政储蓄银行股份有限公司 任务分片方法、任务分片装置和业务系统
CN114969444A (zh) * 2022-05-24 2022-08-30 北京百度网讯科技有限公司 数据的处理方法、装置、电子设备和存储介质
CN114862606B (zh) * 2022-06-13 2023-05-09 新疆益盛鑫创展科技有限公司 一种基于云服务的保险信息处理方法、装置
CN115237576A (zh) * 2022-08-10 2022-10-25 中国建设银行股份有限公司 一种串并行混合处理方法、装置、设备及介质
CN115641497B (zh) * 2022-12-23 2023-03-03 中电信数字城市科技有限公司 多路视频处理系统及方法
CN117057746A (zh) * 2023-08-24 2023-11-14 杭州浩联智能科技有限公司 基于分布式设备联动的工地现场巡检方法、装置及设备
CN117041259B (zh) * 2023-09-28 2024-01-12 新华三技术有限公司 计算资源的调度方法及装置
CN117539643B (zh) * 2024-01-09 2024-03-29 上海晨钦信息科技服务有限公司 信用卡清分清算平台、批量任务处理方法及服务器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562531A (zh) * 2016-06-30 2018-01-09 华为技术有限公司 一种数据均衡方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8453156B2 (en) * 2009-03-30 2013-05-28 Intel Corporation Method and system to perform load balancing of a task-based multi-threaded application
CN104102475B (zh) * 2013-04-11 2018-10-02 腾讯科技（深圳）有限公司 分布式并行任务处理的方法、装置及系统
CN103942098A (zh) * 2014-04-29 2014-07-23 国家电网公司 一种任务处理系统和方法
CN105049268B (zh) * 2015-08-28 2018-12-28 东方网力科技股份有限公司 分布式计算资源分配系统和任务处理方法
EP3264677A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and device for processing, at a network equipment, a processing request from a terminal
CN106502791B (zh) * 2016-10-14 2019-06-25 浪潮电子信息产业股份有限公司 一种任务分配方法及装置
CN108566408A (zh) * 2018-01-18 2018-09-21 咪咕文化科技有限公司 一种业务处理方法、装置及存储介质
CN108491263A (zh) * 2018-03-02 2018-09-04 珠海市魅族科技有限公司 数据处理方法、数据处理装置、终端及可读存储介质
CN109582758B (zh) * 2018-12-06 2023-04-07 重庆邮电大学 一种Elasticsearch索引分片优化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562531A (zh) * 2016-06-30 2018-01-09 华为技术有限公司 一种数据均衡方法和装置

Also Published As

Publication number Publication date
CN110209496A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110209496B (zh) 基于数据处理的任务分片方法、装置及分片服务器
CN111459659A (zh) 数据处理方法、装置、调度服务器及介质
CN109033814B (zh) 智能合约触发方法、装置、设备及存储介质
CN107807841B (zh) 服务器模拟方法、装置、设备及可读存储介质
CN114095567A (zh) 数据访问请求的处理方法、装置、计算机设备及介质
CN111797402A (zh) 一种软件漏洞检测的方法、装置及存储介质
CN111538572A (zh) 任务处理方法、装置、调度服务器及介质
CN108632085B (zh) 灰度用户管理方法、装置、平台及存储介质
CN110460673B (zh) 一种服务地址获取方法、装置及设备
CN112965799A (zh) 任务状态的提示方法、装置、电子设备和介质
CN112306452A (zh) 归并排序算法处理业务数据的方法、装置及系统
KR102464688B1 (ko) 모니터링 결과의 이벤트 등급 결정 방법 및 장치
CN113239054B (zh) 信息生成方法及相关装置
CN112925623B (zh) 任务处理方法、装置、电子设备和介质
CN114565105A (zh) 处理数据的方法和深度学习模型的训练方法、装置
CN110609707A (zh) 在线数据处理系统生成方法、装置及设备
CN113010310A (zh) 作业数据的处理方法、装置和服务器
CN114841267B (zh) 实时预测方法、装置、电子设备及计算机程序产品
CN105468603A (zh) 数据选择方法及装置
CN113961603B (zh) 一种大屏数据展示方法、装置、电子设备及存储介质
CN114996557B (zh) 服务稳定性确定方法、装置、设备以及存储介质
CN113360407B (zh) 函数的定位方法、装置、电子设备及可读存储介质
CN106713268A (zh) 一种安全扫描任务的调度方法、装置及电子设备
CN114528493A (zh) 推荐方法、装置、电子设备以及存储介质
CN116628306A (zh) 网页资源获取方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant