CN112988360A - 一种基于大数据分析的任务分发系统 - Google Patents
一种基于大数据分析的任务分发系统 Download PDFInfo
- Publication number
- CN112988360A CN112988360A CN202110507596.4A CN202110507596A CN112988360A CN 112988360 A CN112988360 A CN 112988360A CN 202110507596 A CN202110507596 A CN 202110507596A CN 112988360 A CN112988360 A CN 112988360A
- Authority
- CN
- China
- Prior art keywords
- task
- tasks
- task execution
- processed
- devices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于大数据分析的任务分发系统,涉及信息技术领域,包括:任务汇集器,汇集从各任务请求端上传的待处理任务,附上任务类型标识;任务类型统计模块,提取待处理任务的任务类型标识,统计出各任务类型的数量和占比,并将待处理任务投递到消息队列中;消息队列,提供临时存储待处理任务的缓冲区;任务执行装置,执行待处理任务;性能测试模块,测试各个任务执行装置对不同任务类型的处理能力,将任务执行装置按照等比例分类为对应的装置类型;负载均衡器,将消息队列中的待处理任务,分配至对应类型的任务执行装置中。本发明基于任务处理装置对不同类型的任务的处理能力强弱予以区分,使整体系统的性能达到最优。
Description
技术领域
本发明涉及信息技术领域,尤其涉及一种基于大数据分析的任务分发系统。
背景技术
随着移动互联网技术的迅速发展和网络的不断升级,面临大数据量的任务处理时,如果采用串行任务的处理方式就会拉长任务的处理时间,所以一般会对任务采用并行处理方式,为了提高任务分发处理的效果也对并行处理能力提出了更高的要求。
如公开号为CN103186418A的发明专利便公开了一种任务分发方法及系统,其设置多个任务处理装置只有在闲置状态下才会领取任务,当任务数量大于任务处理装置个数后,每个任务处理装置都在处理任务,而没有闲置的任务处理装置,因此可以认为任务的分配满足了各个任务处理装置负载均衡的要求。该方法虽然从原理性上满足了负载均衡的要求,但其任务处理器中每次仅存一个待处理的任务,在同一个任务处理器处理任意相邻两次任务处理之间都要与消息目录发生交互,在这过程中必然会导致任务处理的中断,导致任务处理整体效率的降低。另外,现有的技术中仅考虑任务处理装置的整体性能,但本领域技术人员都知道,任务分为不同的类型,比如在智慧园区的领域中便包括了人脸识别、计费、导航、统计等等不同类型的任务,而对于不同的任务处理装置来说不同类型任务的处理能力不尽相同,因此,在分布式系统中,想要使任务分发系统的整体性能达到最优,急需一种能够考虑每个任务处理装置对不同类型的处理能力的任务分发系统。
发明内容
本发明的目的在于提供一种基于大数据分析的任务分发系统,基于任务处理装置对不同类型的任务的处理能力强弱予以区分,使整体系统的性能达到最优。
为实现上述目的,本发明提供如下技术方案:
一种基于大数据分析的任务分发系统,包括
任务汇集器,汇集从各任务请求端上传的待处理任务,并根据任务请求端为所述待处理任务附上任务类型标识;
任务类型统计模块,提取待处理任务的任务类型标识,统计出各任务类型的数量和占比,并将待处理任务投递到消息队列中;
消息队列,提供临时存储待处理任务的缓冲区;
任务执行装置,数量若干,执行待处理任务;
性能测试模块,测试各个任务执行装置对不同任务类型的处理能力,并结合任务类型的优先级和统计出来的各任务类型的占比,将任务执行装置按照等比例分类为对应的装置类型;
负载均衡器,将消息队列中的待处理任务,分配至对应类型的任务执行装置中。
进一步的,所述性能测试模块中,对不同任务类别的处理能力的测试方法如下:
针对每一种任务类型,生成包含一定数量的测试任务的测试任务集,并将该测试任务集分别分发至各任务执行装置中,统计每一任务执行装置完成该测试任务集的时间,计算出每一任务执行装置在单位时间内完成该任务类型的任务量作为该任务执行装置对该任务类型的处理能力。
进一步的,所述性能测试模块中,任务执行装置的分类方法为按照任务类型的优先级从高到低的顺序依次进行如下处理:
求当前优先级的任务类型的占比与任务执行装置总数量的乘积作为对应的装置类型的数量k,取未标识装置类型的任务执行装置中对该优先级的任务类型的处理能力最强的前k个任务执行装置,附上相应的装置类型标识。
进一步的,所述性能测试模块在进行装置类型分类的时候,分配至少一个备用任务处理装置。
进一步的,所述备用任务处理装置的生成方法如下:
KX1,在求解数量k的时候进行取整;
KX2,分配完所有装置类型后,余下若干未分配的任务执行装置;
KX3,将未分配的任务执行装置与预先设定的备用任务处理装置数量进行比较;若未分配的任务执行装置大于预先设定的备用任务处理装置数量,则进入KX4;若未分配的任务执行装置小于预先设定的备用任务处理装置数量,则进入KX5;
KX4,按照任务类型的优先级从高到低的顺序,依次轮询将未分配的任务执行装置中对应任务类型的处理能力最强的附上相应的装置类型标识直至未分配的任务执行装置等于预先设定的备用任务处理装置数量;
KX5,按照任务类型的优先级从高到低的顺序,依次轮询从已标记装置类型的任务执行装置选取对应任务类型的处理能力最弱的去除其标识直至未分配的任务执行装置等于预先设定的备用任务处理装置数量;
KX6,为未分配的任务执行装置附上备用标识。
进一步的,所述负载均衡器的分配步骤如下:
FP1,针对同一装置类型,计算各任务执行装置的处理能力占该装置类型的任务执行装置的总处理能力的占比;
FP2,针对与该装置类型对应的任务类型,以待处理任务中该任务类型的数量与FP1中求得的占比的乘积作为该任务执行装置处理该批次任务的任务量上限;
FP3,负载均衡器每从消息队列提取待处理任务后,根据任务类型,将其依次轮询分配至对应装置类型并且未达到任务量上限的不同任务执行装置中,当某一任务执行装置达到任务量上限时,将其从轮询分配的队列中剔除。
进一步的,所述任务执行装置每处理完一个任务后,经负载均衡器向消息队列回发反馈,消息队列收到反馈后,删除对应的待执行任务。
进一步的,所述负载均衡器监测每一任务执行装置的完成情况,当某一任务执行装置完成所有待处理任务后,从同一装置类别的任务执行装置抓取待处理任务。
进一步的,从同一装置类别的任务执行装置抓取待处理任务的方法如下:计算同一装置类别中存在待处理任务的任务执行装置中的预计剩余完成时间,将预计剩余完成时间与设定的第一时间阈值相比较,若存在某一个或几个任务执行装置的预计剩余完成时间大于第一时间阈值,则按照预计剩余完成时间从大到小的顺序将对应的任务执行装置中的待处理任务转移至已完成所有待处理任务的任务执行装置中,直至已完成所有待处理任务的任务执行装置的预计剩余完成时间达到第一时间阈值。
与现有技术相比,本发明的有益效果是:本发明在进行任务的负载均衡的时候,充分考虑到了不同任务执行装置对于不同类型的任务的处理能力,并按照设定的任务优先级从高到低选择出最优的均衡方案,避免了任务执行装置的性能浪费,使系统的整体性能达到了进一步的提升。
附图说明
图1为本发明的系统框架图。
图2为本发明一实施例的备用任务处理装置的生成方法流程图。
图3为本发明一实施例的消息队列中的待处理任务的分配方法流程图。
图4为本发明一实施例的抓取待处理任务的方法流程图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种基于大数据分析的任务分发系统,包括
任务汇集器,汇集从各任务请求端上传的待处理任务,并根据任务请求端为所述待处理任务附上任务类型标识。如在应用于智慧园区时,在园区入口处设置有人脸识别、指纹识别等打卡机,车牌识别摄像头,园区出口处设置有相应的车辆停车计费系统等等,都会生成各式各样的任务,通常来说每一任务请求端生成的任务类型为同一种类,因此本发明根据任务请求端对待处理任务的类型进行了区分,并附上相应的任务类型标识。
任务类型统计模块,提取待处理任务的任务类型标识,统计出各任务类型的任务数量和占比,并将待处理任务投递到消息队列中。在一实施例中,同一批次待处理任务包括1000个{R1,R2,...RN},其中N为待处理任务总数量,本实施例中N=1000。共存在5种任务类型,任务类型标识分别为A、B、C、D、E,相应的任务数量分别为150,200,250,100,300;则其占比ZBj分别为0.15,0.2,0.25,0.1,0.3;其中,j表示任务类型,j∈(A、B、C、D、E)。
消息队列,提供临时存储待处理任务{R1,R2,...RN}的缓冲区;
任务执行装置,数量若干,包括{Z1,Z2,...ZM},其中M为任务执行装置总数量,用于执行待处理任务;
性能测试模块,测试各个任务执行装置对不同任务类型的处理能力,并结合任务类型的优先级和统计出来的各任务类型的占比,将任务执行装置按照等比例分类为对应的装置类型。
其中,对不同任务类别的处理能力的测试方法如下:
针对每一种任务类型(A、B、C、D、E),生成包含一定数量的测试任务的测试任务集,并将该测试任务集分别分发至各任务执行装置中,统计每一任务执行装置完成该测试任务集的时间Tij,其中i表示任务执行装置的序号,i=[1,M],j∈(A、B、C、D、E),计算出每一任务执行装置i在单位时间内完成该任务类型j的任务量(一般情况下以任务个数作为任务量)作为该任务执行装置i对该任务类型j的处理能力,记为NLij。
任务执行装置的分类方法为按照任务类型的优先级从高到低的顺序依次进行如下处理;值得一提的是,所述任务类型的优先级为人为预先设定。
求当前优先级的任务类型j的占比ZBj与任务执行装置总数量M的乘积作为对应的装置类型的数量k,基于此以任务类型的占比为基础实现了初步的均衡。不同任务之间存在优先级的差别,比如一些实时任务,如识别,计费等需要尽快进行,不然会影响到人员的进出,而一些后台任务,比如报表统计,相比较而言,对于实时性要求并不那么高,因此为了保证实时性要求更高的任务能够在第一时间内处理完成,本实施例取未标识装置类型的任务执行装置中对该优先级的任务类型的处理能力最强的前k个任务执行装置,附上相应的装置类型标识;所述装置类型标识与任务类型标识一一对应。
本领域人员都知道,数量k必须为整数,因此在实际计算数量k的时候,可采用取整或者四舍五入的方式达到这一效果。
进一步的,任务执行装置在执行任务过程中难免会发生故障宕机,剩余的任务无法进行下去。因此设置少量的备用任务处理装置显得很有必要,少量的备用任务处理装置不影响整体的进度,仅用作在其中一台或几台任务处理装置出现偶然故障的时候使用。因此本发明在所述性能测试模块在进行装置类型分类的时候,分配至少一个备用任务处理装置。请参照图2,所述备用任务处理装置的生成方法如下:
KX1,在求解数量k的时候进行取整;在实际操作过程中,至少会有一个任务执行服务器余留。
KX2,分配完所有装置类型后,余下若干未分配的任务执行装置;
KX3,将未分配的任务执行装置与预先设定的备用任务处理装置数量(根据实际情况由工作人员而定)进行比较;若未分配的任务执行装置大于预先设定的备用任务处理装置数量,则进入KX4;若未分配的任务执行装置小于预先设定的备用任务处理装置数量,则进入KX5;
KX4,这是需要将多余的未分配的任务执行装置附上装置类型,作为对应的任务处理所使用,用以进一步提高系统的整体性能。按照任务类型的优先级从高到低的顺序,依次轮询将未分配的任务执行装置中对应任务类型的处理能力最强的附上相应的装置类型标识直至未分配的任务执行装置等于预先设定的备用任务处理装置数量。将对应到其任务类型的处理能力最强的附上装置类型,相应的,将性能较弱的作为备用,整体处理性能得到提高。
KX5,按照任务类型的优先级从高到低的顺序,依次轮询从已标记装置类型的任务执行装置选取对应任务类型的处理能力最弱的去除其标识直至未分配的任务执行装置等于预先设定的备用任务处理装置数量,与KX4相反,当要从已标记装置类型的任务执行装置中剔除一部分作为备用时,优选选择其处理能力较弱的,起到保障整体处理性能的效果。
KX6,为未分配的任务执行装置附上备用标识。当出现某一台或几台任务处理装置长时间没有处理完成任务的时候,认为其出现了宕机故障,随即将其进行中的待处理任务转至备用任务执行装置中,保证任务能够正常进行下去。
负载均衡器,将消息队列中的待处理任务,分配至对应类型的任务执行装置中。请参照图3,具体分配步骤如下:
FP1,针对同一装置类型,计算各任务执行装置的处理能力占该装置类型的任务执行装置的总处理能力的占比;
FP2,针对与该装置类型对应的任务类型,以待处理任务中该任务类型的数量与FP1中求得的占比的乘积作为该任务执行装置处理该批次任务的任务量上限;
FP3,负载均衡器每从消息队列提取待处理任务后,根据任务类型,将其依次轮询分配至对应装置类型并且未达到任务量上限的不同任务执行装置中,当某一任务执行装置达到任务量上限时,将其从轮询分配的队列中剔除。
该分配方法能够使得初步分配后,可以保证各任务执行装置对所分配的待处理任务的完成时间大致相等。
值得一提的是,所述任务执行装置每处理完一个任务后,经负载均衡器向消息队列回发反馈,消息队列收到反馈后,删除对应的待执行任务。
本领域人员都知道,在任务处理装置执行任务的过程中,其执行环境会发生变化,如温度、湿度、电压等等,因此初步分配之后,任务执行装置实际完成任务的时间并非与我们所预期其完成时间完全一致,有可能导致某一个或几个任务执行装置比较快,而另外几个任务执行装置比较慢的情况。
基于上述请款,本申请提出一种新的抓取机制:所述负载均衡器监测每一任务执行装置的完成情况,当某一任务执行装置完成所有待处理任务后,从同一装置类别的任务执行装置抓取待处理任务。抓取待处理任务的方法如下:计算同一装置类别中存在待处理任务的任务执行装置中的预计剩余完成时间,将预计剩余完成时间与设定的第一时间阈值相比较,所述第一时间阈值为工作人员所允许的时间,在第一时间阈值内,不影响整体的任务处理进度。若存在某一个或几个任务执行装置的预计剩余完成时间大于第一时间阈值,则按照预计剩余完成时间从大到小的顺序将对应的任务执行装置中的待处理任务转移至已完成所有待处理任务的任务执行装置中,直至已完成所有待处理任务的任务执行装置的预计剩余完成时间达到第一时间阈值。
如:设定第一时间阈值为10s,
当同一装置类别的任务执行装置中,其中1台首先完成所有待处理任务;
则计算同一装置类别的其他任务执行装置的预计剩余完成时间;所述预计剩余完成时间的计算为:剩余待处理任务除以其对应任务类型的处理能力;
从预计剩余完成时间最大的任务执行装置中抓取一定量的待处理任务,转移至已完成所有待处理任务的任务执行装置中;请参照图4,抓取的量由以下方法计算:
ZQ1,计算每一台任务执行装置在接下去第一时间阈值的时间段内预计可完成的任务量pi;将实际未完成的待处理任务量qi与任务量pi做差作为该任务执行装置的溢出值si,其中i为任务执行装置的序号;
ZQ2,将各任务执行装置的溢出值si排序;
ZQ3,计算已完成所有待处理任务的任务执行装置在接下去第一时间阈值的时间段预计可完成的任务量p0;将任务量p0与溢出值si的最大值smax作比较,若任务量p0小于smax,则仅抓取溢出值si最大值smax对应任务执行装置中的待处理任务至已完成所有待处理任务的任务执行装置中,抓取的量为p0;
ZQ4,若任务量p0大于smax,则抓取溢出值si最大值smax对应任务执行装置中的溢出的待处理任务至已完成所有待处理任务的任务执行装置中,
ZQ5,重复ZQ2至ZQ3的步骤直至抓取的任务总量达到已完成所有待处理任务的任务执行装置在接下去第一时间阈值的时间段预计可完成的任务量p0。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
Claims (9)
1.一种基于大数据分析的任务分发系统,其特征在于,包括
任务汇集器,汇集从各任务请求端上传的待处理任务,并根据任务请求端为所述待处理任务附上任务类型标识;
任务类型统计模块,提取待处理任务的任务类型标识,统计出各任务类型的数量和占比,并将待处理任务投递到消息队列中;
消息队列,提供临时存储待处理任务的缓冲区;
任务执行装置,数量若干,执行待处理任务;
性能测试模块,测试各个任务执行装置对不同任务类型的处理能力,并结合任务类型的优先级和统计出来的各任务类型的占比,将任务执行装置按照等比例分类为对应的装置类型;
负载均衡器,将消息队列中的待处理任务,分配至对应类型的任务执行装置中。
2.根据权利要求1所述的基于大数据分析的任务分发系统,其特征在于,所述性能测试模块中,对不同任务类别的处理能力的测试方法如下:
针对每一种任务类型,生成包含一定数量的测试任务的测试任务集,并将该测试任务集分别分发至各任务执行装置中,统计每一任务执行装置完成该测试任务集的时间,计算出每一任务执行装置在单位时间内完成该任务类型的任务量作为该任务执行装置对该任务类型的处理能力。
3.根据权利要求2所述的基于大数据分析的任务分发系统,其特征在于,所述性能测试模块中,任务执行装置的分类方法为按照任务类型的优先级从高到低的顺序依次进行如下处理:
求当前优先级的任务类型的占比与任务执行装置总数量的乘积作为对应的装置类型的数量k,取未标识装置类型的任务执行装置中对该优先级的任务类型的处理能力最强的前k个任务执行装置,附上相应的装置类型标识。
4.根据权利要求3所述的基于大数据分析的任务分发系统,其特征在于,所述性能测试模块在进行装置类型分类的时候,分配至少一个备用任务处理装置。
5.根据权利要求4所述的基于大数据分析的任务分发系统,其特征在于,所述备用任务处理装置的生成方法如下:
KX1,在求解数量k的时候进行取整;
KX2,分配完所有装置类型后,余下若干未分配的任务执行装置;
KX3,将未分配的任务执行装置与预先设定的备用任务处理装置数量进行比较;若未分配的任务执行装置大于预先设定的备用任务处理装置数量,则进入KX4;若未分配的任务执行装置小于预先设定的备用任务处理装置数量,则进入KX5;
KX4,按照任务类型的优先级从高到低的顺序,依次轮询将未分配的任务执行装置中对应任务类型的处理能力最强的附上相应的装置类型标识直至未分配的任务执行装置等于预先设定的备用任务处理装置数量;
KX5,按照任务类型的优先级从高到低的顺序,依次轮询从已标记装置类型的任务执行装置选取对应任务类型的处理能力最弱的去除其标识直至未分配的任务执行装置等于预先设定的备用任务处理装置数量;
KX6,为未分配的任务执行装置附上备用标识。
6.根据权利要求1所述的基于大数据分析的任务分发系统,其特征在于,所述负载均衡器的分配步骤如下:
FP1,针对同一装置类型,计算各任务执行装置的处理能力占该装置类型的任务执行装置的总处理能力的占比;
FP2,针对与该装置类型对应的任务类型,以待处理任务中该任务类型的数量与FP1中求得的占比的乘积作为该任务执行装置的任务量上限;
FP3,负载均衡器每从消息队列提取待处理任务后,根据任务类型,将其依次轮询分配至对应装置类型并且未达到任务量上限的不同任务执行装置中,当某一任务执行装置达到任务量上限时,将其从轮询分配的队列中剔除。
7.根据权利要求1所述的基于大数据分析的任务分发系统,其特征在于,所述任务执行装置每处理完一个任务后,经负载均衡器向消息队列回发反馈,消息队列收到反馈后,删除对应的待执行任务。
8.根据权利要求7所述的基于大数据分析的任务分发系统,其特征在于,所述负载均衡器监测每一任务执行装置的完成情况,当某一任务执行装置完成所有待处理任务后,从同一装置类别的任务执行装置抓取待处理任务。
9.根据权利要求8所述的基于大数据分析的任务分发系统,其特征在于,从同一装置类别的任务执行装置抓取待处理任务的方法如下:计算同一装置类别中存在待处理任务的任务执行装置中的预计剩余完成时间,将预计剩余完成时间与设定的第一时间阈值相比较,若存在某一个或几个任务执行装置的预计剩余完成时间大于第一时间阈值,则按照预计剩余完成时间从大到小的顺序将对应的任务执行装置中的待处理任务转移至已完成所有待处理任务的任务执行装置中,直至已完成所有待处理任务的任务执行装置的预计剩余完成时间达到第一时间阈值。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111589330.5A CN114237857A (zh) | 2021-05-10 | 2021-05-10 | 一种大数据任务抓取的任务分发系统 |
CN202110507596.4A CN112988360B (zh) | 2021-05-10 | 2021-05-10 | 一种基于大数据分析的任务分发系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110507596.4A CN112988360B (zh) | 2021-05-10 | 2021-05-10 | 一种基于大数据分析的任务分发系统 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111589330.5A Division CN114237857A (zh) | 2021-05-10 | 2021-05-10 | 一种大数据任务抓取的任务分发系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112988360A true CN112988360A (zh) | 2021-06-18 |
CN112988360B CN112988360B (zh) | 2022-04-01 |
Family
ID=76337452
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110507596.4A Active CN112988360B (zh) | 2021-05-10 | 2021-05-10 | 一种基于大数据分析的任务分发系统 |
CN202111589330.5A Pending CN114237857A (zh) | 2021-05-10 | 2021-05-10 | 一种大数据任务抓取的任务分发系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111589330.5A Pending CN114237857A (zh) | 2021-05-10 | 2021-05-10 | 一种大数据任务抓取的任务分发系统 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN112988360B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113901262A (zh) * | 2021-09-24 | 2022-01-07 | 北京达佳互联信息技术有限公司 | 待处理数据的获取方法、装置、服务器和存储介质 |
CN116302404A (zh) * | 2023-02-16 | 2023-06-23 | 北京大学 | 面向资源解耦合数据中心的服务器无感知计算调度方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116225725A (zh) * | 2023-05-10 | 2023-06-06 | 西安敦讯信息技术有限公司 | 一种基于rpa机器人的流程配置方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101799809A (zh) * | 2009-02-10 | 2010-08-11 | 中国移动通信集团公司 | 数据挖掘方法和数据挖掘系统 |
US20140337849A1 (en) * | 2013-05-13 | 2014-11-13 | Korea Advanced Institute Of Science And Technology | Apparatus and job scheduling method thereof |
CN107741882A (zh) * | 2017-11-22 | 2018-02-27 | 阿里巴巴集团控股有限公司 | 分配任务的方法及装置和电子设备 |
CN108965364A (zh) * | 2017-05-22 | 2018-12-07 | 杭州海康威视数字技术股份有限公司 | 资源配置方法、装置及系统 |
CN109309726A (zh) * | 2018-10-25 | 2019-02-05 | 平安科技(深圳)有限公司 | 基于海量数据的文件生成方法及系统 |
CN111709613A (zh) * | 2020-05-26 | 2020-09-25 | 中国平安财产保险股份有限公司 | 基于数据统计的任务自动分配方法、装置及计算机设备 |
CN112162839A (zh) * | 2020-09-25 | 2021-01-01 | 太平金融科技服务(上海)有限公司 | 任务调度方法、装置、计算机设备和存储介质 |
-
2021
- 2021-05-10 CN CN202110507596.4A patent/CN112988360B/zh active Active
- 2021-05-10 CN CN202111589330.5A patent/CN114237857A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101799809A (zh) * | 2009-02-10 | 2010-08-11 | 中国移动通信集团公司 | 数据挖掘方法和数据挖掘系统 |
US20140337849A1 (en) * | 2013-05-13 | 2014-11-13 | Korea Advanced Institute Of Science And Technology | Apparatus and job scheduling method thereof |
CN108965364A (zh) * | 2017-05-22 | 2018-12-07 | 杭州海康威视数字技术股份有限公司 | 资源配置方法、装置及系统 |
CN107741882A (zh) * | 2017-11-22 | 2018-02-27 | 阿里巴巴集团控股有限公司 | 分配任务的方法及装置和电子设备 |
CN109309726A (zh) * | 2018-10-25 | 2019-02-05 | 平安科技(深圳)有限公司 | 基于海量数据的文件生成方法及系统 |
CN111709613A (zh) * | 2020-05-26 | 2020-09-25 | 中国平安财产保险股份有限公司 | 基于数据统计的任务自动分配方法、装置及计算机设备 |
CN112162839A (zh) * | 2020-09-25 | 2021-01-01 | 太平金融科技服务(上海)有限公司 | 任务调度方法、装置、计算机设备和存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113901262A (zh) * | 2021-09-24 | 2022-01-07 | 北京达佳互联信息技术有限公司 | 待处理数据的获取方法、装置、服务器和存储介质 |
CN116302404A (zh) * | 2023-02-16 | 2023-06-23 | 北京大学 | 面向资源解耦合数据中心的服务器无感知计算调度方法 |
CN116302404B (zh) * | 2023-02-16 | 2023-10-03 | 北京大学 | 面向资源解耦合数据中心的服务器无感知计算调度方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114237857A (zh) | 2022-03-25 |
CN112988360B (zh) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112988360B (zh) | 一种基于大数据分析的任务分发系统 | |
CN110350609B (zh) | Agv的充电管理方法及系统、设备和存储介质 | |
CN112272203B (zh) | 一种集群业务节点选择方法、系统、终端及存储介质 | |
CN102667724A (zh) | 利用加速器的、目标指向的工作负载性能管理 | |
CN111459754B (zh) | 异常任务的处理方法、装置、介质及电子设备 | |
CN113010576A (zh) | 云计算系统容量评估的方法、装置、设备和存储介质 | |
CN116755891B (zh) | 基于多线程的事件队列处理方法和系统 | |
CN117707763A (zh) | 分层算力调度方法、系统、设备及存储介质 | |
CN103729417A (zh) | 一种数据扫描的方法及装置 | |
CN110516872B (zh) | 一种信息处理方法、装置、存储介质和电子设备 | |
CN110648060A (zh) | 一种自动给客服分配任务的方法 | |
CN113190335B (zh) | 一种电力采集终端的多任务调度和采集方法及电力采集系统 | |
CN109376509A (zh) | 一种kvm任务自动派发系统以及自动派发方法 | |
CN114489970A (zh) | Kubernetes中利用Coscheduling插件实现队列排序的方法及系统 | |
CN111628943B (zh) | 一种基于通信和感知技术的智能物联方法 | |
CN113778690A (zh) | 一种任务分配方法、装置、设备及存储介质 | |
CN113992687A (zh) | 智能业务集群调度方法、装置、电子设备及存储介质 | |
CN112948229A (zh) | 调度集群的性能确定方法、装置、计算机设备及存储介质 | |
CN111124688A (zh) | 服务器资源控制方法和系统 | |
CN109062707A (zh) | 电子装置及其限制进程间通信的方法、存储介质 | |
CN109753849B (zh) | 处理视频分析任务的方法和装置 | |
CN117750040B (zh) | 智能服务器集群的视频业务均衡方法、装置、设备及介质 | |
CN117407143B (zh) | 一种基于云计算的数据中心管理系统 | |
CN112905351B (zh) | 一种gpu和cpu负载调度方法、装置、设备和介质 | |
CN112748999A (zh) | 一种集群调度系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |