CN109933415B - 数据的处理方法、装置、设备及介质 - Google Patents
数据的处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN109933415B CN109933415B CN201711375096.XA CN201711375096A CN109933415B CN 109933415 B CN109933415 B CN 109933415B CN 201711375096 A CN201711375096 A CN 201711375096A CN 109933415 B CN109933415 B CN 109933415B
- Authority
- CN
- China
- Prior art keywords
- batch
- processed
- services
- indication information
- batch services
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供了数据的处理方法、装置、设备及介质。其中该数据的处理方法包括:获取用于指示系统中各个进程的待处理批量业务数量的指示信息;根据指示信息,对系统实时接收到的批量业务进行分派以均衡系统中各个进程下的待处理批量业务的数量。通过本发明实施例,解决了相关技术中在获取批量任务后,固定的选择处理进程进行处理导致批量任务过于集中造成系统资源浪费的问题。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据的处理方法、装置、设备及介质。
背景技术
随着电信业、银行等逐步进入全业务时代,信息服务行业中业务处理量大幅攀升,所以对业务系统的要求以及批量业务的处理要求也随之水涨船高。以电信行业为例,随着集团业务与家庭业务的迅速发展,用户数成倍增长,单笔业务中的用户数越来越多,批量业务越来越多。
图1是现有相关技术中的批量业务处理方案示意图,如图1所示,相关技术中批量任务生成后,系统会根据既定属性A为之分配相应的处理进程,由进程对批量任务进行处理,处理完毕后串行处理下一个任务。
可见,相关技术中在获取批量任务后,固定的选择处理进程进行处理。在属性A下的任务过于集中或者批量任务的处理速度不同的情况下,就会出现某一进程空闲,而某一进程排队任务过多的情况。由于批量任务的流向是固定的,不会根据系统的承载情况进行动态调整,会造不必要的系统浪费。
针对相关技术中的上述问题,目前尚未存在有效的解决方案。
发明内容
本发明实施例提供了一种数据的处理方法、装置、设备及介质,以解决相关技术中在获取批量任务后,固定的选择处理进程进行处理导致批量任务过于集中造成系统资源浪费的问题。
第一方面,本发明实施例提供了一种数据的处理方法,方法包括:获取用于指示系统中各个进程的待处理批量业务数量的指示信息;根据所述指示信息,对所述系统实时接收到的批量业务进行分派以均衡所述系统中各个进程下的待处理批量业务的数量。
第二方面,本发明实施例提供了一种数据的处理装置,装置包括:获取模块,用于获取用于指示系统中各个进程的待处理批量业务数量的指示信息;分派模块,用于根据所述指示信息,对所述系统实时接收到的批量业务进行分派以均衡所述系统中各个进程下的待处理批量业务的数量。
第三方面,本发明实施例提供了一种数据的处理设备,包括:至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令,当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序指令,当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
本发明实施例提供的数据的处理方法、装置、设备及介质,能够及时的获取当前用于指示系统中各个进程的待处理批量业务数量的指示信息,也就是说能够及时的获取当前系统中各个进程的忙闲情况;并根据该指示信息对系统实时接收到的批量业务进行分派以均衡系统中各个进程下的待处理批量业务的数量,从而缓解某一进程排队任务过多的情况,从而解决了相关技术中在获取批量任务后,固定的选择处理进程进行处理导致批量任务过于集中造成系统资源浪费的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有相关技术中的批量业务处理方案示意图;
图2是根据本发明实施例的数据的处理方法的流程图;
图3是根据本发明实施例的批量业务处理方法的流程图一;
图4是根据本发明实施例的批量业务处理方法的流程图二;
图5是根据本发明实施例的数据的处理装置的结构示意图;
图6是根据本发明实施例的数据的可选处理装置的结构示意图;
图7是根据本发明实施例提供的数据的处理设备的硬件结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面通过本发明的实施例对本发明进行详细说明。
实施例1
图2是根据本发明实施例的数据的处理方法的流程图,如图2所示,该数据的处理方法包括:
步骤S202:获取用于指示系统中各个进程的待处理批量业务数量的指示信息;
步骤S204:根据指示信息,对系统实时接收到的批量业务进行分派以均衡系统中各个进程下的待处理批量业务的数量。
通过上述步骤S202和步骤S204,能够及时的获取当前用于指示系统中各个进程的待处理批量业务数量的指示信息,也就是说能够及时的获取当前系统中各个进程的忙闲情况;并根据该指示信息对系统实时接收到的批量业务进行分派以均衡系统中各个进程下的待处理批量业务的数量。
例如:在指示信息指示系统中的A进程下的待处理批量业务的数量大于B进程下的待处理批量业务的数量的情况下,可以将A进程下的一部分待处理批量业务分派到B进程;当然上述仅仅是举例说明,并不对本方案构成限定,下述将会对其详细说明。通过上述方式,能够及时的对系统中各个进程下的待处理批量业务进行动态的分派,以缓解某一进程排队任务过多的情况,从而解决了相关技术中在获取批量任务后,固定的选择处理进程进行处理导致批量任务过于集中造成系统资源浪费的问题。
在本实施例的一个可选实施方式中,步骤S204涉及到的根据指示信息对系统实时接收到的批量业务进行分派以均衡系统中各个进程下的待处理批量业务的数量的方式,可以通过如下方式来实现:
步骤S204-1:在指示信息指示系统中有处于空闲状态的进程的情况下,将系统缓冲区中缓存的批量业务分派给处于空闲状态的进程;
步骤S204-2:在指示信息指示系统中未有处于空闲状态的进程的情况下,将系统缓冲区中缓存的批量业务分派到系统中待处理批量业务数量最少的进程。
对于上述步骤S204-1在本实施例的一个具体应用场景中可以是:系统中多个进程中的某一个进程的批量任务处理已经处理完,也就是说该进程目前处于空闲状态,也即该指示信息指示该进程处于空闲状态,此时会将系统缓冲区中刚刚缓冲的批量业务直接分派给该空闲的进程。通过该方式能够避免空闲状态下的进程一直处于空闲状态,造成不必要的资源浪费。
而对于上述步骤S204-2在本实施例的一个具体应用场景中可以是:系统中不存在处于空闲状态的进程,但是系统中的各个进程下待处理的批量业务的数量分配不均衡。
例如,指示信息指示:进程1下的待处理的批量业务的数量为10个,而进程2下的待处理的批量业务的数量为30个,但进程3下的待处理的批量业务的数量为5个,这样进程2的数据处理压力比较大,因此,可以根据获取到上述情况将系统缓冲区中的批量业务分派给进程3。当经过一段时间后,进程3的待处理批量业务的数量超过了进程1的数量的情况下,则将系统缓冲区中的批量业务分派给进程1。当然,上述仅仅是举例说明,并不对本发明构成限定。
此外,对于步骤S204-2的方式,在本实施例中优选基于最小错误率贝叶斯分类器,将系统缓冲区中缓存的批量业务分派给系统中待处理批量业务数量最少的进程,在本实施例的可选实施方式中,该基于最小错误率贝叶斯分类器的方式可以为:将系统缓冲区中缓存的批量业务作为最小错误率贝叶斯分类器中的样本,以及将样本属于的系统缓冲区中待处理批量业务数量最少的进程作为最小错误率贝叶斯分类器中的条件;根据样本和条件,通过最小错误率贝叶斯分类器将系统缓冲区中缓存的批量业务分派给系统中待处理批量业务数量最少的进程。
下面对基于最小错误率贝叶斯分类器,将系统缓冲区中缓存的批量业务分派给系统中待处理批量业务数量最少的进程的方式进行详细说明;
首先,对贝叶斯公式进行说明。
进行逆概率推理的数学方法是贝叶斯于1763年提出的贝叶斯定理,它的表述为:设试验E的样本空间为S,A为E的事件,B1,B2,……,Bc为S的一个划分,且P(A)>0,P(Bi)=0i=1,2,……c,则:
式中:
P(Bi|A)称为后验概率,表示事件A(结果A)出现后,和不相容的条件Bi存在的概率,它是在结果出现后才计算得到的,因此称为“后验”。
P(A|Bi)称为类条件概率,表示各条件Bi存在时,结果事件A发生的概率;
P(Bi)称为先验概率,表示不相容时间Bi出现的概率,它与结果A是否出现无关,仅表示根据先验知识或主关推断,认为总体上各条件之间的出现可能性有什么区别;
P(A)由先验概率和类条件概率计算得到,它表达了结果A在各种条件下出现的总体概率,称为结果A的全概率。
其次,基于上述贝叶斯公式,下面介绍最小错误率贝叶斯分类器;
当已知类别出现的先验概率P(ωi)和每个类中的样本分布的类条件概率密度P(x|ωi)时,可以求得一个待分类样本属于每类的后验概率P(ωi|x),将划归到后验概率最大的那一类中,这种分类器称为最小错误率贝叶斯分类器。对于两类问题,其分类决策规划可表示为:
当P(ωi|x)>P(ωj|x)时,判决x∈ωi。
当采用最大后验概率分类器时,分类错误的概率为:
基于上述说明,在本实施例中分类器的作用在于:在批量任务的分派过程中,样本为待分派的批量任务,条件即为样本属于资源缓冲区中排队数量最少的进程,分类结果即为批量任务进入排队数量最少的等待队列。也就是说,在本实施例的可选实施中基于最小错误率贝叶斯分类器来解决本方案的方式可以为:先确定特征属性,即是本实施例所要通过该分类器所处理的对象的特征,在本实施例中为批量的业务;进而获取训练样本;在本实施例中为待分派的批量业务x,并将系统中各个进程作为样本潜在所属的类别yi,确定各个进程(每个类别)的待处理批量业务数量P(yi),根据P(yi)对每个特征属性计算所有划分的条件概率P(x|yi),即该P(x|yi)用于指示得到待分派的批量业务x分到各个进程的类条件概率,最后对每个类别计算P(x|yi)P(yi)并将其划归到后验概率最大的那一类中,也就是将批量任务分派进入排队数量最少的进程中。
基于最小错误率贝叶斯分类器,图3是根据本发明实施例的批量业务的处理方法的流程图一,如图3所示,本实施例中批量业务的处理方法包括如下步骤:
步骤S302:接收批量业务处理请求;
步骤S304:判断是否有空置进程;在判断为否的情况下,执行步骤S306,在判断为是的情况下,执行步骤S3,14;
步骤S306:应用最小错误率贝叶斯分类器对批量任务业务请求进行判定、分类;
步骤S308:批量任务进入资源缓冲区派对等待处理;
步骤S310:周期T检测是否出现空进程;在检测出没有空进程的情况下,执行步骤S314,在检测出有空进程的情况下,执行步骤S312;
步骤S312:出现空进程这一事件触发触发器,在资源管理模块应用北最小错误率贝叶斯分类器将进入缓冲区最早的进程重新分派;
步骤S314:进程处理。
在本实施例的另一个可选实施方式中,在步骤S204根据指示信息对系统实时接收到的批量业务进行分派以均衡系统中各个进程下的待处理批量业务的数量之后,本实施例的方法还可以包括:
步骤S206:在第一预定时间内系统未接收到批量业务后,以第二预定时间为周期,检测指示信息是否指示系统中有处于空闲状态的进程;
步骤S208:在检测出有处于空闲状态的进程的情况下,将系统接收到的最早的待处理批量业务分派到空闲状态的进程。
对于上述步骤S206和步骤S208,是在对系统中各个进程下的待处理批量业务的数量进行均衡之后,一段时间内(第一预定时间内)未接收到批量业务的话,将会周期性(周期为第二预定时间)检测系统中处于空闲状态的进程,如果有,则将系统接收到的最早的待处理批量业务分派到空闲状态的进程。例如,在对系统中各个进程下的待处理批量业务的数量进行均衡之后的五分钟内,系统没有接收到新的批量业务的话,则周期性检测(例如周期为两分钟)检测是否存在空闲状态的进程,如果有,则将最早进入系统的批量业务分派给该空闲状态的进程,从而也可以充分利用资源,避免造成资源浪费。
需要说明的是,在步骤S206中未检测出有处于空闲状态的进程的情况下,继续执行步骤S206中以第二预定时间为周期检测指示信息是否指示系统中有处于空闲状态的进程的操作。另外,本实施例上述涉及到的第一预定时间和第二预定时间为可调整的时间,也就是说,可以根据实际情况对第一预定时间和第二预定时间进行调整。
下面结合本实施例的一个具体实施方式对本发明进行举例说明。
图4是根据本发明实施例的批量业务处理方法的流程图二,如图4所示,在本具体实施例中优化后的批量业务处理方案的方法步骤包括:
步骤S402:接收批量业务处理请求;
步骤S404:判断是否有空置进程;在判断为否的情况下执行步骤S406,在判断为是的情况下,执行步骤S412;
步骤S406:资源管理模块根据资源缓冲区中各个进程中等待的任务数进行任务分派;
步骤S408:批量任务进入资源缓冲区排队等待处理;
步骤S410:以周期T检测是否出现空置进程;其中,如果出现空置进程,则将该信息反馈给资源管理模块,将进入缓冲区最早的进程重新分派,并执行步骤S412,如果未出现空进程,则执行步骤S414;
步骤S412:出现空进程后将事件反馈给资源管理模块,将进入缓冲区最早的进程重新分派,即执行步骤S406;
步骤S414:进程处理。
其中,资源管理模块(对应于图5中的获取模块),用于实时接收处理进程的忙闲情况,如正在等待处理的批量任务数,并将业务请求以及等待中的批量任务进行重新分配;资源处理缓冲模块(区)(对应于图5中的分派模块)用于缓冲等待处理的批量任务的队列。
其中,当业务请求进入时,根据资源管理模块中记录的每个资源缓存区中等待的进程任务数进行批量业务分派,若有进程空闲,则该进程直接进入业务处理阶段;若无进程空闲,则根据进程任务数的多少进行批量任务分派,等待进程处理。当没有业务请求进入的时候,间隔时间T对资源缓冲区中待处理任务中的最早进入缓冲区的那个任务进行重新分派,分派到空闲进程进行处理。如果无空闲进程,则无操作;
时间T的设置的含义为方便批量业务处理方便灵活地进行。正常情况下,批量任务的处理无轻重缓急之分,例如当特殊重要人物来临时,可以通过调整时间T的长短来保证该任务的优先级。
无论是缓冲区的任务重新分配还是业务请求的优先处理,都需要动态的处理该任务的分派操作,通过上述步骤S402至步骤S412,将空进程出现等事件来触发触发器,进而通过贝叶斯分类算法来实现业务请求的分派操作。
可见,在本实施例中可以通过增设资源管理模块的概念管理批量业务处理进程——为批量任务合理的分配处理进程,即当出现属性A下的任务过于集中的时候,及时分析各个进程的闲忙情况,并返回结果。还可以通过资源管理模块返回的结果对接下来接收的批量任务进行动态的分派,以避免进程空闲造成的系统资源浪费,同时极大的缩短用户的等待时间,提高用户满意度。例如,由于批量任务中用户的数量的不同,其执行时间的长短也会不同,这种情况下就会造成批量处理进程出现空闲的情况。当出现这种情况时系统会动态分布等待处理的进程,避免资源浪费。
也就是说,当系统收到批量任务的业务请求,根据资源管理模块反馈的业务响应——进程的忙闲情况,合理的将该批量任务分派给处于空置状态的进程;另外系统以时间T为周期检测系统进程的忙闲情况,在无新批量任务的业务请求进入的情况下,资源管理模块将按照批量任务进入资源配置缓冲区的时间,合理的将该批量任务分派给处于空置状态的进程,避免资源浪费,并且缩短批量业务的等待时间。
实施例2
在本实施例中还提供了一种数据的处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的数据的处理装置的结构示意图,如图5所示,该装置包括:获取模块52,用于获取用于指示系统中各个进程的待处理批量业务数量的指示信息;第一分派模块54,与获取模块52耦合链接,用于根据指示信息,对系统实时接收到的批量业务进行分派以均衡系统中各个进程下的待处理批量业务的数量。
可选地,该第一分派模块54包括:第一分派单元,用于在指示信息指示系统中有处于空闲状态的进程的情况下,将系统缓冲区中缓存的批量业务分派给处于空闲状态的进程;第二分派单元,用于在指示信息指示系统中未有处于空闲状态的进程的情况下,将系统缓冲区中缓存的批量业务分派到系统中待处理批量业务数量最少的进程。
在具体的应用场景中,该第二分派单元还可以包括:确定子单元,用于将系统缓冲区中缓存的批量业务作为最小错误率贝叶斯分类器中的样本,以及将样本属于系统缓冲区中排队批量业务数量最少的进程作为最小错误率贝叶斯分类器中的条件;分派子单元,用于根据样本和条件,通过最小错误率贝叶斯分类器将系统缓冲区中缓存的批量业务分派给系统中待处理批量业务数量最少的进程。
图6是根据本发明实施例的数据的可选处理装置的结构示意图,如图6所示,该装置还包括:检测模块62,与第一分派模块54耦合链接,用于在根据指示信息对系统实时接收到的批量业务进行分派以均衡系统中各个进程下的待处理批量业务的数量之后,且在第一预定时间内系统未接收到批量业务后,以第二预定时间为周期,检测指示信息是否指示系统中有处于空闲状态的进程;第二分派模块64,与检测模块62,用于在检测出有处于空闲状态的进程的情况下,将系统接收到的最早的待处理批量业务分派到空闲状态的进程。
需要说明的是,在未检测出有处于空闲状态的进程的情况下,该检测模块62继续执行以第二预定时间为周期检测指示信息是否指示系统中有处于空闲状态的进程的操作。其中,第一预定时间和第二预定时间为可调整的时间。
另外,结合图2描述的本发明实施例的数据的处理方法可以由数据的处理设备来实现。
图7是根据本发明实施例提供的数据的处理设备的硬件结构示意图,如图7所示,该数据的处理设备可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地,上述处理器701可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器702可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器702可在数据处理装置的内部或外部。在特定实施例中,存储器702是非易失性固态存储器。在特定实施例中,存储器702包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令,以实现上述实施例中的任意一种数据的处理方法。
在一个示例中,数据的处理设备还可包括通信接口703和总线710。其中,如图7所示,处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。
通信接口703,主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线710包括硬件、软件或两者,将数据的处理设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线710可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
另外,结合上述实施例中的数据的处理方法,本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据的处理方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,做出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种数据的处理方法,其特征在于,所述方法包括:
获取用于指示系统中各个进程的待处理批量业务数量的指示信息;
根据所述指示信息,对所述系统实时接收到的批量业务进行分派以均衡所述系统中各个进程下的待处理批量业务的数量;
所述根据所述指示信息对系统实时接收到的批量业务进行分派以均衡所述系统中各个进程下的待处理批量业务的数量包括:
在所述指示信息指示所述系统中有处于空闲状态的进程的情况下,将所述系统的缓冲区中缓存的批量业务分派给处于空闲状态的进程;
在所述指示信息指示所述系统中未有处于空闲状态的进程的情况下,将所述系统缓冲区中缓存的批量业务分派到所述系统中待处理批量业务数量最少的进程,所述在所述指示信息指示所述系统中未有处于空闲状态的进程的情况下,将所述系统缓冲区中缓存的批量业务分派到所述系统中待处理批量业务数量最少的进程,包括:
将所述系统缓冲区中缓存的批量业务作为最小错误率贝叶斯分类器中的样本,以及将所述样本属于的所述系统缓冲区中待处理批量业务数量最少的进程作为所述最小错误率贝叶斯分类器中的条件;
根据所述样本和所述条件,通过所述最小错误率贝叶斯分类器将所述系统缓冲区中缓存的批量业务分派给所述系统中待处理批量业务数量最少的进程。
2.根据权利要求1所述的方法,其特征在于,在所述根据所述指示信息对系统实时接收到的批量业务进行分派以均衡所述系统中各个进程下的待处理批量业务的数量之后,所述方法还包括:
在第一预定时间内所述系统未接收到批量业务后,以第二预定时间为周期,检测所述指示信息是否指示所述系统中有处于空闲状态的进程;
在检测出有处于空闲状态的进程的情况下,将所述系统接收到的最早的待处理批量业务分派到空闲状态的进程。
3.根据权利要求2所述的方法,其特征在于,该方法还包括:在未检测出有处于空闲状态的进程的情况下,继续执行以第二预定时间为周期检测所述指示信息是否指示所述系统中有处于空闲状态的进程的操作。
4.根据权利要求3所述的方法,其特征在于,所述第一预定时间和所述第二预定时间为可调整的时间。
5.一种数据的处理装置,其特征在于,所述装置包括:
获取模块,用于获取用于指示系统中各个进程的待处理批量业务数量的指示信息;
分派模块,用于根据所述指示信息,对所述系统实时接收到的批量业务进行分派以均衡所述系统中各个进程下的待处理批量业务的数量;
所述根据所述指示信息对系统实时接收到的批量业务进行分派以均衡所述系统中各个进程下的待处理批量业务的数量包括:
在所述指示信息指示所述系统中有处于空闲状态的进程的情况下,将所述系统的缓冲区中缓存的批量业务分派给处于空闲状态的进程;
在所述指示信息指示所述系统中未有处于空闲状态的进程的情况下,将所述系统缓冲区中缓存的批量业务分派到所述系统中待处理批量业务数量最少的进程,所述在所述指示信息指示所述系统中未有处于空闲状态的进程的情况下,将所述系统缓冲区中缓存的批量业务分派到所述系统中待处理批量业务数量最少的进程,包括:
将所述系统缓冲区中缓存的批量业务作为最小错误率贝叶斯分类器中的样本,以及将所述样本属于的所述系统缓冲区中待处理批量业务数量最少的进程作为所述最小错误率贝叶斯分类器中的条件;
根据所述样本和所述条件,通过所述最小错误率贝叶斯分类器将所述系统缓冲区中缓存的批量业务分派给所述系统中待处理批量业务数量最少的进程。
6.一种数据的处理设备,其特征在于,包括:至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令,当所述计算机程序指令被所述处理器执行时实现如权利要求1至4中任一项所述的方法。
7.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,当所述计算机程序指令被处理器执行时实现如权利要求1至4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711375096.XA CN109933415B (zh) | 2017-12-19 | 2017-12-19 | 数据的处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711375096.XA CN109933415B (zh) | 2017-12-19 | 2017-12-19 | 数据的处理方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109933415A CN109933415A (zh) | 2019-06-25 |
CN109933415B true CN109933415B (zh) | 2021-05-04 |
Family
ID=66983801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711375096.XA Active CN109933415B (zh) | 2017-12-19 | 2017-12-19 | 数据的处理方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109933415B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110515718B (zh) * | 2019-08-30 | 2023-07-18 | 深圳前海微众银行股份有限公司 | 批量任务断点续作方法、装置、设备及介质 |
CN113869739A (zh) * | 2021-09-29 | 2021-12-31 | 联想(北京)有限公司 | 一种业务数据处理方法、装置及电子设备 |
CN114066304A (zh) * | 2021-11-25 | 2022-02-18 | 中国建设银行股份有限公司 | 任务的分派方法、装置、设备及计算机存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5515810B2 (ja) * | 2010-02-05 | 2014-06-11 | 日本電気株式会社 | 負荷制御装置 |
CN102122252B (zh) * | 2011-03-14 | 2013-06-19 | 华中科技大学 | 一种保证时间连续性的线程池设计方法 |
CN103076870B (zh) * | 2013-01-08 | 2015-10-28 | 北京邮电大学 | 数据中心中能耗驱动的应用融合调度和资源动态配置方法 |
CN104102546B (zh) * | 2014-07-23 | 2018-02-02 | 浪潮(北京)电子信息产业有限公司 | 一种实现cpu和gpu负载均衡的方法及系统 |
CN106156115B (zh) * | 2015-04-07 | 2019-09-27 | 中国移动通信集团云南有限公司 | 一种资源调度方法及装置 |
CN105912401B (zh) * | 2016-04-08 | 2019-03-12 | 中国银行股份有限公司 | 一种分布式数据批处理系统和方法 |
-
2017
- 2017-12-19 CN CN201711375096.XA patent/CN109933415B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109933415A (zh) | 2019-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108027889B (zh) | 一种用于增量式学习云系统的训练、调度方法及相关设备 | |
CN112667376A (zh) | 任务调度处理方法、装置、计算机设备及存储介质 | |
CN109933415B (zh) | 数据的处理方法、装置、设备及介质 | |
US8869160B2 (en) | Goal oriented performance management of workload utilizing accelerators | |
US8726290B2 (en) | System and/or method for balancing allocation of data among reduce processes by reallocation | |
CN104867065B (zh) | 处理订单的方法和设备 | |
CN107682417B (zh) | 一种数据节点的任务分配方法和装置 | |
CN107819797B (zh) | 访问请求处理方法和装置 | |
CN112148468B (zh) | 一种资源调度方法、装置、电子设备及存储介质 | |
WO2021109767A1 (zh) | 网络设备及其降低传输时延的方法 | |
CN110213128B (zh) | 服务端口检测方法、电子设备及计算机存储介质 | |
US20130311662A1 (en) | Cloud resource allocation system and method | |
US20220138012A1 (en) | Computing Resource Scheduling Method, Scheduler, Internet of Things System, and Computer Readable Medium | |
US20180191861A1 (en) | Method and Apparatus for Scheduling Resources in a Cloud System | |
CN114385353A (zh) | 资源调度方法及装置、电子设备、存储介质 | |
CN104580194A (zh) | 面向视频应用的虚拟化资源管理方法及装置 | |
JP2016024612A (ja) | データ処理制御方法、データ処理制御プログラムおよびデータ処理制御装置 | |
CN116467266A (zh) | 一种批量文件智能联机处理方法、装置及可存储介质 | |
CN107741873B (zh) | 业务处理方法及装置 | |
CN110097268B (zh) | 一种任务分配方法、装置、电子设备及存储介质 | |
CN115237589A (zh) | 一种基于sr-iov的虚拟化方法、装置和设备 | |
CN107634978B (zh) | 一种资源调度方法及装置 | |
CN112559179A (zh) | 一种作业处理方法和装置 | |
CN113590274A (zh) | 任务分配方法及装置、任务处理系统 | |
CN108287659B (zh) | 一种基于实时数据流的数据采样方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |