CN110597858A - 任务数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种任务数据处理方法、装置、计算机设备和存储介质。所述方法包括：基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据；确定预先配置的统计任务的任务等级；根据所述任务等级的分流配置信息，将所述任务数据存储至内存进行实时处理，将实时处理的结果存储至内存，或存储至数据库进行批量处理，将批量处理结果存储至数据库；当接收到第二终端发送的数据查询请求时，在内存读取所述实时处理的结果，或在所述数据库读取所述批量处理的结果。采用本方法能够提高任务数据处理及时性。

Description

任务数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种任务数据处理方法、装置、计算机设备和存储介质。

背景技术

互联网金融等行业的数据规模日趋庞大，业务数据的统计分析成为了各项业务的核心需求之一。目前，大多业务系统采用“跑批”的方式对业务数据进行处理。跑批又称作“批量处理”，是指对一定时段内产生的零散业务数据进行整合统计，生成报表。但随着业务数据的数据量日趋增加，跑批需要的时间越来越长，难以满足实时性的统计分析需求。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高任务数据处理及时性的任务数据处理方法、装置、计算机设备和存储介质。

一种任务数据处理方法，所述方法包括：基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据；确定预先配置的所述统计任务对应的任务等级；根据所述任务等级的分流配置信息，将所述任务数据存储至内存进行实时处理，将实时处理的结果存储至内存，或存储至数据库进行批量处理，将批量处理的结果存储至数据库；当接收到第二终端发送的数据查询请求时，在内存读取所述实时处理的结果，或在所述数据库读取所述批量处理的结果。

在一个实施例中，所述基于预设的统计任务对第一终端发送的业务请求进行拦截之前，还包括：获取第二终端预配置的统计需求信息；识别所述统计需求信息对应的多个业务请求；在所述业务请求对应的业务脚本中插入请求拦截脚本；根据所述统计需求添加所述业务请求对应的任务标签及任务等级。

在一个实施例中，所述将所述任务数据存储至内存进行实时处理包括：将所述任务数据存储至内存；根据任务等级确定所述内存中多个统计任务的处理次序；按照所述处理次序将多个统计任务分发至集群内相应的服务节点，使所述服务节点对接收的统计任务的任务数据实时处理，将实时处理结果存储至内存。

在一个实施例中，所述按照所述处理次序将多个统计任务分发至集群内相应的服务节点，包括：计算所述统计任务的任务量，根据任务量确定统计任务的资源分配参数；根据所述资源分配参数，将所述统计任务分配至集群内指定服务节点执行；监测集群中每个服务节点在监控时段的性能指标；根据所述性能指标对所述资源分配参数进行调整，并将统计任务调度至与调整后的资源分配参数相适应的物理资源执行。

在一个实施例中，所述业务请求包含业务标识；所述根据所述性能指标对所述资源分配参数进行调整包括：获取业务标识对应的初始的配置文件；所述配置文件记录了负载均衡策略；基于所述性能指标对所述负载均衡策略进行调整，将调整后的负载均衡策略和相应业务标识存储至数据库；调用文件转换组件在数据库中读取新增的负载均衡策略；将读取到的负载均衡策略转换为所述业务标识当前对应的配置文件；执行当前的配置文件，使调整后的负载均衡策略生效；根据调整后的负载均衡策略，将所述统计任务分配至相应服务节点处理。

在一个实施例中，所述将所述任务数据存储至数据库进行批量处理包括：将所述统计任务存储至数据库；获取所述数据库的空闲时间；在所述数据库的空闲时间内对所述统计任务批量处理；将批量处理结果存储至所述数据库。

一种任务数据处理装置，所述装置包括：业务请求拦截模块，用于基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据；任务数据分流模块，用于确定所述统计任务对应的任务等级；根据所述任务等级的分流配置信息，将所述任务数据存储至内存进行实时处理，或存储至数据库进行批量处理；处理结果查询模块，用于当接收到第二终端发送的数据查询请求时，在内存读取所述实时处理的结果，或在所述数据库读取所述批量处理的结果。

在一个实施例中，所述装置还包括统计任务配置模块，用于获取第二终端预配置的统计需求信息；识别所述统计需求信息对应的多个业务请求；在所述业务请求对应的业务脚本中插入请求拦截脚本；根据所述统计需求添加所述业务请求对应的任务标签及任务等级。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请任意一个实施例中提供的任务数据处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请任意一个实施例中提供的任务数据处理方法的步骤。

上述任务数据处理方法、装置、计算机设备和存储介质，基于预设的统计任务，可以对第一终端发送的业务请求进行拦截；根据所述统计任务对应的任务等级，可以确定统计任务对应的分流配置信息；根据分流配置信息可以将所述任务数据存储至内存进行实时处理，并将实时处理结果存储至内存，或者将任务数据存储至数据库进行批量处理，并将批量处理结果存储至数据库，从而可以在接收到第二终端发送的数据查询请求时，基于内存或数据库存储的处理结果响应数据查询请求。相比传统的将产生的业务数据先全部存储至数据库，只有在跑批周期到达时再从数据库通过数据查询的方式拉取业务数据进行统计分析，本实施例对实时性要求不同的任务进行分流处理，部分业务请求进行实时处理，部分业务请求进行批量处理，既能满足实时性的要求，又能提高计算机资源的利用率。

附图说明

图1为一个实施例中任务数据处理方法的应用场景图；

图2为一个实施例中任务数据处理方法的流程示意图；

图3为一个实施例中任务数据处理装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的任务数据处理方法，可以应用于如图1所示的应用环境中。其中，第一终端102与服务器104通过网络进行通信、第二终端106与服务器104通过网络进行通信。其中，第一终端102与第二终端106分别可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以是多个服务器组成的服务器集群来实现，包括第一服务器104(a)和第二服务器110(b)。服务器104部署了数据库和内存。根据需求，数据库可以是hadoop数据库，也可以是redis数据库；内存可以是缓存队列。第一终端102上部署了业务系统。第一服务器104(a)是为业务系统提供数据统计等服务的平台，用于将用户基于业务系统触发的对实时性要求不高的业务请求携带的业务数据存储至数据库，将用户基于业务系统触发的对实时性要求高的业务请求携带的业务数据存储至内存，或对数据库中的任务数据进行批量处理，将跑批结果存储至数据库。第二服务器104(b)用于对内存中的业务数据进行实时处理，将处理结果存储至内存。第二终端106用于响应业务人员对第一服务器104(a)或第二服务器104(b)进行数据处理的结果进行查询。

在一个实施例中，如图2所示，提供了一种任务数据处理方法，以该方法应用于图1中的第一服务器为例进行说明，包括以下步骤：

步骤202，基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据。

第一终端上运行了业务系统。业务系统可以是直接运行于操作系统的原生应用程序。比如，在线交易应用、社交应用、邮件引用、支付应用或游戏应用等。社交应用，包括即时通信应用或者直播应用等。业务系统也可以是在原生应用程序提供的环境中运行的子应用程序，对此不作限定。

业务系统根据用户触发的不同业务操作可以生成业务请求，并将业务请求发送至第一服务器。具有统计需求的相关人员可以通过第二终端进行统计任务的配置，并将统计任务的配置信息存储至第一服务器，使第一服务器后续可以根据配置信息自动进行相应统计任务处理。

在一个实施例中，基于预设的统计任务对第一终端发送的业务请求进行拦截之前，还包括：获取第二终端预配置的统计需求信息；识别统计需求信息对应的多个业务请求；在业务请求对应的业务脚本中插入请求拦截脚本；根据统计需求添加业务请求对应的任务标签及任务等级。

第一服务器接收第二终端发送的任务配置请求。任务配置请求包含业务场景类型。第一服务器确定当前业务场景所涉及的业务请求类型，根据业务场景类型生成对应的任务配置页面，将任务配置页面返回至第二终端。

相关人员可以基于任务配置页面录入统计需求信息。具体地，可以仅配置一个大的统计任务及该统计需求的实时性等级。第一服务器按照预设规则自动将大的统计需求拆分为多个具体可执行的统计任务，并确定对应需要拦截的业务请求。比如，若用户期望统计全国范围各个地区访问目标设备的次数，则可以拆分得到对应的“统计上海地区访问目标设备的次数”、“统计北京地区访问目标设备的次数”等多个统计任务，对应需要拦截的业务请求为“对目标设备的访问请求”。

第一服务器在业务请求对应业务系统的业务脚本中插入请求拦截脚本。后续，当用户基于业务系统触发相应业务请求时，拦截脚本被执行，从而使业务系统向第一服务器发送拦截指令，使第一服务器对当前接收到的业务请求进行拦截。

每个统计任务具有对应的任务标签，并根据统计需求添加业务请求对应的任务标签，并根据当前统计需求对实时性要求确定对应拆分得到每个统计任务的任务等级。任务等级是当前统计需求对实时性要求高低程度的定性或定量表征。

第一服务器根据任务等级确定配置的每种待拦截业务请求对应的分流配置信息。分流配置信息用于指示第一服务器将拦截到的业务请求携带的任务数据存储至数据库或内存。比如，当业务请求对应任务等级超过阈值时，表示相应统计任务对实时性要求比较高，则对应的分流配置信息可以是“将业务请求携带的任务数据存储至内存进行实时处理”。当业务请求对应任务等级小于或等于阈值时，表示相应统计任务对实时性要求相对比较低，则对应的分流配置信息可以是“将业务请求携带的任务数据存储至数据库进行批量处理”。

步骤204，确定预先配置的统计任务的任务等级。

第一服务器根据预设的统计任务的配置信息，可以确定其任务等级。

步骤206，根据任务等级的分流配置信息，将任务数据存储至内存进行实时处理，将实时处理的结果存储至内存，或存储至数据库进行批量处理，将批量处理的结果存储至数据库。

批量处理过程，第一服务器每次从数据库里面拉取任务数据，再将对任务数据的跑批结果存到数据库。由于每次都要从数据库中拉取全部数据，不仅占用计算资源，且使得跑批时间周期相对较长，对于实时性要求不高的任务数据可以采用跑批的方式处理。而对于实时性要求比较高的统计任务则可以基于内存及第二服务器进行实时处理。相对数据库中存放全部任务数据及其处理结果，内存中则只存放当前跑批周期的任务数据，减少任务数据量，可以保证较快的任务数处理速度。

在一个实施例中，将任务数据存储至内存进行实时处理包括：将任务数据存储至内存；根据任务等级确定内存中多个统计任务的处理次序；按照处理次序将多个统计任务分发至集群内相应的服务节点，使服务节点对接收的统计任务的任务数据实时处理，将实时处理结果存储至内存。

第一服务器所在集群(记作目标集群)包括多个服务节点(即上文第二服务器)。第一服务器根据任务等级将统计任务法分配至目标集群中不同服务节点进行处理，以保证紧急度高的统计任务得到优先处理。

步骤208，当接收到第二终端发送的数据查询请求时，在内存读取实时处理的结果，或在数据库读取批量处理的结果。

本实施例中，基于预设的统计任务，可以对第一终端发送的业务请求进行拦截；根据统计任务对应的任务等级，可以确定统计任务对应的分流配置信息；根据分流配置信息可以将任务数据存储至内存进行实时处理，并将实时处理结果存储至内存，或者将任务数据存储至数据库进行批量处理，并将批量处理结果存储至数据库，从而可以在接收到第二终端发送的数据查询请求时，基于内存或数据库存储的处理结果响应数据查询请求。相比传统的将产生的业务数据先全部存储至数据库，只有在跑批周期到达时再从数据库通过数据查询的方式拉取业务数据进行统计分析，本实施例对实时性要求不同的任务进行分流处理，部分业务请求进行实时处理，部分业务请求进行批量处理，既能满足实时性的要求，又能提高计算机资源的利用率。

在一个实施例中，按照处理次序将多个统计任务分发至集群内相应的服务节点，包括：计算统计任务的任务量，根据任务量确定统计任务的资源分配参数；根据资源分配参数，将统计任务分配至集群内指定服务节点执行；监测集群中每个服务节点在监控时段的性能指标；根据性能指标对资源分配参数进行调整，并将统计任务调度至与调整后的资源分配参数相适应的物理资源执行。

第一服务器基于接收到的待处理统计任务的任务数据生成对应的配置文件。第一服务器预存储了每个统计任务的业务逻辑脚本，第一服务器通过执行业务逻辑脚本可以对相应统计任务的任务数据进行处理。业务逻辑脚本包括启动脚本。启动脚本用于记录执行统计任务需要的数据参数。配置文件记录了相应统计任务的资源分配参数。资源分配参数可以是第一服务器基于统计任务的任务量测算得到的。启动脚本中预置了对配置文件的回调函数。第一服务器基于配置文件记录的资源分配参数，计算运行统计任务需要使用的物理资源。物理资源是指内存和CPU等。根据计算得到的统计任务执行所需的物理资源，第一服务器将统计任务分配至具有相应物理资源的服务节点执行。

在统计任务执行期间，目标集群中每个服务节点在监控时段的性能指标进行监测，以确定各个统计任务的执行效率。容易理解，统计任务的执行速度与执行该统计任务的进程的CPU核数等物理资源直接相关。统计任务的执行效率是指单位时间的任务执行量。具体的，第一服务器计算统计任务的任务总量，并根据任务量测算统计任务的任务时长。第一服务器可以按照预设时间频率调用预设的任务运行监控组件采集统计任务的处理进度。任务运行监控组件可以是REST接口(Representational State Transfer，表述性状态传递)等。第一服务器在统计任务中确定多个任务节点，统计任务的处理进度包括当前时刻多个任务节点的执行状态，以及执行状态为已执行的任务节点的任务量等。第一服务器根据执行状态为已执行的任务节点的任务量，计算统计任务在当前时刻的任务执行量。第一服务器根据记录的开始执行统计任务的初始时刻和当前时刻计算执行时长，根据任务执行量及执行时长测算统计任务在当前时间节点的执行效率。

第一服务器比较执行效率是否低于阈值。阈值可以根据实际需求自由设置，也可以动态变化，对此不做限制。若执行效率大于或等于阈值，表示当前统计任务不存在物理资源不足的风险，或风险比较低。第一服务器判断统计任务已分配的物理资源是否具有空闲资源，测算需要释放的物理资源，根据测算结果对统计任务对应配置文件记录的资源分配参数进行调整。

若执行效率低于阈值，表示当前统计任务存在物理资源不足的风险，第一服务器生成停止执行指令，将停止执行指令发送至相应服务节点。第一服务器测算需要新增的物理资源，根据测算结果对统计任务对应配置文件记录的资源分配参数进行调整。第一服务器重新加载启动脚本，当启动脚本被调度执行时，基于回调函数生成回调指令，第一服务器根据回调指令携带的文件标识拉取对应的配置文件在拉取到的配置文件读取调整后的资源分配参数。第一服务器将统计任务调度至与调整后的资源分配参数相适应的物理资源执行。第一服务器继续监测统计任务的执行效率，并按照执行效率进行资源分配参数的调整，直至统计任务执行完毕。

传统的将资源分配参数也记录至启动脚本，而启动脚本固定封装在统计任务中，只能重新生成统计任务才能进行相应数据参数的变更。

本实施例中，由于将资源分配参数以配置文件的方式进行单独存储，独立于统计任务的业务逻辑脚本本身，从而可以摆脱只有重新编写统计任务的业务逻辑脚本才能修改资源分配参数的限制，提供统计任务执行资源分配灵活性，进而提高任务数据处理效率。

在一个实施例中，业务请求包含业务标识；根据性能指标对资源分配参数进行调整包括：获取业务标识对应的初始的配置文件；配置文件记录了负载均衡策略；基于性能指标对负载均衡策略进行调整，将调整后的负载均衡策略和相应业务标识存储至数据库；调用文件转换组件在数据库中读取新增的负载均衡策略；将读取到的负载均衡策略转换为业务标识当前对应的配置文件；执行当前的配置文件，使调整后的负载均衡策略生效；根据调整后的负载均衡策略，将统计任务分配至相应服务节点处理。

上述目标集群还包括负载均衡服务器，记作第三服务器。第一终端的互联网访问方式被预先配置为通过第三服务器进行互联网访问。当用户在业务系统进行输入操作时，终端根据用户的输入操作生成业务请求，将业务请求发送至配置的第三服务器。业务请求携带了业务标识。业务标识为业务系统期望访问的第三服务器的标识。

第三服务器获取业务标识初始对应的配置子文件，在配置子文件中读取对应的负载均衡策略。配置子文件可以是从配置文件中拆分得到的。传统方式，负载均衡策略记录在一个配置文件中，使得每次对第三服务器进行负载均衡配置管理，都要基于配置文件记录的全部配置信息进行配置管理，当配置文件记录的配置信息较多时会明显延长配置时间，降低配置效率。为了实现提高配置效率，第三服务器预先将不同业务标识对应的负载均衡策略分离，即基于业务标识将配置文件拆分多个配置子文件。

第三服务器调用预先部署的监控组件对目标集群中各服务节点在监控时段的性能指标进行监控，生成监控结果。监控结果包括多个性能指标，如物理资源利用率、稳定性或安全性等。其中，物理资源利用率包括CPU利用率、内存利用率和磁盘利用率等。性能指标可以是定性的性能描述，也可以是定量的性能指标值。监控时段可以是在接收到业务请求之前的一段时间。监控时段的时间长度可以根据需求自由设置，如1个月。

配置子文件记录的负载均衡策略包括目标集群中每个服务节点对应的初始权重。第三服务器获取策略调整模型。策略调整模型包括多个性能指标分别对应的转化子模型，用于将相应的性能指标转化为对应的分数值。策略调整模型还包括多个性能指标对应的权值因子。第三服务器将监测得到的多个服务节点的性能指标分别输入策略调整模型，得到每个服务节点对应的结果值。第三服务器根据多个结果值，确定多个服务节点分别对应的目标权重。例如，基于策略调整模型计算得到目标集群中三个服务节点A、B和C对应的结果值分别为0.6、0.8、0.5，则对应的服务节点A的目标权重可以是0.6/(0.6+0.8+0.5)＝0.32,服务节点B的目标权重可以是0.8/(0.6+0.8+0.5)＝0.42,服务节点C的目标权重可以是1-0.32-0.42＝0.26。

第三服务器将调整后的负载均衡策略，即重新确定的多个服务节点的目标权重的配置信息记录至数据库，并生成配置变更指令。第三服务器预先集成了文件转换组件。文件转换组件为用于将配置信息转换为配置文件。文件转换组件根据配置变更指令，在数据库读取新增的业务标识及对应的配置信息。文件转换组件中包含模板引擎，模板引擎可以是Jinja模板(一种基于python的模板引擎)等。文件转换组件基于模板引擎将读取到的配置信息转换相应业务标识对应的配置子文件。

第三服务器将预存储的相同业务标识对应的配置子文件删除，将转换得到的配置子文件加载至内存进行执行，使更新后的负载均衡策略生效，进而根据调整后的负载均衡策略，将业务请求分配至相应服务节点处理。由于预先将大的配置文件拆分成多个业务标识对应的小的配置子文件，当需要进行负载均衡策略更新，即进行配置变更时，只需对相应业务标识对应的配置子文件进行替换即可实现局部配置更新，避免了每次对整个配置文件全量更新的繁琐，提高配置更新效率。

本实施例中，由于对目标集群内各服务节点的性能指标实时监测，并根据监测结果在相应业务标识对应配置子文件记录的负载均衡策略动态调整，即根据当前各服务器节点的实际处理能力调整负载均衡策略，使负载均衡策略适应性更强，从而可以提高业务请求响应效率；此外，基于文件转换组件使调整后的负载均衡策略即时生效，避免了传统方式需要人工调整配置信息的繁琐，提高负载均衡策略更新效率。

在一个实施例中，将任务数据存储至数据库进行批量处理包括：将统计任务存储至数据库；获取数据库的空闲时间；在数据库的空闲时间内对统计任务批量处理；将批量处理结果存储至数据库。

服务器通过运行预存储的监控脚本对预设时间段内数据库中的统计任务执行状况和资源消耗状况进行监控，得到在预设时间段内统计任务的执行时间和资源消耗时间。为了能够充分缓解数据库资源消耗的压力，可以将预设时间段设置为整个非工作时间的时间段或者部分非工作时间的时间段。例如，对统计任务进行跑批之前的一个月内的晚上8:00～凌晨5:00的时间段，或者统计任务进行跑批之前的一个月内1号～5号的晚上9:00～凌晨5:30的时间段等。服务器将在预设时间段内资源消耗时间进行统计，得到资源消耗统计表。服务器提取资源消耗统计表中的资源消耗时间与多个统计任务的执行时间进行比对，筛选出能够避开多个统计任务执行时间的资源消耗时间。由于统计任务执行时会消耗较多的数据库资源，因此避开多个统计任务执行时间的资源消耗时间，可以作为数据库的空闲时间。由于数据库的空闲时间是在预设时间段内的，预设时间段可以是非工作时间的时间段，因此通过上述方式得到的数据库的空闲时间可以视为数据库性能最优的空闲时间。服务器在数据库的空闲时间获取对数据库中的任务数据进行批量处理。

本实施例中，由于对数据库中任务数据跑批是在数据库的空闲时间来执行的，因此可以实现既能满足为海量任务数据的统计分析需求，又能缓解服务器资源消耗。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图3所示，提供了一种任务数据处理装置，包括：业务请求拦截模块、任务数据分流模块304和处理结果查询模块306，其中：

业务请求拦截模块302，用于基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据。

任务数据分流模块304，用于确定预先配置的统计任务的任务等级；根据任务等级的分流配置信息，将任务数据存储至内存进行实时处理，将实时处理的结果存储至内存，或存储至数据库进行批量处理，将批量处理的结果存储至数据库。

处理结果查询模块306，用于当接收到第二终端发送的数据查询请求时，在内存读取实时处理的结果，或在数据库读取批量处理的结果。

在一个实施例中，上述任务数据处理装置还包括统计任务配置模块308，用于获取第二终端预配置的统计需求信息；识别统计需求信息对应的多个业务请求；在业务请求对应的业务脚本中插入请求拦截脚本；根据统计需求添加业务请求对应的任务标签及任务等级。

在一个实施例中，任务数据分流模块304还用于将任务数据存储至内存；根据任务等级确定内存中多个统计任务的处理次序；按照处理次序将多个统计任务分发至集群内相应的服务节点，使服务节点对接收的统计任务的任务数据实时处理，将实时处理结果存储至内存。

在一个实施例中，任务数据分流模块304还用于计算统计任务的任务量，根据任务量确定统计任务的资源分配参数；根据资源分配参数，将统计任务分配至集群内指定服务节点执行；监测集群中每个服务节点在监控时段的性能指标；根据性能指标对资源分配参数进行调整，并将统计任务调度至与调整后的资源分配参数相适应的物理资源执行。

在一个实施例中，业务请求包含业务标识；任务数据分流模块304还用于获取业务标识对应的初始的配置文件；配置文件记录了负载均衡策略；基于性能指标对负载均衡策略进行调整，将调整后的负载均衡策略和相应业务标识存储至数据库；调用文件转换组件在数据库中读取新增的负载均衡策略；将读取到的负载均衡策略转换为业务标识当前对应的配置文件；执行当前的配置文件，使调整后的负载均衡策略生效；根据调整后的负载均衡策略，将统计任务分配至相应服务节点处理。

在一个实施例中，任务数据分流模块304还用于将统计任务存储至数据库；获取数据库的空闲时间；在数据库的空闲时间内对统计任务批量处理；将批量处理结果存储至数据库。

关于任务数据处理装置的具体限定可以参见上文中对于任务数据处理方法的限定，在此不再赘述。上述任务数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器(即上文提及的内存)。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储任务数据以及对任务数据的批量处理结果。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种任务数据处理方法。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任意一个实施例中提供的任务数据处理方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种任务数据处理方法，所述方法包括：

基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据；

确定预先配置的所述统计任务的任务等级；

根据所述任务等级的分流配置信息，将所述任务数据存储至内存进行实时处理，将实时处理的结果存储至内存；或存储至数据库进行批量处理，将批量处理的结果存储至数据库；

当接收到第二终端发送的数据查询请求时，在内存读取所述实时处理的结果，或在所述数据库读取所述批量处理的结果。

2.根据权利要求1所述的方法，其特征在于，所述基于预设的统计任务对第一终端发送的业务请求进行拦截之前，还包括：

获取第二终端预配置的统计需求信息；

识别所述统计需求信息对应的多个业务请求；

在所述业务请求对应的业务脚本中插入请求拦截脚本；

根据所述统计需求添加所述业务请求对应的任务标签及任务等级。

3.根据权利要求1所述的方法，其特征在于，所述将所述任务数据存储至内存进行实时处理包括：

将所述任务数据存储至内存；

根据任务等级确定所述内存中多个统计任务的处理次序；

按照所述处理次序将多个统计任务分发至集群内相应的服务节点，使所述服务节点对接收的统计任务的任务数据实时处理，将实时处理结果存储至内存。

4.根据权利要求3所述的方法，其特征在于，所述按照所述处理次序将多个统计任务分发至集群内相应的服务节点，包括：

计算所述统计任务的任务量，根据任务量确定统计任务的资源分配参数；

根据所述资源分配参数，将所述统计任务分配至集群内指定服务节点执行；

监测集群中每个服务节点在监控时段的性能指标；

根据所述性能指标对所述资源分配参数进行调整，并将统计任务调度至与调整后的资源分配参数相适应的物理资源执行。

5.根据权利要求4所述的方法，其特征在于，所述业务请求包含业务标识；所述根据所述性能指标对所述资源分配参数进行调整包括：

获取业务标识对应的初始的配置文件；所述配置文件记录了负载均衡策略；

基于所述性能指标对所述负载均衡策略进行调整，将调整后的负载均衡策略和相应业务标识存储至数据库；

调用文件转换组件在数据库中读取新增的负载均衡策略；

将读取到的负载均衡策略转换为所述业务标识当前对应的配置文件；

执行当前的配置文件，使调整后的负载均衡策略生效；

根据调整后的负载均衡策略，将所述统计任务分配至相应服务节点处理。

6.根据权利要求1所述的方法，其特征在于，所述将所述任务数据存储至数据库进行批量处理包括：

将所述统计任务存储至数据库；

获取所述数据库的空闲时间；

在所述数据库的空闲时间内对所述统计任务批量处理；

将批量处理结果存储至所述数据库。

7.一种任务数据处理装置，其特征在于，所述装置包括：

业务请求拦截模块，用于基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据；

任务数据分流模块，用于确定所述统计任务对应的任务等级；根据所述任务等级的分流配置信息，将所述任务数据存储至内存进行实时处理，或存储至数据库进行批量处理；

处理结果查询模块，用于当接收到第二终端发送的数据查询请求时，在内存读取所述实时处理的结果，或在所述数据库读取所述批量处理的结果。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括统计任务配置模块，用于获取第二终端预配置的统计需求信息；识别所述统计需求信息对应的多个业务请求；在所述业务请求对应的业务脚本中插入请求拦截脚本；根据所述统计需求添加所述业务请求对应的任务标签及任务等级。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。