CN110297711A - 批量数据处理方法、装置、计算机设备及存储介质 - Google Patents

批量数据处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110297711A
CN110297711A CN201910405149.0A CN201910405149A CN110297711A CN 110297711 A CN110297711 A CN 110297711A CN 201910405149 A CN201910405149 A CN 201910405149A CN 110297711 A CN110297711 A CN 110297711A
Authority
CN
China
Prior art keywords
data
processing
target
task
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910405149.0A
Other languages
English (en)
Other versions
CN110297711B (zh
Inventor
朱鹏程
王培�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910405149.0A priority Critical patent/CN110297711B/zh
Priority to PCT/CN2019/102672 priority patent/WO2020228177A1/zh
Publication of CN110297711A publication Critical patent/CN110297711A/zh
Application granted granted Critical
Publication of CN110297711B publication Critical patent/CN110297711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种批量数据处理方法、装置、计算机设备及存储介质，该方法包括：从非实时任务队列中选取目标批量任务，基于目标批量任务创建数据处理队列；从目标空闲时间队列中确定目标空闲信息，获取待处理数据对应的待处理数据数量，基于待处理数据数量、目标空闲时长和预估线程数，获取目标数量，在数据处理队列中选取与目标数量相对应的待处理数据，确定为切分处理数据；在系统原始负载小于忙碌负载阈值时，获取目标处理线程，在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理，获取数据处理结果；基于数据处理结果，更新数据处理队列中每一切分处理数据的任务状态。该方法可以理分配系统资源，保障批量数据处理效率。

Description

批量数据处理方法、装置、计算机设备及存储介质
技术领域
本发明涉及大数据技术领域，尤其涉及一种批量数据处理方法、装置、计算机设备及存储介质。
背景技术
随着大数据技术的发展，众多领域都会使用大数据技术对相关数据进行处理。但随着业务的增长和时间积累，数据库中的数据量达到上亿级别，若直接对数据库中的数据进行批量处理时，对系统的资源占用过大，而影响数据处理效率。例如，在对数据库中的数据进行批量处理时，由于所需处理的数据较多，导致其所需的系统资源较多且处理时间较长；若数据批量处理过程分配的系统资源较多，会占用实时任务的系统资源，影响需实时响应的实时任务的响应速度，导致用户的等待时间较长；若数据批量处理过程中分配的系统资源较少，会影响非实时任务的数据处理进度，导致非实时任务对应的数据积压。
发明内容
本发明实施例提供一种批量数据处理方法、装置、计算机设备及存储介质，以解决数据批量处理过程中分配的系统资源不合理时存在的问题。
一种批量数据处理方法，包括：
从非实时任务队列中选取目标批量任务，基于所述目标批量任务创建数据处理队列，所述数据处理队列包括待处理数据和对应的任务状态；
从目标空闲时间队列中确定目标空闲信息，所述目标空闲信息包括起始时间、目标空闲时长和预估线程数；
获取所述待处理数据对应的待处理数据数量，基于所述待处理数据数量、所述目标空闲时长和所述预估线程数，获取目标数量，在所述数据处理队列中选取与所述目标数量相对应的待处理数据，确定为切分处理数据；
在系统当前时间为所述起始时间时，获取系统原始负载；
若所述系统原始负载小于忙碌负载阈值，则认定系统处于空闲状态，获取与所述预估线程数相对应的目标处理线程，在所述目标空闲时长内采用所述目标处理线程对所述切分处理数据进行数据处理，获取数据处理结果；
基于所述数据处理结果，更新所述数据处理队列中每一所述切分处理数据的任务状态。
一种批量数据处理装置，包括：
数据处理队列创建模块，用于从非实时任务队列中选取目标批量任务，基于目标批量任务创建数据处理队列，数据处理队列包括待处理数据和对应的任务状态；
目标空闲信息确定模块，用于从目标空闲时间队列中确定目标空闲信息，目标空闲信息包括起始时间、目标空闲时长和预估线程数；
切分处理数据确定模块，用于获取待处理数据对应的待处理数据数量，基于待处理数据数量、目标空闲时长和预估线程数，获取目标数量，在数据处理队列中选取与目标数量相对应的待处理数据，确定为切分处理数据；
系统原始负载获取模块，用于在系统当前时间为起始时间时，获取系统原始负载；
数据处理结果获取模块，用于若系统原始负载小于忙碌负载阈值，则认定系统处于空闲状态，获取与预估线程数相对应的目标处理线程，在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理，获取数据处理结果；
任务状态更新模块，用于基于数据处理结果，更新数据处理队列中每一切分处理数据的任务状态。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述批量数据处理方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述批量数据处理方法的步骤。
上述批量数据处理方法、装置、计算机设备及存储介质，从非实时任务队列中选取目标批量任务，基于所述目标批量任务创建数据处理队列，以合理分配非实时任务中数据的处理顺序。从目标空闲时间队列中确定目标空闲信息，提高了目标空闲信息的确定效率，加快了系统处理批量数据的速度。根据所述目标空闲时长和所述预估线程数，确定目标数量对应的切分处理数据，以客观分配系统当前空闲时可处理的数据数量，从而减少单次处理数据的量，在确保实时任务可正常处理的前提下，可在空闲时间内可完成对切分处理数据进行处理，以实现根据系统资源合理分配每一空闲时间可处理的切分处理数据。当系统当前时间为所述起始时间，且所述系统原始负载小于忙碌负载阈值的情况下，获取与所述预估线程数相对应的目标处理线程，在所述目标空闲时长内采用所述目标处理线程对所述切分处理数据进行数据处理，以合理分配系统资源，减少线程之间通信的损耗，使得系统性能损耗较小，获取数据处理结果。基于所述数据处理结果，更新所述数据处理队列中每一所述切分处理数据的任务状态，以确保对全部数据成功处理。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中批量数据处理方法的一应用环境示意图；
图2是本发明一实施例中批量数据处理方法的一流程图；
图3是本发明一实施例中批量数据处理方法的另一流程图；
图4是本发明一实施例中批量数据处理方法的另一流程图；
图5是本发明一实施例中批量数据处理方法的另一流程图；
图6是本发明一实施例中批量数据处理方法的另一流程图；
图7是本发明一实施例中批量数据处理装置的一示意图；
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的批量数据处理方法，该批量数据处理方法可应用如图1所示的应用环境中。具体地，该批量数据处理方法应用在批量数据处理系统中，该批量数据处理系统包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于精确切分批量数据，利用系统空闲时间完成批量数据处理，既保证数据批量处理的进度和效率，又不影响实时任务的响应速度。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种批量数据处理方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S201：从非实时任务队列中选取目标批量任务，基于目标批量任务创建数据处理队列，数据处理队列包括待处理数据和对应的任务状态。
其中，非实时任务队列是用于存储非实时任务的队列，即非实时任务队列中存储至少一个非实时任务。非实时任务是与实时任务相对的概念。其中，实时任务是强实时的，要求马上回应的任务，如用户登录、用户查询和用户执行的其他操作对应的任务。非实时任务是允许延时的，可异步处理的任务，包括系统级日志上传服务器的任务、统计报表的生成计算和数据分析等需要处理批量数据的任务。
目标批量任务是指依据预设的先后顺序，从非实时任务队列中的至少一个非实时任务中选中的当前需要处理的非实时任务，该目标批量任务具体可以为需要进行批量数据处理的非实时任务。该先后顺序的确定可以由队列的先进先出原则确定，也可以由不同任务的优先级顺序和先进先出原则确定。
数据处理队列是基于任一目标批量任务所创建的用于记录目标批量任务中每一待处理数据的任务状态的列表。待处理数据是指在目标批量任务中需要进行处理的最小单位数据，可以理解为一个日志或者一个报表等数据。每一待处理数据对应的任务状态是用于反映每一待处理数据被系统处理的状态，任务状态具体包括未处理状态、处理中状态、处理成功状态和处理失败状态这几种状态。
具体地，服务器可从非实时任务队列中，依据非实时任务队列的先后顺序，选取需要最先进行处理的非实时任务，确定为目标批量任务，通常情况下，由于系统中的非实时任务很多，系统根据预设的排序规则对非实时任务进行排序，对需要最先处理的数据进行优先处理，以确定非实时任务中数据的先后顺序。再基于目标批量任务中的数据创建数据处理队列，在该数据处理队列中显示每一待处理数据和该待处理数据对应的任务状态，可以理解地，在创建数据处理队列时，每一待处理数据的任务状态为未处理状态，在系统对待处理数据处理时，该任务状态将随着处理过程更新。
S202：从目标空闲时间队列中确定目标空闲信息，目标空闲信息包括起始时间、空闲时长和预估线程数。
其中，目标空闲时间队列是指根据系统处理历史处理数据的时间预测系统每天的空闲时间的队列。历史处理数据是指历史记录中，调用系统资源对历史实时任务进行处理的信息。历史实时任务是指系统当前时间之前的实时任务。历史实时任务是强实时的，要求马上回应的任务，如用户登录、用户查询和用户执行的其他操作。当服务器除了处理实时任务的线程以外还有剩余的线程，则认为系统处于空闲时间。该目标空闲时间队列中包含至少一个原始空闲信息，该原始空闲信息是指每天中空闲时长大于预设时长阈值的空闲时间对应的信息。每一原始空闲信息对应一起始时间、原始空闲时长和预估线程数。原始空闲时长是指对应的原始空闲信息中的起始时间和结束时间之间的差值。例如，服务器在每天上午7：00-7：15为其一原始空闲信息，则该原始空闲信息的起始时间为7：00，而空闲时长为15分钟。预估线程数是预测出来的在空闲时长内可处理非实时任务的线程数。一般来说，预估线程数NP可以由CPU的总线程数N，减去在空闲时长预测需处理实时任务的实时线程数N1和预留的应急线程数N2计算获取，NP＝N-N1-N2。目标空闲信息是指从目标空闲时间队列中选取的起始时间最接近系统当前时间的原始空闲信息。
具体地，服务器基于大数据建模方式，对系统历史实时任务的处理时间进行分析，预测出来服务器每天的原始空闲时间的队列，根据系统当前时间，从预先预测的目标空闲时间队列中，选取在系统当前时间之后，且与系统当前时间最接近的原始空闲信息作为目标空闲信息，以快速确定可处理该待处理数据的目标空闲信息，提高了目标空闲信息的确定效率，以便在目标空闲信息对应的空闲时间内进行数据批量处理，加快了系统处理批量数据的进度，确保后续可对待处理数据进行处理，以达到利用空闲时间对待处理数据进行批量处理的目的。例如，在预测的空闲时间队列中包含三个原始空闲信息，其起始时间分别为6：00，7：00和8：00，若系统当前时间为7：20，则此时的目标空闲信息为起始时间为8：00对应的原始空闲信息。
S203：获取待处理数据对应的待处理数据数量，基于待处理数据数量、目标空闲时长和预估线程数，获取目标数量，在数据处理队列中选取与目标数量相对应的待处理数据，确定为切分处理数据。
其中，目标数量是指在目标空闲信息对应的目标空闲时长内，系统调用预估线程数对应的线程能够处理待处理数据的数量。切分处理数据是指在目标空闲信息对应的目标空闲时长内，系统需要处理的待处理数据。该切分处理数据是根据系统实际处理数据的情况确定的，系统每一次处理的切分处理数据的目标数量由目标空闲时长和预估线程数确定。
具体地，服务器依据预先设置的数据切分规则，对数据处理队列中的待处理数据进行时间或类型的切分，以获取在目标空闲信息对应的目标空闲时长进行处理的批量数据的数量(即目标数量)，再从数据处理队列中选取目标数量对应的待处理数据，确定为切分处理数据，以客观分配在目标空闲信息对应的空闲时间内可处理的批量数据的数量，既可确保实时任务正常处理，同时在空闲时间内可完成对目标数量的切分处理数据进行处理。具体地，对待处理数据进行时间切分可以是根据待处理数据需要进行处理的先后顺序选取目标数量的待处理数据或根据待处理数据的类型(即分析类型、日志类型和报表类型等)选取目标数量的待处理数据。
S204：在系统当前时间为起始时间时，获取系统原始负载。
其中，系统原始负载是指在系统当前时间时，系统处理实时任务时占用系统资源(实时线程)的多少。例如，在起始时间为8：00时，若系统此时处理实时任务的实时线程数N1和预留的应急线程数N2，则系统原始负载为N1+N2。在系统当前时间为起始时间时，获取系统原始负载，以判断系统除了处理实时任务外还能否处理非实时任务对应的切分处理数据。
S205：若系统原始负载小于忙碌负载阈值，则认定系统处于空闲状态，获取与预估线程数相对应的目标处理线程，在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理，获取数据处理结果。
其中，忙碌负载阈值是预先设置的用于评估系统是否处于忙碌状态时负载的阈值。系统处于空闲状态和忙碌状态是相对的，系统上设置有忙碌负载阈值，假设服务器最大负载为M，则实时任务的处理所占用的负载在M*50％(M*50％为忙碌负载阈值)以下时，则认定系统处于空闲状态。反之，若实时任务的处理所占用的负载在M*50％以上(大于或等于)，则认定系统处于忙碌状态。目标处理线程是指对切分处理数据进行处理的线程，该目标处理线程为专用于处理非实时任务的线程。数据处理结果是指对系统对切分处理数据进行处理所得到的结果。
具体地，在系统当前时间为目标空闲信息的起始时间时，检测系统当前负载，若该系统当前负载小于忙碌负载阈值，则认定系统处于空闲状态，调用系统预先分配的与预估线程数相对应的目标处理线程，对在目标空闲信息对应的目标空闲时长内对所获取的切分处理数据进行处理，在系统处于空闲时对切分处理数据进行处理，以合理分配系统资源，既避免系统处理非实时任务的批量数据时占用系统太多资源，而导致处理实时任务的时间长且处理速度缓慢，又避免在系统存在空闲时没有及时处理非实时任务对应的待处理数据，导致系统资源的浪费。可以理解地，通过预先分配与预估线程数相对应的目标处理线程对目标数量的非实时任务中的切分处理数据进行处理，可减少线程之间通信的损耗，使得系统性能损耗较小，即通过分配专用于处理非实时任务的目标处理线程，采用该目标处理线程对切分处理数据进行处理，使得该目标处理线程无需在处理实时任务和非实时任务对应的数据之间进行切换，减少线程之间通信的损耗，从而使得系统性能损耗较小，又达到合理利用系统资源的目的。
S206：基于数据处理结果，更新数据处理队列中每一切分处理数据的任务状态。
具体地，采用目标处理线程对切分处理数据进行处理后，由于每一切分处理数据的数据处理结果可能为成功，也可能为失败，在系统完成对切分处理数据处理后，需要对处理后的任务状态更新，此时，若处理失败，该任务状态更新为处理失败状态，系统根据该处理失败状态将对应的切分处理数据，以便后续对任务状态为处理失败状态的待处理数据进行审核或者校验等处理，以确定处理失败原因；若处理成功时，该任务状态更新为处理成功状态，则系统将该对应的切分处理数据从数据处理队列中除去，不再进行后续处理。
进一步地，每条待处理数据的数据处理结果都会同步到系统，由系统记录并制定下次执行规则，同时保证每条待处理数据都处理且成功。本实施例中，系统还预先设置失败次数阈值，若任一待处理数据的处理失败次数达到该失败次数阈值，则触发相应的提醒机制，通过该提醒机制将对应的待处理数据和处理过程记录的日志信息一并发送给审核终端，以使审核终端的审核人员进行相应的处理。该失败次数阈值是预先设置的用于限定对每一待处理数据可以重复处理的次数，如该失败次数阈值可以设置为三次。例如，一待处理数据连续处理三次的数据处理结果均为处理失败，系统会自动发送提醒邮件给审核终端，以使审核终端的审核人员查看该待处理数据，从而实现对待处理数据的处理过程进行监控。
可以理解地，在基于目标批量任务创建数据处理队列时，将数据处理队列中所有待处理数据的任务状态初始化为未处理状态。在从数据处理队列中选取目标数量的待处理数据，确定为切分处理数据时，将数据处理队列中目标数量的切分处理数据的任务状态更新为处理中状态。在空闲时长内对切分处理数据进行数据处理，获取数据处理结果，该数据处理结果有处理成功和处理失败两种情况，此时，可基于数据处理结果更新切分处理数据对应的任务状态为处理成功状态或者处理失败状态，从而实时对数据处理队列中的待处理数据的任务状态进行更新。
S207：若系统原始负载不小于忙碌负载阈值，则认定系统处于忙碌状态，重复执行从目标空闲时间队列中确定目标空闲信息。
具体地，在系统当前时间为目标空闲信息的起始时间时，检测系统当前负载，若该系统当前负载不小于忙碌负载阈值，则认定系统处于忙碌状态，为避免处理非实时任务占用系统资源，影响系统处理实时任务的速度，需重新确定一目标空闲信息，即重复执行从目标空闲时间队列中确定目标空闲信息，以将距离系统当前时间最近的下一个原始空闲信息确定为目标空闲信息，从而实现对系统资源的合理分配，并保证实时任务的处理速度。
本实施例所提供的批量数据处理方法中，从非实时任务队列中选取目标批量任务，基于目标批量任务创建数据处理队列，以合理分配非实时任务中数据的处理顺序。从目标空闲时间队列中确定目标空闲信息，提高了目标空闲信息的确定效率，加快了系统处理批量数据的速度。根据目标空闲时长和预估线程数，确定目标数量对应的切分处理数据，以客观分配系统当前空闲时可处理的数据数量，从而减少单次处理数据的量，在确保实时任务可正常处理的前提下，可在空闲时间内可完成对切分处理数据进行处理，以实现根据系统资源合理分配每一空闲时间可处理的切分处理数据。当系统当前时间为起始时间，且系统原始负载小于忙碌负载阈值的情况下，获取与预估线程数相对应的目标处理线程，在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理，以合理分配系统资源，减少线程之间通信的损耗，使得系统性能损耗较小，获取数据处理结果。基于数据处理结果，更新数据处理队列中每一切分处理数据的任务状态，以确保对全部数据成功处理。若系统原始负载不小于忙碌负载阈值，则认定系统处于忙碌状态，重复执行从目标空闲时间队列中确定目标空闲信息，以确保成功处理待处理数据。
在一实施例中，如图3所示，在步骤S201之前，即在从非实时任务队列中选取目标批量任务，基于目标批量任务创建数据处理队列之前，批量数据处理方法还包括：
S301：获取任务处理请求，任务处理请求包括待处理任务和与待处理任务相对应的任务标识。
其中，任务处理请求是指对系统中所有未处理的任务进行处理的请求。本实施例中，待处理任务包括实时任务和非实时任务。任务标识是指预先对每一待处理任务进行标注的标识，具体包括实时标识和非实时标识，实时标识和非实时标识由系统管理员指定，以最简单的数字标识为例，1-代表实时标识，2-9代表非实时标识。其中，实时标识是指表示待处理任务为实时任务的标识，即若一任务处理请求中的任务标识为实时标识，则其对应的待处理任务为实时任务。非实时标识是指表示待处理任务为非实时任务的标识，即若一任务处理请求中的任务标识为非实时标识，则其对应的待处理任务为非实时任务。可以理解地，实时标识与非实时标识是相对的，携带有实时标识的待处理任务为实时任务，需要即时进行处理和响应；携带有非实时标识的待处理任务为非实时任务，可以在系统空闲时处理，以合理安排待处理任务的处理时间，并保证实时任务的处理速度。
具体地，系统获取到任务处理请求时，查询数据库中的待处理任务，每一待处理任务对应一任务标识，根据携带的任务标识对待处理任务进行相应处理。例如，该待处理任务可能为登录、找回密码、日志处理和报表处理等任务，系统将登录和找回密码标注等需要实时处理的任务标识标注上实时标识，系统将日志处理和报表处理等可以延时处理的任务标识标注上标注为非实时标识。
S302：若任务标识为实时标识，则执行待处理任务。
具体地，服务器获取到任务标识为实时标识，说明该待处理任务为实时任务，需要立刻进行处理，则调用系统资源对该待处理任务进行处理，以确保实时标识对应的待处理任务能够即时被响应处理，提高实时任务的处理效率。
S303：若任务标识为非实时标识，则获取任务处理请求中的任务类型，基于任务类型确定待处理任务的任务优先级，依据任务优先级的顺序，将待处理任务存储在非实时任务队列中。
其中，任务类型是指待处理任务对应的用于进行数据处理的类型。例如，待处理任务的类型可以是日志处理类型、报表处理类型和分析处理类型等任务类型。任务优先级是指在系统处理多个待处理任务时，决定各个待处理任务的接受处理的先后顺序的参数。例如，2-9代表非实时标识，且2-9中数字越小表示的优先级越高，越需要优先处理。一般来说，待处理任务的任务优先级由处理类型决定，根据优先级由低到高的顺序将待处理任务存储在非实时任务队列中。
具体地，在任务处理请求中的任务标识为非实时任务时，服务器根据待处理任务中的任务类型，确定该任务类型对应的任务优先级，将任务优先级高的待处理任务存储在非实时任务队列的靠前位置，以确定不同任务类型对应的任务优先级的顺序，并使任务优先级在先的待处理任务优先处理，将待处理任务存储在非实时任务队列中，从而合理安排非实时任务的处理顺序。进一步地，在非实时任务队列中，可先依据待处理任务的任务类型对应的任务优先级确定不同任务类型之间的处理顺序，并对同一种任务类型的待处理任务依据队列的先进先出原则进行排序。
本实施例所提供的批量数据处理方法中，服务器通过获取待处理任务和与待处理任务相对应的任务标识，以合理安排待处理任务的处理时间并保证实时任务的处理速度。在任务标识为实时标识时，即时执行待处理任务，以保证携带实时标识的待处理任务的处理速度和响应时间。在任务标识为非实时标识时，则获取任务处理请求中的任务类型，以确定待处理任务的任务优先级，依据任务优先级的顺序，将待处理任务存储在非实时任务队列中，从而合理安排非实时任务的处理顺序，确保任务优先级在先的待处理任务先处理。
在一实施例中，如图4所示，在步骤S202之前，即在从目标空闲时间队列中确定目标空闲信息之前，批量数据处理方法还包括：
S401：获取历史处理数据，历史处理数据包括历史处理时间、历史处理数量和历史线程数。
其中，历史处理数据是指历史记录中，调用系统资源对历史实时任务进行处理的信息。历史实时任务是指系统当前时间之前的实时任务。历史处理时间是指历史记录中，服务器处理历史实时任务从开始时间到结束时间之间的之间形成的时间区间。历史线程数是指历史记录中，处理历史实时任务时调用的线程数量。具体地，服务器通过获取大量的历史处理数据，以便对这些历史处理数据对应的数据进行分析，以分析历史处理数据中存在的客观规律，确定每天系统资源的当前情况，以便后续合理分配系统处理实时任务和非实时任务的时间和资源。
S402：基于机器学习算法对历史处理时间、历史处理数量和历史线程数进行大数据建模，获取原始空闲时间队列，原始空闲时间队列包括至少一个原始空闲信息，每一原始空闲信息包括起始时间、原始空闲时长和预估线程数。
其中，原始空闲时间队列是指根据系统处理历史处理数据的时间预测系统每天的空闲时间的队列。该原始空闲信息是指每天中空闲时长大于预设时长阈值的空闲时间对应的信息。
本实施例中，历史处理时间、历史处理数量和历史线程数是系统周期性处理数据的信息，采用机器学习算法对历史处理时间、历史处理数量和历史线程数进行大数据建模，以确定系统每天任意时刻的历史处理线程和空闲状态，从而实现对某一空闲区间的起始时间、空闲时长和需要进行实时处理的实时线程数，并计算在该空闲时长内可处理非实时任务的预估线程数，采用机器学习算法以使获取的原始空闲时间队列具有客观性和准确性。例如，系统将历史处理数据分为一周一个周期，采用机器学习算法对每周一、周二……周日中每天的历史空闲信息进行分析，以获取原始空闲时间队列，从中快速获取具有规律性的原始空闲时间队列。该机器学习算法包括但不限于逻辑回归算法和LSTM神经网络算法。
S403：若原始空闲时长大于第一时长阈值，则将原始空闲信息存储在目标空闲时间队列上。
其中，第一时长阈值是预先设置的用于评估系统的空闲时长是否达到认定为空闲时间的时长的阈值。第一时长阈值的设置，可排除原始空闲时长较短的情况，确保存储在目标空闲时间队列中的每一原始空闲时间对应的原始空闲时长内，能够处理较多的非实时任务对应的待处理数据，有助于减少后续线程之间通信的损耗，以达到合理分配系统资源的目的。在本实施例中，在原始空闲时长大于第一时长阈值时，将对应的原始空闲信息存储在目标空闲时间队列上，即将每一原始空闲时长大于第一时长阈值的原始空闲信息集合在一起构建目标空闲时间队列。
本实施例所提供的批量数据处理方法中，基于机器学习算法对历史处理时间、历史处理数量和历史线程数进行大数据建模，以使获得的原始空闲时间队列具有客观性。在原始空闲时长大于第一时长阈值时，则将原始空闲信息确定为目标空闲信息，确保存储在目标空闲时间队列中的每一原始空闲时间对应的原始空闲时长内，能够处理较多的非实时任务对应的待处理数据，有助于减少后续线程之间通信的损耗，以达到合理分配系统资源的目的。
在一实施例中，如图5所示，步骤S203中，基于待处理数据数量、目标空闲时长和预估线程数，获取目标数量，在数据处理队列中选取与目标数量相对应的待处理数据，确定为切分处理数据，包括：
S501：采用预估时间计算公式对待处理数据数量和预估线程数进行计算，获取数据处理队列对应的预估处理时间。
其中，预估时间计算公式指用于计算系统处理对数据处理队列中的待处理数据所需的时间的公式。预估处理时间是指系统处理数据处理队列中所有待处理数据所需要的时间。具体地，预估时间计算公式为T1为依据数据处理队列的预估处理时间，S为待处理数据数量，Np为在空闲时间可处理的预估线程数，x为单位时间每一线程的数据处理量。根据预估时间计算公式以快速计算得到系统处理数据处理队列中所有待处理数据的预估处理时间。
S502：采用目标数量计算公式对预估处理时间和目标空闲时长进行计算，获取目标数量。
其中，目标数量获取公式是用于计算在目标空闲时长内，系统能够处理待处理数据的数量的公式。目标数量计算公式为其中，X为目标数量，S为待处理数据数量，T1为依据数据处理队列的预估处理时间，T2为目标空闲时长。根据目标数量计算公式以快速获取在目标空闲时长内系统处理数据的数量。例如，已知某一数据处理队列的数据量为1000条，基于1000条待处理数据预估所需处理时间为预估处理时间T1。已知历史服务器运行情况，采用机器学习算法评估未来某个时间点T(即开始时间)开始服务器有空闲，在不影响实时任务处理的情况下，可处理批量数据，空闲时长为T2，则依据目标数量获取公式计算出其目标数量为X＝1000*T2/T1条数据，同时设定T时刻开始处理。
S503：按预设筛选规则，在数据处理队列中选取与目标数量相对应的待处理数据，确定为切分处理数据。
其中，预设筛选规则是指预先设置的用于选取待处理数据的规则，该预设筛选规则通常按任务优先级由高到低的顺序筛选待处理数据，使得数据处理顺序具有先后性，以保证任务优先级在先的数据优先处理。可以理解地，在任务优先级相同的情况下，依据队列的先进先出原则确定其筛选顺序，从而获取对应的切分处理数据。
具体地，服务器在数据处理队列中根据预设筛选规则(即任务优先级由高到低的顺序)选取数量为目标数量的待处理数据，以确定需要优先处理的任务优先级在先的待处理数据，确定为切分处理数据反馈给系统，以便系统处理。
本实施例所提供的批量数据处理方法中，采用预估时间计算公式对待处理数据数量和预估线程数进行计算，然后采用目标数量计算公式对预估处理时间和目标空闲时长进行计算，通过预估时间计算公式和目标数量计算公式可快速获取目标数量，保证了该目标数量的客观性，同时保证后续精确切分处理数据。在数据处理队列中按预设筛选规则选取与目标数量相对应的待处理数据，确定为切分处理数据，以实现对待处理数据的合理分配。
进一步，在系统处理数据时，预先设置预设筛选规则，从而确定批量处理的数据的任务优先级，在处理批量数据时，可以控制使用多少目标处理线程进行处理，目标处理线程越多，占用系统资源越多，处理能力越强，对非实时任务对应的待处理数据的处理越快。如果出现特殊情况，如实时任务业务繁忙，则可以暂停批量处理或减少任务优先级在后的待处理数据的批量处理的资源分配，从而达到合理分配系统资源和需要进行处理的切分处理数据。
在一实施例中，如图5所示，在步骤S206之后，即在基于数据处理结果，更新数据处理队列中每一切分处理数据的任务状态之后，批量数据处理方法还包括：
S601：若数据处理队列中每一切分处理数据的任务状态均更新为完成处理状态，则基于系统当前时间、起始时间和目标空闲时长，获取剩余时长。
具体地，服务器实时监控数据处理队列中切分处理数据的任务状态，在所有切分处理数据已经处理完成时，获取系统当前时间，若系统当前时间在起始时间起的空闲时长内，则基于系统当前时间和空闲时长，确定剩余时长，即该剩余时长为空闲时长的截止时间与系统当前时长的差值，以便在该剩余时长较长时，继续处理批量数据，充分利用剩余时长对应的空闲时间。例如若起始时间为8:00，空闲时长为30分钟，系统当前时间为8:20，则剩余时长为10分钟。
S602：若剩余时长大于第二时长阈值，则将剩余时长更新为目标空闲时长，基于更新后的目标空闲时长和预估线程数，确定对应的可处理数据量。
其中，第二时长阈值是预先设置，用于判断剩余时长是否足够长的阈值，第二时长阈值可以与第一时长阈值一样，也可以不一样，可以设置为30s或者其他数值。步骤S602中，服务器可采用可处理数据量获取公式确定对应的可处理数据量，该可处理数据量获取公式为K＝Np*x*T3，K为剩余时长对应的可处理数据量，Np为为在空闲时间可处理的预估线程数，x为单位时间每一线程的数据处理量，T3为空闲时间。在剩余时长大于第二时长阈值时，服务器将剩余时长更新为目标空闲时长，然后根据更新后的目标空闲时长继续处理待处理数据，以确保不影响实时任务时，进一步批量处理其他待处理数据，加快待处理数据的处理速度。
具体地，服务器需先判断剩余时长是否大于第二时长阈值，在剩余时长大于第二时长阈值时，则说明目标空闲信息对应的剩余时长较长，可以充分利用系统继续处理批量任务，而不会导致系统过于繁忙，因此，可基于剩余时长确定其对应的可处理数据量，以便在该剩余时长内对可处理数据量相对应的待处理数据进行处理，以提高批量数据的处理效率。
S603：在数据处理队列中选取与可处理数量相对应的待处理数据，更新为切分处理数据，获取与预估线程数相对应的目标处理线程，重复执行在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理，获取数据处理结果。
具体地，服务器根据获取到的目标空闲时长和预估线程数获取对应可处理数量的待处理数据，更新为切分处理数据，提高了批量数据的处理效率，加快该目标批量任务中待处理数据的迁移速度，然后采用处理线程对切分处理数据进行数据处理，获取数据处理结果。
本实施例所提供的批量数据处理方法中，切分处理数据处理完成后，服务器获取剩余时长，在剩余时长大于第二时长阈值时，则将剩余时长更新为目标空闲时长，基于更新后的目标空闲时长和预估线程数，确定对应的可处理数据量，以提高批量数据的处理效率。在数据处理队列中选取与可处理数量相对应的待处理数据，更新为切分处理数据，获取与预估线程数相对应的目标处理线程，以确保不影响系统处理实时任务同时可加快批量数据的处理速度。
在一实施例中，在步骤S205之后，即在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理之后，批量数据处理方法还包括：实时监控数据处理过程中的系统当前负载，若系统当前负载大于突发负载阈值，则释放目标处理线程，停止对切分处理数据进行数据处理，将切分处理数据的任务状态更新为停止状态。
其中，突发负载阈值是预先设置的用于评估系统是否接收突发的较大负载的阈值。一般来说，该突发负载阈值大于忙碌负载均值。
具体地，服务器在系统当前负载大于突发负载阈值时，说明系统当前接收到携带实时标识的任务处理请求的数量较多，使得系统当前负载过大，为了保证携带实时标识的任务处理请求的及时处理，此时，需暂停目标批量任务的处理，以释放目标批量任务处理所占用的目标处理线程，即系统会主动减少批量处理的目标处理线程的数量，以优先满足实时任务对应的数据处理。本实施例中，在系统当前负载大于突发负载阈值时，释放目标处理线程，停止对切分处理数据进行数据处理，以将其任务状态均更新为停止状态；可以理解地，在下一空闲时间内，服务器优先处理数据处理队列中，任务状态为停止状态的切分处理数据，以保证数据批量处理的效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种批量数据处理装置，该批量数据处理装置与上述实施例中批量数据处理方法一一对应。如图7所示，该批量数据处理装置包括数据处理队列创建模块701、目标空闲信息确定模块702、切分处理数据确定模块703、系统原始负载获取模块704、数据处理结果获取模块705和任务状态更新模块706。各功能模块详细说明如下：
数据处理队列创建模块701，用于从非实时任务队列中选取目标批量任务，基于目标批量任务创建数据处理队列，数据处理队列包括待处理数据和对应的任务状态。
目标空闲信息确定模块702，用于从目标空闲时间队列中确定目标空闲信息，目标空闲信息包括起始时间、目标空闲时长和预估线程数。
切分处理数据确定模块703，用于获取待处理数据对应的待处理数据数量，基于待处理数据数量、目标空闲时长和预估线程数，获取目标数量，在数据处理队列中选取与目标数量相对应的待处理数据，确定为切分处理数据。
系统原始负载获取模块704，用于在系统当前时间为起始时间时，获取系统原始负载。
数据处理结果获取模块705，用于若系统原始负载小于忙碌负载阈值，则认定系统处于空闲状态，获取与预估线程数相对应的目标处理线程，在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理，获取数据处理结果。
任务状态更新模块706，用于基于数据处理结果，更新数据处理队列中每一切分处理数据的任务状态。
优选地，在系统原始负载获取模块704之后，批量数据处理装置还包括：系统忙碌模块。
系统忙碌模块，用于若系统原始负载不小于忙碌负载阈值，则认定系统处于忙碌状态，重复执行从目标空闲时间队列中确定目标空闲信息。
优选地，在数据处理队列创建模块701之前，批量数据处理装置还包括：任务处理请求获取模块、实时标识模块和非实时标识模块。
任务处理请求获取模块，用于获取任务处理请求，任务处理请求包括待处理任务和与待处理任务相对应的任务标识。
实时标识模块，用于若任务标识为实时标识，则执行待处理任务。
非实时标识模块，用于若任务标识为非实时标识，则获取任务处理请求中的任务类型，基于任务类型确定待处理任务的任务优先级，依据任务优先级的顺序，将待处理任务存储在非实时任务队列中。
优选地，在从目标空闲信息确定模块702之前，批量数据处理装置还包括：历史处理数据获取模块、原始空闲时间队列获取模块和原始空闲信息存储模块。
历史处理数据获取模块，用于获取历史处理数据，历史处理数据包括历史处理时间、历史处理数量和历史线程数。
原始空闲时间队列获取模块，用于基于机器学习算法对历史处理时间、历史处理数量和历史线程数进行大数据建模，获取原始空闲时间队列，原始空闲时间队列包括至少一个原始空闲信息，每一原始空闲信息包括起始时间、原始空闲时长和预估线程数。
原始空闲信息存储模块，用于若原始空闲时长大于第一时长阈值，则将原始空闲信息存储在目标空闲时间队列上。
优选地，切分处理数据确定模块703，包括：预估处理时间获取单元、目标数量获取单元和预设筛选规则单元。
预估处理时间获取单元，用于采用预估时间计算公式对待处理数据数量和预估线程数进行计算，获取数据处理队列对应的预估处理时间。
目标数量获取单元，用于采用目标数量计算公式对预估处理时间和目标空闲时长进行计算，获取目标数量。
预设筛选规则单元，用于按预设筛选规则，在数据处理队列中选取与目标数量相对应的待处理数据，确定为切分处理数据。
优选地，在任务状态更新模块706之后，批量数据处理装置还包括：剩余时长获取模块、可处理数据量确定模块和目标处理线程获取模块。
剩余时长获取模块，用于若数据处理队列中每一切分处理数据的任务状态均更新为完成处理状态，则基于系统当前时间、起始时间和目标空闲时长，获取剩余时长。
可处理数据量确定模块，用于若剩余时长大于第二时长阈值，则将剩余时长更新为目标空闲时长，基于更新后的目标空闲时长和预估线程数，确定对应的可处理数据量。
目标处理线程获取模块，用于在数据处理队列中选取与可处理数量相对应的待处理数据，更新为切分处理数据，获取与预估线程数相对应的目标处理线程，重复执行在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理，获取数据处理结果。
优选地，在数据处理结果获取模块705之后，批量数据处理装置还包括：实时监控模块。
实时监控模块，用于实时监控数据处理过程中的系统当前负载，若系统当前负载大于突发负载阈值，则释放目标处理线程，停止对切分处理数据进行数据处理，将切分处理数据的任务状态更新为停止状态。
关于批量数据处理装置的具体限定可以参见上文中对于批量数据处理方法的限定，在此不再赘述。上述批量数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于执行上述批量数据处理方法过程中采用或者生成的数据，如目标批量任务。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种批量数据处理方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中批量数据处理方法，例如图2所示S201-S207，或者图3至图6中所示，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现批量数据处理装置这一实施例中的各模块/单元的功能，例如图7所示的数据处理队列创建模块701、目标空闲信息确定模块702、切分处理数据确定模块703、系统原始负载获取模块704、数据处理结果获取模块705和任务状态更新模块706的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中批量数据处理方法，例如图2所示S201-S207，或者图3至图6中所示，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现批量数据处理装置这一实施例中的各模块/单元的功能，例如图7所示的数据处理队列创建模块701、目标空闲信息确定模块702、切分处理数据确定模块703、系统原始负载获取模块704、数据处理结果获取模块705和任务状态更新模块706的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种批量数据处理方法，其特征在于，包括：
从非实时任务队列中选取目标批量任务，基于所述目标批量任务创建数据处理队列，所述数据处理队列包括待处理数据和对应的任务状态；
从目标空闲时间队列中确定目标空闲信息，所述目标空闲信息包括起始时间、目标空闲时长和预估线程数；
获取所述待处理数据对应的待处理数据数量，基于所述待处理数据数量、所述目标空闲时长和所述预估线程数，获取目标数量，在所述数据处理队列中选取与所述目标数量相对应的待处理数据，确定为切分处理数据；
在系统当前时间为所述起始时间时，获取系统原始负载；
若所述系统原始负载小于忙碌负载阈值，则认定系统处于空闲状态，获取与所述预估线程数相对应的目标处理线程，在所述目标空闲时长内采用所述目标处理线程对所述切分处理数据进行数据处理，获取数据处理结果；
基于所述数据处理结果，更新所述数据处理队列中每一所述切分处理数据的任务状态。
2.如权利要求1所述的批量数据处理方法，其特征在于，在所述在系统当前时间为所述起始时间时，获取系统原始负载之后，所述批量数据处理方法还包括：
若所述系统原始负载不小于所述忙碌负载阈值，则认定系统处于忙碌状态，重复执行所述从目标空闲时间队列中确定目标空闲信息。
3.如权利要求1所述的批量数据处理方法，其特征在于，在所述从非实时任务队列中选取目标批量任务，基于所述目标批量任务创建数据处理队列之前，所述批量数据处理方法还包括：
获取任务处理请求，所述任务处理请求包括待处理任务和与所述待处理任务相对应的任务标识；
若所述任务标识为实时标识，则执行所述待处理任务；
若所述任务标识为非实时标识，则获取所述任务处理请求中的任务类型，基于所述任务类型确定所述待处理任务的任务优先级，依据所述任务优先级的顺序，将所述待处理任务存储在所述非实时任务队列中。
4.如权利要求1所述的批量数据处理方法，其特征在于，在所述从目标空闲时间队列中确定目标空闲信息之前，所述批量数据处理方法还包括：
获取历史处理数据，所述历史处理数据包括历史处理时间、历史处理数量和历史线程数；
基于机器学习算法对所述历史处理时间、所述历史处理数量和所述历史线程数进行大数据建模，获取原始空闲时间队列，所述原始空闲时间队列包括至少一个原始空闲信息，每一所述原始空闲信息包括起始时间、原始空闲时长和预估线程数；
若所述原始空闲时长大于第一时长阈值，则将所述原始空闲信息存储在所述目标空闲时间队列上。
5.如权利要求1所述的批量数据处理方法，其特征在于，所述基于所述待处理数据数量、所述目标空闲时长和所述预估线程数，获取目标数量，在所述数据处理队列中选取与所述目标数量相对应的待处理数据，确定为切分处理数据，包括：
采用预估时间计算公式对所述待处理数据数量和所述预估线程数进行计算，获取所述数据处理队列对应的预估处理时间；
采用目标数量计算公式对所述预估处理时间和所述目标空闲时长进行计算，获取目标数量；
按预设筛选规则，在所述数据处理队列中选取与所述目标数量相对应的待处理数据，确定为切分处理数据。
6.如权利要求1所述的批量数据处理方法，其特征在于，在所述基于所述数据处理结果，更新所述数据处理队列中每一所述切分处理数据的任务状态之后，所述批量数据处理方法还包括：
若所述数据处理队列中每一所述切分处理数据的任务状态均更新为完成处理状态，则基于系统当前时间、所述起始时间和所述目标空闲时长，获取剩余时长；
若剩余时长大于第二时长阈值，则将所述剩余时长更新为目标空闲时长，基于更新后的所述目标空闲时长和所述预估线程数，确定对应的可处理数据量；
在所述数据处理队列中选取与所述可处理数量相对应的待处理数据，更新为切分处理数据，获取与所述预估线程数相对应的目标处理线程，重复执行在所述目标空闲时长内采用所述目标处理线程对所述切分处理数据进行数据处理，获取数据处理结果。
7.如权利要求1所述的批量数据处理方法，其特征在于，在所述目标空闲时长内采用所述目标处理线程对所述切分处理数据进行数据处理之后，所述批量数据处理方法还包括：
实时监控数据处理过程中的系统当前负载，若系统当前负载大于突发负载阈值，则释放所述目标处理线程，停止对所述切分处理数据进行数据处理，将所述切分处理数据的任务状态更新为停止状态。
8.一种批量数据处理装置，其特征在于，包括：
数据处理队列创建模块，用于从非实时任务队列中选取目标批量任务，基于目标批量任务创建数据处理队列，数据处理队列包括待处理数据和对应的任务状态；
目标空闲信息确定模块，用于从目标空闲时间队列中确定目标空闲信息，目标空闲信息包括起始时间、目标空闲时长和预估线程数；
切分处理数据确定模块，用于获取待处理数据对应的待处理数据数量，基于待处理数据数量、目标空闲时长和预估线程数，获取目标数量，在数据处理队列中选取与目标数量相对应的待处理数据，确定为切分处理数据；
系统原始负载获取模块，用于在系统当前时间为起始时间时，获取系统原始负载；
数据处理结果获取模块，用于若系统原始负载小于忙碌负载阈值，则认定系统处于空闲状态，获取与预估线程数相对应的目标处理线程，在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理，获取数据处理结果；
任务状态更新模块，用于基于数据处理结果，更新数据处理队列中每一切分处理数据的任务状态。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述批量数据处理方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述批量数据处理方法的步骤。
CN201910405149.0A 2019-05-16 2019-05-16 批量数据处理方法、装置、计算机设备及存储介质 Active CN110297711B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910405149.0A CN110297711B (zh) 2019-05-16 2019-05-16 批量数据处理方法、装置、计算机设备及存储介质
PCT/CN2019/102672 WO2020228177A1 (zh) 2019-05-16 2019-08-27 批量数据处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910405149.0A CN110297711B (zh) 2019-05-16 2019-05-16 批量数据处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110297711A true CN110297711A (zh) 2019-10-01
CN110297711B CN110297711B (zh) 2024-01-19

Family

ID=68026784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405149.0A Active CN110297711B (zh) 2019-05-16 2019-05-16 批量数据处理方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110297711B (zh)
WO (1) WO2020228177A1 (zh)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110750693A (zh) * 2019-10-21 2020-02-04 北京百度网讯科技有限公司 数据处理方法、装置、设备和介质
CN110765297A (zh) * 2019-11-01 2020-02-07 广东三维家信息科技有限公司 图片数据管理方法、装置和电子设备
CN110764916A (zh) * 2019-10-30 2020-02-07 北京声智科技有限公司 一种信息处理方法、装置、存储介质及设备
CN110928711A (zh) * 2019-11-26 2020-03-27 多点(深圳)数字科技有限公司 任务处理方法、装置、系统、服务器及存储介质
CN110991127A (zh) * 2019-10-17 2020-04-10 广东高云半导体科技股份有限公司 任务执行方法、装置、计算机设备及存储介质
CN111078733A (zh) * 2019-11-26 2020-04-28 金蝶软件（中国）有限公司 批量任务处理方法、装置、计算机设备和存储介质
CN111338787A (zh) * 2020-02-04 2020-06-26 浙江大华技术股份有限公司 一种数据处理方法及装置、存储介质、电子装置
CN111343652A (zh) * 2020-02-18 2020-06-26 腾讯科技（深圳）有限公司 一种数据处理方法及相关设备
CN111352988A (zh) * 2020-02-29 2020-06-30 重庆百事得大牛机器人有限公司 针对法务信息的大数据仓库存储、分析、提取系统
CN111506410A (zh) * 2020-04-21 2020-08-07 北京思特奇信息技术股份有限公司 一种后台批量处理业务的优化方法、系统和存储介质
CN111737010A (zh) * 2020-07-30 2020-10-02 腾讯科技（深圳）有限公司 任务处理方法和装置、图形任务处理系统以及存储介质
CN111897631A (zh) * 2020-07-15 2020-11-06 上海携旅信息技术有限公司 基于批处理的模型推断系统、方法、电子设备和介质
CN111949424A (zh) * 2020-09-18 2020-11-17 成都精灵云科技有限公司 一种处理声明式事件的队列的实现方法
CN112035481A (zh) * 2020-08-31 2020-12-04 中国平安财产保险股份有限公司 数据处理方法、装置、计算机设备和存储介质
CN112099958A (zh) * 2020-11-17 2020-12-18 深圳壹账通智能科技有限公司 分布式多任务管理方法、装置、计算机设备及存储介质
CN112199441A (zh) * 2020-09-28 2021-01-08 中国平安人寿保险股份有限公司 基于大数据平台的数据同步处理方法、装置、设备及介质
CN112804295A (zh) * 2020-12-24 2021-05-14 宝能(广州)汽车研究院有限公司 车辆ota服务器及其负载均衡方法、计算机可读存储介质
CN112799945A (zh) * 2021-01-29 2021-05-14 中国工商银行股份有限公司 批量文件校验方法及装置
CN112835867A (zh) * 2021-01-11 2021-05-25 中国农业银行股份有限公司 一种数据预处理方法及装置
CN113076181A (zh) * 2021-03-04 2021-07-06 山东英信计算机技术有限公司 一种数据处理流程优化方法、系统及存储介质
CN113111240A (zh) * 2021-04-20 2021-07-13 康键信息技术（深圳）有限公司 日志监控方法、装置、电子设备及可读存储介质
CN113127185A (zh) * 2019-12-31 2021-07-16 北京懿医云科技有限公司 任务执行队列处理方法及装置、存储介质、电子设备
CN113194039A (zh) * 2021-04-23 2021-07-30 京东数科海益信息科技有限公司 系统数据流量的切分方法和装置、电子设备和存储介质
CN113205130A (zh) * 2021-04-28 2021-08-03 五八有限公司 一种数据审核方法、装置、电子设备及存储介质
CN113254176A (zh) * 2021-05-28 2021-08-13 平安普惠企业管理有限公司 项目管理方法、装置、计算机设备及存储介质
CN113268328A (zh) * 2021-05-26 2021-08-17 平安国际融资租赁有限公司 批处理方法、装置、计算机设备和存储介质
CN113377501A (zh) * 2021-06-08 2021-09-10 中国农业银行股份有限公司 数据处理方法、装置、设备、介质及程序产品
CN113391896A (zh) * 2021-06-15 2021-09-14 北京京东振世信息技术有限公司 任务处理方法及装置、存储介质及电子设备
CN113391857A (zh) * 2021-07-12 2021-09-14 上海哔哩哔哩科技有限公司 指令处理方法及装置
CN113495908A (zh) * 2020-04-03 2021-10-12 北京京东振世信息技术有限公司 一种数据统计方法和装置
CN113971552A (zh) * 2021-10-26 2022-01-25 中电金信软件有限公司 一种批量数据处理方法、装置、设备以及存储介质
CN113992684A (zh) * 2021-10-26 2022-01-28 中电金信软件有限公司 发送数据的方法、装置、处理节点、存储介质及系统
CN115022171A (zh) * 2022-06-16 2022-09-06 平安普惠企业管理有限公司 更新接口的优化方法、装置、电子设备及可读存储介质
CN115118768A (zh) * 2022-06-27 2022-09-27 平安壹钱包电子商务有限公司 一种任务分发方法、装置、存储介质及电子设备
CN115277595A (zh) * 2022-07-26 2022-11-01 深圳证券通信有限公司 数据发送方法及相关装置
CN116483544A (zh) * 2023-06-15 2023-07-25 阿里健康科技(杭州)有限公司 任务处理方法、装置、计算机设备和存储介质
CN116775255A (zh) * 2023-08-15 2023-09-19 长沙伊士格信息科技有限责任公司 一种支持广泛集成场景的全域集成系统
CN116795453A (zh) * 2023-08-28 2023-09-22 成都中科合迅科技有限公司 应用程序的多cpu架构调用控制方法和系统
CN117056085A (zh) * 2023-10-11 2023-11-14 深圳安天网络安全技术有限公司 一种负载均衡方法、装置和安全防护系统
CN117573907A (zh) * 2024-01-16 2024-02-20 北京航空航天大学杭州创新研究院 一种移动机器人数据存储方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112737925A (zh) * 2020-12-29 2021-04-30 深圳前海微众银行股份有限公司 数据采集方法、装置和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591721A (zh) * 2011-12-30 2012-07-18 北京新媒传信科技有限公司 一种分配线程执行任务的方法和系统
US8694994B1 (en) * 2011-09-07 2014-04-08 Amazon Technologies, Inc. Optimization of packet processing by delaying a processor from entering an idle state
CN105389209A (zh) * 2015-12-25 2016-03-09 中国建设银行股份有限公司 一种异步批量任务处理方法及系统
CN106547612A (zh) * 2016-10-18 2017-03-29 深圳怡化电脑股份有限公司 一种多任务处理方法及装置
CN107918864A (zh) * 2017-11-23 2018-04-17 平安科技（深圳）有限公司 电子保单生成方法、装置、计算机设备及存储介质
CN108536532A (zh) * 2018-04-23 2018-09-14 中国农业银行股份有限公司 一种批量任务处理方法及系统
CN109492024A (zh) * 2018-10-26 2019-03-19 平安科技（深圳）有限公司 数据处理方法、装置、计算机设备以及存储介质
US20190129750A1 (en) * 2017-10-27 2019-05-02 EMC IP Holding Company LLC Method, apparatus and computer storage medium for controlling a storage system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882161B (zh) * 2010-06-23 2012-07-04 中国工商银行股份有限公司 应用级异步任务调度系统和方法
CN102393822B (zh) * 2011-11-30 2014-03-12 中国工商银行股份有限公司 批量调度系统及方法
US10146592B2 (en) * 2015-09-18 2018-12-04 Salesforce.Com, Inc. Managing resource allocation in a stream processing framework

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8694994B1 (en) * 2011-09-07 2014-04-08 Amazon Technologies, Inc. Optimization of packet processing by delaying a processor from entering an idle state
CN102591721A (zh) * 2011-12-30 2012-07-18 北京新媒传信科技有限公司 一种分配线程执行任务的方法和系统
CN105389209A (zh) * 2015-12-25 2016-03-09 中国建设银行股份有限公司 一种异步批量任务处理方法及系统
CN106547612A (zh) * 2016-10-18 2017-03-29 深圳怡化电脑股份有限公司 一种多任务处理方法及装置
US20190129750A1 (en) * 2017-10-27 2019-05-02 EMC IP Holding Company LLC Method, apparatus and computer storage medium for controlling a storage system
CN107918864A (zh) * 2017-11-23 2018-04-17 平安科技（深圳）有限公司 电子保单生成方法、装置、计算机设备及存储介质
CN108536532A (zh) * 2018-04-23 2018-09-14 中国农业银行股份有限公司 一种批量任务处理方法及系统
CN109492024A (zh) * 2018-10-26 2019-03-19 平安科技（深圳）有限公司 数据处理方法、装置、计算机设备以及存储介质

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991127A (zh) * 2019-10-17 2020-04-10 广东高云半导体科技股份有限公司 任务执行方法、装置、计算机设备及存储介质
CN110991127B (zh) * 2019-10-17 2021-01-19 广东高云半导体科技股份有限公司 任务执行方法、装置、计算机设备及存储介质
CN110750693A (zh) * 2019-10-21 2020-02-04 北京百度网讯科技有限公司 数据处理方法、装置、设备和介质
CN110764916A (zh) * 2019-10-30 2020-02-07 北京声智科技有限公司 一种信息处理方法、装置、存储介质及设备
CN110764916B (zh) * 2019-10-30 2022-06-03 北京声智科技有限公司 一种信息处理方法、装置、存储介质及设备
CN110765297A (zh) * 2019-11-01 2020-02-07 广东三维家信息科技有限公司 图片数据管理方法、装置和电子设备
CN110928711A (zh) * 2019-11-26 2020-03-27 多点(深圳)数字科技有限公司 任务处理方法、装置、系统、服务器及存储介质
CN111078733A (zh) * 2019-11-26 2020-04-28 金蝶软件（中国）有限公司 批量任务处理方法、装置、计算机设备和存储介质
CN111078733B (zh) * 2019-11-26 2024-02-09 金蝶软件（中国）有限公司 批量任务处理方法、装置、计算机设备和存储介质
CN113127185B (zh) * 2019-12-31 2023-11-10 北京懿医云科技有限公司 任务执行队列处理方法及装置、存储介质、电子设备
CN113127185A (zh) * 2019-12-31 2021-07-16 北京懿医云科技有限公司 任务执行队列处理方法及装置、存储介质、电子设备
CN111338787B (zh) * 2020-02-04 2023-09-01 浙江大华技术股份有限公司 一种数据处理方法及装置、存储介质、电子装置
CN111338787A (zh) * 2020-02-04 2020-06-26 浙江大华技术股份有限公司 一种数据处理方法及装置、存储介质、电子装置
CN111343652A (zh) * 2020-02-18 2020-06-26 腾讯科技（深圳）有限公司 一种数据处理方法及相关设备
CN111343652B (zh) * 2020-02-18 2021-08-13 腾讯科技（深圳）有限公司 一种数据处理方法及相关设备
CN111352988A (zh) * 2020-02-29 2020-06-30 重庆百事得大牛机器人有限公司 针对法务信息的大数据仓库存储、分析、提取系统
CN113495908B (zh) * 2020-04-03 2024-05-17 北京京东振世信息技术有限公司 一种数据统计方法和装置
CN113495908A (zh) * 2020-04-03 2021-10-12 北京京东振世信息技术有限公司 一种数据统计方法和装置
CN111506410B (zh) * 2020-04-21 2023-05-12 北京思特奇信息技术股份有限公司 一种后台批量处理业务的优化方法、系统和存储介质
CN111506410A (zh) * 2020-04-21 2020-08-07 北京思特奇信息技术股份有限公司 一种后台批量处理业务的优化方法、系统和存储介质
CN111897631A (zh) * 2020-07-15 2020-11-06 上海携旅信息技术有限公司 基于批处理的模型推断系统、方法、电子设备和介质
CN111897631B (zh) * 2020-07-15 2022-08-30 上海携旅信息技术有限公司 基于批处理的模型推断系统、方法、电子设备和介质
CN111737010A (zh) * 2020-07-30 2020-10-02 腾讯科技（深圳）有限公司 任务处理方法和装置、图形任务处理系统以及存储介质
CN111737010B (zh) * 2020-07-30 2024-02-02 腾讯科技（深圳）有限公司 任务处理方法和装置、图形任务处理系统以及存储介质
CN112035481B (zh) * 2020-08-31 2023-10-27 中国平安财产保险股份有限公司 数据处理方法、装置、计算机设备和存储介质
CN112035481A (zh) * 2020-08-31 2020-12-04 中国平安财产保险股份有限公司 数据处理方法、装置、计算机设备和存储介质
CN111949424A (zh) * 2020-09-18 2020-11-17 成都精灵云科技有限公司 一种处理声明式事件的队列的实现方法
CN112199441B (zh) * 2020-09-28 2023-11-24 中国平安人寿保险股份有限公司 基于大数据平台的数据同步处理方法、装置、设备及介质
CN112199441A (zh) * 2020-09-28 2021-01-08 中国平安人寿保险股份有限公司 基于大数据平台的数据同步处理方法、装置、设备及介质
CN112099958B (zh) * 2020-11-17 2021-03-02 深圳壹账通智能科技有限公司 分布式多任务管理方法、装置、计算机设备及存储介质
CN112099958A (zh) * 2020-11-17 2020-12-18 深圳壹账通智能科技有限公司 分布式多任务管理方法、装置、计算机设备及存储介质
CN112804295A (zh) * 2020-12-24 2021-05-14 宝能(广州)汽车研究院有限公司 车辆ota服务器及其负载均衡方法、计算机可读存储介质
CN112835867A (zh) * 2021-01-11 2021-05-25 中国农业银行股份有限公司 一种数据预处理方法及装置
CN112799945B (zh) * 2021-01-29 2024-03-15 中国工商银行股份有限公司 批量文件校验方法及装置
CN112799945A (zh) * 2021-01-29 2021-05-14 中国工商银行股份有限公司 批量文件校验方法及装置
CN113076181A (zh) * 2021-03-04 2021-07-06 山东英信计算机技术有限公司 一种数据处理流程优化方法、系统及存储介质
CN113076181B (zh) * 2021-03-04 2023-09-26 山东英信计算机技术有限公司 一种数据处理流程优化方法、系统及存储介质
CN113111240A (zh) * 2021-04-20 2021-07-13 康键信息技术（深圳）有限公司 日志监控方法、装置、电子设备及可读存储介质
CN113194039A (zh) * 2021-04-23 2021-07-30 京东数科海益信息科技有限公司 系统数据流量的切分方法和装置、电子设备和存储介质
CN113205130A (zh) * 2021-04-28 2021-08-03 五八有限公司 一种数据审核方法、装置、电子设备及存储介质
CN113205130B (zh) * 2021-04-28 2023-05-02 五八有限公司 一种数据审核方法、装置、电子设备及存储介质
CN113268328A (zh) * 2021-05-26 2021-08-17 平安国际融资租赁有限公司 批处理方法、装置、计算机设备和存储介质
CN113254176B (zh) * 2021-05-28 2023-02-07 平安普惠企业管理有限公司 项目管理方法、装置、计算机设备及存储介质
CN113254176A (zh) * 2021-05-28 2021-08-13 平安普惠企业管理有限公司 项目管理方法、装置、计算机设备及存储介质
CN113377501A (zh) * 2021-06-08 2021-09-10 中国农业银行股份有限公司 数据处理方法、装置、设备、介质及程序产品
CN113391896B (zh) * 2021-06-15 2023-09-22 北京京东振世信息技术有限公司 任务处理方法及装置、存储介质及电子设备
CN113391896A (zh) * 2021-06-15 2021-09-14 北京京东振世信息技术有限公司 任务处理方法及装置、存储介质及电子设备
CN113391857A (zh) * 2021-07-12 2021-09-14 上海哔哩哔哩科技有限公司 指令处理方法及装置
CN113971552A (zh) * 2021-10-26 2022-01-25 中电金信软件有限公司 一种批量数据处理方法、装置、设备以及存储介质
CN113992684B (zh) * 2021-10-26 2022-10-28 中电金信软件有限公司 发送数据的方法、装置、处理节点、存储介质及系统
CN113992684A (zh) * 2021-10-26 2022-01-28 中电金信软件有限公司 发送数据的方法、装置、处理节点、存储介质及系统
CN115022171A (zh) * 2022-06-16 2022-09-06 平安普惠企业管理有限公司 更新接口的优化方法、装置、电子设备及可读存储介质
CN115022171B (zh) * 2022-06-16 2024-05-17 北京神州数码云科信息技术有限公司 更新接口的优化方法、装置、电子设备及可读存储介质
CN115118768A (zh) * 2022-06-27 2022-09-27 平安壹钱包电子商务有限公司 一种任务分发方法、装置、存储介质及电子设备
CN115277595A (zh) * 2022-07-26 2022-11-01 深圳证券通信有限公司 数据发送方法及相关装置
CN116483544B (zh) * 2023-06-15 2023-09-19 阿里健康科技(杭州)有限公司 任务处理方法、装置、计算机设备和存储介质
CN116483544A (zh) * 2023-06-15 2023-07-25 阿里健康科技(杭州)有限公司 任务处理方法、装置、计算机设备和存储介质
CN116775255A (zh) * 2023-08-15 2023-09-19 长沙伊士格信息科技有限责任公司 一种支持广泛集成场景的全域集成系统
CN116775255B (zh) * 2023-08-15 2023-11-21 长沙伊士格信息科技有限责任公司 一种支持广泛集成场景的全域集成系统
CN116795453B (zh) * 2023-08-28 2023-11-03 成都中科合迅科技有限公司 应用程序的多cpu架构调用控制方法和系统
CN116795453A (zh) * 2023-08-28 2023-09-22 成都中科合迅科技有限公司 应用程序的多cpu架构调用控制方法和系统
CN117056085B (zh) * 2023-10-11 2023-12-22 深圳安天网络安全技术有限公司 一种负载均衡方法、装置和安全防护系统
CN117056085A (zh) * 2023-10-11 2023-11-14 深圳安天网络安全技术有限公司 一种负载均衡方法、装置和安全防护系统
CN117573907A (zh) * 2024-01-16 2024-02-20 北京航空航天大学杭州创新研究院 一种移动机器人数据存储方法及系统
CN117573907B (zh) * 2024-01-16 2024-04-26 北京航空航天大学杭州创新研究院 一种移动机器人数据存储方法及系统

Also Published As

Publication number Publication date
WO2020228177A1 (zh) 2020-11-19
CN110297711B (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
CN110297711A (zh) 批量数据处理方法、装置、计算机设备及存储介质
US10783472B2 (en) Applying machine learning to dynamically scale computing resources to satisfy a service level agreement (SLA)
Bhattacharjee et al. Barista: Efficient and scalable serverless serving system for deep learning prediction services
US9354937B2 (en) System and method for electronic work prediction and dynamically adjusting server resources
CN104317658B (zh) 一种基于MapReduce的负载自适应任务调度方法
CN108845884B (zh) 物理资源分配方法、装置、计算机设备和存储介质
EP3348029B1 (en) System and method for ensuring quality of service in a compute workflow
EP2391961B1 (en) System and method for integrating capacity planning and workload management
KR20190132475A (ko) 작업 서버를 사용한 대규모 분산형 시스템의 기계 학습 모델의 훈련
US20200219028A1 (en) Systems, methods, and media for distributing database queries across a metered virtual network
Soualhia et al. Predicting scheduling failures in the cloud: A case study with google clusters and hadoop on amazon EMR
CN111625331B (zh) 任务调度方法、装置、平台、服务器及存储介质
US11726836B2 (en) Predicting expansion failures and defragmenting cluster resources
CN107885595A (zh) 一种资源分配方法、相关设备及系统
CN110865881A (zh) 一种资源调度的方法及装置
US10628766B2 (en) Method and system for enabling dynamic capacity planning
US20220327002A1 (en) Allocating computing resources for deferrable virtual machines
CN113168347A (zh) 容器化应用程序的编排
CN112749221A (zh) 数据任务调度方法、装置、存储介质及调度工具
CN113434253A (zh) 集群资源调度方法、装置、设备及存储介质
CN108153594A (zh) 一种人工智能云平台的资源碎片整理方法及电子设备
CN114675956B (zh) 一种基于Kubernetes集群之间Pod配置及调度的方法
CN110196773B (zh) 统一调度计算资源的多时间尺度安全校核系统及方法
CN112000460A (zh) 一种基于改进贝叶斯算法的服务扩缩容的方法及相关设备
CN110659108A (zh) 一种云系统虚拟机任务迁移方法及装置、服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant