CN109783717A - 查询任务处理方法、系统、服务器集群及装置、计算机可读存储介质 - Google Patents
查询任务处理方法、系统、服务器集群及装置、计算机可读存储介质 Download PDFInfo
- Publication number
- CN109783717A CN109783717A CN201811474464.0A CN201811474464A CN109783717A CN 109783717 A CN109783717 A CN 109783717A CN 201811474464 A CN201811474464 A CN 201811474464A CN 109783717 A CN109783717 A CN 109783717A
- Authority
- CN
- China
- Prior art keywords
- node
- processing
- query
- query task
- control node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的查询任务处理方法、系统、服务器集群及装置、计算机可读存储介质，属于计算机技术领域。其中，终端向服务器集群中的控制节点发送包含节点指定内存值的查询语句，控制节点接收查询语句，并生成该查询语句对应的多个查询任务片段，控制节点将每个查询任务片段分配至处理节点上进行处理，以及根据节点指定内存值调整目标处理节点的内存上限值，该目标处理节点即为处理查询任务片段的处理节点。通过在查询语句中插入节点指定内存值，使得可以根据该节点指定内存值调整目标处理节点的内存上限值，进而避免由于处理查询任务片段所需的内存超出处理节点的内存上限，导致查询任务失败的问题，提高查询任务处理的成功率。
Description
技术领域
本发明属于计算机技术领域，特别是涉及一种查询任务处理方法、系统、服务器集群及装置、计算机可读存储介质。
背景技术
随着互联网技术的广泛应用，网络中会产生大量的用户数据。为了了解用户需求，这些用户数据通常会被存储至服务器中，开发人员可以在服务器中查询需要的数据进行分析，等等。
现有技术中，通常是，先向服务器集群发送查询语句，然后，服务器集群可以根据该查询语句生成对应的查询计划树，接着，将查询计划树中的每个查询任务片段分配至服务器集群的处理节点中进行处理。
但是，在对查询任务片段进行处理时，往往会占用较多的内存，因此，经常会出现，处理查询任务片段所需的内存超出处理节点的内存上限，进而导致查询任务失败。
发明内容
有鉴于此，本发明提供一种查询任务处理方法、系统、服务器集群及装置、计算机可读存储介质，以便解决查询任务失败的问题。
依据本发明的第一方面，提供了一种查询任务处理方法，应用于包括终端及服务器集群的系统，所述服务器集群包括控制节点和多个处理节点，该方法包括：
所述终端根据查询需求生成查询语句，并在所述查询语句中插入节点指定内存值；
所述终端将所述查询语句发送给所述控制节点；
所述控制节点接收所述终端发送的查询语句；所述控制节点生成所述查询语句对应的多个查询任务片段；
对于所述多个查询任务片段中的任一查询任务片段，所述控制节点将所述查询任务片段分配至所述处理节点上进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点。
依据本发明的第二方面，提供了一种查询任务处理方法，应用于服务器集群，所述服务器集群包括控制节点和多个处理节点，该方法包括：
所述控制节点接收终端发送的查询语句；所述查询语句中包括节点指定内存值；
所述控制节点生成所述查询语句对应的多个查询任务片段；
对于所述多个查询任务片段中的任一查询任务片段，所述控制节点将所述查询任务片段分配至所述处理节点上进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点。
可选的，所述控制节点将所述查询任务片段分配至所述处理节点上进行处理之后，所述方法还包括：
对于任一所述目标处理节点，所述控制节点获取所述目标处理节点对所述查询任务片段的处理结果；
若所述处理结果是处理失败，在预设时长之后，所述控制节点重新执行所述将所述查询任务片段分配至所述处理节点上进行处理的步骤，直至重新执行的次数达到预设次数阈值为止。
可选的，所述服务器集群中设置有指定备选队列；
所述重新执行的次数达到预设次数阈值之后，所述方法还包括：
对于任一所述目标处理节点，所述控制节点获取所述目标处理节点对所述查询任务片段的处理结果；
若所述处理结果是处理失败，所述控制节点将所述多个查询任务片段转入所述指定备选队列；
对于所述多个查询任务片段中的任一查询任务片段，所述控制节点将所述查询任务片段分配至所述指定备选队列对应的处理节点进行处理。
可选的，所述方法还包括：
对于任一所述目标处理节点，所述控制节点获取所述目标处理节点对所述查询任务片段的处理结果；
若所述处理结果是处理失败，所述控制节生成所述查询语句对应的查询任务，并按照预设维度将所述查询任务分解为多个查询子任务；
所述控制节生成每个查询子任务对应的查询任务片段，并将每个查询子任务对应的查询任务片段分配至所述处理节点上重新进行处理。
依据本发明的第三方面，提供了一种查询任务处理方法，应用于终端，该方法包括：
根据查询需求生成查询语句；
在所述查询语句中插入节点指定内存值；
将所述查询语句发送给服务器集群中的控制节点。
依据本发明的第四方面，提供了一种查询任务处理系统，所述系统包括终端及服务器集群，所述服务器集群包括控制节点和多个处理节点；
所述终端，用于根据查询需求生成查询语句，并在所述查询语句中插入节点指定内存值；
所述终端，还用于将所述查询语句发送给所述控制节点；
所述控制节点，用于接收所述终端发送的查询语句；所述控制节点，还用于生成所述查询语句对应的多个查询任务片段；
对于所述多个查询任务片段中的任一查询任务片段，所述控制节点，还用于将所述查询任务片段分配至所述处理节点上进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点。
依据本发明的第五方面，提供了一种服务器集群，所述服务器集群包括控制节点和多个处理节点；
所述控制节点，用于接收终端发送的查询语句；所述查询语句中包括节点指定内存值；
所述控制节点，还用于生成所述查询语句对应的多个查询任务片段；
所述控制节点，还用于对于所述多个查询任务片段中的任一查询任务片段，将所述查询任务片段分配至所述处理节点上进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点。
可选的，所述控制节点，还用于对于任一所述目标处理节点，获取所述目标处理节点对所述查询任务片段的处理结果；
所述控制节点，还用于若所述处理结果是处理失败，在预设时长之后，重新执行所述将所述查询任务片段分配至所述处理节点上进行处理的步骤，直至重新执行的次数达到预设次数阈值为止。
可选的，所述服务器集群中设置有指定备选队列；
所述控制节点，还用于对于任一所述目标处理节点，获取所述目标处理节点对所述查询任务片段的处理结果；
所述控制节点，还用于若所述处理结果是处理失败，则将所述多个查询任务片段转入所述指定备选队列；
所述控制节点，还用于对于所述多个查询任务片段中的任一查询任务片段，将所述查询任务片段分配至所述指定备选队列对应的处理节点进行处理。
可选的，所述控制节点，还用于对于任一所述目标处理节点，获取所述目标处理节点对所述查询任务片段的处理结果；
所述控制节点，还用于若所述处理结果是处理失败，生成所述查询语句对应的查询任务，并按照预设维度将所述查询任务分解为多个查询子任务；
所述控制节点，还用于生成每个查询子任务对应的查询任务片段，并将每个查询子任务对应的查询任务片段分配至所述处理节点上重新进行处理。
依据本发明的第六方面，提供了一种查询任务处理装置，应用于终端，所述装置包括：
生成模块，用于根据查询需求生成查询语句；
插入模块，用于在所述查询语句中插入节点指定内存值；
发送模块，用于将所述查询语句发送给服务器集群中的控制节点。
依据本发明的第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面、第二方面以及第三方面所述的查询任务处理方法的步骤。
针对在先技术，本发明具备如下优点：
终端可以向服务器集群中的控制节点发送包含节点指定内存值的查询语句，控制节点可以接收查询语句，并生成该查询语句对应的多个查询任务片段，然后，对于这多个查询任务片段中的任一查询任务片段，控制节点可以将查询任务片段分配至处理节点上进行处理，以及根据节点指定内存值调整目标处理节点的内存上限值，该目标处理节点即为处理查询任务片段的处理节点。本发明实施例中，通过在查询语句中插入节点指定内存值，使得可以根据该节点指定内存值调整目标处理节点的内存上限值，进而避免由于处理查询任务片段所需的内存超出处理节点的内存上限，导致查询任务失败的问题，提高查询任务处理的成功率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的一种查询任务处理方法的步骤流程图；
图2是本发明实施例提供的另一种查询任务处理方法的步骤流程图；
图3是本发明实施例提供的又一种查询任务处理方法的步骤流程图；
图4-1是本发明实施例提供的再一种查询任务处理方法的步骤流程图；
图4-2是本发明实施例提供的一种查询任务处理方法的应用示意图；
图5是本发明实施例提供的一种查询任务处理系统的框图；
图6是本发明实施例提供的一种查询任务处理装置的框图；
图7是本发明实施例提供的一种查询任务处理装置的框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种查询任务处理方法的步骤流程图，应用于包括终端及服务器集群的系统，该服务器集群包括控制节点和多个处理节点，如图1所示，该方法可以包括：
步骤101、所述终端根据查询需求生成查询语句，并在所述查询语句中插入节点指定内存值。
本发明实施例中，该终端可以为服务器集群管理的，能够向服务器集群发送查询语句的任一终端，该终端可以为手机、电脑、便携式可移动设备，等等。进一步地，该节点指定内存值可以是数据分析人员基于查询需求进行分析得到的，在保证该查询需求能够被实现的情况下，用于实现该查询需求的处理节点所需的内存值。具体的，数据分析人员可以将自己的查询需求输入终端，终端在检测到输入的查询需求之后，会将该查询需求转换为能够被服务器集群识别的查询语句，其中，该查询语句可以为结构化查询语言(StructuredQuery Language，SQL)。该查询语句中会包括输入的查询需求中的参数。示例的，假设用户输入的查询需求为。查询1月至3月之间视频A的点击记录，，那么该查询语句中包括的参数可以为：维度“1月至3月”“视频A”以及“点击记录”。进一步地，用户可以在该查询语句中插入节点指定内存值，以便于服务器集群可以控制用于处理该查询语句对应的查询任务的处理节点的内存能够满足需求。具体的，用户可以手动向终端输入发送插入指令，以使终端将该节点指定内存值插入查询语句，当然，也可以预先在用户定义文件中llama.xml中配置节点指定内存值，这样，终端每次在发送之前，会直接从llama.xml中获取节点指定内存值并插入节点指定内存值。
步骤102、所述终端将所述查询语句发送给所述控制节点。
本发明实施例中，终端可以与服务器集群建立会话(session)通道，然后将查询语句通过该会话通道发送给服务器集群中的控制节点。
步骤103、所述控制节点接收所述终端发送的查询语句。
相应地，本步骤中，控制节点可以通过预先建立的会话通道，接收终端发送的查询语句。
步骤104、所述控制节点生成所述查询语句对应的多个查询任务片段。
本步骤中，控制节点可以根据该查询语句生成查询任务，然后生成该查询任务对应的任务计划树，该任务计划树中的每个叶子即为查询任务片段。
步骤105、对于所述多个查询任务片段中的任一查询任务片段，所述控制节点将所述查询任务片段分配至所述处理节点上进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点。
本步骤中，控制节点及处理节点可以由服务器集群的部分处理资源构成，其中，部分处理资源可以为服务器集群中部分服务器的中央处理器(Central Processing Unit，CPU)以及部分内存。具体的，可以将部分处理资源作为一个控制节点来执行接收查询语句以及根据查询语句生成查询任务片段，并进行分配，以及调整目标处理节点的内存上限值的操作，将部分处理资源作为一个处理节点来执行查询任务片段。进一步地，控制节点在将查询任务片段分配至处理节点上进行处理的同时，还可以根据节点指定内存值调整用于处理查询任务片段的处理节点，即，目标处理节点，的内存上限值，其中，节点指定内存值大于处理节点的默认内存上限值，进而增大分配给目标处理节点的内存量，以确保目标处理节点的内存量能够满足处理查询任务片段所需的内存量，进而避免由于内存不足，导致查询任务失败的问题。
综上所述，本发明实施例提供的一种查询任务处理方法，终端可以向服务器集群中的控制节点发送包含节点指定内存值的查询语句，控制节点可以接收查询语句，并生成该查询语句对应的多个查询任务片段，然后，对于这多个查询任务片段中的任一查询任务片段，控制节点可以将查询任务片段分配至处理节点上进行处理，以及根据节点指定内存值调整目标处理节点的内存上限值，该目标处理节点即为处理查询任务片段的处理节点。本发明实施例中，通过在查询语句中插入节点指定内存值，使得服务器集群中的控制节点可以根据该节点指定内存值调整目标处理节点的内存上限值，进而避免由于处理查询任务片段所需的内存超出处理节点的内存上限，导致查询任务失败的问题，提高查询任务处理的成功率。
图2是本发明实施例提供的另一种查询任务处理方法的步骤流程图，应用于服务器集群，该服务器集群包括控制节点和多个处理节点，如图2所示，该方法可以包括：
步骤201、所述控制节点接收终端发送的查询语句；所述查询语句中包括节点指定内存值。
具体的，本步骤的实现方式可以参照上述步骤103，本发明实施例在此不做赘述。
步骤202、所述控制节点生成所述查询语句对应的多个查询任务片段。
具体的，本步骤的实现方式可以参照上述步骤104，本发明实施例在此不做赘述。
步骤203、对于所述多个查询任务片段中的任一查询任务片段，所述控制节点将所述查询任务片段分配至所述处理节点上进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点。
具体的，本步骤的实现方式可以参照上述步骤105，本发明实施例在此不做赘述。
综上所述，本发明实施例提供的另一种查询任务处理方法，控制节点可以接收查询语句，并生成该查询语句对应的多个查询任务片段，然后，对于这多个查询任务片段中的任一查询任务片段，控制节点可以将查询任务片段分配至处理节点上进行处理，以及根据节点指定内存值调整目标处理节点的内存上限值，该目标处理节点即为处理查询任务片段的处理节点。本发明实施例中，通过在查询语句中插入节点指定内存值，使得服务器集群中的控制节点可以根据该节点指定内存值调整目标处理节点的内存上限值，进而避免由于处理查询任务片段所需的内存超出处理节点的内存上限，导致查询任务失败的问题，提高查询任务处理的成功率。
图3是本发明实施例提供的又一种查询任务处理方法的步骤流程图，应用于终端，如图3所示，该方法可以包括：
步骤301、根据查询需求生成查询语句。
具体的，本步骤的实现方式可以参照上述步骤101，本发明实施例在此不做赘述。
步骤302、在所述查询语句中插入节点指定内存值。
具体的，本步骤的实现方式可以参照上述步骤101，本发明实施例在此不做赘述。
步骤303、将所述查询语句发送给服务器集群中的控制节点。
具体的，本步骤的实现方式可以参照上述步骤102，本发明实施例在此不做赘述。
综上所述，本发明实施例提供的又一种查询任务处理方法，终端可以生成包含节点指定内存值的查询语句，然后，将该查询语句发送给服务器集群中的控制节点，使得控制节点可以接收查询语句，并生成该查询语句对应的多个查询任务片段，然后，对于这多个查询任务片段中的任一查询任务片段，控制节点可以将查询任务片段分配至处理节点上进行处理，以及根据节点指定内存值调整目标处理节点的内存上限值，该目标处理节点即为处理查询任务片段的处理节点。本发明实施例中，通过在查询语句中插入节点指定内存值使得控制节点可以根据该节点指定内存值调整目标处理节点的内存上限值，进而避免由于处理查询任务片段所需的内存超出处理节点的内存上限，导致查询任务失败的问题，提高查询任务处理的成功率。
图4-1是本发明实施例提供的再一种查询任务处理方法的步骤流程图，应用于包括终端及服务器集群的系统，该服务器集群包括控制节点和多个处理节点，如图4-1所示，该方法可以包括：
步骤401、终端根据查询需求生成查询语句，并在所述查询语句中插入节点指定内存值。
具体的，本步骤的实现方式可以参照上述步骤101，本发明实施例在此不做赘述。
步骤402、终端将所述查询语句发送给所述控制节点。
具体的，本步骤的实现方式可以参照上述步骤102，本发明实施例在此不做赘述。
步骤403、所述控制节点接收所述终端发送的查询语句。
具体的，本步骤的实现方式可以参照上述步骤103，本发明实施例在此不做赘述。
步骤404、所述控制节点生成所述查询语句对应的多个查询任务片段。
具体的，本步骤的实现方式可以参照上述步骤104，本发明实施例在此不做赘述。
步骤405、所述控制节点将所述多个查询任务片段加入指定队列中。
本步骤中，该指定队列可以为部署在服务器集群中的内存型查询工具中定义的用于存储查询任务的队列，示例的，以该内存型查询工具为Impala查询工具为例，Impala查询工具中总共定义有5条队列：default队列、huge队列、medium队列、sync队列以及debug队列，其中，该default队列即为定义的用于存储查询任务的指定队列。具体的，控制节点可以将查询任务片段作为指定队列的元素，加入该指定队列中。
步骤406、对于所述多个查询任务片段中的任一查询任务片段，所述控制节点将所述查询任务片段分配至所述指定队列对应的处理节点进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点。
本步骤中，指定队列对应的处理节点可以是内存型查询工具中定义的，实际应用中，内存型查询工具中会为每个队列设置队列的可用内存量、队列中允许加入的最大元素数量、队列中排列的任务的最大等待时长、队列对应的处理节点的个数，以及对应的处理节点的内存上限值。Impala查询工具为例，具体参数可以为表1所示：
表1
具体的，控制节点可以将目标处理节点的内存上限值调整为节点指定内存值，目标处理节点可以对分配的查询任务片段进行处理，这样，通过提高目标处理节点的内存上限值，尽可能避免由于内存不足，导致查询任务片段处理失败的问题。示例的，处理节点的内存上限值可以为mem_limit，impala查询工具一般是根据相关启动参数，例如，rm_initial_mem，rm_default_memory，等等，来设定mem_limit时，本步骤中，控制节点可以将目标处理节点的mem_limit调整为节点指定内存值。实际应用中mem_limit是由Impala查询工具的守护程序(Impala Daemon)组件维护的。如果处理节点的内存使用量达到mem_limit，该处理节点上处理的查询任务片段就会被停止，本发明实施例中，通过增大mem_limit，可以降低查询任务片段被停止的概率，进而提高处理的成功率。当然，为了避免对目标处理节点的mem_limit进行调整对整个查询工具的后续使用造成影响，本发明实施例中，控制节点还可以在预设时长之后，将目标处理节点的mem_limit恢复至默认值，其中，该预设时长可以为21000秒。
进一步地，为了避免在调整了目标处理节点的内存上限值之后，目标处理节点对查询任务片段处理操作失败，导致查询任务无法完成的情况，本发明实施例中，可以在步骤406之后，对于任一目标处理节点，控制节点可以获取目标处理节点对查询任务片段的处理结果，若处理结果是处理失败，控制节点可以在预设时长之后，重新执行将查询任务片段分配至处理节点上进行处理的步骤，直至重新执行的次数达到预设次数阈值为止。其中，该预设时长以及预设次数阈值可以是预先根据实际情况设定的，例如，该预设时长可以为1分钟，该预设次数阈值可以为5次，本发明实施例对此不作限定。
实际应用中，目标处理节点可能还处理着其他查询任务的查询任务片段，这样，可能会出现由于处理其他查询任务的查询任务片段，导致对该查询任务片段处理失败的问题，而在预设时长之后，该其他查询任务的查询任务片段可能已经处理完毕，此时，重新对该查询任务片段进行处理，可以提高该查询任务片段被成功执行的概率，进而提高查询任务的成功率。示例的，本发明实施例中，还可以在目标处理节点对查询任务片段的处理连续失败5次，相应地，若连续5次重新对该查询任务片段进行处理之后，依据没有成功执行该查询任务片段，则可以停止重新执行的操作。
进一步地，本发明实施例中，可以在步骤406处理之后，或者，在重新将查询任务片段分配至处理节点上进行处理的次数达到预设次数阈值之后，对于任一目标处理节点，控制节点获取目标处理节点对查询任务片段的处理结果，若处理结果是处理失败，控制节点也可以将多个查询任务片段转入指定备选队列，对于多个查询任务片段中的任一查询任务片段，将查询任务片段分配至指定备选队列对应的处理节点进行处理。示例的，该指定备选队列可以为部署在服务器集群上的内存型查询工具中定义的内存量较大的队列，示例的，该指定备选队列可以为huge队列，本发明实施例中，通过在查询任务片段的处理操作失败之后，将查询任务片段转入其他队列进行处理，可以充分利用其他队列的处理资源，提高该查询任务片段被成功执行的概率，进而提高查询任务的成功率。需要说明的是，为了不影响指定备选队列的正常使用，控制节点可以在采用其他方式对查询任务重新进行处理依旧失败的情况下，再采用该转移到备选队列进行处理的手段。
进一步地，本发明实施例中，还可以在步骤406处理之后，或者，重新将查询任务片段分配至处理节点上进行处理的次数达到预设次数阈值之后，或者，将查询任务片段分配至指定备选队列对应的处理节点进行处理之后，对于任一目标处理节点，控制节点可以获取目标处理节点对查询任务片段的处理结果，若处理结果是处理失败，控制节点还可以生成查询语句对应的查询任务，并按照预设维度将查询任务分解为多个查询子任务，接着，生成每个查询子任务对应的查询任务片段，并将每个查询子任务对应的查询任务片段分配至所述处理节点上重新进行处理，具体的，可以是将每个查询子任务对应的查询任务片段加入指定队列中重新进行处理。其中，该预设维度可以是根据实际情况预先设定的，例如，该预设维度可以是年、月、周、天、小时、业务类型等等，本发明实施例对此不作限定。示例的，假设该查询任务为查询1月至3月中视频A的点击数据，那么控制节点可以将该查询认为分解为3个查询子任务：1月中视频A的点击数据、2月中视频A的点击数据以及3月中视频A的点击数据，然后分别生成这3个查询子任务对应的查询任务片段，并进行处理。本发明实施例中，通过在查询任务片段的处理操作失败之后，将查询任务分割为多个查询子任务，进而降低查询任务的处理难度，提高该查询任务片段被成功执行的概率，进而提高查询任务的成功率。
进一步地，本发明实施例中，还可以在步骤406处理之后，或者，重新将查询任务片段分配至处理节点上进行处理的次数达到预设次数阈值之后，或者，将查询任务片段分配至指定备选队列对应的处理节点进行处理之后，或者，将查询语句对应的查询任务分解为多个查询子任务，并将每个查询子任务对应的查询任务片段分配至处理节点上重新进行处理之后，对于任一目标处理节点，控制节点获取目标处理节点对查询任务片段的处理结果，若处理结果是处理失败，控制节点还可以将所述查询任务片段转移至所述服务器集群的磁盘中进行处理。这样，通过临时借用磁盘空间对查询任务片段进行处理，可以提高该查询任务片段被成功执行的概率，进而提高查询任务的成功率。需要说明的是，为了不影响其他功能对磁盘的正常使用，优选的，控制节点可以在对查询任务片段进行重试依旧失败，且对查询任务进行分解，并对分解后的查询子任务进行重新处理依旧失败，且通过转移至备选队列重新处理也以及依旧失败的情况下，再采用该转移到磁盘空间进行处理的手段。
示例的，图4-2是本发明实施例提供的一种查询任务处理方法的应用示意图，如图4-2所示，控制节点可以在以调整了内存上限值的目标处理节点对查询任务片段进行处理失败时，则可以对查询任务片段重新执行N次，若重新执行N次之后，依旧未成功，则可以按照预设维度对查询任务进行分解，并对分解后的查询子任务进行处理，若依旧未成功，则可以将查询任务片段转入备选队列中进行处理，若依旧未成功，则可以将查询任务片段转入磁盘中进行处理，若依旧未成功，则向终端返回处理失败的结果。
需要说明的是，在本发明的另一可选实施例中，服务器集群可以预先将不同维度的数据存储在不同的区域中，例如，按照维度：天、小时、业务、类型对数据进行分区，这样，可以有针对性的进行查询，进而提高查询效率，同时，服务器集群还可以采用列式存储格式Parquet进行存储，其中，parquet格式表示一种按列进行数据存储的方式，与其相对的为行式存储，一般，以行式存储方式进行存储时数据之间不存在明显分界，而以列式存储方式进行存储时，数据会存在明显分界，这样，在对数据进行查询时，可以精准的仅对某几列的数据进行扫描。进一步地，由于列式存储方式中的每一列中都是类型相同的数据，进而提高查询效率。
同时，服务器集群中存储的数据可以为数据表的形式，相应地，服务器集群还可以对数据执行compute stats命令，来统计数据表中的相关信息，并参考该相关信息选择查询策略，以此来优化查询效果。进一步地，终端可以执行explain命令来确定服务器集群上的内存型查询工具是如何读取数据，如何在各处理节点之间协调工作，如何组合并传输中间结果，并获得最终结果的全过程，这样，用户可以根据该执行计划，判断输入的查询语句的执行效率，进而有针对性的调整查询语句，或者调整服务器集群中的数据表的。终端也可以执行profile命令获取执行该查询语句的每个目标处理节点读取的物理字节数，使用的最大内存量等信息，这样，用户可以根据获取到的信息，设置节点指定内存值。
本发明实施例提供的再一种查询任务处理方法，终端可以生成包含节点指定内存值的查询语句，然后，将该查询语句发送给控制节点，控制节点可以接收查询语句，并生成该查询语句对应的多个查询任务片段，然后，对于这多个查询任务片段中的任一查询任务片段，控制节点可以将查询任务片段分配至指定队列对应的处理节点进行处理，以及根据节点指定内存值调整目标处理节点的内存上限值，本发明实施例中，可以根据调整目标处理节点的内存上限值，进而避免由于处理查询任务片段所需的内存超出处理节点的内存上限，导致查询任务失败的问题，提高查询任务处理的成功率。同时，在对查询任务处理失败时，会进行重试，或者对查询任务进行分解，并对分解后的任务进行重新处理，等等，以此进一步提高查询任务的成功率。
图5是本发明实施例提供的一种查询任务处理系统的框图，如图5所示，该系统50可以包括：包括终端501及服务器集群502，所述服务器集群502包括控制节点5021和多个处理节点5022；
其中，所述终端501，用于根据查询需求生成查询语句，并在所述查询语句中插入节点指定内存值；
所述终端501，还用于将所述查询语句发送给所述控制节点5021；
所述控制节点5021，用于接收所述终端501发送的查询语句；
所述控制节点5021，还用于生成所述查询语句对应的多个查询任务片段；
对于所述多个查询任务片段中的任一查询任务片段，所述服务器集群502，所述控制节点5021，还用于将所述查询任务片段分配至所述处理节点5022上进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点。
综上所述，本发明实施例提供的查询任务处理系统，终端可以向服务器集群中的控制节点发送包含节点指定内存值的查询语句，控制节点可以接收查询语句，并生成该查询语句对应的多个查询任务片段，然后，对于这多个查询任务片段中的任一查询任务片段，控制节点可以将查询任务片段分配至处理节点上进行处理，以及根据节点指定内存值调整目标处理节点的内存上限值，该目标处理节点即为处理查询任务片段的处理节点。本发明实施例中，通过在查询语句中插入节点指定内存值，使得服务器集群中的控制节点可以根据该节点指定内存值调整目标处理节点的内存上限值，进而避免由于处理查询任务片段所需的内存超出处理节点的内存上限，导致查询任务失败的问题，提高查询任务处理的成功率。
图6是本发明实施例提供的一种服务器集群的框图，如图6所示，该服务器集群60包括控制节点601和多个处理节点602；
所述控制节点601，用于接收终端发送的查询语句；所述查询语句中包括节点指定内存值；
所述控制节点601，还用于生成所述查询语句对应的多个查询任务片段；
所述控制节点601，还用于对于所述多个查询任务片段中的任一查询任务片段，将所述查询任务片段分配至所述处理节点602上进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点602。
综上所述，本发明实施例提供的服务器集群，可以接收查询语句，并生成该查询语句对应的多个查询任务片段，然后，对于这多个查询任务片段中的任一查询任务片段，可以将查询任务片段分配至处理节点上进行处理，以及根据节点指定内存值调整目标处理节点的内存上限值，该目标处理节点即为处理查询任务片段的处理节点。本发明实施例中，通过在查询语句中插入节点指定内存值，使得服务器集群可以根据该节点指定内存值调整目标处理节点的内存上限值，进而避免由于处理查询任务片段所需的内存超出处理节点的内存上限，导致查询任务失败的问题，提高查询任务处理的成功率。
可选的，所述控制节点601，还用于对于任一所述目标处理节点，获取所述目标处理节点对所述查询任务片段的处理结果；
所述控制节点601，还用于若所述处理结果是处理失败，在预设时长之后，重新执行所述将所述查询任务片段分配至所述处理节点602上进行处理的步骤，直至重新执行的次数达到预设次数阈值为止。
可选的，所述服务器集群60中设置有指定备选队列；
所述控制节点601，还用于对于任一所述目标处理节点，获取所述目标处理节点对所述查询任务片段的处理结果；
所述控制节点601，还用于若所述处理结果是处理失败，则将所述多个查询任务片段转入所述指定备选队列；
所述控制节点601，还用于对于所述多个查询任务片段中的任一查询任务片段，将所述查询任务片段分配至所述指定备选队列对应的处理节点602进行处理。
可选的，所述控制节点601，还用于对于任一所述目标处理节点，获取所述目标处理节点对所述查询任务片段的处理结果；
所述控制节点601，还用于若所述处理结果是处理失败，生成所述查询语句对应的查询任务，并按照预设维度将所述查询任务分解为多个查询子任务；
所述控制节点601，还用于生成每个查询子任务对应的查询任务片段，并将每个查询子任务对应的查询任务片段分配至所述处理节点602上重新进行处理。
综上所述，本发明实施例提供的服务器集群，可以接收查询语句，并生成查询语句对应的多个查询任务片段，然后，对于这多个查询任务片段中的任一查询任务片段，可以将查询任务片段分配至指定队列对应的处理节点进行处理，以及根据节点指定内存值调整目标处理节点的内存上限值，本发明实施例中，可以根据调整目标处理节点的内存上限值，进而避免由于处理查询任务片段所需的内存超出处理节点的内存上限，导致查询任务失败的问题，提高查询任务处理的成功率。同时，在对查询任务处理失败时，会进行重试，或者对查询任务进行分解，并对分解后的任务进行重新处理，等等，以此进一步提高查询任务的成功率。
图7是本发明实施例提供的一种查询任务处理装置的框图，该装置70应用于终端，如图7所示，该装置70可以包括：
生成模块701，用于根据查询需求生成查询语句；
插入模块702，用于在所述查询语句中插入节点指定内存值；
发送模块703，用于将所述查询语句发送给服务器集群中的控制节点。
综上所述，本发明实施例提供的查询任务处理装置，可以生成包含节点指定内存值的查询语句，然后，将该查询语句发送给服务器集群中的控制节点，使得控制节点可以接收查询语句，并生成该查询语句对应的多个查询任务片段，然后，对于这多个查询任务片段中的任一查询任务片段，可以将查询任务片段分配至处理节点上进行处理，以及根据节点指定内存值调整目标处理节点的内存上限值，该目标处理节点即为处理查询任务片段的处理节点。本发明实施例中，通过在查询语句中插入节点指定内存值，使得控制节点可以根据该节点指定内存值调整目标处理节点的内存上限值，进而避免由于处理查询任务片段所需的内存超出处理节点的内存上限，导致查询任务失败的问题，提高查询任务处理的成功率。
对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
另外，本发明实施例还提供一种终端，包括处理器，存储器，存储在存储器上并可在处理上运行的计算机程序，该计算机程序被处理器执行时实现上述查询任务处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述查询任务处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
在此提供的查询任务处理方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的查询任务处理方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (13)
1.一种查询任务处理方法，其特征在于，应用于包括终端及服务器集群的系统，所述服务器集群包括控制节点和多个处理节点，所述方法包括：
所述终端根据查询需求生成查询语句，并在所述查询语句中插入节点指定内存值；
所述终端将所述查询语句发送给所述控制节点；
所述控制节点接收所述终端发送的查询语句；
所述控制节点生成所述查询语句对应的多个查询任务片段；
对于所述多个查询任务片段中的任一查询任务片段，所述控制节点将所述查询任务片段分配至所述处理节点上进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点。
2.一种查询任务处理方法，其特征在于，应用于服务器集群，所述服务器集群包括控制节点和多个处理节点，所述方法包括：
所述控制节点接收终端发送的查询语句；所述查询语句中包括节点指定内存值；
所述控制节点生成所述查询语句对应的多个查询任务片段；
对于所述多个查询任务片段中的任一查询任务片段，所述控制节点将所述查询任务片段分配至所述处理节点上进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点。
3.根据权利要求2所述的方法，其特征在于，所述控制节点将所述查询任务片段分配至所述处理节点上进行处理之后，所述方法还包括：
对于任一所述目标处理节点，所述控制节点获取所述目标处理节点对所述查询任务片段的处理结果；
若所述处理结果是处理失败，在预设时长之后，所述控制节点重新执行所述将所述查询任务片段分配至所述处理节点上进行处理的步骤，直至重新执行的次数达到预设次数阈值为止。
4.根据权利要求3所述的方法，其特征在于，所述服务器集群中设置有指定备选队列；
所述重新执行的次数达到预设次数阈值之后，所述方法还包括：
对于任一所述目标处理节点，所述控制节点获取所述目标处理节点对所述查询任务片段的处理结果；
若所述处理结果是处理失败，所述控制节点将所述多个查询任务片段转入所述指定备选队列；
对于所述多个查询任务片段中的任一查询任务片段，所述控制节点将所述查询任务片段分配至所述指定备选队列对应的处理节点进行处理。
5.根据权利要求2至4中任一项所述的方法，其特征在于，所述方法还包括：
对于任一所述目标处理节点，所述控制节点获取所述目标处理节点对所述查询任务片段的处理结果；
若所述处理结果是处理失败，所述控制节点生成所述查询语句对应的查询任务，并按照预设维度将所述查询任务分解为多个查询子任务；
所述控制节点生成每个查询子任务对应的查询任务片段，并将每个查询子任务对应的查询任务片段分配至所述处理节点上重新进行处理。
6.一种查询任务处理方法，其特征在于，应用于终端，所述方法包括：
根据查询需求生成查询语句；
在所述查询语句中插入节点指定内存值；
将所述查询语句发送给服务器集群中的控制节点。
7.一种查询任务处理系统，其特征在于，所述系统包括终端及服务器集群的系统，所述服务器集群包括控制节点和多个处理节点；
所述终端，用于根据查询需求生成查询语句，并在所述查询语句中插入节点指定内存值；
所述终端，还用于将所述查询语句发送给所述控制节点；
所述控制节点，用于接收所述终端发送的查询语句；
所述控制节点，还用于生成所述查询语句对应的多个查询任务片段；
对于所述多个查询任务片段中的任一查询任务片段，所述控制节点，还用于将所述查询任务片段分配至所述处理节点上进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点。
8.一种服务器集群，其特征在于，所述服务器集群包括控制节点和多个处理节点；
所述控制节点，用于接收终端发送的查询语句；所述查询语句中包括节点指定内存值；
所述控制节点，还用于生成所述查询语句对应的多个查询任务片段；
所述控制节点，还用于对于所述多个查询任务片段中的任一查询任务片段，将所述查询任务片段分配至所述处理节点上进行处理，以及根据所述节点指定内存值调整目标处理节点的内存上限值；所述目标处理节点为处理查询任务片段的处理节点。
9.根据权利要求8所述的服务器集群，其特征在于，
所述控制节点，还用于对于任一所述目标处理节点，获取所述目标处理节点对所述查询任务片段的处理结果；
所述控制节点，还用于若所述处理结果是处理失败，在预设时长之后，重新执行所述将所述查询任务片段分配至所述处理节点上进行处理的步骤，直至重新执行的次数达到预设次数阈值为止。
10.根据权利要求9所述的服务器集群，其特征在于，所述服务器集群中设置有指定备选队列；
所述控制节点，还用于对于任一所述目标处理节点，获取所述目标处理节点对所述查询任务片段的处理结果；
所述控制节点，还用于若所述处理结果是处理失败，则将所述多个查询任务片段转入所述指定备选队列；
所述控制节点，还用于对于所述多个查询任务片段中的任一查询任务片段，将所述查询任务片段分配至所述指定备选队列对应的处理节点进行处理。
11.根据权利要求8至10中任一项所述的服务器集群，其特征在于，
所述控制节点，还用于对于任一所述目标处理节点，获取所述目标处理节点对所述查询任务片段的处理结果；
所述控制节点，还用于若所述处理结果是处理失败，生成所述查询语句对应的查询任务，并按照预设维度将所述查询任务分解为多个查询子任务；
所述控制节点，还用于生成每个查询子任务对应的查询任务片段，并将每个查询子任务对应的查询任务片段分配至所述处理节点上重新进行处理。
12.一种查询任务处理装置，其特征在于，应用于终端，所述装置包括：
生成模块，用于根据查询需求生成查询语句；
插入模块，用于在所述查询语句中插入节点指定内存值；
发送模块，用于将所述查询语句发送给服务器集群中的控制节点。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一所述的查询任务处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811474464.0A CN109783717B (zh) | 2018-12-04 | 2018-12-04 | 查询任务处理方法、系统、服务器集群及装置、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811474464.0A CN109783717B (zh) | 2018-12-04 | 2018-12-04 | 查询任务处理方法、系统、服务器集群及装置、计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109783717A true CN109783717A (zh) | 2019-05-21 |
| CN109783717B CN109783717B (zh) | 2022-02-01 |
Family
ID=66496685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811474464.0A Active CN109783717B (zh) | 2018-12-04 | 2018-12-04 | 查询任务处理方法、系统、服务器集群及装置、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109783717B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11368539B1 (en) * | 2021-05-27 | 2022-06-21 | International Business Machines Corporation | Application deployment in a multi-cluster environment |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106528551A (zh) * | 2015-09-09 | 2017-03-22 | 北京国双科技有限公司 | 申请内存的方法和装置 |
| CN107766572A (zh) * | 2017-11-13 | 2018-03-06 | 北京国信宏数科技有限责任公司 | 基于经济领域数据的分布式提取及可视化分析方法和系统 |
| CN107888684A (zh) * | 2017-11-13 | 2018-04-06 | 小草数语（北京）科技有限公司 | 分布式系统计算任务处理方法、装置及控制器 |
| US20180150521A1 (en) * | 2016-11-28 | 2018-05-31 | Sap Se | Distributed joins in a distributed database system |
| CN108121782A (zh) * | 2017-12-18 | 2018-06-05 | 新华三云计算技术有限公司 | 查询请求的分配方法、数据库中间件系统以及电子设备 |
| CN108304255A (zh) * | 2017-12-29 | 2018-07-20 | 北京城市网邻信息技术有限公司 | 分布式任务调度方法及装置、电子设备及可读存储介质 |
-
2018
- 2018-12-04 CN CN201811474464.0A patent/CN109783717B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106528551A (zh) * | 2015-09-09 | 2017-03-22 | 北京国双科技有限公司 | 申请内存的方法和装置 |
| US20180150521A1 (en) * | 2016-11-28 | 2018-05-31 | Sap Se | Distributed joins in a distributed database system |
| CN107766572A (zh) * | 2017-11-13 | 2018-03-06 | 北京国信宏数科技有限责任公司 | 基于经济领域数据的分布式提取及可视化分析方法和系统 |
| CN107888684A (zh) * | 2017-11-13 | 2018-04-06 | 小草数语（北京）科技有限公司 | 分布式系统计算任务处理方法、装置及控制器 |
| CN108121782A (zh) * | 2017-12-18 | 2018-06-05 | 新华三云计算技术有限公司 | 查询请求的分配方法、数据库中间件系统以及电子设备 |
| CN108304255A (zh) * | 2017-12-29 | 2018-07-20 | 北京城市网邻信息技术有限公司 | 分布式任务调度方法及装置、电子设备及可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11368539B1 (en) * | 2021-05-27 | 2022-06-21 | International Business Machines Corporation | Application deployment in a multi-cluster environment |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109783717B (zh) | 2022-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11632422B2 (en) | Automated server workload management using machine learning | |
| US8832173B2 (en) | System and method of multithreaded processing across multiple servers | |
| US8997061B1 (en) | Test scheduling based on historical test information | |
| CN101694626B (zh) | 脚本执行系统及方法 | |
| EP3238421B1 (en) | System for high-throughput handling of transactions in data-partitioned, distributed, relational database management system | |
| CN108055343A (zh) | 用于机房的数据同步方法及装置 | |
| CN111932257B (zh) | 一种区块链并行化处理方法及装置 | |
| US10871918B2 (en) | Writing composite objects to a data store | |
| US20150205633A1 (en) | Task management in single-threaded environments | |
| CN110147281A (zh) | 优化雪花算法在金融业务中应用的方法、装置、电子设备 | |
| US8458136B2 (en) | Scheduling highly parallel jobs having global interdependencies | |
| CN112764902B (zh) | 任务调度方法及系统 | |
| CN115185787B (zh) | 处理事务日志的方法及装置 | |
| CN111782452A (zh) | 接口对比测试的方法、系统、设备和介质 | |
| CN109298924A (zh) | 定时任务的管理方法、计算机可读存储介质和终端设备 | |
| US8028291B2 (en) | Method and computer program product for job selection and resource allocation of a massively parallel processor | |
| CN103647811A (zh) | 一种实现应用访问后台服务的方法和装置 | |
| CN109783717A (zh) | 查询任务处理方法、系统、服务器集群及装置、计算机可读存储介质 | |
| CN112363914B (zh) | 一种并行测试资源配置寻优的方法、计算设备及存储介质 | |
| CN109710263A (zh) | 代码的编译方法、装置、存储介质及电子设备 | |
| CN107229569A (zh) | 面向多执行技术的自动化测试集中调度执行方法及系统 | |
| CN116185869A (zh) | 一种软件测试方法、系统、计算机设备及存储介质 | |
| CN112363819A (zh) | 大数据任务动态编排调度方法、装置及计算设备 | |
| US10558683B2 (en) | Selection of a start time for a periodic operation | |
| CN106227734B (zh) | 一种基于问题搜索系统的数据处理方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |