CN112988350A - 数据任务的处理方法、装置及电子设备 - Google Patents
数据任务的处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112988350A CN112988350A CN202110227923.0A CN202110227923A CN112988350A CN 112988350 A CN112988350 A CN 112988350A CN 202110227923 A CN202110227923 A CN 202110227923A CN 112988350 A CN112988350 A CN 112988350A
- Authority
- CN
- China
- Prior art keywords
- task
- data packet
- execution engine
- target
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 45
- 230000000977 initiatory effect Effects 0.000 claims description 43
- 230000004044 response Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种数据任务的处理方法、装置及电子设备，通过任务处理平台提供任务操作界面，任务处理平台中配置有多个任务类型分别对应的任务执行引擎；响应于针对任务操作界面提交的任务运行请求，提取任务运行请求中携带的任务数据包和任务标签；任务标签是基于任务操作界面接收到的任务数据包需要运行的任务执行引擎确定的；确定任务标签对应的目标任务执行引擎；将任务数据包提交至目标任务执行引擎，以使目标任务执行引擎运行任务数据包对应的数据任务。本申请能够根据任务运行请求中携带的任务标签，自动选择对应的任务执行引擎实现任务运行，不需要用户自己动手选择任务执行引擎，降低了用户的操作成本，提高用户的数据开发效率。
Description
技术领域
本申请涉及软件技术领域，尤其是涉及一种数据任务的处理方法、装置及电子设备。
背景技术
数据开发工作者在部署上线一个数据任务之前，需要对数据任务做逻辑测试，即将数据任务提交到指定的任务执行引擎上，通过该任务执行引擎完成任务运行和逻辑测试。
数据开发工作者在对数据任务进行逻辑测试的时候，首先需要将自己的数据任务进行分类，然后根据数据任务的类型选择对应的任务执行引擎，再将任务在对应任务执行引擎上进行提交。该方式中，需要开发者不但知道任务的类型，还需要知道任务类型对应的任务执行引擎，对开发者的要求较高，容易因为开发者自身原因导致任务类型或者任务执行引擎选择错误，影响测试进度，进而影响数据开发工作者的工作效率。
发明内容
本申请的目的在于提供一种数据任务的处理方法、装置及电子设备，能够根据任务运行请求中携带的任务标签自动选择对应的任务执行引擎实现任务运行，不需要用户自己动手选择数据任务要提交的任务执行引擎，降低了用户的操作成本，提高用户的数据开发效率。
第一方面，本申请实施例提供一种数据任务的处理方法，通过任务处理平台提供任务操作界面，且任务处理平台中配置有多个任务类型分别对应的任务执行引擎；方法包括：响应于针对任务操作界面提交的任务运行请求，提取任务运行请求中携带的任务数据包和任务标签；其中，任务标签是基于任务操作界面接收到的任务数据包需要运行的任务执行引擎确定的；确定任务标签对应的目标任务执行引擎；将任务数据包提交至目标任务执行引擎，以使目标任务执行引擎运行任务数据包对应的数据任务。
进一步的，上述提取任务运行请求中携带的任务数据包和任务标签的步骤之后，方法还包括：按照预设的树状存储格式，将任务数据包和任务标签存储至数据缓存区。
进一步的，上述任务运行请求中还携带有任务数据包对应的用户标识，树状存储格式为任务标签、用户标识及任务数据包的三级树状存储格式。
进一步的，上述确定任务标签对应的目标任务执行引擎的步骤，包括：按照树状存储格式，从数据缓存区中提取任务数据包对应的任务标签；根据提取出的任务标签，从多个任务执行引擎中确定任务标签对应的目标任务执行引擎。
进一步的，上述任务处理平台包括每个任务执行引擎对应的缓存队列；将任务数据包提交至目标任务执行引擎的步骤，包括：根据任务标签确定目标缓存队列；其中，目标缓存队列对应于目标任务执行引擎；将任务数据包添加至目标缓存队列中；按照目标缓存队列中的任务数据包添加顺序，逐一提交目标缓存队列中的任务数据包至目标任务执行引擎。
进一步的，上述方法还包括：响应于目标任务执行引擎返回的任务数据包的提交成功信息，向任务运行请求的发起用户反馈任务数据包已提交成功的信息。
进一步的，上述确定任务标签对应的目标任务执行引擎的步骤之后，方法还包括：查找任务运行请求的发起用户对应的连接复用信息中是否存在发起用户与目标任务执行引擎的复用连接；其中，连接复用信息用于表征为发起用户分配的历史连接资源；如果存在，基于查找到的复用连接，继续执行将任务数据包提交至目标任务执行引擎的步骤；如果不存在，重新建立发起用户与目标任务执行引擎间的复用连接，基于重新建立的复用连接，继续执行将任务数据包提交至目标任务执行引擎的步骤。
进一步的，上述方法还包括：响应于针对发起用户对应的连接复用信息的结束事件，释放发起用户分配的历史连接资源。
进一步的，上述任务处理平台还包括每个任务执行引擎对应的运行结果缓存区；将任务数据包提交至目标任务执行引擎的步骤之后，方法还包括：如果检测到任务运行请求对应有指定标识，则判断任务数据包运行完成；从目标任务执行引擎对应的运行结果缓存区中，提取任务数据包对应的任务运行结果；向发起用户显示任务数据包对应的任务运行结果。
进一步的，上述方法还包括：响应于目标任务执行引擎返回的上下文执行结构体；上下文执行结构体中存储有任务运行相关信息；根据上下文执行结构体，实时获取任务数据包对应的任务运行日志和任务运行状态；向发起用户显示任务运行日志和任务运行状态。
进一步的，上述在实时获取任务数据包对应的任务运行日志和任务运行状态的步骤之后，方法还包括：检测任务运行日志是否存在指定异常类型的异常；如果是，根据预设重试机制及指定重试次数，重新对任务数据包进行任务提交运行操作。
进一步的，上述检测任务运行日志是否存在指定类型的异常的步骤之前，方法还包括：响应于发起用户的异常类型和重试次数的设置操作，确定指定异常类型和指定异常类型对应的指定重试次数。
第二方面，本申请实施例还提供一种数据任务的处理装置，通过任务处理平台提供任务操作界面，且任务处理平台中配置有多个任务类型分别对应的任务执行引擎；装置包括：数据提取模块，用于响应于针对任务操作界面提交的任务运行请求，提取任务运行请求中携带的任务数据包和任务标签；其中，任务标签是基于任务操作界面接收到的任务数据包需要运行的任务执行引擎确定的；引擎确定模块，用于确定任务标签对应的目标任务执行引擎；任务提交模块，用于将任务数据包提交至目标任务执行引擎，以使目标任务执行引擎运行任务数据包对应的数据任务。
第三方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面所述的方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。
本申请实施例提供的一种数据任务的处理方法、装置及电子设备中，通过任务处理平台提供任务操作界面，且任务处理平台中配置有多个任务类型分别对应的任务执行引擎；在响应于针对任务操作界面提交的任务运行请求后，首先提取任务运行请求中携带的任务数据包和任务标签；该任务标签是基于任务操作界面接收到的任务数据包需要运行的任务执行引擎确定的；因而基于该任务标签可以确定其对应的目标任务执行引擎；然后将任务数据包提交至目标任务执行引擎，以使目标任务执行引擎运行任务数据包对应的数据任务，本申请实施例能够根据任务运行请求中携带的任务标签自动选择对应的任务执行引擎完成任务运行，不需要用户自己动手选择数据任务要提交的任务执行引擎，降低了用户的操作成本，提高用户的数据开发效率。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据任务的处理方法的流程图；
图2为本申请实施例提供的一种任务数据包提交方法的流程图；
图3为本申请实施例提供的一种连接确定方法的流程图；
图4为本申请实施例提供的一种获取任务运行情况的流程图；
图5为本申请实施例提供的一种数据任务的处理装置的结构框图；
图6为本申请实施例提供的另一种数据任务的处理装置的结构框图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，数据开发工作者在对数据任务进行逻辑测试的时候，首先需要将自己的数据任务进行分类，然后根据数据任务的类型选择对应的任务执行引擎，然后将任务在对应任务执行引擎上进行提交，过程繁琐，严重影响数据开发工作者的工作效率。
基于此，本申请实施例提供一种数据任务的处理方法、装置及电子设备，能够根据任务运行请求中携带的任务标签自动选择对应的任务执行引擎实现任务运行，不需要用户自己动手选择数据任务要提交的任务执行引擎，降低了用户的操作成本，提高用户的数据开发效率。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种数据任务的处理方法进行详细介绍。
图1为本申请实施例提供的一种数据任务的处理方法的流程图，本申请实施例中，通过任务处理平台提供任务操作界面，用户可以通过该任务操作界面进行任务提交操作，该任务处理平台中配置有多个任务类型分别对应的任务执行引擎；任务执行引擎用于对提交的任务数据包进行任务运行，以进行逻辑测试。上述数据任务的处理方法包括以下几个步骤：
步骤S102，响应于针对任务操作界面提交的任务运行请求，提取任务运行请求中携带的任务数据包和任务标签；其中，任务标签是基于任务操作界面接收到的任务数据包需要运行的任务执行引擎确定的。
实际应用中，上述任务处理平台会提供一个任务操作界面，用户在该任务操作界面里可以编辑想要运行的数据任务，可以是一个数据任务，也可以是多个数据任务，编辑好以后提交运行，即向任务处理平台发起了任务运行请求。为了使平台能够识别任务类型，用户可以在待运行的数据任务上打上任务标签，该任务标签表明这个数据任务对应的任务数据包需要运行的任务执行引擎；通过该任务标签，平台即可识别用户提交的数据任务的任务类型，从而确定出该数据任务对应的任务数据包需要提交到哪个任务执行引擎上运行。用户可以在任务操作界面上编辑多个不同类型的数据任务，平台支持多个数据任务同时提交。
步骤S104，确定任务标签对应的目标任务执行引擎。
上述任务标签是基于任务操作界面接收到的任务数据包需要运行的任务执行引擎确定的，因而，可以根据任务运行请求中携带的任务标签，确定出任务数据包应该提交的目标任务执行引擎。
步骤S106，将任务数据包提交至目标任务执行引擎，以使目标任务执行引擎运行任务数据包对应的数据任务。
确定出任务标签对应的目标任务执行引擎后，将上述从任务运行请求中提取出的任务数据包提交到该目标任务执行引擎，从而使目标任务执行引擎运行任务数据包对应的数据任务。
本申请实施例提供的一种数据任务的处理方法中，通过任务处理平台提供任务操作界面，且任务处理平台中配置有多个任务类型分别对应的任务执行引擎；在响应于针对任务操作界面提交的任务运行请求后，首先提取任务运行请求中携带的任务数据包和任务标签；该任务标签是基于任务操作界面接收到的任务数据包需要运行的任务执行引擎确定的；因而基于该任务标签可以确定其对应的目标任务执行引擎；然后将任务数据包提交至目标任务执行引擎，以使目标任务执行引擎运行任务数据包对应的数据任务，本申请实施例能够根据任务运行请求中携带的任务标签自动选择对应的任务执行引擎完成任务运行，不需要用户自己动手选择数据任务要提交的任务执行引擎，降低了用户的操作成本，提高用户的数据开发效率。
为了实现多个数据任务的同时提交，本申请实施例中，在上述提取任务运行请求中携带的任务数据包和任务标签的步骤之后，还包括以下步骤：按照预设的树状存储格式，将任务数据包和任务标签存储至数据缓存区。在一种优选的实施方式中，上述任务运行请求中还携带有任务数据包对应的用户标识，树状存储格式为任务标签、用户标识及任务数据包的三级树状存储格式，如下所示：
[{Labeli->Useri->Jobi},{Labelj->Userj->Jobj}.....]；
也就是，一个类型的任务标签下可以包括多个用户标识，同一个用户标识下又可以包括多个任务数据包。对于多个用户进行大量数据任务提交运行的情况，可以先将任务运行请求中的任务标签、用户标识及任务数据包先存入平台的数据缓存区，当可以提交到任务执行引擎时再从数据缓存区中提取需要的数据。
由于在接收到用户发起的任务运行请求后，将任务运行请求中携带的任务标签、用户标识及任务数据包以三级树状存储格式存储于数据缓存区中，因此，上述确定任务标签对应的目标任务执行引擎的步骤，还可以通过以下方式实现：
按照树状存储格式，从数据缓存区中提取任务数据包对应的任务标签；根据提取出的任务标签，从多个任务执行引擎中确定任务标签对应的目标任务执行引擎。
本申请实施例中，任务运行请求的发起过程可以是并行的，数据任务的提交过程也可以是并行的，而在同一个任务执行引擎中的任务运行过程是逐一进行的，即上述任务处理平台还包括每个任务执行引擎对应的缓存队列，如：[Qi、Qj、Qk.....]；缓存队列采用先进先出的模式，有一定的队列长度，如果某个缓存队列已经被填满，那么就需要让应该添加至该缓存队列中的数据任务在数据缓存区进行等待，当该缓存队列有空闲时，再将在数据缓存区等待中的数据任务添加至该缓存队列中。每个任务执行引擎是从其对应的缓存队列中按照任务数据包的添加顺序，逐一提取任务数据包进行任务运行过程的。
上述将任务数据包提交至目标任务执行引擎的过程，可参见图2所示的流程图中的步骤实现：
步骤S202，根据任务标签确定目标缓存队列；其中，目标缓存队列对应于目标任务执行引擎。
通过任务标签可以确定出目标任务执行引擎，而目标任务执行引擎对应有一个缓存队列，因而可以将目标任务执行引擎对应的缓存队列确定为上述目标缓存队列。
步骤S204，将任务数据包添加至目标缓存队列中。
需要说明的是，上述除了将任务数据包添加至目标缓存队列中，还可以同时将任务数据包对应的用户标识添加至目标缓存队列，这样，在平台接收到目标任务执行引擎返回的信息，如提交成功信息、任务运行结果等，就可以向该用户标识对应的用户显示相应的信息。
步骤S206，按照目标缓存队列中的任务数据包添加顺序，逐一提交目标缓存队列中的任务数据包至目标任务执行引擎。
比如，上述目标缓存队列中轮到任务运行请求中携带的任务数据包进行任务提交了，平台会从该目标缓存队列中拉取该任务数据包，提交到目标任务执行引擎上，以使目标任务执行引擎异步进行任务运行，提交成功后，平台会响应于目标任务执行引擎返回的任务数据包的提交成功信息，向任务运行请求的发起用户反馈任务数据包已提交成功的信息。
本申请实施例中，为了降低任务处理平台的负载，采用了用户和引擎之间连接复用的方法，即，每个用户每个任务执行引擎复用一个连接，假设同时发起请求的用户数为M，任务执行引擎的数量为N，数据任务Job数为K，这样平台总的复用连接数就是(M*N)，和数据任务数量无关；这样数据任务数量的递增不会影响到平台的性能；另外，还设置有连接关闭策略：当某个用户与某个任务执行引擎的复用连接在预设时间内没有使用过，那么平台就会将该复用连接释放掉，释放掉的复用连接在下次用户执行任务的时候，会自动创建。
还以本申请实施例中的上述任务运行请求为例来说，上述确定任务标签对应的目标任务执行引擎的步骤之后，还可以包括以下连接查找步骤，参见图3所示：
步骤S302，查找任务运行请求的发起用户对应的连接复用信息中，是否存在发起用户与目标任务执行引擎的复用连接；其中，连接复用信息用于表征为发起用户分配的历史连接资源；
如果存在，执行步骤S304，基于查找到的复用连接，继续执行将任务数据包提交至目标任务执行引擎的步骤；如果不存在，执行步骤S306，重新建立发起用户与目标任务执行引擎间的复用连接，基于重新建立的复用连接，继续执行将任务数据包提交至目标任务执行引擎的步骤。
为了提高平台的性能，本申请实施例中，还可以包括以下步骤：响应于针对发起用户对应的连接复用信息的结束事件，释放发起用户分配的历史连接资源。上述连接复用信息的结束事件可以为，该用户与某个任务执行引擎间的复用连接在预设时间内未被使用，则将该连接复用信息中的历史连接资源，即该复用连接释放掉，以优化平台的性能。
上述任务数据包提交到目标任务执行引擎，通过目标任务执行引擎运行任务完成后，平台会接收到目标任务执行引擎异步返回的任务运行结果，具体过程如下：
上述任务处理平台还包括每个任务执行引擎对应的运行结果缓存区；如果检测到任务运行请求对应有指定标识，则判断任务数据包运行完成；从目标任务执行引擎对应的运行结果缓存区中，提取任务数据包对应的任务运行结果；向发起用户显示任务数据包对应的任务运行结果。
实际应用中，数据任务执行完后会将该数据任务打一个tag标记，即上述指定标识，然后根据该tag来判断数据任务是否运行完成，即如果检测到任务运行请求对应有指定标识tag，则判断任务数据包运行完成；然后从上述运行结果缓存区获取该任务数据包对应的任务运行结果，根据该任务数据包对应的用户标识，向发起用户展示上述任务运行结果。
在提交数据任务后，为了方便用户实时了解到自己的数据任务的运行情况，本申请实施例中，还包括以下获取任务运行日志和任务运行状态的步骤，参见图4所示：
步骤S402，响应于目标任务执行引擎返回的上下文执行结构体；上下文执行结构体中存储有任务运行相关信息；
步骤S404，根据上下文执行结构体，实时获取任务数据包对应的任务运行日志和任务运行状态；
步骤S406，向发起用户显示任务运行日志和任务运行状态。
实际应用中，将任务数据包提交到任务执行引擎后会返回一个执行handler，即上述上下文执行结构体，该执行handler中存储有任务运行相关信息，进一步可以根据该执行handler实时获取任务运行日志以及任务运行状态，根据该任务数据包对应的用户标识，向发起用户展示上述任务运行日志以及任务运行状态。
在上述实时获取任务运行情况的过程中，平台还可以进行任务运行日志的监测，以及时对异常日志进行快速响应，具体可以包括以下实现过程：
检测任务运行日志是否存在指定异常类型的异常；如果是，根据预设重试机制及指定重试次数，重新对任务数据包进行任务提交运行操作。
进一步的，上述检测任务运行日志是否存在指定类型的异常的步骤之前，方法还包括：响应于发起用户的异常类型和重试次数的设置操作，确定指定异常类型和指定异常类型对应的指定重试次数。
也就是说，用户可以自己在平台中设置指定异常类型，和该指定异常类型对应的指定重试次数，而当平台在检测到出现异常的任务运行日志中存在用户所指定的异常类型时，可以根据用户自己设定的指定重试次数，和平台预设的重试机制，对数据任务进行重新提交运行过程。
本申请实施例提供的数据任务的处理方法，在一定程度上提高了用户的工作效率，优化了现有的任务提交运行模块，解决了多任务并行运行，异步返回结果展示的问题。具体包括以下优点：
1)无需人工去判断手动选择任务执行引擎，降低了用户的操作成本，提高了数据任务的提交运行效率；
2)对于提交的数据任务，平台可以从任务执行引擎处异步获取任务运行日志，并且将任务运行日志按照任务类别分开展示，用户可以根据任务运行日志实时观察数据任务的运行情况，解决了以往任务卡住或者挂掉无法感知的问题；
3)针对特定类型的异常，平台会自动启用重试机制，可以解决因为外部的异常因素导致任务运行失败而需人工处理解决的问题，从而达到任务运行的高可用性；
4)该平台可以支持多个不同用户的多个不同类型的数据任务提交，将提交的数据任务按类型，即任务标签进行分类，然后将各种类型的数据任务提交到不同的任务执行引擎，任务运行完成后，数据任务会有标志位，即上述指定标识如tag，最后轮询该标志位，将所有任务运行结果全部展示出来。
基于上述方法实施例，本申请实施例还提供一种数据任务的处理装置，通过任务处理平台提供任务操作界面，且任务处理平台中配置有多个任务类型分别对应的任务执行引擎；参见图5所示，该装置包括：
数据提取模块501，用于响应于针对任务操作界面提交的任务运行请求，提取任务运行请求中携带的任务数据包和任务标签；其中，任务标签是基于任务操作界面接收到的任务数据包需要运行的任务执行引擎确定的；引擎确定模块502，用于确定任务标签对应的目标任务执行引擎；任务提交模块503，用于将任务数据包提交至目标任务执行引擎，以使目标任务执行引擎运行任务数据包对应的数据任务。
进一步的，参见图6所示，上述装置还包括：数据缓存模块504，用于按照预设的树状存储格式，将任务数据包和任务标签存储至数据缓存区。
进一步的，上述任务运行请求中还携带有任务数据包对应的用户标识，树状存储格式为任务标签、用户标识及任务数据包的三级树状存储格式。
进一步的，上述引擎确定模块502还用于：按照树状存储格式，从数据缓存区中提取任务数据包对应的任务标签；根据提取出的任务标签，从多个任务执行引擎中确定任务标签对应的目标任务执行引擎。
进一步的，上述任务处理平台包括每个任务执行引擎对应的缓存队列；上述任务提交模块503还用于：根据任务标签确定目标缓存队列；其中，目标缓存队列对应于目标任务执行引擎；将任务数据包添加至目标缓存队列中；按照目标缓存队列中的任务数据包添加顺序，逐一提交目标缓存队列中的任务数据包至目标任务执行引擎。
进一步的，上述装置还包括：信息反馈模块505，用于响应于目标任务执行引擎返回的任务数据包的提交成功信息，向任务运行请求的发起用户反馈任务数据包已提交成功的信息。
进一步的，上述装置还包括：连接复用模块506，用于查找任务运行请求的发起用户对应的连接复用信息中是否存在发起用户与目标任务执行引擎的复用连接；其中，连接复用信息用于表征为发起用户分配的历史连接资源；如果存在，基于查找到的复用连接，继续执行将任务数据包提交至目标任务执行引擎的步骤；如果不存在，重新建立发起用户与目标任务执行引擎间的复用连接，基于重新建立的复用连接，继续执行将任务数据包提交至目标任务执行引擎的步骤。
进一步的，上述装置还包括：连接释放模块507，用于响应于针对发起用户对应的连接复用信息的结束事件，释放发起用户分配的历史连接资源。
进一步的，上述任务处理平台还包括每个任务执行引擎对应的运行结果缓存区；上述装置还包括：结果展示模块508，用于如果检测到任务运行请求对应有指定标识，则判断任务数据包运行完成；从目标任务执行引擎对应的运行结果缓存区中，提取任务数据包对应的任务运行结果；向发起用户显示任务数据包对应的任务运行结果。
进一步的，上述装置还包括：日志展示模块509，用于响应于目标任务执行引擎返回的上下文执行结构体；上下文执行结构体中存储有任务运行相关信息；根据上下文执行结构体，实时获取任务数据包对应的任务运行日志和任务运行状态；向发起用户显示任务运行日志和任务运行状态。
进一步的，上述装置还包括：异常处理模块510，用于：检测任务运行日志是否存在指定异常类型的异常；如果是，根据预设重试机制及指定重试次数，重新对任务数据包进行任务提交运行操作。
进一步的，上述装置还包括：设置模块511，用于响应于发起用户的异常类型和重试次数的设置操作，确定指定异常类型和指定异常类型对应的指定重试次数。
本申请实施例提供的数据任务的处理装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，数据任务的处理装置的实施例部分未提及之处，可参考前述方法实施例中相应内容。
本申请实施例还提供了一种电子设备，如图7所示，为该电子设备的结构示意图，其中，该电子设备包括处理器71和存储器70，该存储器70存储有能够被该处理器71执行的计算机可执行指令，该处理器71执行该计算机可执行指令以实现上述方法。
在图7示出的实施方式中，该电子设备还包括总线72和通信接口73，其中，处理器71、通信接口73和存储器70通过总线72连接。
其中，存储器70可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口73(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线72可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线72可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器71可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器71中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器71可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器71读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。
本申请实施例所提供的数据任务的处理方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (15)
1.一种数据任务的处理方法，其特征在于，通过任务处理平台提供任务操作界面，且所述任务处理平台中配置有多个任务类型分别对应的任务执行引擎；所述方法包括：
响应于针对所述任务操作界面提交的任务运行请求，提取所述任务运行请求中携带的任务数据包和任务标签；其中，所述任务标签是基于所述任务操作界面接收到的所述任务数据包需要运行的任务执行引擎确定的；
确定所述任务标签对应的目标任务执行引擎；
将所述任务数据包提交至所述目标任务执行引擎，以使所述目标任务执行引擎运行所述任务数据包对应的数据任务。
2.根据权利要求1所述的方法，其特征在于，提取所述任务运行请求中携带的任务数据包和任务标签的步骤之后，所述方法还包括：
按照预设的树状存储格式，将所述任务数据包和所述任务标签存储至数据缓存区。
3.根据权利要求2所述的方法，其特征在于，所述任务运行请求中还携带有所述任务数据包对应的用户标识，所述树状存储格式为所述任务标签、用户标识及任务数据包的三级树状存储格式。
4.根据权利要求2或3所述的方法，其特征在于，确定所述任务标签对应的目标任务执行引擎的步骤，包括：
按照所述树状存储格式，从所述数据缓存区中提取所述任务数据包对应的任务标签；
根据提取出的所述任务标签，从多个所述任务执行引擎中确定所述任务标签对应的目标任务执行引擎。
5.根据权利要求1所述的方法，其特征在于，所述任务处理平台包括每个任务执行引擎对应的缓存队列；
将所述任务数据包提交至所述目标任务执行引擎的步骤，包括：
根据所述任务标签确定目标缓存队列；其中，所述目标缓存队列对应于目标任务执行引擎；
将所述任务数据包添加至所述目标缓存队列中；
按照所述目标缓存队列中的任务数据包添加顺序，逐一提交所述目标缓存队列中的任务数据包至所述目标任务执行引擎。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述目标任务执行引擎返回的所述任务数据包的提交成功信息，向所述任务运行请求的发起用户反馈所述任务数据包已提交成功的信息。
7.根据权利要求1所述的方法，其特征在于，确定所述任务标签对应的目标任务执行引擎的步骤之后，所述方法还包括：
查找所述任务运行请求的发起用户对应的连接复用信息中是否存在所述发起用户与所述目标任务执行引擎的复用连接；其中，所述连接复用信息用于表征为所述发起用户分配的历史连接资源；
如果存在，基于查找到的所述复用连接，继续执行将所述任务数据包提交至所述目标任务执行引擎的步骤；
如果不存在，重新建立所述发起用户与所述目标任务执行引擎间的复用连接，基于重新建立的复用连接，继续执行将所述任务数据包提交至所述目标任务执行引擎的步骤。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
响应于针对所述发起用户对应的连接复用信息的结束事件，释放所述发起用户分配的历史连接资源。
9.根据权利要求1所述的方法，其特征在于，所述任务处理平台还包括每个任务执行引擎对应的运行结果缓存区；
将所述任务数据包提交至所述目标任务执行引擎的步骤之后，所述方法还包括：
如果检测到所述任务运行请求对应有指定标识，则判断所述任务数据包运行完成；
从所述目标任务执行引擎对应的运行结果缓存区中，提取所述任务数据包对应的任务运行结果；
向所述发起用户显示所述任务数据包对应的任务运行结果。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述目标任务执行引擎返回的上下文执行结构体；所述上下文执行结构体中存储有任务运行相关信息；
根据所述上下文执行结构体，实时获取所述任务数据包对应的任务运行日志和任务运行状态；
向所述发起用户显示所述任务运行日志和所述任务运行状态。
11.根据权利要求10所述的方法，其特征在于，在实时获取所述任务数据包对应的任务运行日志和任务运行状态的步骤之后，所述方法还包括：
检测所述任务运行日志是否存在指定异常类型的异常；
如果是，根据预设重试机制及指定重试次数，重新对所述任务数据包进行任务提交运行操作。
12.根据权利要求11所述的方法，其特征在于，检测所述任务运行日志是否存在指定类型的异常的步骤之前，所述方法还包括：
响应于所述发起用户的异常类型和重试次数的设置操作，确定指定异常类型和所述指定异常类型对应的指定重试次数。
13.一种数据任务的处理装置，其特征在于，通过任务处理平台提供任务操作界面，且所述任务处理平台中配置有多个任务类型分别对应的任务执行引擎；所述装置包括：
数据提取模块，用于响应于针对所述任务操作界面提交的任务运行请求，提取所述任务运行请求中携带的任务数据包和任务标签；其中，所述任务标签是基于所述任务操作界面接收到的所述任务数据包需要运行的任务执行引擎确定的；
引擎确定模块，用于确定所述任务标签对应的目标任务执行引擎；
任务提交模块，用于将所述任务数据包提交至所述目标任务执行引擎，以使所述目标任务执行引擎运行所述任务数据包对应的数据任务。
14.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至12任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110227923.0A CN112988350A (zh) | 2021-03-01 | 2021-03-01 | 数据任务的处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110227923.0A CN112988350A (zh) | 2021-03-01 | 2021-03-01 | 数据任务的处理方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112988350A true CN112988350A (zh) | 2021-06-18 |
Family
ID=76351684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110227923.0A Pending CN112988350A (zh) | 2021-03-01 | 2021-03-01 | 数据任务的处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112988350A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113672651A (zh) * | 2021-08-24 | 2021-11-19 | 杭州海康威视数字技术股份有限公司 | 一种任务执行方法、装置及电子设备 |
| CN113885945A (zh) * | 2021-08-30 | 2022-01-04 | 山东云海国创云计算装备产业创新中心有限公司 | 一种计算加速方法、设备以及介质 |
| CN115242777A (zh) * | 2022-07-12 | 2022-10-25 | 观澜网络(杭州)有限公司 | 一种生成文件的方法、系统、服务器及存储介质 |
| CN115878586A (zh) * | 2023-03-08 | 2023-03-31 | 深圳市迈科龙电子有限公司 | Ipfs存储封装方法、装置、电子设备及可读存储介质 |
| CN117130758A (zh) * | 2023-10-23 | 2023-11-28 | 北京世冠金洋科技发展有限公司 | 仿真引擎的启停控制方法、装置及仿真系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109861929A (zh) * | 2018-12-26 | 2019-06-07 | 视联动力信息技术股份有限公司 | 一种数据缓存处理的方法和装置 |
| CN111880899A (zh) * | 2020-07-27 | 2020-11-03 | 山东迪特智联信息科技有限责任公司 | 一种基于云原生架构的大数据流处理方法和装置 |
| CN111930539A (zh) * | 2020-07-31 | 2020-11-13 | 北京百度网讯科技有限公司 | 基于标签引擎的任务管理方法、装置、设备及存储介质 |
-
2021
- 2021-03-01 CN CN202110227923.0A patent/CN112988350A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109861929A (zh) * | 2018-12-26 | 2019-06-07 | 视联动力信息技术股份有限公司 | 一种数据缓存处理的方法和装置 |
| CN111880899A (zh) * | 2020-07-27 | 2020-11-03 | 山东迪特智联信息科技有限责任公司 | 一种基于云原生架构的大数据流处理方法和装置 |
| CN111930539A (zh) * | 2020-07-31 | 2020-11-13 | 北京百度网讯科技有限公司 | 基于标签引擎的任务管理方法、装置、设备及存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113672651A (zh) * | 2021-08-24 | 2021-11-19 | 杭州海康威视数字技术股份有限公司 | 一种任务执行方法、装置及电子设备 |
| CN113672651B (zh) * | 2021-08-24 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 一种任务执行方法、装置及电子设备 |
| CN113885945A (zh) * | 2021-08-30 | 2022-01-04 | 山东云海国创云计算装备产业创新中心有限公司 | 一种计算加速方法、设备以及介质 |
| CN113885945B (zh) * | 2021-08-30 | 2023-05-16 | 山东云海国创云计算装备产业创新中心有限公司 | 一种计算加速方法、设备以及介质 |
| CN115242777A (zh) * | 2022-07-12 | 2022-10-25 | 观澜网络(杭州)有限公司 | 一种生成文件的方法、系统、服务器及存储介质 |
| CN115878586A (zh) * | 2023-03-08 | 2023-03-31 | 深圳市迈科龙电子有限公司 | Ipfs存储封装方法、装置、电子设备及可读存储介质 |
| CN117130758A (zh) * | 2023-10-23 | 2023-11-28 | 北京世冠金洋科技发展有限公司 | 仿真引擎的启停控制方法、装置及仿真系统 |
| CN117130758B (zh) * | 2023-10-23 | 2024-01-16 | 北京世冠金洋科技发展有限公司 | 仿真引擎的启停控制方法、装置及仿真系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112988350A (zh) | 数据任务的处理方法、装置及电子设备 | |
| CN111400330B (zh) | 任务处理方法、装置、设备及计算机可读存储介质 | |
| CN110968478B (zh) | 日志采集方法、服务器及计算机存储介质 | |
| CN108055351B (zh) | 三维文件的处理方法及装置 | |
| CN112988185A (zh) | 云应用更新方法、装置、系统、电子设备及存储介质 | |
| WO2024113996A1 (zh) | 一种对主机io处理的优化方法、装置、设备及非易失性可读存储介质 | |
| CN101388039B (zh) | 一种响应消息的执行方法和装置 | |
| CN109992511B (zh) | 获取代码测试覆盖率的装置及方法 | |
| CN115495496A (zh) | 数据导出方法、装置、电子设备、存储介质及程序产品 | |
| CN115629951B (zh) | 一种任务全链路追踪方法、第一节点、链路系统及介质 | |
| CN108062224B (zh) | 基于文件句柄的数据读写方法、装置及计算设备 | |
| CN116614495A (zh) | 数据上传方法、装置、设备、存储介质及程序产品 | |
| CN114201701B (zh) | 运行环境的识别方法及装置、存储介质、服务端、客户端 | |
| CN111177078A (zh) | 日志处理方法、装置及电子设备 | |
| CN110852603A (zh) | 高吞吐量的风控数据处理方法、装置、设备及存储介质 | |
| CN113672281A (zh) | 代码差异查询方法、装置、设备及存储介质 | |
| CN111261206B (zh) | 一种读写方法、装置和电子设备及可读存储介质 | |
| CN110837412B (zh) | 一种作业就绪状态判断方法、装置、设备和存储介质 | |
| CN107391711A (zh) | 获取歌曲伴奏的方法和装置 | |
| CN113076112A (zh) | 数据库部署的方法、装置及电子设备 | |
| CN111343101A (zh) | 服务器限流方法、装置、电子设备及可读存储介质 | |
| CN113409109B (zh) | 订单创建方法、装置、服务器及存储介质 | |
| CN110780983A (zh) | 任务异常处理方法、装置、计算机设备以及存储介质 | |
| CN112905602B (zh) | 数据比对方法、计算设备及计算机存储介质 | |
| CN115658610B (zh) | 一种文件内容检查方法、计算设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210618 |
|
| RJ01 | Rejection of invention patent application after publication |