CN110187958A - 一种任务处理方法、装置、系统、设备及存储介质 - Google Patents
一种任务处理方法、装置、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN110187958A CN110187958A CN201910481717.5A CN201910481717A CN110187958A CN 110187958 A CN110187958 A CN 110187958A CN 201910481717 A CN201910481717 A CN 201910481717A CN 110187958 A CN110187958 A CN 110187958A
- Authority
- CN
- China
- Prior art keywords
- task
- hardware
- flow
- executive module
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 72
- 230000004888 barrier function Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 239000011800 void material Substances 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Multi Processors (AREA)
Abstract
本发明实施例公开了一种任务处理方法、装置、系统、设备及存储介质。其中，该方法包括：获取与目标数据处理过程对应的全部任务；根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元；根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流；将所述至少一个任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件。本发明实施例可以根据各项任务的依赖关系和定义规则对任务进行处理，将处理后的任务分配给硬件调度组件，可以减少硬件调度组件分配任务过程中的任务仲裁，提升任务处理效率，减少任务同步的性能开销。
Description
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种任务处理方法、装置、系统、设备及存储介质。
背景技术
在基于神经网络的深度学习场景中，训练和推理的计算过程通常被框架层抽象成由算子构成的有向无环图，再通过中间件层转换成由硬件可执行的任务构成的有向无环图，从而得到各项硬件可执行的任务。
现有技术中，各项任务通常以流的形式通过环状缓冲区顺序下发给硬件中的任务调度模块，由任务调度模块分发给其他的硬件中的任务执行模块。硬件中的任务执行模块并发执行任务从而提高任务执行效率。
发明人在实现本发明的过程中发现，现有技术的缺陷在于，由于任务之间存在依赖关系，任务调度模块需要等待有依赖关系的前一个任务执行完成后，再将后一个任务分配给任务执行模块执行，可能会造成硬件中某些任务执行模块空闲，同时任务同步的开销也会严重影响系统性能。
发明内容
本发明实施例提供一种任务处理方法、装置、系统、设备及存储介质，以优化现有的任务处理方法，提升任务处理效率，减少任务同步的性能开销。
第一方面，本发明实施例提供了一种任务处理方法，包括：
获取与目标数据处理过程对应的全部任务；
根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元；
根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流；
将至少一个任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件。
第二方面，本发明实施例还提供了一种任务处理方法，包括：
从软件管理组件分配的任务组中获取一个任务流，任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧；
从任务流中获取一个调度单元作为当前处理单元，并根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件。
第三方面，本发明实施例还提供了一种任务处理装置，包括：
任务获取模块，用于获取与目标数据处理过程对应的全部任务；
调度单元生成模块，用于根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元；
任务流生成模块，用于根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流；
任务组分配模块，用于将至少一个任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件。
第四方面，本发明实施例还提供了一种任务处理装置，包括：
任务流获取模块，用于从软件管理组件分配的任务组中获取一个任务流，任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧；
任务分配模块，用于从任务流中获取一个调度单元作为当前处理单元，并根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件。
第五方面，本发明实施例还提供了一种任务处理系统，包括：
软件管理组件、至少一个硬件调度组件以及至少一个硬件执行组件；
其中，软件管理组件，用于执行如本发明实施例第一方面所述的任务处理方法；
硬件调度组件，用于执行如本发明实施例第二方面所述的任务处理方法；
所述硬件执行组件，用于执行所述硬件调度组件分配的任务。
第六方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如本发明实施例所述的任务处理方法。
第七方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明实施例所述的任务处理方法。
本发明实施例的技术方案，通过获取与目标数据处理过程对应的全部任务，然后根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元，根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流，并将至少一个任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件，解决了现有技术在将任务分配给任务执行模块执行时，可能会造成硬件中某些任务执行模块空闲，同时任务同步的开销也会严重影响系统性能的问题，可以根据各项任务的依赖关系和定义规则对任务进行处理，将处理后的任务分配给硬件调度组件，可以减少硬件调度组件分配任务过程中的任务仲裁，提升任务处理效率，减少任务同步的性能开销。
附图说明
图1为本发明实施例一提供的一种任务处理方法的流程图；
图2为本发明实施例二提供的一种任务处理方法的流程图；
图3为本发明实施例三提供的一种任务处理方法的流程图；
图4为本发明实施例四提供的一种任务处理方法的流程图；
图5为本发明实施例五提供的一种任务处理方法的流程图；
图6为本发明实施例六提供的一种任务处理装置的结构示意图；
图7为本发明实施例七提供的一种任务处理装置的结构示意图；
图8a为本发明实施例八提供的一种任务处理系统的结构示意图；
图8b为本发明实施例八提供的一种任务处理系统的结构示意图；
图8c为本发明实施例八提供的一种任务组的示意图；
图9为本发明实施例九提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种任务处理方法的流程图。本实施例可适用于对任务进行处理的情况，该方法可以由本发明实施例提供的任务处理装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。如图1所示，本实施例的方法具体包括：
步骤101、获取与目标数据处理过程对应的全部任务。
其中，软件管理组件获取与目标数据处理过程对应的全部任务。软件管理组件是软件中的任务管理组件，用于根据业务需求对各项任务进行处理和调度。
在基于神经网络的深度学习场景中，各个数据处理过程可以被转换成对应的多项任务。一项任务可以是一个可以在硬件执行组件上运行的操作。每一项任务需要由对应的硬件执行组件执行。硬件执行组件是硬件中的任务执行组件。
可选的，一项任务还可以是一个可以在硬件调度组件上运行的操作。硬件调度组件是硬件中的任务调度组件，可以将获取的各项任务分配给对应的硬件执行组件，也可以执行任务。
步骤102、根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元。
其中，任务的依赖关系可以包括任务之间的数据依赖和硬件执行组件的资源依赖。任务之间的数据依赖是指前置任务的数据输出需要作为后置任务的数据输入，在前置任务完成之前后置任务将不允许被执行。硬件执行组件的资源依赖是指任务需要被对应的硬件执行组件执行，如果当前该硬件执行组件正在执行其他任务，则在该硬件执行组件完成当前执行的任务之前，任务将不允许被执行。
第一定义规则是调度单元的定义规则。第一定义规则包括：调度单元包括：任务、任务向量以及任务帧。任务为一项任务。一项任务是一个可以在硬件执行组件上运行的操作，或者是一个可以在硬件调度组件上运行的操作。任务向量由一组在不同硬件执行组件上执行的任务构成，且各项任务之间没有数据依赖。因此任务向量中的各项任务，彼此之间既不存在数据依赖也不存在资源依赖，硬件调度组件可以连续地对任务向量中的各项任务进行分配。任务帧由一组任务构成，任意两项连续的任务之间存在数据依赖，且与各项任务对应的硬件执行组件之间存在通信连接。各项任务对应的硬件执行组件之间可以进行同步。
软件管理组件根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元。生成的调度单元可以为任务、任务向量或者任务帧。
具体的，可以将全部任务中的一项任务作为一个调度单元，即生成一个任务；可以将全部任务中的一组在不同硬件执行组件上执行，且各项任务之间没有数据依赖的任务作为一个调度单元，即生成一个任务向量；可以将全部任务中的一组任意两项连续的任务之间存在数据依赖，且与各项任务对应的硬件执行组件之间存在通信连接的任务作为一个调度单元，即生成一个任务帧。
由此，根据各项任务的依赖关系和调度单元的定义规则，将与目标数据处理过程对应的全部任务转换为多个调度单元。
可选的，任务向量中可以嵌套任务帧。嵌套的任务帧是任务向量中的一个完整的向量单元。嵌套的任务帧中的各项任务与任务帧之外的其他任务不存在数据依赖。同时，任务帧中可以嵌套任务向量。嵌套的任务向量中不可以再嵌套任务帧。即第一定义规则最多允许一级的嵌套，且内部的任务向量是外部任务帧的一个完整单元，或内部的任务帧是外部的任务向量的一个完整单元。
步骤103、根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流。
其中，第二定义规则是任务流的定义规则。第二定义规则包括：各个任务流中包含至少一个调度单元，各个任务流中的任意两个连续的调度单元存在数据依赖，各个任务流之间不存在数据依赖。
软件管理组件根据各个调度单元的依赖关系和任务流的定义规则，将与目标数据处理过程对应的全部调度单元转换为多个任务流。各个任务流中包含至少一个调度单元。各个任务流中的任意两个连续的调度单元存在数据依赖。即前置调度单元的数据输出需要作为后置调度单元的数据输入，在前置调度单元之前后置调度单元将不允许被执行。同时，各个任务流之间不存在数据依赖。
可选的，任务流可以由一组任务、任务帧和任务向量构成。
步骤104、将至少一个任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件。
其中，任务组由一组任务流构成。一个任务组就对应了一个数据处理过程算子的实现。
软件管理组件将与目标数据处理过程对应的全部任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件。该任务组中包括与目标数据处理过程对应的全部任务流。硬件调度组件从分配的任务组中获取一个任务流。任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧。硬件调度组件从任务流中获取一个调度单元作为当前处理单元，并根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件。由此，可以减少硬件调度组件分配任务过程中的任务仲裁，提升任务处理效率，减少任务同步的性能开销。
可选的，在将至少一个任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件之前，还包括：在任务组中的各个任务流中添加屏障，屏障用于通知硬件调度组件等待当前任务流中的各项任务执行结束；根据预设的依赖关系添加信息，在任务组中的任务流中添加等待事件和通知事件，等待事件和通知事件用于在任务组中的任务流之间添加依赖关系。
屏障是用来实现硬件调度模块与软件管理组件之间的同步的。在任务组中的各个任务流中添加屏障，将屏障设置为任务流中的最后一个任务。硬件调度模块在从任务流中获取到屏障时，等待任务流中的各项任务执行结束，然后在确定该任务流中的各项任务执行结束后，发送任务流执行完成信息给软件管理组件，通知软件管理组件该任务流已经执行完成。
等待事件和通知事件用于在任务组中的任务流之间添加依赖关系。等待事件和通知事件是用来打破默认依赖规则的。可以根据预设的依赖关系添加信息，将等待事件和通知事件作为任务，插入至任务流中的对应位置。硬件调度模块在从任务流中获取到等待事件时，停止处理任务流，并重新从任务组中获取一个任务流进行处理。硬件调度模块在从任务流中获取到通知事件时，继续处理与通知事件对应的任务流。可选的，硬件调度模块可以在从当前正在处理的任务流中获取到通知事件时，先将当前正在处理的任务流处理完，再继续处理与通知事件对应的任务流。
增加一个依赖关系，需要对应添加一个等待事件和一个通知事件。例如，在任务流A和任务流B之间添加依赖关系。在任务流A中添加等待事件1。在任务流B中添加通知事件1。通知事件1与任务流A对应。硬件调度模块在从任务流A中获取到等待事件1时，停止处理任务流A，并重新从任务组中获取一个任务流进行处理。硬件调度模块在从任务流B中获取到通知事件1时，可以继续处理与通知事件1对应的任务流A。硬件调度模块可以先将当前正在处理的任务流B处理完，再继续处理与通知事件1对应的任务流A。
本发明实施例提供了一种任务处理方法，通过获取与目标数据处理过程对应的全部任务，然后根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元，根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流，并将至少一个任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件，解决了现有技术在将任务分配给任务执行模块执行时，可能会造成硬件中某些任务执行模块空闲，同时任务同步的开销也会严重影响系统性能的问题，可以根据各项任务的依赖关系和定义规则对任务进行处理，将处理后的任务分配给硬件调度组件，可以减少硬件调度组件分配任务过程中的任务仲裁，避免不必要的硬件执行组件空闲等待，提升任务处理效率，减少任务同步的性能开销。
实施例二
图2为本发明实施例二提供的一种任务处理方法的流程图。本实施例可适用于对任务进行处理的情况，该方法可以由本发明实施例提供的任务处理装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。如图2所示，本实施例的方法具体包括：
步骤201、从软件管理组件分配的任务组中获取一个任务流，任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧。
其中，软件管理组件获取与目标数据处理过程对应的全部任务，根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元，然后根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流，并将至少一个任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件。任务组中包括与目标数据处理过程对应的全部任务流。
硬件调度组件从软件管理组件分配的任务组中获取一个任务流。任务流由至少一个调度单元构成。调度单元为任务、任务向量或任务帧。
步骤202、从任务流中获取一个调度单元作为当前处理单元，并根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件。
其中，硬件调度组件从任务流中获取一个调度单元作为当前处理单元，确定当前处理单元的单元类型，根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件。
在一个具体实例中，当前处理单元为任务，任务为一项任务。根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件，可以包括：硬件调度组件判断与任务对应的硬件执行组件是否有空闲虚拟执行通道；如果与任务对应的硬件执行组件有空闲虚拟执行通道，则硬件调度组件将任务分配给硬件执行组件，并配置对应的消息通知调度模块，以使硬件执行组件执行任务，并在任务执行结束后返回任务完成信息。硬件调度组件接收到任务完成信息后，获取下一个调度单元作为当前处理单元。如果与任务对应的硬件执行组件没有空闲虚拟执行通道，则硬件调度组件停止处理任务流，并重新从任务组中获取一个任务流进行处理。
在另一个具体实例中，当前处理单元为任务向量，任务向量由一组在不同硬件执行组件上执行的任务构成，且各项任务之间没有数据依赖。根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件，可以包括：硬件调度组件判断与任务向量对应的各硬件执行组件是否都有空闲虚拟执行通道；如果各硬件执行组件都有空闲虚拟执行通道，则硬件调度组件将任务向量中的各项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使各硬件执行组件执行对应的任务，并在对应的任务执行结束后返回任务完成信息。硬件调度组件接收到任务完成信息后，获取下一个调度单元作为当前处理单元。如果各硬件执行组件中存在没有空闲虚拟执行通道的硬件执行组件，则硬件调度组件停止处理任务流，并重新从任务组中获取一个任务流进行处理。
在另一个具体实例中，当前处理单元为任务帧，任务帧由一组任务构成，任意两项连续的任务之间存在数据依赖，且与各项任务对应的硬件执行组件之间存在通信连接。根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件，可以包括：判断任务帧中的当前任务以及下一项任务对应的硬件执行组件是否都有空闲虚拟执行通道；如果当前任务以及下一项任务对应的硬件执行组件都有空闲虚拟执行通道，则将当前任务以及下一项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使与当前任务对应的硬件执行组件执行当前任务，并在当前任务执行结束后，通知与下一项任务对应的硬件执行组件执行下一项任务；其中，与任务帧中的最后一项任务对应的硬件执行组件在最后一项任务执行结束后返回任务完成信息。硬件调度组件接收到任务完成信息后，获取下一个调度单元作为当前处理单元。
可选的，硬件调度组件在从任务流中获取到屏障时，等待任务流中的各项任务执行结束。在确定任务流中的各项任务执行结束后，硬件调度组件发送任务流执行完成信息给软件管理组件。硬件调度组件发送任务流执行完成信息后，获取下一个任务流进行处理。
可选的，硬件调度组件在从任务流中获取到等待事件时，停止处理任务流，并重新从任务组中获取一个任务流进行处理。
可选的，硬件调度组件在从任务流中获取到通知事件时，继续处理与通知事件对应的任务流。
可选的，在处理任务帧中嵌套朴素任务向量的情况时，需要将任务向量的前置任务的任务完成消息广播到向量中引用的所有硬件执行组件。向量中的任务对应的任务完成消息不再返回给硬件调度组件，而是发送给与任务向量的后置任务对应的硬件执行组件，通知该硬件执行组件执行任务向量的后置任务。
可选的，在处理任务向量中嵌套任务帧的情况时，正常处理该任务帧，该任务帧执行结束后，返回任务完成信息给硬件调度组件。
本发明实施例提供了一种任务处理方法，通过从软件管理组件分配的任务组中获取一个任务流，任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧，然后从任务流中获取一个调度单元作为当前处理单元，并根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件，解决了现有技术在将任务分配给任务执行模块执行时，可能会造成硬件中某些任务执行模块空闲，同时任务同步的开销也会严重影响系统性能的问题，可以根据各个处理单元的类型，将处理单元中的任务分配给对应的硬件调度组件，可以减少任务的仲裁，提升任务处理效率，减少任务同步的性能开销。
实施例三
图3为本发明实施例三提供的一种任务处理方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，当前处理单元为任务，任务为一项任务。
以及，根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件，可以包括：判断与任务对应的硬件执行组件是否有空闲虚拟执行通道；如果与任务对应的硬件执行组件有空闲虚拟执行通道，则将任务分配给硬件执行组件，并配置对应的消息通知调度模块，以使硬件执行组件执行任务，并在任务执行结束后返回任务完成信息；如果与任务对应的硬件执行组件没有空闲虚拟执行通道，则停止处理任务流，并重新从任务组中获取一个任务流进行处理。
如图3所示，本实施例的方法具体包括：
步骤301、从软件管理组件分配的任务组中获取一个任务流，任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧。
步骤302、从任务流中获取一个调度单元作为当前处理单元，当前处理单元为任务，任务为一项任务。
步骤303、判断与任务对应的硬件执行组件是否有空闲虚拟执行通道：若是，则执行步骤304；若否，则执行步骤305。
其中，硬件执行组件设置有多个虚拟执行通道。例如，虚拟执行通道的数量为6。虚拟执行通道用于在执行任务前，对任务进行配置。硬件执行组件可以通过虚拟执行通道同时获取多个任务进行配置。硬件执行组件在执行任务前，判断各虚拟执行通道的任务是否配置完成，然后选择配置完成的任务立刻执行。
步骤304、将任务分配给硬件执行组件，并配置对应的消息通知调度模块，以使硬件执行组件执行任务，并在任务执行结束后返回任务完成信息。
其中，硬件执行组件通过虚拟执行通道对任务进行配置，并在任务执行结束后返回任务完成信息给硬件调度组件。硬件调度组件接收到任务完成信息后确定该任务执行结束，继续从当前任务流中获取下一个调度单元作为当前处理单元。
硬件执行组件可以执行来自不同任务流的任务。当不同的任务流以乱序方式使用同一个硬件执行组件时，硬件执行组件返回的任务完成信息必须可以区分是属于哪一个任务流的，否则会唤醒错误的任务流。因此硬件执行组件需要由足够多的消息通知资源来维护多任务流和多虚拟执行通道。任务组规模和硬件执行组件的虚拟执行通道数量可以控制，且任务流和虚拟执行通道具有串行特性。为了解决全部消息通知冲突，每个硬件执行组件需要任务组中最大任务流数量乘以虚拟通道数量个数的消息资源。
步骤305、停止处理任务流，并重新从任务组中获取一个任务流进行处理。
其中，如果与任务对应的硬件执行组件没有空闲虚拟执行通道，表明硬件执行组件不能处理该任务，即当前处理单元不能处理。而任务流中的任意两个连续的调度单元存在数据依赖，所以当前任务流中的后续调度单元也是不能处理的。因此，硬件调度组件停止处理任务流，并重新从任务组中获取一个任务流进行处理。
可选的，硬件调度组件可以停止处理设定数量的任务流。例如，设定数量为6。当硬件调度组件停止处理的任务流数量超过设定数量时，硬件调度组件不可以再重新从任务组中获取一个任务流进行处理，需要判断停止处理的任务流是否可以处理。在停止处理的任务流都处理完后，才可以重新从任务组中获取一个任务流进行处理。
本发明实施例提供了一种任务处理方法，通过判断与任务对应的硬件执行组件是否有空闲虚拟执行通道，在与任务对应的硬件执行组件有空闲虚拟执行通道时，将任务分配给硬件执行组件，并配置对应的消息通知调度模块，以使硬件执行组件执行任务，并在任务执行结束后返回任务完成信息，以及在与任务对应的硬件执行组件没有空闲虚拟执行通道时，则停止处理任务流，并重新从任务组中获取一个任务流进行处理，可以对任务流中的任务进行分配，可以在对应的硬件执行组件不能处理任务时，重新从任务组中获取一个任务流进行处理，提升任务处理效率。
实施例四
图4为本发明实施例四提供的一种任务处理方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，当前处理单元为任务向量，任务向量由一组在不同硬件执行组件上执行的任务构成，且各项任务之间没有数据依赖。
以及，根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件，可以包括：判断与任务向量对应的各硬件执行组件是否都有空闲虚拟执行通道；如果各硬件执行组件都有空闲虚拟执行通道，则将任务向量中的各项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使各硬件执行组件执行对应的任务，并在对应的任务执行结束后返回任务完成信息；如果各硬件执行组件中存在没有空闲虚拟执行通道的硬件执行组件，则停止处理任务流，并重新从任务组中获取一个任务流进行处理。
如图4所示，本实施例的方法具体包括：
步骤401、从软件管理组件分配的任务组中获取一个任务流，任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧。
步骤402、从任务流中获取一个调度单元作为当前处理单元，当前处理单元为任务向量，任务向量由一组在不同硬件执行组件上执行的任务构成，且各项任务之间没有数据依赖。
步骤403、判断与任务向量对应的各硬件执行组件是否都有空闲虚拟执行通道：若是，则执行步骤404；若否，则执行步骤405。
步骤404、将任务向量中的各项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使各硬件执行组件执行对应的任务，并在对应的任务执行结束后返回任务完成信息。
其中，硬件调度组件直接将任务向量中的任务顺次分配给对应的硬件执行组件，并配置与各硬件执行组件对应的消息通知调度模块，以使各硬件执行组件执行对应的任务，并在对应的任务执行结束后返回任务完成信息。
硬件调度组件在任务向量中的任务分配结束后，需要等待任务向量中的任务全部完成。硬件调度组件接收到各硬件执行组件任务完成信息后，可以确定任务向量中的任务全部完成，即该任务向量执行结束，继续从当前任务流中获取下一个调度单元作为当前处理单元。
步骤405、停止处理任务流，并重新从任务组中获取一个任务流进行处理。
本发明实施例提供了一种任务处理方法，通过判断与任务向量对应的各硬件执行组件是否都有空闲虚拟执行通道，在各硬件执行组件都有空闲虚拟执行通道时，将任务向量中的各项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使各硬件执行组件执行对应的任务，并在对应的任务执行结束后返回任务完成信息；在各硬件执行组件中存在没有空闲虚拟执行通道的硬件执行组件时，则停止处理任务流，并重新从任务组中获取一个任务流进行处理，可以对任务流中的任务向量中的任务进行分配，可以在任务向量中存在不能处理的任务时，重新从任务组中获取一个任务流进行处理，提升任务处理效率。
实施例五
图5为本发明实施例五提供的一种任务处理方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，当前处理单元为任务帧，任务帧由一组任务构成，任意两项连续的任务之间存在数据依赖，且与各项任务对应的硬件执行组件之间存在通信连接。
以及，根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件，可以包括：判断任务帧中的当前任务以及下一项任务对应的硬件执行组件是否都有空闲虚拟执行通道；如果当前任务以及下一项任务对应的硬件执行组件都有空闲虚拟执行通道，则将当前任务以及下一项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使与当前任务对应的硬件执行组件执行当前任务，并在当前任务执行结束后，通知与下一项任务对应的硬件执行组件执行下一项任务；其中，与任务帧中的最后一项任务对应的硬件执行组件在最后一项任务执行结束后返回任务完成信息。
如图5所示，本实施例的方法具体包括：
步骤501、从软件管理组件分配的任务组中获取一个任务流，任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧。
步骤502、从任务流中获取一个调度单元作为当前处理单元，当前处理单元为任务帧，任务帧由一组任务构成，任意两项连续的任务之间存在数据依赖，且与各项任务对应的硬件执行组件之间存在通信连接。
步骤503、判断任务帧中的当前任务以及下一项任务对应的硬件执行组件是否都有空闲虚拟执行通道：若是，则执行步骤504；若否，则执行步骤505。
其中，依次从任务帧中获取一个任务作为当前任务，判断任务帧中的当前任务以及下一项任务对应的硬件执行组件是否都有空闲虚拟执行通道。
步骤504、将当前任务以及下一项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使与当前任务对应的硬件执行组件执行当前任务，并在当前任务执行结束后，通知与下一项任务对应的硬件执行组件执行下一项任务；其中，与任务帧中的最后一项任务对应的硬件执行组件在最后一项任务执行结束后返回任务完成信息。
其中，如果当前任务以及下一项任务对应的硬件执行组件都有空闲虚拟执行通道，则将当前任务以及下一项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使与当前任务对应的硬件执行组件执行当前任务，并在当前任务执行结束后，通知与下一项任务对应的硬件执行组件执行下一项任务。
然后将下一项任务作为当前任务，判断任务帧中的当前任务以及下一项任务对应的硬件执行组件是否都有空闲虚拟执行通道。此时，当前任务为之前已经分配过的任务，直接判断下一项任务对应的硬件执行组件是否有空闲虚拟执行通道。如果下一项任务对应的硬件执行组件有空闲虚拟执行通道，则将下一项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使与当前任务对应的硬件执行组件在当前任务执行结束后，通知与下一项任务对应的硬件执行组件执行下一项任务。
然后继续将下一项任务作为当前任务进行配置，直至当前任务为任务帧中的最后一项任务。判断最后一项任务对应的硬件执行组件是否有空闲虚拟执行通道。如果最后一项任务对应的硬件执行组件有空闲虚拟执行通道，则将最后一项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使与任务帧中的最后一项任务对应的硬件执行组件在最后一项任务执行结束后返回任务完成信息给硬件调度组件。硬件调度组件接收到任务完成信息后，可以确定任务帧中的任务全部完成，即该任务帧执行结束，继续从当前任务流中获取下一个调度单元作为当前处理单元。
步骤505、如果当前任务对应的硬件执行组件没有空闲虚拟执行通道，则停止处理任务流，并重新从任务组中获取一个任务流进行处理；如果当前任务对应的硬件执行组件有空闲虚拟执行通道，且下一项任务对应的硬件执行组件没有空闲虚拟执行通道，则将当前任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使与当前任务对应的硬件执行组件在最后一项任务执行结束后返回任务完成信息给硬件调度组件。
其中，硬件调度组件根据该任务完成信息，停止处理任务流，并重新从任务组中获取一个任务流进行处理。
本发明实施例提供了一种任务处理方法，通过在当前任务以及下一项任务对应的硬件执行组件都有空闲虚拟执行通道时，将当前任务以及下一项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使与当前任务对应的硬件执行组件执行当前任务，并在当前任务执行结束后，通知与下一项任务对应的硬件执行组件执行下一项任务；其中，与任务帧中的最后一项任务对应的硬件执行组件在最后一项任务执行结束后返回任务完成信息，可以对任务流中的任务帧中的任务进行分配，可以在任务帧存在不能处理的任务时，从任务组中获取一个任务流进行处理，提升任务处理效率。
实施例六
图6为本发明实施例六提供的一种任务处理装置的结构示意图。如图6所示，所述装置可以配置于计算机设备，包括：任务获取模块601、调度单元生成模块602、任务流生成模块603以及任务组分配模块604。
其中，任务获取模块601，用于获取与目标数据处理过程对应的全部任务；调度单元生成模块602，用于根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元；任务流生成模块603，用于根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流；任务组分配模块604，用于将所述至少一个任务流作为与所述目标数据处理过程匹配的任务组分配给硬件调度组件。
本发明实施例提供了一种任务处理装置，通过获取与目标数据处理过程对应的全部任务，然后根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元，根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流，并将至少一个任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件，解决了现有技术在将任务分配给任务执行模块执行时，可能会造成硬件中某些任务执行模块空闲，同时任务同步的开销也会严重影响系统性能的问题，可以根据各项任务的依赖关系和定义规则对任务进行处理，将处理后的任务分配给硬件调度组件，可以减少硬件调度组件分配任务过程中的任务仲裁，避免不必要的硬件执行组件空闲等待，提升任务处理效率，减少任务同步的性能开销。
在上述各实施例的基础上，第一定义规则可以包括：调度单元包括：任务、任务向量以及任务帧；其中，任务为一项任务；任务向量由一组在不同硬件执行组件上执行的任务构成，且各项任务之间没有数据依赖；任务帧由一组任务构成，任意两项连续的任务之间存在数据依赖，且与各项任务对应的硬件执行组件之间存在通信连接。
在上述各实施例的基础上，第二定义规则可以包括：各个任务流中包含至少一个调度单元，各个任务流中的任意两个连续的调度单元存在数据依赖，各个任务流之间不存在数据依赖。
在上述各实施例的基础上，可以还包括：屏障添加模块，用于在任务组中的各个任务流中添加屏障，屏障用于通知硬件调度组件等待当前任务流中的各项任务执行结束；依赖关系添加模块，用于根据预设的依赖关系添加信息，在任务组中的任务流中添加等待事件和通知事件，等待事件和通知事件用于在任务组中的任务流之间添加依赖关系。
上述任务处理装置可执行本发明任意实施例所提供的任务处理方法，具备执行任务处理方法相应的功能模块和有益效果。
实施例七
图7为本发明实施例七提供的一种任务处理装置的结构示意图。如图7所示，所述装置可以配置于计算机设备，包括：任务流获取模块701和任务分配模块702。
其中，任务流获取模块701，用于从软件管理组件分配的任务组中获取一个任务流，任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧；任务分配模块702，用于从任务流中获取一个调度单元作为当前处理单元，并根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件。
本发明实施例提供了一种任务处理装置，通过从软件管理组件分配的任务组中获取一个任务流，任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧，然后从任务流中获取一个调度单元作为当前处理单元，并根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件，解决了现有技术在将任务分配给任务执行模块执行时，可能会造成硬件中某些任务执行模块空闲，同时任务同步的开销也会严重影响系统性能的问题，可以根据各个处理单元的类型，将处理单元中的任务分配给对应的硬件调度组件，可以减少任务的仲裁，提升任务处理效率，减少任务同步的性能开销。
在上述各实施例的基础上，当前处理单元可以为任务，任务为一项任务；任务分配模块702可以包括：第一判断单元，用于判断与任务对应的硬件执行组件是否有空闲虚拟执行通道；第一分配单元，用于如果与任务对应的硬件执行组件有空闲虚拟执行通道，则将任务分配给硬件执行组件，并配置对应的消息通知调度模块，以使硬件执行组件执行任务，并在任务执行结束后返回任务完成信息；第一获取单元，用于如果与任务对应的硬件执行组件没有空闲虚拟执行通道，则停止处理任务流，并重新从任务组中获取一个任务流进行处理。
在上述各实施例的基础上，当前处理单元可以为任务向量，任务向量由一组在不同硬件执行组件上执行的任务构成，且各项任务之间没有数据依赖；任务分配模块702可以包括：第二判断单元，用于判断与任务向量对应的各硬件执行组件是否都有空闲虚拟执行通道；第二分配单元，用于如果各硬件执行组件都有空闲虚拟执行通道，则将任务向量中的各项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使各硬件执行组件执行对应的任务，并在对应的任务执行结束后返回任务完成信息；第二获取单元，用于如果各硬件执行组件中存在没有空闲虚拟执行通道的硬件执行组件，则停止处理任务流，并重新从任务组中获取一个任务流进行处理。
在上述各实施例的基础上，当前处理单元可以为任务帧，任务帧由一组任务构成，任意两项连续的任务之间存在数据依赖，且与各项任务对应的硬件执行组件之间存在通信连接；任务分配模块702可以包括：第三判断单元，用于判断任务帧中的当前任务以及下一项任务对应的硬件执行组件是否都有空闲虚拟执行通道；第三分配单元，用于如果当前任务以及下一项任务对应的硬件执行组件都有空闲虚拟执行通道，则将当前任务以及下一项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使与当前任务对应的硬件执行组件执行当前任务，并在当前任务执行结束后，通知与下一项任务对应的硬件执行组件执行下一项任务；其中，与任务帧中的最后一项任务对应的硬件执行组件在最后一项任务执行结束后返回任务完成信息。
在上述各实施例的基础上，可以还包括：任务等待模块，用于在从任务流中获取到屏障时，等待任务流中的各项任务执行结束；信息发送模块，用于在确定任务流中的各项任务执行结束后，发送任务流执行完成信息给软件管理组件。
在上述各实施例的基础上，可以还包括：等待事件处理模块，用于在从任务流中获取到等待事件时，停止处理任务流，并重新从任务组中获取一个任务流进行处理；通知事件处理模块，用于在从任务流中获取到通知事件时，继续处理与通知事件对应的任务流。
上述任务处理装置可执行本发明任意实施例所提供的任务处理方法，具备执行任务处理方法相应的功能模块和有益效果。
实施例八
图8a为本发明实施例八提供的一种任务处理系统的结构示意图。如图8a所示，该系统具体包括：软件管理组件801、至少一个硬件调度组件802以及至少一个硬件执行组件803。
其中，软件管理组件801，用于获取与目标数据处理过程对应的全部任务；根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元；根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流；将至少一个任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件802。
硬件调度组件802，用于从软件管理组件801分配的任务组中获取一个任务流，任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧；从任务流中获取一个调度单元作为当前处理单元，并根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件803。
硬件执行组件803，用于执行硬件调度组件分配的任务。
可选的，软件管理组件802可以包括：任务定义子组件和任务调度子组件。其中，任务定义子组件，用于获取与目标数据处理过程对应的全部任务；根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元；根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流；将所述至少一个任务流作为与目标数据处理过程匹配的任务组发送给任务调度子组件。任务调度子组件，用于将任务定义子组件发送的任务组分配给硬件调度组件802。
示例性的，图8b为本发明实施例八提供的一种任务处理系统的结构示意图。如图8b所示，该系统具体包括：一个软件管理组件，两个硬件调度组件：硬件调度组件1和硬件调度组件2，八个硬件执行组件：硬件执行组件甲1、硬件执行组件乙1、硬件执行组件丙1、硬件执行组件丁1、硬件执行组件甲2、硬件执行组件乙2、硬件执行组件丙2、以及硬件执行组件丁2。
示例性的，图8c为本发明实施例八提供的一种任务组的示意图。如图8c所示，任务组包括一组任务流。当前的任务流中包括：任务甲1、等待事件1、任务乙1、任务帧(包括任务甲2和任务丙1)、任务向量(包括任务丙1、任务甲3以及任务乙2)、任务丁1、通知事件2以及屏障1。
本发明实施例提供了一种任务处理系统，通过软件管理组件根据各项任务的依赖关系和定义规则对任务进行处理，将处理后的任务分配给硬件调度组件，通过硬件调度组件根据各个处理单元的类型，将处理单元中的任务分配给对应的硬件调度组件，解决了现有技术在将任务分配给任务执行模块执行时，可能会造成硬件中某些任务执行模块空闲，同时任务同步的开销也会严重影响系统性能的问题，可以减少任务的仲裁，提升任务处理效率，减少任务同步的性能开销。
实施例九
图9为本发明实施例九提供的一种设备的结构示意图。图9示出了适于用来实现本发明实施方式的示例性设备12的框图。图9显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，设备12以通用计算机设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图9中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
设备12的处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的任务处理方法。该方法具体可以包括：获取与目标数据处理过程对应的全部任务；根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元；根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流；将至少一个任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件。
或者，该方法具体可以包括：从软件管理组件分配的任务组中获取一个任务流，任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧；从任务流中获取一个调度单元作为当前处理单元，并根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件。
实施例十
本发明实施例十还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的任务处理方法。该方法具体可以包括：获取与目标数据处理过程对应的全部任务；根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元；根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流；将至少一个任务流作为与目标数据处理过程匹配的任务组分配给硬件调度组件。
或者，该方法具体可以包括：从软件管理组件分配的任务组中获取一个任务流，任务流由至少一个调度单元构成；调度单元为任务、任务向量或任务帧；从任务流中获取一个调度单元作为当前处理单元，并根据当前处理单元的单元类型，将当前处理单元中的任务分配给对应的硬件执行组件。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Ruby、Go，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，以及AI算法的计算机语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (16)
1.一种任务处理方法，其特征在于，包括：
获取与目标数据处理过程对应的全部任务；
根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元；
根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流；
将所述至少一个任务流作为与所述目标数据处理过程匹配的任务组分配给硬件调度组件。
2.根据权利要求1所述的方法，其特征在于，所述第一定义规则包括：所述调度单元包括：任务、任务向量以及任务帧；
其中，所述任务为一项任务；所述任务向量由一组在不同硬件执行组件上执行的任务构成，且各项任务之间没有数据依赖；所述任务帧由一组任务构成，任意两项连续的任务之间存在数据依赖，且与各项任务对应的硬件执行组件之间存在通信连接。
3.根据权利要求1所述的方法，其特征在于，所述第二定义规则包括：各个任务流中包含至少一个调度单元，所述各个任务流中的任意两个连续的调度单元存在数据依赖，所述各个任务流之间不存在数据依赖。
4.根据权利要求1所述的方法，其特征在于，在将所述至少一个任务流作为与所述目标数据处理过程匹配的任务组分配给硬件调度组件之前，还包括：
在所述任务组中的各个任务流中添加屏障，所述屏障用于通知所述硬件调度组件等待当前任务流中的各项任务执行结束；
根据预设的依赖关系添加信息，在所述任务组中的任务流中添加等待事件和通知事件，所述等待事件和所述通知事件用于在所述任务组中的任务流之间添加依赖关系。
5.一种任务处理方法，其特征在于，包括：
从软件管理组件分配的任务组中获取一个任务流，所述任务流由至少一个调度单元构成；所述调度单元为任务、任务向量或任务帧；
从所述任务流中获取一个调度单元作为当前处理单元，并根据所述当前处理单元的单元类型，将所述当前处理单元中的任务分配给对应的硬件执行组件。
6.根据权利要求5所述的方法，其特征在于，所述当前处理单元为任务，所述任务为一项任务；
根据所述当前处理单元的单元类型，将所述当前处理单元中的任务分配给对应的硬件执行组件，包括：
判断与所述任务对应的硬件执行组件是否有空闲虚拟执行通道；
如果与所述任务对应的硬件执行组件有空闲虚拟执行通道，则将所述任务分配给所述硬件执行组件，并配置对应的消息通知调度模块，以使所述硬件执行组件执行所述任务，并在所述任务执行结束后返回任务完成信息；
如果与所述任务对应的硬件执行组件没有空闲虚拟执行通道，则停止处理所述任务流，并重新从所述任务组中获取一个任务流进行处理。
7.根据权利要求5所述的方法，其特征在于，所述当前处理单元为任务向量，所述任务向量由一组在不同硬件执行组件上执行的任务构成，且各项任务之间没有数据依赖；
根据所述当前处理单元的单元类型，将所述当前处理单元中的任务分配给对应的硬件执行组件，包括：
判断与所述任务向量对应的各硬件执行组件是否都有空闲虚拟执行通道；
如果所述各硬件执行组件都有空闲虚拟执行通道，则将所述任务向量中的各项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使各硬件执行组件执行对应的任务，并在所述对应的任务执行结束后返回任务完成信息；
如果所述各硬件执行组件中存在没有空闲虚拟执行通道的硬件执行组件，则停止处理所述任务流，并重新从所述任务组中获取一个任务流进行处理。
8.根据权利要求5所述的方法，其特征在于，所述当前处理单元为任务帧，所述任务帧由一组任务构成，任意两项连续的任务之间存在数据依赖，且与各项任务对应的硬件执行组件之间存在通信连接；
根据所述当前处理单元的单元类型，将所述当前处理单元中的任务分配给对应的硬件执行组件，包括：
判断所述任务帧中的当前任务以及下一项任务对应的硬件执行组件是否都有空闲虚拟执行通道；
如果所述当前任务以及所述下一项任务对应的硬件执行组件都有空闲虚拟执行通道，则将所述当前任务以及下一项任务分配给对应的硬件执行组件，并配置对应的消息通知调度模块，以使与所述当前任务对应的硬件执行组件执行所述当前任务，并在所述当前任务执行结束后，通知与所述下一项任务对应的硬件执行组件执行所述下一项任务；
其中，与所述任务帧中的最后一项任务对应的硬件执行组件在所述最后一项任务执行结束后返回任务完成信息。
9.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在从所述任务流中获取到屏障时，等待所述任务流中的各项任务执行结束；
在确定所述任务流中的各项任务执行结束后，发送任务流执行完成信息给软件管理组件。
10.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在从所述任务流中获取到等待事件时，停止处理所述任务流，并重新从所述任务组中获取一个任务流进行处理；
在从所述任务流中获取到通知事件时，继续处理与所述通知事件对应的任务流。
11.一种任务处理装置，其特征在于，包括：
任务获取模块，用于获取与目标数据处理过程对应的全部任务；
调度单元生成模块，用于根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元；
任务流生成模块，用于根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流；
任务组分配模块，用于将所述至少一个任务流作为与所述目标数据处理过程匹配的任务组分配给硬件调度组件。
12.一种任务处理装置，其特征在于，包括：
任务流获取模块，用于从软件管理组件分配的任务组中获取一个任务流，所述任务流由至少一个调度单元构成；所述调度单元为任务、任务向量或任务帧；
任务分配模块，用于从所述任务流中获取一个调度单元作为当前处理单元，并根据所述当前处理单元的单元类型，将所述当前处理单元中的任务分配给对应的硬件执行组件。
13.一种任务处理系统，其特征在于，包括：
软件管理组件、至少一个硬件调度组件以及至少一个硬件执行组件；
其中，所述软件管理组件，用于执行如权利要求1-4中任一所述的任务处理方法；
所述硬件调度组件，用于执行如权利要求5-10中任一所述的任务处理方法；
所述硬件执行组件，用于执行所述硬件调度组件分配的任务。
14.根据权利要求13所述的系统，其特征在于，所述软件管理组件包括：任务定义子组件和任务调度子组件；
其中，所述任务定义子组件，用于获取与目标数据处理过程对应的全部任务；根据各项任务的依赖关系和第一定义规则，生成至少一个调度单元；根据各个调度单元的依赖关系和第二定义规则，生成至少一个任务流；将所述至少一个任务流作为与目标数据处理过程匹配的任务组发送给所述任务调度子组件；
所述任务调度子组件，用于将所述任务定义子组件发送的所述任务组分配给硬件调度组件。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任一所述的任务处理方法，或者如权利要求5-10任一所述的任务处理方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一所述的任务处理方法，或者如权利要求5-10任一所述的任务处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910481717.5A CN110187958B (zh) | 2019-06-04 | 2019-06-04 | 一种任务处理方法、装置、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910481717.5A CN110187958B (zh) | 2019-06-04 | 2019-06-04 | 一种任务处理方法、装置、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110187958A true CN110187958A (zh) | 2019-08-30 |
| CN110187958B CN110187958B (zh) | 2020-05-05 |
Family
ID=67720197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910481717.5A Active CN110187958B (zh) | 2019-06-04 | 2019-06-04 | 一种任务处理方法、装置、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110187958B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110597611A (zh) * | 2019-09-19 | 2019-12-20 | 中国银行股份有限公司 | 任务调度方法及装置 |
| CN110968412A (zh) * | 2019-12-13 | 2020-04-07 | 武汉慧联无限科技有限公司 | 一种任务执行方法、系统及存储介质 |
| CN111552653A (zh) * | 2020-05-14 | 2020-08-18 | 上海燧原科技有限公司 | 页表的读取方法、装置、设备及计算机存储介质 |
| CN111782426A (zh) * | 2020-07-10 | 2020-10-16 | 上海淇毓信息科技有限公司 | 一种处理客户端任务的方法、装置和电子设备 |
| CN113126968A (zh) * | 2021-05-19 | 2021-07-16 | 网易（杭州）网络有限公司 | 任务执行方法、装置、电子设备和存储介质 |
| CN113282382A (zh) * | 2020-02-19 | 2021-08-20 | 中科寒武纪科技股份有限公司 | 任务处理方法、装置、计算机设备和存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419615A (zh) * | 2008-12-10 | 2009-04-29 | 阿里巴巴集团控股有限公司 | 一种前后台数据库的同步方法及装置 |
| US7721286B2 (en) * | 1993-09-21 | 2010-05-18 | Microsoft Corporation | Preemptive multi-tasking with cooperative groups of tasks |
| CN102521406A (zh) * | 2011-12-26 | 2012-06-27 | 中国科学院计算技术研究所 | 海量结构化数据复杂查询任务的分布式查询方法和系统 |
| US20130298133A1 (en) * | 2012-05-02 | 2013-11-07 | Stephen Jones | Technique for computational nested parallelism |
| CN103645909A (zh) * | 2013-12-30 | 2014-03-19 | 中国烟草总公司湖南省公司 | 定时任务的处理方法及装置 |
| US20150135186A1 (en) * | 2013-11-14 | 2015-05-14 | Institute For Information Industry | Computer system, method and computer-readable storage medium for tasks scheduling |
| CN106371918A (zh) * | 2016-08-23 | 2017-02-01 | 北京云纵信息技术有限公司 | 任务集群调度管理方法及装置 |
| CN108694080A (zh) * | 2017-04-09 | 2018-10-23 | 英特尔公司 | 高效线程组调度 |
| CN109284131A (zh) * | 2013-05-24 | 2019-01-29 | 相干逻辑公司 | 具有可编程优化的存储器-网络处理器 |
| CN109684069A (zh) * | 2017-10-13 | 2019-04-26 | 华为技术有限公司 | 资源管理的方法及终端设备 |
| CN109884915A (zh) * | 2018-12-04 | 2019-06-14 | 中国航空无线电电子研究所 | 一种基于dds的嵌入式软件运行平台设计方法及其仿真平台 |
-
2019
- 2019-06-04 CN CN201910481717.5A patent/CN110187958B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7721286B2 (en) * | 1993-09-21 | 2010-05-18 | Microsoft Corporation | Preemptive multi-tasking with cooperative groups of tasks |
| CN101419615A (zh) * | 2008-12-10 | 2009-04-29 | 阿里巴巴集团控股有限公司 | 一种前后台数据库的同步方法及装置 |
| CN102521406A (zh) * | 2011-12-26 | 2012-06-27 | 中国科学院计算技术研究所 | 海量结构化数据复杂查询任务的分布式查询方法和系统 |
| US20130298133A1 (en) * | 2012-05-02 | 2013-11-07 | Stephen Jones | Technique for computational nested parallelism |
| CN109284131A (zh) * | 2013-05-24 | 2019-01-29 | 相干逻辑公司 | 具有可编程优化的存储器-网络处理器 |
| US20150135186A1 (en) * | 2013-11-14 | 2015-05-14 | Institute For Information Industry | Computer system, method and computer-readable storage medium for tasks scheduling |
| CN103645909A (zh) * | 2013-12-30 | 2014-03-19 | 中国烟草总公司湖南省公司 | 定时任务的处理方法及装置 |
| CN106371918A (zh) * | 2016-08-23 | 2017-02-01 | 北京云纵信息技术有限公司 | 任务集群调度管理方法及装置 |
| CN108694080A (zh) * | 2017-04-09 | 2018-10-23 | 英特尔公司 | 高效线程组调度 |
| CN109684069A (zh) * | 2017-10-13 | 2019-04-26 | 华为技术有限公司 | 资源管理的方法及终端设备 |
| CN109884915A (zh) * | 2018-12-04 | 2019-06-14 | 中国航空无线电电子研究所 | 一种基于dds的嵌入式软件运行平台设计方法及其仿真平台 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110597611A (zh) * | 2019-09-19 | 2019-12-20 | 中国银行股份有限公司 | 任务调度方法及装置 |
| CN110968412A (zh) * | 2019-12-13 | 2020-04-07 | 武汉慧联无限科技有限公司 | 一种任务执行方法、系统及存储介质 |
| CN110968412B (zh) * | 2019-12-13 | 2022-11-11 | 武汉慧联无限科技有限公司 | 一种任务执行方法、系统及存储介质 |
| CN113282382A (zh) * | 2020-02-19 | 2021-08-20 | 中科寒武纪科技股份有限公司 | 任务处理方法、装置、计算机设备和存储介质 |
| CN113282382B (zh) * | 2020-02-19 | 2024-03-19 | 中科寒武纪科技股份有限公司 | 任务处理方法、装置、计算机设备和存储介质 |
| CN111552653A (zh) * | 2020-05-14 | 2020-08-18 | 上海燧原科技有限公司 | 页表的读取方法、装置、设备及计算机存储介质 |
| CN111782426A (zh) * | 2020-07-10 | 2020-10-16 | 上海淇毓信息科技有限公司 | 一种处理客户端任务的方法、装置和电子设备 |
| CN111782426B (zh) * | 2020-07-10 | 2023-09-22 | 上海淇毓信息科技有限公司 | 一种处理客户端任务的方法、装置和电子设备 |
| CN113126968A (zh) * | 2021-05-19 | 2021-07-16 | 网易（杭州）网络有限公司 | 任务执行方法、装置、电子设备和存储介质 |
| CN113126968B (zh) * | 2021-05-19 | 2024-05-10 | 网易（杭州）网络有限公司 | 任务执行方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110187958B (zh) | 2020-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110187958A (zh) | 一种任务处理方法、装置、系统、设备及存储介质 | |
| CN109117260A (zh) | 一种任务调度方法、装置、设备和介质 | |
| CN107977268A (zh) | 人工智能的异构硬件的任务调度方法、装置及可读介质 | |
| US9277003B2 (en) | Automated cloud workload management in a map-reduce environment | |
| US20200396311A1 (en) | Provisioning using pre-fetched data in serverless computing environments | |
| CN104252391B (zh) | 用于在分布式计算系统中管理多个作业的方法和装置 | |
| WO2018120991A1 (zh) | 一种资源调度方法及装置 | |
| WO2016078008A1 (zh) | 调度数据流任务的方法和装置 | |
| US20090165003A1 (en) | System and method for allocating communications to processors and rescheduling processes in a multiprocessor system | |
| US11210131B2 (en) | Method and apparatus for assigning computing task | |
| US11507419B2 (en) | Method,electronic device and computer program product for scheduling computer resources in a task processing environment | |
| US20120096165A1 (en) | Reallocating resource capacity among resource pools in a cloud computing environment | |
| CN109034396A (zh) | 用于处理分布式集群中的深度学习作业的方法和装置 | |
| CN108228354A (zh) | 调度方法、系统、计算机设备和介质 | |
| US20090282413A1 (en) | Scalable Scheduling of Tasks in Heterogeneous Systems | |
| CN108762687B (zh) | Io服务质量控制方法、装置、设备及存储介质 | |
| CN109800092A (zh) | 一种共享数据的处理方法、装置及服务器 | |
| CN105378668B (zh) | 多处理器系统中的操作系统管理的中断引导 | |
| CN113172625A (zh) | 一种机器人调度方法、装置、设备及存储介质 | |
| CN109086135A (zh) | 资源伸缩方法、装置、计算机设备及存储介质 | |
| CN107678752A (zh) | 一种面向异构集群的任务处理方法及装置 | |
| CN109152061A (zh) | 通道调配方法、装置、服务器及存储介质 | |
| CN109242320B (zh) | 订单分配方法、装置、服务器及存储介质 | |
| CN110688230A (zh) | 一种同步训练方法、装置、计算机设备和存储介质 | |
| CN104598304B (zh) | 用于作业执行中的调度的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 201306 C, 888, west two road, Nanhui new town, Pudong New Area, Shanghai Patentee after: SHANGHAI SUIYUAN INTELLIGENT TECHNOLOGY Co.,Ltd. Country or region after: China Patentee after: Shanghai Suiyuan Technology Co.,Ltd. Address before: 201306 C, 888, west two road, Nanhui new town, Pudong New Area, Shanghai Patentee before: SHANGHAI SUIYUAN INTELLIGENT TECHNOLOGY Co.,Ltd. Country or region before: China Patentee before: SHANGHAI ENFLAME TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |