CN113377360B - 任务执行方法、装置、电子设备、存储介质和程序产品 - Google Patents

Abstract

本公开提供了一种任务执行方法、装置、电子设备、存储介质和程序产品，涉及人工智能领域，具体涉及计算机视觉技术，可应用于基础架构和视频流场景下。具体实现方案为：从算子构架的配置文件中读取第一算子的算子信息，其中，所述配置文件包括已经注册的所述第一算子的算子信息；基于所述算子信息调用所述第一算子执行第一任务。本公开可以降低工作量。

Description

任务执行方法、装置、电子设备、存储介质和程序产品

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉技术，可应用于基础架构和视频流场景下。

背景技术

在计算机程序中算子被广泛应用，目前在添加算子时，在架构中代码文件中添加算子，且在调用算子时，需要先对其进行声明，再调用。

发明内容

本公开提供了一种任务执行方法、装置、电子设备、存储介质和程序产品。

根据本公开的一方面，提供了一种任务执行方法，包括：

从算子构架的配置文件中读取第一算子的算子信息，其中，所述配置文件包括已经注册的所述第一算子的算子信息；

基于所述算子信息调用所述第一算子执行第一任务。

根据本公开的另一方面，提供了一种任务执行装置，包括：

读取模块，用于从算子构架的配置文件中读取第一算子的算子信息，其中，所述配置文件包括已经注册的所述第一算子的算子信息；

第一执行模块，用于基于所述算子信息调用所述第一算子执行第一任务。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开提供的任务执行方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开提供的任务执行方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的任务执行方法。

本公开中，由于调用已注册的算子执行任务，在调用时不需要对算子进行声明，从而可以降低工作量。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开提供的一种任务执行方法的流程图；

图2是本公开提供的一种算子注册的示意图；

图3是本公开提供的一种算子调用的示意图；

图4是本公开提供的一种线程池的示意图；

图5是本公开提供的一种任务执行方法的示意图；

图6是本公开提供的一种任务执行装置的结构图；

图7是本公开提供的另一种任务执行装置的结构图；

图8是本公开提供的另一种任务执行装置的结构图；

图9是本公开提供的另一种任务执行装置的结构图；

图10是用来实现本公开实施例的任务执行方法的电子设备的框图。

实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

请参见图1，图1是本公开提供的一种任务执行方法的流程图，如图1所示，包括以下步骤：

步骤S101、从算子构架的配置文件中读取第一算子的算子信息，其中，所述配置文件包括已经注册的所述第一算子的算子信息。

其中，上述配置文件可以包括已经注册的一个或者多个算子的算子信息，这些算子可以是在步骤S101之前已经注册的。另外，上述配置文件与上述算子构架的工程代码可以是两个独立的程序内容，工程代码可以通过配置文件中的算子信息调用算子。

本公开中，注册可以是在注册函数中注册的算子。算子在注册后即可成为算子架构中可被调用的一个算子，算子架构可以在各个节点调用这些算子。

上述算子信息可以包括算子名，以实现通过算子名对算子进行调用。本公开中，在一些实施方式中，算子信息也可以包括算子的标识，以通过算子标识来确定算子，并调用算子。

步骤S102、基于所述算子信息调用所述第一算子执行第一任务。

上述基于所述算子信息调用所述第一算子执行第一任务可以是，基于上述算子信息使用注册函数获取上述第一算子对应的实现，并调用上述第一算子对应的实现执行上述第一任务，其中，第一算子对应的实现可以是第一算子对应的代码或者函数。

需要说明的是，本公开中，上述第一算子可以是计算机程序中可应用的任一算子，上述第一任务可以是计算机程序中第一算子可处理的任一任务，具体可以根据实际需求进行设定。

本公开中，通过上述步骤可以实现调用已注册的算子执行任务，这样在调用时不需要对算子进行声明，从而可以降低工作量。

本公开中，上述方法可以应用于电子设备，例如：计算机、手机、平板电脑、服务器等电子设备。

作为一种可选的实施方式，所述方法还包括：

将所述第一算子的代码进行封装，得到算子类；

将所述第一算子的算子名和算子指针以键值对的方式加入无序图中，并在所述算子类中添加所述无序图对应的注册代码，以完成所述第一算子的注册；

在所述配置文件中添加所述第一算子的算子名，其中，所述算子信息包括所述算子名。

上述将所述第一算子的代码进行封装可以是，对上述第一算子的代码按照统一接口进行封装，得到上述算子类。

在得到上述算子类后，将上述第一算子的算子名和算子指针以键值对的方式加入无序图中，该无序图中包括算子名和算子指针的对应关系。

上述在所述算子类中添加所述无序图对应的注册代码可以是，在上述算子类的最后一行中添加上述注册代码，将第一算子添加到注册表中。例如：如图2所示，将第一算子的代码按照统一接口封装得到算子类，之后，在算子类中添加注册代码，将第一算子添加到注册表中。

该实施方式中，由于将算子名和算子指针以键值对的方式加入无序图中，这样可以实现以算子名对第一算子进行调用，以简化算子调用过程。

另外，上述实施方式中，还可以通过模板类支持创建不同类型算子的注册，实现算子架构的灵活扩展。进一步的，可以通过一个注册类管理已经注册的算子，如管理算子的注册名，以及用于对算子进行解注册等管理。

需要说明的是，本公开中并不限定上述算子注册方式，例如：还可以直接基于非键值对的方式对算子进行注册。

在一些实施方式中，可以如图3所示，从配置文件中读取第一算子的算子信息，在得到算子信息后，根据注册函数获取第一算子对应算子指针和算子类，再调用第一算子执行第一任务。其中，通过获取第一算子对应算子指针和算子类可以得到第一算子对应的实现，即第一算子的程序代码。

作为一种可选的实施方式，所述第一算子包括未就绪状态、就绪状态和正在运行状态，所述基于所述算子信息调用所述第一算子执行第一任务，包括：

在所述第一算子处于所述就绪状态的情况下，将所述第一任务添加到调度程序队列；

在所述第一任务为所述调度程序队列的最高优先级的情况下，所述调度程序队列的执行器基于所述算子信息调用所述第一算子执行所述第一任务。

其中，未就绪状态可以表示还不存在算子要处理的数据，而就绪状态表示存在算子要处理的数据，而正在运行状态表示算子当前被调用执行任务。例如：对于没有数据流输入的源算子（本公开中也可以将算子称作节点或者算子节点），源算子总是处于就绪状态，直到没有数据要输出，此时关闭这些源算子，而对于非源算子有要处理的输入，这些算子才处于就绪状态。

另外，算子处于就绪状态可以由就绪函数readiness确定算子是否准备好运行，其中，在算子架构初始化时，每当算子完成运行时，以及每当算子输入的状态发生变化时，都可以调用此函数。

上述算子架构可以包括至少有一个调度程序队列，每个调度程序队列只有一个执行器，算子可以静态地分配给调度程序队列，因此也分配给对应的执行器。在默认情况下，一些调度程序队列的执行器是一个线程池，具体可以包含基于系统功能的多个线程，以实现多线程调度，进而提高工作效率。另外，每个调度程序队列可以根据实际需求配置不同的执行器，且执行器的线程池可以定制执行资源，例如：通过低优先级线程运行一些算子。

另外，上述调度程序队列为优先级队列，优先级函数可以是固定，任务的优先级可以为算子的优先级，算子的优先级可以基于算子的静态属性和算子构架的拓扑排序确定。例如：靠近算子框架的输出端的算子具备较高的优先级，且源算子的优先级最低。当然，算子的优先级也可以预先配置的，对此不作限定。

上述实施方式中，由于在第一算子处于就绪状态的情况下，将第一任务添加到调度程序队列，这样可以避免调度程序队列过长，节约计算资源，且在最高优先级时才调用第一算子执行任务，这样保障了各任务的有序执行，从而提高算子架构的整体性能。

在一些实施方式中，可以为第一算子分配多个线程，不同线程可以处理不同的数据，从而可以提高工作效率。例如：如图4所示，每个算子对应一个任务，在算子对应的任务加入调度程序队列后，根据配置文件中的配置参数，给每个算子分配多个线程，且不同算子分配的线程数可以相同或者不同，另外，同一个算子多线程作业时，对处理的数据可以按照时间戳进行排序输出。

作为一种可选的实施方式，所述方法还包括：

调度已经注册的第二算子针对第一数据执行第二任务，得到第三数据，所述第一数据为调用所述第一算子执行所述第一任务输出的第一数据；

调度已经注册的第三算子针对第二数据执行第三任务，得到第四数据，所述第二数据为调用所述第一算子执行所述第一任务输出的第二数据；

将所述第三数据和第四数据进行时间同步处理，并调用已经注册的第四算子对所述时间同步处理后的所述第三数据和第四数据执行第四任务。

该实施方式中，上述第二算子、第三算子和第四算子的注册可以参见第一算子的注册，此处不作赘述。

上述第一数据和第二数据可以是，由上述第一算子执行上述第一任务之后输出的两个或者两组相同时间戳的数据。例如：如图5所示，输入数据0，时间戳为时间戳0，第一算子针对数据0执行第一任务，分别输出数据1a和数据1b，时间戳为时间戳1，第二算子和第三算子分别对数据1a和数据1b进行处理，输出数据2a和数据2b，时间戳为时间戳2，对数据2a和数据2b进行同步处理，得到数据3，时间戳为时间戳3，之后再由第四算子对数据3进行处理，输出数据4，时间戳为时间戳4。需要说明的是，图5所示的举例中，数据2a和数据2b的时间戳也可以不同。

上述实施方式中，由于第三数据和第四数据进行时间同步处理，这样可以使得多个算子对同一个算子的输出数据进行处理后的数据是同步的，从而后续算子对这些数据进行处理时，可以同步处理这些数据，进而提高数据处理性能。另外，由于对多个算子处理后的数据进行同步，从而支持全局时钟的算子架构，使得该算子构架中不同的算子可以同时处理来自不同时间戳的数据，以允许通过流水线处理数据，达到提高算子构架吞吐量的效果。

作为一种可选的实施方式，所述方法还包括：

对所述第一算子执行解注册，并删除所述配置文件中所述第一算子的算子信息。

上述解注册可以理解为在算子构架中删除上述第一算子。

在一些实施方式中，上述解注册可以删除无序图中上述第一算子的算子名和算子指针的键值对。

该实施方式中，可以实现在删除算子只需要对算子进行解注册，以及删除配置文件中的算子信息，而不需要修改调用算子的工程代码，以及调整算子构架的架构设计，进而降低工作量。

进一步的，本公开中在添加或者修改算子时只需要修改上述配置文件，以及对添加或者修改的算子执行注册，以实现通过注册机制实现算子的添加、修改和删除，将算子与架构解耦开，通过对一个配置文件的操作可以实现对算子的添加、删除或修改。而通过修改配置文件实现架构的重新设计，无需进行其他修改，可方便快速的调整算子架构，实现算子的调整，进而降低工作量。且由于无需进行其他修改从而可以减少操作错误的产生，从而可以提高工作的准确率。

另外，本公开中的算子架构可以支持确定性操作，从而支持更多的应用场景，如测试、模拟、批处理等，进一步，还可以放宽确定性以满足实时约束，进而提高算子构架的整体效果。

本公开中，可以实现调用已注册的算子执行任务，这样在调用时不需要对算子进行声明，从而可以降低工作量。

请参见图6，图6是本公开提供的一种任务执行装置，如图6所示，任务执行装置600包括：

读取模块601，用于从算子构架的配置文件中读取第一算子的算子信息，其中，所述配置文件包括已经注册的所述第一算子的算子信息；

第一执行模块602，用于基于所述算子信息调用所述第一算子执行第一任务。

可选的，如图7所示，所述装置还包括：

封装模块603，用于将所述第一算子的代码进行封装，得到算子类；

注册模块604，用于将所述第一算子的算子名和算子指针以键值对的方式加入无序图中，并在所述算子类中添加所述无序图对应的注册代码，以完成所述第一算子的注册；

添加模块605，用于在所述配置文件中添加所述第一算子的算子名，其中，所述算子信息包括所述算子名。

可选的，所述第一算子包括未就绪状态、就绪状态和正在运行状态，所述第一执行模块602用于在所述第一算子处于所述就绪状态的情况下，将所述第一任务添加到调度程序队列；以及在所述第一任务为所述调度程序队列的最高优先级的情况下，所述调度程序队列的执行器基于所述算子信息调用所述第一算子执行所述第一任务。

可选的，如图8所示，所述装置还包括：

第二执行模块606，用于调度已经注册的第二算子针对第一数据执行第二任务，得到第三数据，所述第一数据为调用所述第一算子执行所述第一任务输出的第一数据；

第三执行模块607，用于调度已经注册的第三算子针对第二数据执行第三任务，得到第四数据，所述第二数据为调用所述第一算子执行所述第一任务输出的第二数据；

第四执行模块608，用于将所述第三数据和第四数据进行时间同步处理，并调用已经注册的第四算子对所述时间同步处理后的所述第三数据和第四数据执行第四任务。

可选的，如图9所示，所述装置还包括：

解注册模块609，用于对所述第一算子执行解注册，并删除所述配置文件中所述第一算子的算子信息。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器（ROM）1002中的计算机程序或者从存储单元1008加载到随机访问存储器（RAM）1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出（I/O）接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如任务执行方法。例如，在一些实施例中，任务执行方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的任务执行方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行任务执行方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (8)

1.一种任务执行方法，包括：

从算子构架的配置文件中读取第一算子的算子信息，其中，所述配置文件包括已经注册的所述第一算子的算子信息；

基于所述算子信息调用所述第一算子执行第一任务；

所述方法还包括：

将所述第一算子的代码进行封装，得到算子类；

将所述第一算子的算子名和算子指针以键值对的方式加入无序图中，并在所述算子类中添加所述无序图对应的注册代码，以完成所述第一算子的注册；

在所述配置文件中添加所述第一算子的算子名，其中，所述算子信息包括所述算子名；

调度已经注册的第二算子针对第一数据执行第二任务，得到第三数据，所述第一数据为调用所述第一算子执行所述第一任务输出的第一数据；

调度已经注册的第三算子针对第二数据执行第三任务，得到第四数据，所述第二数据为调用所述第一算子执行所述第一任务输出的第二数据；

将所述第三数据和第四数据进行时间同步处理，并调用已经注册的第四算子对所述时间同步处理后的所述第三数据和第四数据执行第四任务。

2.根据权利要求1所述的方法，其中，所述第一算子包括未就绪状态、就绪状态和正在运行状态，所述基于所述算子信息调用所述第一算子执行第一任务，包括：

在所述第一算子处于所述就绪状态的情况下，将所述第一任务添加到调度程序队列；

在所述第一任务为所述调度程序队列的最高优先级的情况下，所述调度程序队列的执行器基于所述算子信息调用所述第一算子执行所述第一任务。

3.根据权利要求1至2中任一项所述的方法，所述方法还包括：

对所述第一算子执行解注册，并删除所述配置文件中所述第一算子的算子信息。

4.一种任务执行装置，包括：

读取模块，用于从算子构架的配置文件中读取第一算子的算子信息，其中，所述配置文件包括已经注册的所述第一算子的算子信息；

第一执行模块，用于基于所述算子信息调用所述第一算子执行第一任务；

所述装置还包括：

封装模块，用于将所述第一算子的代码进行封装，得到算子类；

注册模块，用于将所述第一算子的算子名和算子指针以键值对的方式加入无序图中，并在所述算子类中添加所述无序图对应的注册代码，以完成所述第一算子的注册；

添加模块，用于在所述配置文件中添加所述第一算子的算子名，其中，所述算子信息包括所述算子名；

第二执行模块，用于调度已经注册的第二算子针对第一数据执行第二任务，得到第三数据，所述第一数据为调用所述第一算子执行所述第一任务输出的第一数据；

第三执行模块，用于调度已经注册的第三算子针对第二数据执行第三任务，得到第四数据，所述第二数据为调用所述第一算子执行所述第一任务输出的第二数据；

第四执行模块，用于将所述第三数据和第四数据进行时间同步处理，并调用已经注册的第四算子对所述时间同步处理后的所述第三数据和第四数据执行第四任务。

5.根据权利要求4所述的装置，其中，所述第一算子包括未就绪状态、就绪状态和正在运行状态，所述第一执行模块用于在所述第一算子处于所述就绪状态的情况下，将所述第一任务添加到调度程序队列；以及在所述第一任务为所述调度程序队列的最高优先级的情况下，所述调度程序队列的执行器基于所述算子信息调用所述第一算子执行所述第一任务。

6.根据权利要求4至5中任一项所述的装置，所述装置还包括：

解注册模块，用于对所述第一算子执行解注册，并删除所述配置文件中所述第一算子的算子信息。

7. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-3中任一项所述的方法。