CN113326113B - 任务处理方法及装置、电子设备和存储介质 - Google Patents

任务处理方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113326113B
CN113326113B CN202110572472.4A CN202110572472A CN113326113B CN 113326113 B CN113326113 B CN 113326113B CN 202110572472 A CN202110572472 A CN 202110572472A CN 113326113 B CN113326113 B CN 113326113B
Authority
CN
China
Prior art keywords
model
training
operation unit
target
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110572472.4A
Other languages
English (en)
Other versions
CN113326113A (zh
Inventor
吴晓强
李韡
暴天鹏
杨凯
吴立威
高原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110572472.4A priority Critical patent/CN113326113B/zh
Publication of CN113326113A publication Critical patent/CN113326113A/zh
Application granted granted Critical
Publication of CN113326113B publication Critical patent/CN113326113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种任务处理方法及装置、电子设备和存储介质；方法包括：获取实现训练服务的训练全景图；所述训练全景图包括至少一个操作单元和每一所述操作单元对应的拓扑顺序；所述训练服务用于训练处理目标任务的至少一个待训练模型；将所述至少一个操作单元转换为对应的至少一个目标操作单元；基于每一所述操作单元的拓扑顺序和所述至少一个目标操作单元，生成所述实现推理服务的推理全景图；所述推理服务用于调用处理所述目标任务的至少一个已训练模型；所述至少一个已训练模型是对所述至少一个待训练模型进行训练得到的；基于推理全景图处理目标任务。通过本公开提供的任务处理方法，能够降低开发成本，提升任务处理效率。

Description

任务处理方法及装置、电子设备和存储介质
技术领域
本公开涉及人工智能技术领域，尤其涉及一种任务处理方法及装置、电子设备和存储介质。
背景技术
人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
传统技术中，基于人工智能的服务开发过程中，模型生成与模型应用过程分离，在生成服务的过程中，需要较多的沟通成本。
发明内容
本公开实施例提供一种任务处理方法及装置、电子设备和存储介质，能够降低开发成本，提升任务处理效率。
本公开实施例的技术方案是这样实现的：
本公开实施例提供一种任务处理方法，包括：获取实现训练服务的训练全景图；所述训练全景图包括至少一个操作单元和每一所述操作单元对应的拓扑顺序；所述训练服务用于训练处理目标任务的至少一个待训练模型；将所述至少一个操作单元转换为对应的至少一个目标操作单元；基于每一所述操作单元的拓扑顺序和所述至少一个目标操作单元，生成所述实现推理服务的推理全景图；所述推理服务用于调用处理所述目标任务的至少一个已训练模型；所述至少一个已训练模型是对所述至少一个待训练模型进行训练得到的；基于所述推理全景图处理所述目标任务。
本公开实施例可以将目标任务在训练过程中的工作流程自动转换为目标任务的应用流程，相比于传统技术中需要模型开发人员与业务实现人员进行沟通后实现该目标任务的方式，本公开可以减少沟通成本，极大地减少了模型开发工程落地的工作量，有利于快速地实现和迭代客户的需求。同时，由于避免了人工对于目标任务的参与，降低了目标任务的开发成本和出错概率。
在一些可能的实现方式中，所述操作单元包括用于执行待训练模型的训练过程的模型训练单元；所述将所述至少一个操作单元转换为对应的至少一个目标操作单元，包括：将所述模型训练单元转换至对应的模型推理单元；所述模型推理单元用于调用已训练模型执行模型推理过程。
在一些可能的实现方式中，所述操作单元还包括用于执行数据处理过程的数据处理单元；所述将所述至少一个操作单元转换为对应的至少一个目标操作单元，还包括：基于每一所述操作单元对应的拓扑顺序，确定所述数据处理单元对应的上游模型训练单元和所述数据处理单元对应下游模型训练单元；获取所述上游模型训练单元对应的待训练模型的输出数据，和所述下游模型训练单元的待训练模型的输入数据，确定所述数据处理单元的数据转换逻辑；将所述数据处理单元转换至对应的数据推理单元；所述数据推理单元用于根据所述数据转换逻辑执行数据推理过程。
通过上述公开实施例，可以针对不同的操作单元执行对应的映射过程，得到每一操作单元在推理全景图中对应的目标操作单元，实现了训练过程中操作单元与推理过程中目标操作单元之间的逻辑转换，为生成对应的推理全景图、推理服务提供了数据基础。同时，对用于执行待训练模型的训练过程的模型训练单元和用于执行数据处理过程的数据处理单元，采用不同的转换逻辑得到对应地模型推理单元和数据推理单元，可以提升训练过程中操作单元与推理过程中目标操作单元之间转换的准确度。
在一些可能的实现方式中，所述基于每一所述操作单元的拓扑顺序和所述至少一个目标操作单元，生成所述实现推理服务的推理全景图，包括：根据每一所述目标操作单元的拓扑顺序，确定每一所述目标操作单元的拓扑顺序；根据所述每一所述目标操作单元和每一所述目标操作单元的拓扑顺序，生成所述推理全景图。
在一些可能的实现方式中，所述基于所述推理全景图处理所述目标任务，包括：基于所述推理全景图中每一所述目标操作单元的拓扑顺序，生成每一所述目标操作单元的推理工作流；基于每一所述目标操作单元和对应的推理工作流，生成推理服务；利用所述推理服务处理所述目标任务，得到处理结果。
通过上述公开实施例，可以快速的将训练全景图中的各个操作单元的拓扑顺序迁移至推理全景图中各个目标操作单元的拓扑顺序，提升了推理图转换效率；同时，基于得到的各个目标操作单元的拓扑顺序，生成了具有推理工作流的推理服务，实现了开发过程至应用过程的完整迁移，得到了用于处理目标任务的推理服务，不仅缩短了开发时间，提升开发效率，还可以在训练全景图频繁变化的情况下，生成与之对齐的准确的推理服务，在功能迭代更新的过程中，可以保证推理服务的更新速度，间接地提升了目标任务的处理效果。
在一些可能的实现方式中，所述训练全景图还包括每一所述操作单元对应的输入资源单元和输出资源单元；所述方法还包括：接收用户发出的针对所述训练全景图的第一查看请求；响应于所述第一查看请求，通过第一界面展示每一所述操作单元、作为每一所述操作单元的数据输入的输入资源单元、和作为每一所述操作单元的数据输出的输出资源单元；其中，每一所述操作单元分别和所述输入资源单元、所述输出资源单元存在连接关系；所述第一界面中的连接关系用于表征每一所述操作单元对应的拓扑顺序。
上述公开实施例，通过可视化界面显示推理服务在训练过程中的操作单元的连接关系/拓扑顺序，便于开发人员获取当前训练方案的整体情况。
在一些可能的实现方式中，所述方法还包括：接收用户发出的针对所述操作单元的配置操作；响应于所述配置操作，在所述操作单元为模型训练单元的情况下，解析所述配置操作以得到所述模型训练单元对应的模型获取地址和模型输出地址；所述模型获取地址用于获取所述待训练模型，所述模型输出地址用于存储所述已训练模型；响应于所述配置操作，在所述操作单元为所述数据处理单元的情况下，解析所述配置操作以得到数据转换逻辑；所述数据转换逻辑用于确定所述数据处理单元的输入数据和输出数据之间的转换关系。
上述公开实施例，可以接收开发人员针对每一操作单元的配置操作，提升了针对目标任务的开发过程中的开发效率。
在一些可能的实现方式中，所述方法还包括：接收用户发出的训练启动操作；所述训练启动操作用于启动至少一个目标待训练模型的训练任务；响应于所述训练启动操作，训练每一所述目标待训练模型，以得到所述至少一个目标已训练模型；其中，所述训练每一所述目标待训练模型，以得到所述至少一个目标已训练模型，包括：在每一所述目标待训练模型对应的操作单元中获取每一所述目标待训练模型的模型获取地址和模型输出地址；基于每一所述目标待训练模型的模型获取地址，获取所述目标训练组件对应的待训练的目标神经网络模型；将每一所述目标待训练模型对应的操作单元的输入资源单元作为训练集，对每一所述目标待训练模型进行训练，得到每一所述目标待训练模型对应的目标已训练模型；基于每一所述目标待训练模型的模型输出地址，存储每一所述目标待训练模型对应的目标已训练模型，以完成所述训练任务。
上述公开实施例，通过接收用于针对训练服务对应的部分神经网络模型的训练启动操作，对部分的神经网络模型进行单独训练，极大增加了测试开发的灵活性，支持拆分测试，局部替换测试，帮助开发人员快速定位算法问题。
本公开实施例提供一种任务处理装置，所述装置包括：
获取模块，用于获取实现训练服务的训练全景图；所述训练全景图包括至少一个操作单元和每一所述操作单元对应的拓扑顺序；所述训练服务用于训练处理目标任务的至少一个待训练模型；
转换模块，用于将所述至少一个操作单元转换为对应的至少一个目标操作单元；
生成模块，用于基于每一所述操作单元的拓扑顺序和所述至少一个目标操作单元，生成所述实现推理服务的推理全景图；所述推理服务用于调用处理所述目标任务的至少一个已训练模型；所述至少一个已训练模型是对所述至少一个待训练模型进行训练得到的；
处理模块，用于基于所述推理全景图处理所述目标任务。
本公开实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本公开实施例提供的任务处理方法。
本公开实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本公开实施例提供的任务处理方法。
本公开实施例具有以下有益效果：
本公开实施例可以将目标任务在训练过程中的工作流程自动转换为目标任务的应用流程，相比于传统技术中需要模型开发人员与业务实现人员进行沟通后实现该目标任务的方式，本公开可以减少沟通成本，极大地减少了模型开发工程落地的工作量，有利于快速地实现和迭代客户的需求。同时，由于避免了人工对于目标任务的参与，降低了目标任务的开发成本和出错概率。
附图说明
图1是本公开实施例提供的任务处理系统的一个可选的架构示意图；
图2是本公开实施例提供的电子设备的结构示意图；
图3A是本公开实施例提供的任务处理方法的一个可选的流程示意图；
图3B是本公开实施例提供的目标任务处理过程的示意图；
图4是本公开实施例提供的任务处理方法的一个可选的流程示意图；
图5是本公开实施例提供的任务处理方法的一个可选的流程示意图；
图6A是本公开实施例提供的任务处理方法的一个可选的流程示意图；
图6B是本公开实施例提供的训练全景图的展示界面的界面示意图；
图7是本公开实施例提供的任务处理方法的一个可选的流程示意图；
图8是本公开实施例提供的任务处理方法的一个可选的流程示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使在本实施例中描述的本公开实施例能够以除了在在本实施例中图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
参见图1，图1是本公开实施例提供的任务处理系统100的一个可选的架构示意图，为实现支撑一个任务处理应用，终端400(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。图1还示出了服务器200可以为服务器集群，该服务器集群包括服务器200-1至200-3，同样地，服务器200-1至200-3可以是实体机器，也可以是利用虚拟化技术(如容器技术及虚拟机技术等)构建的虚拟机器，本公开实施例对此不做限定，当然，在本实施例中也可使用单个服务器来进行服务的提供。
参见图2，图2是本公开实施例提供的电子设备500的结构示意图，图2所示的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本公开实施例描述的存储器550旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
在一些可能的实现方式中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
显示模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些可能的实现方式中，本公开实施例提供的任务处理装置可以采用软硬件结合的方式实现，作为示例，本公开实施例提供的任务处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本公开实施例提供的任务处理方法。
在一些可能的实现方式中，本公开实施例提供的任务处理装置可以采用软件方式实现，图2示出了存储在存储器550中的任务处理装置555，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块5551、转换模块5552、生成模块5553和处理模块5554，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中，本公开实施例提供的装置可以采用硬件方式实现，作为示例，本公开实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本公开实施例提供的任务处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件。
通常一个客户具体的业务问题都需要一个比较复杂的人工智能的解决方案，比如：人脸识别需要检测到人脸、抠出人脸区域、矫正人脸角度、判断活体、提取特征、检索比对等。
这个AI处理过程，在类似于人脸这种成熟的场景下相对来讲是固定的。然而在一些新场景，多数方案都要根据情况来定制化设计，定制化的解决方案下这个过程是随着研究实验，更换不同的方法经常调整，每次调整都需要训练到推理过程的方案同步，反复开发调试。最大的痛点就是由于方案的变化，训练到推理的工程化过程，全部依赖人工开发完成，期间算法和工程开发之间的各种细节问题，需要处理训练过程的开发人员和处理推理过程的开发人员进行反复沟通，以完成训练方案和推理方案之间的对齐，进而浪费了大量的开发时间。
基于上述技术问题，本公开提供了一种任务处理方法，可以根据开发过程中定义的训练全景图自动生成对应的推理全景图，进而利用推理全景图对应的推理服务完成对目标任务的处理。
将结合本公开实施例提供的服务器的示例性应用和实施，在本公开实施例中，将以服务器为执行主体说明本公开实施例提供的任务处理方法。
参见图3A，图3A是本公开实施例提供的任务处理方法的一个可选的流程示意图，将结合图3A示出的步骤进行说明。
在S301中，获取实现训练服务的训练全景图；所述训练全景图包括至少一个操作单元和每一所述操作单元对应的拓扑顺序；所述训练服务用于训练处理目标任务的至少一个待训练模型
获取目标任务的训练全景图；训练全景图包括至少一个操作单元和每一操作单元对应的拓扑顺序；目标任务通过训练后的至少一个神经网络模型实现，至少一个操作单元包括每一神经网络模型的训练过程。
在一些可能的实现方式中，为了实现处理该目标任务，需要调用至少一个已训练模型或待训练模型，其中，通过至少一个已训练模型或通过至少一个待训练模型均可以处理该目标任务；相比于至少一个待训练模型来说，至少一个已训练模型的处理效果会好。上述训练全景图中的至少一个操作单元用于对各待训练模型进行训练，以得到各待训练模型对应的已训练模型，进而可以在处理目标任务的过程中，调用该至少一个已训练模型。
在一些可能的实现方式中，该至少一个操作单元中的每一操作单元均用于训练对应的待训练模型，以得到至少一个已训练模型。也就是说，操作单元的数量与神经网络模型的数量相同，每一操作单元均对应一个神经网络模型的训练过程。
在另一些可能的实现方式中，该至少一个操作单元中不仅包括了用于执行待训练模型的训练过程的模型训练单元，还包括了用于执行数据处理过程的数据处理单元。
在一些可能的实现方式中，在该训练全景图中，每一操作单元可以形成一个有向无环图(Directed Acyclic Graph，DAG)，也就是说，所述训练全景图中的所有操作单元各自完成整个训练服务的一部分，且各操作单元之间满足特定执行顺序的约束，其中一些操作单元的开始必须是另一些操作单元执行完成之后。这样，能够确定由所有操作单元组成的任务能够在有效时间内顺利进行。因此，基于该训练全景图可以得到每一操作单元对应的拓扑顺序，该拓扑顺序可以确定每一操作单元在该训练服务中的执行顺序。进一步地，可以基于该拓扑顺序确定每一操作单元之间的数据流关系，例如，存在相邻的两个操作单元，包括第一操作单元和第二操作单元，第一操作单元的拓扑顺序在第二操作单元的拓扑顺序之前，可以确定第二操作单元的输入数据一定是第一操作单元的输出数据的子数据。
在一个示例性的场景下，例如，在输电线路异常检测场景下，为了实现对输电线路的异常情况的检测任务，需要对输电线路设备的拍摄图像进行检测，提取其中的各个零件，并根据各个零件的类型，采用不同的异常识别方法进行判断，确定当前拍摄图像中的输电线路设备的异常情况。
为了处理上述场景下的目标任务，研发人员需要设计用于从拍摄图像中检测不同零件类型的零件检测模型，和针对不同零件类型设计的零件缺陷检测模型。在需要检测的零件类型包括螺母、吊弦和绝缘子的情况下，需要对应的螺母异常检测模型、吊弦异常检测模型和绝缘子异常检测模型。其中，该零件检测模型的输入数据为待检测图像，输出数据为各零件类型对应的零件图像；该螺母异常检测模型的输入数据为螺母图像，输出数据为螺母的异常分数；该吊弦异常检测模型的输入数据为吊弦图像，输出数据为吊弦的异常分数；该绝缘子异常检测模型的输入数据为绝缘子图像，输出数据为绝缘子的异常分数。
为了得到训练后零件缺陷检测模型、螺母异常检测模型、吊弦异常检测模型和绝缘子异常检测模型，需要构建实现训练服务的训练全景图，以完成各个神经网络模型的训练，研发人员根据每一个神经网络模型的功能，可以定义各神经网络模型对应的操作单元的拓扑顺序。其中，在训练服务的训练过程中，该异常检测服务的训练全景图包括零件检测模型对应的第一操作单元；螺母异常检测模型对应的第二操作单元、吊弦异常检测模型对应的第三操作单元和绝缘子异常检测模型对应的第四操作单元；该第一操作单元对应的拓扑顺序为“第一操作单元是第二至第四操作单元的上游步骤”，第二操作单元对应的拓扑顺序为“第二操作单元是第一操作单元的下游步骤”，以此类推。
进一步地，由于第一操作单元的输出数据为各零件类型对应的零件图像，而第二至第四操作单元的输入数据分别为螺母图像、吊弦图像和绝缘子图像。该训练全景图还包括第五操作单元，该第五操作单元的输入数据为各零件类型对应的零件图像，输出数据为螺母图像、吊弦图像和绝缘子图像。因此，在加入第五操作单元之后，该第一操作单元对应的拓扑顺序为“第一操作单元是第五操作单元的上游步骤”，第五操作单元的拓扑顺序为“第五操作单元是第一操作单元的下游步骤、第五操作单元是第二至第四操作单元的上游步骤”，第二操作单元对应的拓扑顺序为“第二操作单元是第五操作单元的下游步骤”，以此类推。
在S302中，将所述至少一个操作单元转换为对应的至少一个目标操作单元。
在一些可能的实现方式中，可以基于预设的映射逻辑，实现每一操作单元至对应的目标操作单元的转换。上述预设的映射逻辑可以包括：基于每一操作单元的操作类型，将每一操作单元转换至对应的目标操作单元。例如，针对用于执行待训练模型的训练过程的模型训练单元，可以将该模型训练单元转换至对应的模型推理单元；针对执行数据处理过程的数据处理单元，可以将该数据处理单元转换为对应的数据推理单元。
在S303中，基于每一所述操作单元的拓扑顺序和所述至少一个目标操作单元，生成所述实现推理服务的推理全景图；所述推理服务用于调用处理所述目标任务的至少一个已训练模型；所述至少一个已训练模型是对所述至少一个待训练模型进行训练得到的。
在一些可能的实现方式中，可以按照每一所述操作单元和每一所述目标操作单元之间的对应关系，将每一所述操作单元对应的拓扑顺序迁移至每一所述目标操作单元中，以得到每一目标操作单元的拓扑顺序；基于每一目标操作单元和对应的拓扑顺序构建该推理全景图。在该推理全景图中，至少一个目标操作可以调用经过训练的至少一个已训练模型，进而实现推理服务。其中，上述至少一个已训练模型是上述训练服务对至少一个待训练模型进行训练后得到的。
在S304中，基于所述推理全景图处理所述目标任务。
在一些可能的实现方式中，该推理全景图可以保存至服务配置文件中，在其他服务器需要处理该目标任务的情况下，可以将该服务配置文件发送至该其他服务器，该其他服务器可以基于上述服务配置文件中的推理全景图还原每一目标操作单元，进而结合各目标操作单元对应的执行顺序，处理目标任务。请参阅图3B，其示出了一种目标任务处理过程的示意图，其中，第一服务器31可以将训练全景图311转换至推理全景图312，在该第一服务器31需要处理该目标任务的情况下，可以直接基于该推理全景图312处理该目标任务；在第二服务器32需要处理该目标任务的情况下，第一服务器31可以将该推理全景图312存储为服务配置文件313，并将该服务配置文件313发送至第二服务器32，第二服务器32中的目标任务处理模块321可以基于该服务配置文件313对推理服务进行还原，以得到推理服务的多个目标操作单元322。在还原该推理服务之后，第二服务器32中的目标任务处理模块321可以对拍摄图像进行处理，得到所有的异常分数。
在另一些可能的实现方式中，还可以通过以下方式处理上述目标任务：获取实现训练服务的训练全景图；所述训练全景图包括至少一个操作单元和与每一所述操作单元存在连接关系的至少两个资源单元；所述训练服务用于训练处理目标任务的至少一个待训练模型；基于每一所述操作单元对应的至少两个资源单元，将每一所述操作单元转换为对应的目标操作单元，并生成每一所述目标操作单元的拓扑顺序；基于每一所述目标操作单元和对应的拓扑顺序，生成所述实现推理服务的推理全景图；所述推理服务用于调用处理所述目标任务的至少一个已训练模型；所述至少一个已训练模型是对所述至少一个待训练模型进行训练得到的；基于所述推理全景图处理所述目标任务。
其中，可以通过以下方式实现上述基于每一所述操作单元对应的至少两个资源单元，将每一所述操作单元转换为对应的目标操作单元，并生成每一所述目标操作单元的拓扑顺序：在每一所述操作单元对应的至少两个资源单元中，获取作为每一所述操作单元的输入的输入资源单元和作为每一所述操作单元的输出资源单元；基于每一所述操作单元的所述输入资源单元和所述输出资源单元，确定每一所述操作单元的拓扑顺序；将每一所述操作单元转换至对应的目标操作单元；基于每一所述操作单元的拓扑顺序确定每一所述目标操作单元的拓扑顺序。
在上述实现方式中，针对目标任务的训练全景图实际上不仅可以用于实现训练服务，该训练全景图还包括了推理全景图，其中，该推理全景图可以用于实现推理服务，在将训练全景图转换至对应的推理全景图的过程中，可以对该训练全景图进行局部运行，去除训练全景图中用于训练待训练模型的操作单元的输入资源节点和输出资源节点，将该操作单元转换为调用已训练模型的目标操作单元，以完成训练全景图至推理全景图之间的转换。
需要说明的是，本申请中的目标任务可以为不同场景下的服务，同时，针对不同的应用场景，需要使用的神经网络模型也可能不同；相应地，在对神经网络模型的训练过程中也需要参考神经网络模型的应用场景，从而使得不同应用场景下的神经网络模型所具有的处理手段以及所使用的训练数据集均不同。示例性的，本申请中的任务处理方法不仅可以用于图像分类、语音识别、机器翻译以及人脸识别等应用场景中，还可以应用于其他应用场景中，本申请实施例对此不做具体限定。
还需要说明的是，本申请实施例中的神经网络模型可以是任一种神经网络模型(例如，残差神经网络(Residual Neural Network，ResNet)、应用于嵌入式设备的轻量级的深层神经网络(例如，MobileNet)、网络架构搜索网络(Neural Architecture Search，NASNet)、长短期记忆网络(Long Short-Term Memory，LSTM)等)，也可以是任一种深度学习模型，还可以是其他类型的神经网络模型，本申请实施例对此不做具体限定。
通过本公开实施例对于图3A的上述示例性实施可知，本公开实施例可以将目标任务在训练过程中的工作流程自动转换为目标任务的应用流程，相比于传统技术中需要模型开发人员与业务实现人员进行沟通后实现该目标任务的方式，本公开可以减少沟通成本，极大地减少了模型开发工程落地的工作量，有利于快速地实现和迭代客户的需求。同时，由于避免了人工对于目标任务的参与，降低了目标任务的开发成本和出错概率。
参见图4，图4是本公开实施例提供的任务处理方法的一个可选的流程示意图，基于图3A，图3A中的步骤S303，可以更新为步骤S401，将结合图4示出的步骤进行说明。
在S401中，将所述至少一个操作单元转换为对应的至少一个目标操作单元；所述操作单元包括用于执行待训练模型的训练过程的模型训练单元和/或用于执行数据处理过程的数据处理单元。
在一些可能的实现方式中，上述训练全景图还包括每一操作单元的配置信息，通过每一操作单元的配置信息可以确定该操作单元的步骤功能。基于上述举例，以该操作单元包括用于执行待训练模型的训练过程的模型训练单元和用于执行数据处理过程的数据处理单元为例，在该操作单元的配置信息包括训练过程中的配置参数的情况下，表征该操作单元为用于执行待训练模型的训练过程的模型训练单元，其中，该配置参数可以为神经网络模型的模型获取地址和模型输出地址，也可以为模型训练过程中的初始化模型参数，还可以模型训练过程中的超参数等；在该操作单元的配置信息包括输入数据与输出数据之间的转换关系的情况下，表征该操作单元为用于执行数据处理过程的数据处理单元。
基于上述实际场景下的举例，若一个操作单元的配置信息包括训练过程中的配置参数，该操作单元可以为上述的第一操作单元至第四操作单元；若一个操作单元的配置信息包括输入数据与输出数据之间的转换关系，则该步骤可以为上述的第五操作单元。
在一些可能的实现方式中，在所述操作单元为上述用于执行待训练模型的训练过程的模型训练单元的情况下，上述S401可以通过S4011实现：将所述模型训练单元转换至对应的模型推理单元；所述模型推理单元用于调用已训练模型执行模型推理过程。
其中，该模型训练单元用于基于输入的训练数据对待训练模型进行训练，输出经过训练的已训练模型，因此，在将模型训练单元转换至对应的模型推理单元的过程中，可以通过以下方式完成转换过程：该模型训练单元在训练服务完成后，可以得到对应的训练好的已训练模型，并将该训练好的已训练模型存储至模型输出地址中，在型训练单元转换至对应的模型推理单元的过程中，由于该模型推理单元需要调用该训练好的的已训练模型，因此，该模型推理单元对应的配置信息需要包括该模型输出地址，以使该模型推理单元基于该模型输出地址获取训练好的已训练模型。
在一些可能的实现方式中，在所述操作单元为上述用于执行数据处理过程的数据处理单元的情况下，上述S401可以通过S4012实现：基于每一所述操作单元对应的拓扑顺序，确定所述数据处理单元对应的上游模型训练单元和所述数据处理单元对应下游模型训练单元；获取所述上游模型训练单元对应的待训练模型的输出数据，和所述下游模型训练单元的待训练模型的输入数据，确定所述数据处理单元的数据转换逻辑；将所述数据处理单元转换至对应的数据推理单元；所述数据推理单元用于根据所述数据转换逻辑执行数据推理过程。
其中，可以获取所述数据处理单元对应的上游模型训练单元的输出数据的数据格式，和所述数据处理单元对应下游模型训练单元的输入数据的数据格式，该数据格式可以用于表征数据类型、数据大小、数据尺寸和数据形式等。通过该输入数据的数据格式和输出数据的数据格式，可以对该操作单元的输入数据和/或输出数据的数据格式进行设定，在将数据处理单元转换至对应的数据推理单元的过程中，该数据推理单元的输入数据的数据格式和输出数据的数据格式，与对应的数据处理单元的输入数据的数据格式和输出数据的数据格式相同。
其中，还可以基于数据处理单元的输入数据的数据格式和输出数据的数据格式，确定数据处理单元的数据转换逻辑，在将数据处理单元转换至对应的数据推理单元的过程中，可以生成与该数据转换逻辑相同的数据推理单元。
通过上述公开实施例，可以针对不同的操作单元执行对应的映射过程，得到每一操作单元在推理全景图中对应的目标操作单元，实现了训练过程中操作单元与推理过程中目标操作单元之间的逻辑转换，为生成对应的推理全景图、推理服务提供了数据基础。同时，对用于执行待训练模型的训练过程的模型训练单元和用于执行数据处理过程的数据处理单元，采用不同的转换逻辑得到对应地模型推理单元和数据推理单元，可以提升训练过程中操作单元与推理过程中目标操作单元之间转换的准确度。
参见图5，图5是本公开实施例提供的任务处理方法的一个可选的流程示意图，基于上述实施例，以图3A为例，图3A中的S303还可以包括步骤S3031至S3032，S304还可以包括步骤S3041至S3043，将结合图5示出的步骤进行说明。
在S303中，基于每一所述操作单元的拓扑顺序和所述至少一个目标操作单元，生成所述实现推理服务的推理全景图。
其中，可以通过以下方式实现上述S303：S3031、根据每一所述目标操作单元的拓扑顺序，确定每一所述目标操作单元的拓扑顺序；S3032、根据所述每一所述目标操作单元和每一所述目标操作单元的拓扑顺序，生成所述推理全景图。
在一些实际场景中，基于上述举例，若存在第一至第五操作单元，且该第一操作单元对应的拓扑顺序为“第一操作单元是第五操作单元的上游步骤”，第五操作单元的拓扑顺序为“第五操作单元是第一操作单元的下游步骤、第五操作单元是第二至第四操作单元的上游步骤”，第二操作单元对应的拓扑顺序为“第二操作单元是第五操作单元的下游步骤”，以此类推。在得到每一操作单元对应的目标操作单元之后，可以直接将各个操作单元的拓扑顺序迁移至对应的目标操作单元，得到的拓扑顺序为“第一目标操作单元是第五目标操作单元的上游步骤”，第五目标操作单元的拓扑顺序为“第五目标操作单元是第一目标操作单元的下游步骤、第五目标操作单元是第二至第四目标操作单元的上游步骤”，第二目标操作单元对应的拓扑顺序为“第二目标操作单元是第五目标操作单元的下游步骤”，以此类推。
在S304中，基于所述推理全景图处理所述目标任务。
其中，可以通过以下方式实现上述S304：S3041、基于所述推理全景图中每一所述目标操作单元的拓扑顺序，生成每一所述目标操作单元的推理工作流；S3032、基于每一所述目标操作单元和对应的推理工作流，生成推理服务；S3033、利用所述推理服务处理所述目标任务，得到处理结果。
在一些实际场景中，基于上述举例，基于第一至第五目标操作单元的拓扑顺序，生成每一目标操作单元的推理工作流可以包括：先执行第一目标操作单元，再执行第五目标操作单元，由于第五目标操作单元是第二至第四目标操作单元的上游步骤，因此，在执行第五目标操作单元之后，可以并行执行第二至第四目标操作单元。基于上述每一目标操作单元对应的推理工作流，对每一目标操作单元对应的运行代码进行封装，得到该推理全景图对应的推理服务。之后，利用该推理服务可以对该目标任务进行处理得到对应的处理结果，在上述对输电线路的异常情况的检测任务中，可以将待检测的图片输入至该推理服务，该推理服务依次使用第一目标操作单元对该图片进行检测得到各零件类型对应的零件图像，再使用第五目标操作单元对各零件类型对应的零件图像进行处理，得到螺母图像、吊弦图像和绝缘子图像，之后并行使用第二目标操作单元对螺母图像进行检测、第三目标操作单元对吊弦图像进行检测和第四目标操作单元对绝缘子图像进行检测，最后得到螺母图像、吊弦图像和绝缘子图像分别对应的异常分数。
通过上述公开实施例，可以快速的将训练全景图中的各个操作单元的拓扑顺序迁移至推理全景图中各个目标操作单元的拓扑顺序，提升了推理图转换效率；同时，基于得到的各个目标操作单元的拓扑顺序，生成了具有推理工作流的推理服务，实现了开发过程至应用过程的完整迁移，得到了用于处理目标任务的推理服务，不仅缩短了开发时间，提升开发效率，还可以在训练全景图频繁变化的情况下，生成与之对齐的准确的推理服务，在功能迭代更新的过程中，可以保证推理服务的更新速度，间接地提升了目标任务的处理效果。
参见图6A，图6A是本公开实施例提供的任务处理方法的一个可选的流程示意图，基于上述实施例，以图3A为例，图3A中的各个步骤之间，方法还可以包括步骤S601至S602，将结合图6A示出的步骤进行说明。
在S501中，接收用户发出的针对所述训练全景图的第一查看请求。
在本申请的一些实施例中，处理该目标任务的训练服务的训练全景图以配置文件等形式保存在该服务器中，为了可以直观的获取该训练服务在训练过程中的训练全景图，或者为了对该训练过程中各个操作单元的配置信息进行修改或配置，可以通过接收用户发出的针对训练全景图的第一查看请求，进而通过可视化界面展示该训练服务在训练过程中的训练全景图。
在S502中，响应于所述第一查看请求，通过第一界面展示每一所述操作单元、作为每一所述操作单元的数据输入的输入资源单元、和作为每一所述操作单元的数据输出的输出资源单元；其中，每一所述操作单元分别和所述输入资源单元、所述输出资源单元存在连接关系；所述第一界面中的连接关系用于表征每一所述操作单元对应的拓扑顺序。
其中，该训练全景图中还包括与每一操作单元存在连接关系的资源单元，其中，该资源单元可以包括输入资源单元、输出资源单元。针对任意一个资源单元，在资源单元为该训练服务的整体输入数据的情况下，该资源单元可以作为至少一个下游的操作单元的输入数据，在该资源单元为该训练服务的整体输出数据的情况下，该资源单元可以作为至少一个上游的操作单元的输出数据，在上述情况下，该资源单元可以与一个操作单元存在连接关系。在一个资源单元位于两个操作单元之间的情况下，该资源单元为上游的操作单元的输出资源单元，为下游的操作单元的输入资源单元。
需要说明的是，第一界面中的连接关系用于表征每一操作单元对应的拓扑顺序。其中，该连接关系用于表征该连接关系对应的两个单元的先后关系，例如，在该连接关系的第一端对应的单元是两个单元中的上游单元，该第二端对应的单元是两个组件中的下游单元。针对任意一个操作单元，且该操作单元对应多个连接关系，若该操作单元为其中一个第一连接关系的第二端，则该第一连接关系的第一端对应的资源单元为该操作单元的输入资源单元；若该操作单元为其中一个第二连接关系的第一端，则该第二连接关系的第二端对应的资源单元为该操作单元的输出资源单元。
请参阅图6B，其示出了一种训练全景图的展示界面，在图6B中包括第一界面A1，第一至第五操作单元分别对应的操作单元包括A11、A13、A17、A18和A19，其中，第一操作单元对应的操作单元A11与两个资源单元(包括A10和A12)存在连接关系，在A11与A10之间的连接关系中，可以看到A10为该连接关系的第一端，A11为该连接关系的第二端，由此，可以知道资源单元A10为操作单元A11的上游组件；在A11与A12之间的连接关系中，可以看到A11为该连接关系的第一端，A12为该连接关系的第二端，由此，可以知道资源单元A12为操作单元A11的下游组件。基于上述关系，可以得到该目标任务在训练过程中的训练全景图。
在S501中，接收用户发出的针对所述训练全景图的第一查看请求。
在本申请的一些实施例中，处理该目标任务的训练服务的训练全景图以配置文件等形式保存在该服务器中，为了可以直观的获取该训练服务在训练过程中的训练全景图，或者为了对该训练过程中各个操作单元的配置信息进行修改或配置，可以通过接收用户发出的针对训练全景图的第一查看请求，进而通过可视化界面展示该训练服务在训练过程中的训练全景图。
在S502中，响应于所述第一查看请求，通过第一界面展示每一所述操作单元、作为每一所述操作单元的数据输入的输入资源单元、和作为每一所述操作单元的数据输出的输出资源单元；其中，每一所述操作单元分别和所述输入资源单元、所述输出资源单元存在连接关系；所述第一界面中的连接关系用于表征每一所述操作单元对应的拓扑顺序
在一些可能的实现方式中，该推理服务的推理全景图以配置文件等形式保存在该服务器中，为了可以直观的获取该推理服务在推理过程中的推理全景图，或者为了检测上述任务处理方法的转换准确率，可以通过接收用户发出的针对推理全景图的第二查看请求，进而通过可视化界面展示该推理服务在推理过程中的推理全景图。
在一些可能的实现方式中，所述方法还包括：接收用户发出的针对所述推理全景图的第二查看请求。响应于所述第二查看请求，通过第二界面展示每一所述目标操作单元、作为每一所述目标操作单元的数据输入的输入资源单元、和作为每一所述目标操作单元的数据输出的输出资源单元；其中，每一所述目标操作单元分别和所述输入资源单元、所述输出资源单元存在连接关系；所述第二界面中的连接关系用于表征每一所述目标操作单元对应的拓扑顺序。
其中，该推理全景图中还包括与每一目标操作单元存在连接关系的资源单元，其中，该资源单元可以包括输入资源单元、输出资源单元。针对任意一个资源单元，在资源单元为该推理服务的整体输入数据的情况下，该资源单元可以作为至少一个下游的目标操作单元的输入数据，在该资源单元为该推理服务的整体输出数据的情况下，该资源单元可以作为至少一个上游的目标操作单元的输出数据，在上述情况下，该资源单元可以与一个目标操作单元存在连接关系。在一个资源单元位于两个目标操作单元之间的情况下，该资源单元为上游的目标操作单元的输出资源单元，为下游的目标操作单元的输入资源单元。
需要说明的是，第二界面中的连接关系用于表征每一目标操作单元对应的拓扑顺序。其中，该连接关系用于表征该连接关系对应的两个单元的先后关系，例如，在该连接关系的第一端对应的单元是两个单元中的上游单元，该第二端对应的单元是两个组件中的下游单元。针对任意一个目标操作单元，且该目标操作单元对应多个连接关系，若该目标操作单元为其中一个第一连接关系的第二端，则该第一连接关系的第一端对应的资源单元为该目标操作单元的输入资源单元；若该目标操作单元为其中一个第二连接关系的第一端，则该第二连接关系的第二端对应的资源单元为该目标操作单元的输出资源单元。
通过本公开实施例对于图6A的上述示例性实施可知，本公开实施例通过可视化界面显示推理服务在训练过程中的操作单元的连接关系/拓扑顺序，便于开发人员获取当前训练方案的整体情况。
参见图7，图7是本公开实施例提供的任务处理方法的一个可选的流程示意图，基于上述实施例，以图6A为例，在图6A之后，所述方法还可以包括步骤S701至S703，将结合图7示出的步骤进行说明。
在S701中，接收用户发出的针对所述操作单元的配置操作。
在S702中，响应于所述配置操作，在所述操作单元为模型训练单元的情况下，解析所述配置操作以得到所述模型训练单元对应的模型获取地址和模型输出地址；所述模型获取地址用于获取所述待训练模型，所述模型输出地址用于存储所述已训练模型。
其中，解析配置操作还可以得到模型训练过程中的初始化模型参数，还可以模型训练过程中的超参数等。
在S703中，响应于所述配置操作，在所述操作单元为所述数据处理单元的情况下，解析所述配置操作以得到数据转换逻辑；所述数据转换逻辑用于确定所述数据处理单元的输入数据和输出数据之间的转换关系。
其中，该数据转换逻辑可以为该数据转换逻辑对应的逻辑标识。利用逻辑标识还原该数据转换逻辑的过程中，可以节省生成推理服务过程中存储的推理全景图的数据量。
通过本公开实施例对于图7的上述示例性实施可知，本公开实施例可以接收开发人员针对每一操作单元的配置操作，提升了针对目标任务的开发过程中的开发效率。
参见图8，图8是本公开实施例提供的任务处理方法的一个可选的流程示意图，基于图6A，所述方法还包括步骤S801至步骤S803，将结合图8示出的步骤进行说明。
在S801中，接收用户发出的训练启动操作；所述训练启动操作用于启动至少一个目标待训练模型的训练任务。
在一些可能的实现方式中，上述第一界面还可以包括训练启动选项，在接收到用户针对该训练启动选项的触发操作后，判定已经接收用户发出的训练启动操作，进入该训练服务的训练过程。
在一些可能的实现方式中，可以通过下方式实现上述接收用户发出的训练启动操作：接收用户在各操作单元的选择操作，响应于选择操作，在各操作单元对应的待训练模型中中确定至少一个目标待训练模型；接收用户针对训练启动选择的选择操作，启动针对至少一个目标待训练模型的训练任务。
其中，该至少一个目标待训练模型可以为该训练全景图中的任意一个待训练模型。需要说明的是，用户可以根据自身需要，先后选择不同的目标待训练模型，并依次执行各个目标待训练模型的训练任务。
在一些可能的实现方式中，在训练启动操作对应的至少一个目标待训练模型中存在至少一个目标待训练模型的操作单元已经经过训练且存储有对应的已训练模型，则将该已经经过训练的目标待训练模型从至少一个目标待训练模型中剔除；在另一些可能的实现方式中，在训练启动操作对应的至少一个目标待训练模型中存在至少一个目标待训练模型的操作单元已经经过训练且存储有对应的已训练模型，判断该目标待训练模型对应的当前训练数据、与已训练模型对应的历史训练数据是否相同，若相同，则将该已经经过训练的目标待训练模型从至少一个目标待训练模型中剔除；若不相同，则需要重新对该目标待训练模型进行训练。
在S802中，响应于所述训练启动操作，训练每一所述目标待训练模型，以得到所述至少一个目标已训练模型。
在一些可能的实现方式中，可以通过步骤S8021至步骤S8024实现上述S802：
在S8021中，在每一所述目标待训练模型对应的操作单元中获取每一所述目标待训练模型的模型获取地址和模型输出地址。
在S8022中，基于每一所述目标待训练模型的模型获取地址，获取所述目标训练组件对应的待训练的目标神经网络模型。
在S8023中，将每一所述目标待训练模型对应的操作单元的输入资源单元作为训练集，对每一所述目标待训练模型进行训练，得到每一所述目标待训练模型对应的目标已训练模型。
在S8024中，基于每一所述目标待训练模型的模型输出地址，存储每一所述目标待训练模型对应的目标已训练模型，以完成所述训练任务。
通过本公开实施例对于图8的上述示例性实施可知，本公开实施例通过接收用于针对训练服务对应的部分神经网络模型的训练启动操作，对部分的神经网络模型进行单独训练，极大增加了测试开发的灵活性，支持拆分测试，局部替换测试，帮助开发人员快速定位算法问题。
下面继续说明本公开实施例提供的任务处理装置555的实施为软件模块的示例性结构，在一些可能的实现方式中，如图2所示，存储在存储器550的任务处理装置555中的软件模块可以包括：
获取模块5551，用于获取实现训练服务的训练全景图；所述训练全景图包括至少一个操作单元和每一所述操作单元对应的拓扑顺序；所述训练服务用于训练处理目标任务的至少一个待训练模型；
转换模块5552，用于将所述至少一个操作单元转换为对应的至少一个目标操作单元；
生成模块5553，用于基于每一所述操作单元的拓扑顺序和所述至少一个目标操作单元，生成所述实现推理服务的推理全景图；所述推理服务用于调用处理所述目标任务的至少一个已训练模型；所述至少一个已训练模型是对所述至少一个待训练模型进行训练得到的；
处理模块5554，用于基于所述推理全景图处理所述目标任务。
在一些可能的实现方式中，所述操作单元包括用于执行待训练模型的训练过程的模型训练单元；所述转换模块5552，还用于将所述模型训练单元转换至对应的模型推理单元；所述模型推理单元用于调用已训练模型执行模型推理过程。
在一些可能的实现方式中，所述操作单元还包括用于执行数据处理过程的数据处理单元；所述转换模块5552，还用于基于每一所述操作单元对应的拓扑顺序，确定所述数据处理单元对应的上游模型训练单元和所述数据处理单元对应下游模型训练单元；获取所述上游模型训练单元对应的待训练模型的输出数据，和所述下游模型训练单元的待训练模型的输入数据，确定所述数据处理单元的数据转换逻辑；将所述数据处理单元转换至对应的数据推理单元；所述数据推理单元用于根据所述数据转换逻辑执行数据推理过程。
在一些可能的实现方式中，所述生成模块5552，还用于根据每一所述目标操作单元的拓扑顺序，确定每一所述目标操作单元的拓扑顺序；根据所述每一所述目标操作单元和每一所述目标操作单元的拓扑顺序，生成所述推理全景图。
在一些可能的实现方式中，所述处理模块5554，还用于基于所述推理全景图中每一所述目标操作单元的拓扑顺序，生成每一所述目标操作单元的推理工作流；基于每一所述目标操作单元和对应的推理工作流，生成推理服务；利用所述推理服务处理所述目标任务，得到处理结果。
在一些可能的实现方式中，任务处理装置555还包括展示模块和训练模块，其中：
在一些可能的实现方式中，所述训练全景图还包括每一所述操作单元对应的输入资源单元和输出资源单元；所述展示模块，用于接收用户发出的针对所述训练全景图的第一查看请求；响应于所述第一查看请求，通过第一界面展示每一所述操作单元、作为每一所述操作单元的数据输入的输入资源单元、和作为每一所述操作单元的数据输出的输出资源单元；其中，每一所述操作单元分别和所述输入资源单元、所述输出资源单元存在连接关系；所述第一界面中的连接关系用于表征每一所述操作单元对应的拓扑顺序。
在一些可能的实现方式中，所述展示模块，还用于接收用户发出的针对所述操作单元的配置操作；响应于所述配置操作，在所述操作单元为模型训练单元的情况下，解析所述配置操作以得到所述模型训练单元对应的模型获取地址和模型输出地址；所述模型获取地址用于获取所述待训练模型，所述模型输出地址用于存储所述已训练模型；响应于所述配置操作，在所述操作单元为所述数据处理单元的情况下，解析所述配置操作以得到数据转换逻辑；所述数据转换逻辑用于确定所述数据处理单元的输入数据和输出数据之间的转换关系。
在一些可能的实现方式中，所述训练模块，用于接收用户发出的训练启动操作；所述训练启动操作用于启动至少一个目标待训练模型的训练任务；响应于所述训练启动操作，训练每一所述目标待训练模型，以得到所述至少一个目标已训练模型；其中，所述训练每一所述目标待训练模型，以得到所述至少一个目标已训练模型，包括：在每一所述目标待训练模型对应的操作单元中获取每一所述目标待训练模型的模型获取地址和模型输出地址；基于每一所述目标待训练模型的模型获取地址，获取所述目标训练组件对应的待训练的目标神经网络模型；将每一所述目标待训练模型对应的操作单元的输入资源单元作为训练集，对每一所述目标待训练模型进行训练，得到每一所述目标待训练模型对应的目标已训练模型；基于每一所述目标待训练模型的模型输出地址，存储每一所述目标待训练模型对应的目标已训练模型，以完成所述训练任务。
本公开实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本公开实施例上述的任务处理方法。
本公开实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本公开实施例提供的任务处理方法。
在一些可能的实现方式中，计算机可读存储介质可以是铁电存储器(Ferroelectric Random Access Memory，FRAM)、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable read-only memory，PROM)、电子可编程只读存储器(Electrical Programmable read-only memory，EPROM)、带电可擦可编程只读存储器(Electrical Programmable read-only memory，EEPROM)、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些可能的实现方式中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本公开实施例能够实现以下技术效果：
(1)本公开实施例可以将目标任务在训练过程中的工作流程自动转换为目标任务的应用流程，相比于传统技术中需要模型开发人员与业务实现人员进行沟通后实现该目标任务的方式，本公开可以减少沟通成本，极大地减少了模型开发工程落地的工作量，有利于快速地实现和迭代客户的需求。同时，由于避免了人工对于目标任务的参与，降低了目标任务的开发成本和出错概率。
(2)本公开实施例可以针对不同的操作单元执行对应的映射过程，得到每一操作单元在推理全景图中对应的目标操作单元，实现了训练过程中操作单元与推理过程中目标操作单元之间的逻辑转换，为生成对应的推理全景图、推理服务提供了数据基础。同时，对用于执行待训练模型的训练过程的模型训练单元和用于执行数据处理过程的数据处理单元，采用不同的转换逻辑得到对应地模型推理单元和数据推理单元，可以提升训练过程中操作单元与推理过程中目标操作单元之间转换的准确度。
(3)本公开实施例可以快速的将训练全景图中的各个操作单元的拓扑顺序迁移至推理全景图中各个目标操作单元的拓扑顺序，提升了推理图转换效率；同时，基于得到的各个目标操作单元的拓扑顺序，生成了具有推理工作流的推理服务，实现了开发过程至应用过程的完整迁移，得到了用于处理目标任务的推理服务，不仅缩短了开发时间，提升开发效率，还可以在训练全景图频繁变化的情况下，生成与之对齐的准确的推理服务，在功能迭代更新的过程中，可以保证推理服务的更新速度，间接地提升了目标任务的处理效果。
(4)本公开实施例通过可视化界面显示推理服务在训练过程中的操作单元的连接关系/拓扑顺序，便于开发人员获取当前训练方案的整体情况。
(5)本公开实施例可以接收开发人员针对每一操作单元的配置操作，提升了针对目标任务的开发过程中的开发效率。
(6)本公开实施例通过接收用于针对训练服务对应的部分神经网络模型的训练启动操作，对部分的神经网络模型进行单独训练，极大增加了测试开发的灵活性，支持拆分测试，局部替换测试，帮助开发人员快速定位算法问题。
以上所述，仅为本公开的实施例而已，并非用于限定本公开的保护范围。凡在本公开的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本公开的保护范围之内。

Claims (10)

1.一种任务处理方法，其特征在于，包括：
获取实现训练服务的训练全景图；所述训练全景图包括至少一个操作单元和每一所述操作单元对应的拓扑顺序；所述训练服务用于训练处理目标任务的至少一个待训练模型；
将所述至少一个操作单元转换为对应的至少一个目标操作单元；
根据每一所述操作单元的拓扑顺序，确定每一所述目标操作单元的拓扑顺序；根据所述每一所述目标操作单元和每一所述目标操作单元的拓扑顺序，生成实现推理服务的推理全景图；所述推理服务用于调用处理所述目标任务的至少一个已训练模型；所述至少一个已训练模型是对所述至少一个待训练模型进行训练得到的；
基于所述推理全景图处理所述目标任务。
2.根据权利要求1所述的方法，其特征在于，所述操作单元包括用于执行待训练模型的训练过程的模型训练单元；
所述将所述至少一个操作单元转换为对应的至少一个目标操作单元，包括：
将所述模型训练单元转换至对应的模型推理单元；所述模型推理单元用于调用已训练模型执行模型推理过程。
3.根据权利要求2所述的方法，其特征在于，所述操作单元还包括用于执行数据处理过程的数据处理单元；
所述将所述至少一个操作单元转换为对应的至少一个目标操作单元，还包括：
基于每一所述操作单元对应的拓扑顺序，确定所述数据处理单元对应的上游模型训练单元和所述数据处理单元对应下游模型训练单元；
获取所述上游模型训练单元对应的待训练模型的输出数据，和所述下游模型训练单元的待训练模型的输入数据，确定所述数据处理单元的数据转换逻辑；
将所述数据处理单元转换至对应的数据推理单元；所述数据推理单元用于根据所述数据转换逻辑执行数据推理过程。
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述基于所述推理全景图处理所述目标任务，包括：
基于所述推理全景图中每一所述目标操作单元的拓扑顺序，生成每一所述目标操作单元的推理工作流；
基于每一所述目标操作单元和对应的推理工作流，生成推理服务；
利用所述推理服务处理所述目标任务，得到处理结果。
5.根据权利要求1所述的方法，其特征在于，所述训练全景图还包括每一所述操作单元对应的输入资源单元和输出资源单元；所述方法还包括：
接收用户发出的针对所述训练全景图的第一查看请求；
响应于所述第一查看请求，通过第一界面展示每一所述操作单元、作为每一所述操作单元的数据输入的输入资源单元、和作为每一所述操作单元的数据输出的输出资源单元；其中，每一所述操作单元分别和所述输入资源单元、所述输出资源单元存在连接关系；所述第一界面中的连接关系用于表征每一所述操作单元对应的拓扑顺序。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
接收用户发出的针对所述操作单元的配置操作；
响应于所述配置操作，在所述操作单元为模型训练单元的情况下，解析所述配置操作以得到所述模型训练单元对应的模型获取地址和模型输出地址；所述模型获取地址用于获取所述待训练模型，所述模型输出地址用于存储所述已训练模型；
响应于所述配置操作，在所述操作单元为数据处理单元的情况下，解析所述配置操作以得到数据转换逻辑；所述数据转换逻辑用于确定所述数据处理单元的输入数据和输出数据之间的转换关系。
7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：
接收用户发出的训练启动操作；所述训练启动操作用于启动至少一个目标待训练模型的训练任务；
响应于所述训练启动操作，训练每一所述目标待训练模型，以得到所述至少一个目标已训练模型；
其中，所述训练每一所述目标待训练模型，以得到所述至少一个目标已训练模型，包括：
在每一所述目标待训练模型对应的操作单元中获取每一所述目标待训练模型的模型获取地址和模型输出地址；
基于每一所述目标待训练模型的模型获取地址，获取目标训练组件对应的待训练的目标神经网络模型；
将每一所述目标待训练模型对应的操作单元的输入资源单元作为训练集，对每一所述目标待训练模型进行训练，得到每一所述目标待训练模型对应的目标已训练模型；
基于每一所述目标待训练模型的模型输出地址，存储每一所述目标待训练模型对应的目标已训练模型，以完成所述训练任务。
8.一种任务处理装置，其特征在于，包括：
获取模块，用于获取实现训练服务的训练全景图；所述训练全景图包括至少一个操作单元和每一所述操作单元对应的拓扑顺序；所述训练服务用于训练处理目标任务的至少一个待训练模型；
转换模块，用于将所述至少一个操作单元转换为对应的至少一个目标操作单元；
生成模块，用于根据每一所述操作单元的拓扑顺序，确定每一所述目标操作单元的拓扑顺序；根据所述每一所述目标操作单元和每一所述目标操作单元的拓扑顺序，生成实现推理服务的推理全景图；所述推理服务用于调用处理所述目标任务的至少一个已训练模型；所述至少一个已训练模型是对所述至少一个待训练模型进行训练得到的；
处理模块，用于基于所述推理全景图处理所述目标任务。
9.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至7任一项所述的方法。
CN202110572472.4A 2021-05-25 2021-05-25 任务处理方法及装置、电子设备和存储介质 Active CN113326113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110572472.4A CN113326113B (zh) 2021-05-25 2021-05-25 任务处理方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110572472.4A CN113326113B (zh) 2021-05-25 2021-05-25 任务处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113326113A CN113326113A (zh) 2021-08-31
CN113326113B true CN113326113B (zh) 2022-11-22

Family

ID=77416618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110572472.4A Active CN113326113B (zh) 2021-05-25 2021-05-25 任务处理方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113326113B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116382877B (zh) * 2023-05-25 2023-09-05 之江实验室 一种任务的执行方法、装置、存储介质及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077920A1 (en) * 2006-09-21 2008-03-27 Andreas Faatz System for suggesting training
CN110334814B (zh) * 2019-07-01 2023-05-02 创新先进技术有限公司 用于构建风险控制模型的方法和系统
US11907810B2 (en) * 2019-07-18 2024-02-20 Qualcomm Incorporated Concurrent optimization of machine learning model performance
CN111159897B (zh) * 2019-12-31 2023-11-03 新奥数能科技有限公司 基于系统建模应用的目标优化方法和装置
CN111382695A (zh) * 2020-03-06 2020-07-07 北京百度网讯科技有限公司 用于检测目标的边界点的方法和装置
CN111612842B (zh) * 2020-05-29 2023-08-18 如你所视(北京)科技有限公司 生成位姿估计模型的方法和装置
CN111797294A (zh) * 2020-07-09 2020-10-20 上海商汤智能科技有限公司 可视化方法及相关设备
CN111931944A (zh) * 2020-07-14 2020-11-13 东云睿连(武汉)计算技术有限公司 一种深度学习向导装置和方法
CN111861020A (zh) * 2020-07-27 2020-10-30 深圳壹账通智能科技有限公司 模型部署方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113326113A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN110795219B (zh) 适用于多种计算框架的资源调度方法及系统
CN109063829B (zh) 神经网络构建方法、装置、计算机设备和存储介质
US20120278698A1 (en) Method and system for processing a webpage
US20200401503A1 (en) System and Method for Testing Artificial Intelligence Systems
EP3701403B1 (en) Accelerated simulation setup process using prior knowledge extraction for problem matching
CN112799782B (zh) 模型生成系统、方法、电子设备及存储介质
CN113868126A (zh) 应用调试方法、装置、设备的存储介质
EP3509019A1 (en) Software product development defect and issue prediction and diagnosis
US20220366244A1 (en) Modeling Human Behavior in Work Environment Using Neural Networks
CN113407327A (zh) 一种建模任务和数据分析的方法、装置、电子设备及系统
CN113326113B (zh) 任务处理方法及装置、电子设备和存储介质
US10949333B1 (en) Application maturity console
CN115409454A (zh) 基于人工智能的业务处理方法、装置及电子设备
CN116266117A (zh) 模型转换方法、计算机程序产品、存储介质及电子设备
CN107203471B (zh) 联调方法、服务平台及计算机存储介质
CN111523676B (zh) 辅助机器学习模型上线的方法及装置
US11822896B2 (en) Contextual diagram-text alignment through machine learning
CN111625291B (zh) 数据处理模型自动迭代方法、装置及电子设备
CN103324472A (zh) 用于构造控制装置程序的研发装置和方法
CN115185819A (zh) 系统测试方法、装置、设备及计算机可读存储介质
CN111859370B (zh) 识别服务的方法、装置、电子设备和计算机可读存储介质
CN114048024A (zh) 任务部署方法、装置、设备、存储介质及产品
CN111444170B (zh) 基于预测业务场景的自动机器学习方法和设备
Machin et al. Modeling Functional Allocation in AltaRica to Support MBSE/MBSA Consistency
CN116594662A (zh) 车载摄像设备固件开发方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant