CN109960571B - 一种多模块调度方法、装置及系统 - Google Patents

一种多模块调度方法、装置及系统 Download PDF

Info

Publication number
CN109960571B
CN109960571B CN201711341869.2A CN201711341869A CN109960571B CN 109960571 B CN109960571 B CN 109960571B CN 201711341869 A CN201711341869 A CN 201711341869A CN 109960571 B CN109960571 B CN 109960571B
Authority
CN
China
Prior art keywords
node
module
nodes
state
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711341869.2A
Other languages
English (en)
Other versions
CN109960571A (zh
Inventor
龚轶凡
刘思远
李定华
靳江明
苏磊
杨宜欣
刘伟
黄泽铧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN201711341869.2A priority Critical patent/CN109960571B/zh
Priority to US16/276,084 priority patent/US11055144B2/en
Publication of CN109960571A publication Critical patent/CN109960571A/zh
Application granted granted Critical
Publication of CN109960571B publication Critical patent/CN109960571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/133—Protocols for remote procedure calls [RPC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/544—Remote
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Abstract

本发明公开一种多模块调度方法、装置和系统，以解决现有多模块调度技术中存在的计算模块的输入数据存在不一致的问题。该方法包括：主进程读取预存的配置文件，配置文件中保存有一个有向计算图；主进程在当前计算周期中，在计算开始时初始化有向计算图中全部节点和全部连接边的状态；根据有向计算图中的计算方向以及节点的状态确定待调用节点，待调用节点包括节点的多个输入边均为完成状态的节点；向待调用节点对应的从进程中的计算模块发送RPC调用请求以执行该计算模块；在收到应答响应后，更新该节点的状态和该节点的输出边的状态；在确定全部节点的状态更新结束后，进行下一个计算周期的处理。

Description

一种多模块调度方法、装置及系统
技术领域
本发明涉及计算机科学领域，特别涉及一种多模块调度方法、装置及系统。
背景技术
目前在深度学习领域中，在一个学习任务中会设置许多学习模块。通常采用如下的技术方案实现多模块调度：将每一个模块封装成一个进程，模块之间依靠进程之间的socket通信机制，通过发布和订阅消息来获取需要的输入数据和发送输出数据。该方案的优点在于，各进程可以实现跨机通信，每个模块所在的进程可以分布在不同机器间，无需改变系统架构。
以自动驾驶技术中的深度学习任务为例，如图1所示，单机1上运行如下模块：摄像头1、车辆检测1、车辆追踪1、摄像头2、车辆检测2、车辆追踪2、融合1，单机2上运行如下模块：摄像头3、车辆检测3、车辆追踪3和分割5，这些模块均被封装为单独的进程，车辆检测1获取摄像头1输出的数据第一帧图像P11，对数据P11进行处理后，输出数据P11’，车辆跟踪1获取摄像头1输出的数据P11和车辆检测1输出的数据P11’，对数据P11和P11’进行处理，得到数据G11。同理，车辆检测2和车辆追踪2，以及车辆检测3和车辆追踪3具有与上述相类似的处理，并且分别得到数据G21和G31。分割3获取摄像头3输出的数据P31，并对数据P31进行处理，得到数据Q31。融合分别获取来自车辆追踪1、车辆追踪2、车辆追踪3和分割3的数据P11、P21、P31和Q31，并对数据进行处理得到结果，并将该结果输出给控制器。图1中各进程之间的通信机制为socket机制，通过发布和订阅消息来获取进程所需要的输入数据和输出数据。
但是在上述的多模块调度方案中，存在至少两个技术问题：
第一，计算模块的输入数据存在不一致。如图1中的进程车辆跟踪1需要来自进程摄像头1的输出数据P1和来自进程车辆检测1的输出数据P1’。但是由于系统使用消息机制传递信息时存在延时，当车辆检测1将输出数据P1’发送到车辆跟踪1时，车辆跟踪1接收到的来自摄像头1的数据是第二帧图像P12、而不是第一帧图像P11，从而导致进程车辆跟踪1的计算错误。当模块数目增大时，这种不一致性的问题更加显著，并且会扩大计算错误。
第二，计算模块间数据传输时延显著。由于将各个计算模块都封装为单独的进程，进程之间通过通信机制进行数据的传输，当进程之间传递大量的图片信息时，该通信需要进行大量的序列化、反序列化、压缩、解压缩等操作，这样极大地增加了通信开销，增大了处理时长。经过测试，在同一台机器内，进程之间发送和接收一张图片的延时在5毫秒(ms)左右，在两台机器之间进行进程之间的传输，时延高达40ms。这样高的时延极大地增加了系统整体的延时，大幅度地降低了系统的吞吐量。
发明内容
鉴于上述问题，本发明提供一种多模块调度方法、装置和系统，以解决现有多模块调度技术中存在的技术问题计算模块的输入数据存在不一致、计算模块间数据传输时延显著中的至少之一。
根据本申请的一个方面，提供了一种多模块调度方法，包括：
主进程读取预存的配置文件，配置文件中保存有一个有向计算图；其中，有向计算图与一个计算任务相对应，计算任务包括多个从进程，每个从进程包括按照计算方向组合的多个计算模块；有向计算图中包括多个节点，每个节点对应一个从进程中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边；
主进程在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态；
根据有向计算图中的计算方向以及节点的状态确定待调用节点，其中，待调用节点包括节点的多个输入边均为完成状态的节点；
向待调用节点对应的从进程中的计算模块发送远程过程调用(RPC)的调用请求以执行该计算模块；
在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态；
在确定全部节点的状态更新结束后，进行下一个计算周期的处理。
根据本申请的另一个方面，提供了一种多模块调度方法，包括：
在当前计算周期中，从进程中的一个计算模块接收来自主进程的远程过程调用(RPC)的调用请求；其中，从进程中包括根据计算方向组合的多个计算模块；对于具有多个输入数据的计算模块，调用请求是主进程在确定计算模块的多个输入数据都已就绪的情况下发出的；
该计算模块响应于调用请求执行处理；
在处理执行完成后，计算模块向主进程反馈应答响应。
根据本申请的另一个方面，提供了一种多模块调度装置，包括：
读取模块，用于读取预存的配置文件，配置文件中保存有一个有向计算图；其中，有向计算图与一个计算任务相对应，计算任务包括多个从进程，每个从进程包括按照计算方向组合的多个计算模块；有向计算图中包括多个节点，每个节点对应一个从进程中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边；
执行模块，用于在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态；根据有向计算图中的计算方向以及节点的状态确定待调用节点，其中，待调用节点包括节点的多个输入边均为完成状态的节点；向待调用的节点对应的从进程中的计算模块发送远程过程调用(RPC)的调用请求以执行该计算模块；在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态；在确定全部节点的状态更新结束时，进行下一个计算周期的处理。
根据本申请的另一个方面，提供了一种多模块调度装置，该多模块调度装置应用在一个从进程中，从进程中包括按照计算方向组合的多个多模块调度装置，该装置包括：
接收模块，用于在当前计算周期中，接收来自主进程的远程过程调用(RPC)的调用请求；对于具有多个输入数据的多模块调度装置，调用请求是主进程在确定多模块调度装置的多个输入数据都已就绪的情况下发出的；
执行模块，用于响应于调用请求执行处理；
反馈模块，用于在执行模块执行完处理后，计算模块向主进程反馈应答响应。
根据本申请的另一个方法，提供了一种多模块调度装置，包括：一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现：
读取预存的配置文件，配置文件中保存有一个有向计算图；其中，有向计算图与一个计算任务相对应，计算任务包括多个从进程，每个从进程包括按照计算方向组合的多个计算模块；有向计算图中包括多个节点，每个节点对应一个从进程中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边；
在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态；
根据有向计算图中的计算方向以及节点的状态确定待调用节点，其中，待调用节点包括节点的多个输入边均为完成状态的节点；
向待调用节点对应的从进程中的计算模块发送远程过程调用(RPC)的调用请求以执行该计算模块；
在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态；
在确定全部节点的状态更新结束时，进行下一个计算周期的处理。
根据本申请的另一个方面，提供了一种多模块调度装置，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现：
在当前计算周期中，收来自主进程的远程过程调用(RPC)的调用请求；对于具有多个输入数据的多模块调度装置，调用请求是主进程在确定多模块调度装置的多个输入数据都已就绪的情况下发出的；
响应于调用请求执行处理；
在处理执行完成后向主进程反馈应答响应。
根据本申请的另一个方面，提供了一种多模块调度系统，包括：主进程和多个从进程；其中，每个从进程包括按照计算方向组合的多个计算模块；
主进程用于读取预存的配置文件，配置文件中保存有一个有向计算图；其中，有向计算图与一个计算任务相对应，计算任务包括多个从进程；有向计算图中包括多个节点，每个节点对应一个从进程中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边；主进程在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态；根据有向计算图中的计算方向以及节点的状态确定待调用节点，其中，待调用节点包括节点的多个输入边均为完成状态的节点；向待调用节点对应的从进程中的计算模块发送远程过程调用(RPC)的调用请求以执行该计算模块；在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态；在确定全部节点的状态更新结束时，进行下一个计算周期的处理；
从进程中的一个计算模块接收来自主进程的RPC的调用请求；该计算模块响应于调用请求执行处理；在处理执行完成后，计算模块向主进程反馈应答响应。
根据本申请实施例提供的技术方案，主进程根据有向计算图来控制从进程中所有计算模块的计算逻辑，即主进程通过RPC来控制计算模块的执行，并且根据模块执行的情况来维护与模块对应的节点的状态，以及节点的输出的状态；在一个节点的多个输入边的状态均为完成的情况下，才能调用执行与节点对应的计算模块，在收到应答响应的情况下，更新该节点的状态和该节点的输出边的状态，也即，计算模块在一个计算周期中的多个输入数据都完成的情况下，计算模块才会得到调用执行处理，从而能够控制保证计算模块的输入数据的一致性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为现有技术中包括多模块的学习任务的架构示意图；
图2为本申请实施例提供了多模块调度系统的结构示意图；
图3a为本申请实施例提供的一种多模块调度方法的流程图；
图3b为与图2中从进程对应的有向计算图；
图3c为图3a中步骤302的处理流程图；
图4为本申请提供的另一种多模块调度方法的处理流程图；
图5a为本申请实施例提供的一种多模块调度装置的结构框图；
图5b为本申请实施例提供的一种多模块调度装置的另一种结构框图；
图6为本申请实施例提供的一种多模块调度装置的结构框图；
图7为本申请实施例提供的一种多模块调度装置的结构框图；
图8为本申请实施例提供的一种多模块调度装置的结构框图；
图9a为申请实施例提供的多模块调度系统在应用场景中的结构示意图；
图9b为申请实施例提供的多模块调度系统在应用场景中的另一结构示意图；
图10为与图9b中的从进程相对应的有向计算图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
针对现有的多模块调度的方案中存在的技术问题：计算模块的输入数据不一致以及计算模块间的通信时延显著，本申请提出了一种多模块调度的技术方案，以解决至少一个现有技术中的上述问题。
在本申请提供的技术方案中，设置主进程和从进程，从进程中包括按照计算方向组合的多个计算模块，主进程中预存有一个有向计算图，有向计算图中包括多个节点，每个节点对应于一个从进程中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边；主进程根据有向计算图来控制从进程中所有计算模块的计算逻辑，即主进程通过远程过程调用(Remote Process Call，RPC)来控制计算模块的执行，并且根据模块执行的情况来维护与模块对应的节点的状态，以及节点的输出的状态；在一个节点的多个输入边的状态均为完成的情况下，才能调用执行与节点对应的计算模块，在收到应答响应的情况下，更新该节点的状态和该节点的输出边的状态，也即，计算模块在一个计算周期中的多个输入数据都完成的情况下，才会调用计算模块执行处理，从而能够控制保证计算模块的输入数据的一致性。
更进一步地，从进程中包括按照计算方向组合的多个计算模块，从进程中还具有一个对应的共享存储空间，共享存储空间中包括与进程中的每个计算模块相对应的存储空间，计算模块之间不再通过进程之间的通信机制进行数据传输，而是通过进程内共享的存储空间来进行数据的读取和写入，从而能够提高计算模块之间的通信效率，降低通信延时，提高多模块之间整体的通信效率，提高系统吞吐量。
以下结合附图对本申请的技术方案进行详细说明。
图2示出了本申请实施例提供了多模块调度系统的结构示意图，在该系统中包括一个主进程21和多个从进程22，主进程21和从进程22可以被配置在一个终端上，也可以配置在多个终端上，多个从进程22可以分开配置，也可以集中配置。每个从进程都包括按照计算方向组合的多个计算模块。
主进程21用于控制从进程22中计算模块的计算逻辑，即主进程21用于调用从进程中各个计算模块的执行，并且维护、更新从进程22中各个计算模块的状态。从进程22中的计算模块用于根据主进程的调用，执行相应的处理。
具体地，主进程21读取预存的配置文件，配置文件中保存有一个有向计算图；其中，有向计算图与一个计算任务相对应，计算任务包括多个从进程，每个从进程22包括按照计算方向组合的多个计算模块；有向计算图中包括多个节点，每个节点对应一个从进程22中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边；主进程21在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态；根据有向计算图中的计算方向以及节点的状态确定待调用节点，其中，待调用节点包括节点的多个输入边均为完成状态的节点；向待调用节点对应的从进程中的计算模块发送远程过程调用(RPC)的调用请求以执行该计算模块；在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态；在确定全部节点的状态更新结束时，进行下一个计算周期的处理。
从进程22中的一个计算模块接收来自主进程的RPC的调用请求该计算模块响应于调用请求执行处理；在处理执行完成后，计算模块向主进程反馈应答响应。
下面分别说明主进程21和从进程22的工作原理。
图3a示出了本申请实施例提供的一种多模块调度方法的流程图，该方法应用在图2所示的主进程21端。如图3a所示该方法包括如下处理过程：
步骤301、主进程读取预存的配置文件，配置文件中保存有一个有向计算图；其中，有向计算图与一个计算任务相对应，计算任务包括多个从进程，每个从进程包括按照计算方向组合的多个计算模块；图3b中示出了一个示例性的有向计算图，如图3b所示，有向计算图中包括多个节点，每个节点对应一个从进程中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边。
其中，主进程又可以包括主线程和线程池，线程池中包括多个从线程。
步骤302、主进程在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态。
其中，节点的状态包括：未就绪(unready)、就绪(ready)、运行(run)和结束(done)；连接边的状态包括：未完成(uncomplete)和完成(complete)。
在一个实施例中，步骤302包括如图3c所示的处理过程：
步骤3021、在计算起始时，主线程判断有向计算图中所有节点的状态是否为done状态；
也即，主线程判断是否还有节点对应的计算模块处于处理执行中，如果全部节点的状态为done则说明全部计算模块都已经结束处理，上一个计算周期已经完成了，当前计算周期刚刚开始；如果还有节点的状态不为done，则说明还有些计算模块有待调用或者处于处理中，当前计算周期未结束；
步骤3022、在判断为是的情况下，将有向计算图中起始节点的状态重置为ready，其它节点的状态设置为unready，并将所有的连接边的状态设置为uncomplete。
在上一个计算周期已经完成、当前计算周期刚刚开始时，主线程仅将起始节点的状态修改为ready，即起始节点可以获得调用，其它节点有待调用。
步骤3023、在判断为否的情况下，主线程将自身的状态设置为等待。也即当前计算周期未结束，主线程等待本次计算周期的结束。
在当前计算周期尚未结束，从进程中的一些计算模块有待调用或者处于处理中，主线程不能进行下一个计算周期的处理，必须处于等待状态。
步骤303、根据有向计算图中的计算方向以及节点的状态确定待调用节点。
在一个实施例中，在计算起始时，在初始化全部节点和全部连接边的状态后，主线程根据计算方向遍历有向计算图中的各个节点的状态，将状态为ready的节点确定为待调用节点，其中，状态为ready的节点包括起始节点；将待调用节点的状态修改为run，并将待调用节点推送到计算队列中；并且主线程进行下一个计算周期的处理，主线程进行下一个计算周期的处理后执行步骤3021，判断当前还有节点的状态不为done，则进入到步骤3023，进入等待状态。
也即，在当前计算周期的计算起始时，待调用节点只包括起始节点。主线程将待调用节点推送到计算队列之后，主线程结束在当前计算周期中的处理，但是当前计算周期并未结束，主线程进入下一个计算周期的等待状态。
或者，在计算过程中，线程池中的一个从线程根据计算方向遍历有向计算图中的各个节点的状态，将状态为ready的节点确定为待调用节点，其中，状态为ready的节点包括节点的多个输入边均为complete状态的节点，将待调用节点的状态修改为run，并将待调用节点推送到计算队列中。
也即，在当前计算周期的计算过程中，只有节点的多个输入边的状态均为complete的节点才是待调用节点，相对应地，计算模块在一个计算周期中的多个输入数据都已经就绪的情况下，计算模块才能得到调用，从而能够保证多模块调用中计算模块的输入数据的一致性。
步骤304、向待调用节点对应的从进程中的计算模块发送远程过程调用(RPC)的调用请求以执行该计算模块；
在一个实施例中，线程池中的一个从线程从计算队列中取出一个节点，向该节点对应的从进程中的计算模块发送RPC的调用请求。
更进一步，在另一个实施例中，根据预存的配置文件，线程池中的一个从线程确定从计算队列中取出的节点所对应的计算模块的标识、以及计算模块的输入数据的存储地址和/或输出数据的存储地址，将该计算模块的标识、输入数据的存储地址和/或输出数据的存储地址以及携带在调用请求中；
其中，计算模块的输出数据的存储地址是计算模块所在的从进程所对应的共享存储空间中的地址，该地址与计算模块相对应；或者，输出数据的存储地址是另一个从进程所应对的共享存储空间中的地址，该地址与计算模块相对应，也即在另一个从进程中为该计算模块分配有对应的存储地址；计算模块的输入数据的存储地址是计算模块所在的从进程所对应的共享存储空间中的地址。
也即，在每个从进程中都具有一个对应的共享存储空间。在一个从进程的共享存储空间中，从进程的每个计算模块在共享存储空间中具有一个对应的存储空间。计算模块将处理的结果也即输出数据写入到与模块对应的存储空间中。根据计算方向，一个计算模块的输出数据是另一个计算模块的输入数据，则另一个计算模块的输入数据的存储地址是该计算模块的输出数据的存储地址。
当一个计算模块需要同一个从进程中的另一个计算模块的输出数据作为输入数据时，主线程在调用请求中携带另一个计算模块的存储空间的地址作为该计算模块的输入数据的存储地址，该计算模块根据调用请求直接从另一个计算模块对应的存储空间中读取所需的输入数据。
在当前从进程中的一个计算模块B需要另一个从进程中的计算模块A的输出数据作为输入数据时，主线程在发送给计算模块A的调用请求中携带计算模块A在当前从进程中的存储空间的地址作为该计算模块A的输出数据的存储地址，计算模块B从计算模块A在当前从进程的共享存储空间中的存储地址中获取数据作为输入数据，这一部分将在后续对从进程的工作原理的说明中进行阐述。
步骤305、在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态；
在一个实施例中，线程池中的一个从线程在收到针对一个节点所发出的调用请求的应答响应后，将该节点的状态设置为done，将该节点的输出边的状态修改为complete，并且将所有输入边均为complete的节点的状态设置为ready。
这样，节点对应的计算模块执行完处理后，从线程根据响应将该节点的状态设置为done，将节点的输出边的状态修改为complete，所有输入边的状态均为complete、节点状态为ready的节点即为一个待调用节点。根据上述步骤303的处理，从线程将会将该节点确定为待调用节点，并将节点推送到计算队列中。
步骤306、在确定全部节点的状态更新结束时，进行下一个计算周期的处理。
在一个实施例中，线程池中的一个从线程遍历有向计算图中的各个节点的状态，在确定有向计算图中所有节点的状态为done的情况下，通知或唤醒(Notify)处于等待状态的主线程。
也即，所有节点的状态均为done时当前计算周期执行完成，可以进行下一个计算周期的处理，从线程唤醒处于等待状态的主线程，执行下一个计算周期的处理。
从上述处理过程中可以看出，本申请实施例提供的主进程端的多模块调度方法，能够由主进程来控制从进程中的多个计算模块的计算逻辑，并且在一个计算周期中，在一个节点的多个输入边的状态均为完成的情况下，该节点对应的模块才能够得到调用进行计算或处理，能够保证计算模块的在一个计算周期中的输入数据的一致性，不会出现多个输入数据来自于不同的计算周期的情况，从而能够解决现有技术中计算模块的输入数据不一致的问题。
进一步地，在主进程通过RPC向从进程中的计算模块发送调用请求时，在调用请求中携带计算模块的输入数据的存储地址和输出数据的存储地址，输入数据的存储地址和输出数据的存储地址为从进程对应的共享存储空间中的地址，这些计算模块之间的数据通信可以通过在共享存储空间中进行数据的读写来实现，能够提高模块之间的通信效率、降低通信时延、提高处理吞吐量，从而能够解决现有技术中计算模块之间的通信效率低、时延大、吞吐量低的问题。更进一步地，在计算模块的输出数据的地址是另一个从进程中的共享存储空间中的地址的情况下，还能跨进程将输出数据写入到其它从进程的共享存储空间中，从而能够实现计算模块之间跨进程的数据通信。
本申请的实施例还提供了一种多模块调度方法，该方法应用在图2的从进程中，如图4所示，本申请提供的多模块调度方法的处理流程包括如下过程：
步骤401、在当前计算周期中，从进程的一个计算模块接收来自主进程的远程过程调用(RPC)的调用请求，其中，从进程中包括根据计算方向组合的多个计算模块；对于具有多个输入数据的计算模块，调用请求是主进程在确定计算模块的多个输入数据都已就绪的情况下发出的；
在一个实施例中，接收到的调用请求中包括计算模块的标识、输入数据的存储地址和/或输出数据的存储地址；输出数据的存储地址是从进程所对应的共享存储空间中的地址，该地址与计算模块相对应；或者，输出数据的存储地址是另一个从进程所应对的共享存储空间中的地址，该地址与计算模块相对应；输入数据的存储地址是从进程所对应的共享存储空间中的地址；
在另一个实施例中，为了便于实现计算模块以及计算模块的远程调用，可以将计算模块封装成一个服务(Service)函数。
步骤402、该计算模块响应于调用请求执行处理。
与上述实施例相对应，计算模块响应于调用请求，从输入数据的存储地址读取输入数据执行处理，并将输出数据写入到输出数据的存储地址中。在输入数据的存储地址和输出数据的存储地址都是当前从进程中的共享存储空间的情况下，计算模块之间可以高效地进行数据的通信。
进一步，在计算模块的输出数据的存储地址是在另一个从进程的共享存储空间中所对应的地址的情况下，计算模块将处理结果作为输出数据写入到另一个从进程的共享存储空间中与该计算模块相对应的地址中，从而实现计算模块之间跨进程的数据传输。
步骤403、在处理执行完成后，计算模块向主进程反馈应答响应。
从上述处理过程中可以看出，根据本申请实施例提供的从进程端的多模块调度方法，从进程不对计算逻辑进行控制，计算模块响应于主进程的调用而执行处理，对于具有多个输入数据的计算模块，调用请求是主进程在确定计算模块的多个输入数据都已就绪的情况下发出的，这样能够保证计算模块在一个计算周期中的输入数据的一致性，不会出现多个输入数据来自于不同的计算周期的情况，从而能够解决现有技术中计算模块的输入数据不一致的问题。
进一步地，从进程中的计算模块响应于调用请求，分析得到调用请求中携带的计算模块的输入数据的存储地址和输出数据的存储地址，输入数据的存储地址和输出数据的存储地址均为从进程对应的共享存储空间中的地址，这些计算模块之间的数据通信可以通过在共享存储空间中进行数据的读写来实现，能够提高模块之间的通信效率、降低通信时延、提高处理吞吐量，从而能够解决现有技术中计算模块之间的通信效率低、时延大、吞吐量低的问题。更进一步地，在计算模块的输出数据的地址是另一个从进程中的共享存储空间中的地址的情况下，还能够跨进程实现计算模块之间的数据通信。
基于相同的发明构思，本申请的实施例还相应地提供了一种多模块调度装置，如图5a所示，该装置包括：
读取模块51，用于读取预存的配置文件，配置文件中保存有一个有向计算图；其中，有向计算图与一个计算任务相对应，计算任务包括多个从进程，每个从进程包括按照计算方向组合的多个计算模块；有向计算图中包括多个节点，每个节点对应一个从进程中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边。
其中，节点的状态包括：未就绪(unready)、就绪(ready)、运行(run)和结束(done)；连接边的状态包括：未完成(uncomplete)和完成(complete)。
执行模块53，用于在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态；根据有向计算图中的计算方向以及节点的状态确定待调用节点，其中，待调用节点包括节点的多个输入边均为完成状态的节点；向待调用的节点对应的从进程中的计算模块发送远程过程调用(RPC)的调用请求以执行该计算模块；在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态；在确定全部节点的状态更新结束时，进行下一个计算周期的处理。
在一个实施例中，如图5b所示，执行模块53包括主线程模块531和线程池模块532，线程池模块532中包括多个从线程模块533。
执行模块53在在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态，包括：在计算起始时，主线程模块531判断有向计算图中所有节点的状态是否为done状态；在判断为是的情况下，将有向计算图中起始节点的状态重置为ready，其它节点的状态设置为unready，并将所有的连接边的状态设置为uncomplete；在判断为否的情况下，主线程模块531将自身的状态设置为等待。
执行模块53根据有向计算图中的计算方向以及节点的状态确定待调用节点，包括：在计算起始时，在初始化全部节点和全部连接边的状态后，主线程模块531根据计算方向遍历有向计算图中的各个节点的状态，将状态为ready的节点确定为待调用的节点，其中，状态为ready的节点包括起始节点；将待调用节点的状态修改为run，并待调用节点推送到计算队列中，并且主线程模块进行下一个计算周期的处理；或者，在计算过程中，线程池模块532中的一个从线程模块533根据计算方向遍历有向计算图中的各个节点的状态，将状态为ready的节点确定为待调用节点，其中，状态为ready的节点包括节点的多个输入边均为complete状态的节点，将待调用节点的状态修改为run，并待调用节点推送到计算队列中。
执行模块53向待调用的节点对应的从进程中的计算模块发送RPC的调用请求以执行该计算模块，包括：线程池模块532中的一个从线程模块533从计算队列中取出一个节点，向该节点对应的从进程中的计算模块发送RPC的调用请求。
从线程模块533还用于：根据预存的配置文件，确定从计算队列中取出的节点所对应的计算模块的标识、以及计算模块的输入数据的存储地址和/或输出数据的存储地址，将该计算模块的标识、输入数据的存储地址和/或输出数据的存储地址以及携带在调用请求中。计算模块的输出数据的存储地址是计算模块所在的从进程所对应的共享存储空间中的地址，该地址与计算模块相对应，或者，输出数据的存储地址是另一个从进程所应对的共享存储空间中的地址，该地址与计算模块相对应。计算模块的输入数据的存储地址是计算模块所在的从进程所对应的共享存储空间中的地址。
执行模块53在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态，包括：线程池模块532中的一个从线程模块533在收到针对一个节点所发出的调用请求的应答响应后，将该节点的状态设置为done，将该节点的输出边的状态修改为complete，并且将所有输入边均为complete的节点的状态设置为ready。
执行模块53在确定全部节点的状态更新结束时，进行下一个计算周期的处理，包括：线程池模块532中的一个从线程模块533遍历有向计算图中的各个节点的状态，在确定有向计算图中所有节点的状态为done的情况下，通知(Notify)处于等待状态的主线程进行下一个计算周期的处理。
根据图5a或者图5b所示的多模块调度装置，能够由作为主进程的多模块调度装置来控制从进程中的多个计算模块的计算逻辑，并且在一个计算周期中，在一个节点的多个输入边的状态均为完成的情况下，该节点对应的模块才能够得到调用进行计算或处理，能够保证计算模块的在一个计算周期中的输入数据的一致性，不会出现多个输入数据来自于不同的计算周期的情况，从而能够解决现有技术中计算模块的输入数据不一致的问题。
进一步地，在主进程(多模块调度装置)通过RPC向从进程中的计算模块发送调用请求时，在调用请求中携带计算模块的输入数据的存储地址和输出数据的存储地址，输入数据的存储地址和输出数据的存储地址为从进程对应的共享存储空间中的地址，这些计算模块之间的数据通信可以通过在共享存储空间中进行数据的读写来实现，能够提高模块之间的通信效率、降低通信时延、提高处理吞吐量，从而能够解决现有技术中计算模块之间的通信效率低、时延大、吞吐量低的问题。更进一步地，在计算模块的输出数据的地址是另一个从进程中的共享存储空间中的地址的情况下，还能够实现计算模块之间跨进程的数据通信。
基于相同的发明构思，本申请实施例还提供了一种多模块调度装置，该多模块调度装置应用在一个从进程中，从进程中包括按照计算方向组合的多个多模块调度装置，如图6所示，该装置包括：
接收模块61，用于在当前计算周期中，接收来自主进程的远程过程调用(RPC)的调用请求；对于具有多个输入数据的多模块调度装置，调用请求是主进程在确定多模块调度装置的多个输入数据都已就绪的情况下发出的；
在一个实施例中，接收模块接收到的调用请求中包括计算模块的标识、输入数据的存储地址和/或输出数据的存储地址；输出数据的存储地址是从进程所对应的共享存储空间中的地址，该地址与计算模块相对应；或者，输出数据的存储地址是另一个从进程所应对的共享存储空间中的地址，该地址与计算模块相对应。输入数据的存储地址是从进程所对应的共享存储空间中的地址。
执行模块63，用于响应于调用请求执行处理；
在一个实施例中，从输入数据的存储地址读取输入数据执行处理，并将输出数据写入到输出数据的存储地址中。
在一个实施例中，在输出数据的存储地址是另一个从进程所对应的共享存储空间中的地址的情况下，执行模块将处理结果作为输出数据写入到多模块调度装置在另一个从进程的共享存储空间中对应的存储地址中。
反馈模块65，用于在执行模块执行完处理后，计算模块向主进程反馈应答响应。
根据本申请实施例提供的从进程端的多模块调度装置，从进程端不对计算逻辑进行控制，作为计算模块的多模块调度装置响应于主进程的调用而执行处理，对于具有多个输入数据的计算模块，调用请求是主进程在确定计算模块的多个输入数据都已就绪的情况下发出的，这样能够保证计算模块在一个计算周期中的输入数据的一致性，不会出现多个输入数据来自于不同的计算周期的情况，从而能够解决现有技术中计算模块的输入数据不一致的问题。
进一步地，从进程中的计算模块(多模块调度装置)响应于调用请求，分析得到调用请求中携带的输入数据的存储地址和输出数据的存储地址，输入数据的存储地址和输出数据的存储地址为从进程对应的共享存储空间中的地址，这些计算模块(多模块调度装置)之间的数据通信可以通过在共享存储空间中进行数据的读写来实现，能够提高模块(多模块调度装置)之间的通信效率、降低通信时延、提高处理吞吐量，从而能够解决现有技术中计算模块之间的通信效率低、时延大、吞吐量低的问题。更进一步地，在计算模块的输出数据的地址是另一个从进程中的共享存储空间中的地址的情况下，还能够跨进程实现计算模块之间的数据通信。
基于相同的发明构思，本申请实施例还提供了一种多模块调度装置，如图7所示，该装置包括：一个处理器71和至少一个存储器73，至少一个存储器73中存储有至少一条机器可执行指令，处理器71执行至少一条机器可执行指令以实现：
读取预存的配置文件，配置文件中保存有一个有向计算图；其中，有向计算图与一个计算任务相对应，计算任务包括多个从进程，每个从进程包括按照计算方向组合的多个计算模块；有向计算图中包括多个节点，每个节点对应一个从进程中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边；
在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态；
根据有向计算图中的计算方向以及节点的状态确定待调用节点，其中，待调用节点包括节点的多个输入边均为完成状态的节点；
向待调用节点对应的从进程中的计算模块发送远程过程调用(RPC)的调用请求以执行该计算模块；
在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态；
在确定全部节点的状态更新结束时，进行下一个计算周期的处理。
在一个实施例中，处理器71执行至少一条机器可执行指令以实现主线程和线程池，线程池中包括多个从线程；节点的状态包括：未就绪(unready)、就绪(ready)、运行(run)和结束(done)；连接边的状态包括：未完成(uncomplete)和完成(complete)。
在一个实施例中，处理器71执行至少一条机器可执行指令以实现在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态，包括：在计算起始时，主线程判断有向计算图中所有节点的状态是否为done状态；在判断为是的情况下，将有向计算图中起始节点的状态重置为ready，其它节点的状态设置为unready，并将所有的连接边的状态设置为uncomplete；在判断为否的情况下，主线程将自身的状态设置为等待。
在一个实施例中，处理器71执行至少一条机器可执行指令以实现根据有向计算图中的计算方向以及节点的状态确定待调用节点，包括：在计算起始时，在初始化全部节点和全部连接边的状态后，主线程根据计算方向遍历有向计算图中的各个节点的状态，将状态为ready的节点确定为待调用的节点，其中，状态为ready的节点包括起始节点；将待调用节点的状态修改为run，并将待调用节点推送到计算队列中，并且主线程进行下一个计算周期的处理；或者，在计算过程中，线程池中的一个从线程根据计算方向遍历有向计算图中的各个节点的状态，将状态为ready的节点确定为待调用的节点，其中，状态为ready的节点包括节点的多个输入边均为complete状态的节点，将待调用节点的状态修改为run，并将待调用节点推送到计算队列中。
在一个实施例中，处理器71执行至少一条机器可执行指令以实现向待调用的节点对应的从进程中的计算模块发送RPC的调用请求以执行该计算模块，包括：线程池中的一个从线程从计算队列中取出一个节点，向该节点对应的从进程中的计算模块发送RPC的调用请求。
在一个实施例中，处理器71执行至少一条机器可执行指令还实现：根据预存的配置文件，线程池中的一个从线程确定从计算队列中取出的节点所对应的计算模块的标识、以及计算模块的输入数据的存储地址和/或输出数据的存储地址，将该计算模块的标识、输入数据的存储地址和/或输出数据的存储地址以及携带在调用请求中。计算模块的输出数据的存储地址是计算模块所在的从进程所对应的共享存储空间中的地址，该地址与计算模块相对应；或者，输出数据的存储地址是另一个从进程所应对的共享存储空间中的地址，该地址与计算模块相对应。计算模块的输入数据的存储地址是计算模块所在的从进程所对应的共享存储空间中的地址。
在一个实施例中，处理器71执行至少一条机器可执行指令以实现：在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态，包括：线程池中的一个从线程在收到针对一个节点所发出的调用请求的应答响应后，将该节点的状态设置为done，将该节点的输出边的状态修改为complete，并且将所有输入边均为complete的节点的状态设置为ready。
在一个实施例中，处理器71执行至少一条机器可执行指令以实现：在确定全部节点的状态更新结束时，进行下一个计算周期的处理，包括：线程池中的一个从线程遍历有向计算图中的各个节点的状态，在确定有向计算图中所有节点的状态为done的情况下，通知(Notify)处于等待状态的主线程进行下一个计算周期的处理。
根据如图7所示的多模块调度装置，能够由作为主进程的多模块调度装置来控制从进程中的多个计算模块的计算逻辑，并且在一个计算周期中，在一个节点的多个输入边的状态均为完成的情况下，该节点对应的模块才能够得到调用进行计算或处理，能够保证计算模块的在一个计算周期中的输入数据的一致性，不会出现多个输入数据来自于不同的计算周期的情况，从而能够解决现有技术中计算模块的输入数据不一致的问题。
进一步地，在主进程(多模块调度装置)通过RPC向从进程中的计算模块发送调用请求时，在调用请求中携带计算模块的输入数据的存储地址和输出数据的存储地址，输入数据的存储地址和输出数据的存储地址为从进程对应的共享存储空间中的地址，这些计算模块之间的数据通信可以通过在共享存储空间中进行数据的读写来实现，能够提高模块之间的通信效率、降低通信时延、提高处理吞吐量，从而能够解决现有技术中计算模块之间的通信效率低、时延大、吞吐量低的问题。更进一步地，在计算模块的输出数据的地址是另一个从进程中的共享存储空间中的地址的情况下，还能够实现计算模块之间跨进程的数据通信。
根据相同的发明构思，本申请实施例还提供了一种多模块调度装置，如图8所示，该装置包括：一个处理器81和至少一个存储器83，至少一个存储器83中存储有至少一条机器可执行指令，处理器81执行至少一条机器可执行指令以实现：
在当前计算周期中，收来自主进程的远程过程调用(RPC)的调用请求；对于具有多个输入数据的多模块调度装置，调用请求是主进程在确定多模块调度装置的多个输入数据都已就绪的情况下发出的；
响应于调用请求执行处理；
在处理执行完成后向主进程反馈应答响应。
在一个实施例中，处理器81执行至少一条机器可执行指令还实现：接收到的调用请求中包括计算模块的标识、输入数据的存储地址和/或输出数据的存储地址；输出数据的存储地址是从进程所对应的共享存储空间中的地址，该地址与计算模块相对应；或者，输出数据的存储地址是另一个从进程所应对的共享存储空间中的地址，该地址与计算模块相对应。输入数据的存储地址是从进程所对应的共享存储空间中的地址；
在一个实施例中，处理器81执行至少一条机器可执行指令以实现：响应于调用请求执行处理，包括：响应于调用请求，从输入数据的存储地址读取输入数据执行处理，并将输出数据写入到输出数据的存储地址中。
根据本申请实施例提供的从进程端的多模块调度装置，从进程端不对计算逻辑进行控制，作为计算模块的多模块调度装置响应于主进程的调用而执行处理，对于具有多个输入数据的计算模块，调用请求是主进程在确定计算模块的多个输入数据都已就绪的情况下发出的，这样能够保证计算模块在一个计算周期中的输入数据的一致性，不会出现多个输入数据来自于不同的计算周期的情况，从而能够解决现有技术中计算模块的输入数据不一致的问题。
进一步地，从进程中的计算模块(多模块调度装置)响应于调用请求，分析得到调用请求中携带的输入数据的存储地址和输出数据的存储地址，输入数据的存储地址和输出数据的存储地址为从进程对应的共享存储空间中的地址，这些计算模块(多模块调度装置)之间的数据通信可以通过在共享存储空间中进行数据的读写来实现，能够提高模块(多模块调度装置)之间的通信效率、降低通信时延、提高处理吞吐量，从而能够解决现有技术中计算模块之间的通信效率低、时延大、吞吐量低的问题。更进一步地，在计算模块的输出数据的地址是另一个从进程中的共享存储空间中的地址的情况下，还能够跨进程实现计算模块之间的数据通信。
下面对本申请提供的技术方案在具体应用场景中的实现进行说明。
本申请提供的多模块调度方法可以应用在自动驾驶领域的深度学习中。
如图1所示，在现有技术中，自动驾驶领域的深度学习任务通常包括如下计算模块：摄像头(Sensor)、车辆检测(Detection)、车辆追踪(Tracking)、分割(Segmentation)、融合(Fusion)。摄像头模块获取无人驾驶车辆的驾驶环境的图像，车辆检测模块用于识别出摄像头拍摄的每帧图片中的车辆位置，车辆追踪模块用于将车辆检测模块的一段连续图像帧的输出作为输入，并标识出这段连续的图像帧内的相同的车辆，分割模块用于识别出车道线的位置，融合模块根据多个车载追踪模块的输出来计算车辆周围的路况信息。
将本申请提供的多模块调度方案应用在自动驾驶领域的深度学习任务中，如图9a所示，设置一个主进程(Master)，三个从进程(Server)，从进程1中包括计算模块：摄像头1、车辆检测1、车辆追踪1、融合1，从进程2中包括计算模块：摄像头2、车辆检测2、车辆追踪2，从进程3中包括计算模块：摄像头3、车辆检测3、车辆追踪、分割5。从进程1和从进程2设置在单机1上，主进程和从进程3设置在单机2上。图9a中计算模块之间的单向箭头表示计算方向和数据的传输方向，如在从进程1中车辆检测1的输入数据为摄像头1的输出数据，车辆追踪1的输入数据包括摄像头1的输出数据和车辆检测1的输出数据，计算模块融合1的输入数据包括从进程1中的车辆追踪1的输出数据、从进程2中的车辆追踪2的输出数据、从进程3中的车辆追踪3的输出数据和从进程3中的分割模块5的输出数据。其它从进程中的计算方向与此同理，不做一一阐述。
每个从进程中分配有一个共享存储空间，并且在每个从进程的共享存储空间中都为从进程的每个计算模块分配有对应的存储地址，如图9a所示，为从进程1-3分配的共享存储空间为R1-3，在从进程1的共享存储空间中分别为摄像头1、车辆检测1、车辆追踪1和融合1分配了各自对应的存储空间R1-S、R1-D、R1-T、R1-F，其它的从进程中也是类似的情况，从进程2中的共享存储空间中包括R2-S、R2-D、R2-T，从进程3中的共享存储空间中包括R3-S、R3-D、R3-T、R3-G。计算模块之间通过将输出数据写入对应的存储空间，以及从共享存储空间中读取输入数据，来实现计算模块之间的数据传输。
仔细分析图9a可知，融合模块1需要跨进程读取输入数据。融合模块1不仅需要同一个从进程中的车辆追踪模块1的输出数据，还需要从进程2中的车辆追踪模块2的输出数据、从进程3中的车辆追踪模块3的输出数据、从进程3中的分割模块5的输出数据。从进程内部通过在共享存储空间中读写数据进行数据通信，不同从进程的计算模块之间无法通过这样的方法进行数据通信。
为了解决这一问题，在深度学习任务中，为需要进行跨进程进行数据传输的模块设置拷贝模块，并且为拷贝模块分配跨进程的共享存储空间中的存储地址作为输出数据的存储地址，主进程在发送给拷贝模块的RPC调用请求中携带该输出数据的存储地址。如图9b所示，从进程1的共享存储空间中还为从进程2中的拷贝模块4’、从进程3中的拷贝模块4”、从进程3中的拷贝模块4”’分别分配了各自对应的存储空间，具体为：R1-2C、R1-3C、R1-4C。
如图9b所示，拷贝模块2用于根据主进程的RPC请求，在从进程2的共享存储空间中车辆追踪2对应的存储空间R2-T中读出数据，并将读出的数据作为输出数据写入到拷贝模块2在从进程1的共享存储空间中对应的存储地址R1-2C中，拷贝模块3和拷贝模块4的工作原理与此类似。
通过设置拷贝模块，能够实现计算模块之间跨进程的数据传输。
与图9b相对应，预先为深度学习任务生成一个配置文件，配置文件中保存有一个有向计算图，该有向计算图如图10所示。在图10中，对应于从进程1，节点1代表摄像头1，节点2代表车辆检测1、节点3代表车辆追踪1、节点4代表融合模块；对应于从进程2，节点1’代表摄像头2，节点2’代表车辆检测2，节点3’代表车辆追踪2；对应于从进程3，节点1”代表摄像头3，节点2”代表车辆检测3，节点3”代表车辆追踪3，节点5代表从进程3中的分割模块5。此外，在图10中，节点4’代表从进程2中的拷贝模块2，节点4”代表从进程3中的拷贝模块3，节点4”’代表从进程3中的拷贝模块4。
图10中模块之间的单向箭头表示计算方向和数据的传输方向，图10中的计算方向和数据传输方向和图9中的计算方向和传输方向一致。
下面通过一个整体的处理流程来说明图9b所示计算模块的处理过程。
步骤S1、主进程中的主线程读取配置文件，获取如图10所示的有向计算图；
步骤S2、主线程判断当前计算周期中是否还有处于计算的计算模块(具体地，可以判断全部节点的状态是否均为done)，在判断为否的情况下处理进行到步骤S4，在判断为是的情况下处理进行到步骤S3；
步骤S3、主线程判断还有处于计算中的计算模块，进入等待状态；
步骤S4、主线程判断全部节点的状态均为done，主线程初始化图10中全部节点的状态和全部连接边的状态，具体地，将节点1、节点1’、节点1”的状态设置为ready，其它节点的状态设置为unready，将所有连接边的状态设置为uncomplete；
步骤S5、主线程将节点1、节点1’、节点1”的状态修改为run，并将节点1、节点1’、节点1”推送到计算队列中；主线程进入到下一个计算周期，主线程的处理返回到步骤S2；
注：在以下的说明中，线程池中的从线程与从进程或者计算模块之间均不存在对应关系，以下为了方便说明按照从线程的顺序进行说明。
步骤S6、线程池中的一个从线程a从计算队列中取出节点1，向节点1对应的计算模块摄像头1发送RPC调用请求，在请求中携带输出数据的存储地址，也即摄像头1在进程1的共享存储空间中的存储地址R1-S；
线程池中的一个从线程b从计算队列中取出节点1’，向节点1’对应的模块摄像头2发送RPC调用请求，在请求中携带输出数据的存储地址，也即摄像头2在进程2的共享存储空间中的存储地址R2-S；
线程池中的一个从线程c从计算队列中取出节点1”，向节点1”对应的模块摄像头3发送RPC调用请求，在请求中携带输出数据的存储地址，也即摄像头3在进程3的共享存储空间中的存储地址R3-S；
步骤S7、响应于调用请求，摄像头1将获取的数据写入到进程1中的存储地址R1-S内，向从线程a反馈应答响应；
响应于调用请求，摄像头2将获取的数据写入到进程2中的存储地址R2-S内，向从线程b反馈应答响应；
响应于调用请求，摄像头3将获取的数据写入到进程3中的存储地址R3-S内，向从线程c反馈应答响应；
步骤S8、从线程a接收到应答响应后，将节点1的状态设置为done，并将节点1的两个输出边1-2、1-3的状态设置为complete；
从线程b接收到应答响应后，将节点1’的状态设置为done，并将节点1’的两个输出边1’-2’、1’-3’的状态设置为complete；
从线程c接收到应答响应后，将节点1”的状态设置为done，并将节点1’的三个输出边1”-2”、1”-3”、1”-5的状态设置为complete；
步骤S9、从线程a将输入边的状态为complete的节点2的状态修改为ready；
从线程b将输入边的状态为complete的节点2’的状态修改为ready；
从线程c将输入边的状态为complete的节点2”的状态修改为ready，将输入边的状态为complete的节点5的状态修改为ready；
步骤S10、从线程a遍历有向计算图中各个节点的状态，将状态为ready的节点2的状态设置为run，将节点2推送到计算队列中；
从线程b遍历有向计算图中各个节点的状态，将状态为ready的节点2’的状态设置为run，将节点2’推送到计算队列中；
从线程c遍历有向计算图中各个节点的状态，将状态为ready的节点2”和5的状态设置为run，将节点2”和节点5推送到计算队列中；
步骤S11、从线程a从计算队列中取出从计算队列中取出节点2，向节点2对应的模块车辆检测1发送RPC调用请求，在请求中携带输入数据的存储地址和输出数据的存储地址，输入数据地址为摄像头1在进程1的共享存储空间中的存储地址R1-S，输出数据地址为车辆检测1在进程1的共享存储空间中的存储地址R1-D；
从线程b从计算队列中取出节点2’，向节点2’对应的模块车辆检测2发送RPC调用请求，在请求中携带输入数据的存储地址和输出数据的存储地址，输入数据地址为摄像头2在进程2的共享存储空间中的存储地址R2-S，输出数据地址为车辆检测2在进程2的共享存储空间中的存储地址R2-D；
从线程c从计算队列中取出节点2”，向节点2”对应的模块车辆检测3发送RPC调用请求，在请求中携带输入数据的存储地址和输出数据的存储地址，输入数据地址为摄像头3在进程3的共享存储空间中的存储地址R3-S，输出数据地址为车辆检测3在进程3的共享存储空间中的存储地址R3-D；
从线程d从计算队列中取出节点5，向节点5对应的分割模块发送RPC调用请求，在请求中携带输入数据的存储地址和输出数据的存储地址，输入数据地址为摄像头3在进程3的共享存储空间中的存储地址R3-S，输出数据地址为分割模块在进程3的共享存储空间中的存储地址R3-G；
步骤S12、根据调用请求，车辆检测1在从进程1的共享存储空间中读取输入数据，并执行处理，将输出数据写入到调用请求中指定的输出数据存储地址中，向从线程a反馈应答响应；
根据调用请求，车辆检测2在从进程2的共享存储空间中读取输入数据，并执行处理，将输出数据写入到调用请求中指定的输出数据存储地址中，向从线程b反馈应答响应；
根据调用请求，车辆检测3在从进程3的共享存储空间中读取输入数据，并执行处理，将输出数据写入到调用请求中指定的输出数据存储地址中，向从线程c反馈应答响应；
根据调用请求，分割模块5在从进程3的共享存储空间中读取输入数据，并执行处理，将输出数据写入到调用请求中指定的输出数据存储地址中，向从线程d反馈应答响应；
步骤S13、从线程a接收到应答响应后，将节点2的状态设置为done，并将节点2的一个输出边2-3的状态设置为complete；
从线程b接收到应答响应后，将节点2’的状态设置为done，并将节点2’的一个输出边2’-3’的状态设置为complete；
从线程c接收到应答响应后，将节点2”的状态设置为done，并将节点2”的一个输出边2”-3”的状态设置为complete；
从线程d接收到应答响应后，将节点5的状态设置为done，并将节点5的一个输出边5-4”’的状态修改为complete；
步骤S14、从线程a将输入边1-3、2-3的状态均为complete的节点3的状态修改为ready；
从线程b将输入边1’-3’、2’-3’的状态均为complete的节点3’的状态修改为ready；
从线程c将输入边1”-3”、2”-3”的状态均为complete的节点3”的状态修改为ready；
从线程d将输入边5-4”’的状态为complete的节点4”’的状态修改为ready；
步骤S15、从线程a遍历有向计算图中各个节点的状态，将状态为ready的节点3的状态设置为run，将节点3推送到计算队列中；
从线程b遍历有向计算图中各个节点的状态，将状态为ready的节点3’的状态设置为run，将节点3’推送到计算队列中；
从线程c遍历有向计算图中各个节点的状态，将状态为ready的节点3”的状态设置为run，将节点3”推送到计算队列中；
从线程d遍历有向计算图中各个节点的状态，将状态为ready的节点4”’的状态设置为run，将节点4”’推送到计算队列中；
步骤S16、从线程a从计算队列中取出从计算队列中取出节点3，向节点3对应的模块车辆追踪1发送RPC调用请求，在请求中携带输入数据的存储地址和输出数据的存储地址，输入数据地址为摄像头1在进程1的共享存储空间中的存储地址R1-S和车辆检测1在进程1的共享存储空间中的地址R1-D，输出数据地址为车辆追踪1在进程1的共享存储空间中的存储地址R1-T；
从线程b从计算队列中取出节点3’，向节点3’对应的模块车辆追踪2发送RPC调用请求，在请求中携带输入数据的存储地址和输出数据的存储地址，输入数据地址为摄像头2在进程2的共享存储空间中的存储地址R2-S和车辆检测2在进程2的共享存储空间中的地址R2-D，输出数据地址为车辆追踪2在进程2的共享存储空间中的存储地址R2-T；
从线程c从计算队列中取出节点3”，向节点3”对应的模块车辆追踪3发送RPC调用请求，在请求中携带输入数据的存储地址和输出数据的存储地址，输入数据地址为摄像头3在进程3的共享存储空间中的存储地址R3-S和车辆检测3在进程3的共享存储空间中的存储地址R3-D，输出数据地址为车辆追踪3在进程3的共享存储空间中的存储地址R3-T；
从线程d从计算队列中取出节点4”’，向节点4”’对应的拷贝模块4发送RPC调用请求，在请求中携带输入数据的存储地址和输出数据的存储地址，输入数据地址为分割模块5在进程3的共享存储空间中的存储地址R3-G，输出数据地址为拷贝模块4在进程1的共享存储空间中的存储地址R1-4C；
步骤S17、根据调用请求，车辆追踪1在从进程1的共享存储空间中读取输入数据，并执行处理，将输出数据写入到调用请求中指定的输出数据存储地址中，向从线程a反馈应答响应；
根据调用请求，车辆追踪2在从进程2的共享存储空间中读取输入数据，并执行处理，将输出数据写入到调用请求中指定的输出数据存储地址中，向从线程b反馈应答响应；
根据调用请求，车辆追踪3在从进程3的共享存储空间中读取输入数据，并执行处理，将输出数据写入到调用请求中指定的输出数据存储地址中，向从线程c反馈应答响应；
根据调用请求，拷贝模块4在从进程3的共享存储空间中读取输入数据，将读取的数据作为输出数据写入到从进程1的工作存储空间的地址中，向从线程d反馈应答响应；
步骤S18、从线程a接收到应答响应后，将节点3的状态设置为done，并将节点3的一个输出边3-4的状态设置为complete；
从线程b接收到应答响应后，将节点3’的状态设置为done，并将节点3’的一个输出边3’-4’的状态设置为complete；
从线程c接收到应答响应后，将节点3”的状态设置为done，并将节点3”的一个输出边3”-4”的状态设置为complete；
从进程d接收到应答响应后，将节点4”’的状态设置为done，并将节点4”’的一个输出边4”’-4的状态设置为complete；
步骤S19、从线程b将输入边3’-4’的状态均为complete的节点4’的状态修改为ready；
从线程c将输入边3”-4”的状态均为complete的节点4”的状态修改为ready；
步骤S20、从线程b遍历有向计算图中各个节点的状态，将状态为ready的节点4’的状态设置为run，将节点4’推送到计算队列中；
从线程c遍历有向计算图中各个节点的状态，将状态为ready的节点4”的状态设置为run，将节点4”推送到计算队列中；
步骤21、从线程b从计算队列中取出节点4’，向节点4’对应的拷贝模块2发送RPC调用请求，在请求中携带输入数据的存储地址和输出数据的存储地址，输入数据地址为车辆追踪2在进程2的共享存储空间中的存储地址R2-T，输出数据地址为拷贝模块2在进程1的共享存储空间中的存储地址R1-2C；
从线程c从计算队列中取出节点4”，向节点4”对应的拷贝模块3发送RPC调用请求，在请求中携带输入数据的存储地址和输出数据的存储地址，输入数据地址为车辆追踪3在进程3的共享存储空间中的存储地址R3-T，输出数据地址为拷贝模块3在进程1的共享存储空间中的存储地址R1-3C；
步骤S22、根据调用请求，拷贝模块2在从进程2的共享存储空间中读取输入数据，并执行处理，将读取的数据作为输出数据写入到从进程1的工作存储空间的地址中，向从线程b反馈应答响应；
根据调用请求，拷贝模块3在从进程3的共享存储空间中读取输入数据，并执行处理，将读取的数据作为输出数据写入到从进程1的工作存储空间的地址中，向从线程c反馈应答响应；
步骤S23、从线程b接收到应答响应后，将节点4’的状态设置为done，并将节点4’的一个输出边4’-4的状态设置为complete；
从线程c接收到应答响应后，将节点4”的状态设置为done，并将节点4”的一个输出边4”-4的状态设置为complete；
步骤S24、从线程a将全部输入边3-4、4’-4、4”-4、4”’-4的状态均为complete的节点4的状态修改为ready；
步骤S25、从线程a遍历有向计算图中各个节点的状态，将状态为ready的节点4的状态设置为run，将节点4推送到计算队列中；
步骤S26、从线程a从计算队列中取出节点4，向节点4对应的融合模块4发送RPC调用请求，在请求中携带输入数据的存储地址，输入数据地址为车辆追踪1在从进程1的共享存储空间中的存储地址R1-T、拷贝模块2在从进程1的共享存储空间中的存储地址R1-2C、拷贝模块3在从进程1的共享存储空间中的存储地址R1-3C、拷贝模块4在从进程1的共享存储空间中的存储地址R1-4C；
步骤S27、根据调用请求，融合模块4在从进程1的共享存储空间中读取输入数据，并执行处理，将处理结果作为本次处理周期的处理结果，并输出该处理结果，向从线程a反馈应答响应；
步骤S28、从线程a接收到应答响应后，将节点4的状态设置为done；
步骤S29、从进程a遍历有向计算图中的各个节点的状态，确定有向计算图中所有节点的状态均为done，唤醒(Notify)在步骤S3中处于等待状态的主线程，进行下一个计算周期的处理，即进行到步骤S4。
通过上述处理过程可以看出，主进程根据有向计算图来控制从进程中所有计算模块的计算逻辑，即主进程通过RPC调用来控制计算模块的执行，并且根据模块执行的情况来维护与模块对应的节点的状态，以及节点的输出的状态；在一个节点的多个输入边的状态均为完成的情况下，才能调用执行与节点对应的计算模块，在收到应答响应的情况下，更新该节点的状态和该节点的输出边的状态，也即，计算模块在一个计算周期中的多个输入数据都完成的情况下，计算模块才会得到调用执行处理，从而能够控制保证计算模块的输入数据的一致性。
更进一步地，从进程中还具有一个对应的共享存储空间，共享存储空间中包括与进程中的每个计算模块相对应的存储空间，计算模块之间不再通过进程之间的通信机制进行数据传输，而是通过进程内共享的存储空间来进行数据的读取和写入，从而能够提高计算模块之间的通信效率，降低通信延时，提高多模块之间整体的通信效率，提高系统吞吐量。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件固件、软件或者他们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (36)

1.一种多模块调度方法，其特征在于，包括：
主进程读取预存的配置文件，配置文件中保存有一个有向计算图；其中，有向计算图与一个计算任务相对应，计算任务包括多个从进程，每个从进程包括按照计算方向组合的多个计算模块；有向计算图中包括多个节点，每个节点对应一个从进程中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边；
主进程在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态；
在至少一个节点的状态未更新为结束时，通过远程过程调用来控制计算模块的执行；以及
在确定全部节点的状态更新为结束之后，进行下一个计算周期的处理，
其中，通过远程过程调用来控制计算模块的执行包括重复执行的以下步骤：
根据有向计算图中的计算方向遍历有向计算图中的所有节点的状态，将节点的多个输入边均为完成状态的所有节点分别作为待调用节点；
向各个待调用节点对应的从进程中的各个计算模块分别发送远程过程调用RPC的调用请求，以分别执行各个待调用节点对应的各个计算模块；
在收到针对调用请求的应答响应后，将该节点的状态更新为结束，并将该节点的输出边的状态更新为完成。
2.根据权利要求1所述的方法，其特征在于，主进程包括主线程和线程池，线程池中包括多个从线程；
节点的状态包括：未就绪unready、就绪ready、运行run和结束done；
连接边的状态包括：未完成uncomplete和完成complete。
3.根据权利要求2所述的方法，其特征在于，主进程在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态，包括：
在计算起始时，主线程判断有向计算图中所有节点的状态是否为done状态；
在判断为是的情况下，将有向计算图中起始节点的状态重置为ready，其它节点的状态设置为unready，并将所有的连接边的状态设置为uncomplete；
在判断为否的情况下，主线程将自身的状态设置为等待。
4.根据权利要求2所述的方法，其特征在于，根据有向计算图中的计算方向遍历有向计算图中的各个节点的状态，将节点的多个输入边均为完成状态的节点作为待调用节点，包括：
在计算起始时，在初始化全部节点和全部连接边的状态后，主线程根据计算方向遍历有向计算图中的各个节点的状态，将状态为ready的节点确定为待调用的节点，其中，状态为ready的节点包括起始节点；将待调用节点的状态修改为run，并将待调用节点推送到计算队列中，并且主线程进行下一个计算周期的处理；或者，
在计算过程中，线程池中的一个从线程根据计算方向遍历有向计算图中的各个节点的状态，将状态为ready的节点确定为待调用节点，其中，状态为ready的节点包括节点的多个输入边均为complete状态的节点，将待调用节点的状态修改为run，并将待调用节点推送到计算队列中。
5.根据权利要求4所述的方法，其特征在于，向待调用的节点对应的从进程中的计算模块发送RPC的调用请求以执行该计算模块，包括：
线程池中的一个从线程从计算队列中取出一个节点，向该节点对应的从进程中的计算模块发送RPC的调用请求。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据预存的配置文件，线程池中的一个从线程确定从计算队列中取出的节点所对应的计算模块的标识、以及计算模块的输入数据的存储地址和/或输出数据的存储地址，将该计算模块的标识、输入数据的存储地址和/或输出数据的存储地址以及携带在调用请求中。
7.根据权利要求6所述的方法，其特征在于，计算模块的输出数据的存储地址是计算模块所在的从进程所对应的共享存储空间中的地址，该地址与计算模块相对应；
或者，输出数据的存储地址是另一个从进程所应对的共享存储空间中的地址，该地址与计算模块相对应。
8.根据权利要求6所述的方法，其特征在于，计算模块的输入数据的存储地址是计算模块所在的从进程所对应的共享存储空间中的地址。
9.根据权利要求2所述的方法，其特征在于，在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态，包括：
线程池中的一个从线程在收到针对一个节点所发出的调用请求的应答响应后，将该节点的状态设置为done，将该节点的输出边的状态修改为complete，并且将所有输入边均为complete的节点的状态设置为ready。
10.根据权利要求2所述的方法，其特征在于，在确定全部节点的状态更新结束时，进行下一个计算周期的处理，包括：
线程池中的一个从线程遍历有向计算图中的各个节点的状态，在确定有向计算图中所有节点的状态为done的情况下，通知Notify处于等待状态的主线程进行下一个计算周期的处理。
11.一种多模块调度方法，其特征在于，包括：
在当前计算周期中，从进程中的一个计算模块接收来自主进程的远程过程调用RPC的调用请求；其中，从进程中包括根据计算方向组合的多个计算模块；对于具有多个输入数据的计算模块，调用请求是主进程在根据有向计算图中的计算方向遍历有向计算图中的所有节点的状态并将节点的多个输入边均为完成状态的所有节点分别作为待调用节点，从而确定待调用节点对应的计算模块的多个输入数据都已就绪的情况下发出的；
该计算模块响应于调用请求执行处理；
在处理执行完成后，计算模块向主进程反馈应答响应。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：接收到的调用请求中包括计算模块的标识、输入数据的存储地址和/或输出数据的存储地址；
则，计算模块响应于调用请求执行处理，包括：
计算模块响应于调用请求，从输入数据的存储地址读取输入数据执行处理，并将输出数据写入到输出数据的存储地址中。
13.根据权利要求12所述的方法，其特征在于，输出数据的存储地址是从进程所对应的共享存储空间中的地址，该地址与计算模块相对应；
或者，输出数据的存储地址是另一个从进程所应对的共享存储空间中的地址，该地址与计算模块相对应。
14.根据权利要求12所述的方法，其特征在于，输入数据的存储地址是从进程所对应的共享存储空间中的地址。
15.根据权利要求11所述的方法，其特征在于，计算模块是一个服务Service函数。
16.一种多模块调度装置，其特征在于，包括：
读取模块，用于读取预存的配置文件，配置文件中保存有一个有向计算图；其中，有向计算图与一个计算任务相对应，计算任务包括多个从进程，每个从进程包括按照计算方向组合的多个计算模块；有向计算图中包括多个节点，每个节点对应一个从进程中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边；
执行模块，用于在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态；在至少一个节点的状态未更新为结束时，通过远程过程调用来控制计算模块的执行；以及在确定全部节点的状态更新为结束之后，进行下一个计算周期的处理，
其中，执行模块通过远程过程调用来控制计算模块的执行包括重复执行的以下步骤：根据有向计算图中的计算方向遍历有向计算图中的所有节点的状态，将节点的多个输入边均为完成状态的所有节点分别作为待调用节点；向各个待调用的节点对应的从进程中的各个计算模块分别发送远程过程调用RPC的调用请求，以分别执行各个待调用节点对应的各个计算模块；在收到针对调用请求的应答响应后，将该节点的状态更新为结束，并将该节点的输出边的状态更新为完成。
17.根据权利要求16所述的装置，其特征在于，执行模块包括主线程模块和线程池模块，线程池模块中包括多个从线程模块；
节点的状态包括：未就绪unready、就绪ready、运行run和结束done；
连接边的状态包括：未完成uncomplete和完成complete。
18.根据权利要求16所述的装置，其特征在于，执行模块在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态，包括：
在计算起始时，主线程模块判断有向计算图中所有节点的状态是否为done状态；
在判断为是的情况下，将有向计算图中起始节点的状态重置为ready，其它节点的状态设置为unready，并将所有的连接边的状态设置为uncomplete；
在判断为否的情况下，主线程模块将自身的状态设置为等待。
19.根据权利要求17所述的装置，其特征在于，执行模块根据有向计算图中的计算方向遍历有向计算图中的各个节点的状态，将节点的多个输入边均为完成状态的节点作为待调用节点，包括：
在计算起始时，在初始化全部节点和全部连接边的状态后，主线程模块根据计算方向遍历有向计算图中的各个节点的状态，将状态为ready的节点确定为待调用的节点，其中，状态为ready的节点包括起始节点；将待调用节点的状态修改为run，并待调用节点推送到计算队列中，并且主线程模块进行下一个计算周期的处理；或者，
在计算过程中，线程池模块中的一个从线程模块根据计算方向遍历有向计算图中的各个节点的状态，将状态为ready的节点确定为待调用节点，其中，状态为ready的节点包括节点的多个输入边均为complete状态的节点，将待调用节点的状态修改为run，并待调用节点推送到计算队列中。
20.根据权利要求19所述的装置，其特征在于，执行模块向待调用的节点对应的从进程中的计算模块发送RPC的调用请求以执行该计算模块，包括：
线程池模块中的一个从线程模块从计算队列中取出一个节点，向该节点对应的从进程中的计算模块发送RPC的调用请求。
21.根据权利要求20所述的装置，其特征在于，从线程模块还用于：
根据预存的配置文件，确定从计算队列中取出的节点所对应的计算模块的标识、以及计算模块的输入数据的存储地址和/或输出数据的存储地址，将该计算模块的标识、输入数据的存储地址和/或输出数据的存储地址以及携带在调用请求中；
其中，计算模块的输出数据的存储地址是计算模块所在的从进程所对应的共享存储空间中的地址，该地址与计算模块相对应；或者，输出数据的存储地址是另一个从进程所应对的共享存储空间中的地址，该地址与计算模块相对应；
计算模块的输入数据的存储地址是计算模块所在的从进程所对应的共享存储空间中的地址。
22.根据权利要求17所述的装置，其特征在于，执行模块在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态，包括：
线程池模块中的一个从线程模块在收到针对一个节点所发出的调用请求的应答响应后，将该节点的状态设置为done，将该节点的输出边的状态修改为complete，并且将所有输入边均为complete的节点的状态设置为ready。
23.根据权利要求17所述的装置，其特征在于，执行模块在确定全部节点的状态更新结束时，进行下一个计算周期的处理，包括：
线程池模块中的一个从线程模块遍历有向计算图中的各个节点的状态，在确定有向计算图中所有节点的状态为done的情况下，通知Notify处于等待状态的主线程进行下一个计算周期的处理。
24.一种多模块调度装置，其特征在于，该多模块调度装置应用在一个从进程中，从进程中包括按照计算方向组合的多个多模块调度装置，该装置包括：
接收模块，用于在当前计算周期中，接收来自主进程的远程过程调用RPC的调用请求；对于具有多个输入数据的多模块调度装置，作为计算模块的多模块调度装置响应于主进程的调用而执行处理，调用请求是主进程在根据有向计算图中的计算方向遍历有向计算图中的所有节点的状态并将节点的多个输入边均为完成状态的所有节点分别作为待调用节点，从而确定多模块调度装置的多个输入数据都已就绪的情况下发出的；
执行模块，用于响应于调用请求执行处理；
反馈模块，用于在执行模块执行完处理后，计算模块向主进程反馈应答响应。
25.根据权利要求24所述的装置，其特征在于，接收模块接收到的调用请求中包括计算模块的标识、输入数据的存储地址和/或输出数据的存储地址；其中，输出数据的存储地址是从进程所对应的共享存储空间中的地址，该地址与计算模块相对应；或者，输出数据的存储地址是另一个从进程所应对的共享存储空间中的地址，该地址与计算模块相对应；输入数据的存储地址是从进程所对应的共享存储空间中的地址；
则，执行模块响应于调用请求执行处理，包括：
执行模块响应于调用请求，从输入数据的存储地址读取输入数据执行处理，并将输出数据写入到输出数据的存储地址中。
26.一种多模块调度装置，其特征在于，包括：一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现：
读取预存的配置文件，配置文件中保存有一个有向计算图；其中，有向计算图与一个计算任务相对应，计算任务包括多个从进程，每个从进程包括按照计算方向组合的多个计算模块；有向计算图中包括多个节点，每个节点对应一个从进程中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边；
在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态；
在至少一个节点的状态未更新为结束时，通过远程过程调用来控制计算模块的执行；以及
在确定全部节点的状态更新为结束之后，进行下一个计算周期的处理，
其中，通过远程过程调用来控制计算模块的执行包括重复执行的以下步骤：
根据有向计算图中的计算方向遍历有向计算图中的所有节点的状态，将节点的多个输入边均为完成状态的所有节点分别作为待调用节点；
向各个待调用节点对应的从进程中的各个计算模块分别发送远程过程调用RPC的调用请求，以分别执行各个待调用节点对应的各个计算模块；
在收到针对调用请求的应答响应后，将该节点的状态更新为结束，并将该节点的输出边的状态更新为完成。
27.根据权利要求26所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现主线程和线程池，线程池中包括多个从线程；
节点的状态包括：未就绪unready、就绪ready、运行run和结束done；
连接边的状态包括：未完成uncomplete和完成complete。
28.根据权利要求27所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态，包括：
在计算起始时，主线程判断有向计算图中所有节点的状态是否为done状态；
在判断为是的情况下，将有向计算图中起始节点的状态重置为ready，其它节点的状态设置为unready，并将所有的连接边的状态设置为uncomplete；
在判断为否的情况下，主线程将自身的状态设置为等待。
29.根据权利要求27所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现根据有向计算图中的计算方向遍历有向计算图中的各个节点的状态，将节点的多个输入边均为完成状态的节点作为待调用节点，包括：
在计算起始时，在初始化全部节点和全部连接边的状态后，主线程根据计算方向遍历有向计算图中的各个节点的状态，将状态为ready的节点确定为待调用的节点，其中，状态为ready的节点包括起始节点；将待调用节点的状态修改为run，并将待调用节点推送到计算队列中，并且主线程进行下一个计算周期的处理；或者，
在计算过程中，线程池中的一个从线程根据计算方向遍历有向计算图中的各个节点的状态，将状态为ready的节点确定为待调用的节点，其中，状态为ready的节点包括节点的多个输入边均为complete状态的节点，将待调用节点的状态修改为run，并将待调用节点推送到计算队列中。
30.根据权利要求29所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现向待调用的节点对应的从进程中的计算模块发送RPC的调用请求以执行该计算模块，包括：
线程池中的一个从线程从计算队列中取出一个节点，向该节点对应的从进程中的计算模块发送RPC的调用请求。
31.根据权利要求30所述的装置，其特征在于，处理器执行至少一条机器可执行指令还实现：
根据预存的配置文件，线程池中的一个从线程确定从计算队列中取出的节点所对应的计算模块的标识、以及计算模块的输入数据的存储地址和/或输出数据的存储地址，将该计算模块的标识、输入数据的存储地址和/或输出数据的存储地址以及携带在调用请求中；
其中，计算模块的输出数据的存储地址是计算模块所在的从进程所对应的共享存储空间中的地址，该地址与计算模块相对应；或者，输出数据的存储地址是另一个从进程所应对的共享存储空间中的地址，该地址与计算模块相对应；
计算模块的输入数据的存储地址是计算模块所在的从进程所对应的共享存储空间中的地址。
32.根据权利要求27所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现：在收到针对调用请求的应答响应后，更新该节点的状态和该节点的输出边的状态，包括：
线程池中的一个从线程在收到针对一个节点所发出的调用请求的应答响应后，将该节点的状态设置为done，将该节点的输出边的状态修改为complete，并且将所有输入边均为complete的节点的状态设置为ready。
33.根据权利要求27所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现：在确定全部节点的状态更新结束时，进行下一个计算周期的处理，包括：
线程池中的一个从线程遍历有向计算图中的各个节点的状态，在确定有向计算图中所有节点的状态为done的情况下，通知Notify处于等待状态的主线程进行下一个计算周期的处理。
34.一种多模块调度装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现：
在当前计算周期中，收来自主进程的远程过程调用RPC的调用请求；对于具有多个输入数据的多模块调度装置，作为计算模块的多模块调度装置响应于主进程的调用而执行处理，调用请求是主进程在根据有向计算图中的计算方向遍历有向计算图中的所有节点的状态并将节点的多个输入边均为完成状态的所有节点分别作为待调用节点，从而确定多模块调度装置的多个输入数据都已就绪的情况下发出的；
响应于调用请求执行处理；
在处理执行完成后向主进程反馈应答响应。
35.根据权利要求34所述的装置，其特征在于，处理器执行至少一条机器可执行指令还实现：接收到的调用请求中包括计算模块的标识、输入数据的存储地址和/或输出数据的存储地址；其中，输出数据的存储地址是从进程所对应的共享存储空间中的地址，该地址与计算模块相对应；或者，输出数据的存储地址是另一个从进程所应对的共享存储空间中的地址，该地址与计算模块相对应；输入数据的存储地址是从进程所对应的共享存储空间中的地址；
则，处理器执行至少一条机器可执行指令以实现：响应于调用请求执行处理，包括：
响应于调用请求，从输入数据的存储地址读取输入数据执行处理，并将输出数据写入到输出数据的存储地址中。
36.一种多模块调度系统，其特征在于，包括：主进程和多个从进程；其中，每个从进程包括按照计算方向组合的多个计算模块；
主进程用于读取预存的配置文件，配置文件中保存有一个有向计算图；其中，有向计算图与一个计算任务相对应，计算任务包括多个从进程；有向计算图中包括多个节点，每个节点对应一个从进程中的一个计算模块，节点之间具有连接边，进入节点的连接边为输入边，离开节点的连接边为输出边；主进程在当前计算周期中，在计算开始时初始化全部节点和全部连接边的状态；在至少一个节点的状态未更新为结束时，通过远程过程调用来控制计算模块的执行；以及在确定全部节点的状态更新为结束之后，进行下一个计算周期的处理，其中，通过远程过程调用来控制计算模块的执行包括重复执行的以下步骤：根据有向计算图中的计算方向遍历有向计算图中的所有节点的状态，将节点的多个输入边均为完成状态的所有节点分别作为待调用节点；向各个待调用节点对应的从进程中的各个计算模块分别发送远程过程调用RPC的调用请求，以分别执行各个待调用节点对应的各个计算模块；在收到针对调用请求的应答响应后，将该节点的状态更新为结束，并将该节点的输出边的状态更新为完成；
从进程中的一个计算模块接收来自主进程的RPC的调用请求；该计算模块响应于调用请求执行处理；在处理执行完成后，计算模块向主进程反馈应答响应。
CN201711341869.2A 2017-12-14 2017-12-14 一种多模块调度方法、装置及系统 Active CN109960571B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711341869.2A CN109960571B (zh) 2017-12-14 2017-12-14 一种多模块调度方法、装置及系统
US16/276,084 US11055144B2 (en) 2017-12-14 2019-02-14 Method, apparatus, and system for multi-module scheduling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711341869.2A CN109960571B (zh) 2017-12-14 2017-12-14 一种多模块调度方法、装置及系统

Publications (2)

Publication Number Publication Date
CN109960571A CN109960571A (zh) 2019-07-02
CN109960571B true CN109960571B (zh) 2022-03-25

Family

ID=67018437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711341869.2A Active CN109960571B (zh) 2017-12-14 2017-12-14 一种多模块调度方法、装置及系统

Country Status (2)

Country Link
US (1) US11055144B2 (zh)
CN (1) CN109960571B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960570B (zh) 2017-12-14 2021-09-03 北京图森智途科技有限公司 一种多模块调度方法、装置及系统
US11132218B2 (en) * 2018-12-28 2021-09-28 Paypal, Inc. Task execution with non-blocking calls
CN113568666A (zh) * 2021-06-07 2021-10-29 阿里巴巴新加坡控股有限公司 图像的处理方法、装置、存储介质和处理器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103809966A (zh) * 2012-11-08 2014-05-21 国际商业机器公司 数据流分析方法和装置
CN104662535A (zh) * 2012-07-24 2015-05-27 起元科技有限公司 数据模型中的实体映射
CN106250563A (zh) * 2016-08-30 2016-12-21 江苏名通信息科技有限公司 基于GPS平台的k‑bisimulation计算算法
CN106605209A (zh) * 2014-09-02 2017-04-26 起元科技有限公司 控制数据处理任务
CN109960570A (zh) * 2017-12-14 2019-07-02 北京图森未来科技有限公司 一种多模块调度方法、装置和系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050071438A1 (en) * 2003-09-30 2005-03-31 Shih-Wei Liao Methods and apparatuses for compiler-creating helper threads for multi-threading
US20050081206A1 (en) * 2003-10-14 2005-04-14 Armstrong Douglas R. Methods and apparatus for profiling threaded programs
US8069446B2 (en) * 2009-04-03 2011-11-29 Microsoft Corporation Parallel programming and execution systems and techniques
US8880524B2 (en) * 2009-07-17 2014-11-04 Apple Inc. Scalable real time event stream processing
US9262228B2 (en) 2010-09-23 2016-02-16 Microsoft Technology Licensing, Llc Distributed workflow in loosely coupled computing
US8620962B1 (en) * 2012-02-21 2013-12-31 Netapp, Inc. Systems and methods for hierarchical reference counting via sibling trees
US9116258B2 (en) * 2012-04-03 2015-08-25 Schlumberger Technology Corporation Parallel multipoint geostatistics simulation
CA2921231C (en) * 2013-08-15 2022-02-01 Zymeworks Inc. Systems and methods for in silico evaluation of polymers
US9465792B2 (en) * 2014-12-30 2016-10-11 Successfactors, Inc. Computer automated organization glossary generation systems and methods
US11429609B2 (en) * 2015-04-15 2022-08-30 Microsoft Technology Licensing, Llc Geo-scale analytics with bandwidth and regulatory constraints
SG11201805215UA (en) * 2015-12-21 2018-07-30 Ciambella Ltd Method and apparatus for creating and managing controller based remote solutions
CN106506393A (zh) * 2016-02-05 2017-03-15 华为技术有限公司 一种数据流处理方法、装置和系统
CN105718305B (zh) * 2016-03-15 2018-11-13 南京南瑞继保电气有限公司 一种基于进程的仿真任务并行调度方法
US9602846B1 (en) * 2016-08-31 2017-03-21 Living As One, Llc System and method for asynchronous uploading of live digital multimedia with guaranteed delivery
US11861272B2 (en) * 2016-10-20 2024-01-02 Oracle International Corporation Comprehensive contention-based thread allocation and placement
CN107122239A (zh) * 2017-04-28 2017-09-01 武汉票据交易中心有限公司 一种多线程事件分发方法和系统
US10628236B2 (en) 2017-06-06 2020-04-21 Huawei Technologies Canada Co., Ltd. System and method for inter-datacenter communication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104662535A (zh) * 2012-07-24 2015-05-27 起元科技有限公司 数据模型中的实体映射
CN103809966A (zh) * 2012-11-08 2014-05-21 国际商业机器公司 数据流分析方法和装置
CN106605209A (zh) * 2014-09-02 2017-04-26 起元科技有限公司 控制数据处理任务
CN106250563A (zh) * 2016-08-30 2016-12-21 江苏名通信息科技有限公司 基于GPS平台的k‑bisimulation计算算法
CN109960570A (zh) * 2017-12-14 2019-07-02 北京图森未来科技有限公司 一种多模块调度方法、装置和系统

Also Published As

Publication number Publication date
US11055144B2 (en) 2021-07-06
CN109960571A (zh) 2019-07-02
US20190286489A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
CN109960570B (zh) 一种多模块调度方法、装置及系统
CN109960571B (zh) 一种多模块调度方法、装置及系统
US10846124B2 (en) Communication method, apparatus and system for virtual machine and host machine
CN108196946B (zh) 一种微内核操作系统的分区多核方法
WO2022016998A1 (zh) 物联网控制系统的处理方法、系统、服务器、终端及介质
US8065681B2 (en) Generic shared memory barrier
CN111026541B (zh) 渲染资源调度方法、装置、设备及存储介质
KR20190044572A (ko) 명령 세트
CN110647332A (zh) 基于容器云的软件部署方法和装置
CN108733496B (zh) 事件处理方法和装置
CN111176801B (zh) 一种多进程管理方法、装置、设备及存储介质
US20160313715A1 (en) Method, Device and Computer Program Product for Programming a Plurality of Control Units
CN109822549B (zh) 一种机器人编程方法、装置及控制器
EP4148568A1 (en) Method for realizing live migration, chip, board, and storage medium
CN110929856B (zh) 一种npu与主cpu的数据交互方法和装置
JP2877095B2 (ja) マルチプロセッサシステム
CN110109747B (zh) 基于Apache Spark的数据交换方法及系统、服务器
CN109062686A (zh) 多进程管理方法、存储介质、电子设备及系统
CN111158783B (zh) 一种环境变量修改方法、装置、设备及可读存储介质
US3505647A (en) Apparatus providing alterable symbolic memory addressing in a multiprogrammed data processing system
CN114416427A (zh) 一种虚拟化设备的备份方法和装置
EP3467654A1 (en) Semiconductor device
JP2019194847A (ja) 分散したソフトウェアコンポーネント間の通信におけるエラー処理のための方法および装置
CN113778458B (zh) 数据处理器功能开发系统、方法及计算设备
CN110908952B (zh) 一种数据处理方法、装置、cpu及计算机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200326

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSENZHITU TECHNOLOGY Co.,Ltd.

Address before: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant before: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant