CN110825440A - 指令执行方法和装置 - Google Patents

指令执行方法和装置 Download PDF

Info

Publication number
CN110825440A
CN110825440A CN201810911185.XA CN201810911185A CN110825440A CN 110825440 A CN110825440 A CN 110825440A CN 201810911185 A CN201810911185 A CN 201810911185A CN 110825440 A CN110825440 A CN 110825440A
Authority
CN
China
Prior art keywords
instruction
instructions
sent
execution
added
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810911185.XA
Other languages
English (en)
Other versions
CN110825440B (zh
Inventor
王京
漆维
李宇鹏
龚小章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunlun Core Beijing Technology Co ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810911185.XA priority Critical patent/CN110825440B/zh
Priority to US16/458,381 priority patent/US11422817B2/en
Priority to KR1020190082746A priority patent/KR102225768B1/ko
Priority to JP2019128635A priority patent/JP7012689B2/ja
Publication of CN110825440A publication Critical patent/CN110825440A/zh
Application granted granted Critical
Publication of CN110825440B publication Critical patent/CN110825440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3854—Instruction completion, e.g. retiring, committing or graduating
    • G06F9/3856—Reordering of instructions, e.g. using queues or age tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G06F9/3851—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution from multiple instruction streams, e.g. multistreaming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3867—Concurrent instruction execution, e.g. pipeline or look ahead using instruction pipelines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3889—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by multiple instructions, e.g. MIMD, decoupled access or execute
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Advance Control (AREA)
  • Computer And Data Communications (AREA)
  • Executing Machine-Instructions (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

本申请实施例公开了指令执行方法和装置。该方法的一具体实施方式包括：获取指令队列；按照预设顺序从指令队列中获取待发送指令，执行如下发送步骤：确定出待发送指令的类型；响应于确定出待发送指令为运算类指令，从执行部件集合中确定执行待发送指令的执行部件，将待发送指令发送到所确定的执行部件；响应于确定出待发送指令为阻塞类指令，在接收到用于指示与待发送指令关联的指令执行完成的信号之后，获取下一条待发送指令，继续执行发送步骤。该实施方式能够提高指令执行的可靠性、降低指令队列所占用的存储器的容量、提高指令执行效率。

Description

指令执行方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及指令执行方法和装置。
背景技术
近年来，随着人工智能技术的兴起和发展，以深度学习为代表的模型算法以及以大数据为代表的数据处理算法已经广泛应用于各个领域，例如，语音识别、图像识别、自然语言处理等领域。
通常，深度学习模型中存在大量的计算密集型算子，例如，矩阵计算、卷积、池化、激活、标准化等等；数据处理器中同样也存在大量的计算密集算子，例如，数据查询、数据过滤、数据连接、数据排序等。由于这些运算非常耗时，传统CPU(Central Processing Unit，中央处理单元)的运算能力难以满足需求，从而使得异构运算成为主流。并且因此开发出了各种深度学习专用处理器、大数据专用处理器，诸如，GPU(Graphics Processing Unit，图形处理器)、ASIC(Application Specific Integrated Circuits，专用集成电路)等。
现有技术中，通常在专用处理器中设置多个单一的执行部件。例如，在深度学习专用处理器中，设置进行矩阵计算的执行部件、进行图像卷积计算的执行部件；在大数据专用处理器中，设置进行数据过滤的执行部件、进行数据排序的执行部件。每一个单一的执行部件需要从指令队列中获取需要执行的指令。
发明内容
本申请实施例提出了指令执行方法和装置。
第一方面，本申请实施例提供了一种指令执行方法，该方法包括：获取指令队列；按照预设顺序从指令队列中获取待发送指令，执行如下发送步骤：确定出待发送指令的类型；响应于确定出待发送指令为运算类指令，从执行部件集合中确定执行待发送指令的执行部件，将待发送指令发送到所确定的执行部件；响应于确定出待发送指令为阻塞类指令，在接收到用于指示与待发送指令关联的指令执行完成的信号之后，获取下一条待发送指令，继续执行发送步骤。
在一些实施例中，该方法还包括：统计执行部件集合中的执行部件已执行完成的指令的数目。
在一些实施例中，与待发送指令关联的指令包括指令所属的运算类型和指令编号；在接收到用于指示与待发送指令关联的指令执行完成的信号之后，获取下一条待发送指令，包括：将执行运算类型的指令的执行部件作为目标执行部件，响应于接收到目标执行部件返回的指令执行完成的信号，更新目标执行部件已执行完成的指令数目；确定已更新的目标执行部件已执行完成的指令数目是否大于等于指令编号；响应于确定已更新的目标执行部件已执行完成的指令数目大于等于指令编号，获取下一条待发送指令。
在一些实施例中，指令队列通过如下步骤建立：接收任务信息；从任务信息中提取出至少两个运算类指令；按照指令执行顺序，从至少两个运算类指令中选取运算类指令作为待添加指令，执行如下添加步骤：确定待添加指令与之前添加至指令队列中的运算类指令是否存在数据依赖；响应于确定不存在数据依赖，将待添加指令添加至指令队列；响应于确定存在数据依赖，生成与所依赖的运算类指令相关联的阻塞类指令，将所生成的阻塞类指令、待添加指令依次添加至指令队列，从至少两个运算类指令中选取运算类指令作为待添加指令，继续执行添加步骤。
在一些实施例中，指令队列通过如下步骤建立：接收任务信息；从任务信息中提取出至少两个运算类指令；按照指令执行顺序，从至少两个运算类指令中选取运算类指令作为待添加指令，执行如下添加步骤：确定用于执行待添加指令的执行部件可以缓存的指令的数目；按照添加至指令队列的顺序，确定待添加指令在同种运算类型中的指令编号；确定指令编号减一是否小于等于可以缓存的指令的数目；响应于确定指令编号减一小于等于可以缓存的指令的数目，将待添加指令添加至指令队列；响应于确定指令编号减一大于可以缓存的指令的数目，生成与可以缓存的指令的数目相同指令编号的运算类指令相关联的阻塞类指令，将所生成的阻塞类指令、待添加指令依次添加至指令队列，从至少两个运算类指令中选取运算类指令作为待添加指令，继续执行添加步骤。
第二方面，本申请实施例提供了一种指令执行装置，该装置包括：指令队列获取模块，被配置成获取指令队列；指令发送模块，被配置成按照预设顺序从指令队列中获取待发送指令，执行如下发送步骤：确定出待发送指令的类型；响应于确定出待发送指令为运算类指令，从执行部件集合中确定执行待发送指令的执行部件，将待发送指令发送到所确定的执行部件；待发送指令获取模块，被配置成响应于确定出待发送指令为阻塞类指令，在接收到用于指示与待发送指令关联的指令执行完成的信号之后，获取下一条待发送指令，继续执行发送步骤。
在一些实施例中，指令执行装置还包括：统计模块，被配置成统计执行部件集合中的执行部件已执行完成的指令的数目。
在一些实施例中，与待发送指令关联的指令包括指令所属的运算类型和指令编号；待发送指令获取模块进一步被配置成：将执行运算类型的指令的执行部件作为目标执行部件，响应于接收到目标执行部件返回的指令执行完成的信号，更新目标执行部件已执行完成的指令数目；确定已更新的目标执行部件已执行完成的指令数目是否大于等于指令编号；响应于确定已更新的目标执行部件已执行完成的指令数目大于等于指令编号，获取下一条待发送指令。
在一些实施例中，指令队列通过如下步骤建立：接收任务信息；从任务信息中提取出至少两个运算类指令；按照指令执行顺序，从至少两个运算类指令中选取运算类指令作为待添加指令，执行如下添加步骤：确定待添加指令与之前添加至指令队列中的运算类指令是否存在数据依赖；响应于确定不存在数据依赖，将待添加指令添加至指令队列；响应于确定存在数据依赖，生成与所依赖的运算类指令相关联的阻塞类指令，将所生成的阻塞类指令、待添加指令依次添加至指令队列，从至少两个运算类指令中选取运算类指令作为待添加指令，继续执行添加步骤。
在一些实施例中，指令队列通过如下步骤建立：接收任务信息；从任务信息中提取出至少两个运算类指令；按照指令执行顺序，从至少两个运算类指令中选取运算类指令作为待添加指令，执行如下添加步骤：确定用于执行待添加指令的执行部件可以缓存的指令的数目；按照添加至指令队列的顺序，确定待添加指令在同种运算类型中的指令编号；确定指令编号减一是否小于等于可以缓存的指令的数目；响应于确定指令编号减一小于等于可以缓存的指令的数目，将待添加指令添加至指令队列；响应于确定指令编号减一大于可以缓存的指令的数目，生成与可以缓存的指令的数目相同指令编号的运算类指令相关联的阻塞类指令，将所生成的阻塞类指令、待添加指令依次添加至指令队列，从至少两个运算类指令中选取运算类指令作为待添加指令，继续执行添加步骤。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任意实施例的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任意实施例的方法。
本申请实施例提供的指令执行方法和装置，接收指令队列，之后按照预设顺序从指令队列中获取待发送指令，确定待发送指令的类型，在确定待发送指令为运算类指令时，可以从执行部件集合中确定执行待发送指令的指令部件，从而将待发送指令发送到所确定的执行部件；在确定出待发送指令为阻塞类指令时，可以停止获取下一条待发送指令，在接收到用于指示与待发送指令关联的指令执行完成后，再获取下一条待发送指令。从而使得当指令队列中的指令存在数据依赖时，在当前指令所依赖的指令执行完毕后再执行当前指令，提高指令执行的可靠性；其次，将存在数据依赖的指令设置于同一个指令队列中，可以减少指令队列的数目，降低了指令队列所占用的存储器的容量；再次，在确定出待发送的指令为非阻塞类指令时，可以将指令发送至与该指令对应的执行部件中执行，提高了执行部件集合中的执行部件的利用率，从而进一步提高了指令执行效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的指令执行方法的一个实施例的流程图；
图3是根据本申请的指令执行方法的一个应用场景的示意图；
图4是根据本申请的指令执行方法的另一实施例的流程图；
图5是根据本申请的指令执行装置的一个实施例的结构示意图；
图6是根据本申请的电子设备的一个实施例的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的指令执行方法或指令执行装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括指令调度单元11、执行部件12和总线13。总线13用以在指令调度单元11和执行部件12之间提供通信链路的介质，例如，PCIE(peripheralcomponent interconnectexpress，一种高速串行计算机扩展总线标准)总线等。在这里，系统架构100可以应用于人工智能芯片中，也可以应用于计算机中。
人工智能芯片也被称为AI加速器或计算卡，专门用于处理人工智能应用中的大量计算密集型的计算任务。当系统架构100应用于人工智能芯片中时，指令调度单元11可以包括用于存储指令的指令存储器、用于存储数据的数据存储器、以及其他可编程器件等；执行部件12可以包括通用执行部件、专用执行部件等。通用执行部件包括可编程通用计算图形处理器等，专用执行部件包括以下至少一种：单数据处理器、平面数据处理器、通道数据处理器、专用内存和数据重构引擎等。举例来说，当上述人工智能芯片为深度学习专用处理器时，上述各执行部件可以包括进行矩阵计算的数据处理部件、进行图像卷积计算的数据处理部件等。
当系统架构100应用于计算机中时，指令调度单元11可以包括存储器、中央处理器等，执行部件12可以包括可编程通用计算图形处理器等可编程器件。
指令调度单元11可以通过总线13与执行部件12进行交互，以发送和接收消息。指令调度单元11可以将指令队列中的指令发送到执行部件12，以及接收执行部件12返回的指令执行完成的信号。
需要说明的是，本申请实施例所提供的指令执行方法一般由指令调度单元11执行，相应地，指令执行装置一般设置于调度单元11中。
应该理解，图1中的指令执行单元、总线和执行部件的数目仅仅是示意性的。根据实现需要，可以具有任意合适数目的指令执行单元、总线和执行部件。
继续参考图2，示出了根据本申请的指令执行方法的一个实施例的流程200。该指令执行方法，可以包括以下步骤：
步骤201，获取指令队列。
在本实施例中，指令执行方法的执行主体(例如图1所示的指令调度单元11)可以获取指令队列。在这里，该指令队列中存储有各种指令。具体的，该指令队列中的指令可以包括操作指令。在这里，操作指令可以是人工智能芯片的专用执行部件可执行的指令，例如，矩阵计算指令、向量运算指令等等。上述指令队列可以由中央处理器基于接收到的外部发送的任务获取请求中的任务而生成的，也可以为预先存储在人工智能芯片中的。从而，上述执行主体可以与中央处理器通信连接，从中央处理器中获取指令队列，也可以从人工智能芯片中直接获取指令队列。上述指令队列通常以指令执行的先后顺序排列。例如，上述执行主体中可以设置有指令队列缓冲器，上述指令队列可以存储在指令队列缓冲器中，该指令队列缓冲器通常执行“先进先出”原则。也即是说，先存放至指令队列缓冲器中的指令优先被执行。
步骤202，按照预设顺序从指令队列中获取待发送指令，执行如下发送步骤：
步骤2011，确定出待发送指令的类型。
在本实施例中，上述执行主体根据所获取到的指令队列，根据预设顺序(例如先进先出顺序)从上述指令队列获取待发送指令。在这里，上述执行主体可以从指令队列中逐个获取待发送指令。当获取到一个指令后，可以先确定出待发送指令的类型。在这里，待发送指令的类型可以包括运算类指令和阻塞类指令。具体的，运算类指令用于指示操作。例如，用于指示数据过滤的操作、用于指示数据聚合的操作、用于指示图像卷积的运算操作、用于指示全连接运算操作等。通常运算类指令根据运算类型的不同又可分为多种不同运算类指令(例如卷积运算类指令、全连接运算类指令等)，同一种运算类指令可以由同一个执行部件执行。通常，同一个指令队列中所存放的指令之间相互配合可以完成同一个任务。这样一来，由同一个执行部件执行相同类型的运算类指令可以提高指令执行速度，进一步提高任务处理效率。
步骤2012，响应于确定出待发送指令为运算类指令，从执行部件集合中确定执行待发送指令的执行部件，将待发送指令发送到所确定的执行部件。
在本实施例中，上述执行主体在响应于确定出待发送指令为运算类指令后，可以从执行部件集合中确定出执行待发送指令的执行部件。具体的，上述指令队列中的每一条指令均可以包括指令标识。该指令标识可以用于标识指令的运算类型。例如，可以将指令所生成的数据报文的报文头作为指令标识。上述执行主体中可以存储有指令标识与用于执行指令标识匹配的指令的执行部件的对应该关系表。因此，当上述执行主体在获取到待发送指令后，可以从上述对应关系表中查找出指令部件集合中用于执行待发送指令的执行部件，然后将待发送指令发送到所确定的执行部件，以供所确定的执行部件执行待发送指令。
步骤203，响应于确定出待发送指令为阻塞类指令，在接收到用于指示与待发送指令关联的指令执行完成的信号之后，获取下一条待发送指令，继续执行发送步骤。
在本实施例中，上述执行主体在响应于确定出待发送指令为阻塞类执行时，可以确定出具体需要等待哪条指令执行完毕后继续从指令队列中获取下一条指令。在这里，与待发送指令关联的指令也即为需要等待执行完毕的指令。在这里，可以将需要等待执行完毕的指令的指令标识与阻塞类指令相关联。上述执行主体可以将接收到的指令执行完成的指令标识和与待发送指令相关联的指令标识进行匹配，当匹配成功时，可以确定与待发送指令关联的指令执行完成。从而，上述执行主体可以获取下一条待发送指令，然后继续执行发送步骤。
作为一种可选的实现方式，指令队列可以通过如下步骤建立：
首选，上述执行主体可以接收任务信息。在这里，任务信息可以为人工智能芯片或计算机接收到的外部发送的任务。具体的，当人工智能芯片为卷积神经网络模型时，该任务可以为通过输入图像获取图像分类结果的任务；也可以为通过输入文字获取语义结果的任务等等。该任务信息可以为用于描述任务的信息，例如可以为文本信息、图像信息、流程信息等等。作为示例，该描述任务的信息例如可以包括卷积运算、全连接运算、池化运算等等。
通常，在上述执行主体中可以预先设置有将任务信息转换成机器语言的协议或标准(例如C语言、JAVA语言等)。从而，上述执行主体在接收到任务信息后，可以从任务信息中提取出至少两个运算类指令。
然后，上述执行主体可以按照指令执行顺序，从至少两个运算类指令中选取运算类指令作为待添加指令，然后执行如下添加步骤：确定待添加指令与之前添加至指令队列中的运算类指令是否存在数据依赖。也即是说，待添加指令的操作数是否需要已经添加至指令队列中的某一条或某几条运算类指令的运算结果。在响应于确定待添加指令与之前添加至指令队列中的运算类指令不存在数据依赖时，可以将待添加指令添加至指令队列。
在响应于确定待添加指令与之前添加至指令队列中的运算类指令之间存在数据依赖时，可以生成与所依赖的至少一条运算类指令相关联的阻塞类指令。也即是说，可以将所依赖的至少一条运算类指令的指令标识与阻塞类指令相关联，从而该阻塞类指令可以具体指出所阻塞的哪一条或哪几条指令。然后，将所生成的阻塞类指令、待添加指令依次添加至指令队列，继续从至少两个运算类指令中选取运算类指令作为待添加指令，继续执行添加步骤。
作为另一种实现方式，指令队列还可以通过如下步骤建立：
首先，上述执行主体可以接收任务信息。
接着，从任务信息中提取出至少两个运算类指令。
然后，按照指令执行顺序，从至少两个运算类指令中选取运算类指令作为待添加指令，执行如下添加步骤：确定用于执行待添加指令的执行部件可以缓存的指令的数目。具体来说，执行部件集合中同一个执行部件可以用于执行同一运算类型的指令。而完成一项任务，通常包括多条相同运算类型的指令，从而上述指令队列中通常包括多个同一运算类型的指令。为了提高执行部件的执行效率，通常可以在执行部件中设置缓存，这样一来，在执行部件执行上一条指令时，可以将待执行指令缓存至执行部件中。还可以提高指令队列中的指令发送效率，进一步提高执行不同运算类型的执行部件的利用率。然而，执行部件中可以缓冲的指令的数目通常是有限的，为了防止指令丢失，上述执行主体可以首先确定用于执行待添加指令的执行部件可以缓存的指令的数目。接着，按照添加至指令队列的顺序，确定待添加指令在同种运算类型中的指令编号。然后，确定指令编号减一是否小于等于可以缓存的指令的数目。在这里，减一的目的是减去执行部件正在执行的指令。最后，上述执行主体在响应于确定指令编号减一小于等于可以缓存的指令的数目时，可以将待添加指令添加至指令队列。
最后，响应于确定指令编号减一大于可以缓存的指令的数目，生成与可以缓存的指令的数目相同指令编号的运算类指令相关联的阻塞类指令，将所生成的阻塞类指令、待添加指令依次添加至指令队列，从至少两个运算类指令中选取运算类指令作为待添加指令，继续执行添加步骤。
继续参考图3，其示出了根据本申请的指令执行方法的一个应用场景。
在如图3所示的应用场景中，指令队列为301为“先进先出”原则。也即是说，先被添加至指令队列301中的指令先被执行。图3示出了算子指令和阻塞指令两种指令。其中，算子指令为运算类指令，阻塞指令为阻塞类指令。算子指令又包括算子1、算子2、算子3三种运算类型的运算类指令。指令队列301中包括一条算子1，其指令编号为①；二条算子2，其指令编号分别为①、②；一条算子3，其指令编号为①。指令编号代表每一种类型的运算类指令添加至指令队列301中的顺序。指令编号为①的算子2先添加至指令队列301，也即先被执行，指令编号为②的算子2后添加至指令队列301。图3中，阻塞指令用于阻塞编号为①的算子2。也即是说，指令编号为①的算子3的操作数需要指令编号为①的算子2的执行结果。从而，上述阻塞指令用于指示指令编号为①的算子2的指令执行完毕后，执行算子3。在指令编号为①的算子2的指令没有执行完毕之前，不释放指令。图3所示的执行部件302用于执行指令队列中的各指令。其中，同一运算类型的运算类指令可以由同一个执行部件执行。其中，执行部件1用于执行算子1，执行部件2用于执行算子2，执行部件3用于执行算子3。
具体的，在T1时刻，算子1被发送给执行部件1，然后指令编号为①算子2不会被阻塞，而是会被立即发送给执行部件2，这样算子1和算子2会同时执行。如果每个执行部件内部存在指令缓存，那么指令队列可以继续发送指令编号为②的算子2给执行部件2，这样可以避免阻塞后续指令发送，进一步提升调度效率。发送完指令编号为②的算子2后，指令队列将会解析到一条阻塞指令，这条阻塞指令是阻塞指令编号为①的算子2指令，故指令队列会开始等待指令编号为①的算子2真正执行完毕。在T2时刻，指令编号为①的算子2执行完毕，执行部件2会马上开始执行缓存中的指令编号为②的算子2，同时指令队列发现指令编号为①的算子2已经执行完毕后，会继续发送算子3给执行单元3。从T2时刻开始，3个执行部件同时运行，直到T3时刻，算子1执行完毕，然后执行部件2和执行部件3继续同时运行一段时间，直到T4时刻，算子3执行完毕。
本申请实施例提供的指令执行方法，接收指令队列，之后按照预设顺序从指令队列中获取待发送指令，确定待发送指令的类型，在确定待发送指令为运算类指令时，可以从执行部件集合中确定执行待发送指令的指令部件，从而将待发送指令发送到所确定的执行部件；在确定出待发送指令为阻塞类指令时，可以停止获取下一条待发送指令，在接收到用于指示与待发送指令关联的指令执行完成后，再获取下一条待发送指令。从而使得当指令队列中的指令存在数据依赖时，在当前指令所依赖的指令执行完毕后再执行当前指令，提高指令执行的可靠性；其次，将存在数据依赖的指令设置于同一个指令队列中，可以减少指令队列的数目，降低了指令队列所占用的存储器的容量；再次，在确定出待发送的指令为非阻塞类指令时，可以将指令发送至与该指令对应的执行部件中执行，提高了执行部件集合中的执行部件的利用率，从而进一步提高了指令执行效率。
进一步参考图4，其示出了根据本申请的指令执行方法的另一个实施例的流程400。该指令执行方法，可以包括以下步骤：
步骤401，获取指令队列。
在本实施例中，指令执行方法的执行主体(例如图1所示的指令调度单元11)可以获取指令队列。在这里，该指令队列中存储有各种指令。具体的，该指令队列中的指令可以包括操作指令。在这里，操作指令可以是人工智能芯片的专用执行部件可执行的指令，例如，矩阵计算指令、向量运算指令等等。上述指令队列可以由中央处理器基于接收到的外部发送的任务获取请求中的任务而生成的，也可以为预先存储在人工智能芯片中的。从而，上述执行主体可以与中央处理器通信连接，从中央处理器中获取指令队列，也可以从人工智能芯片中直接获取指令队列。上述指令队列通常以指令执行的先后顺序排列。
步骤402，按照预设顺序从指令队列中获取待发送指令，执行如下发送步骤：
步骤4021，确定出待发送指令的类型。
在本实施例中，上述执行主体根据所获取到的指令队列，根据预设顺序(例如先进先出顺序)从上述指令队列获取待发送指令。在这里，上述执行主体可以从指令队列中逐个获取待发送指令。当获取到一个指令后，可以先确定出待发送指令的类型。在这里，待发送指令的类型可以包括运算类指令和阻塞类指令。
步骤4022，响应于确定出待发送指令为运算类指令，从执行部件集合中确定执行待发送指令的执行部件，将待发送指令发送到所确定的执行部件。
在本实施例中，上述执行主体在响应于确定出待发送指令为运算类指令后，可以从执行部件集合中确定出执行待发送指令的执行部件。具体的，上述指令队列中的每一条指令均可以包括指令标识。该指令标识可以用于标识指令的运算类型。上述执行主体中可以存储有指令标识与用于执行指令标识匹配的指令的执行部件的对应该关系表。因此，当上述执行主体在获取到待发送指令后，可以从上述对应关系表中查找出指令部件集合中用于执行待发送指令的执行部件，然后将待发送指令发送到所确定的执行部件，以供所确定的执行部件执行待发送指令。
步骤403，确定执行部件集合中的执行部件执行完成的指令的数目。
在本实施例中，上述执行主体中可以设置有计数器，用来统计执行部集合中的执行部件执行完成的指令的数目。在这里，当执行部件每执行完一条指令时，可以向上述执行主体发送指令执行完成的信号。从而，上述执行主体可以根据预设时间段内所接收到的各执行主体发送的指令执行完成的信号的数目，来确定与各执行部件对应的执行完成的指令的数目。这样一来，可以更好的确定指令执行情况。
步骤404，响应于确定出待发送指令为阻塞类指令，将执行运算类型的指令的执行部件作为目标执行部件，响应于接收到目标执行部件返回的指令执行完成的信号，更新目标执行部件已执行完成的指令数目。
在本实施例中，与待发送指令关联的指令可以包括指令所属的运算类型和指令编号。从而，上述执行主体在确定出待发送指令为阻塞指令时，可以将执行与待发送指令关联的指令所属的运算类型的执行部件作为目标执行部件。在响应于接收到目标执行部件返回的指令执行完成的信号时，可以更新目标执行部件已执行完成的指令的数目。在这里，该指令编号可以为与待发送指令关联的指令所属的运算类型在上述指令队列中序号。也即是说，同一类型的运算类指令中，该关联的指令在指令队列中排第几条。
步骤405，确定已更新的目标执行部件已执行完成的指令数目是否大于等于指令编号。
在本实施例中，上述执行主体还可以确定已更新的目标执行部件已执行完成的指令数目是否大于等于与待发送指令关联的指令的指令编号。
步骤406，响应于确定已更新的目标执行部件已执行完成的指令数目大于等于指令编号，获取下一条待发送指令。
在本实施例中，上述执行主体在响应于确定已更新的目标执行部件已执行完成的指令数目大于等于与待发送指令关联的指令的指令编号时，可以确定出与待发送指令关联的指令已执行完毕。从而，上述执行主体可以获取下一条待发送指令，继续执行步骤402-步骤406的步骤。
从图4中可以看出，与图2对应的实施例相比，本实施例中的指令执行方法的流程400突出了在执行主体中设置计数器，通过统计各执行部件执行完成的指令的数目来确定与待发送指令关联的指令的完成情况，进一步提高了指令发送的准确性。
进一步参考图5，作为对图2和图4所示方法的实现，本申请提供了一种指令执行装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于人工智能芯片或计算机的指令调度单元中。
如图5所示，本实施例的指令执行装置500可以包括指令队列获取模块501、指令发送模块502和待发送指令获取模块503。其中，指令队列获取模块501被配置成获取指令队列。指令发送模块502被配置成按照预设顺序从指令队列中获取待发送指令，执行如下发送步骤：确定出待发送指令的类型；响应于确定出待发送指令为运算类指令，从执行部件集合中确定执行待发送指令的执行部件，将待发送指令发送到所确定的执行部件。待发送指令获取模块503被配置成响应于确定出待发送指令为阻塞类指令，在接收到用于指示与待发送指令关联的指令执行完成的信号之后，获取下一条待发送指令，继续执行发送步骤。
在本实施例中，指令执行装置500中的指令队列获取模块501、指令发送模块502和待发送指令获取模块503的具体处理及其带来的有益效果可参看图2对应实施例中的步骤201、步骤202和步骤203的实现方式的相关描述，在此不再赘述。
在本实施例一些可选的实现方式中，指令执行装置500还包括：统计模块(未示出)，被配置成统计执行部件集合中的执行部件已执行完成的指令的数目。
在本实施例一些可选的实现方式中，与待发送指令关联的指令包括指令所属的运算类型和指令编号；待发送指令获取模块503进一步被配置成：将执行运算类型的指令的执行部件作为目标执行部件，响应于接收到目标执行部件返回的指令执行完成的信号，更新目标执行部件已执行完成的指令数目；确定已更新的目标执行部件已执行完成的指令数目是否大于等于指令编号；响应于确定已更新的目标执行部件已执行完成的指令数目大于等于指令编号，获取下一条待发送指令。
在一些实施例中，指令队列通过如下步骤建立：接收任务信息；从任务信息中提取出至少两个运算类指令；按照指令执行顺序，从至少两个运算类指令中选取运算类指令作为待添加指令，执行如下添加步骤：确定待添加指令与之前添加至指令队列中的运算类指令是否存在数据依赖；响应于确定不存在数据依赖，将待添加指令添加至指令队列；响应于确定存在数据依赖，生成与所依赖的运算类指令相关联的阻塞类指令，将所生成的阻塞类指令、待添加指令依次添加至指令队列，从至少两个运算类指令中选取运算类指令作为待添加指令，继续执行添加步骤。
在一些实施例中，指令队列通过如下步骤建立：接收任务信息；从任务信息中提取出至少两个运算类指令；按照指令执行顺序，从至少两个运算类指令中选取运算类指令作为待添加指令，执行如下添加步骤：确定用于执行待添加指令的执行部件可以缓存的指令的数目；按照添加至指令队列的顺序，确定待添加指令在同种运算类型中的指令编号；确定指令编号减一是否小于等于可以缓存的指令的数目；响应于确定指令编号减一小于等于可以缓存的指令的数目，将待添加指令添加至指令队列；响应于确定指令编号减一大于可以缓存的指令的数目，生成与可以缓存的指令的数目相同指令编号的运算类指令相关联的阻塞类指令，将所生成的阻塞类指令、待添加指令依次添加至指令队列，从至少两个运算类指令中选取运算类指令作为待添加指令，继续执行添加步骤。
本申请实施例提供的指令执行装置，首先接收指令队列，之后按照预设顺序从指令队列中获取待发送指令，确定待发送指令的类型，在确定待发送指令为运算类指令时，可以从执行部件集合中确定执行待发送指令的指令部件，从而将待发送指令发送到所确定的执行部件；在确定出待发送指令为阻塞类指令时，可以停止获取下一条待发送指令，在接收到用于指示与待发送指令关联的指令执行完成后，再获取下一条待发送指令。从而使得当指令队列中的指令存在数据依赖时，在当前指令所依赖的指令执行完毕后再执行当前指令，提高指令执行的可靠性；其次，将存在数据依赖的指令设置于同一个指令队列中，可以减少指令队列的数目，降低了指令队列所占用的存储器的容量；再次，在确定出待发送的指令为非阻塞类指令时，可以将指令发送至与该指令对应的执行部件中执行，提高了执行部件集合中的执行部件的利用率，从而进一步提高了指令执行效率。
本申请实施例还提出了一种电子设备。该电子设备的结构可以参考图6，其示出了本申请的电子设备的一个实施例的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括一个或多个中央处理单元(CPU)601以及一个或多个人工智能芯片612。CPU 601可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。人工智能芯片612包括一个或多个指令调度单元、一个或多个执行单元，人工智能芯片612可以根据从CPU 601接收的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602、RAM 603以及人工智能芯片612通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括触摸屏、按键、鼠标、麦克风、摄像头等的输入部分606；包括诸如有机发光二极管(OLED)显示器、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被人工智能芯片612的通用执行部件执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种通用执行部件包括指令队列获取模块、指令发送模块和待发送指令获取模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，指令队列获取模块还可以被描述为“获取指令队列的模块”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取指令队列；按照预设顺序从指令队列中获取待发送指令，执行如下发送步骤：确定出待发送指令的类型；响应于确定出待发送指令为运算类指令，从执行部件集合中确定执行待发送指令的执行部件，将待发送指令发送到所确定的执行部件；响应于确定出待发送指令为阻塞类指令，在接收到用于指示与待发送指令关联的指令执行完成的信号之后，获取下一条待发送指令，继续执行发送步骤。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种指令执行方法，包括：
获取指令队列；
按照预设顺序从所述指令队列中获取待发送指令，执行如下发送步骤：确定出待发送指令的类型；响应于确定出待发送指令为运算类指令，从执行部件集合中确定执行待发送指令的执行部件，将待发送指令发送到所确定的执行部件；
响应于确定出待发送指令为阻塞类指令，在接收到用于指示与待发送指令关联的指令执行完成的信号之后，获取下一条待发送指令，继续执行所述发送步骤。
2.根据权利要求1所述的方法，其中，所述方法还包括：
确定所述执行部件集合中的执行部件已执行完成的指令的数目。
3.根据权利要求2所述的方法，其中，所述与待发送指令关联的指令包括指令所属的运算类型和指令编号；所述在接收到用于指示与待发送指令关联的指令执行完成的信号之后，获取下一条待发送指令，包括：
将执行所述运算类型的指令的执行部件作为目标执行部件，响应于接收到所述目标执行部件返回的指令执行完成的信号，更新所述目标执行部件已执行完成的指令数目；
确定已更新的所述目标执行部件已执行完成的指令数目是否大于等于所述指令编号；
响应于确定已更新的所述目标执行部件已执行完成的指令数目大于等于所述指令编号，获取下一条待发送指令。
4.根据权利要求1所述的方法，其中，所述指令队列通过如下步骤建立：
接收任务信息；
从所述任务信息中提取出至少两个运算类指令；
按照指令执行顺序，从所述至少两个运算类指令中选取运算类指令作为待添加指令，执行如下添加步骤：确定待添加指令与之前添加至指令队列中的运算类指令是否存在数据依赖；响应于确定不存在数据依赖，将待添加指令添加至指令队列；
响应于确定存在数据依赖，生成与所依赖的运算类指令相关联的阻塞类指令，将所生成的阻塞类指令、待添加指令依次添加至指令队列，从所述至少两个运算类指令中选取运算类指令作为待添加指令，继续执行所述添加步骤。
5.根据权利要求1所述的方法，其中，所述指令队列通过如下步骤建立：
接收任务信息；
从所述任务信息中提取出至少两个运算类指令；
按照指令执行顺序，从所述至少两个运算类指令中选取运算类指令作为待添加指令，执行如下添加步骤：确定用于执行待添加指令的执行部件可以缓存的指令的数目；按照添加至指令队列的顺序，确定待添加指令在同种运算类型中的指令编号；确定指令编号减一是否小于等于可以缓存的指令的数目；响应于确定指令编号减一小于等于可以缓存的指令的数目，将待添加指令添加至指令队列；
响应于确定指令编号减一大于可以缓存的指令的数目，生成与可以缓存的指令的数目相同指令编号的运算类指令相关联的阻塞类指令，将所生成的阻塞类指令、待添加指令依次添加至指令队列，从所述至少两个运算类指令中选取运算类指令作为待添加指令，继续执行所述添加步骤。
6.一种指令执行装置，包括：
指令队列获取模块，被配置成获取指令队列；
指令发送模块，被配置成按照预设顺序从所述指令队列中获取待发送指令，执行如下发送步骤：确定出待发送指令的类型；响应于确定出待发送指令为运算类指令，从执行部件集合中确定执行待发送指令的执行部件，将待发送指令发送到所确定的执行部件；
待发送指令获取模块，被配置成响应于确定出待发送指令为阻塞类指令，在接收到用于指示与待发送指令关联的指令执行完成的信号之后，获取下一条待发送指令，继续执行所述发送步骤。
7.根据权利要求6所述的装置，其中，所述指令执行装置还包括：
确定模块，被配置成确定所述执行部件集合中的执行部件已执行完成的指令的数目。
8.根据权利要求7所述的装置，其中，所述与待发送指令关联的指令包括指令所属的运算类型和指令编号；所述待发送指令获取模块进一步被配置成：
将执行所述运算类型的指令的执行部件作为目标执行部件，响应于接收到所述目标执行部件返回的指令执行完成的信号，更新所述目标执行部件已执行完成的指令数目；
确定已更新的所述目标执行部件已执行完成的指令数目是否大于等于所述指令编号；
响应于确定已更新的所述目标执行部件已执行完成的指令数目大于等于所述指令编号，获取下一条待发送指令。
9.根据权利要求6所述的装置，其中，所述指令队列通过如下步骤建立：
接收任务信息；
从所述任务信息中提取出至少两个运算类指令；
按照指令执行顺序，从所述至少两个运算类指令中选取运算类指令作为待添加指令，执行如下添加步骤：确定待添加指令与之前添加至指令队列中的运算类指令是否存在数据依赖；响应于确定不存在数据依赖，将待添加指令添加至指令队列；
响应于确定存在数据依赖，生成与所依赖的运算类指令相关联的阻塞类指令，将所生成的阻塞类指令、待添加指令依次添加至指令队列，从所述至少两个运算类指令中选取运算类指令作为待添加指令，继续执行所述添加步骤。
10.根据权利要求6所述的装置，其中，所述指令队列通过如下步骤建立：
接收任务信息；
从所述任务信息中提取出至少两个运算类指令；
按照指令执行顺序，从所述至少两个运算类指令中选取运算类指令作为待添加指令，执行如下添加步骤：确定用于执行待添加指令的执行部件可以缓存的指令的数目；按照添加至指令队列的顺序，确定待添加指令在同种运算类型中的指令编号；确定指令编号减一是否小于等于可以缓存的指令的数目；响应于确定指令编号减一小于等于可以缓存的指令的数目，将待添加指令添加至指令队列；
响应于确定指令编号减一大于可以缓存的指令的数目，生成与可以缓存的指令的数目相同指令编号的运算类指令相关联的阻塞类指令，将所生成的阻塞类指令、待添加指令依次添加至指令队列，从所述至少两个运算类指令中选取运算类指令作为待添加指令，继续执行所述添加步骤。
11.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被执行部件执行时实现如权利要求1-5中任一所述的方法。
12.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
CN201810911185.XA 2018-08-10 2018-08-10 指令执行方法和装置 Active CN110825440B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810911185.XA CN110825440B (zh) 2018-08-10 2018-08-10 指令执行方法和装置
US16/458,381 US11422817B2 (en) 2018-08-10 2019-07-01 Method and apparatus for executing instructions including a blocking instruction generated in response to determining that there is data dependence between instructions
KR1020190082746A KR102225768B1 (ko) 2018-08-10 2019-07-09 명령 실행 방법 및 장치
JP2019128635A JP7012689B2 (ja) 2018-08-10 2019-07-10 コマンド実行方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810911185.XA CN110825440B (zh) 2018-08-10 2018-08-10 指令执行方法和装置

Publications (2)

Publication Number Publication Date
CN110825440A true CN110825440A (zh) 2020-02-21
CN110825440B CN110825440B (zh) 2023-04-14

Family

ID=69407018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810911185.XA Active CN110825440B (zh) 2018-08-10 2018-08-10 指令执行方法和装置

Country Status (4)

Country Link
US (1) US11422817B2 (zh)
JP (1) JP7012689B2 (zh)
KR (1) KR102225768B1 (zh)
CN (1) CN110825440B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523283A (zh) * 2020-04-16 2020-08-11 北京百度网讯科技有限公司 一种验证处理器的方法、装置、电子设备及存储介质
CN113496275A (zh) * 2020-04-08 2021-10-12 北京地平线机器人技术研发有限公司 指令执行方法、装置和电子设备
CN113778528A (zh) * 2021-09-13 2021-12-10 北京奕斯伟计算技术有限公司 指令发送方法、装置、电子设备及存储介质
WO2022116750A1 (zh) * 2020-12-02 2022-06-09 北京百度网讯科技有限公司 指令执行方法、装置、电子设备和存储介质
CN115269016A (zh) * 2022-09-27 2022-11-01 之江实验室 一种用于图计算的指令执行方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113467702A (zh) * 2020-03-31 2021-10-01 上海商汤智能科技有限公司 数据处理装置、集成电路和ai加速器
CN112506570B (zh) * 2020-12-03 2023-09-08 长沙树根互联技术有限公司 设备指令下发方法、系统和服务器

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087833A1 (en) * 2000-12-28 2002-07-04 Burns James S. Method and apparatus for distributed processor dispersal logic
US20070198812A1 (en) * 2005-09-27 2007-08-23 Ibm Corporation Method and apparatus for issuing instructions from an issue queue including a main issue queue array and an auxiliary issue queue array in an information handling system
US20100106945A1 (en) * 2007-06-20 2010-04-29 Fujitsu Limited Instruction processing apparatus
US20130262821A1 (en) * 2012-03-28 2013-10-03 International Business Machines Corporation Performing predecode-time optimized instructions in conjunction with predecode time optimized instruction sequence caching
EP2778907A2 (en) * 2013-03-15 2014-09-17 Analog Devices Technology Parallelizing loops in the presence of possible memory aliases
CN104714785A (zh) * 2015-03-31 2015-06-17 中芯睿智（北京）微电子科技有限公司 任务调度装置、方法及并行处理数据的设备
CN105975252A (zh) * 2016-04-29 2016-09-28 龙芯中科技术有限公司 一种处理指令的流水线的实现方法、装置及处理器
CN106227507A (zh) * 2016-07-11 2016-12-14 姚颂 计算系统及其控制器
US20160371091A1 (en) * 2015-06-17 2016-12-22 Ibm Techniques for improving issue of instructions with variable latencies in a microprocessor
CN107688853A (zh) * 2016-08-05 2018-02-13 北京中科寒武纪科技有限公司 一种用于执行神经网络运算的装置及方法
CN108037680A (zh) * 2017-12-14 2018-05-15 北京中润远华科技有限公司 一种指令处理方法及装置
CN108182111A (zh) * 2018-01-23 2018-06-19 百度在线网络技术（北京）有限公司 任务调度系统、方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149285A (ja) 1996-11-18 1998-06-02 Hitachi Ltd 命令実行制御方法および情報処理装置
US6006325A (en) * 1996-12-19 1999-12-21 Institute For The Development Of Emerging Architectures, L.L.C. Method and apparatus for instruction and data serialization in a computer processor
US6708269B1 (en) * 1999-12-30 2004-03-16 Intel Corporation Method and apparatus for multi-mode fencing in a microprocessor system
US6438681B1 (en) * 2000-01-24 2002-08-20 Hewlett-Packard Company Detection of data hazards between instructions by decoding register indentifiers in each stage of processing system pipeline and comparing asserted bits in the decoded register indentifiers
WO2001069372A2 (en) 2000-03-10 2001-09-20 Koninklijke Philips Electronics N.V. Method for compiling a program
US6609192B1 (en) * 2000-06-06 2003-08-19 International Business Machines Corporation System and method for asynchronously overlapping storage barrier operations with old and new storage operations
US20040158694A1 (en) 2003-02-10 2004-08-12 Tomazin Thomas J. Method and apparatus for hazard detection and management in a pipelined digital processor
US7085917B2 (en) * 2003-05-12 2006-08-01 International Business Machines Corporation Multi-pipe dispatch and execution of complex instructions in a superscalar processor
US7313709B2 (en) * 2004-11-05 2007-12-25 International Business Machines Corporation Instruction set with thermal opcode for high-performance microprocessor, microprocessor, and method therefor
US7685405B1 (en) * 2005-10-14 2010-03-23 Marvell International Ltd. Programmable architecture for digital communication systems that support vector processing and the associated methodology
US7634591B2 (en) 2006-01-26 2009-12-15 International Business Machines Corporation Method and apparatus for tracking command order dependencies
JP5733860B2 (ja) 2008-07-10 2015-06-10 ロケティック テクノロジーズ リミテッド 依存問題の効率的並列計算
US7941644B2 (en) * 2008-10-16 2011-05-10 International Business Machines Corporation Simultaneous multi-thread instructions issue to execution units while substitute injecting sequence of instructions for long latency sequencer instruction via multiplexer
JP5640805B2 (ja) 2011-02-23 2014-12-17 富士通株式会社 演算処理装置および演算処理装置におけるスロット制御方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087833A1 (en) * 2000-12-28 2002-07-04 Burns James S. Method and apparatus for distributed processor dispersal logic
US20070198812A1 (en) * 2005-09-27 2007-08-23 Ibm Corporation Method and apparatus for issuing instructions from an issue queue including a main issue queue array and an auxiliary issue queue array in an information handling system
US20100106945A1 (en) * 2007-06-20 2010-04-29 Fujitsu Limited Instruction processing apparatus
US20130262821A1 (en) * 2012-03-28 2013-10-03 International Business Machines Corporation Performing predecode-time optimized instructions in conjunction with predecode time optimized instruction sequence caching
EP2778907A2 (en) * 2013-03-15 2014-09-17 Analog Devices Technology Parallelizing loops in the presence of possible memory aliases
CN104714785A (zh) * 2015-03-31 2015-06-17 中芯睿智（北京）微电子科技有限公司 任务调度装置、方法及并行处理数据的设备
US20160371091A1 (en) * 2015-06-17 2016-12-22 Ibm Techniques for improving issue of instructions with variable latencies in a microprocessor
CN105975252A (zh) * 2016-04-29 2016-09-28 龙芯中科技术有限公司 一种处理指令的流水线的实现方法、装置及处理器
CN106227507A (zh) * 2016-07-11 2016-12-14 姚颂 计算系统及其控制器
CN107688853A (zh) * 2016-08-05 2018-02-13 北京中科寒武纪科技有限公司 一种用于执行神经网络运算的装置及方法
CN108037680A (zh) * 2017-12-14 2018-05-15 北京中润远华科技有限公司 一种指令处理方法及装置
CN108182111A (zh) * 2018-01-23 2018-06-19 百度在线网络技术（北京）有限公司 任务调度系统、方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢相志: "基于时间冗余的指令级容错机制设计" *
江建慧;刘宇;朱一南;钱剑;: "一种同时多线程指令队列竞争缓解策略" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496275A (zh) * 2020-04-08 2021-10-12 北京地平线机器人技术研发有限公司 指令执行方法、装置和电子设备
US11989560B2 (en) 2020-04-08 2024-05-21 Beijing Horizon Robotics Technology Research And Development Co., Ltd. Method and device for executing instructions to perform artificial intelligence
CN111523283A (zh) * 2020-04-16 2020-08-11 北京百度网讯科技有限公司 一种验证处理器的方法、装置、电子设备及存储介质
CN111523283B (zh) * 2020-04-16 2023-05-26 北京百度网讯科技有限公司 一种验证处理器的方法、装置、电子设备及存储介质
WO2022116750A1 (zh) * 2020-12-02 2022-06-09 北京百度网讯科技有限公司 指令执行方法、装置、电子设备和存储介质
CN113778528A (zh) * 2021-09-13 2021-12-10 北京奕斯伟计算技术有限公司 指令发送方法、装置、电子设备及存储介质
CN115269016A (zh) * 2022-09-27 2022-11-01 之江实验室 一种用于图计算的指令执行方法及装置

Also Published As

Publication number Publication date
JP2020027616A (ja) 2020-02-20
CN110825440B (zh) 2023-04-14
KR20200018233A (ko) 2020-02-19
US20200050450A1 (en) 2020-02-13
JP7012689B2 (ja) 2022-01-28
US11422817B2 (en) 2022-08-23
KR102225768B1 (ko) 2021-03-09

Similar Documents

Publication Publication Date Title
CN110825440B (zh) 指令执行方法和装置
CN109523187B (zh) 任务调度方法、装置和设备
CN112699991A (zh) 用于加速神经网络训练的信息处理的方法、电子设备和计算机可读介质
CN111459618A (zh) 虚拟化环境中的智能gpu调度
CN110825436B (zh) 应用于人工智能芯片的计算方法和人工智能芯片
CN111190741A (zh) 基于深度学习节点计算的调度方法、设备及存储介质
US11016769B1 (en) Method and apparatus for processing information
CN110825514B (zh) 人工智能芯片以及用于人工智能芯片的指令执行方法
CN110825435B (zh) 用于处理数据的方法和装置
CN114490116B (zh) 数据处理方法、装置、电子设备及存储介质
US11443173B2 (en) Hardware-software co-design for accelerating deep learning inference
US9250869B1 (en) Synchronous business process execution engine for action orchestration in a single execution transaction context
CN112219192A (zh) 用于使用元数据在神经网络中进行机会性负载平衡的方法和系统
CN113723893A (zh) 用于处理订单的方法和装置
US9703614B2 (en) Managing a free list of resources to decrease control complexity and reduce power consumption
CN113051049A (zh) 任务调度系统、方法、电子设备及可读存储介质
CN110825461B (zh) 数据处理方法和装置
CN113591709B (zh) 动作识别方法、装置、设备、介质和产品
CN115473822A (zh) 一种5g智能网关数据传输方法、系统及云平台
CN110231983B (zh) 数据并发处理方法、装置及系统、计算机设备及可读介质
CN111861853A (zh) 用于处理数据的方法和装置
CN111860851A (zh) 用于识别图像的方法和系统
CN110825530A (zh) 用于人工智能芯片的指令执行方法和装置
CN114253826A (zh) 内存泄露的确定方法、装置、电子设备及介质
CN115934768A (zh) 数据的处理方法、显示适配器、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210928

Address after: Baidu building, No. 10, Shangdi 10th Street, Haidian District, Beijing 100086

Applicant after: Kunlun core (Beijing) Technology Co.,Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant