CN111753994B - Ai芯片的数据处理方法、装置和计算机设备 - Google Patents

Ai芯片的数据处理方法、装置和计算机设备 Download PDF

Info

Publication number
CN111753994B
CN111753994B CN202010575769.1A CN202010575769A CN111753994B CN 111753994 B CN111753994 B CN 111753994B CN 202010575769 A CN202010575769 A CN 202010575769A CN 111753994 B CN111753994 B CN 111753994B
Authority
CN
China
Prior art keywords
target
data
data flow
model
chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010575769.1A
Other languages
English (en)
Other versions
CN111753994A (zh
Inventor
蔡权雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Corerain Technologies Co Ltd
Original Assignee
Shenzhen Corerain Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Corerain Technologies Co Ltd filed Critical Shenzhen Corerain Technologies Co Ltd
Priority to CN202010575769.1A priority Critical patent/CN111753994B/zh
Publication of CN111753994A publication Critical patent/CN111753994A/zh
Priority to PCT/CN2021/101415 priority patent/WO2021259232A1/zh
Priority to US18/012,235 priority patent/US20230251979A1/en
Application granted granted Critical
Publication of CN111753994B publication Critical patent/CN111753994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Stored Programmes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了一种AI芯片的数据处理方法、装置和计算机设备。该AI芯片的数据处理方法包括：在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型；在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向；基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理。通过匹配了与目标AI模型对应的数据流网络和数据流向的AI芯片进行数据处理，达到支持多种AI算法的效果。

Description

AI芯片的数据处理方法、装置和计算机设备
技术领域
本发明实施例涉及人工智能技术领域，尤其涉及一种AI芯片的数据处理方法、装置和计算机设备。
背景技术
随着人工智能的迅速发展，市场上出现了许多用于计算人工智能学习模型的AI芯片。
目前，人工智能学习模型计算时会产生大量的计算工作量，例如需要通过指令集获取数据并进行计算。为了提高人工智能学习模型的计算效率，常用的方案是将人工智能和数据流进行结合，以减少指令集获取数据时导致的性能开销。
然而，目前常用的方案中，都是基于特定的一个人工智能学习模型定制的数据流架构，只能支持特定的AI算法。
发明内容
本发明实施例提供一种AI芯片的数据处理方法、装置和计算机设备，以实现支持多种AI算法的效果。
第一方面，本发明实施例提供了一种AI芯片的数据处理方法，包括：
在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型；
在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向；
基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理。
可选的，所述在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向，包括：
确定所述目标AI模型对应的目标流图；
确定所述目标流图中的多个计算节点和所述多个计算节点的计算顺序；
在所述AI芯片中匹配每个计算节点对应的目标计算模块，得到多个目标计算模块；
将所述多个目标计算模块的连接结果作为所述数据流网络；
基于所述多个计算节点的计算顺序确定数据流向。
可选的，所述基于所述多个计算节点的计算顺序确定数据流向，包括：
基于所述多个计算节点的计算顺序确定所述多个目标计算模块的计算顺序；
基于所述多个目标计算模块的计算顺序作为数据流向。
可选的，相邻的两个第一子目标计算模块之间设置有第一存储模块，所述第一存储模块用于在上一第一子目标计算模块计算完成，且下一第一子目标计算模块计算未完成时存储所述上一第一子目标计算模块的计算结果，当所述下一第一子目标计算模块计算完成时将所述上一第一子目标计算模块的计算结果传输给所述下一第一子目标计算模块。
可选的，AI芯片的每两个相邻的计算模块之间设置有数据流交换机，所述基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理，包括：
确定所述数据流网络中的目标数据流交换机；
控制所述目标数据流交换机保持开启状态，以使所述待处理数据基于所述开启状态在所述数据流网络中流动，并在流动过程中被所述目标计算模块处理。
可选的，至少两个第二子目标计算模块通过一个第二存储模块接收所述待处理数据，所述方法还包括：
将所述待处理数据中至少两个第二子目标计算模块所需的相同数据，在所述第二存储模块中复制得到至少两个相同数据，分别传输给所述至少两个第二子目标计算模块。
可选的，所述目标AI模型包括第一AI模型和第二AI模型，所述在AI芯片中匹配与所述目标AI模型对应的数据流网络和数据流向，包括：
当所述目标AI模型为第一AI模型时，则在AI芯片中匹配与所述第一AI模型对应的数据流网络和数据流向；
当所述目标AI模型为第二AI模型时，则在AI芯片中匹配与所述第二AI模型对应的数据流网络和数据流向。
第二方面，本发明实施例提供了一种AI芯片的数据处理装置，包括：
AI模型确定模块，用于在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型；
数据流网络匹配模块，用于在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向；
数据处理模块，用于基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理。
可选的，所述数据流网络匹配模块包括：
流图确定单元，用于确定所述目标AI模型对应的目标流图；计算节点确定单元，用于确定所述目标流图中的多个计算节点和所述多个计算节点的计算顺序；
计算模块匹配单元，用于在所述AI芯片中匹配每个计算节点对应的目标计算模块，得到多个目标计算模块；
数据流网络确定单元，用于将所述多个目标计算模块的连接结果作为所述数据流网络；数据流向确定单元，用于基于所述多个计算节点的计算顺序确定数据流向。
第三方面，本发明实施例提供了一种计算机设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个计算机程序，
当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的AI芯片的数据处理方法。
本发明实施例通过在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型；在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向；基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理，解决了目前常用的方案中，都是基于特定的一个人工智能学习模型定制的数据流架构，只能支持特定的AI算法的问题，实现了支持多种AI算法的效果。
附图说明
图1是本发明实施例一提供的一种AI芯片的数据处理方法的流程示意图；
图2是本发明实施例一提供的一种提供的一种AI芯片的结构示意图；
图3是本发明实施例二提供的一种AI芯片的数据处理方法的流程示意图；
图4是本发明实施例三提供的一种AI芯片的数据处理装置的结构示意图；
图5是本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子计算机程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一计算模块为第二计算模块，且类似地，可将第二计算模块称为第一计算模块。第一计算模块和第二计算模块两者都是计算模块，但其不是同一计算模块。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的一种AI芯片的数据处理方法的流程示意图，可适用于通过AI芯片对数据进行处理的场景，该方法可以由AI芯片的数据处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在计算机设备上。
如图1所示，本发明实施例一提供的AI芯片的数据处理方法包括：
S110、在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型。
其中，待处理数据可以是待处理的图像数据，待处理语音数据、待处理的的文本数据等，此处不作具体限定。目标AI模型是指用于对待处理数据进行处理的人工智能学习模型。具体的，目标AI模型可以是根据待处理数据模型的类型确定，例如当待处理数据为图像数据时，目标AI模型为CNN模型，当待处理数据为文本数据时，目标AI模型为RNN模型。此外，目标AI模型还可以是根据具体的待处理数据确定，例如当待处理数据为文本数据且不考虑时间顺序时，则目标AI模型为RNN模型。具体的，可以根据需要预先定义好各种数据和各个AI模型的对应关系，通过解析待处理数据的特征信息，通过特征信息确定出待处理数据对应的目标AI模型。可选的，当AI芯片中与片外存储相连的片内存储开始接受待处理数据时，则可以认为是开始对待处理数据进行处理。
S120、在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向。
其中，数据流网络是指与目标AI模型对应的算法适配的，用于实现目标AI模型完整计算的各个模块的组成。数据流网络的数据流向是指待处理数据在数据流网络中的流向。具体的，数据流是指能被读取一次或少数几次的点的有序序列，按照预先定义的数据流向，数据流在数据流网络中按照数据流向进行流动，从而被读取后进行处理。本实施例中，AI芯片包括但不限于FPGA芯片和CAISA芯片等。
在一个可选的实施方式中，目标AI模型包括第一AI模型和第二AI模型，在AI芯片中匹配与所述目标AI模型对应的数据流网络和数据流向，包括：
当所述目标AI模型为第一AI模型时，则在AI芯片中匹配与所述第一AI模型对应的数据流网络和数据流向；当所述目标AI模型为第二AI模型时，则在AI芯片中匹配与所述第二AI模型对应的数据流网络和数据流向。
其中，第一AI模型和第二AI模型不作具体限定，例如可以是CNN模型、RNN模型或其他AI模型等，此处不作具体限制。以第一AI模型为CNN模型，第二AI模型为RNN模型为例，当目标AI模型为CNN模型，则匹配与CNN模型对应的数据流网络和数据流向，当目标AI模型为RNN模型时，则匹配与RNN模型对应的数据流网络和数据流向。
S130、基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理。
在本步骤中，在匹配出与目标AI模型对应的数据流网络和数据流网络中的数据流向时，AI芯片可以基于数据流网络和数据流向对待处理数据进行处理。具体的，待处理数据在数据流网络中按照数据流向进行流动，数据流网络包括用于按照目标AI模型的算法进行计算的计算节点，当数据到达计算节点时进行计算，从而匹配AI模型的算法，从而对待处理数据进行处理。具体的，对待处理数据处理完成后，可以将处理完成的数据结果发送到大容量的片外存储器中进行存储，或者将处理完成的数据结果用于下一个计算。
在一个可选的实施方式中，在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向，包括：
确定所述目标AI模型对应的目标流图；确定所述目标流图中的多个计算节点和所述多个计算节点的计算顺序；在所述AI芯片中匹配每个计算节点对应的目标计算模块，得到多个目标计算模块；将所述多个目标计算模块的连接结果作为所述数据流网络；基于所述多个计算节点的计算顺序确定数据流向。
其中，目标流图是指从数据传递和数据处理角度，以图形方式来表达计算模块和存储模块在AI芯片内的连接关系、数据在AI芯片内部的逻辑流向和计算模块对数据的处理过程的一种图示方法。本实施例中的目标流图至少包括了对应目标AI模型的多个计算节点和多个计算节点之间的计算顺序，还可以包括存储模块，用于表示数据的流动起点、流向和流动终点。目标计算模块是指用于计算对应计算节点的算子的计算模块。算子是一个函数空间到函数空间上的映射O：X→X。其中，AI芯片中预先定义了多个计算模块，多个计算模块用于进行混合组成数据流网络以执行不同的AI模型的算法，多个目标计算模块的连接结果作为数据流网络。可选的，基于所述多个计算节点的计算顺序确定数据流向可以是基于所述多个计算节点的计算顺序确定所述多个目标计算模块的计算顺序；基于所述多个目标计算模块的计算顺序作为数据流向。
可选的，相邻的两个第一子目标计算模块之间设置有第一存储模块，所述第一存储模块用于在上一第一子目标计算模块计算完成，且下一第一子目标计算模块计算未完成时存储所述上一第一子目标计算模块的计算结果，当所述下一第一子目标计算模块计算完成时将所述上一第一子目标计算模块的计算结果传输给所述下一第一子目标计算模块。第一子目标计算模块为目标计算模块的其中一个或多个。通过在相邻的两个第一子目标计算模块之间设置有第一存储模块，当上一第一子目标计算模块和下一第二子目标计算模块均完成计算时，第一存储模块才传输计算结果，保证了各目标计算模块中的计算能够有序进行。
示例性的，当目标AI模型为CNN模型时，CNN模型的计算分别包括了卷积层、池化层和全连接层，则多个目标计算模块包括卷积层对应的目标计算模块、池化层对应的目标计算模块和全连接层对应的目标计算模块，这三个目标计算模块按照数据流向连接得到数据流网络。由于CNN模型计算时是先经过卷积层、池化层和全连接层，则卷积层对应的目标计算模块流向池化层对应的目标计算模块，池化层对应的目标计算模块流向全连接层对应的目标计算模块为数据流网络中的数据流向。
在一个可选的实施方式中，至少两个第二子目标计算模块通过一个第二存储模块接收所述待处理数据，该AI芯片的数据处理方法还包括：
将所述待处理数据中至少两个第二子目标计算模块所需的相同数据，在所述第二存储模块中复制得到至少两个相同数据，分别传输给所述至少两个第二子目标计算模块。
在本实施方式中，相同数据可以是目标AI模型的算法中的权重等，此处不作具体限制。第二子目标计算模块是指至少两个以上且与一个第二存储模块连接的目标计算模块。本实施方式对一个第二存储模块对相同数据进行复制，发送给两个第二子目标计算模块，从而减少第二存储模块的数量，以降低硬件成本。
参考图2，图2是本实施例提供的一种AI芯片的结构示意图。通过图2可知，AI芯片200包括与片外存储100相连的片内存储210，计算模块A221、计算模块B222、计算模块C223、计算模块D224、计算模块E225、计算模块F226，其中计算模块A221、计算模块B222和计算模块C223按顺序依次相连，且计算模块A221用于卷积层的计算、计算模块B222用于池化层的计算、计算模块C223用于全连接层的计算；计算模块D224、计算模块E225和计算模块F226按顺序依次相连，且计算模块D224、计算模块E225和计算模块F22均用于按照RNN算法的运算节点计算，则当待处理数据为图像数据时，需要采用CNN模型进行计算，即目标AI模型为CNN模型，则数据流网络为计算模块A221、计算模块B222和计算模块C223的连接结果，且数据流向依次为计算模块A221、计算模块B222和计算模块C223；当待处理数据为文本数据时，则数据流网络为计算模块D224、计算模块E225和计算模块F226的连接结果，且数据流向依次为计算模块D224、计算模块E225和计算模块F226。此外，还可以同时运行CNN模型和RNN模型。
可以理解的是，可以根据需要在AI芯片中布置与各种AI模型的算法适配的计算模块，从而在一个AI芯片支持不同AI模型的算法。
本发明实施例的技术方案，通过在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型；在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向；基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理，对于不同的AI模型，都可以通过本方法实施例的方案在一个芯片上运行，达到支持多种AI算法在一个芯片上对数据进行处理的技术效果。
实施例二
图3是本发明实施例二提供的一种AI芯片的数据处理方法的流程示意图。本实施例是在上述技术方案的基础上，对基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理进行了进一步的细化。该方法可以由AI芯片的数据处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在计算机设备上。
如图3所示，本发明实施例二提供的AI芯片的数据处理方法包括：
S310、在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型。
S320、在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向，AI芯片的每两个相邻的计算模块之间设置有数据流交换机。
其中，数据流交换机是控制数据在两个相邻的计算模块之间进行数据传输的单元。
S330、确定所述数据流网络中的目标数据流交换机。
其中，目标数据流交换机是指在数据流网络中的数据流交换机。具体的，根据目标AI模型的算法适配与目标AI模型对应的目标数据流交换机，且每相邻的两个目标计算模块之间的数据流交换机为本实施例中的目标数据流交换机。
S340、控制所述目标数据流交换机保持开启状态，以使所述待处理数据基于所述开启状态在所述数据流网络中流动，并在流动过程中被所述目标计算模块处理。
其中，数据流交换机在开启状态时，数据可以通过数据流交换机进行数据的传输，流至下一模块中。待处理数据在数据流网络的的流动过程中，被目标计算模块获取到时，目标计算模块会对待处理数据的携带的各个参数进行计算。
本实施例中，由于只控制目标数据流交换机为开启状态，其他数据流交换机为关闭状态，则可以使待处理数据以流的形式在数据流网络中按照数据流向进行流动，从而被目标计算模块进行处理，从而得到处理结果。
本发明实施例的技术方案，通过在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型；在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向；基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理，对于不同的AI模型，都可以通过本方法实施例的方案在一个芯片上运行，达到支持多种AI算法在一个芯片上对数据进行处理的技术效果。此外，通过保持每两个目标计算模块之间的目标数据流交换机为开启状态，保证数据只在目标AI模型对应的数据流网络中按照数据流向进行流动，从而正常地对待处理数据进行处理。
实施例三
图4是本发明实施例三提供的一种AI芯片的数据处理装置的结构示意图，本实施例可适用于通过AI芯片对数据进行处理的场景，该装置可以采用软件和/或硬件的方式实现，并可集成在计算机设备上。
如图4所示，本实施例提供的AI芯片的数据处理装置可以包括AI模型确定模块310、数据流网络匹配模块320和数据处理模块330，其中：
AI模型确定模块310，用于在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型；数据流网络匹配模块320，用于在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向；数据处理模块330，用于基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理。
可选的，数据流网络匹配模块320包括：流图确定单元，用于确定所述目标AI模型对应的目标流图；计算节点确定单元，用于确定所述目标流图中的多个计算节点和所述多个计算节点的计算顺序；计算模块匹配单元，用于在所述AI芯片中匹配每个计算节点对应的目标计算模块，得到多个目标计算模块；数据流网络确定单元，用于将所述多个目标计算模块的连接结果作为所述数据流网络；数据流向确定单元，用于基于所述多个计算节点的计算顺序确定数据流向。
可选的，数据流向确定单元具体用于基于所述多个计算节点的计算顺序确定所述多个目标计算模块的计算顺序；基于所述多个目标计算模块的计算顺序作为数据流向。
可选的，相邻的两个第一子目标计算模块之间设置有第一存储模块，所述第一存储模块用于在上一第一子目标计算模块计算完成，且下一第一子目标计算模块计算未完成时存储所述上一第一子目标计算模块的计算结果，当所述下一第一子目标计算模块计算完成时将所述上一第一子目标计算模块的计算结果传输给所述下一第一子目标计算模块。
可选的，AI芯片的每两个相邻的计算模块之间设置有数据流交换机，该数据处理模块330包括：数据流交换机确定单元，用于确定所述数据流网络中的目标数据流交换机；数据处理单元，用于控制所述目标数据流交换机保持开启状态，以使所述待处理数据基于所述开启状态在所述数据流网络中流动，并在流动过程中被所述目标计算模块处理。
可选的，至少两个第二子目标计算模块通过一个第二存储模块接收所述待处理数据，该装置还包括：数据复制模块，用于将所述待处理数据中至少两个第二子目标计算模块所需的相同数据，在所述第二存储模块中复制得到至少两个相同数据，分别传输给所述至少两个第二子目标计算模块。
可选的，所述目标AI模型包括第一AI模型和第二AI模型，数据流网络匹配模块320具体用于当所述目标AI模型为第一AI模型时，则在AI芯片中匹配与所述第一AI模型对应的数据流网络和数据流向；当所述目标AI模型为第二AI模型时，则在AI芯片中匹配与所述第二AI模型对应的数据流网络和数据流向。
本发明实施例所提供的AI芯片的数据处理装置可执行本发明任意实施例所提供的AI芯片的数据处理方法，具备执行方法相应的功能模块和有益效果。本发明实施例中未详尽描述的内容可以参考本发明任意方法实施例中的描述。
实施例四
图5是本发明实施例四提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备612的框图。图5显示的计算机设备612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备612以通用计算机设备的形式表现。计算机设备612的组件可以包括但不限于：一个或者多个处理器616，存储装置628，连接不同系统组件(包括存储装置628和处理器616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。
计算机设备612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)630和/或高速缓存存储器632。终端612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储装置628可以包括至少一个计算机程序产品，该计算机程序产品具有一组(例如至少一个)计算机程序模块，这些计算机程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)计算机程序模块642的计算机程序/实用工具640，可以存储在例如存储装置628中，这样的计算机程序模块642包括但不限于操作系统、一个或者多个应用计算机程序、其它计算机程序模块以及计算机程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。计算机程序模块642通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备612也可以与一个或多个外部设备614(例如键盘、指向终端、显示器624等)通信，还可与一个或者多个使得用户能与该计算机设备612交互的终端通信，和/或与使得该计算机设备612能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，计算机设备612还可以通过网络适配器620与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器620通过总线618与计算机设备612的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备612使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器616通过运行存储在存储装置628中的计算机程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的一种AI芯片的数据处理方法，该方法可以包括：
在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型；
在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向；
基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理。
本发明实施例的技术方案，通过在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型；在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向；基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理，对于不同的AI模型，都可以通过本方法实施例的方案在一个芯片上运行，达到支持多种AI算法在一个芯片上对数据进行处理的技术效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种AI芯片的数据处理方法，其特征在于，包括：
在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型；
在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向；
基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理；
所述在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向，包括：
确定所述目标AI模型对应的目标流图；
确定所述目标流图中的多个计算节点和所述多个计算节点的计算顺序；
在所述AI芯片中匹配每个计算节点对应的目标计算模块，得到多个目标计算模块；
将所述多个目标计算模块的连接结果作为所述数据流网络；
基于所述多个计算节点的计算顺序确定数据流向。
2.如权利要求1所述的方法，其特征在于，所述基于所述多个计算节点的计算顺序确定数据流向，包括：
基于所述多个计算节点的计算顺序确定所述多个目标计算模块的计算顺序；
基于所述多个目标计算模块的计算顺序作为数据流向。
3.如权利要求1所述的方法，其特征在于，相邻的两个第一子目标计算模块之间设置有第一存储模块，所述第一存储模块用于在上一第一子目标计算模块计算完成，且下一第一子目标计算模块计算未完成时存储所述上一第一子目标计算模块的计算结果，当所述下一第一子目标计算模块计算完成时将所述上一第一子目标计算模块的计算结果传输给所述下一第一子目标计算模块。
4.如权利要求1所述的方法，其特征在于，AI芯片的每两个相邻的计算模块之间设置有数据流交换机，所述基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理，包括：
确定所述数据流网络中的目标数据流交换机；
控制所述目标数据流交换机保持开启状态，以使所述待处理数据基于所述开启状态在所述数据流网络中流动，并在流动过程中被所述目标计算模块处理。
5.如权利要求1所述的方法，其特征在于，至少两个第二子目标计算模块通过一个第二存储模块接收所述待处理数据，所述方法还包括：
将所述待处理数据中至少两个第二子目标计算模块所需的相同数据，在所述第二存储模块中复制得到至少两个相同数据，分别传输给所述至少两个第二子目标计算模块。
6.如权利要求1所述的方法，其特征在于，所述目标AI模型包括第一AI模型和第二AI模型，所述在AI芯片中匹配与所述目标AI模型对应的数据流网络和数据流向，包括：
当所述目标AI模型为第一AI模型时，则在AI芯片中匹配与所述第一AI模型对应的数据流网络和数据流向；
当所述目标AI模型为第二AI模型时，则在AI芯片中匹配与所述第二AI模型对应的数据流网络和数据流向。
7.一种AI芯片的数据处理装置，其特征在于，包括：
AI模型确定模块，用于在开始对待处理数据进行处理时，确定用于对所述待处理数据进行处理的目标AI模型；
数据流网络匹配模块，用于在AI芯片中匹配与所述目标AI模型对应的数据流网络和所述数据流网络的数据流向；
数据处理模块，用于基于匹配了所述数据流网络和所述数据流向的AI芯片对所述待处理数据进行处理；
所述数据流网络匹配模块包括：
流图确定单元，用于确定所述目标AI模型对应的目标流图；计算节点确定单元，用于确定所述目标流图中的多个计算节点和所述多个计算节点的计算顺序；
计算模块匹配单元，用于在所述AI芯片中匹配每个计算节点对应的目标计算模块，得到多个目标计算模块；
数据流网络确定单元，用于将所述多个目标计算模块的连接结果作为所述数据流网络；数据流向确定单元，用于基于所述多个计算节点的计算顺序确定数据流向。
8.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的AI芯片的数据处理方法。
CN202010575769.1A 2020-06-22 2020-06-22 Ai芯片的数据处理方法、装置和计算机设备 Active CN111753994B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010575769.1A CN111753994B (zh) 2020-06-22 2020-06-22 Ai芯片的数据处理方法、装置和计算机设备
PCT/CN2021/101415 WO2021259232A1 (zh) 2020-06-22 2021-06-22 Ai芯片的数据处理方法、装置和计算机设备
US18/012,235 US20230251979A1 (en) 2020-06-22 2021-06-22 Data processing method and apparatus of ai chip and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010575769.1A CN111753994B (zh) 2020-06-22 2020-06-22 Ai芯片的数据处理方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN111753994A CN111753994A (zh) 2020-10-09
CN111753994B true CN111753994B (zh) 2023-11-03

Family

ID=72676380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010575769.1A Active CN111753994B (zh) 2020-06-22 2020-06-22 Ai芯片的数据处理方法、装置和计算机设备

Country Status (3)

Country Link
US (1) US20230251979A1 (zh)
CN (1) CN111753994B (zh)
WO (1) WO2021259232A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753994B (zh) * 2020-06-22 2023-11-03 深圳鲲云信息科技有限公司 Ai芯片的数据处理方法、装置和计算机设备
CN114429051B (zh) * 2022-04-01 2022-07-01 深圳鲲云信息科技有限公司 数据流芯片的建模方法、装置、设备及介质
CN116991792B (zh) * 2023-09-20 2024-04-16 北京星宇天航科技有限公司 应用于人工智能芯片的计算处理方法、装置及芯片

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564522A (zh) * 2017-09-18 2018-01-09 郑州云海信息技术有限公司 一种智能控制方法及装置
CN107819693A (zh) * 2016-09-12 2018-03-20 北京百度网讯科技有限公司 用于数据流系统的数据流处理方法及装置
CN108256640A (zh) * 2016-12-28 2018-07-06 上海磁宇信息科技有限公司 卷积神经网络实现方法
CN110046704A (zh) * 2019-04-09 2019-07-23 深圳鲲云信息科技有限公司 基于数据流的深度网络加速方法、装置、设备及存储介质
CN110457256A (zh) * 2019-08-01 2019-11-15 大众问问(北京)信息科技有限公司 数据存储方法、装置、计算机设备及存储介质
CN110516815A (zh) * 2019-08-29 2019-11-29 腾讯科技（深圳）有限公司 人工智能推荐模型的特征处理方法、装置及电子设备
CN110769257A (zh) * 2018-07-25 2020-02-07 北京深鉴智能科技有限公司 智能视频结构化分析装置、方法和系统
CN110807044A (zh) * 2019-10-30 2020-02-18 东莞市盟大塑化科技有限公司 一种基于人工智能技术的模型维度管理方法
CN110991634A (zh) * 2019-12-04 2020-04-10 腾讯科技（深圳）有限公司 人工智能加速器、设备、芯片及数据处理方法
CN111182162A (zh) * 2019-12-26 2020-05-19 深圳壹账通智能科技有限公司 基于人工智能的电话质检方法、装置、设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858290B (zh) * 2018-08-24 2023-10-17 比亚迪股份有限公司 驾驶员异常行为识别方法、装置、设备及存储介质
CN110659134A (zh) * 2019-09-04 2020-01-07 腾讯云计算（北京）有限责任公司 一种应用于人工智能平台的数据处理方法及装置
CN111753994B (zh) * 2020-06-22 2023-11-03 深圳鲲云信息科技有限公司 Ai芯片的数据处理方法、装置和计算机设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107819693A (zh) * 2016-09-12 2018-03-20 北京百度网讯科技有限公司 用于数据流系统的数据流处理方法及装置
CN108256640A (zh) * 2016-12-28 2018-07-06 上海磁宇信息科技有限公司 卷积神经网络实现方法
CN107564522A (zh) * 2017-09-18 2018-01-09 郑州云海信息技术有限公司 一种智能控制方法及装置
CN110769257A (zh) * 2018-07-25 2020-02-07 北京深鉴智能科技有限公司 智能视频结构化分析装置、方法和系统
CN110046704A (zh) * 2019-04-09 2019-07-23 深圳鲲云信息科技有限公司 基于数据流的深度网络加速方法、装置、设备及存储介质
CN110457256A (zh) * 2019-08-01 2019-11-15 大众问问(北京)信息科技有限公司 数据存储方法、装置、计算机设备及存储介质
CN110516815A (zh) * 2019-08-29 2019-11-29 腾讯科技（深圳）有限公司 人工智能推荐模型的特征处理方法、装置及电子设备
CN110807044A (zh) * 2019-10-30 2020-02-18 东莞市盟大塑化科技有限公司 一种基于人工智能技术的模型维度管理方法
CN110991634A (zh) * 2019-12-04 2020-04-10 腾讯科技（深圳）有限公司 人工智能加速器、设备、芯片及数据处理方法
CN111182162A (zh) * 2019-12-26 2020-05-19 深圳壹账通智能科技有限公司 基于人工智能的电话质检方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2021259232A1 (zh) 2021-12-30
US20230251979A1 (en) 2023-08-10
CN111753994A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111753994B (zh) Ai芯片的数据处理方法、装置和计算机设备
JP4886918B1 (ja) フラッシュコピー・プロセスを処理する方法、ならびにそのためのシステム、およびコンピュータ・プログラム
EP3191959B1 (en) Scalable data storage pools
CN103329106B (zh) Alua首选项和状态转换的主机发现和处理
US20170024293A1 (en) Automatic serial starting of resource groups on failover
US8612973B2 (en) Method and system for handling interrupts within computer system during hardware resource migration
CN111368013B (zh) 基于多账户的统一标识方法、系统、设备和存储介质
US9335947B2 (en) Inter-processor memory
CN110413390A (zh) 线程任务处理方法、装置、服务器及存储介质
CN109033814A (zh) 智能合约触发方法、装置、设备及存储介质
WO2021259041A1 (zh) Ai计算图的排序方法、装置、设备及存储介质
US8688946B2 (en) Selecting an auxiliary storage medium for writing data of real storage pages
EP3983950A1 (en) Neural network training in a distributed system
US20070061613A1 (en) Restart method for operating system
US20070288604A1 (en) Method for determining optimal number of connections in multi-connection download configuration
CN111813721B (zh) 神经网络数据处理方法、装置、设备及存储介质
CN110502469B (zh) 一种数据分发方法、装置、设备及存储介质
US20220004855A1 (en) Convolution processing engine and control method, and corresponding convolutional neural network accelerator
US11036399B2 (en) Memory system and operating method of the memory system
US11003391B2 (en) Data-transfer-based RAID data update system
JPH04288638A (ja) コンピュータシステム
WO2021077284A1 (zh) 神经网络运行系统和方法
CN115563050A (zh) 众核计算芯片及数据访问方法
US10928871B2 (en) Computing device and operation method thereof
CN111913812A (zh) 一种数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant