CN115795114A - 深度学习推理的计算图表示和存储方法及其相关组件 - Google Patents
深度学习推理的计算图表示和存储方法及其相关组件 Download PDFInfo
- Publication number
- CN115795114A CN115795114A CN202310092609.5A CN202310092609A CN115795114A CN 115795114 A CN115795114 A CN 115795114A CN 202310092609 A CN202310092609 A CN 202310092609A CN 115795114 A CN115795114 A CN 115795114A
- Authority
- CN
- China
- Prior art keywords
- representation
- graph
- node
- data
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004364 calculation method Methods 0.000 claims abstract description 72
- 238000003491 array Methods 0.000 claims abstract description 41
- 230000004913 activation Effects 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013500 data storage Methods 0.000 claims description 7
- 102100030148 Integrator complex subunit 8 Human genes 0.000 claims description 6
- 101710092891 Integrator complex subunit 8 Proteins 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 9
- 238000013136 deep learning model Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种深度学习推理的计算图表示和存储方法及其相关组件，应用于嵌入式设备，涉及深度学习、嵌入式设备技术领域，包括：在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。上述方案适用于资源较为有限的嵌入式设备深度学习推理场景，能够更加高效的表示和存储计算图，实现对计算图的序列化。
Description
技术领域
本发明涉及深度学习、嵌入式设备技术领域，特别涉及一种深度学习推理的计算图表示和存储方法、装置、设备及介质。
背景技术
近年来，深度学习神经网络模型被广泛应用在许多领域，并取得了非常好的效果。模型推理作为模型使用的阶段，与运行模型的硬件、环境等关系密切，出现了适配不同硬件的模型推理框架，推理框架通过将深度学习模型表示成一种数据结构组织计算流。深度学习模型的中间层表示是采用一种称为计算图的有向无环图的数据表示方法，针对不同的场景和软硬件情况，计算图的表示方法不同。用于训练的深度学习推理框架会强调导数以及反向传播相关的数据表示，而用于推理的深度学习框架强调推理效率的优化。另外，不同的软硬件情况也会影响计算图的表示方法，用于嵌入式设备的计算图表示强调有限资源的利用最大化。目前，主流的深度学习推理框架主要针对云端或服务器的深度学习模型的部署和推理。有些推理框架的计算图表示面向边缘端设备，但主要设计对象是硬件资源较为丰富的手机等设备，而对于资源更为有限的嵌入式设备，资源利用效率不高，导致内存溢出或计算延迟的问题。另外，许多嵌入式设备没有操作系统以及相应的文件系统，无法存放和读取模型文件。
综上，如何针对嵌入式设备提供一种更高效的计算图表示和存储方案是目前有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种深度学习推理的计算图表示和存储方法、装置、设备及介质，能够针对嵌入式设备提供一种更高效的计算图表示和存储方案。其具体方案如下：
第一方面，本申请公开了一种深度学习推理的计算图表示和存储方法，应用于嵌入式设备，包括：
在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；
将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；
将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。
可选的，所述按照预设规则分别构建计算图的图表示、节点表示和算子表示，包括：
确定预设的图表示数据项、节点表示数据项和算子表示数据项；
按照所述图表示数据项构建计算图的图表示；
按照所述节点表示数据项构建计算图的节点表示；
按照所述算子表示数据项构建计算图的算子表示。
可选的，所述图表示数据项为包括节点数量、节点ID列表、激活值数量、激活值ID列表、计算图输入、计算图输出、计算图节点和激活值映射数据中的任意一种或几种数据项；所述节点表示数据项为包括节点ID、节点类型、激活函数类型、量化配置信息、节点权重信息、节点配置信息中的任意一种或几种数据项；所述算子表示数据项为包括节点权重信息和节点配置信息中的任意一种或两种数据项。
可选的，所述将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中，包括：
将所述图表示中所有图表示数据项的起始位置和偏移量存储至预设的图表示位置数组中；
将所述节点表示中所有节点表示数据项的起始位置和偏移量存储至预设的节点表示位置数组中；
将所述算子表示中所有算子表示数据项的起始位置和偏移量存储至与算子类型对应的节点表示位置数组中。
可选的，所述深度学习推理的计算图表示和存储方法，还包括：
获取所述图表示中的计算图节点和激活值映射数据，并根据映射关系将所述计算图节点和所述激活值映射数据存储至预先建立的目标数组中。
可选的，所述将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中，包括：
确定预先设置的若干个数据类型数组，并确定所述图表示、所述节点表示和所述算子表示中计算图数据的数据类型；其中，所述数据类型数组的数据类型为包括INT8类型、INT32类型和FLOAT32类型中的任意一种或几种类型；
将所述图表示、所述节点表示和所述算子表示中的计算图数据按照所述数据类型存储至相应的数据类型数组中，并记录数据项的起始位置和偏移量。
可选的，所述深度学习推理的计算图表示和存储方法，还包括：
当需要获取计算图数据时，则根据所述位置数组中存储的所述起始位置和所述偏移量从所述数据类型数组中分别获取所述图表示、所述节点表示和所述算子表示的计算图数据。
第二方面，本申请公开了一种深度学习推理的计算图表示和存储装置，包括：
计算图表示构建模块，用于在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；
数据存储模块，用于将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；
位置信息存储模块，用于将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的深度学习推理的计算图表示和存储方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的深度学习推理的计算图表示和存储方法的步骤。
可见，本申请的深度学习推理的计算图表示和存储方法适用于嵌入式设备，通过在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。由此可见，本申请公开了一种用于嵌入式设备深度学习推理的计算图表示和存储方法，在深度学习推理框架中构建了计算图的图表示、节点表示和算子表示方式；并将图表示、节点表示和算子表示的计算图数据按照数据类型存储至相应的数据类型数组中，即构建了计算图数据存储方式；以及将图表示、节点表示和算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中，即构建了图表示、节点表示和算子表示的起始位置和偏移量存储方式。上述方案适用于资源较为有限的嵌入式设备深度学习推理场景，也即对于没有操作系统以及相应文件系统的嵌入式设备，也可以将深度学习模型中计算图的相关数据进行存储，能够更加高效的表示和存储计算图，实现计算图的序列化。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种深度学习推理的计算图表示和存储方法流程图；
图2为本申请公开的一种具体的深度学习推理的计算图表示和存储方法流程图；
图3为本申请公开的一种具体的深度学习推理的计算图表示和存储流程示意图；
图4为本申请公开的一种深度学习推理的计算图表示和存储装置结构示意图；
图5为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，主流的深度学习推理框架主要针对云端或服务器的深度学习模型的部署和推理。有些推理框架的计算图表示面向边缘端设备，但主要设计对象是硬件资源较为丰富的手机等设备，而对于资源更为有限的嵌入式设备，资源利用效率不高，导致内存溢出或计算延迟的问题。另外，许多嵌入式设备没有操作系统以及相应的文件系统，无法存放和读取模型文件。为此，本申请实施例公开了一种深度学习推理的计算图表示和存储方法、装置、设备及介质，能够针对嵌入式设备提供一种更高效的计算图表示和存储方案。
参见图1所示，本申请实施例公开了一种深度学习推理的计算图表示和存储方法，应用于嵌入式设备，该方法包括：
步骤S11：在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示。
本实施例中，在深度学习推理框架中，首先按照预设规则分别构建计算图的图表示、节点表示和算子表示。在具体实施方式中，上述按照预设规则分别构建计算图的图表示、节点表示和算子表示，包括：确定预设的图表示数据项、节点表示数据项和算子表示数据项；按照所述图表示数据项构建计算图的图表示；按照所述节点表示数据项构建计算图的节点表示；按照所述算子表示数据项构建计算图的算子表示。
具体的，按照图表示数据项构建计算图的图表示，上述图表示数据项为包括节点数量、节点ID列表、激活值数量、激活值ID列表、计算图输入、计算图输出、计算图节点和激活值映射数据中的任意一种或几种数据项；也即，计算图的图表示包括但不限于节点数量、节点ID列表、激活值数量、激活值ID列表、计算图输入、计算图输出、计算图节点和激活值映射数据等属性。其中，计算图节点包括输入-节点映射、输出-节点映射、节点-输入映射、节点-输出映射等节点。输入（出）-节点映射表示由计算图输入（出）确定出对应的节点，节点-输入（出）映射表示由节点确定出对应的计算图输入（出）。
具体的，按照节点表示数据项构建计算图的节点表示，上述节点表示数据项为包括节点ID、节点类型、激活函数类型、量化配置信息、节点权重信息、节点配置信息中的任意一种或几种数据项。也即，计算图的节点表示包括但不限于节点ID、节点类型、激活函数类型、量化配置信息、节点权重信息、节点配置信息等。
具体的，按照算子表示数据项构建计算图的算子表示，上述算子表示数据项为包括节点权重信息和节点配置信息中的任意一种或两种数据项。也即，计算图的算子表示包括节点权重信息和节点配置信息，是节点表示的一部分。需要指出的是，不同的算子表示方式不同，有的算子包括权重信息和配置信息，如二维卷积算子；有的算子既没有权重信息，也没有配置信息，如Relu算子。
步骤S12：将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中。
本实施例中，为了提高数据存储效率，需要将图表示、节点表示和算子表示的计算图数据按照数据类型存储至相应的数据类型数组中。
步骤S13：将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。
本实施例中，需要将图表示、节点表示和算子表示中各自数据项的起始位置和偏移量分别存储至对应的位置数组中。通过计算图数据的存储以及启示位置和偏移量的存储，实现了计算图的序列化，通过这种序列化方式，可以将模型数据直接保存成C语言代码文件，避免了对文件系统的要求，具有较高的实用价值和创新价值。
可见，本申请的深度学习推理的计算图表示和存储方法适用于嵌入式设备，通过在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。由此可见，本申请公开了一种用于嵌入式设备深度学习推理的计算图表示和存储方法，在深度学习推理框架中构建了计算图的图表示、节点表示和算子表示方式；并将图表示、节点表示和算子表示的计算图数据按照数据类型存储至相应的数据类型数组中，即构建了计算图数据存储方式；以及将图表示、节点表示和算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中，即构建了图表示、节点表示和算子表示的起始位置和偏移量存储方式。上述方案适用于资源较为有限的嵌入式设备深度学习推理场景，也即对于没有操作系统以及相应文件系统的嵌入式设备，也可以将深度学习模型中计算图的相关数据进行存储，能够更加高效的表示和存储计算图，实现计算图的序列化。
参见图2和图3所示，本申请实施例公开了一种具体的深度学习推理的计算图表示和存储方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体包括：
步骤S21：在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示。
步骤S22：确定预先设置的若干个数据类型数组，并确定所述图表示、所述节点表示和所述算子表示中计算图数据的数据类型；其中，所述数据类型数组的数据类型为包括INT8类型、INT32类型和FLOAT32类型中的任意一种或几种类型。
本实施例中，确定预先设置的若干个数据类型数组，并确定图表示、节点表示和算子表示中计算图数据的数据类型，数据类型数组的数据类型包括但不限于INT8类型、INT32类型和FLOAT32类型，那么相应的数据类型数组为INT8类型数组、INT32类型数组以及FLOAT32类型数组。具体的，INT8类型数组主要用于存放量化后权重等数据，INT32类型数组主要用于存放部分量化数据以及一些配置数据，FLOAT32类型数组主要用于存放需要用浮点数表示的数据。
步骤S23：将所述图表示、所述节点表示和所述算子表示中的计算图数据按照所述数据类型存储至相应的数据类型数组中，并记录数据项的起始位置和偏移量。
本实施例中，将图表示、节点表示和算子表示中的计算图数据按照数据类型存储至相应的数据类型数组中，并在存放图表示、节点表示和算子表示的计算图数据时，同时记录每个数据项的起始位置以及偏移量，以便在使用时通过起始位置和偏移量获取该数据项。
步骤S24：将所述图表示中所有图表示数据项的起始位置和偏移量存储至预设的图表示位置数组中，并将所述节点表示中所有节点表示数据项的起始位置和偏移量存储至预设的节点表示位置数组中，以及将所述算子表示中所有算子表示数据项的起始位置和偏移量存储至与算子类型对应的节点表示位置数组中。
本实施例中，对于图表示，其数据项包括节点数量、节点ID列表、激活值数量、激活值ID列表、计算图输入、计算图输出、计算图节点和激活值映射数据等属性，本实施例将所有图表示数据项的起始位置和偏移量存储在一个预设的图表示位置数组中。对于节点表示，其数据项包括节点ID、节点类型、激活函数类型、量化配置信息等，本实施例将所有节点表示数据项的起始位置和偏移量存储在一个预设的节点表示位置数组中。对于算子表示，其数据项包括每个节点的节点权重信息和节点配置信息，由于每个模型有多个算子类型，因此每个算子类型均有一个算子表示位置数组，用于存放所有该算子类型的数据项的位置和偏移量，因此本实施例将所有算子表示数据项的起始位置和偏移量存储至与算子类型对应的节点表示位置数组中。
进一步的，上述方法还包括：当需要获取计算图数据时，则根据所述位置数组中存储的所述起始位置和所述偏移量从所述数据类型数组中分别获取所述图表示、所述节点表示和所述算子表示的计算图数据。可以理解的是，本申请实施例还公开了一种数据获取方法，即获取前述内容中存储的序列化数据，通过根据位置数组中存储的起始位置和偏移量从数据类型数组中分别获取图表示、节点表示和算子表示的计算图数据。具体的，对于图表示数据，通过起始位置和偏移量获取图表示的每个数据项；对于节点表示数据，通过起始位置和偏移量获取节点表示的每个数据项；对于算子表示数据，通过节点表示中的节点类型找到相应的算子表示，通过该算子表示的起始位置和偏移量获取该节点的算子表示数据项。
此外，本申请实施例还公开了一种计算图节点和激活值映射数据存储和获取的方法，具体包括：获取所述图表示中的计算图节点和激活值映射数据，并根据映射关系将所述计算图节点和所述激活值映射数据存储至预先建立的目标数组中。图表示中的计算图节点和激活值映射数据包括输入-节点映射、输出-节点映射、节点-输入映射、节点-输出映射，用于构建节点和激活值关系。通过预先建立的四个二维的目标数组存储和获取上述数据信息，存放的内容为相应节点ID和激活值ID。
其中，关于上述步骤S21更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例中需按照数据类型将图表示、节点表示和算子表示中的计算图数据存储至预先设置的数据类型数组中，并同时记录每个数据项的起始位置以及偏移量，以便在使用时通过起始位置和偏移量获取该数据项。并且，再将图表示、节点表示和算子表示中所有数据项的起始位置和偏移量分别存储至对应的位置数组中，其中在存储算子表示数据项时，需存储至与算子类型对应的节点表示位置数组中。此外，在上述基础上，本实施例还公开了序列化数据的获取方法以及计算图节点和激活值映射数据存储和获取的方法。
参见图4所示，本申请实施例公开了一种深度学习推理的计算图表示和存储装置，应用于嵌入式设备，该装置包括：
计算图表示构建模块11，用于在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；
数据存储模块12，用于将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；
位置信息存储模块13，用于将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。
可见，本申请的深度学习推理的计算图表示和存储方法适用于嵌入式设备，通过在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。由此可见，本申请公开了一种用于嵌入式设备深度学习推理的计算图表示和存储方法，在深度学习推理框架中构建了计算图的图表示、节点表示和算子表示方式；并将图表示、节点表示和算子表示的计算图数据按照数据类型存储至相应的数据类型数组中，即构建了计算图数据存储方式；以及将图表示、节点表示和算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中，即构建了图表示、节点表示和算子表示的起始位置和偏移量存储方式。上述方案适用于资源较为有限的嵌入式设备深度学习推理场景，也即对于没有操作系统以及相应文件系统的嵌入式设备，也可以将深度学习模型中计算图的相关数据进行存储，能够更加高效的表示和存储计算图，实现计算图的序列化。
图5为本申请实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由电子设备执行的深度学习推理的计算图表示和存储方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的深度学习推理的计算图表示和存储方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
进一步的，本申请实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由深度学习推理的计算图表示和存储过程中执行的方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种深度学习推理的计算图表示和存储方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种深度学习推理的计算图表示和存储方法，其特征在于，应用于嵌入式设备，包括：
在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；
将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；
将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。
2.根据权利要求1所述的深度学习推理的计算图表示和存储方法，其特征在于，所述按照预设规则分别构建计算图的图表示、节点表示和算子表示，包括：
确定预设的图表示数据项、节点表示数据项和算子表示数据项；
按照所述图表示数据项构建计算图的图表示；
按照所述节点表示数据项构建计算图的节点表示；
按照所述算子表示数据项构建计算图的算子表示。
3.根据权利要求2所述的深度学习推理的计算图表示和存储方法，其特征在于，所述图表示数据项为包括节点数量、节点ID列表、激活值数量、激活值ID列表、计算图输入、计算图输出、计算图节点和激活值映射数据中的任意一种或几种数据项；所述节点表示数据项为包括节点ID、节点类型、激活函数类型、量化配置信息、节点权重信息、节点配置信息中的任意一种或几种数据项；所述算子表示数据项为包括节点权重信息和节点配置信息中的任意一种或两种数据项。
4.根据权利要求2所述的深度学习推理的计算图表示和存储方法，其特征在于，所述将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中，包括：
将所述图表示中所有图表示数据项的起始位置和偏移量存储至预设的图表示位置数组中；
将所述节点表示中所有节点表示数据项的起始位置和偏移量存储至预设的节点表示位置数组中；
将所述算子表示中所有算子表示数据项的起始位置和偏移量存储至与算子类型对应的节点表示位置数组中。
5.根据权利要求3所述的深度学习推理的计算图表示和存储方法，其特征在于，还包括：
获取所述图表示中的计算图节点和激活值映射数据，并根据映射关系将所述计算图节点和所述激活值映射数据存储至预先建立的目标数组中。
6.根据权利要求1至5任一项所述的深度学习推理的计算图表示和存储方法，其特征在于，所述将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中，包括：
确定预先设置的若干个数据类型数组，并确定所述图表示、所述节点表示和所述算子表示中计算图数据的数据类型；其中，所述数据类型数组的数据类型为包括INT8类型、INT32类型和FLOAT32类型中的任意一种或几种类型；
将所述图表示、所述节点表示和所述算子表示中的计算图数据按照所述数据类型存储至相应的数据类型数组中，并记录数据项的起始位置和偏移量。
7.根据权利要求6所述的深度学习推理的计算图表示和存储方法，其特征在于，还包括：
当需要获取计算图数据时，则根据所述位置数组中存储的所述起始位置和所述偏移量从所述数据类型数组中分别获取所述图表示、所述节点表示和所述算子表示的计算图数据。
8.一种深度学习推理的计算图表示和存储装置，其特征在于，应用于嵌入式设备，包括：
计算图表示构建模块，用于在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；
数据存储模块，用于将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；
位置信息存储模块，用于将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的深度学习推理的计算图表示和存储方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的深度学习推理的计算图表示和存储方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310092609.5A CN115795114B (zh) | 2023-02-10 | 2023-02-10 | 深度学习推理的计算图表示和存储方法及其相关组件 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310092609.5A CN115795114B (zh) | 2023-02-10 | 2023-02-10 | 深度学习推理的计算图表示和存储方法及其相关组件 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115795114A true CN115795114A (zh) | 2023-03-14 |
| CN115795114B CN115795114B (zh) | 2023-04-28 |
Family
ID=85430788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310092609.5A Active CN115795114B (zh) | 2023-02-10 | 2023-02-10 | 深度学习推理的计算图表示和存储方法及其相关组件 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115795114B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080033897A1 (en) * | 2006-08-02 | 2008-02-07 | Lloyd Kenneth A | Object Oriented System and Method of Graphically Displaying and Analyzing Complex Systems |
| US20110283179A1 (en) * | 2010-05-14 | 2011-11-17 | International Business Machines Corporation | Update and Serialization of XML Documents |
| CN112365139A (zh) * | 2020-10-29 | 2021-02-12 | 浙江工业大学 | 一种图卷积神经网络下的人群危险程度分析方法 |
| CN113177034A (zh) * | 2021-05-06 | 2021-07-27 | 南京大学 | 一种跨平台统一的分布式图数据处理方法 |
| CN113508385A (zh) * | 2019-02-19 | 2021-10-15 | 洛林·G·克雷默三世 | 使用子例程图谱进行形式语言处理的方法和系统 |
| CN115357381A (zh) * | 2022-08-11 | 2022-11-18 | 山东浪潮科学研究院有限公司 | 用于嵌入式设备深度学习推理的内存优化方法及系统 |
| CN115438768A (zh) * | 2021-06-02 | 2022-12-06 | 上海寒武纪信息科技有限公司 | 模型推理方法、装置、计算机设备及存储介质 |
-
2023
- 2023-02-10 CN CN202310092609.5A patent/CN115795114B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080033897A1 (en) * | 2006-08-02 | 2008-02-07 | Lloyd Kenneth A | Object Oriented System and Method of Graphically Displaying and Analyzing Complex Systems |
| US20110283179A1 (en) * | 2010-05-14 | 2011-11-17 | International Business Machines Corporation | Update and Serialization of XML Documents |
| CN113508385A (zh) * | 2019-02-19 | 2021-10-15 | 洛林·G·克雷默三世 | 使用子例程图谱进行形式语言处理的方法和系统 |
| CN112365139A (zh) * | 2020-10-29 | 2021-02-12 | 浙江工业大学 | 一种图卷积神经网络下的人群危险程度分析方法 |
| CN113177034A (zh) * | 2021-05-06 | 2021-07-27 | 南京大学 | 一种跨平台统一的分布式图数据处理方法 |
| CN115438768A (zh) * | 2021-06-02 | 2022-12-06 | 上海寒武纪信息科技有限公司 | 模型推理方法、装置、计算机设备及存储介质 |
| CN115357381A (zh) * | 2022-08-11 | 2022-11-18 | 山东浪潮科学研究院有限公司 | 用于嵌入式设备深度学习推理的内存优化方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115795114B (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112566093B (zh) | 一种终端关系识别方法、装置、计算机设备及存储介质 | |
| CN111176820A (zh) | 一种基于深度神经网络的边缘计算任务的分配方法及装置 | |
| US20210312295A1 (en) | Information processing method, information processing device, and information processing program | |
| CN113010312B (zh) | 一种超参数调优方法、装置及存储介质 | |
| CN111931901A (zh) | 一种神经网络构建方法以及装置 | |
| CN115509539A (zh) | 一种数据调用方法、装置、设备及介质 | |
| CN114816393A (zh) | 信息生成方法、装置、设备以及存储介质 | |
| CN112270083B (zh) | 一种多分辨建模与仿真方法及系统 | |
| CN113344779B (zh) | 基于卡通纹理分解和深度学习的sar图像超分辨方法及系统 | |
| CN118133953A (zh) | 一种基于领域本体的系统逻辑架构模型生成方法 | |
| CN115795114B (zh) | 深度学习推理的计算图表示和存储方法及其相关组件 | |
| CN116451757B (zh) | 一种神经网络模型的异构加速方法、装置、设备及介质 | |
| CN113992520B (zh) | 一种虚拟网络资源的部署方法和系统 | |
| CN116822259B (zh) | 基于场景模拟的评价信息生成方法、装置和电子设备 | |
| CN116187404A (zh) | 一种残差网络内存优化方法、装置、设备及介质 | |
| CN111327472A (zh) | 用于获取目标网络的方法及装置 | |
| CN111192355A (zh) | 一种基于三维的数字化预案方法 | |
| CN115860135B (zh) | 基于超网的异构联邦学习方法、设备及介质 | |
| CN118093097B (zh) | 数据存储集群资源调度方法、装置、电子设备和介质 | |
| CN112580803B (zh) | 模型获取方法、装置、电子设备、存储介质和程序产品 | |
| JP7413438B2 (ja) | アカウントの親密度の生成方法、装置、電子機器及び記憶媒体 | |
| CN113805976B (zh) | 数据处理方法及装置、电子设备及计算机可读存储介质 | |
| Quan et al. | A real-time subtask-assistance strategy for adaptive services composition | |
| CN117917606A (zh) | 海上风机组并网策略控制方法、装置、设备及介质 | |
| CN116471633A (zh) | 一种基于QoE感知和多层引导强化学习的任务卸载方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |