CN112070213A - 神经网络模型的优化方法、装置、设备及存储介质 - Google Patents
神经网络模型的优化方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112070213A CN112070213A CN202010885650.4A CN202010885650A CN112070213A CN 112070213 A CN112070213 A CN 112070213A CN 202010885650 A CN202010885650 A CN 202010885650A CN 112070213 A CN112070213 A CN 112070213A
- Authority
- CN
- China
- Prior art keywords
- neural network
- node
- nodes
- subgraph
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 188
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000005457 optimization Methods 0.000 title claims description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 409
- 230000015654 memory Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种神经网络模型的优化方法、装置、设备及存储介质，属于人工智能领域。该方法包括：通过遍历神经网络模型中神经网络节点之间的节点连接关系，构建神经网络模型对应的至少一张网络子图，每张网络子图由至少一个神经网络节点构成，且同一网络子图中的神经网络节点之间相连；确定网络子图中的离群网络子图，离群网络子图中不包含神经网络输入节点和神经网络输出节点；根据离群网络子图优化神经网络模型。本申请实施例中，在不影响神经网络模型质量的前提下，简化神经网络模型的效果，从而降低神经网络模型对移动终端的算力需求，进而提高部署至移动终端侧的神经网络模型的推理速度。
Description
技术领域
本申请实施例涉及人工智能领域，特别涉及一种神经网络模型的优化方法、装置、设备及存储介质。
背景技术
随着人工智能(Artificial Intelligence，AI)技术的不断发展，神经网络模型被应用到越来越多的场景，比如，神经网络模型被部署在移动终端中，以提高移动终端的智能化程度。
然而，神经网络模型的高算力需求与移动终端的低算力的矛盾也越来越突出，因此，如何降低对移动终端的算力需求，并提高推理速度成为优化神经网络模型的关键。
发明内容
本申请实施例提供了一种神经网络模型的优化方法、装置、设备及存储介质。所述技术方案如下：
一方面，本申请实施例提供了一种神经网络模型的优化方法，所述方法包括：
通过遍历神经网络模型中神经网络节点之间的节点连接关系，构建所述神经网络模型对应的至少一张网络子图，所述神经网络节点包括神经网络输入节点、神经网络输出节点以及至少一个神经网络中间节点，每张所述网络子图由至少一个所述神经网络节点构成，且同一网络子图中的所述神经网络节点之间相连；
确定所述网络子图中的离群网络子图，所述离群网络子图中不包含所述神经网络输入节点和所述神经网络输出节点；
根据所述离群网络子图优化所述神经网络模型。
另一方面，本申请实施例提供了一种神经网络模型的优化装置，所述装置包括：
构建模块，用于通过遍历神经网络模型中神经网络节点之间的节点连接关系，构建所述神经网络模型对应的至少一张网络子图，所述神经网络节点包括神经网络输入节点、神经网络输出节点以及至少一个神经网络中间节点，每张所述网络子图由至少一个所述神经网络节点构成，且同一网络子图中的所述神经网络节点之间相连；
第一确定模块，用于确定所述网络子图中的离群网络子图，所述离群网络子图中不包含所述神经网络输入节点和所述神经网络输出节点；
优化模块，用于根据所述离群网络子图优化所述神经网络模型。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如上述方面所述的神经网络模型的优化方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如上述方面所述的神经网络模型的优化方法。
另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的神经网络模型的优化方法。
本申请实施例提供的技术方案至少包括如下有益效果：
本申请实施例提供的方案中，基于神经网络节点之间的节点连接关系，构建得到神经网络模型的网络子图，对于不包含神经网络输入以及输出节点的网络子图，由于此类网络子图中神经网络节点的更新并不会影响神经网络输出节点，因此通过将此类网络子图确定离群网络子图，并根据离群网络子图对神经网络模型进行优化，能够达到在不影响神经网络模型质量的前提下，简化神经网络模型的效果，从而降低神经网络模型对移动终端的算力需求，进而提高部署至移动终端侧的神经网络模型的推理速度。
附图说明
图1示出了本申请一个示例性实施例提供的神经网络模型的优化方法的方法流程图；
图2是一个示意性实施例示出的神经网络模型优化过程的实施示意图；
图3示出了本申请另一个示例性实施例提供的神经网络模型的优化方法的方法流程图；
图4是一个示例性实施例提供的数组更新过程的流程图；
图5是本申请一个示例性实施例提供的基于数组生成网络子图过程的实施示意图；
图6是一个示例性实施例示出的确定主群网络子图中无效神经网络节点过程的流程图；
图7是一个示意性实施例示出的神经网络模型优化过程的实施示意图；
图8示出了本申请一个实施例提供的神经网络模型的优化装置的结构框图；
图9示出了本申请一个示例性实施例提供的计算机设备的结构方框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的神经网络模型的优化方法应用于计算机设备，该计算机设备设置有神经网络模型优化程序，该神经网络模型优化程序用于对神经网络模型进行精简优化。该计算机设备可以是个人计算机、工作站或服务器等等。
在一些实施例中，计算机设备中还部署有神经网络训练框架，且该神经网络模型优化程序被应用于训练框架中，用于对通过神经网络训练框架训练得到的神经网络模型进行优化，删除神经网络模型中的无用节点。其中，该神经网络训练框架，包括但不限于TensorFlow，PyTorch、ONNX、MxNet等，本申请实施例并不对计算机设备以及神经网络训练框架的具体类型进行限定。为了方便描述，下述各个实施例以神经网络模型的优化方法用于计算机设备为例进行说明。
请参考图1，其示出了本申请一个示例性实施例提供的神经网络模型的优化方法的方法流程图，该方法可以包括如下步骤。
步骤101，通过遍历神经网络模型中神经网络节点之间的节点连接关系，构建神经网络模型对应的至少一张网络子图，神经网络节点包括神经网络输入节点、神经网络输出节点以及至少一个神经网络中间节点，每张网络子图由至少一个神经网络节点构成，且同一网络子图中的神经网络节点之间相连。
其中，该神经网络模型可以是通过神经网路训练框架训练得到，或者，该神经网络模型可以是通过神经网路训练框架训练得到，且经过轻量化处理。
可选的，该神经网络模型可以为卷积神经网络(Convolutional NeuralNetworks，CNN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、长短期记忆网络(Long Short Term Memory，LSTM)模型等等，且该神经网络模型可以用于图像识别、自然语言处理、语义识别、内容推荐等等，本申请实施例并不对神经网络模型的具体类型以及用途进行限定。
本申请实施例中，每个神经网络节点对应神经网络模型中的一个网络层(Layer)，且每个神经网络节点中包含多个算子，不同神经网络节点之间的算子相互连接，从而模拟出神经元之间的连接关系。
在一些实施例中，神经网络输入节点又被称为神经网络输入层(input layer)，是直接与模型外部原始数据交互的一层。神经网络输出节点用于规范化外部数据格式，比如将外部数据(比如图片)转化为张量。
神经网络中间节点又被称为神经网络隐藏层(hidden layer)，用于对数据进行特征提取和抽象。通常情况下，神经网络模型中包含多个神经网络中间节点，且不同神经网络中间节点之间拓扑相连。比如，在卷积神经网络模型中，该神经网络隐藏层即为多级卷积层。
神经网络输出节点又被称为神经网络输出层(output layer)，用于输出模型的计算结果。在用于进行图像识别的神经网络模型中，神经网络输出层用于输出图像分类结果，且输出层输出的数据维度与图像分类标签的数量相同。
在一个示例性的例子中，如图2所示，神经网络模型21中包含6个神经网络节点，分别为神经网络节点A至F，其中，神经网络节点A为神经网络输入节点，神经网络节点F为神经网络输出节点，其它神经网络节点为神经网络中间节点。神经网络模型推理过程中，原始数据输入神经网络输入节点，经过若干个神经网络中间节点运算后，最终由神经网络输出节点输出推理结果。然而，上述推理过程中，并非所有神经网络中间节点的运算结果均会对神经网络输出节点的输出造成影响，因此为了避免神经网络中间节点的无效运算，本申请实施例中采用构建网络子图的方式，识别神经网络模型中的离群神经网络节点。
在一种可能的实施方式中，计算机设备基于神经网络节点之间的节点连接关系，采用并查集(UnionFind)算法构建神经网络模型的网络子图。其中，同一网络子图中的神经网络节点之间相连，即对于网络子图中的任一神经网络节点，至少存在一个其他神经网络节点与该神经网络节点直接相连；不同网络子图中的神经网络节点之间不相连，即不同网络子图中任意两个神经网络节点之间不相连。
示意性的，如图2所示，基于神经网络节点之间的节点连接关系，计算机设备构建得到第一网络子图22以及第二网络子图23，其中，第一网络子图22中包含神经网络节点A、B、C、F，第二网络子图23中包含神经网络节点D、E。
步骤102，确定网络子图中的离群网络子图，离群网络子图中不包含神经网络输入节点和神经网络输出节点。
由于神经网络模型的推理路径是由神经网络输入节点、若干神经网络中间节点和神经网络输出节点顺次连接形成，因此该推理路径上的各个神经网络节点位于同一网络子图中。相应的，神经网络模型中，推理路径之外的神经网络节点包含在其他网络子图中，由于这一类网络子图中神经网络中间节点的更新并不会影响神经网络输出节点(同样对神经网络输入节点也没有影响)，因此，计算机设备将不包含神经网络输入节点和神经网络输出节点的网络子图确定为离群网络子图。
示意性的，如图2所示，由于第二网络子图23中不包含神经网络输入节点A以及神经网络输出节点F，因此计算机设备将第二网络子图23确定为离群子图。
步骤103，根据离群网络子图优化神经网络模型。
进一步的，由于离群网络子图中的神经网络节点并不会对实际推理结果造成影响，反而会导致推理过程中的无用运算，因此计算机设备根据该离群网络子图中的神经网络节点，对神经网络模型进行精简优化，得到优化后的神经网络模型。
示意性的，如图2所示，计算机设备根据第二网络子图23中的神经网络节点D和E，对神经网络模型21进行精简，得到优化后的神经网络模型24(仅包含神经网络网络A、B、C、F)。
需要说明的是，上述实施例中的神经网络模型仅用于示意性说明，在实际应用过程中，神经网络模型中神经网络中间节点的数量更多，且拓扑结构更为复杂，本申请实施例并不对神经网络模型的结构进行限定。
显然，采用本申请实施例提供的方案对神经网络模型进行优化，能够去除神经网络模型中不影响推理结果的神经网络中间节点，从而简化了神经网络模型的结构；且后续推理过程中，无需对神经网络中间节点进行运算，提高了神经网络模型的推理速度。
综上所述，本申请实施例提供的方案中，基于神经网络节点之间的节点连接关系，构建得到神经网络模型的网络子图，对于不包含神经网络输入以及输出节点的网络子图，由于此类网络子图中神经网络节点的更新并不会影响神经网络输出节点，因此通过将此类网络子图确定离群网络子图，并根据离群网络子图对神经网络模型进行优化，能够达到在不影响神经网络模型质量的前提下，简化神经网络模型的效果，从而降低神经网络模型对移动终端的算力需求，进而提高部署至移动终端侧的神经网络模型的推理速度。
针对网络子图的构建方式，在一种可能的实施方式中，计算机设备构建神经网络模型中神经网络节点对应的数组，并通过并查集算法对数组中的数值进行更新，从而根据更新后数组中的数值生成网络子图，下面采用示意性的实施例进行说明。
请参考图3，其示出了本申请另一个示例性实施例提供的神经网络模型的优化方法的方法流程图，该方法可以包括如下步骤。
步骤301，构建神经网络模型数组，神经网络模型数组中数组元素的数量与神经网络节点的数量相同，且神经网络模型数组中各个神经网络节点对应数组元素的初始数值不同。
在一种可能的实施方式中，计算机设备根据神经网络模型中神经网络节点的数量，构建神经网络模型数组，并为神经网络模型数组中的各个数组元素设置初始数值，其中，每个神经网络节点对应神经网络模型数组中的一个数组元素，且各个神经网络节点对应的初始数值不同。
示意性的，如图5所示，神经网络模型中51中包含6个神经网络节点，分别为神经网络节点A至F，其中，神经网络节点A为神经网络输入节点，神经网络节点F为神经网络输出节点，其它神经网络节点为神经网络中间节点。计算机设备构建包含6个数组元素的神经网络模型数组52，并设置数组中神经网络节点A对应数组元素的初始数值为1，神经网络节点B对应数组元素的初始数值为2，神经网络节点C对应数组元素的初始数值为3，神经网络节点D对应数组元素的初始数值为4，神经网络节点E对应数组元素的初始数值为5，神经网络节点F对应数组元素的初始数值为6。
步骤302，根据神经网络节点之间的节点连接关系，更新神经网络模型数组。
在一种可能的实施方式中，当两个神经网络节点之间相连时，计算机设备根据两个神经网络节点之间的输入输出关系，对神经网络模型数组中数组元素的数值进行更新，使相连神经网络节点对应数组元素的数值相同。
可选的，如图4所示，本步骤可以包括如下步骤：
步骤302A，获取第一神经网络节点和第二神经网络节点。
在一些实施例中，计算机设备从神经网络节点中选取第一神经网络节点后，依次将剩余的其他神经网络节点确定为第二神经网络节点。
在一种可能的实施方式中，计算机设备以神经网络输入节点为遍历起点，将神经网络输入节点确定为第一神经网络节点，并从除神经网络输入节点以外的其他神经网络节点中选取第二神经网络节点。
步骤302B，获取第一神经网络节点对应的第一节点名称，以及第二神经网络节点对应输入节点的第二节点名称。
在一种可能的实施方式中，神经网络节点包含自身的节点名称，且当神经网络节点存在对应的输入节点时，该神经网络节点还包含输入节点的节点名称，其中，神经网络节点的输入即为该神经网络节点对应输入节点的输出。
示意性的，如图4所示，神经网络节点B的输入节点为神经网络节点A，因此神经网络节点B包含自身节点名称“B”以及输入节点的节点名称“A”；神经网络节点E的输入节点为神经网络节点D，因此神经网络节点E包含自身节点名称“E”以及输入节点的节点名称“D”。
步骤302C，响应于第一节点名称与第二节点名称相同，确定第一神经网络节点和第二神经网络节点之间相连。
当两个神经网络节点之间相连时，其中一个神经网络节点的输出即为另一神经网络节点的输入，因此，计算机设备检测第一神经网络节点的第一节点名称与第二神经网络节点对应输入节点的第二节点名称是否相同，若相同，则确定第一神经网络节点与第二神经网络节点相连(且第一神经网络节点的输出数据输入第二神经网络节点)，若不相同，则确定第一神经网络节点与第二神经网络节点不相连。
示意性的，如图5所示，对于神经网络节点A和神经网络节点B，由于神经网络节点B对应输入节点的节点名称为“A”，与神经网络节点A的节点名称一致，因此，计算机设备确定神经网络节点A与神经网络节点B相连。对于神经网络节点A和神经网络节点C，由于神经网络节点C对应输入节点的节点名称为“C”，与神经网络节点A的节点名称不一致，因此，计算机设备确定神经网络节点A与神经网络节点C不相连。
步骤302D，响应于第一神经网络节点和第二神经网络节点之间相连，将神经网络模型数组中第二神经网络节点对应数组元素的数值更新为第一神经网络节点对应数组元素的数值。
在一种可能的实施方式中，当第一神经网络节点与第二神经网络节点相连，且第一神经网络节点为第二神经网络节点的输入节点时，终端将神经网络模型数组中第二神经网络节点对应数组元素的数值更新为第一神经网络节点对应数组元素的数值。
示意性的，如图5所示，当第一神经网络节点为神经网络节点A，第二神经网络节点为神经网络节点B时，由于神经网络节点A为神经网络节点B的输入节点，因此计算机设备将神经网络模型数组52中神经网络节点B对应数组元素的数值由2修改为1。对于神经网络节点C至F，由于神经网络节点A并不是神经网络节点C至F的输入节点，因此，计算机设备并不修改神经网络节点C至F对应数组元素的数值。
对于神经网络模型中的任意两个神经网络节点，计算机设备通过上述步骤确定神经网络节点之间是否相连，并更新神经网络模型数组中的数值，直至完成所有节点连接关系遍历。
示意性的，如图5所示，基于神经网络节点B与其他节点的连接关系，计算机设备将神经网络模型数组52中，神经网络节点C对应数组元素的数值修改为1(与神经网络节点B相连)；基于神经网络节点C与其他节点的连接关系，计算机设备将神经网络模型数组52中，神经网络节点F对应数组元素的数值修改为1(与神经网络节点C相连)；基于神经网络节点D与其他节点的连接关系，计算机设备将神经网络模型数组52中，神经网络节点E对应数组元素的数值修改为4(与神经网络节点D一致)；基于神经网络节点E与其他节点的连接关系，计算机设备保持神经网络模型数组52中数组元素的数值；基于神经网络节点F与其他节点的连接关系，计算机设备保持神经网络模型数组52中数组元素的数值。
步骤303，响应于完成节点连接关系遍历，根据神经网络模型数组中数组元素的数值构建网络子图，其中，同一网络子图中神经网络节点在神经网络模型数值中对应数组元素的数值相同。
进一步的，完成所有节点连接关系遍历后，计算机设备根据神经网络模型数组中数组元素的数值，将相同数值对应的神经网络节点划分至同一网络子图中。
示意性的，如图5所示，由于神经网络模型数组52中，神经网络节点A、B、C、F对应数组元素的数值均为1，而神经网络节点D和E对应数组元素的数值均为4，因此计算机设备将神经网络节点A、B、C、F划分至第一网络子图53，将神经网络节点D和E划分至第二网络子图54。
步骤304，确定网络子图中的离群网络子图，离群网络子图中不包含神经网络输入节点和神经网络输出节点。
本步骤的实施方式可以参考上述步骤102，本实施例在此不再赘述。
步骤305，从神经网络模型中删除离群网络子图中的离群神经网络节点以及离群网络节点对应的权值，得到优化后的神经网络模型。
关于根据离群网络子图优化神经网络模型的方式，在一种可能的实施方式中，计算机设备从神经网络模型中删除离群神经网络节点(即离群网络子图中的神经网络节点)。由于删除的离群神经网络节点将不再参与后续推理过程，因此为了降低后续推理过程中加载模型所占用的内存空间，计算机设备对模型文件中离群网络节点对应的权值(位于权值矩阵中)进行删除。
示意性的，如图5所示，计算机设备从神经网络模型51中删除神经网络节点D和E，并将神经网络节点D和E对应的权值删除。
步骤306，对优化后的神经网络模型进行编译，得到神经网络模型对应的目标程序。
在一种可能的实施方式中，上述神经网络模型的离线(offline)优化过程在模型转换时执行。进一步的，当神经网络模型采用运行前编译(Ahead Of Time，AOT)时，计算机设备对优化后的神经网络模型(包括权值矩阵)进行编译，得到硬件所能识别并运行的目标程序(二进制程序)，从而将编译得到的目标程序打包成安装包，供移动终端安装。
相较于直接对未优化的神经网络模型进行编译，采用本申请实施例提供的方法对神经网络模型进行优化后编译，生成的目标程序的数据量更小，因此在运行时占用的内存更小；同时，模型推理过程中不需要执行无用算子，从而降低对移动终端的算力需求，并提高了模型的推理速度。
当然，若神经网络模型采用运行时编译(Just In Time，JIT)时，移动终端即在运行优化后的神经网络模型的过程中进行编译，得到目标程序，本实施例对此不作限定。
本实施例中，计算机设备基于构建的神经网络模型数组以及神经网络节点之间的连接关系，识别出神经网络模型的离群网络子图，并对离群网络子图中的离群神经网络节点进行删除，简化了神经网络模型，并避免执行离群神经网络节点造成的算力浪费。
通过上述实施例提供的方法，可以删除神经网络模型中的离群神经网络节点，对于包含神经网络输入以及输出节点的网络子图，虽然其中的神经网络节点位于同一主群，但是其中仍旧存在部分不影响神经网络输出节点的无效神经网络节点。为了进一步优化神经网络模型，在一种可能的实施方式中，在图3的基础上，如图6所示，上述步骤303之后，还可以包括如下步骤。
步骤307，确定网络子图中的主群网络子图，主群网络子图中包含神经网络输入节点和神经网络输出节点。
本申请实施例中，计算机设备将包含神经网络输入节点以及输出节点的网络子图确定为主群网络子图，该主群网络子图中的神经网络节点即为主群神经网络节点。
示意性的，如图7所示，计算机设备根据神经网络模型71的节点连接关系，构建得到第一网络子图72和第二网络子图73，由于神经网络节点A为神经网络输入节点，且神经网络节点F为神经网络输出节点，因此第一网络子图72即为主群网络子图。
步骤308，根据主群网络子图中各个主群神经网络节点之间的节点连接关系，确定主群网络子图中的无效神经网络节点，无效神经网络节点与神经网络输出节点之间不连通。
虽然主群网络子图中的任一神经网络节点与至少一个其他神经网络节点相连，但是并非所有神经网络节点的运算结果均会对神经网络输出节点造成影响，因此本实施例中，计算机设备基于主群神经网络节点之间的节点连接关系，确定出与神经网络输出节点不连通的无效神经网络节点。
在一种可能的实施方式中，本步骤可以包括如下步骤：
一、根据主群神经网络节点对应的输入节点名称和输出节点名称，确定各个主群神经网络节点之间的节点连接关系。
在一种可能的实施方式中，计算机设备获取各个主群神经网络节点各自对应的输入节点的输入节点名称以及输出节点的输出节点名称。当第一主群神经网络节点对应的输出节点名称与第二主群神经网络节点对应的输入节点名称一致时，则确定第一主群神经网络节点和第二主群神经网络节点相连，且由第一主群神经网络节点指向第二主群神经网络节点。通过遍历各个主群神经网络节点，计算机设备确定出主群神经网络节点之间的节点连接关系以及节点指向。
二、根据主群神经网络节点之间的节点连接关系，确定各个主群神经网络节点与神经网络输出节点之间的连通性。
进一步，计算机设备根据主群神经网络节点之间的节点连接关系以及节点指向，确定主群神经网络节点与神经网络输出节点之间是否存在通路，若存在，则确定主群神经网络节点与神经网络输出节点之间连通，若不存在，则确定主群神经网络节点与神经网络输出节点之间连通。
在一种可能的实施方式中，计算机设备可以采用求解有向图中通路的方法，确定主群神经网络节点是否与神经网络输出节点连通，本申请实施例对此不作限定。
示意性的，如图7所示，计算机设备确定出第一网络子图72中，主群神经网络节点A、B、C、F与神经网络输出节点之间连通。
三、响应于主群神经网络节点与神经网络输出节点之间不连通，将主群神经网络节点确定为无效神经网络节点。
当主群神经网络节点与神经网络输出节点之间不连通时，该主群神经网络节点的更新并不影响神经网络输出节点，因此计算机设备将该主群神经网络节点确定为无效神经网络节点。
示意性的，如图7所示，计算机设备将主群神经网络节点D、E、G、H确定为无效神经网络节点。
步骤309，从神经网络模型中删除无效神经网络节点。
进一步的，计算机设备从神经网络模型中删除无效神经网络节点，进而简化神经网络模型的结构。可选的，计算机设备删除无效神经网络节点对应的权值，从而降低神经网络模型运行时占用的内存。
示意性的，如图7所示，通过删除无效神经网络节点以及第二网络子图72中的神经网络节点，计算机设备得到优化后的神经网络模型74。
本实施例中，计算机设备通过检测主群神经网络节点与神经网络输出节点之间的连通性，删除与神经网络输出节点不连通的无效神经网络节点，在不影响神经网络模型质量的情况下，进一步简化了神经网络模型。
请参考图8，其示出了本申请一个实施例提供的神经网络模型的优化装置的结构框图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分。该装置包括：
构建模块801，用于通过遍历神经网络模型中神经网络节点之间的节点连接关系，构建所述神经网络模型对应的至少一张网络子图，所述神经网络节点包括神经网络输入节点、神经网络输出节点以及至少一个神经网络中间节点，每张所述网络子图由至少一个所述神经网络节点构成，且同一网络子图中的所述神经网络节点之间相连；
第一确定模块802，用于确定所述网络子图中的离群网络子图，所述离群网络子图中不包含所述神经网络输入节点和所述神经网络输出节点；
优化模块803，用于根据所述离群网络子图优化所述神经网络模型。
可选的，构建模块801，包括：
数组构建单元，用于构建神经网络模型数组，所述神经网络模型数组中数组元素的数量与所述神经网络节点的数量相同，且所述神经网络模型数组中各个神经网络节点对应数组元素的初始数值不同；
数组更新单元，用于根据所述神经网络节点之间的节点连接关系，更新所述神经网络模型数组；
子图构建单元，用于响应于完成节点连接关系遍历，根据所述神经网络模型数组中数组元素的数值构建所述网络子图，其中，同一网络子图中神经网络节点在所述神经网络模型数值中对应数组元素的数值相同。
可选的，所述数组更新单元，用于：
获取第一神经网络节点和第二神经网络节点；
响应于所述第一神经网络节点和所述第二神经网络节点之间相连，将所述神经网络模型数组中所述第二神经网络节点对应数组元素的数值更新为所述第一神经网络节点对应数组元素的数值。
可选的，所述数组更新单元，用于：
获取所述第一神经网络节点对应的第一节点名称，以及所述第二神经网络节点对应输入节点的第二节点名称；
响应于所述第一节点名称与所述第二节点名称相同，确定所述第一神经网络节点和所述第二神经网络节点之间相连。
可选的，所述构建模块801，用于：
以所述神经网络输入节点为遍历起点，根据所述经网络节点之间的节点连接关系，更新所述神经网络模型数组。
可选的，所述装置还包括：
第二确定模块，用于确定所述网络子图中的主群网络子图，所述主群网络子图中包含所述神经网络输入节点和所述神经网络输出节点；
连通性确定模块，用于根据所述主群网络子图中各个主群神经网络节点之间的节点连接关系，确定所述主群网络子图中的无效神经网络节点，所述无效神经网络节点与所述神经网络输出节点之间不连通；
删除模块，用于从所述神经网络模型中删除所述无效神经网络节点。
可选的，所述连通性确定模块，用于：
根据所述主群神经网络节点对应的输入节点名称和输出节点名称，确定各个所述主群神经网络节点之间的节点连接关系；
根据所述主群神经网络节点之间的节点连接关系，确定各个所述主群神经网络节点与所述神经网络输出节点之间的连通性；
响应于所述主群神经网络节点与所述神经网络输出节点之间不连通，将所述主群神经网络节点确定为所述无效神经网络节点。
可选的，所述优化模块803，用于：
从所述神经网络模型中删除所述离群网络子图中的离群神经网络节点以及所述离群网络节点对应的权值，得到优化后的所述神经网络模型。
可选的，所述装置还包括：
编译模块，用于对优化后的所述神经网络模型进行编译，得到所述神经网络模型对应的目标程序。
综上所述，本申请实施例提供的方案中，基于神经网络节点之间的节点连接关系，构建得到神经网络模型的网络子图，对于不包含神经网络输入以及输出节点的网络子图，由于此类网络子图中神经网络节点的更新并不会影响神经网络输出节点，因此通过将此类网络子图确定离群网络子图，并根据离群网络子图对神经网络模型进行优化，能够达到在不影响神经网络模型质量的前提下，简化神经网络模型的效果，从而降低神经网络模型对移动终端的算力需求，进而提高部署至移动终端侧的神经网络模型的推理速度。
请参考图9，其示出了本申请一个示例性实施例提供的计算机设备的结构方框图。本申请中的计算机设备可以包括一个或多个如下部件：处理器910和存储器920。
处理器910可以包括一个或者多个处理核心。处理器910利用各种接口和线路连接整个计算机设备内的各个部分，通过运行或执行存储在存储器920内的指令、程序、代码集或指令集，以及调用存储在存储器920内的数据，执行计算机设备的各种功能和处理数据。可选地，处理器910可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器910可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器910中，单独通过一块芯片进行实现。
存储器920可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器920包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器920可用于存储指令、程序、代码、代码集或指令集。存储器920可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储根据计算机设备的使用所创建的数据(比如音频数据、电话本)等。
除此之外，本领域技术人员可以理解，上述附图所示出的计算机设备的结构并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，计算机设备中还包括输入输出组件、显示组件或网络通信组件等部件，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，该存储介质存储有至少一条指令，至少一条指令用于被处理器执行以实现如上述实施例所述神经网络模型的优化方法。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例提供的神经网络模型的优化方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (12)
1.一种神经网络模型的优化方法，其特征在于，所述方法包括：
通过遍历神经网络模型中神经网络节点之间的节点连接关系，构建所述神经网络模型对应的至少一张网络子图，所述神经网络节点包括神经网络输入节点、神经网络输出节点以及至少一个神经网络中间节点，每张所述网络子图由至少一个所述神经网络节点构成，且同一网络子图中的所述神经网络节点之间相连；
确定所述网络子图中的离群网络子图，所述离群网络子图中不包含所述神经网络输入节点和所述神经网络输出节点；
根据所述离群网络子图优化所述神经网络模型。
2.根据权利要求1所述的方法，其特征在于，所述通过遍历所述神经网络节点之间的节点连接关系，构建所述神经网络模型对应的至少一张网络子图，包括：
构建神经网络模型数组，所述神经网络模型数组中数组元素的数量与所述神经网络节点的数量相同，且所述神经网络模型数组中各个神经网络节点对应数组元素的初始数值不同；
根据所述神经网络节点之间的节点连接关系，更新所述神经网络模型数组；
响应于完成节点连接关系遍历，根据所述神经网络模型数组中数组元素的数值构建所述网络子图，其中，同一网络子图中神经网络节点在所述神经网络模型数值中对应数组元素的数值相同。
3.根据权利要求2所述的方法，其特征在于，所述根据所述神经网络节点之间的节点连接关系，更新所述神经网络模型数组，包括：
获取第一神经网络节点和第二神经网络节点；
响应于所述第一神经网络节点和所述第二神经网络节点之间相连，将所述神经网络模型数组中所述第二神经网络节点对应数组元素的数值更新为所述第一神经网络节点对应数组元素的数值。
4.根据权利要求3所述的方法，其特征在于，所述获取第一神经网络节点和第二神经网络节点之后，所述方法包括：
获取所述第一神经网络节点对应的第一节点名称，以及所述第二神经网络节点对应输入节点的第二节点名称；
响应于所述第一节点名称与所述第二节点名称相同，确定所述第一神经网络节点和所述第二神经网络节点之间相连。
5.根据权利要求2所述的方法，其特征在于，所述根据所述神经网络节点之间的节点连接关系，更新所述神经网络模型数组，包括：
以所述神经网络输入节点为遍历起点，根据所述经网络节点之间的节点连接关系，更新所述神经网络模型数组。
6.根据权利要求1至5任一所述的方法，其特征在于，所述确定所述网络子图中的离群网络子图之后，所述方法还包括：
确定所述网络子图中的主群网络子图，所述主群网络子图中包含所述神经网络输入节点和所述神经网络输出节点；
根据所述主群网络子图中各个主群神经网络节点之间的节点连接关系，确定所述主群网络子图中的无效神经网络节点，所述无效神经网络节点与所述神经网络输出节点之间不连通；
从所述神经网络模型中删除所述无效神经网络节点。
7.根据权利要求6所述的方法，其特征在于，所述根据所述主群网络子图中各个主群神经网络节点之间的节点连接关系，确定所述主群网络子图中的无效神经网络节点，包括：
根据所述主群神经网络节点对应的输入节点名称和输出节点名称，确定各个所述主群神经网络节点之间的节点连接关系；
根据所述主群神经网络节点之间的节点连接关系，确定各个所述主群神经网络节点与所述神经网络输出节点之间的连通性；
响应于所述主群神经网络节点与所述神经网络输出节点之间不连通，将所述主群神经网络节点确定为所述无效神经网络节点。
8.根据权利要求1至5任一所述的方法，其特征在于，所述根据所述离群网络子图优化所述神经网络模型，包括：
从所述神经网络模型中删除所述离群网络子图中的离群神经网络节点以及所述离群网络节点对应的权值，得到优化后的所述神经网络模型。
9.根据权利要求1至5任一所述的方法，其特征在于，所述根据所述离群网络子图优化所述神经网络模型之后，所述方法包括：
对优化后的所述神经网络模型进行编译，得到所述神经网络模型对应的目标程序。
10.一种神经网络模型的优化装置，其特征在于，所述装置包括：
构建模块，用于通过遍历神经网络模型中神经网络节点之间的节点连接关系，构建所述神经网络模型对应的至少一张网络子图，所述神经网络节点包括神经网络输入节点、神经网络输出节点以及至少一个神经网络中间节点，每张所述网络子图由至少一个所述神经网络节点构成，且同一网络子图中的所述神经网络节点之间相连；
第一确定模块，用于确定所述网络子图中的离群网络子图，所述离群网络子图中不包含所述神经网络输入节点和所述神经网络输出节点；
优化模块，用于根据所述离群网络子图优化所述神经网络模型。
11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如权利要求1至9任一所述的神经网络模型的优化方法。
12.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如权利要求1至9任一所述的神经网络模型的优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010885650.4A CN112070213A (zh) | 2020-08-28 | 2020-08-28 | 神经网络模型的优化方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010885650.4A CN112070213A (zh) | 2020-08-28 | 2020-08-28 | 神经网络模型的优化方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112070213A true CN112070213A (zh) | 2020-12-11 |
Family
ID=73659839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010885650.4A Withdrawn CN112070213A (zh) | 2020-08-28 | 2020-08-28 | 神经网络模型的优化方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070213A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022141489A1 (zh) * | 2020-12-31 | 2022-07-07 | 深圳元戎启行科技有限公司 | 深度学习模型的推理方法、装置、计算机设备和存储介质 |
| TWI778822B (zh) * | 2021-09-30 | 2022-09-21 | 鴻海精密工業股份有限公司 | 基於神經網路模型的影像處理方法、電子設備及儲存介質 |
| WO2023160290A1 (zh) * | 2022-02-23 | 2023-08-31 | 京东方科技集团股份有限公司 | 神经网络推理加速方法、目标检测方法、设备及存储介质 |
| WO2024046462A1 (zh) * | 2022-09-02 | 2024-03-07 | 深圳忆海原识科技有限公司 | 端口模型对象调用方法、系统、平台、智能装置及存储介质 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170124454A1 (en) * | 2015-10-28 | 2017-05-04 | Google Inc. | Modifying computational graphs |
| US20170132513A1 (en) * | 2015-11-09 | 2017-05-11 | Google Inc. | Training neural networks represented as computational graphs |
| CN107368891A (zh) * | 2017-05-27 | 2017-11-21 | 深圳市深网视界科技有限公司 | 一种深度学习模型的压缩方法和装置 |
| CN109102067A (zh) * | 2018-07-13 | 2018-12-28 | 厦门快商通信息技术有限公司 | 神经网络节点的自增减方法、计算机设备及存储介质 |
| CN109583494A (zh) * | 2018-11-28 | 2019-04-05 | 重庆邮电大学 | 基于结构子图特征的动态网络链接的特征提取及预测方法 |
| CN109583562A (zh) * | 2017-09-28 | 2019-04-05 | 西门子股份公司 | Sgcnn：结构的基于图的卷积神经网络 |
| CN109685203A (zh) * | 2018-12-21 | 2019-04-26 | 北京中科寒武纪科技有限公司 | 数据处理方法、装置、计算机系统及存储介质 |
| CN110175671A (zh) * | 2019-04-28 | 2019-08-27 | 华为技术有限公司 | 神经网络的构建方法、图像处理方法及装置 |
| US20190303762A1 (en) * | 2018-03-30 | 2019-10-03 | Xilinx, Inc. | Methods of optimization of computational graphs of neural networks |
| US20190340492A1 (en) * | 2018-05-04 | 2019-11-07 | Microsoft Technology Licensing, Llc | Design flow for quantized neural networks |
| CN110659728A (zh) * | 2019-09-24 | 2020-01-07 | 上海寒武纪信息科技有限公司 | 神经网络优化方法、装置、计算机设备及存储介质 |
| CN110705709A (zh) * | 2019-10-14 | 2020-01-17 | 支付宝(杭州)信息技术有限公司 | 训练图神经网络模型的方法和装置 |
| WO2020042832A1 (zh) * | 2018-08-29 | 2020-03-05 | 厦门快商通信息技术有限公司 | 神经网络节点的自增减方法、装置及存储介质 |
| CN111062467A (zh) * | 2019-12-18 | 2020-04-24 | 开放智能机器（上海）有限公司 | 一种应用于ai异构编译器的自动切分神经网络子图方法 |
| CN111079691A (zh) * | 2019-12-27 | 2020-04-28 | 中国科学院重庆绿色智能技术研究院 | 一种基于双流网络的剪枝方法 |
| US20200193273A1 (en) * | 2018-12-14 | 2020-06-18 | Microsoft Technology Licensing, Llc | Residual quantization for neural networks |
| CN111382839A (zh) * | 2020-02-23 | 2020-07-07 | 华为技术有限公司 | 剪枝神经网络的方法和装置 |
| US20200249998A1 (en) * | 2019-02-01 | 2020-08-06 | Alibaba Group Holding Limited | Scheduling computation graph heterogeneous computer system |
| CN112288087A (zh) * | 2020-11-11 | 2021-01-29 | 上海依图网络科技有限公司 | 一种神经网络剪枝方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-28 CN CN202010885650.4A patent/CN112070213A/zh not_active Withdrawn
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170124454A1 (en) * | 2015-10-28 | 2017-05-04 | Google Inc. | Modifying computational graphs |
| US20170132513A1 (en) * | 2015-11-09 | 2017-05-11 | Google Inc. | Training neural networks represented as computational graphs |
| CN107368891A (zh) * | 2017-05-27 | 2017-11-21 | 深圳市深网视界科技有限公司 | 一种深度学习模型的压缩方法和装置 |
| CN109583562A (zh) * | 2017-09-28 | 2019-04-05 | 西门子股份公司 | Sgcnn：结构的基于图的卷积神经网络 |
| US20190303762A1 (en) * | 2018-03-30 | 2019-10-03 | Xilinx, Inc. | Methods of optimization of computational graphs of neural networks |
| CN110321999A (zh) * | 2018-03-30 | 2019-10-11 | 北京深鉴智能科技有限公司 | 神经网络计算图优化方法 |
| US20190340492A1 (en) * | 2018-05-04 | 2019-11-07 | Microsoft Technology Licensing, Llc | Design flow for quantized neural networks |
| CN109102067A (zh) * | 2018-07-13 | 2018-12-28 | 厦门快商通信息技术有限公司 | 神经网络节点的自增减方法、计算机设备及存储介质 |
| WO2020042832A1 (zh) * | 2018-08-29 | 2020-03-05 | 厦门快商通信息技术有限公司 | 神经网络节点的自增减方法、装置及存储介质 |
| CN109583494A (zh) * | 2018-11-28 | 2019-04-05 | 重庆邮电大学 | 基于结构子图特征的动态网络链接的特征提取及预测方法 |
| US20200193273A1 (en) * | 2018-12-14 | 2020-06-18 | Microsoft Technology Licensing, Llc | Residual quantization for neural networks |
| CN109685203A (zh) * | 2018-12-21 | 2019-04-26 | 北京中科寒武纪科技有限公司 | 数据处理方法、装置、计算机系统及存储介质 |
| US20200249998A1 (en) * | 2019-02-01 | 2020-08-06 | Alibaba Group Holding Limited | Scheduling computation graph heterogeneous computer system |
| CN110175671A (zh) * | 2019-04-28 | 2019-08-27 | 华为技术有限公司 | 神经网络的构建方法、图像处理方法及装置 |
| CN110659728A (zh) * | 2019-09-24 | 2020-01-07 | 上海寒武纪信息科技有限公司 | 神经网络优化方法、装置、计算机设备及存储介质 |
| CN110705709A (zh) * | 2019-10-14 | 2020-01-17 | 支付宝(杭州)信息技术有限公司 | 训练图神经网络模型的方法和装置 |
| CN111062467A (zh) * | 2019-12-18 | 2020-04-24 | 开放智能机器（上海）有限公司 | 一种应用于ai异构编译器的自动切分神经网络子图方法 |
| CN111079691A (zh) * | 2019-12-27 | 2020-04-28 | 中国科学院重庆绿色智能技术研究院 | 一种基于双流网络的剪枝方法 |
| CN111382839A (zh) * | 2020-02-23 | 2020-07-07 | 华为技术有限公司 | 剪枝神经网络的方法和装置 |
| CN112288087A (zh) * | 2020-11-11 | 2021-01-29 | 上海依图网络科技有限公司 | 一种神经网络剪枝方法、装置、电子设备及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| WEIXIN_26630173: "修剪神经网络", HTTPS://BLOG.CSDN.NET/WEIXIN_26630173/ARTICLE/DETAILS/108892444 * |
| YOICHI HAYASHI ETC.: "Understanding consumer heterogeneity", KNOWLEDGE-BASED SYSTEMS * |
| 林增跃等: "基于网络子图表示的铁路运输安全事故分类方法", 理论与政策, vol. 42, no. 7 * |
| 邵恩泽;吴正勇;王灿;: "一种改进的神经网络模型结构优化方法", 工业控制计算机, no. 04 * |
| 陈建坤, 范春年: "一种基于神经网络的车牌定位方法", 辽宁工程技术大学学报, no. 01 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022141489A1 (zh) * | 2020-12-31 | 2022-07-07 | 深圳元戎启行科技有限公司 | 深度学习模型的推理方法、装置、计算机设备和存储介质 |
| TWI778822B (zh) * | 2021-09-30 | 2022-09-21 | 鴻海精密工業股份有限公司 | 基於神經網路模型的影像處理方法、電子設備及儲存介質 |
| WO2023160290A1 (zh) * | 2022-02-23 | 2023-08-31 | 京东方科技集团股份有限公司 | 神经网络推理加速方法、目标检测方法、设备及存储介质 |
| WO2024046462A1 (zh) * | 2022-09-02 | 2024-03-07 | 深圳忆海原识科技有限公司 | 端口模型对象调用方法、系统、平台、智能装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070213A (zh) | 神经网络模型的优化方法、装置、设备及存储介质 | |
| CN112579063B (zh) | 一种用于深度学习编译器中探索优化空间的加速方法 | |
| US20220076123A1 (en) | Neural network optimization method, electronic device and processor | |
| US11755367B2 (en) | Scheduling operations on a computation graph | |
| CN112199086A (zh) | 自动编程控制系统、方法、装置、电子设备及存储介质 | |
| CN110750298B (zh) | 一种ai模型编译方法、设备及存储介质 | |
| CN112351076B (zh) | 推荐系统api的生成方法、装置、电子设备及存储介质 | |
| US20240062116A1 (en) | Model processing method and apparatus | |
| CN115686527A (zh) | 基于算子的编译方法、装置、计算机设备和存储介质 | |
| CN115240048A (zh) | 面向图像分类的深度学习的算子定位融合方法及装置 | |
| CN115956247A (zh) | 神经网络模型优化方法及装置 | |
| CN112965710A (zh) | 计算图的处理方法、装置和系统 | |
| WO2023040372A1 (zh) | 一种基于图算法的ai建模流程编排方法和系统 | |
| CN115423082A (zh) | 一种硬件特性相关的深度模型计算图自动优化方法 | |
| CN115809063A (zh) | 一种存储过程编译方法、系统、电子设备和存储介质 | |
| CN113705798A (zh) | 处理单元、计算装置及深度学习模型的计算图优化方法 | |
| CN115688917A (zh) | 神经网络模型的训练方法、装置、电子设备及存储介质 | |
| CN112749364B (zh) | 基于人工智能的网页生成方法、装置、设备及存储介质 | |
| CN114626284A (zh) | 一种模型处理方法及相关装置 | |
| CN114077432A (zh) | 一种算子编译方法及装置 | |
| CN117829242B (zh) | 模型处理方法及相关设备 | |
| CN110162531A (zh) | 一种分布式并发数据处理任务决策方法 | |
| CN115034392B (zh) | Rete网络的编译方法及装置、Rete算法的执行方法及装置 | |
| WO2024087702A1 (zh) | 一种算子编译方法及装置 | |
| US20230409289A1 (en) | Data processing apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201211 |