CN112101529A - 一种用于神经网络模型推理跨平台的部署方法及架构 - Google Patents
一种用于神经网络模型推理跨平台的部署方法及架构 Download PDFInfo
- Publication number
- CN112101529A CN112101529A CN202011095515.6A CN202011095515A CN112101529A CN 112101529 A CN112101529 A CN 112101529A CN 202011095515 A CN202011095515 A CN 202011095515A CN 112101529 A CN112101529 A CN 112101529A
- Authority
- CN
- China
- Prior art keywords
- operator
- neural network
- network model
- platform
- inference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 254
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000013467 fragmentation Methods 0.000 abstract description 6
- 238000006062 fragmentation reaction Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 238000013528 artificial neural network Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 11
- 238000011161 development Methods 0.000 description 11
- 238000005538 encapsulation Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000004806 packaging method and process Methods 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种用于神经网络模型推理跨平台的部署方法及架构，本发明实施例提供的部署方法中，首先对数据进行统一处理；然后基于所加载的神经网络模型，确定神经网络模型推理，将统一处理后的数据输入到所述神经网络模型推理中；再次，根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；最后，输出得到神经网络模型推理的解析结果。因此，本发明实施例在平台部署神经网络模型推理时，对神经网络模型推理进行了算子碎片化处理，而并不是直接将完整的神经网络模型推理进行部署，由于针对不同平台的神经网络模型推理中的相同算子可以被灵活使用，甚至是复用，所以实现了跨异构平台部署神经网络模型推理。
Description
技术领域
本发明涉及人工智能技术，特别涉及一种用于神经网络模型推理跨平台的部署方法及架构。
背景技术
随着人工智能技术的发展，神经网络的应用也越来越广泛。为了支持神经网络的应用，各大厂商都在生产可以运行神经网络的芯片，特别是运行深度神经网络的芯片，诸如中央处理器(CPU，Central Processing Unit)、图形处理器(GPU，Graphics ProcessingUnit)、神经网络训练的处理器(TPU,Tensor Processing Unit)、机器学习处理器(MLU，Machine Learning Unit)或ARM处理器等。在这里，深度神经网络为有很多隐藏层的神经网络，又被称为深度前馈网络(DFN)或多层感知机(MLP)。
当一芯片支持的平台要运行神经网络时，则在所述平台上部署具有该神经网络模型推理，将数据输入到该神经网络模型推理中执行即可实现。神经网络模型推理仅针对一芯片支持的平台，对于异构芯片支持的平台，则由于所采用的处理器架构不同及所采用的神经网络模型的类型不同等原因，而导致了神经网络模型推理无法跨平台实现。即使是实现同一任务的神经网络模型推理，也有差异，无法跨平台实现，需要单独部署，使得神经网络在异构平台上的部署不方便，给神经网络的广泛应用带来障碍。
发明内容
有鉴于此，本发明实施例提供了一种用于神经网络模型推理跨平台的部署方法，该方法能够跨异构平台部署神经网络模型推理。
本发明实施还提供一种用于神经网络模型推理跨平台的部署架构，该架构能够跨异构平台部署神经网络模型推理。
本发明实施例是这样实现的：
一种用于神经网络模型推理跨平台的部署方法，所述方法包括：
对数据进行统一处理；
基于所加载的神经网络模型，确定神经网络模型推理，将统一处理后的数据输入到所述神经网络模型推理中；
根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；
输出得到神经网络模型推理的解析结果。
较佳地，所述对数据进行统一处理包括：
识别所述数据的数据类型；
为所述数据设置对应数据类型的数据类型标识。
较佳地，所述根据神经网络模型推理，调用神经网络模型推理中的适用于平台的对应算子包括：
识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子；
针对每一个待处理算子，访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子。
较佳地，所述识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子还包括：
识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有的一个待处理算子，与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同或不同；
针对每一个待处理算子，访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子还包括：
针对当前待处理算子，当与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同时，从所述算子库中提取相同待处理算子对应的，适用于平台的算子。
较佳地，所述在访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子之前，还包括：
获取待处理算子对应的，适用于平台的算子中的平台通用子算子；
设置待处理算子对应的，适用于平台的算子中的平台适配子算子；
将所获取的平台通用子算子与平台适配子算子结合，形成待处理算子对应的，适用于平台的算子；
将待处理算子对应的，适用于平台的算子存储到设置的算子库中。
一种用于神经网络模型推理跨平台的部署架构，包括：数据接口模块、推理模块及输出解析模块，其中，
所述数据接口模块，用于对数据进行统一处理后，输入到所述推理模块确定的神经网络模型推理中；
所述推理模块，用于基于所加载的神经网络模型，确定神经网络模型推理；根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；
所述输出解析模块，用于输出得到的神经网络模型推理的解析结果。
较佳地，所述数据接口模块中具有至少一个不同的数据类型子接口模块，用于识别所述数据的数据类型，为所述数据设置对应数据类型的数据类型标识。
较佳地，所述推理模块，包括公共接口及算子库，其中，
所述公共接口，用于识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子；针对每一个待处理算子，访问所述算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子，执行；
所述算子库，用于存储至少一个适用于平台的算子，接受所述公共接口的访问后，将待处理算子对应的，适用于平台的算子，提供给所述公共接口。
较佳地，所述公共接口，还用于识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有的一个待处理算子，与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同或不同；
所述公开接口，还用于针对当前待处理算子，当与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同时，从所述算子库中提取相同待处理算子对应的，适用于平台的算子。
所述算子库，还用于获取待处理算子对应的，适用于平台的算子中的平台通用子算子；设置待处理算子对应的，适用于平台的算子中的平台适配子算子；将所获取的平台通用子算子与平台适配子算子结合，形成待处理算子对应的，适用于平台的算子；将待处理算子对应的，适用于平台的算子进行存储。
如上所见，本发明实施例提供的部署方法中，首先对数据进行统一处理；然后基于所加载的神经网络模型，确定神经网络模型推理，将统一处理后的数据输入到所述神经网络模型推理中；再次，根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；最后，输出得到神经网络模型推理的解析结果。因此，本发明实施例在平台部署神经网络模型推理时，对神经网络模型推理进行了算子碎片化处理，而并不是直接将完整的神经网络模型推理进行部署，由于针对不同平台的神经网络模型推理中的相同算子可以被灵活使用，甚至是复用，所以实现了跨异构平台部署神经网络模型推理。
附图说明
图1为本发明实施例提供的一种用于神经网络模型推理跨平台的部署方法流程图；
图2为本发明实施例提供的一种用于神经网络模型推理跨平台的部署架构示意图；
图3为本发明实施例提供的神经网络模型的跨平台封装方法流程图；
图4为本发明实施例提供的神经网络模型的跨平台封装过程示意图；
图5为本发明实施例提供的用于神经网络模型推理跨平台的部署方法的具体示意图；
图6为本发明实施例提供的用于神经网络模型推理跨平台的部署方法的具体例子过程示意图；
图7为本发明实施例提供的统计当前场景下带口罩的男女比例任务的实现流程图；
图8为本发明实施例提供的采用针对不同平台加载不同的神经网络模型推理实现任务的过程示意图；
图9为本发明实施例提供的部署到不同平台的具有跨平台功能的神经网络模型推理实现任务的过程示意图；
图10为现有技术提供的人体检测功能部分在一平台上采用神经网络模型推理的实现过程示意图；
图11为本发明实施例提供的人体检测功能部分在跨平台的神经网络模型推理的实现过程示意图；
图12为本发明实施例提供的算子库中的算子构成示意图；
图13为本发明实施例提供的神经网络模型推理的跨平台编译方法流程图；
图14为本发明实施例提供的跨平台编译及部署的过程流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
本发明实施例为了实现跨异构平台部署神经网络模型推理，采用了一种用于神经网络模型推理的部署方法：首先对数据进行统一处理；然后基于所加载的神经网络模型，确定神经网络模型推理，将统一处理后的数据输入到所述神经网络模型推理中；；再次，根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；最后，输出得到神经网络模型推理的解析结果。
这样，本发明实施例在平台部署神经网络模型推理时，对神经网络模型推理进行了算子碎片化处理，而并不是直接将完整的神经网络模型推理进行部署，由于针对不同平台的神经网络模型推理中的相同算子可以被灵活使用，甚至是复用，所以节省了部署时间，且实现了神经网络模型推理跨平台的部署。
在本发明实施例中，将处理器架构不同的芯片支持的平台，简称为异构平台。更进一步地，一个平台还可以支持多个不同处理器架构，这里不限制。
在本发明实施例中，实现一任务的神经网络可以采用函数公式表示，比如表示为y＝f(x)，其中，函数f()就是神经网络模型，而f(x)的执行逻辑就是神经网络模型推理。对于异构平台，即使实现同一任务的神经网络，其得到的神经网络模型推理也是不同的。如果对于不同异构平台分别针对性部署不同的神经网络模型推理，则在部署上比较繁琐，且无法使得神经网络应用广泛。
因此，本发明实施例将要部署到异构平台上的神经网络模型推理进行算子碎片化，拆分为多个算子，这里的算子指的是神经网络模型中的每个神经推理节点的计算单元，比如在神经推理节点1进行卷积1计算的算子，在神经节点2进行卷积2计算的算子，在神经节点3进行池化计算的算子等等，当要执行神经网络模型推理时，则确定该神经网络模型推理所具有的多个待处理算子，从设置的算子库中调用这些待处理算子对应的，适用于平台的算子。
为了实现上述方案，本发明实施例提供的在异构平台上的神经网络模型推理的部署架构中，包括了公共接口及算子库，其中，公共接口具有该神经网络模型推理中的多个待处理算子，且可以调用算子库，获得这些待处理算子对应的，适用于平台的算子，而算子库中则具有可以应用于神经网络模型推理的，且适用于平台的算子，并接受公共接口的调用。
以下对本发明实施例进行详细说明。
图1为本发明实施例提供的一种用于神经网络模型推理跨平台的部署方法流程图，其具体步骤包括：
步骤101、对数据进行统一处理；
步骤102、基于所加载的神经网络模型，确定神经网络模型推理，将统一处理后的数据输入到所述神经网络模型推理中；
步骤103、根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；
步骤104、输出得到神经网络模型推理的解析结果。
在该方法中，步骤101中的对数据进行统一处理过程，与步骤102中的确定神经网络模型推理的过程，在执行上的顺序可以同时进行，也可以先后进行，或者先执行确定神经网络模型过程，再执行数据统一处理过程，这里不限定。
在该方法中，由于针对不同平台，神经网络模型推理的部署架构是相同的，所以对于不同类型的数据，在输入到神经网络模型推理中进行执行时，需要进行统一处理，以使得神经网络模型推理能够识别该数据。具体地说，所述对数据进行统一处理包括：
识别所述数据的数据类型；
为所述数据设置对应数据类型的数据类型标识。
也就是说，需要识别到所述数据是适用于CPU处理、GPU处理、TPU处理、MLU处理或ARM处理器处理，并在所述数据中增加对应的数据类型标识，以使得神经网络模型推理在执行时，根据数据类型标识确定要执行的数据。
在该方法中，对于不同平台，神经网络模型推理的实现是不同的，为了针对不同平台，使得神经网络模型推理的部署过程相同，所以将神经网络模型进行了算子碎片化。具体地说，所述根据神经网络模型推理，调用神经网络模型推理中的适用于平台的对应算子包括：识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子；针对每一个待处理算子，访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子。
在该方法中，所述识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子还包括：识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有的一个待处理算子，与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同或不同；针对每一个待处理算子，访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子还包括：针对当前待处理算子，当与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同时，从所述算子库中提取相同待处理算子对应的，适用于平台的算子。也就是说，对于同一神经网络模型推理中，所调用的对应的，适用于平台的算子可以是重复的，比如，同一神经网络模型推理中，在不同推理节点中都要实现卷积的算子执行，在这种情况下，在算子库中，仅仅可以存储实现该卷积的一个算子，在调用时重复调用，节省了部署时间。
在该方法中，所述在访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子之前，还包括：获取待处理算子对应的，适用于平台的算子中的平台通用子算子；设置待处理算子对应的，适用于平台的算子中的平台适配子算子；
将所获取的平台通用子算子与平台适配子算子结合，形成待处理算子对应的，适用于平台的算子；将待处理算子对应的，适用于平台的算子存储到设置的算子库中。也就说，在设置算子时，所述算子中至少包括算子的平台通用子算子及算子的平台适配子算子，将两者结合形成了一个完整的算子。在这种情况下，对于不同平台的神经网络模型推理，其需要的至少一个算子中大部分是各个平台可以通用的，小部分是各个平台不通用的。所以在设置算子时，就可以直接获取算子的平台通用子算子，而对算子的平台适配子算子进行编写后，整合为一个完整的算子，节省了算子的设置时间。
图2为本发明实施例提供的一种用于神经网络模型推理跨平台的部署架构示意图，针对每个不同的平台，神经网络模型推理的部署架构都是相同的，具体包括：数据接口模块、推理模块及输出解析模块，其中，
所述数据接口模块，用于对数据进行统一处理后，输入到所述推理模块确定的神经网络模型推理中；
所述推理模块，用于基于所加载的神经网络模型，确定神经网络模型推理；根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；
所述输出解析模块，用于输出得到的神经网络模型推理的解析结果。
在该部署架构中，所述数据接口模块中具有至少一个不同的数据类型子接口模块，用于识别所述数据的数据类型，为所述数据设置对应数据类型的数据类型标识。
在该部署架构中，所述推理模块，包括公共接口及算子库，其中，
所述公共接口，用于识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子；针对每一个待处理算子，访问所述算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子，执行；
所述算子库，用于存储至少一个适用于平台的算子，接受所述公共接口的访问后，将待处理算子对应的，适用于平台的算子，提供给所述公共接口。
在该部署架构中，所述公共接口，还用于识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有的一个待处理算子，与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同或不同；
所述公开接口，还用于针对当前待处理算子，当与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同时，从所述算子库中提取相同待处理算子对应的，适用于平台的算子。这样，所述神经网络模型推理中的推理节点具有的待处理算子中，有重复的待处理算子，可以节省部署时间。
在该部署架构中，所述算子库，还用于获取待处理算子对应的，适用于平台的算子中的平台通用子算子；设置待处理算子对应的，适用于平台的算子中的平台适配子算子；将所获取的平台通用子算子与平台适配子算子结合，形成待处理算子对应的，适用于平台的算子；将待处理算子对应的，适用于平台的算子进行存储。这样，所述算子中至少包括算子的平台通用子算子及算子的平台适配子算子，在设置算子时节省时间。
在本发明实施例中，在异构平台上部署神经网络模型推理时，需要获取神经网络模型，基于所获取的神经网络模型，确定所部署的神经网络模型推理。由于异构平台上所部署神经网络模型推理的架构相同，所以获取的神经网络模型的封装格式也需要统一。
图3为本发明实施例提供的神经网络模型的跨平台封装方法流程图，结合图4所示的神经网络模型的跨平台封装过程示意图进行说明，其具体步骤包括：
步骤301、将对应不同平台的神经网络模型转换为设定架构的前向模型；
在本步骤中，可以将采用pytorch生成的模型转换为caffe生成的caffemodel或ONNX模型；
步骤302、通过设定的模型转化工具将前向模型转化为在任一平台运行的模型文件；
步骤303、将模型文件进行封装；
在本步骤中，封装主要是将模型文件加上设定的数据头，包装成统一格式。
步骤304、将封装后的模型文件进行加密后，封装为神经网络模型。
在图3所述的方法中，步骤301可以缺省，缺省的条件是步骤302中提供的转换工具可以直接将对应不同平台的神经网络模型，转换为在任一平台运行的模型文件。
为了方便调用封装后的神经网络模型，还设置模型封装接口(在图4中没有提及)，，在本发明实施例的公共接口调用神经网络模型，形成神经网络模型推理时，可以通过设置的模型封装接口调用。在调用时，对神经网络模型进行解密，得到统一格式的神经网络模型文件。
在图3的步骤304中，对模型文件进行加密，保证了封装得到的神经网络模型的安全性，在后续调用时，进行解密调用即可。
神经网络模型推理在不同平台的部署本发明实施例的核心，其通过公共接口调用封装好的神经网络模型，在平台上确定神经网络模型推理所包括的待处理算子；通过公共接口得到统一处理后的数据，依次输入到神经网络模型推理中的待处理算子中执行，在执行每个待处理算子时，从平台底层设置的算子库调用适用于平台的对应算子执行。实现了数据在不同平台上实现神经网络模型推理过程时的无感。
在平台部署的神经网络模型推理接收数据执行之前，对数据进行统一处理。特别地，当数据是基于GPU架构的平台的数据时，还可以对数据进行预处理，具体设置图像处理单元，对数据进行图像处理加速后，再设置对应的数据类型标识。在这里，可以通过通用并行计算架构(CUDA)加速算子对数据进行图像处理加速。
图5为本发明实施例提供的用于神经网络模型推理跨平台的部署方法的具体示意图，结合图6所示的本发明实施例提供的用于神经网络模型推理跨平台的部署方法的具体例子过程示意图，进行详细说明：
步骤501、通过公共接口调用封装好的神经网络模型，在平台上确定神经网络模型推理所包括的待处理算子；
步骤502、接收到输入数据后，对数据进行统一处理，为数据设置对应的数据类型标识，提供给公共接口；
在本步骤中，输入数据可以是来自不同处理器架构的平台，可以是图片或视频等，根据输入数据的类型进行统一处理，比如当输入数据是基于GPU架构的平台的数据，对数据进行图像处理加速后，为数据设置对应的数据类型标识后，提供给公共接口；
步骤503、通过公共接口得到统一处理后的数据，依次输入到神经网络模型推理中的待处理算子中执行，在执行每个待处理算子时，从平台底层设置的算子库调用适用于平台的对应算子执行；
步骤504、执行完成后，对神经网络模型推理的结果进行输出。
举一个具体例子说明本发明实施例。
设置采用神经网络实现一个任务，比如任务为统计当前场景下带口罩的男女比例的任务，该任务可以被拆分为三个功能部分实现：人体检测功能部分、性别分类功能部分及计数功能部分实现，其中，将任务中的人体检测功能部分及性别分类功能部分采用神经网络模型推理实现，将任务中的计数功能部分由平台的应用层的逻辑运算功能实现。
图7为本发明实施例提供的统计当前场景下带口罩的男女比例任务的实现流程图，如图所示：
第一步骤、平台接收到输入数据，该数据为图像数据，对该数据进行统一处理后，输入到神经网络模型推理中；
第二步骤、神经网络模型推理得到统一处理后的数据，依次输入到神经网络模型推理中的待处理算子中执行，在执行每个待处理算子时，从平台底层设置的算子库调用适用于平台的对应算子执行，得到推理信息，所述推理信息包括某一人员的性别及是否带口罩的两个属性；
在本步骤中，该平台可以部署两个神经网络模型推理，一个是针对人体检测功能部分、另一个是性别分类功能部分的；
第三步骤，平台的应用层接收到推理信息，对带口罩的男性及带口罩的女性的推理信息进行计数后，计算得到带口罩的男女比例，作为输出信息进行输出。
在图7所述的过程中，任务中的人体检测部分及性别分类部分是由平台的硬核实现，而逻辑运算则在平台的应用层实现。
为了实现上述任务，如果采用针对不同平台加载不同的神经网络模型推理，如图8所示，图8为本发明实施例提供的采用针对不同平台加载不同的神经网络模型推理实现任务的过程示意图，则将任务拆分为多个功能部分，在第一平台采用第一神经网络模型推理实现任务中的主要功能部分，在第一平台的应用层完成任务中的简单功能部分；在第二平台采用第二神经网络模型推理实现任务中的主要功能部分，在第二平台的应用层完成任务中的简单功能部分。在这里，虽然第一神经网络模型推理和第二神经网络模型推理实现的是同一任务的主要功能部分，但是第一神经网络模型推理和第二神经网络模型推理是不相同的，无法在两个平台间移植，需要分别被部署。而第一平台的应用层和第二平台的应用层完成任务中的简单功能部分可以被复用。
在这里，当任务为统计当前场景下带口罩的男女比例的任务时，任务中的主要功能部分包括：人体检测功能部分和性别分类功能部分；任务中的简单功能部分包括：计数功能部分。假设任务中的每个功能部分需要一周的开发时间设置在平台上，则将这个任务设置在第一平台上和第二平台上时需要五周的开发时间。
如果采用针对不同平台部署具有跨平台功能的神经网络模型推理实现任务时，如图9所示，图9为本发明实施例提供的部署到不同平台的具有跨平台功能的神经网络模型推理实现任务的过程示意图：在第一平台中部署具有跨平台功能的神经网络模型推理和在第二平台部署具有跨平台功能的神经网络模型推理，当第一平台执行任务时，将经过统一处理的数据提供给所部署的神经网络模型推理，由神经网络模型推理得到统一处理后的数据，依次输入到神经网络模型推理中的待处理算子中执行，在执行每个待处理算子时，通过公共接口从平台底层设置的算子库调用适用于平台的对应算子执行，实现任务中的主要功能部分后，在第一平台的应用层完成任务中的简单功能部分；在第二平台执行任务时，将经过统一处理后的数据提供给所部署的神经网络模型推理，由神经网络模型推理得到统一处理后的数据，依次输入到神经网络模型推理中的待处理算子中执行，在执行每个待处理算子时，通过公共接口从平台底层设置的算子库调用适用于平台的对应算子执行，实现任务中的主要功能部分后，在第二平台的应用层完成任务中的简单功能部分。在这里，第一平台上的神经网络模型推理和第二平台上的神经网络模型推理虽然不同，但是由于对神经网络模型推理在公共接口进行了算子碎片化，所以第一平台上的神经网络模型推理中的多个待处理算子，及第二平台上的神经网络模型推理中的多个待处理算子有可能有部分相同，因此可以被复用；对于第一平台上的神经网络模型推理中的多个待处理算子也可能相同，可以被复用；对于第二平台上的神经网络模型推理中的多个待处理算子也可能相同，可以被复用。第一平台的应用层和第二平台的应用层完成任务中的简单功能部分可以被复用。
采用图9所示的过程实现任务，当开发了第一平台上的神经网络模型推理后，就可以将第一平台上的神经网络模型推理中的，与第二平台上的神经网络模型推理中的相同待处理算子直接进行应用，所以这个任务实现设置在第一平台上和第二平台上时需要三周的开发时间，这相比于图8所述的过程减少了开发时间。
这里以两个异构平台举例说明开发时间的减少及开发工作量的减少，在实际生产过程中，可能会涉及到更多的平台，本发明实施例提供的方案在跨平台的实现上更具有明显的优势。更近一步地，当采用神经网络模型推理实现的任务比较复杂，具有超过两个功能部分时，工作量会更加减少及会更加节省开发时间。
图10为现有技术提供的人体检测功能部分在一平台上采用神经网络模型推理的实现过程示意图，图11为本发明实施例提供的人体检测功能部分在跨平台的神经网络模型推理的实现过程示意图。如图10所示，现有技术在一平台上实现人体检测功能部分时，是将神经网络模型推理的整体部署到平台时进行执行，所以在开发阶段及后续的部署阶段，都需要针对每个平台分别进行，繁琐且浪费时间。如图11所示，本发明实施例在一平台上实现人体检测功能部分时，是将神经网络模型推理以算子粒度进行拆分，提供公共接口及算子库的架构，其中，公共接口中部署神经网络模型推理中的待处理算子，算子库中部署神经网络模型推理要应用的适用于平台的算子，当执行时，基于各个待处理算子调用算子库中的对应的，适用于平台算子进行执行即可，这样，对于不同平台来说，其部署的神经网络模型中的部分算子可以被复用，简单实现且节省时间。
进一步地，对于算子库中的同一算子，其包括了算子的平台通用子算子及算子的平台适配子算子，对于不同平台，算子的平台通用子算子可以通用，在开发时可以跨平台移植，而对于算子的平台适配子算子则无法通用，在开发是时可以独立设置。如图所示，图12为本发明实施例提供的算子库中的算子构成示意图，其中，算子库在神经网络模型推理部署到某个平台上，可以针对平台分别部署，部署的算子不同；而对于所有平台的算子库来说，其在设置算子时，算子的平台通用子算子可以共用，而算子的平台适配子算子则进行设置，两者最终结合形成算子。算子库中的算子是通过公共接口进行调用的，其公共接口的调用逻辑是由神经网络模型推理中的各个推理节点所要执行的待处理算子确定的。
在本发明实施例中，当开发了跨平台的神经网络模型推理后，就进行编译，部署到平台上，图13为本发明实施例提供的神经网络模型推理的跨平台编译方法流程图，其具体步骤包括：
步骤1301、获取神经网络模型推理；
步骤1302、将神经网络模型推理，进行编译，部署到一平台上。
在该方法中，部署到一平台的神经网络模型推理的架构包括了公共接口及算子库，其中，对于不同平台上部署的神经网络模型推理，如果是实现同一任务，其公共接口中的神经网络推理是相同的，但是，其算子库中的算子有可能是不同的。
在该方法中，所述神经网络模型推理部署到一平台上，就是将上述架构的神经网络模型推理封装到平台上。
所述方法的编译环境包括跨平台的编译环境及异构平台所属芯片的硬件环境。按照13所述的方法，就可以将神经网络模型推理部署到平台上了。为了实现图13的过程，需要一个跨平台的编译环境及异构平台所属芯片的硬件环境，为的是可以将实现跨平台的神经网络模型推理部署到某一异构平台上。其中，实现跨平台的神经网络模型推理需要依赖跨平台的编译环境即可完成编译，而神经网络模型及模型封装接口需要依赖所加载平台所属芯片的硬件环境进行编译，从而可以将统一的神经网络模型封装到生产的某个异构平台所属的芯片中，也就是对于不同处理器架构的平台所属芯片都封装经过了统一处理的神经网络模型。
在这里，跨平台的编译环境，提供了跨平台的编译优化，包括了加载平台的高性能计算库，编译优化手段包括：在计算图层面进行与计算、算子融合及内存优化等。
图14为本发明实施例提供的跨平台编译及部署的过程流程图，如图所示：
第一步骤，获得多平台的获取神经网络模型推理；
第二步骤，将多平台的获取神经网络模型推理进行编译，生成可执行文件；
第三步骤，获得多平台的神经网络模型及模型封装接口；
在本步骤中，与第一步骤和第二步骤是并列步骤，并不需要在第一步骤和第二步骤后顺序执行；
第四步骤，将多平台的神经网络模型及模型封装接口封装到所生产的芯片上，将生成的可执行文件加载到所生成的芯片的平台上。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种用于神经网络模型推理跨平台的部署方法，其特征在于，所述方法包括：
对数据进行统一处理；
基于所加载的神经网络模型，确定神经网络模型推理，将统一处理后的数据输入到所述神经网络模型推理中；
根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；
输出得到神经网络模型推理的解析结果。
2.如权利要求1所述的方法，其特征在于，所述对数据进行统一处理包括：
识别所述数据的数据类型；
为所述数据设置对应数据类型的数据类型标识。
3.如权利要求1所述的方法，其特征在于，所述根据神经网络模型推理，调用神经网络模型推理中的适用于平台的对应算子包括：
识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子；
针对每一个待处理算子，访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子。
4.如权利要求3所述的方法，其特征在于，所述识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子还包括：
识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有的一个待处理算子，与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同或不同；
针对每一个待处理算子，访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子还包括：
针对当前待处理算子，当与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同时，从所述算子库中提取相同待处理算子对应的，适用于平台的算子。
5.如权利要求1所述的方法，其特征在于，所述在访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子之前，还包括：
获取待处理算子对应的，适用于平台的算子中的平台通用子算子；
设置待处理算子对应的，适用于平台的算子中的平台适配子算子；
将所获取的平台通用子算子与平台适配子算子结合，形成待处理算子对应的，适用于平台的算子；
将待处理算子对应的，适用于平台的算子存储到设置的算子库中。
6.一种用于神经网络模型推理跨平台的部署架构，其特征在于，包括：数据接口模块、推理模块及输出解析模块，其中，
所述数据接口模块，用于对数据进行统一处理后，输入到所述推理模块确定的神经网络模型推理中；
所述推理模块，用于基于所加载的神经网络模型，确定神经网络模型推理；根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；
所述输出解析模块，用于输出得到的神经网络模型推理的解析结果。
7.如权利要求6所述的部署架构，其特征在于，所述数据接口模块中具有至少一个不同的数据类型子接口模块，用于识别所述数据的数据类型，为所述数据设置对应数据类型的数据类型标识。
8.如权利要求6所述的部署架构，其特征在于，所述推理模块，包括公共接口及算子库，其中，
所述公共接口，用于识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子；针对每一个待处理算子，访问所述算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子，执行；
所述算子库，用于存储至少一个适用于平台的算子，接受所述公共接口的访问后，将待处理算子对应的，适用于平台的算子，提供给所述公共接口。
9.如权利要求8所述的部署架构，其特征在于，所述公共接口，还用于识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有的一个待处理算子，与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同或不同；
所述公开接口，还用于针对当前待处理算子，当与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同时，从所述算子库中提取相同待处理算子对应的，适用于平台的算子。
10.如权利要求8所述的部署架构，其特征在于，所述算子库，还用于获取待处理算子对应的，适用于平台的算子中的平台通用子算子；设置待处理算子对应的，适用于平台的算子中的平台适配子算子；将所获取的平台通用子算子与平台适配子算子结合，形成待处理算子对应的，适用于平台的算子；将待处理算子对应的，适用于平台的算子进行存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011095515.6A CN112101529A (zh) | 2020-10-14 | 2020-10-14 | 一种用于神经网络模型推理跨平台的部署方法及架构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011095515.6A CN112101529A (zh) | 2020-10-14 | 2020-10-14 | 一种用于神经网络模型推理跨平台的部署方法及架构 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112101529A true CN112101529A (zh) | 2020-12-18 |
Family
ID=73783378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011095515.6A Pending CN112101529A (zh) | 2020-10-14 | 2020-10-14 | 一种用于神经网络模型推理跨平台的部署方法及架构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112101529A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883391A (zh) * | 2021-02-19 | 2021-06-01 | 广州橙行智动汽车科技有限公司 | 数据保护方法、装置以及电子设备 |
| CN112966825A (zh) * | 2021-04-13 | 2021-06-15 | 杭州欣禾圣世科技有限公司 | 基于python实现的多模型融合并行推理方法、装置及系统 |
| CN114707646A (zh) * | 2022-01-26 | 2022-07-05 | 电子科技大学 | 基于远程推理的分布式人工智能实践平台 |
| CN115600653A (zh) * | 2022-12-07 | 2023-01-13 | 荣耀终端有限公司（Cn） | 神经网络模型的部署方法及装置 |
| WO2023082644A1 (zh) * | 2021-11-15 | 2023-05-19 | 上海商汤智能科技有限公司 | 网络模型处理方法、装置、设备、存储介质及计算机程序产品 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107943945A (zh) * | 2017-11-24 | 2018-04-20 | 清华大学 | 一种大数据分析开发平台中异构算子管理方法 |
| CN109376844A (zh) * | 2018-10-30 | 2019-02-22 | 银河水滴科技（北京）有限公司 | 基于云平台和模型推荐的神经网络自动训练方法和装置 |
| US20190354851A1 (en) * | 2018-05-17 | 2019-11-21 | International Business Machines Corporation | Construction of a machine learning model for structured inputs |
| CN110674936A (zh) * | 2019-09-24 | 2020-01-10 | 上海寒武纪信息科技有限公司 | 一种神经网络处理方法、装置、计算机设备及存储介质 |
| CN110826708A (zh) * | 2019-09-24 | 2020-02-21 | 上海寒武纪信息科技有限公司 | 一种用多核处理器实现神经网络模型拆分方法及相关产品 |
| WO2020056647A1 (zh) * | 2018-09-19 | 2020-03-26 | 华为技术有限公司 | 一种ai模型的开发方法及装置 |
| CN111104954A (zh) * | 2018-10-26 | 2020-05-05 | 华为技术有限公司 | 一种对象分类的方法与装置 |
| CN111159095A (zh) * | 2020-01-02 | 2020-05-15 | 中国航空工业集团公司西安航空计算技术研究所 | 一种异构融合的嵌入式智能计算实现方法 |
| CN111367643A (zh) * | 2020-03-09 | 2020-07-03 | 北京易华录信息技术股份有限公司 | 一种算法调度系统、方法及装置 |
| CN111723935A (zh) * | 2020-06-24 | 2020-09-29 | 湖北亿咖通科技有限公司 | 神经网络计算图的处理方法、计算机存储介质及电子设备 |
| CN111753948A (zh) * | 2020-06-23 | 2020-10-09 | 展讯通信（上海）有限公司 | 模型处理方法及相关设备 |
-
2020
- 2020-10-14 CN CN202011095515.6A patent/CN112101529A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107943945A (zh) * | 2017-11-24 | 2018-04-20 | 清华大学 | 一种大数据分析开发平台中异构算子管理方法 |
| CN110502739A (zh) * | 2018-05-17 | 2019-11-26 | 国际商业机器公司 | 结构化输入的机器学习模型的构建 |
| US20190354851A1 (en) * | 2018-05-17 | 2019-11-21 | International Business Machines Corporation | Construction of a machine learning model for structured inputs |
| WO2020056647A1 (zh) * | 2018-09-19 | 2020-03-26 | 华为技术有限公司 | 一种ai模型的开发方法及装置 |
| CN111357014A (zh) * | 2018-09-19 | 2020-06-30 | 华为技术有限公司 | 一种ai模型的开发方法及装置 |
| CN111104954A (zh) * | 2018-10-26 | 2020-05-05 | 华为技术有限公司 | 一种对象分类的方法与装置 |
| CN109376844A (zh) * | 2018-10-30 | 2019-02-22 | 银河水滴科技（北京）有限公司 | 基于云平台和模型推荐的神经网络自动训练方法和装置 |
| CN110674936A (zh) * | 2019-09-24 | 2020-01-10 | 上海寒武纪信息科技有限公司 | 一种神经网络处理方法、装置、计算机设备及存储介质 |
| CN110826708A (zh) * | 2019-09-24 | 2020-02-21 | 上海寒武纪信息科技有限公司 | 一种用多核处理器实现神经网络模型拆分方法及相关产品 |
| CN111159095A (zh) * | 2020-01-02 | 2020-05-15 | 中国航空工业集团公司西安航空计算技术研究所 | 一种异构融合的嵌入式智能计算实现方法 |
| CN111367643A (zh) * | 2020-03-09 | 2020-07-03 | 北京易华录信息技术股份有限公司 | 一种算法调度系统、方法及装置 |
| CN111753948A (zh) * | 2020-06-23 | 2020-10-09 | 展讯通信（上海）有限公司 | 模型处理方法及相关设备 |
| CN111723935A (zh) * | 2020-06-24 | 2020-09-29 | 湖北亿咖通科技有限公司 | 神经网络计算图的处理方法、计算机存储介质及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 杨江平: "基于BWDSP平台的DNN模型计算与部署优化研究", 《中国优秀硕士学位论文电子期刊》, pages 33 - 69 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883391A (zh) * | 2021-02-19 | 2021-06-01 | 广州橙行智动汽车科技有限公司 | 数据保护方法、装置以及电子设备 |
| CN112966825A (zh) * | 2021-04-13 | 2021-06-15 | 杭州欣禾圣世科技有限公司 | 基于python实现的多模型融合并行推理方法、装置及系统 |
| WO2023082644A1 (zh) * | 2021-11-15 | 2023-05-19 | 上海商汤智能科技有限公司 | 网络模型处理方法、装置、设备、存储介质及计算机程序产品 |
| CN114707646A (zh) * | 2022-01-26 | 2022-07-05 | 电子科技大学 | 基于远程推理的分布式人工智能实践平台 |
| CN114707646B (zh) * | 2022-01-26 | 2023-06-02 | 电子科技大学 | 基于远程推理的分布式人工智能实践平台 |
| CN115600653A (zh) * | 2022-12-07 | 2023-01-13 | 荣耀终端有限公司（Cn） | 神经网络模型的部署方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112101529A (zh) | 一种用于神经网络模型推理跨平台的部署方法及架构 | |
| US10157045B2 (en) | Systems and methods for automatically generating code for deep learning systems | |
| EP3403221B1 (en) | Systems and methods for automatically generating code for deep learning systems | |
| US11763155B2 (en) | Using sub-networks created from neural networks for processing color images | |
| EP1605350A2 (en) | Signal processing apparatus and method thereof | |
| EP4083973A1 (en) | Conversion device for secure computation, secure computation system, conversion method for secure computation, and conversion program for secure computation | |
| CN111753948A (zh) | 模型处理方法及相关设备 | |
| CN111104120A (zh) | 神经网络编译方法、系统及相应异构计算平台 | |
| CN114168154B (zh) | 模型数据处理方法、装置、电子设备及存储介质 | |
| US20220019843A1 (en) | Efficient refinement neural network for real-time generic object-detection systems and methods | |
| CN110750298B (zh) | 一种ai模型编译方法、设备及存储介质 | |
| CN112783506B (zh) | 一种模型运行方法及相关装置 | |
| WO2022041015A1 (zh) | 神经网络模型优化方法及装置 | |
| CN110580527B (zh) | 通用机器学习模型的生成方法、装置和存储介质 | |
| CN112433722A (zh) | 模块化系统代码开发方法、装置、设备及系统 | |
| CN112070213A (zh) | 神经网络模型的优化方法、装置、设备及存储介质 | |
| CN114692860A (zh) | 一种计算图的节点融合方法及设备 | |
| CN115115048A (zh) | 模型转换方法、装置、计算机设备及存储介质 | |
| CN115576699A (zh) | 数据处理方法、装置、ai芯片、电子设备及存储介质 | |
| CN111831285B (zh) | 一种面向内存计算平台的代码转换方法、系统及应用 | |
| EP2988268A1 (en) | Rendergraph compilation method and use thereof for low-latency execution | |
| EP0692115B1 (en) | System for conversion of loop functions to continuation-passing style | |
| JP2010049439A (ja) | ソフトウェアモデルを用いたシステム構築方法およびモデリング装置 | |
| KR102296644B1 (ko) | 단일 이미지 상에서 기 설정된 속성을 제거하여 무잡음 영상을 생성하기 위한 장치 및 이를 위한 방법 | |
| CN114897130A (zh) | 一种深度学习模型的转换和推断方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |