CN113159290B - 一种神经网络模型网络推理的优化方法 - Google Patents

一种神经网络模型网络推理的优化方法 Download PDF

Info

Publication number
CN113159290B
CN113159290B CN202110453868.7A CN202110453868A CN113159290B CN 113159290 B CN113159290 B CN 113159290B CN 202110453868 A CN202110453868 A CN 202110453868A CN 113159290 B CN113159290 B CN 113159290B
Authority
CN
China
Prior art keywords
network
neural network
network model
preprocessing
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110453868.7A
Other languages
English (en)
Other versions
CN113159290A (zh
Inventor
邢园园
肖偌舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Benyuan Microelectronics Co ltd
Original Assignee
Qingdao Benyuan Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Benyuan Microelectronics Co ltd filed Critical Qingdao Benyuan Microelectronics Co ltd
Priority to CN202110453868.7A priority Critical patent/CN113159290B/zh
Publication of CN113159290A publication Critical patent/CN113159290A/zh
Application granted granted Critical
Publication of CN113159290B publication Critical patent/CN113159290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种神经网络模型网络推理的优化方法，包括：基于网络的输入数据确定预处理函数类型及参数；解析神经网络模型的网络结构，得到第一层网络节点的网络类型及参数；将预处理函数与神经网络模型中的第一层网络节点融合为新的网络节点。本发明在确定输入数据的预处理函数、神经网络模型的第一层网络节点数据后，将预处理函数优化到神经网络模型的第一层网络节点中，改变原有第一层网络节点的参数，从而将预处理函数融合到神经网络模型中，在不增加申请网络模型计算量的前提下，将神经网络输入数据预处理从通用处理器移植到人工智能处理器上完成，保证推理质量的前提下，优化了神经网络模型的网络推理效率。

Description

一种神经网络模型网络推理的优化方法
技术领域
本发明属于计算机技术领域，具体地说，是涉及一种神经网络模型网络推理的优化方法。
背景技术
在人工智能处理器运行神经网络模型前，通常需要在通用处理器上完成输入数据的预处理，然后将预处理之后的数据输入到神经网络模型进行推理。
相较于通用处理器，人工智能处理器具有多核并行计算、较高访存能力等优点，因此，如何将输入数据预处理模块放在人工智能处理器上完成，提高神经网络运行性能，成为神经网络模型运行优化的关键。。
发明内容
本发明的目的在于提供一种神经网络模型网络推理的优化方法，在不增加申请网络模型计算量的前提下，将神经网络输入数据预处理从通用处理器移植到人工智能处理器上完成，从而提升神经网络运行性能。
本发明采用以下技术方案予以实现：
提出一种神经网络模型网络推理的优化方法，包括：基于网络的输入数据确定预处理函数类型及参数；解析神经网络模型的网络结构，得到第一层网络节点的网络类型及参数；将预处理函数与神经网络模型中的第一层网络节点融合为新的网络节点。
进一步的，所述方法还包括：基于原网络节点类型设定新的网络节点类型。
进一步的，将预处理函数与神经网络模型中的第一层网络节点优化为新的网络节点，具体包括：
将预处理函数y＝kp1*x+kp2根据网络类型y＝kn1*x+kn2优化为y＝k1x+k2，其中k1＝kn1*kp1，k2＝kn1*kp2+kn2，kn1，kn2是预处理函数的参数，kp1，kp2是网络节点的参数。
与现有技术相比，本发明的优点和积极效果是：本发明提出的神经网络模型网络推理的优化方法中，在确定输入数据的预处理函数、神经网络模型的第一层网络节点数据后，将预处理函数优化到神经网络模型的第一层网络节点中，改变原有第一层网络节点的参数，从而将预处理函数融合到神经网络模型中，在不增加申请网络模型计算量的前提下，将神经网络输入数据预处理从通用处理器移植到人工智能处理器上完成，保证推理质量的前提下，优化了神经网络模型的网络推理效率。
结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。
附图说明
图1为本发明提出的神经网络模型网络推理的优化方法流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细的说明。
本发明提出的神经网络模型网络推理的优化方法，如图1所示，包括如下步骤：
步骤S11：基于网络的输入数据确定预处理函数类型及参数。
获取神经网络的输入数据，根据输入数据确定预处理函数类型以及参数。
在本发明实施例中，预处理函数表示为：y＝kp1*x+kp2，kp1，kp2是预处理函数的参数：
kp1＝1，kp2＝b时，预处理函数为平移函数；
kp1＝a，kp2＝0时，预处理函数为缩放函数；
kp1＝a，kp2＝b时，预处理函数为归一化函数；
上述，a表示缩放量，b表示平移量。
步骤S12：解析神经网络模型的网络结构，得到第一层网络节点的网络类型及参数。
解析神经网络模型的网络结构，得到各个节点的网络类型及参数，确定第一层网络节点的网络类型及参数。
在本发明实施例中，网络类型表示为：y＝kn1*x+kn2，kn1，kn2是网络节点的参数。
kn1＝W，kn2＝b时，网络类型为卷积层，W是权重，b是网络的偏移，X、W、Y均表示一个向量。
Figure BDA0003039861290000031
时，网络类型为Batch Norm层，μ表示累计计算的均值，σ表示累计计算的标准差。
kn1＝γ，kn2＝β时，网络类型为Scale层，γ表示缩放量，β表示平移量。
步骤S13：将预处理函数与神经网络模型中的第一层网络节点融合为新的网络节点。
本发明通过融合方式，将预处理函数与神经网络模型的第一层网络节点进行融合，从而将输入数据的预处理函数融合到神经网络模型中，从而将数据预处理从通用处理器移植到人工智能处理上完成，以此实现网络推理的优化。
具体的融合过程中，基于不改变原有网络类型只改变节点参数的思路，也即，根据原网络节点类型设定新的网络节点类型，在参数上，将预处理函数的参数与第一层网络节点的参数进行融合，具体的融合方式采用线性或非线性方式均可。
在本发明一个具体实施例中，采用以下方式融合：
将预处理函数y＝kp1*x+kp2根据网络类型y＝kn1*x+kn2优化为y＝k1x+k2，其中k1＝kn1*kp1，k2＝kn1*kp2+kn2。
步骤S14：删除原有的第一层网络节点。
相比现有的在优化前获取输入数据，在通用处理器上进行输入数据的预处理，在人工智能处理上进行网络推理的方式，上述本发明提出的神经网络模型网络推理的优化方法，通过上述步骤S11至S14将输入数据预处理过程从通用处理器上移到人工智能处理上完成，使得输入数据预处理在网络推理时完成，实现网络推理过程的优化。
需要说明的是，在具体实现过程中，上述的优化方法可以通过硬件形式的处理器执行存储器中存储的软件形式的计算机执行指令实现，此处不予赘述，而上述优化的动作所对应的程序均可以以软件形式存储于系统的计算机可读存储介质中，以便于处理器调用执行以上各个模块对应的操作。
上文中的计算机可读存储介质可以包括易失性存储器，例如随机存取存储器；也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；还可以包括上述种类的存储器的组合。
上文所提到的处理器，也可以是多个处理元件的统称。例如，处理器可以为中央处理器，也可以为其他通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者可以是任何常规的处理器等等，还可以为专用处理器。
应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (2)

1.一种神经网络模型网络推理的优化方法，其特征在于，包括：
基于网络的输入数据确定预处理函数类型及参数；
解析神经网络模型的网络结构，得到第一层网络节点的网络类型及参数；
将预处理函数与神经网络模型中的第一层网络节点融合为新的网络节点，从而将神经网络输入数据预处理从通用处理器移植到人工智能处理器上完成；
其中，将预处理函数与神经网络模型中的第一层网络节点优化为新的网络节点，具体包括：
将预处理函数
Figure DEST_PATH_IMAGE002
根据网络类型
Figure DEST_PATH_IMAGE004
优化为
Figure DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE008
是预处理函数的参数，
Figure DEST_PATH_IMAGE010
是网络节点的参数。
2.根据权利要求1所述的神经网络模型网络推理的优化方法，其特征在于，所述方法还包括：
基于原网络节点类型设定新的网络节点类型。
CN202110453868.7A 2021-04-26 2021-04-26 一种神经网络模型网络推理的优化方法 Active CN113159290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110453868.7A CN113159290B (zh) 2021-04-26 2021-04-26 一种神经网络模型网络推理的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110453868.7A CN113159290B (zh) 2021-04-26 2021-04-26 一种神经网络模型网络推理的优化方法

Publications (2)

Publication Number Publication Date
CN113159290A CN113159290A (zh) 2021-07-23
CN113159290B true CN113159290B (zh) 2022-08-09

Family

ID=76870871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110453868.7A Active CN113159290B (zh) 2021-04-26 2021-04-26 一种神经网络模型网络推理的优化方法

Country Status (1)

Country Link
CN (1) CN113159290B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683445A (zh) * 2015-01-26 2015-06-03 北京邮电大学 分布式实时数据融合系统
CN105893159A (zh) * 2016-06-21 2016-08-24 北京百度网讯科技有限公司 数据处理方法和装置
CN111338695A (zh) * 2018-12-19 2020-06-26 中科寒武纪科技股份有限公司 基于流水线技术的数据处理方法及相关产品
CN111626430A (zh) * 2019-04-18 2020-09-04 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
CN112529166A (zh) * 2020-12-25 2021-03-19 中国科学院西安光学精密机械研究所 融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102606825B1 (ko) * 2017-09-13 2023-11-27 삼성전자주식회사 뉴럴 네트워크 모델을 변형하는 뉴럴 네트워크 시스템, 이를 포함하는 어플리케이션 프로세서 및 뉴럴 네트워크 시스템의 동작방법
US11176421B2 (en) * 2019-06-03 2021-11-16 Wipro Limited System and method for implementing neural network models on edge devices in IoT networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683445A (zh) * 2015-01-26 2015-06-03 北京邮电大学 分布式实时数据融合系统
CN105893159A (zh) * 2016-06-21 2016-08-24 北京百度网讯科技有限公司 数据处理方法和装置
CN111338695A (zh) * 2018-12-19 2020-06-26 中科寒武纪科技股份有限公司 基于流水线技术的数据处理方法及相关产品
CN111626430A (zh) * 2019-04-18 2020-09-04 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
CN112529166A (zh) * 2020-12-25 2021-03-19 中国科学院西安光学精密机械研究所 融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备

Also Published As

Publication number Publication date
CN113159290A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US20220076123A1 (en) Neural network optimization method, electronic device and processor
US11928599B2 (en) Method and device for model compression of neural network
WO2023098544A1 (zh) 基于局部稀疏约束的结构化剪枝方法和装置
CN113313247B (zh) 基于数据流架构的稀疏神经网络的运算方法
CN111967271A (zh) 分析结果的生成方法、装置、设备及可读存储介质
CN112100450A (zh) 一种图计算数据分割方法、终端设备及存储介质
CN110874634A (zh) 神经网络的优化方法及装置、设备和存储介质
US20240119110A1 (en) Method, apparatus, electronic device and computer-readablestorage medium for computational flow graph schedulingscheme generation
CN111831354A (zh) 数据精度配置方法、装置、芯片、芯片阵列、设备及介质
CN113886092A (zh) 一种计算图执行方法、装置及相关设备
CN113159290B (zh) 一种神经网络模型网络推理的优化方法
CN114493856A (zh) 用于处理数据的方法、系统、装置和介质
CN117609952A (zh) 一种Transformer网络的算子融合方法、装置及板卡
CN114168386A (zh) 一种平台数据分级容灾方法、系统、存储介质及终端
CN116681127B (zh) 一种神经网络模型训练方法、装置及电子设备和存储介质
CN112766397A (zh) 一种分类网络及其实现方法和装置
WO2024060852A1 (zh) 一种模型的所有权验证方法、装置、存储介质及电子设备
JPWO2018135516A1 (ja) ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラム
WO2024011859A1 (zh) 一种基于神经网络的人脸检测方法和装置
CN109784481B (zh) 一种基于神经网络的调整方法、装置及设备
WO2020062277A1 (zh) 神经网络中数据预处理阶段的计算资源的管理方法和装置
WO2019134084A1 (zh) 代码执行方法、装置、终端设备及计算机可读存储介质
CN113177632A (zh) 一种基于流水线并行的模型训练方法、装置以及设备
CN116663516B (zh) 表格机器学习模型训练方法、装置、电子设备及存储介质
CN113011565A (zh) 一种神经网络模型激活函数的优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant