CN112363844B - 一种面向图像处理的卷积神经网络垂直分割方法 - Google Patents
一种面向图像处理的卷积神经网络垂直分割方法 Download PDFInfo
- Publication number
- CN112363844B CN112363844B CN202110037236.2A CN202110037236A CN112363844B CN 112363844 B CN112363844 B CN 112363844B CN 202110037236 A CN202110037236 A CN 202110037236A CN 112363844 B CN112363844 B CN 112363844B
- Authority
- CN
- China
- Prior art keywords
- sub
- layer
- feature map
- feature
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向图像处理的卷积神经网络垂直分割方法,属于深度学习以及分布式计算领域。该方法首先将连续卷积层最后一层的输入特征图分割为连续的子特征图,再根据子特征图,并依据卷积计算操作,反向逐层计算上一层对应的子特征图,直至第一层,参考第一层的子特征图,对第一层的输入特征图进行分割,将第一层分割后的子特征图分配给多个计算节点。最后,依据单链路连续卷积层的参数和超参数,实施无精度损失的分布式协同推理,并在所有推理结果生成后进行推理结果的汇总,生成最终的输出特征图。相比于过往方法,本发明的方法具有大幅度降低卷积神经网络推理时延并且没有精度损失的特点。
Description
技术领域
本发明涉及深度学习以及分布式计算领域,具体涉及一种面向图像处理的卷积神经网络垂直分割方法。
背景技术
随着计算机硬件的发展,应用数据量的激增,深度学习模型的能力得以逐渐释放。深度学习模型处理数据后所取得的结果准确性高,因此它被广泛应用于各类数据处理程序中。在这些数据处理程序中值得一提的是图像处理程序。其中所采用的卷积神经网络,大幅度地提高了图像处理的准确度,使得高精度的影像识别、视频分析等程序成为可能。但卷积神经网络当中的卷积层所需要的卷积运算需要大量的算力,在一些资源受限的计算节点中,卷积层推理成为整个推理过程的瓶颈。
鉴于此,现有技术考虑采用分布式计算的模型,并行地处理卷积层的输入特征图。目前流行的技术主要采用通道分割和空间分割两种方式。通道分割把每一个卷积层的输入特征图的通道分割为多个子通道,对每个子通道进行卷积运算。空间分割把每一个卷积层的输入特征图在二维平面上分割为多个子特征图,并对每个子特征图进行卷积运算。
然而现有技术存在如下问题:
1.当前通道分割方法在对每个子通道进行卷积运算后,存在一个结果拼接过程,拼接后的结果再作为下一个卷积层的输入特征图,该方法存在大量的数据传输冗余,且结果的多次拼接过程造成了不必要的计算开销。
2.现有空间分割方法没有充分考虑输入特征图填充过程,存在精度损失,造成模型推理结果不准确。
3.现有空间分割方法没有正确考虑卷积运算的反向推导过程,导致单链路上的连续卷积层的子特征图对应关系不准确,存在精度损失,造成模型推理结果不准确。
发明内容
本发明的目的在于针对现有技术的不足,提供了一种面向图像处理的卷积神经网络垂直分割方法,该方法对于资源受限的计算节点,提供一种分布式并行处理连续卷积层的方法;通过考虑输入特征图填充过程,准确计算卷积运算的反向推导,提供一种无精度损失的并行处理方法;取消特征图分割处理后的结果融合过程,减少数据传输冗余和结果拼接开销的并行处理方法。
本发明的目的是通过以下技术方案来实现的:一种面向图像处理的卷积神经网络垂直分割方法,包括以下步骤:
(1)对于图像处理中的卷积神经网络上的连续卷积层,领导者节点获取每一个卷积层的参数和超参数、卷积层之间的池化层的超参数、卷积层之间的批标准化层和线性整流函数层的超参数,所述领导者节点将上述参数和超参数以多播通信形式分发给计算节点;
(2)获取连续卷积层中的最后一层卷积层的输入特征图,并将其分割为连续的子特征图,并为所有子特征图标注坐标;
(3)根据每个子特征图的坐标和每个卷积层或池化层的超参数,反推上一层对应的子特征图的坐标,直至获得第一个卷积层的子特征图的坐标;
(4)依据步骤(3)获得的第一个卷积层的子特征图的坐标,对第一层的输入特征图进行分割,并将分割后的第一层的子特征图分配给步骤(1)中的计算节点;
(5)每个计算节点根据连续的卷积层、卷积层之间的池化层、卷积层之间的批标准化层和线性整流函数层的参数和超参数,对分配给该计算节点的子特征图,进行无精度损失的推理;
(6)当所有计算节点均产生最后一个卷积层的输出子特征图后,领导者节点对所有的输出子特征图进行汇总,生成最终的输出特征图。
进一步地,所述领导者节点通过以下方式获得:对于资源受限的计算节点,当其被分配图像处理中的卷积神经网络推理任务之后,通过多播通信形式,向计算节点发送所述资源受限的计算节点成为领导者节点的通知。
进一步地,步骤(2)包括如下子步骤:
(2.1)获取连续卷积层中的最后一层卷积层的输入特征图,根据计算节点的数量,将最后一层卷积层的输入特征图分割为与计算节点数量相同的子特征图;
(2.3)依据原特征图中各像素点的坐标,对子特征图的左上角和右下角进行坐标标注。
进一步地,步骤(3)中反推的方法为卷积过程的逆过程,所述卷积过程包括输入特征图填充和卷积计算。
进一步地,步骤(6)包括如下子步骤:
(6.1)领导者节点监听计算各计算节点的推理情况,当所有计算节点均产生最后一个卷积层的输出子特征图后,该领导者节点发送收集子特征图指令,各计算节点收到指令后,将子特征图发送给领导者节点;
(6.2)领导者节点收到所述各个子特征图后,将子特征图的坐标进行汇总,生成最终的输出特征图。
与现有技术相比,本发明具有如下有益效果:单链路连续卷积层的推理过程需要大量的计算资源,采用对输入特征图分割后分布式并行处理的方法,能够有效缓解性能瓶颈,加速推理过程;在分布式并行推理过程中,每个计算节点使用被分配的子输入特征图进行推理,在整个单链路连续卷积层的推理过程不需要交换任何中间计算结果,减缓了通信开销;在计算单链路连续卷积层第一层的输入特征图分割坐标时,充分考虑了卷积运算过程和特征图填充过程,使得分布式并行运算结果汇总后的结果和单节点推理后所产生的运算结果相同,整个运算过程没有对特征图进行剪枝或压缩,因而没有精度损失。
附图说明
图1为本发明方法的流程图。
图2为本发明方法中计算第一个卷积层的输入子特征图坐标的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加明白清楚,结合附图和实施例, 对本发明进一步的详细说明,应当理解,此处所描述的具体实施例仅仅用以解释本发明,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人 员在没有做出创造性劳动前提下所获得的所有其他实施例,均在本发明保护范围。
如图1所示,本发明所提供的一种面向图像处理的卷积神经网络垂直分割方法,包含以下步骤:
(1)对于图像处理中的卷积神经网络上的连续卷积层,领导者节点获取每一个卷积层的参数和超参数、卷积层之间的池化层的超参数、卷积层之间的批标准化层和线性整流函数层的超参数,所述领导者节点将上述参数和超参数以多播通信形式分发给计算节点;所述卷积神经网络包括单链路卷积神经网络和多链路卷积神经网络,对于多链路卷积神经网络,所述领导者节点将其中的每一条单链路卷积神经网络单独进行所述参数与超参数的获取和分发操作。
(1.1)对于一个资源受限的计算节点,当其被分配了一个图像处理中的卷积神经网络推理任务之后,该资源受限的计算节点为了加速推理过程,通过多播通信形式,向计算节点发送该资源受限的计算节点成为一个领导者节点的通知。
(1.2)领导者节点根据推理时延需求,依据各个卷积层的处理时间,挑选出需要分布式协同推理的单链路连续卷积层。该领导节点收集单链路连续卷积层中每一个卷积层的参数和超参数、卷积层之间的池化层的超参数、卷积层之间的批标准化层和线性整流函数层的超参数,并将这些信息以如下表1数据格式通过分布式系统网络,以多播通信形式分发给分布式系统中的计算节点。
表1.模型层的参数格式
(2)获取连续卷积层中的最后一层卷积层的输入特征图,并将其分割为连续的子特征图,并为所有子特征图标注坐标;包括如下子步骤:
(2.1)获取连续卷积层中的最后一层卷积层的输入特征图,根据计算节点的数量,将最后一层卷积层的输入特征图分割为与计算节点数量相同的子特征图;
(2.2)对于上述子特征图所在的输入特征图,以左上角为原点(0,0), 以输入特征图的上边为x轴,以左边为y轴,建立二维笛卡尔坐标系,原输入特征图中的每个像素点占一个坐标。
(2.3)依据原特征图中各像素点的坐标,对子特征图的左上角和右下角进行坐标标注。
具体地,如图2所示,将模型层ID为3的最后一层的大小为的输入特征图沿x轴和y轴,分割为2×2个子特征图,其中的结果为分布式系统内计算节点的数量,即分布式系统内有4个计算节点。使用子特征图的左上角和右下角坐标来标定一个子特征图,表示为且,其中(a,b)坐标定位了一个子特征图,a为横坐标,b为纵坐标;为一个子特征图的左上角像素点在原输入特征图中的坐标,为一个子特征图的右下角像素点在原输入特征图中的坐标。把位于原输入特征图左上角的子特征图标定为。
(3)根据每个子特征图的坐标和每个卷积层或池化层的超参数,反推上一层对应的子特征图的坐标,直至获得第一个卷积层的子特征图的坐标;如图2所示,包括如下子步骤:
表2:ID为2的卷积层或池化层的参数
(3.4)ID为2的模型层的上一层不是卷积层或池化层,则继续获取上一层模型的类型。
(3.5)领导者节点从ID为3的最后一个卷积层的子特征图开始,重复步骤(3.2)、(3.3),逐层反向推算上一卷积层或池化层的输入子特征图坐标,直到获得这几个卷积层中的第一个卷积层的子特征图的坐标。
(4)依据步骤(3)获得的第一个卷积层的子特征图的坐标,对第一层的输入特征图进行分割,并将分割后的第一层的子特征图分配给步骤一中的计算节点;包括以下子步骤:
(4.2)领导者节点将这些子特征图分配给A×B个计算节点。
(5)每个计算节点根据连续的卷积层、卷积层之间的池化层、卷积层之间的批标准化层和线性整流函数层的参数和超参数,对分配给该计算节点的子特征图,进行无精度损失的推理,具体过程为:A×B个计算节点分别以被分配的子特征图为输入,通过步骤(1)中获得的卷积层、卷积层之间的池化层、卷积层之间的批标准化层和线性整流函数层,计算出ID为的模型层的子特征图。
(6)当所有计算节点均产生最后一个卷积层的输出子特征图后,领导者节点对所有的输出子特征图进行汇总,生成最终的输出特征图;包括以下子步骤:
(6.1)领导者节点监听分布式系统内各计算节点的推理情况,当所有计算节点均产生最后一个卷积层的输出子特征图后,该领导者节发送一个收集子特征图指令,各计算节点收到指令后,将推理产生的ID为的模型层的子特征图发送给领导者节点,所述发送内容包括该子特征图的参数和坐标。
通过对比现在被广泛应用的Inception v4卷积神经网络的分割,本发明的分割方法在降低推理时延的同时降保证了没有精度损失,这是由于本发明中的分布式并行运算结果汇总后的结果和单节点推理后所产生的运算结果相同,整个运算过程没有对特征图进行剪枝或压缩,且对特征图采取的运算过程完全是原卷积神经网络的运算或其逆运算,因而没有精度损失。在拥有4个计算节点的分布式系统中,与Inception v4卷积神经网络的推理比较,时延降低为原来的27.3%。
Claims (4)
1.一种面向图像处理的卷积神经网络垂直分割方法,其特征在于,包括以下步骤:
(1)对于图像处理中的卷积神经网络上的连续卷积层,领导者节点获取每一个卷积层的参数和超参数、卷积层之间的池化层的超参数、卷积层之间的批标准化层和线性整流函数层的超参数,所述领导者节点将上述参数和超参数以多播通信形式分发给计算节点;
(2)获取连续卷积层中的最后一层卷积层的输入特征图,并将其分割为连续的子特征图,并为所有子特征图标注坐标;具体包括如下子步骤:
(2.1)获取连续卷积层中的最后一层卷积层的输入特征图,根据计算节点的数量,将最后一层卷积层的输入特征图分割为与计算节点数量相同的子特征图;
(2.3)依据原特征图中各像素点的坐标,对子特征图的左上角和右下角进行坐标标注;
(3)根据每个子特征图的坐标和每个卷积层或池化层的超参数,反推上一层对应的子特征图的坐标,直至获得第一个卷积层的子特征图的坐标;
(4)依据步骤(3)获得的第一个卷积层的子特征图的坐标,对第一层的输入特征图进行分割,并将分割后的第一层的子特征图分配给步骤(1)中的计算节点;
(5)每个计算节点根据连续的卷积层、卷积层之间的池化层、卷积层之间的批标准化层和线性整流函数层的参数和超参数,对分配给该计算节点的子特征图,进行无精度损失的推理;
(6)当所有计算节点均产生最后一个卷积层的输出子特征图后,领导者节点对所有的输出子特征图进行汇总,生成最终的输出特征图。
2.根据权利要求1所述面向图像处理的卷积神经网络垂直分割方法,其特征在于,所述领导者节点通过以下方式获得:对于资源受限的计算节点,当其被分配图像处理中的卷积神经网络推理任务之后,通过多播通信形式,向计算节点发送所述资源受限的计算节点成为领导者节点的通知。
3.根据权利要求1所述面向图像处理的卷积神经网络垂直分割方法,其特征在于,步骤(3)中反推的方法为卷积过程的逆过程,所述卷积过程包括输入特征图填充和卷积计算。
4.根据权利要求1所述面向图像处理的卷积神经网络垂直分割方法,其特征在于,步骤(6)包括如下子步骤:
(6.1)领导者节点监听计算各计算节点的推理情况,当所有计算节点均产生最后一个卷积层的输出子特征图后,该领导者节点发送收集子特征图指令,各计算节点收到指令后,将子特征图发送给领导者节点;
(6.2)领导者节点收到各个子特征图后,将子特征图的坐标进行汇总,生成最终的输出特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110037236.2A CN112363844B (zh) | 2021-01-12 | 2021-01-12 | 一种面向图像处理的卷积神经网络垂直分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110037236.2A CN112363844B (zh) | 2021-01-12 | 2021-01-12 | 一种面向图像处理的卷积神经网络垂直分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112363844A CN112363844A (zh) | 2021-02-12 |
CN112363844B true CN112363844B (zh) | 2021-04-09 |
Family
ID=74534808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110037236.2A Active CN112363844B (zh) | 2021-01-12 | 2021-01-12 | 一种面向图像处理的卷积神经网络垂直分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112363844B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113312183B (zh) * | 2021-07-30 | 2021-12-21 | 北京航空航天大学杭州创新研究院 | 面向深度神经网络的边缘计算方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107292892A (zh) * | 2017-06-23 | 2017-10-24 | 北京奇艺世纪科技有限公司 | 视频帧图像的分割方法及装置 |
CN107423760A (zh) * | 2017-07-21 | 2017-12-01 | 西安电子科技大学 | 基于预分割和回归的深度学习目标检测方法 |
CN111145196A (zh) * | 2019-12-11 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置及服务器 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679539B (zh) * | 2017-09-18 | 2019-12-10 | 浙江大学 | 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法 |
US10979622B2 (en) * | 2018-09-19 | 2021-04-13 | Avigilon Corporation | Method and system for performing object detection using a convolutional neural network |
CN111831254A (zh) * | 2019-04-15 | 2020-10-27 | 阿里巴巴集团控股有限公司 | 图像处理加速方法、图像处理模型存储方法及对应装置 |
CN111656359A (zh) * | 2019-05-22 | 2020-09-11 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、终端、系统以及计算机可读存储介质 |
CN110717583B (zh) * | 2019-09-30 | 2020-08-25 | 上海寒武纪信息科技有限公司 | 卷积电路、处理器、芯片、板卡和电子设备 |
CN110825900A (zh) * | 2019-11-07 | 2020-02-21 | 重庆紫光华山智安科技有限公司 | 特征重构层的训练方法、图像特征的重构方法及相关装置 |
CN116416561A (zh) * | 2019-11-22 | 2023-07-11 | 迪爱斯信息技术股份有限公司 | 一种视频图像处理方法和装置 |
CN111583094B (zh) * | 2020-05-09 | 2023-04-25 | 之江实验室 | 一种基于fpga的图像脉冲编码方法及系统 |
-
2021
- 2021-01-12 CN CN202110037236.2A patent/CN112363844B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107292892A (zh) * | 2017-06-23 | 2017-10-24 | 北京奇艺世纪科技有限公司 | 视频帧图像的分割方法及装置 |
CN107423760A (zh) * | 2017-07-21 | 2017-12-01 | 西安电子科技大学 | 基于预分割和回归的深度学习目标检测方法 |
CN111145196A (zh) * | 2019-12-11 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置及服务器 |
Also Published As
Publication number | Publication date |
---|---|
CN112363844A (zh) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111242282B (zh) | 基于端边云协同的深度学习模型训练加速方法 | |
CN112181971B (zh) | 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统 | |
CN110988838B (zh) | 一种提高雷达航迹数据压缩极限的方法 | |
CN112732450A (zh) | 端-边-云协同框架下的机器人知识图谱生成系统及方法 | |
CN109743356B (zh) | 工业互联网数据采集方法及装置、可读存储介质和终端 | |
CN113406974B (zh) | 一种面向无人机集群联邦学习的学习与资源联合优化方法 | |
CN112363844B (zh) | 一种面向图像处理的卷积神经网络垂直分割方法 | |
CN116416561A (zh) | 一种视频图像处理方法和装置 | |
CN112288087A (zh) | 一种神经网络剪枝方法、装置、电子设备及存储介质 | |
CN110413539A (zh) | 一种数据处理方法及装置 | |
CN112297014B (zh) | 一种面向机器人的云边端架构下的深度学习模型分割方法 | |
CN114817178A (zh) | 工业互联网数据存储方法、系统、存储介质及电子设备 | |
CN108768857A (zh) | 一种虚拟路由转发方法、装置及系统 | |
CN112616126A (zh) | 一种基于分布式协作的传感器信息处理方法 | |
CN112637823A (zh) | 一种基于蓝牙设备的层次渐进定位方法 | |
CN112612277B (zh) | 车辆轨迹规划方法、装置、设备和计算机可读介质 | |
CN108733739B (zh) | 支持集束搜索的运算装置和方法 | |
CN112738225B (zh) | 基于人工智能的边缘计算方法 | |
CN114936753A (zh) | 一种基于mes的智能车间的生产模具管理方法以及管理系统 | |
CN115243293A (zh) | 网络优化模型的确定方法、装置、电子设备及存储介质 | |
CN113641758A (zh) | 一种基于实时数仓作数据采集的风控统计方法及装置 | |
CN111626298A (zh) | 一种实时图像语义分割装置及分割方法 | |
CN106530216B (zh) | 全景影像文件处理方法及系统 | |
CN115190126B (zh) | 一种协调计算与传输的移动边缘计算系统及最优卸载方法 | |
CN117255088B (zh) | 基于奇异值检测的网关边缘计算方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |