CN113159177A - 基于批归一化参数定点化的目标检测方法、系统、设备 - Google Patents

基于批归一化参数定点化的目标检测方法、系统、设备 Download PDF

Info

Publication number
CN113159177A
CN113159177A CN202110434714.3A CN202110434714A CN113159177A CN 113159177 A CN113159177 A CN 113159177A CN 202110434714 A CN202110434714 A CN 202110434714A CN 113159177 A CN113159177 A CN 113159177A
Authority
CN
China
Prior art keywords
batch
normalization
variables
target detection
gamma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110434714.3A
Other languages
English (en)
Other versions
CN113159177B (zh
Inventor
李淼
张峰
马春宇
赵婷
张翠婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110434714.3A priority Critical patent/CN113159177B/zh
Publication of CN113159177A publication Critical patent/CN113159177A/zh
Application granted granted Critical
Publication of CN113159177B publication Critical patent/CN113159177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于人工智能、计算机视觉领域,具体涉及一种基于批归一化参数定点化的目标检测方法、系统、设备,旨在解决现有的神经网络在进行批归一化的过程中,定点化参数过多,造成精度较差,进而导致目标检测精度差的问题。本方法包括获取待检测的图像,作为输入图像;通过参数定点化后的目标检测网络获取所述输入图像中各待检测目标对应的类别以及回归框;所述目标检测网络基于卷积神经网络构建。本发明减少了神经网络在批归一化过程中的定点化参数,提交了定点化的精度,进而提升了目标检测的性能。

Description

基于批归一化参数定点化的目标检测方法、系统、设备
技术领域
本发明属于人工智能、计算机视觉领域,具体涉及一种基于批归一化参数定点化的目标检测方法、系统、设备。
背景技术
目标检测是是近年来计算机视觉领域中的一个热点问题,它从图像序列中检测目标并对其行为进行理解和描述,在视频监控、自动驾驶、机器人等领域有着极其广泛的应用。而目标检测的关键主要取决于卷积神经网络的性能。
目前主流的卷积神经网络基本操作包括卷积、批归一化、激活。卷积操作虽然占用很多的资源和算力,但只有乘加两种操作;激活函数一般都是逐元素的操作方式;批归一化也是逐元素的操作,运算量相比于卷积操作很小,但涉及减、除、乘、加四种操作。
如果考虑到对网络中的所有数据都进行量化,首先,是对卷积操作进行量化,卷积的操作对象为激活值和权重,为了最大程度的减少由量化造成的精度损失,对权重的量化会带有一个浮点型的缩放因子,同理,对激活值的量化也会有一个浮点型的缩放因子;另外,对一个数进行批归一化需要对四个变量进行减、除、乘、加四种操作,对每个参数的定点化操作都会损失一部分精度。卷积的量化和批归一化参数的定点化结合到一起会对模型产生重要的影响,而且网络中巨大的参数量综合到一起,很可能使得原本已经收敛得很好的网络变得发散,网络不仅无法完成既定的任务,甚至量化后的网络都无法作为预训练网络进行后续的微调。基于此,本发明提出了一种基于批归一化参数定点化的目标检测方法。
发明内容
为了解决现有技术中的上述问题,即为了解决现有的神经网络在进行批归一化的过程中,定点化参数过多,造成精度较差,进而导致目标检测精度差的问题,本发明第一方面,提出了一种基于批归一化参数定点化的目标检测方法,该方法包括:
S10,获取待检测的图像,作为输入图像;
S20,通过批归一化参数定点化后的目标检测网络获取所述输入图像中各待检测目标对应的类别及回归框;所述回归框包括位置及宽高信息;
所述目标检测网络基于卷积神经网络构建;所述卷积神经网络其对应的批归一化方法为:
A10,获取所述卷积神经网络训练时的批处理数据;
A20,计算所述批处理数据对应的均值μ、方差σ;基于初始化的尺度因子γ、平移因子β,结合均值,对方差进行做商,得到中间变量γ'、β';
其中,
Figure BDA0003032439010000021
A30,将γ'赋值为第一批归一化变量,将β'/γ'赋值为第二批归一化变量;赋值后,对第一批归一化变量、第二批归一化变量进行定点化处理;
A40,结合定点化的第一批归一化变量、第二批归一化变量,通过变形后的批归一化算法得到所述卷积神经网络卷积处理后的待批归一化数据对应的归一化结果。
在一些优选的实施方式中,所述第一批归一化变量的定点化方法为:
将所述第一批归一化变量拆分为两个缩放因子,γ1和γ2,即γ”=γ12;其中,
Figure BDA0003032439010000031
γ”为第一批归一化变量。
在一些优选的实施方式中,所述第二批归一化变量的定点化方法为:将所述第二批归一化变量设置为整型数。
在一些优选的实施方式中,所述变形后的批归一化算法为:
y=(x+β”)*γ”
其中,x表示待批归一化的数据,y表示批归一化后的数据,β”表示第二批归一化变量。
在一些优选的实施方式中,所述卷积神经网络其在卷积过程中的激活值和权重为整型数。
在一些优选的实施方式中,所述激活值其在量化的过程中采用dorefa量化。
本发明的第二方面,提出了一种基于批归一化参数定点化的目标检测系统,该系统包括:图像获取模块、目标检测模块;
所述图像获取模块,配置为获取待检测的图像,作为输入图像;
所述目标检测模块,配置为通过参数定点化后的目标检测网络获取所述输入图像中各待检测目标对应的类别以及回归框;所述回归框包括位置及宽高信息;
所述目标检测网络基于卷积神经网络构建;所述卷积神经网络其对应的批归一化方法为:
A10,获取所述卷积神经网络训练时的批处理数据;
A20,计算所述批处理数据对应的均值μ、方差σ;基于初始化的尺度因子γ、平移因子β,结合均值,对方差进行做商,得到中间变量γ'、β';
其中,
Figure BDA0003032439010000041
A30,将γ'赋值为第一批归一化变量,将β'/γ'赋值为第二批归一化变量;赋值后,对第一批归一化变量、第二批归一化变量进行定点化处理;
A40,结合定点化的第一批归一化变量、第二批归一化变量,通过变形后的批归一化算法得到所述卷积神经网络卷积处理后的待批归一化数据对应的归一化结果。
本发明的第三方面,提出了一种设备,至少一个处理器;以及与至少一个所述处理器通信连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求上述的基于批归一化参数定点化的目标检测方法。
本发明的第四方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现权利要求上述的基于批归一化参数定点化的目标检测方法。
本发明的有益效果:
本发明减少了神经网络在批归一化过程中的定点化参数,提高了定点化的精度,进而提升了目标检测的性能。
1)本发明批归一化公式中仅包含两个变量且涉及加、乘两种操作,大大降低对更多变量定点化导致的精度损失,同时把权重和激活值量化引入的缩放因子归并到批归一化的缩放因子(即批归一化变量)中,进一步降低量化上述两个因子给模型带来的精度损失;
2)批归一化公式中采取两个缩放因子取代一个批归一化变量,使批归一化定点化过程更精细,硬件资源分配更合理;
3)批归一化拆分后的两个缩放因子采取特定取值方式,进一步降低了硬件资源的消耗。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述,本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于批归一化参数定点化的目标检测方法的流程示意图;
图2是本发明一种实施例的基于批归一化参数定点化的目标检测系统的框架示意图;
图3是本发明一种实施例的批归一化方法的流程示意图;
图4是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种基于批归一化参数定点化的目标检测方法,如图1、图3所示,该方法包括:
S10,获取待检测的图像,作为输入图像;
S20,通过批归一化参数定点化后的目标检测网络获取所述输入图像中各待检测目标对应的类别及回归框;所述回归框包括位置及宽高信息;
所述目标检测网络基于卷积神经网络构建;所述卷积神经网络其对应的批归一化方法为:
A10,获取所述卷积神经网络训练时的批处理数据;
A20,计算所述批处理数据对应的均值μ、方差σ;基于初始化的尺度因子γ、平移因子β,结合均值,对方差进行做商,得到中间变量γ'、β';
其中,
Figure BDA0003032439010000061
A30,将γ'赋值为第一批归一化变量,将β'/γ'赋值为第二批归一化变量;赋值后,对第一批归一化变量、第二批归一化变量进行定点化处理;
A40,结合定点化的第一批归一化变量、第二批归一化变量,通过变形后的批归一化算法得到所述卷积神经网络卷积处理后的待批归一化数据对应的归一化结果。
为了更清晰地对本发明基于批归一化参数定点化的目标检测方法进行说明,下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
在下述实施例中,先对批归一化参数定点化以及批归一化过程进行阐述,再对基于批归一化参数定点化的目标检测方法获取各待检测目标的检测结果的过程进行详述。
1、批归一化参数定点化以及批归一化
在本发明中,将传统的四个变量(均值μ、方差σ、尺度因子γ、平移因子β)且涉及减、除、乘、加四种操作的批归一化公式变形为仅包含两个变量且仅涉及加、乘两种操作的批归一化公式,将变形后的批归一化公式中的尺度因子γ”拆分为两个缩放因子γ1和γ2的乘积,并进行定点化处理。
其中,传统的批归一化算法如公式(1)所示:
Figure BDA0003032439010000071
其中,ε表示为了防止分母为零而设计的一个很小的数值,为正数;
变形后的批归一化算法如公式(2)所示:
y=(x+β”)*γ” (2)
其中,γ”=γ',β”=β'/γ',
Figure BDA0003032439010000072
γ'、β'表示中间变量。
上述批归一化的量化是在权重和激活值都进行量化的基础上进行的。在权重的量化过程中,为了降低权重量化带来的精度损失,引入了缩放因子,该缩放因子与批归一化中的γ”的作用范围是一致的,可以归并到批归一化的γ”中。在激活值的量化过程中,采用dorefa的量化方式,该量化方式需要在卷积运算结果的基础上乘以一个浮点数,这个数的作用范围也与γ”一样,也可以归并到γ”中。因此,把权重缩放因子和dorefa量化因子归并到γ”中,进一步降低了量化这两个因子给模型带来的精度损失。至此,神经网络的基本操作卷积、批归一化、激活中,卷积和激活都是整数相关的操作,只有批归一化是浮点数的操作,而且是合并了其他四个因子的浮点数操作,对于模型的精度是没有任何影响的,显著降低了多个数据定点化可能会带来的精度损失。
基于上述变形后的批归一化算法进行变量的定点化处理以及批归一化处理的具体过程如下:
A10,获取所述卷积神经网络训练时的批处理数据;
在本实施例中,先获取卷积神经网络训练用的批处理数据。
A20,计算所述批处理数据对应的均值μ、方差σ;基于初始化的尺度因子γ、平移因子β,结合均值,对方差进行做商,得到中间变量γ'、β';
在本实施例中,计算批处理数据对应的均值、方差,并结合通过误差反向传播训练得到的尺度因子、平移因子(在实际的应用过程中,直接将训练好的尺度因子、平移因子进行初始化),计算中间变量γ'、β'表示中间变量,即
Figure BDA0003032439010000081
A30,将γ'赋值为第一批归一化变量,将β'/γ'赋值为第二批归一化变量;赋值后,对第一批归一化变量、第二批归一化变量进行定点化处理;
在本实施例中,将γ'赋值为第一批归一化变量,将β'/γ'赋值为第二批归一化变量,即γ”=γ',β”=β'/γ'。
赋值后,对第一批归一化变量、第二批归一化变量进行定点化处理。这样相比于传统的批归一化公式中需要对四个变量进行定点化,变形之后只需要对γ”和β”两个变量进行定点化,精度的损失显然会降低很多。
其中,对γ”和β”两个变量进行定点化的过程具体如下:
对于β”的定点化:由于卷积过程中的激活值和权重都是整型数,在卷积结果为整型数的基础上加上β”,β”也只需要是整型数即可,即将第二批归一化变量设置为整型数。在其他实施例中,针对不同的神经网络模型,β”可以有16位、32位等更宽泛的不同位宽。
对于γ”的定点化:大部分神经网络都是由成千上百层卷积层构成的,而γ”是作为乘数因子作用在卷积结果上的,γ”的些微偏差就会导致后续卷积层误差不断放大,从而影响整个网络的性能。为了使得γ”的定点化过程更加精细,可将γ”拆分为两个缩放因子γ1和γ2,即γ”=γ12
Figure BDA0003032439010000091
在本发明中,优选将γ”的设置在0.8-80之间,为了使γ1和γ2在各自的取值范围尽可能小的情况下而γ”的取值范围尽可能大,将γ1和γ2的分配为:γ1=8,4,2,1,0.5、γ2=10,9.75,9.5,...,1.5,1.25,1。具体推导过程如下:
γ2按照以0.25为等差的等差数列取值。γ1和γ2进行这种指数和等差的配合取值的启发来自于,先找一个动态范围变化比较大的数去接近想要定点化的数,然后再使用动态范围变化比较小的数来进行微调。因此,按照2的指数取值的γ1就是动态范围比较大的数,而以0.25为等差的等差数列取值的γ2就是动态范围比较小的数,用来在γ1的基础上进行微调。γ2的取值是在γ1的基础上求得的,因此核心就是对γ1的求解。当γ1=0.5时,γ”的取值范围为[0.5,5],步长为0.125,此时ceil(γ”/5)=1。按此规律列表如下:
表1
γ<sub>1</sub>取值 表示范围 步长 ceil(γ”/5)
γ<sub>1</sub>=0.5 [0.5,5] 0.125 1
γ<sub>1</sub>=1 [5,10] 0.25 2
γ<sub>1</sub>=2 [10,20] 0.5 3,4
γ<sub>1</sub>=4 [20,40] 1 5,6,7,8
γ<sub>1</sub>=8 [40,80] 2 9,…,16
由上表中的数值可以看出,在每种γ1取值的情况下,ceil(γ”/5)的最大值正好是γ1取值的2倍。因此对ceil(γ”/5)取以2为底的对数之后再向上取整,正好比所对应的γ1取以2为底的对数大1,因此得到了
Figure BDA0003032439010000101
γ1的取值确定之后,因为γ2是等差数列,因此只需要确定是γ2是等差0.25的整数倍即可,因此
Figure BDA0003032439010000102
从γ1和γ2的分配中可以看出,γ”取值在(0.5,80)的范围内,但其步长却是变化的。如:当γ1=0.5,γ2取到所有值时,γ”的取值范围为[0.5,5],步长为0.125;当γ1=1,γ2取到所有值时,γ”的取值范围为[1,10],步长为0.25。但上述第二种取值中的[1,5]已经包含在第一种取值[0.5,5]的范围内,此时就产生了一个矛盾,如果γ”的取值正好在[1,5]之间,如3.4,γ1可以有0.5或1两种取值方式。如果γ1=0.5,γ2=6.75,二者乘积为3.375;如果γ1=1,γ2=3.5,二者乘积为3.5。显然令γ1=0.5更为合理。因此,在算法设计方面,偏向于使用较小的γ1,因为较小的γ1相邻数据之间的步长较小,这样γ”就尽可能取到最接近于真实值的定点化后的结果。
上述分配有如下优点:第一,γ1都是2的整数次幂,硬件中可以通过寄存器移位实现,硬件资源消耗非常小;第二,由于γ1步长很大,需要γ2步长较小从对整个缩放因子实现微调;第三,采取两个缩放因子取代一个缩放因子,使硬件资源的分配更合理、消耗更小。
A40,结合定点化的第一批归一化变量、第二批归一化变量,通过变形后的批归一化算法得到所述卷积神经网络卷积处理后的待批归一化数据对应的归一化结果。
在本实施例中,结合定点化处理后的γ”和β”,通过变形后的批归一化公式(2),得到卷积神经网络卷积处理后的待批归一化数据对应的归一化结果。
2、基于批归一化参数定点化的目标检测方法
S10,获取待检测的图像,作为输入图像;
在本实施例中,先获取待检测的图像。
S20,通过批归一化参数定点化后的目标检测网络获取所述输入图像中各待检测目标对应的类别及回归框;所述回归框包括位置及宽高信息。
在本实施例中,优选通过上述批归一化参数定点化后的目标检测网络获取输入图像中各待检测目标对应的类别及回归框。回归框包括位置及宽高信息。
另外,将上述的批归一化参数定点化和批归一化方法应用于目标检测网络只是本发明中的一种实施例,在其他实施例中,可以应用基于卷积神经网络构建的其他网络,例如目标分类网络、行人检测网络、目标跟踪网络等。
本发明第二实施例的一种基于批归一化参数定点化的目标检测系统,如图2所示,该系统包括:图像获取模块100、目标检测模块200;
所述图像获取模块100,配置为获取待检测的图像,作为输入图像;
所述目标检测模块200,配置为通过批归一化参数定点化后的目标检测网络获取所述输入图像中各待检测目标对应的类别以及回归框;所述回归框包括位置及宽高信息;
所述目标检测网络基于卷积神经网络构建;所述卷积神经网络其对应的批归一化方法为:
A10,获取所述卷积神经网络训练时的批处理数据;
A20,计算所述批处理数据对应的均值μ、方差σ;基于初始化的尺度因子γ、平移因子β,结合均值,对方差进行做商,得到中间变量γ'、β';
其中,
Figure BDA0003032439010000121
A30,将γ'赋值为第一批归一化变量,将β'/γ'赋值为第二批归一化变量;赋值后,对第一批归一化变量、第二批归一化变量进行定点化处理;
A40,结合定点化的第一批归一化变量、第二批归一化变量,通过变形后的批归一化算法得到所述卷积神经网络卷积处理后的待批归一化数据对应的归一化结果。
所述技术领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的系统具体的工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的基于批归一化参数定点化的目标检测系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第三实施例的一种设备,至少一个处理器;以及与至少一个所述处理器通信连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求上述的基于批归一化参数定点化的目标检测方法。
本发明第四实施例的一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现权利要求上述的基于批归一化参数定点化的目标检测方法。
所述技术领域的技术人员可以清楚的了解到,未描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实例中的对应过程,在此不再赘述。
下面参考图4,其示出了适于用来实现本申请方法、系统、装置实施例的服务器的计算机系统的结构示意图。图4示出的服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示,计算机系统包括中央处理单元(CPU,Central Processing Unit)401,其可以根据存储在只读存储器(ROM,Read Only Memory)402中的程序或者从存储部分408加载到随机访问存储器(RAM,Random Access Memory)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O,Input/Output)接口405也连接至总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分306;包括诸如阴极射线管(CRT,Cathode Ray Tube)、液晶显示器(LCD,Liquid Crystal Display)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如LAN(局域网,Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于批归一化参数定点化的目标检测方法,其特征在于,该方法包括以下步骤:
S10,获取待检测的图像,作为输入图像;
S20,通过批归一化参数定点化后的目标检测网络获取所述输入图像中各待检测目标对应的类别及回归框;所述回归框包括位置及宽高信息;
所述目标检测网络基于卷积神经网络构建;所述卷积神经网络其对应的批归一化方法为:
A10,获取所述卷积神经网络训练时的批处理数据;
A20,计算所述批处理数据对应的均值μ、方差σ;基于初始化的尺度因子γ、平移因子β,结合均值,对方差进行做商,得到中间变量γ'、β';
其中,
Figure FDA0003032436000000011
A30,将γ'赋值为第一批归一化变量,将β'/γ'赋值为第二批归一化变量;赋值后,对第一批归一化变量、第二批归一化变量进行定点化处理;
A40,结合定点化的第一批归一化变量、第二批归一化变量,通过变形后的批归一化算法得到所述卷积神经网络卷积处理后的待批归一化数据对应的归一化结果。
2.根据权利要求1所述的基于批归一化参数定点化的目标检测方法,其特征在于,所述第一批归一化变量的定点化方法为:
将所述第一批归一化变量拆分为两个缩放因子,γ1和γ2,即γ”=γ12;其中,
Figure FDA0003032436000000012
γ”为第一批归一化变量。
3.根据权利要求2所述的基于批归一化参数定点化的目标检测方法,其特征在于,所述第二批归一化变量的定点化方法为:将所述第二批归一化变量设置为整型数。
4.根据权利要求1所述的基于批归一化参数定点化的目标检测方法,其特征在于,所述变形后的批归一化算法为:
y=(x+β”)*γ”
其中,x表示待批归一化的数据,y表示批归一化后的数据,β”表示第二批归一化变量。
5.根据权利要求1所述的基于批归一化参数定点化的目标检测方法,其特征在于,所述卷积神经网络其在卷积过程中的激活值和权重为整型数。
6.根据权利要求5所述的基于批归一化参数定点化的目标检测方法,其特征在于,所述激活值其在量化的过程中采用dorefa量化。
7.一种基于批归一化参数定点化的目标检测系统,其特征在于,该系统包括:图像获取模块、目标检测模块;
所述图像获取模块,配置为获取待检测的图像,作为输入图像;
所述目标检测模块,配置为通过参数定点化后的目标检测网络获取所述输入图像中各待检测目标对应的类别以及回归框;所述回归框包括位置及宽高信息;
所述目标检测网络基于卷积神经网络构建;所述卷积神经网络其对应的批归一化方法为:
A10,获取所述卷积神经网络训练时的批处理数据;
A20,计算所述批处理数据对应的均值μ、方差σ;基于初始化的尺度因子γ、平移因子β,结合均值,对方差进行做商,得到中间变量γ'、β';
其中,
Figure FDA0003032436000000031
A30,将γ'赋值为第一批归一化变量,将β'/γ'赋值为第二批归一化变量;赋值后,对第一批归一化变量、第二批归一化变量进行定点化处理;
A40,结合定点化的第一批归一化变量、第二批归一化变量,通过变形后的批归一化算法得到所述卷积神经网络卷积处理后的待批归一化数据对应的归一化结果。
8.一种设备,其特征在于,包括:
至少一个处理器;以及
与至少一个所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求1-6任一项所述的基于批归一化参数定点化的目标检测方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现权利要求1-6任一项所述的基于批归一化参数定点化的目标检测方法。
CN202110434714.3A 2021-04-22 2021-04-22 基于批归一化参数定点化的目标检测方法、系统、设备 Active CN113159177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110434714.3A CN113159177B (zh) 2021-04-22 2021-04-22 基于批归一化参数定点化的目标检测方法、系统、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110434714.3A CN113159177B (zh) 2021-04-22 2021-04-22 基于批归一化参数定点化的目标检测方法、系统、设备

Publications (2)

Publication Number Publication Date
CN113159177A true CN113159177A (zh) 2021-07-23
CN113159177B CN113159177B (zh) 2022-11-25

Family

ID=76869494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110434714.3A Active CN113159177B (zh) 2021-04-22 2021-04-22 基于批归一化参数定点化的目标检测方法、系统、设备

Country Status (1)

Country Link
CN (1) CN113159177B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701250A (zh) * 2017-10-16 2018-10-23 深圳市大疆创新科技有限公司 数据定点化方法和装置
CN109284761A (zh) * 2018-09-04 2019-01-29 苏州科达科技股份有限公司 一种图像特征提取方法、装置、设备及可读存储介质
US20200134448A1 (en) * 2018-10-31 2020-04-30 Google Llc Quantizing neural networks with batch normalization
CN111656315A (zh) * 2019-05-05 2020-09-11 深圳市大疆创新科技有限公司 一种基于卷积神经网络架构的数据处理方法及装置
CN111696149A (zh) * 2020-06-18 2020-09-22 中国科学技术大学 针对基于cnn的立体匹配算法的量化方法
CN111695671A (zh) * 2019-03-12 2020-09-22 北京地平线机器人技术研发有限公司 训练神经网络的方法及装置、电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701250A (zh) * 2017-10-16 2018-10-23 深圳市大疆创新科技有限公司 数据定点化方法和装置
US20200234133A1 (en) * 2017-10-16 2020-07-23 SZ DJI Technology Co., Ltd. Data fixed-point method and device
CN109284761A (zh) * 2018-09-04 2019-01-29 苏州科达科技股份有限公司 一种图像特征提取方法、装置、设备及可读存储介质
US20200134448A1 (en) * 2018-10-31 2020-04-30 Google Llc Quantizing neural networks with batch normalization
CN111695671A (zh) * 2019-03-12 2020-09-22 北京地平线机器人技术研发有限公司 训练神经网络的方法及装置、电子设备
CN111656315A (zh) * 2019-05-05 2020-09-11 深圳市大疆创新科技有限公司 一种基于卷积神经网络架构的数据处理方法及装置
CN111696149A (zh) * 2020-06-18 2020-09-22 中国科学技术大学 针对基于cnn的立体匹配算法的量化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯烨 等: "面向目标检测的SSD网络轻量化设计研究", 《信号处理》 *

Also Published As

Publication number Publication date
CN113159177B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN110515739B (zh) 深度学习神经网络模型负载计算方法、装置、设备及介质
CN108701250B (zh) 数据定点化方法和装置
US8818922B2 (en) Method and apparatus for predicting application performance across machines with different hardware configurations
CN112949840A (zh) 通道注意力引导的卷积神经网络动态通道剪枝方法和装置
CN112200296A (zh) 网络模型量化方法、装置、存储介质及电子设备
CN113283937A (zh) 一种软件开发成本的估算方法及相关设备
CN116401232B (zh) 数据库参数配置优化方法、装置、电子设备及存储介质
US8813009B1 (en) Computing device mismatch variation contributions
CN113554307A (zh) 一种基于rfm模型的用户分组方法、装置及可读介质
CN115049003A (zh) 一种预训练模型微调方法、装置、设备和存储介质
CN108509179B (zh) 用于检测人脸的方法、用于生成模型的装置
CN114049162A (zh) 模型训练方法、需求量预测方法、装置、设备和存储介质
CN112200299B (zh) 神经网络计算装置、数据处理方法及装置
CN113159177B (zh) 基于批归一化参数定点化的目标检测方法、系统、设备
CN112712181A (zh) 模型构建优化方法、装置、设备和可读存储介质
CN116560968A (zh) 一种基于机器学习的仿真计算时间预测方法、系统及设备
US12100196B2 (en) Method and machine learning system to perform quantization of neural network
CN116957007A (zh) 神经网络训练时的特征量化方法、装置、介质及程序产品
CN112528500B (zh) 一种场景图构造模型的评估方法及评估设备
CN115640517A (zh) 多方协同模型训练方法、装置、设备和介质
US20200097522A1 (en) Parameter estimation apparatus, parameter estimation method, and computer-readable recording medium
CN114595627A (zh) 模型量化方法、装置、设备及存储介质
CN114238106A (zh) 测试时间预测方法及装置、电子设备、存储介质
CN112668702B (zh) 定点化参数优化方法、系统、及终端、存储介质
CN111221878B (zh) 一种知识空间中知识点相关值确定方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant