CN115019150B - 目标检测定点模型建立方法、装置及可读存储介质 - Google Patents

目标检测定点模型建立方法、装置及可读存储介质 Download PDF

Info

Publication number
CN115019150B
CN115019150B CN202210924766.3A CN202210924766A CN115019150B CN 115019150 B CN115019150 B CN 115019150B CN 202210924766 A CN202210924766 A CN 202210924766A CN 115019150 B CN115019150 B CN 115019150B
Authority
CN
China
Prior art keywords
point
target detection
floating
fixed
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210924766.3A
Other languages
English (en)
Other versions
CN115019150A (zh
Inventor
杨敏
艾国
杨作兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen MicroBT Electronics Technology Co Ltd
Original Assignee
Shenzhen MicroBT Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen MicroBT Electronics Technology Co Ltd filed Critical Shenzhen MicroBT Electronics Technology Co Ltd
Priority to CN202210924766.3A priority Critical patent/CN115019150B/zh
Publication of CN115019150A publication Critical patent/CN115019150A/zh
Application granted granted Critical
Publication of CN115019150B publication Critical patent/CN115019150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提出目标检测定点模型建立方法、装置及可读存储介质。方法包括：获取待检测场景的原始图像集；将各帧原始图像输入目标检测神经网络进行目标检测QAT，其中，神经网络的每一运算模块的输入方向连接伪量化模块，量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子；调整目标检测神经网络的可学习参数，直至收敛，得到目标检测浮点模型；对目标检测浮点模型中的各权重进行定点化操作，并对目标检测浮点模型的当前缩放因子进行定点化操作，得到最终使用的目标检测定点模型。本发明实施例提高了目标检测定点模型的检测准确度和精度。

Description

目标检测定点模型建立方法、装置及可读存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及目标检测定点模型建立方法、装置及可读存储介质。
背景技术
在某些特定场景如：广场、道路等，需要将感兴趣目标如：人、车辆、宠物等检测出来。目前常用的目标检测模型为神经网络模型，通过训练图像集对神经网络进行训练，训练完毕得到目标检测模型，之后采用该目标检测模型对场景图像进行目标检测。由于训练完毕直接得到的目标检测模型为浮点模型，即模型中的权重都是浮点数，而浮点数占用的硬件资源较多，因此应用受限，且计算速度较慢。
为了扩大目标检测模型的应用范围并提高模型计算速度，目前通常通过如下方式将其转换为定点模型：
首先，神经网络训练过程采用QAT（Quantization Aware Training，量化感知训练）方式，即在神经网络中插入伪量化模块，训练过程中伪量化模块会对权重向量以及每一层输出的激活向量进行量化和反量化操作，以模拟量化工程，并学习去适应量化带来的噪声和精度损失。图1以卷积运算为例，对QAT的训练过程进行说明，具体过程如下：
步骤101：伪量化模块1对前一层（如：卷积运算模块）输出的浮点型激活向量先根据如下公式（1）进行量化操作，然后根据如下公式（2）对公式（1）的量化结果进行反量化操作；
同时，伪量化模块2对当前层（如：卷积运算模块）的输入权重向量先根据如下公式（1）进行量化操作，然后根据如下公式（2）对公式（1）的量化结果进行反量化操作：
Q=clip(round(r/s)+z, Qmin, Qmax) （1）
其中，round()为取整函数；clip()为截断函数，其作用是将Q的取值限制在[Qmin,Qmax]，即，当round(r/s)+z<Qmin时，令Q=Qmin，当round(r/s)+z>Qmax时，令Q=Qmax；r为待量化的浮点数；z为浮点数0量化后的值；Q为量化结果，为定点数；s为当前浮点型缩放因子，s=(rmax-rmin)/(Qmax-Qmin)，[rmin, rmax]为r的当前取值范围，[Qmin, Qmax]为Q的当前取值范围。
r'=s(Q-z) (2)
其中，r'为反量化后得到的浮点数。
步骤102：将101中反量化操作得到的浮点型激活向量和浮点型权重向量输入到当前层进行卷积运算，得到当前层输出的激活向量。
每一层都重复上述步骤101、102。
通过QAT最终得到的是目标检测浮点模型，模型中的权重是浮点型的，此时，需要再对模型中的权重通过公式（1）进行定点化操作，转换为定点型权重；同时对模型的当前缩放因子s进行定点化操作，得到定点型缩放因子，至此得到目标检测定点模型。其中，s的定点化操作过程如下：
步骤201：通过如下公式（3），将s归一化到s0∈[0.5,1）：
s=s0×2n （3）
s0= s×2-n （4）
其中，s0为s的归一化值。
步骤202：对s0进行定点化处理，具体过程如下：
步骤2021：将s0乘以2m-1 后用整数sm表示，即：
sm= round(s0×2m-1) （5）
其中，m为预设正整数。
步骤2022：将公式（4）代入公式（5）得到：
sm= round(s×2-n×2m-1)= round(s×2m-1-n) （6）
步骤2023：对sm进行反定点化操作：
s'= sm/2m-1-n= sm×2-(m-1-n) （7）
其中，s'为sm的反定点化的结果，将公式（6）代入公式（7）得到：
s' = round(s×2m-1-n) ×2-(m-1-n) （8）
可以看到 s'可以用来近似s，即：
s'≈s （9）
在对目标检测浮点模型中的权重以及s进行定点化操作后，此时就得到了完整的目标检测定点模型，当应用目标检测定点模型进行目标检测时，当模型的卷积节点输出一个定点卷积结果x时，使用定点s对其进行修正：
y=round(s×x)≈round(s'×x） （10）
其中，y是x的定点数，s是浮点型当前缩放因子。
将公式（7）代入公式（10）得到：
y≈round(sm×2-(m-1-n)×x) =( sm×x+(1<<(shift-1)))>>shift （11）
其中，shift=m-1-n，<<为向左移位运算符，>>为向右移位运算符。
发明人通过分析现有的目标检测定点模型的建立过程发现：由于缩放因子s的定点化是在QAT之后进行的，且s的定点化会带来误差，因此：目标检测定点模型的检测准确度和精度与QAT训练完毕得到的目标检测浮点模型的检测准确度和精度是不一致的。而理想的目标检测定点模型的检测准确度和精度是应该与QAT训练完毕得到的目标检测浮点模型一致的。
发明内容
本发明实施例提出目标检测定点模型建立方法、装置及可读存储介质，以提高目标检测定点模型的目标检测准确度和精度。
本发明实施例的技术方案是这样实现的：
一种目标检测定点模型建立方法，该方法包括：
获取待检测场景的原始图像集，该原始图像集中包含多帧原始图像；
将原始图像集中的各帧原始图像输入目标检测神经网络进行目标检测量化感知训练QAT，其中，目标检测神经网络的每一运算模块的输入方向连接伪量化模块，伪量化模块对输入每一运算模块的激活向量或/和权重向量进行量化和反量化操作，并将反量化操作得到的浮点型激活向量或/和权重向量输入到对应的运算模块，其中，量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子；
调整所述目标检测神经网络的可学习参数，直至收敛，得到目标检测浮点模型；
对目标检测浮点模型中的各权重进行定点化操作，并对目标检测浮点模型的当前缩放因子进行定点化操作，得到最终使用的目标检测定点模型。
所述获取待检测场景的原始图像集之后、所述将原始图像集中的各帧原始图像输入目标检测神经网络进行目标检测QAT之前，进一步包括：
分别对每帧原始图像中的目标进行标注，得到标注目标图像集；
所述将原始图像集中的各帧原始图像输入目标检测神经网络进行目标检测QAT之后、所述调整所述目标检测神经网络的可学习参数之前，进一步包括：
根据目标检测神经网络检测出的当前原始图像中的目标与对应的标注目标图像中标注的目标，计算当前损失函数；
所述调整所述目标检测神经网络的可学习参数，包括：
根据当前损失函数调整所述目标检测神经网络的可学习参数。
所述得到最终使用的目标检测定点模型之后，进一步包括：
将在待检测场景中采集的待检测图像输入所述目标检测定点模型进行计算，得到所述待检测图像中的目标。
所述量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，包括：
计算s1'=round(s1×2m1-1-n1)×2-(m1-1-n1)
其中，s1为当前原始浮点型缩放因子，s1'为对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，round()为取整函数，m1为预设正整数，n1为整数且满足：s1=s01×2n1，其中，s01∈[0.5, 1）。
m1的取值范围为：16≤m1≤32。
所述伪量化模块对输入每一运算模块的激活向量或/和权重向量进行量化和反量化操作，包括：
根据如下公式对输入每一运算模块的激活向量或/和权重向量进行量化操作：
Q1=clip(round(r1/s1')+z1, Q1min, Q1max)
根据如下公式对量化后的激活向量或/和权重向量进行反量化操作：
r1'=s1'(Q1-z1)
其中，round()为取整函数；clip()为截断函数，用于将Q1的取值范围限制在[Q1min, Q1max]；r1为输入一运算模块的激活向量或权重向量；Q1为r1的量化结果；z1为浮点数0量化后的值；[Q1min, Q1max]为Q1的取值范围；r1'为反量化操作后得到的激活向量或权重向量。
所述对目标检测浮点模型中的各权重进行定点化操作，包括：
根据如下公式对目标检测浮点模型中的各权重进行定点化操作：
Q2=clip(round(r2/s2')+z2, Q2min, Q2max)
其中，round()为取整函数；clip()为截断函数，用于将Q2的取值范围限制在[Q2min, Q2max]；r2为目标检测浮点模型中的权重；z2为浮点数0量化后的值；Q2为目标检测浮点模型中的权重量化后的值；[Q2min, Q2max]为Q2的取值范围；s2'=round(s2×2m2-1-n2)×2-(m2-1-n2)，s2为当前原始浮点型缩放因子，s2'为对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，m2为预设正整数，n2为整数，且满足：s2=s02×2n，其中，s02∈[0.5, 1）。
所述对目标检测浮点模型的当前缩放因子进行定点化操作，包括：
sm= round(s3×2m3-1-n3)
其中，s3为目标检测浮点模型的当前缩放因子，sm为对s3定点化操作后得到的定点型当前缩放因子，round()为取整函数，m3为预设正整数，n3为整数，且满足：s3=s03×2n3，其中，s03∈[0.5, 1）。
一种目标检测定点模型建立装置，该装置包括：
训练准备模块，用于获取待检测场景的原始图像集，该原始图像集中包含多帧原始图像；
QAT模块，用于将原始图像集中的各帧原始图像输入目标检测神经网络进行目标检测量化感知训练QAT，其中，目标检测神经网络的每一运算模块的输入方向连接伪量化模块，伪量化模块对输入每一运算模块的激活向量或/和权重向量进行量化和反量化操作，并将反量化操作得到的浮点型激活向量或/和权重向量输入到对应的运算模块，其中，量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子；
调整模块，用于调整所述目标检测神经网络的可学习参数，直至收敛，得到目标检测浮点模型；
模型定点化模块，用于对目标检测浮点模型中的各权重进行定点化操作，并对目标检测浮点模型的当前缩放因子进行定点化操作，得到最终使用的目标检测定点模型。
一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上任一项所述的方法的步骤。
本发明实施例中，在QAT过程中，伪量化模块对输入目标检测神经网络的每一运算模块的激活向量或/和权重向量进行量化和反量化操作时，量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，从而使得最终得到的目标检测定点模型和目标检测浮点模型的检测准确度和精度一致。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为以卷积运算为例，现有的QAT的训练过程的示意图；
图2为本发明实施例提供的目标检测定点模型建立方法流程图；
图3为本发明实施例提供的目标检测定点模型建立装置的结构示意图；
图4为本发明实施例提供的一种电子设备的示例性结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
发明人通过分析现有的目标检测定点模型的建立过程发现：由于缩放因子s的定点化是在QAT之后进行的，且s的定点化会带来误差，因此：目标检测定点模型的检测准确度和精度与QAT训练完毕得到的目标检测浮点模型的检测准确度和精度是不一致的。而理想的目标检测定点模型的检测准确度和精度是应该与QAT训练完毕得到的目标检测浮点模型一致的。
图2为本发明实施例提供的目标检测定点模型建立方法流程图，其具体步骤如下：
步骤201：获取待检测场景的原始图像集，该原始图像集中包含多帧原始图像。
步骤202：将原始图像集中的各帧原始图像输入目标检测神经网络进行目标检测QAT，其中，目标检测神经网络的每一运算模块的输入方向连接伪量化模块，伪量化模块对输入每一运算模块的激活向量或/和权重向量进行量化和反量化操作，并将反量化操作得到的浮点型激活向量或/和权重向量输入到对应的运算模块，其中，量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子。
步骤203：调整目标检测神经网络的可学习参数，直至收敛，得到目标检测浮点模型。
可学习参数例如：权重、偏置等。
步骤204：对目标检测浮点模型中的各权重进行定点化操作，并对目标检测浮点模型的当前缩放因子进行定点化操作，得到最终使用的目标检测定点模型。
本步骤中的“目标检测浮点模型的当前缩放因子”指的是收敛时的目标检测浮点模型对应的缩放因子。
上述实施例中，在QAT过程中，伪量化模块对输入每一运算模块的激活向量或/和权重向量进行量化和反量化操作时，量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，从而使得最终得到的目标检测定点模型和目标检测浮点模型的检测准确度和精度一致。
一可选实施例中，步骤201之后、步骤202之前，进一步包括：分别对每帧原始图像中的目标进行标注，得到标注目标图像集；
且，步骤202之后、步骤203之前，进一步包括：根据目标检测神经网络检测出的当前原始图像中的目标与当前原始图像对应的标注目标图像中标注的目标，计算当前损失函数；
且，步骤203中，调整目标检测神经网络的可学习参数，包括：根据当前损失函数调整目标检测神经网络的可学习参数。
通常，当连续预设次数都满足：当前损失函数与前一损失函数之间的差值的绝对值都小于预设阈值时，则认为目标检测神经网络收敛。
一可选实施例中，步骤204之后，进一步包括：将在待检测场景中采集的待检测图像输入目标检测定点模型进行计算，得到待检测图像中的目标。
通常，将在待检测场景中采集的待检测图像输入目标检测定点模型进行计算时，目标检测定点模型输出的是在待检测图像中检测到的各个目标的位置以及各个目标为真实目标的概率，即待检测图像中的目标以两个参数表示：目标在待检测图像中的位置和目标为真实目标的概率。
一可选实施例中，步骤202中，量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，包括：
计算
s1'=round(s1×2m1-1-n1)×2-(m1-1-n1) （12）
其中，s1为当前原始浮点型缩放因子，s1'为对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，round()为取整函数，m1为预设正整数，n1为整数且满足：s1=s01×2n1，其中，s01∈[0.5, 1），s01的作用是将s1的范围限制在[0.5, 1）。
一可选实施例中，m1的取值范围为：16≤m1≤32。
一可选实施例中，步骤202中，伪量化模块对输入每一运算模块的激活向量或/和权重向量进行量化和反量化操作，包括：
根据如下公式对输入每一运算模块的激活向量或/和权重向量进行量化操作：
Q1=clip(round(r1/s1')+z1, Q1min, Q1max) （13）
根据如下公式对量化后的激活向量或/和权重向量进行反量化操作：
r1'=s1'(Q1-z1) （14）
其中，round()为取整函数；clip()为截断函数，用于将Q1的取值范围限制在[Q1min, Q1max]；r1为输入一运算模块的激活向量或权重向量；Q1为r1的量化结果；z1为浮点数0量化后的值；[Q1min, Q1max]为Q1的取值范围；r1'为反量化操作后得到的激活向量或权重向量。
通过公式（13）和（14）可以看出：本申请实施例中，对激活向量和权重向量进行量化和反量化操作时采用的缩放因子并不是当前原始浮点型缩放因子s1，而是对s1进行定点化和反定点化操作后得到的浮点型缩放因子s1'。
一可选实施例中，步骤204中，对目标检测浮点模型中的各权重进行定点化操作，包括：
根据如下公式对目标检测浮点模型中的各权重进行定点化操作：
Q2=clip(round(r2/s2')+z2, Q2min, Q2max) （15）
其中，round()为取整函数；clip()为截断函数，用于将Q2的取值范围限制在[Q2min, Q2max]；r2为目标检测浮点模型中的权重；z2为浮点数0量化后的值；Q2为目标检测浮点模型中的权重量化后的值；[Q2min, Q2max]为Q2的取值范围；s2'=round(s2×2m2-1-n2)×2-(m2-1-n2)，s2为当前原始浮点型缩放因子，s2'为对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，m2为预设正整数，n2为整数，且满足：s2=s02×2n2，其中，s02∈[0.5, 1）。
一可选实施例中，m2的取值范围为：16≤m2≤32。
一可选实施例中，步骤204中，对目标检测浮点模型的当前缩放因子进行定点化操作，包括：
sm= round(s3×2m3-1-n3) （16）
其中，s3为目标检测浮点模型的当前缩放因子，sm为定点化操作后得到的定点型当前缩放因子，round()为取整函数，m3为预设正整数，n3为整数，且满足：s3=s03×2n3，其中，s03∈[0.5, 1）。
一可选实施例中，m3的取值范围为：16≤m3≤32。
需要说明的是，由于round()函数不可导，因此在实际应用中，通常采用STE（Straight Through Estimator，直通估计器）来近似round()函数的梯度。卷积运算模块（即卷积层）的梯度在进行伪量化操作之前直接传回权重。STE将round函数的的梯度近似为1，即直接将上一层的梯度传到下一层。
图3为本发明实施例提供的目标检测定点模型建立装置的结构示意图，该装置主要包括：训练准备模块31、QAT模块32、调整模块33和模型定点化模块34，其中：
训练准备模块31，用于获取待检测场景的原始图像集，该原始图像集中包含多帧原始图像。
QAT模块32，用于将原始图像集中的各帧原始图像输入目标检测神经网络进行目标检测，其中，目标检测神经网络的每一运算模块的输入方向连接伪量化模块，伪量化模块对输入每一运算模块的激活向量或/和权重向量进行量化和反量化操作，并将反量化操作得到的浮点型激活向量或/和权重向量输入到对应的运算模块，其中，量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子。
调整模块33，用于调整目标检测神经网络的可学习参数，直至收敛，得到目标检测浮点模型。
模型定点化模块34，用于对目标检测浮点模型中的各权重进行定点化操作，并对目标检测浮点模型的当前缩放因子进行定点化操作，得到最终使用的目标检测定点模型。
一可选实施例中，训练准备模块31获取待检测场景的原始图像集之后、进一步用于：分别对每帧原始图像中的目标进行标注，得到标注目标图像集；
调整模块33调整目标检测神经网络的可学习参数之前，进一步用于：根据目标检测神经网络检测出的当前原始图像中的目标与对应的标注目标图像中标注的目标，计算当前损失函数；
调整模块33调整目标检测神经网络的可学习参数，包括：根据当前损失函数调整目标检测神经网络的可学习参数。
一可选实施例中，上述装置进一步包括：定点模型应用模块35，用于将在待检测场景中采集的待检测图像输入目标检测定点模型进行计算，检测得到待检测图像中的目标。
一可选实施例中，QAT模块32中的量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，包括：
计算s1'=round(s1×2m1-1-n1)×2-(m1-1-n1)
其中，s1为当前原始浮点型缩放因子，s1'为对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，round()为取整函数，m1为预设正整数，n1为整数且满足：s1=s01×2n1，其中，s01∈[0.5, 1）；m1的取值范围为：16≤m1≤32。
一可选实施例中，QAT模块32中，伪量化模块对输入每一运算模块的激活向量或/和权重向量进行量化和反量化操作，包括：
根据如下公式对输入每一运算模块的激活向量或/和权重向量进行量化操作：
Q1=clip(round(r1/s1')+z1, Q1min, Q1max)
根据如下公式对量化后的激活向量或/和权重向量进行反量化操作：
r1'=s1'(Q1-z1)
其中，round()为取整函数；clip()为截断函数，用于将Q1的取值范围限制在[Q1min, Q1max]；r1为输入一运算模块的激活向量或权重向量；Q1为r1的量化结果；z1为浮点数0量化后的值；[Q1min, Q1max]为Q1的取值范围；r1'为反量化操作后得到的激活向量或权重向量。
一可选实施例中，模型定点化模块34对目标检测浮点模型中的各权重进行定点化操作，包括：
根据如下公式对目标检测浮点模型中的各权重进行定点化操作：
Q2=clip(round(r2/s2')+z2, Q2min, Q2max)
其中，round()为取整函数；clip()为截断函数，用于将Q2的取值范围限制在[Q2min, Q2max]；r2为目标检测浮点模型中的权重；z2为浮点数0量化后的值；Q2为目标检测浮点模型中的权重量化后的值；[Q2min, Q2max]为Q2的取值范围；s2'=round(s2×2m2-1-n2)×2-(m2-1-n2)，s2为当前原始浮点型缩放因子，s2'为对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，m2为预设正整数，n2为整数，且满足：s2=s02×2n2，其中，s02∈[0.5, 1）。
一可选实施例中，模型定点化模块34对目标检测浮点模型的当前缩放因子进行定点化操作，包括：
sm= round(s3×2m3-1-n3)
其中，s3为目标检测浮点模型的当前缩放因子，sm为定点化操作后得到的定点型当前缩放因子，round()为取整函数，m3为预设正整数，n3为整数，且满足：s3=s03×2n3，其中，s03∈[0.5, 1）。
本申请实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上任一实施例所述的方法的步骤。
本申请实施例还提供一种非瞬时计算机可读存储介质，所述计算机可读存储介质存储指令，所述指令在由处理器执行时可执行如上任一实施例所述的方法中的步骤。实际应用中，所述的计算机可读介质可以是上述实施例各设备/装置/系统所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。其中，在计算机可读存储介质中存储指令，其存储的指令在由处理器执行时可执行如上任一实施例所述的方法中的步骤。
根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
如图4所示，本发明实施例还提供一种电子设备。如图4所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或一个以上处理核心的处理器41、一个或一个以上计算机可读存储介质的存储器42以及存储在存储器上并可在处理器上运行的计算机程序。在执行所述存储器42的程序时，可以实现如上任一实施例所述的方法。
具体的，实际应用中，该电子设备还可以包括电源43、输入输出单元44等部件。本领域技术人员可以理解，图4中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器41是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器42内的软件程序和/或模块，以及调用存储在存储器42内的数据，执行服务器的各种功能和处理数据，从而对该电子设备进行整体监控。
存储器42可用于存储软件程序以及模块，即上述计算机可读存储介质。处理器41通过运行存储在存储器42的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器42可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器42还可以包括存储器控制器，以提供处理器41对存储器42的访问。
该电子设备还包括给各个部件供电的电源43，可以通过电源管理系统与处理器41逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源43还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入输出单元44，该输入单元输出44可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。该输入单元输出44还可以用于显示由用户输入的信息或提供给用户的信息以及各种图像用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。
本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思路，并不用于限制本申请。对于本领域的技术人员来说，可以依据本发明的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种目标检测定点模型建立方法，其特征在于，该方法包括：
获取待检测场景的原始图像集，该原始图像集中包含多帧原始图像；
将原始图像集中的各帧原始图像输入目标检测神经网络进行目标检测量化感知训练QAT，其中，目标检测神经网络的每一运算模块的输入方向连接伪量化模块，伪量化模块对输入每一运算模块的激活向量或/和权重向量进行量化和反量化操作，并将反量化操作得到的浮点型激活向量或/和权重向量输入到对应的运算模块，其中，量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子；
调整所述目标检测神经网络的可学习参数，直至收敛，得到目标检测浮点模型；
对目标检测浮点模型中的各权重进行定点化操作，并对目标检测浮点模型的当前缩放因子进行定点化操作，得到最终使用的目标检测定点模型。
2.根据权利要求1所述的方法，其特征在于，所述获取待检测场景的原始图像集之后、所述将原始图像集中的各帧原始图像输入目标检测神经网络进行目标检测QAT之前，进一步包括：
分别对每帧原始图像中的目标进行标注，得到标注目标图像集；
所述将原始图像集中的各帧原始图像输入目标检测神经网络进行目标检测QAT之后、所述调整所述目标检测神经网络的可学习参数之前，进一步包括：
根据目标检测神经网络检测出的当前原始图像中的目标与对应的标注目标图像中标注的目标，计算当前损失函数；
所述调整所述目标检测神经网络的可学习参数，包括：
根据当前损失函数调整所述目标检测神经网络的可学习参数。
3.根据权利要求1所述的方法，其特征在于，所述得到最终使用的目标检测定点模型之后，进一步包括：
将在待检测场景中采集的待检测图像输入所述目标检测定点模型进行计算，得到所述待检测图像中的目标。
4.根据权利要求1所述的方法，其特征在于，所述量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，包括：
计算s1'=round(s1×2m1-1-n1)×2-(m1-1-n1)
其中，s1为当前原始浮点型缩放因子，s1'为对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，round()为取整函数，m1为预设正整数，n1为整数且满足：s1=s01×2n1，其中，s01∈[0.5, 1）。
5.根据权利要求4所述的方法，其特征在于，m1的取值范围为：16≤m1≤32。
6.根据权利要求4或5所述的方法，其特征在于，所述伪量化模块对输入每一运算模块的激活向量或/和权重向量进行量化和反量化操作，包括：
根据如下公式对输入每一运算模块的激活向量或/和权重向量进行量化操作：
Q1=clip(round(r1/s1')+z1, Q1min, Q1max)
根据如下公式对量化后的激活向量或/和权重向量进行反量化操作：
r1'=s1'(Q1-z1)
其中，round()为取整函数；clip()为截断函数，用于将Q1的取值范围限制在[Q1min,Q1max]；r1为输入一运算模块的激活向量或权重向量；Q1为r1的量化结果；z1为浮点数0量化后的值；[Q1min, Q1max]为Q1的取值范围；r1'为反量化操作后得到的激活向量或权重向量。
7.根据权利要求1所述的方法，其特征在于，所述对目标检测浮点模型中的各权重进行定点化操作，包括：
根据如下公式对目标检测浮点模型中的各权重进行定点化操作：
Q2=clip(round(r2/s2')+z2, Q2min, Q2max)
其中，round()为取整函数；clip()为截断函数，用于将Q2的取值范围限制在[Q2min,Q2max]；r2为目标检测浮点模型中的权重；z2为浮点数0量化后的值；Q2为目标检测浮点模型中的权重量化后的值；[Q2min, Q2max]为Q2的取值范围；s2'=round(s2×2m2-1-n2)×2-(m2-1-n2)，s2为当前原始浮点型缩放因子，s2'为对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子，m2为预设正整数，n2为整数，且满足：s2=s02×2n2，其中，s02∈[0.5, 1）。
8.根据权利要求1所述的方法，其特征在于，所述对目标检测浮点模型的当前缩放因子进行定点化操作，包括：
sm= round(s3×2m3-1-n3)
其中，s3为目标检测浮点模型的当前缩放因子，sm为对s3定点化操作后得到的定点型当前缩放因子，round()为取整函数，m3为预设正整数，n3为整数，且满足：s3=s03×2n3，其中，s03∈[0.5, 1）。
9.一种目标检测定点模型建立装置，其特征在于，该装置包括：
训练准备模块，用于获取待检测场景的原始图像集，该原始图像集中包含多帧原始图像；
QAT模块，用于将原始图像集中的各帧原始图像输入目标检测神经网络进行目标检测量化感知训练QAT，其中，目标检测神经网络的每一运算模块的输入方向连接伪量化模块，伪量化模块对输入每一运算模块的激活向量或/和权重向量进行量化和反量化操作，并将反量化操作得到的浮点型激活向量或/和权重向量输入到对应的运算模块，其中，量化和反量化操作中的缩放因子采用对当前原始浮点型缩放因子进行定点化和反定点化操作后得到的浮点型缩放因子；
调整模块，用于调整所述目标检测神经网络的可学习参数，直至收敛，得到目标检测浮点模型；
模型定点化模块，用于对目标检测浮点模型中的各权重进行定点化操作，并对目标检测浮点模型的当前缩放因子进行定点化操作，得到最终使用的目标检测定点模型。
10.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至8中任一项所述的方法的步骤。
CN202210924766.3A 2022-08-03 2022-08-03 目标检测定点模型建立方法、装置及可读存储介质 Active CN115019150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210924766.3A CN115019150B (zh) 2022-08-03 2022-08-03 目标检测定点模型建立方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210924766.3A CN115019150B (zh) 2022-08-03 2022-08-03 目标检测定点模型建立方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN115019150A CN115019150A (zh) 2022-09-06
CN115019150B true CN115019150B (zh) 2022-11-04

Family

ID=83066024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210924766.3A Active CN115019150B (zh) 2022-08-03 2022-08-03 目标检测定点模型建立方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN115019150B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116957045B (zh) * 2023-09-21 2023-12-22 第六镜视觉科技(西安)有限公司 基于最优传输理论的神经网络量化方法、系统及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245741A (zh) * 2018-03-09 2019-09-17 佳能株式会社 多层神经网络模型的优化和应用方法、装置及存储介质
CN110705696B (zh) * 2019-10-11 2022-06-28 阿波罗智能技术(北京)有限公司 神经网络的量化与定点化融合方法及装置
CN110929862B (zh) * 2019-11-26 2023-08-01 陈子祺 定点化的神经网络模型量化装置和方法
US20220067512A1 (en) * 2020-08-28 2022-03-03 Nvidia Corporation Fine-grained per-vector scaling for neural network quantization
CN112766456B (zh) * 2020-12-31 2023-12-26 平安科技（深圳）有限公司 浮点型深度神经网络的量化方法、装置、设备及存储介质
CN114239798B (zh) * 2021-11-30 2024-09-17 西安交通大学 基于奇偶性对数量化的无乘法深度神经网络模型压缩方法
CN114418062A (zh) * 2021-12-25 2022-04-29 山东云海国创云计算装备产业创新中心有限公司 深度卷积神经网络量化的方法、系统、设备和存储介质

Also Published As

Publication number Publication date
CN115019150A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
US11216721B2 (en) Method for calculating a neuron layer of a multi-layer perceptron model with simplified activation function
CN110008952B (zh) 一种目标识别方法及设备
JP2022513404A (ja) トレーニング済み長短期記憶ニューラルネットワークの量子化
JP7541876B2 (ja) 航空機を制御するためのニューラルネットワークを訓練するためのシステム及び方法
CN108885787B (zh) 训练图像修复模型的方法、图像修复方法、装置、介质及设备
CN112785597A (zh) 识别图像的方法和系统
CN115019150B (zh) 目标检测定点模型建立方法、装置及可读存储介质
CN108596328B (zh) 一种定点化方法及装置、计算机设备
CN107808394B (zh) 一种基于卷积神经网络的图像处理方法及移动终端
WO2020135601A1 (zh) 图像处理方法、装置、车载运算平台、电子设备及系统
CN110705690A (zh) 基于生成模型和元学习优化方法的连续学习方法及系统
CN112561050B (zh) 一种神经网络模型训练方法及装置
US20240078284A1 (en) Two-way descriptor matching on deep learning accelerator
CN113222813A (zh) 图像超分辨率重建方法、装置、电子设备及存储介质
CN109934775B (zh) 一种图像处理、模型训练、方法、装置和存储介质
CN109583579B (zh) 计算装置及相关产品
CN115249266A (zh) 航路点位置预测方法、系统、设备及存储介质
CN113393494A (zh) 模型训练及目标跟踪方法、装置、电子设备和存储介质
CN111930602A (zh) 性能指标预测方法及装置
CN116385369A (zh) 深度图像质量评价方法、装置、电子设备及存储介质
CN112446461A (zh) 一种神经网络模型训练方法及装置
CN112633295B (zh) 面向循环任务的预测方法、装置、电子设备及存储介质
US20220245447A1 (en) Systems and methods for quantization aware training of a neural network for heterogeneous hardware platform
CN108012191B (zh) 视频数据处理方法及装置、计算设备、介质
CN110120085B (zh) 一种动态纹理视频生成方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant