CN117893975B - 一种电力监控识别场景下的多精度残差量化方法 - Google Patents
一种电力监控识别场景下的多精度残差量化方法 Download PDFInfo
- Publication number
- CN117893975B CN117893975B CN202410304029.2A CN202410304029A CN117893975B CN 117893975 B CN117893975 B CN 117893975B CN 202410304029 A CN202410304029 A CN 202410304029A CN 117893975 B CN117893975 B CN 117893975B
- Authority
- CN
- China
- Prior art keywords
- residual
- precision
- quantization
- network
- pooling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013139 quantization Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012544 monitoring process Methods 0.000 title claims abstract description 22
- 238000011176 pooling Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 26
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 36
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 20
- 238000001303 quality assessment method Methods 0.000 claims description 9
- 238000011002 quantification Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 6
- 238000013441 quality evaluation Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 239000012633 leachable Substances 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种电力监控识别场景下的多精度残差量化方法，该方法包括选取数据集，对数据集中的图像进行预处理；训练识别网络，在主干网残差结构中应用一种多精度残差量化方法，得到主干网图像特征；通过池化层以及特征整理层对主干网图像特征进行整合，优化训练网络时梯度的更新规则，得到最终的电力监控识别模型；对识别模型检测的质量评估，动态调整量化网络的精度，该方法适用于电力监控识别场景下的目标检测任务，对于具有残差结构的识别网络具有普适性，在传统残差结构中引入多精度量化的概念，去除了循环卷积的部分计算冗余；在反向传播部分，修改训练时的梯度更新规则，加快收敛速度。
Description
技术领域
本发明属于电力监控识别领域，尤其涉及一种电力监控识别场景下的多精度残差量化方法。
背景技术
随着电网的发展，电网中各供配电系统的规模更大巨大、分布更加复杂，其稳定性、实用性、易用性等性能也面临更高的要求。终端需求的激增，也使得电网负荷增加，稳定性能要求提升，如何在低性能的监控设备上部署高精度的识别网络成为了关键问题。
针对上述问题，深度神经网络压缩和加速技术应运而生，在保证网络准确率的同时试图去除网络中的冗余，即在网络性能以及运算代价之间寻找良好的权衡。神经网络量化是近年来神经网络压缩与加速领域的一个重要研究方向。神经网络中的参数通常以较高的精度表示，例如32位浮点数，但这种精细的表示方式需要更大的存储空间和计算资源。因此，研究者将高精度的参数表示转换为低精度的表示，如8位整数或更低的位宽，通过减少参数的表示位数，可以大幅度地降低存储需求，并且提高模型的计算效率。传统的量化方案由于适用性差，难以针对性的根据场景和任务需求进行更改，导致适用性差，需要额外的修改成本。
发明内容
发明目的：针对上述现有技术的不足，本发明提出一种电力监控识别场景下的多精度残差量化方法，该网络具有普适性，针对任何具有残差结构的目标检测网络都能运用；首先利用升维降维的卷积层减少计算参数；其次在残差块循环卷积部分，采用了多精度量化的方法加快运算效率，去除了循环卷积的部分计算冗余；然后将传统的标准化函数改为可学习的残差标准化函数，将不同精度的量化结果有效地整合到一起；在反向传播部分，对于不同精度的循环卷积块，修改训练时的梯度更新规则，使得低精度的结果在反向传播时能够参照高精度的结果，加快收敛速度；最后根据不同场景和任务需求设计质量评估，动态调整量化网络的精度。
技术方案为：为了解决上述技术问题，本发明提出一种电力监控识别场景下的多精度残差量化方法，该方法包括以下步骤：
步骤1，选取电力设备数据集，对数据集中的图像进行预处理；
步骤2，输入图像特征，在主干网残差结构中应用多精度残差量化方法得到主干网图像特征；
步骤3，通过池化层以及特征整理层对主干网图像特征进行整合，优化训练网络时梯度的更新规则，得到最终的电力监控识别模型；
步骤4，应用识别模型进行检测，对检测结果进行质量评估以动态调整量化网络的精度。
进一步的，步骤1的具体方法如下：
步骤1.1：选取公共的作为原始数据集，该数据集包含包括电力设备在内的地面实体的航拍图像，其具有多个地物类别，从中选取与电力设备相关的图片集5种，每种100张图片，每张图像/>的分辨率为408×408；
步骤1.2：利用工具对输入图像/>进行预处理，使用/>数据增强方法优化图像结构。
进一步的，步骤2的具体方法如下：
步骤2.1：将预处理图像输入到主干特征提取网络，首先输入到一个卷积模块，利用/>激活函数增加神经网络的表示能力，得到输出特征图像/>，网络的每个残差块入口增加一个通道升维降维的1×1卷积层，让卷积层卷积核的通道数减少至原来的1/4；
步骤2.2：对网络中的残差块结构进行修改，残差边采用量化，在残差块循环卷积部分采用多精度量化，按序使用4次/>量化、2次/>量化和1次/>量化，分别得到不同量化精度的残差特征/> ，将不同精度的量化特征结果按比例进行累加以得到残差特征的中间结果/>；
步骤2.3：对中间结果采用残差块标准化/>进行标准化处理，/>方法通过通道仿射改变数据分布，以平衡不同量化精度的卷积结果；
步骤2.4：对残差结构中的残差边进行调整，取消残差边的激活层，将累加计算提前到层之后；
步骤2.5：中间结果经过归一化以及激活函数之后以得到该残差块的特征结果/>；
步骤2.6：将特征按序输入其余的残差块得到最终的主干网特征/>。
进一步的，所述步骤2.2中的多精度残差量化方法具体如下：
上式中，为/>量化精度下的残差特征，/>是权重，由不同精度循环次数决定，/>是由/>输入残差块得出的残差特征，/>是/>的位宽运算，是矩阵偏置。
进一步的，对中间结果采用残差块标准化/>进行标准化处理，标准化处理方法如下：
其中，和/>是特征/>各通道的平均值和方差，/>为预设的系数，/>和/>是可学习的缩放比例和移位系数，/>是各个池化核累加的学习比例，/>初始值为1，/>为0，输入的/>通过/>标准化方法改变数据分布，以平衡不同量化精度的卷积结果。
进一步的，步骤3的具体方法如下：
步骤3.1，应用或/>工具自带的量化函数对网络的特征整理层进行量化，减少整体运算参数；
步骤3.2，将主干网特征输入/>池化层，通过池化函数整合不同池化核的结果以增加感受野，分离出最显著的上下文特征/>，池化函数具体方法如下：
上式中，是池化核的个数，/>是图像零填充尺寸，/>是空洞卷积尺寸，默认为1，/>是当前池化核的大小，/>是池化步长，默认与池化核大小相同，/>取值为/>；
步骤3.3，将池化层得到的特征与主干网特征/>经过/>结构，经过特征的反复提取得到网络的先验框/>；
步骤3.4，对量化后的网络进行反复训练，在反向传播时优化梯度更新规则，将量化精度的训练参数/>与/>量化精度的训练参数/>的梯度分离，独立训练每个量化精度；
步骤3.5，将得到最终的识别模型通过嵌入式设备模拟软件模拟运行以检测是否满足性能需求。
进一步的，所述步骤3.4中的量化精度的训练参数/>的更新规则定义为：
上式中，是学习率，/>是第/>轮迭代的/>量化精度参数，/>是来自/>量化精度损失的比例，/>是/>精度量化的损失函数，/>为/>量化的损失函数。
进一步的，所述步骤4具体方法如下：
步骤4.1：对训练得到的模型进行实测，对预测结果进行解码，得到整个预测框的位置，对结果进行质量评估，检测是否满足监控设备性能限制以及任务需求；
步骤4.2：若不能满足4.1的条件，则动态调整量化的精度；动态调整包括采用更高精度的卷积层、增多残差结构的循环次数、增加高精度残差计算的比例中的一种或多种。
进一步的，所述步骤4.1中的质量评估如下：
计算质量评估的损失函数，假设图片压缩比例为，识别网络的损失函数为/>，质量评估的损失函数/>：
根据准确度的需求，确定质量评估损失函数的值，损失函数值如果超过阈值，则识别结果不能满足任务需求，则动态调整量化的精度。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
本发明在传统残差网络中引入多精度量化的概念，首先利用升维降维的卷积层减少计算参数；其次在残差块循环卷积部分，采用了多精度量化的方法加快运算效率，去除了循环卷积的部分计算冗余；然后将传统的标准化函数改为可学习的残差标准化函数，将不同精度的量化结果有效地整合到一起；接着在反向传播部分，对于不同精度的循环卷积块，修改训练时的梯度更新规则，使得低精度的结果在反向传播时能够参照高精度的结果，加快收敛速度；最后根据不同场景和任务需求设计质量评估，动态调整量化网络的精度。
附图说明
图1为本发明优选实施例中基于YOLOV4网络应用该方法的压缩网络示意图；
图2为本发明的一种电力监控识别场景下的多精度残差量化方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图2所示，本发明提出一种电力监控识别场景下的多精度残差量化方法，该方法包括以下步骤：
步骤1，选取电力设备数据集，对数据集中的图像进行预处理；
步骤2，输入图像特征，在主干网残差结构中应用多精度残差量化方法得到主干网图像特征；
步骤3，通过池化层以及特征整理层对主干网图像特征进行整合，优化训练网络时梯度的更新规则，得到最终的电力监控识别模型；参照图1所示，其是本发明网络的结构图；
步骤4，应用识别模型进行检测，对检测结果进行质量评估以动态调整量化网络的精度。
进一步的，步骤1的具体方法如下：
步骤1.1：选取公共的作为原始数据集，该数据集包含包括电力设备在内的地面实体的航拍图像，其具有多个地物类别，从中选取与电力设备相关的图片集5种，每种100张图片，每张图像/>的分辨率为408×408；
步骤1.2：利用工具对输入图像/>进行预处理，使用/>数据增强方法优化图像结构。
进一步的，步骤2的具体方法如下：
步骤2.1：将预处理图像输入到主干特征提取网络，首先输入到一个卷积模块，利用/>激活函数增加神经网络的表示能力，得到输出特征图像/>，网络的每个残差块入口增加一个通道升维降维的1×1卷积层，让卷积层卷积核的通道数减少至原来的1/4；
步骤2.2：对网络中的残差块结构进行修改，残差边采用量化，在残差块循环卷积部分采用多精度量化，按序使用4次/>量化、2次/>量化和1次/>量化，分别得到不同量化精度的残差特征/> ，将不同精度的量化特征结果按比例进行累加以得到残差特征的中间结果/>；
步骤2.3：对中间结果采用残差块标准化/>进行标准化处理，/>方法通过通道仿射改变数据分布，以平衡不同量化精度的卷积结果；
步骤2.4：对残差结构中的残差边进行调整，取消残差边的激活层，将累加计算提前到层之后；
步骤2.5：中间结果经过归一化以及激活函数之后以得到该残差块的特征结果/>；
步骤2.6：将特征按序输入其余的残差块得到最终的主干网特征/>。
进一步的，所述步骤2.2中的多精度残差量化方法具体如下：
上式中，为/>量化精度下的残差特征，/>是权重，由不同精度循环次数决定，/>是由/>输入残差块得出的残差特征，/>是/>的位宽运算，是矩阵偏置。
进一步的，对中间结果采用残差块标准化/>进行标准化处理，标准化处理方法如下：
其中，和/>是特征/>各通道的平均值和方差，/>为预设的系数，/>和/>是可学习的缩放比例和移位系数，/>是各个池化核累加的学习比例，/>初始值为1，/>为0，输入的/>通过/>标准化方法改变数据分布，以平衡不同量化精度的卷积结果；
进一步的，步骤3的具体方法如下：
步骤3.1，应用或/>工具自带的量化函数对网络的特征整理层进行量化，减少整体运算参数；
步骤3.2，将主干网特征输入/>池化层，通过池化函数整合不同池化核的结果以增加感受野，分离出最显著的上下文特征/>，池化函数具体方法如下：
上式中，是池化核的个数，/>是图像零填充尺寸，/>是空洞卷积尺寸，默认为1，/>是当前池化核的大小，/>是池化步长，默认与池化核大小相同，/>取值为/>；
步骤3.3，将池化层得到的特征与主干网特征/>经过/>结构，经过特征的反复提取得到网络的先验框/>；
步骤3.4，对量化后的网络进行反复训练，在反向传播时优化梯度更新规则，将量化精度的训练参数/>与/>量化精度的训练参数/>的梯度分离，独立训练每个量化精度；
步骤3.5，将得到最终的识别模型通过嵌入式设备模拟软件模拟运行以检测是否满足性能需求。
进一步的，所述步骤3.4中的量化精度的训练参数/>的更新规则定义为：
上式中，是学习率，/>是第/>轮迭代的/>量化精度参数，/>是来自/>量化精度损失的比例，/>是/>精度量化的损失函数，/>为/>量化的损失函数。
进一步的，所述步骤4具体方法如下：
步骤4.1：对训练得到的模型进行实测，对预测结果进行解码，得到整个预测框的位置，对结果进行质量评估，检测是否满足监控设备性能限制以及任务需求；
步骤4.2：若不能满足4.1的条件，则动态调整量化的精度；动态调整包括采用更高精度的卷积层、增多残差结构的循环次数、增加高精度残差计算的比例中的一种或多种。
进一步的，所述步骤4.1中的质量评估如下：
计算质量评估的损失函数，假设图片压缩比例为，识别网络的损失函数为/>，质量评估的损失函数/>：
根据准确度的需求，确定质量评估损失函数的值，损失函数值如果超过阈值，则识别结果不能满足任务需求，则动态调整量化的精度。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理能够在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖点相一致的最宽的范围。
Claims (4)
1.一种电力监控识别场景下的多精度残差量化方法，其特征在于，该方法包括以下步骤：
步骤1，选取电力设备数据集，对数据集中的图像进行预处理；
步骤2，输入图像特征，在主干网残差结构中应用多精度残差量化方法得到主干网图像特征；
步骤3，通过池化层以及特征整理层对主干网图像特征进行整合，优化训练网络时梯度的更新规则，得到最终的电力监控识别模型；
步骤4，应用识别模型进行检测，对检测结果进行质量评估以动态调整量化网络的精度；
步骤3的具体方法如下：
步骤3.1，应用或/>工具自带的量化函数/>对网络的特征整理层进行量化，减少整体运算参数；
步骤3.2，将主干网特征输入/>池化层，通过池化函数整合不同池化核的结果以增加感受野，分离出最显著的上下文特征/>，池化函数具体方法如下：
；
上式中，是池化核的个数，/>是图像零填充尺寸，/>是空洞卷积尺寸，默认为1，/>是当前池化核的大小，/>是池化步长，默认与池化核大小相同，/>取值为/>；
步骤3.3，将池化层得到的特征与主干网特征/>经过/>结构，经过特征的反复提取得到网络的先验框/>；
步骤3.4，对量化后的网络进行反复训练，在反向传播时优化梯度更新规则，将量化精度的训练参数/>与/>量化精度的训练参数/>的梯度分离，独立训练每个量化精度；
步骤3.5，将得到最终的识别模型通过嵌入式设备模拟软件模拟运行以检测是否满足性能需求；
所述步骤3.4中的量化精度的训练参数/>的更新规则定义为：
；
上式中，是学习率，/>是第/>轮迭代的/>量化精度参数，/>是来自/>量化精度损失的比例，/>是/>精度量化的损失函数，/>为/>量化的损失函数;
步骤2的具体方法如下：
步骤2.1：将预处理图像输入到主干特征提取网络，首先输入到一个卷积模块，利用/>激活函数增加神经网络的表示能力，得到输出特征图像/>，网络的每个残差块入口增加一个通道升维降维的1×1卷积层，让卷积层卷积核的通道数减少至原来的1/4；
步骤2.2：对网络中的残差块结构进行修改，残差边采用量化，在残差块循环卷积部分采用多精度量化，按序使用4次/>量化、2次/>量化和1次/>量化，分别得到不同量化精度的残差特征 />，将不同精度的量化特征结果按比例进行累加以得到残差特征的中间结果/>；
步骤2.3：对中间结果采用残差块标准化/>进行标准化处理，/>方法通过通道仿射改变数据分布，以平衡不同量化精度的卷积结果；
步骤2.4：对残差结构中的残差边进行调整，取消残差边的激活层，将累加计算提前到层之后；
步骤2.5：中间结果经过归一化以及激活函数之后以得到该残差块的特征结果；
步骤2.6：将特征按序输入其余的残差块得到最终的主干网特征/>；
所述步骤2.2中的多精度残差量化方法具体如下：
；
上式中，为/>量化精度下的残差特征，/>是权重，由不同精度循环次数决定，/>是由/>输入残差块得出的残差特征，/>是/>的位宽运算，/>是矩阵偏置；
对中间结果采用残差块标准化/>进行标准化处理，标准化处理方法如下：
；
其中，和 />是特征/>各通道的平均值和方差，/>为预设的系数，/>和 />是可学习的缩放比例和移位系数，/>是各个池化核累加的学习比例，/>初始值为1，/>为0，输入的/>通过/>标准化方法改变数据分布，以平衡不同量化精度的卷积结果。
2.根据权利要求1所述的一种电力监控识别场景下的多精度残差量化方法，其特征在于，步骤1的具体方法如下：
步骤1.1：选取公共的 作为原始数据集，该数据集包含包括电力设备在内的地面实体的航拍图像，其具有多个地物类别，从中选取与电力设备相关的图片集5种，每种100张图片，每张图像/>的分辨率为408×408；
步骤1.2：利用工具对输入图像/>进行预处理，使用/>数据增强方法优化图像结构。
3.根据权利要求1所述的一种电力监控识别场景下的多精度残差量化方法，其特征在于，所述步骤4具体方法如下：
步骤4.1：对训练得到的模型进行实测，对预测结果进行解码，得到整个预测框的位置，对结果进行质量评估，检测是否满足监控设备性能限制以及任务需求；
步骤4.2：若不能满足4.1的条件，则动态调整量化的精度；动态调整包括采用更高精度的卷积层、增多残差结构的循环次数、增加高精度残差计算的比例中的一种或多种。
4.根据权利要求3所述的一种电力监控识别场景下的多精度残差量化方法，其特征在于，所述步骤4.1中的质量评估如下：
计算质量评估的损失函数，假设图片压缩比例为，识别网络的损失函数为/>，质量评估的损失函数/>：
；
根据准确度的需求，确定质量评估损失函数的值，损失函数值如果超过阈值，则识别结果不能满足任务需求，则动态调整量化的精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410304029.2A CN117893975B (zh) | 2024-03-18 | 2024-03-18 | 一种电力监控识别场景下的多精度残差量化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410304029.2A CN117893975B (zh) | 2024-03-18 | 2024-03-18 | 一种电力监控识别场景下的多精度残差量化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117893975A CN117893975A (zh) | 2024-04-16 |
| CN117893975B true CN117893975B (zh) | 2024-05-28 |
Family
ID=90639745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410304029.2A Active CN117893975B (zh) | 2024-03-18 | 2024-03-18 | 一种电力监控识别场景下的多精度残差量化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117893975B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414670A (zh) * | 2019-07-03 | 2019-11-05 | 南京信息工程大学 | 一种基于全卷积神经网络的图像拼接篡改定位方法 |
| CN111507884A (zh) * | 2020-04-19 | 2020-08-07 | 衡阳师范学院 | 一种基于深层卷积神经网络的自适应图像隐写分析方法及系统 |
| CN112380952A (zh) * | 2020-11-10 | 2021-02-19 | 广西大学 | 基于人工智能的电力设备红外图像实时检测及识别方法 |
| CN113313250A (zh) * | 2021-05-13 | 2021-08-27 | 中国科学院计算技术研究所 | 采用混合精度量化与知识蒸馏的神经网络训练方法及系统 |
| CN113537474A (zh) * | 2021-07-29 | 2021-10-22 | 浙江大学 | 多精度量化元神经网络训练及精度选取方法 |
| WO2022062828A1 (zh) * | 2020-09-23 | 2022-03-31 | 深圳云天励飞技术股份有限公司 | 图像模型训练、图像处理方法、芯片、设备及介质 |
| CN115116054A (zh) * | 2022-07-13 | 2022-09-27 | 江苏科技大学 | 一种基于多尺度轻量级网络的病虫害识别方法 |
| CN115620272A (zh) * | 2022-10-20 | 2023-01-17 | 杭州海康威视数字技术股份有限公司 | 评估模型性能的方法、装置、计算机设备及可读存储介质 |
| CN116502691A (zh) * | 2023-03-22 | 2023-07-28 | 山东海量信息技术研究院 | 一种应用于fpga的深度卷积神经网络混合精度量化方法 |
| CN116721305A (zh) * | 2023-04-11 | 2023-09-08 | 天津大学 | 一种基于神经网络结构搜索的混合精度量化感知训练方法 |
| WO2023185243A1 (zh) * | 2022-03-29 | 2023-10-05 | 河南工业大学 | 基于注意力调制上下文空间信息的表情识别方法 |
| CN117392406A (zh) * | 2023-11-07 | 2024-01-12 | 四川大学 | 一种单阶段实时目标检测模型低位宽混合精度量化方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021222656A1 (en) * | 2020-04-29 | 2021-11-04 | Qualcomm Incorporated | Joint mixed-precision quantization and structured pruning using decomposed quantization and bayesian gates |
-
2024
- 2024-03-18 CN CN202410304029.2A patent/CN117893975B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414670A (zh) * | 2019-07-03 | 2019-11-05 | 南京信息工程大学 | 一种基于全卷积神经网络的图像拼接篡改定位方法 |
| CN111507884A (zh) * | 2020-04-19 | 2020-08-07 | 衡阳师范学院 | 一种基于深层卷积神经网络的自适应图像隐写分析方法及系统 |
| WO2022062828A1 (zh) * | 2020-09-23 | 2022-03-31 | 深圳云天励飞技术股份有限公司 | 图像模型训练、图像处理方法、芯片、设备及介质 |
| CN112380952A (zh) * | 2020-11-10 | 2021-02-19 | 广西大学 | 基于人工智能的电力设备红外图像实时检测及识别方法 |
| CN113313250A (zh) * | 2021-05-13 | 2021-08-27 | 中国科学院计算技术研究所 | 采用混合精度量化与知识蒸馏的神经网络训练方法及系统 |
| CN113537474A (zh) * | 2021-07-29 | 2021-10-22 | 浙江大学 | 多精度量化元神经网络训练及精度选取方法 |
| WO2023185243A1 (zh) * | 2022-03-29 | 2023-10-05 | 河南工业大学 | 基于注意力调制上下文空间信息的表情识别方法 |
| CN115116054A (zh) * | 2022-07-13 | 2022-09-27 | 江苏科技大学 | 一种基于多尺度轻量级网络的病虫害识别方法 |
| CN115620272A (zh) * | 2022-10-20 | 2023-01-17 | 杭州海康威视数字技术股份有限公司 | 评估模型性能的方法、装置、计算机设备及可读存储介质 |
| CN116502691A (zh) * | 2023-03-22 | 2023-07-28 | 山东海量信息技术研究院 | 一种应用于fpga的深度卷积神经网络混合精度量化方法 |
| CN116721305A (zh) * | 2023-04-11 | 2023-09-08 | 天津大学 | 一种基于神经网络结构搜索的混合精度量化感知训练方法 |
| CN117392406A (zh) * | 2023-11-07 | 2024-01-12 | 四川大学 | 一种单阶段实时目标检测模型低位宽混合精度量化方法 |
Non-Patent Citations (2)
| Title |
|---|
| "面向嵌入式的卷积神经网络硬件加速器设计";唐蕊等;《计算机工程与应用》;20211231;第57卷(第4期);252-257 * |
| "Lightweight Real-time Object Detection Model for UAV Platform";Xueli Wang等;《2021 International Conference on Computer Communication and Artificial Intelligence (CCAI)》;20210609;20-24 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117893975A (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109002889B (zh) | 自适应迭代式卷积神经网络模型压缩方法 | |
| CN111242180B (zh) | 一种基于轻量化卷积神经网络的图像识别方法及系统 | |
| CN110175641B (zh) | 图像识别方法、装置、设备和存储介质 | |
| CN109344893B (zh) | 一种基于移动终端的图像分类方法 | |
| CN112329922A (zh) | 一种基于质谱数据集的神经网络模型压缩方法及系统 | |
| CN111178514A (zh) | 神经网络的量化方法及系统 | |
| CN110929836B (zh) | 神经网络训练及图像处理方法和装置、电子设备、介质 | |
| CN108734287A (zh) | 深度神经网络模型的压缩方法及装置、终端、存储介质 | |
| CN112686384B (zh) | 一种自适应比特位宽的神经网络量化方法及其装置 | |
| CN109949200B (zh) | 基于滤波器子集选择和cnn的隐写分析框架构建方法 | |
| CN114913379B (zh) | 基于多任务动态对比学习的遥感图像小样本场景分类方法 | |
| CN113569881A (zh) | 一种基于链式残差与注意力机制的自适应语义分割方法 | |
| CN110647990A (zh) | 基于灰色关联分析的深度卷积神经网络模型的裁剪方法 | |
| CN114707637A (zh) | 一种神经网络量化部署方法、系统及存储介质 | |
| CN110503135A (zh) | 用于电力设备边缘侧识别的深度学习模型压缩方法及系统 | |
| CN114677548A (zh) | 基于阻变存储器的神经网络图像分类系统及方法 | |
| CN112101543A (zh) | 神经网络模型确定方法、装置、电子设备及可读存储介质 | |
| CN112613604A (zh) | 神经网络的量化方法及装置 | |
| CN114861907A (zh) | 数据计算方法、装置、存储介质和设备 | |
| WO2022246986A1 (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
| CN117893975B (zh) | 一种电力监控识别场景下的多精度残差量化方法 | |
| KR102657904B1 (ko) | 뉴럴 네트워크에서의 다중 레벨 단계적 양자화 방법 및 장치 | |
| CN112561050B (zh) | 一种神经网络模型训练方法及装置 | |
| CN113177627B (zh) | 优化系统、重新训练系统及其方法及处理器和可读介质 | |
| CN114139678A (zh) | 卷积神经网络量化方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |