CN116126815A - 基于剪枝和量化训练的自动驾驶模型压缩方法及装置 - Google Patents

基于剪枝和量化训练的自动驾驶模型压缩方法及装置 Download PDF

Info

Publication number
CN116126815A
CN116126815A CN202211574926.2A CN202211574926A CN116126815A CN 116126815 A CN116126815 A CN 116126815A CN 202211574926 A CN202211574926 A CN 202211574926A CN 116126815 A CN116126815 A CN 116126815A
Authority
CN
China
Prior art keywords
model
automatic driving
pruning
pruned
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211574926.2A
Other languages
English (en)
Inventor
陆强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Network Technology Shanghai Co Ltd
Original Assignee
International Network Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Network Technology Shanghai Co Ltd filed Critical International Network Technology Shanghai Co Ltd
Priority to CN202211574926.2A priority Critical patent/CN116126815A/zh
Publication of CN116126815A publication Critical patent/CN116126815A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1847—File system types specifically adapted to static storage, e.g. adapted to flash memory or SSD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提供一种基于剪枝和量化训练的自动驾驶模型压缩方法及装置，本发明可应用于自动驾驶领域，基于剪枝和量化训练的自动驾驶模型压缩方法包括根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；根据待剪枝项计算当前模型剪枝率；在当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对待剪枝自动驾驶预训练网络模型进行剪枝；对剪枝后模型进行微调操作，输出自动驾驶压缩模型。根据量化损失筛选出待剪枝项可以在剪枝时考虑对量化操作带来的影响，因此剪枝后的模型对量化更友好，减少量化时的精度损失，提升模型压缩效果，并且，减小硬件的存储空间，不需要昂贵的计算资源，降低模型推理时间，满足自动驾驶实时控制需求。

Description

基于剪枝和量化训练的自动驾驶模型压缩方法及装置
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种基于剪枝和量化训练的自动驾驶模型压缩方法及装置。
背景技术
随着自动驾驶技术和深度学习的蓬勃发展，自动驾驶模型变得越来越复杂，随之而来的模型参数也越来越多，模型越来越复杂，复杂的模型会对存储空间、计算资源有更高要求，而且复杂的模型会增加模型的推理时间，在自动驾驶场景中，通过模型对获取的数据进行实时分析，根据实时分析结果控制驾驶是非常重要的。模型压缩技术可以提高推理速度，降低模型参数量和运算量，因此自动驾驶模型计算加速领域得到广泛应用。传统压缩方法包括模型量化和模型剪枝方法，但是无论是模型剪枝还是模型量化，压缩效果都不理想，模型部署耗时长。相关技术中，使用先模型剪枝再模型量化的方法进行模型压缩，由于剪枝后的模型其各层的参数范围改变了，有些层的权重参数方差较大、离群点较多，而量化模型的输入条件是权重参数方差小，因此会导致剪枝后模型不适合做量化处理，量化精度损失严重，整个模型压缩效果不佳，对硬件的存储空间、计算资源要求高，模型的推理时间长，不满足自动驾驶实时控制需求。
发明内容
本发明提供一种基于剪枝和量化训练的自动驾驶模型压缩方法及装置，用以解决相关技术中使用先模型剪枝再模型量化的方法进行模型压缩时，剪枝后模型不适合做量化处理，量化精度损失严重，整个模型压缩效果不佳，对硬件的存储空间、计算资源要求高，模型的推理时间长，不满足自动驾驶实时控制需求的缺陷。
本发明提供一种基于剪枝和量化训练的自动驾驶模型压缩方法，包括：
根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；
根据所述待剪枝项计算当前模型剪枝率；
在所述当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对所述待剪枝自动驾驶预训练网络模型进行剪枝；
对剪枝后模型进行微调操作，输出自动驾驶压缩模型。
根据本发明提供的基于剪枝和量化训练的自动驾驶模型压缩方法，所述量化损失计算方法，包括：
对所述待剪枝自动驾驶预训练网络模型中第j层的第i个通道进行模拟剪枝；
对模拟剪枝后模型的第j层进行量化得到模拟剪枝模型；
计算所述待剪枝自动驾驶预训练网络模型根据测试集输出测试结果的第一正确率，所述模拟剪枝模型根据测试集输出测试结果的第二正确率；
将所述第一正确率和第二正确率的差值作为量化损失。
根据本发明提供的基于剪枝和量化训练的自动驾驶模型压缩方法，所述量化的具体方法，包括：
将模型特征数据中的浮点数数据转换为整型数据。
根据本发明提供的基于剪枝和量化训练的自动驾驶模型压缩方法，所述根据量化损失筛选出所述待剪枝自动驾驶预训练网络模型中的待剪枝项，包括：
在所述当前模型剪枝率小于预设剪枝目标时，依次分析所述待剪枝自动驾驶预训练网络模型中各层中各通道的量化损失，对得到的量化损失进行排序，将最小值所对应的某层的某个通道作为待剪枝项。
根据本发明提供的基于剪枝和量化训练的自动驾驶模型压缩方法，所述按照筛选出的待剪枝项对所述待剪枝自动驾驶预训练网络模型进行剪枝，包括：
为所述待剪枝项的权重参数的反向传播梯度添加惩罚项；
根据所述惩罚项将所述权重参数的反向传播梯度逐渐逼近0。
根据本发明提供的基于剪枝和量化训练的自动驾驶模型压缩方法，所述对剪枝后模型进行微调操作，包括：
在预设模型训练迭代次数内，每次训练迭代时计算模型基于训练集输出结果与实际结果的微调损失函数；
根据所述微调损失函数计算模型各层权重参数的反向传播梯度；
为所述待剪枝项的权重参数的反向传播梯度添加惩罚项；
更新各层权重参数，以使所述待剪枝项的权重参数的反向传播梯度逐渐逼近0。
根据本发明提供的基于剪枝和量化训练的自动驾驶模型压缩方法，所述当前模型剪枝率为当前模型的浮点运算数下降百分比。
本发明还提供一种自动驾驶场景中图像识别方法，包括：
获取待识别的图像；
将所述待识别的图像输入自动驾驶压缩模型，得到图像识别结果，所述自动驾驶压缩模型根据上述任一项所述的基于剪枝和量化训练的自动驾驶模型压缩方法得到。
本发明还提供一种基于剪枝和量化训练的自动驾驶模型压缩装置，包括：
筛选模块，用于根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；
计算模块，用于根据所述待剪枝项计算当前模型剪枝率；
剪枝模块，用于在所述当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对所述待剪枝自动驾驶预训练网络模型进行剪枝；
微调模块，用于对剪枝后模型进行微调操作，输出自动驾驶压缩模型。
本发明还提供一种自动驾驶场景中图像识别装置，包括：
获取模块，用于获取待识别的图像；
识别模块，用于将所述待识别的图像输入自动驾驶压缩模型，得到图像识别结果，所述自动驾驶压缩模型根据上述任一项所述的基于剪枝和量化训练的自动驾驶模型压缩方法得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的基于剪枝和量化训练的自动驾驶模型压缩方法，和/或，如权利要求8所述的自动驾驶场景中图像识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于剪枝和量化训练的自动驾驶模型压缩方法，和/或，如权利要求8所述的自动驾驶场景中图像识别方法。
本发明提供的一种基于剪枝和量化训练的自动驾驶模型压缩方法及装置，通过根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；根据待剪枝项计算当前模型剪枝率；在当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对待剪枝自动驾驶预训练网络模型进行剪枝；对剪枝后模型进行微调操作，输出自动驾驶压缩模型，根据量化损失筛选出待剪枝项可以在剪枝时考虑对量化操作带来的影响，因此剪枝后的模型对量化更友好，减少量化时的精度损失，提升模型压缩效果，满足部署耗时需求，并且，减小硬件的存储空间，不需要昂贵的计算资源，降低模型推理时间，满足自动驾驶实时控制需求。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于剪枝和量化训练的自动驾驶模型压缩方法的流程示意图之一；
图2是本发明提供的基于剪枝和量化训练的自动驾驶模型压缩方法的流程示意图之二；
图3是本发明提供的基于剪枝和量化训练的自动驾驶模型压缩方法的流程示意图之三；
图4是本发明提供的基于剪枝和量化训练的自动驾驶模型压缩方法的流程示意图之四；
图5是本发明提供的基于剪枝和量化训练的自动驾驶模型压缩装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的基于剪枝和量化训练的自动驾驶模型压缩方法的流程图，如图1所示，本发明实施例提供的基于剪枝和量化训练的自动驾驶模型压缩方法包括：
步骤101、根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；
在本发明实施例中，自动驾驶预训练网络模型为根据训练数据训练好的模型；自动驾驶预训练网络模型例如为车辆分类模型，将训练数据输入自动驾驶预训练车辆分类网络模型可以得到车辆分类结果。需要说明的是，本发明对自动驾驶预训练网络模型的具体功能不做限定，本领域技术人员可以根据实际需要选取。
在本发明实施例中，剪枝时，如果待剪枝项(待剪枝通道)的权重参数的方差较小，则说明适合量化，则尽量不剪枝该层，剪枝那些权重参数方差较大的层中的通道。
通过对待剪枝项进行预先筛选，可以避免将适合剪枝的通道删除，以使剪枝后的模型适合做量化处理，减小量化损失。
步骤102、根据待剪枝项计算当前模型剪枝率；
在本发明实施例中，当前模型剪枝率为当前模型的浮点运算数下降百分比，当前模型的浮点运算数(floating point operations，FLOPs)，可以用来衡量算法/模型的复杂度。
步骤103、在当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对待剪枝自动驾驶预训练网络模型进行剪枝；
在本发明实施例中，预设剪枝目标为当前模型的浮点运算数下降百分比阈值，例如设置为50％、70％等，需要说明的是，本申请对剪枝目标的具体值不做限定，本领域技术人员可以根据实际需要设定。
步骤104、对剪枝后模型进行微调操作，输出自动驾驶压缩模型。
通过对不适合量化的通道进行剪枝，可以降低自动驾驶模型参数量和运算量，输出的自动驾驶压缩模型可以减小硬件的存储空间，不需要昂贵的计算资源，模型推理时间短，满足自动驾驶实时控制需求。
传统压缩方法包括模型量化和模型剪枝方法，但是无论是模型剪枝还是模型量化，压缩效果都不理想，模型部署耗时长。相关技术中，使用先模型剪枝再模型量化的方法进行模型压缩，由于剪枝后的模型其各层的参数范围改变了，有些层的权重参数方差较大、离群点较多，而量化模型的输入条件是权重参数方差小，因此会导致剪枝后模型不适合做量化处理，量化精度损失严重，整个模型压缩效果不佳，不满足用户需求。
本发明提供的一种基于剪枝和量化训练的自动驾驶模型压缩方法，通过根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；根据待剪枝项计算当前模型剪枝率；在当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对待剪枝自动驾驶预训练网络模型进行剪枝；对剪枝后模型进行微调操作，输出自动驾驶压缩模型，根据量化损失筛选出待剪枝项可以在剪枝时考虑对量化操作带来的影响，因此剪枝后的模型对量化更友好，减少量化时的精度损失，提升模型压缩效果，满足部署耗时需求，并且，减小硬件的存储空间，不需要昂贵的计算资源，降低模型推理时间，满足自动驾驶实时控制需求。
基于上述任一实施例，如图2所示，该量化损失计算方法，包括：
步骤201、对待剪枝自动驾驶预训练网络模型中第j层的第i个通道进行模拟剪枝；
步骤202、对模拟剪枝后模型的第j层进行量化得到模拟剪枝模型；
量化是指将信号的连续取值近似为有限多个离散值的过程，是一种信息压缩的方法，量化可以减少存储权重的bit，将权重存储在更小的空间中；权重不需要以高精度方式存储，甚至不应该以高精度方式存储；在本发明实施例中，量化的具体方法，包括：
将模型特征数据中的浮点数数据转换为整型数据。
步骤203、计算待剪枝自动驾驶预训练网络模型根据测试集输出测试结果的第一正确率，以及，模拟剪枝模型根据测试集输出测试结果的第二正确率，将第一正确率和第二正确率的差值作为量化损失。
基于上述任一实施例，根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项，包括：
在当前模型剪枝率小于预设剪枝目标时，依次分析待剪枝自动驾驶预训练网络模型中各层中各通道的量化损失，对得到的量化损失进行排序，将最小值所对应的某层的某个通道作为待剪枝项。
在本发明一些实施例中，将每次筛选出的待剪枝项存储收集到整体剪枝配置项中，
根据整体剪枝配置项中当前存在的待剪枝项计算当前模型剪枝率；
若当前模型剪枝率没有达到预设剪枝目标，需重新从模型中筛选待剪枝项存储收集到整体剪枝配置项中，直至当前模型剪枝率达到预设剪枝目标。
基于上述任一实施例，如图3所示，按照筛选出的待剪枝项对待剪枝自动驾驶预训练网络模型进行剪枝，包括：
步骤301、为待剪枝项的权重参数的反向传播梯度添加惩罚项；
在本发明实施例中，惩罚项公式为
Figure BDA0003988953000000081
w为待剪枝项权重。
步骤302、根据惩罚项将权重参数的反向传播梯度逐渐逼近0。
在一个通道的权重参数的反向传播梯度为0时，视为该通道剪枝完成。
在本发明实施例中，通过对模型剪枝，可以提升剪枝后模型的部署速度，满足用户需求。
基于上述任一实施例，如图4所示，对剪枝后模型进行微调操作，包括：
步骤401、在预设模型训练迭代次数内，每次训练迭代时计算模型基于训练集输出结果与实际结果的微调损失函数；
步骤402、根据微调损失函数计算模型各层权重参数的反向传播梯度；
步骤403、为待剪枝项的权重参数的反向传播梯度添加惩罚项；
步骤404、更新各层权重参数，以使待剪枝项的权重参数的反向传播梯度逐渐逼近0。
在本发明实施例中，通过对剪枝后模型进行微调，可以进一步提升模型压缩效果。
本发明实施例提供的基于剪枝和量化训练的自动驾驶模型压缩方法，剪枝时考虑对量化操作带来的影响，因此剪枝后的模型对量化更友好，减少量化时的精度损失，减少模型部署耗时。
本发明还提供一种自动驾驶场景中图像识别方法，包括：
获取待识别的图像；
将所述待识别的图像输入自动驾驶压缩模型，得到图像识别结果，所述自动驾驶压缩模型根据上述任一项所述的基于剪枝和量化训练的自动驾驶模型压缩方法得到。
本发明提供的一种自动驾驶场景中图像识别方法，通过获取待识别的图像；将待识别的图像输入自动驾驶压缩模型，得到图像识别结果，自动驾驶压缩模型根据上述实施例所述的基于剪枝和量化训练的自动驾驶模型压缩方法得到，可以提高识别效率。
下面对本发明提供的基于剪枝和量化训练的自动驾驶模型压缩装置进行描述，下文描述的基于剪枝和量化训练的自动驾驶模型压缩装置与上文描述的基于剪枝和量化训练的自动驾驶模型压缩方法可相互对应参照。
图5为本发明实施例提供的基于剪枝和量化训练的自动驾驶模型压缩装置的示意图，如图5所示，本发明实施例提供的基于剪枝和量化训练的自动驾驶模型压缩装置包括：
筛选模块501，用于根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；
计算模块502，用于根据待剪枝项计算当前模型剪枝率；
剪枝模块503，用于在当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对待剪枝自动驾驶预训练网络模型进行剪枝；
微调模块504，用于对剪枝后模型进行微调操作，输出自动驾驶压缩模型。
本发明提供的一种基于剪枝和量化训练的自动驾驶模型压缩装置，通过根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；根据待剪枝项计算当前模型剪枝率；在当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对待剪枝自动驾驶预训练网络模型进行剪枝；对剪枝后模型进行微调操作，输出自动驾驶压缩模型，根据量化损失筛选出待剪枝项可以在剪枝时考虑对量化操作带来的影响，因此剪枝后的模型对量化更友好，减少量化时的精度损失，提升模型压缩效果，满足部署耗时需求。
在本发明实施例中，筛选模块501中被配置为：
在当前模型剪枝率小于预设剪枝目标时，依次分析所述待剪枝自动驾驶预训练网络模型中各层中各通道的量化损失，对得到的量化损失进行排序，将最小值所对应的某层的某个通道作为待剪枝项。
进一步的，量化损失具体计算方法包括：
对待剪枝自动驾驶预训练网络模型中第j层的第i个通道进行模拟剪枝；
对模拟剪枝后模型的第j层进行量化得到模拟剪枝模型；
计算待剪枝自动驾驶预训练网络模型根据测试集输出测试结果的第一正确率，所述模拟剪枝模型根据测试集输出测试结果的第二正确率；
将第一正确率和第二正确率的差值作为量化损失。
进一步的，筛选模块501中量化的具体方法，包括：
将模型特征数据中的浮点数数据转换为整型数据。
在本发明实施例中，计算模块502被配置为：
当前模型剪枝率为当前模型的浮点运算数下降百分比。
在本发明实施例中，剪枝模块503被配置为：
为待剪枝项的权重参数的反向传播梯度添加惩罚项；
根据惩罚项将权重参数的反向传播梯度逐渐逼近0。
在本发明实施例中，微调模块504被配置为：
在预设模型训练迭代次数内，每次训练迭代时计算模型基于训练集输出结果与实际结果的微调损失函数；
根据所述微调损失函数计算模型各层权重参数的反向传播梯度；
为所述待剪枝项的权重参数的反向传播梯度添加惩罚项；
更新各层权重参数，以使所述待剪枝项的权重参数的反向传播梯度逐渐逼近0。
本发明提供的一种基于剪枝和量化训练的自动驾驶模型压缩装置，剪枝时考虑对量化操作带来的影响，因此剪枝后的模型对量化更友好，减少量化时的精度损失，减少模型部署耗时。
本发明还提供一种自动驾驶场景中图像识别装置，包括：
获取模块，用于获取待识别的图像；
识别模块，用于将所述待识别的图像输入自动驾驶压缩模型，得到图像识别结果，所述自动驾驶压缩模型根据上述实施例所述的基于剪枝和量化训练的自动驾驶模型压缩方法得到。
本发明提供的一种自动驾驶场景中图像识别装置，通过获取待识别的图像；将待识别的图像输入自动驾驶压缩模型，得到图像识别结果，自动驾驶压缩模型根据上述实施例所述的基于剪枝和量化训练的自动驾驶模型压缩方法得到，可以提高识别效率。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(CommunicationsInterface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于剪枝和量化训练的自动驾驶模型压缩方法，该方法包括：根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；根据待剪枝项计算当前模型剪枝率；在当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对待剪枝自动驾驶预训练网络模型进行剪枝；对剪枝后模型进行微调操作，输出自动驾驶压缩模型；执行自动驾驶场景中图像识别方法，该方法包括：获取待识别的图像；将所述待识别的图像输入自动驾驶压缩模型，得到图像识别结果，所述自动驾驶压缩模型根据上述任一项所述的基于剪枝和量化训练的自动驾驶模型压缩方法得到。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于剪枝和量化训练的自动驾驶模型压缩方法，该方法包括：根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；根据待剪枝项计算当前模型剪枝率；在当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对待剪枝自动驾驶预训练网络模型进行剪枝；对剪枝后模型进行微调操作，输出自动驾驶压缩模型；执行自动驾驶场景中图像识别方法，该方法包括：获取待识别的图像；将所述待识别的图像输入自动驾驶压缩模型，得到图像识别结果，所述自动驾驶压缩模型根据上述任一项所述的基于剪枝和量化训练的自动驾驶模型压缩方法得到。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，包括：
根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；
根据所述待剪枝项计算当前模型剪枝率；
在所述当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对所述待剪枝自动驾驶预训练网络模型进行剪枝；
对剪枝后模型进行微调操作，输出自动驾驶压缩模型。
2.根据权利要求1所述的一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，所述量化损失计算方法，包括：
对所述待剪枝自动驾驶预训练网络模型中第j层的第i个通道进行模拟剪枝；
对模拟剪枝后模型的第j层进行量化得到模拟剪枝模型；
计算所述待剪枝自动驾驶预训练网络模型根据测试集输出测试结果的第一正确率，以及，模拟剪枝模型根据测试集输出测试结果的第二正确率；
将所述第一正确率和第二正确率的差值作为量化损失。
3.根据权利要求2所述的一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，所述量化的具体方法，包括：
将模型特征数据中的浮点数数据转换为整型数据。
4.根据权利要求3所述的一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，所述根据量化损失筛选出所述待剪枝自动驾驶预训练网络模型中的待剪枝项，包括：
在所述当前模型剪枝率小于预设剪枝目标时，依次分析所述待剪枝自动驾驶预训练网络模型中各层中各通道的量化损失；
对得到的量化损失进行排序，将最小值所对应的某层的某个通道作为待剪枝项。
5.根据权利要求1所述的一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，所述按照筛选出的待剪枝项对所述待剪枝自动驾驶预训练网络模型进行剪枝，包括：
为所述待剪枝项的权重参数的反向传播梯度添加惩罚项；
根据所述惩罚项将所述权重参数的反向传播梯度逐渐逼近0。
6.根据权利要求5所述的一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，所述对剪枝后模型进行微调操作，包括：
在预设模型训练迭代次数内，每次训练迭代时计算模型基于训练集输出结果与实际结果的微调损失函数；
根据所述微调损失函数计算模型各层权重参数的反向传播梯度；
为所述待剪枝项的权重参数的反向传播梯度添加惩罚项；
更新各层权重参数，以使所述待剪枝项的权重参数的反向传播梯度逐渐逼近0。
7.根据权利要求1所述的一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，所述当前模型剪枝率为当前模型的浮点运算数下降百分比。
8.一种自动驾驶场景中图像识别方法，其特征在于，包括：
获取待识别的图像；
将所述待识别的图像输入自动驾驶压缩模型，得到图像识别结果，所述自动驾驶压缩模型根据权利要求1至7任一项所述的基于剪枝和量化训练的自动驾驶模型压缩方法得到。
9.一种基于剪枝和量化训练的自动驾驶模型压缩装置，其特征在于，包括：
筛选模块，用于根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；
计算模块，用于根据所述待剪枝项计算当前模型剪枝率；
剪枝模块，用于在所述当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对所述待剪枝自动驾驶预训练网络模型进行剪枝；
微调模块，用于对剪枝后模型进行微调操作，输出自动驾驶压缩模型。
10.一种自动驾驶场景中图像识别装置，其特征在于，包括：
获取模块，用于获取待识别的图像；
识别模块，用于将所述待识别的图像输入自动驾驶压缩模型，得到图像识别结果，所述自动驾驶压缩模型根据权利要求1至7任一项所述的基于剪枝和量化训练的自动驾驶模型压缩方法得到。
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于剪枝和量化训练的自动驾驶模型压缩方法，和/或，如权利要求8所述的自动驾驶场景中图像识别方法。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于剪枝和量化训练的自动驾驶模型压缩方法，和/或，如权利要求8所述的自动驾驶场景中图像识别方法。
CN202211574926.2A 2022-12-08 2022-12-08 基于剪枝和量化训练的自动驾驶模型压缩方法及装置 Pending CN116126815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211574926.2A CN116126815A (zh) 2022-12-08 2022-12-08 基于剪枝和量化训练的自动驾驶模型压缩方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211574926.2A CN116126815A (zh) 2022-12-08 2022-12-08 基于剪枝和量化训练的自动驾驶模型压缩方法及装置

Publications (1)

Publication Number Publication Date
CN116126815A true CN116126815A (zh) 2023-05-16

Family

ID=86294779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211574926.2A Pending CN116126815A (zh) 2022-12-08 2022-12-08 基于剪枝和量化训练的自动驾驶模型压缩方法及装置

Country Status (1)

Country Link
CN (1) CN116126815A (zh)

Similar Documents

Publication Publication Date Title
TWI698807B (zh) 以類別為基礎修剪之人工類神經網路
CN110084221B (zh) 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
US20190050710A1 (en) Adaptive bit-width reduction for neural networks
CN112287986B (zh) 一种图像处理方法、装置、设备及可读存储介质
CN113241064B (zh) 语音识别、模型训练方法、装置、电子设备和存储介质
CN108595815B (zh) 人工智能体训练系统及无源电路优化设计系统及方法
CN113011532B (zh) 分类模型训练方法、装置、计算设备及存储介质
CN112507114A (zh) 一种基于词注意力机制的多输入lstm_cnn文本分类方法及系统
CN113761805A (zh) 一种基于时域卷积网络的可控源电磁数据去噪方法、系统、终端及可读存储介质
CN116324807A (zh) 神经架构和硬件加速器搜索
CN114580517A (zh) 一种图像识别模型的确定方法及装置
CN114742221A (zh) 深度神经网络模型剪枝方法、系统、设备及介质
CN113159419A (zh) 一种群体特征画像分析方法、装置、设备及可读存储介质
CN116884435A (zh) 一种基于音频提示学习的声音事件检测方法及装置
CN116126815A (zh) 基于剪枝和量化训练的自动驾驶模型压缩方法及装置
CN116306879A (zh) 数据处理方法、装置、电子设备以及存储介质
CN116128044A (zh) 一种模型剪枝方法、图像处理方法及相关装置
CN117999560A (zh) 机器学习模型的硬件感知渐进训练
CN112633516B (zh) 性能预测和机器学习编译优化方法及装置
CN111768764B (zh) 语音数据处理方法、装置、电子设备及介质
CN114118411A (zh) 图像识别网络的训练方法、图像识别方法及装置
CN113688989A (zh) 深度学习网络加速方法、装置、设备及存储介质
CN113139466A (zh) 基于单隐层神经网络的图像识别方法及相关设备
CN112668702B (zh) 定点化参数优化方法、系统、及终端、存储介质
CN116527411B (zh) 数据安全智能防护模型构建方法、装置及协作平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination