CN107220706A - 基于参数压缩和结构压缩的车载深度神经网络优化方法 - Google Patents

基于参数压缩和结构压缩的车载深度神经网络优化方法 Download PDF

Info

Publication number
CN107220706A
CN107220706A CN201611240883.9A CN201611240883A CN107220706A CN 107220706 A CN107220706 A CN 107220706A CN 201611240883 A CN201611240883 A CN 201611240883A CN 107220706 A CN107220706 A CN 107220706A
Authority
CN
China
Prior art keywords
network
deep neural
neural network
compression
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611240883.9A
Other languages
English (en)
Inventor
王曦
周冕
谢晓靓
宋健明
赵贵平
王震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enbotai (tianjin) Technology Co Ltd
Original Assignee
Enbotai (tianjin) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enbotai (tianjin) Technology Co Ltd filed Critical Enbotai (tianjin) Technology Co Ltd
Priority to CN201611240883.9A priority Critical patent/CN107220706A/zh
Publication of CN107220706A publication Critical patent/CN107220706A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明基于参数压缩和结构压缩的车载深度神经网络优化方法，基于参数压缩和结构压缩的车载深度神经网络优化方法，为了提高网络的性能，针对卷积网络进行的优化，实施步骤如下：1.对于特定层，可以使用级联的子网络来保证网络的性能。2.对于子网络可以设置较少的参数，并达到较好的性能。3.适当提高子网络的深度4.设置特殊的网络层，合并多个自网络的输出；这里r是一个远小于m，n的数，这样就大大降低了原始矩阵的维度，提高了计算的速度，本发明提升了深度神经网络的训练速度，提升了深度神经网络在嵌入式设备中的运行速度，降低了深度神经网络的参数规模。

Description

基于参数压缩和结构压缩的车载深度神经网络优化方法
技术领域
本发明专利属于神经网络优化领域，尤其涉及基于参数压缩和结构压缩的车载深度神经网络优化方法。
背景技术
随着中国汽车抱有辆的增多，中国的车祸也随之增多。因此ADAS(高级行车辅助系统)应运而生，并大大提高了行车的安全性。但是传统的ADAS有其先天的缺陷：对环境感知的性能不佳，只能感知有限的物体。近年来随着深度学习的发展，其强大的环境认知能力得到了越来越多研究者和工程师的认可，并将越来越广泛的得到应用。在汽车领域，环境感知也是也是其系统的重要组成部分，深度学习其强大的感知能力也应用到汽车系统上。但是由于深度神经网络具有参数多，计算复杂度高，导致其并不能直接应用于车载系统中。为此本发明提出了一种参数压缩和结构压缩的深度神经网络压缩方法，以此来降低网络的计算复杂度，
发明专利内容
基于参数压缩和结构压缩的车载深度神经网络优化方法，为了提高网络的性能，针对卷积网络进行的优化，实施步骤如下：
1.对于特定层，可以使用级联的子网络来保证网络的性能。
2.对于子网络可以设置较少的参数，并达到较好的性能。
3.适当提高子网络的深度
4.设置特殊的网络层，合并多个自网络的输出；
这里r是一个远小于m，n的数，这样就大大降低了原始矩阵的维度，提高了计算的速度。
进一步地，全链接网络是一个典型的矩阵计算方法，可以使用矩阵的方法进行参数压缩。假设全链接层的参数为A，对A进行SVD分解，公式如下
A＝UΣVT
进一步地，为了降低参数的格式，可以进行部分奇异值分解，如下：Am×n≈Um×r∑r× rVT r×n其中，r是一个远小于m，n的数，很大程度的降低了原始矩阵的维度。
本发明的有益效果在于：提升了深度神经网络的训练速度，提升了深度神经网络在嵌入式设备中的运行速度，降低了深度神经网络的参数规模。
附图说明
图1为设置网络的隐藏层结构示意图。
图2为设置网络的隐藏层结构示意图。
具体实施方式
实施例：
基于参数压缩和结构压缩的车载深度神经网络优化方法，其特征在于：为了提高网络的性能，针对卷积网络进行的优化，实施步骤如下：
1.对于特定层，可以使用级联的子网络来保证网络的性能。
2.对于子网络可以设置较少的参数，并达到较好的性能。
3.适当提高子网络的深度
4.设置特殊的网络层，合并多个自网络的输出；
这里r是一个远小于m，n的数，这样就大大降低了原始矩阵的维度，提高了计算的速度。
其中，全链接网络是一个典型的矩阵计算方法，可以使用矩阵的方法进行参数压缩。假设全链接层的参数为A，对A进行SVD分解，公式如下
A＝U∑VT
其中，为了降低参数的格式，可以进行部分奇异值分解，如下：
Am×n≈Um×r∑r×rVT r×n
其中，r是一个远小于m，n的数，很大程度的降低了原始矩阵的维度。
提升了深度神经网络的训练速度。提升了深度神经网络在嵌入式设备中的运行速度。降低了深度神经网络的参数规模。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.基于参数压缩和结构压缩的车载深度神经网络优化方法，其特征在于：为了提高网络的性能，针对卷积网络进行的优化，实施步骤如下：
1.对于特定层，可以使用级联的子网络来保证网络的性能。
2.对于子网络可以设置较少的参数，并达到较好的性能。
3.适当提高子网络的深度
4.设置特殊的网络层，合并多个自网络的输出；
这里r是一个远小于m，n的数，这样就大大降低了原始矩阵的维度，提高了计算的速度。
2.根据权利要求1所述的基于参数压缩和结构压缩的车载深度神经网络优化方法，其特征在于：全链接网络是一个典型的矩阵计算方法，可以使用矩阵的方法进行参数压缩。假设全链接层的参数为A，对A进行SVD分解，公式如下
A＝U∑VT 。
3.根据权利要求1所述的基于参数压缩和结构压缩的车载深度神经网络优化方法，其特征在于：为了降低参数的格式，可以进行部分奇异值分解，如下：
Am×n≈Um×r∑r×rVT r×n其中，r是一个远小于m，n的数，很大程度的降低了原始矩阵的维度。
CN201611240883.9A 2016-12-29 2016-12-29 基于参数压缩和结构压缩的车载深度神经网络优化方法 Pending CN107220706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611240883.9A CN107220706A (zh) 2016-12-29 2016-12-29 基于参数压缩和结构压缩的车载深度神经网络优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611240883.9A CN107220706A (zh) 2016-12-29 2016-12-29 基于参数压缩和结构压缩的车载深度神经网络优化方法

Publications (1)

Publication Number Publication Date
CN107220706A true CN107220706A (zh) 2017-09-29

Family

ID=59927486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611240883.9A Pending CN107220706A (zh) 2016-12-29 2016-12-29 基于参数压缩和结构压缩的车载深度神经网络优化方法

Country Status (1)

Country Link
CN (1) CN107220706A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729895A (zh) * 2017-10-18 2018-02-23 吉林大学 一种智能车adas系统目标检测方法及装置
CN107895192A (zh) * 2017-12-06 2018-04-10 广州华多网络科技有限公司 深度卷积网络压缩方法、存储介质和终端
CN109815969A (zh) * 2019-03-05 2019-05-28 上海骏聿数码科技有限公司 一种基于人工智能图像识别的特征提取方法及装置
TWI768167B (zh) * 2017-12-30 2022-06-21 大陸商中科寒武紀科技股份有限公司 集成電路芯片裝置及相關產品
US11651202B2 (en) 2017-12-30 2023-05-16 Cambricon Technologies Corporation Limited Integrated circuit chip device and related product
US11704544B2 (en) 2017-12-30 2023-07-18 Cambricon Technologies Corporation Limited Integrated circuit chip device and related product
US11710031B2 (en) 2017-12-30 2023-07-25 Cambricon Technologies Corporation Limited Parallel processing circuits for neural networks
US11734548B2 (en) 2017-12-30 2023-08-22 Cambricon Technologies Corporation Limited Integrated circuit chip device and related product

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729895A (zh) * 2017-10-18 2018-02-23 吉林大学 一种智能车adas系统目标检测方法及装置
CN107895192A (zh) * 2017-12-06 2018-04-10 广州华多网络科技有限公司 深度卷积网络压缩方法、存储介质和终端
CN107895192B (zh) * 2017-12-06 2021-10-08 广州方硅信息技术有限公司 深度卷积网络压缩方法、存储介质和终端
TWI768167B (zh) * 2017-12-30 2022-06-21 大陸商中科寒武紀科技股份有限公司 集成電路芯片裝置及相關產品
US11651202B2 (en) 2017-12-30 2023-05-16 Cambricon Technologies Corporation Limited Integrated circuit chip device and related product
US11704544B2 (en) 2017-12-30 2023-07-18 Cambricon Technologies Corporation Limited Integrated circuit chip device and related product
US11710031B2 (en) 2017-12-30 2023-07-25 Cambricon Technologies Corporation Limited Parallel processing circuits for neural networks
US11734548B2 (en) 2017-12-30 2023-08-22 Cambricon Technologies Corporation Limited Integrated circuit chip device and related product
CN109815969A (zh) * 2019-03-05 2019-05-28 上海骏聿数码科技有限公司 一种基于人工智能图像识别的特征提取方法及装置

Similar Documents

Publication Publication Date Title
CN107220706A (zh) 基于参数压缩和结构压缩的车载深度神经网络优化方法
US10805779B2 (en) Computer-implemented method for implementing a V2X application and corresponding V2X blocks for a graphical modeling environment
CN113067855A (zh) 一种通信方法、装置和车辆
Suda et al. Systematic intrusion detection technique for an in-vehicle network based on time-series feature extraction
CN104049727A (zh) 一种移动终端与车载终端的相互控制方法
KR20220062142A (ko) 센서 기반 검증을 통한 차량 기능 제어
CN102624608B (zh) 一种提高智能传感器即插即用速度的多接入等级动态退避方法
WO2022173497A3 (en) Enhancing combinatorial optimization with quantum generative models
WO2019114662A1 (zh) 车辆防碰撞参数标定方法和装置、车辆控制器、存储介质
CN111310125B (zh) 一种车辆急加速急减速和急转弯的判断方法
CN105491155A (zh) 一种车载终端开发模拟系统
CN113741223B (zh) 车辆远程控制方法、装置、设备、介质以及自动驾驶车辆
CN109660522B (zh) 面向综合电子系统的基于深层自编码器的混合入侵检测方法
CN104991977A (zh) 拼装说明书的获取和生成方法及系统、组件和终端
CN106055641A (zh) 一种面向智能机器人的人机交互方法及装置
CN103226628B (zh) 汽车前后悬架轮胎包络面快速生成方法与装置
CN116112193B (zh) 一种基于深度学习的轻量级车载网络入侵检测方法
CN108682148B (zh) 混合交通状态下基于机器学习的非网联车状态估计方法
CN109543225B (zh) 车辆的控制方案生成方法、装置、存储介质和电子设备
CN110138840A (zh) 一种基于车载以太网的并行刷新方法
JP6805580B2 (ja) 通信機、通信システムおよび通信プログラム
JP2003034200A5 (zh)
CN113194092B (zh) 一种精准的恶意流量变种检测方法
WO2022048643A1 (zh) 车辆控制方法和装置、介质、设备、程序
CN105260192B (zh) 基于目标的信息物理融合系统软件需求分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170929