CN111178279B - 一种基于二值化网络分组训练的车辆检测方法 - Google Patents

一种基于二值化网络分组训练的车辆检测方法 Download PDF

Info

Publication number
CN111178279B
CN111178279B CN201911404683.6A CN201911404683A CN111178279B CN 111178279 B CN111178279 B CN 111178279B CN 201911404683 A CN201911404683 A CN 201911404683A CN 111178279 B CN111178279 B CN 111178279B
Authority
CN
China
Prior art keywords
neural network
convolutional neural
full
network
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911404683.6A
Other languages
English (en)
Other versions
CN111178279A (zh
Inventor
赵冲
王宁鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhanda Intelligent Technology Co ltd
Original Assignee
Hefei Zhanda Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhanda Intelligent Technology Co ltd filed Critical Hefei Zhanda Intelligent Technology Co ltd
Priority to CN201911404683.6A priority Critical patent/CN111178279B/zh
Publication of CN111178279A publication Critical patent/CN111178279A/zh
Application granted granted Critical
Publication of CN111178279B publication Critical patent/CN111178279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于二值化网络分组训练的车辆检测方法，将全精度卷积神经网络创建为二值化卷积神经网络，通过所有参数量化的方式，实现了网络的压缩与加速，推动了深度学习算法在嵌入式终端上的应用；将全精度卷积神经网络采用逐步分组的方式进行二值化，有效地解决了由于网络量化造成的大幅度精度损失的问题。

Description

一种基于二值化网络分组训练的车辆检测方法
技术领域
本发明涉及图像识别技术领域，尤其是一种基于二值化网络分组训练的车辆检测方法。
背景技术
车辆检测是发展车辆辅助驾驶、全自动驾驶必须研究的问题之一。深度神经网络DNN极大地推动了各种计算机任务的发展，特别是在计算机视觉领域。然而，计算机视觉领域重大发展的关键因素之一是GPU的出现，使得运算速度提升了10-30倍。现有的车辆检测方法在高性能服务器取得优越的效果，但网络结构也逐渐变得复杂。这种复杂的识别系统需要大量内存和计算资源，无法应用于嵌入式平台上，即无法应用于车辆上。
发明内容
本发明提供一种基于二值化网络分组训练的车辆检测方法，以解决全精度卷积神经网络难以在嵌入式系统实现的问题。
一种基于二值化网络分组训练的车辆检测方法，先构建并训练网络模型，然后通过训练好的网络模型对车辆进行检测，构建和训练网络模型主要包括以下步骤：
1、收集大量汽车行驶过程中行车记录仪拍摄到的包含车辆的图片，构成包含车辆的数据集，将数据集从数量上分为训练集、验证集和测试集三部分；
2、构建全精度卷积神经网络，该全精度卷积神经网络使用9个固定大小的锚点框，获取车辆在每个锚点框中存在的概率，通过非极大值抑制法产生车辆检测结果；
3、将全精度卷积神经网络逐步分组创建为二值化卷积神经网络；
4、利用训练集对二值化卷积神经网络进行训练。
进一步的，所述步骤2的全精度卷积神经网络主要由53个卷积层、2个上采样层和1个检测层组成；前端使用残差神经网络提取特征，后端通过卷积生成不同大小的特征图。
进一步的，对全精度卷积神经网络输出的特征进行3种尺度预测，在卷积层交替使用1×1和3×3卷积核提取特征。
进一步的，所述步骤3中将全精度卷积神经网络逐步分组具体为，将全精度卷积神经网络T组进行二值化，遵循相反的顺序，即从Tn到T1进行二值化，二值化公式其中Lcls和Lloc分别是目标检测的分类和定位损失，λ是每个损失阶段的权重，/>和/>分别为全精度卷积神经网络和二值化网络的第i层特征响应，W是输入权重，ya是全精度卷积神经网络的期望输出，yb是二值化网络的期望输出，H是二元权卷积层的指标集。
进一步的，利用符号函数将全精度卷积神经网络的权重二值化，卷积操作为其中/>C＝Sign(W)；二值化卷积神经网络第一层和最后一层保持全精度权重。
本发明的有益效果：将全精度卷积神经网络创建为二值化卷积神经网络，通过所有参数量化的方式，实现了网络的压缩与加速，推动了深度学习算法在嵌入式终端上的应用；将全精度卷积神经网络采用逐步分组的方式进行二值化，有效地解决了由于网络量化造成的大幅度精度损失的问题。
附图说明
图1为二值化网络分组训练结构示意图；
图2为本发明网络结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例1
一种基于二值化网络分组训练的车辆检测方法，先构建并训练网络模型，然后通过训练好的网络模型对车辆进行检测，构建和训练网络模型主要包括以下步骤：
1、收集大量汽车行驶过程中行车记录仪拍摄到的包含车辆的图片，构成包含车辆的数据集。数据集优选包含各种尺度的车辆，以及昏暗条件下的图片数据，有利于增加网络的鲁棒性。将数据集从数量上分为训练集、验证集和测试集三部分。
由于车辆行驶过程中通常是通过行车记录仪实时拍摄红绿灯情况的，因此，收集图片的来源也最好来源于行车记录仪的视频截图，将行车记录仪拍摄视频按照固定频率进行分帧处理并保留包含车辆的图片进行处理分析。
2、构建全精度卷积神经网络，该全精度卷积神经网络使用9个固定大小的锚点框，获取车辆在每个锚点框中存在的概率，通过非极大值抑制法产生车辆检测结果。
使用锚点框的数量是极其重要的超参数，最后锚点框尺寸使用kmeans算法计算得到，本实施例使用的锚点框尺寸分别为(8×10)、(12×18)、(17×24)、(24×30)、(37×40)、(63×77)、(74×86)、(113×134)、(170×194)。
全精度卷积神经网络主要由53个卷积层、2个上采样层和1个检测层组成。在考虑网络结构时，充分考虑对行人定位模块的初始化问题，没有使用softmax，因为发现它对于网络的良好性能是不必要的，这里仅使用独立的逻辑分类器。模型前端使用残差神经网络提取特征，后端通过卷积生成不同大小的特征图。对全精度卷积神经网络输出的特征进行3种尺度预测，充分利用不同卷积层得到的特征图分辨率不同的特性，即低卷积层分辨率高，有利于检测小目标，高卷积层感受野大，有利于检测大目标；与此同时，在卷积层交替使用1×1和3×3卷积核提取特征，提取细节特征，更有利于检测小目标车辆。
全精度卷积神经网络的损失函数FL(pt)＝-(1-pt)γlg(pt),其中p∈[0，1]，y＝1是图片车辆标签，γ是可以调节的参数，本实施例取γ＝2，当γ＝0时，就是普通的交叉熵函数。
3、将全精度卷积神经网络逐步分组创建为二值化卷积神经网络，如图1所示。
将全精度卷积神经网络逐步分组具体为，将全精度卷积神经网络T组进行二值化，遵循相反的顺序，即从Tn到T1进行二值化，二值化公式其中Lcls和Lloc分别是目标检测的分类和定位损失，λ是每个损失阶段的权重，/>和/>分别为全精度卷积神经网络和二值化网络的第i层特征响应，W是输入权重，ya是全精度卷积神经网络的期望输出，yb是二值化网络的期望输出，H是二元权卷积层的指标集。
利用符号函数将全精度卷积神经网络的权重二值化，卷积操作为其中C＝Sign(W)；二值化卷积神经网络第一层和最后一层保持全精度权重。
对于二进制卷积神经网络，前几层的二值化会造成较大的精度损失，而后几层的二值化效果甚微。首先将层分离成组，然后逐步对组进行二进制化，遵循相反的顺序，即从最后一组到第一组进行二值化，这种阶段性的训练非常有效。虽然二进制卷积神经网络可以从零开始训练，但是使用预先训练好的全精度卷积神经网络网络进行微调，可以获得更快、更好的收敛性。本发明使用全精度卷积神经网络来初始化二值化卷积神经网络，并对初始化的二值化卷积神经网络进行微调。
全精度卷积神经网络的权重是固定的，二进制卷积神经网络模仿全精度卷积神经网络的特征响应，优化二进制卷积神经网络。其中，二进制卷积神经网络第一层和最后一层保持全精度权重。
4、利用训练集对二值化卷积神经网络进行训练。
这里需要说明的是，本发明未特殊强调部分，均属于本领域技术人员根据现有目标识别技术可以或容易知晓如何实现的。图2为本发明网络结构示意图。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

Claims (5)

1.一种基于二值化网络分组训练的车辆检测方法，先构建并训练网络模型，然后通过训练好的网络模型对车辆进行检测，其特征在于，构建和训练网络模型主要包括以下步骤：
步骤1，收集大量汽车行驶过程中行车记录仪拍摄到的包含车辆的图片，构成包含车辆的数据集，将数据集从数量上分为训练集、验证集和测试集三部分；
步骤2，构建全精度卷积神经网络，该全精度卷积神经网络使用9个固定大小的锚点框，获取车辆在每个锚点框中存在的概率，通过非极大值抑制法产生车辆检测结果；
步骤3，将全精度卷积神经网络逐步分组创建为二值化卷积神经网络，具体为，将全精度卷积神经网络T组进行二值化，遵循相反的顺序，即从Tn到T1进行二值化，二值化公式其中Lcls和Lloc分别是目标检测的分类和定位损失，λ是每个损失阶段的权重，/>和/>分别为全精度卷积神经网络和二值化网络的第i层特征响应，W是输入权重，ya是全精度卷积神经网络的期望输出，yb是二值化网络的期望输出，H是二元权卷积层的指标集；
步骤4，利用训练集对二值化卷积神经网络进行训练。
2.根据权利要求1所述的基于二值化网络分组训练的车辆检测方法，其特征在于，所述步骤2的全精度卷积神经网络主要由53个卷积层、2个上采样层和1个检测层组成；前端使用残差神经网络提取特征，后端通过卷积生成不同大小的特征图。
3.根据权利要求2所述的基于二值化网络分组训练的车辆检测方法，其特征在于，对全精度卷积神经网络输出的特征进行3种尺度预测，在卷积层交替使用1×1和3×3卷积核提取特征。
4.根据权利要求1所述的基于二值化网络分组训练的车辆检测方法，其特征在于，利用符号函数将全精度卷积神经网络的权重二值化，卷积操作为其中/>C＝Sign(W)。
5.根据权利要求4所述的基于二值化网络分组训练的车辆检测方法，其特征在于，二值化卷积神经网络第一层和最后一层保持全精度权重。
CN201911404683.6A 2019-12-31 2019-12-31 一种基于二值化网络分组训练的车辆检测方法 Active CN111178279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911404683.6A CN111178279B (zh) 2019-12-31 2019-12-31 一种基于二值化网络分组训练的车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911404683.6A CN111178279B (zh) 2019-12-31 2019-12-31 一种基于二值化网络分组训练的车辆检测方法

Publications (2)

Publication Number Publication Date
CN111178279A CN111178279A (zh) 2020-05-19
CN111178279B true CN111178279B (zh) 2023-09-05

Family

ID=70658484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911404683.6A Active CN111178279B (zh) 2019-12-31 2019-12-31 一种基于二值化网络分组训练的车辆检测方法

Country Status (1)

Country Link
CN (1) CN111178279B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067285B (zh) * 2021-11-18 2024-08-20 昆明理工大学 一种基于二值化的卷积神经网络车辆分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710875A (zh) * 2018-09-11 2018-10-26 湖南鲲鹏智汇无人机技术有限公司 一种基于深度学习的航拍公路车辆计数方法及装置
CN109584248A (zh) * 2018-11-20 2019-04-05 西安电子科技大学 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965677B2 (en) * 2014-12-09 2018-05-08 Conduent Business Services, Llc Method and system for OCR-free vehicle identification number localization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710875A (zh) * 2018-09-11 2018-10-26 湖南鲲鹏智汇无人机技术有限公司 一种基于深度学习的航拍公路车辆计数方法及装置
CN109584248A (zh) * 2018-11-20 2019-04-05 西安电子科技大学 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈桑桑 ; 李翰山 ; .基于非经典感受野抑制的TLD目标跟踪方法.机械与电子.2017,(11),全文. *

Also Published As

Publication number Publication date
CN111178279A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN109657584B (zh) 辅助驾驶的改进LeNet-5融合网络交通标志识别方法
CN109543502B (zh) 一种基于深度多尺度神经网络的语义分割方法
CN113378890B (zh) 一种基于改进YOLO v4的轻量级行人车辆检测方法
CN110222604B (zh) 基于共享卷积神经网络的目标识别方法和装置
Guo et al. Distributed and efficient object detection via interactions among devices, edge, and cloud
CN108009548A (zh) 一种智能路牌识别方法及系统
CN107909548A (zh) 一种基于噪声建模的视频去雨方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN114693924A (zh) 一种基于多模型融合的道路场景语义分割方法
CN112766062B (zh) 一种基于双流深度神经网络的人体行为识别方法
US20230070439A1 (en) Managing occlusion in siamese tracking using structured dropouts
CN113870286B (zh) 一种基于多级特征和掩码融合的前景分割方法
Aung et al. Building robust deep neural networks for road sign detection
CN112084897A (zh) 一种gs-ssd的交通大场景车辆目标快速检测方法
CN111178279B (zh) 一种基于二值化网络分组训练的车辆检测方法
CN114998801A (zh) 基于对比自监督学习网络的森林火灾烟雾视频检测方法
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN111160274B (zh) 一种基于二值化Faster RCNN网络的行人检测方法
CN110738129A (zh) 一种基于r-c3d网络的端到端视频时序行为检测方法
CN115861997A (zh) 一种关键前景特征引导知识蒸馏的车牌检测识别方法
US20220318633A1 (en) Model compression using pruning quantization and knowledge distillation
CN111126310B (zh) 一种基于场景迁移的行人性别识别方法
CN113869239A (zh) 一种交通信号灯倒计时识别系统及其构建方法、应用方法
CN112487927A (zh) 一种基于物体关联注意力的室内场景识别实现方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant