CN114973156B - 一种基于知识蒸馏的夜间渣土车检测方法 - Google Patents
一种基于知识蒸馏的夜间渣土车检测方法 Download PDFInfo
- Publication number
- CN114973156B CN114973156B CN202210918439.7A CN202210918439A CN114973156B CN 114973156 B CN114973156 B CN 114973156B CN 202210918439 A CN202210918439 A CN 202210918439A CN 114973156 B CN114973156 B CN 114973156B
- Authority
- CN
- China
- Prior art keywords
- network
- night
- training
- low
- muck
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于渣土车检测技术领域,涉及一种基于知识蒸馏的夜间渣土车检测方法,先训练一个低光照图像增强网络,然后利用基于特征的知识蒸馏方法进行蒸馏训练,很好的利用低光照图像增强网络提取的特征来指导夜间渣土车检测网络进行特征提取,最终能够很好的提升夜间渣土车的检测效果。
Description
技术领域
本发明属于渣土车检测技术领域,涉及一种基于知识蒸馏的夜间渣土车检测方法。
背景技术
在城市道路管理中,渣土车的管理是一个非常重要的领域,很多违规运输的渣土车为了躲避检查,都是晚上进行渣土的运输,而夜间由于光照弱,常规的车辆检测方法不能很好地对夜间渣土车进行检测,例如CN113283539A公开的基于深度学习的违规渣土车检测方法,包括以下具体步骤:S1、采集道路上摄像头的数据信息,并在电子地图上对摄像头的地理位置信息进行定位,获取摄像头抓拍到的车辆信息A;S2、对车辆信息A进行分类识别,得到渣土车信息集B;S3、对渣土车信息集B中的各个渣车进行分类;S4、根据渣土车被抓拍的时间以及定位地点,对渣土车的行驶路线以及是否违规倒渣土进行预测;S5、若预测渣土车具有违规倾倒渣土的意向,则进行报警提醒并将预警信息发送至处理人员的移动终端;为进一步加强渣土车(指从事建筑垃圾、渣土和砂石运输的车辆)安全监管,切实消除安全隐患,彻底解决一路抛洒问题,促进渣土车安全有序运行,亟需设计一种适合于夜间的渣土车检测方法。
发明内容
本发明的目的在于克服夜间光线不足带来渣土车检测效果差的问题,设计提供一种基于知识蒸馏的夜间渣土车检测方法,可用于夜间渣土车的检测,能够提高夜间渣土车的检测效果。
为实现上述目的,本发明通过低光照图像增强网络作为教师网络,通过知识蒸馏训练夜间渣土车检测网络,将低光照图像增强网络提取的特征用于增强夜间渣土车检测网络的特征,最终达到提升夜间渣土车的检测效果,具体包括如下步骤:
(1)收集交通监控中含有渣土车的夜间图像,并以物体检测的方式对图像进行标注得到数据集,并将数据集划分为训练集、验证集和测试集;
(2)利用现有数据集训练低光照图像增强网络,将数据集中的夜间图像输入低光照图像增强网络,输出增强后光照图像,并保存整个网络的权重,用于后期的知识蒸馏;
(3)选用FCOS网络,利用步骤(1)中的数据集进行训练得到夜间渣土车检测网络,训练时利用ResNet50作为主干网络,训练完后,取出FCOS网络中的P3特征,并将P3特征通过双线性插值放大一倍后用于步骤(4)的知识蒸馏;
(4)采用由步骤(2)训练好的低光照图像增强网络和步骤(3)得到的夜间渣土车检测网络组成的知识蒸馏网络,利用不同网络的特征进行蒸馏,选取低光照图像增强网络中两个下卷积模块后的特征和FCOS中P3放大一倍后的特征进行知识蒸馏,其中低光照图像增强网络通过预训练后固定,采用是离线蒸馏方法利用固定后的权重蒸馏夜间渣土车检测网络,通过特征之间的差值L2范数作为蒸馏损失进行蒸馏训练,能量损失函数如下:
其中LR为通过图像增强网络得到的特征,OD为夜间渣土车检测网络的特征,256为特征的维度,蒸馏训练迭代200步,通过反向迭代调整渣土车检测网络的参数,迭代完成后保留渣土车检测网络权重;
(5)测试夜间渣土车检测网络,将数据集中的图像通过双线性插值将图像尺寸变
为8001024,作为网络的输入,网络模型选用FCOS网络进行检测,选ResNet50作为主干网
络,利用步骤(4)得到的渣土车检测网络的权重进行前向推导,实现基于知识蒸馏的夜间渣
土车检测。
作为本发明的进一步技术方案,步骤(1)所述数据集包含2000张图片,训练集、验证集和测试集的数量比为7:2:1。
作为本发明的进一步技术方案,步骤(2)训练低光照图像增强网络的具体过程为:
选用论文“Learning to See in the Dark”中的数据集进行低光照图像增强网络的训练,
将数据集中的夜间图像裁剪为尺寸8001024的低光照图像后送入低光照增强网络训练,
训练200轮后得到训练好的低光照图像增强网络,网络结构整体框架为译码器-解码器结
构,低光照图像依次经过两个下卷积模块、33卷积和两个上卷积模块,最后经过33卷积
后得到增强后光照图像,其中下卷积模块结构包含33卷积、BN层、PRELU层和平均池化层,
上卷积模块包含33反卷积、BN层和PRELU层,训练过程中的能量损失为实际正常光线图像
与网络输出增强后光照图像的差值取L1损失,能量损失函数如下:
与现有技术相比,本发明的有益效果是:
本发明提供了一种基于知识蒸馏的夜间渣土车检测方法,先训练一个低光照图像增强网络,然后利用基于特征的知识蒸馏方法进行蒸馏训练,很好的利用低光照图像增强网络提取的特征来指导夜间渣土车检测网络进行特征提取,最终能够很好的提升夜间渣土车的检测效果。
附图说明
图1为本发明所述基于知识蒸馏的夜间渣土车检测的整体网络结构图。
图2为本发明所述低光照图像增强网络结构图。
图3为本发明所述低光照图像增强网络中的下卷积模块结构。
图4为本发明所述低光照图像增强网络中的上卷积模块结构。
具体实施方式
下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
实施例:
本发明实施例通过训练低光照图像增强网络得到的特征来对夜间渣土车检测网络进行知识蒸馏,从而提升夜间渣土车的检测效果,具体实施包括如下步骤:
(1)夜间渣土车数据集构建:
收集交通监控等场景的含有渣土车的夜间图像,整个数据集包含2000张图片,以物体检测的方式进行标注,并将数据集按照7:2:1的比例划分为训练集、验证集和测试集;
(2)利用现有数据集训练低光照图像增强网络:
低光照图像增强网络结构图如图2所示,该网络输入为数据集中的夜间图像,输出为增强后图像,能量损失为实际正常光线图像与网络输出增强后光照图像的差值取L1损失,能量损失函数如下:
其中Lo为通过图像增强网络得到的图像,GT为真实的清晰图像,n为样本总数;
选用论文“Learning to See in the Dark”(CVPR 2018中发表的论文)中的数据
集进行低光照图像增强网络的训练,为了保持跟目标检测网络分辨率的一致性,需将数据
集中的图像裁剪出其中的8001024,送入低光照增强网络训练,训练200轮,网络结构整体
框架为译码器-解码器结构,采用这个结构能够同时兼顾处理的速度和精度;低光照图像经
过两个下卷积模块后通过33卷积后经过两个上卷积模块,最后经过33卷积后得到处理
后的正常光照图像,保存整个网络的权重,用于后期的知识蒸馏,下卷积模块结构如图3所
示,该模块包含33卷积、BN层、PRELU层和平均池化层,上卷积模块的结构如图4所示,该模
块包含33反卷积、BN层和PRELU层;
(3)设计夜间渣土车检测网络:
渣土车检测网络选用FCOS网络,FCOS全称为FCOS: Fully Convolutional One-Stage Object Detection(ICCV 2019发表的论文),该检测网络利用步骤(1)中的数据集进行训练,利用ResNet50作为主干网络,训练完后,取出网络中的P3特征,并把P3特征通过双线性插值放大一倍后用于步骤(4)的知识蒸馏;
(4)利用低光照图像增强网络蒸馏夜间渣土车检测网络:
知识蒸馏采用基于特征的知识蒸馏方法,即利用不同网络的特征进行蒸馏,知识蒸馏网络结构如图1所示,该网络结构包含左右两个分支,左侧为步骤(2)的低光照图像增强网络,右侧为(3)的检测网络,选取低光照图像增强网络两个下卷积模块后的特征和FCOS中P3放大一倍后的特征进行知识蒸馏;低光照图像增强网络通过预训练后固定,利用固定后的权重蒸馏夜间渣土车检测网络,采用的是离线蒸馏方法,这样可以用低光照的图像特征用于指导夜间渣土车检测算法更好的提取特征;由于从低光照图像增强网络和渣土车检测网络选取的特征都是256维,而且FCOS中P3放大一倍后的特征大小与低光照图像增强网络选取的特征的大小相同,因此直接通过特征之间的差值L2范数作为蒸馏损失进行蒸馏训练,能量损失函数如下:
其中LR为通过图像增强网络得到的特征,OD为夜间渣土车检测网络的特征,256为特征的维度;蒸馏训练迭代200步,通过反向迭代调整渣土车检测网络的参数,迭代完成后保留渣土车检测网络权重;
(5)测试夜间渣土车检测网络:
在测试过程中,把输入图像通过双线性插值,使得图像尺寸变为8001024,作为
网络的输入,网络模型选用FCOS网络进行检测,选ResNet50作为主干网络,利用步骤4)得到
的渣土车检测网络的权重进行前向推导,便可以进行夜间渣土车的检测。
本文中未详细说明的算法、网络结构均为本领域通用技术。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。
Claims (2)
1.一种基于知识蒸馏的夜间渣土车检测方法,其特征在于,具体包括如下步骤:
(1)收集交通监控中含有渣土车的夜间图像,并以物体检测的方式对图像进行标注得到数据集,并将数据集划分为训练集、验证集和测试集;
(2)利用现有数据集训练低光照图像增强网络,将数据集中的夜间图像输入低光照图
像增强网络,输出增强后光照图像,并保存整个网络的权重,用于后期的知识蒸馏;其中训
练低光照图像增强网络的具体过程为:选用See in the Dark数据集进行低光照图像增强
网络的训练,将数据集中的夜间图像裁剪为尺寸8001024的低光照图像后送入低光照增
强网络训练,训练200轮后得到训练好的低光照图像增强网络,网络结构整体框架为译码
器-解码器结构,低光照图像依次经过两个下卷积模块、33卷积和两个上卷积模块,最后
经过33卷积后得到增强后光照图像,其中下卷积模块结构包含33卷积、BN层、PRELU层和
平均池化层,上卷积模块包含33反卷积、BN层和PRELU层,训练过程中的能量损失为实际
正常光线图像与网络输出增强后光照图像的差值取L1损失,能量损失函数如下:
(3)选用FCOS网络,利用步骤(1)中的数据集进行训练得到夜间渣土车检测网络,训练时利用ResNet50作为主干网络,训练完后,取出FCOS网络中的P3特征,并将P3特征通过双线性插值放大一倍后用于步骤(4)的知识蒸馏;
(4)采用由步骤(2)训练好的低光照图像增强网络和步骤(3)得到的夜间渣土车检测网络组成的知识蒸馏网络,利用不同网络的特征进行蒸馏,选取低光照图像增强网络中两个下卷积模块后的特征和FCOS中P3放大一倍后的特征进行知识蒸馏,其中低光照图像增强网络通过预训练后固定,采用是离线蒸馏方法利用固定后的权重蒸馏夜间渣土车检测网络,通过特征之间的差值L2范数作为蒸馏损失进行蒸馏训练,能量损失函数如下:
其中LR为通过图像增强网络得到的特征,OD为夜间渣土车检测网络的特征,256为特征的维度,蒸馏训练迭代200步,通过反向迭代调整渣土车检测网络的参数,迭代完成后保留渣土车检测网络权重;
2.根据权利要求1所述基于知识蒸馏的夜间渣土车检测方法,其特征在于,步骤(1)所述数据集包含2000张图片,训练集、验证集和测试集的数量比为7:2:1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210918439.7A CN114973156B (zh) | 2022-08-02 | 2022-08-02 | 一种基于知识蒸馏的夜间渣土车检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210918439.7A CN114973156B (zh) | 2022-08-02 | 2022-08-02 | 一种基于知识蒸馏的夜间渣土车检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114973156A CN114973156A (zh) | 2022-08-30 |
CN114973156B true CN114973156B (zh) | 2022-10-25 |
Family
ID=82970072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210918439.7A Active CN114973156B (zh) | 2022-08-02 | 2022-08-02 | 一种基于知识蒸馏的夜间渣土车检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114973156B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115171079B (zh) * | 2022-09-08 | 2023-04-07 | 松立控股集团股份有限公司 | 一种基于夜间场景的车辆检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738436A (zh) * | 2020-06-28 | 2020-10-02 | 电子科技大学中山学院 | 一种模型蒸馏方法、装置、电子设备及存储介质 |
CN112381763A (zh) * | 2020-10-23 | 2021-02-19 | 西安科锐盛创新科技有限公司 | 一种表面缺陷检测方法 |
CN112818969A (zh) * | 2021-04-19 | 2021-05-18 | 南京烽火星空通信发展有限公司 | 一种基于知识蒸馏的人脸姿态估计方法及系统 |
CN112991330A (zh) * | 2021-04-19 | 2021-06-18 | 征图新视(江苏)科技股份有限公司 | 基于知识蒸馏的正样本工业缺陷检测方法 |
CN113378940A (zh) * | 2021-06-15 | 2021-09-10 | 北京市商汤科技开发有限公司 | 神经网络训练方法、装置、计算机设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210142177A1 (en) * | 2019-11-13 | 2021-05-13 | Nvidia Corporation | Synthesizing data for training one or more neural networks |
US11823381B2 (en) * | 2020-12-27 | 2023-11-21 | Ping An Technology (Shenzhen) Co., Ltd. | Knowledge distillation with adaptive asymmetric label sharpening for semi-supervised fracture detection in chest x-rays |
-
2022
- 2022-08-02 CN CN202210918439.7A patent/CN114973156B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738436A (zh) * | 2020-06-28 | 2020-10-02 | 电子科技大学中山学院 | 一种模型蒸馏方法、装置、电子设备及存储介质 |
CN112381763A (zh) * | 2020-10-23 | 2021-02-19 | 西安科锐盛创新科技有限公司 | 一种表面缺陷检测方法 |
CN112818969A (zh) * | 2021-04-19 | 2021-05-18 | 南京烽火星空通信发展有限公司 | 一种基于知识蒸馏的人脸姿态估计方法及系统 |
CN112991330A (zh) * | 2021-04-19 | 2021-06-18 | 征图新视(江苏)科技股份有限公司 | 基于知识蒸馏的正样本工业缺陷检测方法 |
CN113378940A (zh) * | 2021-06-15 | 2021-09-10 | 北京市商汤科技开发有限公司 | 神经网络训练方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
《Enhancing Mid-Low-Resolution Ship Detection With High-Resolution Feature Distillation》;He ST et al;《IEEE》;20210915;全文 * |
《基于深度学习的人脸编辑系统研究与应用》;葛涌涛;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220115;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114973156A (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tian et al. | An automatic car accident detection method based on cooperative vehicle infrastructure systems | |
Chen et al. | Pothole detection using location-aware convolutional neural networks | |
Zhang et al. | Pavement distress detection using convolutional neural network (CNN): A case study in Montreal, Canada | |
CN111508269B (zh) | 一种基于图像识别的开放式停车位车辆判别方法与装置 | |
Ren et al. | YOLOv5s-M: A deep learning network model for road pavement damage detection from urban street-view imagery | |
CN112131935A (zh) | 一种机动车车厢载人识别方法、装置和计算机设备 | |
CN114973156B (zh) | 一种基于知识蒸馏的夜间渣土车检测方法 | |
Le et al. | Vehicle count system based on time interval image capture method and deep learning mask R-CNN | |
CN112990065A (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
CN113034378A (zh) | 一种区分电动汽车与燃油汽车的方法 | |
Lam et al. | Real-time traffic status detection from on-line images using generic object detection system with deep learning | |
CN113903180B (zh) | 一种高速公路检测车辆超速的方法及系统 | |
CN111222394A (zh) | 一种渣土车超载检测方法、装置及系统 | |
CN111144361A (zh) | 一种基于二值化cgan网络的公路车道检测方法 | |
Kumari et al. | YOLOv8 Based Deep Learning Method for Potholes Detection | |
Pramanik et al. | Detection of Potholes using Convolutional Neural Network Models: A Transfer Learning Approach | |
CN114926724A (zh) | 数据处理方法、装置、设备及存储介质 | |
Lau et al. | PC-based intelligent traffic monitoring system with real-time analysis for smart cities | |
Chaturvedi et al. | Detection of traffic rule violation in University campus using deep learning model | |
CN112906663A (zh) | 利用车载行车记录仪动态监测路边停车位的方法 | |
CN114627400A (zh) | 一种车道拥堵检测方法、装置、电子设备和存储介质 | |
Hamzah et al. | Parking Violation Detection on The Roadside of Toll Roads with Intelligent Transportation System Using Faster R-CNN Algorithm | |
Pradeep et al. | Automatic railway detection and tracking inspecting system | |
Maligalig et al. | Machine Vision System of Emergency Vehicle Detection System Using Deep Transfer Learning | |
CN117315943B (zh) | 一种超限运输违法监测分析与预警方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |