CN115019279A - 一种基于MobileNet轻量化网络的上下文特征融合方法 - Google Patents
一种基于MobileNet轻量化网络的上下文特征融合方法 Download PDFInfo
- Publication number
- CN115019279A CN115019279A CN202210084494.0A CN202210084494A CN115019279A CN 115019279 A CN115019279 A CN 115019279A CN 202210084494 A CN202210084494 A CN 202210084494A CN 115019279 A CN115019279 A CN 115019279A
- Authority
- CN
- China
- Prior art keywords
- network
- lightweight
- mobilenet
- feature fusion
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000003062 neural network model Methods 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明涉及一种基于MobileNet轻量化网络的上下文特征融合方法，属于图像处理技术领域。本发明构建轻量级神经网络模型，在主干特征提取网络部分使用ECA注意力机制，加强主干网络特征提取能力；在算法预测结构上，利用FPN特征金字塔结构进行多卷积特征融合，并加入RFB感受野模块获得更加丰富的语义信息；使用车辆检测KITTI数据集，划分训练集和测试集；用构建的轻量级神经网络进行训练；利用训练好的模型对车辆目标进行识别。本发明与现有技术相比，主要解决了轻量化网络MobileNet对小目标的漏检现象，有效提高了车辆图像目标的检测精度，降低模型大小，能更好以移植到硬件设备上。
Description
技术领域
本发明涉及一种基于MobileNet轻量化网络的上下文特征融合方法，属于图像处理技术领域。
背景技术
当前目标检测不仅在学术界受到大量的研究，在实际生活中也得到了大量的应用，如视频火灾探测、无人驾驶、安全监控、无人机场景分析等。目前目标检测算法主要分为两种，基于图像处理的传统目标检测算法和基于卷积神经网络的目标检测算法。
目前，各类机动车辆大量增加，驾驶员队伍日益壮大。道路交通过程中车辆之间的冲突和事故也日益增多，特别是高速公路上发生的道路交通事故的数量,随着我国高速公路里程的增加也随之增加，专家对汽车交通事故的分析结果表明，在所发生的交通事故中，有80％是由于驾驶员反应不及时，处置不当所造成。其中有65％的事故属汽车追尾碰撞造成。结合高速公路交通管理实践经验，分析一下高速公路追尾事故的主要原因。
机器视觉也叫计算机视觉,是用计算机模拟人的视觉系统,通过对环境图像的采集、感知、处理、识别来获取环境信息,最终用于实际测量、检测和控制。大量的环境信息以视觉的方式呈现,所以视觉系统的模拟成为当今传感器及模式识别,人工智能的重要研究方向。机器视觉是一项综合技术,其中包括数字图像处理技术、机械工程技术、控制技术、光学成像技术、传感器技术、计算机软硬技术、人机接口技术等。
在计算机视觉领域，特征提取和分类一直是其不可分离的一部分。在传统的图像处理中，提取特征的方法一般是基于统计规律或者一些先验知识而预先设计好的。这种手工设计的特征提取方式，不能完全提取出原始图像的信息，鲁棒性也不强。卷积神经网络是专门用来处理图像数据这种具有类似网络结构的数据的神经网络。卷积神经网络增加了局部感受野、稀疏权重和参数共享的概念。这三种概念的提出使得卷积神经网络跟其他神经网络相比拥有一定平移和尺度的不变性，更加适合图像数据的学习。平移和尺度不变性保证特定特征的识别更加有效。
目前的目标检测算法对于中大目标检测已经取得较好的检测效果，但对小目标检测的效果不佳，这是由于小目标背景复杂度高、其边缘信息不显著以及容易遭遇光照遮挡等原因。如何提高车辆检测算法对中目标和小目标车辆仍存在漏检现象是现在任需解决的技术问题。
发明内容
本发明要解决的技术问题是提供一种基于MobileNet轻量化网络的上下文特征融合方法，用于解决对小目标检测效果差等问题，增加网络特征的提取能力，有效提高目标检测的精度。
本发明的技术方案是：一种基于MobileNet轻量化网络的上下文特征融合方法，具体步骤为：
Step1：构建轻量级神经网络模型，在主干特征提取网络部分使用有效注意力机制(Efficient Channel Attention Module，简称ECA)，加强主干网络特征提取能力，在算法预测结构上，利用FPN特征金字塔结构对MobileNet网络的第5、第7、第10个block模块进行多卷积层特征融合，在MobileNet网络的深度可分离卷积模块中，在最后经过正则化和激活函数后加入ECA注意力机制，可以增加网络对目标的关注程度，达到更好的训练效果。加入感受野模块(Receptive Field Block简称RFB)，通过模拟人类视觉扩大网络特征的感受野，获得更加丰富的语义信息，在预测框回归损失函数和目标预测框非极大值抑制；
Step2：使用车辆检测KITTI数据集，对车辆图像进行筛选整理，划分训练集和测试集；
Step3：通过训练集和测试集对构建的轻量级神经网络进行训练；
Step4、利用训练好的模型对车辆目标进行识别。
所述车辆检测KITTI数据集包含市区、乡村和高速公路等场景采集的真实图像数据，为不同种类、不同形状的以及有不同细节的图片。以训练网络的泛化性，用以应对不同的需求。
所述数据集中有多个小目标，所述FPN特征金字塔结构具有自上而下的运算逻辑，具体通过与特征提取网络部分的卷积层信息进行横向连接，提高对多尺度图像目标的识别能力。
所述感受野模块中包含多个3×3大小的卷积核，可以使用空间可分离卷积替代普通卷积，空间可分离卷积是把卷积核为n×n的卷积拆分为n×1和1×n的两个卷积。以达到减小模型计算量和参数量的目的。
所述轻量级神经网络模型通过轻量级神经网络模型构建模块来构建，具体为，在主干网络的深度可分离模块中加入ECA注意力机制，在算法预测结构上，利用特征金字塔结构进行多尺度特征融合，之后再加入RFB扩充感受野模块增加语义信息，提高目标检测的效果。
本发明的有益效果是：本发明是利用计算机深度学习领域的方法。通过在MobileNet主干特征提取网络上增加ECA注意力机制，增加对目标的关注程度，然后加入多尺度特征融合和增加感受野的方法。网络本发明与现有技术相比，主要解决了车辆检测中小目标所占图片面积小而存在漏检等现象，增强网络特征提取能力，提高了车辆目标检测精度。
附图说明
图1是本发明的流程图；
图2是本发明构建Mobile Net网络的具体过程示意图；
图3是本发明模型训练过程中两类损失收敛曲线示意图；
图4是本发明MobileNet对车辆识别示意图；
图5是本发明对车辆识别示意图。
具体实施方式
下面结合附图和具体实施方式，对本发明作进一步说明。
如图1所示，一种基于MobileNet轻量化网络的上下文特征融合方法，首先加入多尺度特征融合方法，使低层的位置信息和高层的语义信息相结合，然后加入扩充感受野RFB模块，能够像人类视觉那样扩大感受野。最后加入注意力机制，使网络能够关注目标的关键信息。
具体步骤为：
Step1：如图2所示，构建轻量级神经网络模型，在主干特征提取网络部分使用有效注意力机制(Efficient Channel Attention Module，简称ECA)，加强主干网络特征提取能力；在算法预测结构上，利用FPN特征金字塔结构对MobileNet网络的第5、第7、第10个block模块进行多卷积层特征融合；并加入感受野模块(Receptive Field Block简称RFB)获得更加丰富的语义信息；在预测框回归损失函数和目标预测框非极大值抑制。
Step2：使用车辆检测KITTI数据集，对车辆图像进行筛选整理，划分训练集和测试集。
Step3：通过训练集和测试集对构建的轻量级神经网络进行训练。
Step4：利用训练好的模型对车辆目标进行识别。
本发明是在轻量级网络上加入多尺度特征融合方法，并加入轻量的扩充感受野模块RFB模块，能够对目标进行精确分类和定位。本发明的模型具有训练时长短、参数量小等特点，适合部署在嵌入式设备中。
在网络特征提取部分加入有效注意力机制ECA，所使用的是用一维卷积实现一种不降维的局部跨信道交互策略和确定局部跨信道交互覆盖率的自适应一维卷积核大小的方法，提高了网络对目标的关注程度。在算法的预测结构上，利用特征金字塔结构实现多卷积层特征融合，之后再加入扩充感受野RFB模块，提高小尺度车辆图像目标的识别能力。
特征金字塔结构是指：在本发明得到S-Mobile Net网络后，利用特征金字塔设计算法的预测结构，将特征提取网络第5、第7、第10个block模块进行卷积层的拼接(Concat)。同时，利用标准卷积(Conv2D)和上采样(Up Sampling2D)完成不同大小特征图的融合及特征信息的输出。该预测结构具有自上而下的运算逻辑，通过与特征提取网络卷积层信息进行横向拼接，构建3个目标预测通道，分别进行不同尺度的车辆目标预测，提高对多尺度车辆图像目标的识别能力。
本发明还设计了RFB模块的轻量化方法，在RFB模块3×3的卷积层中，使用空间可分离卷积替代标准卷积。空间可分离卷积是把大小为n×n的卷积核替换为两个n×1和1×n的卷积核，这样可以减小算法的计算量，并降低模型大小。
为进一步验证本发明的有效性，本发明选取每类船舶的平均识别精度AP以及车辆平均精度的均值AP进行定量评价，其计算公式为：
其中，TP是当前类别正确检测次数，TotalObjection是实际目标的总量，TotalImg是包含当前类别在所有图像的数量，P是准确率，C是所有类别数，AP表示单个类别的平均精度。
如图3-4所示，为更好地验证本发明的有效性，分别将MobileNet和SSD算法作对比实验，实验结果如表1所示：
| 模型 | 主干网络 | 输入分辨率 | AP/％ | FPS | Size/MB |
| MobileNet | MobileNet | 300×300 | 77.1 | 49 | 30.5 |
| SSD | VGG-16 | 300×300 | 88.2 | 30 | 98.3 |
| 本发明 | MobileNet | 320×320 | 87.7 | 34 | 48.5 |
从表1数据可以看出，上述3种算法对车辆检测具有良好的识别精度，车辆目标尺度大，方便进行图像特征提取。通过对比分析MoblieNet和SSD的实验结果，可以发现；MobileNet由于基础网络简单，其对车辆目标特征提取不完整，不具有深层语义信息，因此该算法实验结果较差；本发明提供的轻量级车辆目标识别模型可以有效识别车辆等小尺度目标，且模型参数量只有SSD的一半左右。
基于轻量级神经网络的车辆识别模型实验结果如图所示，由图5可以看出，本发明可以精确识别渔船、客轮等小尺度船舶，没有发生目标漏识或误识；本发明对各类大尺度船舶目标具有良好的识别能力，并且有效排除了近岸背景的干扰；本发明可以很好地识别船舶遮挡情况下的船舶图像目标，展现出很好的鲁棒性。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (5)
1.一种基于MobileNet轻量化网络的上下文特征融合方法，其特征在于：
Step1：构建轻量级神经网络模型，在主干特征提取网络部分使用有效注意力机制，加强主干网络特征提取能力，在算法预测结构上，利用FPN特征金字塔结构对MobileNet网络的第5、第7、第10个block模块进行多卷积层特征融合，并加入感受野模块获得更加丰富的语义信息，在预测框回归损失函数和目标预测框非极大值抑制；
Step2：使用车辆检测KITTI数据集，对车辆图像进行筛选整理，划分训练集和测试集；
Step3：通过训练集和测试集对构建的轻量级神经网络进行训练；
Step4、利用训练好的模型对车辆目标进行识别。
2.根据权利要求1所述的基于MobileNet轻量化网络的上下文特征融合方法，其特征在于：所述车辆检测KITTI数据集包含市区、乡村和高速公路等场景采集的真实图像数据，为不同种类、不同形状的以及有不同细节的图片。
3.根据权利要求1或2所述的基于MobileNet轻量化网络的上下文特征融合方法，其特征在于：所述FPN特征金字塔结构具有自上而下的运算逻辑，具体通过与特征提取网络部分的卷积层信息进行横向连接，提高对多尺度图像目标的识别能力。
4.根据权利要求1所述的基于MobileNet轻量化网络的上下文特征融合方法，其特征在于：所述感受野模块中包含多个3×3大小的卷积核，可以使用空间可分离卷积替代普通卷积，空间可分离卷积是把卷积核为n×n的卷积拆分为n×1和1×n的两个卷积。
5.根据权利要求1所述的基于MobileNet轻量化网络的上下文特征融合方法，其特征在于：所述轻量级神经网络模型通过轻量级神经网络模型构建模块来构建，具体为，在主干网络的深度可分离模块中加入ECA注意力机制，在算法预测结构上，利用特征金字塔结构进行多尺度特征融合，之后再加入RFB扩充感受野模块增加语义信息，提高目标检测的效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210084494.0A CN115019279A (zh) | 2022-01-25 | 2022-01-25 | 一种基于MobileNet轻量化网络的上下文特征融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210084494.0A CN115019279A (zh) | 2022-01-25 | 2022-01-25 | 一种基于MobileNet轻量化网络的上下文特征融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115019279A true CN115019279A (zh) | 2022-09-06 |
Family
ID=83066853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210084494.0A Pending CN115019279A (zh) | 2022-01-25 | 2022-01-25 | 一种基于MobileNet轻量化网络的上下文特征融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115019279A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457367A (zh) * | 2022-09-22 | 2022-12-09 | 淮阴工学院 | 一种基于Light-Net的轻量级目标检测方法及系统 |
| CN115861861A (zh) * | 2023-02-27 | 2023-03-28 | 国网江西省电力有限公司电力科学研究院 | 一种基于无人机配电线路巡检的轻量级验收方法 |
| CN115937717A (zh) * | 2022-12-20 | 2023-04-07 | 武汉理工大学三亚科教创新园 | 一种基于特征上下文的无人机影像目标检测方法及系统 |
| CN117351354A (zh) * | 2023-10-18 | 2024-01-05 | 耕宇牧星(北京)空间科技有限公司 | 基于改进MobileViT的轻量级遥感图像目标检测方法 |
-
2022
- 2022-01-25 CN CN202210084494.0A patent/CN115019279A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457367A (zh) * | 2022-09-22 | 2022-12-09 | 淮阴工学院 | 一种基于Light-Net的轻量级目标检测方法及系统 |
| CN115457367B (zh) * | 2022-09-22 | 2023-09-26 | 淮阴工学院 | 一种基于Light-Net的轻量级目标检测方法及系统 |
| CN115937717A (zh) * | 2022-12-20 | 2023-04-07 | 武汉理工大学三亚科教创新园 | 一种基于特征上下文的无人机影像目标检测方法及系统 |
| CN115937717B (zh) * | 2022-12-20 | 2024-04-05 | 武汉理工大学三亚科教创新园 | 一种基于特征上下文的无人机影像目标检测方法及系统 |
| CN115861861A (zh) * | 2023-02-27 | 2023-03-28 | 国网江西省电力有限公司电力科学研究院 | 一种基于无人机配电线路巡检的轻量级验收方法 |
| CN115861861B (zh) * | 2023-02-27 | 2023-06-16 | 国网江西省电力有限公司电力科学研究院 | 一种基于无人机配电线路巡检的轻量级验收方法 |
| CN117351354A (zh) * | 2023-10-18 | 2024-01-05 | 耕宇牧星(北京)空间科技有限公司 | 基于改进MobileViT的轻量级遥感图像目标检测方法 |
| CN117351354B (zh) * | 2023-10-18 | 2024-04-16 | 耕宇牧星(北京)空间科技有限公司 | 基于改进MobileViT的轻量级遥感图像目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902806B (zh) | 基于卷积神经网络的噪声图像目标边界框确定方法 | |
| CN115019279A (zh) | 一种基于MobileNet轻量化网络的上下文特征融合方法 | |
| CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
| Liu et al. | FPCNet: Fast pavement crack detection network based on encoder-decoder architecture | |
| CN111222396B (zh) | 一种全天候多光谱行人检测方法 | |
| CN111709416B (zh) | 车牌定位方法、装置、系统及存储介质 | |
| CN105354568A (zh) | 基于卷积神经网络的车标识别方法 | |
| CN105160309A (zh) | 基于图像形态学分割及区域生长的三车道检测方法 | |
| CN114359851A (zh) | 无人驾驶目标检测方法、装置、设备及介质 | |
| CN109993138A (zh) | 一种车牌检测与识别方法及装置 | |
| CN111767927A (zh) | 一种基于全卷积网络的轻量级车牌识别方法及系统 | |
| CN115035361A (zh) | 基于注意力机制和特征交叉融合的目标检测方法及系统 | |
| CN112990065A (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
| CN114092917B (zh) | 一种基于mr-ssd的被遮挡交通标志检测方法及系统 | |
| CN114049572A (zh) | 识别小目标的检测方法 | |
| CN116824543A (zh) | 一种基于od-yolo的自动驾驶目标检测方法 | |
| Zhang et al. | Vehicle detection in UAV aerial images based on improved YOLOv3 | |
| CN112784675B (zh) | 目标检测方法及装置、存储介质、终端 | |
| CN111160282A (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
| Wu et al. | Research on Asphalt Pavement Disease Detection Based on Improved YOLOv5s | |
| CN115171059A (zh) | 基于改进YOLOv5网络模型的车辆感知方法 | |
| CN113673332A (zh) | 对象识别方法、装置以及计算机可读存储介质 | |
| CN112488049A (zh) | 一种动车组牵引电机及轴间夹挂异物的故障识别方法 | |
| CN115272992B (zh) | 一种车辆姿态估计方法 | |
| CN113076898B (zh) | 一种交通车辆目标检测方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |