CN112487862A - 基于改进EfficientDet模型的车库行人检测方法 - Google Patents

基于改进EfficientDet模型的车库行人检测方法 Download PDF

Info

Publication number
CN112487862A
CN112487862A CN202011171204.3A CN202011171204A CN112487862A CN 112487862 A CN112487862 A CN 112487862A CN 202011171204 A CN202011171204 A CN 202011171204A CN 112487862 A CN112487862 A CN 112487862A
Authority
CN
China
Prior art keywords
garage
network
model
improved
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011171204.3A
Other languages
English (en)
Other versions
CN112487862B (zh
Inventor
牛丹
李永胜
陈夕松
许翠红
陈善龙
刘子璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Ruima Intelligent Technology Co ltd
Original Assignee
Jiangyin Zhixing Industrial Control Technology Co ltd
Nanjing Yunniu Intelligent Technology Co ltd
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangyin Zhixing Industrial Control Technology Co ltd, Nanjing Yunniu Intelligent Technology Co ltd, Southeast University filed Critical Jiangyin Zhixing Industrial Control Technology Co ltd
Priority to CN202011171204.3A priority Critical patent/CN112487862B/zh
Publication of CN112487862A publication Critical patent/CN112487862A/zh
Application granted granted Critical
Publication of CN112487862B publication Critical patent/CN112487862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于改进EfficientDet模型的车库行人检测方法，属于图像处理中的目标检测技术领域，本发明利用mosaic数据增强方法丰富行人检测的背景信息，且在批标准化Batch Normalization计算时一次性计算四张图像的数据；在主干网络EfficientNet中引入特征分流网络CSPNet，增强CNN的学习能力，能够在轻量化模型的同时保持检测的准确性，降低计算瓶颈和内存成本；在特征提取网络的顶部引入空间金字塔池化模块SPP，增加网络的感受野，在复杂多变的车库环境中能准确快速地完成行人检测。

Description

基于改进EfficientDet模型的车库行人检测方法
技术领域
本发明属于图像处理中的目标检测技术领域，具体涉及基于改进EfficientDet模型的车库行人检测方法。
背景技术
智慧立体车库是智能化城市建设进程中的重要组成部分，它集车库停车位预定，车牌识别，自动停车，行人检测等于一体。其中，车库内的行人检测是为了保障车库内行人的安全。车库内的环境复杂多变，车位起降时必须考虑到车库内的行人走动，确保在没有行人的情况下才能升降。因此，车库行人检测的实时性和准确性对于智慧立体车库的部署十分重要。
车库行人检测本质上属于目标检测问题，检测对象是车库内的行人。目标检测是图像理解和计算机视觉中的一个重要领域，它是解决分割、场景的理解、目标的追踪、图像描述、事件检测和活动识别等更具有复杂性和更高层次的视觉任务的基础。
当前，优秀的目标检测模型层出不穷，都在向着更快更准确的方向前进。基于深度学习的目标检测模型通常由两部分组成，一部分是在ImageNet上预先训练好的主干网络，另一部分是用来预测类和对象边界框的预测器。对于运行在GPU平台上的目标检测模型，它们的主干网络可以是VGG，ResNet，ResNeXt或DenseNet。对于在CUP平台上运行的目标检测模型，它们的主干网络可以是Queezenet，MobileNet或ShuffleNet。预测器通常分为两类，分别是单阶段(one-stage)预测器和两阶段(two-stage)预测器。最具代表性的两阶段目标检测模型是R-CNN系列，包括fast R-CNN，faster R-CNN，R-FCN和Libra R-CNN。对于单阶段目标检测模型，最具代表性的模型是YOLO，SSD，RetinaNet和EfficientDet。近年来发展起来的目标检测模型通常在主干和预测器之间插入一些层，这些层通常用于收集不同尺度的特征图，可以称之为目标检测模型的颈部。通常，颈部由几个自下而上的路径和几个自上而下的路径组成。配备这种机制的网络包括特征金字塔网络(FPN)、路径聚合网络(PAN)、BiFPN和NAS-FPN。
EfficientDet是Google Brain团队2019年提出的基于EfficientNet的可伸缩、高效的目标检测模型，分为EfficientDet D0～EfficientDet D7系列，检测速度逐渐变慢，精度逐渐提高。它在提出之初，实现了最先进的检测结果，性能十分惊人。但车库环境复杂多变，检测目标有其一定的独特性，直接利用EfficientDet训练目标检测器，效果虽好但仍有较大的提升空间，主要是定位的精度，检测速度和误判率需要进一步改进。
发明内容
发明目的：本发明的目的是提供基于改进EfficientDet模型的车库行人检测方法，通过masaic数据增强丰富车库行人检测的背景信息，引入CSPNet增强CNN的学习能力，能够在轻量化模型的同时保持检测的准确性，引入SPP增加网络的感受野，使得改进后的模型在实时性和准确性上均有较大的性能提升。
技术方案：为达到此目的，本发明采用以下技术方案：
基于改进EfficientDet模型的车库行人检测方法，包括以下步骤：
S1：收集不同时段和光照环境下的车库行人图像；
S2：针对车库行人图像，首先进行预处理，然后随机抽取4张图像利用mosaic数据增强方法合成一张复合图像，得到训练样本；
S3：在主干网络EfficientNet中引入特征分流网络CSPNet，实现特征分流，得到轻量化的模型CSPEfficientNet；
S4：在CSPEfficientNet分类层的前面引入空间金字塔池化模块SPP，得到新的主干网络CSPEfficientNet-SPP，以增加特征提取网络的感受野；
S5：将CSPEfficientNet-SPP和特征融合网络BiFPN、分类网络class-prediction-net以及定位网络box-prediction-net相结合，得到改进的EfficientDet模型；
S6：对改进的EfficientDet模型采用迁移学习，得到车库行人检测模型。
进一步地，步骤S2中，所述的预处理方式包括图像尺寸裁剪、水平翻转和标准化处理。
进一步地，步骤S2中，所述的mosaic数据增强方法为：
S21：获取统一尺寸后的图像长宽，利用逐像素点填充的方式生成一张长宽翻倍的新图像；
S22：利用索引获取当前图像，再利用随机抽样的方式从样本集中抽取3张图像，随机截取4张图像的部分区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像，最后将图像长宽缩小一倍；
S23：根据截取图像在新图像中的位置，转换每张图像中相应的boxes坐标至新图像，得到相应的annotations标签数据；
S24：将新图像和annotations标签数据打包作为一个新的训练样本，输入网络中训练。
进一步地，步骤S3中，所述的在主干网络EfficientNet中引入特征分流网络CSPNet的方法，包括如下步骤：
S31：对EfficientNet中的基本卷积模块按结构进行归类，将无通道膨胀和跳跃连接的归类到移动倒置瓶颈块1，将有通道膨胀但无跳跃连接的归类到移动倒置瓶颈块2，将有通道膨胀和跳跃连接的归类到移动倒置瓶颈块3；
S32：每个移动倒置瓶颈块2的输出特征分别经过两个卷积层，分为两条通道数减半的特征分支，实现分流；
S33：任意一条特征分支再通过原网络中的移动倒置瓶颈块3，接着连接一个卷积层，保持输出特征分支的维度不变；
S34：将上述S32和S33得到的两条特征分支的输出特征在通道维度上拼接；
S35：将融合后的特征最后通过一个卷积层，实现特征过渡。
进一步地，步骤S4中，所述的在CSPEfficientNet分类层的前面引入空间金字塔池化模块SPP的方法为：
S41：从CSPEfficientNet最后一个基本卷积模块的输出引出四条支路，包括第一支路，第二支路，第三支路和第四支路；
S42：第一支路、第二支路、第三支路分别通过最大池化层a1、a2、a3，其中，a1的核大小为5，步长为1，a2的核大小为9，步长为1，a3的核大小为13，步长为1，第四支路保留原输出特征；
S43：将四条支路的输出在通道维度上进行拼接，得到一个新的特征图；
S44：将新的特征图最后通过一个卷积层，得到原特征的通道数。
进一步地，步骤S6中，所述的对改进的EfficientDet模型采用迁移学习，包括如下步骤：
S61：首先将改进后的EfficientDet模型在数据集上进行预训练，直至收敛；
S62：将模型的分类预测数设为1，然后将预训练后的模型在车库行人数据集上进行迁移学习，训练至收敛。
有益效果：本发明公开了基于改进EfficientDet模型的车库行人检测方法，针对车库内行人目标的独特性，利用mosaic数据增强方法丰富行人检测的背景信息，且在标准化Batch Normalization计算时一次性计算四张图像的数据；在主干网络EfficientNet中引入特征分流网络CSPNet，增强CNN的学习能力，能够在轻量化模型的同时保持检测的准确性，并明显提升检测速度，降低计算瓶颈和内存成本；在特征提取网络的顶部引入空间金字塔池化模块SPP，增加网络的感受野，提升不同尺度大小目标的检测精度，在复杂多变的车库环境中能准确快速地完成行人检测。
附图说明
图1为本发明的基于改进EfficientDet模型的车库行人检测方法流程图；
图2为本发明使用mosaic数据增强后生成的训练样本；
图3为本发明中主干网络EfficientNet-b0的网络结构图；
图4为本发明中主干网络EfficientNet-b0中的部分重要模块结构图；
图5为本发明引入CSPNet后的基本模块，基于分流网络的移动倒置瓶颈模块CSPMBConvBlock的网络结构图；
图6为本发明所用的SPP模块结构图；
图7为本发明的改进后EfficientDet-D0网络的整体框架。
具体实施方式
下面结合具体实施方式和附图对本发明的技术方案作进一步的介绍。
基于改进EfficientDet模型的车库行人检测方法，包括以下步骤：
S1：收集不同时段和光照环境下的车库行人图像；
S2：针对车库行人图像，首先进行预处理，然后随机抽取4张图像利用mosaic数据增强方法合成一张复合图像，得到训练样本；
S3：在主干网络EfficientNet中引入特征分流网络CSPNet，实现特征分流，得到轻量化的模型CSPEfficientNet；
S4：在CSPEfficientNet分类层的前面引入空间金字塔池化模块SPP，得到新的主干网络CSPEfficientNet-SPP，以增加特征提取网络的感受野；
S5：将CSPEfficientNet-SPP和特征融合网络BiFPN、分类网络class-prediction-net以及定位网络box-prediction-net相结合，得到改进的EfficientDet模型；
S6：对EfficientDet模型采用迁移学习，得到车库行人检测模型。
步骤S2中，预处理方式包括图像尺寸裁剪、水平翻转和标准化处理；mosaic数据增强方法为：
S21：获取统一尺寸后的图像长宽，利用逐像素点填充的方式生成一张长宽翻倍的新图像；
S22：利用索引获取当前图像，再利用随机抽样的方式从样本集中抽取3张图像，随机截取4张图像的部分区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像，最后将图像长宽缩小一倍；
S23：根据截取图像在新图像中的位置，转换每张图像中相应的boxes坐标至新图像，得到相应的annotations标签数据；
S24：将新图像和新标签打包作为一个新的训练样本，输入网络中训练。
步骤S3中，在主干网络EfficientNet中引入CSPNet的方法为：
S31：对EfficientNet中的基本卷积模块按结构进行归类，将无通道膨胀和跳跃连接的归类到移动倒置瓶颈块1(SepConv)，将有通道膨胀但无跳跃连接的归类到移动倒置瓶颈块2(MBConv)，将有通道膨胀和跳跃连接的归类到移动倒置瓶颈块3(MBConvBlock)；
S32：每个移动倒置瓶颈块2的输出特征分别经过两个卷积层，分为两条通道数减半的特征分支，实现分流；
S33：任意一条特征分支再通过原网络中的移动倒置瓶颈块3，接着连接一个卷积层，保持输出特征的维度不变；
S34：将两条特征分支的输出特征在通道维度上拼接；
S35：将融合后的特征最后通过一个卷积层，实现特征过渡(transition)。
步骤S4中，在主干网络CSPEfficientNet中引入SPP的方法为：
S41：从CSPEfficientNet最后一个基本卷积模块的输出引出四条支路；
S42：第一、第二、第三条支路分别通过最大池化层a1、a2、a3，a1的核大小为5，步长为1，a2的核大小为9，步长为1，a3的核大小为13，步长为1，最后一条支路保留原输出特征；
S43：将四条支路的输出在通道维度上进行拼接，得到一个新的特征图(featuremap)；
S44：将新得到的特征图最后通过一个卷积层，得到原特征的通道数。
步骤S6中，将改进后的EfficientDet模型经过迁移学习，训练得到车库行人检测模型的方法为：
S61：首先将改进后的EfficientDet模型在数据集上进行预训练，直至收敛；
S62：将模型的分类预测数设为1，然后将预训练后的模型在车库行人数据集上进行迁移学习，训练至收敛。
实施例
本具体实施方式公开了基于改进EfficientDet模型的车库行人检测方法，如图1～图7所示，包括以下步骤：
S1：收集不同时段和光照环境下的车库行人图像；
S2：如图1所示，样本输入网络训练前需经过预处理和数据增强，针对车库行人图像，首先将其裁剪成统一尺寸，接着做水平翻转(50％的概率)以及标准化处理，最后利用mosaic数据增强方法，随机抽取4张图像生成一张复合图像，并转换得到相应的标签数据，生成训练样本(如图2所示)；
S3：本文以EfficientDet-D0为例，在主干网络EfficientNet-b0(如图3所示)中引入特征分流网络CSPNet，增强CNN的学习能力，轻量化模型的同时保持检测的准确性，降低计算瓶颈和内存成本，引入CSPNet后网络的基本模块CSPMBConvBlock的结构如图5所示；图4(a)、图4(b)、图4(c)为本发明中主干网络EfficientNet-b0中的部分重要模块结构图；
S4：在CSPEfficientNet分类层的前面引入空间金字塔池化模块SPP(如图6所示)，得到主干网络CSPEfficientNet-SPP，以增加特征提取网络的感受野，使得网络对于图像中不同尺寸大小的目标均能提取尽可能多的有效特征；
S5：如图7所示，仍旧以EfficientDet-D0为例，将CSPEfficientNet-SPP和特征融合网络BiFPN、分类网络class-prediction-net以及定位网络box-prediction-net相结合，得到改进的EfficientDet-D0模型；
S6：对EfficientDet模型采用迁移学习，避免直接训练时因车库行人数据集较小而模型参数庞大导致的难收敛问题，得到车库行人检测模型。
步骤S2中，mosaic数据增强方法为：
S21：获取统一尺寸后的图像长宽，利用逐像素点填充的方式生成一张长宽翻倍的新图像，像素统一赋值为0；
S22：利用索引获取当前图像，再利用随机抽样的方式从样本集中抽取3张图像，随机截取4张图像的部分区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像，最后将图像长宽缩小一倍；
S23：根据截取图像在新图像中的位置，转换每张图像中相应的boxes坐标至新图像，得到相应的annotations标签数据；
S24：将新图像和新标签打包作为一个新的训练样本，输入网络中训练。
步骤S3中，在主干网络EfficientNet中引入CSPNet的方法为：
S31：对EfficientNet中的基本卷积模块按结构进行归类，将无通道膨胀和跳跃连接的归类到移动倒置瓶颈块1，将有通道膨胀但无跳跃连接的归类到移动倒置瓶颈块2，将有通道膨胀和跳跃连接的归类到移动倒置瓶颈块3；
S32：每个MBConv的输出特征分别经过两个卷积层，分为两条通道数减半的特征分支，实现分流；
S33：任意一条特征支路再通过原网络中的MBConvBlock模块，接着连接一个卷积层，保持输出特征的维度不变；
S34：将两条支路的输出特征在通道维度拼接；
S35：将融合后的特征最后通过一个卷积层，实现特征过渡。
步骤S4中，在主干网络CSPEfficientNet中引入SPP的方法为：
S41：从CSPEfficientNet最后一个基本卷积模块的输出引出四条支路；
S42：第一、第二、第三条支路分别通过最大池化层a1、a2、a3，a1的核大小为5，步长为1，a2的核大小为9，步长为1，a3的核大小为13，步长为1，最后一条支路保留原输出特征；
S43：将四条支路的输出在通道维度上进行拼接，得到一个新的特征图；
S44：将新得到的特征图最后通过一个卷积层，得到原特征的通道数。
步骤S6中，对EfficientDet模型经过迁移学习，得到车库行人检测模型的方法为：
S61：首先将改进后的EfficientDet模型在COCO2014数据集上进行训练，直至收敛；
S62：将模型的分类预测数目由80改为1，然后将经过COCO2014数据集预训练后的模型在车库行人数据集上进行迁移学习，训练至收敛。
表1为本发明提出的改进EfficientDet模型的对比实验结果。
表1改进EfficientDet模型的对比实验
Params FLOPs MAP
Original Model 3.828M 2.21G 0.649
Mosaic 3.823M 2.21G 0.667
CSPNet 2.181M 1.41G 0.658
SPP 4.328M 2.40G 0.674
Mosaic+CSPNet+SPP 2.592M 1.51G 0.686
综上所述，本发明利用一些当前先进方法改进了EfficientDet模型，在轻量化模型、提升模型检测速度的同时，提升了模型的鲁棒性，使检测模型在复杂多变的车库环境中精准快速地定位行人所在位置，满足智慧车库行人检测地实时性和准确性要求。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.基于改进EfficientDet模型的车库行人检测方法，其特征在于：包括以下步骤：
S1：收集不同时段和光照环境下的车库行人图像；
S2：针对车库行人图像，首先进行预处理，然后随机抽取4张图像利用mosaic数据增强方法合成一张复合图像，得到训练样本；
S3：在主干网络EfficientNet中引入特征分流网络CSPNet，实现特征分流，得到轻量化的模型CSPEfficientNet；
S4：在CSPEfficientNet分类层的前面引入空间金字塔池化模块SPP，得到新的主干网络CSPEfficientNet-SPP，以增加特征提取网络的感受野；
S5：将CSPEfficientNet-SPP和特征融合网络BiFPN、分类网络class-prediction-net以及定位网络box-prediction-net相结合，得到改进的EfficientDet模型；
S6：对改进的EfficientDet模型采用迁移学习，得到车库行人检测模型。
2.根据权利要求1所述的基于改进EfficientDet模型的车库行人检测方法，其特征在于：步骤S2中，所述的预处理方式包括图像尺寸裁剪、水平翻转和标准化处理。
3.根据权利要求1所述的基于改进EfficientDet模型的车库行人检测方法，其特征在于：步骤S2中，所述的mosaic数据增强方法为：
S21：获取统一尺寸后的图像长宽，利用逐像素点填充的方式生成一张长宽翻倍的新图像；
S22：利用索引获取当前图像，再利用随机抽样的方式从样本集中抽取3张图像，随机截取4张图像的部分区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像，最后将图像长宽缩小一倍；
S23：根据截取图像在新图像中的位置，转换每张图像中相应的boxes坐标至新图像，得到相应的annotations标签数据；
S24：将新图像和annotations标签数据打包作为一个新的训练样本，输入网络中训练。
4.根据权利要求1所述的基于改进EfficientDet模型的车库行人检测方法，其特征在于：步骤S3中，所述的在主干网络EfficientNet中引入特征分流网络CSPNet的方法，包括如下步骤：
S31：对EfficientNet中的基本卷积模块按结构进行归类，将无通道膨胀和跳跃连接的归类到移动倒置瓶颈块1，将有通道膨胀但无跳跃连接的归类到移动倒置瓶颈块2，将有通道膨胀和跳跃连接的归类到移动倒置瓶颈块3；
S32：每个移动倒置瓶颈块2的输出特征分别经过两个卷积层，分为两条通道数减半的特征分支，实现分流；
S33：任意一条特征分支再通过原网络中的移动倒置瓶颈块3，接着连接一个卷积层，保持输出特征分支的维度不变；
S34：将上述S32和S33得到的两条特征分支的输出特征在通道维度上拼接；
S35：将融合后的特征最后通过一个卷积层，实现特征过渡。
5.根据权利要求1所述的基于改进EfficientDet模型的车库行人检测方法，其特征在于：步骤S4中，所述的在CSPEfficientNet分类层的前面引入空间金字塔池化模块SPP的方法为：
S41：从CSPEfficientNet最后一个基本卷积模块的输出引出四条支路，包括第一支路，第二支路，第三支路和第四支路；
S42：第一支路、第二支路、第三支路分别通过最大池化层a1、a2、a3，其中，a1的核大小为5，步长为1，a2的核大小为9，步长为1，a3的核大小为13，步长为1，第四支路保留原输出特征；
S43：将四条支路的输出在通道维度上进行拼接，得到一个新的特征图；
S44：将新的特征图最后通过一个卷积层，得到原特征的通道数。
6.根据权利要求1所述的基于改进EfficientDet模型的车库行人检测方法，其特征在于：步骤S6中，所述的对改进的EfficientDet模型采用迁移学习，包括如下步骤：
S61：首先将改进后的EfficientDet模型在数据集上进行预训练，直至收敛；
S62：将模型的分类预测数设为1，然后将预训练后的模型在车库行人数据集上进行迁移学习，训练至收敛。
CN202011171204.3A 2020-10-28 2020-10-28 基于改进EfficientDet模型的车库行人检测方法 Active CN112487862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011171204.3A CN112487862B (zh) 2020-10-28 2020-10-28 基于改进EfficientDet模型的车库行人检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011171204.3A CN112487862B (zh) 2020-10-28 2020-10-28 基于改进EfficientDet模型的车库行人检测方法

Publications (2)

Publication Number Publication Date
CN112487862A true CN112487862A (zh) 2021-03-12
CN112487862B CN112487862B (zh) 2021-07-02

Family

ID=74926204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011171204.3A Active CN112487862B (zh) 2020-10-28 2020-10-28 基于改进EfficientDet模型的车库行人检测方法

Country Status (1)

Country Link
CN (1) CN112487862B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990325A (zh) * 2021-03-24 2021-06-18 南通大学 一种面向嵌入式实时视觉目标检测的轻型网络构建方法
CN113011442A (zh) * 2021-03-26 2021-06-22 山东大学 一种基于双向自适应特征金字塔的目标检测方法及系统
CN113111736A (zh) * 2021-03-26 2021-07-13 浙江理工大学 基于深度可分离卷积及融合pan的多级特征金字塔目标检测方法
CN113361375A (zh) * 2021-06-02 2021-09-07 武汉理工大学 一种基于改进BiFPN的车辆目标识别方法
CN113468992A (zh) * 2021-06-21 2021-10-01 四川轻化工大学 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法
CN114187606A (zh) * 2021-10-21 2022-03-15 江阴市智行工控科技有限公司 一种采用分支融合网络轻量化的车库行人检测方法及系统
CN114898359A (zh) * 2022-03-25 2022-08-12 华南农业大学 一种基于改进EfficientDet的荔枝病虫害检测方法
CN115376091A (zh) * 2022-10-21 2022-11-22 松立控股集团股份有限公司 一种利用图像分割辅助的车道线检测方法
CN115546614A (zh) * 2022-12-02 2022-12-30 天津城建大学 一种基于改进yolov5模型的安全帽佩戴检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110170171A (zh) * 2019-06-03 2019-08-27 深圳市腾讯网域计算机网络有限公司 一种目标对象的控制方法及装置
CN111062297A (zh) * 2019-12-11 2020-04-24 青岛科技大学 基于eann深度学习模型的暴力异常行为检测方法
CN111523579A (zh) * 2020-04-14 2020-08-11 燕山大学 一种基于改进深度学习的车型识别方法及系统
CN111563494A (zh) * 2020-07-16 2020-08-21 平安国际智慧城市科技股份有限公司 基于目标检测的行为识别方法、装置和计算机设备
CN111696077A (zh) * 2020-05-11 2020-09-22 余姚市浙江大学机器人研究中心 一种基于WaferDet网络的晶圆缺陷检测方法
CN111797760A (zh) * 2020-07-02 2020-10-20 绵阳职业技术学院 基于Retinanet改进的农作物病虫害识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110170171A (zh) * 2019-06-03 2019-08-27 深圳市腾讯网域计算机网络有限公司 一种目标对象的控制方法及装置
CN111062297A (zh) * 2019-12-11 2020-04-24 青岛科技大学 基于eann深度学习模型的暴力异常行为检测方法
CN111523579A (zh) * 2020-04-14 2020-08-11 燕山大学 一种基于改进深度学习的车型识别方法及系统
CN111696077A (zh) * 2020-05-11 2020-09-22 余姚市浙江大学机器人研究中心 一种基于WaferDet网络的晶圆缺陷检测方法
CN111797760A (zh) * 2020-07-02 2020-10-20 绵阳职业技术学院 基于Retinanet改进的农作物病虫害识别方法
CN111563494A (zh) * 2020-07-16 2020-08-21 平安国际智慧城市科技股份有限公司 基于目标检测的行为识别方法、装置和计算机设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ALEXEY BOCHKOVSKIY ET AL: "YOLOv4: Optimal Speed and Accuracy of Object Detection", 《ARXIV》 *
CHIEN-YAO WANG ET AL: "CSPNet: A New Backbone that can Enhance Learning Capability of CNN", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *
HAIKUAN WANG ET AL: "A Real-Time Safety Helmet Wearing Detection Approach Based on CSYOLOv3", 《APPLIED SCIENCES》 *
MINGXING TAN ET AL: "EfficientDet: Scalable and Efficient Object Detection", 《ARXIV》 *
MINGXING TAN ET AL: "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks", 《ARXIV》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990325A (zh) * 2021-03-24 2021-06-18 南通大学 一种面向嵌入式实时视觉目标检测的轻型网络构建方法
CN113011442A (zh) * 2021-03-26 2021-06-22 山东大学 一种基于双向自适应特征金字塔的目标检测方法及系统
CN113111736A (zh) * 2021-03-26 2021-07-13 浙江理工大学 基于深度可分离卷积及融合pan的多级特征金字塔目标检测方法
CN113361375B (zh) * 2021-06-02 2022-06-07 武汉理工大学 一种基于改进BiFPN的车辆目标识别方法
CN113361375A (zh) * 2021-06-02 2021-09-07 武汉理工大学 一种基于改进BiFPN的车辆目标识别方法
CN113468992A (zh) * 2021-06-21 2021-10-01 四川轻化工大学 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法
CN113468992B (zh) * 2021-06-21 2022-11-04 四川轻化工大学 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法
CN114187606A (zh) * 2021-10-21 2022-03-15 江阴市智行工控科技有限公司 一种采用分支融合网络轻量化的车库行人检测方法及系统
CN114898359A (zh) * 2022-03-25 2022-08-12 华南农业大学 一种基于改进EfficientDet的荔枝病虫害检测方法
CN114898359B (zh) * 2022-03-25 2024-04-30 华南农业大学 一种基于改进EfficientDet的荔枝病虫害检测方法
CN115376091A (zh) * 2022-10-21 2022-11-22 松立控股集团股份有限公司 一种利用图像分割辅助的车道线检测方法
CN115546614A (zh) * 2022-12-02 2022-12-30 天津城建大学 一种基于改进yolov5模型的安全帽佩戴检测方法
CN115546614B (zh) * 2022-12-02 2023-04-18 天津城建大学 一种基于改进yolov5模型的安全帽佩戴检测方法

Also Published As

Publication number Publication date
CN112487862B (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN112487862B (zh) 基于改进EfficientDet模型的车库行人检测方法
WO2022083784A1 (zh) 一种基于车联网的道路检测方法
CN111695448B (zh) 一种基于视觉传感器的路侧车辆识别方法
CN105160309B (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN111008562A (zh) 一种特征图深度融合的人车目标检测方法
CN108171112A (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN110728200A (zh) 一种基于深度学习的实时行人检测方法及系统
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN108921850B (zh) 一种基于图像分割技术的图像局部特征的提取方法
CN112507844A (zh) 基于视频分析的交通拥堵检测方法
Cepni et al. Vehicle detection using different deep learning algorithms from image sequence
CN110781850A (zh) 道路识别的语义分割系统和方法、计算机存储介质
CN110334584B (zh) 一种基于区域全卷积网络的手势识别方法
CN112464912B (zh) 基于YOLO-RGGNet的机器人端人脸检测方法
CN108491828B (zh) 一种基于层次的成对相似性PVAnet的停车位检测系统及方法
CN112183649A (zh) 一种用于对金字塔特征图进行预测的算法
CN114764856A (zh) 图像语义分割方法和图像语义分割装置
CN115620393A (zh) 一种面向自动驾驶的细粒度行人行为识别方法及系统
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN114973199A (zh) 一种基于卷积神经网络的轨道交通列车障碍物检测方法
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN116229448A (zh) 三维目标检测方法、装置、设备及可读存储介质
CN111062311B (zh) 一种基于深度级可分离卷积网络的行人手势识别与交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220520

Address after: No. 35, Chuangye Road, Xuzhou Economic and Technological Development Zone, Xuzhou, Jiangsu 221000

Patentee after: XUZHOU REMARKABLE INTELLIGENT TECHNOLOGY CO.,LTD.

Address before: 210000 3rd floor, 699-1 Xuanwu Avenue, Xuanwu District, Nanjing, Jiangsu Province

Patentee before: Nanjing yunniu Intelligent Technology Co.,Ltd.

Patentee before: SOUTHEAST University

Patentee before: Jiangyin Zhixing Industrial Control Technology Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No. 35 Chuangye Road, Economic and Technological Development Zone, Xuzhou City, Jiangsu Province, 221122

Patentee after: Xuzhou Ruima Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: No. 35, Chuangye Road, Xuzhou Economic and Technological Development Zone, Xuzhou, Jiangsu 221000

Patentee before: XUZHOU REMARKABLE INTELLIGENT TECHNOLOGY CO.,LTD.

Country or region before: China