CN114187606A - 一种采用分支融合网络轻量化的车库行人检测方法及系统 - Google Patents

一种采用分支融合网络轻量化的车库行人检测方法及系统 Download PDF

Info

Publication number
CN114187606A
CN114187606A CN202111226558.8A CN202111226558A CN114187606A CN 114187606 A CN114187606 A CN 114187606A CN 202111226558 A CN202111226558 A CN 202111226558A CN 114187606 A CN114187606 A CN 114187606A
Authority
CN
China
Prior art keywords
branch
garage
training
pedestrian
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111226558.8A
Other languages
English (en)
Other versions
CN114187606B (zh
Inventor
牛丹
李永胜
黄科伟
许子恒
王思敏
丁力
吴昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Juli Intelligent Machinery Corp ltd
Nanjing Yunniu Intelligent Technology Co ltd
Jiangyin Zhixing Industrial Control Technology Co ltd
Original Assignee
Jiangsu Juli Intelligent Machinery Corp ltd
Nanjing Yunniu Intelligent Technology Co ltd
Jiangyin Zhixing Industrial Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Juli Intelligent Machinery Corp ltd, Nanjing Yunniu Intelligent Technology Co ltd, Jiangyin Zhixing Industrial Control Technology Co ltd filed Critical Jiangsu Juli Intelligent Machinery Corp ltd
Priority to CN202111226558.8A priority Critical patent/CN114187606B/zh
Publication of CN114187606A publication Critical patent/CN114187606A/zh
Application granted granted Critical
Publication of CN114187606B publication Critical patent/CN114187606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种采用分支融合网络轻量化的车库行人检测方法，包括(1)采集车库行人图像；(2)对图像预处理，再用数据增强丰富样本信息获得训练样本；(3)主干网络引入分支融合网络，将主干网络每个阶段的特征在通道维度分离，1/N特征通过原模型支路，其余特征通过轻量化支路；(4)将相邻支路特征在特征维度相同的节点融合；(5)将分支路输出特征在通道维度拼接恢复通道数，并为通道分配权重，获得通道特征信息；(6)先在大数据集用恒定学习率训练，再在车库行人数据集用学习率衰减调整。本发明还公开一种采用分支融合网络轻量化的车库行人检测系统。本发明降低模型前向推理计算量，提升检测速度；在轻量化模型同时保持检测准确性。

Description

一种采用分支融合网络轻量化的车库行人检测方法及系统
技术领域
本发明涉及一种检测方法及系统，尤其涉及一种采用分支融合网络轻量化的车库行人检测方法及系统。
背景技术
智慧立体车库实现了无人化，即车位预定、车牌识别和车位升降均由系统自动处理完成。其中，车位升降时需确保车位上没有行人停留时才能执行，因此需要进行车库行人检测以杜绝安全隐患。
车库行人检测是目标检测的一个分支。较早的目标检测算法包括利用滑动窗口产生候选区域再进行CNN分类的二阶段算法，如R-CNN系列等。还有对输入图像进行端到端检测直接输出定位和类别的一阶段算法，如SSD和YOLO系列。R-CNN系列虽然具有一定的准确率保障，但是其检测速度慢，模型庞大，不适用于对目标检测实时性要求较高的场合。而YOLO系列，包括YOLOv1，YOLOV2，YOLOv3虽然检测速度较快，但受限于检测精度，也较少直接被用于工业现场。相较而言，早期工业现场一般选用SSD，它对速度和精度有一个较好的平衡。但是，日渐复杂的检测任务和对模型轻量化要求的不断提高，这些算法显然无法满足要求。近年来，优秀的目标检测模型层出不穷，例如RetinaNet,CenterNet,M2Det,NAS-FPN,EfficientDet和YOLOv5等。这些模型有的致力于解决精度问题，往往会设计包含大量参数的网络充分学习特征信息，导致检测速度偏慢。有的致力于解决检测速度问题，因此在检测精度上有所牺牲。其中，EfficientDet系列有D0到D7这8个不同规模的模型，它们的检测精度逐渐升高，检测速度逐渐减慢。
车库行人检测时为了避免视觉盲区，往往会在车库的不同视角安装多个摄像头，并通过多个摄像头获取的图像信息进行行人检测。但考虑到成本问题，不可能在现场部署昂贵的计算机，同时又需要在计算资源受限的情况下快速地完成车库行人检测任务。因此，为了满足实时性要求，所采用的车库行人检测算法应尽可能地轻量化。但目前先进的目标检测模型，推理计算主要集中在特征提取阶段，也就是主干网络中。而为了提升检测精度，目标检测模型的主干网络往往十分庞大，结构复杂且参数量繁多，并不适合车库行人检测的实现。
发明内容
发明目的：本发明旨在提供一种采用分支融合网络轻量化的车库行人检测方法及系统，解决车库行人检测模型中主干网络十分庞大，结构复杂且参数量繁多的问题。
技术方案：本发明所述的采用分支融合网络轻量化的车库行人检测方法，包括以下步骤：
(1)采集极端场景和正常场景下的车库行人图像，建立车库行人数据集；
(2)先对车库行人数据集中的图像预处理，再利用数据增强丰富样本信息，获得训练样本；
(3)检测模型的主干网络中引入分支数为N的分支融合网络，分支结构将主干网络中每个阶段的特征在通道维度上分离，1/N的特征通过原模型支路，(N-1)/N的特征通过轻量化支路；
(4)在分支融合网络中，将相邻支路的特征在特征维度相同的节点融合，并在支路中使用跳跃连接；
(5)每个阶段结束前，将分支融合网络各支路输出的特征在通道维度上拼接，恢复通道数，并利用注意力机制为每个通道分配权重参数，获得通道的有效特征信息；
(6)检测模型先在大数据集上用学习率恒定的方式训练，再在车库行人数据集上用学习率衰减的方式调整。
所述步骤(2)中，图像预测处理包括图像尺寸裁剪、水平翻转和标准化处理；数据增强包括以下步骤：
(21)获取统一尺寸后的图像长宽，利用逐像素点填充生成一张新的图像；
(22)利用索引和随机抽样的方式从车库行人数据集中抽取4张图像，随机截取4张图像的局部区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像；
(23)根据截取图像在新图像中的位置，转换每张图像中的坐标至新图像，并获得相应的标签；
(24)将新图像和新标签打包作为一个新的训练样本。
所述步骤(3)中包括以下步骤：
(31)根据输出特征图的分辨率和通道数将主干网络划分为X个阶段，X≥2，每个阶段包含Y个卷积层，Y≥2；
(32)将每个阶段的输入特征在通道维度上N等分，N≥2为分支数，获得每条支路的输入特征；
(33)设置第一条支路为结构不变的原模型支路，调整该支路中各卷积层的输入和输出特征均为原来的1/N，其余N-1条支路仅包含一个深度可分离卷积层。
所述步骤(4)中包括以下步骤：
(41)设置卷积层参数使得相邻支路在对应节点上的特征维度相同；
(42)将相邻支路在对应节点上的特征逐点相加，并通过一个卷积层特征融合。
所述步骤(5)中包括以下步骤：
(51)将拼接后的特征全局池化，特征维度变为1×1×C，C为通道数；
(52)将1×1×C的特征向量经过一个全连接层通道压缩，并用ReLU激活函数非线性化；
(53)将压缩后的特征经过一个全连接层扩张通道数至C，再用Sigmoid函数获得通道的权重信息；
(54)将权重与拼接后的特征相乘；得到通道加权后的特征。
所述步骤(6)中包括以下步骤：
(61)将检测模型在ImageNet数据集和COCO2017数据集采用Adam优化器预训练，保持恒定学习率，训练P轮，P≥50；
(62)设定检测模型的分类预测数，然后将预训练后的检测模型采用学习率衰减的方式在车库行人数据集训练，首先采用Adam优化器，当检测模型误差小于阈值时，采用Sgd优化器，训练至收敛。
本发明所述的一种采用分支融合网络轻量化的车库行人检测系统，包括训练样本模块、检测模型模块和检测模型训练模块；训练样本模块、检测模型模块均与检测模型训练模块连接；所述训练样本模块收集车库行人图像并处理获得训练样本，包括图像预处理子模块和数据增强子模块；所述检测模型模块包括主干网络和分支数为N的分支融合网络，分支结构将主干网络中每个阶段的特征在通道维度上分离，1/N特征通过原模型支路，(N-1)/N特征通过轻量化支路；在分支融合网络中，将相邻支路的特征在特征维度相同的节点融合，并在支路中使用跳跃连接；每个阶段结束前，将分支融合网络各支路输出的特征在通道维度上拼接，恢复通道数，并利用注意力机制为每个通道分配权重参数，获得通道的有效特征信息；所述检测模型训练模块采用训练样本模块的获得的训练样本对检测模型模块的检测模型训练。
所述数据增强子模块获取统一尺寸后的图像长宽，利用逐像素点填充生成一张新的图像；再利用索引和随机抽样的方式从车库行人数据集中抽取4张图像，随机截取4张图像的局部区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像；根据截取图像在新图像中的位置，转换每张图像中的坐标至新图像，并获得相应的标签；将新图像和新标签打包作为一个新的训练样本。
所述分支融合网络根据输出特征图的分辨率和通道数将主干网络划分为X个阶段，X≥2，每个阶段包含Y个卷积层，Y≥2；将每个阶段的输入特征在通道维度上N等分，N≥2为分支数，得到每条支路的输入特征；设置第一条支路为结构不变的原模型支路，调整该支路中各卷积层的输入和输出特征均为原来的1/N，其余支路仅包含一个深度可分离卷积层。
所述检测模型训练模块包括恒定学习率的训练子模块和衰减学习率的训练子模块；所述恒定学习率的训练子模块将检测模型采用恒定学习率方式在ImageNet数据集和COCO2017数据集采用Adam优化器预训练，训练P轮，P≥50；所述衰减学习率的训练子模块设置检测模型的分类预测数，然后将预训练后的检测模型采用学习率衰减的方式在车库行人数据集训练，首先采用Adam优化器，当检测模型误差小于阈值时，采用Sgd优化器，训练至收敛。
有益效果：与现有技术相比，本发明具有如下显著优点：
(1)针对车库内行人目标的独特性，利用数据增强方法丰富行人检测的背景信息。
(2)在主干网络中引入分支融合网络实现多分支结构，降低模型前向推理计算量，明显提升检测速度。
(3)将相邻支路的特征在对应节点上进行融合，实现特征信息互补，增强网络的学习能力。
(4)引入通道注意力机制为通道分配权重，充分提取通道的有效特征信息。
(5)在轻量化模型的同时保持检测的准确性，在复杂多变的车库环境中能准确快速地完成行人检测。
附图说明
图1为本发明分支融合网络结构图；
图2为本发明使用数据增强后生成的训练样本；
图3为本发明使用的注意力机制模块结构图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
由图1可知，本发明所述的采用分支融合网络轻量化的车库行人检测方法，包括以下步骤：
步骤(1)采集极端场景和正常场景下的车库行人图像，建立车库行人数据集；其中极端场景包括遮挡、暗光、反光等场合。增加样本多样性，并标注每张图像中行人所在的位置。
由图2可知，步骤(2)先对车库行人数据集中的图像预处理，再利用数据增强丰富样本信息，获得训练样本；其中，图像预测处理先对图像尺寸裁剪成统一尺寸、然后水平翻转，反转概率大约50％，再标准化处理；数据增强包括以下步骤：
(21)获取统一尺寸后的图像长宽，利用逐像素点填充生成一张的新图像，像素统一赋值为0；
(22)利用索引和随机抽样的方式从车库行人数据集中抽取4张图像，随机截取4张图像的局部区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像；
(23)根据截取图像在新图像中的位置，转换每张图像中的坐标至新图像，并获得相应的标签；
(24)将新图像和新标签打包作为一个新的训练样本。
步骤(3)检测模型的主干网络中引入分支数为N的分支融合网络，分支结构将主干网络中每个阶段的特征在通道维度上分离，1/N特征通过原模型支路，N-1/N特征通过轻量化支路；包括以下步骤：
(31)根据输出特征图的分辨率和通道数将主干网络划分为X个阶段，X≥2，每个阶段包含Y个卷积层，Y≥2；
(32)将每个阶段的输入特征在通道维度上N等分，N≥2，可以任意设定，得到每条支路的输入特征；
(33)设置第一条支路为结构不变的原模型支路，调整该支路中各卷积层的输入和输出特征均为原来的1/N，其余支路仅包含一个深度可分离卷积层。
步骤(4)在分支融合网络中，将相邻支路的特征在特征维度相同的节点融合，并在支路中使用跳跃连接；包括以下步骤：
(41)设置卷积层参数使得相邻支路在对应节点上的特征维度相同；
(42)将相邻支路在对应节点上的特征逐点相加，并通过一个卷积层特征融合。
由图3可知，步骤(5)每个阶段结束前，将分支融合网络各支路输出的特征在通道维度上拼接，恢复通道数，并利用注意力机制为每个通道分配权重参数，获得通道的有效特征信息；包括以下步骤：
(51)将拼接后的特征全局池化，特征维度变为1×1×C，C为通道数；
(52)将1×1×C的特征向量经过一个全连接层通道压缩，并用ReLU激活函数非线性化；
(53)将压缩后的特征经过一个全连接层扩张通道数至C，再用Sigmoid函数获得通道的权重信息；
(54)将权重与拼接后的特征进行相乘；得到通道加权后的特征。
步骤(6)检测模型先在大数据集上用学习率恒定的方式训练，再在车库行人数据集上用学习率衰减的方式调整。包括以下步骤：
(61)将检测模型在ImageNet数据集和COCO2017数据集采用Adam优化器预训练，保持恒定学习率，训练P轮，P≥50；本实施例中学习率为0.01，采用训练50轮；
(62)设置检测模型的分类预测数，本实施例中设为1，然后将预训练后的检测模型采用学习率衰减的方式在车库行人数据集训练，首先采用Adam优化器，当检测模型误差小于阈值时，采用Sgd优化器，训练至收敛。本实施例中，设置初始学习率为0.001，每10轮衰减为原来的0.1倍。
本发明所述的一种采用分支融合网络轻量化的车库行人检测系统，包括训练样本模块、检测模型模块和检测模型训练模块；训练样本模块、检测模型模块均与检测模型训练模块连接。
训练样本模块收集车库行人图像并处理获得训练样本，包括图像预处理子模块和数据增强子模块。检测模型模块包括主干网络和分支数为N的分支融合网络，分支结构将主干网络中每个阶段的特征在通道维度上分离，1/N特征通过原模型支路，(N-1)/N特征通过轻量化支路；在分支融合网络中，将相邻支路的特征在特征维度相同的节点融合，并在支路中使用跳跃连接；每个阶段结束前，将分支融合网络各支路输出的特征在通道维度上拼接，恢复通道数，并利用注意力机制为每个通道分配权重参数，获得通道的有效特征信息。检测模型训练模块采用训练样本模块的获得的训练样本对检测模型模块的检测模型训练。
数据增强子模块获取统一尺寸后的图像长宽，利用逐像素点填充生成一张新的图像；再利用索引和随机抽样的方式从车库行人数据集中抽取4张图像，随机截取4张图像的局部区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像；根据截取图像在新图像中的位置，转换每张图像中的坐标至新图像，并获得相应的标签；将新图像和新标签打包作为一个新的训练样本。
分支融合网络根据输出特征图的分辨率和通道数将主干网络划分为X个阶段，X≥2，每个阶段包含Y个卷积层，Y≥2；将每个阶段的输入特征在通道维度上N等分，N≥2为分支数，得到每条支路的输入特征；设置第一条支路为结构不变的原模型支路，调整该支路中各卷积层的输入和输出特征均为原来的1/N，其余支路仅包含一个深度可分离卷积层。
检测模型训练模块包括恒定学习率的训练子模块和衰减学习率的训练子模块；所述恒定学习率的训练子模块将检测模型采用恒定学习率方式在ImageNet数据集和COCO2017数据集采用Adam优化器预训练，训练P轮，P≥50；衰减学习率的训练子模块设置检测模型的分类预测数，然后将预训练后的检测模型采用学习率衰减的方式在车库行人数据集训练，首先采用Adam优化器，当检测模型误差小于阈值时，采用Sgd优化器，训练至收敛。
表1为本实施例中的车库行人检测轻量化模型的对比实验结果。
表1车库行人检测轻量化模型的对比实验
模型 参数量Params 浮点运算数FLOPs 检测精度AP
原始模型 3.828M 2.294B 0.653
二分支结构 1.891M 1.511B 0.645
三分支结构 1.488M 1.271B 0.630
四分支结构 1.343M 1.187B 0.627
表2为本实施例中运行车库行人检测模型的计算机平台相关配置信息。
表2计算机平台相关配置
Figure BDA0003314539210000071
Figure BDA0003314539210000081
本发明提出了一个分支融合网络来轻量化车库行人检测模型，并利用通道注意力机制来学习通道权重，在模型规模减小，检测速度加快的同时，保持了检测的准确度。采用本发明所提出的轻量化方法，在表2所示的计算机平台上实际运行时，调用多个摄像头完成一次行人检测的时间能从2秒缩短为1秒左右，满足智慧立体车库行人检测的实时性和准确性要求。

Claims (10)

1.一种采用分支融合网络轻量化的车库行人检测方法，其特征在于：包括以下步骤：
(1)采集车库行人图像，建立车库行人数据集；
(2)先对车库行人数据集中的图像预处理，再利用数据增强丰富样本信息，获得训练样本；
(3)检测模型的主干网络中引入分支数为N的分支融合网络，分支结构将主干网络中每个阶段的特征在通道维度上分离，1/N的特征通过原模型支路，(N-1)/N的特征通过轻量化支路；
(4)在分支融合网络中，将相邻支路的特征在特征维度相同的节点融合，并在支路中使用跳跃连接；
(5)每个阶段结束前，将分支融合网络各支路输出的特征在通道维度上拼接，恢复通道数，并利用注意力机制为每个通道分配权重参数，获得通道的有效特征信息；
(6)检测模型先在大数据集上用学习率恒定的方式训练，再在车库行人数据集上用学习率衰减的方式调整。
2.根据权利要求1所述的采用分支融合网络轻量化的车库行人检测方法，其特征在于：所述步骤(2)中，图像预测处理包括图像尺寸裁剪、水平翻转和标准化处理；数据增强包括以下步骤：
(21)获取统一尺寸后的图像长宽，利用逐像素点填充生成一张新的图像；
(22)利用索引和随机抽样的方式从车库行人数据集中抽取4张图像，随机截取4张图像的局部区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像；
(23)根据截取图像在新图像中的位置，转换每张图像中的坐标至新图像，并获得相应的标签；
(24)将新图像和新标签打包作为一个新的训练样本。
3.根据权利要求1所述的采用分支融合网络轻量化的车库行人检测方法，其特征在于：所述步骤(3)中包括以下步骤：
(31)根据输出特征图的分辨率和通道数将主干网络划分为X个阶段，X≥2，每个阶段包含Y个卷积层，Y≥2；
(32)将每个阶段的输入特征在通道维度上N等分，N≥2为分支数，获得每条支路的输入特征；
(33)设置第一条支路为结构不变的原模型支路，调整该支路中各卷积层的输入和输出特征均为原来的1/N，其余N-1条支路仅包含一个深度可分离卷积层。
4.根据权利要求1所述的采用分支融合网络轻量化的车库行人检测方法，其特征在于：所述步骤(4)中包括以下步骤：
(41)设置卷积层参数使得相邻支路在对应节点上的特征维度相同；
(42)将相邻支路在对应节点上的特征逐点相加，并通过一个卷积层特征融合。
5.根据权利要求1所述的采用分支融合网络轻量化的车库行人检测方法，其特征在于：所述步骤(5)中包括以下步骤：
(51)将拼接后的特征全局池化，特征维度变为1×1×C，C为通道数；
(52)将1×1×C的特征向量经过一个全连接层通道压缩，并用ReLU激活函数非线性化；
(53)将压缩后的特征经过一个全连接层扩张通道数至C，再用Sigmoid函数获得通道的权重信息；
(54)将权重与拼接后的特征相乘；得到通道加权后的特征。
6.根据权利要求1所述的采用分支融合网络轻量化的车库行人检测方法，其特征在于：所述步骤(6)中包括以下步骤：
(61)将检测模型在ImageNet数据集和COCO2017数据集采用Adam优化器预训练，保持恒定学习率，训练P轮，P≥50；
(62)设定检测模型的分类预测数，然后将预训练后的检测模型采用学习率衰减的方式在车库行人数据集训练，首先采用Adam优化器，当检测模型误差小于阈值时，采用Sgd优化器，训练至收敛。
7.一种采用分支融合网络轻量化的车库行人检测系统，其特征在于：包括训练样本模块、检测模型模块和检测模型训练模块；训练样本模块、检测模型模块均与检测模型训练模块连接；
所述训练样本模块收集车库行人图像并处理获得训练样本，包括图像预处理子模块和数据增强子模块；
所述检测模型模块包括主干网络和分支数为N的分支融合网络，分支结构将主干网络中每个阶段的特征在通道维度上分离，1/N特征通过原模型支路，(N-1)/N特征通过轻量化支路；在分支融合网络中，将相邻支路的特征在特征维度相同的节点融合，并在支路中使用跳跃连接；每个阶段结束前，将分支融合网络各支路输出的特征在通道维度上拼接，恢复通道数，并利用注意力机制为每个通道分配权重参数，获得通道的有效特征信息；
所述检测模型训练模块采用训练样本模块的获得的训练样本对检测模型模块的检测模型训练。
8.根据权利要求7所述的采用分支融合网络轻量化的车库行人检测系统，其特征在于：所述数据增强子模块获取统一尺寸后的图像长宽，利用逐像素点填充生成一张新的图像；再利用索引和随机抽样的方式从车库行人数据集中抽取4张图像，随机截取4张图像的局部区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像；根据截取图像在新图像中的位置，转换每张图像中的坐标至新图像，并获得相应的标签；将新图像和新标签打包作为一个新的训练样本。
9.根据权利要求7所述的采用分支融合网络轻量化的车库行人检测系统，其特征在于：所述分支融合网络根据输出特征图的分辨率和通道数将主干网络划分为X个阶段，X≥2，每个阶段包含Y个卷积层，Y≥2；将每个阶段的输入特征在通道维度上N等分，N≥2为分支数，得到每条支路的输入特征；设置第一条支路为结构不变的原模型支路，调整该支路中各卷积层的输入和输出特征均为原来的1/N，其余支路仅包含一个深度可分离卷积层。
10.根据权利要求7所述的采用分支融合网络轻量化的车库行人检测系统，其特征在于：所述检测模型训练模块包括恒定学习率的训练子模块和衰减学习率的训练子模块；
所述恒定学习率的训练子模块将检测模型采用恒定学习率方式在ImageNet数据集和COCO2017数据集采用Adam优化器预训练，训练P轮，P≥50；
所述衰减学习率的训练子模块设置检测模型的分类预测数，然后将预训练后的检测模型采用学习率衰减的方式在车库行人数据集训练，首先采用Adam优化器，当检测模型误差小于阈值时，采用Sgd优化器，训练至收敛。
CN202111226558.8A 2021-10-21 2021-10-21 一种采用分支融合网络轻量化的车库行人检测方法及系统 Active CN114187606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111226558.8A CN114187606B (zh) 2021-10-21 2021-10-21 一种采用分支融合网络轻量化的车库行人检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111226558.8A CN114187606B (zh) 2021-10-21 2021-10-21 一种采用分支融合网络轻量化的车库行人检测方法及系统

Publications (2)

Publication Number Publication Date
CN114187606A true CN114187606A (zh) 2022-03-15
CN114187606B CN114187606B (zh) 2023-07-25

Family

ID=80539819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111226558.8A Active CN114187606B (zh) 2021-10-21 2021-10-21 一种采用分支融合网络轻量化的车库行人检测方法及系统

Country Status (1)

Country Link
CN (1) CN114187606B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100495A (zh) * 2022-07-08 2022-09-23 福州大学 基于子特征融合的轻量化安全帽检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797676A (zh) * 2020-04-30 2020-10-20 南京理工大学 一种高分辨率遥感图像目标在轨轻量化快速检测方法
CN112150821A (zh) * 2020-10-14 2020-12-29 清华大学 轻量化车辆检测模型构建方法、系统及装置
CN112364705A (zh) * 2020-10-16 2021-02-12 天津大学 基于多层次特征融合的轻量型cnn的表情识别方法
CN112446388A (zh) * 2020-12-05 2021-03-05 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统
CN112487862A (zh) * 2020-10-28 2021-03-12 南京云牛智能科技有限公司 基于改进EfficientDet模型的车库行人检测方法
CN112818931A (zh) * 2021-02-26 2021-05-18 中国矿业大学 基于多粒度深度特征融合的多尺度行人重识别方法
CN112836657A (zh) * 2021-02-08 2021-05-25 中国电子科技集团公司第三十八研究所 一种基于轻量化YOLOv3的行人检测方法及系统
CN112906604A (zh) * 2021-03-03 2021-06-04 安徽省科亿信息科技有限公司 一种基于骨骼和rgb帧融合的行为识别方法、装置及系统
WO2021146890A1 (en) * 2020-01-21 2021-07-29 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for object detection in image using detection model
CN113205519A (zh) * 2021-04-21 2021-08-03 西安电子科技大学 一种基于多支路特征融合的图像分割方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021146890A1 (en) * 2020-01-21 2021-07-29 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for object detection in image using detection model
CN111797676A (zh) * 2020-04-30 2020-10-20 南京理工大学 一种高分辨率遥感图像目标在轨轻量化快速检测方法
CN112150821A (zh) * 2020-10-14 2020-12-29 清华大学 轻量化车辆检测模型构建方法、系统及装置
CN112364705A (zh) * 2020-10-16 2021-02-12 天津大学 基于多层次特征融合的轻量型cnn的表情识别方法
CN112487862A (zh) * 2020-10-28 2021-03-12 南京云牛智能科技有限公司 基于改进EfficientDet模型的车库行人检测方法
CN112446388A (zh) * 2020-12-05 2021-03-05 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统
CN112836657A (zh) * 2021-02-08 2021-05-25 中国电子科技集团公司第三十八研究所 一种基于轻量化YOLOv3的行人检测方法及系统
CN112818931A (zh) * 2021-02-26 2021-05-18 中国矿业大学 基于多粒度深度特征融合的多尺度行人重识别方法
CN112906604A (zh) * 2021-03-03 2021-06-04 安徽省科亿信息科技有限公司 一种基于骨骼和rgb帧融合的行为识别方法、装置及系统
CN113205519A (zh) * 2021-04-21 2021-08-03 西安电子科技大学 一种基于多支路特征融合的图像分割方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CUIPING SHI 等: "A Multi-Branch Feature Fusion Strategy Based on an Attention Mechanism for Remote Sensing Image Scene Classification" *
沈庆 等: "多分辨率特征注意力融合行人再识别" *
王雷: "面向人体姿态估计的轻量化神经网络研究" *
邱博 等: "一种轻量化的多目标实时检测模型" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100495A (zh) * 2022-07-08 2022-09-23 福州大学 基于子特征融合的轻量化安全帽检测方法

Also Published As

Publication number Publication date
CN114187606B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN112380921A (zh) 一种基于车联网的道路检测方法
CN112487862B (zh) 基于改进EfficientDet模型的车库行人检测方法
CN108537824B (zh) 基于交替反卷积与卷积的特征图增强的网络结构优化方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN110458085B (zh) 基于注意力增强三维时空表征学习的视频行为识别方法
CN111340151B (zh) 一种用于辅助车辆自动驾驶的天气现象识别系统和方法
CN108520203B (zh) 基于融合自适应多外围框与十字池化特征的多目标特征提取方法
CN112215795B (zh) 一种基于深度学习的服务器部件智能检测方法
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN112417973A (zh) 一种基于车联网的无人驾驶系统
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN113743269A (zh) 一种轻量化识别视频人体姿态的方法
CN114821492A (zh) 一种基于YOLOv4的道路车辆检测系统及方法
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN114550135B (zh) 一种基于注意力机制和特征聚合的车道线检测方法
CN111104855B (zh) 一种基于时序行为检测的工作流识别方法
CN116580184A (zh) 一种基于YOLOv7的轻量化模型
CN114187606A (zh) 一种采用分支融合网络轻量化的车库行人检测方法及系统
CN112288702A (zh) 一种基于车联网的道路图像检测方法
CN110674845B (zh) 一种结合多感受野注意与特征再校准的菜品识别方法
CN117237603A (zh) 一种基于FPGA加速的改进YOLOv8s交通目标检测方法
CN115661704A (zh) 一种对于矿山挖掘环境的多目标检测方法
CN114495160A (zh) 一种基于改进RFBNet算法的行人检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant