CN113807386A - 一种融合多尺度信息的目标检测方法、系统及计算机设备 - Google Patents
一种融合多尺度信息的目标检测方法、系统及计算机设备 Download PDFInfo
- Publication number
- CN113807386A CN113807386A CN202110826371.5A CN202110826371A CN113807386A CN 113807386 A CN113807386 A CN 113807386A CN 202110826371 A CN202110826371 A CN 202110826371A CN 113807386 A CN113807386 A CN 113807386A
- Authority
- CN
- China
- Prior art keywords
- target detection
- layer
- detection model
- output
- encode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computational Mathematics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Optimization (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明为克服基于多尺度特征融合的目标检测方法存在极大的计算花销的缺陷,提出一种融合多尺度信息的目标检测方法,包括以下步骤:构建目标检测模型;所述目标检测模型包括输入层,若干基于YOLOF算法的encode层,以及输出层;其中所述若干encode层之间残差连接,且逐层对encode层输出的特征图进行融合后传输至输出层中,输出层输出单个的目标检测结果特征图;采用损失函数对所述目标检测模型进行训练,得到完成训练的目标检测模型;将待目标检测的图像输入所述完成训练的目标检测模型中,所述目标检测模型输出单个特征图作为目标检测结果,能够实现降低计算花销的同时保证最优的目标检测效果。
Description
技术领域
本发明涉及目标检测技术领域,更具体地,涉及一种融合多尺度信息的目标检测方法及系统。
背景技术
目标检测是计算机视觉的基本任务之一。以往的网络立志于如何平衡检测精度和检测速度之间的关系。而一阶段网络具有检测速度快的优势,因此被大量应用在各种工业场景中。
现有目标检测算法基本采用FPN结构结合多尺度特征融合。针对如何对多尺度的特征进行高效的融合,有学者提出PANet为FPN增加了额外的一条融合路径,NAS-FPN利用NAS技术搜索出一条高效的融合图,EfficientDet设计了采取了减少参数的融合方案BiFPN,同时为了性能,多次循环BiFPN。但多尺度特征融合由于需要在多个清晰度的特征层上进行操作,带来了极大的计算花销和参数数量。
发明内容
本发明为克服上述现有技术中基于多尺度特征融合的目标检测方法存在极大的计算花销的缺陷,提供一种融合多尺度信息的目标检测方法,及一种融合多尺度信息的系统。
为解决上述技术问题,本发明的技术方案如下:
一种融合多尺度信息的目标检测方法,包括以下步骤:
S1:构建目标检测模型;
所述目标检测模型包括输入层,若干基于YOLOF算法的encode层,以及输出层;其中所述若干encode层之间残差连接,且逐层对encode层输出的特征图进行融合后传输至输出层中,输出层输出单个的目标检测结果特征图;
S2:采用损失函数对所述目标检测模型进行训练,得到完成训练的目标检测模型;
S3:将待目标检测的图像输入所述完成训练的目标检测模型中,所述目标检测模型输出单个特征图作为目标检测结果。
作为优选方案,所述目标检测模型中,逐层对encode层输出的特征图进行融合的步骤包括:对各层encode层输出的特征图设置其占比参数W;对第n层encode层输出的特征图进行融合时,将前n层encode层输出的特征图分别乘以其对应的占比参数后相加,得到第n层的融合特征图Ln;其表达公式如下:
式中,Ii表示第i层的encode层输出的特征图,Wi表示特征图Ii的占比参数。
作为优选方案,所述输出层对最后一层的融合特征图Lm,以及在前各层的融合特征图以预设的权重融合,得到输出的目标检测结果特征图;其表达公式如下:
式中,output表示输出的目标检测结果特征图;m为encode层的层数;α1、α2为预设的权重。
作为优选方案,所述目标检测模型中,其encode层包括依次连接的1×1的卷积层、3×3的固定膨胀率的膨胀卷积层、1×1的卷积层。
作为优选方案,对所述目标检测模型进行训练的步骤包括:采集带标签的训练数据集,将训练数据输入所述目标检测模型中得到检测结果;将目标检测模型输出的检测结果与输入的训练数据对应的标签进行对比,并采用损失函数对目标检测模型的参数进行调整,直至损失函数值收敛,保存目标检测模型的参数,得到完成训练的目标检测模型。
作为优选方案,所述损失函数包括focal loss损失函数。
本发明还提出一种融合多尺度信息的目标检测系统,包括:
数据采集模块,用于采集待目标检测的图像;
目标检测模型模块,包括输入层,若干基于YOLOF算法的encode层,以及输出层;其中所述若干encode层之间残差连接,且逐层对encode层输出的特征图进行融合后传输至输出层中,输出层输出目标检测结果特征图作为目标检测结果
模型训练模块,用于采用损失函数对目标检测模型模块进行训练,得到完成训练的目标检测模型模块。
作为优选方案,所述目标检测模型模块中,其encode层包括依次连接的1×1的卷积层、3×3的固定膨胀率的膨胀卷积层、1×1的卷积层。
作为优选方案,所述数据采集模块还包括训练数据采集单元,所述训练数据采集单元用于采集带标签的训练数据集;所述训练数据采集单元的输出端与所述模型训练模块的输入端连接,用于将带标签的训练数据集作为输入,并将目标检测模型模块输出的检测结果与输入的训练数据对应的标签进行对比,并采用损失函数对目标检测模型模块的参数进行调整,直至损失函数值收敛,保存目标检测模型模块的参数,得到完成训练的目标检测模型模块。
本发明还提出一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项技术方案所述的融合多尺度信息的目标检测方法的步骤。
与现有技术相比,本发明技术方案的有益效果是:本发明基于多尺度特征融合技术进行目标检测,采用基于YOLOF算法的encode层构建目标检测模型,实现使用单层特征图即能达到顶尖的目标检测效果;且残差连接的encode层能够将多个尺度的目标进行了融合训练,实现降低计算花销的同时保证最优的目标检测效果。
附图说明
图1为实施例1的融合多尺度信息的目标检测方法的流程图。
图2为实施例1的encode层的架构图。
图3为实施例1的目标检测模型的架构图。
图4为实施例2的融合多尺度信息的目标检测系统的架构图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提出一种融合多尺度信息的目标检测方法,如图1所示,为本实施例的目标检测方法的流程图。
本实施例提出的融合多尺度信息的目标检测方法中,包括以下步骤:
步骤1:构建目标检测模型。
本步骤中所构建的目标检测模型中包括输入层,若干基于YOLOF算法的encode层,以及输出层;其中所述若干encode层之间残差连接,且逐层对encode层输出的特征图进行融合后传输至输出层中,输出层输出单个的目标检测结果特征图。
本实施例中,所采用的基于YOLOF算法的encode层的架构如图2所示,其中包括依次连接的1×1的卷积层、3×3的固定膨胀率的膨胀卷积层、1×1的卷积层。其中,为了减少参数数量,使用1x1卷积层用于降低到中间通道数目(128)。中间的3x3为固定膨胀率的膨胀卷积用于扩大感受野。
如图3所示,为本实施例采用基于YOLOF算法的encode层组成的目标检测模型的架构图。本实施例采用4个残差连接的encode层,能够得到多感受野的特征图。
本实施例中encode层之间采用残差连接能够保留上一感受野的特征图,同时防止栅格效应,且可以使用特意大小的膨胀比例。
对于每个encode层,其残差连接前后分别代表了感受野不同的2个特征图,本实施例中,将残差连接前后的特征图分别看作拥有不同清晰度的特征图经过某些操作缩放到同一清晰度下的特征图,基于EfficientDet算法的分析对残差连接进行了重新构建,将残差连接前后的特征图依次进行融合,最后在输出层中将融合特征图进行输出。
具体的,所述目标检测模型中,逐层对encode层输出的特征图进行融合的步骤包括:
对各层encode层输出的特征图设置其占比参数W;
对第n层encode层输出的特征图进行融合时,将前n层encode层输出的特征图分别乘以其对应的占比参数后相加,得到第n层的融合特征图Ln;其表达公式如下:
式中,Ii表示第i层的encode层输出的特征图,Wi表示特征图Ii的占比参数。
本实施例中对于每一个节点的融合如上公式。我们给每一个特征图一个可以学习的占比参数W(W>0)。我们需要对所有参与运算的路径(假设有m条)都赋予W并且计算出他们之间的占比,用分母中求和实现。因此融合的方式即为所有特征图乘以自己的占比再相加,即为上述公式。
所述输出层对最后一层的融合特征图Lm,以及在前各层的融合特征图以预设的权重融合,得到输出的目标检测结果特征图;其表达公式如下:
式中,output表示输出的目标检测结果特征图;m为encode层的层数;α1、α2为预设的权重。由此,本实施例融合了多尺度特征融合技术,同时也保留了one input one out的优势。
步骤2:采用损失函数对所述目标检测模型进行训练,得到完成训练的目标检测模型。
其中,对所述目标检测模型进行训练的步骤包括:采集带标签的训练数据集,将训练数据输入所述目标检测模型中得到检测结果;将目标检测模型输出的检测结果与输入的训练数据对应的标签进行对比,并采用损失函数对目标检测模型的参数进行调整,直至损失函数值收敛,保存目标检测模型的参数,得到完成训练的目标检测模型。
进一步的,本实施例中采用的损失函数为focal loss损失函数。
步骤3:将待目标检测的图像输入所述完成训练的目标检测模型中,所述目标检测模型输出单个特征图作为目标检测结果。
本实施例基于多尺度特征融合技术进行目标检测,采用基于YOLOF算法的encode层构建目标检测模型,实现使用单层特征图即能达到顶尖的目标检测效果;且残差连接的encode层能够将多个尺度的目标进行了融合训练,实现降低计算成本的同时保证最优的目标检测效果。
在另一实施例中,还提出了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现实施例1提出的融合多尺度信息的目标检测方法的步骤。
实施例2
本实施例提出了一种融合多尺度信息的目标检测系统,应用于实施例1提出的融合多尺度信息的目标检测方法。如图4所示,为本实施例的融合多尺度信息的目标检测系统的架构图。
本实施例提出的融合多尺度信息的目标检测系统中,包括:
数据采集模块,用于采集待目标检测的图像;
目标检测模型模块,包括输入层,若干基于YOLOF算法的encode层,以及输出层;其中所述若干encode层之间残差连接,且逐层对encode层输出的特征图进行融合后传输至输出层中,输出层输出目标检测结果特征图作为目标检测结果
模型训练模块,用于采用损失函数对目标检测模型模块进行训练,得到完成训练的目标检测模型模块。
进一步的,本实施例的目标检测模型模块中,其encode层包括依次连接的1×1的卷积层、3×3的固定膨胀率的膨胀卷积层、1×1的卷积层。
进一步的,本实施例的数据采集模块还包括训练数据采集单元,所述训练数据采集单元用于采集带标签的训练数据集;
所述训练数据采集单元的输出端与所述模型训练模块的输入端连接,用于将带标签的训练数据集作为输入,并将目标检测模型模块输出的检测结果与输入的训练数据对应的标签进行对比,并采用损失函数对目标检测模型模块的参数进行调整,直至损失函数值收敛,保存目标检测模型模块的参数,得到完成训练的目标检测模型模块。
在具体实施过程中,完成训练的目标检测模型模块对输入的图像进行目标检测。
在目标检测模型模块中,输入的图像经过encode层进行特征提取,输出特征图L1~L4,其中,对每一层encode层输出的特征图进行融合的步骤包括:
对各层encode层输出的特征图设置其占比参数W;对第n层encode层输出的特征图进行融合时,将前n层encode层输出的特征图分别乘以其对应的占比参数后相加,得到第n层的融合特征图Ln;其表达公式如下:
式中,Ii表示第i层的encode层输出的特征图,Wi表示特征图Ii的占比参数。
输出层对最后一层的融合特征图Lm,以及在前各层的融合特征图以预设的权重融合,得到输出的目标检测结果特征图;其表达公式如下:
式中,output表示输出的目标检测结果特征图;m为encode层的层数;α1、α2为预设的权重。
由此,输出层输出单个特征图作为目标检测结果。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种融合多尺度信息的目标检测方法,其特征在于,包括以下步骤:
S1:构建目标检测模型;
所述目标检测模型包括输入层,若干基于YOLOF算法的encode层,以及输出层;其中所述若干encode层之间残差连接,且逐层对encode层输出的特征图进行融合后传输至输出层中,输出层输出单个的目标检测结果特征图;
S2:采用损失函数对所述目标检测模型进行训练,得到完成训练的目标检测模型;
S3:将待目标检测的图像输入所述完成训练的目标检测模型中,所述目标检测模型输出单个特征图作为目标检测结果。
4.根据权利要求1所述的融合多尺度信息的目标检测方法,其特征在于,所述目标检测模型中,其encode层包括依次连接的1×1的卷积层、3×3的固定膨胀率的膨胀卷积层、1×1的卷积层。
5.根据权利要求1所述的融合多尺度信息的目标检测方法,其特征在于,对所述目标检测模型进行训练的步骤包括:
采集带标签的训练数据集,将训练数据输入所述目标检测模型中得到检测结果;将目标检测模型输出的检测结果与输入的训练数据对应的标签进行对比,并采用损失函数对目标检测模型的参数进行调整,直至损失函数值收敛,保存目标检测模型的参数,得到完成训练的目标检测模型。
6.根据权利要求5所述的融合多尺度信息的目标检测方法,其特征在于,所述损失函数包括focal loss损失函数。
7.一种融合多尺度信息的目标检测系统,其特征在于,包括:
数据采集模块,用于采集待目标检测的图像;
目标检测模型模块,包括输入层,若干基于YOLOF算法的encode层,以及输出层;其中所述若干encode层之间残差连接,且逐层对encode层输出的特征图进行融合后传输至输出层中,输出层输出目标检测结果特征图作为目标检测结果
模型训练模块,用于采用损失函数对目标检测模型模块进行训练,得到完成训练的目标检测模型模块。
8.根据权利要求7所述的融合多尺度信息的目标检测系统,其特征在于,所述目标检测模型模块中,其encode层包括依次连接的1×1的卷积层、3×3的固定膨胀率的膨胀卷积层、1×1的卷积层。
9.根据权利要求7所述的融合多尺度信息的目标检测系统,其特征在于,所述数据采集模块还包括训练数据采集单元,所述训练数据采集单元用于采集带标签的训练数据集;
所述训练数据采集单元的输出端与所述模型训练模块的输入端连接,用于将带标签的训练数据集作为输入,并将目标检测模型模块输出的检测结果与输入的训练数据对应的标签进行对比,并采用损失函数对目标检测模型模块的参数进行调整,直至损失函数值收敛,保存目标检测模型模块的参数,得到完成训练的目标检测模型模块。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的融合多尺度信息的目标检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110826371.5A CN113807386B (zh) | 2021-07-21 | 2021-07-21 | 一种融合多尺度信息的目标检测方法、系统及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110826371.5A CN113807386B (zh) | 2021-07-21 | 2021-07-21 | 一种融合多尺度信息的目标检测方法、系统及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113807386A true CN113807386A (zh) | 2021-12-17 |
CN113807386B CN113807386B (zh) | 2023-08-01 |
Family
ID=78893218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110826371.5A Active CN113807386B (zh) | 2021-07-21 | 2021-07-21 | 一种融合多尺度信息的目标检测方法、系统及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113807386B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368787A (zh) * | 2017-06-16 | 2017-11-21 | 长安大学 | 一种面向深度智驾应用的交通标志识别算法 |
CN109559300A (zh) * | 2018-11-19 | 2019-04-02 | 上海商汤智能科技有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
CN109753903A (zh) * | 2019-02-27 | 2019-05-14 | 北航(四川)西部国际创新港科技有限公司 | 一种基于深度学习的无人机检测方法 |
CN109815886A (zh) * | 2019-01-21 | 2019-05-28 | 南京邮电大学 | 一种基于改进YOLOv3的行人和车辆检测方法及系统 |
CN110298266A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 基于多尺度感受野特征融合的深度神经网络目标检测方法 |
CN110796009A (zh) * | 2019-09-29 | 2020-02-14 | 航天恒星科技有限公司 | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 |
CN112541532A (zh) * | 2020-12-07 | 2021-03-23 | 长沙理工大学 | 基于密集连接结构的目标检测方法 |
CN113076926A (zh) * | 2021-04-25 | 2021-07-06 | 华南理工大学 | 一种带语义引导的多尺度目标检测方法及系统 |
-
2021
- 2021-07-21 CN CN202110826371.5A patent/CN113807386B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368787A (zh) * | 2017-06-16 | 2017-11-21 | 长安大学 | 一种面向深度智驾应用的交通标志识别算法 |
CN109559300A (zh) * | 2018-11-19 | 2019-04-02 | 上海商汤智能科技有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
CN109815886A (zh) * | 2019-01-21 | 2019-05-28 | 南京邮电大学 | 一种基于改进YOLOv3的行人和车辆检测方法及系统 |
CN109753903A (zh) * | 2019-02-27 | 2019-05-14 | 北航(四川)西部国际创新港科技有限公司 | 一种基于深度学习的无人机检测方法 |
CN110298266A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 基于多尺度感受野特征融合的深度神经网络目标检测方法 |
CN110796009A (zh) * | 2019-09-29 | 2020-02-14 | 航天恒星科技有限公司 | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 |
CN112541532A (zh) * | 2020-12-07 | 2021-03-23 | 长沙理工大学 | 基于密集连接结构的目标检测方法 |
CN113076926A (zh) * | 2021-04-25 | 2021-07-06 | 华南理工大学 | 一种带语义引导的多尺度目标检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113807386B (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108416327B (zh) | 一种目标检测方法、装置、计算机设备及可读存储介质 | |
US11900618B2 (en) | System and method for detecting moving target based on multi-frame point cloud | |
CN110309136B (zh) | 一种数据库异常事件缺失数据填充方法及系统 | |
US20170200274A1 (en) | Human-Shape Image Segmentation Method | |
CN111461106A (zh) | 基于可重配置网络的对象检测方法及装置 | |
CN111752691B (zh) | Ai计算图的排序方法、装置、设备及存储介质 | |
CN115392077A (zh) | 基于深度学习的卫星物理场级数字孪生模型构建方法 | |
CN116910611A (zh) | 基于大数据的智能环境监测系统及其方法 | |
CN108333571B (zh) | 一种基于点迹序列融合的多传感器多帧联合检测跟踪方法 | |
CN114048340A (zh) | 一种层级融合的组合查询图像检索方法 | |
CN114743273B (zh) | 基于多尺度残差图卷积网络的人体骨骼行为识别方法及系统 | |
CN114564597A (zh) | 一种融合多维度多信息的实体对齐方法 | |
Zhang et al. | Bidirectional parallel feature pyramid network for object detection | |
CN113807386A (zh) | 一种融合多尺度信息的目标检测方法、系统及计算机设备 | |
CN112418070A (zh) | 一种基于解耦阶梯网络的姿态估计方法 | |
CN109688758B (zh) | 用于确定数据中心故障的方法、装置、电子设备和介质 | |
CN116502700A (zh) | 皮肤检测模型训练方法、皮肤检测方法、装置及电子设备 | |
CN113962332B (zh) | 基于自优化融合反馈的显著目标识别方法 | |
Pasti et al. | Latent distillation for continual object detection at the edge | |
CN111260228B (zh) | 一种多阶段任务系统性能评估方法及装置 | |
CN116001253A (zh) | 双向拉伸薄膜厚度在线修复装置 | |
CN112348175B (zh) | 一种基于强化学习来进行特征工程的方法 | |
CN114549945A (zh) | 遥感影像变化检测方法及相关装置 | |
CN108683599A (zh) | 一种基于预处理的流通网络最大流确定方法及系统 | |
CN113537396A (zh) | 一种基于门控机制的特征融合方法和目标检测网络 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |