CN109117876B - 一种稠密小目标检测模型构建方法、模型及检测方法 - Google Patents

一种稠密小目标检测模型构建方法、模型及检测方法 Download PDF

Info

Publication number
CN109117876B
CN109117876B CN201810833623.5A CN201810833623A CN109117876B CN 109117876 B CN109117876 B CN 109117876B CN 201810833623 A CN201810833623 A CN 201810833623A CN 109117876 B CN109117876 B CN 109117876B
Authority
CN
China
Prior art keywords
network
picture
target detection
dense small
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810833623.5A
Other languages
English (en)
Other versions
CN109117876A (zh
Inventor
李宏亮
邱荷茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Kuaiyan Technology Co ltd
Original Assignee
Chengdu Kuaiyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Kuaiyan Technology Co ltd filed Critical Chengdu Kuaiyan Technology Co ltd
Priority to CN201810833623.5A priority Critical patent/CN109117876B/zh
Publication of CN109117876A publication Critical patent/CN109117876A/zh
Application granted granted Critical
Publication of CN109117876B publication Critical patent/CN109117876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

本发明提供了一种稠密小目标检测模型构建方法、模型及检测方法，基于目标中点上下文信息融合，通过对分辨率较大的图片切割，避免输入网络下采样后的图片丢失太多图像信息，影响网络特征提取；采用残差金字塔特征提取网络，融合不同尺度的特征，提高了网络在不同大小目标的检测精度，尤其是小目标；采用RoIAlign层代替原始的RoIPooling层，解决了候选区域特征不匹配引起的候选框位置偏差；由于在网络传递中易丢失小目标特征，将中心点上下文特征与原始RoI特征融合，使网络充分利用目标上下文信息，在保证网络运行速度的同时，更精确地定位与识别稠密的小目标，提高了网络性能。

Description

一种稠密小目标检测模型构建方法、模型及检测方法
技术领域
本发明涉及一种稠密小目标检测模型构建方法、模型及检测方法，涉及目标检测领域。
背景技术
目标检测是目前计算机视觉领域最具挑战性的课题之一，其主要任务是根据给定的图片或视频，同时实现识别与定位图片中相应的目标。近几年，随着深度学习的快速发展，基于卷积神经网络的目标检测技术取得了显著的进步，并分别在自动驾驶、国防安全、医学领域、人机交互等方面取得了广泛的应用，对人类的科技文明进步有着非常重要的意义。
传统的目标检测方法中，可变形部件模型DPM(Deformable Part Model)是最为经典的手工设计特征的方法，该方法针对目标自身的形变以及大小多样性等问题，将整个物体拆分为多个部件，利用部件之间的关系融合部件的特征，进而得到整个物体的检测结果。该模型
是方向梯度直方图(HOG)和支持矢量机(SVM)算法的扩展，然而手工设计的特征仅表现了图像的底层特征，并不具备图像的语义信息和一定的特征可分性，导致检测模型鲁棒性较低，除此之外，DPM模型复杂度也相对较高，从而导致检测速度较慢。与这些传统方法相比，基于深度学习的目标检测算法体现出相对较大的优势。
目前，基于深度学习的目标检测算法主要分为两大类：以Faster R-CNN为代表的two-stage方法和以SSD(Single Shot MultiBox Detector)、YOLO(You Only Look Once)为代表的one-stage方法。其中，two-stage方法是基于候选框提取的方法，该类方法首先利用候选区域网络RPN(RegionProposal Network)生成可能包含目标的候选框，其次将候选框映射到特征谱上，得到其特征信息，最后分别用分类器和回归器获得目标的类别以及位置信息，并取得了目前最好的检测性能。one-stage方法是基于回归的方法，该类方法去除了two-stage方法中的RPN网络，直接对网络回归获取目标的位置和类别，因此这类方法相比two-stage方法速度较快，但精度却相对较低。
这些方法虽然取得了不错的效果，但对于图片中目标较小、密集且存在遮挡等情况，通用的目标检测网络框架就会导致小目标特征信息在网络传递中丢失，假阳性样本较多，从而造成严重的小目标漏检、错检等问题。由于底层特征具有丰富的细节纹理信息，定位准确，而高层特征具有较强的语义信息，特征可分性强，因此，一些先进的网络通过融合底层和高层特征，使网络对不同尺度目标表现出较好的检测性能。
发明内容
本发明提供了一种稠密小目标检测模型构建方法、模型及检测方法，具有能够更精确检测稠密小目标的特点。
本发明采用的技术方案如下：
一种稠密小目标检测模型构建方法，具体方法包括，
S1，获取充足的训练样本数据，对训练图片进行切割，获取切割后的图片；
S2，将获得的切割图片输入特征提取网络，利用构建的多尺度特征金字塔网络，生成金字塔特征谱；
S3，利用RPN网络生成候选区域，具体方法包括，利用S2中金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；
S4，将S3中得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的特征的具体方法为：
遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成K×K个单元，保持每个单元的边界不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，最后进行最大池化操作；
S5，利用S4预测得到的中心点位置坐标，分别在相应不同尺度特征谱上获取中心点上下文特征，并将获取的上下文特征与S4中RolAlign的候选区域特征级联，再用滤波器卷积得到融合后的特征谱；
S6，使用训练好的softmax分类器和边界框回归器分别预测融合后的特征谱所属的具体类别以及每个框的坐标，训练过程中，该部分网络损失函数由分类损失Lcls和定位损失Lreg构成：L＝Lcls+λLreg；其中，分类损失Lcls采用softmaxloss，定位损失采用smoothL1损失；
S7，将切割后图片的预测结果映射到对应的原始图片，使用非极大抑制方法获得最终检测结果；
利用上述S1到S7反复对模型进行训练最终得到构建后的稠密小目标检测模型。
在S1中，对训练样本进行切割时，采用与原图等比例的滑动窗口对原始图片每隔一定的步长进行切割。
在S2中，采用残差特征金字塔网络，利用深度卷积神经网络金字塔结构特性，使用自顶向下的侧边连接将高层语义信息与底层细节特征信息融合，构建多尺度特征金字塔网络；其中，为构建残差特征金字塔网络，将深度神经网络中高层特征谱上采样2倍，与相邻的底层特征采用元素级相加的方式融合。
所述方法还包括，采用3*3的卷积核处理融合后的特征，最终生成金字塔特征谱。
在S4中，中心点位置坐标预测的方法还包括，在训练网络过程中，利用SmoothL1损失回归中心点位置坐标。
在S5中，所述滤波器的卷积核大小为1。
一种稠密小目标检测模型，采用上述稠密小目标检测模型构建方法获得，用于实现对稠密小目标的检测，包括，
图片获取模块，获取要检测的目标图片；
图片切割模块，对获取的图片进行图片切割；
金字塔特征谱生成模块，将获得的切割图片输入特征提取网络，生成金字塔特征谱；
候选区域生成模块，利用RPN网络生成候选区域；具体包括，利用金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；
中心点位置坐标预测模块，用于预测中心点位置坐标；具体包括，将得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的特征的具体方法为：
遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成K×K个单元，保持每个单元的边界不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，最后进行最大池化操作；
特征谱获取模块，利用预测得到的中心点位置坐标，分别在相应不同尺度特征谱上获取中心点上下文特征，并将获取的上下文特征与RolAlign的候选区域特征级联，再用滤波器卷积得到融合后的特征谱；
类别及边界框坐标预测模块，使用训练好的softmax分类器和边界框回归器分别预测融合后的特征谱所属的具体类别以及每个框的坐标；
最终检测结果获取模块，将切割后图片的预测结果映射到对应的原始图片，使用非极大抑制方法获得最终检测结果。
一种稠密小目标检测方法，利用构建好的稠密小目标检测模型，对目标进行检测，具体方法包括，
1)获取目标图片进行切割，获取切割后的图片；
2)将获得的切割图片输入特征提取网络，利用构建的多尺度特征金字塔网络，生成金字塔特征谱；
3)利用RPN网络生成候选区域，具体方法包括，利用金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；
4)将得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的特征的具体方法为：
遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成K×K个单元，保持每个单元的边界不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，最后进行最大池化操作；
5)利用S4预测得到的中心点位置坐标，分别在相应不同尺度特征谱上获取中心点上下文特征，并将获取的上下文特征与S4中RolAlign的候选区域特征级联，再用滤波器卷积得到融合后的特征谱；
6)使用训练好的softmax分类器和边界框回归器分别预测融合后的特征谱所属的具体类别以及每个框的坐标；
7)将切割后图片的预测结果映射到对应的原始图片，使用非极大抑制获得最终检测结果。
所述方法还包括，设置非极大抑制阈值为0.5。
与现有技术相比，更有利于网络特征的提取，提高了网络在不同大小目标的检测精度，尤其是小目标，解决了候选区域特征不匹配引起的候选框位置偏差，使网络充分利用目标上下文信息，在保证网络运行速度的同时，更精确地定位与识别稠密的小目标，提高了网络性能。
附图说明
图1为本发明金字塔网络结构结构示意图。
图2为图1的所示结构的截面图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本说明书(包括摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
一种稠密小目标检测模型构建方法，具体方法包括，
S1，获取训练样本数据，对训练图片进行切割，获取切割后的图片；
S2，如图1所示，将获得的切割图片输入特征提取网络，如：VGG16、GoogLeNet、ResNet50、ResNet101等，利用构建的多尺度特征金字塔网络，生成金字塔特征谱；
S3，利用RPN网络生成候选区域，具体方法包括，利用S2中金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；
S4，将S3中得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的特征的具体方法为：
遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成K×K个单元，保持每个单元的边界不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，最后进行最大池化操作；
S5，利用S4预测得到的中心点位置坐标，分别在相应不同尺度特征谱上获取中心点上下文特征，并将获取的上下文特征与S4中RolAlign的候选区域特征级联，再用滤波器卷积得到融合后的特征谱；
S6，使用训练好的softmax分类器和边界框回归器分别预测融合后的特征谱所属的具体类别以及每个框的坐标，训练过程中，该部分网络损失函数由分类损失Lcls和定位损失Lreg构成：L＝Lcls+λLreg；其中，分类损失Lcls采用softmaxloss，定位损失采用smoothL1损失；
S7，将切割后图片的预测结果映射到对应的原始图片，使用非极大抑制方法(NMS)获得最终检测结果；
利用上述S1到S7反复对模型进行训练最终得到构建后的稠密小目标检测模型。
在S1中获取充足的训练样本数据，由于训练图片样本分辨率较高，图片中目标小且密集，容易导致丢失小目标特征，因此，本发明首先对训练图片进行切割。
由于目标大小、尺度不同，因此在S2中的多层特征谱上每个像素点分别生成不同大小、尺度的锚点框(anchor)，作为一种实施方式，anchor的尺度比例为{0.5，1，2}，大小为{32，64，128，256}分别对应金字塔网络的不同尺度特征谱，然后对生成的锚点框回归并分类预测每个框属于前景或背景，得到候选区域。
S4中，利用RolAlign获取候选区域的特征的具体方法上，不同于传统的RoIPooling，RoIAlign并不是简单地填充候选区域边界上的坐标点，RoIAlign解决了RoIPooling带来的位置不匹配问题，而这类问题对大目标也许影响微弱，但对小目标的影响是很大的，因此，使用RoIAlign代替RoIPooling在一定程度上提高了小目标检测性能。
本发明技术方案基于目标中点上下文信息融合，通过对分辨率较大的图片切割，避免输入网络下采样后的图片丢失太多图像信息，影响网络特征提取；采用残差金字塔特征提取网络，融合不同尺度的特征，提高了网络在不同大小目标的检测精度，尤其是小目标；采用RoIAlign层代替原始的RoIPooling层，解决了候选区域特征不匹配引起的候选框位置偏差；由于在网络传递中易丢失小目标特征，将中心点上下文特征与原始RoI特征融合，使网络充分利用目标上下文信息，在保证网络运行速度的同时，更精确地定位与识别稠密的小目标，从而提高网络性能。
作为本发明的一种实施方式，在S1中，对训练样本进行切割时，采用与原图等比例的滑动窗口对原始图片每隔一定的步长进行切割，以保证切割后的图片不影响原始图片尺寸比例分布。该步长根据实际需求进行设定。
作为本发明的一种实施方式，由于输入图片中目标大小不同，在S2中，采用残差特征金字塔网络，利用深度卷积神经网络金字塔结构特性，使用自顶向下的侧边连接将高层语义信息与底层细节特征信息融合，构建多尺度特征金字塔网络；其中，为构建残差特征金字塔网络，将深度神经网络中高层特征谱上采样2倍(作为一种实施方式，采用最近邻上采样法)，与相邻的底层特征采用元素级相加的方式融合。
作为本发明的一种实施方式，为避免特征谱混叠效应，所述方法还包括，采用3*3的卷积核处理融合后的特征，最终生成金字塔特征谱。
在S4中，中心点位置坐标预测的方法还包括，在训练网络过程中，利用SmoothL1损失回归中心点位置坐标。
为预测小目标中心点位置坐标(xc，yc)，在训练网络过程中，本发明利用SmoothL1损失回归中心点位置坐标。具体描述如下：
Figure BDA0001744027980000091
其中，Lcenter为中心点位置损失，
Figure BDA0001744027980000092
为中心点预测坐标值，
Figure BDA0001744027980000093
为中心点真实坐标值，
Figure BDA0001744027980000094
损失为：
Figure BDA0001744027980000101
作为本发明的一种实施方式，在S5中，所述滤波器的卷积核大小为1。
本发明还提供了一种稠密小目标检测模型，采用上述稠密小目标检测模型构建方法获得，用于实现对稠密小目标的检测，包括，
图片获取模块、图片切割模块、金字塔特征谱生成模块、候选区域生成模块、中心点位置坐标预测模块、特征谱获取模块、类别及边界框坐标预测模块和最终检测结果获取模块。。
一种稠密小目标检测方法，利用构建好的稠密小目标检测模型，对目标进行检测，具体方法包括，
1)获取目标图片进行切割，获取切割后的图片；
2)将获得的切割图片输入特征提取网络，利用构建的多尺度特征金字塔网络，生成金字塔特征谱；
3)利用RPN网络生成候选区域，具体方法包括，利用金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；
4)将得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的特征的具体方法为：
遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成K×K个单元，保持每个单元的边界不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，最后进行最大池化操作；
5)利用S4预测得到的中心点位置坐标，分别在相应不同尺度特征谱上获取中心点上下文特征，并将获取的上下文特征与S4中RolAlign的候选区域特征级联，再用滤波器卷积得到融合后的特征谱；
6)使用训练好的softmax分类器和边界框回归器分别预测融合后的特征谱所属的具体类别以及每个框的坐标；
7)将切割后图片的预测结果映射到对应的原始图片，使用非极大抑制方法获得最终检测结果。
作为本发明的一种实施方式，选取现有的公开数据库，由于本发明旨解决稠密小目标检测的问题，为验证本发明的有效性，此处，选用具有目标小且密集特点的公开数据库VisDrone，该数据库共有10类目标，训练集图片6471张，测试集图片548张，切割后的训练集图片134731张，测试集图片8301张。
考虑使用ResNet50作为特征提取网络，因为选用的数据库图片较少，而网络参数过多，为防止过拟合，首先在ImageNet训练集上预训练ResNet50模型。
如图2所示，使用上述预训练模型在选用的数据库上微调构建的检测网络，该步骤的主要关键点如下：
采用的深度框架为caffe2
在构建特征金字塔网络时，分别对残差2、3、4、5模块的最后一层特征谱融合，并分别对应不同的anchor大小{32，64，128，256}，以预测不同尺度的目标。
设置学习率为0.01，最大迭代次数为16万次，候选框的批大小设置为512，在训练过程中使用随机梯度下降法训练模型
利用训练好的模型对数据库的测试集进行测试。这里，设置NMS阈值为0.5。
本发明申请方案解决了由于输入图片中目标小且密集，导致现有目标检测框架在训练过程中小目标特征信息丢失，造成错检、漏检已经定位精度较低的问题。通过预测中心坐标位置，利用小目标周围上下文特征，辅助小目标的定位以及分类，提高小目标检测性能。

Claims (8)

1.一种稠密小目标检测模型构建方法，具体方法包括，
S1，获取充足的训练样本数据，对训练图片进行切割，获取切割后的图片；
S2，将获得的切割图片输入特征提取网络，利用构建的多尺度特征金字塔网络，生成金字塔特征谱；
S3，利用RPN网络生成候选区域，具体方法包括，利用S2中金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；
S4，将S3中得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的特征的具体方法为：
遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成K×K个单元，保持每个单元的边界不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，最后进行最大池化操作；
S5，利用S4预测得到的中心点位置坐标，分别在相应不同尺度特征谱上获取中心点上下文特征，并将获取的上下文特征与S4中RolAlign的候选区域特征级联，再用滤波器卷积得到融合后的特征谱；
S6，使用训练好的softmax分类器和边界框回归器分别预测融合后的特征谱所属的具体类别以及每个框的坐标，训练过程中，该部分网络损失函数由分类损失Lcls和定位损失Lreg构成：L＝Lcls+λLreg；其中，分类损失Lcls采用softmaxloss，定位损失Lreg采用smoothL1损失；
S7，将切割后图片的预测结果映射到对应的原始图片，使用非极大抑制方法获得最终检测结果；
利用上述S1到S7反复对模型进行训练最终得到构建后的稠密小目标检测模型；
在S2中，采用残差特征金字塔网络，利用深度卷积神经网络金字塔结构特性，使用自顶向下的侧边连接将高层语义信息与底层细节特征信息融合，构建多尺度特征金字塔网络；其中，为构建残差特征金字塔网络，将深度神经网络中高层特征谱上采样2倍，与相邻的底层特征采用元素级相加的方式融合。
2.根据权利要求1所述的稠密小目标检测模型构建方法，在S1中，对训练样本进行切割时，采用与原图等比例的滑动窗口对原始图片每隔一定的步长进行切割。
3.根据权利要求1所述的稠密小目标检测模型构建方法，所述方法还包括，采用3*3的卷积核处理融合后的特征，最终生成金字塔特征谱。
4.根据权利要求1所述的稠密小目标检测模型构建方法，在S4中，中心点位置坐标预测的方法还包括，在训练网络过程中，利用SmoothL1损失回归中心点位置坐标。
5.根据权利要求1所述的稠密小目标检测模型构建方法，在S5中，所述滤波器的卷积核大小为1。
6.一种稠密小目标检测模型，采用权利要求1到5之一所述的稠密小目标检测模型构建方法获得，用于实现对稠密小目标的检测，包括，
图片获取模块，获取要检测的目标图片；
图片切割模块，对获取的图片进行图片切割；
金字塔特征谱生成模块，将获得的切割图片输入特征提取网络，生成金字塔特征谱；
候选区域生成模块，利用RPN网络生成候选区域；具体包括，利用金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；
中心点位置坐标预测模块，用于预测中心点位置坐标；具体包括，将得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的特征的具体方法为：
遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成K×K个单元，保持每个单元的边界不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，最后进行最大池化操作；
特征谱获取模块，利用预测得到的中心点位置坐标，分别在相应不同尺度特征谱上获取中心点上下文特征，并将获取的上下文特征与RolAlign的候选区域特征级联，再用滤波器卷积得到融合后的特征谱；
类别及边界框坐标预测模块，使用训练好的softmax分类器和边界框回归器分别预测融合后的特征谱所属的具体类别以及每个框的坐标；
最终检测结果获取模块，将切割后图片的预测结果映射到对应的原始图片，使用非极大抑制方法获得最终检测结果。
7.一种稠密小目标检测方法，利用权利要求1到5之一构建好的稠密小目标检测模型，对目标进行检测，具体方法包括，
获取目标图片进行切割，获取切割后的图片；
将获得的切割图片输入特征提取网络，利用构建的多尺度特征金字塔网络，生成金字塔特征谱；
利用RPN网络生成候选区域，具体方法包括，利用金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；
将得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的特征的具体方法为：
遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成K×K个单元，保持每个单元的边界不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，最后进行最大池化操作；
利用预测得到的中心点位置坐标，分别在相应不同尺度特征谱上获取中心点上下文特征，并将获取的上下文特征与RolAlign的候选区域特征级联，再用滤波器卷积得到融合后的特征谱；
使用训练好的softmax分类器和边界框回归器分别预测融合后的特征谱所属的具体类别以及每个框的坐标；
将切割后图片的预测结果映射到对应的原始图片，使用非极大抑制获得最终检测结果。
8.根据权利要求7所述的稠密小目标检测方法，所述方法还包括，设置非极大抑制阈值为0.5。
CN201810833623.5A 2018-07-26 2018-07-26 一种稠密小目标检测模型构建方法、模型及检测方法 Active CN109117876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810833623.5A CN109117876B (zh) 2018-07-26 2018-07-26 一种稠密小目标检测模型构建方法、模型及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810833623.5A CN109117876B (zh) 2018-07-26 2018-07-26 一种稠密小目标检测模型构建方法、模型及检测方法

Publications (2)

Publication Number Publication Date
CN109117876A CN109117876A (zh) 2019-01-01
CN109117876B true CN109117876B (zh) 2022-11-04

Family

ID=64862246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810833623.5A Active CN109117876B (zh) 2018-07-26 2018-07-26 一种稠密小目标检测模型构建方法、模型及检测方法

Country Status (1)

Country Link
CN (1) CN109117876B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753927A (zh) * 2019-01-02 2019-05-14 腾讯科技（深圳）有限公司 一种人脸检测方法和装置
CN109784278B (zh) * 2019-01-17 2020-09-29 上海海事大学 基于深度学习的海上弱小运动船舶实时检测方法
CN109815886B (zh) * 2019-01-21 2020-12-18 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN109886279B (zh) * 2019-01-24 2023-09-29 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109886155B (zh) * 2019-01-30 2021-08-10 华南理工大学 基于深度学习的单株水稻检测定位方法、系统、设备及介质
CN111797846B (zh) * 2019-04-08 2022-06-21 四川大学 一种基于特征金字塔网络的反馈式目标检测方法
CN109977963B (zh) * 2019-04-10 2021-10-15 京东方科技集团股份有限公司 图像处理方法、设备、装置以及计算机可读介质
CN110084195B (zh) * 2019-04-26 2022-12-06 西安电子科技大学 基于卷积神经网络的遥感图像目标检测方法
CN111914861A (zh) * 2019-05-08 2020-11-10 北京字节跳动网络技术有限公司 目标检测方法和装置
CN110147753A (zh) * 2019-05-17 2019-08-20 电子科技大学 一种检测图像中小物体的方法及装置
CN110135373A (zh) * 2019-05-20 2019-08-16 北京探境科技有限公司 一种多尺度面部识别方法、系统及电子设备
CN110751011A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 驾驶安全检测方法、驾驶安全检测装置及车载终端
CN110197152B (zh) * 2019-05-28 2022-08-26 南京邮电大学 一种用于自动驾驶系统的道路目标识别方法
CN110222787B (zh) * 2019-06-14 2022-10-14 合肥工业大学 多尺度目标检测方法、装置、计算机设备及存储介质
CN110287927B (zh) * 2019-07-01 2021-07-27 西安电子科技大学 基于深度多尺度和上下文学习的遥感影像目标检测方法
CN113159016A (zh) * 2019-07-26 2021-07-23 第四范式（北京）技术有限公司 文本位置定位方法和系统以及模型训练方法和系统
CN110427941B (zh) * 2019-08-05 2021-08-27 安徽师范大学 一种基于关键点的区域建议生成方法
CN110569887B (zh) * 2019-08-20 2022-07-29 高新兴科技集团股份有限公司 基于预测层特征增强的目标检测方法、存储介质及设备
CN110503112B (zh) * 2019-08-27 2023-02-03 电子科技大学 一种增强特征学习的小目标检测及识别方法
CN110689021A (zh) * 2019-10-17 2020-01-14 哈尔滨理工大学 一种基于深度学习的低可见度环境下实时目标检测方法
CN110852241B (zh) * 2019-11-06 2022-08-16 西安交通大学 一种应用于护理机器人的小目标检测方法
CN111178197B (zh) * 2019-12-19 2023-04-07 华南农业大学 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN111414931B (zh) * 2019-12-31 2023-04-25 杭州电子科技大学 一种基于图像深度的多分支多尺度小目标检测方法
CN111368775A (zh) * 2020-03-13 2020-07-03 西北工业大学 一种基于局部上下文感知的复杂场景密集目标检测方法
CN111598841B (zh) * 2020-04-23 2022-04-15 南开大学 基于正则化稠密连接特征金字塔的实例显著性检测方法
CN111666988A (zh) * 2020-05-22 2020-09-15 哈尔滨理工大学 一种基于多层信息融合的目标检测算法
CN111951611A (zh) * 2020-07-03 2020-11-17 中国空气动力研究与发展中心计算空气动力研究所 基于多特征融合的ads-b微弱信号检测装置及方法
CN112329702B (zh) * 2020-11-19 2021-05-07 上海点泽智能科技有限公司 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN112418170B (zh) * 2020-12-11 2024-03-01 法赫光学科技(成都)有限公司 基于3d扫描的口腔检查识别方法
CN112927207B (zh) * 2021-03-02 2022-06-14 精英数智科技股份有限公司 实例分割探杆检测方法及装置
CN112686340B (zh) * 2021-03-12 2021-07-13 成都点泽智能科技有限公司 一种基于深度神经网络的密集小目标检测方法
CN112801047B (zh) * 2021-03-19 2021-08-17 腾讯科技（深圳）有限公司 缺陷检测方法、装置、电子设备及可读存储介质
CN115272591B (zh) * 2022-05-10 2023-09-05 泰瑞数创科技(北京)股份有限公司 基于三维语义模型的地理实体多形态表达方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999763A (zh) * 2012-10-30 2013-03-27 上海交通大学 基于尺度选择的自顶向下的视觉显著性提取方法
CN106845507A (zh) * 2015-12-07 2017-06-13 北京航天长峰科技工业集团有限公司 一种基于注意力的分块化目标检测方法
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169421B (zh) * 2017-04-20 2020-04-28 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN107610113A (zh) * 2017-09-13 2018-01-19 北京邮电大学 一种图像中基于深度学习的小目标的检测方法及装置
CN108304831B (zh) * 2018-03-15 2022-03-22 广东工业大学 一种监测工人安全帽佩戴的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999763A (zh) * 2012-10-30 2013-03-27 上海交通大学 基于尺度选择的自顶向下的视觉显著性提取方法
CN106845507A (zh) * 2015-12-07 2017-06-13 北京航天长峰科技工业集团有限公司 一种基于注意力的分块化目标检测方法
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Rethinking atrous convolution for semantic image segmentation;Liang-Chieh Chen等;《arXiv:1706.05587》;20171205;第1-14页 *
基于深度可分离卷积的级联多尺度交叉网络的超分辨率重构;商丽娟等;《图像与信号处理》;20180427;第7卷(第2期);第96-104页 *

Also Published As

Publication number Publication date
CN109117876A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN109117876B (zh) 一种稠密小目标检测模型构建方法、模型及检测方法
EP3989119A1 (en) Detection model training method and apparatus, computer device, and storage medium
CN111091105B (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
US11055574B2 (en) Feature fusion and dense connection-based method for infrared plane object detection
CN110084292B (zh) 基于DenseNet和多尺度特征融合的目标检测方法
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN112183414A (zh) 一种基于混合空洞卷积的弱监督遥感目标检测方法
CN111160407B (zh) 一种深度学习目标检测方法及系统
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN110826379A (zh) 一种基于特征复用与YOLOv3的目标检测方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN114565644A (zh) 三维运动目标检测方法、装置和设备
CN111461145A (zh) 一种基于卷积神经网络进行目标检测的方法
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
WO2023116632A1 (zh) 基于时空记忆信息的视频实例分割方法和分割装置
CN112149665A (zh) 一种基于深度学习的高性能多尺度目标检测方法
CN112819821A (zh) 一种细胞核图像检测方法
CN111368634B (zh) 基于神经网络的人头检测方法、系统及存储介质
CN112861915A (zh) 一种基于高级语义特征无锚框非合作目标检测方法
CN109558803B (zh) 基于卷积神经网络与np准则的sar目标鉴别方法
CN112580624B (zh) 基于边界预测的多方向文本区域检测方法和装置
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant