CN111597945A - 一种目标检测方法、装置、设备及介质 - Google Patents

一种目标检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN111597945A
CN111597945A CN202010392132.9A CN202010392132A CN111597945A CN 111597945 A CN111597945 A CN 111597945A CN 202010392132 A CN202010392132 A CN 202010392132A CN 111597945 A CN111597945 A CN 111597945A
Authority
CN
China
Prior art keywords
feature map
target
feature
small target
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010392132.9A
Other languages
English (en)
Other versions
CN111597945B (zh
Inventor
顾敏
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202010392132.9A priority Critical patent/CN111597945B/zh
Publication of CN111597945A publication Critical patent/CN111597945A/zh
Application granted granted Critical
Publication of CN111597945B publication Critical patent/CN111597945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标检测方法、装置、设备及介质，包括：获取训练样本图像；利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型；其中，所述目标检测模型包括特征增强网络；所述特征增强网络用于在训练过程中对所述训练样本图像中的小目标区域图像进行特征增强；当获取到待检测图像，利用所述训练后模型输出对应的检测结果。这样，在训练过程中，针对小目标区域图像进行特征增强，得到训练后模型，然后利用这样的训练后模型进行目标检测，能够提升小目标检测的检出率和准确率。

Description

一种目标检测方法、装置、设备及介质
技术领域
本申请涉及目标检测技术领域，特别涉及一种目标检测方法、装置、设备及介质。
背景技术
目标检测是计算机视觉领域中极具挑战性的课题，目前基于深度学习的目标检测算法可分为两大类：一类是以Faster-RCNN(即Region Convolutional Neural Networks)为代表的Two-stage方法，另一类是以YOLO和SSD(即Single Shot MultiBox Detector)为代表的One-stage方法。其中Two-stage方法是基于候选区域的卷积神经网络，该方法利用RPN(即Region ProposalNetwork，区域候选网络)层生成可能包含目标的候选框，然后将候选框映射到特征图上，利用分类器和回归器得到目标的类别信息和坐标信息，该类方法检测精度较高但是速度慢。One-stage方法则是基于回归的方法，直接对图像中目标的类别和位置信息进行预测，最后通过非极大值抑制得到最终检测结果，该类方法速度快但是精度相对Two-stage方法较低。
在实际应用中，对于图像中目标较小，密集，遮挡或者小目标和大目标同时存在情况下，现有的目标检测框架在训练过程中存在小目标特征信息丢失，导致小目标出现漏检或误检的问题。
发明内容
有鉴于此，本申请的目的在于提供一种目标检测方法、装置、设备及介质，能够提升小目标检测的检出率和准确率。其具体方案如下：
第一方面，本申请公开了一种目标检测方法，包括：
获取训练样本图像；
利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型；其中，所述目标检测模型包括特征增强网络；所述特征增强网络用于在训练过程中对所述训练样本图像中的小目标区域图像进行特征增强；
当获取到待检测图像，利用所述训练后模型输出对应的检测结果。
可选的，所述目标检测模型还包括特征提取网络、RPN网络、分类器和回归器；
相应的，所述利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型，包括：
将所述训练样本图像输入至所述特征提取网络，得到对应的样本特征图；
利用所述RPN网络生成所述样本特征图对应的候选区域；
将所述候选区域映射到所述样本特征图上；
从所述候选区域中筛选出小目标区域；
利用所述特征增强网络对小目标区域特征图进行特征增强，得到对应的小目标增强特征图；所述小目标区域特征图为所述小目标区域内的图像；
将所述小目标增强特征图和大目标区域特征图输入至分类器和回归器，得到每个候选区域特征图对应的预测结果；
其中，所述预测结果包括目标类别和目标位置；所述目标类别为所述分类器输出的结果；所述目标位置为所述回归器输出的结果；所述大目标区域特征图为大目标区域内的图像，所述大目标区域为所述候选区域中的大目标区域；
将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果。
可选的，所述利用所述特征增强网络对小目标区域特征图进行特征增强，得到对应的小目标增强特征图，包括：
步骤01：对所述小目标区域特征图进行特征提取，得到对应的小目标高级特征图；
步骤02：对所述小目标高级特征图进行上采样处理；
步骤03：对上采样处理后的所述小目标高级特征图进行重建，得到预设倍数的所述小目标高级特征图；
继续执行所述步骤01至步骤03，直到所述步骤01至步骤03的执行次数达到预设次数，得到所述小目标增强特征图。
可选的，所述目标检测方法，还包括：
利用所述特征提取网络的下采样倍数确定所述预设次数。
可选的，所述对所述小目标区域特征图进行特征提取，得到对应的小目标高级特征图，包括：
对所述小目标区域特征图进行残差结构处理，得到对应的小目标高级特征图。
可选的，所述对所述小目标高级特征图进行上采样处理，包括：
利用预设数量个卷积核对所述小目标高级特征图进行卷积操作，然后进行亚像素卷积操作，以完成所述上采样处理。
可选的，所述目标检测方法，还包括：
利用预先构建的目标损失函数计算所述目标检测模型的训练损失；所述训练损失包括增强损失、分类损失和回归损失。
第二方面，本申请公开了一种目标检测装置，包括：
训练样本获取模块，用于获取训练样本图像；
检测模型训练模块，用于利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型；其中，所述目标检测模型包括特征增强网络；所述特征增强网络用于在训练过程中对所述训练样本图像中的小目标区域图像进行特征增强；
图像目标检测模块，用于当获取到待检测图像，利用所述训练后模型输出对应的检测结果。
第三方面，本申请公开了一种目标检测设备，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序以实现前述的目标检测方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的目标检测方法。
可见，本申请先获取训练样本图像，然后利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型；其中，所述目标检测模型包括特征增强网络；所述特征增强网络用于在训练过程中对所述训练样本图像中的小目标区域图像进行特征增强，当获取到待检测图像，利用所述训练后模型输出对应的检测结果。这样，在训练过程中，针对小目标区域图像进行特征增强，得到训练后模型，然后利用这样的训练后模型进行目标检测，能够提升小目标检测的检出率和准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种目标检测方法流程图；
图2为本申请公开的一种小目标区域特征图特征增强示意图；
图3为本申请提供的一种具体的特征增强子网络处理流程图；
图4为本申请公开的一种特征图上采样示意图；
图5为本申请提供的一种具体的特征增强流程图；
图6为本申请公开的一种具体的目标检测模型训练流程图；
图7为本申请公开的一种具体的目标检测方法流程图；
图8为本申请公开的一种特征增强网络以及特征增强损失计算示意图；
图9为本申请公开的一种目标检测装置结构示意图；
图10为本申请公开的一种目标检测设备结构图；
图11为本申请公开的一种电子终端结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在实际应用中，对于图像中目标较小，密集，遮挡或者小目标和大目标同时存在情况下，现有的目标检测框架在训练过程中存在小目标特征信息丢失，导致小目标出现漏检或误检的问题。为此本申请提供了一种目标检测方案，能够提升小目标检测的检出率和准确率。
参见图1所示，本申请实施例公开了一种目标检测方法，包括：
步骤S11：获取训练样本图像。
步骤S12：利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型；其中，所述目标检测模型包括特征增强网络；所述特征增强网络用于在训练过程中对所述训练样本图像中的小目标区域图像进行特征增强。
在具体的实施方式中，所述目标检测模型还包括特征提取网络、RPN网络、分类器和回归器；相应的，所述利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型，包括：将所述训练样本图像输入至所述特征提取网络，得到对应的样本特征图；利用所述RPN网络生成所述样本特征图对应的候选区域；将所述候选区域映射到所述样本特征图上；从所述候选区域中筛选出小目标区域；利用所述特征增强网络对小目标区域特征图进行特征增强，得到对应的小目标增强特征图；所述小目标区域特征图为所述小目标区域内的图像；将所述小目标增强特征图和大目标区域特征图输入至分类器和回归器，得到每个候选区域特征图对应的预测结果；其中，所述预测结果包括目标类别和目标位置；所述目标类别为所述分类器输出的结果；所述目标位置为所述回归器输出的结果；所述大目标区域特征图为大目标区域内的图像，所述大目标区域为所述候选区域中的大目标区域；将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果。
具体的，本实施例先将训练样本图像输入特征提取网络，如VGG16，GoogleNet，ResNet50，ResNet101等，利用共享特征提取网络生成对应的特征图；然后利用RPN网络生成候选区域，具体方法包括，利用特征图中每个像素点生成大小和尺度不同的锚点框，对锚点框进行分类预测每个框属于前景或背景和回归，得到候选区域；之后将候选区域映射到特征图上，对候选区域大小进行筛选，此时针对小目标候选框，将小目标候选区域的特征输入特征增强网络，对小目标区域进行特征增强处理得到增强后的特征图，例如，参见图2所示，图2为本申请公开的一种小目标区域特征图特征增强示意图。
其中，利用所述特征增强网络对小目标区域特征图进行特征增强，得到对应的小目标增强特征图，具体可以包括：步骤01：对所述小目标区域特征图进行特征提取，得到对应的小目标高级特征图；步骤02：对所述小目标高级特征图进行上采样处理；步骤03：对上采样处理后的所述小目标高级特征图进行重建，得到预设倍数的所述小目标高级特征图；继续执行所述步骤01至步骤03，直到所述步骤01至步骤03的执行次数达到预设次数，得到所述小目标增强特征图。本实施例利用所述特征提取网络的下采样倍数确定所述预设次数。也即，本实施例中，小目标区域特征图像经过预设数量个特征增强子网络的增强处理，在每个特征增强子网络中执行步骤01至步骤03，也即，预设数量等于预设次数。并且，对所述小目标区域特征图进行特征提取，得到对应的小目标高级特征图，包括：对所述小目标区域特征图进行残差结构处理，得到对应的小目标高级特征图。对所述小目标高级特征图进行上采样处理，包括：利用预设数量个卷积核对所述小目标高级特征图进行卷积操作，然后进行亚像素卷积操作，以完成所述上采样处理。
具体的，本申请实施例任一特征增强子网络可以先对小目标候选区域特征作进一步特征提取，得到更高级的特征图，然后对高级特征图进行上采样处理，并对经过上采样处理的高级特征图进行重建，即利用上采样处理得到的特征图，与输入该特征子网络的特征图进行融合，得到大小为输入该特征子网络特征图2倍的特征图。例如，参见图3所示，图3为一种具体的特征增强子网络处理流程图。小目标区域特征图经过n个特征增强子网络得到更高级的特征图，即得到小目标增强特征图。其中，n由基础特征提取网络中下采用倍数决定，如该实施例中的基础网络中下采样8倍，则n＝3。
其中，特征提取得到的高级特征图是输入当前特征增强子网络的特征图经过残差结构处理后得到的与其图像大小相同，有64个通道的特征图。参见图4所示，图4为本申请实施例公开的一种残差结构示意图。先对输入特征图即小目标区域特征图进行卷积操作，卷积结果使用ReLu函数进行非线性激活，再次进行卷积操作，然后将得到的结果与输入残差结构的特征图进行融合，完成残差结构处理，残差结构处理中的卷积操作均使用64个大小为3x3的卷积核。
参见图5所示，图5为本申请实施例公开的一种特征图上采样示意图。对小目标高级特征图进行上采样处理。具体的，可以使用256个大小为3x3的卷积核对得到的高级特征图做卷积操作，得到256个特征图，通过亚像素卷积操作，将其变为64个长宽各扩大一倍的特征图，使其分辨率提升一倍。
例如，参见图6所示，图6为本申请实施例公开的一种具体的目标检测模型训练流程图。将训练图片输入特征提取网络，生成特征图；利用RPN网络生成候选区域；将候选区域映射到特征图上，对候选区域大小进行筛选，此时针对小目标候选框，将小目标候选区域的特征输入特征增强网络,对小目标区域进行特征增强处理得到增强后的特征图；将RPN生成的大目标候选区域特征图及特征增强网络输出的小目标特征图送入分类器和回归器，分别预测特征图所属类别及每个框的坐标。
步骤S13：当获取到待检测图像，利用所述训练后模型输出对应的检测结果。
可见，本申请先获取训练样本图像，然后利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型；其中，所述目标检测模型包括特征增强网络；所述特征增强网络用于在训练过程中对所述训练样本图像中的小目标区域图像进行特征增强，当获取到待检测图像，利用所述训练后模型输出对应的检测结果。这样，在训练过程中，针对小目标区域图像进行特征增强，得到训练后模型，然后利用这样的训练后模型进行目标检测，能够提升小目标检测的检出率和准确率。
参见图7所示，本申请实施例公开了一种具体的目标检测方法，包括：
步骤S201：获取训练样本图像。
步骤S202：将所述训练样本图像输入至所述特征提取网络，得到对应的样本特征图。
步骤S203：利用所述RPN网络生成所述样本特征图对应的候选区域。
步骤S204：将所述候选区域映射到所述样本特征图上。
步骤S205：从所述候选区域中筛选出小目标区域。
步骤S206：利用所述特征增强网络对小目标区域特征图进行特征增强，得到对应的小目标增强特征图；所述小目标区域特征图为所述小目标区域内的图像。
步骤S207：将所述小目标增强特征图和大目标区域特征图输入至分类器和回归器，得到每个候选区域特征图对应的预测结果；其中，所述预测结果包括目标类别和目标位置；所述目标类别为所述分类器输出的结果；所述目标位置为所述回归器输出的结果；所述大目标区域特征图为大目标区域内的图像，所述大目标区域为所述候选区域中的大目标区域。
步骤S208：利用预先构建的目标损失函数计算所述目标检测模型的训练损失；所述训练损失包括增强损失、分类损失和回归损失。
其中，目标损失函数为L＝Lcls+λLreg+μLen；L为训练损失，Lcls为分类损失，Lreg为回归损失，Len为增强损失，λ和μ分别为回归损失和增强损失对应的权重系数。
例如，本实施例采用三个特征增强子网络对小目标区域特征图进行特征增强，对应的增强损失函数为Len＝Lχ2+αLχ4+βLχ8；α和β为权重系数，Lχ4，Lχ8分别为将小目标区域特征图放大2倍、4倍、8倍对应的损失，计算公式如下：
Figure BDA0002486190520000081
Figure BDA0002486190520000082
Figure BDA0002486190520000083
其中，
Figure BDA0002486190520000084
为小目标候选区域特征图对应在原始输入的训练样本图像中的第i行第j列的像素值；
Figure BDA0002486190520000085
为小目标候选区域特征图对应在原始输入的训练样本图像缩小2倍图像中的第i行第j列的像素值；
Figure BDA0002486190520000086
为小目标候选区域特征图对应在原始输入的训练样本图像缩小4倍图像中的第i行第j列的像素值；F×2(YFM；Θ)ij，F×4(YFM；Θ)ij，F×8(YFM；Θ)ij分别为第一级、第二级、第三级特征增强子网络输出的特征图的第i行第j列像素值，Θ为特征增强网络参数，YFM表示特征增强子网络对输入特征图的处理操作，M、N分别为输入的小目标区域特征图的长度和宽度。
参见图8所示，图8为本申请公开的一种特征增强网络以及特征增强损失计算示意图。
分类损失利用分类损失函数为SoftmaxLoss计算：
Lcls(p,u)＝-log pu
其中，pu为真实分类u对应的概率。
回归损失采用SmoothL1损失:
Figure BDA0002486190520000091
Figure BDA0002486190520000092
其中，t为模型预测框的位置参数，g为实际框的位置参数，K为训练样本图像的数量，k表示第k个训练样本图像。
步骤S209：将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果。
反复执行步骤S201至步骤S209对预先搭建的目标检测模型进行训练，得到训练后模型。
步骤S210：当获取到待检测图像，利用所述训练后模型输出对应的检测结果。
参见图9所示，本申请实施例公开了一种目标检测装置，包括：
训练样本获取模块11，用于获取训练样本图像。
检测模型训练模块12，用于利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型；其中，所述目标检测模型包括特征增强网络；所述特征增强网络用于在训练过程中对所述训练样本图像中的小目标区域图像进行特征增强；
检测结果输出模块13，用于当获取到待检测图像，利用所述训练后模型输出对应的检测结果。
可见，本申请先获取训练样本图像，然后利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型；其中，所述目标检测模型包括特征增强网络；所述特征增强网络用于在训练过程中对所述训练样本图像中的小目标区域图像进行特征增强，当获取到待检测图像，利用所述训练后模型输出对应的检测结果。这样，在训练过程中，针对小目标区域图像进行特征增强，得到训练后模型，然后利用这样的训练后模型进行目标检测，能够提升小目标检测的检出率和准确率。
其中，所述目标检测模型还包括特征提取网络、RPN网络、分类器和回归器；
相应的，检测模型训练模块12，包括：
特征提取模块，用于将所述训练样本图像输入至所述特征提取网络，得到对应的样本特征图。
候选区域生成模块，用于利用所述RPN网络生成所述样本特征图对应的候选区域。
候选区域映射模块，用于将所述候选区域映射到所述样本特征图上。
小目标区域筛选模块，用于从所述候选区域中筛选出小目标区域。
特征增强模块，用于利用所述特征增强网络对小目标区域特征图进行特征增强，得到对应的小目标增强特征图；所述小目标区域特征图为所述小目标区域内的图像。
预测结果获取模块，用于将所述小目标增强特征图和大目标区域特征图输入至分类器和回归器，得到每个候选区域特征图对应的预测结果。其中，所述预测结果包括目标类别和目标位置；所述目标类别为所述分类器输出的结果；所述目标位置为所述回归器输出的结果；所述大目标区域特征图为大目标区域内的图像，所述大目标区域为所述候选区域中的大目标区域；
训练检测结果获取模块，用于将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果。
所述特征增强模块，包括预设数量个特征增强子模块，任一所述特征增强子模块包括：
特征提取单元，用于对所述小目标区域特征图进行特征提取，得到对应的小目标高级特征图。
上采样处理单元，用于对所述小目标高级特征图进行上采样处理。
图像重建单元，用于对上采样处理后的所述小目标高级特征图进行重建，得到预设倍数的所述小目标高级特征图。
预设数量确定模块，用于利用所述特征提取网络的下采样倍数确定所述预设数量。
所述特征提取单元，具体用于对所述小目标区域特征图进行残差结构处理，得到对应的小目标高级特征图。
所述上采样处理单元，具体用于利用预设数量个卷积核对所述小目标高级特征图进行卷积操作，然后进行亚像素卷积操作，以完成所述上采样处理。
目标检测装置，还包括损失计算模块，用于利用预先构建的目标损失函数计算所述目标检测模型的训练损失；所述训练损失包括增强损失、分类损失和回归损失。
参见图10所示，本申请实施例公开了一种目标检测设备，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，以实现前述实施例公开的目标检测方法。
关于上述目标检测方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
参见图11所示，本申请实施例公开了一种电子终端20，包括前述实施例中公开的处理器21和存储器22。关于上述处理器21具体可以执行的步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本实施例中的电子终端20，还可以具体包括电源23、通信接口24、输入输出接口25和通信总线26；其中，所述电源23用于为所述终端20上的各硬件设备提供工作电压；所述通信接口24能够为所述终端20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；所述输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的目标检测方法。
关于上述目标检测方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种目标检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种目标检测方法，其特征在于，包括：
获取训练样本图像；
利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型；其中，所述目标检测模型包括特征增强网络；所述特征增强网络用于在训练过程中对所述训练样本图像中的小目标区域图像进行特征增强；
当获取到待检测图像，利用所述训练后模型输出对应的检测结果。
2.根据权利要求1所述的目标检测方法，其特征在于，所述目标检测模型还包括特征提取网络、RPN网络、分类器和回归器；
相应的，所述利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型，包括：
将所述训练样本图像输入至所述特征提取网络，得到对应的样本特征图；
利用所述RPN网络生成所述样本特征图对应的候选区域；
将所述候选区域映射到所述样本特征图上；
从所述候选区域中筛选出小目标区域；
利用所述特征增强网络对小目标区域特征图进行特征增强，得到对应的小目标增强特征图；所述小目标区域特征图为所述小目标区域内的图像；
将所述小目标增强特征图和大目标区域特征图输入至分类器和回归器，得到每个候选区域特征图对应的预测结果；
其中，所述预测结果包括目标类别和目标位置；所述目标类别为所述分类器输出的结果；所述目标位置为所述回归器输出的结果；所述大目标区域特征图为大目标区域内的图像，所述大目标区域为所述候选区域中的大目标区域；
将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果。
3.根据权利要求2所述的目标检测方法，其特征在于，所述利用所述特征增强网络对小目标区域特征图进行特征增强，得到对应的小目标增强特征图，包括：
步骤01：对所述小目标区域特征图进行特征提取，得到对应的小目标高级特征图；
步骤02：对所述小目标高级特征图进行上采样处理；
步骤03：对上采样处理后的所述小目标高级特征图进行重建，得到预设倍数的所述小目标高级特征图；
继续执行所述步骤01至步骤03，直到所述步骤01至步骤03的执行次数达到预设次数，得到所述小目标增强特征图。
4.根据权利要求3所述的目标检测方法，其特征在于，还包括：
利用所述特征提取网络的下采样倍数确定所述预设次数。
5.根据权利要求3所述的目标检测方法，其特征在于，所述对所述小目标区域特征图进行特征提取，得到对应的小目标高级特征图，包括：
对所述小目标区域特征图进行残差结构处理，得到对应的小目标高级特征图。
6.根据权利要求3所述的目标检测方法，其特征在于，所述对所述小目标高级特征图进行上采样处理，包括：
利用预设数量个卷积核对所述小目标高级特征图进行卷积操作，然后进行亚像素卷积操作，以完成所述上采样处理。
7.根据权利要求1至6任一项所述的目标检测方法，其特征在于，还包括：
利用预先构建的目标损失函数计算所述目标检测模型的训练损失；所述训练损失包括增强损失、分类损失和回归损失。
8.一种目标检测装置，其特征在于，包括：
训练样本获取模块，用于获取训练样本图像；
检测模型训练模块，用于利用所述训练样本图像对预先搭建的目标检测模型进行训练，得到训练后模型；其中，所述目标检测模型包括特征增强网络；所述特征增强网络用于在训练过程中对所述训练样本图像中的小目标区域图像进行特征增强；
图像目标检测模块，用于当获取到待检测图像，利用所述训练后模型输出对应的检测结果。
9.一种目标检测设备，其特征在于，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的目标检测方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的目标检测方法。
CN202010392132.9A 2020-05-11 2020-05-11 一种目标检测方法、装置、设备及介质 Active CN111597945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010392132.9A CN111597945B (zh) 2020-05-11 2020-05-11 一种目标检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010392132.9A CN111597945B (zh) 2020-05-11 2020-05-11 一种目标检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111597945A true CN111597945A (zh) 2020-08-28
CN111597945B CN111597945B (zh) 2023-08-18

Family

ID=72187051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010392132.9A Active CN111597945B (zh) 2020-05-11 2020-05-11 一种目标检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111597945B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446378A (zh) * 2020-11-30 2021-03-05 展讯通信（上海）有限公司 目标检测方法及装置、存储介质、终端
CN112861716A (zh) * 2021-02-05 2021-05-28 深圳市安软科技股份有限公司 违规物品摆放的监测方法、系统、设备及存储介质
CN112949767A (zh) * 2021-04-07 2021-06-11 北京百度网讯科技有限公司 样本图像增量、图像检测模型训练及图像检测方法
CN113033305A (zh) * 2021-02-21 2021-06-25 云南联合视觉科技有限公司 活体检测方法、装置、终端设备和存储介质
CN113469087A (zh) * 2021-07-09 2021-10-01 上海智臻智能网络科技股份有限公司 建筑图纸中的图框检测方法、装置、设备及介质
CN113609951A (zh) * 2021-07-30 2021-11-05 北京百度网讯科技有限公司 目标检测模型的训练和目标检测方法、装置、设备及介质
CN114723756A (zh) * 2022-06-09 2022-07-08 北京理工大学 基于双监督网络的低分时序遥感目标检测方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229342A (zh) * 2017-12-18 2018-06-29 西南技术物理研究所 一种海面舰船目标自动检测方法
CN108399362A (zh) * 2018-01-24 2018-08-14 中山大学 一种快速行人检测方法及装置
CN108427912A (zh) * 2018-02-05 2018-08-21 西安电子科技大学 基于稠密目标特征学习的光学遥感图像目标检测方法
CN108564097A (zh) * 2017-12-05 2018-09-21 华南理工大学 一种基于深度卷积神经网络的多尺度目标检测方法
CN109241914A (zh) * 2018-09-11 2019-01-18 广州广电银通金融电子科技有限公司 一种针对复杂场景下的小目标行人检测方法
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109815906A (zh) * 2019-01-25 2019-05-28 华中科技大学 基于分步深度学习的交通标志检测方法及系统
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法
CN110675321A (zh) * 2019-09-26 2020-01-10 兰州理工大学 一种基于渐进式的深度残差网络的超分辨率图像重建方法
WO2020020472A1 (en) * 2018-07-24 2020-01-30 Fundación Centro Tecnoloxico De Telecomunicacións De Galicia A computer-implemented method and system for detecting small objects on an image using convolutional neural networks
CN110781905A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 一种图像检测方法及装置
CN110781980A (zh) * 2019-11-08 2020-02-11 北京金山云网络技术有限公司 目标检测模型的训练方法、目标检测方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564097A (zh) * 2017-12-05 2018-09-21 华南理工大学 一种基于深度卷积神经网络的多尺度目标检测方法
CN108229342A (zh) * 2017-12-18 2018-06-29 西南技术物理研究所 一种海面舰船目标自动检测方法
CN108399362A (zh) * 2018-01-24 2018-08-14 中山大学 一种快速行人检测方法及装置
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN108427912A (zh) * 2018-02-05 2018-08-21 西安电子科技大学 基于稠密目标特征学习的光学遥感图像目标检测方法
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
WO2020020472A1 (en) * 2018-07-24 2020-01-30 Fundación Centro Tecnoloxico De Telecomunicacións De Galicia A computer-implemented method and system for detecting small objects on an image using convolutional neural networks
CN109241914A (zh) * 2018-09-11 2019-01-18 广州广电银通金融电子科技有限公司 一种针对复杂场景下的小目标行人检测方法
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109815906A (zh) * 2019-01-25 2019-05-28 华中科技大学 基于分步深度学习的交通标志检测方法及系统
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法
CN110675321A (zh) * 2019-09-26 2020-01-10 兰州理工大学 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN110781905A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 一种图像检测方法及装置
CN110781980A (zh) * 2019-11-08 2020-02-11 北京金山云网络技术有限公司 目标检测模型的训练方法、目标检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAO FU , KENLI LI , JING LIU , KEQIN LI , ZENG ZENG , CEN CHEN: "A two-stage attention aware method for train bearing shed oil inspection based on convolutional neural networks", NEUROCOMPUTING, vol. 380, pages 212 - 224, XP085978482, DOI: 10.1016/j.neucom.2019.11.002 *
李晓光, 付陈平, 李晓莉, 王章辉: "面向多尺度目标检测的改进Faster R-CNN 算法", 计算机辅助设计与图形学学报, vol. 31, no. 7, pages 1095 - 1101 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446378A (zh) * 2020-11-30 2021-03-05 展讯通信（上海）有限公司 目标检测方法及装置、存储介质、终端
WO2022111352A1 (zh) * 2020-11-30 2022-06-02 展讯通信（上海）有限公司 目标检测方法及装置、存储介质、终端
CN112861716A (zh) * 2021-02-05 2021-05-28 深圳市安软科技股份有限公司 违规物品摆放的监测方法、系统、设备及存储介质
CN113033305A (zh) * 2021-02-21 2021-06-25 云南联合视觉科技有限公司 活体检测方法、装置、终端设备和存储介质
CN113033305B (zh) * 2021-02-21 2023-05-12 云南联合视觉科技有限公司 活体检测方法、装置、终端设备和存储介质
CN112949767A (zh) * 2021-04-07 2021-06-11 北京百度网讯科技有限公司 样本图像增量、图像检测模型训练及图像检测方法
WO2022213718A1 (zh) * 2021-04-07 2022-10-13 北京百度网讯科技有限公司 样本图像增量、图像检测模型训练及图像检测方法
CN112949767B (zh) * 2021-04-07 2023-08-11 北京百度网讯科技有限公司 样本图像增量、图像检测模型训练及图像检测方法
CN113469087A (zh) * 2021-07-09 2021-10-01 上海智臻智能网络科技股份有限公司 建筑图纸中的图框检测方法、装置、设备及介质
CN113609951A (zh) * 2021-07-30 2021-11-05 北京百度网讯科技有限公司 目标检测模型的训练和目标检测方法、装置、设备及介质
CN113609951B (zh) * 2021-07-30 2023-11-24 北京百度网讯科技有限公司 目标检测模型的训练和目标检测方法、装置、设备及介质
CN114723756A (zh) * 2022-06-09 2022-07-08 北京理工大学 基于双监督网络的低分时序遥感目标检测方法及装置
CN114723756B (zh) * 2022-06-09 2022-08-12 北京理工大学 基于双监督网络的低分时序遥感目标检测方法及装置

Also Published As

Publication number Publication date
CN111597945B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN111597945B (zh) 一种目标检测方法、装置、设备及介质
CN109255352B (zh) 目标检测方法、装置及系统
CN108268869B (zh) 目标检测方法、装置及系统
CN109376667B (zh) 目标检测方法、装置及电子设备
US20210183022A1 (en) Image inpainting method and apparatus, computer device, and storage medium
JP6902611B2 (ja) 物体検出方法、ニューラルネットワークの訓練方法、装置および電子機器
CN109003260B (zh) Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109829506B (zh) 图像处理方法、装置、电子设备和计算机存储介质
JP2020501238A (ja) 顔検出トレーニング方法、装置及び電子機器
CN108229353B (zh) 人体图像的分类方法和装置、电子设备、存储介质、程序
CN108830225B (zh) 太赫兹图像中目标物体的检测方法、装置、设备及介质
US11314989B2 (en) Training a generative model and a discriminative model
CN110443258B (zh) 文字检测方法、装置、电子设备及存储介质
CN109886330B (zh) 文本检测方法、装置、计算机可读存储介质和计算机设备
US11341376B2 (en) Method and device for recognizing image and storage medium
CN111814905A (zh) 目标检测方法、装置、计算机设备和存储介质
WO2022099528A1 (zh) 点云法向量计算方法、装置、计算机设备和存储介质
CN111310758A (zh) 文本检测方法、装置、计算机设备和存储介质
CN108537820B (zh) 动态预测方法、系统及所适用的设备
CN112597918A (zh) 文本检测方法及装置、电子设备、存储介质
US20240037898A1 (en) Method for predicting reconstructabilit, computer device and storage medium
CN111145202B (zh) 模型生成方法、图像处理方法、装置、设备及存储介质
CN115496976A (zh) 多源异构数据融合的视觉处理方法、装置、设备及介质
Carrizosa‐Corral et al. FPGA‐SoC implementation of an ICA‐based background subtraction method
CN112037173A (zh) 染色体检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant