CN110348453B - 一种基于级联的物体检测方法及系统、存储介质及终端 - Google Patents

一种基于级联的物体检测方法及系统、存储介质及终端 Download PDF

Info

Publication number
CN110348453B
CN110348453B CN201810300288.2A CN201810300288A CN110348453B CN 110348453 B CN110348453 B CN 110348453B CN 201810300288 A CN201810300288 A CN 201810300288A CN 110348453 B CN110348453 B CN 110348453B
Authority
CN
China
Prior art keywords
candidate
confidence
network
candidate frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810300288.2A
Other languages
English (en)
Other versions
CN110348453A (zh
Inventor
汪宏
叶浩
郑莹斌
邵蔚元
王丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Information Technology Research Center
Shanghai Advanced Research Institute of CAS
Original Assignee
Shanghai Information Technology Research Center
Shanghai Advanced Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Information Technology Research Center, Shanghai Advanced Research Institute of CAS filed Critical Shanghai Information Technology Research Center
Priority to CN201810300288.2A priority Critical patent/CN110348453B/zh
Publication of CN110348453A publication Critical patent/CN110348453A/zh
Application granted granted Critical
Publication of CN110348453B publication Critical patent/CN110348453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于级联的物体检测方法及系统、存储介质及终端，包括以下步骤：基于特征提取网络来获取图像的第一图像特征；基于候选框生成网络获取置信度大于预设阈值的置信候选框及其对应的第一特征向量和一次调整后的位置；基于精调网络获取所述置信候选框二次调整后的位置和置信度。本发明的基于级联的物体检测方法及系统、存储介质及终端将级联网络的思想与检测网络相结合，对物体候选框逐步进行调整，不同阶段使用不同的网络进行优化，使得物体的位置和分类信息同时得到提升，能够同时兼顾物体检测速度和精度。

Description

一种基于级联的物体检测方法及系统、存储介质及终端
技术领域
本发明涉及物体检测的技术领域，特别是涉及一种基于级联的物体检测方法及系统、存储介质及终端。
背景技术
通用物体检测是日常生活中广泛应用的一门技术。级联检测算法和DPM(deformable part models，可变性的组件模型)算法是两种较常用的物体检测方法。级联检测算法由一系列的弱分类器组成，通过级联方式在前期筛除大量非目标候选框，使得检测速度有了很大的提升。后来提出的一些方法均扩展了这种级联的流程并取得了较好的成绩。另一方面，DPM检测器通过检索物体的部分信息和空间组成信息成功地在物体检测上取得了一些进步。
近年来，卷积神经网络在通用物体检测上取得了突破性的进展，获得了很好的成效。如Faster RCNN，YOLO，SSD等网络模型，其在网络特征图上直接或间接生成物体候选框并其进行过滤、纠正等操作，从而得到最终的检测结果。
然而，现有的通用物体检测算法均无法同时兼顾物体检测速度和精度，无法满足不同情形下的物体检测需求。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于级联的物体检测方法及系统、存储介质及终端，将级联网络的思想与检测网络相结合，对物体候选框逐步进行调整，不同阶段使用不同的网络进行优化，使得物体的位置和分类信息同时得到提升，能够同时兼顾物体检测速度和精度。
为实现上述目的及其他相关目的，本发明提供一种基于级联的物体检测方法，包括以下步骤：基于特征提取网络来获取图像的第一图像特征；基于候选框生成网络对所述第一图像特征进行精简获取第二图像特征，并将所述第二图像特征划分为多个网格，在每个网格上生成固定数目和尺寸的候选框；基于RoI池化层提取每个候选框的图像特征，基于若干全连接层获取置信度大于预设阈值的置信候选框及其对应的第一特征向量和一次调整后的位置；基于精调网络和所述第一图像特征获取第三图像特征；根据所述置信候选框的位置信息和所述第三图像特征基于RoI池化层获取所述置信候选框的图像特征；对于每个所述置信候选框，基于所述置信候选框的图像特征和若干全连接层生成对应的第二特征向量，并与所述第一特征向量拼接为第三特征向量；基于所述第三特征向量、所述一次调整后的位置和全连接层获取所述置信候选框二次调整后的位置和置信度。
于本发明一实施例中，所述特征提取网络采用特征融合算法获取所述第一图像特征。
于本发明一实施例中，所述特征提取网络采用VGG16网络的卷积层部分获取第一图像特征；所述候选框生成网络采用带有4个过滤器的卷积层获取第二图像特征；所述精调网络采用带64个过滤器的卷积层获取第三图像特征。
于本发明一实施例中，基于若干全连接层获取信度大于预设阈值的置信候选框及其对应的第一特征向量时，还包括对所述置信度大于预设阈值的置信候选框进行非最大值抑制操作，获取预设数量个置信度大于预设阈值的置信候选框。
于本发明一实施例中，训练所述候选框生成网络时，将候选框和真实值的IoU大于0.5的候选框作为正样本，小于0.3的候选框作为负样本，仅基于所述正样本和所述负样本进行模型训练时的参数更新；训练所述精调网络时，将候选框与真实值IoU大于0.45的候选框作为正样本，介于0.1到0.3之间的候选框作为负样本，仅基于所述正样本和所述负样本进行模型训练时的参数更新。
于本发明一实施例中，在训练所述候选框生成网络和所述精调网络时，通过损失函数计算每个候选框的损失值，仅选择损失值最高的70％的候选框参与训练。
于本发明一实施例中，所述损失函数为多阶段联合损失函数L＝αLs1+(1-α)Ls2，其中Ls1(t,s)＝Lcls(s)+λLloc(t,s)，Ls2(t',s')＝Lcls(s')+λLloc(t',s')，Ls1,Ls2分别表示所述候选框生成网络和所述精调网络的损失函数，α表示权重；Lcls(s)＝-logs，
Figure BDA0001619573490000021
其中，x，y表示调整后的候选框左上角的坐标，w，h表示调整后的候选框的宽度和高度，s表示所述候选框生成网络中候选框的置信度；t＝(tx,ty,tw,th)表示所述候选框生成网络中调整后的候选框和调整前的候选框在x,y,w,h方向上的偏移；
Figure BDA0001619573490000022
Figure BDA0001619573490000023
Figure BDA0001619573490000024
表示所述候选框生成网络中调整前的候选框的左上角的坐标、宽度和高度，λ表示权重系数；t',s'分别表示所述精调网络中调整后的候选框和调整前的候选框在x,y,w,h方向上的偏移和所述精调网络中候选框的置信度。
对应地，本发明提供一种基于级联的物体检测系统，包括第一获取模块、第二获取模块和第三获取模块；
所述第一获取模块用于基于特征提取网络来获取图像的第一图像特征；
所述第二获取模块用于基于候选框生成网络对所述第一图像特征进行精简获取第二图像特征，并将所述第二图像特征划分为多个网格，在每个网格上生成固定数目和尺寸的候选框；基于RoI池化层提取每个候选框的图像特征，基于若干全连接层获取置信度大于预设阈值的置信候选框及其对应的第一特征向量和一次调整后的位置；
所述第三获取模块用于基于精调网络和所述第一图像特征获取第三图像特征；根据所述置信候选框的位置信息和所述第三图像特征基于RoI池化层获取所述置信候选框的图像特征；对于每个所述置信候选框，基于所述置信候选框的图像特征和若干全连接层生成对应的第二特征向量，并与所述第一特征向量拼接为第三特征向量；基于所述第三特征向量、所述一次调整后的位置和全连接层获取所述置信候选框二次调整后的位置和置信度。
本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于级联的物体检测方法。
最后，本发明提供一种终端，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的基于级联的物体检测方法。
如上所述，本发明的基于级联的物体检测方法及系统、存储介质及终端，具有以下有益效果：
(1)将级联网络的思想与检测网络相结合，对物体候选框逐步进行调整，不同阶段使用不同的网络进行优化，使得物体的位置和分类信息同时得到提升；
(2)通过N1网络提取图像基本特征，通过N2网络加速物体候选框的过滤，再通过N3网络得到精确的物体框位置，从而额提高了物体检测的速度和精度；
(3)适用于人脸检测、车辆检测等通用物体检测场景。
附图说明
图1显示为本发明的基于级联的物体检测方法于一实施例中的流程图；
图2显示为本发明的基于级联的物体检测方法于一实施例中的框架结构图；
图3显示为本发明的基于级联的物体检测系统于一实施例中的结构示意图；
图4显示为本发明的终端于一实施例中的结构示意图。
元件标号说明
31 第一获取模块
32 第二获取模块
33 第三获取模块
41 处理器
42 存储器
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的基于级联的物体检测方法及系统、存储介质及终端将级联网络的思想与检测网络相结合，对物体候选框逐步进行调整，不同阶段使用不同的网络进行优化，使得物体的位置和分类信息同时得到提升，能够同时兼顾物体检测速度和精度。
如图1和图2所示，于一实施例中，本发明的基于级联的物体检测方法包括以下步骤：
步骤S1、基于特征提取网络来获取图像的第一图像特征。
具体地，在这个阶段，将整张图像作为所述特征提取网络的输入，使用若干个卷积层以及池化层用来产生丰富的图像特征。同时，可以选择将所述特征提取网络中不同层的特征进行融合来提高网络的精确度。例如，对于第1，3，5卷积层，首先在其后连接一个批标准化(Batch Normalize)层，通过上采样和下采样将第1层和第5层特征的大小对齐到第3层的特征，并进行拼接形成新的特征，将该新的特征作为所述特征提取网络的输出。
于本发明一实施例中，所述特征提取网络使用VGG16网络的卷积层部分来获取所述第一图像特征。所述VGG16网络的卷积层部分的输入是一张图像，输出为网络生成的图像特征。
步骤S2、基于候选框生成网络对所述第一图像特征进行精简获取第二图像特征，并将所述第二图像特征划分为多个网格，在每个网格上生成固定数目和尺寸的候选框；基于RoI池化层提取每个候选框的图像特征，基于若干全连接层获取置信度大于预设阈值的置信候选框及其对应的第一特征向量和一次调整后的位置。
具体地，所述候选框生成网络采用一个有少量过滤器的卷积层对输入的第一图像特征进行精简。同时，将精简后获得的第二图像特征划分成多个网格，每个网格上生成固定数目和尺寸的候选框。对每个候选框，通过RoI(Region of Interest，感兴趣区域)池化层提取每个候选框内的图像特征，再连接若干个全连接层，生成该候选框是否是一个合法候选框的置信度，通过预设阈值过滤掉大量置信度较低的候选框，将剩下的候选框作为置信候选框，并获取全连接层输出的所述置信候选框信对应的第一特征向量和一次调整后的位置。
于本发明一实施例中，所述候选框生成网络采用带有4个过滤器的卷积层获取第二图像特征。具体地，对所述特征提取网络的输出第一图像特征进行卷积操作，产生第二图像特征，设定其长宽为256x144。采用与Faster RCNN模型中RPN类似的做法，将所述第二图像特征等分成64x36的网格，在每个网格上生成5种尺寸3种长宽比的共15个候选框。5种尺寸分别为32x32,64x64,128x128,256x256,512x512；3种长宽比分别为1:2,2:1,1:1。对每个候选框，通过RoI池化层将其分割成14x14x4大小的图像特征，在RoI池化层后连接两个128维的全连接层，最后回归出候选框是否合法的置信度和依次调整后的候选框位置信息，并将置信度大于预设阈值的候选框作为置信候选框。
于本发明一实施例中，基于若干全连接层获取信度大于预设阈值的置信候选框及其对应的第一特征向量时，还包括对所述置信度大于预设阈值的置信候选框进行非最大值抑制(Non Maximum Suppression，NMS)操作，来删减高度重叠的候选框，从而获取预设数量个置信度大于预设阈值的置信候选框。优选地，所述预设数量为800。
步骤S3、基于精调网络和所述第一图像特征获取第三图像特征；根据所述置信候选框的位置信息和所述第三图像特征基于RoI池化层获取所述置信候选框的图像特征；对于每个所述置信候选框，基于所述置信候选框的图像特征和若干全连接层生成对应的第二特征向量，并与所述第一特征向量拼接为第三特征向量；基于所述第三特征向量、所述一次调整后的位置和全连接层获取所述置信候选框二次调整后的位置和置信度。
具体地，所述精调网络首先使用若干个有较大数量的过滤器的卷积层来将第一图像特征生成更精细的第三图像特征。对于所述候选框生成网络输出的候选框，根据候选框的位置信息通过RoI池化操作在第三图像特征上提取每个候选框的图像特征。每个图像特征通过若干个全连接层生成一定长度的第二特征向量，然后和所述候选框生成网络输出的第一特征向量进行拼接形成第三特征向量。最后通过全连接层对候选框位置进行二次调整，并生成二次调整后的候选框位置和候选框的置信度。
于本发明一实施例中，所述精调网络采用带64个过滤器的卷积层获取第三图像特征。使用与所述候选框生成网络类似的操作，将所述第三图像特征等分为多个网格，在每个网格上生成多个尺寸的候选框；对每个候选框，通过RoI池化层将其分割成14x14x64大小的特征，在所述RoI池化层后连接两个512维的全连接层，将产生的第二特征向量与所述候选框生成网络生成的128维的第一特征向量进行拼接，生成640维的第三特征向量。基于所述第三特征向量回归出候选框是否合法的置信度和调整后的候选框位置信息，从而实现精确快速的物体检测。
需要说明的是，本发明的基于级联的物体检测方法是基于训练好的特征提取网络、候选框生成网络和精调网络而实现的。为了保证物体检测的精度和速度，于本发明一实施例中，训练所述候选框生成网络时，将候选框和真实值的IoU大于0.5的候选框作为正样本，小于0.3的候选框作为负样本，仅基于所述正样本和所述负样本进行模型训练时的参数更新；训练所述精调网络时，将候选框与真实值IoU大于0.45的候选框作为正样本，介于0.1到0.3之间的候选框作为负样本，仅基于所述正样本和所述负样本进行模型训练时的参数更新。
为了提高训练精度，在训练所述候选框生成网络和所述精调网络时，通过损失函数计算每个候选框的损失值，仅选择损失值最高的70％的候选框参与训练。
于本发明一实施例中，所述损失函数为多阶段联合损失函数L＝αLs1+(1-α)Ls2，其中Ls1(t,s)＝Lcls(s)+λLloc(t,s)，Ls2(t',s')＝Lcls(s')+λLloc(t',s')，Ls1,Ls2分别表示所述候选框生成网络和所述精调网络的损失函数，λ表示权重系数，α表示权重；逻辑回归损失函数Lcls(s)＝-logs，位置回归损失函数
Figure BDA0001619573490000061
Figure BDA0001619573490000062
其中，x，y表示调整后的候选框左上角的坐标，w，h表示调整后的候选框的宽度和高度，s表示所述候选框生成网络中候选框的置信度；t＝(tx,ty,tw,th)表示所述候选框生成网络中调整后的候选框和调整前的候选框在x,y,w,h方向上的偏移；
Figure BDA0001619573490000063
Figure BDA0001619573490000071
Figure BDA0001619573490000072
表示所述候选框生成网络中调整前的候选框的左上角的坐标、宽度和高度；同理，t',s'分别表示所述精调网络中调整后的候选框和调整前的候选框在x,y,w,h方向上的偏移和所述精调网络中候选框的置信度。
考虑两个损失函数的重要性是同等的，一般将α设置为0.5。
于本发明一实施例中，所述特征提取网络通过一个预训练的VGG16模型进行初始化，所述候选框生成网络和所述精简网络均通过0.01方差的标准高斯分布来进行初始化。初始学习率为0.001，根据具体任务的不同在迭代多轮后降到0.0001。
如图3所示，于一实施例中，本发明的基于级联的物体检测系统包括第一获取模块31、第二获取模块32和第三获取模块33。
所述第一获取模块31用于基于特征提取网络来获取图像的第一图像特征。
所述第二获取模块32与所述第一获取模块32相连，用于基于候选框生成网络对所述第一图像特征进行精简获取第二图像特征，并将所述第二图像特征划分为多个网格，在每个网格上生成固定数目和尺寸的候选框；基于RoI池化层提取每个候选框的图像特征，基于若干全连接层获取置信度大于预设阈值的置信候选框及其对应的第一特征向量和一次调整后的位置。
所述第三获取模块33与所述第一获取模块31和所述第二获取模块32相连，用于基于精调网络和所述第一图像特征获取第三图像特征；根据所述置信候选框的位置信息和所述第三图像特征基于RoI池化层获取所述置信候选框的图像特征；对于每个所述置信候选框，基于所述置信候选框的图像特征和若干全连接层生成对应的第二特征向量，并与所述第一特征向量拼接为第三特征向量；基于所述第三特征向量、所述一次调整后的位置和全连接层获取所述置信候选框二次调整后的位置和置信度。
需要说明的是，第一获取模块31、第二获取模块32和第三获取模块33结构和原理与上述基于级联的物体检测方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)，或，一个或多个微处理器(digitalsingnalprocessor，简称DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessingUnit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的基于级联的物体检测方法。所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图4所示，本发明的终端包括：处理器41及存储器42。
所述存储器42用于存储计算机程序。
所述存储器42包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器41与所述存储器42相连，用于执行所述存储器42存储的计算机程序，以使所述终端执行上述的基于级联的物体检测方法。
优选地，所述处理器41可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessor，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明的基于级联的物体检测方法及系统、存储介质及终端将级联网络的思想与检测网络相结合，对物体候选框逐步进行调整，不同阶段使用不同的网络进行优化，使得物体的位置和分类信息同时得到提升；通过N1网络提取图像基本特征，通过N2网络加速物体候选框的过滤，再通过N3网络得到精确的物体框位置，从而额提高了物体检测的速度和精度；适用于人脸检测、车辆检测等通用物体检测场景。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于级联的物体检测方法，其特征在于，包括以下步骤：
基于特征提取网络来获取图像的第一图像特征；
基于候选框生成网络对所述第一图像特征进行精简获取第二图像特征，并将所述第二图像特征划分为多个网格，在每个网格上生成固定数目和尺寸的候选框；基于RoI池化层提取每个候选框的图像特征，基于若干全连接层获取置信度大于预设阈值的置信候选框及其对应的第一特征向量和一次调整后的位置；
基于精调网络和所述第一图像特征获取第三图像特征；根据所述置信候选框的位置信息和所述第三图像特征基于RoI池化层获取所述置信候选框的图像特征；对于每个所述置信候选框，基于所述置信候选框的图像特征和若干全连接层生成对应的第二特征向量，并与所述第一特征向量拼接为第三特征向量；基于所述第三特征向量、所述一次调整后的位置和全连接层获取所述置信候选框二次调整后的位置和置信度。
2.根据权利要求1所述的基于级联的物体检测方法，其特征在于，所述特征提取网络采用特征融合算法获取所述第一图像特征。
3.根据权利要求1所述的基于级联的物体检测方法，其特征在于，所述特征提取网络采用VGG16网络的卷积层部分获取第一图像特征；所述候选框生成网络采用带有4个过滤器的卷积层获取第二图像特征；所述精调网络采用带64个过滤器的卷积层获取第三图像特征。
4.根据权利要求1所述的基于级联的物体检测方法，其特征在于，基于若干全连接层获取置信度大于预设阈值的置信候选框及其对应的第一特征向量时，还包括对所述置信度大于预设阈值的置信候选框进行非最大值抑制操作，获取预设数量个置信度大于预设阈值的置信候选框。
5.根据权利要求1所述的基于级联的物体检测方法，其特征在于，训练所述候选框生成网络时，将候选框和真实值的IoU大于0.5的候选框作为正样本，小于0.3的候选框作为负样本，仅基于所述正样本和所述负样本进行模型训练时的参数更新；训练所述精调网络时，将候选框与真实值IoU大于0.45的候选框作为正样本，介于0.1到0.3之间的候选框作为负样本，仅基于所述正样本和所述负样本进行模型训练时的参数更新。
6.根据权利要求1所述的基于级联的物体检测方法，其特征在于，在训练所述候选框生成网络和所述精调网络时，通过损失函数计算每个候选框的损失值，仅选择损失值最高的70％的候选框参与训练。
7.根据权利要求6所述的基于级联的物体检测方法，其特征在于，所述损失函数为多阶段联合损失函数L＝αLs1+(1-α)Ls2，其中Ls1(t,s)＝Lcls(s)+λLloc(t,s)，Ls2(t',s')＝Lcls(s')+λLloc(t',s')，Ls1,Ls2分别表示所述候选框生成网络和所述精调网络的损失函数，α表示权重；Lcls(s)＝-logs，
Figure FDA0001619573480000021
Figure FDA0001619573480000022
其中，x，y表示调整后的候选框左上角的坐标，w，h表示调整后的候选框的宽度和高度，s表示所述候选框生成网络中候选框的置信度；t＝(tx,ty,tw,th)表示所述候选框生成网络中调整后的候选框和调整前的候选框在x,y,w,h方向上的偏移；
Figure FDA0001619573480000023
Figure FDA0001619573480000024
Figure FDA0001619573480000025
表示所述候选框生成网络中调整前的候选框的左上角的坐标、宽度和高度，λ表示权重系数；t',s'分别表示所述精调网络中调整后的候选框和调整前的候选框在x,y,w,h方向上的偏移和所述精调网络中候选框的置信度。
8.一种基于级联的物体检测系统，其特征在于，包括第一获取模块、第二获取模块和第三获取模块；
所述第一获取模块用于基于特征提取网络来获取图像的第一图像特征；
所述第二获取模块用于基于候选框生成网络对所述第一图像特征进行精简获取第二图像特征，并将所述第二图像特征划分为多个网格，在每个网格上生成固定数目和尺寸的候选框；基于RoI池化层提取每个候选框的图像特征，基于若干全连接层获取置信度大于预设阈值的置信候选框及其对应的第一特征向量和一次调整后的位置；
所述第三获取模块用于基于精调网络和所述第一图像特征获取第三图像特征；根据所述置信候选框的位置信息和所述第三图像特征基于RoI池化层获取所述置信候选框的图像特征；对于每个所述置信候选框，基于所述置信候选框的图像特征和若干全连接层生成对应的第二特征向量，并与所述第一特征向量拼接为第三特征向量；基于所述第三特征向量、所述一次调整后的位置和全连接层获取所述置信候选框二次调整后的位置和置信度。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的基于级联的物体检测方法。
10.一种终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行权利要求1至7中任一项所述的基于级联的物体检测方法。
CN201810300288.2A 2018-04-04 2018-04-04 一种基于级联的物体检测方法及系统、存储介质及终端 Active CN110348453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810300288.2A CN110348453B (zh) 2018-04-04 2018-04-04 一种基于级联的物体检测方法及系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810300288.2A CN110348453B (zh) 2018-04-04 2018-04-04 一种基于级联的物体检测方法及系统、存储介质及终端

Publications (2)

Publication Number Publication Date
CN110348453A CN110348453A (zh) 2019-10-18
CN110348453B true CN110348453B (zh) 2022-10-04

Family

ID=68172695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810300288.2A Active CN110348453B (zh) 2018-04-04 2018-04-04 一种基于级联的物体检测方法及系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN110348453B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368625B (zh) * 2019-11-08 2024-02-27 深圳北航新兴产业技术研究院 一种基于级联优化的行人目标检测方法
CN111160336B (zh) * 2019-12-09 2024-07-12 平安科技（深圳）有限公司 目标检测方法、装置及计算机可读存储介质
CN111709415B (zh) * 2020-04-29 2023-10-27 北京迈格威科技有限公司 目标检测方法、装置、计算机设备和存储介质
WO2022217551A1 (zh) * 2021-04-15 2022-10-20 华为技术有限公司 目标检测方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590489A (zh) * 2017-09-28 2018-01-16 国家新闻出版广电总局广播科学研究院 基于级联卷积神经网络的目标检测方法
WO2018054329A1 (zh) * 2016-09-23 2018-03-29 北京市商汤科技开发有限公司 物体检测方法和装置、电子设备、计算机程序和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018054329A1 (zh) * 2016-09-23 2018-03-29 北京市商汤科技开发有限公司 物体检测方法和装置、电子设备、计算机程序和存储介质
CN107590489A (zh) * 2017-09-28 2018-01-16 国家新闻出版广电总局广播科学研究院 基于级联卷积神经网络的目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于级联卷积神经网络的人脸检测算法;孙康等;《南京理工大学学报》;20180228(第01期);全文 *

Also Published As

Publication number Publication date
CN110348453A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110348453B (zh) 一种基于级联的物体检测方法及系统、存储介质及终端
CN109816012B (zh) 一种融合上下文信息的多尺度目标检测方法
CN110717527B (zh) 结合空洞空间金字塔结构的目标检测模型确定方法
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR20180105556A (ko) 슈퍼 해상도 딥 콘볼루션 뉴럴 네트워크 설계 시스템 및 방법
CN109492674B (zh) 用于目标检测的ssd框架的生成方法及装置
CN111028151B (zh) 基于图残差神经网络融合的点云数据拼接方法
CN110930503B (zh) 一种服装三维模型建立方法、系统、存储介质及电子设备
CN116884005B (zh) 一种结合卷积网络与图特征的快速语义分割方法与系统
CN111354059A (zh) 图像处理方法及装置
CN112419191A (zh) 基于卷积神经网络的图像运动模糊去除方法
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN113763535A (zh) 一种特征潜码提取方法、计算机设备及存储介质
CN112257504B (zh) 脸型识别方法、脸型识别模型训练方法及相关装置
CN111726592A (zh) 获取图像信号处理器的架构的方法和装置
CN112967200B (zh) 图像处理方法、装置、电子设备、介质和计算机程序产品
CN116341630A (zh) 神经网络处理
CN116468902A (zh) 图像的处理方法、装置和非易失性计算机可读存储介质
CN113627416B (zh) 图片分类和对象检测的同步处理方法、系统、存储介质及终端
WO2022017129A1 (zh) 目标对象检测方法、装置、电子设备及存储介质
CN112801045B (zh) 一种文本区域检测方法、电子设备及计算机存储介质
CN113723424B (zh) 一种目标检测方法及装置、设备、存储介质
CN117649568B (zh) 一种用于图像分类卷积神经网络的网络压缩方法及装置
CN116152274B (zh) 一种图像分割方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant