CN111242122A - 一种轻量级深度神经网络旋转目标检测方法和系统 - Google Patents

一种轻量级深度神经网络旋转目标检测方法和系统 Download PDF

Info

Publication number
CN111242122A
CN111242122A CN202010011940.6A CN202010011940A CN111242122A CN 111242122 A CN111242122 A CN 111242122A CN 202010011940 A CN202010011940 A CN 202010011940A CN 111242122 A CN111242122 A CN 111242122A
Authority
CN
China
Prior art keywords
rotating
layer
convolution
pyramid
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010011940.6A
Other languages
English (en)
Other versions
CN111242122B (zh
Inventor
许超
熊坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010011940.6A priority Critical patent/CN111242122B/zh
Publication of CN111242122A publication Critical patent/CN111242122A/zh
Application granted granted Critical
Publication of CN111242122B publication Critical patent/CN111242122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种轻量级深度神经网络旋转目标检测方法和系统，包括：将图像经过轻量级基础神经网络处理生成特征金字塔；在特征金字塔上每一层进行尺度不同的旋转目标检测，获得所有包裹目标物体的旋转边界框和物体类别；获得旋转边界框的头尾子旋转区域，对头尾子旋转区域进行分类得到目标物体的朝向，结合旋转边界框的旋转角得到目标物体的具体运动方向。该方法设计了一种轻量级基础网络，有效减小了计算量使得方法可以在算力有限的移动计算平台上实时运行，同时该方法使用头尾分离式的旋转兴趣区域池化操作有效地提高了目标物体运动方向检测准确率。

Description

一种轻量级深度神经网络旋转目标检测方法和系统
技术领域
本发明实施例涉及计算机视觉领域，尤其涉及一种轻量级深度神经网络旋转目标检测方法和系统。
背景技术
在一个算力有限的微型计算设备上对图像中的旋转物体进行实时的目标检测是一个比较困难的问题。旋转目标检测通常出现在航拍图像中的旋转物体检测或者是倾斜的文字检测当中，现有的深度神经网络旋转目标检测方法依赖比较厚重的基础神经网络提取图像特征，使得方法难以在微型计算设备上运行，对网络进行量化、剪枝或设计轻量化的网络结构是一大趋势。同时，常见的深度神经网络旋转目标检测方法并不能给出运动物体如车辆的朝向。
发明内容
本发明实施例的目的在于针对现有深度神经网络难以在算力有限的微型计算设备上实时运行，且对运动物体运动方向估计不准确，提出一种轻量级深度神经网络旋转目标检测方法和装置。
为了实现以上目的，本发明实施例所采用的技术方案如下：
第一方面，本发明实施例提供一种轻量级深度神经网络旋转目标检测方法，包括：
将图像经过轻量级基础神经网络处理生成特征金字塔；
在尺度不同的特征金字塔每一层上进行旋转目标检测，获得所有包裹目标物体的旋转边界框和物体类别；
获得旋转边界框的头尾子旋转区域，对头尾子旋转区域进行分类得到目标物体的朝向，结合旋转边界框的旋转角得到目标物体的具体运动方向。
进一步地，将图像经过轻量级基础神经网络处理生成特征金字塔，包括：
所述轻量级基础网络包含从下至上和从上至下的两个部分；
从下至上部分通过一系列卷积和池化操作生成五层尺度不同的卷积特征图；
从上至下部分不断融合相邻两层卷积特征图得到所述特征金字塔。
进一步地，从下至上部分通过一系列卷积和池化操作生成五层尺度不同的卷积特征图，包含：
输入图像经过一次普通的卷积操作得到所述卷积特征图第一层C1；
C1通过一次深度分离卷积操作得到所述卷积特征图第二层C2；
C2通过一次深度分离卷积操作得到所述卷积特征图第三层C3；
C3通过一次深度分离卷积操作得到所述卷积特征图第四层C4；
C4通过一次深度分离卷积操作得到所述卷积特征图第五层C5。
进一步地，从上至下部分不断融合相邻两层卷积特征图得到所述特征金字塔，包含：
C5经一次卷积操作得到第五过渡层
Figure BDA0002357479220000022
对
Figure BDA0002357479220000023
进行上采样操作生成第五上采样层
Figure BDA0002357479220000021
C4经一次卷积操作后与
Figure BDA0002357479220000024
等比例相加生成第四上采样层
Figure BDA0002357479220000025
将
Figure BDA0002357479220000028
上采样输出与C3经一次卷积操作后的输出等比例相加生成第三过渡层
Figure BDA0002357479220000026
Figure BDA0002357479220000027
分别经一次卷积操作对应获得所述金字塔第三层P3、所述金字塔第四层P4和所述金字塔第五层P5；
P5经一次卷积操作生成所述金字塔第六层P6；
P6经Relu和一次卷积操作生成所述金字塔第七层P7。
进一步地，在尺度不同的特征金字塔每一层上进行旋转目标检测，获得所有包裹目标物体的旋转边界框和物体类别包括：
在所述特征金字塔每层横向两个分支进行尺度不同的旋转目标检测；
两个分支第一分支是分类分支，利用特征金字塔对图像中所有的采样区域进行K次打分，获得K个物体类别；
两个分支第二分支是旋转边界框回归分支，利用特征金字塔以每个采样区域为基准进行K次预测，每次预测各获得一个该采样区域对应的旋转边界框；
保留分数大于阈值的采样区域，得到所述所有包裹目标物体的旋转边界框和物体类别。
进一步地，两个分支第一分支是分类分支，利用特征金字塔对图像中所有的采样区域进行K次打分，获得K个物体类别，包括：
在所述特征金字塔每层后进行两次卷积操作和一次通道数为K×C的卷积操作，再经过一个全连接层获得所述打分的结果，每个采样区域均对应生成K×C个分数，C为类别数量，K表示在每个采样区域进行K次预测，K次预测每次都保留C个分数中的最高的分数作为该次预测的打分结果，最高的分数对应的类别作为该次预测的类别；
进一步地，两个分支第二分支是旋转边界框回归分支，利用特征金字塔以每个采样区域为基准进行K次预测，每次预测各获得一个该采样区域对应的旋转边界框，包括：
在所述特征金字塔每层后进行两次卷积操作和一次通道数为K×5的卷积操作，再经过一个全连接层获得K×5个偏移量，K表示在每个采样区域进行所述K次预测，5表示每次预测均获得偏移量(x,y,w,h,θ)，(x,y)为所述旋转边界框中心点坐标偏移量，(w,h)为所述旋转边界框宽高偏移量，(θ)为所述旋转边界框角度偏移量，基于所述采样区域和偏移量可获得所述旋转边界框。
进一步地，获得旋转边界框的头尾子旋转区域，对头尾子旋转区域进行分类得到目标物体的朝向，结合旋转边界框的旋转角得到目标物体的具体运动方向，包含：
利用先验知识将每个所述旋转边界框分割成对应目标物体头尾的两个子候选框即所述头尾子旋转区域；
找到子候选框在特征金字塔P3、P4和P5对应区域做旋转兴趣区域池化获得两部分池化特征；
两部分池化特征经一次卷积操作后在深度方向合并，经过一个全连接层输出头尾分类分数，通过sigmoid操作将分类分数压缩至[0,1]的范围内，更接近0表示该部分池化特征对应的子候选区域属于目标物体的尾部，更接近1表示该池化特征对应的子候选区域属于目标物体的头部；
根据头尾分类结果获得所述目标物体的朝向；
结合所述旋转边界框旋转角得到物体具体运动方向。
第二方面，本发明实施例的第二目的是提供一种考虑物体朝向的轻量级深度神经网络旋转目标检测系统，包括：
生成模块，用于将图像经过轻量级基础神经网络处理生成特征金字塔；
检测模块，用于在特征金字塔上每一层进行尺度不同的旋转目标检测，获得所有包裹目标物体的旋转边界框和物体类别；
分类获取模块，用于获得旋转边界框的头尾子旋转区域，对头尾子旋转区域进行分类得到目标物体的朝向，结合旋转边界框的旋转角得到目标物体的具体运动方向。
第三方面，本发明实施例提供一种设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。
本发明实施例的有益效果如下：本发明设计了一种轻量级基础网络，从而大大减少了计算量提高了方法在微型计算设备上的实时运行速度，在多尺度特征金字塔上进行旋转目标检测能够有效的提高对不同大小的目标物体的旋转目标检测准确率，使用头尾子旋转区域来获得物体朝向有效地提高了目标物体运动方向检测准确率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供一种轻量级深度神经网络旋转目标检测方法的流程图；
图2为本发明实施例提供的一种轻量级深度神经网络旋转目标检测方法的整体网络框架；
图3为本发明实施例提供的轻量级基础网络示意图；
图4为本发明实施例提供的旋转检测模块示意图；
图5为本发明实施例提供的旋转边界框定义示意图；
图6为本发明实施例提供的朝向分类模块示意图；
图7为本发明实施例提供的物体所有可能的朝向示意图。
图8为本发明实施例提供一种考虑物体朝向的轻量级深度神经网络旋转目标检测系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例具体实施例及相应的附图对本发明实施例技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。
图1为本发明实施例提供一种轻量级深度神经网络旋转目标检测方法的流程图，包括：
S100、将图像经过轻量级基础神经网络处理生成特征金字塔；
S200、在尺度不同的特征金字塔每一层上进行旋转目标检测，获得所有包裹目标物体的旋转边界框和物体类别；
S300、获得旋转边界框的头尾子旋转区域，对头尾子旋转区域进行分类得到目标物体的朝向，结合旋转边界框的旋转角得到目标物体的具体运动方向。
本发明设计了一种轻量级基础网络，轻量化在于引入了深度分离卷积操作，相对于常规卷积操作而言计算量大大减少，从而提高了方法在微型计算设备上的实时运行速度，在多尺度特征金字塔上进行旋转目标检测能够有效的提高对不同大小的目标物体的旋转目标检测准确率，使用头尾子旋转区域来获得物体朝向有效地提高了目标物体运动方向检测准确率，本发明的整体网络框架详见图2。
在本发明的实施例中，所述步骤S100将图像经过轻量级基础神经网络处理生成特征金字塔，如图3所示，包括：
S101、所述轻量级基础网络包含从下至上和从上至下的两个部分；
S102、从下至上部分通过一系列卷积和池化操作生成五层尺度不同的卷积特征图；
具体的，输入图像经过一次普通的卷积操作得到所述卷积特征图第一层C1；C1通过一次深度分离卷积操作得到所述卷积特征图第二层C2；C2通过一次深度分离卷积操作得到所述卷积特征图第三层C3；C3通过一次深度分离卷积操作得到所述卷积特征图第四层C4；C4通过一次深度分离卷积操作得到所述卷积特征图第五层C5。
在一种可能的实现方式中，从下至上生成五层卷积特征图C1、C2、C3、C4和C5。输入图像经过一次卷积核大小为3×3、步长为2、通道数为32的卷积操作得到第一层卷积特征图C1；C1通过一次膨胀率为6、步长2的深度分离卷积操作生成通道数为24的第二层卷积特征图C2；C2通过一次膨胀率为6、步长2的深度分离卷积操作生成通道数为32的第三层卷积特征图C3；C3通过一次膨胀率为6、步长2的深度分离卷积操作生成通道数为64的第四层卷积特征图C4；C4通过一次膨胀率为6、步长2的深度分离卷积操作生成通道数为160的第五层卷积特征图C5。
S103、从上至下部分不断融合相邻两层卷积特征图得到所述特征金字塔。
具体的，C5经一次卷积操作得到第五过渡层
Figure BDA0002357479220000051
对
Figure BDA0002357479220000052
进行上采样操作生成第五上采样层
Figure BDA0002357479220000063
C4经一次卷积操作后与
Figure BDA0002357479220000064
等比例相加生成第四上采样层
Figure BDA0002357479220000065
将
Figure BDA0002357479220000066
上采样输出与C3经一次卷积操作后的输出等比例相加生成第三过渡层
Figure BDA0002357479220000067
Figure BDA0002357479220000068
分别经一次卷积操作对应获得所述金字塔第三层P3、所述金字塔第四层P4和所述金字塔第五层P5；P5经一次卷积操作生成所述金字塔第六层P6；P6经Relu和一次卷积操作生成所述金字塔第七层P7。
在一种可能的实现方式中，从上至下生成特征金字塔P3、P4、P5、P6和P7。首先由C5经一次卷积核大小为1×1、步长为1、通道数为256的卷积操作得到金字塔第五中间层
Figure BDA0002357479220000069
其次生成金字塔第四中间层
Figure BDA00023574792200000610
通过对
Figure BDA00023574792200000611
进行上采样操作生成金字塔第五层上采样层
Figure BDA00023574792200000612
C4经一次卷积核大小为1×1、步长为1、通道数为256的卷积操作后与
Figure BDA00023574792200000613
等比例相加生成
Figure BDA00023574792200000614
再生成金字塔第四中间层
Figure BDA00023574792200000615
将
Figure BDA00023574792200000616
上采样输出与C3经一次卷积核大小为1×1、步长为1、通道数为256的卷积操作后输出等比例相加生成
Figure BDA00023574792200000617
接着生成特征金字塔下三层P3、P4和P5，他们由对应的
Figure BDA00023574792200000618
经一次卷积核大小为3×3、步长为1、通道数为256的卷积操作生成；最后P6由P5经一次卷积核大小为3×3、步长为2、通道数为256的卷积操作生成，P6后接Relu再经一次卷积核大小为3×3、步长为2、通道数为256的卷积操作生成P7。
在本发明的实施例中，所述步骤S200在尺度不同的特征金字塔每一层上进行旋转目标检测，获得所有包裹目标物体的旋转边界框和物体类别，如图4所示，包括：
S201、在所述特征金字塔每层横向两个分支进行尺度不同的旋转目标检测；
具体的，在特征金字塔每一层的每一个单位都设定15个先验框，其中伸缩尺度3种
Figure BDA0002357479220000061
长宽比5种
Figure BDA0002357479220000062
先验框铺设的数量由以下方式计算得到：输入图像大小为640×480，则特征金字塔大小分别为P380×60、P440×30、P520×15、P610×8、P75×4则单位总体数量为80×60+40×30+20×15+10×8+5×4＝6400个。每个单位铺设15个先验框，则总体数量为6400×15＝96000个。
S202、两个分支第一分支是分类分支，利用特征金字塔对图像中所有的采样区域进行K次打分，获得K个物体类别；
具体的，在所述特征金字塔每层后进行两次卷积操作和一次通道数为K×C的卷积操作，再经过一个全连接层获得所述打分的结果，每个采样区域均对应生成K×C个分数，C为类别数量，K表示在每个采样区域进行K次预测，K次预测每次都保留C个分数中的最高的分数作为该次预测的打分结果，最高的分数对应的类别作为该次预测的类别；
在一种可能的实现方式中，分类分支对所有采样区域进行打分，分数代表该区域存在目标的概率，概率越高越可能包含目标。分类子网络具体结构如图4所示，输入特征经两次卷积核大小为3×3、步长为1、通道数为256的卷积操作后，再接一次卷积核大小为3×3、步长为1、通道数为K×C(每单位先验框×目标物体类别数量)的卷积操作得到最后的分类分数，后做sigmoid得到分类概率。
S203、两个分支第二分支是旋转边界框回归分支，利用特征金字塔以每个采样区域为基准进行K次预测，每次预测各获得一个该采样区域对应的旋转边界框；
具体的，在所述特征金字塔每层后进行两次卷积操作和一次通道数为K×5的卷积操作，再经过一个全连接层获得K×5个偏移量，K表示在每个采样区域进行所述K次预测，5表示每次预测均获得偏移量(x,y,w,h,θ)，(x,y)为所述旋转边界框中心点坐标偏移量，(w,h)为所述旋转边界框宽高偏移量，(θ)为所述旋转边界框角度偏移量，基于所述采样区域和偏移量可获得所述旋转边界框，旋转边界框定义如图5所示。
在一种可能的实现方式中，旋框回归分支生成旋转框，旋框回归分支具体结构如图4所示，输入特征经两次卷积核大小为3×3、步长为1、通道数为256的卷积操作后，再接一次卷积核大小为3×3、步长为1、通道数为K×5的卷积操作得到最终的旋框预测量，其中5个量分别代表旋框中心点坐标xy,旋框长宽wh，以及角度θ。
S204、保留分数大于阈值的采样区域，得到所述所有包裹目标物体的旋转边界框和物体类别。
在本发明的实施例中，所述步骤S300获得旋转边界框的头尾子旋转区域，对头尾子旋转区域进行分类得到目标物体的朝向，结合旋转边界框的旋转角得到目标物体的具体运动方向，如图6所示，包含：
S301、利用先验知识将每个所述旋转边界框分割成对应目标物体头尾的两个子候选框即所述头尾子旋转区域；
S302、找到子候选框在特征金字塔P3、P4和P5对应区域做旋转兴趣区域池化获得两部分池化特征；
S303、两部分池化特征经一次卷积操作后在深度方向合并，经过一个全连接层输出头尾分类分数，通过sigmoid操作将分类分数压缩至[0,1]的范围内，更接近0表示该部分池化特征对应的子候选区域属于目标物体的尾部，更接近1表示该池化特征对应的子候选区域属于目标物体的头部；
在一种可能的实现方式中，头尾池化特征一次卷积核大小为3×3、步长为1、通道数为256的卷积操作，后接一个输入通道数为1的全连接层输出一对分数，在通过sigmoid操作将这对分类结果压缩至[0,1]的范围内。更接近0表示该池化特征对应的子候选区域属于目标物体的尾部，更接近1表示该池化特征对应的子候选区域属于目标物体的头部。
S304、根据头尾分类结果获得所述目标物体的朝向；图7展示了目标物体所有朝向的可能性。
S305、结合所述旋转边界框旋转角得到物体具体运动方向。
图8为本发明实施例提供的一种考虑物体朝向的轻量级深度神经网络旋转目标检测系统的结构示意图，该系统可以执行任意本发明任意实施例所提供的一种轻量级深度神经网络旋转目标检测方法，具备执行该方法相应的功能模块和有益效果。如图8所示，该系统包括：
生成模块100，用于将图像经过轻量级基础神经网络处理生成特征金字塔；
检测模块200，用于在特征金字塔上每一层进行尺度不同的旋转目标检测，获得所有包裹目标物体的旋转边界框和物体类别；
分类获取模块300，用于获得旋转边界框的头尾子旋转区域，对头尾子旋转区域进行分类得到目标物体的朝向，结合旋转边界框的旋转角得到目标物体的具体运动方向。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的设备实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种轻量级深度神经网络旋转目标检测方法和系统，其特征在于，包括：
将图像经过轻量级基础神经网络处理生成特征金字塔；
在尺度不同的特征金字塔每一层上进行旋转目标检测，获得所有包裹目标物体的旋转边界框和物体类别；
获得旋转边界框的头尾子旋转区域，对头尾子旋转区域进行分类得到目标物体的朝向，结合旋转边界框的旋转角得到目标物体的具体运动方向。
2.根据权利要求1所述的方法，其特征在于，将图像经过轻量级基础神经网络处理生成特征金字塔，包括：
所述轻量级基础网络包含从下至上和从上至下的两个部分；
从下至上部分通过一系列卷积和池化操作生成五层尺度不同的卷积特征图；
从上至下部分不断融合相邻两层卷积特征图得到所述特征金字塔。
3.根据权利要求2所述的方法，其特征在于，从下至上部分通过一系列卷积和池化操作生成五层尺度不同的卷积特征图，包含：
输入图像经过一次普通的卷积操作得到所述卷积特征图第一层C1；
C1通过一次深度分离卷积操作得到所述卷积特征图第二层C2；
C2通过一次深度分离卷积操作得到所述卷积特征图第三层C3；
C3通过一次深度分离卷积操作得到所述卷积特征图第四层C4；
C4通过一次深度分离卷积操作得到所述卷积特征图第五层C5。
4.根据权利要求2所述的方法，其特征在于，从上至下部分不断融合相邻两层卷积特征图得到所述特征金字塔，包含：
C5经一次卷积操作得到第五过渡层
Figure FDA0002357479210000016
对P5 middle进行上采样操作生成第五上采样层
Figure FDA0002357479210000011
C4经一次卷积操作后与
Figure FDA0002357479210000012
等比例相加生成第四上采样层
Figure FDA0002357479210000013
将
Figure FDA0002357479210000014
上采样输出与C3经一次卷积操作后的输出等比例相加生成第三过渡层P3 middle；
P3 middle、
Figure FDA0002357479210000015
P5 middle分别经一次卷积操作对应获得所述金字塔第三层P3、所述金字塔第四层P4和所述金字塔第五层P5；
P5经一次卷积操作生成所述金字塔第六层P6；
P6经Relu和一次卷积操作生成所述金字塔第七层P7。
5.根据权利要求1所述的方法，其特征在于，在尺度不同的特征金字塔每一层上进行旋转目标检测，获得所有包裹目标物体的旋转边界框和物体类别包括：
在所述特征金字塔每层横向两个分支进行尺度不同的旋转目标检测；
两个分支第一分支是分类分支，利用特征金字塔对图像中所有的采样区域进行K次打分，获得K个物体类别；
两个分支第二分支是旋转边界框回归分支，利用特征金字塔以每个采样区域为基准进行K次预测，每次预测各获得一个该采样区域对应的旋转边界框；
保留分数大于阈值的采样区域，得到所述所有包裹目标物体的旋转边界框和物体类别。
6.根据权利要求5所述的方法，其特征在于，两个分支第一分支是分类分支，利用特征金字塔对图像中所有的采样区域进行K次打分，获得K个物体类别，包括：
在所述特征金字塔每层后进行两次卷积操作和一次通道数为K×C的卷积操作，再经过一个全连接层获得所述打分的结果，每个采样区域均对应生成K×C个分数，C为类别数量，K表示在每个采样区域进行K次预测，K次预测每次都保留C个分数中的最高的分数作为该次预测的打分结果，最高的分数对应的类别作为该次预测的类别。
7.根据权利要求5所述的方法，其特征在于，两个分支第二分支是旋转边界框回归分支，利用特征金字塔以每个采样区域为基准进行K次预测，每次预测各获得一个该采样区域对应的旋转边界框，包括：
在所述特征金字塔每层后进行两次卷积操作和一次通道数为K×5的卷积操作，再经过一个全连接层获得K×5个偏移量，K表示在每个采样区域进行所述K次预测，5表示每次预测均获得偏移量(x,y,w,h,θ)，(x,y)为所述旋转边界框中心点坐标偏移量，(w,h)为所述旋转边界框宽高偏移量，(θ)为所述旋转边界框角度偏移量，基于所述采样区域和偏移量可获得所述旋转边界框。
8.根据权利要求1所述的方法，其特征在于，获得旋转边界框的头尾子旋转区域，对头尾子旋转区域进行分类得到目标物体的朝向，结合旋转边界框的旋转角得到目标物体的具体运动方向，包含：
利用先验知识将每个所述旋转边界框分割成对应目标物体头尾的两个子候选框即所述头尾子旋转区域；
找到子候选框在特征金字塔P3、P4和P5对应区域做旋转兴趣区域池化获得两部分池化特征；
两部分池化特征经一次卷积操作后在深度方向合并，经过一个全连接层输出头尾分类分数，通过sigmoid操作将分类分数压缩至[0,1]的范围内，更接近0表示该部分池化特征对应的子候选区域属于目标物体的尾部，更接近1表示该池化特征对应的子候选区域属于目标物体的头部；
根据头尾分类结果获得所述目标物体的朝向；
结合所述旋转边界框旋转角得到物体具体运动方向。
9.根据权利要求1所述的一种轻量级深度神经网络旋转目标检测方法和系统，其特征在于，包括：
生成模块，用于将图像经过轻量级基础神经网络处理生成特征金字塔；
检测模块，用于在特征金字塔上每一层进行尺度不同的旋转目标检测，获得所有包裹目标物体的旋转边界框和物体类别；
分类获取模块，用于获得旋转边界框的头尾子旋转区域，对头尾子旋转区域进行分类得到目标物体的朝向，结合旋转边界框的旋转角得到目标物体的具体运动方向。
10.一种设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8任一项所述的方法。
CN202010011940.6A 2020-01-07 2020-01-07 一种轻量级深度神经网络旋转目标检测方法和系统 Active CN111242122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010011940.6A CN111242122B (zh) 2020-01-07 2020-01-07 一种轻量级深度神经网络旋转目标检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010011940.6A CN111242122B (zh) 2020-01-07 2020-01-07 一种轻量级深度神经网络旋转目标检测方法和系统

Publications (2)

Publication Number Publication Date
CN111242122A true CN111242122A (zh) 2020-06-05
CN111242122B CN111242122B (zh) 2023-09-08

Family

ID=70879894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010011940.6A Active CN111242122B (zh) 2020-01-07 2020-01-07 一种轻量级深度神经网络旋转目标检测方法和系统

Country Status (1)

Country Link
CN (1) CN111242122B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860171A (zh) * 2020-06-19 2020-10-30 中国科学院空天信息创新研究院 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN111931877A (zh) * 2020-10-12 2020-11-13 腾讯科技（深圳）有限公司 目标检测方法、装置、设备及存储介质
CN112381062A (zh) * 2020-12-04 2021-02-19 哈尔滨工业大学 一种基于卷积神经网络的目标检测方法及装置
CN112446327A (zh) * 2020-11-27 2021-03-05 中国地质大学（武汉） 一种基于无锚框的遥感图像目标检测方法
CN113076969A (zh) * 2021-02-24 2021-07-06 上海辛玮智能科技有限公司 基于混合高斯损失函数的图像目标检测方法
CN113409264A (zh) * 2021-06-16 2021-09-17 哈尔滨工业大学（深圳） 一种自动检测六龄牙龋齿的检测装置
CN114120045A (zh) * 2022-01-25 2022-03-01 北京猫猫狗狗科技有限公司 一种基于多门控混合专家模型的目标检测方法和装置
CN114494203A (zh) * 2022-01-27 2022-05-13 重庆邮电大学 一种基于旋转框定位改进的Faster-RCNN极性元器件检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124415A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Subcategory-aware convolutional neural networks for object detection
CN108830280A (zh) * 2018-05-14 2018-11-16 华南理工大学 一种基于区域提名的小目标检测方法
CN108960230A (zh) * 2018-05-31 2018-12-07 中国科学院自动化研究所 基于旋转矩形框的轻量化目标识别方法及装置
CN109034210A (zh) * 2018-07-04 2018-12-18 国家新闻出版广电总局广播科学研究院 基于超特征融合与多尺度金字塔网络的目标检测方法
CN109472298A (zh) * 2018-10-19 2019-03-15 天津大学 用于小尺度目标检测的深度双向特征金字塔增强网络
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN109858530A (zh) * 2019-01-14 2019-06-07 苏州长风航空电子有限公司 一种基于复合金字塔的旋转目标检测方法
CN110222787A (zh) * 2019-06-14 2019-09-10 合肥工业大学 多尺度目标检测方法、装置、计算机设备及存储介质
CN110287849A (zh) * 2019-06-20 2019-09-27 北京工业大学 一种适用于树莓派的轻量化深度网络图像目标检测方法
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
AU2019101133A4 (en) * 2019-09-30 2019-10-31 Bo, Yaxin MISS Fast vehicle detection using augmented dataset based on RetinaNet

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124415A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Subcategory-aware convolutional neural networks for object detection
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN108830280A (zh) * 2018-05-14 2018-11-16 华南理工大学 一种基于区域提名的小目标检测方法
CN108960230A (zh) * 2018-05-31 2018-12-07 中国科学院自动化研究所 基于旋转矩形框的轻量化目标识别方法及装置
CN109034210A (zh) * 2018-07-04 2018-12-18 国家新闻出版广电总局广播科学研究院 基于超特征融合与多尺度金字塔网络的目标检测方法
CN109472298A (zh) * 2018-10-19 2019-03-15 天津大学 用于小尺度目标检测的深度双向特征金字塔增强网络
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN109858530A (zh) * 2019-01-14 2019-06-07 苏州长风航空电子有限公司 一种基于复合金字塔的旋转目标检测方法
CN110222787A (zh) * 2019-06-14 2019-09-10 合肥工业大学 多尺度目标检测方法、装置、计算机设备及存储介质
CN110287849A (zh) * 2019-06-20 2019-09-27 北京工业大学 一种适用于树莓派的轻量化深度网络图像目标检测方法
AU2019101133A4 (en) * 2019-09-30 2019-10-31 Bo, Yaxin MISS Fast vehicle detection using augmented dataset based on RetinaNet

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BU_BOOSTING: "特征金字塔特征用于目标检测：Feature Pyramid Networks for Object Detection", Retrieved from the Internet <URL:https://blog.csdn.net/baidu_32173921> *
JIAN DING ET AL.: "Learning RoI Transformer for Detecting Oriented Objects in Aerial Images", pages 1 - 19 *
周慧等: "基于特征金字塔模型的高分辨率遥感图像船舶目标检测", 大连海事大学学报, vol. 45, no. 4, pages 132 - 138 *
蔡声泽等: "基于深度神经网络的粒子图像测速算法", 空气动力学学报, vol. 37, no. 3, pages 455 - 461 *
高群等: "基于鱼眼图像的目标检测算法研究", no. 3, pages 43 - 47 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860171A (zh) * 2020-06-19 2020-10-30 中国科学院空天信息创新研究院 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN111860171B (zh) * 2020-06-19 2021-03-23 中国科学院空天信息创新研究院 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN111931877A (zh) * 2020-10-12 2020-11-13 腾讯科技（深圳）有限公司 目标检测方法、装置、设备及存储介质
CN112446327A (zh) * 2020-11-27 2021-03-05 中国地质大学（武汉） 一种基于无锚框的遥感图像目标检测方法
CN112446327B (zh) * 2020-11-27 2022-06-07 中国地质大学（武汉） 一种基于无锚框的遥感图像目标检测方法
CN112381062A (zh) * 2020-12-04 2021-02-19 哈尔滨工业大学 一种基于卷积神经网络的目标检测方法及装置
CN113076969A (zh) * 2021-02-24 2021-07-06 上海辛玮智能科技有限公司 基于混合高斯损失函数的图像目标检测方法
CN113409264A (zh) * 2021-06-16 2021-09-17 哈尔滨工业大学（深圳） 一种自动检测六龄牙龋齿的检测装置
CN113409264B (zh) * 2021-06-16 2023-08-25 哈尔滨工业大学（深圳） 一种自动检测六龄牙龋齿的检测装置
CN114120045A (zh) * 2022-01-25 2022-03-01 北京猫猫狗狗科技有限公司 一种基于多门控混合专家模型的目标检测方法和装置
CN114120045B (zh) * 2022-01-25 2022-05-31 北京猫猫狗狗科技有限公司 一种基于多门控混合专家模型的目标检测方法和装置
CN114494203A (zh) * 2022-01-27 2022-05-13 重庆邮电大学 一种基于旋转框定位改进的Faster-RCNN极性元器件检测方法

Also Published As

Publication number Publication date
CN111242122B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN111242122A (zh) 一种轻量级深度神经网络旋转目标检测方法和系统
EP3916628A1 (en) Object identification method and device
CN108121986B (zh) 目标检测方法及装置、计算机装置和计算机可读存储介质
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
WO2020048396A1 (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN111079739B (zh) 一种多尺度注意力特征检测方法
DE102020122943A1 (de) Hardware-basierte beschleunigung eines optischen flusses
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN111612008A (zh) 基于卷积网络的图像分割方法
CN109948457B (zh) 基于卷积神经网络和cuda加速的实时目标识别方法
WO2023193400A1 (zh) 点云检测和分割方法、装置，以及，电子设备
DE102022100360A1 (de) Framework für maschinelles lernen angewandt bei einer halbüberwachten einstellung, um instanzenverfolgung in einer sequenz von bildframes durchzuführen
CN114764856A (zh) 图像语义分割方法和图像语义分割装置
CN112734827A (zh) 一种目标检测方法、装置、电子设备和存储介质
EP4296896A1 (en) Perceptual network and data processing method
CN115018999A (zh) 一种多机器人协作的稠密点云地图构建方法及装置
US20220036106A1 (en) Method and apparatus for data calculation in neural network model, and image processing method and apparatus
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
CN113435324A (zh) 一种车辆目标检测方法、装置及计算机可读存储介质
CN111738069A (zh) 人脸检测方法、装置、电子设备及存储介质
CN115731542A (zh) 一种多模态弱监督三维目标检测方法、系统及设备
CN113840169B (zh) 一种视频处理方法、装置、计算设备和存储介质
WO2022017129A1 (zh) 目标对象检测方法、装置、电子设备及存储介质
CN112417958B (zh) 一种遥感影像旋转目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant