CN112950703B - 小目标的检测方法、装置、存储介质及设备 - Google Patents

小目标的检测方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN112950703B
CN112950703B CN202110267063.3A CN202110267063A CN112950703B CN 112950703 B CN112950703 B CN 112950703B CN 202110267063 A CN202110267063 A CN 202110267063A CN 112950703 B CN112950703 B CN 112950703B
Authority
CN
China
Prior art keywords
prediction
result
convolution
layers
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110267063.3A
Other languages
English (en)
Other versions
CN112950703A (zh
Inventor
王堃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Yuspace Intelligent Technology Co ltd
Original Assignee
Wuxi Yuspace Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Yuspace Intelligent Technology Co ltd filed Critical Wuxi Yuspace Intelligent Technology Co ltd
Priority to CN202110267063.3A priority Critical patent/CN112950703B/zh
Publication of CN112950703A publication Critical patent/CN112950703A/zh
Application granted granted Critical
Publication of CN112950703B publication Critical patent/CN112950703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种小目标的检测方法、装置、存储介质及设备，属于图像处理技术领域。所述方法用于神经网络模型中，其中的改进特征金字塔网络中包括n个卷积层、n个预测层和一个临时层，n≥3，包括：获取待检测的图像；n个卷积层对图像进行卷积运算，依次得到n个卷积结果；n个预测层中的前n‑1个预测层对对应的卷积结果进行预定运算，依次得到n‑1个预测结果；临时层根据n‑1个预测结果中的后m个预测结果进行预定运算，得到临时结果，m≥2；n个预测层中的第n个预测层对对应的卷积结果和临时结果进行预定运算，得到第n个预测结果；检测网络根据n个预测结果检测小目标对象。本申请可以提高小目标对象的检测效果。

Description

小目标的检测方法、装置、存储介质及设备
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种小目标的检测方法、装置、存储介质及设备。
背景技术
目标检测是指在给定的一张图像中精确找到目标对象所在的位置，并标注出目标对象的类别。在实际图像中，由于目标对象的尺寸变化范围很大，且目标对象的摆放角度、姿态、在图像中的位置都不一样，目标对象之间可能还有重叠现象，这使得目标检测的难度变得很大。图像中的小目标对象由于所占像素较少，导致神经网络模型无法准确学习到小目标对象的特征，使得小目标对象的检测效果比中目标对象或大目标对象的效果差很多，因此，针对小目标对象的检测是目标检测的瓶颈之一。
相关技术中，可以采用特征融合的方式来进行小目标的检测。以采用特征金字塔网络进行特征融合为例，如图1所示，特征金字塔网络中包括五个卷积层、五个预测,和检测网络，以从下往上的顺序依次将五个卷积层表示为L1-L5，以从上往下的顺序依次将五个预测层表示为P5-P1，将图像输入第一个卷积层L1后，第一个卷积层L1对图像进行卷积运算后得到第一卷积结果，将第一卷积结果分别输出给第二个卷积层L2和第五个预测层P1，第二个卷积层L2对第一卷积结果进行卷积运算后得到第二卷积结果，将第二卷积结果分别输出给第三个卷积层L3和第四个预测层P2，依此类推，第五个卷积层L5将得到的第五卷积结果输出给第一个预测层P5，第一个预测层P5对第五卷积结果进行卷积运算后得到第一预测结果，将第一预测结果分别输出给检测网络和第二个预测层P4，第二个预测层P4对第一预测结果进行上采样后与第四卷积结果相加，得到第二预测结果，将第二预测结果分别输出给检测网络和第三个预测层P3，依此类推，第五个预测层P1将得到的第五预测结果输出给检测网络，检测网络根据接收到的5个预测结果检测小目标对象。
由于上述特征金字塔网络对图像进行了多次卷积运算，使得小目标对象的特征逐渐消失，导致小目标对象的检测效果较差。
发明内容
本申请实施例提供了一种小目标的检测方法、装置、存储介质及设备，用于解决特征金字塔网络对图像进行了多次卷积运算，使得小目标对象的特征逐渐消失，导致小目标对象的检测效果较差的问题。所述技术方案如下：
一方面，提供了一种小目标的检测方法，用于神经网络模型中，所述神经网络模型中包括改进特征金字塔网络和检测网络，所述改进特征金字塔网络中包括n个卷积层、n个预测层和一个临时层，n≥3，所述方法包括：
获取待检测的图像，所述图像中包含至少一个小目标对象，所述小目标对象是像素面积小于预定面积的目标对象；
所述n个卷积层对所述图像进行卷积运算，依次得到n个卷积结果；
所述n个预测层中的前n-1个预测层对对应的卷积结果进行预定运算，依次得到n-1个预测结果；
所述临时层根据所述n-1个预测结果中的后m个预测结果进行预定运算，得到临时结果，m≥2；
所述n个预测层中的第n个预测层对对应的卷积结果和所述临时结果进行预定运算，得到第n个预测结果；
所述检测网络根据n个预测结果检测所述小目标对象。
在一种可能的实现方式中，当m为2时，所述临时层根据所述n-1个预测结果中的后m个预测结果进行预定运算，得到临时结果，包括：
所述临时层对第n-1个预测结果进行上采样，得到第n-1个采样结果；
所述临时层将所述第n-1个采样结果与第n-2个预测结果相加，得到所述临时结果。
在一种可能的实现方式中，所述n个预测层中的第n个预测层对对应的卷积结果和所述临时结果进行预定运算，得到第n个预测结果，包括：
所述n个预测层中的第n个预测层对所述临时结果进行上采样，得到第n个采样结果；
所述第n个预测层将所述第n个采样结果与第一个卷积结果相加，得到所述第n个预测结果。
在一种可能的实现方式中，所述n个卷积层对所述图像进行卷积运算，依次得到n个卷积结果，包括：
所述n个卷积层中的第一个卷积层对所述图像进行卷积运算，得到第一个卷积结果；
所述n个卷积层中的第i个卷积层对第i-1个卷积结果进行卷积运算，得到第i个卷积结果，2≤i≤n。
在一种可能的实现方式中，所述n个预测层中的前n-1个预测层对对应的卷积结果进行预定运算，依次得到n-1个预测结果，包括：
所述n个预测层中的第一个预测层对第n个卷积结果进行卷积运算，得到第一个预测结果；
所述n个预测层中的第j个预测层对第j-1个预测结果进行上采样，得到第j-1个采样结果，将所述第j-1个采样结果与第n-j+1个卷积结果相加，得到第j个预测结果，2≤j≤n-1。
一方面，提供了一种小目标的检测装置，用于神经网络模型中，所述神经网络模型中包括改进特征金字塔网络和检测网络，所述改进特征金字塔网络中包括n个卷积层、n个预测层和一个临时层，n≥3，所述装置包括：
获取模块，用于获取待检测的图像，所述图像中包含至少一个小目标对象，所述小目标对象是像素面积小于预定面积的目标对象；
卷积模块，用于通过所述n个卷积层对所述图像进行卷积运算，依次得到n个卷积结果；
运算模块，用于通过所述n个预测层中的前n-1个预测层对对应的卷积结果进行预定运算，依次得到n-1个预测结果；
所述运算模块，还用于通过所述临时层根据所述n-1个预测结果中的后m个预测结果进行预定运算，得到临时结果，m≥2；
所述运算模块，还用于所述n个预测层中的第n个预测层对对应的卷积结果和所述临时结果进行预定运算，得到第n个预测结果；
检测模块，用于通过所述检测网络根据n个预测结果检测所述小目标对象。
在一种可能的实现方式中，当m为2时，所述运算模块，还用于：
通过所述临时层对第n-1个预测结果进行上采样，得到第n-1个采样结果；
通过所述临时层将所述第n-1个采样结果与第n-2个预测结果相加，得到所述临时结果。
在一种可能的实现方式中，所述运算模块，还用于：
通过所述n个预测层中的第n个预测层对所述临时结果进行上采样，得到第n个采样结果；
通过所述第n个预测层将所述第n个采样结果与第一个卷积结果相加，得到所述第n个预测结果。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的小目标的检测方法。
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的小目标的检测方法。
本申请实施例提供的技术方案的有益效果至少包括：
由于改进特征金字塔网络中包括n个卷积层、n个预测层和一个临时层，n个卷积层可以依次得到n个卷积结果，前n-1个预测层可以依次得到n-1个预测结果，且临时层可以根据后m个预测结果计算得到临时结果，第n个预测层可以根据对应的卷积结果和临时结果计算得到第n个预测结果，这n个预测结果可以供检测网络检测小目标对象。由于临时结果是根据后m个预测结果计算得到的，且后m个预测结果是根据对应的卷积结果计算得到的，且这些卷积结果的卷积程度并不深，所以，这些卷积结果中小目标对象的特征丢失的并不多，从而可以通过临时结果来保留小目标对象的特征，提高了小目标对象的检测效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据相关技术示出的特征金字塔网络的结构示意图；
图2是本申请一个实施例提供的小目标的检测方法的方法流程图；
图3是本申请一个实施例提供的改进特征金字塔网络的结构示意图；
图4是本申请一个实施例提供的小目标的检测装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图2，其示出了本申请一个实施例提供的小目标的检测方法的方法流程图，该小目标的检测方法可以应用于电子设备中，该电子设备中设置有神经网络模型，该神经网络模型中包括改进特征金字塔网络和检测网络，该改进特征金字塔网络中包括n个卷积层、n个预测层和一个临时层，n≥3。该小目标的检测方法，可以包括：
步骤201，获取待检测的图像，该图像中包含至少一个小目标对象，小目标对象是像素面积小于预定面积的目标对象。
其中，图像可以是电子设备拍摄得到的，也可以是从其他设备中获取到的，本实施例不限定图像的来源。
本实施例中的图像中包含至少一个小目标对象。其中，小目标对象是像素面积小于预定面积的目标对象，该预定面积是预先设置的面积，本实施例不对预定面积的大小作限定。在一个可选的实例中，预定面积可以是32*32的像素面积。
电子设备在获取到图像后，可以将该图像输入神经网络模型中。
步骤202，n个卷积层对图像进行卷积运算，依次得到n个卷积结果。
神经网络模型中包括改进特征金字塔网络和检测网络，且先由改进特征金字塔网络对图像进行处理，再将处理结果输出给检测网络，由该检测网络根据该处理结果检测小目标对象。
其中，改进特征金字塔网络中包括n个卷积层、n个预测层和一个临时层，n个卷积层顺序相连，每个卷积层与一个对应的预测层相连，前n-1个预测层、临时层和第n个预测层顺序相连，且每个预测层与检测网络相连。
以n=5为例，请参考图3所示的神经网络模型，以从下往上的顺序依次将五个卷积层表示为L1-L5，以从上往下的顺序依次将五个预测层表示为P5-P1，临时层表示为P_temp，则卷积层、预测层、临时层和检测网络的连接关系如图中所示。
基于上述所说的改进特征金字塔网络的结构，n个卷积层对图像进行卷积运算，依次得到n个卷积结果，可以包括：n个卷积层中的第一个卷积层对图像进行卷积运算，得到第一个卷积结果；n个卷积层中的第i个卷积层对第i-1个卷积结果进行卷积运算，得到第i个卷积结果，2≤i≤n。
以图3中所示的改进特征金字塔网络为例，则第一个卷积层L1对图像进行卷积运算，得到第一个卷积结果，并将第一个卷积结果输出给第二个卷积层L2；第二个卷积层L2对第一个卷积结果进行卷积运算，得到第二个卷积结果，并将第二个卷积结果输出给第三个卷积层L3；第三个卷积层L3对第二个卷积结果进行卷积运算，得到第三个卷积结果，并将第三个卷积结果输出给第四个卷积层L4；第四个卷积层L4对第三个卷积结果进行卷积运算，得到第四个卷积结果，并将第四个卷积结果输出给第五个卷积层L5；第五个卷积层L5对第四个卷积结果进行卷积运算，得到第五个卷积结果。
需要说明的是，每个卷积层中都设置有一个卷积核，且每个卷积层可以根据自身的卷积核对图像或卷积结果进行卷积运算。
在一个实例中，L1的长宽为图像长宽的一半，L2的长宽为L1的长宽的一半，依次类推，L5的长宽为L4的长宽的一半。
步骤203，n个预测层中的前n-1个预测层对对应的卷积结果进行预定运算，依次得到n-1个预测结果。
基于上述所说的改进特征金字塔网络的结构，n个预测层中的前n-1个预测层对对应的卷积结果进行预定运算，依次得到n-1个预测结果，可以包括：n个预测层中的第一个预测层对第n个卷积结果进行卷积运算，得到第一个预测结果；n个预测层中的第j个预测层对第j-1个预测结果进行上采样，得到第j-1个采样结果，将第j-1个采样结果与第n-j+1个卷积结果相加，得到第j个预测结果，2≤j≤n-1。
以图3中所示的改进特征金字塔网络为例，则第一个卷积层L1将第一个卷积结果输出给第五个预测层P1；第二个卷积层L2将第二个卷积结果输出给第四个预测层P2；第三个卷积层L3将第三个卷积结果输出给第三个预测层P3；第四个卷积层L4将第四个卷积结果输出给第二个预测层P4；第五个卷积层L5将第五个卷积结果输出给第一个预测层P5。之后，第一个预测层P5对第五个卷积结果进行卷积运算，得到第一个预测结果，并将第一个预测结果分别输出给第二个预测层P4和检测网络；第二个预测层P4对第一个预测结果进行上采样，得到第一个采样结果，将第一个采样结果和第四个卷积结果相加，得到第二个预测结果，并将第二个预测结果分别输出给第三个预测层P3和检测网络；第三个预测层P3对第二个预测结果进行上采样，得到第二个采样结果，将第二个采样结果和第三个卷积结果相加，得到第三个预测结果，并将第三个预测结果分别输出给第四个预测层P2、临时层P_temp和检测网络；第四个预测层P2对第三个预测结果进行上采样，得到第三个采样结果，将第三个采样结果和第二个卷积结果相加，得到第四个预测结果，并将第四个预测结果分别输出给临时层P_temp和检测网络。
步骤204，临时层根据n-1个预测结果中的后m个预测结果进行预定运算，得到临时结果，m≥2。
当m为2时，临时层根据n-1个预测结果中的后m个预测结果进行预定运算，得到临时结果，可以包括：临时层对第n-1个预测结果进行上采样，得到第n-1个采样结果；临时层将第n-1个采样结果与第n-2个预测结果相加，得到临时结果。
以图3中所示的改进特征金字塔网络为例，则临时层对第四个预测结果进行上采样，得到第四个采样结果，将第四个采样结果和第三个预测结果相加，得到临时结果，并将临时结果输出给第五个预测层P1。
由于L2和L3的卷积程度不深，所以，L2和L3得到的卷积结果中小目标对象的特征丢失的不多，因此，可以选用P2和P3来计算P_temp，从而提高小目标对象的检测效果。
步骤205，n个预测层中的第n个预测层对对应的卷积结果和临时结果进行预定运算，得到第n个预测结果。
基于上述所说的改进特征金字塔网络的结构，n个预测层中的第n个预测层对对应的卷积结果和临时结果进行预定运算，得到第n个预测结果，可以包括：n个预测层中的第n个预测层对临时结果进行上采样，得到第n个采样结果；第n个预测层将第n个采样结果与第一个卷积结果相加，得到第n个预测结果。
以图3中所示的改进特征金字塔网络为例，则第五个预测层P1对临时结果进行上采样，得到第五个采样结果，将第五个采样结果和第一个卷积结果相加，得到第五个预测结果，并将第五个预测结果输出给检测网络。
步骤206，检测网络根据n个预测结果检测小目标对象。
其中，检测网络可以根据用户的需求自行选择，可以是Faster-RCNN（FasterRegion Convolution Neural Network，快速区域卷积神经网络）网络或者YOLO（You OnlyLook Once）网络或者其他网络，本实施例不作限定。
检测网络在接收到n个预测层输出的n个预测结果后，可以根据这n个预测结果检测小目标对象，不同的检测网络具有不同的检测方法，本实施例不对具体的检测方法作限定。
综上所述，本申请实施例提供的小目标的检测方法，由于改进特征金字塔网络中包括n个卷积层、n个预测层和一个临时层，n个卷积层可以依次得到n个卷积结果，前n-1个预测层可以依次得到n-1个预测结果，且临时层可以根据后m个预测结果计算得到临时结果，第n个预测层可以根据对应的卷积结果和临时结果计算得到第n个预测结果，这n个预测结果可以供检测网络检测小目标对象。由于临时结果是根据后m个预测结果计算得到的，且后m个预测结果是根据对应的卷积结果计算得到的，且这些卷积结果的卷积程度并不深，所以，这些卷积结果中小目标对象的特征丢失的并不多，从而可以通过临时结果来保留小目标对象的特征，提高了小目标对象的检测效果。
请参考图4，其示出了本申请一个实施例提供的小目标的检测装置的结构框图，该小目标的检测装置可以应用于电子设备中，该电子设备中设置有神经网络模型，该神经网络模型中包括改进特征金字塔网络和检测网络，该改进特征金字塔网络中包括n个卷积层、n个预测层和一个临时层，n≥3。该小目标的检测装置，可以包括：
获取模块410，用于获取待检测的图像，图像中包含至少一个小目标对象，小目标对象是像素面积小于预定面积的目标对象；
卷积模块420，用于通过n个卷积层对图像进行卷积运算，依次得到n个卷积结果；
运算模块430，用于通过n个预测层中的前n-1个预测层对对应的卷积结果进行预定运算，依次得到n-1个预测结果；
运算模块430，还用于通过临时层根据n-1个预测结果中的后m个预测结果进行预定运算，得到临时结果，m≥2；
运算模块430，还用于n个预测层中的第n个预测层对对应的卷积结果和临时结果进行预定运算，得到第n个预测结果；
检测模块440，用于通过检测网络根据n个预测结果检测小目标对象。
在一个可选的实施例中，当m为2时，运算模块430，还用于：
通过临时层对第n-1个预测结果进行上采样，得到第n-1个采样结果；
通过临时层将第n-1个采样结果与第n-2个预测结果相加，得到临时结果。
在一个可选的实施例中，运算模块430，还用于：
通过n个预测层中的第n个预测层对临时结果进行上采样，得到第n个采样结果；
通过第n个预测层将第n个采样结果与第一个卷积结果相加，得到第n个预测结果。
在一个可选的实施例中，卷积模块420，还用于：
n个卷积层中的第一个卷积层对图像进行卷积运算，得到第一个卷积结果；
n个卷积层中的第i个卷积层对第i-1个卷积结果进行卷积运算，得到第i个卷积结果，2≤i≤n。
在一个可选的实施例中，运算模块430，还用于：
n个预测层中的第一个预测层对第n个卷积结果进行卷积运算，得到第一个预测结果；
n个预测层中的第j个预测层对第j-1个预测结果进行上采样，得到第j-1个采样结果，将第j-1个采样结果与第n-j+1个卷积结果相加，得到第j个预测结果，2≤j≤n-1。
综上所述，本申请实施例提供的小目标的检测装置，由于改进特征金字塔网络中包括n个卷积层、n个预测层和一个临时层，n个卷积层可以依次得到n个卷积结果，前n-1个预测层可以依次得到n-1个预测结果，且临时层可以根据后m个预测结果计算得到临时结果，第n个预测层可以根据对应的卷积结果和临时结果计算得到第n个预测结果，这n个预测结果可以供检测网络检测小目标对象。由于临时结果是根据后m个预测结果计算得到的，且后m个预测结果是根据对应的卷积结果计算得到的，且这些卷积结果的卷积程度并不深，所以，这些卷积结果中小目标对象的特征丢失的并不多，从而可以通过临时结果来保留小目标对象的特征，提高了小目标对象的检测效果。
本申请一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的小目标的检测方法。
本申请一个实施例提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的小目标的检测方法。
需要说明的是：上述实施例提供的小目标的检测装置在进行小目标的检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将小目标的检测装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的小目标的检测装置与小目标的检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。

Claims (10)

1.一种小目标的检测方法，其特征在于，用于神经网络模型中，所述神经网络模型中包括改进特征金字塔网络和检测网络，所述改进特征金字塔网络中包括n个卷积层、n个预测层和一个临时层，n≥3，所述方法包括：
获取待检测的图像，所述图像中包含至少一个小目标对象，所述小目标对象是像素面积小于预定面积的目标对象；
所述n个卷积层对所述图像进行卷积运算，依次得到n个卷积结果；
所述n个预测层中的前n-1个预测层对对应的卷积结果进行预定运算，依次得到n-1个预测结果；
所述临时层根据所述n-1个预测结果中的后m个预测结果进行预定运算，得到临时结果，m≥2；
所述n个预测层中的第n个预测层对对应的卷积结果和所述临时结果进行预定运算，得到第n个预测结果；
所述检测网络根据n个预测结果检测所述小目标对象。
2.根据权利要求1所述的方法，其特征在于，当m为2时，所述临时层根据所述n-1个预测结果中的后m个预测结果进行预定运算，得到临时结果，包括：
所述临时层对第n-1个预测结果进行上采样，得到第n-1个采样结果；
所述临时层将所述第n-1个采样结果与第n-2个预测结果相加，得到所述临时结果。
3.根据权利要求1所述的方法，其特征在于，所述n个预测层中的第n个预测层对对应的卷积结果和所述临时结果进行预定运算，得到第n个预测结果，包括：
所述n个预测层中的第n个预测层对所述临时结果进行上采样，得到第n个采样结果；
所述第n个预测层将所述第n个采样结果与第一个卷积结果相加，得到所述第n个预测结果。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述n个卷积层对所述图像进行卷积运算，依次得到n个卷积结果，包括：
所述n个卷积层中的第一个卷积层对所述图像进行卷积运算，得到第一个卷积结果；
所述n个卷积层中的第i个卷积层对第i-1个卷积结果进行卷积运算，得到第i个卷积结果，2≤i≤n。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述n个预测层中的前n-1个预测层对对应的卷积结果进行预定运算，依次得到n-1个预测结果，包括：
所述n个预测层中的第一个预测层对第n个卷积结果进行卷积运算，得到第一个预测结果；
所述n个预测层中的第j个预测层对第j-1个预测结果进行上采样，得到第j-1个采样结果，将所述第j-1个采样结果与第n-j+1个卷积结果相加，得到第j个预测结果，2≤j≤n-1。
6.一种小目标的检测装置，其特征在于，用于神经网络模型中，所述神经网络模型中包括改进特征金字塔网络和检测网络，所述改进特征金字塔网络中包括n个卷积层、n个预测层和一个临时层，n≥3，所述装置包括：
获取模块，用于获取待检测的图像，所述图像中包含至少一个小目标对象，所述小目标对象是像素面积小于预定面积的目标对象；
卷积模块，用于通过所述n个卷积层对所述图像进行卷积运算，依次得到n个卷积结果；
运算模块，用于通过所述n个预测层中的前n-1个预测层对对应的卷积结果进行预定运算，依次得到n-1个预测结果；
所述运算模块，还用于通过所述临时层根据所述n-1个预测结果中的后m个预测结果进行预定运算，得到临时结果，m≥2；
所述运算模块，还用于所述n个预测层中的第n个预测层对对应的卷积结果和所述临时结果进行预定运算，得到第n个预测结果；
检测模块，用于通过所述检测网络根据n个预测结果检测所述小目标对象。
7.根据权利要求6所述的装置，其特征在于，当m为2时，所述运算模块，还用于：
通过所述临时层对第n-1个预测结果进行上采样，得到第n-1个采样结果；
通过所述临时层将所述第n-1个采样结果与第n-2个预测结果相加，得到所述临时结果。
8.根据权利要求7所述的装置，其特征在于，所述运算模块，还用于：
通过所述n个预测层中的第n个预测层对所述临时结果进行上采样，得到第n个采样结果；
通过所述第n个预测层将所述第n个采样结果与第一个卷积结果相加，得到所述第n个预测结果。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一所述的小目标的检测方法。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至5任一所述的小目标的检测方法。
CN202110267063.3A 2021-03-11 2021-03-11 小目标的检测方法、装置、存储介质及设备 Active CN112950703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110267063.3A CN112950703B (zh) 2021-03-11 2021-03-11 小目标的检测方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110267063.3A CN112950703B (zh) 2021-03-11 2021-03-11 小目标的检测方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN112950703A CN112950703A (zh) 2021-06-11
CN112950703B true CN112950703B (zh) 2024-01-19

Family

ID=76230426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110267063.3A Active CN112950703B (zh) 2021-03-11 2021-03-11 小目标的检测方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN112950703B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043113B1 (en) * 2017-10-04 2018-08-07 StradVision, Inc. Method and device for generating feature maps by using feature upsampling networks
CN111126399A (zh) * 2019-12-28 2020-05-08 苏州科达科技股份有限公司 一种图像检测方法、装置、设备及可读存储介质
CN111210443A (zh) * 2020-01-03 2020-05-29 吉林大学 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN111414931A (zh) * 2019-12-31 2020-07-14 杭州电子科技大学 一种基于图像深度的多分支多尺度小目标检测方法
CN111461110A (zh) * 2020-03-02 2020-07-28 华南理工大学 一种基于多尺度图像和加权融合损失的小目标检测方法
CN111666836A (zh) * 2020-05-22 2020-09-15 北京工业大学 M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法
CN111797846A (zh) * 2019-04-08 2020-10-20 四川大学 一种基于特征金字塔网络的反馈式目标检测方法
CN112270366A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 基于自适应多特征融合的微小目标检测方法
CN112418271A (zh) * 2020-10-28 2021-02-26 北京迈格威科技有限公司 一种目标检测方法、装置、系统及存储介质
CN112465752A (zh) * 2020-11-16 2021-03-09 电子科技大学 一种基于改进的Faster R-CNN小目标检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043113B1 (en) * 2017-10-04 2018-08-07 StradVision, Inc. Method and device for generating feature maps by using feature upsampling networks
CN111797846A (zh) * 2019-04-08 2020-10-20 四川大学 一种基于特征金字塔网络的反馈式目标检测方法
CN111126399A (zh) * 2019-12-28 2020-05-08 苏州科达科技股份有限公司 一种图像检测方法、装置、设备及可读存储介质
CN111414931A (zh) * 2019-12-31 2020-07-14 杭州电子科技大学 一种基于图像深度的多分支多尺度小目标检测方法
CN111210443A (zh) * 2020-01-03 2020-05-29 吉林大学 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN111461110A (zh) * 2020-03-02 2020-07-28 华南理工大学 一种基于多尺度图像和加权融合损失的小目标检测方法
CN111666836A (zh) * 2020-05-22 2020-09-15 北京工业大学 M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法
CN112418271A (zh) * 2020-10-28 2021-02-26 北京迈格威科技有限公司 一种目标检测方法、装置、系统及存储介质
CN112270366A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 基于自适应多特征融合的微小目标检测方法
CN112465752A (zh) * 2020-11-16 2021-03-09 电子科技大学 一种基于改进的Faster R-CNN小目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DG-FPN： learning dynamic feature fusion based on graph convolution network for object detection;Huayu Li, etal;《2020 IEEE International Conference on Multiimedia and Expo (ICME) 》;全文 *
基于残差网络和改进特征金字塔的油田作业现场目标检测算法;梁鸿;李洋;邵明文;李传秀;张兆雷;;科学技术与工程(11);全文 *
感受野特征增强的SSD目标检测算法;谭龙;高昂;;计算机系统应用(09);全文 *

Also Published As

Publication number Publication date
CN112950703A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN108416327B (zh) 一种目标检测方法、装置、计算机设备及可读存储介质
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN113436100B (zh) 用于修复视频的方法、装置、设备、介质和产品
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN112085056B (zh) 目标检测模型生成方法、装置、设备及存储介质
US20230137337A1 (en) Enhanced machine learning model for joint detection and multi person pose estimation
CN110782430A (zh) 一种小目标的检测方法、装置、电子设备及存储介质
CN112631947B (zh) 应用程序的测试控制方法、装置、电子设备及存储介质
CN112132216B (zh) 车型识别方法、装置、电子设备及存储介质
CN108921162A (zh) 基于深度学习的车牌识别方法及相关产品
US20200394516A1 (en) Filter processing device and method of performing convolution operation at filter processing device
CN115935238A (zh) 基于轻量级卷积网络的手势识别分类方法及装置
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN111639523B (zh) 目标检测方法、装置、计算机设备和存储介质
CN112950703B (zh) 小目标的检测方法、装置、存储介质及设备
CN114663662B (zh) 超参数搜索方法、装置、计算机设备和存储介质
CN112464860A (zh) 手势识别方法、装置、计算机设备及存储介质
CN115620017A (zh) 图像的特征提取方法、装置、设备及存储介质
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN112907450B (zh) 三维时序图像处理方法、装置、计算机设备和存储介质
CN112801045B (zh) 一种文本区域检测方法、电子设备及计算机存储介质
CN112861678B (zh) 一种图像识别方法及装置
CN110705695B (zh) 搜索模型结构的方法、装置、设备和存储介质
CN114549945A (zh) 遥感影像变化检测方法及相关装置
JP7107544B2 (ja) 情報処理装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220107

Address after: 2209-c1, No. 19, Erquan East Road, Huizhi enterprise center, Xishan District, Wuxi City, Jiangsu Province, 214000

Applicant after: Wuxi yuspace Intelligent Technology Co.,Ltd.

Address before: Room 1101, block C, Kangyuan smart port, No. 50, Jiangdong Street, Jialing, Jianye District, Nanjing City, Jiangsu Province, 210000

Applicant before: Jiangsu Yu Space Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220919

Address after: Room 1101, block C, Kangyuan smart port, No. 50, Jiangdong Street, Jialing, Jianye District, Nanjing City, Jiangsu Province, 210000

Applicant after: Jiangsu Yu Space Technology Co.,Ltd.

Address before: 2209-c1, No. 19, Erquan East Road, Huizhi enterprise center, Xishan District, Wuxi City, Jiangsu Province, 214000

Applicant before: Wuxi yuspace Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230905

Address after: 2209-c1, No. 19, Erquan East Road, Huizhi enterprise center, Xishan District, Wuxi City, Jiangsu Province, 214000

Applicant after: Wuxi yuspace Intelligent Technology Co.,Ltd.

Address before: Room 1101, block C, Kangyuan smart port, No. 50, Jiangdong Street, Jialing, Jianye District, Nanjing City, Jiangsu Province, 210000

Applicant before: Jiangsu Yu Space Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant