CN114693919A - 一种目标检测方法、终端设备及存储介质 - Google Patents

一种目标检测方法、终端设备及存储介质 Download PDF

Info

Publication number
CN114693919A
CN114693919A CN202210335719.5A CN202210335719A CN114693919A CN 114693919 A CN114693919 A CN 114693919A CN 202210335719 A CN202210335719 A CN 202210335719A CN 114693919 A CN114693919 A CN 114693919A
Authority
CN
China
Prior art keywords
target
sequence
image
target points
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210335719.5A
Other languages
English (en)
Inventor
李杨
马强
张丽
刘博�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Tianhe Defense Technology Co ltd
Original Assignee
Xi'an Tianhe Defense Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Tianhe Defense Technology Co ltd filed Critical Xi'an Tianhe Defense Technology Co ltd
Priority to CN202210335719.5A priority Critical patent/CN114693919A/zh
Publication of CN114693919A publication Critical patent/CN114693919A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于神经网络技术领域，提供了一种目标检测方法、终端设备及存储介质，该方法包括：通过改进的Faster RCNN作为目标检测模型，在训练时，通过RPN网络采用凸包法求出4个目标点的相对顺序的基础上，采用前后循环移位的方式得到4个目标点的多组顺序，根据4个点的多组顺序和4个目标点的最小外接矩形确定其中一组顺序作为该步骤的修正顺序，从而基于修正顺序下的4个目标点的坐标计算损失函数更新该目标检测模型中的参数；在预测阶段，通过RPN网络基于确定的循环移动方式预测4个目标点的修正顺序，从而基于修正顺序得到检测框，通过该方式可以解决斜框作为目标检测时的检测框时产生震荡的问题。

Description

一种目标检测方法、终端设备及存储介质
技术领域
本申请属于神经网络技术领域，尤其涉及一种目标检测方法、终端设备及存储介质。
背景技术
随着人工智能发展，对于图像中目标检测模型的精度要求越来越高。通常，在进行目标检测时，首先在图像上生成候选区域，然后对候选区域进行调整，从而得到最终的目标检测框。目前，大多检测框为正框的形式，即检测框的4条框均平行于图像的两条边框。
实际应用中，图像中的目标的尺寸和形状均不固定，甚至有些目标具有特殊的排列方式，例如，车辆、飞机、轮船等斜向成排放置；这就导致正框不适用于这种目标检测，而斜框可能更适用于这种目标检测。然而，斜框经常出现4个点的排序错位问题，导致训练时产生震荡，影响训练后的模型的检测精度。
发明内容
有鉴于此，本申请实施例提供了一种目标检测方法、终端设备及存储介质，以解决斜框作为目标检测框时训练过程产生震荡、影响训练后的模型的检测精度的问题。
本申请实施例的第一方面提供了一种目标检测方法，应用于包含RPN网络的目标检测模型，该方法包括：
将第一图像输入目标检测模型，输出包含至少一个第一斜框的第一图像，其中，第一图像为训练集中的图像，RPN网络用于生成第一图像上具有初始顺序的4个第一目标点，基于4个第一目标点的第一坐标和4个第一目标点的最小外接矩形得到4个目标点的目标顺序，具有目标顺序的4个第一目标点用于生成第一斜框；
根据第一斜框的4个顶点的第二坐标和第一图像上标定的标签点的标签坐标之间的距离偏差，反向更新目标检测模型中的参数，得到训练后的目标检测模型；
将第二图像输入训练后的目标检测模型，输出包含至少一个第二斜框的第二图像，其中，第二图像为待目标检测的图像，第二斜框中包含第二图像上的目标，RPN网络用于生成第二图像上具有初始顺序的4个第二目标点，基于4个第二目标点的初始顺序和顺序偏差，得到4个第二目标点的目标顺序，顺序偏差为4个第一目标点的目标顺序和4个第一目标点的初始顺序之间的偏差，具有目标顺序的4个第二目标点的目标顺序用于生成第二斜框。
本申请实施例的第二方面提供了一种目标检测装置，应用于包含RPN网络的目标检测模型，该装置包括：
训练单元，用于将第一图像输入目标检测模型，输出包含至少一个第一斜框的第一图像，其中，第一图像为训练集中的图像，RPN网络用于生成第一图像上具有初始顺序的4个第一目标点，基于4个第一目标点的第一坐标和4个第一目标点的最小外接矩形得到4个目标点的目标顺序，具有目标顺序的4个第一目标点用于生成第一斜框；
更新单元，用于根据第一斜框的4个顶点的第二坐标和第一图像上标定的标签点的标签坐标之间的距离偏差，反向更新目标检测模型中的参数，得到训练后的目标检测模型；
检测单元，用于将第二图像输入训练后的目标检测模型，输出包含至少一个第二斜框的第二图像，其中，第二图像为待目标检测的图像，第二斜框中包含第二图像上的目标，RPN网络用于生成第二图像上具有初始顺序的4个第二目标点，基于4个第二目标点的初始顺序和顺序偏差，得到4个第二目标点的目标顺序，顺序偏差为4个第一目标点的目标顺序和4个第一目标点的初始顺序之间的偏差，具有目标顺序的4个第二目标点的目标顺序用于生成第二斜框。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本申请实施例第一方面提供的方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被一个或多个处理器执行时实现本申请实施例第一方面提供的方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序被一个或多个处理器执行时实现本申请实施例第一方面提供的方法的步骤。
本申请实施例提供了一种目标检测方法，该目标检测方法基于改进的FasterRCNN作为目标检测模型，在训练时，通过RPN网络采用凸包法求出训练图像上具有初始顺序的4个目标点，根据4个点的坐标和4个点的最小外接矩形得到4个点的目标顺序，然后根据4个点的目标顺序得到训练时的斜框；根据训练时的斜框和图像的标签坐标之间的偏差，反向更新该目标检测模型；在检测时，同样通过RPN网络采用凸包法求出检测图像上具有初始顺序的4个目标点，然后根据训练图像时目标顺序和初始顺序的顺序偏差，将检测图像上的4个目标点的初始顺序更新为目标顺序，最后根据目标顺序在检测图像上生成包含目标的检测斜框。由于在训练时确定了初始顺序和目标顺序之间的顺序关系，所以解决了斜框作为目标检测时的检测框时产生震荡的问题，同时，提高检测阶段得到目标顺序的准确性，从而提高了检测精度。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种目标检测模型的结构示意图；
图2是本申请实施例提供的一种特征提取网络的结构示意图；
图3是本申请实施例提供的一种Swin Transformer Block的结构示意图；
图4是本申请实施例提供的计算距离偏差的方法的示意图；
图5是本申请实施例提供的目标检测模型的训练过程的流程示意图；
图6是本申请实施例提供的目标检测模型的检测过程的流程示意图；
图7是本申请实施例提供的目标检测模型检测之前的一个第二图像的灰度示意图；
图8是本申请实施例提供的目标检测模型对图7所示的第二图像检测之后的灰度示意图；
图9是本申请实施例提供的目标检测模型检测之前的另一第二图像的灰度示意图；
图10是本申请实施例提供的目标检测模型对图9所示的第二图像检测之后的灰度示意图；
图11是本申请实施例提供的终端设备的示意框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
本申请实施例提供了一种神经网络模型，该神经网络模型经过训练后，可以用于进行斜框的目标检测，因此，该神经网络模型可以称为目标检测模型。
参见图1，本申请实施例提供的目标检测模型采用Faster RCNN模型作为模型框架。即该目标检测模型包括：依次连接的特征提取网络、RPN(region proposal Network)网络、ROI Align网络和回归网络，其中，特征提取网络的输出也需要作为ROI Align网络的输入。即ROI Align网络的输入包括特征提取网络的输出和RPN网络的输出。
为了能够使得最终获得的检测框可以为斜框，该RPN网络采用ORN(orientedResponse Networks)算法。
当然，实际应用中该回归网络还具有分类功能，例如，得到检测框中目标的类别。因此，该回归网络也可以命名为分类回归网络。另外，其中的ROI Align网络也可以为ROIPooling网络。本申请实施例对此不做限制。
本申请实施例重点对Faster RCNN框架中的特征提取网络和RPN网络进行改进，其他的网络可以采用具有相同功能的网络代替，本申请实施例对此不做限制。下面将重点描述特征提取网络和RPN网络。
该特征提取网络可以采用Swin Transformer网络。该Swin Transformer网络包括依次连接的分块层(Patch Partition)、连续N个阶段提取网络。
参见图2，本申请实施例可以采用4个阶段提取网络(例如，stage1至stage4)。当然，实际应用中，也可以采用比4个更多或更少的阶段提取网络。
其中，分块层用于按照一定尺寸将图像划分为不同的图像块。例如，可以将图像分割为4×4的图像块。
参见图2，第一个阶段提取网络包括依次连接的Linear Embedding层和至少两个Swin Transformer Block。后续的N-1个阶段提取网络包括依次连接的Patch Merging层和至少两个Swin Transformer Block。
其中，linear embedding用于压缩待处理数据的维数。Patch Merging层用于降低待处理的数据的尺寸。
通过上述示例可以理解，作为特征提取网络的Swin Transformer网络包括多个Swin Transformer Block。
作为本申请另一实施例，参见图2，特征提取网络包括4个阶段提取网络。第一个阶段提取网络可以包括2个Swin Transformer Block。第二个阶段提取网络可以包括2个SwinTransformer Block。第三个阶段提取网络可以包括6个Swin Transformer Block。第四个阶段提取网络可以包括2个Swin Transformer Block。
参见图3，Swin Transformer Block包括连接的两个子单元，其中，第一个子单元包括：依次连接的LN层(layernorm)、W-MSA层(windowbased multi-head selfattention)、LN层(layernorm)和MLP层(Multi-Layer Perceptron)。第二个子单元包括依次连接的LN层、SW-MSA层(shifted window-based multi-head self attention)、LN层和MLP层。
其中，第一个子单元按照一定的尺寸将图像划分为不同的图像块，每次transformer的attention只在图像块内部进行计算。当然，这样会导致每个像素点的感受野得不到提升。第二个子单元可以换一下图像块划分的方式，让每一个像素点做attention计算的图像块处于变化中，就可以提升像素点的感受野。
结合图3，若第一个子单元中第一个LN层的输入记为zl-1，则第一个子单元中第二个LN层的输入记为
Figure BDA0003576675420000071
则
Figure BDA0003576675420000072
第一个子单元的输出记为zl，则
Figure BDA0003576675420000073
第二个子单元中的第一个LN层的输入为zl，则第二个子单元中第二个LN层的输入记为
Figure BDA0003576675420000074
则
Figure BDA0003576675420000075
第二个子单元的输出记为zl+1，则
Figure BDA0003576675420000076
通过图示可以理解，每经过一个阶段提取网络，图像深度变为原来的1/4，通道数变为原来的4倍，由于经过MLP，通道数缩减一半，即每经过一个阶段提取网络，总的数据量变为原来的1/2。
本申请实施例提供的RPN网络采用ORN算法生成斜框。
在训练阶段，该RPN网络对图像进行处理时，可以采用4点凸包法得到4个目标点的初始顺序，该4个目标点的初始顺序包括4个目标点的相对顺序。
作为示例，得到4个目标点为点1，点2，点3，点4。当然，每个点具有坐标；例如，点1的坐标为(x1，y1)，点2的坐标为(x2，y2)，点3的坐标为(x3，y3)，点4的坐标为(x4，y4)。4个目标点的初始顺序为：1234。
4个目标点的相对顺序为：初始顺序中前一个目标点在后一个目标点的前面，最后一个目标点在第一个目标前的前面。即4个目标点的相对顺序为：1在2的前面，2在3的前面，3在4的前面，4在1的前面。
根据4个目标点的相对顺序，可以得到至少4组绝对顺序。例如，1234；2341；3412；4123。本申请实施例可以采用其中的4123；1234；2341作为4个点的绝对顺序。
在实际应用中，图像上的标签点具有唯一顺序，因此，需要从确定的绝对顺序中选取一组顺序与图像上的标签点的唯一顺序对应。
在本申请实施例中，可以根据4个点的坐标得到4个点的最小外接矩形。然后计算不同绝对顺序下的4个坐标点与该最小外接矩形的距离偏差。
作为示例，参见图4，以绝对顺序4123为例，其中，该绝对顺序下的第一个点4在x轴上的投影值(x4)减去所述最小外接矩形的中心点在x轴上的投影值(x0)得到第一个点的第一偏差d1；
将该绝对顺序中的第二个点1在y轴上的投影值(y1)减去所述最小外接矩形的中心点在y轴上的投影值(y0)得到第二个点1的第二偏差d2；
将该绝对顺序中的第三个点2在x轴上的投影值(x2)减去所述最小外接矩形的中心点在x轴上的投影值(x0)得到第三个点2的第三偏差d3；
将该绝对顺序中的第四个点3在y轴上的投影值(y3)减去所述最小外接矩形的中心点在y轴上的投影值(y0)得到第四个点3的第四偏差d4；
计算第一偏差的绝对值、第二偏差的绝对值、第三偏差的绝对值和第四偏差的绝对值之和，得到该绝对顺序下的4个点和最小外接矩形的距离偏差。
将距离偏差最小的一组绝对顺序对应的坐标输出到下一个网络(ROI Align网络)。
当然，该距离偏差最小的一组绝对顺序是有初始顺序通过循环移位得到的，因此，需要记录该循环移动方式，以便于在目标检测阶段，基于该循环移位方式计算得到输入到下一个网络(ROI Align网络)的点的坐标顺序。
当然，在训练阶段，该距离偏差最小的一组绝对顺序对应的坐标输出到下一个网络(ROI Align网络)之后，该目标检测模型会得到第一图像的第一斜框。
根据第一斜框上的4个点和第一图像上的4个标签点之间的偏差，得到损失函数，通过该损失函数反向更新该目标检测模型中的参数；
当然，计算第一斜框上的4个点和第一图像上的4个标签点之间的偏差的方式与上述计算偏差的方式相同。
例如，该第一图像的4个标签点的中心点的坐标可以理解为上述实施例中的最小外接矩形的中心点的坐标。第一斜框上的4个点可以理解为4个目标点。
这样通过计算4个目标点和最小外接矩形之间的距离偏差的方式计算第一斜框上的4个点和4个标签点对应的矩形框之间的距离偏差。
当然，实际应用中，还可以采用其他方式得到目标顺序和损失函数。
作为另一种得到目标顺序和损失函数的示例，也可以计算循环移位后得到的多组绝对顺序分别对应的4个目标点与标签点对应的矩形框之间的距离偏差，将距离偏差最小的绝对顺序作为目标顺序；并根据距离偏差最小的值生成损失函数。
本申请实施例不限定具体的实现方式。
在达到训练次数后(例如，训练够1000张图像后)，或者该目标检测模型收敛后，得到训练后的目标检测模型。
需要说明，在达到训练次数后(例如，训练够1000张图像后)，或者该目标检测模型收敛后。通常从4个目标点的初始顺序得到输入下一个网络(ROI Align网络)的点的目标顺序的循环移位方式是固定的。
在检测阶段，该RPN网络对图像进行处理时，同样可以采用4点凸包法得到4个目标点的初始顺序，该4个目标点的初始顺序包括4个目标点的相对顺序。
作为示例，得到4个目标点为点5，点6，点7，点8。当然，每个点具有坐标；例如，点5的坐标为(x5，y5)，点6的坐标为(x6，y6)，点7的坐标为(x7，y7)，点8的坐标为(x8，y8)。4个目标点的初始顺序为：5678。
按照训练阶段4个目标点的初始顺序得到目标顺序的循环移位方式可以根据初始顺序5678得到目标顺序。
作为示例，若训练阶段4个目标点的初始顺序为1234，目标顺序为2341，则初始顺序5678得到的目标顺序为6785；
若训练阶段4个目标点的初始顺序为1234，目标顺序为4123，则初始顺序5678得到的目标顺序为8567；
若训练阶段4个目标点的初始顺序为1234，目标顺序为1234，则初始顺序5678得到的目标顺序为5678。
通过本申请实施例提供的得到目标顺序的方式可以降低训练过程中的震荡问题，也能够提高检测阶段得到目标顺序的准确性，从而提高了检测精度。
为了对本申请实施例就有更清晰的理解，将通过目标检测模型详细描述训练过程和检测过程。
参见图5，为本申请实施例提供的训练过程的流程示意图。
步骤101，获取第一图像，所述第一图像为训练集中的图像。
首先获取训练样本集，训练样本集中包括多张训练图像，每张训练图像中标定有训练图像中目标的目标框，其中，该目标框可以是斜框，该斜框具有4个顶点，每个顶点可以称为标签点。训练集中的训练图像可以记为第一图像。
步骤102，通过特征提取网络提取所述第一图像的第一特征图。
步骤103，通过RPN网络对所述第一特征图进行处理，得到所述第一图像上具有目标顺序的4个第一目标点。
RPN网络得到具有目标顺序的4个第一目标点的过程包括：
步骤1031，采用凸包法计算所述第一图像上的4个第一目标点的初始顺序，所述4个第一目标点的初始顺序包含所述4个第一目标点的相对顺序。
4个第一目标点在初始顺序下的坐标记为第一坐标。
步骤1032，在所述4个第一目标点的相对顺序不变的情况下，改变所述4个第一目标点的初始顺序，得到所述4个第一目标点的至少3组绝对顺序，所述绝对顺序包括所述初始顺序；
步骤1033，计算所述4个第一目标点在所述绝对顺序下与所述4个第一目标点的最小外接矩形之间的距离偏差；
步骤1034，将所述4个第一目标点的所述距离偏差最小的绝对顺序作为所述目标顺序。
其中，得到3组绝对顺序的步骤包括：
步骤10321，将所述初始顺序下的所述4个第一目标点分别向前循环移动一位，得到所述4个第一目标点的第一顺序；
步骤10322，将所述初始顺序下的所述4个第一目标点分别向后循环移动一位，得到所述4个第一目标点的第二顺序，所述4个第一目标点的至少3组绝对顺序包括所述第一顺序、所述第二顺序和所述初始顺序。
步骤104，将所述第一特征图和所述第一图像上具有目标顺序的4个第一目标点的第三坐标输入所述ROI Align网络和回归网络，得到包含至少一个第一斜框的所述第一图像。
其中，第三坐标为采用目标顺序的4个第一目标点的坐标。
步骤105，根据所述第一斜框的4个顶点的第二坐标和所述第一图像上标定的标签点的标签坐标之间的距离偏差，反向更新所述目标检测模型中的参数，得到训练后的目标检测模型。
第二坐标所述目标检测模型输出的第一斜框的坐标时在输出顺序下的坐标。
参见图6，为本申请实施例提供的检测过程的流程示意图。
步骤201，获取第二图像，所述第二图像为待目标检测的图像；
步骤202，通过特征提取网络提取所述第二图像的第二特征图；
步骤203，通过RPN网络对所述第二特征图进行处理，得到所述第一图像上具有初始顺序的4个第二目标点；
步骤204，通过RPN网络根据顺序偏差反向计算所述4个第二目标点的目标顺序，顺序偏差为所述4个第一目标点的距离偏差最小的绝对顺序对应的循环移位方式。
步骤205，将所述第二特征图和所述第二图像上具有目标顺序的4个第二目标点的第四坐标输入所述ROI Align网络和回归网络，得到包含至少一个第二斜框的所述第二图像。第二斜框中包含第二图像中的目标。
第四坐标为4个第二目标点在目标顺序下的坐标。
参见图7，为通过本申请实施例提供的训练后的目标检测模型检测前的第二图像，参见图8，为通过本申请实施例提供的训练后的目标检测模型检测后的第二图像，该第二图像包括斜框，该斜框中包含第二图像上的目标。
参见图9，为通过本申请实施例提供的训练后的目标检测模型检测前的第二图像，参见图10，为通过本申请实施例提供的训练后的目标检测模型检测后的第二图像，该第二图像包括斜框，该斜框中包含第二图像上的目标。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请实施例还提供一种目标检测装置，为了便于说明，仅示出与本申请实施例相关的部分。
该目标检测装置可以是内置于摄像头内的软件单元、硬件单元或者软硬结合的单元，也可以作为独立的挂件集成到所述摄像头上。当然，也可以时内置在终端上的软件单元、硬件单元或者软硬结合的单元，也可以作为独立的挂件集成到所述终端设备上。
所述目标检测装置包括：
训练单元，用于将第一图像输入目标检测模型，输出包含至少一个第一斜框的第一图像，其中，第一图像为训练集中的图像，RPN网络用于生成第一图像上具有初始顺序的4个第一目标点，基于4个第一目标点的第一坐标和4个第一目标点的最小外接矩形得到4个目标点的目标顺序，具有目标顺序的4个第一目标点用于生成第一斜框；
更新单元，用于根据第一斜框的4个顶点的第二坐标和第一图像上标定的标签点的标签坐标之间的距离偏差，反向更新目标检测模型中的参数，得到训练后的目标检测模型；
检测单元，用于将第二图像输入训练后的目标检测模型，输出包含至少一个第二斜框的第二图像，其中，第二图像为待目标检测的图像，第二斜框中包含第二图像上的目标，RPN网络用于生成第二图像上具有初始顺序的4个第二目标点，基于4个第二目标点的初始顺序和顺序偏差，得到4个第二目标点的目标顺序，顺序偏差为4个第一目标点的目标顺序和4个第一目标点的初始顺序之间的偏差，具有目标顺序的4个第二目标点的目标顺序用于生成第二斜框。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图11是本申请一实施例提供的终端设备的示意框图。该终端设备可以是独立存在的摄像头(或摄像装置)，还可以是集成有摄像头的终端设备。如图11所示，该实施例的终端设备11包括：一个或多个处理器110、存储器111以及存储在所述存储器111中并可在所述处理器110上运行的计算机程序112。所述处理器110执行所述计算机程序112时实现上述各个方法实施例中的步骤，例如图5所示的步骤101至步骤105。或者图6所示的步骤201至步骤205；或者，所述处理器110执行所述计算机程序112时实现上述装置实施例中各模块/单元的功能，例如上述实施例所示训练单元、更新单元和检测单元的功能。
示例性的，所述计算机程序112可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器111中，并由所述处理器110执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序112在所述终端设备11中的执行过程。例如，所述计算机程序112可以被分割成训练单元、更新单元、检测单元，示例性的：
训练单元，用于将第一图像输入目标检测模型，输出包含至少一个第一斜框的第一图像，其中，第一图像为训练集中的图像，RPN网络用于生成第一图像上具有初始顺序的4个第一目标点，基于4个第一目标点的第一坐标和4个第一目标点的最小外接矩形得到4个目标点的目标顺序，具有目标顺序的4个第一目标点用于生成第一斜框；
更新单元，用于根据第一斜框的4个顶点的第二坐标和第一图像上标定的标签点的标签坐标之间的距离偏差，反向更新目标检测模型中的参数，得到训练后的目标检测模型；
检测单元，用于将第二图像输入训练后的目标检测模型，输出包含至少一个第二斜框的第二图像，其中，第二图像为待目标检测的图像，第二斜框中包含第二图像上的目标，RPN网络用于生成第二图像上具有初始顺序的4个第二目标点，基于4个第二目标点的初始顺序和顺序偏差，得到4个第二目标点的目标顺序，顺序偏差为4个第一目标点的目标顺序和4个第一目标点的初始顺序之间的偏差，具有目标顺序的4个第二目标点的目标顺序用于生成第二斜框。
上述单元的其他功能不再赘述。
所述终端设备包括但不仅限于处理器110、存储器111。本领域技术人员可以理解，图11仅仅是终端设备11的一个示例，并不构成对终端设备11的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备11还可以包括输入设备、输出设备、网络接入设备、总线等。
所述处理器110可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器111可以是所述终端设备11的内部存储单元，例如终端设备11的硬盘或内存。所述存储器111也可以是所述终端设备11的外部存储设备，例如所述终端设备11上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器111还可以既包括所述终端设备11的内部存储单元也包括外部存储设备。所述存储器111用于存储所述计算机程序以及所述终端设备11所需的其他程序和数据。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的终端设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被一个或多个处理器执行时，可实现上述各个方法实施例的步骤。
同样，作为一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种目标检测方法，其特征在于，应用于包含RPN网络的目标检测模型，所述方法包括：
将第一图像输入所述目标检测模型，输出包含至少一个第一斜框的所述第一图像，其中，所述第一图像为训练集中的图像，所述RPN网络用于生成所述第一图像上具有初始顺序的4个第一目标点，基于所述4个第一目标点的第一坐标和所述4个第一目标点的最小外接矩形得到所述4个目标点的目标顺序，具有所述目标顺序的4个第一目标点用于生成所述第一斜框；
根据所述第一斜框的4个顶点的第二坐标和所述第一图像上标定的标签点的标签坐标之间的距离偏差，反向更新所述目标检测模型中的参数，得到训练后的目标检测模型；
将第二图像输入所述训练后的目标检测模型，输出包含至少一个第二斜框的所述第二图像，其中，所述第二图像为待目标检测的图像，所述第二斜框中包含所述第二图像上的目标，所述RPN网络用于生成所述第二图像上具有初始顺序的4个第二目标点，基于所述4个第二目标点的初始顺序和顺序偏差，得到所述4个第二目标点的目标顺序，所述顺序偏差为所述4个第一目标点的目标顺序和所述4个第一目标点的初始顺序之间的偏差，具有所述目标顺序的所述4个第二目标点的目标顺序用于生成所述第二斜框。
2.如权利要求1所述的方法，其特征在于，所述目标检测模型包括：依次连接的特征提取网络、采用ORN算法的RPN网络、ROI Align网络和回归网络，其中，所述ROI Align网络的输入还包括所述特征提取网络的输出；所述将第一图像输入所述目标检测模型，输出包含至少一个第一斜框的所述第一图像，包括：
通过所述特征提取网络提取所述第一图像的第一特征图；
通过所述RPN网络对所述第一特征图进行处理，得到所述第一图像上具有目标顺序的4个第一目标点；
将所述第一特征图和所述第一图像上具有目标顺序的4个第一目标点的第三坐标输入所述ROI Align网络和回归网络，得到包含至少一个第一斜框的所述第一图像。
3.如权利要求2所述的方法，其特征在于，所述通过所述RPN网络对所述第一特征图进行处理，得到所述第一图像上具有目标顺序的4个第一目标点，包括：
采用凸包法计算所述第一图像上的4个第一目标点的初始顺序，所述4个第一目标点的初始顺序包含所述4个第一目标点的相对顺序；
在所述4个第一目标点的相对顺序不变的情况下，改变所述4个第一目标点的初始顺序，得到所述4个第一目标点的至少3组绝对顺序，所述绝对顺序包括所述初始顺序；
计算所述4个第一目标点在所述绝对顺序下与所述4个第一目标点的最小外接矩形之间的距离偏差；
将所述4个第一目标点的所述距离偏差最小的绝对顺序作为所述目标顺序。
4.如权利要求3所述的方法，其特征在于，所述在所述4个第一目标点的相对顺序不变的情况下，改变所述4个第一目标点的初始顺序，得到所述4个第一目标点的至少3组绝对顺序，包括：
将所述初始顺序下的所述4个第一目标点分别向前循环移动一位，得到所述4个第一目标点的第一顺序；
将所述初始顺序下的所述4个第一目标点分别向后循环移动一位，得到所述4个第一目标点的第二顺序，所述4个第一目标点的至少3组绝对顺序包括所述第一顺序、所述第二顺序和所述初始顺序。
5.如权利要求3所述的方法，其特征在于，所述计算所述4个第一目标点在所述绝对顺序下与所述4个第一目标点的最小外接矩形之间的距离偏差，包括：
将所述绝对顺序中的第一个目标点在x轴上的投影值减去所述最小外接矩形的中心点在x轴上的投影值得到所述第一个目标点的第一偏差；
将所述绝对顺序中的第二个目标点在y轴上的投影值减去所述最小外接矩形的中心点在y轴上的投影值得到所述第二个目标点的第二偏差；
将所述绝对顺序中的第三个目标点在x轴上的投影值减去所述最小外接矩形的中心点在x轴上的投影值得到所述第三个目标点的第三偏差；
将所述绝对顺序中的第四个目标点在y轴上的投影值减去所述最小外接矩形的中心点在y轴上的投影值得到所述第四个目标点的第四偏差；
计算所述第一偏差的绝对值、所述第二偏差的绝对值、所述第三偏差的绝对值和所述第四偏差的绝对值之和，得到所述距离偏差。
6.如权利要求4所述的方法，其特征在于，所述顺序偏差为所述4个第一目标点的距离偏差最小的绝对顺序对应的循环移位方式；所述将第二图像输入所述训练后的目标检测模型，输出包含至少一个第二斜框的所述第二图像，包括：
通过所述特征提取网络提取所述第二图像的第二特征图；
通过所述RPN网络对所述第二特征图进行处理，得到所述第一图像上具有初始顺序的4个第二目标点；
通过所述RPN网络根据所述顺序偏差反向计算所述4个第二目标点的目标顺序；
将所述第二特征图和所述第二图像上具有目标顺序的4个第二目标点的第四坐标输入所述ROI Align网络和回归网络，得到包含至少一个第二斜框的所述第二图像。
7.如权利要求1所述的方法，其特征在于，所述特征提取网络包括依次连接的分块层和连续N个阶段提取网络，第一个阶段提取网络包括依次连接的Linear Embedding层和SwinTransformer Block模块，第N-1个至第N个阶段提取网络包括依次连接的Patch Merging层和至少两个Swin Transformer Block模块。
8.如权利要求7所述的方法，其特征在于，所述Swin Transformer Block模块包括连接的两个子单元，其中，第一个子单元包括：依次连接的LN层、W-MSA层、LN层和MLP层；第二个子单元包括依次连接的LN层、SW-MSA层、LN层和MLP层。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现如权利要求1至8任一项所述方法的步骤。
CN202210335719.5A 2022-03-31 2022-03-31 一种目标检测方法、终端设备及存储介质 Pending CN114693919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210335719.5A CN114693919A (zh) 2022-03-31 2022-03-31 一种目标检测方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210335719.5A CN114693919A (zh) 2022-03-31 2022-03-31 一种目标检测方法、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN114693919A true CN114693919A (zh) 2022-07-01

Family

ID=82141717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210335719.5A Pending CN114693919A (zh) 2022-03-31 2022-03-31 一种目标检测方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN114693919A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115907507A (zh) * 2022-10-13 2023-04-04 华中科技大学 一种联合课堂场景的学生课堂行为检测和学情分析方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115907507A (zh) * 2022-10-13 2023-04-04 华中科技大学 一种联合课堂场景的学生课堂行为检测和学情分析方法
CN115907507B (zh) * 2022-10-13 2023-11-14 华中科技大学 一种联合课堂场景的学生课堂行为检测和学情分析方法

Similar Documents

Publication Publication Date Title
CN107895191B (zh) 一种信息处理方法及相关产品
CN112560980B (zh) 目标检测模型的训练方法、装置及终端设备
CN111310775A (zh) 数据训练方法、装置、终端设备及计算机可读存储介质
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
JP6493163B2 (ja) 粗密探索方法および画像処理装置
CN112183517B (zh) 证卡边缘检测方法、设备及存储介质
CN110991533A (zh) 图像识别方法、识别装置、终端设备及可读存储介质
CN111598076B (zh) 一种标签图像中日期检测处理方法及装置
CN112686176B (zh) 目标重识别方法、模型训练方法、装置、设备及存储介质
CN115147598A (zh) 目标检测分割方法、装置、智能终端及存储介质
US6668020B2 (en) Method for motion estimation in video coding
CN115759148B (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN112001331A (zh) 图像识别方法、装置、设备及存储介质
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN114359048A (zh) 图像的数据增强方法、装置、终端设备及存储介质
CN114693919A (zh) 一种目标检测方法、终端设备及存储介质
US20100021058A1 (en) Method and Apparatus for Image Processing
CN114494823A (zh) 零售场景下的商品识别检测计数方法及系统
CN114758145A (zh) 一种图像脱敏方法、装置、电子设备及存储介质
CN112686314B (zh) 基于远距离拍摄场景的目标检测方法、装置及存储介质
CN112200004A (zh) 图像检测模型的训练方法、装置及终端设备
CN114549429B (zh) 基于超图结构的深度数据质量评价方法及装置
CN112816959B (zh) 用于车辆的聚类方法、装置、设备和存储介质
CN111079771B (zh) 点读图像的特征提取方法、系统、终端设备及存储介质
CN113807407A (zh) 目标检测模型训练方法、模型性能检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination