CN111860287A - 一种目标检测方法及装置、存储介质 - Google Patents

一种目标检测方法及装置、存储介质 Download PDF

Info

Publication number
CN111860287A
CN111860287A CN202010685749.XA CN202010685749A CN111860287A CN 111860287 A CN111860287 A CN 111860287A CN 202010685749 A CN202010685749 A CN 202010685749A CN 111860287 A CN111860287 A CN 111860287A
Authority
CN
China
Prior art keywords
probability
frame
target
anchor point
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010685749.XA
Other languages
English (en)
Inventor
刘君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010685749.XA priority Critical patent/CN111860287A/zh
Publication of CN111860287A publication Critical patent/CN111860287A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请实施例公开了一种目标检测方法及装置、存储介质，方法包括：利用预设卷积神经网络对检测图像进行特征提取，得到特征图；获取特征图中每个单元的锚点框，以及预设卷积神经网络对每个锚点框预测的包含检测目标的有效目标概率，得到多个锚点框和多个有效目标概率；利用多个有效目标概率，从多个锚点框中选取满足预设概率条件的锚点框；在从多个锚点框中选取出至少一个锚点框的情况下，利用至少一个锚点框，确定包含检测目标的目标框。

Description

一种目标检测方法及装置、存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种目标检测方法及装置、存储介质。
背景技术
目标检测，即从图像中找出所有感兴趣的物体，包含物体定位和物体分类两部分，可以同时确定图像中物体的类别和位置。
YOLOv3是一种基于卷积神经网络，广泛应用于目标检测的方案，其整个目标检测的过程可以划分为两大部分：第一部分为基于卷积神经网络输出三个特征图，第二部分为基于第一部分输出的特征图，进行解码，从而输出目标检测框的位置坐标和目标类别，完成目标检测的任务。
然而，上述目标检测方案中，第二部分特征图解码的过程需要对特征图提供的全部锚点框进行处理，其计算过程相对比较耗时，对目标检测的速度有一定的影响。
发明内容
本申请实施例提供一种目标检测方法及装置、存储介质，提高了目标检测的速度。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种目标检测方法，所述方法包括：
利用预设卷积神经网络对检测图像进行特征提取，得到特征图；
获取所述特征图中每个单元的锚点框，以及所述预设卷积神经网络对每个锚点框预测的包含检测目标的有效目标概率，得到多个锚点框和多个有效目标概率；
利用所述多个有效目标概率，从所述多个锚点框中选取满足预设概率条件的锚点框；
在从所述多个锚点框中选取出至少一个锚点框的情况下，利用所述至少一个锚点框，确定包含所述检测目标的目标框。
在上述方法中，所述利用所述多个有效目标概率，从所述多个锚点框中选取满足预设概率条件的锚点框，包括：
从所述多个有效目标概率中，选取大于第一预设概率的有效目标概率；
在从所述多个有效目标概率中选取出至少一个有效目标概率的情况下，从所述多个锚点框中，选取出所述至少一个有效目标概率中每个有效目标概率对应的锚点框。
在上述方法中，所述从所述多个有效目标概率中，选取大于第一预设概率的有效目标概率之前，所述方法还包括：
获取预设筛选概率；
利用所述预设筛选概率，确定所述第一预设概率。
在上述方法中，利用所述至少一个锚点框，确定包含所述检测目标的目标框，包括：
获取所述预设卷积神经网络对所述至少一个锚点框中，每个锚点框预测的一组类别概率和一组坐标变换信息，得到至少一组类别概率和至少一组坐标变换信息；
针对所述至少一个锚点框中每个锚点框，将所述多个有效目标概率中对应的有效目标概率变换为第一类型概率，得到至少一个第一类型概率；
针对所述至少一个锚点框中每个锚点框，将所述至少一组类别概率中对应的一组类别概率包含的最大概率变换为第二类型概率，得到至少一个第二类型概率；
将所述至少一个锚点框中每个锚点框，利用所述至少一组坐标变换信息中对应的一组坐标变换信息进行坐标变换，得到至少一个检测框；
利用所述至少一个第一类型概率和所述至少一个第二类型概率，从所述至少一个检测框中选取出所述目标框。
在上述方法中，所述利用所述至少一个第一类型概率和所述至少一个第二类型概率，从所述至少一个检测框中选取出所述目标框，包括：
针对所述至少一个检测框中每个检测框，根据所述至少一个第一类型概率和所述至少一个第二类型概率中对应的概率确定综合概率，得到至少一个综合概率；
利用所述至少一个综合概率，从所述至少一个检测框中确定出至少一个候选框；
对所述至少一个候选框进行非极大值抑制筛选，并将筛选出的每个候选框确定为所述目标框。
在上述方法中，针对所述至少一个检测框中每个检测框，根据所述至少一个第一类型概率和所述至少一个第二类型概率中对应的概率确定综合概率，得到至少一个综合概率，包括：
针对所述至少一个检测框中每个检测框，确定所述至少一个第一类型概率中对应的第一类型概率，与所述至少一个第二类型概率中对应的第二类型概率之积，得到至少一个乘积概率；
将所述至少一个乘积概率中每个乘积概率确定为一个综合概率，得到所述至少一个综合概率。
在上述方法中，所述利用所述至少一个综合概率，从所述至少一个检测框中确定出至少一个候选框，包括：
从所述至少一个检测框中，选取所述至少一个综合概率中对应综合概率大于第二预设概率的检测框；
将选取出的每个检测框确定为一个候选框，得到所述至少一个候选框。
本申请实施例提供了一种目标检测装置，所述装置包括：
图像处理模块，用于利用预设卷积神经网络对检测图像进行特征提取，得到特征图；
信息获取模块，用于获取所述特征图中每个单元的锚点框，以及所述预设卷积神经网络对每个锚点框预测的包含检测目标的有效目标概率，得到多个锚点框和多个有效目标概率；
边框选取模块，用于利用所述多个有效目标概率，从所述多个锚点框中选取满足预设概率条件的锚点框；
目标确定模块，用于在所述边框选取模块从所述多个锚点框中选取出至少一个锚点框的情况下，利用所述至少一个锚点框，确定包含所述检测目标的目标框。
在上述装置中，所述边框选取模块，具体用于从所述多个有效目标概率中，选取大于第一预设概率有效目标概率；在从所述多个有效目标概率中选取出至少一个有效目标概率的情况下，从所述多个锚点框中，选取出所述至少一个有效目标概率中每个有效目标概率对应的锚点框。
在上述装置中，所述边框选取模块，还用于获取预设筛选概率；利用所述预设筛选概率，确定所述第一预设概率。
在上述装置中，所述目标确定模块，具体用于获取所述预设卷积神经网络对所述至少一个锚点框中，每个锚点框预测的一组类别概率和一组坐标变换信息，得到至少一组类别概率和至少一组坐标变换信息；针对所述至少一个锚点框中每个锚点框，将所述多个有效目标概率中对应的有效目标概率变换为第一类型概率，得到至少一个第一类型概率；针对所述至少一个锚点框中每个锚点框，将所述至少一组类别概率中对应的一组类别概率包含的最大概率变换为第二类型概率，得到至少一个第二类型概率；将所述至少一个锚点框中每个锚点框，利用所述至少一组坐标变换信息中对应的一组坐标变换信息进行坐标变换，得到至少一个检测框；利用所述至少一个第一类型概率和所述至少一个第二类型概率，从所述至少一个检测框中选取出所述目标框。
在上述装置中，所述目标确定模块，具体用于针对所述至少一个检测框中每个检测框，根据所述至少一个第一类型概率和所述至少一个第二类型概率中对应的概率确定综合概率，得到至少一个综合概率；利用所述至少一个综合概率，从所述至少一个检测框中确定出至少一个候选框；对所述至少一个候选框进行非极大值抑制筛选，并将筛选出的每个候选框确定为所述目标框。
在上述装置中，所述目标确定模块，具体用于针对所述至少一个检测框中每个检测框，确定所述至少一个第一类型概率中对应的第一类型概率，与所述至少一个第二类型概率中对应的第二类型概率之积，得到至少一个乘积概率；将所述至少一个乘积概率中每个乘积概率确定为一个综合概率，得到所述至少一个综合概率。
在上述装置中，所述目标确定模块，具体用于从所述至少一个检测框中，选取所述至少一个综合概率中对应综合概率大于第二预设概率的检测框；将选取出的每个检测框确定为一个候选框，得到所述至少一个候选框
本申请实施例提供了一种目标检测装置，所述装置包括处理器、存储器和通信总线；
所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；
所述处理器，用于执行所述存储器中存储的目标检测程序，以实现上述目标检测方法。
本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述目标检测方法。
本申请实施例提供了一种目标检测方法及装置、存储介质，方法包括：利用预设卷积神经网络对检测图像进行特征提取，得到特征图；获取特征图中每个单元的锚点框，以及预设卷积神经网络对每个锚点框预测的包含检测目标的有效目标概率，得到多个锚点框和多个有效目标概率；利用多个有效目标概率，从多个锚点框中选取满足预设概率条件的锚点框；在从多个锚点框中选取出至少一个锚点框的情况下，利用至少一个锚点框，确定包含检测目标的目标框。本申请实施例提供的目标检测方法，在对锚点框进行计算量较大的处理之前，对锚点框进行了筛选，从而降低后续计算量，提高了目标检测的速度。
附图说明
图1为本申请实施例提供的一种目标检测方法的流程示意图；
图2为本申请实施例提供的一种示例性的特征图的结构示意图；
图3为本申请实施例提供的一种确定目标框的流程示意图；
图4为本申请实施例提供的一种示例性的锚点框变换为检测框的变换示意图；
图5为本申请实施例提供的一种目标检测装置的结构示意图一；
图6为本申请实施例提供的一种目标检测装置的结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
本申请实施例提供了一种目标检测方法，通过目标检测装置实现。其中，装置可以是手机、平板电脑等电子设备，本申请实施例不作限定。图1为本申请实施例提供的一种目标检测方法。如图1所示，目标检测方法主要包括以下步骤：
S101、利用预设卷积神经网络对检测图像进行特征提取，得到特征图。
在本申请的实施例中，目标检测装置可以利用预设卷积神经网络对检测图像进行特征提取，从而得到特征图。
需要说明的是，在本申请的实施例中，检测图像为包含人或物等检测目标的图像。目标检测装置可以包括图像采集模块，从而自主采集到检测图像，当然，检测图像也可以是其它电子设备采集到，并传输至目标检测装置。具体的检测图像，以及检测图像的来源本申请实施例不作限定。
需要说明的是，在本申请的实施例中，目标检测装置中存储有预设卷积神经网络。预设卷积神经网络具体可以为预先经过训练的卷积神经网络，目标检测装置将检测图像输入预设卷积神经网络，即可进行特征提取处理，从而输出特征图。预设卷积神经网络可以为目标检测方法YOLOv3中的卷积神经网络的骨干分类网络。具体的预设卷积神经网络本申请实施例不作限定。
需要说明的是，在本申请的实施例中，预设卷积神经网络可以对检测图像进行一种尺度的特征提取，从而得到一个特征图，当然，预设卷积神经网络也可以对检测图像进行多种尺度的特征提取，从而得到多个特征图。具体的特征图数量实际上是根据预设卷积神经网络的结构所确定的，本申请实施例不作限定。
示例性的，在本申请的实施例中，预设卷积神经网络可以对检测图像进行三种不同尺度的特征提取，相应的，得到三个特征图。三个特征图的形状具体为：[1，255，13，13]、[1，255，26，26]，以及[1，255，52，52]。
图2为本申请实施例提供的一种示例性的特征图的结构示意图。如图2所示，特征图的形状为[1，255，13，13]，其中，两个13分别代表特征图的高度和宽度。255为特征图包含的通道数，255＝B×(4+1+80)，其中，B＝3，代表特征图中每个单元包含3个不同尺度的锚点框，4代表一个锚点框变换到一个检测框的一组坐标变换信息包含4个信息tx,ty,tw,th，即锚点框变换到检测框的中心点坐标和宽高的变换信息，1代表有效目标概率Po，80代表一个锚点框对应的一组类别概率p1,p2,…,p80，对应80个类别的概率。
需要说明的是，在本申请的实施例中，小的特征图，例如图2所示的特征图，可以用于检测大目标，大的特征图，例如[1，255，52，52]形状，高度和宽度为52的特征图，可以用于检测小目标。
需要说明的是，在本申请的实施例中，针对于特征图中每个单元的锚点框的数量和尺寸、以及预设卷积神经网络对锚点框预测类别的数量，都是可选的，本申请实施例不作限定。此外，针对于同一特征图，每个单元的锚点框的尺寸是相同的。
需要说明的是，在本申请的实施例中，对于得到的特征图为多个的情况，目标检测装置对每个特征图分别独立进行目标的检测，每个特征图所执行的检测步骤完全相同。
S102、获取特征图中每个单元的锚点框，以及预设卷积神经网络对每个锚点框预测的包含检测目标的有效目标概率，得到多个锚点框和多个有效目标概率。
在本申请的实施例中，目标检测装置在得到特征图之后，可以获取特征图中每个单元的锚点框，以及预设卷积神经网络对每个锚点框预测的包含检测目标的有效目标概率，从而得到多个锚点框和多个有效目标概率。
需要说明的是，在本申请的实施例中，检测目标为检测图像中的人或物，具体的检测目标，以及检测目标的数量可以根据实际需求确定，本申请实施例不作限定。
可以理解的是，在本申请的实施例中，如步骤S101所述，特征图包含255个通道，其中，包含了预设卷积神经网络针对特征图每个单元的锚点框，预测包含检测目标的有效目标概率，因此，目标检测装置可以直接获取到每个锚点框的有效目标概率，得到多个锚点框和多个有效概率，其中，多个锚点框与多个有效目标概率一一对应。
S103、利用多个有效目标概率，从多个锚点框中选取满足预设概率条件的锚点框。
在本申请的实施例中，目标检测装置在获得多个锚点框，以及与多个锚点框一一对应的多个有效目标概率之后，可以利用多个有效目标概率，从多个锚点框中选取满足预设概率条件的锚点框。
具体的，在本申请的实施例中，目标检测装置利用多个有效目标概率，从多个锚点框中选取满足预设概率条件的锚点框，包括：从多个有效目标概率中，选取大于第一预设概率的有效目标概率；在从多个有效目标概率中选取出至少一个有效目标概率的情况下，从多个锚点框中，选取出至少一个有效目标概率中每个有效目标概率对应的锚点框。
可以理解的是，在本申请的实施例中，目标检测装置可以将多个有效目标概率中的每个有效目标概率，分别与第一预设概率进行比较，从而选取大于第一预设概率的有效目标概率，之后，在选取出至少一个有效目标概率的情况下，即可从多个锚点框中选取出与至少一个有效目标概率一一对应的至少一个锚点框，选取出的至少一个锚点框即为满足预设概率条件的锚点框。
需要说明的是，在本申请的实施例中，目标检测装置在从多个有效目标概率中，选取第一预设概率的有效目标概率之前，为了确定第一预设概率，还执行以下步骤：获取预设筛选概率；利用预设筛选概率，确定第一预设概率。
具体的，在本申请的实施例中，预设筛选概率为C，目标检测装置利用预设筛选概率C，确定出的第一预设概率为：
Figure BDA0002587497530000091
相应的，用于选取至少一个有效目标概率的条件可以记为以下公式(1)：
Figure BDA0002587497530000092
其中，Po为锚点框对应的有效目标概率，即从多个有效目标概率中选取满足公式(1)的每个有效目标概率，从而将对应的每个锚点框选取出来。
需要说明的是，在本申请的实施例中，第一预设概率和预设筛选概率也可以是根据实际经验或者其它算法确定的，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，多个有效目标概率中，可能每个有效目标概率均不大于第一预设概率，因此，目标检测装置也就无法从多个锚点框中选取出满足预设概率条件的锚点框，实际上也就表征检测图像中并未包含需要检测目标，例如，物体或人物等，目标检测装置即可结束目标检测。
S104、在从多个锚点框中选取出至少一个锚点框的情况下，利用至少一个锚点框，确定包含检测目标的目标框。
在本申请的实施例中，目标检测装置在从多个锚点框中选取出至少一个锚点框的情况下，即可利用至少一个锚点框，确定包含检测目标的目标框。
图3为本申请实施例提供的一种确定目标框的流程示意图。如图3所示，目标检测装置利用至少一个锚点框，确定包含检测目标的目标框，主要包括以下步骤：
S301、获取预设卷积神经网络对至少一个锚点框中，每个锚点框预测的一组类别概率和一组坐标变换信息，得到至少一组类别概率和至少一组坐标变换信息。
在本申请的实施例中，如上述步骤S101所述，特征图包含255个通道，其中，包含了预设卷积神经网络针对每个锚点框，预测包含的检测目标在80种类别上的概率，此外，还预测了一个锚点框变换到一个检测框的一组坐标变换信息包含4个信息tx,ty,tw,th，即锚点框变换到检测框的中心点坐标和宽高的坐标变换信息，因此，目标检测装置可以直接获取到选取出的至少一个锚点框中每个锚点框对应的一组类别概率和一组坐标变换信息，得到至少一组类别概率和至少一组坐标变换信息。
S302、针对至少一个锚点框中每个锚点框，将多个有效目标概率中对应的有效目标概率变换为第一类型概率，得到至少一个第一类型概率。
在本申请的实施例中，目标检测装置针对至少一个锚点框中每个锚点框，可以分别采用以下公式(2)对其有效目标概率进行概率变换，从而得到相应的第一类型概率：
P1＝δ(Po) (2)
其中，Po为有效目标概率，P1即为第一类型概率。
S303、针对至少一个锚点框中每个锚点框，将至少一组类别概率中对应的一组类别概率包含的最大概率变换为第二类型概率，得到至少一个第二类型概率。
在本申请的实施例中，目标检测装置针对至少一个锚点框中每个锚点框，可以分别采用以下公式(3)对其一组类别概率进行概率变换，从而得到相应的第二类型概率：
P2＝δ(max(p1,p2,…,p80)) (3)
其中，p1,p2,…,p80为锚点框对应的一组类别概率中包含的预测出的80种类别的概率，P2即为第二类型概率。需要说明的是，如公式(3)所示，因为公式(3)采用的S(Sigmoid)型函数为单调函数，因此，实际上是先从一组类别概率中选取最大的类别概率，之后再进行S型函数的变换。
S304、将至少一个锚点框中每个锚点框，利用至少一组坐标变换信息中对应的一组坐标变换信息进行坐标变换，得到至少一个检测框。
在本申请的实施例中，目标检测装置针对至少一个锚点框中每个锚点框，利用对应的一组坐标变换信息(tx,ty,tw,th)可以分别采用以下公式(4)至公式(7)进行坐标变换，从而将变换后的锚点框确定为检测框：
Figure BDA0002587497530000111
Figure BDA0002587497530000112
Figure BDA0002587497530000113
Figure BDA0002587497530000114
其中，tx为锚点框的中心点坐标的横坐标的变换信息，ty为锚点框的中心点坐标的纵坐标的变换信息，tw为锚点框宽的变换信息，th为锚点框高的变换信息，w为特征图的宽，h为特征图的高，Cx为特征图中锚点框对应单元的横坐标，Cy为特征图中锚点框对应单元的纵坐标，mask,bias和anchor_scale均为预设的参数，作用是对检测框的宽和高进行归一化。
需要说明的是，在本申请的实施例中，n和f是根据特征图的尺度和锚点框的尺寸所确定的，n,f∈[0,3)，例如，实际获取到的特征图为三个，而针对每个特征图的每个锚点框均提供了三种不同尺寸的锚点框，在针对不同的特征图时选取不同的n值，在针对不同尺寸的锚点框时选取不同的f值，本申请实施例不作限定。
图4为本申请实施例提供的一种示例性的锚点框变换为检测框的变换示意图。如图4所示，目标检测装置采用上述坐标变换方式，即可将选取出的至少一个锚点框中每个锚点框分别变换为一个检测框，从而得到至少一个检测框。
S305、利用至少一个第一类型概率和至少一个第二类型概率，从至少一个检测框中选取出目标框。
在本申请的实施例中，目标检测装置利用至少一个第一类型概率和至少一个第二类型概率，从至少一个检测框中选取出目标框，包括：针对至少一个检测框中每个检测框，根据至少一个第一类型概率和至少一个第二类型概率中对应的概率确定综合概率，得到至少一个综合概率；利用至少一个综合概率，从至少一个检测框中确定出至少一个候选框；对至少一个候选框进行非极大值抑制筛选，并将筛选出的每个候选框确定为目标框。
具体的，在本申请的实施例中，目标检测装置针对至少一个检测框中每个检测框，根据至少一个第一类型概率和至少一个第二类型概率中对应的概率确定综合概率，得到至少一个综合概率包括：针对至少一个检测框中每个检测框，确定至少一个第一类型概率中对应的第一类型概率，与至少一个第二类型概率中对应的第二类型概率之积，得到至少一个乘积概率；将至少一个乘积概率中每个乘积概率确定为一个综合概率，得到至少一个综合概率。
具体的，在本申请的实施例中，目标检测装置利用至少一个综合概率，从至少一个检测框中确定出至少一个候选框，包括：从至少一个检测框中，选取至少一个综合概率中对应综合概率大于第二预设概率的检测框；将选取出的每个检测框确定为一个候选框，得到至少一个侯选框。
需要说明的是，在本申请的实施例中，目标检测装置可以按照以下公式(8)确定至少一个候选框：
P1×P2>conf_threshold (8)
其中，conf_threshold为第二预设概率。
需要说明的是，在本申请的实施例中，针对于步骤S103中，用于确定第一预设概率的预设筛选概率，可以与第二预设概率相等，这是因为：
目前，在利用YOLOv3进行目标检测的过程中，在对锚点框进行坐标变换生成检测框之后，对检测框进行筛选的条件，与上述公式(8)一致，将公式(8)进行函数展开，可以表示为以下公式(9)：
Figure BDA0002587497530000131
Pmax为max(p1,p2,…,p80)，记
Figure BDA0002587497530000132
由指数函数的特性可知，B∈(0,1)，所以满足以下公式(11)一定满足公式(10)：
Figure BDA0002587497530000133
如果将公式(1)的C确定为conf_threshold，并且，由于S型函数具有单调特性，公式(10)可以等效为上述公式(1)。
具体地，在本申请的实施例中，非极大值抑制筛选之前需要先对所有的候选框基于P2由高到低进行排序。目标检测装置对至少一个候选框进行非极大值抑制筛选，并将筛选出的每个候选框确定为目标框，包括：排好序之后基于P2由高到低逐个候选框进行迭代，计算当前框与其他所有排在后面的候选框的交并比IOU，滤除满足IOU>nms_threshold条件的所有候选框，迭代完毕之后，剩下的候选框即为最终的输出的目标框，且每个目标框中各自包含有一个检测目标。其中，nms_threshold为预设参数，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，目标框中包含的检测目标的类别，实际上就是目标框来源的锚点框，其对应的一组类别概率中的最大概率对应的类别，该类别可能是人、物等，本申请实施例不作限定。
可以理解的是，在本申请的实施例中，目标检测装置在进行概率变换和坐标变换之前，进行了锚点框的筛选，从而有效的滤除大部分的锚点框，再进行后续的概率变换、坐标变换以及相关计算，能够减少极大的计算量。
示例性的，利用预设卷积神经网络对检测图像进行特征提取，得到了三个特征图，分别为：[1，255，13，13]、[1，255，26，26]，以及[1，255，52，52]，每个特征图匹配有三个不同尺度的锚点框，即每个特征图的每个单元对应三个不同尺度的锚点框，如果直接利用所有的锚点框进行后续概率变换等处理，那么需要处理的锚点框数量为(13×13+26×26+52×52)×3＝10647个，而如果采用本申请实施例提供的利用有效目标概率进行筛选，则能够将需要后续处理的锚点框减少至100个左右。
本申请实施例提供了一种目标检测方法，包括：利用预设卷积神经网络对检测图像进行特征提取，得到特征图；获取特征图中每个单元的锚点框，以及预设卷积神经网络对每个锚点框预测的包含检测目标的有效目标概率，得到多个锚点框和多个有效目标概率；利用多个有效目标概率，从多个锚点框中选取满足预设概率条件的锚点框；在从多个锚点框中选取出至少一个锚点框的情况下，利用至少一个锚点框，确定包含检测目标的目标框。本申请实施例提供的目标检测方法，在对锚点框进行计算量较大的处理之前，对锚点框进行了筛选，从而降低后续计算量，提高了目标检测的速度。
本申请实施例提供了一种目标检测装置。图5为本申请实施例提供的一种目标检测装置的结构示意图一。如图5所示，目标检测装置包括：
图像处理模块501，用于利用预设卷积神经网络对检测图像进行特征提取，得到特征图；
信息获取模块502，用于获取所述特征图中每个单元的锚点框，以及所述预设卷积神经网络对每个锚点框预测的包含检测目标的有效目标概率，得到多个锚点框和多个有效目标概率；
边框选取模块503，用于利用所述多个有效目标概率，从所述多个锚点框中选取满足预设概率条件的锚点框；
目标确定模块504，用于在所述边框选择模块503从所述多个锚点框中选取出至少一个锚点框的情况下，利用所述至少一个锚点框，确定包含所述检测目标的目标框。
在本申请一实施例中，所述边框选取模块503，具体用于从所述多个有效目标概率中，选取大于第一预设概率的有效目标概率；在从所述多个有效目标概率中选取出至少一个有效目标概率的情况下，从所述多个锚点框中，选取出所述至少一个有效目标概率中每个有效目标概率对应的锚点框。
在本申请一实施例中，所述边框选取模块503，还用于获取预设筛选概率；利用所述预设筛选概率，确定所述第一预设概率。
在本申请一实施例中，所述目标确定模块504，具体用于获取所述预设卷积神经网络对所述至少一个锚点框中，每个锚点框预测的一组类别概率和一组坐标变换信息，得到至少一组类别概率和至少一组坐标变换信息；针对所述至少一个锚点框中每个锚点框，将所述多个有效目标概率中对应的有效目标概率变换为第一类型概率，得到至少一个第一类型概率；针对所述至少一个锚点框中每个锚点框，将所述至少一组类别概率中对应的一组类别概率包含的最大概率变换为第二类型概率，得到至少一个第二类型概率；将所述至少一个锚点框中每个锚点框，利用所述至少一组坐标变换信息中对应的一组坐标变换信息进行坐标变换，得到至少一个检测框；利用所述至少一个第一类型概率和所述至少一个第二类型概率，从所述至少一个检测框中选取出所述目标框。
在本申请一实施例中，所述目标确定模块504，具体用于针对所述至少一个检测框中每个检测框，根据所述至少一个第一类型概率和所述至少一个第二类型概率中对应的概率确定综合概率，得到至少一个综合概率；利用所述至少一个综合概率，从所述至少一个检测框中确定出至少一个候选框；对所述至少一个候选框进行非极大值抑制筛选，并将筛选出的每个候选框确定为所述目标框。
在本申请一实施例中，所述目标确定模块504，具体用于针对所述至少一个检测框中每个检测框，确定所述至少一个第一类型概率中对应的第一类型概率，与所述至少一个第二类型概率中对应的第二类型概率之积，得到至少一个乘积概率；将所述至少一个乘积概率中每个乘积概率确定为一个综合概率，得到所述至少一个综合概率。
在本申请一实施例中，所述目标确定模块504，具体用于从所述至少一个检测框中，选取所述至少一个综合概率中对应综合概率大于第二预设概率的检测框；将选取出的每个检测框确定为一个候选框，得到所述至少一个候选框。
图6为本申请实施例提供的一种目标检测装置的结构示意图二。如图6所示，目标检测装置包括处理器601、存储器602和通信总线603；
所述通信总线603，用于实现所述处理器601和所述存储器602之间的通信连接；
所述处理器601，用于执行所述存储器602中存储的目标检测程序，以实现上述目标检测方法。
本申请实施例提供了一种目标检测装置，目标检测装置利用预设卷积神经网络对检测图像进行特征提取，得到特征图；获取特征图中每个单元的锚点框，以及预设卷积神经网络对每个锚点框预测的包含检测目标的有效目标概率，得到多个锚点框和多个有效目标概率；利用多个有效目标概率，从多个锚点框中选取满足预设概率条件的锚点框；在从多个锚点框中选取出至少一个锚点框的情况下，利用至少一个锚点框，确定包含检测目标的目标框。本申请实施例提供的目标检测装置，在对锚点框进行计算量较大的处理之前，对锚点框进行了筛选，从而降低后续计算量，提高了目标检测的速度。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述目标检测方法。计算机可读存储介质可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种目标检测方法，其特征在于，所述方法包括：
利用预设卷积神经网络对检测图像进行特征提取，得到特征图；
获取所述特征图中每个单元的锚点框，以及所述预设卷积神经网络对每个锚点框预测的包含检测目标的有效目标概率，得到多个锚点框和多个有效目标概率；
利用所述多个有效目标概率，从所述多个锚点框中选取满足预设概率条件的锚点框；
在从所述多个锚点框中选取出至少一个锚点框的情况下，利用所述至少一个锚点框，确定包含所述检测目标的目标框。
2.根据权利要求1所述的方法，其特征在于，所述利用所述多个有效目标概率，从所述多个锚点框中选取满足预设概率条件的锚点框，包括：
从所述多个有效目标概率中，选取大于第一预设概率的有效目标概率；
在从所述多个有效目标概率中选取出至少一个有效目标概率的情况下，从所述多个锚点框中，选取出所述至少一个有效目标概率中每个有效目标概率对应的锚点框。
3.根据权利要求2所述的方法，其特征在于，所述从所述多个有效目标概率中，选取大于第一预设概率的有效目标概率之前，所述方法还包括：
获取预设筛选概率；
利用所述预设筛选概率，确定所述第一预设概率。
4.根据权利要求1所述的方法，其特征在于，利用所述至少一个锚点框，确定包含所述检测目标的目标框，包括：
获取所述预设卷积神经网络对所述至少一个锚点框中，每个锚点框预测的一组类别概率和一组坐标变换信息，得到至少一组类别概率和至少一组坐标变换信息；
针对所述至少一个锚点框中每个锚点框，将所述多个有效目标概率中对应的有效目标概率变换为第一类型概率，得到至少一个第一类型概率；
针对所述至少一个锚点框中每个锚点框，将所述至少一组类别概率中对应的一组类别概率包含的最大概率变换为第二类型概率，得到至少一个第二类型概率；
将所述至少一个锚点框中每个锚点框，利用所述至少一组坐标变换信息中对应的一组坐标变换信息进行坐标变换，得到至少一个检测框；
利用所述至少一个第一类型概率和所述至少一个第二类型概率，从所述至少一个检测框中选取出所述目标框。
5.根据权利要求4所述的方法，其特征在于，所述利用所述至少一个第一类型概率和所述至少一个第二类型概率，从所述至少一个检测框中选取出所述目标框，包括：
针对所述至少一个检测框中每个检测框，根据所述至少一个第一类型概率和所述至少一个第二类型概率中对应的概率确定综合概率，得到至少一个综合概率；
利用所述至少一个综合概率，从所述至少一个检测框中确定出至少一个候选框；
对所述至少一个候选框进行非极大值抑制筛选，并将筛选出的每个候选框确定为所述目标框。
6.根据权利要求5所述的方法，其特征在于，针对所述至少一个检测框中每个检测框，根据所述至少一个第一类型概率和所述至少一个第二类型概率中对应的概率确定综合概率，得到至少一个综合概率，包括：
针对所述至少一个检测框中每个检测框，确定所述至少一个第一类型概率中对应的第一类型概率，与所述至少一个第二类型概率中对应的第二类型概率之积，得到至少一个乘积概率；
将所述至少一个乘积概率中每个乘积概率确定为一个综合概率，得到所述至少一个综合概率。
7.根据权利要求5所述的方法，其特征在于，所述利用所述至少一个综合概率，从所述至少一个检测框中确定出至少一个候选框，包括：
从所述至少一个检测框中，选取所述至少一个综合概率中对应综合概率大于第二预设概率的检测框；
将选取出的每个检测框确定为一个候选框，得到所述至少一个候选框。
8.一种目标检测装置，其特征在于，所述装置包括：
图像处理模块，用于利用预设卷积神经网络对检测图像进行特征提取，得到特征图；
信息获取模块，用于获取所述特征图中每个单元的锚点框，以及所述预设卷积神经网络对每个锚点框预测的包含检测目标的有效目标概率，得到多个锚点框和多个有效目标概率；
边框选取模块，用于利用所述多个有效目标概率，从所述多个锚点框中选取满足预设概率条件的锚点框；
目标确定模块，用于在所述边框选取模块从所述多个锚点框中选取出至少一个锚点框的情况下，利用所述至少一个锚点框，确定包含所述检测目标的目标框。
9.一种目标检测装置，其特征在于，所述装置包括处理器、存储器和通信总线；
所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；
所述处理器，用于执行所述存储器中存储的目标检测程序，以实现权利要求1-7任一项所述的目标检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的目标检测方法。
CN202010685749.XA 2020-07-16 2020-07-16 一种目标检测方法及装置、存储介质 Pending CN111860287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010685749.XA CN111860287A (zh) 2020-07-16 2020-07-16 一种目标检测方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010685749.XA CN111860287A (zh) 2020-07-16 2020-07-16 一种目标检测方法及装置、存储介质

Publications (1)

Publication Number Publication Date
CN111860287A true CN111860287A (zh) 2020-10-30

Family

ID=72983658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010685749.XA Pending CN111860287A (zh) 2020-07-16 2020-07-16 一种目标检测方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN111860287A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508915A (zh) * 2020-12-11 2021-03-16 中信银行股份有限公司 一种目标检测结果优化方法及系统
CN112672057A (zh) * 2020-12-25 2021-04-16 维沃移动通信有限公司 拍摄方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508915A (zh) * 2020-12-11 2021-03-16 中信银行股份有限公司 一种目标检测结果优化方法及系统
CN112672057A (zh) * 2020-12-25 2021-04-16 维沃移动通信有限公司 拍摄方法及装置
CN112672057B (zh) * 2020-12-25 2022-07-15 维沃移动通信有限公司 拍摄方法及装置

Similar Documents

Publication Publication Date Title
CN110660066B (zh) 网络的训练方法、图像处理方法、网络、终端设备及介质
CN111192292B (zh) 基于注意力机制与孪生网络的目标跟踪方法及相关设备
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP7266668B2 (ja) ビデオ物体の高速検出方法、装置、サーバ及び記憶媒体
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
US9619753B2 (en) Data analysis system and method
CN109214403B (zh) 图像识别方法、装置及设备、可读介质
CN109272060B (zh) 一种基于改进的darknet神经网络进行目标检测的方法和系统
CN112581462A (zh) 工业产品的外观缺陷检测方法、装置及存储介质
CN111860287A (zh) 一种目标检测方法及装置、存储介质
CN112926461B (zh) 神经网络训练、行驶控制方法及装置
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN115147598A (zh) 目标检测分割方法、装置、智能终端及存储介质
CN112036400B (zh) 构建用于目标检测的网络的方法和目标检测方法及系统
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
CN107563324B (zh) 一种复合核结构的超限学习机高光谱图像分类方法及装置
JP5192437B2 (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
CN111597845A (zh) 一种二维码检测方法、装置、设备及可读存储介质
CN110992387B (zh) 一种图像处理方法、装置及电子设备和存储介质
CN113759338A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN110705513A (zh) 视频特征提取方法、装置、可读存储介质和计算机设备
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN112132215B (zh) 一种识别物体类型的方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination