CN111339891A - 一种图像数据的目标检测方法及相关装置 - Google Patents

一种图像数据的目标检测方法及相关装置 Download PDF

Info

Publication number
CN111339891A
CN111339891A CN202010106107.XA CN202010106107A CN111339891A CN 111339891 A CN111339891 A CN 111339891A CN 202010106107 A CN202010106107 A CN 202010106107A CN 111339891 A CN111339891 A CN 111339891A
Authority
CN
China
Prior art keywords
convolution
result
full
network
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010106107.XA
Other languages
English (en)
Inventor
张润泽
郭振华
吴楠
赵雅倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010106107.XA priority Critical patent/CN111339891A/zh
Publication of CN111339891A publication Critical patent/CN111339891A/zh
Priority to PCT/CN2020/098445 priority patent/WO2021164168A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像数据的目标检测方法，包括：采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框；分别采用卷积网络和全连接网络根据所述初始候选框对所述待检测图像进行检测处理，分别得到卷积分类结果、卷积回归结果、全连接分类结果和全连接回归结果；通过得分函数对所述卷积分类结果、所述卷积回归结果、所述全连接分类结果和所述全连接回归结果进行筛选，得到分类结果和回归结果。通过将无锚框目标检测算法和两阶段目标检测算法进行结合，在保证目标检测效率的前提下提高目标检测的精度和准确率。本申请还公开了一种图像数据的目标检测装置、服务器以及计算机可读存储介质，具有以上有益效果。

Description

一种图像数据的目标检测方法及相关装置
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像数据的目标检测方法、目标检测装置、服务器以及计算机可读存储介质。
背景技术
随着信息技术的不断发展，采用计算机可以处理越来越多的复杂任务。其中，就包括计算机视觉技术，即通过计算机对图像进行处理识别出图像中的内容。在计算机视觉技术中首先被考虑的就是目标检测技术，在计算机视觉领域处于相当重要的地位，是计算机视觉的基础领域，对于分割、跟踪等其它视觉任务也具有一定的启发意义。
目前主流通用目标检测技术主要分为单阶段的目标检测技术及两阶段的目标检测技术。单阶段目标检测不产生初始候选框，而是直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度；两阶段方法则是分为两个阶段，第一阶段为图像每个像素点人工设置锚框，产生初始候选框，第二阶段则是对初始候选框进行进一步修正。由于两阶段经历一个由粗到精的过程，因而精度相对较高，但是检测速度较慢。
因此，如何在保持目标检测精度的情况下提高两阶段目标检测过程的速度是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种图像数据的目标检测方法、目标检测装置、服务器以及计算机可读存储介质，通过将无锚框目标检测算法和两阶段目标检测算法进行结合，在保证目标检测效率的前提下提高目标检测的精度和准确率。
为解决上述技术问题，本申请提供一种图像数据的目标检测方法，包括：
采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框；
分别采用卷积网络和全连接网络根据所述初始候选框对所述待检测图像进行检测处理，分别得到卷积分类结果、卷积回归结果、全连接分类结果和全连接回归结果；
通过得分函数对所述卷积分类结果、所述卷积回归结果、所述全连接分类结果和所述全连接回归结果进行筛选，得到分类结果和回归结果。
可选的，采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框，包括：
采用所述无锚框目标检测网络对所述待检测图像进行处理，得到所述初始候选框；其中，所述无锚框目标检测网络为采用RPN损失函数训练得到的网络。
可选的，采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框，包括：
将中心点损失引入RPN损失中，得到中心点RPN损失；
采用所述无锚框目标检测网络对所述待检测图像进行处理，得到所述初始候选框；其中，所述无锚框目标检测网络为采用所述中心点RPN损失训练得到的网络。
可选的，分别采用卷积网络和全连接网络根据所述初始候选框对所述待检测图像进行检测处理，分别得到卷积分类结果、卷积回归结果、全连接分类结果和全连接回归结果，包括：
采用所述卷积网络根据所述初始候选框对所述待检测图像进行检测处理，得到所述卷积分类结果、所述卷积回归结果；其中，卷积网络由3个残差模块和2个非局部卷积模块交叉连接获得；
采用所述全连接网络根据所述初始候选框对所述待检测图像进行检测处理，得到所述全连接分类结果和所述全连接回归结果。
可选的，还包括：
采用卷积损失根据训练数据进行训练，得到所述卷积网络；
采用全连接损失根据训练数据进行训练，得到所述全连接网络。
可选的，通过得分函数对所述卷积分类结果、所述卷积回归结果、所述全连接分类结果和所述全连接回归结果进行筛选，得到分类结果和回归结果，包括：
根据得分函数对所述卷积分类结果、所述卷积回归结果、所述全连接分类结果和所述全连接回归结果进行计算，得到分别得到所述卷积分类结果的得分、所述卷积回归结果的得分、所述全连接分类结果的得分和所述全连接回归结果的得分；
根据预设得分标准对所述卷积分类结果的得分、所述卷积回归结果的得分、所述全连接分类结果的得分和所述全连接回归结果的得分进行检查，将符合所述预设得分标准的结果作为分类结果和回归结果。
本申请还提供一种图像数据的目标检测装置，包括：
无锚框处理模块，用于采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框；
分类回归模块，用于分别采用卷积网络和全连接网络根据所述初始候选框对所述待检测图像进行检测处理，分别得到卷积分类结果、卷积回归结果、全连接分类结果和全连接回归结果；
结果筛选模块，用于根据预设得分函数对所述卷积分类结果、所述卷积回归结果、所述全连接分类结果和所述全连接回归结果进行筛选，得到分类结果和回归结果。
可选的，所述无锚框处理模块，包括：
训练单元，用于采用所述无锚框目标检测网络对所述待检测图像进行处理，得到所述初始候选框；
无锚框检测单元，用于采用RPN损失函数训练得到所述无锚框目标检测网络。
可选的，所述分类回归模块，包括:
卷积处理单元，用于采用所述卷积网络根据所述初始候选框对所述待检测图像进行检测处理，得到所述卷积分类结果、所述卷积回归结果；其中，卷积网络由3个残差模块和2个非局部卷积模块交叉连接获得；
全连接处理单元，用于采用所述全连接网络根据所述初始候选框对所述待检测图像进行检测处理，得到所述全连接分类结果和所述全连接回归结果。
本申请还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的目标检测方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的目标检测方法的步骤。
本申请所提供的一种图像数据的目标检测方法，包括：采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框；分别采用卷积网络和全连接网络根据所述初始候选框对所述待检测图像进行检测处理，分别得到卷积分类结果、卷积回归结果、全连接分类结果和全连接回归结果；通过得分函数对所述卷积分类结果、所述卷积回归结果、所述全连接分类结果和所述全连接回归结果进行筛选，得到分类结果和回归结果。
先通过无锚框目标检测网络对待检测图像进行处理，得到初始候选框，而不是在两阶段目标检测过程中采用人工或者其他检测算法识别得到该初始候选框，然后采用卷积网络和全连接网络分别根据初始候选框对待检测图像进行检测处理，得到卷积网络对应的结果和全连接网络对应的结果，在所有结果中进行筛选选择出最优的检测结果，得到分类结果和回归结果，也就是将无锚框目标检测方法和两阶段检测方法进行融合，在提高两阶段目标检测的效率的同时，保证了目标检测算法的准确率和精度。
本申请还提供一种图像数据的目标检测装置、服务器以及计算机可读存储介质，具有以上有益效果，在此不做赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种图像数据的目标检测方法的流程图；
图2为本申请实施例所提供的一种图像数据的目标检测装置的结构示意图。
具体实施方式
本申请的核心是提供一种图像数据的目标检测方法、目标检测装置、服务器以及计算机可读存储介质，通过将无锚框目标检测算法和两阶段目标检测算法进行结合，在保证目标检测效率的前提下提高目标检测的精度和准确率。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，通用目标检测技术主要分为单阶段的目标检测技术及两阶段的目标检测技术。单阶段目标检测不产生初始候选框，而是直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度；两阶段方法则是分为两个阶段，第一阶段为图像每个像素点人工设置锚框，产生初始候选框，第二阶段则是对初始候选框进行进一步修正。由于两阶段经历一个由粗到精的过程，因而精度相对较高，但是检测速度较慢。虽然在现有的两阶段目标检测过程中会采用人为定义的不同尺度、不同长宽比的锚框，以便在一定程度上抑制正负样本失衡的问题。但是，当数量增加训练强度增加后，仍然会存在一定程度上的样本不平衡问题。同时，人工和机器的配合增加了检测的复杂度，也会增加整体过程的时间成本。
因此，本申请提供了一种图像数据的目标检测方法，先通过无锚框目标检测网络对待检测图像进行处理，得到初始候选框，而不是在两阶段目标检测过程中采用人工或者其他检测算法识别得到该初始候选框，然后采用卷积网络和全连接网络分别根据初始候选框对待检测图像进行检测处理，得到卷积网络对应的结果和全连接网络对应的结果，在所有结果中进行筛选选择出最优的检测结果，得到分类结果和回归结果，也就是将无锚框目标检测方法和两阶段检测方法进行融合，在提高两阶段目标检测的效率的同时，保证了目标检测算法的准确率和精度。
请参考图1，图1为本申请实施例所提供的一种图像数据的目标检测方法的流程图。
本实施例中，该方法可以包括：
S101，采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框；
本步骤旨在采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框。也就是，采用无锚框目标检测网络先将目标进行大致的识别，本步骤中的检测过程不需要高精度的目标检测，只需要保证检测过程的效率和速度即可。
对比现有的两阶段目标检测方法，本实施例通过步骤S101实现对特征图上的每一个像素点进行卷积操作，最终对每一个像素点都可以判断是否为前景或者背景，并回归出对应的目标检测框坐标，即本步骤中的初始候选框。进一步的，本实施例中的步骤S101对比现有的一阶检测方式时，本步骤中由于是需要分辨前景与背景，无需进行分类操作，有效的提高了获取初始候选框的效率。同时，另外的两阶段目标检测方法是对每个像素点预设长宽比不同、面积不同的锚框，特征图中每个像素点的候选框数量是K，则一张图像的总的候选框数量是高×宽×K，然后通过采样策略对这些候选框进行筛选，数量庞大的锚框无疑会增大时间复杂度。而本实施例中通过步骤S101即可快速的分辨前景与背景，得到初始候选框，提高了效率，降低了时间成本。
此外，还可以为了抑制正负样本不平衡的问题，在无锚框目标检测网络加入了中心点置信度分支。可以想到的是，本步骤中的无锚框目标检测网络是提前被训练好的网络，其中，为了提高网络的训练精度可以采用不同的损失函数进行训练。
具体的，本实施例中可以采用RPN损失函数进行训练，相应的，本步骤可以包括：
采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框；其中，无锚框目标检测网络为采用RPN损失函数训练得到的网络。
其中，RPN(Region Proposal Network)指的是区域生成网络，可以提高初始候选框的进度和准确性。
进一步，为了提高本步骤中的检测处理的效率和速度，可以预先确定检测的中心点，提高检测的效率。
可选的，本步骤可以包括：
步骤1，将中心点损失引入RPN损失中，得到中心点RPN损失；
步骤2，采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框；其中，无锚框目标检测网络为采用中心点RPN损失训练得到的网络。
本可选方案中，将中心点引入RPN损失中，主要是给RPN损失网络确定进行处理的大致区域，以便提高检测过程的效率。
S102，分别采用卷积网络和全连接网络根据初始候选框对待检测图像进行检测处理，分别得到卷积分类结果、卷积回归结果、全连接分类结果和全连接回归结果；
在S101的基础上，本步骤旨在通过卷积网络和全连接网络根据初始候选框对待检测图像进行最终的目标检测处理，得到卷积网络对应的结果以及全连接网络对应的结果。即每个网络进行检测处理后均会得到分类结果和回归结果。但是每个网络的分类结果和回归结果的精度和准确性也都不相同，本实施例中为了提高精度和准确性，在各个网络中的回归结果和分类结果挑选出最优的结果作为最终的结果。
在现有技术中，第二阶段的分类和回归任务均采用全连接的方式实现。但是，单一全连接的方式容易造成分类结果或回归结果偏差较大，降低准确性和精度。因此，本实施例中采用卷积网络和全连接网络的混合方式进行操作，提高准确性和精度。
进一步的，还可以将卷积网络和全连接网络分配不同的任务。例如，卷积网络执行分类任务，全连接网络执行回归任务。在此基础上，根据卷积网络和全连接网络的特征执行合适的任务，即将全连接网络执行分类任务，卷积网络执行回归任务，以便提高最终的网络执行效果。
一般的，本步骤中可以选的现有技术提供的任意一种卷积网络的网络结构，或全连接网络的网络结构，不做具体限定。
但是，为了提高卷积网络的识别精度和准确性，本步骤可以包括：
采用卷积网络根据初始候选框对待检测图像进行检测处理，得到卷积分类结果、卷积回归结果；其中，卷积网络由3个残差模块和2个非局部卷积模块交叉连接获得；
采用全连接网络根据初始候选框对待检测图像进行检测处理，得到全连接分类结果和全连接回归结果。
可见，本可选方案中主要是对卷积网络的网络结果做进一步的说明。也就是，该卷积网络由3个残差模块和2个非局部卷积模块交叉连接得到的。其中，残差模块和非局部卷积模块均可采用现有技术提供的残差模块和非局部卷积模块，在此不做具体限定。
S103，通过得分函数对卷积分类结果、卷积回归结果、全连接分类结果和全连接回归结果进行筛选，得到分类结果和回归结果。
在S102的基础上，本步骤旨在将得到的所有分类结果和回归结果进行筛选，得到最终的分类结果和回归结果。其中，进行筛选的过程可以是对每个结果进行预测得分的计算，将得分最高的分类结果和回归结果，作为本实施例最终输出的分类结果和回归结果。
因此，本步骤可以包括：
根据得分函数对所述卷积分类结果、所述卷积回归结果、所述全连接分类结果和所述全连接回归结果进行计算，得到分别得到所述卷积分类结果的得分、所述卷积回归结果的得分、所述全连接分类结果的得分和所述全连接回归结果的得分；
根据预设得分标准对所述卷积分类结果的得分、所述卷积回归结果的得分、所述全连接分类结果的得分和所述全连接回归结果的得分进行检查，将符合所述预设得分标准的结果作为分类结果和回归结果。
此外，本实施例还可以包括：
采用卷积损失根据训练数据进行训练，得到卷积网络；
采用全连接损失根据训练数据进行训练，得到全连接网络。
可见，本实施例中主要是说明采用卷积损失和全连接损失分别得到卷积网络和全连接网络。其中，具体的训练过程可以采用现有技术提供的任意一种网络的训练方式，在此不做赘述。
综上，本实施例通过无锚框目标检测网络对待检测图像先进行处理，得到初始候选框，而不是在两阶段目标检测过程中采用人工或者其他检测算法识别得到该初始候选框，然后采用卷积网络和全连接网络分别根据初始候选框对待检测图像进行检测处理，得到卷积网络对应的结果和全连接网络对应的结果，在所有结果中进行筛选选择出最优的检测结果，得到分类结果和回归结果，也就是将无锚框目标检测方法和两阶段检测方法进行融合，在提高两阶段目标检测的效率的同时，保证了目标检测算法的准确率和精度。
以下通过另一具体的实施例，对本申请提供的一种图像数据的目标检测方法做进一步说明。
本实施例的方法主要是采用目标检测算法对图像数据进行识别操作，总体还是基于深度神经网络进行实现。因此，本实施例中首先介绍本实施例应用的网络结构。
本实施例中采用的目标检测网络结构包括无锚框网络，以及与该无锚框网络连接的Double Head网络框架，该Double Head网络框架包括卷积网络和全连接网络。
其中，无锚框网络采用了单阶段的网络框架，即先经过骨干网络提取特征，再利用特征金字塔进行了多尺度的特征描述，最终进行目标框分类和回归任务。本实施例中，由于正负样本的不均衡，分类函数通常采用Focal Loss。由于采用的是无锚框的设计方式，相对于两阶段的人工设计锚框，目标框的召回率较低，并且进行处理的效率及速度较快。最后，将单阶段训练的目标框作为第二阶段的候选框，然后进行进一步的训练。
针对于目标检测任务中的分类和回归任务，本专利采用了Double Head网络框架的方式进行实现。采用Double Head的方式，卷积分支和全连接分支均能产生分类和回归结果，但是分类主要采用全连接分支结果，回归主要采用卷积分支结果。
特别地，对于坐标框回归所用的卷积，本专利采用了残差模块与非局部卷积模块交叉连接的方式。其中，残差模块借鉴了ResNet残差块的方式，非局部卷积模块借鉴了NLNetwork(Non-Local Network非局部卷积网络)的方式，非局部模块摆脱了以往卷积的局部性的限制，借鉴传统滤波的思想，使得特征图能够被更远的特征图所影响。
进一步，为了提高网络结构的训练效果，本实施例中还对每个网络采用的损失函数进行改进。本实施的损失函数分为三部分，Double-Head提供了卷积损失和全连接损失，单阶段网络提供了RPN(RegionProposalNetwork区域生成网络)损失。其中，本实施例中的RPN即为本实施例的两阶段目标检测网络中候选框生成网络。
其中，整体网络结构的损失如以下公式所示：
L＝ωfcLfc+ωconvLconv+Lrpn+C_loss
其中，L为整体网络的损失，Lfc为全连接网络损失，Lconv为卷积网络损失，Lrpn为RPN损失，C_loss为中心损失。
一般的可以将其中的系数定义为，ωfc＝2.0，ωconv＝2.5。
其中，RPN损失如以下公式所示：
Figure BDA0002388225960000101
其中，Lcls是RPN的分类损失，本实施例中采用的是Focal Loss(一种针对样本分布不平衡的损失函数)，Lreg是RPN的回归损失，本实施例中采用的是IOU Loss(Intersectionover Union Loss目标框坐标回归损失函数)。在公式里，Npos表示正样本的数量，λ表示回归损失的平衡因子，本实施例中可以设置为1。ρ是一个指示函数，表示只有正样本才会计算回归损失。px,y为分类得分，
Figure BDA0002388225960000102
为样本标签。tx,y为回归的检测框的坐标，
Figure BDA0002388225960000103
为样本坐标的Ground Truth。
其中，Lcls为Focal Loss(简称FL)，具体的函数形式如下，pt表示检测框是否是前景的概率，γ和αt是用来控制不平衡样本所设的参数。
FL＝-αt(1-pt)γlog(pt)
其中，Lreg为IOU Loss(简称IL)，具体的函数形式如下。其中，I(Intersection)表示检测框与Ground Truth的交集，U(Union)表示检测框与Ground Truth的并集。
Figure BDA0002388225960000111
为了提高初始检测框的质量，本实施例引入中心点损失。
首先定义检测框中心距离边框的距离，l*表示中心点距离检测框左边的距离，r*表示中心点距离检测框右边的距离，t*表示中心点距离检测框上方的距离，b*表示中心点距离检测框下方的距离。中心点损失如下式所示：
Figure BDA0002388225960000112
Figure BDA0002388225960000113
Figure BDA0002388225960000114
对于Double-Head损失函数，本实施例中采用的损失函数与一般的分类损失和回归损失不同，本实施例中是按照卷积及全连接进行区分的。其中卷积损失和全连接损失如下，此处采用λconv及λfc分别来控制卷积损失和全连接损失中分类损失和回归损失的占比。其中，λconv表示卷积损失中的回归损失占比，1-λconv表示卷积损失中的分类损失占比。其中，λfc表示全连接损失中的分类损失占比，1-λfc表示全连接损失中的回归损失。λconv＝0.8，λfc＝0.7。
Figure BDA0002388225960000115
Figure BDA0002388225960000116
其中，
Figure BDA0002388225960000117
和
Figure BDA0002388225960000118
采用的交叉熵损失，
Figure BDA0002388225960000119
和
Figure BDA00023882259600001110
采用的是
Figure BDA00023882259600001111
损失，也是一种目标框坐标回归损失函数。
其中，
Figure BDA00023882259600001112
损失具体为：
Figure BDA00023882259600001113
进一步，具体的训练方式，以COCO(目标检测标准公开数据集)数据集为例，使用SGD(Stochastic Gradient Descent随机梯度下降法)进行训练，初始学习率为0.01。首先固定Double Head，训练带有center loss(中心点损失)的单阶段目标检测框架，然后再打开Double Head将整个网络结构同时进行训练。
预测时候则充分利用卷积和全连接都能产生分类和回归分支的特性。预测时，对于分类任务来说，网络的最终输出为候选框为某一个类别的概率，本实施例中称之为预测得分s。由于全连接分支和卷积分支都会产生预测得分，最终的预测得分按照下式所示：
Figure BDA0002388225960000121
其中，sfc为全连接网络预测得分，sconv为卷积网络预测得分。
可见，本实施例通过无锚框目标检测网络对待检测图像先进行处理，得到初始候选框，而不是在两阶段目标检测过程中采用人工或者其他检测算法识别得到该初始候选框，然后采用卷积网络和全连接网络分别根据初始候选框对待检测图像进行检测处理，得到卷积网络对应的结果和全连接网络对应的结果，在所有结果中进行筛选选择出最优的检测结果，得到分类结果和回归结果，也就是将无锚框目标检测方法和两阶段检测方法进行融合，在提高两阶段目标检测的效率的同时，保证了目标检测算法的准确率和精度。
下面对本申请实施例提供的一种图像数据的目标检测装置进行介绍，下文描述的一种图像数据的目标检测装置与上文描述的一种图像数据的目标检测方法可相互对应参照。
请参考图2，图2为本申请实施例所提供的一种图像数据的目标检测装置的结构示意图。
本实施例中，该装置可以包括：
无锚框处理模块100，用于采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框；
分类回归模块200，用于分别采用卷积网络和全连接网络根据初始候选框对待检测图像进行检测处理，分别得到卷积分类结果、卷积回归结果、全连接分类结果和全连接回归结果；
结果筛选模块300，用于根据预设得分函数对卷积分类结果、卷积回归结果、全连接分类结果和全连接回归结果进行筛选，得到分类结果和回归结果。
可选的，该无锚框处理模块100，可以包括：
训练单元，用于采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框；
无锚框检测单元，用于采用RPN损失函数训练得到无锚框目标检测网络。
可选的，该分类回归模块200，可以包括:
卷积处理单元，用于采用卷积网络根据初始候选框对待检测图像进行检测处理，得到卷积分类结果、卷积回归结果；其中，卷积网络由3个残差模块和2个非局部卷积模块交叉连接获得；
全连接处理单元，用于采用全连接网络根据初始候选框对待检测图像进行检测处理，得到全连接分类结果和全连接回归结果。
本申请实施例还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的目标检测方法的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的目标检测方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种图像数据的目标检测方法、目标检测装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种图像数据的目标检测方法，其特征在于，包括：
采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框；
分别采用卷积网络和全连接网络根据所述初始候选框对所述待检测图像进行检测处理，分别得到卷积分类结果、卷积回归结果、全连接分类结果和全连接回归结果；
通过得分函数对所述卷积分类结果、所述卷积回归结果、所述全连接分类结果和所述全连接回归结果进行筛选，得到分类结果和回归结果。
2.根据权利要求1所述的目标检测方法，其特征在于，采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框，包括：
采用所述无锚框目标检测网络对所述待检测图像进行处理，得到所述初始候选框；其中，所述无锚框目标检测网络为采用RPN损失函数训练得到的网络。
3.根据权利要求1所述的目标检测方法，其特征在于，采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框，包括：
将中心点损失引入RPN损失中，得到中心点RPN损失；
采用所述无锚框目标检测网络对所述待检测图像进行处理，得到所述初始候选框；其中，所述无锚框目标检测网络为采用所述中心点RPN损失训练得到的网络。
4.根据权利要求1所述的目标检测方法，其特征在于，分别采用卷积网络和全连接网络根据所述初始候选框对所述待检测图像进行检测处理，分别得到卷积分类结果、卷积回归结果、全连接分类结果和全连接回归结果，包括：
采用所述卷积网络根据所述初始候选框对所述待检测图像进行检测处理，得到所述卷积分类结果、所述卷积回归结果；其中，卷积网络由3个残差模块和2个非局部卷积模块交叉连接获得；
采用所述全连接网络根据所述初始候选框对所述待检测图像进行检测处理，得到所述全连接分类结果和所述全连接回归结果。
5.根据权利要求1所述的目标检测方法，其特征在于，还包括：
采用卷积损失根据训练数据进行训练，得到所述卷积网络；
采用全连接损失根据训练数据进行训练，得到所述全连接网络。
6.根据权利要求1所述的目标检测方法，其特征在于，通过得分函数对所述卷积分类结果、所述卷积回归结果、所述全连接分类结果和所述全连接回归结果进行筛选，得到分类结果和回归结果，包括：
根据得分函数对所述卷积分类结果、所述卷积回归结果、所述全连接分类结果和所述全连接回归结果进行计算，得到分别得到所述卷积分类结果的得分、所述卷积回归结果的得分、所述全连接分类结果的得分和所述全连接回归结果的得分；
根据预设得分标准对所述卷积分类结果的得分、所述卷积回归结果的得分、所述全连接分类结果的得分和所述全连接回归结果的得分进行检查，将符合所述预设得分标准的结果作为分类结果和回归结果。
7.一种图像数据的目标检测装置，其特征在于，包括：
无锚框处理模块，用于采用无锚框目标检测网络对待检测图像进行处理，得到初始候选框；
分类回归模块，用于分别采用卷积网络和全连接网络根据所述初始候选框对所述待检测图像进行检测处理，分别得到卷积分类结果、卷积回归结果、全连接分类结果和全连接回归结果；
结果筛选模块，用于根据预设得分函数对所述卷积分类结果、所述卷积回归结果、所述全连接分类结果和所述全连接回归结果进行筛选，得到分类结果和回归结果。
8.根据权利要求7所述的目标检测装置，其特征在于，所述无锚框处理模块，包括：
训练单元，用于采用所述无锚框目标检测网络对所述待检测图像进行处理，得到所述初始候选框；
无锚框检测单元，用于采用RPN损失函数训练得到所述无锚框目标检测网络。
9.一种服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的目标检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的目标检测方法的步骤。
CN202010106107.XA 2020-02-20 2020-02-20 一种图像数据的目标检测方法及相关装置 Pending CN111339891A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010106107.XA CN111339891A (zh) 2020-02-20 2020-02-20 一种图像数据的目标检测方法及相关装置
PCT/CN2020/098445 WO2021164168A1 (zh) 2020-02-20 2020-06-28 一种图像数据的目标检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010106107.XA CN111339891A (zh) 2020-02-20 2020-02-20 一种图像数据的目标检测方法及相关装置

Publications (1)

Publication Number Publication Date
CN111339891A true CN111339891A (zh) 2020-06-26

Family

ID=71185559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010106107.XA Pending CN111339891A (zh) 2020-02-20 2020-02-20 一种图像数据的目标检测方法及相关装置

Country Status (2)

Country Link
CN (1) CN111339891A (zh)
WO (1) WO2021164168A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001448A (zh) * 2020-08-26 2020-11-27 大连信维科技有限公司 一种形状规则小物体检测方法
WO2021164168A1 (zh) * 2020-02-20 2021-08-26 苏州浪潮智能科技有限公司 一种图像数据的目标检测方法及相关装置
CN114399697A (zh) * 2021-11-25 2022-04-26 北京航空航天大学杭州创新研究院 一种基于运动前景的场景自适应目标检测方法
WO2022198786A1 (zh) * 2021-03-25 2022-09-29 平安科技（深圳）有限公司 目标物检测方法、装置、电子设备及存储介质
CN116385952A (zh) * 2023-06-01 2023-07-04 华雁智能科技(集团)股份有限公司 配网线路小目标缺陷检测方法、装置、设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989558B (zh) * 2021-10-28 2024-04-30 哈尔滨工业大学 基于迁移学习与边界框调节的弱监督目标检测方法
CN114066900A (zh) * 2021-11-12 2022-02-18 北京百度网讯科技有限公司 图像分割方法、装置、电子设备和存储介质
CN114445371A (zh) * 2022-01-27 2022-05-06 安徽大学 基于椭圆交并比的遥感图像目标检测方法及装置
CN114648685B (zh) * 2022-03-23 2024-07-12 成都臻识科技发展有限公司 一种anchor-free算法转换为anchor-based算法的方法及系统
CN115017540B (zh) * 2022-05-24 2024-07-02 贵州大学 一种轻量级隐私保护目标检测方法和系统
CN114863136A (zh) * 2022-05-25 2022-08-05 中国人民解放军陆军炮兵防空兵学院 一种基于对角线网络的无锚框目标检测方法及系统
CN115901789A (zh) * 2022-12-28 2023-04-04 东华大学 基于机器视觉的布匹瑕疵检测系统
CN116079749B (zh) * 2023-04-10 2023-06-20 南京师范大学 基于聚类分离条件随机场的机器人视觉避障方法及机器人
CN116883393B (zh) * 2023-09-05 2023-12-01 青岛理工大学 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN118397257B (zh) * 2024-06-28 2024-09-27 武汉卓目科技股份有限公司 Sar图像舰船目标检测方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228641A1 (en) * 2016-02-04 2017-08-10 Nec Laboratories America, Inc. Distance metric learning with n-pair loss
CN110633731A (zh) * 2019-08-13 2019-12-31 杭州电子科技大学 一种基于交错感知卷积的单阶段无锚框目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
CN111339891A (zh) * 2020-02-20 2020-06-26 苏州浪潮智能科技有限公司 一种图像数据的目标检测方法及相关装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228641A1 (en) * 2016-02-04 2017-08-10 Nec Laboratories America, Inc. Distance metric learning with n-pair loss
CN110633731A (zh) * 2019-08-13 2019-12-31 杭州电子科技大学 一种基于交错感知卷积的单阶段无锚框目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUE WU 等: "Rethinking Classification and Localization for Object Detection", 《HTTPS://ARXIV.ORG/ABS/1904.06493V3》 *
ZHI TIAN 等: "FCOS: Fully Convolutional One-Stage Object Detection", 《HTTPS://ARXIV.ORG/ABS/1904.01355V5》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164168A1 (zh) * 2020-02-20 2021-08-26 苏州浪潮智能科技有限公司 一种图像数据的目标检测方法及相关装置
CN112001448A (zh) * 2020-08-26 2020-11-27 大连信维科技有限公司 一种形状规则小物体检测方法
WO2022198786A1 (zh) * 2021-03-25 2022-09-29 平安科技（深圳）有限公司 目标物检测方法、装置、电子设备及存储介质
CN114399697A (zh) * 2021-11-25 2022-04-26 北京航空航天大学杭州创新研究院 一种基于运动前景的场景自适应目标检测方法
CN116385952A (zh) * 2023-06-01 2023-07-04 华雁智能科技(集团)股份有限公司 配网线路小目标缺陷检测方法、装置、设备及存储介质
CN116385952B (zh) * 2023-06-01 2023-09-01 华雁智能科技(集团)股份有限公司 配网线路小目标缺陷检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2021164168A1 (zh) 2021-08-26

Similar Documents

Publication Publication Date Title
CN111339891A (zh) 一种图像数据的目标检测方法及相关装置
CN108985135A (zh) 一种人脸检测器训练方法、装置及电子设备
CN110147726A (zh) 业务质检方法和装置、存储介质及电子装置
CN111259772B (zh) 图像标注方法、装置、设备和介质
CN112669275B (zh) 基于YOLOv3算法的PCB表面缺陷检测方法及装置
CN112906823B (zh) 目标对象识别模型训练方法、识别方法及识别装置
CN107784321A (zh) 数字绘本快速识别方法、系统及计算机可读存储介质
CN110991506A (zh) 一种车辆品牌识别方法、装置、设备及存储介质
CN112037180B (zh) 染色体分割方法及装置
CN110097108A (zh) 非机动车的识别方法、装置、设备及存储介质
CN115496891A (zh) 一种小麦倒伏程度分级方法和装置
CN111582315A (zh) 样本数据处理方法、装置及电子设备
CN111126271B (zh) 卡口抓拍图像车辆检测方法、计算机存储介质及电子设备
CN117252847A (zh) 一种上颌前牙牙槽骨缺损检测与识别方法及装置
CN111081286B (zh) 用于人工智能教学的视频编辑系统
CN117058069A (zh) 一种全景影像中路面表观病害自动检测方法
US20230244932A1 (en) Image occlusion method, model training method, device, and storage medium
CN116935157A (zh) 一种基于PConv-YOLOv7的路面病害检测方法
CN111046262A (zh) 一种数据标注方法、装置及计算机存储介质
CN116777814A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
JP2006268053A (ja) 地形データ処理方法
CN116704248B (zh) 一种基于多语义不平衡学习的血清样本图像分类方法
CN110968690A (zh) 词语的聚类划分方法和装置、设备以及存储介质
CN108470177A (zh) 一种图像处理中的反光帧处理方法
CN117746066B (zh) 一种扩散模型引导的高速车辆检测集成学习方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626

RJ01 Rejection of invention patent application after publication