CN111709415A - 目标检测方法、装置、计算机设备和存储介质 - Google Patents
目标检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111709415A CN111709415A CN202010356470.7A CN202010356470A CN111709415A CN 111709415 A CN111709415 A CN 111709415A CN 202010356470 A CN202010356470 A CN 202010356470A CN 111709415 A CN111709415 A CN 111709415A
- Authority
- CN
- China
- Prior art keywords
- features
- group
- feature
- feature fusion
- ith
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 138
- 230000004927 fusion Effects 0.000 claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000011176 pooling Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 13
- 230000001629 suppression Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种目标检测方法、装置、计算机设备和存储介质。该方法包括：对待检测图像进行特征提取，得到n组不同尺度的第一特征，其中，n为大于1的整数；将n组不同尺度的第一特征输入第一特征融合网络，第一特征融合网络包括n个特征融合层，在第n个特征融合层中，将第n组第一特征作为第n组第二特征；在第i‑1个特征融合层中，获取第i组第二特征以及第i组第二特征对应的权重参数，将第i组第二特征与权重参数相乘，并将相乘得到的特征与第i‑1组第一特征融合，得到第i‑1组第二特征，直至得到第1组第二特征；将n组第二特征输入检测网络，得到待检测图像中目标的类别信息和位置信息。该方法有利于提高目标检测的准确性。
Description
技术领域
本申请涉及图像数据处理技术领域，特别是涉及一种目标检测方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的发展，目标检测作为计算机视觉中最基本和首要的任务之一，广泛应用于工业界和日常生活的各个方面，例如自动驾驶、安防监控以及游戏娱乐等领域。
传统技术中，目标检测方法先通过对图像进行卷积处理，得到多个尺度的特征图；接下来，对每个尺度的特征图进行卷积处理和插值处理，并与上一尺度的特征图进行叠加，得到上一尺度融合后的特征图；接下来，将每个尺度融合后的特征图输入检测网络，得到目标检测结果。
然而，在很多复杂场景中，例如多尺度变化场景，由于图像中目标的尺度变化很大，在此情形下采用传统的目标检测方法进行目标检测时，检测的准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高目标检测准确性的目标检测方法、装置、计算机设备和存储介质。
一种目标检测方法，所述方法包括：
对待检测图像进行特征提取，得到n组不同尺度的第一特征，其中，n为大于1的整数；
将所述n组不同尺度的第一特征输入第一特征融合网络，所述第一特征融合网络包括n个特征融合层，在第n个特征融合层中，将第n组第一特征作为第n组第二特征；
在第i-1个特征融合层中，获取第i组第二特征以及所述第i组第二特征对应的权重参数，将所述第i组第二特征与所述权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征，直至得到第1组第二特征；
将n组第二特征输入检测网络，得到所述待检测图像中目标的类别信息和位置信息。
在其中一个实施例中，获取第i组第二特征对应的权重参数，包括：
对所述第i组第二特征进行全局平均池化，得到池化后的特征；
将所述池化后的特征输入全连接网络，得到所述第i组第二特征对应的权重参数。
在其中一个实施例中，将所述第i组第二特征与所述权重参数相乘，包括：
将所述第i组第二特征进行卷积运算，得到卷积后的特征；
将所述卷积后的特征与所述权重参数相乘，得到相乘后的特征。
在其中一个实施例中，在第i-1个特征融合层中，获取第i组第二特征以及所述第i组第二特征对应的权重参数，将所述第i组第二特征与所述权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征，包括：
在第i-1个特征融合层中，获取第i组第二特征以及所述第i组第二特征对应的权重参数，将所述第i组第二特征与所述权重参数相乘，得到相乘后的特征；
对所述相乘后的特征进行上采样，得到上采样后的特征；
获取所述上采样后的特征对应的权重参数，将所述上采样后的特征与所述权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征。
在其中一个实施例中，获取所述上采样后的特征对应的权重参数，包括：
对所述上采样后的特征进行全局平均池化，得到池化后的特征；
将所述池化后的特征输入全连接网络，得到所述上采样后的特征对应的权重参数。
在其中一个实施例中，在第n个特征融合层中，将第n组第一特征作为第n组第二特征，包括：
对所述第n组第一特征进行全局平局池化，得到池化后的特征；
将所述池化后的特征与所述第n组第一特征相加，得到第n组第二特征。
在其中一个实施例中，将n组第二特征输入检测网络，得到所述待检测图像中目标的类别信息和位置信息，包括：
将n组第二特征输入第二特征融合网络，所述第二特征融合网络包括n个特征融合层，在第1个特征融合层中，将第1组第二特征作为第1组第三特征；
在第i个特征融合层中，获取第i-1组第三特征，并将所述第i-1组第三特征与第i组第二特征融合，得到第i组第三特征，直至得到第n组第三特征；
将n组第三特征输入检测网络，得到所述待检测图像中目标的类别信息和位置信息。
在其中一个实施例中，将n组第二特征输入检测网络，得到所述待检测图像中目标的类别信息和位置信息，包括：
将所述n组第二特征输入区域生成网络，得到初始候选框；
将所述初始候选框输入级联的检测网络，所述检测网络包括级联的m个检测子网络，将所述初始候选框在原始特征上进行感兴趣区域池化操作，并将池化后的特征输入第1级检测子网络，得到第1级的检测框及置信度；
对于第j-1级检测框，在原始特征上进行感兴趣区域池化操作，并将池化后的特征输入第j级检测子网络，得到第j级的检测框及置信度，直至得到第m级检测框及置信度作为最终结果；
对所述最终结果进行非极大值抑制，得到所述待检测图像中目标的类别信息和位置信息。
一种目标检测装置，所述装置包括：
特征提取模块，用于对待检测图像进行特征提取，得到n组不同尺度的第一特征，其中，n为大于1的整数；
特征融合模块，用于将所述n组不同尺度的第一特征输入第一特征融合网络，所述第一特征融合网络包括n个特征融合层，在第n个特征融合层中，将第n组第一特征作为第n组第二特征；
所述特征融合模块，还用于在第i-1个特征融合层中，获取第i组第二特征以及所述第i组第二特征对应的权重参数，将所述第i组第二特征与所述权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征，直至得到第1组第二特征；
检测模块，用于将n组第二特征输入检测网络，得到所述待检测图像中目标的类别信息和位置信息。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
对待检测图像进行特征提取，得到n组不同尺度的第一特征，其中，n为大于1的整数；
将所述n组不同尺度的第一特征输入第一特征融合网络，所述第一特征融合网络包括n个特征融合层，在第n个特征融合层中，将第n组第一特征作为第n组第二特征；
在第i-1个特征融合层中，获取第i组第二特征以及所述第i组第二特征对应的权重参数，将所述第i组第二特征与所述权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征，直至得到第1组第二特征；
将n组第二特征输入检测网络，得到所述待检测图像中目标的类别信息和位置信息。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
对待检测图像进行特征提取，得到n组不同尺度的第一特征，其中，n为大于1的整数；
将所述n组不同尺度的第一特征输入第一特征融合网络，所述第一特征融合网络包括n个特征融合层，在第n个特征融合层中，将第n组第一特征作为第n组第二特征；
在第i-1个特征融合层中，获取第i组第二特征以及所述第i组第二特征对应的权重参数，将所述第i组第二特征与所述权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征，直至得到第1组第二特征；
将n组第二特征输入检测网络，得到所述待检测图像中目标的类别信息和位置信息。
上述目标检测方法、装置、计算机设备和存储介质，在对特征进行融合时，通过获取第二特征对应的权重参数，并将该第二特征与其对应的权重参数进行一系列运算，可实现对第二特征的取舍，以达到有选择地将第二特征与下一第一特征进行融合的效果，如此能够更加有效地结合不同尺度特征的特征信息，有利于提高目标检测的准确性。
附图说明
图1为一个实施例中目标检测方法的流程示意图；
图2为一个实施例中获取第i组第二特征对应的权重参数的补充方案的流程示意图；
图3为一个实施例中将第i组第二特征与权重参数相乘的补充方案的流程示意图；
图4为一个实施例中确定第i-1组第二特征的补充方案的流程示意图；
图5为一个实施例中获取上采样后的特征对应的权重参数的补充方案的流程示意图；
图6为一个实施例中将n组第二特征输入检测网络，得到待检测图像中目标的类别信息和位置信息的补充方案的流程示意图；
图7为一个实施例中目标检测装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一示例性实施例中，以本申请涉及的目标检测方法应用于目标检测设备进行举例说明。其中，该目标检测设备可以是终端，也可以是服务器，还可以是包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一示例性实施例中，如图1所示，提供了一种目标检测方法，具体可以通过以下步骤实现：
步骤S202，对待检测图像进行特征提取，得到n组不同尺度的第一特征。
其中，n为大于1的整数。
具体地，将待检测图像输入目标检测设备中，目标检测设备对该待检测图像进行多次不同尺度的特征提取，得到n组不同尺度的第一特征。其中，第一特征可以由三维张量构成。不同尺度的第一特征包含有不同的特征信息，例如，一些第一特征图具有丰富的语义信息，而一些第一特征图具有丰富的空间信息。
可选地，目标检测设备可以采用神经网络的骨干网络来对待检测图像进行多尺度特征提取。可选地，神经网络可以为卷积神经网络，例如，采用VGG16，ResNet等网络提取待检测图像中的特征，得到多组不同尺度的第一特征。
步骤S204，将n组不同尺度的第一特征输入第一特征融合网络，该第一特征融合网络包括n个特征融合层，在第n个特征融合层中，将第n组第一特征作为第n组第二特征。
具体地，目标检测设备将得到的n组不同尺度的第一特征输入预设的第一特征融合网络，通过第一特征融合网络中包含的n个特征融合层进行特征融合。为了实现融合目的，首先目标检测设备需要将第n组第一特征作为第n组第二特征。可选地，第n组第二特征可以是第n组第一特征，也就是同一特征在不同功能下对应的不同术语。此外，第n组第二特征也可以是第n组第一特征进一步的处理得到，此时，第n组第二特征与第n组第一特征并非同一特征。
可选地，第n组第一特征通常为尺度最小的第一特征，那么在实现上，目标检测设备可以根据第一特征的尺度大小，将尺度最小的第一特征确定为第n组第一特征。
步骤S206，在第i-1个特征融合层中，获取第i组第二特征以及第i组第二特征对应的权重参数，将第i组第二特征与权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征，直至得到第1组第二特征。
具体地，在本步骤中，采用从n至1的次序进行相邻特征的融合。在融合过程中，针对第i-1个特征融合层中，需要融合的特征一方面来自第i组第二特征与第i组第二特征对应的权重参数的相乘得到的特征，另一方面来自第i-1组第一特征，在得到这两种特征数据后，在第i-1个特征融合层中完成该相乘得到的特征与第i-1组第一特征的融合过程，并得到第i-1组第二特征。以此类推，直到将第2组第二特征与第2组第二特征对应的权重参数的相乘得到的特征与第1组第一特征进行融合得到第1组第二特征。由此，本步骤涉及的特征融合过程完成。
可选地，目标检测设备将相乘得到的特征与第i-1组第一特征进行相加或拼接，得到第i-1组第二特征。
可选地，权重参数可以是预先设置的，也可以是根据各第二特征进一步处理得到的。需要提及，该权重参数主要是用于实现对各第二特征进行取舍，减少数据运算量并提高特征融合的有效性。比方说，当该权重参数为零或者负数时，通过将权重参数与第二特征进行相乘，由此通过判别乘积是否为正数即可实现对特征的取舍。
步骤S208，将n组第二特征输入检测网络，得到待检测图像中目标的类别信息和位置信息。
具体地，由上述实现步骤不难得出，特征融合之后会得到n组第二特征。接下来，目标检测设备将n组第二特征输入检测网络，得到待检测图像中目标的类别信息和位置信息。可选地，目标检测设备将n组第二特征输入Faster R-CNN网络或者Cascade RCNN的级联网络，最终输出待检测图像中目标的类别信息和位置信息。
上述目标检测方法中，在对特征进行融合时，通过获取第二特征对应的权重参数，并将该第二特征与其对应的权重参数进行一系列运算，可实现对第二特征的取舍，以达到有选择地将第二特征与下一第一特征进行融合的效果，如此能够更加有效地结合不同尺度特征的特征信息，有利于提高目标检测的准确性。
在一示例性实施例中，请参阅图2，获取第i组第二特征对应的权重参数，具体可以通过以下步骤实现：
S212，对第i组第二特征进行全局平均池化，得到池化后的特征；
S214，将池化后的特征输入全连接网络，得到第i组第二特征对应的权重参数。
具体地，为了增强权重参数与第二特征的关联性，提升特征取舍的准确性及有效性，在一示例中，目标检测设备对第i组第二特征进行降维，得到降维后的特征。接下来，目标检测设备将降维后的特征输入全连接网络，得到第i组第二特征对应的权重参数。可选地，目标检测设备对第i组第二特征进行池化操作，得到池化后的特征，即降维后的特征。进一步可选地，目标检测设备对第i组第二特征进行全局平均池化，得到池化后的特征。在另一实施例中，目标检测设备对第i组第二特征进行全局最大池化，得到池化后的特征。可见，获取第i组第二特征对应的权重参数的实现方式包括多种，本实施例不限于上述列举的实现方式。
本申请实施例中，对第二特征进行全局平均池化并经由全连接网络处理得到其对应的权重参数，可增强权重参数与第二特征的关联性，由此该权重参数能够更准确地对特征进行取舍。
在一示例性实施例中，请参阅图3，将第i组第二特征与权重参数相乘，具体可以通过以下步骤实现：
S222，将第i组第二特征进行卷积运算，得到卷积后的特征；
S224，将卷积后的特征与权重参数相乘，得到相乘后的特征。
具体地，目标检测设备对第i组第二特征进行卷积运算，得到卷积后的特征。接下来，目标检测设备将卷积后的特征与权重参数相乘，得到相乘后的特征。
本申请实施例中，采用相乘方式来对第二特征进行取舍，有利于提高特征取舍的准确性。
在一示例性实施例中，涉及在第i-1个特征融合层中，获取第i组第二特征以及第i组第二特征对应的权重参数，将第i组第二特征与权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征的一种可能的实现过程。在上述实施例的基础上，请参阅图4，步骤S206具体可以通过以下步骤实现：
S2062，在第i-1个特征融合层中，获取第i组第二特征以及第i组第二特征对应的权重参数，将第i组第二特征与权重参数相乘，得到相乘后的特征；
S2064，对相乘后的特征进行上采样，得到上采样后的特征；
S2066，获取上采样后的特征对应的权重参数，将上采样后的特征与权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征。
具体地，考虑到各组第二特征的尺度是不同的，因此，为了提升特征融合时的方便性及准确性，目标检测设备在得到相乘后的特征后，对该相乘后的特征进行上采样，得到上采样后的特征，上采样的目的是将尺度较小的相乘后的特征变大至第i-1组第一特征的尺度大小，这样方便位置对应的特征进行融合。每次特征融合可看做是采用一种门结构(door)来控制可融合的特征，提升融合有效性。
本申请实施例中，采用一种门结构的方式来有选择地融合特征，从而基于融合后的特征进行目标检测，有利于提高目标检测的准确性。
在一示例性实施例中，请参阅图5，获取上采样后的特征对应的权重参数，具体可以通过以下步骤实现：
S206a，对上采样后的特征进行全局平均池化，得到池化后的特征；
S206b，将池化后的特征输入全连接网络，得到上采样后的特征对应的权重参数。
具体地，为了增强权重参数与上采样后的特征的关联性，提升特征取舍的准确性及有效性，在一示例中，目标检测设备对上采样后的特征进行降维，得到降维后的特征。接下来，目标检测设备将降维后的特征输入全连接网络，得到上采样后的特征对应的权重参数。可选地，目标检测设备对上采样后的特征进行池化操作，得到池化后的特征，即降维后的特征。进一步可选地，目标检测设备对上采样后的特征进行全局平均池化，得到池化后的特征。在另一实施例中，目标检测设备对上采样后的特征进行全局最大池化，得到池化后的特征。可见，获取上采样后的特征对应的权重参数的实现方式包括多种，本实施例不限于上述列举的实现方式。
本申请实施例中，对上采样后的特征进行全局平均池化并经由全连接网络处理得到其对应的权重参数，可增强权重参数与上采样后的特征的关联性，由此该权重参数能够更准确地对特征进行取舍。
在一示例性实施例中，在第n个特征融合层中，将第n组第一特征作为第n组第二特征，具体可以通过以下步骤实现：
步骤S232，对第n组第一特征进行全局平局池化，得到池化后的特征；
步骤S234，将池化后的特征与第n组第一特征相加，得到第n组第二特征。
具体地，以第n组第一特征为尺度最小的第一特征为例进行说明，目标检测设备对尺度最小的第一特征进行全局平局池化后，池化后的特征的维度变为N*C*1*1，其中N为批尺寸(batchsize)，C为通道数，再将该池化后的特征输入一个1*1卷积网络，变换通道数为256。接下来，目标检测设备利用广播机制(broadcast)使其变为N*256*H*W，即同一个H*W上的像素值相同，然后与尺度最小的第一特征相加，得到第二特征(第n组第二特征)。其中，相加的实现方式可以是：假设尺度最小的第一特征的维度为N*C*H*W，将其输入1*1卷积网络，可变换通道数为256，即维度变为N*256*H*W。此时将维度相同的第一特征与池化后的特征相加，得到第n组第二特征。
本申请实施例中，通过对第n组第一特征进行全局平局池化，可对整个网络在结构上做正则化处理以防止过拟合，有利于提高目标检测的准确性。
在一示例性实施例中，涉及将n组第二特征输入检测网络，得到待检测图像中目标的类别信息和位置信息的一种可能的实现过程。在上述实施例的基础上，请参阅图6，步骤S208具体可以通过以下步骤实现：
S2082，将n组第二特征输入第二特征融合网络，该第二特征融合网络包括n个特征融合层，在第1个特征融合层中，将第1组第二特征作为第1组第三特征；
S2084，在第i个特征融合层中，获取第i-1组第三特征，并将第i-1组第三特征与第i组第二特征融合，得到第i组第三特征，直至得到第n组第三特征；
S2086，将n组第三特征输入检测网络，得到待检测图像中目标的类别信息和位置信息。
具体地，目标检测设备将n组第二特征输入第二特征融合网络，该第二特征融合网络包括n个特征融合层，在第1个特征融合层中，将第1组第二特征作为第1组第三特征。接下来，目标检测设备在第i个特征融合层中，获取第i-1组第三特征，并将第i-1组第三特征与第i组第二特征融合，得到第i组第三特征，直至得到第n组第三特征。接下来，目标检测设备将n组第三特征输入检测网络，得到待检测图像中目标的类别信息和位置信息。
本申请实施例中，通过进一步对特征进行融合，可增强特征的语义信息，并提高小尺寸目标的检测准确性。
在一示例性实施例中，涉及将n组第二特征输入检测网络，得到待检测图像中目标的类别信息和位置信息的一种可能的实现过程。在上述实施例的基础上，步骤S208具体可以通过以下步骤实现：
S208a，将n组第二特征输入区域生成网络，得到初始候选框；
S208b，将初始候选框输入级联的检测网络，该检测网络包括级联的m个检测子网络，将初始候选框在原始特征上进行感兴趣区域池化操作，并将池化后的特征输入第1级检测子网络，得到第1级的检测框及置信度；
S208c，对于第j-1级检测框，在原始特征上进行感兴趣区域池化操作，并将池化后的特征输入第j级检测子网络，得到第j级的检测框及置信度，直至得到第m级检测框及置信度作为最终结果；
S208d，对最终结果进行非极大值抑制，得到待检测图像中目标的类别信息和位置信息。
具体地，目标检测设备将n组第二特征输入区域生成网络，得到初始候选框B0。接下来，目标检测设备采用级联的m个检测子网络，将初始候选框在原始特征上进行感兴趣区域池化操作，并将池化后的特征输入第1级检测子网络，得到第1级的检测框及置信度。接下来，对于第j-1级检测框，目标检测设备在原始特征上进行感兴趣区域池化操作，并将池化后的特征输入第j级检测子网络，得到第j级的检测框及置信度，直至得到第m级检测框及置信度作为最终结果。接下来，目标检测设备对最终结果进行非极大值抑制，得到待检测图像中目标的类别信息和位置信息。
应该理解的是，虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一示例性实施例中，如图7所示，提供了一种目标检测装置，包括：特征提取模块302、特征融合模块304和检测模块306，其中：
该特征提取模块302用于对待检测图像进行特征提取，得到n组不同尺度的第一特征，其中，n为大于1的整数；
该特征融合模块304用于将n组不同尺度的第一特征输入第一特征融合网络，第一特征融合网络包括n个特征融合层，在第n个特征融合层中，将第n组第一特征作为第n组第二特征；
该特征融合模块304还用于在第i-1个特征融合层中，获取第i组第二特征以及第i组第二特征对应的权重参数，将第i组第二特征与权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征，直至得到第1组第二特征；
该检测模块306用于将n组第二特征输入检测网络，得到待检测图像中目标的类别信息和位置信息。
上述目标检测装置中，在对特征进行融合时，通过获取第二特征对应的权重参数，并将该第二特征与其对应的权重参数进行一系列运算，可实现对第二特征的取舍，以达到有选择地将第二特征与下一第一特征进行融合的效果，如此能够更加有效地结合不同尺度特征的特征信息，有利于提高目标检测的准确性。
在一示例性实施例中，该特征融合模块304具体用于对第i组第二特征进行全局平均池化，得到池化后的特征；将池化后的特征输入全连接网络，得到第i组第二特征对应的权重参数。
在一示例性实施例中，该特征融合模块304具体用于将第i组第二特征进行卷积运算，得到卷积后的特征；将卷积后的特征与权重参数相乘，得到相乘后的特征。
在一示例性实施例中，该特征融合模块304具体用于在第i-1个特征融合层中，获取第i组第二特征以及第i组第二特征对应的权重参数，将第i组第二特征与权重参数相乘，得到相乘后的特征；对相乘后的特征进行上采样，得到上采样后的特征；获取上采样后的特征对应的权重参数，将上采样后的特征与权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征。
在一示例性实施例中，该特征融合模块304具体用于对上采样后的特征进行全局平均池化，得到池化后的特征；将池化后的特征输入全连接网络，得到上采样后的特征对应的权重参数。
在一示例性实施例中，该特征融合模块304具体用于对第n组第一特征进行全局平局池化，得到池化后的特征；将池化后的特征与第n组第一特征相加，得到第n组第二特征。
在一示例性实施例中，该检测模块306具体用于将n组第二特征输入第二特征融合网络，第二特征融合网络包括n个特征融合层，在第1个特征融合层中，将第1组第二特征作为第1组第三特征；在第i个特征融合层中，获取第i-1组第三特征，并将第i-1组第三特征与第i组第二特征融合，得到第i组第三特征，直至得到第n组第三特征；将n组第三特征输入检测网络，得到待检测图像中目标的类别信息和位置信息。
在一示例性实施例中，该检测模块306具体用于将n组第二特征输入区域生成网络，得到初始候选框；将初始候选框输入级联的检测网络，检测网络包括级联的m个检测子网络，将初始候选框在原始特征上进行感兴趣区域池化操作，并将池化后的特征输入第1级检测子网络，得到第1级的检测框及置信度；对于第j-1级检测框，在原始特征上进行感兴趣区域池化操作，并将池化后的特征输入第j级检测子网络，得到第j级的检测框及置信度，直至得到第m级检测框及置信度作为最终结果；对最终结果进行非极大值抑制，得到待检测图像中目标的类别信息和位置信息。
关于目标检测装置的具体限定可以参见上文中对于目标检测方法的限定，在此不再赘述。上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一示例性实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标检测方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一示例性实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一示例性实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种目标检测方法，其特征在于，所述方法包括：
对待检测图像进行特征提取，得到n组不同尺度的第一特征，其中，n为大于1的整数；
将所述n组不同尺度的第一特征输入第一特征融合网络，所述第一特征融合网络包括n个特征融合层，在第n个特征融合层中，将第n组第一特征作为第n组第二特征；
在第i-1个特征融合层中，获取第i组第二特征以及所述第i组第二特征对应的权重参数，将所述第i组第二特征与所述权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征，直至得到第1组第二特征；
将n组第二特征输入检测网络，得到所述待检测图像中目标的类别信息和位置信息。
2.根据权利要求1所述的方法，其特征在于，获取第i组第二特征对应的权重参数，包括：
对所述第i组第二特征进行全局平均池化，得到池化后的特征；
将所述池化后的特征输入全连接网络，得到所述第i组第二特征对应的权重参数。
3.根据权利要求1或2所述的方法，其特征在于，将所述第i组第二特征与所述权重参数相乘，包括：
将所述第i组第二特征进行卷积运算，得到卷积后的特征；
将所述卷积后的特征与所述权重参数相乘，得到相乘后的特征。
4.根据权利要求1所述的方法，其特征在于，在第i-1个特征融合层中，获取第i组第二特征以及所述第i组第二特征对应的权重参数，将所述第i组第二特征与所述权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征，包括：
在第i-1个特征融合层中，获取第i组第二特征以及所述第i组第二特征对应的权重参数，将所述第i组第二特征与所述权重参数相乘，得到相乘后的特征；
对所述相乘后的特征进行上采样，得到上采样后的特征；
获取所述上采样后的特征对应的权重参数，将所述上采样后的特征与所述权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征。
5.根据权利要求4所述的方法，其特征在于，获取所述上采样后的特征对应的权重参数，包括：
对所述上采样后的特征进行全局平均池化，得到池化后的特征；
将所述池化后的特征输入全连接网络，得到所述上采样后的特征对应的权重参数。
6.根据权利要求1所述的方法，其特征在于，在第n个特征融合层中，将第n组第一特征作为第n组第二特征，包括：
对所述第n组第一特征进行全局平局池化，得到池化后的特征；
将所述池化后的特征与所述第n组第一特征相加，得到第n组第二特征。
7.根据权利要求1所述的方法，其特征在于，将n组第二特征输入检测网络，得到所述待检测图像中目标的类别信息和位置信息，包括：
将n组第二特征输入第二特征融合网络，所述第二特征融合网络包括n个特征融合层，在第1个特征融合层中，将第1组第二特征作为第1组第三特征；
在第i个特征融合层中，获取第i-1组第三特征，并将所述第i-1组第三特征与第i组第二特征融合，得到第i组第三特征，直至得到第n组第三特征；
将n组第三特征输入检测网络，得到所述待检测图像中目标的类别信息和位置信息。
8.根据权利要求1所述的方法，其特征在于，将n组第二特征输入检测网络，得到所述待检测图像中目标的类别信息和位置信息，包括：
将所述n组第二特征输入区域生成网络，得到初始候选框；
将所述初始候选框输入级联的检测网络，所述检测网络包括级联的m个检测子网络，将所述初始候选框在原始特征上进行感兴趣区域池化操作，并将池化后的特征输入第1级检测子网络，得到第1级的检测框及置信度；
对于第j-1级检测框，在原始特征上进行感兴趣区域池化操作，并将池化后的特征输入第j级检测子网络，得到第j级的检测框及置信度，直至得到第m级检测框及置信度作为最终结果；
对所述最终结果进行非极大值抑制，得到所述待检测图像中目标的类别信息和位置信息。
9.一种目标检测装置，其特征在于，所述装置包括：
特征提取模块，用于对待检测图像进行特征提取，得到n组不同尺度的第一特征，其中，n为大于1的整数；
特征融合模块，用于将所述n组不同尺度的第一特征输入第一特征融合网络，所述第一特征融合网络包括n个特征融合层，在第n个特征融合层中，将第n组第一特征作为第n组第二特征；
所述特征融合模块，还用于在第i-1个特征融合层中，获取第i组第二特征以及所述第i组第二特征对应的权重参数，将所述第i组第二特征与所述权重参数相乘，并将相乘得到的特征与第i-1组第一特征融合，得到第i-1组第二特征，直至得到第1组第二特征；
检测模块，用于将n组第二特征输入检测网络，得到所述待检测图像中目标的类别信息和位置信息。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010356470.7A CN111709415B (zh) | 2020-04-29 | 2020-04-29 | 目标检测方法、装置、计算机设备和存储介质 |
| PCT/CN2020/119710 WO2021218037A1 (zh) | 2020-04-29 | 2020-09-30 | 目标检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010356470.7A CN111709415B (zh) | 2020-04-29 | 2020-04-29 | 目标检测方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111709415A true CN111709415A (zh) | 2020-09-25 |
| CN111709415B CN111709415B (zh) | 2023-10-27 |
Family
ID=72536888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010356470.7A Active CN111709415B (zh) | 2020-04-29 | 2020-04-29 | 目标检测方法、装置、计算机设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111709415B (zh) |
| WO (1) | WO2021218037A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528782A (zh) * | 2020-11-30 | 2021-03-19 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
| WO2021218037A1 (zh) * | 2020-04-29 | 2021-11-04 | 北京迈格威科技有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115496976B (zh) * | 2022-08-29 | 2023-08-11 | 锋睿领创(珠海)科技有限公司 | 多源异构数据融合的视觉处理方法、装置、设备及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160255357A1 (en) * | 2013-07-15 | 2016-09-01 | Microsoft Technology Licensing, Llc | Feature-based image set compression |
| CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
| CN108875902A (zh) * | 2017-12-04 | 2018-11-23 | 北京旷视科技有限公司 | 神经网络训练方法及装置、车辆检测估计方法及装置、存储介质 |
| CN109241902A (zh) * | 2018-08-30 | 2019-01-18 | 北京航空航天大学 | 一种基于多尺度特征融合的山体滑坡检测方法 |
| CN109671070A (zh) * | 2018-12-16 | 2019-04-23 | 华中科技大学 | 一种基于特征加权和特征相关性融合的目标检测方法 |
| CN109816671A (zh) * | 2019-01-31 | 2019-05-28 | 深兰科技（上海）有限公司 | 一种目标检测方法、装置及存储介质 |
| CN109934216A (zh) * | 2017-12-19 | 2019-06-25 | 华为技术有限公司 | 图像处理的方法、装置、计算机可读存储介质 |
| CN110335270A (zh) * | 2019-07-09 | 2019-10-15 | 华北电力大学（保定） | 基于层级区域特征融合学习的输电线路缺陷检测方法 |
| CN110348453A (zh) * | 2018-04-04 | 2019-10-18 | 中国科学院上海高等研究院 | 一种基于级联的物体检测方法及系统、存储介质及终端 |
| CN110517224A (zh) * | 2019-07-12 | 2019-11-29 | 上海大学 | 一种基于深度神经网络的光伏板缺陷检测方法 |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510012B (zh) * | 2018-05-04 | 2022-04-01 | 四川大学 | 一种基于多尺度特征图的目标快速检测方法 |
| CN108830211A (zh) * | 2018-06-11 | 2018-11-16 | 厦门中控智慧信息技术有限公司 | 基于深度学习的人脸识别方法及相关产品 |
| CN109034210B (zh) * | 2018-07-04 | 2021-10-12 | 国家新闻出版广电总局广播科学研究院 | 基于超特征融合与多尺度金字塔网络的目标检测方法 |
| CN109255352B (zh) * | 2018-09-07 | 2021-06-22 | 北京旷视科技有限公司 | 目标检测方法、装置及系统 |
| CN109978863B (zh) * | 2019-03-27 | 2021-10-08 | 北京青燕祥云科技有限公司 | 基于x射线图像的目标检测方法及计算机设备 |
| CN110647834B (zh) * | 2019-09-18 | 2021-06-25 | 北京市商汤科技开发有限公司 | 人脸和人手关联检测方法及装置、电子设备和存储介质 |
| CN111080567B (zh) * | 2019-12-12 | 2023-04-21 | 长沙理工大学 | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 |
| CN111709415B (zh) * | 2020-04-29 | 2023-10-27 | 北京迈格威科技有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
-
2020
- 2020-04-29 CN CN202010356470.7A patent/CN111709415B/zh active Active
- 2020-09-30 WO PCT/CN2020/119710 patent/WO2021218037A1/zh active Application Filing
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160255357A1 (en) * | 2013-07-15 | 2016-09-01 | Microsoft Technology Licensing, Llc | Feature-based image set compression |
| CN108875902A (zh) * | 2017-12-04 | 2018-11-23 | 北京旷视科技有限公司 | 神经网络训练方法及装置、车辆检测估计方法及装置、存储介质 |
| CN109934216A (zh) * | 2017-12-19 | 2019-06-25 | 华为技术有限公司 | 图像处理的方法、装置、计算机可读存储介质 |
| CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
| CN110348453A (zh) * | 2018-04-04 | 2019-10-18 | 中国科学院上海高等研究院 | 一种基于级联的物体检测方法及系统、存储介质及终端 |
| CN109241902A (zh) * | 2018-08-30 | 2019-01-18 | 北京航空航天大学 | 一种基于多尺度特征融合的山体滑坡检测方法 |
| CN109671070A (zh) * | 2018-12-16 | 2019-04-23 | 华中科技大学 | 一种基于特征加权和特征相关性融合的目标检测方法 |
| CN109816671A (zh) * | 2019-01-31 | 2019-05-28 | 深兰科技（上海）有限公司 | 一种目标检测方法、装置及存储介质 |
| CN110335270A (zh) * | 2019-07-09 | 2019-10-15 | 华北电力大学（保定） | 基于层级区域特征融合学习的输电线路缺陷检测方法 |
| CN110517224A (zh) * | 2019-07-12 | 2019-11-29 | 上海大学 | 一种基于深度神经网络的光伏板缺陷检测方法 |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021218037A1 (zh) * | 2020-04-29 | 2021-11-04 | 北京迈格威科技有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
| CN112528782A (zh) * | 2020-11-30 | 2021-03-19 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
| CN112528782B (zh) * | 2020-11-30 | 2024-02-23 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111709415B (zh) | 2023-10-27 |
| WO2021218037A1 (zh) | 2021-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110175671B (zh) | 神经网络的构建方法、图像处理方法及装置 | |
| CN109829506B (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| CN112101190A (zh) | 一种遥感图像分类方法、存储介质及计算设备 | |
| CN111709415B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN114549913B (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| EP4200763A1 (en) | Method and system for training a neural network model using adversarial learning and knowledge distillation | |
| CN112183295A (zh) | 行人重识别方法、装置、计算机设备及存储介质 | |
| CN113570029A (zh) | 获取神经网络模型的方法、图像处理方法及装置 | |
| US20200389182A1 (en) | Data conversion method and apparatus | |
| CN111062324A (zh) | 人脸检测方法、装置、计算机设备和存储介质 | |
| CN111105017A (zh) | 神经网络量化方法、装置及电子设备 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN115147598A (zh) | 目标检测分割方法、装置、智能终端及存储介质 | |
| CN112241646A (zh) | 车道线识别方法、装置、计算机设备和存储介质 | |
| CN112348116A (zh) | 利用空间上下文的目标检测方法、装置和计算机设备 | |
| EP4270247A1 (en) | Neural network model training method and apparatus, and data processing method and apparatus | |
| CN111783935A (zh) | 卷积神经网络构建方法、装置、设备及介质 | |
| CN112749576B (zh) | 图像识别方法和装置、计算设备以及计算机存储介质 | |
| CN114049491A (zh) | 指纹分割模型训练、指纹分割方法、装置、设备及介质 | |
| CN115294361A (zh) | 一种特征提取的方法及装置 | |
| CN112907450B (zh) | 三维时序图像处理方法、装置、计算机设备和存储介质 | |
| CN115273183A (zh) | 一种基于神经网络的人脸检测方法和装置 | |
| CN114359811A (zh) | 数据鉴伪方法、装置、电子设备以及存储介质 | |
| CN113553026A (zh) | 神经网络装置及其操作方法、应用处理器 | |
| CN109583512B (zh) | 图像处理方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |