CN113486908B

CN113486908B - 目标检测方法、装置、电子设备及可读存储介质

Info

Publication number: CN113486908B
Application number: CN202110790334.3A
Authority: CN
Inventors: 张凯; 谭文明; 李哲暘; 张如意
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2021-07-13
Filing date: 2021-07-13
Publication date: 2023-08-29
Anticipated expiration: 2041-07-13
Also published as: CN113486908A

Abstract

本申请提供一种目标检测方法、装置、电子设备及可读存储介质，该目标检测方法包括：获取待检测图像的多尺度特征；所述多尺度特征包括至少两个不同尺度的特征图；依据所述多尺度特征，分别生成各尺度的第一类型卷积核；分别依据各尺度的第一类型卷积核，对对应尺度的特征图进行特征融合，得到各尺度的特征融合后的特征图；分别对各尺度的特征融合后的特征图进行目标检测。该方法可以提高目标检测的准确性。

Description

目标检测方法、装置、电子设备及可读存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种目标检测方法、装置、电子设备及可读存储介质。

背景技术

卷积神经网络通过逐层抽象的方式来提取目标的特征。高层网络的感受野比较大，语义信息表征能力强，但是特征图的分辨率低，几何信息的表征能力弱(空间几何特征细节缺乏)；低层网络的感受野比较小，几何细节信息表征能力强，虽然分辨率高，但是语义信息表征能力弱。

因此，在利用卷积神经网络进行目标检测和分割等任务时，可以多尺度特征融合的方式来提高准确性。

以利用特征金字塔网络(Feature Pyramid Network，简称FPN)进行多尺度特征融合为例，基于多尺度特征融合的目标检测方法流程可以如下：

1、将图像输入主干网络，获得多尺度的特征；

2、将多尺度特征输入到金字塔网络，得到融合后的特征；

3、在融合后的特征上回归目标框。

然而实践发现，上述方案中进行多尺度特征融合(即利用FPN进行多尺度特征融合)时，仅仅是在特征层面，对不同尺度特征进行了简单地元素相加(eltwise-add)或者拼接操作(concat)等操作，性能较差。

发明内容

有鉴于此，本申请提供一种目标检测方法、装置、电子设备及可读存储介质。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种目标检测方法，包括：

获取待检测图像的多尺度特征；所述多尺度特征包括至少两个不同尺度的特征图；

依据所述多尺度特征，分别生成各尺度的第一类型卷积核，其中，所述第一类型卷积核包括多尺度信息；

分别依据各尺度的第一类型卷积核，对对应尺度的特征图进行特征融合，得到各尺度的特征融合后的特征图；

分别对各尺度的特征融合后的特征图进行目标检测。

根据本申请实施例的第二方面，提供一种目标检测装置，包括：

获取单元，用于获取待检测图像的多尺度特征；所述多尺度特征包括至少两个不同尺度的特征图；

生成单元，用于依据所述多尺度特征，分别生成各尺度的第一类型卷积核，其中，所述第一类型卷积核包括多尺度信息；

特征融合单元，用于分别依据各尺度的第一类型卷积核，对对应尺度的特征图进行特征融合，得到各尺度的特征融合后的特征图；

检测单元，用于分别对各尺度的特征融合后的特征图进行目标检测。

根据本申请实施例的第三方面，提供一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现上述目标检测方法。

根据本申请实施例的第四方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上述目标检测方法。

本申请提供的技术方案至少可以带来以下有益效果：

通过获取待检测图像的多尺度特征，并依据获取到的多尺度特征，分别生成各尺度的第一类型卷积核，得到各尺度对应的包括多尺度信息的卷积核，并依据生成的各尺度的第一类型卷积核，分别对各尺度的特征图进行特征融合，得到各尺度的特征融合后的特征图，从卷积核层面实现了多尺度特征融合，优化了特征融合效果，进而，分别对各尺度的特征融合后的特征图进行目标检测，提高了目标检测的准确性。

附图说明

图1是本申请示例性实施例示出的一种目标检测方法的流程示意图；

图2是本申请示例性实施例示出的一种生成第一类型卷积核的流程示意图；

图3是本申请示例性实施例示出的一种目标检测的总体方案流程示意图；

图4是本申请示例性实施例示出的一种多尺度特征提取的流程示意图；

图5是本申请示例性实施例示出的一种卷积核层面的特征融合的流程示意图；

图6是本申请示例性实施例示出的一种目标检测装置的结构示意图；

图7是本申请示例性实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种目标检测方法的流程示意图，如图1所示，该目标检测方法可以包括以下步骤：

步骤S100、获取待检测图像的多尺度特征；该多尺度特征包括至少两个不同尺度的特征图。

本申请实施例中，为了提高目标检测的准确性，可以获取待检测图像的多尺度特征，用于后续流程中进行多尺度特征融合，并针对融合特征进行目标检测。

示例性的，该多尺度特征可以包括但不限于4倍、8倍、16倍、32倍、64倍等尺度中的多个尺度的特征图。

步骤S110、依据获取的多尺度特征，分别生成各尺度的第一类型卷积核。

本申请实施例中，为了优化多尺度特征的融合效果，可以对多尺度特征在卷积核层面进行融合，即在进行卷积核训练时，不再局限于针对单个尺度进行卷积核训练，而是可以结合多尺度特征来进行卷积核训练，得到包括多尺度信息的卷积核(本文中称为第一类型卷积核，也可以称为动态卷积核)，进而，可以依据得到的包括多尺度信息的第一类型卷积核实现多尺度特征融合。

示例性的，对于多个尺度的特征图，可以分别生成该多个尺度的特征图中各尺度的特征图对应的第一类型卷积核(即各尺度的第一类型卷积核)。

步骤S120、分别依据各尺度的第一类型卷积核，对对应尺度的特征图进行特征融合，得到各尺度的特征融合后的特征图。

本申请实施例中，当生成了各尺度的第一类型卷积核时，对于上述至少两个不同尺度的特征图中的任一尺度的特征图，可以依据该尺度的第一类型卷积核，对该尺度的特征图进行特征融合，得到该尺度的特征融合后的特征图。

举例来说，假设步骤S100中获取到的多尺度特征包括8倍特征图、16倍特征图以及32倍特征图，且步骤S110中分别生成了8倍特征的第一类型卷积核、16倍特征的第一类型卷积核，以及32倍特征的第一类型卷积核，则可以依据8倍特征的第一类型卷积核，对8倍特征图进行特征融合，得到特征融合后的特征图，即融合了16倍特征和32倍特征的8倍特征图；依据16倍特征的第一类型卷积核，对16倍特征图进行特征融合，得到特征融合后的特征图，即融合了8倍特征和32倍特征的16倍特征图；以及，依据32倍特征的第一类型卷积核，对32倍特征图进行特征融合，得到特征融合后的特征图，即融合了8倍特征和16倍特征的32倍特征图。

步骤S130、分别对各尺度的特征融合后的特征图进行特征检测。

本申请实施例中，当按照上述方式得到了各尺度的特征融合后的特征图时，可以分别对各尺度的特征融合后的特征图进行目标检测。

可见，在图1所示方法流程中，通过获取待检测图像的多尺度特征，并依据获取到的多尺度特征，分别生成各尺度的第一类型卷积核，得到各尺度对应的包括多尺度信息的卷积核，并依据生成的各尺度的第一类型卷积核，分别对各尺度的特征图进行特征融合，得到各尺度的特征融合后的特征图，从卷积核层面实现了多尺度特征融合，优化了特征融合效果，进而，分别对各尺度的特征融合后的特征图进行目标检测，提高了目标检测的准确性。

在一些实施例中，如图2所示，步骤S110中，依据获取的多尺度特征，分别生成各尺度的第一类型卷积核，可以通过以下步骤实现：

步骤S111、依据获取到的多尺度特征，分别生成各尺度对应的权重组；

步骤S112、分别依据各尺度对应的权重组，以及预设的第二类型卷积核，生成各尺度的第一类型卷积核。

示例性的，为了得到包括多尺度信息的卷积核，可以分别使用不同加权系数，对预设的第二类型卷积核进行加权的方式，生成各尺度的第一类型卷积核。

示例性的，对于步骤S100中获取到的多尺度特征中的任一尺度特征，可以生成该尺度对应的权重组(也可以称为系数组或加权系数组)，并依据该尺度对应的权重组，以及预设的第二类型卷积核(也可以称为基卷积核或基权重)，生成各尺度的第一类型卷积核。

示例性的，可以将依据多尺度特征，利用预先训练的第一类型卷积核生成模型，生成各尺度对应的权重组。

在一个示例中，上述依据多尺度特征，分别生成各尺度对应的权重组，可以包括：

对于至少两个不同尺度中的任一目标尺度，将多尺度特征输入到该目标尺度对应的第一权重生成模型，得到目标尺度对应的权重组。

示例性的，可以分别训练各尺度的权重生成模型(本文中称为第一权重生成模型)，不同尺度使用不同的第一权重生成模型生成对应的权重组，从而，可以降低权重生成模型的训练难度，且针对性对各尺度生成对应的权重组，进而，依据生成的权重组以及预设的第二类型卷积核，生成各尺度的第一类型卷积核，可以提高第一类型卷积核的特征融合效果。

在另一个示例中，上述依据多尺度特征，分别生成各尺度对应的权重组，可以包括：

将多尺度特征输入到第二权重生成模型，分别得到各尺度对应的权重组。

示例性的，可以通过同一个第一类型卷积核生成模型生成各尺度对应的权重组。

示例性的，可以训练一个权重生成模型(本文中称为第二权重生成模型)，用以生成多个不同尺度对应的权重组，从而，可以提高权重组生成效率，进而，依据生成的各尺度对应的权重组，以及预设的第二类型卷积核，生成各尺度的第一类型卷积核，从而，提高了生成第一类型卷积核的效率。

在另一些实施例中，依据多尺度特征，分别生成各尺度的第一类型卷积核，可以包括：

分别依据多尺度特征中的各尺度特征，生成各尺度下的第三类型卷积核组；其中，任一尺度下的第三类型卷积核组中的第三类型卷积核的数量与至少两个不同尺度中尺度的数量一致，且任一尺度下的卷积核组中的第三类型卷积核与上述至少两个不同尺度一一对应；

对于上述至少两个尺度中的任一目标尺度，依据所生成的各尺度下的第三类型卷积核组中，与该目标尺度对应的第三类型卷积核，生成该目标尺度的第一类型卷积核。

示例性的，为了提高第一类型卷积核的生成效率，在生成第一类型卷积核时，可以分别依据上述多尺度特征中的各尺度特征，生成各尺度下的第三类型卷积核组，并依据各第三类型卷积核组中对应同一尺度的第三类型卷积核，生成该尺度的第一类型卷积核。

举例来说，假设多尺度特征包括8倍特征图、16倍特征图和32倍特征图，则可以分别依据8倍特征图，生成8倍下的第三类型卷积核组；依据16倍特征图，生成16倍下的第三类型卷积核组；以及，依据32倍特征图，生成32倍下的第三类型卷积核组。

示例性的，任一尺度下的第三类型卷积核组中第三类型卷积核的数量与上述至少两个不同尺度中尺度的数量一致，且任一尺度下的卷积核组中的第三类型卷积核与该至少两个不同尺度一一对应。

仍以上述示例为例，对于任一尺度下的第三类型卷积核组，以8倍下的第三类型卷积核组为例，该第三类型卷积核组中第三类型卷积核的数量与上述至少两个不同尺度中尺度的数量(在该示例中，不同尺度包括8倍、16倍和32倍，即数量为3)一致，且第三卷积核组中第三类型卷积核与该至少两个尺度(8倍、16倍和32倍)一一对应，即8倍下的第三类型卷积核组中，包括一个与8倍对应的第三类型卷积核、一个与16倍对应的第三类型卷积核，以及一个与32倍对应的第三类型卷积核。

示例性的，对于上述至少两个尺度中的任一尺度(本文中称为目标尺度)，依据所生成的各尺度下的第三类型卷积核组中，与该目标尺度对应的第三类型卷积核，生成目标尺度的第一类型卷积核。

举例来说，假设上述多尺度特征包括C3、C4以及C5(C3、C4以及C5分别对应不同尺度，如8倍、16倍以及32倍)。

C3对应的第三类型卷积核组可以为(W₃ ³，W₄ ³，W₅ ³)，C4对应的第三类型卷积核组可以为(W₃ ⁴，W₄ ⁴，W₅ ⁴)，C5对应的第三类型卷积核组可以包括(W₃ ⁵，W₄ ⁵，W₅ ⁵)。

其中，W_i ^j为依据尺度特征Cj，生成的对应尺度i(尺度特征Ci的尺度)的第三类型卷积核。

示例性的，依据任一尺度特征，生成的第三类型卷积核中各第三类型卷积核包括该尺度信息。

生成上述第三类型卷积核之后，对于C3，可以依据各第三类型卷积核组中包括对应C3的第三类型卷积核(即W₃ ³、W₃ ⁴、W₃ ⁵)，生成C3对应的第一类型卷积核例如，即将对应C3的各第三类型卷积核的平均值作为C3的第一类型卷积核。

示例性的，由于各尺度下对应C3的第三类型卷积核分别包括了各尺度信息，依据上述方式得到的第一类型卷积核可以包括多尺度信息。

同理，

示例性的，不同第三类型卷积核通过不同网络(可以称为卷积核生成网络)生成；或者，同一第三类型卷积核组由同一网络生成，不同第三类型卷积核组由不同网络生成；或者，全部第三类型卷积核组由同一网络生成。

在一些实施例中，步骤S120中，分别依据各尺度的第一类型卷积核，对对应尺度的特征图进行特征融合，得到各尺度的特征融合后的特征图，包括：

对于任一尺度的特征图，将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层，通过第一目标卷积层，利用该尺度的第一类型卷积核，对该尺度的特征图进行特征融合处理，得到该尺度的特征融合后的特征图。

示例性的，为了实现多尺度特征融合，当按照上述方式得到了各尺度的第一类型卷积核时，对于任一尺度的特征图，可以将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的卷积层(本文中称为第一目标卷积层)，通过第一目标卷积层，利用该尺度的第一类型卷积核，对该尺度的特征图进行特征融合处理，得到该尺度的特征融合后的特征图。

可见，在本申请实施例中，进行多尺度特征融合时，输入单个尺度的特征即可，而不需要输入多尺度特征，降低了对计算单元的要求。

本申请实施例中，为了进一步优化特征融合效果，可以将本申请实施例提供的卷积核层面的多尺度特征融合与传统的特征层面的多尺度特征融合相结合，实现多尺度特征在卷积核层面和特征层面的融合，更好地提升性能。

在一个示例中，上述对于任一尺度的特征图，将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层之后，还包括：

将各尺度的特征融合后的特征图合并输入到用于进行特征融合的第二目标卷积层，得到各尺度二次特征融合后的特征图。

示例性的，当按照上述方式得到各尺度的特征融合后的特征图时，可以对各尺度的特征融合后的特征图在特征层面再次进行特征融合，以进一步优化特征融合效果，提升性能。

示例性的，可以将各尺度的特征融合后的特征图合并输入到用于进行特征融合的卷积层(用于进行特征层面的特征融合的卷积层，本文中称为第二目标卷积层)，得到各尺度二次特征融合后的特征图。

示例性的，第二目标卷积层可以通过FPN方式实现多尺度特征融合。

在另一个示例中，上述对于任一尺度的特征图，将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层之前，还包括：

将各尺度的特征图合并输入到用于进行特征融合的第三目标卷积层，得到各尺度的特征融合后的特征图；

上述对于任一尺度的特征图，将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层，可以包括：

对于任一尺度的特征图，将该尺度特征融合后的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层，通过第一目标卷积层，利用该尺度的第一类型卷积核，对该尺度特征融合后的特征图进行特征融合处理，得到该尺度二次特征融合后的特征图。

示例性的，在对各尺度特征在卷积核层面进行特征融合之前，可以先对各尺度特征进行特征层面的特征融合，然后，按照上述实施例中描述的方式对各尺度的特征融合后的特征图进行卷积核层面的特征融合，以进一步优化特征融合效果，提升性能。

示例性的，对于获取到的至少两个尺度的特征图，可以将各尺度的特征图合并输入到用于进行特征融合的卷积层(用于进行特征层面的特征融合的卷积层，本文中称为第三目标卷积层)，得到各尺度的特征融合后的特征图。

示例性的，第二目标卷积层和第三目标卷积层的结构可以相同。

示例性的，第三目标卷积层可以通过FPN方式实现多尺度特征融合。

示例性的，对于通过第三目标卷积层得到各尺度的特征融合后的特征图，可以分别将各尺度特征融合后的特征图以及对应尺度的第一类型卷积核，输入到第一目标卷积层，通过第一目标卷积层，利用各尺度的第一类型卷积核，对对应尺度特征融合后的特征图进行特征融合处理，分别得到各尺度二次特征融合后的特征图，优化特征融合效果，提升性能。

例如，可以将特征融合后的8倍特征图，以及8倍特征的第一类型卷积核，输入到第一目标卷积层，得到二次特征融合后的8倍特征图。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实施例对本申请实施例提供的技术方案进行说明。

在实际场景中，由于距离远近的关系，待检测目标在图像画面中的大小差异是较大的。对画面图像提取特征，通过特征动态多层次的进行融合，能更好地检测出多尺度的目标。

请参见图3，为本申请实施例提供的目标检测的总体方案流程示意图，如图3所示，目标检测的总体方案流程可以包括：

3.1、采集图像；

3.2、特征提取；

3.3、动态特征融合；

3.4、回归检测框。

下面分别对各流程进行说明

3.1、采集图像

在该实施例中，可以结合实际应用场景(例如结合场景大小和布局等)，模仿用户视角，根据需求部署一个或多个摄像头，获取应用场景的图像数据，并将获取到的图像数据输入到特征提取模块进行特征提取。

3.2、特征提取

在该实施例中，特征提取模块可以依据输入的图像数据提取多个尺度的特征，示意图可以如图4所示。

例如，多尺度特征包括8倍特征、16倍特征、32倍特征以及64倍特征。

3.3、动态特征融合

在该实施例中，可以依据多尺度特征，动态地生成各个尺度的卷积核(即上述第一类型卷积核)。

示例性的，由于第一类型卷积核由多个尺度的特征联合生成，其包含了多尺度信息，依据该第一类型卷积核，可以在输入单尺度特征的情况下实现多尺度卷积核层面的特征融合。

在该实施例中，当生成了各个尺度的第一类型卷积核时，可以依据各个尺度的特征图，采用各尺度的第一类型卷积核，进行卷积操作，实现卷积核层面的特征融合，其示意图可以如图5所示。

例如，假设多尺度特征包括8倍特征、16倍特征以及32倍特征，则可以分别生成8倍特征的第一类型卷积核、16倍特征的第一类型卷积核以及32倍特征的第一类型卷积核，进而，可以依据8倍特征的特征图，采用8倍特征的第一类型卷积核，进行卷积操作，得到特征融合后的8倍特征图；同理，可以依据16倍特征的特征图，采用16倍特征的第一类型卷积核，进行卷积操作，得到特征融合后的16倍特征图；以及，依据32倍特征的特征图，采用32倍特征的第一类型卷积核，进行卷积操作，得到特征融合后的32倍特征图。

下面对第一类型卷积核的生成进行举例说明。

举例来说，可以按照按需定制卷积权重的方式实现第一类型卷积核的生成。

首先，各个尺度特征会生成一组权重(即上述权重组)：

其中，为尺度l的权重组，t为权重组中权重的数量，例如，t＝3，则对于任一尺度，生成的权重组中包括3个权重，l分别取值为1、2、…、L，L为不同尺度的数量，例如，假设多个尺度的特征包括8倍特征、16倍特征以及32倍特征，则L为3，l可以分别取值1、2和3，分别对应8倍特征、16倍特征以及32倍特征。

然后，依据得到的权重组，和预设的第二类型卷积核，生成各个尺度的第一类型卷积核：

其中，为第一类型卷积核，/>为第二类型卷积核，k分别取值为1、2、…、K，K为第二类型卷积核的数量。

示例性的，在该实施例中，为了进一步提高特征融合效果，提升性能，对于上述多尺度特征，可以分别依据各尺度特征，以及对应尺度的第一类型卷积核，对各尺度特征进行特征融合，分别得到各尺度的特征融合后的特征图，并依据各尺度的特征融合后的特征图，采用传统特征融合方式(如FPN)，对各尺度特征进行二次特征融合，得到各尺度二次特征融合后的特征图；

或者，可以先采用传统特征融合方式(如FPN)，对各尺度特征进行特征融合(特征层面的融合)，并分别依据各尺度的特征融合后的特征图，以及对应尺度的第一类型卷积核，对各尺度特征进行二次特征融合，得到各尺度二次特征融合后的特征图。

举例来说，假设多尺度特征包括8倍特征、16倍特征以及32倍特征，当按照上述方式确定了8倍特征的第一类型卷积核、16倍特征的第一类型卷积核以及32倍特征的第一类型卷积核时，可以分别依据8倍特征，以及8倍特征的第一类型卷积核，得到特征融合后的8倍特征图；依据16倍特征，以及16倍特征的第一类型卷积核，得到特征融合后的16倍特征图；以及，依据32倍特征，以及32倍特征的第一类型卷积核，得到特征融合后的32倍特征图。

进而，可以将特征融合后的8倍特征图、特征融合后的16倍特征图以及特征融合后的32倍特征图，输入到FPN网络，得到二次特征融合后的8倍特征图、二次特征融合后的16倍特征图以及二次特征融合后的32倍特征图。

3.4、回归检测框

在该实施例中，当按照上述方式得到各尺度特征融合的特征图时，可以在各尺度特征融合的特征图上进行回归目标框。

示例性的，当按照上述方式得到各尺度二次特征融合后的特征图时，可以在各尺度二次特征融合后的特征图上进行回归目标框，进一步提高目标检测的准确性。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图6，为本申请实施例提供的一种目标检测装置的结构示意图，如图6所示，该目标检测装置可以包括：

获取单元610，用于获取待检测图像的多尺度特征；所述多尺度特征包括至少两个不同尺度的特征图；

生成单元620，用于依据所述多尺度特征，分别生成各尺度的第一类型卷积核，其中，所述第一类型卷积核包括多尺度信息；

特征融合单元630，用于分别依据各尺度的第一类型卷积核，对对应尺度的特征图进行特征融合，得到各尺度的特征融合后的特征图；

检测单元640，用于分别对各尺度的特征融合后的特征图进行目标检测。

在一些实施例中，所述生成单元620依据所述多尺度特征，分别生成各尺度的第一类型卷积核，包括：

依据所述多尺度特征，分别生成各尺度对应的权重组；

分别依据各尺度对应的权重组，以及预设的第二类型卷积核，生成各尺度的第一类型卷积核。

所述依据所述多尺度特征，分别生成各尺度的第一类型卷积核，包括：

分别依据所述多尺度特征中的各尺度特征，生成各尺度下的第三类型卷积核组；其中，任一尺度下的第三类型卷积核组中的第三类型卷积核的数量与所述至少两个不同尺度中尺度的数量一致，且任一尺度下的卷积核组中的第三类型卷积核与所述至少两个不同尺度一一对应；

对于所述至少两个尺度中的任一目标尺度，依据所生成的各尺度下的第三类型卷积核组中，与该目标尺度对应的第三类型卷积核，生成该目标尺度的第一类型卷积核。

在一些实施例中，所述特征融合单元630分别依据各尺度的第一类型卷积核，对对应尺度的特征图进行特征融合，得到各尺度的特征融合后的特征图，包括：

对于任一尺度的特征图，将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层，通过所述第一目标卷积层，利用该尺度的第一类型卷积核，对该尺度的特征图进行特征融合处理，得到该尺度的特征融合后的特征图。

在一些实施例中，对于任一尺度的特征图，所述特征融合单元630将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层之后，还包括：

在一些实施例中，对于任一尺度的特征图，所述特征融合单元630将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层之前，还包括：

所述特征融合单元630对于任一尺度的特征图，将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层，包括：

对于任一尺度的特征图，将该尺度特征融合后的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层，通过所述第一目标卷积层，利用该尺度的第一类型卷积核，对该尺度特征融合后的特征图进行特征融合处理，得到该尺度二次特征融合后的特征图。

请参见图7，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可包括处理器701、存储有机器可执行指令的存储器702。处理器701与存储器702可经由系统总线703通信。并且，通过读取并执行存储器702中与目标检测控制逻辑对应的机器可执行指令，处理器701可执行上文描述的目标检测方法。

本文中提到的存储器702可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

在一些实施例中，还提供了一种机器可读存储介质，如图7中的存储器702，该机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的目标检测方法。例如，所述机器可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种目标检测方法，其特征在于，包括：

分别对各尺度的特征融合后的特征图进行目标检测；

其中，所述依据所述多尺度特征，分别生成各尺度的第一类型卷积核，包括：

对于所述至少两个尺度中的任一目标尺度，依据所生成的各尺度下的第三类型卷积核组中，与该目标尺度对应的第三类型卷积核，生成该目标尺度的第一类型卷积核；

所述分别依据各尺度的第一类型卷积核，对对应尺度的特征图进行特征融合，得到各尺度的特征融合后的特征图，包括：

2.根据权利要求1所述的方法，其特征在于，所述对于任一尺度的特征图，将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层之后，还包括：

3.根据权利要求1所述的方法，其特征在于，所述对于任一尺度的特征图，将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层之前，还包括：

所述对于任一尺度的特征图，将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层，包括：

4.一种目标检测装置，其特征在于，包括：

检测单元，用于分别对各尺度的特征融合后的特征图进行目标检测；

其中，所述生成单元依据所述多尺度特征，分别生成各尺度的第一类型卷积核，包括：

所述特征融合单元分别依据各尺度的第一类型卷积核，对对应尺度的特征图进行特征融合，得到各尺度的特征融合后的特征图，包括：

5.根据权利要求4所述的装置，其特征在于，对于任一尺度的特征图，所述特征融合单元将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层之后，还包括：

将各尺度的特征融合后的特征图合并输入到用于进行特征融合的第二目标卷积层，得到各尺度二次特征融合后的特征图；

和/或，对于任一尺度的特征图，所述特征融合单元将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层之前，还包括：

所述特征融合单元对于任一尺度的特征图，将该尺度的特征图以及该尺度的第一类型卷积核，输入到用于进行特征融合的第一目标卷积层，包括：

6.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现如权利要求1-3任一项所述的方法。

7.一种机器可读存储介质，其特征在于，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现如权利要求1-3任一项所述的方法。