CN113469100A - 一种复杂背景下目标检测方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种复杂背景下目标检测方法、装置、设备及介质，其中，该方法包括：对输入图像进行特征提取，得到特征尺度依次递减的多个原始特征图；在多个原始特征图中，从设定尺度的原始特征图开始，进行特征信息增强操作，并将每次特征信息增强操作得到的融合特征图作为下次特征信息增强操作的基础，直到得到与特征尺度最大的原始特征图相同尺度的融合特征图；对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及多个原始特征图中未进行特征信息增强操作的其他原始特征图进行分类和回归，得到输入图像中不同尺度的目标物体的类别信息和位置信息。通过采用上述技术方案，有效提升了复杂背景下目标检测的检出效果。

Description

一种复杂背景下目标检测方法、装置、设备及介质

技术领域

本发明实施例涉及目标检测技术领域，具体而言，涉及一种复杂背景下目标检测方法、装置、设备及介质。

背景技术

目标检测是计算机视觉领域重要的研究方向之一，它主要是通过计算分析定位感兴趣目标，得出每个目标在图像中的类别信息和位置信息，目标检测在自动驾驶，医学影像和安防监控方面等多个领域具有十分重要的应用价值。

传统的目标检测算法通常根据具体任务设计人工特征，然后在滑动窗口上提取图像特征，最后基于这些特征训练分类器，并通过这个分类器来判断滑窗区域是否为目标。但是传统的人工特征很难适应目标的尺度、形态以及外界光照的变化，同时如果外界场景过于复杂，人工特征很难提取有用的信息，该方法计算量大，而且时间复杂度高，没有很好的鲁棒性，很难适应多类目标检测，这导致传统的目标检测技术很难满足目前的目标检测任务需求。

随着深度学习技术的不断发展，基于卷积神经网络的目标检测算法相比于传统的方法能带来很大的提升。该方法利用卷积神经网络从大量数据集中自动学习如何提取有效的特征。与人工特征相比，基于深度学习的目标检测技术能学习到质量更好，更具有鲁棒性的特征，该方法能够将特征提取与特征分类融合在同一个网络模型当中，并通过误差反向传播来进行优化。因此，基于深度学习的目标检测算法逐渐成为计算机视觉领域的研究热点方向。但是，该技术方法在面对背景复杂等场景依然有改进的空间。如何设计网络模型来提取更加完备的特征，如何改进复杂背景下目标检测的检测效果等这些问题还亟待解决。

发明内容

本发明实施例提供一种复杂背景下目标检测方法、装置、设备及介质，有效提升了复杂背景下目标检测的检出效果。

第一方面，本发明实施提供了一种复杂背景下目标检测方法，该方法包括：

基于目标检测模型中的预设特征提取网络对输入图像进行特征提取，得到特征尺度依次递减的多个原始特征图；

基于目标检测模型中的特征融合单元，在所述多个原始特征图中，从设定尺度的原始特征图开始，进行特征信息增强操作，并将每次特征信息增强操作得到的融合特征图作为下次特征信息增强操作的基础，直到得到与特征尺度最大的原始特征图相同尺度的融合特征图；其中，所述特征信息增强操作包括对当前遍历的当前原始特征图上采样到与上一层原始特征图相同的尺度，并将上采样后的结果与所述上一层的原始特征图进行特征融合，得到融合特征图；其中，所述融合特征图的通道数与对应的原始特征图的通道数保持一致；

基于目标检测模型中的特征检测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图进行分类和回归，得到所述输入图像中不同尺度的目标物体的类别信息和位置信息。

可选的，所述将上采样后的结果与所述上一层的原始特征图进行特征融合，包括：

采用加和Eltw Sum操作，将上采样后的特征图与所述当前原始特征图的上一层的原始特征图中对应位置的元素相加。

可选的，所述目标检测模型还包括预测单元，连接在所述特征提取网络和所述特征检测单元之间，相应的，所述方法还包括：

基于所述预测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图，进行通道数调整，得到特征信息增强后的增强特征图；相应的，

基于目标检测模型中的特征检测单元，对各增强特征图进行分类和回归，得到所述输入图像中不同尺度的目标物体的类别信息和位置信息。

可选的，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图，进行通道数调整，包括：

对于完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图，均经过三次通道数调整，并将每次调整的结果进行拼接，得到拼接结果；其中，第一次通道数调整是利用1×1的卷积核进行；第二次通道数调整是先后利用1×1和3×3的卷积核进行；第三次通道数调整是先后依次利用1×1、3×3和3×3的卷积核进行；

对所述任意一个特征图经过1×1的通道数调整，得到第一特征序列；并将所述拼接结果再次经过1×1的通道数调整，得到第二特征序列；将第一特征序列和第二特征序列对应的元素进行相加，得到特征信息增强后的增强特征图。

可选的，对各增强特征图进行分类和回归，得到所述输入图像中不同尺度的目标物体的类别信息和位置信息，包括：

在每个增强特征图上，确定目标物体对应的预测边界框的类别置信度和位置偏移；

通过非极大值抑制方法NNS，根据所述类别置信度和所述位置偏移，确定目标物体对应的目标类别和目标预测框。

可选的，所述目标检测模型通过如下方式训练得到：

基于目标检测模型中的预设特征提取网络对样本图像进行特征提取，得到特征尺度依次递减的多个原始特征图；

基于目标检测模型中的特征融合单元，在所述多个原始特征图中，从设定尺度的原始特征图开始，进行特征信息增强操作，并将每次特征信息增强操作得到的融合特征图作为下次特征信息增强操作的基础，直到得到与特征尺度最大的原始特征图尺度相同的融合特征图，其中，所述特征信息增强操作包括对当前遍历的当前原始特征图上次样到与上一层原始特征图相同的尺度，并将上采样后的结果与上一层的原始特征图进行特征融合，得到融合特征图；

基于目标检测模型中的特征检测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图进行分类和回归，得到所述样本图像中不同尺度的目标物体的预测类别和预测位置；

基于所述样本图像中不同尺度的目标物体的预测类别和标注类别、标注位置和预测位置之间的关系，对目标检测模型进行训练，使得完成训练的目标检测模型建立不同尺度、不同类别的目标对象与其在图像中的位置信息之间的关联关系。

可选的，所述多个原始特征图的特征尺度依次为：38×38、19×19、10×10、5×5、3×3和1×1。

第二方面，本发明实施例还提供了一种复杂背景下目标检测装置，该装置包括：

特征提取模块，被配置为基于目标检测模型中的预设特征提取网络对输入图像进行特征提取，得到特征尺度依次递减的多个原始特征图；

特征融合模块，被配置为基于目标检测模型中的特征融合单元，在所述多个原始特征图中，从设定尺度的原始特征图开始，进行特征信息增强操作，并将每次特征信息增强操作得到的融合特征图作为下次特征信息增强操作的基础，直到得到与特征尺度最大的原始特征图相同尺度的融合特征图；其中，所述特征信息增强操作包括对当前遍历的当前原始特征图上采样到与上一层原始特征图相同的尺度，并将上采样后的结果与所述上一层的原始特征图进行特征融合，得到融合特征图；其中，所述融合特征图的通道数与对应的原始特征图的通道数保持一致；

特征检测模块，被配置为基于目标检测模型中的特征检测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图进行分类和回归，得到所述输入图像中不同尺度的目标物体的类别信息和位置信息。

可选的，所述特征融合模块，具体包括：

上采样单元，具体被配置为对当前遍历的当前原始特征图上采样到与上一层原始特征图相同的尺度；

融合单元，被配置为采用加和Eltw Sum操作，将上采样后的特征图与所述当前原始特征图的上一层的原始特征图中对应位置的元素相加；

可选的，所述目标检测模型还包括预测单元，连接在所述特征提取网络和所述特征检测单元之间，相应的，所述装置还包括：

特征增强模块，被配置为基于所述预测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图，进行通道数调整，得到特征信息增强后的增强特征图；相应的，

所述特征检测模块，具体被配置为：所述基于目标检测模型中的特征检测单元，对各增强特征图进行分类和回归，得到所述输入图像中不同尺度的目标物体的类别信息和位置信息。

可选的，所述特征增强模块，具体被配置为：

对于完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图，均经过三次通道数调整，并将每次调整的结果进行拼接，得到拼接结果；其中，第一次通道数调整是利用1×1的卷积核进行；第二次通道数调整是先后利用1×1和3×3的卷积核进行；第三次通道数调整是先后依次利用1×1、3×3和3×3的卷积核进行；

对所述任意一个特征图经过1×1的通道数调整，得到第一特征序列；并将所述拼接结果再次经过1×1的通道数调整，得到第二特征序列；将第一特征序列和第二特征序列对应的元素进行相加，得到特征信息增强后的增强特征图。

可选的，所述特征检测模块，具体被配置为：目标检测模型中的特征检测单元，在每个增强特征图上，确定目标物体对应的预测边界框的类别置信度和位置偏移；

通过非极大值抑制方法NNS，根据所述类别置信度和所述位置偏移，确定目标物体对应的目标类别和目标预测框。

可选的，所述目标检测模型通过如下方式训练得到：

基于目标检测模型中的预设特征提取网络对样本图像进行特征提取，得到特征尺度依次递减的多个原始特征图；

基于目标检测模型中的特征融合单元，在所述多个原始特征图中，从设定尺度的原始特征图开始，进行特征信息增强操作，并将每次特征信息增强操作得到的融合特征图作为下次特征信息增强操作的基础，直到得到与特征尺度最大的原始特征图尺度相同的融合特征图，其中，所述特征信息增强操作包括对当前遍历的当前原始特征图上次样到与上一层原始特征图相同的尺度，并将上采样后的结果与上一层的原始特征图进行特征融合，得到融合特征图；

基于目标检测模型中的特征检测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图进行分类和回归，得到所述样本图像中不同尺度的目标物体的预测类别和预测位置；

基于所述样本图像中不同尺度的目标物体的预测类别和标注类别、标注位置和预测位置之间的关系，对目标检测模型进行训练，使得完成训练的目标检测模型建立不同尺度、不同类别的目标对象与其在图像中的位置信息之间的关联关系。

可选的，所述多个原始特征图的特征尺度依次为：38×38、19×19、10×10、5×5、3×3和1×1。

第三方面，本发明实施例还提供了一种计算设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的复杂背景下目标检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的复杂背景下目标检测方法。

本发明实施例提供的技术方案，充分利用了不同特征层之间的信息，通过将深层具有语义信息的特征图与浅层的特征图采用迭代的方式进行充分的融合，可以有效地对小目标物体进行检测。该发明采用六种不同尺度的特征层负责检测不同尺度的目标物体，对检测目标的尺度覆盖连续、全面。此外，本发明实施例发明提出的预测单元，通过对特征图进行通道数调整，可进一步提升了网络框架的检出率。本发明实施例该提供的目标检测模型，网络模型简单，简单有效，非常方便在嵌入式设备上进行移植应用。

本发明实施例的创新点包括：

1、通过使深层具有语义信息的特征层与浅层的特征层进行迭代融合，可实现浅层特征与深层浅层特征层的信息互补，提高地对小目标物体的检测率，是本发明实施例的创新点之一。

2、通过采用预测单元对特征图经过三次通道数调整，并将每次调整的结果进行拼接，得到拼接结果；对任意一个特征图经过1×1的通道数调整，得到第一特征序列；并将所述拼接结果再次经过1×1的通道数调整，得到第二特征序列；将第一特征序列和第二特征序列对应的元素进行相加，得到特征信息增强后的增强特征图，进一步增强了目标检测模型对多类目标的检出能力，是本发明实施例的创新点之一。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明实施例一提供的一种目标检测模型的训练方法的流程图；

图1b为本发明实施例一提供的一种复杂背景下小目标精准定位检测方法总体框架示意图；

图1c为本发明实施例一提供的预测单元进行特征信息整合的过程示意图；

图2a为本发明实施例二提供的一种复杂背景下目标检测方法的流程示意图；

图2b为本发明实施例二提供的一种利用目标检测模型进行目标检测的结果示意图；

图3为本发明实施例三提供的一种复杂背景下目标检测装置的结构框图；

图4是本发明实施例四提供的一种计算设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种复杂背景下目标检测方法、装置、设备及介质。以下分别进行详细说明。

图1a为本发明实施例一提供的一种目标检测模型的训练方法的流程图，该方法可应用于多尺度目标检测、背景复杂等场景下。本实施例提供的目标检测模型由预设特征提取网络、特征融合单元和特征检测单元组成。进一步的，该目标检测网络还可包括预测单元，连接在所述特征提取网络和所述特征检测单元之间。如图1a所示，该方法包括：

110、基于目标检测模型中的预设特征提取网络对样本图像进行特征提取，得到特征尺度依次递减的多个原始特征图。

其中，预设特征提取网络可以是：在VGG-16(Visual Geometry Group Network，视觉几何群网络)的基础卷积网络的基础上增加一些卷积层，与VGG16的基础网络共同构成特征提取网络。本实施例中，预设特征提取网络的设置，是为了得到特征尺度从大到小依次递减的多个原始特征图。其中，为了使得原始特征图包含物体的不同尺度信息，覆盖尺度更为全面，本实施例中通过设置预设特征提取网络的参数得到的原始特征图的特征尺度依次为38×38、19×19、10×10、5×5、3×3和1×1。

120、基于目标检测模型中的特征融合单元，在多个原始特征图中，从设定尺度的原始特征图开始，进行特征信息增强操作，并将每次特征信息增强操作得到的融合特征图作为下次特征信息增强操作的基础，直到得到与特征尺度最大的原始特征图相同尺度的融合特征图。

其中，特征信息增强操作包括对当前遍历的当前原始特征图上采样到与上一层原始特征图相同的尺度，并将上采样后的结果与上一层的原始特征图进行特征融合，得到融合特征图。本实施例中，进行特征信息增强操作是为了将深层特征图的语义特征信息添加到浅层特征图中。上采样的目的是将小尺度的特征图上采样到与大尺度的特征图相同的尺度，以进行特征融合操作。其中，特征融合可通过采用Eltw Sum(加和)操作，即将上采样后的特征图与当前原始特征图的上一层的原始特征图中对应位置的元素相加。进行特征融合后得到的统合特征图具有良好的物体细节信息，更有有利于后续对样本图像中目标物体的检测。

具体的，图1b为本发明实施例一提供的一种复杂背景下小目标精准定位检测方法总体框架示意图，如图1b所示，样本图像在经过预设特征提取网络后得到特征尺度依次递减的多个原始特征图：尺度为38×38的Conv4_3、尺度为19×19的FC7、尺度为10×10的Conv8_2、尺度为5×5的Conv9_2、尺度为3×3的Conv10_2和尺度为1×1的Conv11_2。开始进行上采样操作的设定尺度的原始特征图可以自行设置，本实施例中，从尺度为5×5的原始特征图Conv9_2开始进行上采样。其中，可基于双线性差值方法进行上采样操作。

如图1b所示，从原始特征图Conv9_2开始进行特征信息增强操作，具体为：对原始特征图Conv9_2进行两倍上采样，得到与该原始特征图的上一层原始特征图尺度相同的第一临时特征图，即如图1b中的T_Conv8_2，将第一临时特征图T_Conv8_2与Conv8_2中的对应元素进行加和操作，得到第一融合特征图E_Conv8_2。对于得到的第一融合特征图，按照上述特征信息增强操作，先对其进行两倍上采样，得到与上一层原始特征图FC相同尺度的第二临时特征图T_FC7，然后再将第二临时特征图T_FC7与FC7对应元素相加，得到第二融合特征图E_FC7。对于得到的第二融合特征图，继续按照上述特征信息增强操作，先对其进行两倍上采样，得到与上一层原始特征图Conv4_3尺度相同的第三临时特征图T_Conv4_3，然后将该第三临时特征图T_Conv4_3与Conv4_3对应元素相加，得到与Conv4_3相同尺度的第三融合特征图E_Conv4_3。

在上述过程中，一共进行了3次上采样与融合操作。为了保证多尺度融合特征层的特征信息足够丰富，融合特征图的通道数与原始特征图的通道数保持一致。同时该发明方法所使用的进行上采样的特征层的卷积核大小为3×3，与VGG16基础特征提取网络的卷积核保持一致。本实施例提供的多尺度特征融合框架的主要增加计算量集中在上采样过程中，然而与基础特征提取网络VGG16的原始计算量相比，增加的上采样层计算量大约只占1％。因此本实施例提供的多尺度特征融合框架能够保证在提升检测精度的同时，又不引入较多的计算量。实验证明，通过这种不同尺度的特征融合，本实施例提供的方法在PASCALVOC数据集上的mAP(mean Average Precision，目标检测中衡量识别精度的指标)，相对于原始SSD300精度，得到的有效提升。

130、基于目标检测模型中的特征检测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及多个原始特征图中未进行特征信息增强操作的其他原始特征图进行分类和回归，得到样本图像中不同尺度的目标物体的预测位置。

其中，对各增强特征图进行分类和回归，得到输入图像中不同尺度的目标物体的预测类别和预测位置，可通过如下方式实现：

在每个融合特征图上，确定目标物体对应的预测边界框的类别置信度和位置偏移；通过NNS(non maximum suppression，非极大值抑制)方法，根据类别置信度和位置偏移，确定目标物体对应的目标类别和目标预测框。

进一步的，为了提升该网络模型的检测精度，本实施例提供了一种预测单元，连接在特征提取网络和所述特征检测单元之间，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图进行特征信息整合。其中，特征信息整合具体可通过通道数调整的方式来实现，得到特征信息增强后的增强特征图；相应的，

基于目标检测模型中的特征检测单元，对各增强特征图进行分类和回归，得到输入图像中不同尺度的目标物体的类别信息和位置信息。

具体的，图1c为本发明实施例一提供的预测单元进行特征信息整合的过程示意图。如图1c所示，对于完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图(图中所示为上级特征层)，均经过三次通道数调整，并将每次调整的结果进行拼接(Concate)，得到拼接结果；其中，第一次通道数调整是利用1×1的卷积核进行；第二次通道数调整是先后利用1×1和3×3的卷积核进行；第三次通道数调整是先后依次利用1×1、3×3和3×3的卷积核进行；并且，对于完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图经过1×1的通道数调整，得到第一特征序列；并将所述拼接结果再次经过1×1的通道数调整，得到第二特征序列；将第一特征序列和第二特征序列对应的元素进行相加(Eltwis)，得到特征信息增强后的增强特征图。

本实施例采用上述预测单元对特征图进行特征信息增强，可增强浅层网络对于小目标的定位能力，减少目标检测过程中的运算量，并且提高对于多尺度目标的检测性能。

具体的，对于如图1b所示的检测框架，输入到特征检测单元(Detections)中的特征图为E_Conv4_3，E_FC7，E_Conv8_2，Conv9_2，Conv10_2，和Conv11_2。并通过NMS模块对检测到的特征信息进行分类和回归，得到不同尺度的目标物体的预测类别信息和预测位置信息。

140、基于样本图像中不同尺度的目标物体的预测类别和标注类别、标注位置和预测位置之间的关系，对目标检测模型进行训练，使得完成训练的目标检测模型建立不同尺度、不同类别的目标对象与其在图像中的位置信息之间的关联关系。

其中，图像样本集为大量标注有不同尺度、不同类别及其位置信息的图像数据。利用图像样本集进行模型训练主要包括前向传播阶段和反向传播阶段。其中，前向传播是根据输入样本数据得到输出的过程。反向传播主要是对代价函数进行反向求导，需要不断迭代来更新神经元前面的参数和偏差，进行误差反向传播，利用得到的残差来对权值和偏置进行更新，当损失函数loss值不再下降，达到收敛的时候表明可以结束训练，网络已收敛。其中，模型可利用交叉熵损失函数和DIOU loss进行分类和位置回归。

本实施例提供的技术方案，充分利用了不同特征层之间的信息，通过将深层具有语义信息的特征图与浅层的特征图采用迭代的方式进行充分的融合，可以有效地对小目标物体进行检测。该发明采用六种不同尺度的特征层负责检测不同尺度的目标物体，对检测目标的尺度覆盖连续、全面。此外，本发明实施例发明提出的预测单元，通过对特征图进行通道数调整，可进一步提升了网络框架的检出率。本发明实施例该提供的目标检测模型，网络模型简单，简单有效，非常方便在嵌入式设备上进行移植应用。

实施例二

图2a为本发明实施例二提供的一种复杂背景下目标检测方法的流程示意图，该方法可以通过复杂背景下目标检测装置来执行，该装置可通过软件和/或硬件的方式来实现。如图2a所示，本实施例提供的复杂背景下目标检测方法具体包括：

210、基于目标检测模型中的预设特征提取网络对输入图像进行特征提取，得到特征尺度依次递减的多个原始特征图。

其中，目标检测模型的训练过程可参见上述实施例的说明，此处不再赘述。

220、基于目标检测模型中的特征融合单元，在多个原始特征图中，从设定尺度的原始特征图开始，进行特征信息增强操作，并将每次特征信息增强操作得到的融合特征图作为下次特征信息增强操作的基础，直到得到与特征尺度最大的原始特征图相同尺度的融合特征图。

其中，特征信息增强操作包括对当前遍历的当前原始特征图上采样到与上一层原始特征图相同的尺度，并将上采样后的结果与所述上一层的原始特征图进行特征融合，得到融合特征图；其中，融合特征图的通道数与对应的原始特征图的通道数保持一致。具体的，可采用加和Eltw Sum操作，将上采样后的特征图与当前原始特征图的上一层的原始特征图中对应位置的元素相加。

具体的，特征信息增强操作与上述实施例在模型训练阶段，特征信息增强操作的实施过程相同，具体可参见上述实施例的说明，此处不再赘述。

进一步的，基于所述预测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图，进行通道数调整，得到特征信息增强后的增强特征图，以提升目标检测模型的检出能力。其中，预测单元的具体实现方式可参照上述实施例的说明，此处不再赘述。

230、基于目标检测模型中的特征检测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图进行分类和回归，得到所述输入图像中不同尺度的目标物体的类别信息和位置信息。

其中，在经过预测单元进行特征信息增强，得到增强特征图后，可基于目标检测模型中的特征检测单元，对各增强特征图进行分类和回归，得到输入图像中不同尺度的目标物体的类别信息和位置信息。

具体的，在每个增强特征图上，确定目标物体对应的预测边界框的类别置信度和位置偏移；通过非极大值抑制方法NNS，根据所述类别置信度和所述位置偏移，确定目标物体对应的目标类别和目标预测框。

具体的，图2b为本发明实施例二提供的一种利用目标检测模型进行目标检测的结果示意图。如图2b所示，目标检测模型可输出不同尺度、不同类别的目标对象在图像中类别信息的类别置信度和位置信息的检测框，并通过NMS方法提取位置置信度最高的目标检测框，如图2b中目标物体，如不同尺度的飞机(aeroplane)、不同尺度的人(person)、不同尺度的汽车(car)对应的目标检测框和类别置信度数值。

本实施例提供的技术方案，通过利用已经训练完成的多目标检测模型识别图像数据，可得到图像中不同类别、不同尺度的目标物体在图像中的位置信息和类别信息。由于目标检测模型在训练过程中经过了浅层特征与深层浅层特征层的信息互补，通过多尺度特征融合有效利用浅层特征的目标细节信息以及深层特征层的目标语义信息深层具有语义信息，因此可以实现对图像中小目标物体进行有效检测，并且目标检测模型中的预测单元可进一步对负责定位和分类的特征层进行特征增强，有效地提升了多类物体在复杂背景下的检出能力。

实施例三

图3为本发明实施例三提供的一种目标检测模型的训练装置的结构框图，如图3所示，该装置包括：特征提取模块310、特征融合模块320和特征检测模块330；其中，

特征提取模块310，被配置为基于目标检测模型中的预设特征提取网络对输入图像进行特征提取，得到特征尺度依次递减的多个原始特征图；

特征融合模块320，被配置为基于目标检测模型中的特征融合单元，在所述多个原始特征图中，从设定尺度的原始特征图开始，进行特征信息增强操作，并将每次特征信息增强操作得到的融合特征图作为下次特征信息增强操作的基础，直到得到与特征尺度最大的原始特征图相同尺度的融合特征图；其中，所述特征信息增强操作包括对当前遍历的当前原始特征图上采样到与上一层原始特征图相同的尺度，并将上采样后的结果与所述上一层的原始特征图进行特征融合，得到融合特征图；其中，所述融合特征图的通道数与对应的原始特征图的通道数保持一致；

特征检测模块330，被配置为基于目标检测模型中的特征检测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图进行分类和回归，得到所述输入图像中不同尺度的目标物体的类别信息和位置信息。

可选的，所述特征融合模块，具体包括：

上采样单元，具体被配置为对当前遍历的当前原始特征图上采样到与上一层原始特征图相同的尺度；

融合单元，被配置为采用加和Eltw Sum操作，将上采样后的特征图与所述当前原始特征图的上一层的原始特征图中对应位置的元素相加；

可选的，所述目标检测模型还包括预测单元，连接在所述特征提取网络和所述特征检测单元之间，相应的，所述装置还包括：

特征增强模块，被配置为基于所述预测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图，进行通道数调整，得到特征信息增强后的增强特征图；相应的，

所述特征检测模块，具体被配置为：所述基于目标检测模型中的特征检测单元，对各增强特征图进行分类和回归，得到所述输入图像中不同尺度的目标物体的类别信息和位置信息。

可选的，所述特征增强模块，具体被配置为：

对于完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图，均经过三次通道数调整，并将每次调整的结果进行拼接，得到拼接结果；其中，第一次通道数调整是利用1×1的卷积核进行；第二次通道数调整是先后利用1×1和3×3的卷积核进行；第三次通道数调整是先后依次利用1×1、3×3和3×3的卷积核进行；

对所述任意一个特征图经过1×1的通道数调整，得到第一特征序列；并将所述拼接结果再次经过1×1的通道数调整，得到第二特征序列；将第一特征序列和第二特征序列对应的元素进行相加，得到特征信息增强后的增强特征图。

可选的，所述特征检测模块，具体被配置为：目标检测模型中的特征检测单元，在每个增强特征图上，确定目标物体对应的预测边界框的类别置信度和位置偏移；

通过非极大值抑制方法NNS，根据所述类别置信度和所述位置偏移，确定目标物体对应的目标类别和目标预测框。

可选的，所述目标检测模型通过如下方式训练得到：

基于目标检测模型中的预设特征提取网络对样本图像进行特征提取，得到特征尺度依次递减的多个原始特征图；

基于目标检测模型中的特征融合单元，在所述多个原始特征图中，从设定尺度的原始特征图开始，进行特征信息增强操作，并将每次特征信息增强操作得到的融合特征图作为下次特征信息增强操作的基础，直到得到与特征尺度最大的原始特征图尺度相同的融合特征图，其中，所述特征信息增强操作包括对当前遍历的当前原始特征图上次样到与上一层原始特征图相同的尺度，并将上采样后的结果与上一层的原始特征图进行特征融合，得到融合特征图；

基于目标检测模型中的特征检测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图进行分类和回归，得到所述样本图像中不同尺度的目标物体的预测类别和预测位置；

基于所述样本图像中不同尺度的目标物体的预测类别和标注类别、标注位置和预测位置之间的关系，对目标检测模型进行训练，使得完成训练的目标检测模型建立不同尺度、不同类别的目标对象与其在图像中的位置信息之间的关联关系。

可选的，所述多个原始特征图的特征尺度依次为：38×38、19×19、10×10、5×5、3×3和1×1。

本发明实施例所提供的复杂背景下目标检测装置可执行本发明任意实施例所提供的复杂背景下目标检测方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的复杂背景下目标检测方法。

实施例四

请参阅图4，图4是本发明实施例四提供的一种计算设备的结构示意图。如图4所示，该计算设备可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，执行本发明任意实施例所提供的复杂背景下目标检测方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的目复杂背景下目标检测方法。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种复杂背景下目标检测方法，其特征在于，包括：

基于目标检测模型中的预设特征提取网络对输入图像进行特征提取，得到特征尺度依次递减的多个原始特征图；

基于目标检测模型中的特征融合单元，在所述多个原始特征图中，从设定尺度的原始特征图开始，进行特征信息增强操作，并将每次特征信息增强操作得到的融合特征图作为下次特征信息增强操作的基础，直到得到与特征尺度最大的原始特征图相同尺度的融合特征图；其中，所述特征信息增强操作包括对当前遍历的当前原始特征图上采样到与上一层原始特征图相同的尺度，并将上采样后的结果与所述上一层的原始特征图进行特征融合，得到融合特征图；其中，所述融合特征图的通道数与对应的原始特征图的通道数保持一致；

基于目标检测模型中的特征检测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图进行分类和回归，得到所述输入图像中不同尺度的目标物体的类别信息和位置信息。

2.根据所述权利要求1所述的方法，其特征在于，所述将上采样后的结果与所述上一层的原始特征图进行特征融合，包括：

采用加和Eltw Sum操作，将上采样后的特征图与所述当前原始特征图的上一层的原始特征图中对应位置的元素相加。

3.根据权利要求1所述的方法，其特征在于，所述目标检测模型还包括预测单元，连接在所述特征提取网络和所述特征检测单元之间，相应的，所述方法还包括：

基于所述预测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图，进行通道数调整，得到特征信息增强后的增强特征图；相应的，

基于目标检测模型中的特征检测单元，对各增强特征图进行分类和回归，得到所述输入图像中不同尺度的目标物体的类别信息和位置信息。

4.根据权利要求3所述的方法，其特征在于，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图，进行通道数调整，包括：

对于完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图中的任意一个特征图，均经过三次通道数调整，并将每次调整的结果进行拼接，得到拼接结果；其中，第一次通道数调整是利用1×1的卷积核进行；第二次通道数调整是先后利用1×1和3×3的卷积核进行；第三次通道数调整是先后依次利用1×1、3×3和3×3的卷积核进行；

对所述任意一个特征图经过1×1的通道数调整，得到第一特征序列；并将所述拼接结果再次经过1×1的通道数调整，得到第二特征序列；将第一特征序列和第二特征序列对应的元素进行相加，得到特征信息增强后的增强特征图。

5.根据权利要求3所述的方法，其特征在于，对各增强特征图进行分类和回归，得到所述输入图像中不同尺度的目标物体的类别信息和位置信息，包括：

在每个增强特征图上，确定目标物体对应的预测边界框的类别置信度和位置偏移；

通过非极大值抑制方法NNS，根据所述类别置信度和所述位置偏移，确定目标物体对应的目标类别和目标预测框。

6.根据权利要求1-5任一所述的方法，其特征在于，所述目标检测模型通过如下方式训练得到：

基于目标检测模型中的预设特征提取网络对样本图像进行特征提取，得到特征尺度依次递减的多个原始特征图；

基于目标检测模型中的特征融合单元，在所述多个原始特征图中，从设定尺度的原始特征图开始，进行特征信息增强操作，并将每次特征信息增强操作得到的融合特征图作为下次特征信息增强操作的基础，直到得到与特征尺度最大的原始特征图尺度相同的融合特征图，其中，所述特征信息增强操作包括对当前遍历的当前原始特征图上次样到与上一层原始特征图相同的尺度，并将上采样后的结果与上一层的原始特征图进行特征融合，得到融合特征图；

基于目标检测模型中的特征检测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图进行分类和回归，得到所述样本图像中不同尺度的目标物体的预测类别和预测位置；

基于所述样本图像中不同尺度的目标物体的预测类别和标注类别、标注位置和预测位置之间的关系，对目标检测模型进行训练，使得完成训练的目标检测模型建立不同尺度、不同类别的目标对象与其在图像中的位置信息之间的关联关系。

7.根据权利要求1-6任一所述的方法，其特征在于，所述多个原始特征图的特征尺度依次为：38×38、19×19、10×10、5×5、3×3和1×1。

8.一种复杂背景下目标检测装置，其特征在于，包括：

特征提取模块，被配置为基于目标检测模型中的预设特征提取网络对输入图像进行特征提取，得到特征尺度依次递减的多个原始特征图；

特征融合模块，被配置为基于目标检测模型中的特征融合单元，在所述多个原始特征图中，从设定尺度的原始特征图开始，进行特征信息增强操作，并将每次特征信息增强操作得到的融合特征图作为下次特征信息增强操作的基础，直到得到与特征尺度最大的原始特征图相同尺度的融合特征图；其中，所述特征信息增强操作包括对当前遍历的当前原始特征图上采样到与上一层原始特征图相同的尺度，并将上采样后的结果与所述上一层的原始特征图进行特征融合，得到融合特征图；其中，所述融合特征图的通道数与对应的原始特征图的通道数保持一致；

特征检测模块，被配置为基于目标检测模型中的特征检测单元，对完成特征信息增强操作得到的多个融合特征图，设定尺度的原始特征图、以及所述多个原始特征图中未进行特征信息增强操作的其他原始特征图进行分类和回归，得到所述输入图像中不同尺度的目标物体的类别信息和位置信息。

9.一种计算设备，其特征在于，所述计算设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的复杂背景下目标检测方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的复杂背景下目标检测方法。

Images