CN114821089A - 基于卷积神经网络的目标检测方法、装置、介质及设备 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的目标检测方法，包括：获取待检测图片；将待检测图片输入至预先训练的目标检测模型，利用目标检测模型的主干网络对待检测图片进行特征提取，特征提取包括第一阶段特征提取和第二阶段特征提取；采用CNN网络进行第一阶段特征提取；采用Transformer网络进行第二阶段特征提取；将第一阶段特征提取得到的特征图与第二阶段特征提取得到的特征图进行融合，得到融合特征图；基于融合特征图以及目标检测模型完成对待检测图片的目标检测。在本发明中，通过CNN网络进行第一阶段特征提取，然后基于第一阶段特征提取得到的特征图采用采用Transformer网络进行第二阶段特征提取，通过这种方式增大了感受野，改善了大目标和抓拍图的检测效果。

Description

基于卷积神经网络的目标检测方法、装置、介质及设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于卷积神经网络的目标检测方法、装置、介质及设备。

背景技术

在全结构化-目标检测的任务中，目标检测模型除了被应用到常规的监控摄像头的视频流之外，同时会被用来检测抓拍图中的目标。抓拍图通常为以某个目标为图像中心的一张截取的图片，目标框的尺寸和图像的尺寸比例通常为1:1.4，因此这样的目标可以被定义为检测任务中的“大目标”。

由于目标检测模型在训练时数据多为真实的监控场景的截图，在这样的数据集中，密集目标和较远的目标很多，大目标的个数和所占的比例均偏低。因此目标检测模型遇到了大目标检测效果不佳的情况，具体体现在模型在抓拍测试集的Precision和Recall都偏低，于是优化大目标的检测效果成了刚需。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于卷积神经网络的目标检测方法、装置、介质及设备，用于解决现有技术中的至少一个缺陷。

为实现上述目的及其他相关目的，本发明提供一种基于卷积神经网络的目标检测方法，包括：

获取待检测图片；

将所述待检测图片输入至预先训练的目标检测模型，利用所述目标检测模型的主干网络对所述待检测图片进行特征提取，所述特征提取包括第一阶段特征提取和第二阶段特征提取，所述第二阶段特征提取是基于所述第一阶段特征提取得到的特征图；在所述第一阶段特征提取过程中，采用CNN网络进行特征提取；在所述第二阶段特征提取过程中，采用Transformer网络进行特征提取；

将所述第一阶段特征提取得到的特征图与所述第二阶段特征提取得到的特征图进行融合，得到融合特征图；

基于所述融合特征图以及所述目标检测模型完成对所述待检测图片的目标检测。

可选地，所述第一阶段特征提取包括多次特征提取，后一次特征提取是基于前一次特征提取得到的特征图；在每一次特征提取过程中，采用CNN网络中的残差网络单元进行特征提取，每一次特征提取对应一个残差网络，不同次特征提取的残差网络不同，且得到的特征图尺度不同。

可选地，所述CNN网络包括第一残差网络单元、第二残差网络单元以及第三残差网络单元；

通过CNN网络中的第一残差网络单元对所述待检测图片进行第一次特征提取，得到第一特征图，所述第一特征图为所述待检测图片的1/4；

通过CNN网络中的第二残差网络单元对对第一特征图进行特征提取得到第二特征图，所述第二特征图为所述待检测图片的1/8；

通过CNN网络中的第三残差网络单元对对第二特征图进行特征提取得到第三特征图，所述第三特征图为所述待检测图片的1/16。

可选地，所述第二阶段特征提取包括两次特征提取，后一次特征提取是基于前一次特征提取得到的特征图；通过卷积层进行第一次特征提取，通过Transformer网络的Multi-Head Self-Attention单元进行第二次特征提取，第一次特征提取得到的特征图为所述待检测图片的 1/32，第二次特征提取得到的特征图与第一次特征提取得到的特征图尺度相同。

可选地，所述Transformer网络包括两个Multi-Head Self-Attention单元，前一个Multi-Head Self-Attention单元单元以所述第三特征图作为输入，后一个Multi-HeadSelf-Attention单元以前一个Multi-Head Self-Attention单元的输出作为输入。

可选地，所述Multi-Head Self-Attention单元包括依次的归一化层、多头自注意力网络层、归一化层、多层感知机层。

可选地，采用FPN结构对所述第一阶段特征提取得到的特征图与所述第二阶段特征提取得到的特征图进行融合。

为实现上述目的及其他相关目的，本发明提供一种基于卷积神经网络的目标检测装置，包括：

图片获取模块，用于获取待检测图片；

特征提取模块，用于将所述待检测图片输入至预先训练的目标检测模型，利用所述目标检测模型的主干网络对所述待检测图片进行特征提取，所述特征提取包括第一阶段特征提取和第二阶段特征提取，所述第二阶段特征提取是基于所述第一阶段特征提取得到的特征图；在所述第一阶段特征提取过程中，采用CNN网络进行特征提取；在所述第二阶段特征提取过程中，采用Transformer网络进行特征提取；

特征融合模块，用于将所述第一阶段特征提取得到的特征图与所述第二阶段特征提取得到的特征图进行融合，得到融合特征图；

目标检测模块，用于基于所述融合特征图以及所述目标检测模型完成对所述待检测图片的目标检测。

为实现上述目的及其他相关目的，本发明提供一种基于卷积神经网络的目标检测设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行一个或多个所述的方法。

为实现上述目的及其他相关目的，本发明提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行一个或多个所述的方法。

如上所述，本发明的一种基于卷积神经网络的目标检测方法、装置、介质及设备，具有以下有益效果：

本发明的一种基于卷积神经网络的目标检测方法，包括：获取待检测图片；将所述待检测图片输入至预先训练的目标检测模型，利用所述目标检测模型的主干网络对所述待检测图片进行特征提取，所述特征提取包括第一阶段特征提取和第二阶段特征提取，所述第二阶段特征提取是基于所述第一阶段特征提取得到的特征图；在所述第一阶段特征提取过程中，采用CNN 网络进行特征提取；在所述第二阶段特征提取过程中，采用Transformer网络进行特征提取；将所述第一阶段特征提取得到的特征图与所述第二阶段特征提取得到的特征图进行融合，得到融合特征图；基于所述融合特征图以及所述目标检测模型完成对所述待检测图片的目标检测。在本发明中，通过CNN网络进行第一阶段特征提取，然后基于第一阶段特征提取得到的特征图采用采用Transformer网络进行第二阶段特征提取，通过这种方式增大了感受野，改善了大目标和抓拍图的检测效果。相比传统的只采用CNN网络进行特征提取的方式，没有显著增大计算量，且前向时间也相差很小，在可接受范围内。

附图说明

图1为本发明一实施例一种基于卷积神经网络的目标检测方法的流程图；

图2为本发明一实施例一种基于卷积神经网络的目标检测装置的硬件结构示意图；

图3为本发明一实施例中终端设备的硬件结构示意图；

图4为本发明一实施例中终端设备的硬件结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

对于改善大目标的检测效果，有以下两种思路：

①增加Backbone网络结构的深度：卷积神经网络的感受野(Receptive Field)直接取决于卷积核的大小和卷积的深度，并且加深网络结构可以使特征信息更强，更有利于分类、检测等算法的训练和应用。但该方法的一个直接弊端就是加大了网络的计算量，导致网络测试时间增多，路数减少。对于实时性要求很高的检测任务来说这是不可接受的。

②在训练集中加入更多的含大目标的数据：这样做可以很明显地提升检测器在大目标/抓拍图中的人体检测效果。然而这就导致了训练集中监控全景图数据的比例变少，导致监控场景的测试效果变差，这也是不希望看到的。

基于上述缺陷，本申请为了同时满足检测效果的优化和速度，采用了以CNN+Transformer 的网络结构作为目标检测模型的骨干网Backbone。

目标检测模型包括4个stage，在CNN网络中，包括3个Stage，每一个Stage采用与ResNet 一样的残差网络单元；而在Transformer网络中，包括1个Stage，该Stage采用Multi-Head Self-Attention(多头自注意力结构)单元。

在常规的CNN的Backbone如ResNet系列，会输出4个不同尺度的Feature Maps(1/4， 1/8，1/16以及1/32)，每一个Feature Map之间的卷积操作为一个Stage。本发明将CNN网络中的最后一个Stage采用基于Transformer网络的Multi-Head Self-Attention模块，通过这样处理后，增大了最后一个Stage的感受野，改善了大目标和抓拍图的检测效果。

根据上述描述，本申请实施例提供一种目标检测模型的训练方法，如图1所示，具体包括：

S100获取待检测图片；

S200将所述待检测图片输入至预先训练的目标检测模型，利用所述目标检测模型的主干网络对所述待检测图片进行特征提取，所述特征提取包括第一阶段特征提取和第二阶段特征提取，所述第二阶段特征提取是基于所述第一阶段特征提取得到的特征图；在所述第一阶段特征提取过程中，采用CNN网络进行特征提取；在所述第二阶段特征提取过程中，采用Transformer 网络进行特征提取；

S300将所述第一阶段特征提取得到的特征图与所述第二阶段特征提取得到的特征图进行融合，得到融合特征图；

S400基于所述融合特征图以及所述目标检测模型完成对所述待检测图片的目标检测。

在本发明中，通过CNN网络进行第一阶段特征提取，然后基于第一阶段特征提取得到的特征图采用采用Transformer(一种以自注意力结构为核心的网络)网络进行第二阶段特征提取，通过这种方式增大了感受野Receptive Field，神经网络每一层输出的特征图Feature Map 上的像素点在输入图片上映射的区域大小，即Feature Map上的一个点对应输入图像上的某一区域)，改善了大目标和抓拍图的检测效果。相比传统的只采用CNN(卷积神经网络)网络进行特征提取的方式，没有显著增大计算量，且前向时间也相差很小，在可接受范围内。

在一实施例中，所述第一阶段特征提取包括多次特征提取，后一次特征提取是基于前一次特征提取得到的特征图；在每一次特征提取过程中，采用CNN网络中的残差网络单元进行特征提取，每一次特征提取对应一个残差网络，不同次特征提取的残差网络不同，且得到的特征图尺度不同。

具体地，所述CNN网络包括第一残差网络单元、第二残差网络单元以及第三残差网络单元；通过CNN网络中的第一残差网络单元对所述待检测图片进行第一次特征提取，得到第一特征图，所述第一特征图为所述待检测图片的1/4；通过CNN网络中的第二残差网络单元对对第一特征图进行特征提取得到第二特征图，所述第二特征图为所述待检测图片的1/8；通过 CNN网络中的第三残差网络单元对对第二特征图进行特征提取得到第三特征图，所述第三特征图为所述待检测图片的1/16。在本实施例中，残差网络单元可以采用ResNet。在本实施例中的CNN网络是将常规的CNN网络的的最后一个Stage直接去掉，使得最终输出的Feature Map大小从原图的1/32变为原图的1/16。

在一实施例中，所述第二阶段特征提取包括两次特征提取，后一次特征提取是基于前一次特征提取得到的特征图；通过卷积层进行第一次特征提取，通过Transformer网络的Multi-Head Self-Attention单元进行第二次特征提取，第一次特征提取得到的特征图为所述待检测图片的 1/32，第二次特征提取得到的特征图与第一次特征提取得到的特征图尺度相同。

具体地，进行第一次特征提取的卷积层的卷积核大小为3*3，步长为2的普通卷积，将第三特征图从1/16缩小为1/32。

具体地，所述Transformer网络包括两个Multi-Head Self-Attention单元，前一个Multi-Head Self-Attention单元单元以所述第三特征图作为输入，后一个Multi-HeadSelf-Attention单元以前一个Multi-Head Self-Attention单元的输出作为输入；所述后一个Multi-Head Self-Attention单元输出的特征图为所述待检测图片的1/32。

在一实施例中，所述Multi-Head Self-Attention单元包括依次的归一化层、多头自注意力网络层、归一化层、多层感知机层。

在一实施例中，采用FPN(即特征金子塔网络，通常被用在目标检测任务中，对不同尺寸的Feature Maps进行融合)结构对所述第一阶段特征提取得到的特征图与所述第二阶段特征提取得到的特征图进行融合。

在本实施例中，将常规CNN网络中的最后一个Stage直接去掉，使得待检测图片经过三次特征提取后，最终输出的Feature Map大小从原图的1/32变为原图的1/16。在此基础上接一个大小为3*3，步长为2的标准卷积层，将Feature Map降采样为原图的1/32。在此之后便是由2个Multi-Head Self-Attention单元连续堆叠。在这里堆叠了两个相同的单元，其中每个单元由归一化层+Multi-Head Self-Attention层+归一化层+MLP(MLP即多层感知机，是以全连接结构为基础的网络模块)组成。这样的操作不会改变Feature Map的尺寸大小，因此最终输出的Feature Map仍是原图的1/32。最后，将前面CNN网络三个Stage中的后两个得到的1/8 和1/16的Feature Map以及最后的Transformer网络得到的1/32的FeatureMap，输入到FPN 结构中，进行Top-Down的特征融合，得到融合特征图。该融合特征图为后续的预测阶段做准备。

在利用上述方法对目标进行检测，90％的Recall(Recall：即召回率，其计算方式为正确检测目标个数除以目标总数)时的Precision(Precision：即精准率，其计算方式为正确检测目标个数除以检测出的目标总数Recall：即召回率，其计算方式为正确检测目标个数除以目标总数)从71.6％提升至79.8％，误检数从15037减少为9598；在行人抓拍方面，90％的Recall时Precision从97.4％提升至97.7％，误检数从1012减少为882。

如图2所示，本申请实施例提供一种目标检测模型的训练装置，包括：

图片获取模块100，用于获取待检测图片；

特征提取模块200，用于将所述待检测图片输入至预先训练的目标检测模型，利用所述目标检测模型的主干网络对所述待检测图片进行特征提取，所述特征提取包括第一阶段特征提取和第二阶段特征提取，所述第二阶段特征提取是基于所述第一阶段特征提取得到的特征图；在所述第一阶段特征提取过程中，采用CNN网络进行特征提取；在所述第二阶段特征提取过程中，采用Transformer网络进行特征提取；

特征融合模块300，用于将所述第一阶段特征提取得到的特征图与所述第二阶段特征提取得到的特征图进行融合，得到融合特征图；

目标检测模块400，用于基于所述融合特征图以及所述目标检测模型完成对所述待检测图片的目标检测。

在一实施中，所述第一阶段特征提取包括多次特征提取，后一次特征提取是基于前一次特征提取得到的特征图；在每一次特征提取过程中，采用CNN网络中的残差网络单元进行特征提取，每一次特征提取对应一个残差网络，不同次特征提取的残差网络不同，且得到的特征图尺度不同。

具体地，所述CNN网络包括第一残差网络单元、第二残差网络单元以及第三残差网络单元；通过CNN网络中的第一残差网络单元对所述待检测图片进行第一次特征提取，得到第一特征图，所述第一特征图为所述待检测图片的1/4；通过CNN网络中的第二残差网络单元对对第一特征图进行特征提取得到第二特征图，所述第二特征图为所述待检测图片的1/8；通过 CNN网络中的第三残差网络单元对对第二特征图进行特征提取得到第三特征图，所述第三特征图为所述待检测图片的1/16。在本实施例中，残差网络单元可以采用ResNet。在本实施例中的CNN网络是将常规的CNN网络的的最后一个Stage直接去掉，使得最终输出的Feature Map大小从原图的1/32变为原图的1/16。

在一实施例中，所述第二阶段特征提取包括两次特征提取，后一次特征提取是基于前一次特征提取得到的特征图；通过卷积层进行第一次特征提取，通过Transformer网络的Multi-Head Self-Attention单元进行第二次特征提取，第一次特征提取得到的特征图为所述待检测图片的 1/32，第二次特征提取得到的特征图与第一次特征提取得到的特征图尺度相同。

具体地，进行第一次特征提取的卷积层的卷积核大小为3*3，步长为2的普通卷积，将第三特征图从1/16缩小为1/32。

具体地，所述Transformer网络包括两个Multi-Head Self-Attention单元，前一个Multi-Head Self-Attention单元单元以所述第三特征图作为输入，后一个Multi-HeadSelf-Attention单元以前一个Multi-Head Self-Attention单元的输出作为输入；所述后一个Multi-Head Self-Attention单元输出的特征图为所述待检测图片的1/32。

在一实施例中，所述Multi-Head Self-Attention单元包括依次的归一化层、多头自注意力网络层、归一化层、多层感知机层。

在一实施例中，采用FPN结构对所述第一阶段特征提取得到的特征图与所述第二阶段特征提取得到的特征图进行融合。

在本实施例中，将常规CNN网络中的最后一个Stage直接去掉，使得待检测图片经过三次特征提取后，最终输出的Feature Map大小从原图的1/32变为原图的1/16。在此基础上接一个大小为3*3，步长为2的标准卷积层，将Feature Map降采样为原图的1/32。在此之后便是由2个Multi-Head Self-Attention单元连续堆叠。在这里堆叠了两个相同的单元，其中每个单元由归一化层+Multi-Head Self-Attention层+归一化层+MLP(MLP即多层感知机，是以全连接结构为基础的网络模块)组成。这样的操作不会改变Feature Map的尺寸大小，因此最终输出的Feature Map仍是原图的1/32。最后，将前面CNN网络三个Stage中的后两个得到的1/8 和1/16的Feature Map以及最后的Transformer网络得到的1/32的FeatureMap，输入到FPN 结构中，进行Top-Down的特征融合，得到融合特征图。该融合特征图为后续的预测阶段做准备。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1 所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3， Moving Picture Experts GroupAudio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4， Moving Picture Experts GroupAudio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块 (programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。

图3为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线 1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图4为本申请的一个实施例提供的终端设备的硬件结构示意图。图4是对图3在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1 所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件 1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200 可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200 可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风 (MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录 GPRS网络，通过互联网与服务器建立通信。

由上可知，在图4实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口 1207、传感器组件1208均可以作为图3实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于卷积神经网络的目标检测方法，其特征在于，包括：

获取待检测图片；

将所述待检测图片输入至预先训练的目标检测模型，利用所述目标检测模型的主干网络对所述待检测图片进行特征提取，所述特征提取包括第一阶段特征提取和第二阶段特征提取，所述第二阶段特征提取是基于所述第一阶段特征提取得到的特征图；在所述第一阶段特征提取过程中，采用CNN网络进行特征提取；在所述第二阶段特征提取过程中，采用Transformer网络进行特征提取；

将所述第一阶段特征提取得到的特征图与所述第二阶段特征提取得到的特征图进行融合，得到融合特征图；

基于所述融合特征图以及所述目标检测模型完成对所述待检测图片的目标检测。

2.根据权利要求1所述的基于卷积神经网络的目标检测方法，其特征在于，所述第一阶段特征提取包括多次特征提取，后一次特征提取是基于前一次特征提取得到的特征图；在每一次特征提取过程中，采用CNN网络中的残差网络单元进行特征提取，每一次特征提取对应一个残差网络，不同次特征提取的残差网络不同，且得到的特征图尺度不同。

3.根据权利要求2所述的基于卷积神经网络的目标检测方法，其特征在于，所述CNN网络包括第一残差网络单元、第二残差网络单元以及第三残差网络单元；

通过CNN网络中的第一残差网络单元对所述待检测图片进行第一次特征提取，得到第一特征图，所述第一特征图为所述待检测图片的1/4；

通过CNN网络中的第二残差网络单元对对第一特征图进行特征提取得到第二特征图，所述第二特征图为所述待检测图片的1/8；

通过CNN网络中的第三残差网络单元对对第二特征图进行特征提取得到第三特征图，所述第三特征图为所述待检测图片的1/16。

4.根据权利要求1所述的基于卷积神经网络的目标检测方法，其特征在于，所述第二阶段特征提取包括两次特征提取，后一次特征提取是基于前一次特征提取得到的特征图；通过卷积层进行第一次特征提取，通过Transformer网络的Multi-Head Self-Attention单元进行第二次特征提取，第一次特征提取得到的特征图为所述待检测图片的1/32，第二次特征提取得到的特征图与第一次特征提取得到的特征图尺度相同。

5.根据权利要求4所述的基于卷积神经网络的目标检测方法，其特征在于，所述Transformer网络包括两个Multi-Head Self-Attention单元，前一个Multi-Head Self-Attention单元单元以所述第三特征图作为输入，后一个Multi-Head Self-Attention单元以前一个Multi-Head Self-Attention单元的输出作为输入。

6.根据权利要求5所述的基于卷积神经网络的目标检测方法，其特征在于，所述Multi-Head Self-Attention单元包括依次的归一化层、多头自注意力网络层、归一化层、多层感知机层。

7.根据权利要求1所述的基于卷积神经网络的目标检测方法，其特征在于，采用FPN结构对所述第一阶段特征提取得到的特征图与所述第二阶段特征提取得到的特征图进行融合。

8.一种基于卷积神经网络的目标检测装置，其特征在于，包括：

图片获取模块，用于获取待检测图片；

特征提取模块，用于将所述待检测图片输入至预先训练的目标检测模型，利用所述目标检测模型的主干网络对所述待检测图片进行特征提取，所述特征提取包括第一阶段特征提取和第二阶段特征提取，所述第二阶段特征提取是基于所述第一阶段特征提取得到的特征图；在所述第一阶段特征提取过程中，采用CNN网络进行特征提取；在所述第二阶段特征提取过程中，采用Transformer网络进行特征提取；

特征融合模块，用于将所述第一阶段特征提取得到的特征图与所述第二阶段特征提取得到的特征图进行融合，得到融合特征图；

目标检测模块，用于基于所述融合特征图以及所述目标检测模型完成对所述待检测图片的目标检测。

9.一种基于卷积神经网络的目标检测设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-7中一个或多个所述的方法。

10.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-7中一个或多个所述的方法。

Images