CN112183578A - 一种目标检测方法、介质及系统 - Google Patents

Abstract

本发明公开一种目标检测方法、介质及系统。该方法包括：分别通过相机和雷达同步采集待检测目标的图像和雷达三维数据；根据采集的所述图像，得到所述图像对应的像素矩阵；根据采集的所述雷达三维数据，得到所述雷达三维数据对应的深度矩阵；拼接所述像素矩阵和所述深度矩阵，得到融合矩阵；将所述融合矩阵输入目标检测卷积网络中，输出目标检测结果矩阵；对所述目标检测结果矩阵进行非极大值抑制处理，得到目标检测结果；其中，所述目标检测结果包括待检测目标的位置、置信度和分类。本发明降低误检率，提高检测效率，对光照、相机的运动模糊、目标遮挡、低分辨率的小目标的检测具有较强的鲁棒性。

Description

一种目标检测方法、介质及系统

技术领域

本发明涉及目标检测技术领域，尤其涉及一种目标检测方法、介质及系统。

背景技术

在基于图像的目标检测中，传统的做法是对单张图片应用普通深度神经网络结构进行目标兴趣区域的定位和识别分类，该方式检测准确率和误检率都不够理想，尤其是对小目标、被遮挡的目标、模糊图像以及光照过暗和过强图像的检测。由于单幅图像只能提供某一时刻二维图像平面的像素信息，其受光照、分辨率、方法倍数、相机聚焦与运动的影响较大，这导致了检测准确率的下降和误检率的升高。

发明内容

本发明实施例提供了一种目标检测方法、介质及系统，以解决现有技术采用单幅图像只能提供某一时刻二维图像平面的像素信息导致检测准确率下降和误检率升高的问题。

第一方面，提供一种目标检测方法，包括：分别通过相机和雷达同步采集待检测目标的图像和雷达三维数据；根据采集的所述图像，得到所述图像对应的像素矩阵；根据采集的所述雷达三维数据，得到所述雷达三维数据对应的深度矩阵；拼接所述像素矩阵和所述深度矩阵，得到融合矩阵；将所述融合矩阵输入目标检测卷积网络中，输出目标检测结果矩阵；对所述目标检测结果矩阵进行非极大值抑制处理，得到目标检测结果；其中，所述目标检测结果包括待检测目标的位置、置信度和分类。

第二方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如第一方面实施例所述的目标检测方法。

第三方面，提供一种目标检测系统，包括：如第二方面实施例所述的计算机可读存储介质。

这样，本发明实施例，充分融合雷达数据和图像数据，利用针对目标检测任务进行了充分改进和优化的目标检测卷积网络进行检测，可提高目标检测准确率，降低误检率，提高检测效率，对光照、相机的运动模糊、目标遮挡、低分辨率的小目标的检测具有较强的鲁棒性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的目标检测方法的流程图；

图2是本发明实施例的目标检测卷积网络的结构示意图；

图3是本发明实施例的Light-DenseNet网络的结构示意图；

图4是本发明实施例的SPPNet网络的结构示意图；

图5是本发明实施例的Yolov3网络的检测头Detecting-Head的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种目标检测方法。如图1所示，该目标检测方法包括如下的步骤：

步骤S1：分别通过相机和雷达同步采集待检测目标的图像和雷达三维数据。

具体的，相机与雷达可安装在一起，这样可使相机和雷达具有共视区，可以采集同一目标区域的各自的数据。应当理解的是，相机采集的图像可以是静态图像，也可以是视频(即动态图像)。根据相机的种类的不同(灰度相机或RGB相机)，相机采集的图像可以是灰度图像，也可以是RGB彩色图像。雷达三维数据是一种三维点云数据，包括区域中每点的三维坐标。例如，雷达可以是360°的16线激光雷达。应当理解的是，待检测目标的图像的每点的像素值与每点的雷达三维数据一一对应。

步骤S2：根据采集的图像，得到图像对应的像素矩阵。

根据相机的种类的不同(灰度相机或RGB相机)，像素矩阵为像素灰度值矩阵或像素RGB值矩阵。像素灰度值矩阵为单通道矩阵，像素RGB值矩阵为三通道矩阵。

步骤S3：根据采集的雷达三维数据，得到雷达三维数据对应的深度矩阵。

具体的，该步骤包括如下的过程：

(1)标定相机的内参数和相机到雷达的外参数。

该步骤可通过Camera-LiDAR联合标定法进行标定，在此不再赘述。

(2)根据内参数和外参数，获取雷达到相机的映射矩阵。

其中，映射矩阵T＝K×H，K表示内参数，H表示外参数。

(3)根据映射矩阵和雷达数据，得到雷达数据对应的深度矩阵。

其中，深度矩阵D＝T×P，P表示雷达三维数据。具体的，P＝(x,y,z)，D＝(u,v)，则(u,v)＝T×(x,y,z)。

步骤S4：拼接像素矩阵和深度矩阵，得到融合矩阵。

具体的，当像素矩阵为像素灰度值矩阵时，拼接后的融合矩阵为一个两通道矩阵，一个通道表示灰度值，另一个通道表示深度值。当像素矩阵为像素RGB值矩阵时，拼接后的融合矩阵为一个四通道矩阵，三个通道分别表示RGB值，第四个通道表示深度值。

通过融合雷达三维数据以获取场景三维深度信息，融合图像数据，特别是视频图像数据，以获取图像各历史时刻信息，雷达抗光照干扰能力强，视频图像数据对动态历史的记录能提供记忆信息从而增强本发明实施例的方法对局部帧出现干扰(如目标暂时被遮挡、由于运动造成相机的聚焦突然模糊、动态目标由近到远导致在画面中所占区域变小等)的鲁棒性。

步骤S5：将融合矩阵输入目标检测卷积网络中，输出目标检测结果矩阵。

具体的，目标检测卷积网络LDDet由依次连接的骨干网络Backbone、颈部网络Neck和头部网络Head组成。其中，如图2所示，骨干网络Backbone采用Light-DenseNet网络。Light-DenseNet网络由依次连接的第一预设数量的DenseBlock模块形成(图2中用DB表示)。颈部网络Neck由依次连接的第一预设数量的SPPNet网络形成。头部网络Head采用第一预设数量的Yolov3网络的检测头Detecting-Head。第一预设数量的Yolov3网络的检测头Detecting-Head之间并无连接关系，各自独立。每级DenseBlock模块的输出连接每级SPPNet网络的输入，每级SPPNet网络的输出连接每一Yolov3网络的检测头Detecting-Head的输入。

通过上述的目标检测卷积网络LDDet的设计，融合矩阵输入Light-DenseNet网络后，如图2所示，在Light-DenseNet网络中的具体操作过程如下：

融合矩阵输入Light-DenseNet网络，Light-DenseNet网络的每级DenseBlock模块输出每级对应的第一矩阵；每级对应的第一矩阵与上一级SPPNet网络输出的第二矩阵一起输入每级SPPNet网络，输出每级对应的第二矩阵；每级对应的第二矩阵分别输入每一Yolov3网络的检测头Detecting-Head，输出目标检测结果矩阵。

下面对每一组成网络进行具体说明：

(1)Light-DenseNet网络

对于Light-DenseNet网络，如图3所示，每一DenseBlock模块由瓶颈层Bottleneck和第一连接层concat依次连接后再拼接第二预设数量形成。此处所述的拼接指的是顺次连接，即瓶颈层Bottleneck和第一连接层concat依次连接后的结构的数量为第二预设数量，第二预设数量的这个结构顺次连接。该第二预设数量，即拼接次数n可根据实际情况设置。其中，瓶颈层Bottleneck由依次连接的第一深度分离卷积层DWConv、第二深度分离卷积层DWConv和第二连接层concat组成。第一深度分离卷积层DWConv和第二深度分离卷积层DWConv的filters数f均可以自定义大小。例如，在本发明一具体的实施例中，第一深度分离卷积层DWConv的filters数f为4，第一深度分离卷积层DWConv的filters数f为1。第一深度分离卷积层DWConv和第二深度分离卷积层DWConv的卷积核可根据实际情况设置。例如，在本发明一具体的实施例中，第一深度分离卷积层DWConv的卷积核为1×1，第二深度分离卷积层DWConv的卷积核为3×3。

通过设置拼接次数、filters数等，以满足不同的任务需求。DenseBlock模块的模型可由下式表示：

X＝H_f([X₀,X₁,…X_n])。

其中，X表示模型的输出矩阵，H_f表示模型的功能函数，X_n表示模型的各层输入矩阵，[]表示拼接操作。

DenseBlock模块底层使用深度分离卷积层DWConv替代普通卷积网络，在不损失精度的前提下，进一步压缩模型的计算量。对于卷积核尺寸为k*k*n，输入尺寸为h*w*c的卷积来说，普通卷积的计算量为：

C＝k²nchw。

本发明实施例的深度分离卷积层DWConv的计算量为：

C_dw＝(k²+n)chw。

其中，C表示普通卷积的计算量(乘法运算次数)，C_dw表示深度分离卷积的计算量(乘法运算次数)，k表示卷积核的尺寸，n表示卷积核通道数，c表示输入矩阵的通道数，h表示输入矩阵的纵向尺寸，w表示输入矩阵的横向尺寸。

由此计算深度分离卷积的计算量缩减到了普通卷积的

倍，而实验中使用深度分离卷积的分类器和使用普通卷积的分类器相比精度几乎没有损失，两者的运行速度也相近。

因此，通过上述的结构可知，Light-DenseNet网络很大程度上借鉴了DenseNet的多层网络拼接(Concatenate)方式实现，由多个核心部件DenseBlock模块前后连接构成，在保证网络深度的同时，使用瓶颈层Bottleneck控制网络的宽度，在特征信息损失可控的前提下极大缩减了网络参数数量。

针对上述的结构设计，融合矩阵在Light-DenseNet网络中的操作过程包括：

融合矩阵连续经过第一深度分离卷积层DWConv和第二深度分离卷积层DWConv后输出第三矩阵；融合矩阵和第三矩阵在第二连接层concat拼接，使瓶颈层Bottleneck输出第四矩阵；第四矩阵与融合矩阵在第一连接层concat拼接；重复上述的操作过程，且重复次数为第二预设数量。

(2)SPPNet网络

SPPNet网络作为整个目标检测网络LDDet的颈部网络Neck部分，连接了骨干网络Backbone和头部网络Head，起到了融合深层和浅层特征，以及，强化特征的作用。具体的，如图4所示，SPPNet网络由concat层和SPP(Spatial Pyramid Pooling，空间金字塔池化)层组成。其中concat层将深层特征进行上采样(Up Sample)后，在concat层与浅层特征进行拼接，通过一个DenseBlock(图4中用DB表示)模块后传入SPP层。SPP层由三个不同的池化(Pooling)层组成，其中包含一个全局池化(Global Pooling)层和两个普通的池化层。三个池化层的输出在另一concat层拼接后输出。SPP层产生了不同尺度的下采样，增大了网络的感受野，并且SPP层不会增加网络的参数数量，对训练和推理速度的影响几乎可以忽略，因此性能优秀。经过实验证明，SPP层结构可以为本发明实施例的目标检测模型带来2％左右的精度提升。

(3)Yolov3网络的检测头Detecting-Head

头部网络Head作为目标检测网络LDDet的顶层部分，负责输出目标检测网络LDDet的检测和定位结果。目标检测网络LDDet采用Yolov3网络的检测头Detecting-Head，为方便描述，下文以Yolov3-head表示。如图5所示，Yolov3-head由依次连接的第一CBL模块和第二CBL模块拼接三次后连接卷积层conv形成。此处所述的拼接指的是顺次连接，即第一CBL模块和第二CBL模块依次连接后形成一结构，该结构顺次连接三次。第一CBL模块和第二CBL模块军由依次连接的卷积层conv、BN(batch normalization，批归一化)层和激活函数层LeakReLU组成。在本发明一具体的实施例中，第一CBL模块的卷积层的卷积核的大小为1×1，第二CBL模块的卷积层的大小为3×3。

在本发明一具体的实施例中，第一预设数量为3，因此，目标检测网络LDDet共有3个Yolov3-head，接在SPPNet网络之后，分别对应了三种尺度的输出，以满足对不同目标的检测能力。作为全卷积网络，Yolov3-head的输出为一个H*W*C的矩阵，其中H、W分别为输出的特征图的长和宽，C为通道数。C＝4+1+n，分别代表了待检测目标的定位信息、置信度和分类信息。

具体的，在网络训练过程中，对于定位信息，Yolov3-head求解的是预测边框和先验框的定位偏差，使用Smooth L1 Loss作为定位回归的损失函数，其具体表达式如下：

其中，L_location表示定位回归的损失函数，x表示模型输出的定位坐标数值。

置信度是指某个位置是否含有待检测目标的概率，对于置信度信息，Yolov3-head使用sigmoid和交叉熵作为损失函数，其具体表达式如下：

L_confidence＝-∑p×log(sigmoid(x))。

其中，L_confidence表示置信度损失函数，p表示标签的置信度信息(0或1)，x表示模型输出的置信度值。

对于待检测目标的分类信息，Yolov3-head使用了softmax和交叉熵损失函数的组合，其具体表达式如下：

L_class＝-∑p×log(softmax(x))。

其中，L_class表示分类损失函数，p表示标签的类别信息(独热码)，x表示模型输出的分类信息。

步骤S6：对目标检测结果矩阵进行非极大值抑制处理，得到目标检测结果。

其中，目标检测结果包括待检测目标的位置、置信度和分类。如前所述，待检测目标的置信度指的是某个位置是否具有待检测目标。在本发明具体实施例中，分类可以包括：人物、鸟类、车辆、厂区中的各种设施等。

在本发明一具体的实施例中，第一预设数量为3，则通过上述的步骤，融合矩阵经过Light-DenseNet网络可输出3个尺度的特征图，分别输入到SPPNet网络中，对3个不同尺度的特征图分别进行处理，最后通过Yolov3网络的检测头Detecting-Head输出为3个尺度25通道的检测结果矩阵y1、y2和y3，检测结果矩阵中每个元素为结果向量，最后对检测结果矩阵执行非极大值抑制求得最终的目标检测结果，将目标检测结果绘制到图像上。

将本发明实施例的方法在驱鸟机器人上应用(检测鸟类和人)，准确率超过90％，漏检率低于5％。

本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现上述实施例所述的目标检测方法。

本发明实施例还公开了一种目标检测系统，包括：如上述实施例所述的计算机可读存储介质。

综上，本发明实施例，充分融合雷达数据和图像数据，利用针对目标检测任务进行了充分改进和优化的目标检测卷积网络进行检测，可提高目标检测准确率，降低误检率，提高检测效率，对光照、相机的运动模糊、目标遮挡、低分辨率的小目标的检测具有较强的鲁棒性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种目标检测方法，其特征在于，包括：

分别通过相机和雷达同步采集待检测目标的图像和雷达三维数据；

根据采集的所述图像，得到所述图像对应的像素矩阵；

根据采集的所述雷达三维数据，得到所述雷达三维数据对应的深度矩阵；

拼接所述像素矩阵和所述深度矩阵，得到融合矩阵；

将所述融合矩阵输入目标检测卷积网络中，输出目标检测结果矩阵；

对所述目标检测结果矩阵进行非极大值抑制处理，得到目标检测结果；

其中，所述目标检测结果包括待检测目标的位置、置信度和分类。

2.根据权利要求1所述的目标检测方法，其特征在于：所述目标检测卷积网络由依次连接的骨干网络Backbone、颈部网络Neck和头部网络Head组成；

其中，所述骨干网络Backbone采用Light-DenseNet网络，所述Light-DenseNet网络由依次连接的第一预设数量的DenseBlock模块形成，所述颈部网络Neck由依次连接的第一预设数量的SPPNet网络形成，所述头部网络Head采用第一预设数量的Yolov3网络的检测头Detecting-Head，且每级DenseBlock模块的输出连接每级SPPNet网络的输入，每级SPPNet网络的输出连接每一Yolov3网络的检测头Detecting-Head的输入。

3.根据权利要求2所述的目标检测方法，其特征在于，所述输出目标检测结果矩阵的步骤包括：

所述融合矩阵输入所述Light-DenseNet网络，所述Light-DenseNet网络的每级所述DenseBlock模块输出每级对应的第一矩阵；

每级对应的所述第一矩阵与上一级所述SPPNet网络输出的第二矩阵一起输入每级所述SPPNet网络，输出每级对应的第二矩阵；

每级对应的第二矩阵分别输入每一所述Yolov3网络的检测头Detecting-Head，输出目标检测结果矩阵。

4.根据权利要求2所述的目标检测方法，其特征在于：每一DenseBlock模块由瓶颈层Bottleneck和第一连接层concat依次连接后再拼接第二预设数量形成。

5.根据权利要求4所述的目标检测方法，其特征在于：所述瓶颈层Bottleneck由依次连接的第一深度分离卷积层DWConv、第二深度分离卷积层DWConv和第二连接层concat组成。

6.根据权利要求5所述的目标检测方法，其特征在于：所述融合矩阵在所述Light-DenseNet网络中的操作过程包括：所述融合矩阵连续经过所述第一深度分离卷积层DWConv和所述第二深度分离卷积层DWConv后输出第三矩阵；所述融合矩阵和所述第三矩阵在所述第二连接层concat拼接，使所述瓶颈层Bottleneck输出第四矩阵；所述第四矩阵与所述融合矩阵在所述第一连接层concat拼接；重复上述的操作过程，且重复次数为第二预设数量。

7.根据权利要求1所述的目标检测方法，其特征在于，所述得到所述雷达三维数据对应的深度矩阵的步骤，包括：

标定所述相机的内参数和所述相机到所述雷达的外参数；

根据所述内参数和所述外参数，获取所述雷达到所述相机的映射矩阵；

根据所述映射矩阵和所述雷达数据，得到所述雷达数据对应的深度矩阵；

其中，所述映射矩阵T＝K×H，K表示所述内参数，H表示所述外参数；

所述深度矩阵D＝T×P，P表示所述雷达三维数据。

8.根据权利要求1所述的目标检测方法，其特征在于：所述像素矩阵为像素灰度值矩阵或像素RGB值矩阵。

9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如权利要求1～8中任一项所述的目标检测方法。

10.一种目标检测系统，其特征在于，包括：如权利要求9所述的计算机可读存储介质。

Images