CN111428751A - 基于压缩感知和卷积网络的物体检测方法 - Google Patents

Abstract

本发明公开了一种基于压缩感知和卷积网络的物体检测方法，该方法构建了二维网络隐层引导网络的收敛方向，并采用重建原始信号作为引导信号，在网络结构设计上，采用了级联式网络设计：第一部分是多通道整图重构网络，将一维压缩编码信号重构至和原始信号接近的二维图像，转换为便于提取检测特征的形式。第二部分是检测网络，从第一网络的输出结果辨识场景中存在的物体和类别。在网络学习方面，依次训练两个子网络，然后进行联合网络的训练，解决了联合训练中的级联后梯度变化和预训练不一致的问题，获得优于子网络独立训练更好的性能。该方法实现了从压缩感知信号到物体检测结果的端到端映射，以更低的采样率和采集成本来完成检测任务。

Description

基于压缩感知和卷积网络的物体检测方法

技术领域

本发明涉及视觉任务技术领域，特别涉及一种基于压缩感知和卷积网络的物体检测方法及装置。

背景技术

当前视觉任务所处理和利用的图片等数据主要来自于面阵探测器，通过面阵探测器可以一次性记录所需要的图片场景，也可以获取一定帧率下的视频数据等，而奈奎斯特采样定律给出了最低采样频率的限制，这对获得更清晰、更高帧率的视觉数据在硬件设备上提出了更严格的要求。但当借助图片、视频等数据通过进一步处理来获取有价值的信息时，更高分辨率、更高帧率的数据未必会带来更大的方便。一方面，获取更丰富的细节需要提高面阵探测额器的精度和采样率，造成高采样率下的数据量过大而无法在有限带宽下满足传输要求等情况；另一方面，在进一步处理数据的时候会舍弃很多精确采集的细节信息，这部分对指定视觉任务并没有价值的信息在采集时占用了大量资源却在没有被有效利用之后被抛弃，造成了带宽、采集设备等资源的浪费。

因此，改变这一传统的信息采集方式，并且通过采集更少、更有效的信息来完成所需的视觉任务十分关键。压缩感知理论是解决上述问题的一种有效方法，压缩感知理论突破了奈奎斯特采样定率所提出的最低采样频率要求，采用“边采样边压缩”的方式，节省了大量的采集和存储资源，显著降低了采样率，减少了设备成本，通过更少的数据量来获取最有用的信息。在可见光领域，这种压缩采集的做法可以减少数据量、节省传输带宽；在不可见光领域，压缩感知理论可以帮助完成需要使用非常昂贵的特殊频段的面阵探测器才能完成的任务，但传统的压缩感知信号处理算法往往由于需要迭代时间复杂度比较高。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于压缩感知和卷积网络的物体检测方法，该方法可以以更低的采样率和采集成本完成检测任务。

为达到上述目的，本发明实施例提出了基于压缩感知和卷积网络的物体检测方法，包括以下步骤：采用级联式网络法设计多通道整图重构网络和物体检测网络；利用所述多通道整图重构网络将压缩感知测量信号通过编码解码方式转换为中间重构特征图；将所述中间重构特征图作为所述物体检测网络的输入信号，初始检测出所述中间重构特征图中存在的初始物体位置和初始物体类别；对所述多通道整图重构网络和所述物体检测网络进行联合训练，调整所述中间重构特征图，检测出所述中间重构特征图中存在的最终物体位置和最终物体类别。

本发明实施例的基于压缩感知和卷积网络的物体检测方法，构建了二维网络隐层引导网络的收敛方向，以深度学习方法进行压缩感知视觉信号重构的多通道整图重建网络，以重构信号为输入的物体检测网络部分，并联合网络与对应的联合训练方法以更低的采样率和采集成本来完成检测任务，实现从压缩感知信号到物体检测结果的端到端映射。

另外，根据本发明上述实施例的基于压缩感知和卷积网络的物体检测方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述多通道整图重构网络包括一维卷积编码模块、中间特征转换模块、二维反转卷积模块和输出模块。

进一步地，在本发明的一个实施例中，在所述多通道整图重构网络中具体转换过程为：

通过所述一维卷积编码模块将所述压缩感知测量信号中的一维特征信号分散到多个通道；

利用所述中间特征转换模块将所述一维特征信号转换为二维特征图；

利用所述反转卷积模块将多通道的二维特征图整合为所述中间重构特征图，最后通过所述输出模块输出所述中间重构特征图。

进一步地，在本发明的一个实施例中，所述多通道整图重构网络使用交叉尺度重构方法，先重构小的分辨率结果，再通过插值的方式得到更大的重构特征结果。

进一步地，在本发明的一个实施例中，所述中间特征转换模块为特征转换的桥梁，结合会形成编码解码模型，通过所述编码解码模型将所述一维特征信号转换为二维特征图。

进一步地，在本发明的一个实施例中，所述物体检测网络利用物体检测架构，将所述中间重构特征图通过压缩感知信号直接进行物体检测。

进一步地，在本发明的一个实施例中，所述联合训练针对独立训练后的模型数据，进行进一步的联合训练，以将压缩感知信号的特征提取进行整体优化，防止联合网络的局部最优情况。

进一步地，在本发明的一个实施例中，所述联合训练采用两部分独立学习率的参数设置，使独立训练通过级联方式转变为联合训练时，两部分网络参数的相匹配。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于压缩感知和卷积网络的物体检测方法流程图；

图2为根据本发明一个实施例的基于压缩感知的物体检测卷积神经网络的多通道整图重构网络结构示意图；

图3为根据本发明一个实施例的基于压缩感知的物体检测卷积神经网络的整体框图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于压缩感知和卷积网络的物体检测方法。

图1是本发明一个实施例的基于压缩感知和卷积网络的物体检测方法流程图。

如图1所示，该基于压缩感知和卷积网络的物体检测方法包括以下步骤：

在步骤S101中，采用级联式网络法设计多通道整图重构网络和物体检测网络。

进一步地，在本发明的一个实施例中，多通道整图重构网络包括一维卷积编码模块、中间特征转换模块、二维反转卷积模块和输出模块。

具体而言，多通道整图重构网络由四个部分构成，分别是一维卷积模块、中间衔接部分、反转卷积模块和最后的输出部分，一维卷积模块的输出用中间特征转换模块和反转卷积模块的输入连接，中间特征转换模块作为其中特征转换的桥梁，结合会形成编码解码模型，换言之，将迭代重构的重构方式转换为深度神经网络卷积，大大缩短了计算的时间复杂度，并且克服了其他重构方法需要分区域重建的缺点，实现了整张图的一次性重构。

需要说明的是，一维卷积模块共有6个卷积单元，除第一个卷积单元外每个卷积单元有两个卷积层，第一个卷积层后用Leaky ReLU作为激活函数，第二个卷积层使用ReLU作为激活函数；第一个卷积单元则由一个卷积层构成，每一个卷积层的卷积核尺度都为1×3。第一个卷积单元用于通道数的迅速提升，其输入数据有1个通道，输出数据有32个通道，其余卷积单元的输出通道数分别为64、128、256、512、512。除第一个卷积单元外，每个卷积单元中的第一个卷积层的步长为2，因此输入信号在通道增加的同时，每一层输出的特征也在变小，维持了数据量的平衡。

中间特征转换模块，由512个全连接层构成，连接层的输入是经过前半部分的卷积层提取之后第六个卷积单元输出的512通道的特征数据，每个通道的数据长度为输入数据的1/32，全连接层的输出通过形状排列操作转换成二维特征图。

反转卷积模块主要包括3个反转卷积单元，每一个反转卷积单元由三个卷积层构成，第一个卷积层是反转卷积，步长为2，激活函数为Leaky ReLU，第二和第三个卷积层是步长为1的常规卷积，激活函数为ReLU层。第三个卷积单元只包含一个反转卷积层。三个反转卷积单元的输出通道数分别为256、64和64。

输出模块主要包括由两个完全相同的连续卷积模块构成的残差结构，每个模块有9个卷积层，其中最后一个卷积层后没有激活函数，第一个卷积层的输入通道数为64，最后一个卷积层的输出通道数为1，两个模块中的一个模块的输出是重构图，另外一个模块的输出是其对应的残差值，两个模块并行运行，将其输出求和得到最终的输出。

在步骤S102中，利用多通道整图重构网络将压缩感知测量信号通过编码解码方式转换为中间重构特征图。

进一步地，在本发明的一个实施例中，在多通道整图重构网络中具体转换过程为：通过一维卷积编码模块将压缩感知测量信号中的一维特征信号分散到多个通道；利用中间特征转换模块将一维特征信号转换为二维特征图；利用反转卷积模块将多通道的二维特征图整合为中间重构特征图，最后通过输出模块输出中间重构特征图。

具体而说，利用一维卷积编码模块，将压缩感知的感知向量所包含的信息分散到多个通道，降低了每个通道的信息量，便于之后的处理；再利用多个全连接层将一维特征信号转换为二维特征图，实现了信号从一维到二维的转换；再利用反转卷积模块和输出模块将多通道的小尺度特征图整合为更大的特征图，最后输出重构的原始信号结果，其中，输出模块使用了残差结构以提高性能。

需要说明的是，利用一维卷积模块和反转卷积模块构成了类似编码解码模型的结构，以实现信号的转化，从而实现整图的重构。

进一步地，在本发明的一个实施例中，多通道整图重构网络使用交叉尺度重构方法，先重构小的分辨率结果，再通过插值的方式得到更大的重构特征结果，从而得到的结果比直接重构大尺度信号更稳定并且计算量更小。

进一步地，在本发明的一个实施例中，中间特征转换模块为特征转换的桥梁，结合会形成编码解码模型，通过编码解码模型将一维特征信号转换为二维特征图。

在步骤S103中，将中间重构特征图作为物体检测网络的输入信号，初始检测出中间重构特征图中存在的初始物体位置和初始物体类别。

进一步地，在本发明的一个实施例中，物体检测网络利用物体检测架构，将中间重构特征图通过压缩感知信号直接进行物体检测。

具体而言，如图2所示，物体检测部分网络主要包括已经发表的一种物体检测方法YOLO，由于目前物体检测技术在RGB图像中发展比较成熟，所以可在网络中直接使用了这个公开的框架。

在步骤S104中，对多通道整图重构网络和物体检测网络进行联合训练，调整中间重构特征图，检测出中间重构特征图中存在的最终物体位置和最终物体类别。

进一步地，在本发明的一个实施例中，联合训练针对独立训练后的模型数据，进行进一步的联合训练，以将压缩感知信号的特征提取进行整体优化，防止联合网络的局部最优情况，从而使得网络的物体检测性能能进一步提升。

进一步地，在本发明的一个实施例中，联合训练采用两部分独立学习率的参数设置，使独立训练通过级联方式转变为联合训练时，两部分网络参数的相匹配。

也就是说，联合训练具体为将预训练的重构网络和检测网络级联，将联合网络的损失函数定为最终检测网络的损失函数，联合训练使得最终的物体检测准确率有所提升。

下面结合在Linux服务器平台上搭建了一个原型系统，对于已知标定的数据库的训练与测试。

如图3所示，将网络结构分为多通道整图重构网络部分和物体检测网络部分。

在多通道整图重构网络部分：将压缩感知测量信号通过编码解码的方式转换为中间重构特征图，以此作为物体检测网络部分的输入信号。

具体地，一维卷积模块会通过多通道输出的向下卷积方式，把以向量形式存在的压缩感知信号中的信息提取转移到多个通道，每个通道的信息量更少便于中间特征转换模块的转换；

中间特征转换模块可以将多通道的一维编码信号转换为指定尺度的信号，由于每个输出节点是等价的，通过坐标排列输出得到二维特征图；

反转卷积模块通过连续的反转卷积将原本得到的多通道下尺度较小的二维特征图转换为较少通道数量的大尺度二维特征图；

输出模块将最后的特征图通过残差模块卷积的方式重构为近似原始信号的结果。

物体检测网络部：以重构特征作为输入检测其中存在的物体位置和类别。整个网络结构经联合训练之后可以实现端到端的检测。

具体地，利用现有的物体检测网络YOLO以重构特征作为输入检测到原始场景中的物体，并输出物体的位置与类别。

简单而言，训练需要先对两部分网络进行预训练，再在经过预训练的模型参数的基础上进行联合训练，经过联合训练之后的网络可以实现从压缩感知信号到场景中物体位置和类别的端到端转换，即端到端的物体检测。

根据本发明实施例提出的基于压缩感知和卷积网络的物体检测方法，为了跨越从压缩感知信号到物体检测的语义鸿沟，选择两个经联合训练的级联子网络来引导网络收敛的方向完成任务。经过压缩感知采集的信号相比于完整图像数据量很小，避免了对大量信息的处理，可以兼顾采样率和有限带宽资源之间的平衡。某些极端场景下也能够借助单像素技术来降低信息采集设备的成本，以在难度更高的场景下完成物体检测任务。同时，为了解决利用传统方法处理压缩感知信号时间复杂度过高的问题，选择使用了深度网络实现对压缩信号的处理和对物体的检测，提高了运算速度，最终通过卷积神经网络以压缩感知信号作为输入实现物体检测任务。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于压缩感知和卷积网络的物体检测方法，其特征在于，包括以下步骤：

采用级联式网络法设计多通道整图重构网络和物体检测网络；

利用所述多通道整图重构网络将压缩感知测量信号通过编码解码方式转换为中间重构特征图；

将所述中间重构特征图作为所述物体检测网络的输入信号，初始检测出所述中间重构特征图中存在的初始物体位置和初始物体类别；

对所述多通道整图重构网络和所述物体检测网络进行联合训练，调整所述中间重构特征图，检测出所述中间重构特征图中存在的最终物体位置和最终物体类别。

2.根据权利要求1所述的基于压缩感知和卷积网络的物体检测方法，其特征在于，所述多通道整图重构网络包括一维卷积编码模块、中间特征转换模块、二维反转卷积模块和输出模块。

3.根据权利要求2所述的基于压缩感知和卷积网络的物体检测方法，其特征在于，在所述多通道整图重构网络中具体转换过程为：

通过所述一维卷积编码模块将所述压缩感知测量信号中的一维特征信号分散到多个通道；

利用所述中间特征转换模块将所述一维特征信号转换为二维特征图；

利用所述反转卷积模块将多通道的二维特征图整合为所述中间重构特征图，最后通过所述输出模块输出所述中间重构特征图。

4.根据权利要求2所述的基于压缩感知和卷积网络的物体检测方法，其特征在于，所述多通道整图重构网络使用交叉尺度重构方法，先重构小的分辨率结果，再通过插值的方式得到更大的重构特征结果。

5.根据权利要求2所述的基于压缩感知和卷积网络的物体检测方法，其特征在于，所述中间特征转换模块为特征转换的桥梁，结合会形成编码解码模型，通过所述编码解码模型将所述一维特征信号转换为二维特征图。

6.根据权利要求1所述的基于压缩感知和卷积网络的物体检测方法，其特征在于，所述物体检测网络利用物体检测架构，将所述中间重构特征图通过压缩感知信号直接进行物体检测。

7.根据权利要求1所述的基于压缩感知和卷积网络的物体检测方法，其特征在于，所述联合训练针对独立训练后的模型数据，进行进一步的联合训练，以将压缩感知信号的特征提取进行整体优化，防止联合网络的局部最优情况。

8.根据权利要求1所述的基于压缩感知和卷积网络的物体检测方法，其特征在于，所述联合训练采用两部分独立学习率的参数设置，使独立训练通过级联方式转变为联合训练时，两部分网络参数的相匹配。

Images