CN113011384B - 一种基于轻量化卷积的无锚框目标检测方法 - Google Patents

Abstract

本发明涉及一种基于轻量化卷积的无锚框目标检测方法，属于计算机视觉目标检测领域。该方法包括：S1：构造轻量化的骨干网络，并输入图片到轻量化的骨干网络中，提取特征图；S2：根据得到的特征图进行左上角点和右下角点的池化操作；S3：池化后的左上角点、右下角点都分别进行十字星变形卷积与角点预测操作；S4：根据预测的角点和向心位移算法进行角点匹配，由预测边界框的得分输出最终结果。本发明采用的无锚框的设计思想，在训练过程中可以解决正负样本不平衡，超参数设计复杂，锚框的复杂计算等问题，同时轻量化的骨干网络可以达到有效压缩网络模型，降低模型参数量，减少计算资源消耗，提升运算速度的效果。

Description

一种基于轻量化卷积的无锚框目标检测方法

技术领域

本发明属于计算机视觉目标检测领域，涉及一种基于轻量化卷积的无锚框目标检测方法。

背景技术

随着深度学习的迅速发展，目标检测受到越来越多研究者的关注，用锚框来确定目标物体的位置是目标检测中常用的方法，近年来引入了无锚框的设计思想，基于无锚框的目标检测抛开大量先验候选框的思想，直接对目标物体进行分类和预测位置。相比于之前基于锚框的方法，有更多的优点：减少超参数的使用；减少大量的内存资源消耗；解决正负样本不平衡的问题等等。因此基于无锚框的目标检测在自动驾驶、移动娱乐、视频监控等领域具有重要的研究价值和广泛的应用前景。

基于无锚框的经典网络模型如CornerNet、CenterNet，其中CenterNet网络模型是利用物体定位边框的角点和中心点来实现目标的分类与回归，其效果不低于准确度较高的基于锚框的网络模型。尽管基于无锚框的网络模型有着较高的预测精度，但也避免不了存在着一些缺陷：用来定位物体位置的边界框角点大都位于物体之外，不能充分地表达目标内部的信息；对于多个相同的物体，容易造成误检与漏检；训练过程中产生大量的参数等等，这都与主干网络的选取有着一定的联系。

因此选取轻量化的骨干网络，可以较好地压缩网络模型，减少计算资源消耗，降低模型参数量，提升运算速度。在相同计算资源的情况下，轻量化的网络模型有着更高的检测效率，同时在自动驾驶、无人机等领域有着广泛的应用前景，这也是未来研究人员越来越关注的方向。

发明内容

有鉴于此，本发明的目的在于提供一种基于轻量化卷积的无锚框目标检测方法，该方法采用的无锚框的设计思想，在训练过程中可以解决正负样本不平衡，超参数设计复杂，锚框的复杂计算等问题，同时使用轻量化的骨干网络可以达到有效压缩网络模型，降低模型参数量，减少计算资源消耗，提升运算速度的效果。

为达到上述目的，本发明提供如下技术方案：

一种基于轻量化卷积的无锚框目标检测方法，包括以下步骤：

S1：构造轻量化的骨干网络，并输入图片到轻量化的骨干网络中，提取特征图；

S2：根据得到的特征图进行左上角点和右下角点的池化操作；

S3：池化后的左上角点、右下角点都分别进行十字星变形卷积与角点预测操作；

S4：根据预测的角点和向心位移算法进行角点匹配，由预测边界框的得分输出最终结果。

进一步，步骤S1中，构造轻量化的骨干网络包括以下步骤：

S11：构造基本卷积模块，包括：构造分离特征模块；所述分离特征模块采用通道分离，深度卷积，通道拼接和通道重排等操作，构造成残差结构，融入了步长为2的下采样卷积和步长为1基本卷积；进行通道分离后的左右两个分支，分别进行卷积，池化和正则化等一系列操作后，进行通道数拼接，使输入和输出通道数相同；

S12：构造骨干网络：由步长为2的下采样卷积和步长为1基本卷积交替出现，融入分离特征模块中，层层串联构成。骨干网络分为3个阶段，由基本卷积模块层层串联构成；阶段2包括4个卷积块，阶段3包括7个卷积块，输入维度为(511,511,3)的图片，进行卷积和最大池化操作后，输出维度是(256,256,24)，接着进行阶段2、3的操作。

进一步，步骤S11中，基本卷积模块中，分为两种卷积模块；第一类卷积块：通道分离后分为左右分支，左分支进行Conv2D，批处理归一化，Relu激活，DepthWiseConv2D，批处理归一化等融合操作；右分支进行DepthWiseConv2D，批处理归一化，Conv2D，Relu激活等融合操作；第二类卷积模块：左分支相较第一类卷积模块多了一层通道乱序的Lambda层，右分支只有一个通道乱序的Lambda层；同时在各个卷积模块之间加入一个通道乱序的Lambda层，最后将左右分支的输出进行通道拼接；其中Convn2D步长为1，DepthWiseConv2D步长为2，左右分支的通道数都为256，经过阶段2、3后，模型的输出维度为(128,128,256)。

进一步，步骤S2中，从得到的特征图进行左上角点和右下角点的池化的操作，包括：骨干网络输出的特征图进入池化层中，分别作水平方向与垂直方向上的最大池化得到相对应的特征图，将这两个特征图进行元素相加，得到最终的池化结果。

进一步，步骤S3中，将池化后的左上角点、右下角点都分别进行十字星变形卷积与角点预测操作，具体包括以下步骤：

S31：角点预测：角池化通过保留最大值和求和操作，输出左上角点和右下角点的热度图进行角点预测；输出的每一个热度图集都有C个通道，C表示类别数，并且每一个通道的尺寸为H×W，每一个通道都是一个二值的掩码，来表示每一类物体在图中角点的位置；

S32：十字星变形卷积：经过角池化后会将目标内部信息沿“十字星”边框扩展到角点处，产生一些十字交叉的特征，通过池化后的不确定的角点范围，卷积核可以在当前位置附近随意的采样，再对每个采样点的位置都增加一个偏移变量，通过引导偏移可以更准确地确定角点的正确位置。

进一步，步骤S32中，所述偏移量是在边缘位置附近随意采样获得的，角点池输出嵌入到特征映射中，采用的损失函数公式为：

其中，N表示训练样本中真实角点的数量，n为求和变量，δ_tl表示引导偏移后的左上角点，

表示由δ_tl得到的掩膜映射，δ_br表示引导偏移后的右下角点，

表示由δ_br得到的掩模映射，L₁是SmoothL1损失函数。

所述引导偏移是引导角点向中心区域的偏移，定义为

其中，δ表示引导偏移，物体i的边界框的坐标bboxⁱ＝(tlxⁱ,tlyⁱ,brxⁱ,bryⁱ)，几何中心坐标是(ctxⁱ,ctyⁱ)。

进一步，步骤S4中，根据预测角点和向心位移算法进行角点匹配，具体包括：给定一对角点，为每个角点定义一个二维向量，向心偏移对角点到边界框中心点的空间偏移进行编码，这样每个角点都可以根据向心偏移生成一个中心点，是否匹配是由两个和该匹配的几何中心之间的距离来表示，如果两个角点属于同一个边界框，则它们生成的中心点是接近的。

进一步，步骤S4中，向心偏移：从角点到中心到偏移区域分支的偏移，该偏移包含形状和方向信息，通过偏移算法来判断同属于同一个目标的角点。

设物体i的边界框的坐标为bboxⁱ＝(tlxⁱ,tlyⁱ,brxⁱ,bryⁱ)，几何中心坐标为

通过向心偏移，分别解码左上角和右下角的中心(tl_ctx,tl_cty)和(br_ctx,br_cty)；

左上角点向心偏移定义为：

右下角点向心偏移定义为：

训练过程中，在真实角点的位置使用SmoothL1损失函数进行预测优化，公式如下：

其中，L1是SmoothL1损失，N是训练样本中真实角点的数量，

是由

得到的掩膜映射。

进一步，步骤S4中，角点匹配：从角点热图和局部偏移特征图中获得角点，对属于同一类别的角点进行分组，满足tlx＜brx∧tly＜bry的条件，即可构造预测的边界框。对于每个边界框，将其得分设置为其角点置信度的几何平均值，将每个边界框的中心区域定义为R_central＝{(x,y)|x∈[ctlx,cbrx],y∈[ctly,cbry]}，那么R_central的角点计算公式如下：

其中，0＜μ≤1表示中心区域的宽度和高度是边界框的宽度和高度的μ倍。

进一步，步骤S4中，角点是根据向心偏移算法生成的中心点是否足够接近判断是否匹配，计算所有角点对中心区域的权重，选取得分最高的作为候选框，输出最终的预测结果。

计算满足

的预测边界框的得分权重W^j，公式如下：

其中，对于其他边界框，将W^j设置为0，最后通过与权重的乘积来预测边界框进行重新评分，意味着回归中心越接近，预测框的得分权重越高。

最终采用的多任务的损失函数如下公式：

其中，L_det表示角点检测的损失，L_off表示位置偏差的损失，L_cs表示向心偏移的损失，

设置为0.5。

本发明的有益效果在于：本发明采用了轻量化的骨干网络，以及无锚框的设计思想，可以有效的解决正负样本不平衡，超参数设计复杂的问题，有效地压缩网络模型，降低模型的参数量，减少计算资源消耗，提升运算速度；在自动驾驶、移动娱乐、视频监控等领域具有重要的研究意义。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明基于轻量化卷积的无锚框目标检测方法的流程示意图；

图2为本发明方法网络结构中卷积块的大致示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图2，如图1所示，本发明所揭示的是一种基于轻量化卷积的无锚框目标检测方法，详细步骤如下：

步骤1)：输入图片到轻量化的骨干网络中，提取特征图，其中轻量化的骨干网络详细结构：

(1)基本卷积模块，分离特征模块采用了通道分离、深度卷积、通道拼接、通道重排等操作，融入了步长为2的下采样卷积和步长为1基本卷积；进行通道分离后的左右两个分支，分别进行卷积、池化、正则化等一系列操作后，进行通道数拼接，使输入和输出通道数相同。

基本卷积模块中，分为两种卷积模块。第一类卷积块：通道分离后分为左右分支，左分支进行Conv2D，批处理归一化，Relu激活，DepthWiseConv2D，批处理归一化等融合操作；右分支进行DepthWiseConv2D，批处理归一化，Conv2D，Relu激活等融合操作；第二类卷积模块：左分支相较第一类卷积模块多了一层通道乱序的Lambda层，右分支只有一个通道乱序的Lambda层；同时在各个卷积模块之间加入一个通道乱序的Lambda层，最后将左右分支的输出进行通道拼接。其中Convn2D步长为1，DepthWiseConv2D步长为2，左右分支的通道数都为256，经过阶段2、3后，模型的输出维度为(128,128,256)。

(2)骨干网络：骨干网络分为3个阶段，由基本卷积模块层层串联构成。阶段2包括4个卷积块，阶段3包括7个卷积块，输入维度为(511,511,3)的图片，进行卷积和最大池化操作后，输出维度是(256,256,24)，接着进行阶段2、3的操作。

构造骨干网络：模型将输入(511,511,3)的图片先进行卷积和最大池化操作得到输出的维度是(256,256,24)，将输出传入4个卷积块进行运算。第一个卷积块分为左右两个分支，左边分支依次包含Conv2D，批处理归一化，Relu激活，DepthWiseConv2D，批处理归一化，Conv2D，批处理归一化，Relu激活，共8层网络结构组成，右边分支包括DepthWiseConv2D，批处理归一化，Conv2D，批处理归一化，Relu，共5层网络结构组成；第二三四个卷积模块的左分支相较第一个卷积模块多了一层通道乱序的Lambda层，而右边分支都只有一个通道乱序的Lambda层；各个卷积模块之间加入一个通道乱序的Lambda层。第一个卷积块中Convn2D步长为1，DepthWiseConv2D步长为2，左右分支的通道数都设置为128，然后将左右分支的输出进行通道拼接，得到输出的维度是(128,128,256)，后面的3个卷积块，Convn2D和DepthWiseConvn步长都为1，左右分支的通道数都为256，经过这3个卷积块，模型的维度没有变化，还是为(128,128,256)。

步骤2)：从得到的特征图进行左上角点和右下角点的池化操作：骨干网络输出的特征图进入池化层中，分别作水平方向与垂直方向上的最大池化得到相对应的特征图，将这两个特征图进行元素相加，得到最终的池化结果。

步骤3)：将池化后的左上角点、右下角点分别进行特征自适应和交叉十字星操作，操作步骤如下：

3.1)角点预测：角池化通过保留最大值和求和操作,输出左上角点和右下角点的热度图进行角点预测。输出的每一个热度图集都有C个通道，C表示类别数，并且每一个通道的尺寸为H×W，每一个通道都是一个二值的掩码，来表示每一类物体在图中角点的位置。

3.2)十字星变形卷积：经过角池化后会将目标内部信息沿“十字星”边框扩展到角点处，产生一些十字交叉的特征，通过池化后的不确定的角点范围，卷积核可以在当前位置附近随意的采样，再对每个采样点的位置都增加一个偏移变量，通过引导偏移可以更准确地确定角点的正确位置。其中，

偏移量是在边缘位置附近随意采样获得的，角点池输出嵌入到特征映射中，采用的损失函数公式如下：

其中，N表示训练样本中真实角点的数量，n为求和变量，δ_tl表示引导偏移后的左上角点，

表示由δ_tl得到的掩膜映射，δ_br表示引导偏移后的右下角点，

表示由δ_br得到的掩模映射，L₁是SmoothL1损失函数。

引导偏移是引导角点向中心区域的偏移，定义为

其中，δ表示引导偏移，物体i的边界框的坐标bboxⁱ＝(tlxⁱ,tlyⁱ,brxⁱ,bryⁱ)，几何中心坐标是(ctxⁱ,ctyⁱ)。

步骤4)：根据预测角点和向心位移算法进行角点匹配，由预测边界框的得分输出最终的预测结果，过程如下：给定一对角点，为每个角点定义一个二维向量，向心偏移对角点到边界框中心点的空间偏移进行编码，这样每个角点都可以根据向心偏移生成一个中心点，是否匹配是由两个角点和该匹配的几何中心之间的距离来表示，如果两个角点属于同一个边界框，则它们生成的中心点是接近的；同时划定一个中心区域，计算所有角点对中心区域的权重，选取得分最高的作为候选框，然后输出最终的预测结果。

其中向心偏移和角点匹配是重要的步骤。

(1)向心偏移：从角点到中心到偏移区域分支的偏移，该偏移包含形状和方向信息，通过偏移算法来判断同属于同一个目标的角点。

设物体i的边界框的坐标为bboxⁱ＝(tlxⁱ,tlyⁱ,brxⁱ,bryⁱ)，几何中心坐标为

通过向心偏移，分别解码左上角和右下角的中心(tl_ctx,tl_cty)和(br_ctx,br_cty)；

左上角点向心偏移定义为：

右下角点向心偏移定义为：

训练过程中，在真实角点的位置使用SmoothL1损失函数进行预测优化，公式如下：

其中，L1是SmoothL1损失，N是训练样本中真实角点的数量，

是由

得到的掩膜映射。

(2)角点匹配：从角点热图和局部偏移特征图中获得角点，对属于同一类别的角点进行分组，满足tlx＜brx∧tly＜bry的条件，即可构造预测的边界框。对于每个边界框，将其得分设置为其角点置信度的几何平均值，将每个边界框的中心区域定义为R_central＝{(x,y)|x∈[ctlx,cbrx],y∈[ctly,cbry]}，那么R_central的角点计算公式如下：

其中，0＜μ≤1表示中心区域的宽度和高度是边界框的宽度和高度的μ倍。

(3)角点是根据向心偏移算法生成的中心点是否足够接近判断是否匹配，计算所有角点对中心区域的权重选取得分最高的作为候选框。

计算满足

的预测边界框的得分权重W^j，公式如下：

其中，对于其他边界框，将W^j设置为0，最后通过与权重的乘积来预测边界框进行重新评分，意味着回归中心越接近，预测框的得分权重越高。

最终采用的多任务的损失函数如下公式：

其中，L_det表示角点检测的损失，L_off表示位置偏差的损失，L_cs表示向心偏移的损失，

设置为0.5。

最后根据预测边界框的得分，最高者即为预测边框，输出最终预测结果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于轻量化卷积的无锚框目标检测方法，其特征在于，该方法包括以下步骤：

S1：构造轻量化的骨干网络，并输入图片到轻量化的骨干网络中，提取特征图；

S2：根据得到的特征图进行左上角点和右下角点的池化操作；

S3：池化后的左上角点、右下角点都分别进行十字星变形卷积与角点预测操作；

S4：根据预测的角点和向心位移算法进行角点匹配，由预测边界框的得分输出最终结果；

步骤S1中，构造轻量化的骨干网络包括以下步骤：

S11：构造基本卷积模块，包括：构造分离特征模块；所述分离特征模块采用通道分离，深度卷积，通道拼接和通道重排的操作，构造成残差结构进行通道分离后的左右两个分支，分别进行卷积，池化和正则化，进行通道数拼接，使输入和输出通道数相同；

基本卷积模块中，分为两种卷积模块；第一类卷积块：通道分离后分为左右分支，左分支进行Conv2D，批处理归一化，Relu激活，DepthWiseConv2D，批处理归一化；右分支进行DepthWiseConv2D，批处理归一化，Conv2D，Relu激活；第二类卷积模块：左分支相较第一类卷积模块多了一层通道乱序的Lambda层，右分支只有一个通道乱序的Lambda层；同时在各个卷积模块之间加入一个通道乱序的Lambda层，最后将左右分支的输出进行通道拼接；

S12：构造骨干网络：由步长为2的下采样卷积和步长为1基本卷积交替出现，融入分离特征模块中，层层串联构成；

步骤S2中，从得到的特征图进行左上角点和右下角点的池化的操作，包括：骨干网络输出的特征图进入池化层中，分别作水平方向与垂直方向上的最大池化得到相对应的特征图，将这两个特征图进行元素相加，得到最终的池化结果。

2.根据权利要求1所述的无锚框目标检测方法，其特征在于，步骤S3中，将池化后的左上角点、右下角点都分别进行十字星变形卷积与角点预测操作，具体包括以下步骤：

S31：角点预测：角池化通过保留最大值和求和操作，输出左上角点和右下角点的热度图进行角点预测；输出的每一个热度图集都有C个通道，C表示类别数，并且每一个通道的尺寸为H×W，每一个通道都是一个二值的掩码，来表示每一类物体在图中角点的位置；

S32：十字星变形卷积：经过角池化后会将目标内部信息沿“十字星”边框扩展到角点处，产生十字交叉的特征，通过池化后的不确定的角点范围，卷积核在当前位置附近随意的采样，再对每个采样点的位置都增加一个偏移变量，通过引导偏移更准确地确定角点的正确位置。

3.根据权利要求2所述的无锚框目标检测方法，其特征在于，步骤S32中，所述偏移变量是在边缘位置附近随意采样获得的，角点池输出嵌入到特征映射中，采用的损失函数公式为：

其中，N表示训练样本中真实角点的数量，n为求和变量，δ_tl表示引导偏移后的左上角点，

表示由δ_tl得到的掩膜映射，δ_br表示引导偏移后的右下角点，

表示由δ_br得到的掩膜映射，L₁是SmoothL1损失函数；

所述引导偏移是引导角点向中心区域的偏移，定义为

其中，δ表示引导偏移，物体i的边界框的坐标bboxⁱ＝(tlxⁱ,tlyⁱ,brxⁱ,bryⁱ)，几何中心坐标是(ctxⁱ,ctyⁱ)。

4.根据权利要求1所述的无锚框目标检测方法，其特征在于，步骤S4中，根据预测角点和向心位移算法进行角点匹配，具体包括：给定一对角点，为每个角点定义一个二维向量，向心偏移对角点到边界框中心点的空间偏移进行编码，这样每个角点根据向心偏移生成一个中心点，是否匹配是由两个和该匹配的几何中心之间的距离来表示，如果两个角点属于同一个边界框，则它们生成的中心点是接近的。

5.根据权利要求4所述的无锚框目标检测方法，其特征在于，步骤S4中，所述向心偏移：从角点到中心到偏移区域分支的偏移，该偏移包含形状和方向信息，通过偏移算法来判断同属于同一个目标的角点。

6.根据权利要求4所述的无锚框目标检测方法，其特征在于，步骤S4中，所述角点匹配：从角点热图和局部偏移特征图获得角点，对属于同一类别的角点进行分组，满足特定的条件，即可构造预测的边界框。

7.根据权利要求4所述的无锚框目标检测方法，其特征在于，步骤S4中，角点是根据向心偏移算法生成的中心点是否足够接近判断是否匹配，计算所有角点对中心区域的权重，选取得分最高的作为候选框，输出最终的预测结果。

Images