CN114022746A - 一种多项式多尺度空间特征学习方法 - Google Patents

Abstract

本发明公开了一种多项式多尺度空间特征学习方法，涉及卷积网络学习相关技术领域，具体步骤为：创建具有空洞卷积层的网络；构建Hermite多项式；依据Hermite多项式和具有空洞卷积层的网络构建递归Hermite多项式网络；通过递归Hermite多项式网络中可训练的Hermite系数聚合多个子尺度特征，获得具有粒度的多尺度特征。本申请利用空洞卷积来维持跨层的空间特征；将卷积结果带入Hermite多项式，递归地构造子尺度特征，以此避免由于使用空洞卷积而形成的伪影。

Description

一种多项式多尺度空间特征学习方法

技术领域

本发明涉及卷积网络学习相关技术领域，更具体的说是涉及一种多项式多尺度空间特征学习方法。

背景技术

密集预测任务(如对象定位和自然场景行人匹配)通常需要对不同尺度的对象进行建模，并使用细粒度特征进行判断。考虑到同一对象可能会以不同大小出现以及卷积神经网络(CNN)的鲁棒性和层次特性，我们一般将其多尺度特征表示作为标准解决方案。从技术上讲，目前的方法主要分为两类：1)使用跳跃连接，即在不同卷积层融合具有多个尺度大小不同的感受域的特征；2)采用多分支特征融合，即通过动态采样交替输入和输出通道，来解决尺度变化。

然而，CNN在保持空间精度方面会表现出局限性，这是由于一系列的池化层或其他跨层产生了粗粒。这种结构通常会导致特征的丢失，而且这种丢失无法恢复。这种缺点降低了在需要高空间精度的图像识别任务(密集预测任务)的准确性。例如，匹配两张风景人物照片不仅是由于相机距离的原因而进行的多尺度匹配，还涉及到细粒度特征与具体空间尺寸的匹配。空洞卷积在许多需要高分辨率预测的任务上具有优越的性能。随着层数加深，扩张因子会呈指数增长，因此网络可以具有更大的感受野。然而，应用空洞卷积会产生显著的混叠问题，即采样后，奈奎斯特频率上的信号无法与较低频率区分。包含子采样的空洞卷积会在接收场小于膨胀因子的特征图中产生伪影。这对于频率更高的细粒度特征尤其如此。因此，研发一种既能够提高密集预测任务的准确性又能够解决空洞卷积产生的混叠问题是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种多项式多尺度空间特征学习方法，递归地构建了一系列Hermite多项式在卷积层中生成子尺度特征，解决空洞卷积的细粒度特征中的混叠问题。

为了实现上述目的，本发明提供如下技术方案：

一种多项式多尺度空间特征学习方法，具体步骤为：

创建具有空洞卷积层的网络；

构建Hermite多项式；

依据Hermite多项式和具有空洞卷积层的网络构建递归Hermite多项式网络；

通过递归Hermite多项式网络中可训练的Hermite系数聚合多个子尺度特征，获得具有粒度的多尺度特征。

可选的，具有空洞卷积层的网络卷积层计算公式为：

式中，l为层数；c为输出通道，c＝1,2,...,C_ot；x，y均为特征图中的空间位置的索引；

为第l+1层的输出特征，

k为输入通道，k∈1,2,...,C_in；i为横向坐标值；j为纵向坐标值，

为第l层的特征。

其优点在于，通过空洞卷积在卷积过程中保持空间分辨率。

可选的，具有空洞卷积层的网络中，各层的扩张率为d时，扩张卷积层为：

可选的，Hermite多项式为：

可选的，Hermite各阶项的递归关系为：

h_n+1(x)＝2xh_n(x)-2nh_n-1(x) (4)。

可选的，递归Hermite多项式网络的核心是Hermite多项式块，在单个卷积层中，Hermite多项式块实现特征扩展，并将多项式激活转发为低通特征。

可选的，Hermite多项式分块运算表达式为：

式中，C_n为n阶多项式的Hermite系数，σ为激活函数，

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种多项式多尺度空间特征学习方法，利用空洞卷积来维持跨层的空间特征；将卷积结果带入Hermite多项式，递归地构造子尺度特征，以此避免由于使用空洞卷积而形成的伪影；卷积层产生的子尺度粒度特征通过可训练的Hermite系数进行融合，使不同分辨率下的特征进行融合后，再将融合后的特征以参数的形式传递到下一层，从而允许所有层的特征交互，不仅保留了可识别的细节而且将这些来自不同尺度的信息融合到输出端，提高空间精度的密集预测任务的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的标准空洞卷积示意图；

图2为本发明的RHP-net不同级别的激活图；

图3为本发明的方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明实施例公开了一种多项式多尺度空间特征学习方法，多尺度特征学习是通过学习卷积神经网络不同层产生的不同尺度特征来增强卷积神经网络对尺度变化的鲁棒性；其具体的步骤如图3所示：

步骤1：构建递归Hermite多项式网络；

其中，构建递归Hermite多项式网络包括如下步骤:

步骤11、创建具有空洞卷积层的网络；

本实施例采用空洞卷积增大感受野，因此创建了一个具有空洞卷积层的网络，每个层都增加扩张速率，以随着层的深入而扩大感受野；为了实现自包含，首先在第l层通过表示F^l∈R^C×H×W来定义特征块：其中C是通道数，H和W是高度和宽度。进一步将卷积滤波器表示为

其中一组尺寸为K×K的C_ot过滤器与输入特征卷积，每个过滤器使用C_in卷积核以匹配这些输入通道。因此，卷积计算如下：

式中，l为层数；c为输出通道，c∈1,2,...,C_ot；x，y均为特征图中的空间位置的索引；

为第l+1层的输出特征，

k为输入通道，k∈1,2,...,C_in；i为横向坐标值；j为纵向坐标值，

为第l层的特征。

目前普遍认为，具有扩张率d和步长s的卷积相当于在不扩张的情况下通过因子d对子采样输入进行卷积。因此，具有跨步自由的扩张卷积在全空间覆盖下产生d下采样响应。因此使用具有不同膨胀率的卷积输出来产生保留空间分辨率的多尺度响应，具体来说，给定扩张率d，扩张卷积变为：

如图1所示，最下面一层为层F^l，从上往下，第二层为F^l+1，如果定义一个的感受野，层F^l+1中的元素是前一层F^l中的子集元素，那么它驱动F^l+1中每个元素的感受野的大小为(2^{l +2}-1)×(2^l+2-1)。然而，标准空洞卷积可能会引入由混叠效应引起的伪影。这将阻碍密集预测中的细粒度特征表示。因此通过引入Hermite多项式来解决伪影，并在所有层的局部表示之间实现密集交换。

步骤12、构建Hermite多项式；

在密集预测任务中，通过连接具有不同膨胀因子的空洞卷积层来保持跨卷积层的空间分辨率。然而，标准的空洞卷积会导致伪像，这使得用于提高预测精度的细粒度特征难以识别。因此为了消除伪影，便使用递归Hermite多项式序列来过滤高频特征并生成子尺度特征。

Hermite多项式定义了一类可以应用于信号处理，局部图像匹配的正交多项式。标准的Hermie多项式为：

式中，n为Hermite多项式的阶数；x为可变量。

通过公式(3)可以观察到关于Hermite变换的一个重要性质：Hermite各阶项的递归关系，具体为：

h_n+1(x)＝2xh_n(x)-2nh_n-1(x) (4)。

利用递归属性对细粒度特征进行低通滤波，从而产生无伪影的细尺度粒度。

步骤13、构建递归Hermite多项式网络RHP-NET

RHP网络的核心是Hermite多项式块(HPB)，在单个卷积层中，HPB可以实现特征扩展，并将多项式激活转发给低通特征。Hermite多项式的递归性质保证了在细粒度细节上降低空间频率，以对抗由跨层膨胀卷积引起的混叠。然后，通过一组可训练的Hermite系数将合成的子尺度细粒度特征的组合进行融合，每个系数对应一阶Hermite多项式。

数学上Hermite多项式分块运算可表示为：

式中，H_n()使用公式(3)计算，C_n为对应于n阶多项式H_n()的Hermite系数，n＝0,...,N，σ为激活函数，

起到抑制与高阶多项式相关的无界激活的作用。

进一步来讲，Hermite多项式变换相当于一组用于提取细粒度特征和在缩放过程中低通特征的可控滤波器。随着多项式阶数的增加，Hermite多项式之间的递归关系可以降低高频信号。

步骤2：通过递归Hermite多项式网络中可训练的Hermite系数聚合多个子尺度特征。

通过将C_n转换为可训练参数，以便将不同阶次的特征合并为多尺度表示，确保了一组Hermite多项式在空间维度上是递归的，以此来保证空间精度。最后，将具有粒度的整个子尺度特征聚合并送到下一层。

在密集度预测任务中，递归Hermite多项式在网络层，可以通过递归递减关系，对特征图进行低通道滤波，从而消除空洞卷积带来的伪影效果。

实施例2：

将含有7个计算层的RHP网络，表示为L_l，l＝1，…，7，该网络具有类似于ResNet的跳跃连接途径，以Conv-BN-ReLU作为基本模块；如图2所示，从左到右，分别为原始图片、level1-level7，将每个图像的大小都将调整为224×224×3，在level1之后有112×112×32的输出；由于max pooling操作导致高频激活可以传播到更高层，故而采用卷积滤波器代替最大池化层，最大池化仅在最后一级应用，以生成大小为14×14的输出；然后，添加一个完全连接层，并使用soft max执行分类任务；HPB在第四层到第七层将多项式嵌入到在3×3卷积中，其中膨胀率分别设置为从L₄到L₇的d＝{2,4,2,1}。该网络提高了卷积层的空间精度，从而有利于密集的预测任务。为了产生无伪影的子尺度颗粒特征，通过将Hermite多项式应用到卷积层中来降低每个层内的高空间频率；RHP网络将同时实现具有高关联度的空间特征和子尺度特征的多尺度表示，以提高密集预测的精确程度。在这里batch正则化是在Hermite多项式变换之前应用的。我们通过调整Hermite多项式数的选择N∈{0,2,4,6,8}。在此实施例中，将N＝4设为默认值，RHP-NET的架构如表1所示。

表1

表中，(3×3)_h表示应用于尺寸为3×3的滤波器的Hermite多项式。

为了评估该网络，识别任务包括图像分类、目标定位和多尺度行人匹配。

图片分类

网络在使用空洞卷积并添加HPB时，它在top-1误差和top-5误差的准确率上分别提升了1％左右。

目标定位

本实施例公开的方法与最近两种基于多分辨率用于密集预测任务的的方法，即Inception-4v和SDC进行比较，准确率均有所提升。

多尺度行人匹配

该方法在CMC值和mAP方面比各种先进算法有一定的改进。它表明，大多数跳跃连接方法将特征对齐，以利用从粗到细的细节，从而改进行人匹配。尽管这些方法对提高准确率有所帮助，但它们缺乏将来自不同尺度的不同信息融合到同一表示机制中，PConv和CMSNet等可以通过有效地将尺度特征组合到一个卷积层来解决这一问题。由于本方法通过构造空间多项式以反映尺度结构。因此，该种多尺度空间表示更有助于具有细粒度细节的多尺度行人搜索。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种多项式多尺度空间特征学习方法，其特征在于，具体步骤为：

创建具有空洞卷积层的网络；

构建Hermite多项式；

依据Hermite多项式和具有空洞卷积层的网络构建递归Hermite多项式网络；

通过递归Hermite多项式网络中可训练的Hermite系数聚合多个子尺度特征。

2.根据权利要求1所述的一种多项式多尺度空间特征学习方法，其特征在于，具有空洞卷积层的网络卷积层计算公式为：

式中，l为层数；c为输出通道，c＝1,2,...,C_ot；x，y均为特征图中的空间位置的索引；

为第l+1层的输出特征，

k为输入通道，k∈1,2,...,C_in；i为横向坐标值；j为纵向坐标值，

为第l层的特征。

3.根据权利要求2所述的一种多项式多尺度空间特征学习方法，其特征在于，具有空洞卷积层的网络中，各层的扩张率为d时，扩张卷积层为：

4.根据权利要求1所述的一种多项式多尺度空间特征学习方法，其特征在于，Hermite多项式为：

式中，n为Hermite多项式的阶数；x为可变量。

5.根据权利要求4所述的一种多项式多尺度空间特征学习方法，其特征在于，Hermite各阶项的递归关系为：

h_n+1(x)＝2xh_n(x)-2nh_n-1(x) (4)。

6.根据权利要求1所述的一种多项式多尺度空间特征学习方法，其特征在于，递归Hermite多项式网络的核心是Hermite多项式块，在单个卷积层中，Hermite多项式块实现特征扩展，并将多项式激活转发为低通特征。

7.根据权利要求6所述的一种多项式多尺度空间特征学习方法，其特征在于，Hermite多项式分块运算表达式为：

式中，l为层数；c为输出通道，c＝1,2,...,C_ot；x，y均为特征图中的空间位置的索引；

为第l+1层的输出特征，

k为输入通道，k∈1,2,...,C_in；i为横向坐标值；j为纵向坐标值，

为第l层的特征；C_n为n阶多项式的Hermite系数，σ为激活函数，

n为Hermite多项式的阶数；H_n为Hermite多项式；d为各层扩张率。

Images