CN112115871A - 适用于行人目标检测的高低频交织边缘特征增强方法及构建增强网络的方法 - Google Patents

Abstract

适用于行人目标检测的高低频交织边缘特征增强方法及构建增强网络的方法，属于目标检测技术领域，要点包括：S1、选取卷积模块进行维度变换，调整特征图尺度，根据频率分配系数提取高低频特征分量；S2、将输出的高频分量经过池化和卷积模块与低频分量融合；S3、将输出的低频分量经过卷积和上采样模块与高频分量融合；S4、将输出的高频、低频融合分量经过反卷积返回特征原尺度，共同作用输出特征融合信息。效果是可以作为独立单元嵌入到深度神经网络行人目标检测系统中，能够显著增强行人目标的边缘轮廓特征信息，提升检测精度。

Description

适用于行人目标检测的高低频交织边缘特征增强方法及构建 增强网络的方法

技术领域

本发明属于深度学习领域，涉及一种行人目标检测边缘特征增强网络。

背景技术

目标检测技术是计算机视觉中一个重要的研究领域，基于深度学习的目标检测算法正致力于不断提高检测精度，在智能汽车、智能交通、视频监控、机器人与高级人机交互等领域中有着很广泛的应用前景。

针对图像频率信息融合已有的算法可以分为两大类，第一类是基于空域的方法，通常从空域的原图像中构建融合图像，在融合颜色和纹理图像方面表现不佳。另一类是基于变换域的方法，通常分为图像分解、系数融合和图像重建三个步骤，但其融合规则复杂且具有局限性。专利申请号为20161016533.0，名称为“基于小波变换的图像融合方法及其系统”，通过离散小波变换、高低频图像处理以及分解图像融合的方法，分别对图像高低频进行处理，得到更高质量的融合图像。专利申请号为201811135170.5，名称为“一种多小波变换矢量图像融合方法”，利用多小波系数矢量的局部区域统计特征来表征图像信息的显著性，通过对图像进行小波分解，得到分解系数矢量，建立统计模型，根据融合系数进行多小波逆变换得到融合图像。以上两个专利仅通过小波变换处理频率特征，不具备空间特征的学习能力，强调对原有频率进行变换处理，忽略了对应的空间频率特征信息，检测精度仍有提升空间。

发明内容

为了解决目标检测边缘特征增强的问题，本发明提出如下技术方案：一种构建高低频交织边缘特征增强网络的方法，包括：

第一步，X∈R^n×m×w为卷积层的输入特征张量，m和w表示空间维度，n表示通道数，R为实数集合，经过卷积C₁模块进行维度变换，调整特征图尺度，统一特征图尺度大小，提取第1级的高频特征分量

和低频特征分量

h代表高频，l代表低频，上标代表级数；

第二步，将提取出的高频特征分量

先经过P池化操作，再通过卷积C₄模块计算，初步融合高频特征分量

与低频特征分量

特征信息，得到第2级融合分量

第三步，将提取出的低频特征分量

经过卷积C₃模块计算得到分量

再与分量

进行融合，共同作用输出第3级融合的低频分量

构建过程为

第四步，将提取的低频分量

先经过卷积C₅模块计算，再进行U上采样操作得到分量

融合低频特征分量

与高频特征分量

的特征信息

第五步，将提取的高频分量

经过卷积C₂模块计算得到分量

再与分量

融合，共同作用输出第3级融合的高频分量

构建过程为

第六步，将第3级融合的高频分量

与低频分量

分别经过反卷积V模块计算，保持原尺度进一步输出第4级融合的高频分量

与低频分量

与幅值系数D共同作用输出特征的融合信息Y

α∈R⁺且α∈(0,1)为频率分配系数，下标f代表频率间信息融合，P代表池化操作，U代表上采样操作，D∈R⁺且D∈(0,1)为幅值系数。

进一步的，卷积C₁模块、C₂模块、C₃模块、C₄模块、C₅模块、反卷积V模块选用1×1大小的通用卷积器。

进一步的，确定最优频率系数的方法：

1)准则条件1：频率分配系数公式

2)准则条件2：频率分配系数的取值代表低频分量分配值；

3)准则条件3：输入与输出通道的对应频率大小一致；

4)上述准则条件仅满足任意一条时，最优频率系数分配准则不成立；

5)上述准则条件满足任意两条时，最优频率系数分配准则不成立；

6)上述准则条件均满足时，最优频率系数分配准则成立；

其中准则条件1中的相关参数说明如下：B,C为高、低频率融合系数矩阵，{B,C|B,C＝[0,1,...,k-1],k∈N^*}，B,C的转置处理{B',C'|B',C'＝[0,1,...,k-1]^T,k∈N^*}，e为归一化操作因子，此处高低频H,L为无量纲参数，定义A∈(0,1)为无量纲的网络正则化因子，当准则成立时，计算得到频率分配系数α。

进一步的，经准则判定成立时，最优频率分配系数α取值范围是[0.5,0.8]。

本发明还涉及一种所述的构建高低频交织边缘特征增强网络的方法得到的高低频交织边缘特征增强网络。

本发明还涉及一种适用于行人目标检测的高低频交织边缘特征增强方法，包括：

第1步：根据最优频率分配准则，选取最优频率分配系数，构建高低频交织边缘特征增强网络；

第2步：将高低频交织边缘特征增强网络作为独立单元，按神经网络的嵌入规则，插入到用于行人目标检测的深度神经网络系统中并构建新型网络；

第3步：选取需要分类类别的数据集作为新型网络的训练集；

第4步：在进行训练前，设定适当的超参数；

第5步：新型网络构建完成并开始训练，得到训练模型；

第6步：使用训练模型用于行人目标检测。

进一步的，所述第5步中还包括评价插入高低频交织边缘特征增强网络后的性能效果，评价方法是：

1)经过多轮训练，使用测试数据集测试训练好的模型；

2)得到平均精度均值并与原有网络结果进行对比；

3)若得到平均精度均值优于原网络结果，则插入网络性能提升；

4)若得到平均精度均值等于或低于原网络结果，则插入网络性能失效。

进一步的，第4步中，超参数Learning_rate＝0.00025，Batch_size＝1，梯度下降方法为SGD，训练步数为80000。

有益效果：

(1)本方法作为独立单元，能够按需嵌入到任何深度神经网络中，嵌入方式简单且不破坏原有结构，在不过度增加原有系统计算量的前提下，可以提高特征提取效率。

(2)本方法是深度学习的边缘特征信息增强方法，与传统方法相比，能够更好地表达和利用图像的特征信息，具有极强的泛化能力，显著提升检测效果。

(3)在车载高级驾驶辅助系统(ADAS)中，本方法可以有效提升对行人目标的检测能力，为辅助驾驶的决策系统提供更多的有效数据，增强检测效果。

(4)在无人机和天眼系统的行人目标检测中，本方法能够突出对远距离微小行人目标的轮廓信息，从而提高行人目标检测效率。

(5)本方法适用于背景环境复杂的场景，能够有效检测到行人目标主体的边缘轮廓特征，增强目标的细节信息，提升检测精度，改善检测效果。

附图说明

图1是网络总体结构改进图

图2是高低频交织边缘特征增强网络结构图

图3基于CornerNet网络的特征可视化改进图

图4交通道路中行人和车辆的测试结果改进图

图5人群密集道路中行人和车辆的测试结果改进图

图6空旷道路中行人测试结果改进图

具体实施方式

接下来结合附图和具体分类过程来对本发明做进一步的描述：

适用于行人目标检测的高低频交织边缘特征增强方法，通过构建高低频交织边缘特征增强网络(网络结构图如图2所示)，并使用该网络进行高低频交织边缘特征增强，边缘特征增强方法的具体实施步骤如下：

第1步：根据最优频率分配准则，选取最优频率分配系数，按照边缘特征信息增强步骤构建高低频交织边缘特征增强网络；

第2步：将高低频交织边缘特征增强网络作为独立单元，按任意神经网络的嵌入规则，插入到深度神经网络系统中构建新型网络；

第3步：选取需要分类类别的数据集作为新型网络的训练集；

第4步：在进行训练前，设定适当的超参数，这里给出相应的训练超参数：Learning_rate＝0.00025，Batch_size＝1，梯度下降方法为SGD，训练步数为80000；

第5步：新型网络构建完成并开始训练，得到训练模型；

第6步：评价系统插入高低频交织边缘特征增强网络后的性能效果。系统判定过程如下：

5)经过多轮训练，使用测试数据集测试训练好的模型；

6)得到平均精度均值并与原有网络结果进行对比；

7)若得到平均精度均值优于原网络结果，则插入网络性能提升；

8)若得到平均精度均值等于或低于原网络结果，则插入网络性能失效。

上述方法采用高低频交织边缘特征增强网络，获取目标的频率信息，融合高低频分量增强目标边缘特征表达能力，通过调整频率分配系数提高行人目标检测精度。

以下对构建高低频交织边缘特征增强网络的方法进行说明，该方法将网络作为独立单元，按照系统嵌入需求在不破坏原有结构的基础上，嵌入到深度神经网络中，广泛应用于目标检测领域。本专利能够更好地在目标检测领域提供一种精度更高效率更快的目标检测算法。本发明的网络可嵌入于任何已有深度学习目标检测神经网络系统中，来增强目标的表达能力。该增强网络通过特征频率分离技术，提高在检测过程中对行人目标的检测识别精度。

对于上述网络，是一种嵌入式的神经网络特征增强单元模块，具有特征转换提取功能，运用图像频率信息融合的思想实现一种行人目标检测的深度学习边缘特征信息增强方法。该方法利用高低频交织边缘特征增强网络，主要功能是作为一个特征提取的嵌入式模块，在不破坏原有神经网络的原有功能的前提条件下，可以部署到任何已有的深度神经网络中，总体结构如图1所示。在原始检测网络的卷积层与框定处理层之间即E点处(插入本发明方法后，原始检测网络结构的E点，变为新网络结构中的E和E’点，即新网络中的E、E’点等效于原始检测结构的E点)，加入高低频交织边缘特征增强网络，可以有效提高检测精度，对现有网络实现检测、跟踪、分割等功能。

构建高低频交织边缘特征增强网络的方法的详细步骤如下：

(1)高低频率分离方法

该模块提出一种高低频交织边缘特征增强网络，通过一种交织式特征增强网络对特征中的低频和高频进行分离-融合处理，分别提取特征的高频和低频信息，设定频率分配系数，在融合部分低频信息的同时，输出更多高频信息，最后经过反卷积匹配通道尺寸，输出高低频融合信息，进一步增强边缘特征，提高系统精度。

(2)任意神经网络的嵌入规则

该模块作为一个独立的特征提取单元，能够嵌入到任何深度神经网络中且不破坏原有结构，对于深度神经网络的系统嵌入要求，列出如下规则：

1)该模块适用于深度卷积神经网络，能够对卷积后的特征进行增强处理；

2)模块应安插在深度系统特征处理层之后，由系统对输入特征进行预处理，再将处理后的特征输入到该模块中。

3)该模块的输出应接入系统框定处理层，系统直接对增强后的特征进行框定处理，输出分类结果。

(3)边缘特征信息增强步骤

根据图2高低频交织边缘特征增强网络结构图，本发明具体技术方案如下。

第一步，获取卷积层的输入特征张量X∈R^n×m×w到网络中，其中m和w表示空间维度，n表示通道数，R为实数集合。经过卷积C₁模块进行维度变换，调整特征图尺度，统一特征图尺度大小，提取第1级的高频特征分量

和低频特征分量

通过下标h、l区分高频、低频，h代表高频，l代表低频，上标1、2、3、4分别代表第1、2、3、4级。

第二步，将提取出的高频特征分量

先经过P池化操作再通过卷积C₄模块，初步融合高频特征分量

与低频特征分量

特征信息，得到第2级融合分量

第三步，将提取出的低频特征分量

经过卷积C₃模块计算得到分量

再与分量

进行融合，共同作用输出第3级融合的低频分量

构建过程为

第四步，将提取的低频分量

先经过卷积C₅模块在进行U上采样计算得到分量

融合低频特征分量

与高频特征分量

的特征信息。

第五步，将提取的高频分量

经过卷积C₂模块计算得到分量

再与分量

融合，共同作用输出第3级融合的高频分量

构建过程为

第六步，将第3级输出的高低频融合分量

分别经过反卷积V模块返回原尺度输出第4级的融合分量

共同作用输出特征的融合信息Y。

其中卷积C₁、C₂、C₃、C₄、C₅、反卷积V可选用1×1大小的通用卷积器，α∈R⁺且α∈(0,1)为频率分配系数。下标f代表频率间信息融合，P代表池化操作，U代表上采样操作，D∈R⁺且D∈(0,1)为幅值系数。

(4)最优频率系数分配的完备准则

7)准则条件1：频率分配系数公式

8)准则条件2：频率分配系数的取值代表低频分量分配值；

9)准则条件3：输入与输出通道的对应频率大小一致；

10)上述准则条件仅满足任意一条时，最优频率系数分配准则不成立；

11)上述准则条件满足任意两条时，最优频率系数分配准则不成立；

12)上述准则条件均满足时，最优频率系数分配准则成立。

其中准则条件1中的相关参数说明如下：{B,C|B,C＝[0,1,...,k-1],k∈N^*}，B,C的转置处理{B',C'|B',C'＝[0,1,...,k-1]^T,k∈N^*}，e为归一化操作因子，此处高低频H,L为无量纲参数，定义A∈(0,1)为无量纲的网络正则化因子，当准则成立时，计算得到频率分配系数α。

经准则判定成立时，最优频率分配系数α取值范围是[0.5,0.8]，在此范围内网络可以融合输出相适应的高低频特征信息，增强目标细节信息，提高边缘轮廓特征的表达能力，有效提高检测精度。

本发明特别适用于微小目标检测分类系统，可改善目标检测中漏检、误检的问题。本发明方法能够应用于自主汽车、辅助驾驶、无人机、无人车以及公共安全天眼监控系统等多个领域。

实施例1：

与CornerNet算法的有效结合

图3为基于CornerNet网络的特征增强可视化对比图，在CornerNet网络中，加入高低频交织边缘特征增强网络，通过高低频交织边缘特征增强网络对特征边缘进行增强处理，融合输出适当的高频特征信息，为CornerNet中下一步热图的计算提供良好的预处理。进一步提高检测精度，改善CornerNet误检或漏检的情况，提升对小目标的检测。

实施例2：

在交通道路中的车辆行人识别情况

本实例基于实例1，针对道路交通中的车辆和行人可以有效地进行分类,选取在道路交通中车辆和行人的作为目标进行检测，在图4中给出添加高低频交织边缘特征增强网络前后算法的检测结果。在将来的智能交通的建设中，行人和车辆的目标检测一定是作为最重要的部分，而在测试的结果中可以看到行人和车辆被有效地进行区分，高低频交织边缘特征增强网络可以应用在交通道路中的车辆行人识别。

实施例3：

在人群密集道路中的车辆行人识别情况

本实例基于实例1，针对人群密集道路中的车辆和行人可以有效进行分类，选取道路中车辆和行人作为目标进行检测，在图5中给出添加高低频交织边缘特征增强网络前后算法的检测结果。在密集人群中，该方法能够有效检测出远处的小目标，有效区分行人和车辆，正确检测出场景的所有目标。

实施例4：

在空旷道路中的车辆行人识别情况

本实例基于实例1，针对空旷道路中的行人目标可有效进行分类，在空旷道路中，行人目标较少且远处目标尺寸过小，该方法能够有效检测出空旷场景下的小目标，改善检测过程中的漏检现象，在场景中出现的目标均能够被有效检测到。

Claims (8)

1.一种构建高低频交织边缘特征增强网络的方法，其特征在于：

第一步，X∈R^n×m×w为卷积层的输入特征张量，m和w表示空间维度，n表示通道数，R为实数集合，经过卷积C₁模块进行维度变换，调整特征图尺度，统一特征图尺度大小，提取第1级的高频特征分量

和低频特征分量

h代表高频，l代表低频，上标代表级数；

第二步，将提取出的高频特征分量

先经过P池化操作，再通过卷积C₄模块计算，初步融合高频特征分量

与低频特征分量

特征信息，得到第2级融合分量

第三步，将提取出的低频特征分量

经过卷积C₃模块计算得到分量

再与分量

进行融合，共同作用输出第3级融合的低频分量

构建过程为

第四步，将提取的低频分量

先经过卷积C₅模块计算，再进行U上采样操作得到分量

融合低频特征分量

与高频特征分量

的特征信息

第五步，将提取的高频分量

经过卷积C₂模块计算得到分量

再与分量

融合，共同作用输出第3级融合的高频分量

构建过程为

第六步，将第3级融合的高频分量

与低频分量

分别经过反卷积V模块计算，保持原尺度进一步输出第4级融合的高频分量

与低频分量

与幅值系数D共同作用输出特征的融合信息Y

α∈R⁺且α∈(0,1)为频率分配系数，下标f代表频率间信息融合，P代表池化操作，U代表上采样操作，D∈R⁺且D∈(0,1)为幅值系数。

2.如权利要求1所述的构建高低频交织边缘特征增强网络的方法，其特征在于，卷积C₁模块、C₂模块、C₃模块、C₄模块、C₅模块、反卷积V模块选用1×1大小的通用卷积器。

3.如权利要求1所述的构建高低频交织边缘特征增强网络的方法，其特征在于，确定最优频率系数的方法：

1)准则条件1：频率分配系数公式

2)准则条件2：频率分配系数的取值代表低频分量分配值；

3)准则条件3：输入与输出通道的对应频率大小一致；

4)上述准则条件仅满足任意一条时，最优频率系数分配准则不成立；

5)上述准则条件满足任意两条时，最优频率系数分配准则不成立；

6)上述准则条件均满足时，最优频率系数分配准则成立；

其中准则条件1中的相关参数说明如下：B,C为高、低频率融合系数矩阵，{B,C|B,C＝[0,1,...,k-1],k∈N^*}，B,C的转置处理{B',C'|B',C'＝[0,1,...,k-1]^T,k∈N^*}，e为归一化操作因子，此处高低频H,L为无量纲参数，定义A∈(0,1)为无量纲的网络正则化因子，当准则成立时，计算得到频率分配系数α。

4.如权利要求1所述的构建高低频交织边缘特征增强网络的方法，其特征在于，经准则判定成立时，最优频率分配系数α取值范围是[0.5,0.8]。

5.由权利要求1-4任一项所述的构建高低频交织边缘特征增强网络的方法得到的高低频交织边缘特征增强网络。

6.一种适用于行人目标检测的高低频交织边缘特征增强方法，其特征在于，

第1步：根据最优频率分配准则，选取最优频率分配系数，构建高低频交织边缘特征增强网络；

第2步：将高低频交织边缘特征增强网络作为独立单元，按神经网络的嵌入规则，插入到用于行人目标检测的深度神经网络系统中并构建新型网络；

第3步：选取需要分类类别的数据集作为新型网络的训练集；

第4步：在进行训练前，设定适当的超参数；

第5步：新型网络构建完成并开始训练，得到训练模型；

第6步：使用训练模型用于行人目标检测。

7.如权利要求6所述的适用于行人目标检测的高低频交织边缘特征增强方法，其特征在于，所述第5步中还包括评价插入高低频交织边缘特征增强网络后的性能效果，评价方法是：

1)经过多轮训练，使用测试数据集测试训练好的模型；

2)得到平均精度均值并与原有网络结果进行对比；

3)若得到平均精度均值优于原网络结果，则插入网络性能提升；

4)若得到平均精度均值等于或低于原网络结果，则插入网络性能失效。

8.如权利要求6所述的适用于行人目标检测的高低频交织边缘特征增强方法，其特征在于，第4步中，超参数Learning_rate＝0.00025，Batch_size＝1，梯度下降方法为SGD，训练步数为80000。

Images