CN113553919B - 基于深度学习的目标频率特征表达方法、网络和图像分类方法 - Google Patents

Abstract

基于深度学习的目标频率特征表达方法、网络和图像分类方法，属于深度学习目标检测领域，为了解决通过调整频率信息来表达不同目标，增强图像的显著性特征，提升深度学习网络的检测性能的问题，要点是将图像空间域特征转换为频域特征，并分别提取其高、低频频率特征；将高、低频频率特征分别并独立地分离为延续上级频率属性并频率属性相同的两个下级分量频率特征，上级频率属性不同的两个下级分量频率特征融合为一个高频融合特征和一个低频融合特征；对于任一融合特征，独立地提取其高、低频频率特征，获取这一融合特征对应的一个高频融合特征和一个低频融合特征；效果是增强特征频率的显著性信息，输出融合的频域微分张量。

Description

基于深度学习的目标频率特征表达方法、网络和图像分类 方法

技术领域

本发明属于深度学习目标检测领域，具体的说是一种适用于天眼、先进驾驶辅助系统、智能机器人等在频率域中通过频率特征来表达目标的神经网络。

背景技术

目标检测技术是计算机视觉中一个重要的研究领域，基于深度学习的目标检测算法正致力于不断提高检测精度，在智能汽车、智能交通、视频监控、机器人与高级人机交互等领域中有着很广泛的应用前景。随着深度卷积神经网络的迅速发展，目标探测器的性能得到了显著的提高。然而，传统的卷积神经网络更多针对空间域进行处理关注像素的空间位置关系，对于目标细节信息表达不明显。而本专利的目标频率特征表达网络，不再关注于像素的空间关系，转而关注像素变化的振动频率，针对不同目标能够自动学习目标特定的频率信息，通过调整目标频率表达的显著性，增强特征细节纹理信息，提升网络性能。

现有的深度学习网络更多的是针对空间域信息进行特征提取，专利申请号为CN202010340219.1，名称为“一种基于Centernet的anchor-based目标检测方法”，在CenterNet目标检测算法的基础上，通过卷积神经网络提取特征，利用anchor回归图像中目标的大小，减少了anchor之间的互相干扰。仅提取到卷积网络空间域特征，未能针对频域特征进行有效处理。专利申请号为201811135170.5，名称为“一种多小波变换矢量图像融合方法”，利用多小波系数矢量的局部区域统计特征来表征图像信息的显著性，通过对图像进行小波分解，得到分解系数矢量，建立统计模型，根据融合系数进行多小波逆变换得到融合图像。仅通过小波变换处理频域特征，不具备空间特征的学习能力，强调对原有频率进行变换处理，忽略了对应的空间频率特征信息，检测精度仍有提升空间。

发明内容

为了解决通过调整频率信息来表达不同目标，增强图像的显著性特征，提升深度学习网络的检测性能的问题，本发明提出如下技术方案：

一种基于深度学习的目标频率特征表达方法，包括

S1.将图像空间域特征转换为频域特征，并分别提取其高、低频频率特征；

S2.将高、低频频率特征分别并独立地分离为延续上级频率属性并频率属性相同的两个下级分量频率特征，上级频率属性不同的两个下级分量频率特征融合为一个高频融合特征和一个低频融合特征；

S3.对于任一融合特征，独立地提取其高、低频频率特征，通过步骤S4获取这一融合特征对应的一个高频融合特征和一个低频融合特征；

S4.基于步骤S3获取各融合特征对应的一个高频融合特征和一个低频融合特征，得到一组高频融合特征、低频融合特征；

S5.将步骤S4获取的一组高频融合特征、低频融合特征中的任一融合特征作为步骤S3中的一个融合特征，并循环执行步骤S4～S5，直至达到设定循环结束的次数，将最后一次循环输出的一组高频融合特征、低频融合特征再进行特征融合取得特征融合张量。

作为技术方案的补充，

所述步骤S1，包括

第1步，x∈R^r×m×w为卷积层的输入特征张量，其中m和w表示空间维度，r表示通道数，R为实数集合，经过卷积W₁模块进行维度变换，调整特征图尺度，统一特征图尺度大小，设定频率分配系数α∈R⁺且α∈(0,1)，提取第1层的频率特征偏移分量x^H和频率特征偏移分量x^L，通过上标H、L区分频率信息，H代表高频，L代表低频，W的下标1、2、3、4分别代表第1、2、3、4层，构建过程为

作为技术方案的补充，

所述步骤S2，包括

第1步，将提取出的频率特征偏移分量先经过p池化操作再通过卷积W₂模块计算得到/>构建过程为

第2步，将提取出的频率特征分量经过卷积W₃模块计算得到频率特征分量/>再与分量/>进行融合，共同作用输出第3层融合的频率特征分量/>构建过程为

第3步，将提取的频率特征分量先经过卷积W₄模块计算在进行U上采样操作得到分量/>融合频率特征分量/>与频率特征分量/>的特征信息，构建过程为

第4步，将提取的频率特征分量经过卷积W₅模块计算得到频率特征分量/>再与分量/>融合，共同作用输出第3层融合的频率特征分量/>构建过程为

第5步，输出第3层融合得到的频率特征分量和频率特征分量/>

作为技术方案的补充，

所述步骤S3～S5，在设定循环结束的次数为3时，其包括如下步骤：

第1步，x∈R^r×m×w为卷积层的输入特征张量，D的下标1、2、3、4分别代表第1、2、3、4层，通过步骤S4，输出频率特征偏移分量频率特征偏移分量Y₃ ^L，第1层高低频特征分离与融合层的构建过程为

第2步，将第1层高低频特征分离与融合层输出的频率特征偏移分量频率特征偏移分量Y₃ ^L分别输入到第2层高低频特征分离与融合层D₂、D₃中进行特征分离与融合，设定频率分配系数α，输出第2层的频率特征分量/>构建过程为

第3步，将第2层高低频特征分离与融合层输出的频率特征分量和分别输入到第3层高低频特征分离与融合层D₄、D₅、D₆、D₇中进行特征分离与融合，设定频率分配系数α，输出第3层的频率特征分量/>构建过程为

第4步，将第3层高低频特征分离与融合层输出的频率特征分量设定相适应的频率融合系数，输入到第4层融合模块C₁中，输出第4层的特征融合张量/>构建过程为

a、b、c、d、e、g、h、k∈α取值范围[0,1]，其为频率融合系数，上标f代表频率间信息融合。

作为技术方案的补充，

准则条件1：频率分配系数公式

准则条件2：频率分配系数的取值代表低频分量偏移值；

准则条件3：输入与输出通道的对应频率大小一致；

准则条件4：每一层的频率分配系数α均可调；

准则条件5：频率融合系数a、b、c、d、e、g、h、k由第1-3层高低频特征分离与融合层中α的取值共同决定；

上述准则条件仅满足任意一条时，最优频率系数分配准则不成立；

上述准则条件满足任意两条时，最优频率系数分配准则不成立；

上述准则条件均满足时，最优频率系数分配准则成立。

作为技术方案的补充，

准则条件1中的相关参数说明如下：

B,C为高、低频率融合系数矩阵，{B,C|B,C＝[0,1,...,k-1],k∈N^*}，B,C的转置处理{B′,C′|B′,C′＝[0,1,...,k-1]^T,k∈N^*}，e为归一化操作因子，此处高低频H,L为无量纲参数，定义A∈(0,1)为无量纲的网络正则化因子，当准则成立时，计算得到频率分配系数α。

作为技术方案的补充，

最优频率分配系数α取值范围是[0.2,0.8]，最优融合系数a＝0,b＝0,c＝0,d＝0,e＝0,g＝1,h＝0,k＝0。

作为技术方案的补充，

准则条件1：高低频特征分离与融合层输入为单一的特征张量，输出两路高低频特征分量；

准则条件2：第i层输出的融合特征张量为

准则条件3：i取值为4、8，卷积神经网络为4、8层时，检测性能效果提升显著；

准则条件4：输入与输出通道的对应频率大小一致；

其中准则条件2中的相关参数说明如下：i、j∈Z⁺。a、b…n∈α为频率融合系数，取值范围[0,1]，上标f代表频率间信息融合。

一种基于深度学习的目标频率特征表达网络，包括

特征转换与提取层：将图像空间域特征转换为频域特征，并分别提取其高、低频频率特征；

特征分离与融合层：将高、低频频率特征分别并独立地分离为延续上级频率属性并频率属性相同的两个下级分量频率特征，上级频率属性不同的两个下级分量频率特征融合为一个高频融合特征和一个低频融合特征；

安排层：对于任一融合特征，独立地提取其高、低频频率特征，通过特征分离与融合层获取这一融合特征对应的一个高频融合特征和一个低频融合特征；

组合层：基于特征分离与融合层获取各融合特征对应的一个高频融合特征和一个低频融合特征，得到一组高频融合特征、低频融合特征；

循环融合层：将组合层取的一组高频融合特征、低频融合特征中的任一融合特征作为特征分离与融合层的一个融合特征，并由安排层、组合层、循环融合层循环执行，直至达到设定循环结束的次数，将最后一次循环输出的一组高频融合特征、低频融合特征再进行特征融合取得特征融合张量。

一种基于深度学习的方法，

S1.输入图像信息；

S2.对输入图像信息提取图像的空间域特征，将图像的空间域特征向权利要求9中所述的基于深度学习的目标频率特征表达网络中获取特征融合张量；

S3.响应于特征融合张量，将图像进行分类框定处理，输出基于深度学习的目标频率特征。

一种计算机系统，包括处理器以及存储器，述处理器执行所述存储器中的代码以实现任一项所述的方法。

一种计算机存储介质，存储有计算机程序，所述计算机程序被硬件执行以实现任一项所述的方法。

有益效果：本发明是一种适用于深度学习目标检测领域的频率特征表达网络，将空间域特征转换为频域特征，将频率特征微分成多个频率区间，从而获得更精细的特征频率信息，根据特征频率震动的特殊性调节频率分配系数，通过调整频率信息来表达不同目标，增强图像的显著性特征，提升深度学习网络的检测性能。本方法提供一种通过频率特征来表达目标的网络，广泛应用于目标检测算法中，能够更好地替换原始算法中的主干网络，在目标检测领域提供一种精度更高效率更快的目标检测算法。

附图说明

图1是目标频率特征表达网络流程图。

图2是频域转换方法结构图。

图3是频域微分方法结构图。

图4特征增强可视化对比图。

图5交通道路中行人和车辆的测试结果改进图，(a)是原网络测试结果，(b)是本发明测试结果。

图6人群密集道路中行人和车辆的测试结果改进图，(a)是原网络测试结果，(b)是本发明测试结果。

图7空旷道路中行人测试结果改进图，(a)是原网络测试结果，(b)是本发明测试结果。

图8是热力对比图，(a)是原图，(b)是高频热力图，(c)是低频热力图。

具体实施方式

接下来结合附图和具体分类过程来对本发明做进一步的描述。

本发明作用于现有的深度学习目标检测算法，提出一种深度学习目标频率特征表达网络，采用类似于完全二叉树的树状结构，首先构建高低频特征分离与融合层，通过循环复用高低频特征分离与融合层，针对频域信息进行不断微分，构建频域微分方法。网络输入空间域卷积特征，在不改变卷积形式的条件下，将空间域特征转换为频域特征，在频域上对输入特征进行不断微分，实现特征频谱迁移，调节频率分配系数剔除特征冗余信息，增强特征频率的显著性信息，输出融合的频域微分张量。

本发明技术名词约定如下

频率：是指描述图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。等效于频率特征、频率信息。

频域：是指描述频率信息变化和频率幅度变化的关系。等效于频域特征、频域信息。

高频频率：是指图像灰度变换剧烈的地方，形成图像边缘和细节。等效于高频频率信息、高频特征分量。

低频频率：是指图像灰度变换平缓的地方，形成图像基本灰度等级。等效于低频频率信息、低频特征分量。

本发明具体技术方案如下

(1)频域转换方法

该网络首先提出一种特征高低频特征分离与融合层，将空间域特征转换为频域特征，通过在频域上处理特征从而处理不同频率的特征。根据图2高低频特征分离与融合层结构图，高低频特征分离与融合层具体方法如下：

第1步，x∈R^r×m×w为卷积层的输入特征张量，其中m和w表示空间维度，r表示通道数，R为实数集合。经过卷积W₁模块进行维度变换，调整特征图尺度，统一特征图尺度大小，设定频率分配系数α∈R⁺且α∈(0,1)，提取第1层的频率特征偏移分量x^H和频率特征偏移分量x^L，通过上标H、L区分频率信息，H代表高频，L代表低频。下标1、2、3、4分别代表第1、2、3、4层，构建过程为

第2步，将提取出的频率特征偏移分量先经过p池化操作再通过卷积W₂模块计算得到/>构建过程为

第3步，将提取出的频率特征分量经过卷积W₃模块计算得到频率特征分量/>再与分量/>进行融合，共同作用输出第3层融合的频率特征分量/>构建过程为

第4步，将提取的频率特征分量先经过卷积W₄模块计算在进行U上采样操作得到分量/>融合频率特征分量/>与频率特征分量/>的特征信息，构建过程为

第5步，将提取的频率特征分量经过卷积W₅模块计算得到频率特征分量/>再与分量/>融合，共同作用输出第3层融合的频率特征分量/>构建过程为

第6步，输出第3层融合得到的频率特征分量和频率特征分量/>其中卷积W₁、W₂、W₃、W₄、W₅可选用1×1大小的通用卷积器，上标f代表频率间信息融合，p代表池化操作，U代表上采样操作。通过分别提取频率特征信息，输出不同频率特征分量。

(2)频域微分方法

本方法通过循环复用高低频特征分离与融合层，针对频域信息进行不断微分，获取更精细的特征频率信息。频域微分计算过程如下。

1)x为输入特征张量，在高低频特征分离与融合层D中设定频率分配系数α，输出频率特征偏移分量Y^H，频率特征偏移分量Y^L。

D(x)＝Y^H+Y^L (9)

2)Y^H为输入频率特征偏移分量，在高低频特征分离与融合层D中设定频率分配系数α，输出频率特征分量Y^HH、频率特征分量Y^HL。

D(Y^H)＝Y^HH+Y^HL (10)

3)Y^L为输入频率特征分量，在高低频特征分离与融合层D中设定频率分配系数α，输出频率特征分量Y^LH、频率特征分量Y^LL。

D(Y^L)＝Y^LH+Y^LL (11)

根据图2高低频特征分离与融合层结构及频域微分计算过程，频域微分变换方法的具体步骤如下。

第1步，x为输入特征张量，在第1层高低频特征分离与融合层D₁中，设定频率分配系数α，经过频域微分处理，通过上标H、L区分频率信息，H代表高频，L代表低频，下标1、2、3、4分别代表第1、2、3、4层。输出频率特征偏移分量频率特征偏移分量Y₃ ^L，构建过程为

第2步，将第1层输出的频率特征偏移分量频率特征偏移分量Y₃ ^L分别输入到第2层高低频特征分离与融合层D₂、D₃中进行频域微分处理，设定频率分配系数α，输出第2层的频率特征分量/>构建过程为

第3步，将第2层输出的频率特征分量和/>分别输入到第3层高低频特征分离与融合层D₄、D₅、D₆、D₇中进行频域微分处理，设定频率分配系数α，输出第3层的频率特征分量/>构建过程为

第4步，将第3层输出的频率特征分量设定相适应的频率融合系数，输入到第4层融合模块C₁中，输出第4层的特征融合张量/>构建过程为

其中卷积C₁可选用3×3大小的通用卷积器，a、b、c、d、e、g、h、k∈α取值范围[0,1]为频率融合系数，上标f代表频率间信息融合。

在上述方案中，将频率特征进行操作后分量，然后选择不同的组合进行融合操作，其目的是自然图像由不同的频率信息组成，每个频带包含不同复杂性的结构和纹理。特征的频率表达形式，能够将传统的空间RGB特征转换为频率振动的关系特征。因此，观察特征的频率信息能够解决传统空间域特征处理的局限性。将图像进行频率处理，低频分量代表整体，高频分量代表细节。不同结果包含的高低频比值关系不同，随着网络不断训练，在图像中低频分量所占的比重远远大于高频分量，存在大量冗余信息，在编码过程中可以节省。因此，将得到的高低频分量进行最优组合，输出融合更多高频的特征信息，能够对特征信息进行有效过滤，提升网络性能。请参见图8通过对比高低频热力图能够清晰看出，高频信息特征边缘细节明显，低频信息存在冗余的内部信息。

在上述方案中，本发明对于微分过程中反复进行分离对于图像处理，在微分过程中，特征经过频率分离，能够有效地处理相应频率张量中的高频和低频分量，通过频率融合，使高频分量和低频分量之间能够有效地通信，实现高低频分量间的信息交互，因此在分离冗余信息的同时保留特征的有效信息。将频率特征不断进行分离，能够在保持特征完整的同时，得到多种频率融合结果，通过输出不同组合的融合结果，针对性的增强图像中的特征信息，利于更好的检测目标。

将频率特征进行分离，能够得到多种频率融合结果，通过分配系数改变原始频率中高低频的比例，分解成具有显著差异的频率关系，针对不同目标场景，增强特征的特定频率区域，提高目标检测效率。

频率微分能够得到多种频率分量，由频率融合系数将得到的频率分量选择性的输出，能够去除冗余信息，进一步保留最优的频率特征。

针对小目标检测，由于特征尺寸过小，内部信息表达不完全，因此应适当提升图像中低频分量所占比重，增强内部整体信息。在此条件下，最优分配系数组合为，第一层α＝0.5，第二层α＝0.7，第三层α＝0.7，融合系数a＝0、b＝0、c＝0.5、d＝0.5、e＝0、g＝1、h＝0.5、k＝0.5。

针对重叠目标检测，由于目标重叠易缺失边缘轮廓信息，导致重叠目标检测失效、漏检、误检等问题，因此应提升图像中高频分量所占比重同时降低低频分量所占比重，增强边缘细节信息。在此条件下，最优分配系数组合为，第一层α＝0.5，第二层α＝0.3，第三层α＝0.3，融合系数为a＝0.5、b＝0.5、c＝0、d＝0、e＝0.5、g＝1、h＝0、k＝0。

针对模糊目标检测，由于目标模糊缺失边缘轮廓特征，同时内部整体信息表达不完全，因此应提升图像中高频分量所占比重，增强目标轮廓信息。在此条件下，最优分配系数组合为，第一层α＝0.5，第二层α＝0.8，第三层α＝0.8，融合系数为a＝0、b＝0.5、c＝0.5、d＝0、e＝0、g＝1、h＝0.5、k＝0。

其中，AP代表平均精确率,它是在10个不同的IoU阈值(0.5/0.05/0.95)和所有类别上计算的，被认为是MSCOCO数据集上最重要的指标。AR表示召回率，它是在每幅图像的固定数量(即1，10和100)的检测上计算的，并在所有类别和10个不同的IoU阈值上进行平均。此外，AP和AR可用于评估不同目标比例下的性能，包括小目标(面积<32²)、中等目标(32²<面积<96²)和大目标(面积>96²)。本方法检测平均精确率为40.2％，相比原始方法平均精确率提升1.1％。针对小目标、中等目标、大目标，检测精度均有提升。

(3)频率系数设定准则

准则条件1：频率分配系数公式

准则条件2：频率分配系数的取值代表低频分量偏移值；

准则条件3：输入与输出通道的对应频率大小一致；

准则条件4：每一层的频率分配系数α均可调；

准则条件5：频率融合系数a、b、c、d、e、g、h、k由第1-3层高低频特征分离与融合层中α的取值共同决定；

上述准则条件仅满足任意一条时，最优频率系数分配准则不成立；

上述准则条件满足任意两条时，最优频率系数分配准则不成立；

上述准则条件均满足时，最优频率系数分配准则成立。

其中准则条件1中的相关参数说明如下：B,C为高、低频率融合系数矩阵，{B,C|B,C＝[0,1,...,k-1],k∈N*}，B,C的转置处理{B′,C′|B′,C′＝[0,1,...,k-1]^T,k∈N^*}，e为归一化操作因子，此处高低频H,L为无量纲参数，定义A∈(0,1)为无量纲的网络正则化因子，当准则成立时，计算得到频率分配系数α。

经准则判定成立时，最优频率分配系数α取值范围是[0.2,0.8]，最优融合系数a＝0,b＝0,c＝0,d＝0,e＝0,f＝1,g＝0,h＝0在此系数条件下可以融合输出目标最适应的频率信息，显著增强目标细节信息，提高边缘轮廓特征的表达能力，有效提高检测精度。

(4)频域微分准则

1)准则条件1：高低频特征分离与融合层能够循环复用，输入为单一的特征张量，输出两路高低频特征分量；

2)准则条件2：第i层输出的融合特征张量为

3)准则条件3：i取值为4、8，卷积神经网络为4、8层时，检测性能效果提升显著；

4)准则条件4：输入与输出通道的对应频率大小一致；

其中准则条件2中的相关参数说明如下：i、j为Z⁺且n∈[0,+∞]，a、b…n∈α为频率融合系数，取值范围[0,1]，上标f代表频率间信息融合。在此范围内网络可以融合输出相适应的高低频特征信息，增强目标细节信息，提高边缘轮廓特征的表达能力，有效提高检测精度。

(5)频率特征表达网络应用规则

本发明是作用于深度学习领域的目标频率特征表达网络，能够替换任何深度学习系统的主干网络，对于深度神经网络的系统嵌入要求，列出如下规则：

1)该网络适用于深度学习目标检测算法，能够替换原始算法的主干网络，对输入到网络的特征进行增强处理；

2)方法将空间域特征转换为频域特征后，在频域中处理特征，再将特征输入到分类层。

8通过以上技术方案，一种适用于深度学习的目标频率特征表达网络的有益效果是：

(1)本方法作为一种新型的深度学习目标频率特征表达网络，可独立应用于目标检测算法实现检测分类。

(2)本方法作用于卷积神经网络不改变卷积形式，能够按需替换深度学习系统的主干网络，替换方式简单且不破坏原有结构，在不过度增加原有系统计算量的前提下，可以提高特征提取效率。

(3)本方法是深度学习的频域特征处理方法，与传统空间域特征处理方法相比，能够更好地表达和利用图像的细节纹理信息，具有极强的泛化能力，显著提升检测效果。

(4)在车载高级驾驶辅助系统(ADAS)中，本方法可以有效提升对行人目标的检测能力，为辅助驾驶的决策系统提供更多的有效数据，增强检测效果。

(5)在无人机和天眼系统的行人目标检测中，本方法能够突出对远距离微小行人目标的轮廓信息，从而提高行人目标检测效率。

(6)本方法适用于背景环境复杂的场景，能够有效检测到行人目标主体的边缘轮廓特征，增强目标的细节信息，提升检测精度，改善检测效果。

深度学习目标频率特征表达网络，它的方法结构图如图3所示，该方法的具体实施步骤如下：

第1步：按照频域转换规则，构建高低频特征分离与融合层；

第2步：循环复用高低频特征分离与融合层，按照频域微分准则，采用频域微分变换方法构建目标频率特征表达网络；

第3步：将目标频率特征表达网络，按任意目标检测算法的应用规则，进行目标检测；

第4步：选取需要分类类别的数据集作为新型网络的训练集；

第5步：在进行训练前，设定适当的超参数，这里给出相应的训练超参数；

Learning_rate＝0.00005，Batch_size＝28，梯度下降方法为SGD，训练步数为150000；

第6步：系统构建完成并开始训练，得到训练模型；

第7步：评价系统使用目标频率特征表达方法后的性能效果。系统判定过程如下：

1)经过多轮训练，使用测试数据集测试训练好的模型；

2)得到平均精度均值并与原网络结果进行对比；

3)若得到平均精度均值优于原网络结果，则本网络性能提升；

4)若得到平均精度均值等于或低于原网络结果，则本网络性能失效。

一种计算机系统，包括处理器以及存储器，述处理器执行所述存储器中的代码以实现任一项所述的方法。

一种计算机存储介质，存储有计算机程序，所述计算机程序被硬件执行以实现任一项所述的方法。

实施例1：

目标检测算法应用

图4为本方法的特征增强可视化对比图，深度学习目标频率特征表达网络可独立应用于目标检测算法，通过对频域特征进行处理，增强目标边缘轮廓信息，输出适当的特征细节信息，为热图提供良好的预处理。提升对小目标的检测，进一步提高目标检测精度。

实施例2：

在交通道路中的车辆行人识别情况

本实例基于实例1，针对道路交通中的车辆和行人可以有效地进行分类,选取在道路交通中车辆和行人的作为目标进行检测，在图5中给出使用目标频率特征表达网络前后算法的检测结果。在将来的智能交通的建设中，行人和车辆的目标检测一定是作为最重要的部分，而在测试的结果中可以看到行人和车辆被有效地进行区分，目标频率特征表达网络可以应用在交通道路中的车辆行人识别。

实施例3：

在人群密集道路中的车辆行人识别情况

本实例基于实例1，针对人群密集道路中的车辆和行人可以有效进行分类，选取道路中车辆和行人作为目标进行检测，在图6中给出采用深度学习目标频率特征表达网络前后算法的检测结果。在密集人群中，该方法能够有效检测出远处的小目标，有效区分行人和车辆，正确检测出场景的所有目标。

实施例4：

在空旷道路中的车辆行人识别情况

本实例基于实例1，针对空旷道路中的行人目标可有效进行分类，在空旷道路中，行人目标较少且远处目标尺寸过小，该方法能够有效检测出空旷场景下的小目标，改善检测过程中的漏检现象，在场景中出现的目标均能够被有效检测到。

Claims (4)

1.一种基于深度学习的目标频率特征表达方法，其特征在于，

包括

S1.将图像空间域特征转换为频域特征，并分别提取其高、低频频率特征；

S2.将高、低频频率特征分别并独立地分离为延续上级频率属性并频率属性相同的两个下级分量频率特征，上级频率属性不同的两个下级分量频率特征融合为一个高频融合特征和一个低频融合特征；

S3.对于任一融合特征，独立地提取其高、低频频率特征，通过步骤S4获取这一融合特征对应的一个高频融合特征和一个低频融合特征；

S4.基于步骤S3获取各融合特征对应的一个高频融合特征和一个低频融合特征，得到一组高频融合特征、低频融合特征；

S5.将步骤S4获取的一组高频融合特征、低频融合特征中的任一融合特征作为步骤S3中的一个融合特征，并循环执行步骤S4～S5，直至达到设定循环结束的次数，将最后一次循环输出的一组高频融合特征、低频融合特征再进行特征融合取得特征融合张量；

所述步骤S1，包括

第1步，x∈R^r×m×w为卷积层的输入特征张量，其中m和w表示空间维度，r表示通道数，R为实数集合，经过卷积W₁模块进行维度变换，调整特征图尺度，统一特征图尺度大小，设定频率分配系数α∈R⁺且α∈(0,1)，提取第1层的频率特征偏移分量x^H和频率特征偏移分量x^L，通过上标H、L区分频率信息，H代表高频，L代表低频，W的下标1、2、3、4分别代表第1、2、3、4层，构建过程为

所述步骤S2，包括

第1步，将提取出的频率特征偏移分量先经过p池化操作再通过卷积W₂模块计算得到/>构建过程为

第2步，将提取出的频率特征分量经过卷积W₃模块计算得到频率特征分量/>再与分量/>进行融合，共同作用输出第3层融合的频率特征分量/>构建过程为

第3步，将提取的频率特征分量先经过卷积W₄模块计算在进行U上采样操作得到分量融合频率特征分量/>与频率特征分量/>的特征信息，构建过程为

第4步，将提取的频率特征分量经过卷积W₅模块计算得到频率特征分量/>再与分量融合，共同作用输出第3层融合的频率特征分量/>构建过程为

第5步，输出第3层融合得到的频率特征分量和频率特征分量/>

所述步骤S3～S5，在设定循环结束的次数为3时，其包括如下步骤：

第1步，x∈R^r×m×w为卷积层的输入特征张量，D的下标1、2、3、4分别代表第1、2、3、4层，通过步骤S4，输出频率特征偏移分量频率特征偏移分量/>第1层高低频特征分离与融合层的构建过程为

第2步，将第1层高低频特征分离与融合层输出的频率特征偏移分量频率特征偏移分量/>分别输入到第2层高低频特征分离与融合层D₂、D₃中进行特征分离与融合，设定频率分配系数α，输出第2层的频率特征分量/>构建过程为

第3步，将第2层高低频特征分离与融合层输出的频率特征分量和/>分别输入到第3层高低频特征分离与融合层D₄、D₅、D₆、D₇中进行特征分离与融合，设定频率分配系数α，输出第3层的频率特征分量/>构建过程为

第4步，将第3层高低频特征分离与融合层输出的频率特征分量设定相适应的频率融合系数，输入到第4层融合模块C₁中，输出第4层的特征融合张量/>构建过程为

a、b、c、d、e、g、h、k∈α取值范围[0,1]，其为频率融合系数，上标f代表频率间信息融合；

1)准则条件1：频率分配系数公式

2)准则条件2：频率分配系数的取值代表低频分量偏移值；

3)准则条件3：输入与输出通道的对应频率大小一致；

4)准则条件4：每一层的频率分配系数α均可调；

5)准则条件5：频率融合系数a、b、c、d、e、g、h、k由第1-3层高低频特征分离与融合层中α的取值共同决定；

6)上述准则条件仅满足任意一条时，最优频率系数分配准则不成立；

7)上述准则条件满足任意两条时，最优频率系数分配准则不成立；

8)上述准则条件均满足时，最优频率系数分配准则成立；

准则条件1中的相关参数说明如下：

B,C为高、低频率融合系数矩阵，{B,C|B,C＝[0,1,...,k-1],k∈N^*}，B,C的转置处理{B′,C′|B′,C′＝[0,1,...,k-1]^T,k∈N^*}，e为归一化操作因子，此处高低频H,L为无量纲参数，定义A∈(0,1)为无量纲的网络正则化因子，当准则成立时，计算得到频率分配系数α；

最优频率分配系数α取值范围是[0.2,0.8]，最优融合系数a＝0,b＝0,c＝0,d＝0,e＝0,g＝1,h＝0,k＝0。

2.一种基于深度学习的目标频率特征表达方法，其特征在于，

包括

S1.将图像空间域特征转换为频域特征，并分别提取其高、低频频率特征；

S2.将高、低频频率特征分别并独立地分离为延续上级频率属性并频率属性相同的两个下级分量频率特征，上级频率属性不同的两个下级分量频率特征融合为一个高频融合特征和一个低频融合特征；

S3.对于任一融合特征，独立地提取其高、低频频率特征，通过步骤S4获取这一融合特征对应的一个高频融合特征和一个低频融合特征；

S4.基于步骤S3获取各融合特征对应的一个高频融合特征和一个低频融合特征，得到一组高频融合特征、低频融合特征；

S5.将步骤S4获取的一组高频融合特征、低频融合特征中的任一融合特征作为步骤S3中的一个融合特征，并循环执行步骤S4～S5，直至达到设定循环结束的次数，将最后一次循环输出的一组高频融合特征、低频融合特征再进行特征融合取得特征融合张量；

所述步骤S1，包括

第1步，x∈R^r×m×w为卷积层的输入特征张量，其中m和w表示空间维度，r表示通道数，R为实数集合，经过卷积W₁模块进行维度变换，调整特征图尺度，统一特征图尺度大小，设定频率分配系数α∈R⁺且α∈(0,1)，提取第1层的频率特征偏移分量x^H和频率特征偏移分量x^L，通过上标H、L区分频率信息，H代表高频，L代表低频，W的下标1、2、3、4分别代表第1、2、3、4层，构建过程为

所述步骤S2，包括

第1步，将提取出的频率特征偏移分量先经过p池化操作再通过卷积W₂模块计算得到/>构建过程为

第2步，将提取出的频率特征分量经过卷积W₃模块计算得到频率特征分量/>再与分量/>进行融合，共同作用输出第3层融合的频率特征分量/>构建过程为

第3步，将提取的频率特征分量先经过卷积W₄模块计算在进行U上采样操作得到分量融合频率特征分量/>与频率特征分量/>的特征信息，构建过程为

第4步，将提取的频率特征分量经过卷积W₅模块计算得到频率特征分量/>再与分量融合，共同作用输出第3层融合的频率特征分量/>构建过程为

第5步，输出第3层融合得到的频率特征分量和频率特征分量/>

所述步骤S3～S5，在设定循环结束的次数为3时，其包括如下步骤：

第1步，x∈R^r×m×w为卷积层的输入特征张量，D的下标1、2、3、4分别代表第1、2、3、4层，通过步骤S4，输出频率特征偏移分量频率特征偏移分量/>第1层高低频特征分离与融合层的构建过程为

第2步，将第1层高低频特征分离与融合层输出的频率特征偏移分量频率特征偏移分量/>分别输入到第2层高低频特征分离与融合层D₂、D₃中进行特征分离与融合，设定频率分配系数α，输出第2层的频率特征分量/>构建过程为

第3步，将第2层高低频特征分离与融合层输出的频率特征分量和/>分别输入到第3层高低频特征分离与融合层D₄、D₅、D₆、D₇中进行特征分离与融合，设定频率分配系数α，输出第3层的频率特征分量/>构建过程为

第4步，将第3层高低频特征分离与融合层输出的频率特征分量设定相适应的频率融合系数，输入到第4层融合模块C₁中，输出第4层的特征融合张量/>构建过程为

a、b、c、d、e、g、h、k∈α取值范围[0,1]，其为频率融合系数，上标f代表频率间信息融合；

准则条件1：高低频特征分离与融合层输入为单一的特征张量，输出两路高低频特征分量；

准则条件2：第i层输出的融合特征张量为

准则条件3：i取值为4、8，卷积神经网络为4、8层时，检测性能效果提升显著；

准则条件4：输入与输出通道的对应频率大小一致；

其中准则条件2中的相关参数说明如下：i、j∈Z⁺a、b…n∈α为频率融合系数，取值范围[0,1]，上标f代表频率间信息融合。

3.一种基于深度学习的目标频率特征表达网络系统，实现权利要求1或2所述的基于深度学习的目标频率特征表达方法，其特征在于，包括

特征转换与提取层：将图像空间域特征转换为频域特征，并分别提取其高、低频频率特征；

特征分离与融合层：将高、低频频率特征分别并独立地分离为延续上级频率属性并频率属性相同的两个下级分量频率特征，上级频率属性不同的两个下级分量频率特征融合为一个高频融合特征和一个低频融合特征；

安排层：对于任一融合特征，独立地提取其高、低频频率特征，通过特征分离与融合层获取这一融合特征对应的一个高频融合特征和一个低频融合特征；

组合层：基于特征分离与融合层获取各融合特征对应的一个高频融合特征和一个低频融合特征，得到一组高频融合特征、低频融合特征；

循环融合层：将组合层取的一组高频融合特征、低频融合特征中的任一融合特征作为特征分离与融合层的一个融合特征，并由安排层、组合层、循环融合层循环执行，直至达到设定循环结束的次数，将最后一次循环输出的一组高频融合特征、低频融合特征再进行特征融合取得特征融合张量。

4.一种基于深度学习图像分类方法，其特征在于，

S1.输入图像信息；

S2.对输入图像信息提取图像的空间域特征，将图像的空间域特征向权利要求3中所述的基于深度学习的目标频率特征表达网络系统中获取特征融合张量；

S3.响应于特征融合张量，将图像进行分类框定处理，输出基于深度学习的目标频率特征。