CN113553919A - 基于深度学习的目标频率特征表达方法、网络和图像分类方法 - Google Patents

基于深度学习的目标频率特征表达方法、网络和图像分类方法 Download PDF

Info

Publication number
CN113553919A
CN113553919A CN202110746900.0A CN202110746900A CN113553919A CN 113553919 A CN113553919 A CN 113553919A CN 202110746900 A CN202110746900 A CN 202110746900A CN 113553919 A CN113553919 A CN 113553919A
Authority
CN
China
Prior art keywords
frequency
fusion
feature
layer
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110746900.0A
Other languages
English (en)
Other versions
CN113553919B (zh
Inventor
杨大伟
李雪萌
毛琳
张汝波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Minzu University
Original Assignee
Dalian Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Minzu University filed Critical Dalian Minzu University
Priority to CN202110746900.0A priority Critical patent/CN113553919B/zh
Publication of CN113553919A publication Critical patent/CN113553919A/zh
Application granted granted Critical
Publication of CN113553919B publication Critical patent/CN113553919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

基于深度学习的目标频率特征表达方法、网络和图像分类方法，属于深度学习目标检测领域，为了解决通过调整频率信息来表达不同目标，增强图像的显著性特征，提升深度学习网络的检测性能的问题，要点是将图像空间域特征转换为频域特征，并分别提取其高、低频频率特征；将高、低频频率特征分别并独立地分离为延续上级频率属性并频率属性相同的两个下级分量频率特征，上级频率属性不同的两个下级分量频率特征融合为一个高频融合特征和一个低频融合特征；对于任一融合特征，独立地提取其高、低频频率特征，获取这一融合特征对应的一个高频融合特征和一个低频融合特征；效果是增强特征频率的显著性信息，输出融合的频域微分张量。

Description

基于深度学习的目标频率特征表达方法、网络和图像分类 方法
技术领域
本发明属于深度学习目标检测领域，具体的说是一种适用于天眼、先进驾驶辅助系统、 智能机器人等在频率域中通过频率特征来表达目标的神经网络。
背景技术
目标检测技术是计算机视觉中一个重要的研究领域，基于深度学习的目标检测算法正致 力于不断提高检测精度，在智能汽车、智能交通、视频监控、机器人与高级人机交互等领域 中有着很广泛的应用前景。随着深度卷积神经网络的迅速发展，目标探测器的性能得到了显 著的提高。然而，传统的卷积神经网络更多针对空间域进行处理关注像素的空间位置关系， 对于目标细节信息表达不明显。而本专利的目标频率特征表达网络，不再关注于像素的空间 关系，转而关注像素变化的振动频率，针对不同目标能够自动学习目标特定的频率信息，通 过调整目标频率表达的显著性，增强特征细节纹理信息，提升网络性能。
现有的深度学习网络更多的是针对空间域信息进行特征提取，专利申请号为CN202010340219.1，名称为“一种基于Centernet的anchor-based目标检测方法”，在CenterNet 目标检测算法的基础上，通过卷积神经网络提取特征，利用anchor回归图像中目标的大小， 减少了anchor之间的互相干扰。仅提取到卷积网络空间域特征，未能针对频域特征进行有效 处理。专利申请号为201811135170.5，名称为“一种多小波变换矢量图像融合方法”，利用多 小波系数矢量的局部区域统计特征来表征图像信息的显著性，通过对图像进行小波分解，得 到分解系数矢量，建立统计模型，根据融合系数进行多小波逆变换得到融合图像。仅通过小 波变换处理频域特征，不具备空间特征的学习能力，强调对原有频率进行变换处理，忽略了 对应的空间频率特征信息，检测精度仍有提升空间。
发明内容
为了解决通过调整频率信息来表达不同目标，增强图像的显著性特征，提升深度学习网 络的检测性能的问题，本发明提出如下技术方案：
一种基于深度学习的目标频率特征表达方法，包括
S1.将图像空间域特征转换为频域特征，并分别提取其高、低频频率特征；
S2.将高、低频频率特征分别并独立地分离为延续上级频率属性并频率属性相同的两个下 级分量频率特征，上级频率属性不同的两个下级分量频率特征融合为一个高频融合特征和一 个低频融合特征；
S3.对于任一融合特征，独立地提取其高、低频频率特征，通过步骤S4获取这一融合特 征对应的一个高频融合特征和一个低频融合特征；
S4.基于步骤S3获取各融合特征对应的一个高频融合特征和一个低频融合特征，得到一 组高频融合特征、低频融合特征；
S5.将步骤S4获取的一组高频融合特征、低频融合特征中的任一融合特征作为步骤S3中 的一个融合特征，并循环执行步骤S4～S5，直至达到设定循环结束的次数，将最后一次循环 输出的一组高频融合特征、低频融合特征再进行特征融合取得特征融合张量。
作为技术方案的补充，
所述步骤S1，包括
第1步，x∈Rr×m×w为卷积层的输入特征张量，其中m和w表示空间维度，r表示通道数， R为实数集合，经过卷积W1模块进行维度变换，调整特征图尺度，统一特征图尺度大小，设 定频率分配系数α∈R+且α∈(0,1)，提取第1层的频率特征偏移分量xH和频率特征偏移分量 xL，通过上标H、L区分频率信息，H代表高频，L代表低频，W的下标1、2、3、4分别代 表第1、2、3、4层，构建过程为
Figure BDA0003143287200000021
Figure BDA0003143287200000022
作为技术方案的补充，
所述步骤S2，包括
第1步，将提取出的频率特征偏移分量
Figure BDA0003143287200000023
先经过p池化操作再通过卷积W2模块计算 得到
Figure BDA0003143287200000024
构建过程为
Figure BDA0003143287200000025
第2步，将提取出的频率特征分量
Figure BDA0003143287200000026
经过卷积W3模块计算得到频率特征分量
Figure BDA0003143287200000027
再与 分量
Figure BDA0003143287200000028
进行融合，共同作用输出第3层融合的频率特征分量
Figure BDA0003143287200000029
构建过程为
Figure BDA00031432872000000210
Figure BDA00031432872000000211
第3步，将提取的频率特征分量
Figure BDA00031432872000000212
先经过卷积W4模块计算在进行U上采样操作得到分 量
Figure BDA0003143287200000031
融合频率特征分量
Figure BDA0003143287200000032
与频率特征分量
Figure BDA0003143287200000033
的特征信息，构建过程为
Figure BDA0003143287200000034
第4步，将提取的频率特征分量
Figure BDA0003143287200000035
经过卷积W5模块计算得到频率特征分量
Figure BDA0003143287200000036
再与分 量
Figure BDA0003143287200000037
融合，共同作用输出第3层融合的频率特征分量
Figure BDA0003143287200000038
构建过程为
Figure BDA0003143287200000039
Figure BDA00031432872000000310
第5步，输出第3层融合得到的频率特征分量
Figure BDA00031432872000000311
和频率特征分量
Figure BDA00031432872000000312
作为技术方案的补充，
所述步骤S3～S5，在设定循环结束的次数为3时，其包括如下步骤：
第1步，x∈Rr×m×w为卷积层的输入特征张量，D的下标1、2、3、4分别代表第1、2、3、 4层，通过步骤S4，输出频率特征偏移分量
Figure BDA00031432872000000313
频率特征偏移分量
Figure BDA00031432872000000314
第1层高低频特 征分离与融合层的构建过程为
Figure BDA00031432872000000315
第2步，将第1层高低频特征分离与融合层输出的频率特征偏移分量
Figure BDA00031432872000000316
频率特征偏 移分量
Figure BDA00031432872000000317
分别输入到第2层高低频特征分离与融合层D2、D3中进行特征分离与融合，设定 频率分配系数α，输出第2层的频率特征分量
Figure BDA00031432872000000318
构建过程为
Figure BDA00031432872000000319
Figure BDA00031432872000000320
第3步，将第2层高低频特征分离与融合层输出的频率特征分量
Figure BDA00031432872000000321
和
Figure BDA00031432872000000322
分 别输入到第3层高低频特征分离与融合层D4、D5、D6、D7中进行特征分离与融合，设定频 率分配系数α，输出第3层的频率特征分量
Figure BDA00031432872000000323
构 建过程为
Figure BDA00031432872000000324
Figure BDA00031432872000000325
Figure BDA00031432872000000326
Figure BDA0003143287200000041
第4步，将第3层高低频特征分离与融合层输出的频率特征分量
Figure BDA0003143287200000042
设定相适应的频率融合系数，输入到第4层融合 模块C1中，输出第4层的特征融合张量
Figure BDA0003143287200000043
构建过程为
Figure BDA0003143287200000044
a、b、c、d、e、g、h、k∈α取值范围[0,1]，其为频率融合系数，上标f代表频率间信息融合。
作为技术方案的补充，
准则条件1：频率分配系数公式
Figure BDA0003143287200000045
准则条件2：频率分配系数的取值代表低频分量偏移值；
准则条件3：输入与输出通道的对应频率大小一致；
准则条件4：每一层的频率分配系数α均可调；
准则条件5：频率融合系数a、b、c、d、e、g、h、k由第1-3层高低频特征分离与融合层中α的取值共同决定；
上述准则条件仅满足任意一条时，最优频率系数分配准则不成立；
上述准则条件满足任意两条时，最优频率系数分配准则不成立；
上述准则条件均满足时，最优频率系数分配准则成立。
作为技术方案的补充，
准则条件1中的相关参数说明如下：
B,C为高、低频率融合系数矩阵，{B,C|B,C＝[0,1,...,k-1],k∈N*}，B,C的转置处理 {B′,C′|B′,C′＝[0,1,...,k-1]T,k∈N*}，e为归一化操作因子，此处高低频H,L为无量纲参数， 定义A∈(0,1)为无量纲的网络正则化因子，当准则成立时，计算得到频率分配系数α。
作为技术方案的补充，
最优频率分配系数α取值范围是[0.2，最优融合系数 a＝0,b＝0,c＝0,d＝0,e＝0,g＝1,h＝0,k＝0。
作为技术方案的补充，
准则条件1：高低频特征分离与融合层输入为单一的特征张量，输出两路高低频特征分 量；
准则条件2：第i层输出的融合特征张量为
Figure BDA0003143287200000051
准则条件3：i取值为4、8，卷积神经网络为4、8层时，检测性能效果提升显著；
准则条件4：输入与输出通道的对应频率大小一致；
其中准则条件2中的相关参数说明如下：i、j∈Z+。a、b…n∈α为频率融合系数，取值 范围[0,1]，上标f代表频率间信息融合。
一种基于深度学习的目标频率特征表达网络，包括
特征转换与提取层：将图像空间域特征转换为频域特征，并分别提取其高、低频频率特 征；
特征分离与融合层：将高、低频频率特征分别并独立地分离为延续上级频率属性并频率 属性相同的两个下级分量频率特征，上级频率属性不同的两个下级分量频率特征融合为一个 高频融合特征和一个低频融合特征；
安排层：对于任一融合特征，独立地提取其高、低频频率特征，通过特征分离与融合层 获取这一融合特征对应的一个高频融合特征和一个低频融合特征；
组合层：基于特征分离与融合层获取各融合特征对应的一个高频融合特征和一个低频融 合特征，得到一组高频融合特征、低频融合特征；
循环融合层：将组合层取的一组高频融合特征、低频融合特征中的任一融合特征作为特 征分离与融合层的一个融合特征，并由安排层、组合层、循环融合层循环执行，直至达到设 定循环结束的次数，将最后一次循环输出的一组高频融合特征、低频融合特征再进行特征融 合取得特征融合张量。
一种基于深度学习的方法，
S1.输入图像信息；
S2.对输入图像信息提取图像的空间域特征，将图像的空间域特征向权利要求9中所述的 基于深度学习的目标频率特征表达网络中获取特征融合张量；
S3.响应于特征融合张量，将图像进行分类框定处理，输出基于深度学习的目标频率特征。
一种计算机系统，包括处理器以及存储器，述处理器执行所述存储器中的代码以实现任 一项所述的方法。
一种计算机存储介质，存储有计算机程序，所述计算机程序被硬件执行以实现任一项所 述的方法。
有益效果：本发明是一种适用于深度学习目标检测领域的频率特征表达网络，将空间域 特征转换为频域特征，将频率特征微分成多个频率区间，从而获得更精细的特征频率信息， 根据特征频率震动的特殊性调节频率分配系数，通过调整频率信息来表达不同目标，增强图 像的显著性特征，提升深度学习网络的检测性能。本方法提供一种通过频率特征来表达目标 的网络，广泛应用于目标检测算法中，能够更好地替换原始算法中的主干网络，在目标检测 领域提供一种精度更高效率更快的目标检测算法。
附图说明
图1是目标频率特征表达网络流程图。
图2是频域转换方法结构图。
图3是频域微分方法结构图。
图4特征增强可视化对比图。
图5交通道路中行人和车辆的测试结果改进图，(a)是原网络测试结果，(b)是本发明 测试结果。
图6人群密集道路中行人和车辆的测试结果改进图，(a)是原网络测试结果，(b)是本 发明测试结果。
图7空旷道路中行人测试结果改进图，(a)是原网络测试结果，(b)是本发明测试结果。
图8是热力对比图，(a)是原图，(b)是高频热力图，(c)是低频热力图。
具体实施方式
接下来结合附图和具体分类过程来对本发明做进一步的描述。
本发明作用于现有的深度学习目标检测算法，提出一种深度学习目标频率特征表达网络， 采用类似于完全二叉树的树状结构，首先构建高低频特征分离与融合层，通过循环复用高低 频特征分离与融合层，针对频域信息进行不断微分，构建频域微分方法。网络输入空间域卷 积特征，在不改变卷积形式的条件下，将空间域特征转换为频域特征，在频域上对输入特征 进行不断微分，实现特征频谱迁移，调节频率分配系数剔除特征冗余信息，增强特征频率的 显著性信息，输出融合的频域微分张量。
本发明技术名词约定如下
频率：是指描述图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。等效于 频率特征、频率信息。
频域：是指描述频率信息变化和频率幅度变化的关系。等效于频域特征、频域信息。
高频频率：是指图像灰度变换剧烈的地方，形成图像边缘和细节。等效于高频频率信息、 高频特征分量。
低频频率：是指图像灰度变换平缓的地方，形成图像基本灰度等级。等效于低频频率信 息、低频特征分量。
本发明具体技术方案如下
(1)频域转换方法
该网络首先提出一种特征高低频特征分离与融合层，将空间域特征转换为频域特征，通 过在频域上处理特征从而处理不同频率的特征。根据图2高低频特征分离与融合层结构图， 高低频特征分离与融合层具体方法如下：
第1步，x∈Rr×m×w为卷积层的输入特征张量，其中m和w表示空间维度，r表示通道数，R为实数集合。经过卷积W1模块进行维度变换，调整特征图尺度，统一特征图尺度大小，设定频率分配系数α∈R+且α∈(0,1)，提取第1层的频率特征偏移分量xH和频率特征偏移分量xL，通过上标H、L区分频率信息，H代表高频，L代表低频。下标1、2、3、4分别代表 第1、2、3、4层，构建过程为
Figure BDA0003143287200000071
Figure BDA0003143287200000072
第2步，将提取出的频率特征偏移分量
Figure BDA0003143287200000073
先经过p池化操作再通过卷积W2模块计算 得到
Figure BDA0003143287200000074
构建过程为
Figure BDA0003143287200000075
第3步，将提取出的频率特征分量
Figure BDA0003143287200000076
经过卷积W3模块计算得到频率特征分量
Figure BDA0003143287200000077
再与 分量
Figure BDA0003143287200000078
进行融合，共同作用输出第3层融合的频率特征分量
Figure BDA0003143287200000079
构建过程为
Figure BDA00031432872000000710
Figure BDA00031432872000000711
第4步，将提取的频率特征分量
Figure BDA00031432872000000712
先经过卷积W4模块计算在进行U上采样操作得到分 量
Figure BDA00031432872000000713
融合频率特征分量
Figure BDA00031432872000000714
与频率特征分量
Figure BDA00031432872000000715
的特征信息，构建过程为
Figure BDA00031432872000000716
第5步，将提取的频率特征分量
Figure BDA00031432872000000717
经过卷积W5模块计算得到频率特征分量
Figure BDA00031432872000000718
再与分 量
Figure BDA00031432872000000719
融合，共同作用输出第3层融合的频率特征分量
Figure BDA00031432872000000720
构建过程为
Figure BDA0003143287200000081
Figure BDA0003143287200000082
第6步，输出第3层融合得到的频率特征分量
Figure BDA0003143287200000083
和频率特征分量
Figure BDA0003143287200000084
其中卷积W1、W2、W3、W4、W5可选用1×1大小的通用卷积器，上标f代表频率间信息融合，p代表池化操作，U代表上采样操作。通过分别提取频率特征信息，输出不同频率特征 分量。
(2)频域微分方法
本方法通过循环复用高低频特征分离与融合层，针对频域信息进行不断微分，获取更精 细的特征频率信息。频域微分计算过程如下。
1)x为输入特征张量，在高低频特征分离与融合层D中设定频率分配系数α，输出频率 特征偏移分量YH，频率特征偏移分量YL。
D(x)＝YH+YL (9)
2)YH为输入频率特征偏移分量，在高低频特征分离与融合层D中设定频率分配系数α， 输出频率特征分量YHH、频率特征分量YHL。
D(YH)＝YHH+YHL (10)
3)YL为输入频率特征分量，在高低频特征分离与融合层D中设定频率分配系数α，输出 频率特征分量YLH、频率特征分量YLL。
D(YL)＝YLH+YLL (11)
根据图2高低频特征分离与融合层结构及频域微分计算过程，频域微分变换方法的具体 步骤如下。
第1步，x为输入特征张量，在第1层高低频特征分离与融合层D1中，设定频率分配系 数α，经过频域微分处理，通过上标H、L区分频率信息，H代表高频，L代表低频，下标1、 2、3、4分别代表第1、2、3、4层。输出频率特征偏移分量
Figure BDA0003143287200000085
频率特征偏移分量
Figure BDA0003143287200000086
构建过程为
Figure BDA0003143287200000087
第2步，将第1层输出的频率特征偏移分量
Figure BDA0003143287200000088
频率特征偏移分量
Figure BDA0003143287200000089
分别输入到第2 层高低频特征分离与融合层D2、D3中进行频域微分处理，设定频率分配系数α，输出第2层的频率特征分量
Figure BDA0003143287200000091
构建过程为
Figure BDA0003143287200000092
Figure BDA0003143287200000093
第3步，将第2层输出的频率特征分量
Figure BDA0003143287200000094
和
Figure BDA0003143287200000095
分别输入到第3层高低频特 征分离与融合层D4、D5、D6、D7中进行频域微分处理，设定频率分配系数α，输出第3层的频率特征分量
Figure BDA0003143287200000096
构建过程为
Figure BDA0003143287200000097
Figure BDA0003143287200000098
Figure BDA0003143287200000099
Figure BDA00031432872000000910
第4步，将第3层输出的频率特征分量
Figure BDA00031432872000000911
设定 相适应的频率融合系数，输入到第4层融合模块C1中，输出第4层的特征融合张量
Figure BDA00031432872000000912
构 建过程为
Figure BDA00031432872000000913
其中卷积C1可选用3×3大小的通用卷积器，a、b、c、d、e、g、h、k∈α取值范围[0,1]为频 率融合系数，上标f代表频率间信息融合。
在上述方案中，将频率特征进行操作后分量，然后选择不同的组合进行融合操作，其目 的是自然图像由不同的频率信息组成，每个频带包含不同复杂性的结构和纹理。特征的频率 表达形式，能够将传统的空间RGB特征转换为频率振动的关系特征。因此，观察特征的频率 信息能够解决传统空间域特征处理的局限性。将图像进行频率处理，低频分量代表整体，高 频分量代表细节。不同结果包含的高低频比值关系不同，随着网络不断训练，在图像中低频 分量所占的比重远远大于高频分量，存在大量冗余信息，在编码过程中可以节省。因此，将 得到的高低频分量进行最优组合，输出融合更多高频的特征信息，能够对特征信息进行有效 过滤，提升网络性能。请参见图8通过对比高低频热力图能够清晰看出，高频信息特征边缘 细节明显，低频信息存在冗余的内部信息。
在上述方案中，本发明对于微分过程中反复进行分离对于图像处理，在微分过程中， 特征经过频率分离，能够有效地处理相应频率张量中的高频和低频分量，通过频率融合， 使高频分量和低频分量之间能够有效地通信，实现高低频分量间的信息交互，因此在分离 冗余信息的同时保留特征的有效信息。将频率特征不断进行分离，能够在保持特征完整的 同时，得到多种频率融合结果，通过输出不同组合的融合结果，针对性的增强图像中的特 征信息，利于更好的检测目标。
将频率特征进行分离，能够得到多种频率融合结果，通过分配系数改变原始频率中高 低频的比例，分解成具有显著差异的频率关系，针对不同目标场景，增强特征的特定频率 区域，提高目标检测效率。
频率微分能够得到多种频率分量，由频率融合系数将得到的频率分量选择性的输出， 能够去除冗余信息，进一步保留最优的频率特征。
针对小目标检测，由于特征尺寸过小，内部信息表达不完全，因此应适当提升图像中 低频分量所占比重，增强内部整体信息。在此条件下，最优分配系数组合为，第一层α＝0.5， 第二层α＝0.7，第三层α＝0.7，融合系数a＝0、b＝0、c＝0.5、d＝0.5、e＝0、g＝1、h＝0.5、k＝0.5。
针对重叠目标检测，由于目标重叠易缺失边缘轮廓信息，导致重叠目标检测失效、漏 检、误检等问题，因此应提升图像中高频分量所占比重同时降低低频分量所占比重，增强 边缘细节信息。在此条件下，最优分配系数组合为，第一层α＝0.5，第二层α＝0.3，第三层α＝0.3，融合系数为a＝0.5、b＝0.5、c＝0、d＝0、e＝0.5、g＝1、h＝0、k＝0。
针对模糊目标检测，由于目标模糊缺失边缘轮廓特征，同时内部整体信息表达不完全， 因此应提升图像中高频分量所占比重，增强目标轮廓信息。在此条件下，最优分配系数组 合为，第一层α＝0.5，第二层α＝0.8，第三层α＝0.，融合系数为 a＝0、b＝0.5、c＝0.5、d＝0、e＝0、g＝1、h＝0.5、k＝0。
Figure BDA0003143287200000101
其中，AP代表平均精确率,它是在10个不同的IoU阈值(0.5/0.05/0.95)和所有类别上 计算的，被认为是MSCOCO数据集上最重要的指标。AR表示召回率，它是在每幅图像 的固定数量(即1，10和100)的检测上计算的，并在所有类别和10个不同的IoU阈值上进 行平均。此外，AP和AR可用于评估不同目标比例下的性能，包括小目标(面积<322)、中 等目标(322<面积<962)和大目标(面积>962)。本方法检测平均精确率为40.2％，相比原始方 法平均精确率提升1.1％。针对小目标、中等目标、大目标，检测精度均有提升。
(3)频率系数设定准则
准则条件1：频率分配系数公式
Figure BDA0003143287200000111
准则条件2：频率分配系数的取值代表低频分量偏移值；
准则条件3：输入与输出通道的对应频率大小一致；
准则条件4：每一层的频率分配系数α均可调；
准则条件5：频率融合系数a、b、c、d、e、g、h、k由第1-3层高低频特征分离与融合层中α的取值共同决定；
上述准则条件仅满足任意一条时，最优频率系数分配准则不成立；
上述准则条件满足任意两条时，最优频率系数分配准则不成立；
上述准则条件均满足时，最优频率系数分配准则成立。
其中准则条件1中的相关参数说明如下：B,C为高、低频率融合系数矩阵， {B,C|B,C＝[0,1,...,k-1],k∈N*}，B,C的转置处理{B′,C′|B′,C′＝[0,1,...,k-1]T,k∈N*}，e为归一化操作因子，此处高低频H,L为无量纲参数，定义A∈(0,1)为无量纲的网络正则化因子， 当准则成立时，计算得到频率分配系数α。
经准则判定成立时，最优频率分配系数α取值范围是[0.2,0.8]，最优融合系数 a＝0,b＝0,c＝0,d＝0,e＝0,f＝1,g＝0,h＝0在此系数条件下可以融合输出目标最适应的频率信息， 显著增强目标细节信息，提高边缘轮廓特征的表达能力，有效提高检测精度。
(4)频域微分准则
1)准则条件1：高低频特征分离与融合层能够循环复用，输入为单一的特征张量，输出 两路高低频特征分量；
2)准则条件2：第i层输出的融合特征张量为
Figure BDA0003143287200000112
3)准则条件3：i取值为4、8，卷积神经网络为4、8层时，检测性能效果提升显著；
4)准则条件4：输入与输出通道的对应频率大小一致；
其中准则条件2中的相关参数说明如下：i、j为Z+且n∈[0,+∞]，a、b…n∈α为频率融 合系数，取值范围[0,1]，上标f代表频率间信息融合。在此范围内网络可以融合输出相适应 的高低频特征信息，增强目标细节信息，提高边缘轮廓特征的表达能力，有效提高检测精度。
(5)频率特征表达网络应用规则
本发明是作用于深度学习领域的目标频率特征表达网络，能够替换任何深度学习系统的 主干网络，对于深度神经网络的系统嵌入要求，列出如下规则：
1)该网络适用于深度学习目标检测算法，能够替换原始算法的主干网络，对输入到网 络的特征进行增强处理；
2)方法将空间域特征转换为频域特征后，在频域中处理特征，再将特征输入到分类层。
8通过以上技术方案，一种适用于深度学习的目标频率特征表达网络的有益效果是：
(1)本方法作为一种新型的深度学习目标频率特征表达网络，可独立应用于目标检测算 法实现检测分类。
(2)本方法作用于卷积神经网络不改变卷积形式，能够按需替换深度学习系统的主干网 络，替换方式简单且不破坏原有结构，在不过度增加原有系统计算量的前提下，可以提高特 征提取效率。
(3)本方法是深度学习的频域特征处理方法，与传统空间域特征处理方法相比，能够更 好地表达和利用图像的细节纹理信息，具有极强的泛化能力，显著提升检测效果。
(4)在车载高级驾驶辅助系统(ADAS)中，本方法可以有效提升对行人目标的检测能 力，为辅助驾驶的决策系统提供更多的有效数据，增强检测效果。
(5)在无人机和天眼系统的行人目标检测中，本方法能够突出对远距离微小行人目标的 轮廓信息，从而提高行人目标检测效率。
(6)本方法适用于背景环境复杂的场景，能够有效检测到行人目标主体的边缘轮廓特征， 增强目标的细节信息，提升检测精度，改善检测效果。
深度学习目标频率特征表达网络，它的方法结构图如图3所示，该方法的具体实施步骤 如下：
第1步：按照频域转换规则，构建高低频特征分离与融合层；
第2步：循环复用高低频特征分离与融合层，按照频域微分准则，采用频域微分变换方 法构建目标频率特征表达网络；
第3步：将目标频率特征表达网络，按任意目标检测算法的应用规则，进行目标检测；
第4步：选取需要分类类别的数据集作为新型网络的训练集；
第5步：在进行训练前，设定适当的超参数，这里给出相应的训练超参数；
Learning_rate＝0.00005，Batch_size＝28，梯度下降方法为SGD，训练步数为150000；
第6步：系统构建完成并开始训练，得到训练模型；
第7步：评价系统使用目标频率特征表达方法后的性能效果。系统判定过程如下：
1)经过多轮训练，使用测试数据集测试训练好的模型；
2)得到平均精度均值并与原网络结果进行对比；
3)若得到平均精度均值优于原网络结果，则本网络性能提升；
4)若得到平均精度均值等于或低于原网络结果，则本网络性能失效。
一种计算机系统，包括处理器以及存储器，述处理器执行所述存储器中的代码以实现任 一项所述的方法。
一种计算机存储介质，存储有计算机程序，所述计算机程序被硬件执行以实现任一项所 述的方法。
实施例1：
目标检测算法应用
图4为本方法的特征增强可视化对比图，深度学习目标频率特征表达网络可独立应用于 目标检测算法，通过对频域特征进行处理，增强目标边缘轮廓信息，输出适当的特征细节信 息，为热图提供良好的预处理。提升对小目标的检测，进一步提高目标检测精度。
实施例2：
在交通道路中的车辆行人识别情况
本实例基于实例1，针对道路交通中的车辆和行人可以有效地进行分类,选取在道路交通 中车辆和行人的作为目标进行检测，在图5中给出使用目标频率特征表达网络前后算法的检 测结果。在将来的智能交通的建设中，行人和车辆的目标检测一定是作为最重要的部分，而 在测试的结果中可以看到行人和车辆被有效地进行区分，目标频率特征表达网络可以应用在 交通道路中的车辆行人识别。
实施例3：
在人群密集道路中的车辆行人识别情况
本实例基于实例1，针对人群密集道路中的车辆和行人可以有效进行分类，选取道路中 车辆和行人作为目标进行检测，在图6中给出采用深度学习目标频率特征表达网络前后算法 的检测结果。在密集人群中，该方法能够有效检测出远处的小目标，有效区分行人和车辆， 正确检测出场景的所有目标。
实施例4：
在空旷道路中的车辆行人识别情况
本实例基于实例1，针对空旷道路中的行人目标可有效进行分类，在空旷道路中，行人 目标较少且远处目标尺寸过小，该方法能够有效检测出空旷场景下的小目标，改善检测过程 中的漏检现象，在场景中出现的目标均能够被有效检测到。

Claims (10)

1.一种基于深度学习的目标频率特征表达方法，其特征在于，
包括
S1.将图像空间域特征转换为频域特征，并分别提取其高、低频频率特征；
S2.将高、低频频率特征分别并独立地分离为延续上级频率属性并频率属性相同的两个下级分量频率特征，上级频率属性不同的两个下级分量频率特征融合为一个高频融合特征和一个低频融合特征；
S3.对于任一融合特征，独立地提取其高、低频频率特征，通过步骤S4获取这一融合特征对应的一个高频融合特征和一个低频融合特征；
S4.基于步骤S3获取各融合特征对应的一个高频融合特征和一个低频融合特征，得到一组高频融合特征、低频融合特征；
S5.将步骤S4获取的一组高频融合特征、低频融合特征中的任一融合特征作为步骤S3中的一个融合特征，并循环执行步骤S4～S5，直至达到设定循环结束的次数，将最后一次循环输出的一组高频融合特征、低频融合特征再进行特征融合取得特征融合张量。
2.如权利要求1所述的基于深度学习的目标频率特征表达方法，其特征在于，
所述步骤S1，包括
第1步，x∈Rr×m×w为卷积层的输入特征张量，其中m和w表示空间维度，r表示通道数，R为实数集合，经过卷积W1模块进行维度变换，调整特征图尺度，统一特征图尺度大小，设定频率分配系数α∈R+且α∈(0,1)，提取第1层的频率特征偏移分量xH和频率特征偏移分量xL，通过上标H、L区分频率信息，H代表高频，L代表低频，W的下标1、2、3、4分别代表第1、2、3、4层，构建过程为
(1-α)·W1(x)＝x1 H (1)
Figure FDA0003143287190000011
3.如权利要求2所述的基于深度学习的目标频率特征表达方法，其特征在于，
所述步骤S2，包括
第1步，将提取出的频率特征偏移分量
Figure FDA0003143287190000012
先经过p池化操作再通过卷积W2模块计算得到
Figure FDA0003143287190000013
构建过程为
Figure FDA0003143287190000021
第2步，将提取出的频率特征分量
Figure FDA0003143287190000022
经过卷积W3模块计算得到频率特征分量
Figure FDA0003143287190000023
再与分量
Figure FDA0003143287190000024
进行融合，共同作用输出第3层融合的频率特征分量
Figure FDA0003143287190000025
构建过程为
Figure FDA0003143287190000026
Figure FDA0003143287190000027
第3步，将提取的频率特征分量
Figure FDA0003143287190000028
先经过卷积W4模块计算在进行U上采样操作得到分量
Figure FDA0003143287190000029
融合频率特征分量
Figure FDA00031432871900000210
与频率特征分量
Figure FDA00031432871900000211
的特征信息，构建过程为
Figure FDA00031432871900000212
第4步，将提取的频率特征分量
Figure FDA00031432871900000213
经过卷积W5模块计算得到频率特征分量
Figure FDA00031432871900000214
再与分量
Figure FDA00031432871900000215
融合，共同作用输出第3层融合的频率特征分量
Figure FDA00031432871900000216
构建过程为
Figure FDA00031432871900000217
Figure FDA00031432871900000218
第5步，输出第3层融合得到的频率特征分量
Figure FDA00031432871900000219
和频率特征分量
Figure FDA00031432871900000220
4.如权利要求3所述的基于深度学习的目标频率特征表达方法，其特征在于，
所述步骤S3～S5，在设定循环结束的次数为3时，其包括如下步骤：
第1步，x∈Rr×m×w为卷积层的输入特征张量，D的下标1、2、3、4分别代表第1、2、3、4层，通过步骤S4，输出频率特征偏移分量Y2 H、频率特征偏移分量Y3 L，第1层高低频特征分离与融合层的构建过程为
D1(x)＝Y2 H+Y3 L (12)
第2步，将第1层高低频特征分离与融合层输出的频率特征偏移分量Y2 H、频率特征偏移分量Y3 L分别输入到第2层高低频特征分离与融合层D2、D3中进行特征分离与融合，设定频率分配系数α，输出第2层的频率特征分量Y4 HH、Y5 HL、Y6 LH、Y7 LL，构建过程为
D2(Y2 H)＝Y4 HH+Y5 HL (13)
D3(Y3 L)＝Y6 LH+Y7 LL (14)
第3步，将第2层高低频特征分离与融合层输出的频率特征分量Y4 HH、Y5 HL和Y6 LH、Y7 LL分别输入到第3层高低频特征分离与融合层D4、D5、D6、D7中进行特征分离与融合，设定频率分配系数α，输出第3层的频率特征分量Y8 HH、Y9 HL、
Figure FDA0003143287190000031
构建过程为
D4(Y4 HH)＝Y8 HH+Y9 HL (15)
Figure FDA0003143287190000032
Figure FDA0003143287190000033
Figure FDA0003143287190000034
第4步，将第3层高低频特征分离与融合层输出的频率特征分量Y8 HH、Y9 HL、
Figure FDA0003143287190000035
设定相适应的频率融合系数，输入到第4层融合模块C1中，输出第4层的特征融合张量
Figure FDA0003143287190000036
构建过程为
Figure FDA0003143287190000037
a、b、c、d、e、g、h、k∈α取值范围[0,1]，其为频率融合系数，上标f代表频率间信息融合。
5.如权利要求2-4中任一项所述的基于深度学习的目标频率特征表达方法，其特征在于，
1)准则条件1：频率分配系数公式
Figure FDA0003143287190000038
2)准则条件2：频率分配系数的取值代表低频分量偏移值；
3)准则条件3：输入与输出通道的对应频率大小一致；
4)准则条件4：每一层的频率分配系数α均可调；
5)准则条件5：频率融合系数a、b、c、d、e、g、h、k由第1-3层高低频特征分离与融合层中α的取值共同决定；
6)上述准则条件仅满足任意一条时，最优频率系数分配准则不成立；
7)上述准则条件满足任意两条时，最优频率系数分配准则不成立；
8)上述准则条件均满足时，最优频率系数分配准则成立。
6.如权利要求5所述的基于深度学习的目标频率特征表达方法，其特征在于，
准则条件1中的相关参数说明如下：
B,C为高、低频率融合系数矩阵，{B,C|B,C＝[0,1,...,k-1],k∈N*}，B,C的转置处理{B′,C′|B′,C′＝[0,1,...,k-1]T,k∈N*}，e为归一化操作因子，此处高低频H,L为无量纲参数，定义A∈(0,1)为无量纲的网络正则化因子，当准则成立时，计算得到频率分配系数α。
7.如权利要求6所述的基于深度学习的目标频率特征表达方法，其特征在于，最优频率分配系数α取值范围是[0.2,0.8]，最优融合系数a＝0,b＝0,c＝0,d＝0,e＝0,g＝1,h＝0,k＝0。
8.如权利要求2-4中任一项所述的基于深度学习的目标频率特征表达方法，其特征在于，
准则条件1：高低频特征分离与融合层输入为单一的特征张量，输出两路高低频特征分量；
准则条件2：第i层输出的融合特征张量为
Figure FDA0003143287190000041
准则条件3：i取值为4、8，卷积神经网络为4、8层时，检测性能效果提升显著；
准则条件4：输入与输出通道的对应频率大小一致；
其中准则条件2中的相关参数说明如下：i、j∈Z+。a、b…n∈α为频率融合系数，取值范围[0,1]，上标f代表频率间信息融合。
9.一种基于深度学习的目标频率特征表达网络，其特征在于，包括
特征转换与提取层：将图像空间域特征转换为频域特征，并分别提取其高、低频频率特征；
特征分离与融合层：将高、低频频率特征分别并独立地分离为延续上级频率属性并频率属性相同的两个下级分量频率特征，上级频率属性不同的两个下级分量频率特征融合为一个高频融合特征和一个低频融合特征；
安排层：对于任一融合特征，独立地提取其高、低频频率特征，通过特征分离与融合层获取这一融合特征对应的一个高频融合特征和一个低频融合特征；
组合层：基于特征分离与融合层获取各融合特征对应的一个高频融合特征和一个低频融合特征，得到一组高频融合特征、低频融合特征；
循环融合层：将组合层取的一组高频融合特征、低频融合特征中的任一融合特征作为特征分离与融合层的一个融合特征，并由安排层、组合层、循环融合层循环执行，直至达到设定循环结束的次数，将最后一次循环输出的一组高频融合特征、低频融合特征再进行特征融合取得特征融合张量。
10.一种基于深度学习图像分类方法，其特征在于，
S1.输入图像信息；
S2.对输入图像信息提取图像的空间域特征，将图像的空间域特征向权利要求9中所述的基于深度学习的目标频率特征表达网络中获取特征融合张量；
S3.响应于特征融合张量，将图像进行分类框定处理，输出基于深度学习的目标频率特征。
CN202110746900.0A 2021-07-01 2021-07-01 基于深度学习的目标频率特征表达方法、网络和图像分类方法 Active CN113553919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110746900.0A CN113553919B (zh) 2021-07-01 2021-07-01 基于深度学习的目标频率特征表达方法、网络和图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110746900.0A CN113553919B (zh) 2021-07-01 2021-07-01 基于深度学习的目标频率特征表达方法、网络和图像分类方法

Publications (2)

Publication Number Publication Date
CN113553919A true CN113553919A (zh) 2021-10-26
CN113553919B CN113553919B (zh) 2023-09-01

Family

ID=78102547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110746900.0A Active CN113553919B (zh) 2021-07-01 2021-07-01 基于深度学习的目标频率特征表达方法、网络和图像分类方法

Country Status (1)

Country Link
CN (1) CN113553919B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665431A (zh) * 2018-05-16 2018-10-16 南京信息工程大学 基于k-均值聚类的分数阶图像纹理增强方法
CN109035160A (zh) * 2018-06-29 2018-12-18 哈尔滨商业大学 医学影像的融合方法及基于融合医学影像学习的图像检测方法
CN109726748A (zh) * 2018-12-21 2019-05-07 长沙理工大学 一种基于频带特征融合的gl-cnn遥感图像场景分类方法
CN110210407A (zh) * 2019-06-04 2019-09-06 武汉科技大学 一种雾天图像显著目标检测方法
CN112115871A (zh) * 2020-09-21 2020-12-22 大连民族大学 适用于行人目标检测的高低频交织边缘特征增强方法及构建增强网络的方法
US20210174149A1 (en) * 2018-11-20 2021-06-10 Xidian University Feature fusion and dense connection-based method for infrared plane object detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665431A (zh) * 2018-05-16 2018-10-16 南京信息工程大学 基于k-均值聚类的分数阶图像纹理增强方法
CN109035160A (zh) * 2018-06-29 2018-12-18 哈尔滨商业大学 医学影像的融合方法及基于融合医学影像学习的图像检测方法
US20210174149A1 (en) * 2018-11-20 2021-06-10 Xidian University Feature fusion and dense connection-based method for infrared plane object detection
CN109726748A (zh) * 2018-12-21 2019-05-07 长沙理工大学 一种基于频带特征融合的gl-cnn遥感图像场景分类方法
CN110210407A (zh) * 2019-06-04 2019-09-06 武汉科技大学 一种雾天图像显著目标检测方法
CN112115871A (zh) * 2020-09-21 2020-12-22 大连民族大学 适用于行人目标检测的高低频交织边缘特征增强方法及构建增强网络的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈清江;李毅;柴昱洲;: "结合深度学习的非下采样剪切波遥感图像融合", 应用光学, no. 05 *

Also Published As

Publication number Publication date
CN113553919B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN110929736B (zh) 多特征级联rgb-d显著性目标检测方法
CN113378906B (zh) 一种特征自适应对齐的无监督域适应遥感图像语义分割方法
CN110866879B (zh) 一种基于多密度雨纹感知的图像去雨方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN112115871B (zh) 适用于行人目标检测的高低频交织边缘特征增强方法
CN104299232B (zh) 一种基于自适应窗方向波域和改进fcm的sar图像分割方法
CN109191418B (zh) 一种基于收缩自编码器特征学习的遥感图像变化检测方法
CN111325165A (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN113538457B (zh) 利用多频动态空洞卷积的视频语义分割方法
CN112115795B (zh) 一种基于Triple GAN的高光谱图像分类方法
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN114119586A (zh) 一种基于机器视觉的飞机蒙皮缺陷智能检测方法
CN112966747A (zh) 一种基于无锚框检测网络改进的车辆检测方法
CN111223087A (zh) 一种基于生成对抗网络的桥梁裂缝自动检测方法
CN111160392A (zh) 一种基于小波宽度学习系统的高光谱分类方法
CN112215847A (zh) 基于对抗学习多尺度特征的重叠染色体自动分割方法
CN115393293A (zh) 基于UNet网络与分水岭算法的电镜红细胞分割与定位方法
CN109508639B (zh) 基于多尺度带孔卷积神经网络的道路场景语义分割方法
CN117372853A (zh) 一种基于图像增强和注意力机制的水下目标检测算法
CN116934820A (zh) 基于交叉注意力的多尺寸窗口Transformer网络布匹图像配准方法及系统
CN113553919B (zh) 基于深度学习的目标频率特征表达方法、网络和图像分类方法
CN117523626A (zh) 伪rgb-d人脸识别法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant