CN112115871B - 适用于行人目标检测的高低频交织边缘特征增强方法 - Google Patents
适用于行人目标检测的高低频交织边缘特征增强方法 Download PDFInfo
- Publication number
- CN112115871B CN112115871B CN202010994235.2A CN202010994235A CN112115871B CN 112115871 B CN112115871 B CN 112115871B CN 202010994235 A CN202010994235 A CN 202010994235A CN 112115871 B CN112115871 B CN 112115871B
- Authority
- CN
- China
- Prior art keywords
- frequency
- low
- network
- component
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000011176 pooling Methods 0.000 claims abstract description 7
- 230000009471 action Effects 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000009432 framing Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
适用于行人目标检测的高低频交织边缘特征增强方法及构建增强网络的方法，属于目标检测技术领域，要点包括：S1、选取卷积模块进行维度变换，调整特征图尺度，根据频率分配系数提取高低频特征分量；S2、将输出的高频分量经过池化和卷积模块与低频分量融合；S3、将输出的低频分量经过卷积和上采样模块与高频分量融合；S4、将输出的高频、低频融合分量经过反卷积返回特征原尺度，共同作用输出特征融合信息。效果是可以作为独立单元嵌入到深度神经网络行人目标检测系统中，能够显著增强行人目标的边缘轮廓特征信息，提升检测精度。
Description
技术领域
本发明属于深度学习领域，涉及一种行人目标检测边缘特征增强网络。
背景技术
目标检测技术是计算机视觉中一个重要的研究领域，基于深度学习的目标检测算法正致力于不断提高检测精度，在智能汽车、智能交通、视频监控、机器人与高级人机交互等领域中有着很广泛的应用前景。
针对图像频率信息融合已有的算法可以分为两大类，第一类是基于空域的方法，通常从空域的原图像中构建融合图像，在融合颜色和纹理图像方面表现不佳。另一类是基于变换域的方法，通常分为图像分解、系数融合和图像重建三个步骤，但其融合规则复杂且具有局限性。专利申请号为20161016533.0，名称为“基于小波变换的图像融合方法及其系统”，通过离散小波变换、高低频图像处理以及分解图像融合的方法，分别对图像高低频进行处理，得到更高质量的融合图像。专利申请号为201811135170.5，名称为“一种多小波变换矢量图像融合方法”，利用多小波系数矢量的局部区域统计特征来表征图像信息的显著性，通过对图像进行小波分解，得到分解系数矢量，建立统计模型，根据融合系数进行多小波逆变换得到融合图像。以上两个专利仅通过小波变换处理频率特征，不具备空间特征的学习能力，强调对原有频率进行变换处理，忽略了对应的空间频率特征信息，检测精度仍有提升空间。
发明内容
为了解决目标检测边缘特征增强的问题，本发明提出如下技术方案：一种构建高低频交织边缘特征增强网络的方法，包括：
第一步，X∈Rn×m×w为卷积层的输入特征张量，m和w表示空间维度，n表示通道数，R为实数集合，经过卷积C1模块进行维度变换，调整特征图尺度，统一特征图尺度大小，提取第1级的高频特征分量和低频特征分量/>h代表高频，l代表低频，上标代表级数；
第二步，将提取出的高频特征分量先经过P池化操作，再通过卷积C4模块计算，初步融合高频特征分量/>与低频特征分量/>特征信息，得到第2级融合分量/>
第三步，将提取出的低频特征分量经过卷积C3模块计算得到分量/>再与分量进行融合，共同作用输出第3级融合的低频分量/>构建过程为
第四步，将提取的低频分量先经过卷积C5模块计算，再进行U上采样操作得到分量/>融合低频特征分量/>与高频特征分量/>的特征信息
第五步，将提取的高频分量经过卷积C2模块计算得到分量/>再与分量/>融合，共同作用输出第3级融合的高频分量/>构建过程为
第六步，将第3级融合的高频分量与低频分量/>分别经过反卷积V模块计算，保持原尺度进一步输出第4级融合的高频分量/>与低频分量/>与幅值系数D共同作用输出特征的融合信息Y
α∈R+且α∈(0,1)为频率分配系数，下标f代表频率间信息融合，P代表池化操作，U代表上采样操作，D∈R+且D∈(0,1)为幅值系数。
进一步的，卷积C1模块、C2模块、C3模块、C4模块、C5模块、反卷积V模块选用1×1大小的通用卷积器。
进一步的，确定最优频率系数的方法：
1)准则条件1：频率分配系数公式
2)准则条件2：频率分配系数的取值代表低频分量分配值；
3)准则条件3：输入与输出通道的对应频率大小一致；
4)上述准则条件仅满足任意一条时，最优频率系数分配准则不成立；
5)上述准则条件满足任意两条时，最优频率系数分配准则不成立；
6)上述准则条件均满足时，最优频率系数分配准则成立；
其中准则条件1中的相关参数说明如下：B,C为高、低频率融合系数矩阵，{B,C|B,C＝[0,1,...,k-1],k∈N*}，B,C的转置处理{B',C'|B',C'＝[0,1,...,k-1]T,k∈N*}，e为归一化操作因子，此处高低频H,L为无量纲参数，定义A∈(0,1)为无量纲的网络正则化因子，当准则成立时，计算得到频率分配系数α。
进一步的，经准则判定成立时，最优频率分配系数α取值范围是[0.5,0.8]。
本发明还涉及一种所述的构建高低频交织边缘特征增强网络的方法得到的高低频交织边缘特征增强网络。
本发明还涉及一种适用于行人目标检测的高低频交织边缘特征增强方法，包括：
第1步：根据最优频率分配准则，选取最优频率分配系数，构建高低频交织边缘特征增强网络；
第2步：将高低频交织边缘特征增强网络作为独立单元，按神经网络的嵌入规则，插入到用于行人目标检测的深度神经网络系统中并构建新型网络；
第3步：选取需要分类类别的数据集作为新型网络的训练集；
第4步：在进行训练前，设定适当的超参数；
第5步：新型网络构建完成并开始训练，得到训练模型；
第6步：使用训练模型用于行人目标检测。
进一步的，所述第5步中还包括评价插入高低频交织边缘特征增强网络后的性能效果，评价方法是：
1)经过多轮训练，使用测试数据集测试训练好的模型；
2)得到平均精度均值并与原有网络结果进行对比；
3)若得到平均精度均值优于原网络结果，则插入网络性能提升；
4)若得到平均精度均值等于或低于原网络结果，则插入网络性能失效。
进一步的，第4步中，超参数Learning_rate＝0.00025，Batch_size＝1，梯度下降方法为SGD，训练步数为80000。
有益效果：
(1)本方法作为独立单元，能够按需嵌入到任何深度神经网络中，嵌入方式简单且不破坏原有结构，在不过度增加原有系统计算量的前提下，可以提高特征提取效率。
(2)本方法是深度学习的边缘特征信息增强方法，与传统方法相比，能够更好地表达和利用图像的特征信息，具有极强的泛化能力，显著提升检测效果。
(3)在车载高级驾驶辅助系统(ADAS)中，本方法可以有效提升对行人目标的检测能力，为辅助驾驶的决策系统提供更多的有效数据，增强检测效果。
(4)在无人机和天眼系统的行人目标检测中，本方法能够突出对远距离微小行人目标的轮廓信息，从而提高行人目标检测效率。
(5)本方法适用于背景环境复杂的场景，能够有效检测到行人目标主体的边缘轮廓特征，增强目标的细节信息，提升检测精度，改善检测效果。
附图说明
图1是网络总体结构改进图
图2是高低频交织边缘特征增强网络结构图
图3基于CornerNet网络的特征可视化改进图
图4交通道路中行人和车辆的测试结果改进图
图5人群密集道路中行人和车辆的测试结果改进图
图6空旷道路中行人测试结果改进图
具体实施方式
接下来结合附图和具体分类过程来对本发明做进一步的描述：
适用于行人目标检测的高低频交织边缘特征增强方法，通过构建高低频交织边缘特征增强网络(网络结构图如图2所示)，并使用该网络进行高低频交织边缘特征增强，边缘特征增强方法的具体实施步骤如下：
第1步：根据最优频率分配准则，选取最优频率分配系数，按照边缘特征信息增强步骤构建高低频交织边缘特征增强网络；
第2步：将高低频交织边缘特征增强网络作为独立单元，按任意神经网络的嵌入规则，插入到深度神经网络系统中构建新型网络；
第3步：选取需要分类类别的数据集作为新型网络的训练集；
第4步：在进行训练前，设定适当的超参数，这里给出相应的训练超参数：Learning_rate＝0.00025，Batch_size＝1，梯度下降方法为SGD，训练步数为80000；
第5步：新型网络构建完成并开始训练，得到训练模型；
第6步：评价系统插入高低频交织边缘特征增强网络后的性能效果。系统判定过程如下：
5)经过多轮训练，使用测试数据集测试训练好的模型；
6)得到平均精度均值并与原有网络结果进行对比；
7)若得到平均精度均值优于原网络结果，则插入网络性能提升；
8)若得到平均精度均值等于或低于原网络结果，则插入网络性能失效。
上述方法采用高低频交织边缘特征增强网络，获取目标的频率信息，融合高低频分量增强目标边缘特征表达能力，通过调整频率分配系数提高行人目标检测精度。
以下对构建高低频交织边缘特征增强网络的方法进行说明，该方法将网络作为独立单元，按照系统嵌入需求在不破坏原有结构的基础上，嵌入到深度神经网络中，广泛应用于目标检测领域。本专利能够更好地在目标检测领域提供一种精度更高效率更快的目标检测算法。本发明的网络可嵌入于任何已有深度学习目标检测神经网络系统中，来增强目标的表达能力。该增强网络通过特征频率分离技术，提高在检测过程中对行人目标的检测识别精度。
对于上述网络，是一种嵌入式的神经网络特征增强单元模块，具有特征转换提取功能，运用图像频率信息融合的思想实现一种行人目标检测的深度学习边缘特征信息增强方法。该方法利用高低频交织边缘特征增强网络，主要功能是作为一个特征提取的嵌入式模块，在不破坏原有神经网络的原有功能的前提条件下，可以部署到任何已有的深度神经网络中，总体结构如图1所示。在原始检测网络的卷积层与框定处理层之间即E点处(插入本发明方法后，原始检测网络结构的E点，变为新网络结构中的E和E’点，即新网络中的E、E’点等效于原始检测结构的E点)，加入高低频交织边缘特征增强网络，可以有效提高检测精度，对现有网络实现检测、跟踪、分割等功能。
构建高低频交织边缘特征增强网络的方法的详细步骤如下：
(1)高低频率分离方法
该模块提出一种高低频交织边缘特征增强网络，通过一种交织式特征增强网络对特征中的低频和高频进行分离-融合处理，分别提取特征的高频和低频信息，设定频率分配系数，在融合部分低频信息的同时，输出更多高频信息，最后经过反卷积匹配通道尺寸，输出高低频融合信息，进一步增强边缘特征，提高系统精度。
(2)任意神经网络的嵌入规则
该模块作为一个独立的特征提取单元，能够嵌入到任何深度神经网络中且不破坏原有结构，对于深度神经网络的系统嵌入要求，列出如下规则：
1)该模块适用于深度卷积神经网络，能够对卷积后的特征进行增强处理；
2)模块应安插在深度系统特征处理层之后，由系统对输入特征进行预处理，再将处理后的特征输入到该模块中。
3)该模块的输出应接入系统框定处理层，系统直接对增强后的特征进行框定处理，输出分类结果。
(3)边缘特征信息增强步骤
根据图2高低频交织边缘特征增强网络结构图，本发明具体技术方案如下。
第一步，获取卷积层的输入特征张量X∈Rn×m×w到网络中，其中m和w表示空间维度，n表示通道数，R为实数集合。经过卷积C1模块进行维度变换，调整特征图尺度，统一特征图尺度大小，提取第1级的高频特征分量和低频特征分量/>通过下标h、l区分高频、低频，h代表高频，l代表低频，上标1、2、3、4分别代表第1、2、3、4级。
第二步，将提取出的高频特征分量先经过P池化操作再通过卷积C4模块，初步融合高频特征分量/>与低频特征分量/>特征信息，得到第2级融合分量/>
第三步，将提取出的低频特征分量经过卷积C3模块计算得到分量/>再与分量进行融合，共同作用输出第3级融合的低频分量/>构建过程为
第四步，将提取的低频分量先经过卷积C5模块在进行U上采样计算得到分量融合低频特征分量/>与高频特征分量/>的特征信息。
第五步，将提取的高频分量经过卷积C2模块计算得到分量/>再与分量/>融合，共同作用输出第3级融合的高频分量/>构建过程为
第六步，将第3级输出的高低频融合分量分别经过反卷积V模块返回原尺度输出第4级的融合分量/>共同作用输出特征的融合信息Y。
其中卷积C1、C2、C3、C4、C5、反卷积V可选用1×1大小的通用卷积器，α∈R+且α∈(0,1)为频率分配系数。下标f代表频率间信息融合，P代表池化操作，U代表上采样操作，D∈R+且D∈(0,1)为幅值系数。
(4)最优频率系数分配的完备准则
7)准则条件1：频率分配系数公式
8)准则条件2：频率分配系数的取值代表低频分量分配值；
9)准则条件3：输入与输出通道的对应频率大小一致；
10)上述准则条件仅满足任意一条时，最优频率系数分配准则不成立；
11)上述准则条件满足任意两条时，最优频率系数分配准则不成立；
12)上述准则条件均满足时，最优频率系数分配准则成立。
其中准则条件1中的相关参数说明如下：{B,C|B,C＝[0,1,...,k-1],k∈N*}，B,C的转置处理{B',C'|B',C'＝[0,1,...,k-1]T,k∈N*}，e为归一化操作因子，此处高低频H,L为无量纲参数，定义A∈(0,1)为无量纲的网络正则化因子，当准则成立时，计算得到频率分配系数α。
经准则判定成立时，最优频率分配系数α取值范围是[0.5,0.8]，在此范围内网络可以融合输出相适应的高低频特征信息，增强目标细节信息，提高边缘轮廓特征的表达能力，有效提高检测精度。
本发明特别适用于微小目标检测分类系统，可改善目标检测中漏检、误检的问题。本发明方法能够应用于自主汽车、辅助驾驶、无人机、无人车以及公共安全天眼监控系统等多个领域。
实施例1：
与CornerNet算法的有效结合
图3为基于CornerNet网络的特征增强可视化对比图，在CornerNet网络中，加入高低频交织边缘特征增强网络，通过高低频交织边缘特征增强网络对特征边缘进行增强处理，融合输出适当的高频特征信息，为CornerNet中下一步热图的计算提供良好的预处理。进一步提高检测精度，改善CornerNet误检或漏检的情况，提升对小目标的检测。
实施例2：
在交通道路中的车辆行人识别情况
本实例基于实例1，针对道路交通中的车辆和行人可以有效地进行分类,选取在道路交通中车辆和行人的作为目标进行检测，在图4中给出添加高低频交织边缘特征增强网络前后算法的检测结果。在将来的智能交通的建设中，行人和车辆的目标检测一定是作为最重要的部分，而在测试的结果中可以看到行人和车辆被有效地进行区分，高低频交织边缘特征增强网络可以应用在交通道路中的车辆行人识别。
实施例3：
在人群密集道路中的车辆行人识别情况
本实例基于实例1，针对人群密集道路中的车辆和行人可以有效进行分类，选取道路中车辆和行人作为目标进行检测，在图5中给出添加高低频交织边缘特征增强网络前后算法的检测结果。在密集人群中，该方法能够有效检测出远处的小目标，有效区分行人和车辆，正确检测出场景的所有目标。
实施例4：
在空旷道路中的车辆行人识别情况
本实例基于实例1，针对空旷道路中的行人目标可有效进行分类，在空旷道路中，行人目标较少且远处目标尺寸过小，该方法能够有效检测出空旷场景下的小目标，改善检测过程中的漏检现象，在场景中出现的目标均能够被有效检测到。
Claims (6)
1.一种适用于行人目标检测的高低频交织边缘特征增强方法，其特征在于，
第1步：根据最优频率分配准则，选取最优频率分配系数，构建高低频交织边缘特征增强网络；对于上述网络，是一种嵌入式的神经网络特征增强单元模块，通过一种交织式特征增强网络对特征中的低频和高频进行分离-融合处理，分别提取特征的高频和低频信息，设定频率分配系数，在融合部分低频信息的同时，输出更多高频信息，最后经过反卷积匹配通道尺寸，输出高低频融合信息，进一步增强边缘特征，提高系统精度；
第2步：将高低频交织边缘特征增强网络作为独立单元，按神经网络的嵌入规则，插入到用于行人目标检测的深度神经网络系统中并构建新型网络；所述嵌入规则如下：
1)该模块适用于深度卷积神经网络，能够对卷积后的特征进行增强处理；
2)模块应安插在深度系统特征处理层之后，由系统对输入特征进行预处理，再将处理后的特征输入到该模块中；
3)该模块的输出应接入系统框定处理层，系统直接对增强后的特征进行框定处理，输出分类结果；
第3步：选取需要分类类别的数据集作为新型网络的训练集；
第4步：在进行训练前，设定适当的超参数；
第5步：新型网络构建完成并开始训练，得到训练模型；
第6步：使用训练模型用于行人目标检测；
所述第1步具体包括如下步骤：
第一步，X∈Rn×m×w为卷积层的输入特征张量，m和w表示空间维度，n表示通道数，R为实数集合，经过卷积C1模块进行维度变换，调整特征图尺度，统一特征图尺度大小，提取第1级的高频特征分量和低频特征分量/>h代表高频，l代表低频，上标代表级数；
第二步，将提取出的高频特征分量先经过P池化操作，再通过卷积C4模块计算，初步融合高频特征分量/>与低频特征分量/>特征信息，得到第2级融合分量/>
第三步，将提取出的低频特征分量经过卷积C3模块计算得到分量/>再与分量/>进行融合，共同作用输出第3级融合的低频分量/>构建过程为
第四步，将提取的低频分量先经过卷积C5模块计算，再进行U上采样操作得到分量融合低频特征分量/>与高频特征分量/>的特征信息
第五步，将提取的高频分量经过卷积C2模块计算得到分量/>再与分量/>融合，共同作用输出第3级融合的高频分量/>构建过程为
第六步，将第3级融合的高频分量与低频分量/>分别经过反卷积V模块计算，保持原尺度进一步输出第4级融合的高频分量/>与低频分量/>与幅值系数D共同作用输出特征的融合信息Y
α∈R+且α∈(0,1)为频率分配系数，下标f代表频率间信息融合，P代表池化操作，U代表上采样操作，D∈R+且D∈(0,1)为幅值系数。
2.如权利要求1所述的适用于行人目标检测的高低频交织边缘特征增强方法，其特征在于，卷积C1模块、C2模块、C3模块、C4模块、C5模块、反卷积V模块选用1×1大小的通用卷积器。
3.如权利要求1所述的适用于行人目标检测的高低频交织边缘特征增强方法，其特征在于，确定最优频率系数的方法：
1)准则条件1：频率分配系数公式
2)准则条件2：频率分配系数的取值代表低频分量分配值；
3)准则条件3：输入与输出通道的对应频率大小一致；
4)上述准则条件仅满足任意一条时，最优频率系数分配准则不成立；
5)上述准则条件满足任意两条时，最优频率系数分配准则不成立；
6)上述准则条件均满足时，最优频率系数分配准则成立；
其中准则条件1中的相关参数说明如下：B,C为高、低频率融合系数矩阵，{B,C|B,C＝[0,1,...,k-1],k∈N*}，B,C的转置处理{B',C'|B',C'＝[0,1,...,k-1]T,k∈N*}，e为归一化操作因子，此处高低频H,L为无量纲参数，定义A∈(0,1)为无量纲的网络正则化因子，当准则成立时，计算得到频率分配系数α。
4.如权利要求1所述的适用于行人目标检测的高低频交织边缘特征增强方法，其特征在于，经准则判定成立时，最优频率分配系数α取值范围是[0.5,0.8]。
5.如权利要求1所述的适用于行人目标检测的高低频交织边缘特征增强方法，其特征在于，所述第5步中还包括评价插入高低频交织边缘特征增强网络后的性能效果，评价方法是：
1)经过多轮训练，使用测试数据集测试训练好的模型；
2)得到平均精度均值并与原有网络结果进行对比；
3)若得到平均精度均值优于原网络结果，则插入网络性能提升；
4)若得到平均精度均值等于或低于原网络结果，则插入网络性能失效。
6.如权利要求1所述的适用于行人目标检测的高低频交织边缘特征增强方法，其特征在于，第4步中，超参数Learning_rate＝0.00025，Batch_size＝1，梯度下降方法为SGD，训练步数为80000。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010994235.2A CN112115871B (zh) | 2020-09-21 | 2020-09-21 | 适用于行人目标检测的高低频交织边缘特征增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010994235.2A CN112115871B (zh) | 2020-09-21 | 2020-09-21 | 适用于行人目标检测的高低频交织边缘特征增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112115871A CN112115871A (zh) | 2020-12-22 |
| CN112115871B true CN112115871B (zh) | 2024-04-19 |
Family
ID=73800667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010994235.2A Active CN112115871B (zh) | 2020-09-21 | 2020-09-21 | 适用于行人目标检测的高低频交织边缘特征增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112115871B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113553919B (zh) * | 2021-07-01 | 2023-09-01 | 大连民族大学 | 基于深度学习的目标频率特征表达方法、网络和图像分类方法 |
| CN114898410B (zh) * | 2022-07-14 | 2022-10-11 | 安徽云森物联网科技有限公司 | 一种基于小波变换的跨分辨率行人重识别方法 |
| CN115311241B (zh) * | 2022-08-16 | 2024-04-23 | 天地（常州）自动化股份有限公司 | 一种基于图像融合和特征增强的煤矿井下行人检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5825936A (en) * | 1994-09-22 | 1998-10-20 | University Of South Florida | Image analyzing device using adaptive criteria |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN110197231A (zh) * | 2019-06-04 | 2019-09-03 | 南京华格信息技术有限公司 | 基于可见光和红外光图像融合的鸟情探测设备及识别方法 |
| CN110503617A (zh) * | 2019-08-29 | 2019-11-26 | 大连海事大学 | 一种基于高、低频信息融合的水下图像增强方法 |
| CN110706242A (zh) * | 2019-08-26 | 2020-01-17 | 浙江工业大学 | 一种基于深度残差网络的对象级边缘检测方法 |
| CN111008562A (zh) * | 2019-10-31 | 2020-04-14 | 北京城建设计发展集团股份有限公司 | 一种特征图深度融合的人车目标检测方法 |
| CN111105361A (zh) * | 2019-11-12 | 2020-05-05 | 中国科学院西安光学精密机械研究所 | 基于场景先验的遥感图像增强方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013049153A2 (en) * | 2011-09-27 | 2013-04-04 | Board Of Regents, University Of Texas System | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images |
-
2020
- 2020-09-21 CN CN202010994235.2A patent/CN112115871B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5825936A (en) * | 1994-09-22 | 1998-10-20 | University Of South Florida | Image analyzing device using adaptive criteria |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN110197231A (zh) * | 2019-06-04 | 2019-09-03 | 南京华格信息技术有限公司 | 基于可见光和红外光图像融合的鸟情探测设备及识别方法 |
| CN110706242A (zh) * | 2019-08-26 | 2020-01-17 | 浙江工业大学 | 一种基于深度残差网络的对象级边缘检测方法 |
| CN110503617A (zh) * | 2019-08-29 | 2019-11-26 | 大连海事大学 | 一种基于高、低频信息融合的水下图像增强方法 |
| CN111008562A (zh) * | 2019-10-31 | 2020-04-14 | 北京城建设计发展集团股份有限公司 | 一种特征图深度融合的人车目标检测方法 |
| CN111105361A (zh) * | 2019-11-12 | 2020-05-05 | 中国科学院西安光学精密机械研究所 | 基于场景先验的遥感图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 目标边缘特征增强检测算法;李雪萌;杨大伟;毛琳;;大连民族大学学报(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112115871A (zh) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112115871B (zh) | 适用于行人目标检测的高低频交织边缘特征增强方法 | |
| CN111915592B (zh) | 基于深度学习的遥感图像云检测方法 | |
| CN108197326B (zh) | 一种车辆检索方法及装置、电子设备、存储介质 | |
| CN110929736B (zh) | 多特征级联rgb-d显著性目标检测方法 | |
| CN108921030B (zh) | 一种sar自动目标识别方法 | |
| CN107563433B (zh) | 一种基于卷积神经网络的红外小目标检测方法 | |
| CN111310773A (zh) | 一种高效的卷积神经网络的车牌定位方法 | |
| CN109492700B (zh) | 一种基于多维信息融合的复杂背景目标识别方法 | |
| CN109543672B (zh) | 基于稠密特征金字塔网络的物体检测方法 | |
| CN105718889A (zh) | 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法 | |
| CN112836677B (zh) | 一种利用深度学习的弱监督车辆重识别方法 | |
| CN117422971A (zh) | 一种基于跨模态注意力机制融合的双模态目标检测方法与系统 | |
| CN113538457B (zh) | 利用多频动态空洞卷积的视频语义分割方法 | |
| CN113240697B (zh) | 一种生菜多光谱图像前景分割方法 | |
| CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
| CN114119586A (zh) | 一种基于机器视觉的飞机蒙皮缺陷智能检测方法 | |
| CN117475236B (zh) | 用于矿产资源勘探的数据处理系统及其方法 | |
| CN112115795B (zh) | 一种基于Triple GAN的高光谱图像分类方法 | |
| CN114782949A (zh) | 一种边界引导上下文聚合的交通场景语义分割方法 | |
| CN106971402B (zh) | 一种基于光学辅助的sar图像变化检测方法 | |
| CN101630369B (zh) | 一种基于小波分形特征的行人检测方法 | |
| CN113627481A (zh) | 一种面向智慧园林的多模型组合的无人机垃圾分类方法 | |
| CN117036412A (zh) | 一种融合可变形卷积的孪生网络红外行人目标跟踪方法 | |
| CN116935249A (zh) | 一种无人机场景下三维特征增强的小目标检测方法 | |
| CN114140698A (zh) | 一种基于FasterR-CNN的水系信息提取算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |