CN113297942A - 基于分层压缩激励网络的户外多种场景快速分类识别方法 - Google Patents

基于分层压缩激励网络的户外多种场景快速分类识别方法 Download PDF

Info

Publication number
CN113297942A
CN113297942A CN202110539935.7A CN202110539935A CN113297942A CN 113297942 A CN113297942 A CN 113297942A CN 202110539935 A CN202110539935 A CN 202110539935A CN 113297942 A CN113297942 A CN 113297942A
Authority
CN
China
Prior art keywords
image
network
representing
feature
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110539935.7A
Other languages
English (en)
Other versions
CN113297942B (zh
Inventor
杨学志
廖志伟
金兢
李冠达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110539935.7A priority Critical patent/CN113297942B/zh
Publication of CN113297942A publication Critical patent/CN113297942A/zh
Application granted granted Critical
Publication of CN113297942B publication Critical patent/CN113297942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于分层压缩激励网络的室外多种场景快速分类识别方法,其步骤包括:1.根据传感器设备采集的实时数据,通过分层压缩激励网络得到周围场景片段的全局信息;2.基于全局场景信息建立场景快速分类识别模型;3.通过构造差值矩阵,约束非零行的个数对分类识别模型进行层次化设计,得到优化后的网络结构,让分层压缩激励网络自适应地、有目的地处理图像特征。本发明提供了一种考虑户外多种场景的同时,计算方法简单的快速分类识别方法,结构优化后的分类识别网络运行损失得到了大幅降低。

Description

基于分层压缩激励网络的户外多种场景快速分类识别方法
技术领域
本发明涉及基于神经网络的图像识别方法领域,具体是一种基于分层压缩激励网络的户外多种场景快速分类识别方法。
背景技术
室外场景的分类识别在智能交通系统和智能监控系统中具有广泛的应用前景,但它目前仍然是计算机视觉领域的一项难题,原因是室外场景较为复杂,拥有太多的不确定因素,如行人、车、动物、光照、环境等随机性较大,无法等同于任何一种典型的场景。加之背景较为复杂,导致分类识别的准确率不高。
在整个图像处理领域中,特征提取技术是最基本也是最重要的步骤。近年来,大多科研人员针对图像处理的研究主要集中在特征提取方面,用于特征提取的方法对图像进行分析和处理也日益成熟。目前,随着深度学习技术的发展,网络模型尽管可以缓解梯度消失问题,但网络各层提取出的特征虽能够有效的往后传播, 但后层得到的特征利用了前面多个层的输出,信息传播会存在一定的冗余性,因此会影响网络总体提取特征的效率.而且神经网络的生物学基础支持不足,对图像的理解没有记忆功能,对特征进行理解的能力不足。
发明内容
本发明目的是针对现有的方法对场景特征理解的能力不足的缺陷,提供一种基于分层压缩激励网络的室外多种场景快速分类识别方法,以期能够在完成分类识别任务时对提取到的特征进行优化处理,从而得到更加符合人对场景理解的信息元特性,减少网络运行时的损失。
为了达到上述目的,本发明所采用的技术方案为:
基于分层压缩激励网络的户外多种场景快速分类识别方法,其特征在于,包括以下步骤:
步骤1、由于度量地图能够精确的表示地图中物体的位置关系,拓扑地图能够更加准确的描述地图元素之间的关系,结合度量地图和拓扑地图构图法的优势,利用两种地图,根据环境感知传感器获得的数据,获得环境中物体间、元素间的度量关系和拓扑关系;获取环境感知传感器采集的户外场景实时视频数据序列;定义环境感知传感器采集的实时视频数据序列为V,对实时视频数据序列V 进行帧采样得到N个图像I={I1,I2,…In,…,IN},将N个图像分类为 K={k1,k2,…,kn,…,kN},其中kn表示第n个图像分类结果;
每个图像分类中均包含若干个候选分类标签,记所述的第n个图像分类kn的候选标签为
Figure RE-GDA0003124485870000021
l表示候选标签编号,
Figure RE-GDA0003124485870000022
表示所述的第n个图像分类kn中可能存在的分类标签总数;则所述N个图像分类K的分类候选标签集合为L={L1,L2,…,Ln,…,LN};
步骤2、基于场景各元素间的度量关系、拓扑关系和传感器捕获的实时数据序列,使用分层特征提取方法,划分实时分类以识别典型运行场景,过程如下:
(2.1)、构建场景全局状态矩阵GW如公式(1)所示:
GW=diag(∑iw1i,∑iw2i,∑iw3i,…,∑iwpi,…,∑iwni) (1),
公式(1)中,i∈{1,2,…,T},p∈{1,2,…,n},T为实时数据采集的总时间数,wi表示i时刻图像与其它时刻图像之间的权重系数,wpi p∈{1,2,…,n}表示第p时刻图像与其它时刻图像之间的权重系数,并有如下公式(2):
Figure RE-GDA0003124485870000023
公式(2)中:
ka表示任意第a个图像分类结果,kb表示任意第b个图像分类结果,ka,kb∈K;
dn(ka,kb)表示ka,kb两类之间的距离;
Figure RE-GDA0003124485870000024
表示取ka类各个图像到kb类第q个图像的距离的最小值,作为ka类到kb类第q个图像的距离;
Figure RE-GDA0003124485870000025
表示依次计算ka类到kb类各个图像的距离后再取中值作为ka类到kb类距离,其中p,q∈K;
Figure RE-GDA0003124485870000026
表示取kb类各个图像到ka类第p个图像的距离的最小值,作为kb类到ka类第p个图像的距离;
Figure RE-GDA0003124485870000027
表示依次计算kb类到ka类各个图像的距离后再取中值作为kb类到ka类距离,其中p,q∈K;计算完所有类两两之间的距离后,把它们组合成一个矩阵,大小为N×N,矩阵的第p行第q列表示第p类到第q类的特征的距离,即矩阵大小等于环境感知传感器采集到的场景实时视频数据序列进行降采样得到的不同类别的数量;
(2.2)、对步骤2.1获得的N×N大小的矩阵,采用CLR聚类算法对特征相似类进行聚类;
(2.3)、选取并标准化计算相关特征参数来表征每一个场景下的特征;对第 i个场景下选取N个特征参数并进行归一化处理,得到第i个标准的参数向量 vi=[vi,1,vi,2,…,vi,j,…vi,N],1≤j≤N vi,j表示第i个典型场景下的聚类块对应的第j个标准特征参数,从而得到N个标准参数向量并构成集合Z={Z1,Z2,…,Zi,…,ZN}
(2.4)、定义卷积神经网络每一层输出的特征图上每个像素点在原始图像上映射的区域大小为R,根据设定的阈值δ,将映射的区域R表征3个不同的抽象层次,分别为低层次、中层次、高层次;
(2.5)、根据(2.4)划分的3个不同的抽象层次,构建层次化网络训练模型,该层次化网络训练模型由输入层、处理层和输出层构成;定义所述层次化网络训练模型的输入向量为I=[I1,I2,…,IN]T;定义所述层次化网络训练模型的输入层和处理层间的连接矩阵为
Figure RE-GDA0003124485870000031
定义所述层次化网络训练模型的处理层的输入向量为d=[d1,d2,…,di,…dN]T,di表示第i个标准特征参数向量Zi与所述模型的输入向量I之间的距离;定义所述层次化网络训练模型的处理层的输出向量为O=[O1,O2,…,Oi,…ON]T,Oi表示第i个场景下的状态值,当Oi取非零值时,表示所述层次化网络训练模型的输入向量I对应的特征块所识别出的典型特征块;定义所述层次化网络训练模型的处理层与输出层之间的连接矩阵
Figure RE-GDA0003124485870000032
其中c=[1,1,1,…,1]N×1;定义所述层次化网络训练模型的输出向量为 Y=[y1,y2,…,yi,…yN]T,yi表示第i个场景下的状态值,当yi取非零值时,表示所述层次化网络训练模型的输入向量I对应的特征类所识别出的真实场景所属类别;
(2.6)、对步骤(2.5)设计出的网络进行迭代,根据公式(3)计算第t次网络迭代的距离最小值Dn,选择最小值来解决网络的层次优化问题;定义步骤 (2.5)设计的网络训练出来的特征矩阵
Figure RE-GDA0003124485870000033
执行步骤(2.2)后,计算其特征值和特征向量,选择特征矩阵
Figure RE-GDA0003124485870000034
中最小特征值对应的特征向量并初始化为
Figure RE-GDA0003124485870000035
Figure RE-GDA0003124485870000041
公式(3)中,||·||表示计算特征矩阵
Figure RE-GDA0003124485870000042
和GW (n)的距离;在初始化
Figure RE-GDA0003124485870000043
下,不断的进行循环更新
Figure RE-GDA0003124485870000044
Figure RE-GDA0003124485870000045
与相关矩阵GW (n)距离达到最小时,记录此时的
Figure RE-GDA0003124485870000046
值和网络迭代次数t,从而获得所述N个图像分类K的距离最小值集合 D={D1,D2,…,Dn,…,DN};
(2.7)、根据步骤(2.4~2.6),从而获得所述第n个图像分类kn中的层次化结构图HSGn,以及获得所述N个图像分类K的训练所用的图像层次化结构图 HSG={HSG1,HSG2,…,HSGn,…,HSGN};
(2.8)、根据步骤(2.5)构建的层次化网络训练模型,从定义的三个层次上分别提取其l处图像特征,从而获得所述第n个图像分类kn的l处不同特征
Figure RE-GDA0003124485870000047
1≤n≤N,
Figure RE-GDA0003124485870000048
分别表示第n个图像分类kn的l处低级、中级、高级特征;循环进行N个图像,得到最终的l处的总特征为
Figure RE-GDA0003124485870000049
按照特征提取先后顺序,先将
Figure RE-GDA00031244858700000410
Figure RE-GDA00031244858700000411
做外积操作,得到l处的双线性特征为
Figure RE-GDA00031244858700000412
将l处得到的双线性特征
Figure RE-GDA00031244858700000413
Figure RE-GDA00031244858700000414
做外积,得到l处经过三个不同层次后的最终双线性特征
Figure RE-GDA00031244858700000415
利用公式(4)计算整幅图像的特征:
Figure RE-GDA00031244858700000416
公式(4)中P表示一幅图像的点数,最终将环境感知传感器采集到的数据降采样得到的N张图像总特征为X={X1,X2,…,Xn,…XN},1≤n≤N;
步骤3、基于步骤2中最终得到的N张图像总特征为X={X1,X2,…,Xn},构建所述的第n个图像分类kn的层次化特征分类识别压缩激励模型M(n)
步骤4、对步骤3得到的层次化特征分类识别压缩激励模型M(n)进行求解,得到最终的贝叶斯优化方案。
步骤3过程如下:
(3.1)、定义步骤(2.8)得到的第n个图像提取到的特征Xn的大小为 Wn′×Hn′×C′n,其中Wn′表示宽度,Hn′表示高度,C′n表示特征图的通道个数;经过卷积操作后,得到该图像转换后的特征图为φn,大小为Wn×Hn×Cn
(3.2)、采用全局平均池化技术获得所述第n个特征空间转换图Xn的上下文信息;利用公式(5)解决感受野的空间局限性问题,公式(5)如下所示:
Figure RE-GDA0003124485870000051
公式(5)中,Wn、Hn分别表示卷积变换后输出特征图的宽度、高度,φn表示卷积变换后的输出特征图,Fsq为全局特征压缩变换函数,zn表示第n个特征空间转换图经过压缩操作后的输出;
(3.3)、将步骤(3.2)压缩后的1×1×Cn图像大小变换成为
Figure RE-GDA0003124485870000052
Cn为步骤(3.1)卷积变换后的通道数,γ为放缩因子;再经过反变换操作回归到原来的 1×1×Cn图像大小,上述的变换、反变换操作均是通过卷积神经网络中网络全连接层实现的;对步骤2中的层次化网络训练模型输出层施加门控机制,门控机制由全连接层和激活函数交替组成,利用门控机制调整通道与通道之间的相关权重;
(3.4)、对步骤(3.3)中得到的相关权重,为每个通道施加不同的激励,利用公式(6)得到激励向量En,公式(6)如下;
Figure RE-GDA0003124485870000053
公式(8)中,
Figure RE-GDA0003124485870000054
Figure RE-GDA0003124485870000055
分别表示修正线性单元和生物学中生长曲线两个激活函数,它们作为两个全连接层的附加权重,尺寸大小分别为
Figure RE-GDA0003124485870000056
Figure RE-GDA0003124485870000057
zn表示步骤(3.2)得到的压缩后的输出,W表示步骤(3.3)网络学习到的通道之间的相关权重;Fex表示激励函数;
(3.5)、重复步骤(3.2)到步骤(3.4),利用公式(6)得到的激励向量En重新加权原来的特征图X,即利用逐元素相乘的方式将最终的输出直接传入网络的后续层;层次化特征分类识别压缩激励模型M(n)可定义为如公式(7)所示:
Figure RE-GDA0003124485870000061
步骤4过程如下:
(4.1)、设环境感知传感器捕获的视频图像序列降采样后得到的数据为Ds,且Ds服从Ds~Pr[I,L]N概率分布,其中I为输入图像、L为候选标签;
(4.2)、卷积神经网络的损失函数按公式(8)计算得到:
Figure RE-GDA0003124485870000062
其中
Figure RE-GDA0003124485870000063
表示损失函数,fθ(I)表示通过监督式学习训练输出对应类别的概率,
Figure RE-GDA0003124485870000064
表示fθ(L)输出的预测类别;
(4.3)、定义卷积神经网络训练阶段采取Adam优化整个参数集,使其达到全局最小值,进而获得最优网络模型;当样本数量足够多时,网络模型训练接近全局最小值,此时模型预测效果最好。
与已有技术相比,本发明有益效果体现在:
1、利用信息论的相关知识,搭建了一个新型分类网络,较好的解决了网络对局部特征不敏感的分类问题,对网络提取出的特征拥有更多的“记忆性”。
2、在网络训练中,通过构造层次化网络训练模型将网络的层次优化转化为求函数的最小值,不断的循环更新特征矩阵。有利于网络精准的分层,让网络自适应地、有目的地处理这些特征;
3、根据场景分类识别的问题特性,将学习机制整合到分类网络中,捕获特征的空间相关性。在密集型网络的基础之上,引入分层的压缩激励结构块。根据感受野的大小将网络合适的分层,低层次的压缩激励块用来学习激励特征,增加待处理图像各通道之间的相互依赖性,增强图像特征共享的能力。当网络达到较高层次时,随着感受野范围的增大,网络可以同时受益于在此之前产生的低层、中层和高层特征,此时分层的压缩激励结构块越来越专业化,自适应能力更强,网络累积到后端其功能重新校准的能力更强。各层次之间能够相互协作,更好的将空间注意纳入到网络结构中。
附图说明
图1是本发明基于分层压缩激励网络的室外多种场景快速分类识别方法的流程示意图。
图2是本发明基于分层压缩激励网络的室外多种场景快速分类识别方法的具体实施步骤流程图。
图3是本发明基于分层压缩激励网络的室外多种场景快速分类识别方法的损失结果图。
具体实施方式
本实施例中,如图1和图2所示,一种基于分层压缩激励网络的室外多种场景快速分类识别方法是按如下步骤进行:
定义传感器捕获的视频序列为V,对其进行帧采样得到N个图像,定义N个图像分类为K={k1,k2,…,kn,…,kN};kn表示第n个图像分类结果;每个图像分类中包含若干个候选分类标签;记所述的第n个图像分类kn的候选标签为
Figure RE-GDA0003124485870000071
ln表示候选标签编号,
Figure RE-GDA0003124485870000072
表示所述的第n个图像分类kn中可能存在的分类标签总数;则所述N个图像分类K的分类候选标签集合为L={L1,L2,…,Ln,…,LN},记η为所述分类标签集合L中所有分类标签的总数,并有
Figure RE-GDA0003124485870000073
对视频序列进行降采样获得N个图像时,记所述其中的第n个图像分类kn中含有训练集自身所包含的标签图像为
Figure RE-GDA0003124485870000074
表示第n个图像分类kn中第in个训练图像,
Figure RE-GDA0003124485870000075
表示所述第n个图像分类kn中第in个训练图像
Figure RE-GDA0003124485870000076
的自身标签集合,1≤in≤ij;ij表示所述第n个图像分类kn中训练集内包含的室外场景图像的总数;则所述N个图像分类K的训练室外场景图像集合为 T={T1,T2,…,Tn,…,TN};记目标的场景图像为T0
所述室外多种场景快速分类识别方法是按如下步骤进行:
步骤1.获取环境感知传感器元件信息、场景各个元素之间的度量关系、拓扑关系和实时数据;
步骤2.基于场景各元素间的时空关系和传感器捕获的实时数据,使用分层特征提取有用特征方法划分实时分类识别典型运行场景:
步骤2.1.利用式(1)构建场景全局状态矩阵GW
GW=diag(∑iw1i,∑iw2i,∑iw3i,…,∑iwpi,…,∑iwnq) (1)
式(1)中,i∈{1,2,…,T},T为实时数据采集的总时间数,wi表示i时刻图像与其它时刻之间的权重系数,并有:
Figure RE-GDA0003124485870000081
式(2)中,dn(ka,kb)表示ka,kb两类之间的距离(其中ka,kb∈kn),
Figure RE-GDA0003124485870000082
表示分别计算ka类各个图像到kb类第q个图像的距离,取最小值作为ka类到kb类第 q个图像的距离,依次计算ka类到kb类各个图像的距离后再取中值作为ka类到kb类距离(其中p,q∈K);同理等式右边取中间值作为ka类到kb类的距离,这两项共同决定了ka,kb两类之间的距离.将两两类间距离合并成矩阵形式;以此类推,最终得到矩阵的大小为N×N,即矩阵大小等于传感器采集到的场景进行降采样得到的不同类别的数量;
步骤2.2.定义相应两个类之间的权重系数wij(i,j∈kn),将wij按照位置对应关系写入相关矩阵Wij,定义
Figure RE-GDA0003124485870000083
为当前构造出的差值矩阵:
Figure RE-GDA0003124485870000084
式(3)中,
Figure RE-GDA0003124485870000085
为第n个图像对应的全局状态矩阵,
Figure RE-GDA0003124485870000086
为利用权重系数构造出的第n个图像的相关矩阵;
步骤2.3.定义卷积神经网络每一层输出的特征图上每个像素点在原始图像上映射的区域大小为R,根据构建的层次化结构图HSG,判断所述的映射区域大小R和设定的阈值δ关系,大致判断每一层的抽象层次;
步骤2.4.定义步骤2.2方法设计的网络训练出来的特征矩阵
Figure RE-GDA0003124485870000087
执行步骤 2.2后,计算其特征值和特征向量,选择特征矩阵
Figure RE-GDA0003124485870000088
中最小特征值对应的特征向量并初始化为
Figure RE-GDA0003124485870000089
步骤2.5.根据式(4)计算第t次网络迭代的距离最小值Dn,选择最小值解决网络的层次优化问题:
Figure RE-GDA00031244858700000810
式(4)中,在初始化
Figure RE-GDA0003124485870000091
下,不断的进行循环更新
Figure RE-GDA0003124485870000092
Figure RE-GDA0003124485870000093
与相关矩阵W(n)距离达到最小时,记录此时的
Figure RE-GDA0003124485870000094
值和网络迭代次数t;从而获得所述N个图像分类 K的距离最小值集合D={D1,D2,…,Dn,…,DN};
步骤2.6.重复步骤2.3到步骤2.5,从而获得所述第n个图像分类kn中第in个场景图像
Figure RE-GDA0003124485870000095
的层次化结构图
Figure RE-GDA0003124485870000096
从而获得所述N个图像分类K的训练所用的图像层次化结构图HSG={HSG1,HSG2,…,HSGn,…,HSGN};定义层次化结构图包含三个层次:低级、中级、高级。根据定义的三个层次分别提取其ln处图像特征,从而获得所述第n个图像分类kn中第in个场景图像的l处不同特征
Figure RE-GDA0003124485870000097
循环进行N个图像,得到最终的l处的总特征为
Figure RE-GDA0003124485870000098
按照特征提取先后顺序,先将
Figure RE-GDA0003124485870000099
Figure RE-GDA00031244858700000910
做外积操作,定义该方法得到的l处的双线性特征为
Figure RE-GDA00031244858700000911
将l处得到的双线性特征
Figure RE-GDA00031244858700000912
Figure RE-GDA00031244858700000913
做外积,此时得到了l处经过三个不同层次后的最终双线性特征
Figure RE-GDA00031244858700000914
利用式 (5)计算整幅图像的特征:
Figure RE-GDA00031244858700000915
式中P表示一幅图像的点数,最终将传感器采集到的数据降采样得到的N张图像总特征为X={X1,X2,…,Xn};
步骤3.构建所述的第n个图像分类kn中第in个场景图像的层次化特征分类识别压缩激励模型
Figure RE-GDA00031244858700000916
步骤3.1.定义步骤2.6得到的第n个图像提取到的特征Xn的大小为 Wn′×Hn′×C′n,其中Wn′表示宽度,Hn′表示高度,C′n表示特征图的通道个数;定义经过一个卷积操作后,得到该图像转换后的特征图为φn,大小为Wn×Hn×Cn
步骤3.2利用式(6)计算步骤3.1每个通道的转换细节:
Figure RE-GDA0003124485870000101
式(6)中,*表示卷积操作,
Figure RE-GDA0003124485870000102
表示特征图Xn在各通道上的二维平面信息,
Figure RE-GDA0003124485870000103
表示第c个滤波器在特征图Xn上各通道的参数信息;
步骤3.3重复执行步骤3.1,步骤3.2,从而获得所述所有数据的特征转换信息,定义x=[x1,x2,…,xn,…,xN]表示特征图X=[X1,X2,…,Xn,…,XN]在各通道上的二维平面信息;定义
Figure RE-GDA0003124485870000104
表示各滤波器在相应特征图上各通道的参数信息;
步骤3.4采用全局平均池化技术获得所述第in个特征空间转换图Xn的上下文信息;利用式(7)解决感受野的空间局限性问题:
Figure RE-GDA0003124485870000105
Figure RE-GDA00031244858700001014
Figure RE-GDA0003124485870000107
分别表示卷积变换后、压缩操作后第c个通道的输出,Fsq为全局特征压缩变换函数。
步骤3.5.采用编解码操作获得第in个特征转换图Xn的相关权重;将压缩后的1×1×C图像大小编码为
Figure RE-GDA0003124485870000108
γ为放缩因子;再经过解码操作回归到原来的 1×1×C图像大小,上述的编解码操作均是通过网络全连接层实现的;门控机制是由全连接层和激活函数交替组成,根据其学习通道之间的相关权重;
步骤3.6.对步骤3.5中得到的相关权重,为每个通道施加不同的激励,利用式(8)得到激励向量E;
Figure RE-GDA0003124485870000109
式(8)中,
Figure RE-GDA00031244858700001010
Figure RE-GDA00031244858700001011
分别表示修正线性单元和生物学中生长曲线两个激活函数,它们作为两个全连接层的附加权重,尺寸大小分别为
Figure RE-GDA00031244858700001012
R表示在实数空间内取值;
步骤3.7.重复步骤3.3到步骤3.6,利用式(8)得到的激励向量E重新加权原来的特征图X,即利用逐元素相乘的方式将最终的输出直接传入网络的后续层;层次化特征分类识别压缩激励模型
Figure RE-GDA00031244858700001013
可定义为:
Figure RE-GDA0003124485870000111
步骤4.使用信息论原理对步骤3所述的层次化特征分类识别压缩激励模型进行求解得到最终的贝叶斯优化方案;
步骤4.1.定义传感器捕获的视频序列降采样后得到的数据Ds,其服从 Ds~Pr[X,L]N概率分布;
步骤4.2.利用步骤2,步骤3构造的分类网络计算第in个划分出的三个层次集合
Figure RE-GDA0003124485870000112
中第
Figure RE-GDA0003124485870000113
个邻域范围
Figure RE-GDA0003124485870000114
属于第n个图像分类kn的概率
Figure RE-GDA0003124485870000115
从而获得所述第
Figure RE-GDA0003124485870000116
个邻域
Figure RE-GDA0003124485870000117
属于所属图像分类K中每个分类的概率;
步骤4.3.网络的损失函数如式(10)所示;
Figure RE-GDA0003124485870000118
步骤4.3.定义网络训练阶段采取Adam优化整个参数集,使其达到全局最小值,利用式(11)计算网络得到的最终最优模型
Figure RE-GDA0003124485870000119
Figure RE-GDA00031244858700001110
步骤4.4.定义交叉熵如式(12)所示;在网络训练过程中,每个输入样本经过网络输出的标签值L,所携带的信息量定义如式(13)所示:
Figure RE-GDA00031244858700001111
Figure RE-GDA00031244858700001112
如图3所示,当样本数量足够多时,网络模型训练接近全局最小值,此时有式(14):
Figure RE-GDA00031244858700001113
所以式(15)成立:
Figure RE-GDA00031244858700001114
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述,并非对本发明构思和范围进行限定,在不脱离本发明设计思想的前提下,本领域中工程技术人员对本发明的技术方案作出的各种变型和改进,均应落入本发明的保护范围,本发明请求保护的技术内容,已经全部记载在权利要求书中。

Claims (3)

1.基于分层压缩激励网络的户外多种场景快速分类识别方法,其特征在于,包括以下步骤:
步骤1、由于度量地图能够精确的表示地图中物体的位置关系,拓扑地图能够更加准确的描述地图元素之间的关系,结合度量地图和拓扑地图构图法的优势,利用两种地图,根据环境感知传感器获得的数据,获得环境中物体间、元素间的度量关系和拓扑关系;获取环境感知传感器采集的户外场景实时视频数据序列;定义环境感知传感器采集的实时视频数据序列为V,对实时视频数据序列V进行帧采样得到N个图像I={I1,I2,…In,…,IN},将N个图像分类为K={k1,k2,…,kn,…,kN},其中kn表示第n个图像分类结果;
每个图像分类中均包含若干个候选分类标签,记所述的第n个图像分类kn的候选标签为
Figure FDA0003071288320000011
l表示候选标签编号,
Figure FDA0003071288320000012
Figure FDA0003071288320000013
表示所述的第n个图像分类kn中可能存在的分类标签总数;则所述N个图像分类K的分类候选标签集合为L={L1,L2,…,Ln,…,LN};
步骤2、基于场景各元素间的度量关系、拓扑关系和传感器捕获的实时数据序列,使用分层特征提取方法,划分实时分类以识别典型运行场景,过程如下:
(2.1)、构建场景全局状态矩阵GW如公式(1)所示:
GW=diag(∑iw1i,∑iw2i,∑iw3i,…,∑iwpi,…,∑iwni) (1),
公式(1)中,i∈{1,2,…,T},p∈{1,2,…,n},T为实时数据采集的总时间数,wi表示i时刻图像与其它时刻图像之间的权重系数,wpi p∈{1,2,…,n}表示第p时刻图像与其它时刻图像之间的权重系数,并有如下公式(2):
Figure FDA0003071288320000014
公式(2)中:
ka表示任意第a个图像分类结果,kb表示任意第b个图像分类结果,ka,kb∈K;
dn(ka,kb)表示ka,kb两类之间的距离;
Figure FDA0003071288320000021
表示取ka类各个图像到kb类第q个图像的距离的最小值,作为ka类到kb类第q个图像的距离;
Figure FDA0003071288320000022
表示依次计算ka类到kb类各个图像的距离后再取中值作为ka类到kb类距离,其中p,q∈K;
Figure FDA0003071288320000023
表示取kb类各个图像到ka类第p个图像的距离的最小值,作为kb类到ka类第p个图像的距离;
Figure FDA0003071288320000024
表示依次计算kb类到ka类各个图像的距离后再取中值作为kb类到ka类距离,其中p,q∈K;计算完所有类两两之间的距离后,把它们组合成一个矩阵,大小为N×N,矩阵的第p行第q列表示第p类到第q类的特征的距离,即矩阵大小等于环境感知传感器采集到的场景实时视频数据序列进行降采样得到的不同类别的数量;
(2.2)、对步骤2.1获得的N×N大小的矩阵,采用CLR聚类算法对特征相似类进行聚类;
(2.3)、选取并标准化计算相关特征参数来表征每一个场景下的特征;对第i个场景下选取N个特征参数并进行归一化处理,得到第i个标准的参数向量vi=[vi,1,vi,2,…,vi,j,…vi,N],1≤j≤N vi,j表示第i个典型场景下的聚类块对应的第j个标准特征参数,从而得到N个标准参数向量并构成集合Z={Z1,Z2,…,Zi,…,ZN}
(2.4)、定义卷积神经网络每一层输出的特征图上每个像素点在原始图像上映射的区域大小为R,根据设定的阈值δ,将映射的区域R表征3个不同的抽象层次,分别为低层次、中层次、高层次;
(2.5)、根据(2.4)划分的3个不同的抽象层次,构建层次化网络训练模型,该层次化网络训练模型由输入层、处理层和输出层构成;定义所述层次化网络训练模型的输入向量为I=[I1,I2,…,IN]T;定义所述层次化网络训练模型的输入层和处理层间的连接矩阵为
Figure FDA0003071288320000025
定义所述层次化网络训练模型的处理层的输入向量为d=[d1,d2,…,di,…dN]T,di表示第i个标准特征参数向量Zi与所述模型的输入向量I之间的距离;定义所述层次化网络训练模型的处理层的输出向量为O=[O1,O2,…,Oi,…ON]T,Oi表示第i个场景下的状态值,当Oi取非零值时,表示所述层次化网络训练模型的输入向量I对应的特征块所识别出的典型特征块;定义所述层次化网络训练模型的处理层与输出层之间的连接矩阵
Figure FDA0003071288320000031
其中c=[1,1,1,…,1]N×1;定义所述层次化网络训练模型的输出向量为Y=[y1,y2,…,yi,…yN]T,yi表示第i个场景下的状态值,当yi取非零值时,表示所述层次化网络训练模型的输入向量I对应的特征类所识别出的真实场景所属类别;
(2.6)、对步骤(2.5)设计出的网络进行迭代,根据公式(3)计算第t次网络迭代的距离最小值Dn,选择最小值来解决网络的层次优化问题;定义步骤(2.5)设计的网络训练出来的特征矩阵
Figure FDA0003071288320000032
执行步骤(2.2)后,计算其特征值和特征向量,选择特征矩阵
Figure FDA0003071288320000033
中最小特征值对应的特征向量并初始化为
Figure FDA0003071288320000034
Figure FDA0003071288320000035
公式(3)中,||·||表示计算特征矩阵
Figure FDA0003071288320000036
Figure FDA0003071288320000037
的距离;在初始化
Figure FDA0003071288320000038
下,不断的进行循环更新
Figure FDA0003071288320000039
Figure FDA00030712883200000310
与相关矩阵
Figure FDA00030712883200000311
距离达到最小时,记录此时的
Figure FDA00030712883200000312
值和网络迭代次数t,从而获得所述N个图像分类K的距离最小值集合D={D1,D2,…,Dn,…,DN};
(2.7)、根据步骤(2.4~2.6),从而获得所述第n个图像分类kn中的层次化结构图HSGn,以及获得所述N个图像分类K的训练所用的图像层次化结构图HSG={HSG1,HSG2,…,HSGn,…,HSGN};
(2.8)、根据步骤(2.5)构建的层次化网络训练模型,从定义的三个层次上分别提取其l处图像特征,从而获得所述第n个图像分类kn的l处不同特征
Figure FDA00030712883200000313
Figure FDA00030712883200000314
分别表示第n个图像分类kn的l处低级、中级、高级特征;循环进行N个图像,得到最终的l处的总特征为
Figure FDA00030712883200000315
按照特征提取先后顺序,先将
Figure FDA00030712883200000316
Figure FDA00030712883200000317
做外积操作,得到l处的双线性特征为
Figure FDA00030712883200000318
将l处得到的双线性特征
Figure FDA00030712883200000319
Figure FDA00030712883200000320
做外积,得到l处经过三个不同层次后的最终双线性特征
Figure FDA00030712883200000321
利用公式(4)计算整幅图像的特征:
Figure FDA0003071288320000041
公式(4)中P表示一幅图像的点数,最终将环境感知传感器采集到的数据降采样得到的N张图像总特征为X={X1,X2,…,Xn,…XN},1≤n≤N;
步骤3、基于步骤2中最终得到的N张图像总特征为X={X1,X2,…,Xn},构建所述的第n个图像分类kn的层次化特征分类识别压缩激励模型M(n)
步骤4、对步骤3得到的层次化特征分类识别压缩激励模型M(n)进行求解,得到最终的贝叶斯优化方案。
2.根据权利要求1所述的基于分层压缩激励网络的户外多种场景快速分类识别方法,其特征在于,步骤3过程如下:
(3.1)、定义步骤(2.8)得到的第n个图像提取到的特征Xn的大小为Wn′×Hn′×C′n,其中Wn′表示宽度,Hn′表示高度,C′n表示特征图的通道个数;经过卷积操作后,得到该图像转换后的特征图为φn,大小为Wn×Hn×Cn
(3.2)、采用全局平均池化技术获得所述第n个特征空间转换图Xn的上下文信息;利用公式(5)解决感受野的空间局限性问题,公式(5)如下所示:
Figure FDA0003071288320000042
公式(5)中,Wn、Hn分别表示卷积变换后输出特征图的宽度、高度,φn表示卷积变换后的输出特征图,Fsq为全局特征压缩变换函数,zn表示第n个特征空间转换图经过压缩操作后的输出;
(3.3)、将步骤(3.2)压缩后的1×1×Cn图像大小变换成为
Figure FDA0003071288320000043
Cn为步骤(3.1)卷积变换后的通道数,γ为放缩因子;再经过反变换操作回归到原来的1×1×Cn图像大小,上述的变换、反变换操作均是通过卷积神经网络中网络全连接层实现的;对步骤2中的层次化网络训练模型输出层施加门控机制,门控机制由全连接层和激活函数交替组成,利用门控机制调整通道与通道之间的相关权重;
(3.4)、对步骤(3.3)中得到的相关权重,为每个通道施加不同的激励,利用公式(6)得到激励向量En,公式(6)如下;
Figure FDA0003071288320000051
公式(8)中,
Figure FDA0003071288320000052
Figure FDA0003071288320000053
分别表示修正线性单元和生物学中生长曲线两个激活函数,它们作为两个全连接层的附加权重,尺寸大小分别为
Figure FDA0003071288320000054
zn表示步骤(3.2)得到的压缩后的输出,W表示步骤(3.3)网络学习到的通道之间的相关权重;Fex表示激励函数;
(3.5)、重复步骤(3.2)到步骤(3.4),利用公式(6)得到的激励向量En重新加权原来的特征图X,即利用逐元素相乘的方式将最终的输出直接传入网络的后续层;层次化特征分类识别压缩激励模型M(n)可定义为如公式(7)所示:
Figure FDA0003071288320000055
3.根据权利要求1或2所述的基于分层压缩激励网络的户外多种场景快速分类识别方法,其特征在于,步骤4过程如下:
(4.1)、设环境感知传感器捕获的视频图像序列降采样后得到的数据为Ds,且Ds服从Ds~Pr[I,L]N概率分布,其中I为输入图像、L为候选标签;
(4.2)、卷积神经网络的损失函数按公式(8)计算得到:
Figure FDA0003071288320000056
其中
Figure FDA0003071288320000057
表示损失函数,fθ(I)表示通过监督式学习训练输出对应类别的概率,
Figure FDA0003071288320000058
表示fθ(L)输出的预测类别;
(4.3)、定义卷积神经网络训练阶段采取Adam优化整个参数集,使其达到全局最小值,进而获得最优网络模型;当样本数量足够多时,网络模型训练接近全局最小值,此时模型预测效果最好。
CN202110539935.7A 2021-05-18 2021-05-18 基于分层压缩激励网络的户外多种场景快速分类识别方法 Active CN113297942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110539935.7A CN113297942B (zh) 2021-05-18 2021-05-18 基于分层压缩激励网络的户外多种场景快速分类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110539935.7A CN113297942B (zh) 2021-05-18 2021-05-18 基于分层压缩激励网络的户外多种场景快速分类识别方法

Publications (2)

Publication Number Publication Date
CN113297942A true CN113297942A (zh) 2021-08-24
CN113297942B CN113297942B (zh) 2022-09-27

Family

ID=77322573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110539935.7A Active CN113297942B (zh) 2021-05-18 2021-05-18 基于分层压缩激励网络的户外多种场景快速分类识别方法

Country Status (1)

Country Link
CN (1) CN113297942B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650690A (zh) * 2016-12-30 2017-05-10 东华大学 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
CN109934241A (zh) * 2019-03-28 2019-06-25 南开大学 可集成到神经网络架构中的图像多尺度信息提取方法及应用
CN109977968A (zh) * 2019-03-25 2019-07-05 合肥工业大学 一种深度学习分类后比较的sar变化检测方法
US20200086879A1 (en) * 2018-09-14 2020-03-19 Honda Motor Co., Ltd. Scene classification prediction
CN111723675A (zh) * 2020-05-26 2020-09-29 河海大学 基于多重相似性度量深度学习的遥感图像场景分类方法
CN112464732A (zh) * 2020-11-04 2021-03-09 北京理工大学重庆创新中心 基于双路径稀疏分层网络的光学遥感图像地物分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650690A (zh) * 2016-12-30 2017-05-10 东华大学 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
US20200086879A1 (en) * 2018-09-14 2020-03-19 Honda Motor Co., Ltd. Scene classification prediction
CN109977968A (zh) * 2019-03-25 2019-07-05 合肥工业大学 一种深度学习分类后比较的sar变化检测方法
CN109934241A (zh) * 2019-03-28 2019-06-25 南开大学 可集成到神经网络架构中的图像多尺度信息提取方法及应用
CN111723675A (zh) * 2020-05-26 2020-09-29 河海大学 基于多重相似性度量深度学习的遥感图像场景分类方法
CN112464732A (zh) * 2020-11-04 2021-03-09 北京理工大学重庆创新中心 基于双路径稀疏分层网络的光学遥感图像地物分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WU K W 等: "Monocular depth prediction with residual DenseASPP network", 《IEEE ACCESS》 *
刘国帅等: "自然场景图像与合成图像的快速分类", 《中国图象图形学报》 *
刘杰平 等: "基于多尺度注意力导向网络的单目图像深度估计", 《华南理工大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
CN113297942B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
JP7317050B2 (ja) 異なるデータモダリティの統計モデルを統合するためのシステムおよび方法
CN107506740B (zh) 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN107766894B (zh) 基于注意力机制和深度学习的遥感图像自然语言生成方法
CN111310707B (zh) 基于骨骼的图注意力网络动作识别方法及系统
CN107341452B (zh) 基于四元数时空卷积神经网络的人体行为识别方法
CN110046671A (zh) 一种基于胶囊网络的文本分类方法
CN114926746B (zh) 基于多尺度差分特征注意力机制的sar图像变化检测方法
CN107451565B (zh) 一种半监督小样本深度学习图像模式分类识别方法
CN113378854A (zh) 一种融合原始点云和体素划分的点云目标检测方法
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN113313123B (zh) 一种基于语义推断的扫视路径预测方法
CN115100709B (zh) 一种特征分离的图像人脸识别与年龄估计方法
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN110188827A (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
CN114692732A (zh) 一种在线标签更新的方法、系统、装置及存储介质
Zhang et al. Image target recognition model of multi-channel structure convolutional neural network training automatic encoder
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
Du et al. Multi-feature based network for multivariate time series classification
CN113780129A (zh) 基于无监督图序列预测编码的动作识别方法及存储介质
CN112528788A (zh) 一种基于域不变特征和时空特征的重识别方法
CN113297942B (zh) 基于分层压缩激励网络的户外多种场景快速分类识别方法
CN115392474B (zh) 一种基于迭代优化的局部感知图表示学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant