CN113297942B - 基于分层压缩激励网络的户外多种场景快速分类识别方法 - Google Patents
基于分层压缩激励网络的户外多种场景快速分类识别方法 Download PDFInfo
- Publication number
- CN113297942B CN113297942B CN202110539935.7A CN202110539935A CN113297942B CN 113297942 B CN113297942 B CN 113297942B CN 202110539935 A CN202110539935 A CN 202110539935A CN 113297942 B CN113297942 B CN 113297942B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- feature
- representing
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分层压缩激励网络的室外多种场景快速分类识别方法,其步骤包括:1.根据传感器设备采集的实时数据,通过分层压缩激励网络得到周围场景片段的全局信息;2.基于全局场景信息建立场景快速分类识别模型;3.通过构造差值矩阵,约束非零行的个数对分类识别模型进行层次化设计,得到优化后的网络结构,让分层压缩激励网络自适应地、有目的地处理图像特征。本发明提供了一种考虑户外多种场景的同时,计算方法简单的快速分类识别方法,结构优化后的分类识别网络运行损失得到了大幅降低。
Description
技术领域
本发明涉及基于神经网络的图像识别方法领域,具体是一种基于分层压缩激励网络的户外多种场景快速分类识别方法。
背景技术
室外场景的分类识别在智能交通系统和智能监控系统中具有广泛的应用前景,但它目前仍然是计算机视觉领域的一项难题,原因是室外场景较为复杂,拥有太多的不确定因素,如行人、车、动物、光照、环境等随机性较大,无法等同于任何一种典型的场景。加之背景较为复杂,导致分类识别的准确率不高。
在整个图像处理领域中,特征提取技术是最基本也是最重要的步骤。近年来,大多科研人员针对图像处理的研究主要集中在特征提取方面,用于特征提取的方法对图像进行分析和处理也日益成熟。目前,随着深度学习技术的发展,网络模型尽管可以缓解梯度消失问题,但网络各层提取出的特征虽能够有效的往后传播, 但后层得到的特征利用了前面多个层的输出,信息传播会存在一定的冗余性,因此会影响网络总体提取特征的效率.而且神经网络的生物学基础支持不足,对图像的理解没有记忆功能,对特征进行理解的能力不足。
发明内容
本发明目的是针对现有的方法对场景特征理解的能力不足的缺陷,提供一种基于分层压缩激励网络的室外多种场景快速分类识别方法,以期能够在完成分类识别任务时对提取到的特征进行优化处理,从而得到更加符合人对场景理解的信息元特性,减少网络运行时的损失。
为了达到上述目的,本发明所采用的技术方案为:
基于分层压缩激励网络的户外多种场景快速分类识别方法,其特征在于,包括以下步骤:
步骤1、由于度量地图能够精确的表示地图中物体的位置关系,拓扑地图能够更加准确的描述地图元素之间的关系,结合度量地图和拓扑地图构图法的优势,利用两种地图,根据环境感知传感器获得的数据,获得环境中物体间、元素间的度量关系和拓扑关系;获取环境感知传感器采集的户外场景实时视频数据序列;定义环境感知传感器采集的实时视频数据序列为V,对实时视频数据序列V 进行帧采样得到N个图像I={I1,I2,…In,…,IN},将N个图像分类为 K={k1,k2,…,kn,…,kN},其中kn表示第n个图像分类结果;
每个图像分类中均包含若干个候选分类标签,记所述的第n个图像分类kn的候选标签为l表示候选标签编号,表示所述的第n个图像分类kn中可能存在的分类标签总数;则所述N个图像分类K的分类候选标签集合为L={L1,L2,…,Ln,…,LN};
步骤2、基于场景各元素间的度量关系、拓扑关系和传感器捕获的实时数据序列,使用分层特征提取方法,划分实时分类以识别典型运行场景,过程如下:
(2.1)、构建场景全局状态矩阵GW如公式(1)所示:
GW=diag(∑iw1i,∑iw2i,∑iw3i,…,∑iwpi,…,∑iwni) (1),
公式(1)中,i∈{1,2,…,T},p∈{1,2,…,n},T为实时数据采集的总时间数,wi表示i时刻图像与其它时刻图像之间的权重系数,wpi p∈{1,2,…,n}表示第p时刻图像与其它时刻图像之间的权重系数,并有如下公式(2):
公式(2)中:
ka表示任意第a个图像分类结果,kb表示任意第b个图像分类结果,ka,kb∈K;
dn(ka,kb)表示ka,kb两类之间的距离;
表示取kb类各个图像到ka类第p个图像的距离的最小值,作为kb类到ka类第p个图像的距离;表示依次计算kb类到ka类各个图像的距离后再取中值作为kb类到ka类距离,其中p,q∈K;计算完所有类两两之间的距离后,把它们组合成一个矩阵,大小为N×N,矩阵的第p行第q列表示第p类到第q类的特征的距离,即矩阵大小等于环境感知传感器采集到的场景实时视频数据序列进行降采样得到的不同类别的数量;
(2.2)、对步骤2.1获得的N×N大小的矩阵,采用CLR聚类算法对特征相似类进行聚类;
(2.3)、选取并标准化计算相关特征参数来表征每一个场景下的特征;对第 i个场景下选取N个特征参数并进行归一化处理,得到第i个标准的参数向量 vi=[vi,1,vi,2,…,vi,j,…vi,N],1≤j≤N vi,j表示第i个典型场景下的聚类块对应的第j个标准特征参数,从而得到N个标准参数向量并构成集合Z={Z1,Z2,…,Zi,…,ZN}
(2.4)、定义卷积神经网络每一层输出的特征图上每个像素点在原始图像上映射的区域大小为R,根据设定的阈值δ,将映射的区域R表征3个不同的抽象层次,分别为低层次、中层次、高层次;
(2.5)、根据(2.4)划分的3个不同的抽象层次,构建层次化网络训练模型,该层次化网络训练模型由输入层、处理层和输出层构成;定义所述层次化网络训练模型的输入向量为I=[I1,I2,…,IN]T;定义所述层次化网络训练模型的输入层和处理层间的连接矩阵为定义所述层次化网络训练模型的处理层的输入向量为d=[d1,d2,…,di,…dN]T,di表示第i个标准特征参数向量Zi与所述模型的输入向量I之间的距离;定义所述层次化网络训练模型的处理层的输出向量为O=[O1,O2,…,Oi,…ON]T,Oi表示第i个场景下的状态值,当Oi取非零值时,表示所述层次化网络训练模型的输入向量I对应的特征块所识别出的典型特征块;定义所述层次化网络训练模型的处理层与输出层之间的连接矩阵其中c=[1,1,1,…,1]N×1;定义所述层次化网络训练模型的输出向量为 Y=[y1,y2,…,yi,…yN]T,yi表示第i个场景下的状态值,当yi取非零值时,表示所述层次化网络训练模型的输入向量I对应的特征类所识别出的真实场景所属类别;
(2.6)、对步骤(2.5)设计出的网络进行迭代,根据公式(3)计算第t次网络迭代的距离最小值Dn,选择最小值来解决网络的层次优化问题;定义步骤 (2.5)设计的网络训练出来的特征矩阵执行步骤(2.2)后,计算其特征值和特征向量,选择特征矩阵中最小特征值对应的特征向量并初始化为
公式(3)中,||·||表示计算特征矩阵和GW (n)的距离;在初始化下,不断的进行循环更新当与相关矩阵GW (n)距离达到最小时,记录此时的值和网络迭代次数t,从而获得所述N个图像分类K的距离最小值集合 D={D1,D2,…,Dn,…,DN};
(2.7)、根据步骤(2.4~2.6),从而获得所述第n个图像分类kn中的层次化结构图HSGn,以及获得所述N个图像分类K的训练所用的图像层次化结构图 HSG={HSG1,HSG2,…,HSGn,…,HSGN};
(2.8)、根据步骤(2.5)构建的层次化网络训练模型,从定义的三个层次上分别提取其l处图像特征,从而获得所述第n个图像分类kn的l处不同特征1≤n≤N,分别表示第n个图像分类kn的l处低级、中级、高级特征;循环进行N个图像,得到最终的l处的总特征为
公式(4)中P表示一幅图像的点数,最终将环境感知传感器采集到的数据降采样得到的N张图像总特征为X={X1,X2,…,Xn,…XN},1≤n≤N;
步骤3、基于步骤2中最终得到的N张图像总特征为X={X1,X2,…,Xn},构建所述的第n个图像分类kn的层次化特征分类识别压缩激励模型M(n);
步骤4、对步骤3得到的层次化特征分类识别压缩激励模型M(n)进行求解,得到最终的贝叶斯优化方案。
步骤3过程如下:
(3.1)、定义步骤(2.8)得到的第n个图像提取到的特征Xn的大小为 Wn′×Hn′×C′n,其中Wn′表示宽度,Hn′表示高度,C′n表示特征图的通道个数;经过卷积操作后,得到该图像转换后的特征图为φn,大小为Wn×Hn×Cn;
(3.2)、采用全局平均池化技术获得所述第n个特征空间转换图Xn的上下文信息;利用公式(5)解决感受野的空间局限性问题,公式(5)如下所示:
公式(5)中,Wn、Hn分别表示卷积变换后输出特征图的宽度、高度,φn表示卷积变换后的输出特征图,Fsq为全局特征压缩变换函数,zn表示第n个特征空间转换图经过压缩操作后的输出;
(3.3)、将步骤(3.2)压缩后的1×1×Cn图像大小变换成为Cn为步骤(3.1)卷积变换后的通道数,γ为放缩因子;再经过反变换操作回归到原来的 1×1×Cn图像大小,上述的变换、反变换操作均是通过卷积神经网络中网络全连接层实现的;对步骤2中的层次化网络训练模型输出层施加门控机制,门控机制由全连接层和激活函数交替组成,利用门控机制调整通道与通道之间的相关权重;
(3.4)、对步骤(3.3)中得到的相关权重,为每个通道施加不同的激励,利用公式(6)得到激励向量En,公式(6)如下;
公式(8)中,和分别表示修正线性单元和生物学中生长曲线两个激活函数,它们作为两个全连接层的附加权重,尺寸大小分别为 zn表示步骤(3.2)得到的压缩后的输出,W表示步骤(3.3)网络学习到的通道之间的相关权重;Fex表示激励函数;
(3.5)、重复步骤(3.2)到步骤(3.4),利用公式(6)得到的激励向量En重新加权原来的特征图X,即利用逐元素相乘的方式将最终的输出直接传入网络的后续层;层次化特征分类识别压缩激励模型M(n)可定义为如公式(7)所示:
步骤4过程如下:
(4.1)、设环境感知传感器捕获的视频图像序列降采样后得到的数据为Ds,且Ds服从Ds~Pr[I,L]N概率分布,其中I为输入图像、L为候选标签;
(4.2)、卷积神经网络的损失函数按公式(8)计算得到:
(4.3)、定义卷积神经网络训练阶段采取Adam优化整个参数集,使其达到全局最小值,进而获得最优网络模型;当样本数量足够多时,网络模型训练接近全局最小值,此时模型预测效果最好。
与已有技术相比,本发明有益效果体现在:
1、利用信息论的相关知识,搭建了一个新型分类网络,较好的解决了网络对局部特征不敏感的分类问题,对网络提取出的特征拥有更多的“记忆性”。
2、在网络训练中,通过构造层次化网络训练模型将网络的层次优化转化为求函数的最小值,不断的循环更新特征矩阵。有利于网络精准的分层,让网络自适应地、有目的地处理这些特征;
3、根据场景分类识别的问题特性,将学习机制整合到分类网络中,捕获特征的空间相关性。在密集型网络的基础之上,引入分层的压缩激励结构块。根据感受野的大小将网络合适的分层,低层次的压缩激励块用来学习激励特征,增加待处理图像各通道之间的相互依赖性,增强图像特征共享的能力。当网络达到较高层次时,随着感受野范围的增大,网络可以同时受益于在此之前产生的低层、中层和高层特征,此时分层的压缩激励结构块越来越专业化,自适应能力更强,网络累积到后端其功能重新校准的能力更强。各层次之间能够相互协作,更好的将空间注意纳入到网络结构中。
附图说明
图1是本发明基于分层压缩激励网络的室外多种场景快速分类识别方法的流程示意图。
图2是本发明基于分层压缩激励网络的室外多种场景快速分类识别方法的具体实施步骤流程图。
图3是本发明基于分层压缩激励网络的室外多种场景快速分类识别方法的损失结果图。
具体实施方式
本实施例中,如图1和图2所示,一种基于分层压缩激励网络的室外多种场景快速分类识别方法是按如下步骤进行:
定义传感器捕获的视频序列为V,对其进行帧采样得到N个图像,定义N个图像分类为K={k1,k2,…,kn,…,kN};kn表示第n个图像分类结果;每个图像分类中包含若干个候选分类标签;记所述的第n个图像分类kn的候选标签为ln表示候选标签编号,表示所述的第n个图像分类kn中可能存在的分类标签总数;则所述N个图像分类K的分类候选标签集合为L={L1,L2,…,Ln,…,LN},记η为所述分类标签集合L中所有分类标签的总数,并有
对视频序列进行降采样获得N个图像时,记所述其中的第n个图像分类kn中含有训练集自身所包含的标签图像为表示第n个图像分类kn中第in个训练图像,表示所述第n个图像分类kn中第in个训练图像的自身标签集合,1≤in≤ij;ij表示所述第n个图像分类kn中训练集内包含的室外场景图像的总数;则所述N个图像分类K的训练室外场景图像集合为 T={T1,T2,…,Tn,…,TN};记目标的场景图像为T0;
所述室外多种场景快速分类识别方法是按如下步骤进行:
步骤1.获取环境感知传感器元件信息、场景各个元素之间的度量关系、拓扑关系和实时数据;
步骤2.基于场景各元素间的时空关系和传感器捕获的实时数据,使用分层特征提取有用特征方法划分实时分类识别典型运行场景:
步骤2.1.利用式(1)构建场景全局状态矩阵GW:
GW=diag(∑iw1i,∑iw2i,∑iw3i,…,∑iwpi,…,∑iwnq) (1)
式(1)中,i∈{1,2,…,T},T为实时数据采集的总时间数,wi表示i时刻图像与其它时刻之间的权重系数,并有:
式(2)中,dn(ka,kb)表示ka,kb两类之间的距离(其中ka,kb∈kn),表示分别计算ka类各个图像到kb类第q个图像的距离,取最小值作为ka类到kb类第 q个图像的距离,依次计算ka类到kb类各个图像的距离后再取中值作为ka类到kb类距离(其中p,q∈K);同理等式右边取中间值作为ka类到kb类的距离,这两项共同决定了ka,kb两类之间的距离.将两两类间距离合并成矩阵形式;以此类推,最终得到矩阵的大小为N×N,即矩阵大小等于传感器采集到的场景进行降采样得到的不同类别的数量;
步骤2.3.定义卷积神经网络每一层输出的特征图上每个像素点在原始图像上映射的区域大小为R,根据构建的层次化结构图HSG,判断所述的映射区域大小R和设定的阈值δ关系,大致判断每一层的抽象层次;
步骤2.5.根据式(4)计算第t次网络迭代的距离最小值Dn,选择最小值解决网络的层次优化问题:
步骤2.6.重复步骤2.3到步骤2.5,从而获得所述第n个图像分类kn中第in个场景图像的层次化结构图从而获得所述N个图像分类K的训练所用的图像层次化结构图HSG={HSG1,HSG2,…,HSGn,…,HSGN};定义层次化结构图包含三个层次:低级、中级、高级。根据定义的三个层次分别提取其ln处图像特征,从而获得所述第n个图像分类kn中第in个场景图像的l处不同特征循环进行N个图像,得到最终的l处的总特征为按照特征提取先后顺序,先将和做外积操作,定义该方法得到的l处的双线性特征为将l处得到的双线性特征与做外积,此时得到了l处经过三个不同层次后的最终双线性特征利用式 (5)计算整幅图像的特征:
式中P表示一幅图像的点数,最终将传感器采集到的数据降采样得到的N张图像总特征为X={X1,X2,…,Xn};
步骤3.1.定义步骤2.6得到的第n个图像提取到的特征Xn的大小为 Wn′×Hn′×C′n,其中Wn′表示宽度,Hn′表示高度,C′n表示特征图的通道个数;定义经过一个卷积操作后,得到该图像转换后的特征图为φn,大小为Wn×Hn×Cn;
步骤3.2利用式(6)计算步骤3.1每个通道的转换细节:
步骤3.3重复执行步骤3.1,步骤3.2,从而获得所述所有数据的特征转换信息,定义x=[x1,x2,…,xn,…,xN]表示特征图X=[X1,X2,…,Xn,…,XN]在各通道上的二维平面信息;定义表示各滤波器在相应特征图上各通道的参数信息;
步骤3.4采用全局平均池化技术获得所述第in个特征空间转换图Xn的上下文信息;利用式(7)解决感受野的空间局限性问题:
步骤3.5.采用编解码操作获得第in个特征转换图Xn的相关权重;将压缩后的1×1×C图像大小编码为γ为放缩因子;再经过解码操作回归到原来的 1×1×C图像大小,上述的编解码操作均是通过网络全连接层实现的;门控机制是由全连接层和激活函数交替组成,根据其学习通道之间的相关权重;
步骤3.6.对步骤3.5中得到的相关权重,为每个通道施加不同的激励,利用式(8)得到激励向量E;
步骤4.使用信息论原理对步骤3所述的层次化特征分类识别压缩激励模型进行求解得到最终的贝叶斯优化方案;
步骤4.1.定义传感器捕获的视频序列降采样后得到的数据Ds,其服从 Ds~Pr[X,L]N概率分布;
步骤4.3.网络的损失函数如式(10)所示;
步骤4.4.定义交叉熵如式(12)所示;在网络训练过程中,每个输入样本经过网络输出的标签值L,所携带的信息量定义如式(13)所示:
如图3所示,当样本数量足够多时,网络模型训练接近全局最小值,此时有式(14):
所以式(15)成立:
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述,并非对本发明构思和范围进行限定,在不脱离本发明设计思想的前提下,本领域中工程技术人员对本发明的技术方案作出的各种变型和改进,均应落入本发明的保护范围,本发明请求保护的技术内容,已经全部记载在权利要求书中。
Claims (3)
1.基于分层压缩激励网络的户外多种场景快速分类识别方法,其特征在于,包括以下步骤:
步骤1、由于度量地图能够精确的表示地图中物体的位置关系,拓扑地图能够更加准确的描述地图元素之间的关系,结合度量地图和拓扑地图构图法的优势,利用两种地图,根据环境感知传感器获得的数据,获得环境中物体间、元素间的度量关系和拓扑关系;获取环境感知传感器采集的户外场景实时视频数据序列;定义环境感知传感器采集的实时视频数据序列为V,对实时视频数据序列V进行帧采样得到N个图像I={I1,I2,…In,…,IN},将N个图像分类为K={k1,k2,…,kn,…,kN},其中kn表示第n个图像分类结果;
每个图像分类中均包含若干个候选分类标签,记所述的第n个图像分类结果kn的候选标签为l表示候选标签编号, 表示所述的第n个图像分类kn中可能存在的分类标签总数;则所述N个图像分类K的分类候选标签集合为L={L1,L2,…,Ln,…,LN};
步骤2、基于场景各元素间的度量关系、拓扑关系和传感器捕获的实时数据序列,使用分层特征提取方法,划分实时分类以识别典型运行场景,过程如下:
(2.1)、构建场景全局状态矩阵GW如公式(1)所示:
GW=diag(∑iw1i,∑iw2i,∑iw3i,…,∑iwpi,…,∑iwni) (1),
公式(1)中,i∈{1,2,…,T},p∈{1,2,…,n},T为实时数据采集的总时间数,wpi表示第p时刻图像与其它时刻图像之间的权重系数,并有如下公式(2):
公式(2)中:
ka表示任意第a个图像分类结果,kb表示任意第b个图像分类结果,ka,kb∈K;
dn(ka,kb)表示ka,kb两类之间的距离;
表示取kb类各个图像到ka类第p个图像的距离的最小值,作为kb类到ka类第p个图像的距离;表示依次计算kb类到ka类各个图像的距离后再取中值作为kb类到ka类距离,其中p,q∈K;计算完所有类两两之间的距离后,把它们组合成一个矩阵,大小为N×N,矩阵的第p行第q列表示第p类到第q类的特征的距离,即矩阵大小等于环境感知传感器采集到的场景实时视频数据序列进行降采样得到的不同类别的数量;
(2.2)、对步骤2.1获得的N×N大小的矩阵,采用CLR聚类算法对特征相似类进行聚类;
(2.3)、选取并标准化计算相关特征参数来表征每一个场景下的特征;对第i个场景下选取N个特征参数并进行归一化处理,得到第i个标准的参数向量vi=[vi,1,vi,2,…,vi,j,…vi,T],1≤j≤T,vi,j表示第i个典型场景下的聚类块对应的第j个标准特征参数,从而得到T个标准参数向量并构成集合Z={Z1,Z2,…,Zi,…,ZT}
(2.4)、定义卷积神经网络每一层输出的特征图上每个像素点在原始图像上映射的区域大小为R,根据设定的阈值δ,将映射的区域R表征3个不同的抽象层次,分别为低层次、中层次、高层次;
(2.5)、根据(2.4)划分的3个不同的抽象层次,构建层次化网络训练模型,该层次化网络训练模型由输入层、处理层和输出层构成;定义所述层次化网络训练模型的输入向量为I=[I1,I2,…,IN]T;定义所述层次化网络训练模型的输入层和处理层间的连接矩阵为定义所述层次化网络训练模型的处理层的输入向量为d=[d1,d2,…,dμ,…dN]T,dμ表示第μ个标准特征参数向量Zμ与所述模型的输入向量I之间的距离;定义所述层次化网络训练模型的处理层的输出向量为O=[O1,O2,…,Oμ,…ON]T,Oμ表示第μ个场景下的状态值,当Oμ取非零值时,表示所述层次化网络训练模型的输入向量I对应的特征块所识别出的典型特征块;定义所述层次化网络训练模型的处理层与输出层之间的连接矩阵其中c=[1,1,1,…,1]N×1;定义所述层次化网络训练模型的输出向量为Y=[y1,y2,…,yμ,…yN]T,yμ表示第μ个场景下的状态值,当yμ取非零值时,表示所述层次化网络训练模型的输入向量I对应的特征类所识别出的真实场景所属类别;
(2.6)、对步骤(2.5)设计出的网络进行迭代,根据公式(3)计算第n次网络迭代的距离最小值Dn,选择最小值来解决网络的层次优化问题;定义步骤(2.5)设计的网络训练出来的特征矩阵执行步骤(2.2)后,计算其特征值和特征向量,选择特征矩阵中最小特征值对应的特征向量并初始化为
公式(3)中,GW (n)表示公式(1)计算出的全局状态矩阵GW在网络第n次迭代后得到的矩阵;||·||表示计算特征矩阵和GW (n)的距离;在初始化下,不断的进行循环更新当与相关矩阵GW (n)距离达到最小时,记录此时的值和网络迭代次数t,从而获得所述N个图像分类K的距离最小值集合D={D1,D2,…,Dn,…,DN};
(2.7)、根据步骤(2.4~2.6),从而获得所述第n个图像分类kn中的层次化结构图HSGn,以及获得所述N个图像分类K的训练所用的图像层次化结构图HSG={HSG1,HSG2,…,HSGn,…,HSGN};
(2.8)、根据步骤(2.5)构建的层次化网络训练模型,从定义的三个层次上分别提取其l处图像特征,从而获得所述第n个图像分类kn的l处不同特征1≤n≤N,分别表示第n个图像分类kn的l处低级、中级、高级特征;循环进行N个图像,得到最终的l处的总特征为
公式(4)中P表示一幅图像的点数,最终将环境感知传感器采集到的数据降采样得到的N张图像总特征为X={X1,X2,…,Xn,…XN},1≤n≤N;
步骤3、基于步骤2中最终得到的N张图像总特征为X={X1,X2,…,Xn,…XN},构建所述的第n个图像分类kn的层次化特征分类识别压缩激励模型M(n);
步骤4、对步骤3得到的层次化特征分类识别压缩激励模型M(n)进行求解,得到最终的贝叶斯优化方案。
2.根据权利要求1所述的基于分层压缩激励网络的户外多种场景快速分类识别方法,其特征在于,步骤3过程如下:
(3.1)、定义步骤(2.8)得到的第n个图像提取到的特征Xn的大小为Wn′×Hn′×C′n,其中Wn′表示宽度,Hn′表示高度,C′n表示特征图的通道个数;经过卷积操作后,得到该图像转换后的特征图为φn,大小为Wn×Hn×Cn;
(3.2)、采用全局平均池化技术获得所述图像转换后的特征图φn的上下文信息;利用公式(5)解决感受野的空间局限性问题,公式(5)如下所示:
公式(5)中,Wn、Hn分别表示卷积变换后输出特征图的宽度、高度,φn表示卷积变换后的输出特征图,Fsq为全局特征压缩变换函数,zn表示第n个特征空间转换图经过压缩操作后的输出;
(3.3)、将步骤(3.2)压缩后的1×1×Cn图像大小变换成为Cn为步骤(3.1)卷积变换后的通道数,γ为放缩因子;再经过反变换操作回归到原来的1×1×Cn图像大小,上述的变换、反变换操作均是通过卷积神经网络中网络全连接层实现的;对步骤2中的层次化网络训练模型输出层施加门控机制,门控机制由全连接层和激活函数交替组成,利用门控机制调整通道与通道之间的相关权重;
(3.4)、对步骤(3.3)中得到的相关权重,为每个通道施加不同的激励,利用公式(6)得到激励向量En,公式(6)如下;
公式(6)中,和分别表示修正线性单元和生物学中生长曲线两个激活函数,它们作为两个全连接层的附加权重,尺寸大小分别为zn表示步骤(3.2)得到的压缩后的输出,W表示步骤(3.3)网络学习到的通道之间的相关权重;Fex表示激励函数;
(3.5)、重复步骤(3.2)到步骤(3.4),利用公式(6)得到的激励向量En重新加权原来的特征图X,即利用逐元素相乘的方式将最终的输出直接传入网络的后续层;层次化特征分类识别压缩激励模型M(n)可定义为如公式(7)所示:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110539935.7A CN113297942B (zh) | 2021-05-18 | 2021-05-18 | 基于分层压缩激励网络的户外多种场景快速分类识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110539935.7A CN113297942B (zh) | 2021-05-18 | 2021-05-18 | 基于分层压缩激励网络的户外多种场景快速分类识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113297942A CN113297942A (zh) | 2021-08-24 |
CN113297942B true CN113297942B (zh) | 2022-09-27 |
Family
ID=77322573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110539935.7A Active CN113297942B (zh) | 2021-05-18 | 2021-05-18 | 基于分层压缩激励网络的户外多种场景快速分类识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113297942B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650690A (zh) * | 2016-12-30 | 2017-05-10 | 东华大学 | 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法 |
CN109934241A (zh) * | 2019-03-28 | 2019-06-25 | 南开大学 | 可集成到神经网络架构中的图像多尺度信息提取方法及应用 |
CN109977968A (zh) * | 2019-03-25 | 2019-07-05 | 合肥工业大学 | 一种深度学习分类后比较的sar变化检测方法 |
CN111723675A (zh) * | 2020-05-26 | 2020-09-29 | 河海大学 | 基于多重相似性度量深度学习的遥感图像场景分类方法 |
CN112464732A (zh) * | 2020-11-04 | 2021-03-09 | 北京理工大学重庆创新中心 | 基于双路径稀疏分层网络的光学遥感图像地物分类方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11034357B2 (en) * | 2018-09-14 | 2021-06-15 | Honda Motor Co., Ltd. | Scene classification prediction |
-
2021
- 2021-05-18 CN CN202110539935.7A patent/CN113297942B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650690A (zh) * | 2016-12-30 | 2017-05-10 | 东华大学 | 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法 |
CN109977968A (zh) * | 2019-03-25 | 2019-07-05 | 合肥工业大学 | 一种深度学习分类后比较的sar变化检测方法 |
CN109934241A (zh) * | 2019-03-28 | 2019-06-25 | 南开大学 | 可集成到神经网络架构中的图像多尺度信息提取方法及应用 |
CN111723675A (zh) * | 2020-05-26 | 2020-09-29 | 河海大学 | 基于多重相似性度量深度学习的遥感图像场景分类方法 |
CN112464732A (zh) * | 2020-11-04 | 2021-03-09 | 北京理工大学重庆创新中心 | 基于双路径稀疏分层网络的光学遥感图像地物分类方法 |
Non-Patent Citations (3)
Title |
---|
Monocular depth prediction with residual DenseASPP network;WU K W 等;《IEEE Access》;20200702;全文 * |
基于多尺度注意力导向网络的单目图像深度估计;刘杰平 等;《华南理工大学学报(自然科学版)》;20201231;全文 * |
自然场景图像与合成图像的快速分类;刘国帅等;《中国图象图形学报》;20170516(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113297942A (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7317050B2 (ja) | 異なるデータモダリティの統計モデルを統合するためのシステムおよび方法 | |
CN111259786B (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
CN107506740B (zh) | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 | |
CN107341452B (zh) | 基于四元数时空卷积神经网络的人体行为识别方法 | |
CN109308485B (zh) | 一种基于字典域适应的迁移稀疏编码图像分类方法 | |
CN114926746B (zh) | 基于多尺度差分特征注意力机制的sar图像变化检测方法 | |
CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
CN107451565B (zh) | 一种半监督小样本深度学习图像模式分类识别方法 | |
CN107767416B (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
CN113313123B (zh) | 一种基于语义推断的扫视路径预测方法 | |
CN115100709B (zh) | 一种特征分离的图像人脸识别与年龄估计方法 | |
CN111738363A (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
CN110188827A (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
CN109472733A (zh) | 基于卷积神经网络的图像隐写分析方法 | |
CN114692732A (zh) | 一种在线标签更新的方法、系统、装置及存储介质 | |
CN111968124A (zh) | 基于半监督语义分割的肩部肌骨超声结构分割方法 | |
CN114780767A (zh) | 一种基于深度卷积神经网络的大规模图像检索方法及系统 | |
CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
CN112528788B (zh) | 一种基于域不变特征和时空特征的重识别方法 | |
CN113780129A (zh) | 基于无监督图序列预测编码的动作识别方法及存储介质 | |
CN113297942B (zh) | 基于分层压缩激励网络的户外多种场景快速分类识别方法 | |
CN108960005A (zh) | 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统 | |
Ding et al. | Land-use classification with remote sensing image based on stacked autoencoder | |
CN115049894A (zh) | 一种基于图学习的全局结构信息嵌入网络的目标重识别方法 | |
Zhao et al. | Research on human behavior recognition in video based on 3DCCA |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |