CN108460401B - 基于非负特征融合的场景图像分类方法 - Google Patents
基于非负特征融合的场景图像分类方法 Download PDFInfo
- Publication number
- CN108460401B CN108460401B CN201810034600.8A CN201810034600A CN108460401B CN 108460401 B CN108460401 B CN 108460401B CN 201810034600 A CN201810034600 A CN 201810034600A CN 108460401 B CN108460401 B CN 108460401B
- Authority
- CN
- China
- Prior art keywords
- feature
- fusion
- negative
- matrix
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 300
- 238000000034 method Methods 0.000 title claims abstract description 104
- 239000011159 matrix material Substances 0.000 claims abstract description 195
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 239000013598 vector Substances 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 41
- 238000012360 testing method Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 15
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 abstract description 10
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000005457 optimization Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2133—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on naturality criteria, e.g. with non-negative factorisation or negative correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于非负特征融合的场景图像分类方法,包括以下步骤,获取原始数据的多种非负特征,定义并建立特征矩阵;对特征矩阵进行非负特征分解,得到基础特征和特征融合因子;使用基础特征和特征融合因子进行融合特征重建,得到融合特征;基于融合特征,建立基于正规化F范数误差的融合单特征分类器;使用融合特征Boosting算法对融合特征进行提升,得到融合单特征提升权重矩阵和融合多特征提升权重矩阵;基于提升权重矩阵,建立融合多特征分类器。本发明提出非负特征分解与融合特征重建的两步特征融合方法,为原始数据多种非负特征的融合提供了技术手段,实现多种特征的优势互补,基于融合特征建立的分类器能够得到更高的分类准确率。
Description
技术领域
本发明涉及计算机视觉、模式识别技术领域,尤其涉及一种基于非负特征融合的场景图像分类方法。
背景技术
随着人工智能技术的发展,对图像、文本、语音等信息进行智能处理的需求与日俱增。模式分类是数据信息的智能处理,它是计算领域重要的研究方向之一,模式分类问题包括光学字符识别、生物特征识别、图像分类等。基于单特征结合机器学习分类器的分类方法,如分别使用颜色特征、边缘特征、梯度,和支持向量机法、近邻法、贝叶斯法等,已经使这类问题得到一定的解决。但是单一特征对原始样本特性的表达具有局限性,一种特征往往仅对样本某些特性敏感,而对其它特性不敏感,导致特征数据可能存在类内方差小而类间方差大的问题,分类器模型无法学习到最优的分类超平面,再加上数据噪声的影响,使得基于单一特征训练的分类器无法输出正确的结果。
特征融合是解决上述问题的一种思想,它能够综合利用多种图像特征,实现多特征的优势互补,降低单特征局限性的影响,从而提高分类准确准确率。特征融合在信息融合层次中属于中间层次的特征级融合,根据数据抽象层次的不同,信息融合还包括低层的数据级融合和高层的决策级融合。特征数据在维度上比原始数据要低,比分类决策结果数据要高,因此,特征级融合能在目前计算机普遍运算能力范围内,更多的保留信息多样性,比其它两个层次的融合具有更好的使用条件。
近年来,特征融合已经成为一个热门的研究问题。特征融合方法可以分为直接方法和间接方法,直接方法是通过对原始特征直接施加代数运算等手段得到融合特征,如基于权重的融合、基于模板的融合等;间接方法是将特征融合思想与统计模型、稀疏模型、深度模型等其他模型方法相结合,从而得到基于特征融合的新模型。但是,目前特征融合方法中缺乏基于非负矩阵分解的融合方法。
针对现有技术存在的不足,提出本发明。
发明内容
本发明的目的是通过提供一种基于非负特征融合的场景图像分类方法,用于解决样本多种特征的融合问题,进而解决模式分类的具体技术问题。
为实现上述发明目的,本发明的技术方案是:一种非负特征融合的方法,包括如下步骤:
S1,采集数据样本,建立特征矩阵;
所述步骤S1中特征矩阵的建立具体步骤为,
S11:定义每个采集的数据样本的类别名称,为每个数据样本标记一个类别;
S12:每个类别的数据样本为一组,使用多种特征提取方法处理每个数据样本,得到原始数据样本的多种非负特征向量;
S13:将特征向量划分为训练集和测试集;训练集和测试集划分应该保持原始数据样本的分布一致,即在训练集和测试集中各类别包含样本数量的比例相同。
S14:将训练集中的特征向量组织成矩阵的形式,得到特征矩阵。
S2,进行非负特征分解;
利用基于投影梯度法的非负矩阵分解算法,对步骤S1的特征矩阵进行非负特征分解,得到基础特征和特征融合因子;
S3,融合特征重建;
采用随机索引法对步骤S2得到的基础特征进行融合,得到数据样本的每类样本每种特征的融合特征,实现非负单特征融合;
S31:设定每类样本每种特征期望重建的融合特征的数量;
S32:随机产生一个融合特征重建索引;所述的融合特征重建索引是一个大于0的可重复的正整数值,该值最大不超过每个类别样本数量。
S33:根据重建索引选择特征融合因子与对应的基础特征相乘并将结果累加在一起,得到一个融合特征;
S34:对每类样本的每种特征依次重复步骤S32和S33,直到重建的融合特征数量达到目标数量后结束。
本发明还提供了一种基于非负特征融合的模式分类方法,包括如下步骤:
S1,采集数据样本,建立特征矩阵;
所述步骤S1中特征矩阵的建立具体步骤为,
S11:定义每个采集的数据样本的类别名称,为每个数据样本标记一个类别;
S12:每个类别的数据样本为一组,使用多种特征提取方法处理每个数据样本,得到原始数据样本的多种非负特征向量;
S13:将特征向量划分为训练集和测试集;训练集和测试集划分应该保持原始数据样本的分布一致,即在训练集和测试集中各类别包含样本数量的比例相同。
S14:将训练集中的特征向量组织成矩阵的形式,得到特征矩阵。
S2,进行非负特征分解;
利用基于投影梯度法的非负矩阵分解算法,对步骤S1的特征矩阵进行非负特征分解,得到基础特征和特征融合因子;
S3,融合特征重建;
采用随机索引法对步骤S2得到的基础特征进行融合,得到数据样本的每类样本每种特征的融合特征,实现非负单特征融合;
S31:设定每类样本每种特征期望重建的融合特征的数量;
S32:随机产生一个融合特征重建索引;所述的融合特征重建索引是一个大于0的可重复的正整数值,该值最大不超过每个类别样本数量。
S33:根据重建索引选择特征融合因子与对应的基础特征相乘并将结果累加在一起,得到一个融合特征;
S34:对每类样本的每种特征依次重复步骤S32和S33,直到重建的融合特征数量达到目标数量后结束。
S4:分别使用每种特征的所有融合特征,建立基于正规化F范数误差的非负融合单特征分类器;所述正规化F范数误差指首先计算F范数误差,再使用最大-最小正规化方法对误差进行正规化。
S5:融合特征提升,使用融合特征Boosting算法对融合特征进行提升,得到融合单特征提升权重矩阵和融合多特征提升权重矩阵;
S51:根据预先设定的Boosting样本比重因子,确定参与Boosting算法的训练样本数量,并初始化融合单特征提升权重矩阵和融合多特征提升权重矩阵;所述的融合单特征提升权重矩阵的行数为样本类别数、列数为融合特征数,融合多特征提升权重矩阵行数为样本类别数、列数为特征种类数。
S52:随机从训练集中选择图像样本,直到选择的样本数量达到目标数量;
S53:输入一个样本,使用多种特征提取方法得到多种非负特征;
S54:对每种特征使用对应的融合特征计算正规化F范数误差,得到分类结果;
S55:根据分类结果使用基于分类误差的权重更新公式对融合单特征提升权重矩阵进行更新,实现融合单特征的提升;
S56:根据分类结果使用权重更新公式对融合多特征提升权重矩阵进行更新,实现非负多特征的融合。
S6:基于提升权重矩阵,建立基于正规化F范数误差的非负融合多特征分类器。所述的非负融合特征分类器为非负融合单特征分类器或非负融合多特征分类器。所述非负融合单特征分类器是指经过步骤S1、S2和S3得到的非负融合单特征后建立的分类器,所述非负融合多特征分类器是指经过需要步骤S1、S2和S3之后再经过步骤S5融合特征提升后建立的分类器。
本发明的有益效果是:
本发明针对模式分类问题,提出了基于非负特征融合的分类方法。在提取多种特征基础上,使用非负特征融合方法得到融合特征,进而使用非负融合特征分类器实现样本分类。该方法比基于单特征的分类方法和一般的深度学习方法具有更高的分类准确率。非负特征融合方法分为非负特征分解和融合特征重建两步,各需要设置一个参数,分别是基础特征数量和融合特征重建数量,相比深度学习模型的训练,非负特征融合不需要大量反复试错调参的过程。融合特征提升是在已有的融合特征基础上进一步提高特征的分类能力,既可以采用原始训练集进行提升训练,也可以使用新的样本进行训练,因此,可以应用于在线学习,对实际的应用场景具有一定的适应能力。
术语解释:
S为step的简写,S1为步骤1的简写。
附图说明
当结合附图考虑时,通过参照下面的详细描述,能够更完整更好地理解本发明以及容易得知其中许多伴随的优点,但此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定,其中:
图1是本发明非负特征融合方法流程图;
图2是本发明基于非负特征融合的模式分类方法流程图;
图3是本发明中特征矩阵组织形式的示意图;
图4是本发明中非负特征分解过程的结构示意图;
图5是本发明中融合特征重建过程和随机索引法的示意图;
图6是本发明中融合特征的结构示意图;
图7是本发明中融合特征提升过程的示意图;
图8是本发明中基于非负特征融合的场景图像分类方法示意图。
具体实施方式
下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1:
如图1所示,本发明提供一种非负特征融合的方法,包括如下步骤:
S1,采集数据样本,建立特征矩阵;
所述步骤S1中特征矩阵的建立具体步骤为,
S11:定义每个采集的数据样本的类别名称,为每个数据样本标记一个类别;
S12:每个类别的数据样本为一组,使用多种特征提取方法处理每个数据样本,得到原始数据样本的多种非负特征向量;
S13:将特征向量划分为训练集和测试集;训练集和测试集划分应该保持原始数据样本的分布一致,即在训练集和测试集中各类别包含样本数量的比例相同;
S14:将训练集中的特征向量组织成矩阵的形式,得到特征矩阵。
本实施例中,定义样本总数为P个,类别总数为C个,特征种类为D种,即将P个样本划分为C种类别,并对每个样本提取D种不同的特征,从而得到D种维度不同的特征向量。图3是对特征向量重新组织后建立的特征矩阵的示意图,其中Xd表示训练样本第d种特征的所有特征矩阵组成的集合,总共包含C个特征矩阵,md为第d种特征的维度。每个特征矩阵包含1种类别的样本,例如,表示第1种类别中所有样本特征向量组成的特征矩阵。特征矩阵每一列为一个样本特征向量,例如,表示第p1个样本的特征向量。
S2,进行非负特征分解;利用基于投影梯度法的非负矩阵分解算法,对步骤S1的特征矩阵进行非负特征分解,得到基础特征和特征融合因子。
建立特征矩阵之后,步骤S2所述非负特征分解主要使用基于梯度投影法的非负矩阵分解方法进行处理,其过程示意图如图4所示,r表示预期得到的基础特征的数量,是预先设置的参数,j表示第j种类别,j∈[1,C],i表示该类别第i个样本,i∈[1,pj],pj表示第j类中样本的数量,且有对于第d种特征第j种类别的特征矩阵得到对应的基础特征矩阵和融合系数矩阵,用如下公式表示,
定义目标函数如下
定义约束优化问题如下,
其中a,b表示矩阵元素的索引,Va,b表示矩阵V中第a行第b列的元素。
其中上角标T表示矩阵的转置,下同;
步骤4)累计当前迭代次数和当前迭代时间,判断是否满足停止条件。若停止条件满足则迭代过程结束,输出目标矩阵和若停止条件不满足则返回步骤2);这里的停止条件是指当前迭代次数达到Maxiter,或者迭代时间达到Maxtime。
步骤a)设定参数β=0.1和参数σ=0.01,设定更新步长γ(0)=1,令γ(l)=γ(l-1);
步骤b)使用如下公式计算梯度
GV=UTUV-UZ;
步骤c)使用如下公式计算参数γ的更新条件,
Z'=max(0,Z-γ(l)GV),
δZ=Z′-Z,
其中<*,*>表示向量内积,如果更新条件Cγ<0,那么令γ(l+1)=γ(l)/β并重新计算Cγ,直到Cγ≥0停止计算;如果更新条件Cγ≥0,那么令γ(l+1)=γ(l)β并重新计算Cγ,直到Cγ<0停止计算。取最后一个满足Cγ<0的γ(l+1)进入步骤d);
步骤d)通过如下公式计算梯度投影,并更新V,
V:=Fproj[V-γ(l+1)GV],
其中Fproj[*]为投影函数,定义如下,
Fproj[Y]=max(0,Y),
其中Y表示自变量,max(0,Y)表示取0和Y中较大的值。
S3,融合特征重建;采用随机索引法对步骤S2得到的基础特征进行融合,得到数据样本的每类样本每种特征的融合特征,实现非负单特征融合;所述步骤S3的具体步骤为,
S31:设定每类样本每种特征期望重建的融合特征的数量;
S32:随机产生一个融合特征重建索引;
S33:根据重建索引选择特征融合因子与对应的基础特征相乘并将结果累加在一起,得到一个融合特征;
S34:对每类样本的每种特征依次重复步骤S32和S33,直到重建的融合特征数量达到目标数量后结束。
具体为,得到基础特征和特征融合因子之后,步骤S3所述的融合特征重建使用随机索引法来完成,其过程示意图如图5所示,对每种特征每个类别,按照预先设定的数量N,计算得到N个融合特征。随机索引法的计算过程分为两步,第一步为产生随机索引,第二步为计算融合特征,依次用如下公式表示,
实施例2:
如图2所示,本发明还提供一种基于非负特征融合的模式分类方法,处理流程共分为6个主要步骤,包括:
S1,采集数据样本,建立特征矩阵;
S2,进行非负特征分解;利用基于投影梯度法的非负矩阵分解算法,对步骤S1的特征矩阵进行非负特征分解,得到基础特征和特征融合因子;
S3,融合特征重建;采用随机索引法对步骤S2得到的基础特征进行融合,得到数据样本的每类样本每种特征的融合特征,实现非负单特征融合;
S4:分别使用每种特征的所有融合特征,建立基于正规化F范数误差的非负融合单特征分类器;
S5:融合特征提升,使用融合特征Boosting算法对融合特征进行提升,得到融合单特征提升权重矩阵和融合多特征提升权重矩阵;
S6:基于提升权重矩阵,建立基于正规化F范数误差的非负融合多特征分类器。
S1,采集数据样本,建立特征矩阵;所述步骤S1中特征矩阵的建立具体步骤为,
S11:定义每个采集的数据样本的类别名称,为每个数据样本标记一个类别;
S12:每个类别的数据样本为一组,使用多种特征提取方法处理每个数据样本,得到原始数据样本的多种非负特征向量;
S13:将特征向量划分为训练集和测试集;训练集和测试集划分应该保持原始数据样本的分布一致,即在训练集和测试集中各类别包含样本数量的比例相同;
S14:将训练集中的特征向量组织成矩阵的形式,得到特征矩阵。
本实施例中,定义样本总数为P个,类别总数为C个,特征种类为D种,即将P个样本划分为C种类别,并对每个样本提取D种不同的特征,从而得到D种维度不同的特征向量。图3是对特征向量重新组织后建立的特征矩阵的示意图,其中Xd表示训练样本第d种特征的所有特征矩阵组成的集合,总共包含C个特征矩阵,md为第d种特征的维度。每个特征矩阵包含1种类别的样本,例如,表示第1种类别中所有样本特征向量组成的特征矩阵。特征矩阵每一列为一个样本特征向量,例如,表示第p1个样本的特征向量。
S2,进行非负特征分解;利用基于投影梯度法的非负矩阵分解算法,对步骤S1的特征矩阵进行非负特征分解,得到基础特征和特征融合因子。
建立特征矩阵之后,步骤S2所述非负特征分解主要使用基于梯度投影法的非负矩阵分解方法进行处理,其过程示意图如图4所示,r表示预期得到的基础特征的数量,是预先设置的参数,j表示第j种类别,j∈[1,C],i表示该类别第i个样本,i∈[1,pj],pj表示第j类中样本的数量,且有对于第d种特征第j种类别的特征矩阵得到对应的基础特征矩阵和融合系数矩阵,用如下公式表示,
定义目标函数如下
定义约束优化问题如下,
其中a,b表示矩阵元素的索引,Va,b表示矩阵V中第a行第b列的元素。
其中上角标T表示矩阵的转置,下同;
步骤4)累计当前迭代次数和当前迭代时间,判断是否满足停止条件。若停止条件满足则迭代过程结束,输出目标矩阵和若停止条件不满足则返回步骤2);这里的停止条件是指当前迭代次数达到Maxiter,或者迭代时间达到Maxtime。
步骤a)设定参数β=0.1和参数σ=0.01,设定更新步长γ(0)=1,令γ(l)=γ(l-1);
步骤b)使用如下公式计算梯度
GV=UTUV-UZ;
步骤c)使用如下公式计算参数γ的更新条件,
Z'=max(0,Z-γ(l)GV),
δZ=Z′-Z,
其中<*,*>表示向量内积,如果更新条件Cγ<0,那么令γ(l+1)=γ(l)/β并重新计算Cγ,直到Cγ≥0停止计算;如果更新条件Cγ≥0,那么令γ(l+1)=γ(l)β并重新计算Cγ,直到Cγ<0停止计算。取最后一个满足Cγ<0的γ(l+1)进入步骤d);
步骤d)通过如下公式计算梯度投影,并更新V,
V:=Fproj[V-γ(l+1)GV],
其中Fproj[*]为投影函数,定义如下,
Fproj[Y]=max(0,Y),
其中Y表示自变量,max(0,Y)表示取0和Y中较大的值。
S3,融合特征重建;采用随机索引法对步骤S2得到的基础特征进行融合,得到数据样本的每类样本每种特征的融合特征,实现非负单特征融合;所述步骤S3的具体步骤为,
S31:设定每类样本每种特征期望重建的融合特征的数量;
S32:随机产生一个融合特征重建索引;
S33:根据重建索引选择特征融合因子与对应的基础特征相乘并将结果累加在一起,得到一个融合特征;
S34:对每类样本的每种特征依次重复步骤S32和S33,直到重建的融合特征数量达到目标数量后结束。
具体为,得到基础特征和特征融合因子之后,步骤S3所述的融合特征重建使用随机索引法来完成,其过程示意图如图5所示,对每种特征每个类别,按照预先设定的数量N,计算得到N个融合特征。随机索引法的计算过程分为两步,第一步为产生随机索引,第二步为计算融合特征,依次用如下公式表示,
S4:分别使用每种特征的所有融合特征,建立基于正规化F范数误差的非负融合单特征分类器,具体为:
在融合单特征的基础上,可以建立基于正规化F范数误差的非负融合单特征分类器,该分类器使用第d种融合特征建立,用如下公式表示,
S5:融合特征提升,使用融合特征Boosting算法对融合特征进行提升,得到融合单特征提升权重矩阵和融合多特征提升权重矩阵;
S51:根据预先设定的Boosting样本比重因子,确定参与Boosting算法的训练样本数量,并初始化融合单特征提升权重矩阵和融合多特征提升权重矩阵;所述的融合单特征提升权重矩阵的行数为样本类别数、列数为融合特征数,融合多特征提升权重矩阵行数为样本类别数、列数为特征种类数。
S52:随机从训练集中选择图像样本,直到选择的样本数量达到目标数量;
S53:输入一个样本,使用多种特征提取方法得到多种非负特征;
S54:对每种特征使用对应的融合特征计算正规化F范数误差,得到分类结果;
S55:根据分类结果使用基于分类误差的权重更新公式对融合单特征提升权重矩阵进行更新,实现融合单特征的提升;
S56:根据分类结果使用权重更新公式对融合多特征提升权重矩阵进行更新,实现非负多特征的融合。
步骤S5所述对融合特征进行提升,其处理过程如图7所示,依次是,首先,确定参与提升算法的测试样本数量;然后,对训练样本进行随机排序,打乱样本顺序,依次读入样本使用融合特征Boosting算法更新融合特征权重;最后,得到最终的提升权重矩阵。
融合特征Boosting算法的主要思想是使用提升权重矩阵来度量融合特征对分类决策结果的重要性,根据分类器的分类误差计算更新值,通过迭代方法不断更新提升权重矩阵,提升权重矩阵包括融合单特征提升权重矩阵(用Θ表示)和融合多特征提升权重矩阵(用α表示)。其主要步骤包括:
步骤II)输入一个测试样本y,使用融合单特征分类器对样本进行分类,记录分类结果,定义指示器函数I(y);
步骤III)通过如下公式统计分类结果,其中Terr表示累计分类误差
然后按照如下公式计算对数相对误差,用∈err表示
步骤IV)使用如下权重更新公式,对融合单特征提升权重矩阵进行更新,
步骤V)使用如下权重更新公式,对融合多特征提升权重矩阵进行更新,
步骤VI)判断停止条件,若满足则结束,不满足的返回步骤2),本实施例停止条件设置为不重复的使用所有测试样本完成一次迭代计算。
S6:基于提升权重矩阵,建立基于正规化F范数误差的非负融合多特征分类器。基于融合特征提升可以增强融合特征的分类性能,从而建立非负融合多特征分类器,用如下公式表示,
表示使用D种不同的特征建立非负融合多特征分类器。该分类器可以解决模式分类问题,即以待分类的测试样本作为输入,分类器可以输出分类结果。
本实施例所述的非负融合单特征分类器和非负融合多特征分类器均可用于具体的模式分类问题,其中后者综合使用了多种特征,能够弥补单特征存在的缺陷,对绝大多数模式类别具有更高的分类准确率。
实施例3:
为更好阐述本发明内容,下面将结合另一实施例及说明书附图进行详细说明,本实施例通过将实施例1中的非负特征融合方法应用于模式分类的方法,特别是具体应用在场景图像的模式进行分类的方法,用于解决多种图像特征的融合问题,进而解决场景图像分类的技术问题。
具体的,本实施例的基于非负特征融合的场景图像分类方法的处理流程如图2,其具体实施过程如图8所示,共分为6个主要步骤,包括:
S1,采集数据样本,建立特征矩阵;
S2,进行非负特征分解;利用基于投影梯度法的非负矩阵分解算法,对步骤S1的特征矩阵进行非负特征分解,得到基础特征和特征融合因子;
S3,融合特征重建;采用随机索引法对步骤S2得到的基础特征进行融合,得到数据样本的每类样本每种特征的融合特征,实现非负单特征融合;
S4:分别使用每种特征的所有融合特征,建立基于正规化F范数误差的非负融合单特征分类器;
S5:融合特征提升,使用融合特征Boosting算法对融合特征进行提升,得到融合单特征提升权重矩阵和融合多特征提升权重矩阵;
S6:基于提升权重矩阵,建立基于正规化F范数误差的非负融合多特征分类器。
S1,采集数据样本,建立特征矩阵;所述步骤S1中采集数据样本在本实施例中特指采集场景图像的数据样本,并且需要定义场景图像类别名称,建立多类别场景图像数据集,作为原始图像样本。本实施例中的场景是指人可以活动的真实环境,也包括可以与人产生交互的其他客观实物,对场景采集的图像称为场景图像。因此,场景图像是指一种通过图像采集设备采集由客观实物和真实环境组成的图像,客观实物包括人、其他生物、自然物体和人造物体等,真实环境包括自然环境和人造环境,通常将客观实物视为图像前景,真实环境视为图像背景,场景图像至少应该包含所谓的背景,不一定包含所谓的前景;本实施例所述的图像前景和图像背景没有明确的划分界限,而是根据图像采集时相对的前后位置确定。
S1,采集数据样本,建立特征矩阵;所述步骤S1中特征矩阵的建立具体步骤为,
S11:定义每个采集的数据样本的类别名称,为每个数据样本标记一个类别;
S12:每个类别的数据样本为一组,使用多种特征提取方法处理每个数据样本,得到原始数据样本的多种非负特征向量;
S13:将特征向量划分为训练集和测试集;训练集和测试集划分应该保持原始数据样本的分布一致,即在训练集和测试集中各类别包含样本数量的比例相同;
S14:将训练集中的特征向量组织成矩阵的形式,得到特征矩阵。
S12所述得到原始数据样本的多种非负特征向量,本实施例针对场景图像的样本处理,其具体处理步骤为,
第1步:对场景图像进行归范化处理,得到分辨率一致且高和宽相等的图像,本实施例中将其处理为高256像素、宽256像素的图像;
第2步:选定多种图像特征的提取算法,建立特征提取算法池;
第3步:对于每个类别的每个原始数据样本,依次使用特征提取算法池中的每种算法计算样本特征,得到多种非负特征向量。
第2步所述多种图像特征,本实施例中包括颜色特征、HOG特征、GIST特征。颜色特征直接利用原始图像RGB三种颜色通道的信息,HOG特征是梯度直方图(Histogram ofGradient,HOG)特征,GIST特征是对场景图像的空间包络描述,包括自然度、开放度、粗糙度、膨胀度和险峻度等5个方面。第2步所述提取算法即通过计算得到特定一种场景图像特征的方法。
第3步所述得到多种非负特征向量,对于HOG特征和GIST特征将分别通过提取算法计算直接得到样本非负特征向量,对于颜色特征则是将图像缩小为高128像素、宽128像素后分别存储RGB三种颜色通道的单通道像素值矩阵,后将每个单通道像素值矩阵直接转换为列向量的形式,作为颜色特征的非负特征向量。
所述S12得到多种非负特征向量及S14得到特征矩阵的过程如图8左侧部分所示,各种图像特征的非负特征向量维度不同,对应建立特征矩阵的维度也不同。
本实施例中,定义样本总数为P个,类别总数为C个,特征种类为D种,即将P个样本划分为C种类别,并对每个样本提取D种不同的特征,从而得到D种维度不同的特征向量。图3是对特征向量重新组织后建立的特征矩阵的示意图,其中Xd表示训练样本第d种特征的所有特征矩阵组成的集合,总共包含C个特征矩阵,md为第d种特征的维度。每个特征矩阵包含1种类别的样本,例如,表示第1种类别中所有样本特征向量组成的特征矩阵。特征矩阵每一列为一个样本特征向量,例如,表示第p1个样本的特征向量。
S2,进行非负特征分解;利用基于投影梯度法的非负矩阵分解算法,对步骤S1的特征矩阵进行非负特征分解,得到基础特征和特征融合因子。
建立特征矩阵之后,步骤S2所述非负特征分解主要使用基于梯度投影法的非负矩阵分解方法进行处理,其过程示意图如图4所示,r表示预期得到的基础特征的数量,是预先设置的参数,j表示第j种类别,j∈[1,C],i表示该类别第i个样本,i∈[1,pj],pj表示第j类中样本的数量,且有对于第d种特征第j种类别的特征矩阵得到对应的基础特征矩阵和融合系数矩阵,用如下公式表示,
定义目标函数如下
定义约束优化问题如下,
其中a,b表示矩阵元素的索引,Va,b表示矩阵V中第a行第b列的元素。
其中上角标T表示矩阵的转置,下同;
步骤4)累计当前迭代次数和当前迭代时间,判断是否满足停止条件。若停止条件满足则迭代过程结束,输出目标矩阵和若停止条件不满足则返回步骤2);这里的停止条件是指当前迭代次数达到Maxiter,或者迭代时间达到Maxtime。
步骤a)设定参数β=0.1和参数σ=0.01,设定更新步长γ(0)=1,令γ(l)=γ(l-1);
步骤b)使用如下公式计算梯度
GV=UTUV-UZ;
步骤c)使用如下公式计算参数γ的更新条件,
Z'=max(0,Z-γ(l)GV),
δZ=Z′-Z,
其中<*,*>表示向量内积,如果更新条件Cγ<0,那么令γ(l+1)=γ(l)/β并重新计算Cγ,直到Cγ≥0停止计算;如果更新条件Cγ≥0,那么令γ(l+1)=γ(l)β并重新计算Cγ,直到Cγ<0停止计算。取最后一个满足Cγ<0的γ(l+1)进入步骤d);
步骤d)通过如下公式计算梯度投影,并更新V,
V:=Fproj[V-γ(l+1)GV],
其中Fproj[*]为投影函数,定义如下,
Fproj[Y]=max(0,Y),
其中Y表示自变量,max(0,Y)表示取0和Y中较大的值。
S3,融合特征重建;采用随机索引法对步骤S2得到的基础特征进行融合,得到数据样本的每类样本每种特征的融合特征,实现非负单特征融合;所述步骤S3的具体步骤为,
S31:设定每类样本每种特征期望重建的融合特征的数量;
S32:随机产生一个融合特征重建索引;
S33:根据重建索引选择特征融合因子与对应的基础特征相乘并将结果累加在一起,得到一个融合特征;
S34:对每类样本的每种特征依次重复步骤S32和S33,直到重建的融合特征数量达到目标数量后结束。
具体为,得到基础特征和特征融合因子之后,步骤S3所述的融合特征重建使用随机索引法来完成,其过程示意图如图5所示,对每种特征每个类别,按照预先设定的数量N,计算得到N个融合特征。随机索引法的计算过程分为两步,第一步为产生随机索引,第二步为计算融合特征,依次用如下公式表示,
S4:分别使用每种特征的所有融合特征,建立基于正规化F范数误差的非负融合单特征分类器,具体为:
在融合单特征的基础上,可以建立基于正规化F范数误差的非负融合单特征分类器,该分类器使用第d种融合特征建立,用如下公式表示,
S5:融合特征提升,使用融合特征Boosting算法对融合特征进行提升,得到融合单特征提升权重矩阵和融合多特征提升权重矩阵;
S51:根据预先设定的Boosting样本比重因子,确定参与Boosting算法的训练样本数量,并初始化融合单特征提升权重矩阵和融合多特征提升权重矩阵;所述的融合单特征提升权重矩阵的行数为样本类别数、列数为融合特征数,融合多特征提升权重矩阵行数为样本类别数、列数为特征种类数。
S52:随机从训练集中选择图像样本,直到选择的样本数量达到目标数量;
S53:输入一个样本,使用多种特征提取方法得到多种非负特征;
S54:对每种特征使用对应的融合特征计算正规化F范数误差,得到分类结果;
S55:根据分类结果使用基于分类误差的权重更新公式对融合单特征提升权重矩阵进行更新,实现融合单特征的提升;
S56:根据分类结果使用权重更新公式对融合多特征提升权重矩阵进行更新,实现非负多特征的融合。
步骤S5所述对融合特征进行提升,其处理过程如图7所示,依次是,首先,确定参与提升算法的测试样本数量;然后,对训练样本进行随机排序,打乱样本顺序,依次读入样本使用融合特征Boosting算法更新融合特征权重;最后,得到最终的提升权重矩阵。
融合特征Boosting算法的主要思想是使用提升权重矩阵来度量融合特征对分类决策结果的重要性,根据分类器的分类误差计算更新值,通过迭代方法不断更新提升权重矩阵,提升权重矩阵包括融合单特征提升权重矩阵(用Θ表示)和融合多特征提升权重矩阵(用α表示)。其主要步骤包括:
步骤II)输入一个测试样本y,使用融合单特征分类器对样本进行分类,记录分类结果,定义指示器函数I(y);
步骤III)通过如下公式统计分类结果,其中Terr表示累计分类误差
然后按照如下公式计算对数相对误差,用∈err表示
步骤IV)使用如下权重更新公式,对融合单特征提升权重矩阵进行更新,
步骤V)使用如下权重更新公式,对融合多特征提升权重矩阵进行更新,
步骤VI)判断停止条件,若满足则结束,不满足的返回步骤2),本实施例停止条件设置为不重复的使用所有测试样本完成一次迭代计算。
S6:基于提升权重矩阵,建立基于正规化F范数误差的非负融合多特征分类器。基于融合特征提升可以增强融合特征的分类性能,从而建立非负融合多特征分类器,用如下公式表示,
表示使用D种不同的特征建立非负融合多特征分类器。该分类器可以解决场景图像分类问题,即以待分类的测试样本作为输入,分类器可以输出分类结果。
本实施例所述步骤S2、S3、S4、S5和S6应用于场景图像分类的处理过程如图8右侧部分所示,非负特征融合方法依次进行非负特征分解、融合特征重建得到融合特征,再经过融合特征提升,建立非负融合单特征分类器和非负融合多特征分类器。对场景图像的分类过程如图8下侧部分所示,对测试样本提取特征后,将测试样本的特征向量输入到非负融合特征分类器中,由分类器输出分类结果,用ωj表示。
本实施例所述的非负融合单特征分类器和非负融合多特征分类器均可用于具体的场景图像分类问题,其中后者综合使用了多种场景图像特征,能够弥补单特征存在的缺陷,对绝大多数场景图像类别具有更高的分类准确率。
本发明虽然以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以做出可能的变动和修改,因此本发明的保护范围应当以本发明权利要求所界定的范围为准。所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
Claims (10)
1.一种基于非负特征融合的场景图像分类方法,包括如下步骤:
S1:采集场景图像样本,建立多类别场景图像数据集,作为原始图像样本;提取所述场景图像样本的特征,建立特征矩阵;所述场景图像样本的特征包括颜色特征、HOG特征以及GIST特征;
S2:进行非负特征分解;
利用基于投影梯度法的非负矩阵分解算法,对步骤S1的特征矩阵进行非负特征分解,得到基础特征和特征融合因子;
S3:融合特征重建;
采用随机索引法对步骤S2得到的基础特征进行融合,得到场景图像样本的每类样本每种特征的融合特征,实现非负单特征融合;
S4:分别使用每种特征的所有融合特征,建立基于正规化F范数误差的非负融合单特征分类器;
S5:融合特征提升,使用融合特征Boosting算法对融合特征进行提升,得到融合单特征提升权重矩阵和融合多特征提升权重矩阵;
S6:基于提升权重矩阵,建立基于正规化F范数误差的非负融合多特征分类器;
S7:对待分类的场景图像提取特征后,将所述待分类的场景图像的非负特征向量输入到非负融合特征分类器中,由分类器输出分类结果。
2.根据权利要求1所述的一种基于非负特征融合的场景图像分类方法,其特征在于,所述步骤S1中特征矩阵的建立具体步骤为,
S11:定义每个采集的场景图像样本的类别名称,为每个场景图像样本标记一个类别;
S12:每个类别的场景图像样本为一组,使用多种特征提取方法处理每个场景图像样本,得到原始场景图像样本的多种非负特征向量;
S13:将特征向量划分为训练集和测试集;
S14:将训练集中的特征向量组织成矩阵的形式,得到特征矩阵。
3.根据权利要求2所述的一种基于非负特征融合的场景图像分类方法,其特征在于,所述步骤S13中,训练集和测试集划分应该保持原始场景图像样本的分布一致,即在训练集和测试集中各类别包含样本数量的比例相同。
4.根据权利要求1所述的一种基于非负特征融合的场景图像分类方法,其特征在于,所述步骤S3的具体步骤为,
S31:设定每类样本每种特征期望重建的融合特征的数量;
S32:随机产生一个融合特征重建索引;
S33:根据重建索引选择特征融合因子与对应的基础特征相乘并将结果累加在一起,得到一个融合特征;
S34:对每类样本的每种特征依次重复步骤S32和S33,直到重建的融合特征数量达到目标数量后结束。
5.根据权利要求4所述的一种基于非负特征融合的场景图像分类方法,其特征在于,所述步骤S32中,所述的融合特征重建索引是一个大于0的可重复的正整数值,该值最大不超过每个类别样本数量。
6.根据权利要求1所述的一种基于非负特征融合的场景图像分类方法,其特征在于,所述步骤S4所述正规化F范数误差指首先计算F范数误差,再使用最大-最小正规化方法对误差进行正规化。
7.根据权利要求1所述的一种基于非负特征融合的场景图像分类方法,其特征在于,所述步骤S5中的具体步骤为,
S51:根据预先设定的Boosting样本比重因子,确定参与Boosting算法的训练样本数量,并初始化融合单特征提升权重矩阵和融合多特征提升权重矩阵;
S52:随机从训练集中选择场景图像样本,直到选择的场景图像样本数量达到目标数量;
S53:输入一个场景图像样本,使用多种特征提取方法得到多种非负特征;
S54:对每种特征使用对应的融合特征计算正规化F范数误差,得到分类结果;
S55:根据分类结果使用基于分类误差的权重更新公式对融合单特征提升权重矩阵进行更新,实现融合单特征的提升;
S56:根据分类结果使用权重更新公式对融合多特征提升权重矩阵进行更新,实现非负多特征的融合。
8.根据权利要求7所述的一种基于非负特征融合的场景图像分类方法,其特征在于,所述步骤S51中,所述的融合单特征提升权重矩阵的行数为样本类别数、列数为融合特征数,融合多特征提升权重矩阵行数为样本类别数、列数为特征种类数。
9.根据权利要求1所述的一种基于非负特征融合的场景图像分类方法,其特征在于,所述步骤S6中所述的非负融合特征分类器为非负融合单特征分类器或非负融合多特征分类器。
10.根据权利要求9所述的一种基于非负特征融合的场景图像分类方法,其特征在于,所述非负融合单特征分类器是指经过步骤S1、S2和S3得到的非负融合单特征后建立的分类器,所述非负融合多特征分类器是指经过需要步骤S1、S2和S3之后再经过步骤S5融合特征提升后建立的分类器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810034600.8A CN108460401B (zh) | 2018-01-15 | 2018-01-15 | 基于非负特征融合的场景图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810034600.8A CN108460401B (zh) | 2018-01-15 | 2018-01-15 | 基于非负特征融合的场景图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108460401A CN108460401A (zh) | 2018-08-28 |
CN108460401B true CN108460401B (zh) | 2022-04-29 |
Family
ID=63220623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810034600.8A Active CN108460401B (zh) | 2018-01-15 | 2018-01-15 | 基于非负特征融合的场景图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108460401B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274286B (zh) * | 2020-01-16 | 2023-06-23 | 首都师范大学 | 基于模式分析的矩阵填充方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160150219A1 (en) * | 2014-11-20 | 2016-05-26 | Mantisvision Ltd. | Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation |
CN107122643A (zh) * | 2017-04-07 | 2017-09-01 | 西安电子科技大学 | 基于ppg信号和呼吸信号特征融合的身份识别方法 |
-
2018
- 2018-01-15 CN CN201810034600.8A patent/CN108460401B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160150219A1 (en) * | 2014-11-20 | 2016-05-26 | Mantisvision Ltd. | Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation |
CN107122643A (zh) * | 2017-04-07 | 2017-09-01 | 西安电子科技大学 | 基于ppg信号和呼吸信号特征融合的身份识别方法 |
Non-Patent Citations (1)
Title |
---|
模式分类中的特征融合方法;刘渭滨,邹智元,邢薇薇;《北京邮电大学学报》;20170831;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108460401A (zh) | 2018-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110414377B (zh) | 一种基于尺度注意力网络的遥感图像场景分类方法 | |
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN106845529B (zh) | 基于多视野卷积神经网络的影像特征识别方法 | |
CN108648191B (zh) | 基于贝叶斯宽度残差神经网络的害虫图像识别方法 | |
CN108681752B (zh) | 一种基于深度学习的图像场景标注方法 | |
CN110969250B (zh) | 一种神经网络训练方法及装置 | |
CN105701502B (zh) | 一种基于蒙特卡罗数据均衡的图像自动标注方法 | |
CN109029363A (zh) | 一种基于深度学习的目标测距方法 | |
CN104123560B (zh) | 基于相位编码特征和多度量学习的模糊人脸图像验证方法 | |
CN106203487A (zh) | 一种基于多核学习分类器融合的图像分类方法及装置 | |
CN110543916B (zh) | 一种缺失多视图数据的分类方法及系统 | |
Rodriguez et al. | Classification of style in fine-art paintings using transfer learning and weighted image patches | |
CN112801104B (zh) | 基于语义分割的图像像素级伪标签确定方法及系统 | |
CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
CN111667016B (zh) | 一种基于prototype的增量式信息分类方法 | |
CN114998220A (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
CN113128478A (zh) | 模型训练方法、行人分析方法、装置、设备及存储介质 | |
CN112488209A (zh) | 一种基于半监督学习的增量式图片分类方法 | |
CN112651468A (zh) | 一种多尺度轻量化图像分类方法及其存储介质 | |
CN113111716A (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
CN113160392B (zh) | 基于深度神经网络的光学建筑目标三维重建方法 | |
CN111667027A (zh) | 多模态图像的分割模型训练方法、图像处理方法及装置 | |
Pichel et al. | A new approach for sparse matrix classification based on deep learning techniques | |
CN113627240B (zh) | 一种基于改进ssd学习模型的无人机树木种类识别方法 | |
CN108460401B (zh) | 基于非负特征融合的场景图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |