CN108681696A - 融合多特征降维和迁移学习的红外目标稳健性识别方法 - Google Patents

融合多特征降维和迁移学习的红外目标稳健性识别方法 Download PDF

Info

Publication number
CN108681696A
CN108681696A CN201810400557.2A CN201810400557A CN108681696A CN 108681696 A CN108681696 A CN 108681696A CN 201810400557 A CN201810400557 A CN 201810400557A CN 108681696 A CN108681696 A CN 108681696A
Authority
CN
China
Prior art keywords
feature
dimensionality reduction
infrared
training sample
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810400557.2A
Other languages
English (en)
Inventor
王鑫
张鑫
吕国芳
石爱业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201810400557.2A priority Critical patent/CN108681696A/zh
Publication of CN108681696A publication Critical patent/CN108681696A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合多特征降维和迁移学习的红外目标稳健性识别方法,首先,针对传统的红外人体目标特征提取方法提取某单一特征时存在涵盖信息不全面的问题,提出提取目标不同类型的异构特征,包括目标图像的形状特征和亮度特征,从而充分挖掘出红外人体目标的特点。其次,提出采用主成分分析方法对融合后的异构特征进行降维。最后,设计了一种有效的基于迁移学习的红外人体目标分类器,可最大程度地提高泛化性能和目标识别准确度。与传统的红外人体目标识别方法相比,本发明提出的方法有效提高了复杂背景下红外人体目标识别的性能。

Description

融合多特征降维和迁移学习的红外目标稳健性识别方法
技术领域
本发明涉及一种红外场景下的人体目标识别技术,对红外场景下的人体目标进行有效的识别,属于红外图像处理和模式识别技术领域。
背景技术
红外人体目标识别是红外图像处理和模式识别领域的一个重要研究分支。由于在红外图像中,人体目标受成像噪声的干扰,对比度一般较低;其次,目标所处的背景较为复杂,目标容易被背景所干扰;最后,人体目标姿态多变,且容易被其他物体遮挡,因此,红外人体目标的有效和稳健性识别目前仍是一项富有挑战性的课题,对其深入研究有着重要的理论意义和实用价值。
为了有效地在红外图像中识别出人体目标,首先需要对红外人体目标图像进行特征提取。为此,研究学者提出了众多的红外图像目标特征提取方法,包括HOG特征,局部强度差异直方图(Histograms of Local Intensity Differences,HLID)特征以及梯度位置-方向直方图(Gradient Location-Orientation Histogram,GLOH)特征等,通过提取红外人体目标的某单一特征对目标进行表示和描述,虽然取得了一定的识别效果,但是特征提取不全面,导致识别精度不够高。为此,又有学者提出对红外人体目标图像进行多特征提取和融合,改善了识别的性能,比如采用HOG和Haar-like提取图像的形状和纹理特征,采用了HOG和LBP描述子分别提取图像的形状和纹理等特征并融合等,虽然目前有很多方法提出提取红外人体目标的多种特征,但是有些方法提取的特征是同类的(即非异构特征),如形状、纹理、轮廓特征反映的实际都是目标的结构信息,因此,它们未能从多角度、全方位提取目标不同类型的特征,识别性能也就无法得到更满意的提升。
红外人体目标识别的第二个关键环节是分类器的设计。目前,针对红外人体目标的识别,常见的分类器有基于支持向量机的分类器、基于Adaboost的分类器、基于稀疏表示(Sparse Representation,SR)的分类器等。这些分类器虽然都取得了一定的效果,但是它们为了保证训练得到的分类模型具有准确性和高可靠性,在进行训练时它们都基于两个基本的假设:(1)用于学习的训练样本与新的测试样本需要满足独立同分布的条件;(2)必须有足够多可利用的训练样本才能学习得到一个较好的分类模型。然而,在红外人体目标图像的实际应用中可以发现,这两个条件往往很难满足。首先,原先可利用的带标签的样本数据可能变得不可用:由于红外图像特殊的成像原理,即使是同一目标,不同外部环境仍然可能会造成成像结果的巨大差异,导致训练样本与新的测试样本的分布及语义产生较大的偏差。此外,可利用的带标签的红外图像样本数据比较匮乏。因此,如何利用少量的带标签训练样本或源领域数据,建立一个可靠的模型对目标领域数据进行预测(源领域数据和目标领域数据可以不具有相同的数据分布)变得非常重要。
公开号为CN104778453A的一种基于红外行人亮度统计特征的夜间行人检测方法,它通过对样本库中的正负样本图像统计亮度直方图特征信息和梯度直方图特征信息,联合构成特征描述符,然后用Adaboost结合决策树方法进行训练,得到一个性能较好的分类器。该方法使用了多特征提取和融合方法,图像特征的完备性得到了一定的保证。但是高维特征的计算严重降低了时间效率,影响了应用的实时性,且分类器的训练仍然需要大量的带标签红外样本,不易实现。
Lin Y C等人(Lin Y C,Chan Y M,Chuang L C,et al.Near-infrared basednighttime pedestrian detection by combining multiple features[C]//IntelligentTransportation Systems(ITSC),2011 14th International IEEE Conference on.IEEE,2011:1549-1554.)充分利用了人体目标图像的轮廓特征信息和梯度直方图特征信息来进行特征的提取,在一定程度上丰富了图像的特征表示。但是轮廓特征和梯度形状特征反映的实际都是目标的结构信息,并未从多角度提取不同类型的特征,特征的完备性仍然可以增强。
对于现有的基于特征提取和分类器训练的红外人体目标识别方法,其存在的局限性主要表现在:
(1)单一的特征提取可以对图像某一方面的信息进行准确的表达,并可以取得一定的识别效果,但是涵盖信息不全面影响了特征提取的准确性和全面性,从而导致后续识别精度不够高;
(2)多特征提取方法增强了图像特征描述的完备性,但是很多方法在提取红外人体目标的多种特征时,提取的特征仍然是同类型的,如形状、纹理、轮廓特征反映的实际都是目标的结构信息,因此,它们同样未能从多角度提取目标不同类型的特征,识别性能还可以进一步提升;
(3)多特征提取方法提取出的特征向量往往维数很高,且内部有着大量的相关性信息,这对于后续的分类识别是极为不利的。简洁有效的特征表示更有助于识别性能的提升;
(4)很多成熟的分类器虽然在目标分类识别问题上取得了一定的效果,但是它们为了保证训练得到的分类模型具有优良的性能,使用训练样本进行训练时都基于以下两个条件:一是用于学习的训练样本与新的测试样本需要满足独立同分布的条件;二是必须有足够多可利用的训练样本才能学习得到一个较好的分类模型。然而,在红外人体目标图像的实际应用中这两个条件往往很难满足。如何利用少量的带标签红外样本,得到一个可靠的模型仍然是一个难点问题。
发明内容
发明目的:针对红外人体目标识别问题,本发明提出了一种融合多特征降维和迁移学习的红外目标稳健性识别方法。首先,针对传统的红外人体目标特征提取方法提取某单一特征时存在涵盖信息不全面的问题,从形状和亮度两个不同的角度,提出提取目标不同种类的异构特征,从而充分挖掘出红外人体目标的特点。其次,为了向后续识别分析提供有效且紧凑的特征描述,提出采用主成分分析方法对融合后的异构特征进行降维。最后,针对带标签的红外人体目标样本数据匮乏、训练样本和测试样本的分布及语义存在偏差而带来的泛化性能差等问题,提出了一种有效的基于迁移学习的红外人体目标分类器,可最大程度地提高泛化性能和目标识别准确度。
技术方案:一种融合多特征降维和迁移学习的红外目标稳健性识别方法,包括如下步骤:
步骤1,分别采用红外及可见光图像分别构建源训练样本集和辅助训练样本集,其操作过程如下:
在训练模块中,首先分别采用LSI Far Infrared Pedestrian Dataset和INRIAPerson Dataset这两个公共图像数据集构建源训练样本集和辅助训练样本集。其中,源训练样本集和测试集中的红外图像均来自于LSI Far Infrared Pedestrian Dataset中的Classification Dataset,该图像库中的红外图像包含人体目标和非人体目标,且目标形态各异,满足了构建样本集的多样性需求,而辅助训练样本集中的可见光图像来源于INRIA数据集,且辅助训练样本的数量远多于源训练样本的数量,INRIA行人数据集中包含人体目标的图像中行人姿态丰富,背景复杂;而非人体目标的图像包含街道、建筑物、自然风景等不同的形式,同样满足了构建样本集所需的样本的多样性。构建的源训练样本集和辅助训练样本集分别记为其中m和n分别表示源训练样本和辅助训练样本的个数;
然后,将S1和S2进行合并(拼接),得到完整的训练样本数据集:
S=[s1,s2,...,sm,...,sm+n]
第三,对所有的样本图像添加类别标签,则总的类标集为:
L=[label1,label2,...,labelm,...,labelm+n]
其中,labeli∈{0,1}为第i个训练样本图像的类标。源训练样本辅助训练样本类标集分别对应为Ls=[label1,label2,...,labelm],La=[labelm+1,labelm+2,...,labelm+n]。
步骤2,对不同集合里面的图像分别采用HOG(Histogram of Oriented Gradient)方法提取形状特征以及采用ISS(亮度自相似,Intensity Self Similarity,ISS)方法提取亮度特征,其操作过程如下:
基于HOG的形状特征提取方法提取出的特征对目标局部形状的变化以及光照变化具有鲁棒性,因此被广泛应用于目标的识别等领域。在提取HOG特征时,对于给定的一幅待处理的目标样本图像si(1≤i≤m+n),首先利用梯度算子求取每个像素点的横向梯度和纵向梯度,分别设为H(x,y)和V(x,y),每个像素点的梯度幅度和方向计算公式分别为:
θ(x,y)=tan-1[V(x,y)/H(x,y)]
然后,将图像分成若干单元,每一单元划分为9个梯度方向,得到一个9维的向量。把相邻的4块单元组成一个块,得到一个36维的特征向量。最后将所有向量连在一起就得到了样本图像的HOG特征向量hogi(1≤i≤m+n)。
最终,可以得到所有训练样本图像的HOG特征集:
hog_set=[hog1,…,hogm+n]T
而ISS特征提取方法通过计算红外人体目标图像中不同块之间的灰度相似度,来表征人体目标的亮度信息,在提取ISS特征时,对于给定的待处理的目标样本图像si(1≤i≤m+n),对其进行不重叠分块,设分为了t块。统计每一块的灰度直方图信息Hp(1≤p≤t)。
然后,针对图像中的任意两块,我们计算它们灰度直方图Hp,Hq的余弦值,用来衡量它们的相似度issp,q,公式如下:
将所有相似度的值连在一起(将所有相似度的值依次排列,构造一个行向量。)就得到了样本图像si的基于ISS的亮度特征issi
最终,可以得到所有训练样本图像的ISS特征集:
iss_set=[iss1,…,issm+n]T
步骤3,将两种异构特征进行融合并采用PCA(主成分分析法,PrincipalComponent Analysis,PCA)方法对其进行降维。具体操作步骤如下:
针对已经提取出的HOG特征集和ISS特征集,分别反映了图像的形状信息和亮度信息,两者可以形成互补,形成有效的特征描述。将两组特征集进行串联融合,得到所有样本图像的融合特征集feat:feat=[hog_set,iss_set]。
PCA降维方法能够保持特征数据的内在信息,去除特征数据之间可能存在的相关性,从而使得特征表达有效紧凑。在对特征集进行PCA降维时,首先,针对计算融合后的特征向量集feat,求解其协方差矩阵C并计算其特征值。将特征值按从大到小的顺序进行排列,得到λ12,...,λp,并得到特征值对应的特征向量v1,v2,...,vp
其次,计算累计方差贡献率G(k):
根据设定的累计方差贡献率阈值,求出主成分的个数k;
第三,选取λ12,...,λp中前k个特征值λ12,...,λk所对应的特征向量v1,v2,...,vk构成投影矩阵V,利用投影矩阵V对原特征矩阵feat进行投影,即可得到降维后的特征矩阵feat_p:
feat_p=feat×VT
其中,源训练样本降维后的特征向量集表示为Ts=[feat_p1,feat_p2,...,feat_pm]T,辅助训练样本降维后的特征向量集则表示为Ta=[feat_pm+1,feat_pm+2,...,feat_pm+n]T
步骤4.基于降维后的特征,训练迁移学习分类器,具体实现步骤如下:
首先,选取SVM分类器作为红外人体目标识别的基本分类器,后续将利用TrAdaboost算法对其进行训练。对训练数据集中的样本设置初始权重wi
第二,权重归一化:
其中,pi(i=1,2,...,m+n)为归一化后的权值;
第三,基于训练数据集Ts和Ta、类标Ls和La、及权重pi(i=1,2,...,m+n),对SVM分类器进行训练,得到分类映射
第四,计算h在Ts上的分类错误率:
其中,h(feat_pi)(i=1,...,m)表示第i个训练样本的分类结果,labeli(i=1,...,m)表示第i个训练样本的真实类标;
第五,根据计算得到的分类错误率,调整权重:
其中,参数时,设置为0.499;e=0时,调整为0.001;参数其中N表示迭代次数;
第六,重复上述步骤二至步骤五N次。最终可以得到训练后的红外人体目标分类器:
其中,h(x)表示第t次迭代时,待识别目标x的分类结果。
步骤5,在识别模块中,给定一幅待识别红外图像,同样首先提取其HOG特征和ISS特征,然后对融合特征进行降维,最后基于降维后的特征,利用已经训练好的分类器进行分类识别,即可得到最终识别结果。其具体步骤为:
首先,输入待识别的红外图像I,采用HOG特征提取方法,计算其HOG特征向量i_hog;
第二,采用ISS特征提取方法,得到其ISS特征向量i_iss。将两个特征向量进行融合,得到融合后的特征向量i_feature=[i_hog,i_iss];
然后,根据训练阶段计算所得的投影矩阵V,对i_feature进行PCA降维,得到降维后的特征feature;
最后,然后利用训练好的分类器hf(x)计算I最终分类识别的结果:
本发明采用上述技术方案,具有以下有益效果:
(1)采用多特征提取和融合的方法对样本图像进行特征的提取,提取出样本图像的形状信息和亮度信息这两种异构特征,从多角度对目标进行描述,有效解决了单一的特征提取方法涵盖信息不全面的问题,有利于提高后续的识别精度;
(2)对于融合后出现的高维数特征,采用了PCA方法进行降维,去除了特征向量之间可能大量存在着的冗余信息,使特征表示更为有效紧凑,提高了计算的效率,同时有助于提高识别的准确性。
(3)利用少量的带标签源领域红外训练样本图像,通过迁移学习建立了一个可靠的模型来对目标领域的数据进行预测,较好地解决了传统的分类器方法由于带标签的红外人体目标样本数据匮乏、训练样本和测试样本的分布及语义存在偏差而带来的泛化性能差等问题,提高了识别性能和目标识别的准确度。
附图说明
图1为本发明实施例的框架图。
具体实施方式
下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示,融合多特征降维和迁移学习的红外目标稳健性识别方法,包括如下步骤:
第一步,在训练模块中,分别采用红外和可见光图像构建源训练样本集(源训练样本集中含有红外人体目标图像和红外非人体目标图像)和辅助训练样本集(辅助训练样本集中含有可见光人体目标图像和可见光非人体目标图像),其操作过程如下:
采用LSI Far Infrared Pedestrian Dataset和INRIA Person Dataset这两个公共图像数据集构建源训练样本集和辅助训练样本集,分别记为 其中m和n分别表示源训练样本和辅助训练样本的个数;
其次,将S1和S2进行合并,得到完整的训练样本数据集:
S=[s1,s2,...,sm,...,sm+n]
然后,对所有的样本图像添加类别标签,则总的类标集为:
L=[label1,label2,...,labelm,...,labelm+n]
其中,labeli∈{0,1}为第i个训练样本图像的类标。源训练样本类标集和辅助训练样本类标集分别为Ls=[label1,label2,...,labelm],La=[labelm+1,labelm+2,...,labelm+n]。
第二步,对不同集合里面的图像分别采用HOG方法提取形状特征,并采用ISS方法提取亮度特征,具体实现过程如下:
在使用HOG方法提取形状特征时,对于给定的一幅待处理的样本图像si(1≤i≤m+n),首先利用梯度算子求取每个像素点的横向梯度和纵向梯度,分别设为H(x,y)和V(x,y),每个像素点的梯度幅度和方向计算公式分别为:
θ(x,y)=tan-1[V(x,y)/H(x,y)]
然后,将图像分成若干单元,每一单元划分为9个梯度方向,得到一个9维的向量。把相邻的4块单元组成一个块,得到一个36维的特征向量。最后将所有向量连在一起就得到了样本图像的HOG特征向量hogi(1≤i≤m+n)。
最终,可以得到所有训练样本图像的HOG特征集:
hog_set=[hog1,…,hogm+n]T
而在使用ISS方法提取形状特征时,对于给定的待处理的目标样本图像si(1≤i≤m+n),对其进行不重叠分块,设分为了t块。统计每一块的灰度直方图信息Hp(1≤p≤t)。
然后,针对图像中的任意两块,我们计算它们灰度直方图Hp,Hq的余弦值,用来衡量它们的相似度issp,q,公式如下:
将所有相似度的值连在一起就得到了样本图像si的基于ISS的亮度特征issi
最终,可以得到所有训练样本图像的ISS特征集:
iss_set=[iss1,…,issm+n]T
第三步,将两种异构特征进行融合并采用主成分分析法对其进行降维,其实现过程如下:
针对已经提取出的HOG特征集和ISS特征集,将它们进行串联融合,得到所有样本图像的融合特征集feat:feat=[hog_set,iss_set]。
在对特征集进行降维时,首先,针对计算融合后的特征向量集feat,求解其协方差矩阵C并计算其特征值。将特征值按从大到小的顺序进行排列,得到λ12,...,λp,并得到特征值对应的特征向量v1,v2,...,vp
然后,计算累计方差贡献率G(k):
根据设定的累计方差贡献率阈值,求出主成分的个数k。
第三,选取λ12,...,λp中前k个特征值λ12,...,λk所对应的特征向量v1,v2,...,vk构成投影矩阵V,利用投影矩阵V对原特征矩阵feat进行投影,即可得到降维后的特征矩阵feat_p:
feat_p=feat×VT
其中,源训练样本降维后的特征向量集表示为Ts=[feat_p1,feat_p2,...,feat_pm]T,辅助训练样本降维后的特征向量集则表示为Ta=[feat_pm+1,feat_pm+2,...,feat_pm+n]T
第四步,基于降维后的特征,训练迁移学习分类器;其具体实现步骤如下:
(1)选取SVM分类器作为红外人体目标识别的基本分类器,利用TrAdaboost框架对其进行训练。对训练数据集中的样本数据赋予初始权重wi
(2)权重归一化:
其中,pi(i=1,2,...,m+n)为归一化后的权值;
(3)基于训练数据集Ts和Ta、类标Ls和La、及权重pi(i=1,2,...,m+n),对SVM分类器进行训练,得到分类映射
(4)计算h在Ts上的分类错误率:
其中,h(feat_pi)(i=1,...,m)表示第i个训练样本的分类结果,labeli(i=1,...,m)表示第i个训练样本的真实类标;
(5)根据计算得到的分类错误率,调整权重:
其中,参数时,设置为0.499;e=0时,调整为0.001;参数其中N表示迭代次数;
(6)重复上述步骤(2)至步骤(5)N次,最终可以得到训练后的红外人体目标识别分类器:
其中,h(x)表示进行第t次迭代时,待识别目标x的分类结果。
第五步,在识别模块中,给定一幅待识别红外图像,同样首先提取其HOG特征和ISS特征,然后对融合特征进行降维,最后基于降维后的特征,利用已经训练好的分类器进行分类识别,即可得到最终识别结果。其具体步骤为:
首先,输入待识别的红外图像I,采用HOG特征提取方法,计算其HOG特征向量i_hog;
第二,采用ISS特征提取方法,得到其ISS特征向量i_iss。将两个特征向量进行融合,得到融合后的特征向量i_feature=[i_hog,i_iss];
然后,根据训练阶段计算所得的投影矩阵V,对i_feature进行PCA降维,得到降维后的特征feature;
最后,然后利用训练好的分类器hf(x)计算I最终分类识别的结果:

Claims (7)

1.一种融合多特征降维和迁移学习的红外目标稳健性识别方法,其特征在于,包括训练和识别两个模块的实现流程:在训练模块中,分别采用红外和可见光图像构建源训练样本集和辅助训练样本集;然后,对不同的图像集分别采用HOG特征提取方法提取形状特征,并采用亮度自相似特征提取方法提取亮度特征;接着,将两种异构特征进行融合并采用主成分分析法对其进行降维;最后,基于降维后的特征,训练迁移学习分类器;在识别模块中,给定一幅待识别红外图像,同样首先提取其HOG特征和ISS特征,然后对融合特征进行降维,最后基于降维后的特征,利用已经训练好的分类器进行分类识别,即可得到最终识别结果。
2.如权利要求1所述的融合多特征降维和迁移学习的红外目标稳健性识别方法,其特征在于,所述源训练样本集中含有红外人体目标图像和红外非人体目标图像,辅助训练样本集中含有可见光人体目标图像和可见光非人体目标图像。
3.如权利要求1所述的融合多特征降维和迁移学习的红外目标稳健性识别方法,其特征在于,在训练模块中,分别采用红外和可见光图像构建源训练样本集和辅助训练样本集,其操作过程如下:分别采用红外和可见光图像构建源训练样本集和辅助训练样本集,分别记为其中m和n分别表示源训练样本和辅助训练样本的个数;
然后,将S1和S2进行合并,得到完整的训练样本数据集:
S=[s1,s2,...,sm,...,sm+n]
第三,对所有的样本图像添加类别标签,则总的类标集为:
L=[label1,label2,...,labelm,...,labelm+n]
其中,labeli∈{0,1}为第i个训练样本图像的类标。源训练样本和辅助训练样本类标集分别对应为Ls=[label1,label2,...,labelm],La=[labelm+1,labelm+2,...,labelm+n]。
4.如权利要求1所述的融合多特征降维和迁移学习的红外目标稳健性识别方法,其特征在于,对不同集合里面的图像分别采用HOG方法提取形状特征,并采用ISS方法提取亮度特征;具体实现过程为:
在使用HOG方法提取形状特征时,对于给定的一幅待处理的样本图像si(1≤i≤m+n),首先利用梯度算子求取每个像素点的横向梯度和纵向梯度,分别设为H(x,y)和V(x,y),每个像素点的梯度幅度和方向计算公式分别为:
θ(x,y)=tan-1[V(x,y)/H(x,y)]
然后,将图像分成若干单元,每一单元划分为9个梯度方向,得到一个9维的向量;把相邻的4块单元组成一个块,得到一个36维的特征向量;最后将所有向量连在一起就得到了样本图像的HOG特征向量hogi(1≤i≤m+n);
最终,可以得到所有训练样本图像的HOG特征集:
hog_set=[hog1,…,hogm+n]T
而在使用ISS方法提取形状特征时,对于给定的待处理的目标样本图像si(1≤i≤m+n),对其进行不重叠分块,设分为了t块;统计每一块的灰度直方图信息Hp(1≤p≤t);
然后,针对图像中的任意两块,我们计算它们灰度直方图Hp,Hq的余弦值,用来衡量它们的相似度issp,q,公式如下:
将所有相似度的值连在一起就得到了样本图像si的基于ISS的亮度特征issi
最终,可以得到所有训练样本图像的ISS特征集:
iss_set=[iss1,…,issm+n]T
5.如权利要求1所述的融合多特征降维和迁移学习的红外目标稳健性识别方法,其特征在于,将两种异构特征进行融合并采用主成分分析法对其进行降维,具体实现步骤如下:
针对已经提取出的HOG特征集和ISS特征集,将它们进行串联融合,得到所有样本图像的融合特征集feat:feat=[hog_set,iss_set];
在对特征集进行降维时,首先,针对计算融合后的特征向量集feat,求解其协方差矩阵C并计算其特征值;将特征值按从大到小的顺序进行排列,得到λ12,...,λp,并得到特征值对应的特征向量v1,v2,...,vp
然后,计算累计方差贡献率G(k):
根据设定的累计方差贡献率阈值,求出主成分的个数k;
第三,选取λ12,...,λp中前k个特征值λ12,...,λk所对应的特征向量v1,v2,...,vk构成投影矩阵V,利用投影矩阵V对原特征矩阵feat进行投影,即可得到降维后的特征矩阵feat_p:
feat_p=feat×VT
其中,源训练样本降维后的特征向量集表示为Ts=[feat_p1,feat_p2,...,feat_pm]T,辅助训练样本降维后的特征向量集则表示为Ta=[feat_pm+1,feat_pm+2,...,feat_pm+n]T
6.如权利要求1所述的融合多特征降维和迁移学习的红外目标稳健性识别方法,其特征在于,基于降维后的特征,训练迁移学习分类器;其具体实现步骤如下:
首先,选取支持向量机作为红外人体目标识别的基本分类器,利用TrAdaboost框架对其进行训练;给训练数据集中的样本数据赋予初始权重wi
第二,权重:
其中,pi(i=1,2,...,m+n)为归一化后的权值;
第三,基于训练数据集Ts和Ta、类标Ls和La、及权重pi(i=1,2,...,m+n),对SVM分类器进行训练,得到分类映射h:
第四,计算h在Ts上的分类错误率:
其中,h(feat_pi)(i=1,...,m)表示第i个训练样本的分类类标,labeli(i=1,...,m)表示第i个训练样本的真实类标;
第五,根据以上得到的分类错误率,对权重进行调整:
其中,参数 时,设置为0.499;e=0时,调整为0.001;参数其中N表示迭代次数;
第六,重复上述步骤二至步骤五N次,最终可以得到训练后的红外人体目标识别分类器:
其中,h(x)表示进行第t次迭代时,待识别目标x的分类结果。
7.如权利要求1所述的融合多特征降维和迁移学习的红外目标稳健性识别方法,其特征在于,在识别模块中,给定一幅待识别红外图像,同样首先提取其HOG特征和ISS特征,然后对融合特征进行降维,最后基于降维后的特征,利用已经训练好的分类器进行分类识别,即可得到最终识别结果;其具体步骤为:
输入待识别的红外图像,首先提取其HOG和ISS融合并降维后的特征feature,然后利用训练好的分类器hf(x)计算最终分类识别的结果:
CN201810400557.2A 2018-04-28 2018-04-28 融合多特征降维和迁移学习的红外目标稳健性识别方法 Pending CN108681696A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810400557.2A CN108681696A (zh) 2018-04-28 2018-04-28 融合多特征降维和迁移学习的红外目标稳健性识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810400557.2A CN108681696A (zh) 2018-04-28 2018-04-28 融合多特征降维和迁移学习的红外目标稳健性识别方法

Publications (1)

Publication Number Publication Date
CN108681696A true CN108681696A (zh) 2018-10-19

Family

ID=63802296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810400557.2A Pending CN108681696A (zh) 2018-04-28 2018-04-28 融合多特征降维和迁移学习的红外目标稳健性识别方法

Country Status (1)

Country Link
CN (1) CN108681696A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299304A (zh) * 2018-10-25 2019-02-01 科大讯飞股份有限公司 目标图像检索方法及系统
CN109583482A (zh) * 2018-11-13 2019-04-05 河海大学 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法
CN109657534A (zh) * 2018-10-30 2019-04-19 百度在线网络技术(北京)有限公司 对图像中人体进行分析的方法、装置及电子设备
CN110781935A (zh) * 2019-10-16 2020-02-11 张磊 一种通过迁移学习实现轻量级图像分类的方法
CN111242318A (zh) * 2020-01-13 2020-06-05 拉扎斯网络科技(上海)有限公司 基于异构特征库的业务模型训练方法及装置
CN111797795A (zh) * 2020-07-13 2020-10-20 燕山大学 一种基于YOLOv3与SSR的行人检测算法
CN114692719A (zh) * 2022-02-24 2022-07-01 电子科技大学 一种基于svm-Tradboost模型迁移的XRF小样本元素分类方法
CN114926753A (zh) * 2022-06-16 2022-08-19 无锡慧眼人工智能科技有限公司 一种海量图像条件下的快速目标场景信息提取方法
CN117788333A (zh) * 2024-02-26 2024-03-29 海南热带海洋学院 水下超声波图像散斑噪声抑制的ISSM NL means算法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239907A (zh) * 2014-07-16 2014-12-24 华南理工大学 面向变化场景的远红外行人检测方法
CN106846289A (zh) * 2017-01-17 2017-06-13 中北大学 一种基于显著性迁移与细节分类的红外光强与偏振图像融合方法
CN107292246A (zh) * 2017-06-05 2017-10-24 河海大学 基于hog‑pca和迁移学习的红外人体目标识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239907A (zh) * 2014-07-16 2014-12-24 华南理工大学 面向变化场景的远红外行人检测方法
CN106846289A (zh) * 2017-01-17 2017-06-13 中北大学 一种基于显著性迁移与细节分类的红外光强与偏振图像融合方法
CN107292246A (zh) * 2017-06-05 2017-10-24 河海大学 基于hog‑pca和迁移学习的红外人体目标识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MIRON A 等: ""Intensity self similarity features for pedestrian detection in far-infrared images"", 《PROCEEDINGS OF THE 2012 IEEE INTERNATIONAL SYMPOSIUM》 *
胡庆新 等: ""基于多特征的红外图像行人检测"", 《电子设计工程》 *
胡庆新 等: ""基于多特征融合的红外图像行人检测"", 《计算机应用》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299304A (zh) * 2018-10-25 2019-02-01 科大讯飞股份有限公司 目标图像检索方法及系统
CN109657534A (zh) * 2018-10-30 2019-04-19 百度在线网络技术(北京)有限公司 对图像中人体进行分析的方法、装置及电子设备
CN109583482A (zh) * 2018-11-13 2019-04-05 河海大学 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法
CN109583482B (zh) * 2018-11-13 2022-08-16 河海大学 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法
CN110781935B (zh) * 2019-10-16 2023-09-15 张磊 一种通过迁移学习实现轻量级图像分类的方法
CN110781935A (zh) * 2019-10-16 2020-02-11 张磊 一种通过迁移学习实现轻量级图像分类的方法
CN111242318A (zh) * 2020-01-13 2020-06-05 拉扎斯网络科技(上海)有限公司 基于异构特征库的业务模型训练方法及装置
CN111242318B (zh) * 2020-01-13 2024-04-26 拉扎斯网络科技(上海)有限公司 基于异构特征库的业务模型训练方法及装置
CN111797795A (zh) * 2020-07-13 2020-10-20 燕山大学 一种基于YOLOv3与SSR的行人检测算法
CN114692719A (zh) * 2022-02-24 2022-07-01 电子科技大学 一种基于svm-Tradboost模型迁移的XRF小样本元素分类方法
CN114692719B (zh) * 2022-02-24 2023-04-07 电子科技大学 一种基于svm-Tradboost模型迁移的XRF小样本元素分类方法
CN114926753B (zh) * 2022-06-16 2023-10-13 无锡慧眼人工智能科技有限公司 一种海量图像条件下的快速目标场景信息提取方法
CN114926753A (zh) * 2022-06-16 2022-08-19 无锡慧眼人工智能科技有限公司 一种海量图像条件下的快速目标场景信息提取方法
CN117788333A (zh) * 2024-02-26 2024-03-29 海南热带海洋学院 水下超声波图像散斑噪声抑制的ISSM NL means算法
CN117788333B (zh) * 2024-02-26 2024-07-23 海南热带海洋学院 水下超声波图像散斑噪声抑制的ISSM NL means算法

Similar Documents

Publication Publication Date Title
CN108681696A (zh) 融合多特征降维和迁移学习的红外目标稳健性识别方法
Ouyang et al. Deep CNN-based real-time traffic light detector for self-driving vehicles
CN109583482B (zh) 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法
Kumar et al. Man-made structure detection in natural images using a causal multiscale random field
WO2019169816A1 (zh) 一种用于精细化识别车辆属性的深度神经网络及训练方法
Zhang et al. Learning semantic scene models by object classification and trajectory clustering
CN103514456B (zh) 基于压缩感知多核学习的图像分类方法及其装置
Nie et al. Pavement distress detection based on transfer learning
CN110414462A (zh) 一种无监督的跨域行人重识别方法及系统
CN107832711A (zh) 一种基于迁移学习的行人重识别方法
CN109271895A (zh) 基于多尺度特征学习和特征分割的行人重识别方法
CN107133569A (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN108230330B (zh) 一种快速的高速公路路面分割和摄像机定位的方法
Masita et al. Pedestrian detection using R-CNN object detector
Mo et al. Vehicles detection in traffic flow
CN102184384A (zh) 一种基于多尺度局部相位量化特征的人脸识别方法
Tian et al. Object localization via evaluation multi-task learning
Li et al. An aerial image segmentation approach based on enhanced multi-scale convolutional neural network
Haq et al. A fast hybrid computer vision technique for real-time embedded bus passenger flow calculation through camera
Ji et al. A hybrid model of convolutional neural networks and deep regression forests for crowd counting
Chen et al. Multi-gait identification based on multilinear analysis and multi-target tracking
Zhang et al. ROI-wise Reverse Reweighting Network for Road Marking Detection.
Zhang et al. Ctsd: A dataset for traffic sign recognition in complex real-world images
Bandukwala et al. Object detection using YOLO
Jung et al. Fine-grained classification via hierarchical feature covariance attention module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181019

RJ01 Rejection of invention patent application after publication