CN111783837B - 一种基于多核学习的特征融合方法 - Google Patents

一种基于多核学习的特征融合方法 Download PDF

Info

Publication number
CN111783837B
CN111783837B CN202010503918.3A CN202010503918A CN111783837B CN 111783837 B CN111783837 B CN 111783837B CN 202010503918 A CN202010503918 A CN 202010503918A CN 111783837 B CN111783837 B CN 111783837B
Authority
CN
China
Prior art keywords
radar
function
infrared
feature
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010503918.3A
Other languages
English (en)
Other versions
CN111783837A (zh
Inventor
刘峥
朱红茹
黄超
靳冰洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010503918.3A priority Critical patent/CN111783837B/zh
Publication of CN111783837A publication Critical patent/CN111783837A/zh
Application granted granted Critical
Publication of CN111783837B publication Critical patent/CN111783837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于多模复合制导信息融合技术领域，公开了一种基于多核学习的特征融合方法，具体为：1)对雷达、红外训练特征集分别进行标准化处理；2)用神经网络f、g分别抽取雷达、红外的非线性特征X(f)、Y(g)；3)在神经网络的输出层构造融合准则函数，使得相关系数corr(X(f),Y(g))最大化；4)优化神经网络得到融合后的特征向量；5)确定预选取的基核函数；6)采用加权求和的方式得到合成核；7)利用简单多核学习算法训练合成核；8)在线鉴别时，对雷达和红外的测试特征集合重复步骤1～4，用训练完毕的合成核替代传统支持向量机中的单一核函数；9)确认待攻击目标的身份；在保证类间散布矩阵最大，类内散步矩阵最小的同时，降低特征维度，提高了信息融合的鉴别性能。

Description

一种基于多核学习的特征融合方法
技术领域
本发明涉及多模复合制导信息融合技术领域，具体涉及一种基于多核学习的特征融合方法，可用于雷达和红外复合制导中对非合作目标的身份确认。
背景技术
多模复合寻的制导技术已成为精确制导武器的一个主流研究方向。毫米波雷达导引头探测距离远、可以全天候工作，但易受电子干扰、电子欺骗；红外热成像导引头虽然探测精度较高、抗干扰能力强，但探测距离近。毫米波雷达/红外热成像双模复合制导系统利用各单模的优势组合探测，可以取长补短，弥补彼此单一制导下的缺陷与不足。基于特征级的信息融合技术能够在各种复杂、不确定性的情况下，融合来自雷达与红外导引头所提供的多源特征信息，滤除无用特征与冗余特征，降低特征维度，在一定程度上解决数据异构问题，从而提高信息融合系统在目标分类任务中的精度与效率。
迄今为止，信息融合技术在国内外均已取得非常显著的成果，但是针对特征级的信息融合技术，仍有许多问题亟待解决，迫切需要开展深入的理论研究，为多模复合导引头的工程实现提供强有力的技术支撑。
传统的特征融合算法是将各传感器的特征向量通过一定的加权合成为一个统一向量的处理方法。文献“基于OWA聚合算子的多传感器目标识别”将有序加权平均(OrderedWeighted Averaging，OWA)算子引入到多传感器属性信息融合领域中来，它是一种介于最大与最小算子之间的加权平均算子，可以用来有效地融合多组模糊的和不确定的信息。但是，该算法只考虑到各类传感器之间的相对重要性对融合结果的影响，通常各种传感器由于所处环境和自身结构等客观因素的影响造成各自的可靠性不同，所以在实际的应用过程中，该算法具有一定的局限性。Andrew等人在文章“Deep Canonical CorrelationAnalysis”中首次将深度神经网络算法与典型相关分析(Canonical CorrelationAnalysis，CCA)相结合，提出了DCCA特征融合算法。理论上，DCCA比CCA更能反映隐藏在异源特征之间复杂的相关性。随着支持向量机(Support Vector Machine，SVM)以及核的概念被提出，Cherkassky V等人在文章“A practical selection of SVM parameters and noiseestimation for SVM regression”中认为，在SVM中，因为不同特征空间中数据的分布不相同，SVM的性能在很大程度上取决于核函数以及其参数的选择。然而，现在没有一种核函数及参数选择的方法在理论上得到有力的支持。所以传统的SVM只采用一个核函数，这样它只能解决一些简单的数据问题，对于一些不同数据源的复杂问题实际表现差强人意。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种基于多核学习的特征融合方法，解决了现有特征融合算法在训练阶段，将所有特征分量用同一核函数进行映射，使特征的可分性受限等问题，在考虑核函数选择对特征融合算法性能影响的前提下，以雷达/红外复合导引头对地目标鉴别为应用背景，将特征层融合方式与核层融合方式相结合，在深度典型相关分析算法的基础上提出一种基于多核学习的特征融合方法，提高了信息融合系统的目标鉴别性能，可用于雷达和红外复合制导中对非合作目标的身份确认；在保证类间散布矩阵最大，类内散步矩阵最小的同时，可降低特征维度，有利于进一步提高信息融合系统的鉴别性能。
实现本发明目的的技术思路是：首先采用深度典型相关算法将来自两类探测器的特征信息投影到最大相关方向，然后对基核函数进行加权求和，用该合成核替代传统分类算法中的单核函数，利用简单多核学习算法通过迭代训练分类器，最终确定适合融合特征矢量的核函数及其参数。
为了达到上述目的，本发明采用以下技术方案予以实现。
一种基于多核学习的特征融合方法，包括以下步骤：
步骤1，对雷达训练特征集{x1,x2,…,xi,…,xm}和红外训练特征集{y1,y2,…,yj,…,yn}分别进行标准化处理，得标准化的雷达训练特征集X和标准化的红外训练特征集Y；其中，xi∈R，1≤i≤m，m为雷达特征的维度；yj∈R，1≤j≤n，n为红外特征的维度，R为实数集；
步骤2，用神经网络f从标准化的雷达训练特征集X中抽取雷达的非线性特征X(f)；用神经网络g从标准化的红外训练特征集Y中抽取红外的非线性特征Y(g)；
步骤3，在神经网络的输出层构造融合准则函数，使得相关系数corr(X(f),Y(g))最大化；
步骤4，采用典型相关算法优化神经网络，得到融合后的特征向量；
步骤5，根据融合后的特征向量，确定预选取的基核函数；
步骤6，从预选取的基核函数中为每一维特征分量选择最合适的核函数，对每一维特征分量选择最合适的核函数进行加权求和，得到合成核；
步骤7，利用简单多核学习算法训练所述合成核；
步骤8，在线鉴别时，对雷达和红外的测试特征集合重复步骤1～4，用训练完毕的合成核替代传统支持向量机中的单一核函数；
步骤9，确认待攻击目标的身份，通过在支持向量机中对目标进行判定，最终确定目标是否为库内目标。
本发明技术方案的特点和进一步的改进为：
步骤1具体为：采用Z-Score方法分别对雷达训练特征集{x1,x2,…,xi,…,xm}和红外训练特征集{y1,y2,…,yj,…,yn}分别进行标准化处理，标准化计算方法如下：
其中，μi和σi分别表示雷达特征xi的均值和方差，μj和σj分别表示红外特征yj的均值和方差；标准化的雷达训练特征集X为X＝{X1,X2,…,Xi,…,Xm}；标准化的红外训练特征集Y为Y＝{Y1,Y2,…,Yj,…,Yn}。
具体的，步骤2包含以下子步骤：
子步骤2.1，设神经网络f的每个隐藏层具有c1个单元，最终输出层具有O个单元，则雷达第一层全连接网络的输出h1为:
其中，为雷达第一层网络的权重矩阵，/>为雷达第一层的偏移量向量，gaussian是一个非线性映射函数；
子步骤2.2，根据雷达第一层全连接网络的输出h1，计算雷达第一层全连接网络的输出h2：
其中，为雷达第二层网络的权重矩阵，/>为雷达第二层的偏移量向量；
因此，对于一个层数为l的深度神经网络f，输入标准化的雷达训练特征集X，经过推导，雷达最后一层全连接网络的输出X(f)为：
其中，为雷达第l层网络的权重矩阵，/>为雷达第l层的偏移量向量；
子步骤2.3，同理可得，红外最后一层全连接网络的输出Y(g)为：
其中，为红外第l层网络的权重矩阵，/>为红外第l层的偏移量向量。
具体的，步骤3中，所述融合准则函数为：
其中，δ1、δ2是求最大相关时的中间参数矩阵，分别表示参数为δ1、δ2时的雷达和红外网络，/>表示雷达网络的所有权重矩阵和偏移量的向量，即表示红外网络的所有权重矩阵和偏移量的向量，即
具体的，步骤4包含以下子步骤：
子步骤4.1，使用拉格朗日乘子法求解所述融合准则函数，则优化后的目标函数为：
其中，L为拉格朗日函数，λ1、λ2是拉格朗日乘子，wx和wy分别表示X(f)和Y(g)的投影方向，Sxx和Syy分别表示X(f)和Y(g)的类内协方差矩阵，Sxy为X(f)与Y(g)的类间协方差矩阵；
令可得：
通过化简可知设Sxx、Syy可逆且λ＝λ1＝λ2≠0，将上式整理为：
其中，Sxx＝(1/N)X(f)X(f) T，Sxy＝(1/N)X(f)Y(g) T，Syy＝(1/N)Y(g)Y(g) T，N表示样本数量；
子步骤4.2，将所述优化后的目标函数转化为特征值函数：
子步骤4.3，用奇异值分解方法求解所述特征值函数，具体为：令则特征值函数转化为如下形式：
对上式的矩阵H进行SVD，则可得到：
其中，a表示特征值的个数，t∈[1,a]，ut、vt分别是矩阵H的左、右奇异矩阵的第t列元素，wxt表示第t个典型特征所对应的雷达特征X(f)的投影向量，wyt表示第t个典型特征所对应的红外特征Y(g)的投影向量；
子步骤4.4，根据融合准则函数，利用梯度下降方法，通过梯度推导后，重复子步骤4.1～4.4，对雷达的非线性特征X(f)和红外的非线性特征Y(g)进行典型相关性分析，并将结果反馈回神经网络的输入层，通过反复训练在训练数据集上求得最合适的从而根据投影向量可以得到融合后特征向量/>其中/>χ代表多核学习中的输入空间，/>表示特征分量/>的属性，N表示样本数量。
具体的，步骤5中，预选取的基核函数有多项式核：
其中，表示融合后特征的不同分量，c为常数项，d为阶数；
高斯核为：
其中，σ为函数宽度参数。
具体的，步骤6中，所述合成核的计算方法为：
其中，Om表示预选取的基核个数，表示第om维特征分量对应的权重系数，表示第om维特征分量对应的基核函数，om∈[1,Om]。
具体的，步骤7包含以下子步骤：
子步骤7.1，在MKL框架中，决策函数的形式为：
其中，不同的核对应不同的Hilbert空间/>Rα和Rβ均为常数矩阵，*表示矩阵的共轭；
子步骤7.2，将决策函数转化为多核学习的最优化问题形式：
其中，松弛变量惩罚因子C>0；
子步骤7.3，利用简单多核学习中提出的约束优化形式，将多核学习的最优化问题转换为光滑且凸的优化问题：
其中定义为：
子步骤7.4，子步骤7.3中关于变量的F(z)、的拉格朗日函数为：
其中，与/>表示拉格朗日参数；
子步骤7.5，将子步骤7.4中拉格朗日函数里关于变量F(z)、的偏导数置为0，可得：
将上式代入子步骤7.4中拉格朗日函数，则的对偶形式为：
子步骤7.6，定义为子步骤7.2中优化问题的最优目标值，由于满足强对偶性条件/>也是对偶问题的最优目标值：
其中，是问题的最优解，目标值/>通过SVM优化算法计算得到；
子步骤7.7，利用梯度下降法来求解在/>对/>可微的情况下求偏导数：
求解最小值使用的可行下降梯度方向必须满足等式约束要求与/>设om1是/>中最大元素的下标，并且/>则/>的下降梯度/>为：
子步骤7.8，为了最小化必须为梯度的下降方向；如果/>和同时满足，则/>的约束条件就无法保证，因此将下降方向设为0，则/>的梯度下降方向为：
得到后根据公式/>更新/>为了使/>全局收敛，步长γ可以用基于Armijo停止准则的一维线性搜索方法求得；
子步骤7.9，多核学习的对偶间隙DualGap为：
当DualGap≤ε时则迭代结束；其中，ε为预先设定的精度参数。
与现有技术相比，本发明的有益效果为：
1)融合后特征向量可分性强。
现有的特征融合方法难以挖掘异源特征的非线性关系，当特征的线性组合效果不够好或者两组特征集合关系是非线性的时候，会将原始空间的样本通过“核方法”映射到特征空间进行分析计算，但是这种非线性映射方式通常会被固定的核函数限制。在本发明中，将雷达和红外两个不同特征集通过两个神经网络(Neural Network，NN)进行映射，可以灵活的学习到特征的非线性表示，通过典型相关分析算法在输出层优化神经网络，所得到的融合后特征向量具有更强的可分性。
2)平均鉴别准确率高。
现有的特征融合方法在实际应用中均会面临鉴别器中核函数的选择，通常是将表现普遍较好的高斯核函数用于鉴别器，但是这种做法极大的限制了特征融合算法的性能。在本发明中，将特征层融合和核层融合结合，在离线训练阶段，为每一维特征分量选择最合适的核函数及参数，把这些基核函数通过加权求和的方式得到一个合成核，在线鉴别时，将合成核用于鉴别器，极大提高了信息融合系统对库内外目标的鉴别能力。
附图说明
下面结合附图和具体实施例对本发明做进一步详细说明。
图1为基于多核学习的特征融合方法流程图；
图2为深度典型相关分析算法框架；
图3为多核函数合成示意图；
图4为三种算法特征空间评分对比；
图5为三种算法特征空间对比(Dim＝3)；其中，(a)图为DCCA算法特征空间图；(b)图为CCA算法特征空间图；(c)图为KCCA算法特征空间图；
图6为基核数对分类器的影响。
具体实施方式
下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。
参考图1，一种基于多核学习的特征融合方法，包括以下步骤：
步骤1，对雷达训练特征集{x1,x2,…,xi,…,xm}(xi∈R，1≤i≤m)和红外训练特征集{y1,y2,…,yj,…,yn}(yj∈R，1≤j≤n)分别进行标准化处理，得标准化的雷达训练特征集X和标准化的红外训练特征集Y；其中，m为雷达特征的维度，n为红外特征的维度，R为实数集。
具体的，步骤1为：
采用Z-Score方法分别对雷达训练特征集{x1,x2,…,xi,…,xm}(xi∈R，1≤i≤m)和红外训练特征集{y1,y2,…,yj,…,yn}(yj∈R，1≤j≤n)进行标准化处理，去除数据的单位限制，将其转化为无量纲的纯数值，具体的标准化计算方法如下：
其中，μi和σi分别表示雷达特征xi的均值和方差，μj和σj分别表示红外特征yj的均值和方差。
则标准化的雷达训练特征集X为：X＝{X1,X2,…,Xi,…,Xm}(Xi∈[0,1]，1≤i≤m)；标准化的红外训练特征集Y为：Y＝{Y1,Y2,…,Yj,…,Yn}(Yj∈[0,1]，1≤j≤n)。
步骤2，用神经网络f从标准化的雷达训练特征集X中抽取雷达的非线性特征X(f)；用神经网络g从标准化的红外训练特征集Y中抽取红外的非线性特征Y(g)。
具体的，步骤2包含以下子步骤：
子步骤2.1，图2为深度典型相关分析算法框架。在本发明中采用径向基函数(Radial Basis Function，RBF)神经网络，隐藏层单元的传递函数采用RBF。假设神经网络f的每个隐藏层具有c1个单元，而最终输出层具有O个单元，标准化的雷达训练特征集X∈Rm，m为雷达特征的维度，标准化的红外训练特征集Y∈Rn，n代表红外特征的维度。对于雷达第一层全连接网络的输出h1，如下式所示：
其中，为雷达第一层网络的权重矩阵，/>为雷达第一层的偏移量向量；gaussian是一个非线性映射函数，如下式：
其中，s为gaussian函数的自变量，μ为函数的中心，σ为函数宽度参数。
子步骤2.2，根据雷达第一层全连接网络的输出h1，计算雷达第一层全连接网络的输出h2，如下式：
其中，为雷达第二层网络的权重矩阵，/>为雷达第二层的偏移量向量。
因此，对于一个层数为l的深度神经网络f，输入标准化的雷达训练特征集X，经过推导，雷达最后一层全连接网络的输出X(f)计算公式如下：
其中，为雷达第l层网络的权重矩阵，/>为雷达第l层的偏移量向量。
子步骤2.3，同理，采用子步骤2.1、2.2的方法，得到红外最后一层全连接网络的输出Y(g)，公式如下：
其中，为红外第l层网络的权重矩阵，/>为红外第l层的偏移量向量。
步骤3，在神经网络的输出层构造融合准则函数，深度典型相关分析的最终目标是计算出合适的权重矩阵和偏移向量，使得相关系数corr(X(f),Y(g))最大化，如下式所示：
其中，δ1、δ2是求最大相关时的中间参数矩阵，分别表示参数为δ1、δ2时的雷达和红外网络，/>表示雷达网络的所有权重矩阵和偏移量的向量，即表示红外网络的所有权重矩阵和偏移量的向量，即
步骤4，采用典型相关算法优化神经网络，得到融合后的特征向量。
具体的，步骤4包含以下子步骤：
子步骤4.1，使用Lagrange乘子法进行求解步骤3中的融合准则函数，则优化后的目标函数为：
其中，L为拉格朗日函数，λ1、λ2是拉格朗日乘子，wx和wy分别表示X(f)和Y(g)的投影方向，Sxx和Syy分别表示X(f)和Y(g)的类内协方差矩阵，Sxy为X(f)与Y(g)的类间协方差矩阵。
令可得：
通过化简可知设Sxx、Syy可逆且λ＝λ1＝λ2≠0，将上式整理为：
其中，Sxx＝(1/N)X(f)X(f) T，Sxy＝(1/N)X(f)Y(g) T，Syy＝(1/N)Y(g)Y(g) T，N表示样本数量。
子步骤4.2，将子步骤4.1中的优化后的目标函数转化为特征值函数：
子步骤4.3，用奇异值分解(Singular Value Decomposition，SVD)方法求解特征值函数，具体为：令则子步骤4.2中的特征值函数转化为如下形式：
对上式的矩阵H进行SVD，则可得到：
其中，a表示特征值的个数，t∈[1,a]，ut、vt分别是矩阵H的左、右奇异矩阵的第t列元素，wxt表示第t个典型特征所对应的雷达特征X(f)的投影向量，wyt表示第t个典型特征所对应的红外特征Y(g)的投影向量，即要寻找的使雷达和红外特征集相关性最大的投影向量。
子步骤4.4，根据步骤3中的融合准则函数，利用梯度下降方法，通过梯度推导后，重复子步骤4.1～4.4，对雷达的非线性特征X(f)和红外的非线性特征Y(g)进行典型相关性分析，并将结果反馈回神经网络的输入层，通过反复训练在训练数据集上求得最合适的从而根据投影向量可以得到融合后的特征向量，用数据集/>表示，其中/>χ代表多核学习中的输入空间，/>表示特征分量/>的属性，N表示样本数量。
步骤5，根据融合后的特征向量，确定预选取的基核函数。
具体的，步骤5包含以下子步骤：
子步骤5.1，多核学习的预选取的基核核函数有多项式核：
其中，表示融合后特征的不同分量，c和d是多项式核的两个参数，c是一个常数项，d代表阶数。高斯核为：
其中，σ为函数宽度参数，控制函数的径向作用范围。
子步骤5.2，核的个数设为13个，本发明中随机地选择10个高斯核和3个多项式核，其中，10个高斯核的核参数是以“对数数量级”而均匀的取自区间[10-2,102]，3个多项式核的核参数d、分别为{1,2,3}，常数项取c＝1。
步骤6，从预选取的基核函数中为每一维特征分量选择最合适的核函数，对每一维特征分量选择最合适的核函数进行加权求和，得到合成核。
具体的，图3为多核函数合成示意图。本发明用到的合成核方式为加权求和(Weighted Summation，WS)，计算方法如下式：
其中，Om表示预选取的基核个数，表示第om维特征分量对应的权重系数，表示第om维特征分量对应的基核函数，om∈[1,Om]。
多核学习中可以在同一优化问题里同时学习核权重相比于单核模型通过确定核函数来表示数据，多核模型通过选择权重/>来表示数据，这样更有助于对数据的自由组合和选择。
步骤7，利用简单多核学习算法训练所述合成核。
具体的，步骤7包含以下子步骤：
子步骤7.1，在MKL框架中，决策函数F(z)的形式为：
其中，不同的核对应不同的Hilbert空间/>Rα和Rβ均为常数矩阵，*表示矩阵的共轭。
子步骤7.2，将决策函数转化为多核学习的最优化问题形式为：
其中，松弛变量表示特征点的偏移量；惩罚因子C>0，用来权衡分量超平面的间隔与偏离量。
子步骤7.3，利用Rakotomamonjy在简单多核学习(Simple Multi-KernelLearning，Simple MKL)中提出的约束优化形式，可以将多核学习的最优化问题转换为光滑且凸的优化问题：
其中定义为：
/>
子步骤7.4，子步骤7.3中关于变量的F(z)、的Lagrangian函数为：
其中，L表示构造的Lagrangian函数，与/>表示拉格朗日参数。
子步骤7.5，将子步骤7.4中Lagrangian函数里关于变量F(z)、的偏导数置为0，可得：
将上式代入子步骤7.4中Lagrangian函数，则的对偶形式为：
上式中，由于需要对本身计算内积，故变量/>和/>的下标分别用nm1和nm2来区分。另外，在/>确定的情况下，上述问题为典型的SVM对偶问题。
子步骤7.6，定义为子步骤7.2中优化问题的最优目标值，由于满足强对偶性条件/>也是对偶问题的最优目标值：
其中，是问题的最优解，目标值/>通过任何SVM优化算法(如SMO)计算得到。
子步骤7.7，接下来求解可用简单的梯度下降法来求解。在/>对/>可微的情况下求偏导数：
求解最小值使用的可行下降梯度方向必须满足等式约束要求与/>为了提高数值稳定性，设om1是/>中最大元素的下标，并且/>的下降梯度/>为：
子步骤7.8，约束条件的非负性在下降方向也需要被考虑进去。为了最小化必须为梯度的下降方向。如果/>和/>同时满足，则/>的约束条件就无法保证，因此这种情况下的下降方向设为0，则/>的梯度下降方向为：
得到后根据公式/>更新/>为了使/>全局收敛，步长γ可以用基于Armijo停止准则的一维线性搜索方法求得。
子步骤7.9，多核学习的对偶间隙(Duality Gap)为：
对偶间隙，其定义为，用文字叙述就是原问题的最优值与通过拉个郎日对偶函数获得的其最好(最大)的下界之差。算法迭代过程中，采用对偶间隙作为算法终止条件时，当DualGap≤ε(ε为预先设定的精度参数)时则迭代结束。
步骤8，在线鉴别时，对雷达和红外的测试特征集合重复步骤1～4，用训练完毕的合成核替代传统支持向量机中的单一核函数。
步骤9，确认待攻击目标的身份。通过在支持向量机中对目标进行判定，最终确定目标是否为库内目标。
本发明的效果通过以下实测数据实验进一步说明：
1、实验条件：
提取雷达和红外的特征集合分别为{长度特征、波形熵特征、三阶中心矩特征、双谱特征}、{长宽比特征、复杂度特征、紧凑度特征、均值对比度特征}，具体的样本集如表1所示。
表1样本集
基本核函数及其参数如表2所示。当多项式核参数二时，多项式核就退化为了线性核，这使得我们的实验更具一般性。
分类器采用OCSVM，通常核SVM中用到的单核为高斯核函数，其带宽取10，超参数设为100。
表2基本核函数及其参数
这里共设置两个实验：实验1采用特征空间评价准则对比CCA、KCCA、DCCA三种算法在1～8维的融合特征空间的优劣；实验2根据实验1的结果，固定融合特征维度，将本申请提到的Simple MKL算法与三种算法相结合，分析基核数Om在核层融合中对分类器的影响。
2、实验内容：
实验1，将雷达特征集和红外特征集通过CCA、KCCA和DCCA三种特征融合算法分别融合至1～8维特征进行对比分析，实验结果如图4所示。
图4是三种算法特征空间评分对比。由图4可以得出以下结论：(1)CCA、KCCA、DCCA三种算法在融合特征分量维度设置过小和过大时，其评分比维度的中间量小很多；经分析，当维度设置过小时，比如1维，所得到的特征分量所包含的目标特性信息过少，所形成的特征空间库内外特征分布相对混乱，不足以将库内外目标进行有效区分；当维度设置过大时，比如8维，此时与雷达+红外最优特征子集特征位数相等，相当于未进行特征层融合，即就是未把来自雷达、红外两个传感器的具有冗余的特征信息摒弃，故造成特征空间评价低的结果；(2)另一方面，从总体上来看，特征空间的评分顺序是：CCA<KCCA<DCCA，从理论上分析可得，CCA算法只考虑了两组特征集的线性相关情况，KCCA虽然利用核方法将低维特征转换到高维的特征空间考虑到了非线性相关的情况，但由于受到单一核函数的限制其特征空间评分次于DCCA算法，DCCA可以摆脱核函数的限制通过神经网络灵活地学习到两组异源特征集的非线性表示。
为了更直观的看出三种算法的特征空间分布，选取融合特征分量维度Dim＝3，图5是三种算法在Dim＝3时的特征空间对比图。图中用黑色“○”表示库内目标坦克，库外目标角反射器、民用车辆、雷达车以及卡车分别用“☆”、“△”、“*”和“+”四种不同的形状表示。
从图5可以看出，CCA算法与KCCA算法所得到的特征空间相差不大，库内外目标的特征之间相互粘连，这对于在鉴别阶段剔除库外目标是极不利的。而本申请所用到DCCA算法相对来说类内聚合型更强，类间距离更大，有助于更好的区分库内外目标，故特征空间的评分较其他两者更高，所反映出的情况与上图相一致。这里需要说明的一点是，在实际的工作中我们选取Dim＝4继续实验，原因在于：虽然对于DCCA算法来说，Dim＝3、4、5、6时，其特征空间评分的高低相差甚微，但综合考虑下，我们希望特征维数更低的情况下依然具有良好的区分能力，这样做的结果是不会为弹载导引头带来很大的存储压力，同时又能为在线鉴别阶段的分类处理节省时间。
实验2，将CCA、KCCA、DCCA与Simple MKL结合对实验1所得到的库内外目标的融合后特征数据集进行实验来验证不同的基核个数对分类器的影响，实验结果如图6所示。
由图6可知，基核的个数不同，分类器的效果不同。本文算法的分类情况好于CCA与KCCA，与图4的特征空间的评分结果一致。值得一提的是：当基核数Om＝1时，其分类性能不如多核时的分类效果，这是由于在有多个核函数的情况下，各特征分量可以根据本身的特性，选择最适合自己的核函数及参数，反观单核的情况，其特征分量对于核函数本就没有可选择的余地，所以事先预选的单核并非其最佳选择。
另外，本章所用到的DCCA算法的波动较小，因此可以通过交叉验证的方法来选择合适的基核个数，并且如果在实际的应用场景中没有足够的内存，可以在内存和时间消耗时间两方面进行权衡，选择一个较小的Om值。
将雷达单模、红外单模、雷达红外双模融合、雷达红外双模融合+多核学习这四种情况下的对库内外目标的鉴别准确率进行简要对比，以此来分析本文算法对复合导引头目标鉴别性能的影响，结果如表3所示。
表3四种情况下的鉴别准确率
在表3中，雷达单模和红外双模的鉴别率分别对应其最优特征子集的鉴别结果，双模融合是将雷达和红外的最优特征子集通过深度典型相关分析算法进行特征融合的鉴别结果，双模融合+多核学习统计的是基核个数Om＝5时基于多核学习的特征融合算法的鉴别结果。
显然，由表3可以得出结论：在鉴别准确率方面，本文所提算法>常规特征融合算法>雷达/红外单模。主要原因在于，本文所提算法在雷达和红外特征融合的基础上，针对融合特征分量在离线学习阶段通过对样本特征的训练，为各特征分量选择出了最佳的核函数及参数，而不是简单的对它们用同一核函数、相同参数进行映射，所以鉴别准确率高于其他融合算法。另外，无论是选择何种特征融合算法，相较于单模，其鉴别性能均有所提升。
综上，本发明将特征层与核层结合，相较于传统的融合算法可以得到更好的鉴别准确率。
虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.一种基于多核学习的特征融合方法，其特征在于，包括以下步骤：
步骤1，对雷达训练特征集{x1,x2,…,xi,…,xm}和红外训练特征集{y1,y2,…,yj,…,yn}分别进行标准化处理，得标准化的雷达训练特征集X和标准化的红外训练特征集Y；其中，xi∈R，1≤i≤m，m为雷达特征的维度；yj∈R，1≤j≤n，n为红外特征的维度，R为实数集；
步骤2，用神经网络f从标准化的雷达训练特征集X中抽取雷达的非线性特征X(f)；用神经网络g从标准化的红外训练特征集Y中抽取红外的非线性特征Y(g)；
步骤3，在神经网络的输出层构造融合准则函数，使得相关系数corr(X(f),Y(g))最大化；
步骤4，采用典型相关算法优化神经网络，得到融合后的特征向量；
步骤5，根据融合后的特征向量，确定预选取的基核函数；
步骤6，从预选取的基核函数中为每一维特征分量选择最合适的核函数，对每一维特征分量选择最合适的核函数进行加权求和，得到合成核；
步骤7，利用简单多核学习算法训练所述合成核；
步骤8，在线鉴别时，对雷达和红外的测试特征集合重复步骤1～4，用训练完毕的合成核替代传统支持向量机中的单一核函数；
步骤9，确认待攻击目标的身份，通过在支持向量机中对目标进行判定，最终确定目标是否为库内目标。
2.根据权利要求1所述的基于多核学习的特征融合方法，其特征在于，步骤1具体为：采用Z-Score方法分别对雷达训练特征集{x1,x2,…,xi,…,xm}和红外训练特征集{y1,y2,…,yj,…,yn}分别进行标准化处理，标准化计算方法如下：
其中，μi和σi分别表示雷达特征xi的均值和方差，μj和σj分别表示红外特征yj的均值和方差；标准化的雷达训练特征集X为X＝{X1,X2,…,Xi,…,Xm}；标准化的红外训练特征集Y为Y＝{Y1,Y2,…,Yj,…,Yn}。
3.根据权利要求1所述的基于多核学习的特征融合方法，其特征在于，步骤2包含以下子步骤：
子步骤2.1，设神经网络f的每个隐藏层具有c1个单元，最终输出层具有O个单元，则雷达第一层全连接网络的输出h1为:
其中，为雷达第一层网络的权重矩阵，/>为雷达第一层的偏移量向量，gaussian是一个非线性映射函数；
子步骤2.2，根据雷达第一层全连接网络的输出h1，计算雷达第一层全连接网络的输出h2：
其中，为雷达第二层网络的权重矩阵，/>为雷达第二层的偏移量向量；
因此，对于一个层数为l的深度神经网络f，输入标准化的雷达训练特征集X，经过推导，雷达最后一层全连接网络的输出X(f)为：
其中，为雷达第l层网络的权重矩阵，/>为雷达第l层的偏移量向量；
子步骤2.3，同理可得，红外最后一层全连接网络的输出Y(g)为：
其中，Wl 2为红外第l层网络的权重矩阵，为红外第l层的偏移量向量。
4.根据权利要求3所述的基于多核学习的特征融合方法，其特征在于，步骤3中，所述融合准则函数为：
其中，δ1、δ2是求最大相关时的中间参数矩阵，分别表示参数为δ1、δ2时的雷达和红外网络，/>表示雷达网络的所有权重矩阵和偏移量的向量，即 表示红外网络的所有权重矩阵和偏移量的向量，即
5.根据权利要求1所述的基于多核学习的特征融合方法，其特征在于，步骤4包含以下子步骤：
子步骤4.1，使用拉格朗日乘子法求解所述融合准则函数，则优化后的目标函数为：
其中，L为拉格朗日函数，λ1、λ2是拉格朗日乘子，wx和wy分别表示X(f)和Y(g)的投影方向，Sxx和Syy分别表示X(f)和Y(g)的类内协方差矩阵，Sxy为X(f)与Y(g)的类间协方差矩阵；
令可得：
通过化简可知设Sxx、Syy可逆且λ＝λ1＝λ2≠0，将上式整理为：
其中，Sxx＝(1/N)X(f)X(f) T，Sxy＝(1/N)X(f)Y(g) T，Syy＝(1/N)Y(g)Y(g) T，N表示样本数量；
子步骤4.2，将所述优化后的目标函数转化为特征值函数：
子步骤4.3，用奇异值分解方法求解所述特征值函数，具体为：令则特征值函数转化为如下形式：
对上式的矩阵H进行SVD，则可得到：
其中，a表示特征值的个数，t∈[1,a]，ut、vt分别是矩阵H的左、右奇异矩阵的第t列元素，wxt表示第t个典型特征所对应的雷达特征X(f)的投影向量，wyt表示第t个典型特征所对应的红外特征Y(g)的投影向量；
子步骤4.4，根据融合准则函数，利用梯度下降方法，通过梯度推导后，重复子步骤4.1～4.4，对雷达的非线性特征X(f)和红外的非线性特征Y(g)进行典型相关性分析，并将结果反馈回神经网络的输入层，通过反复训练在训练数据集上求得最合适的从而根据投影向量可以得到融合后特征向量/>其中/>χ代表多核学习中的输入空间，/>表示特征分量/>的属性，N表示样本数量。
6.根据权利要求5所述的基于多核学习的特征融合方法，其特征在于，步骤5中，预选取的基核函数有多项式核：
其中，表示融合后特征的不同分量，c为常数项，d为阶数；
高斯核为：
其中，σ为函数宽度参数。
7.根据权利要求6所述的基于多核学习的特征融合方法，其特征在于，步骤6中，所述合成核的计算方法为：
其中，Om表示预选取的基核个数，表示第om维特征分量对应的权重系数，/>表示第om维特征分量对应的基核函数，om∈[1,Om]。
8.根据权利要求7所述的基于多核学习的特征融合方法，其特征在于，步骤7包含以下子步骤：
子步骤7.1，在MKL框架中，决策函数的形式为：
其中，不同的核对应不同的Hilbert空间/>Rα和Rβ均为常数矩阵，*表示矩阵的共轭；
子步骤7.2，将决策函数转化为多核学习的最优化问题形式：
其中，松弛变量惩罚因子C>0；
子步骤7.3，利用简单多核学习中提出的约束优化形式，将多核学习的最优化问题转换为光滑且凸的优化问题：
其中定义为：
子步骤7.4，子步骤7.3中关于变量的F(z)、的拉格朗日函数为：
其中，与/>表示拉格朗日参数；
子步骤7.5，将子步骤7.4中拉格朗日函数里关于变量F(z)、的偏导数置为0，可得：
将上式代入子步骤7.4中拉格朗日函数，则的对偶形式为：
子步骤7.6，定义为子步骤7.2中优化问题的最优目标值，由于满足强对偶性条件也是对偶问题的最优目标值：
其中，是问题的最优解，目标值/>通过SVM优化算法计算得到；
子步骤7.7，利用梯度下降法来求解在/>对/>可微的情况下求偏导数：
求解最小值使用的可行下降梯度方向必须满足等式约束要求与/>设om1是中最大元素的下标，并且/>则/>的下降梯度/>为：
子步骤7.8，为了最小化 必须为梯度的下降方向；如果/>和同时满足，则/>的约束条件就无法保证，因此将下降方向设为0，则/>的梯度下降方向为：
得到后根据公式/>更新/>为了使/>全局收敛，步长γ可以用基于Armijo停止准则的一维线性搜索方法求得；
子步骤7.9，多核学习的对偶间隙DualGap为：
当DualGap≤ε时则迭代结束；其中，ε为预先设定的精度参数。
CN202010503918.3A 2020-06-05 2020-06-05 一种基于多核学习的特征融合方法 Active CN111783837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010503918.3A CN111783837B (zh) 2020-06-05 2020-06-05 一种基于多核学习的特征融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010503918.3A CN111783837B (zh) 2020-06-05 2020-06-05 一种基于多核学习的特征融合方法

Publications (2)

Publication Number Publication Date
CN111783837A CN111783837A (zh) 2020-10-16
CN111783837B true CN111783837B (zh) 2023-08-15

Family

ID=72754627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010503918.3A Active CN111783837B (zh) 2020-06-05 2020-06-05 一种基于多核学习的特征融合方法

Country Status (1)

Country Link
CN (1) CN111783837B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989218B (zh) * 2021-03-12 2022-06-28 西华大学 基于多级属性嵌入和约束典型相关分析的身份链接方法
CN114184091A (zh) * 2021-04-08 2022-03-15 西安龙飞电气技术有限公司 空空导弹导引头的红外雷达双模数字处理方法
CN113191397B (zh) * 2021-04-09 2024-02-13 杭州电子科技大学 一种基于最大相关熵准则的多维信号特征融合方法
CN114578011A (zh) * 2022-03-07 2022-06-03 上海蓝长科技集团有限公司 一种基于多传感器多源数据融合的水质监测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017128455A1 (zh) * 2016-01-25 2017-08-03 合肥工业大学 一种基于广义多核支持向量机的模拟电路故障诊断方法
CN107703480A (zh) * 2017-08-28 2018-02-16 南京邮电大学 基于机器学习的混合核函数室内定位方法
CN109583482A (zh) * 2018-11-13 2019-04-05 河海大学 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法
CN110569860A (zh) * 2019-08-30 2019-12-13 西安理工大学 结合判别分析和多核学习的图像有趣性二分类预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017128455A1 (zh) * 2016-01-25 2017-08-03 合肥工业大学 一种基于广义多核支持向量机的模拟电路故障诊断方法
CN107703480A (zh) * 2017-08-28 2018-02-16 南京邮电大学 基于机器学习的混合核函数室内定位方法
CN109583482A (zh) * 2018-11-13 2019-04-05 河海大学 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法
CN110569860A (zh) * 2019-08-30 2019-12-13 西安理工大学 结合判别分析和多核学习的图像有趣性二分类预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王鑫 ; 李可 ; 宁晨 ; 黄凤辰 ; .基于深度卷积神经网络和多核学习的遥感图像分类方法.电子与信息学报.2019,(第05期),全文. *

Also Published As

Publication number Publication date
CN111783837A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111783837B (zh) 一种基于多核学习的特征融合方法
CN106599797B (zh) 一种基于局部并行神经网络的红外人脸识别方法
Wang et al. Progressive adversarial networks for fine-grained domain adaptation
CN112149758B (zh) 一种基于欧式距离和深度学习的高光谱开放集分类方法
Li et al. Hyperspectral image recognition using SVM combined deep learning
Shi et al. Dynamic barycenter averaging kernel in RBF networks for time series classification
CN111783845A (zh) 一种基于局部线性嵌入和极限学习机的隐匿虚假数据注入攻击检测方法
Song et al. Multiobjective optimization-based hyperspectral band selection for target detection
Xin et al. Self-supervised deep correlational multi-view clustering
Yu et al. Classification certainty maximization for unsupervised domain adaptation
CN112784173B (zh) 一种基于自注意力对抗神经网络的推荐系统评分预测方法
CN109902746A (zh) 非对称的细粒度红外图像生成系统及方法
Hsieh et al. Adaptive structural co-regularization for unsupervised multi-view feature selection
Guo et al. Data-driven anomaly detection using OCSVM with boundary optimzation
CN112434728A (zh) 基于局部均值距离约束表示的数据分类方法
CN114343665B (zh) 一种基于图卷积空时特征融合选择的心律失常识别方法
Shigang et al. A pig face recognition method for distinguishing features
Hiremath et al. Face recognition using Eigenface approach
CN109800854A (zh) 一种基于概率神经网络的复合绝缘子憎水性等级判定方法
Peng et al. Toward masked face recognition: An effective facial feature extraction and refinement model in multiple scenes
He et al. Multispectral remote sensing land use classification based on RBF neural network with parameters optimized by genetic algorithm
Yin et al. Hyperspectral image classification using comprehensive evaluation model of extreme learning machine based on cumulative variation weights
Zhang et al. A Novel ABRM Model for Predicting Coal Moisture Content
CN112241680A (zh) 基于静脉相似图像知识迁移网络的多模态身份认证方法
Fu et al. Local-Global Gated Convolutional Neural Network for Hyperspectral Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant