CN111340103A - 一种基于图嵌入典型相关分析的特征层融合方法及其装置 - Google Patents

一种基于图嵌入典型相关分析的特征层融合方法及其装置 Download PDF

Info

Publication number
CN111340103A
CN111340103A CN202010113414.0A CN202010113414A CN111340103A CN 111340103 A CN111340103 A CN 111340103A CN 202010113414 A CN202010113414 A CN 202010113414A CN 111340103 A CN111340103 A CN 111340103A
Authority
CN
China
Prior art keywords
feature
mode
projection matrix
projection
objective function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010113414.0A
Other languages
English (en)
Other versions
CN111340103B (zh
Inventor
余程年
王华彬
申燕
兰江浩
李鑫
王雨情
施余峰
陶亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202010113414.0A priority Critical patent/CN111340103B/zh
Publication of CN111340103A publication Critical patent/CN111340103A/zh
Application granted granted Critical
Publication of CN111340103B publication Critical patent/CN111340103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G06F18/21328—Rendering the within-class scatter matrix non-singular involving subspace restrictions, e.g. nullspace techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图嵌入典型相关分析的特征层融合方法及其装置。该特征层融合方法包括：将所有模态中样本映射到同一分类结果的空间的投影矩阵，并对所述投影矩阵施加L21范数正则化，以实现同时在多个单模态特征空间中选择出独立互补特征；构造数据相似图矩阵，以表示所述单模态特征空间中样本点的相近关系；通过所述正则化目标函数为每个模态学习相应的投影矩阵，将多个模态数据投影到具备最大辨别力、最大相关性及最小冗余性的投影子空间中，实现多模态数据融合。本发明实现多模态数据融合，消除了原特征空间中冗余信息的干扰，提高单模态特征鉴别力，增强多模态样本集间的相关性，提升识别性能和稳定性，特征融合效果好，识别效果佳。

Description

一种基于图嵌入典型相关分析的特征层融合方法及其装置
技术领域
本发明涉及数据特征融合技术领域的一种特征层融合方法，尤其涉及一种基于图嵌入典型相关分析的特征层融合方法，还涉及应用该方法的基于图嵌入典型相关分析的特征层融合装置。
背景技术
生物特征识别技术具有唯一性、稳定性等特点，已经被应用于多种身份验证场景，如指静脉识别、虹膜识别、手势识别、人脸识别等。这些识别方法虽然取得了较好的效果，但是由于仅利用单一的生物特征，难以满足高安全领域的应用要求，融合并分析多个模态数据显得至关重要。多模态融合已经在多个领域得到很好的应用，包括视听语音识别，情感识别，医学图像分析，多媒体事件检测等。
多模态融合一般可分为四类：传感器层融合、分数层融合、决策层融合和特征层融合。其中，传感器层融合旨在对未处理的原始数据进行分析和融合处理，此类融合方案在医学图像融合研究相对较多。分数层融合中，将多个生物特征匹配器输出的匹配分数合并在一起，将融合后分数作为新特征输入到分类算法中。决策层融合中，使用基于规则方法融合不同模态的分类器的输出来得到最终结果。特征层融合首先对每个模态各自的传感器信息进行特征提取，然后将多个生物特征向量进行融合处理，组成联合特征向量。其优点在于：能够在多个特征集中导出更加低维有效并有益于最终决策的特征向量集，因此，特征层融合引起了生物特征学研究界的广泛关注，并取得了快速进展。但是，现有的特征融合方法忽略了原单模态样本空间中样本之间的几何结构，并对单模态独立特征选择，识别效果较差。
发明内容
为解决现有的特征融合方法识别效果较差的技术问题，本发明提供一种基于图嵌入典型相关分析的特征层融合方法及其装置。
本发明采用以下技术方案实现：一种基于图嵌入典型相关分析的特征层融合方法，其包括以下步骤：
(1)将所有模态中样本映射到同一分类结果的空间的投影矩阵，并对所述投影矩阵施加L21范数正则化，以实现同时在多个单模态特征空间中选择出独立互补特征；其中，所述独立互补特征的选择方法包括以下步骤：
(1.1)建立初始目标函数；所述初始目标函数用于学习各种模态的投影矩阵，且包括第一项和第二项；所述第一项用于学习不同模态数据投影到公共空间的投影矩阵，所述第二项用于对投影矩阵进行约束，并在不同的单模态特征空间中实现特征选择；
(1.2)对所述初始目标函数进行半二次最小化优化，获得优化目标函数；以及
(1.3)通过元素正则化对所述优化目标函数进行更新，获得正则化目标函数；
(2)构造数据相似图矩阵，以表示所述单模态特征空间中样本点的相近关系；以及
(3)通过所述正则化目标函数为每个模态学习相应的投影矩阵，将多个模态数据投影到具备最大辨别力、最大相关性及最小冗余性的投影子空间中，实现多模态数据融合；其中，多模态数据融合方法包括以下步骤：
(3.1)确定多模态类内样本之间的相关性约束；
(3.2)根据所述相关性约束，建立准则函数以保持典型变量的唯一性；
(3.3)先将(1)获得的投影矩阵与每个模态学习获得的投影矩阵进行并集，再将并集获得的投影矩阵与原样本集融合获得投影后的特征集。
本发明通过首先，基于L21正则化算法，同时在多个单模态特征空间中选择独立特征，提高单模态特征鉴别力。其次，把图嵌入思想引入投影子空间学习过程，构造数据相似图矩阵，表示原特征空间样本点的相近关系，使得投影后的单模态类内样本之间保持原样本空间的几何结构，且多模态类内样本之间相关性尽可能大，为每个模态学习相对应的投影矩阵，将多个模态数据投影到最大相关性，最小冗余性的投影子空间，实现多模态数据融合效果，解决了现有的特征融合方法忽略了原单模态样本空间中样本之间的几何结构，并对单模态独立特征选择，识别效果较差的技术问题，得到了特征融合效果好，识别效果佳的技术效果。
作为上述方案的进一步改进，所述初始目标函数为：
Figure BDA0002390764610000031
式中，Ui∈Rdi×c为对应的第i个模态的投影矩阵，Xi∈Rdi×n为第i个模态的样本集；Y∈Rn×c为类标签矩阵，P为需要特征选择的模态数。
进一步地，在步骤(1.2)中，通过在一个共轭函数对所述初始目标函数优化进行优化，且所述共轭函数为：
Figure BDA0002390764610000032
式中，φ(.)表示最小化函数，a由所述最小化函数相对所述共轭函数确定。
再进一步地，所述正则化目标函数为：
Figure BDA0002390764610000033
式中，Tr(.)为矩阵跟踪算子；Si＝diag(si)，si∈Rdi为一个辅助函数，且si中第j元素满足
Figure BDA0002390764610000034
元素正则化公式为：
Figure BDA0002390764610000035
式中，ε为平滑项。
再进一步地，对所述优化目标函数的更新方法包括以下步骤：
(1.3.1)根据所述元素正则化公式计算
Figure BDA0002390764610000041
(1.3.2)根据以下公式更新
Figure BDA0002390764610000042
Figure BDA0002390764610000043
(1.3.3)增大t并返回至步骤(1.3.1)直至收敛。
作为上述方案的进一步改进，所述数据相似图矩阵为：
Figure BDA0002390764610000044
式中，
Figure BDA0002390764610000045
表示第p个模态中第i个样本与第j个样本之间的欧几里德距离，
Figure BDA0002390764610000046
表示
Figure BDA0002390764610000047
的k个最近邻的样本集合，
Figure BDA0002390764610000048
表示第p个模态中第i个样本。
作为上述方案的进一步改进，所述相关性约束为：
Figure BDA0002390764610000049
式中，
Figure BDA00023907646100000410
表示第p个模态中第i个样本，
Figure BDA00023907646100000411
表示第q个模态中第j个样本。
作为上述方案的进一步改进，所述准则函数为：
Figure BDA00023907646100000413
式中，P为模态数；V1,V2…VP待求解的P个模态特征集对应的投影矩阵；Wij表示第i个模态与第j个模态之间的相似性矩阵，Di表示所述相关性约束中第P个模态的对角矩阵，Xi为第i个模态的样本集。
作为上述方案的进一步改进，
第i个模态对应的投影矩阵为：
Figure BDA00023907646100000414
式中，
Figure BDA0002390764610000051
为步骤(1)获得的投影矩阵，
Figure BDA0002390764610000052
为步骤(3)中每个模态学习获得的投影矩阵；
投影后的特征集为：
Xi′＝Si T*Xi
式中，Xi为原样本集。
本发明还提供一种基于图嵌入典型相关分析的特征层融合装置，其应用上述任意所述的基于图嵌入典型相关分析的特征层融合方法，其包括：
特征选择模块，其用于将所有模态中样本映射到同一分类结果的空间的投影矩阵，并对所述投影矩阵施加L21范数正则化，以实现同时在多个单模态特征空间中选择出独立互补特征；其中，所述特征选择模块包括初始目标函数建立单元、优化单元以及更新单元；所述初始目标函数建立单元用于建立初始目标函数；所述初始目标函数用于学习各种模态的投影矩阵，且包括第一项和第二项；所述第一项用于学习不同模态数据投影到公共空间的投影矩阵，所述第二项用于对投影矩阵进行约束，并在不同的单模态特征空间中实现特征选择；所述优化单元用于对所述初始目标函数进行半二次最小化优化，获得优化目标函数；所述更新单元用于通过元素正则化对所述优化目标函数进行更新，获得正则化目标函数；
相似图矩阵构建模块，其用于构造数据相似图矩阵，以表示所述单模态特征空间中样本点的相近关系；以及融合模块，其用于通过所述正则化目标函数为每个模态学习相应的投影矩阵，将多个模态数据投影到具备最大辨别力、最大相关性及最小冗余性的投影子空间中，实现多模态数据融合；其中，所述融合模块包括相关性约束确定单元、准则函数建立单元以及融合单元；所述相关性约束确定单元用于确定多模态类内样本之间的相关性约束；所述准则函数建立单元用于根据所述相关性约束，建立准则函数以保持典型变量的唯一性；所述融合单元用于先将所述特征选择模块获得的投影矩阵与每个模态学习获得的投影矩阵进行并集，再将并集获得的投影矩阵与原样本集融合获得投影后的特征集。
相较于现有的特征融合方法，本发明的基于图嵌入典型相关分析的特征层融合方法及其装置具有以下有益效果：
该基于图嵌入典型相关分析的特征层融合方法，其先将样本映射同一分类结果的空间的投影矩阵，并对投影矩阵进行L21范式正则化，通过建立目标函数并对目标函数进行优化更新，实现同时在多个单模态特征空间中选择出独立互补特征，消除了原特征空间中冗余信息的干扰，提高单模态特征鉴别力，增强多模态样本集间的相关性，然后构造数据相似图矩阵表示出单模态特征空间中样本点的相近关系，使得投影后的单模态类内样本之间保持原样本空间的几何结构，且多模态类内样本之间相关性尽可能大，最后为每个模态学习相应的投影矩阵，将多个模态数据投影到具备最大辨别力、最大相关性及最小冗余性的投影子空间中，实现多模态数据融合，提升识别性能和稳定性，特征融合效果好，识别效果佳。
该基于图嵌入典型相关分析的特征层融合装置，其有益效果与上述特征层融合方法的有益效果相同，在此不再做赘述。
附图说明
图1为本发明实施例1的基于图嵌入典型相关分析的特征层融合方法的流程图；
图2为本发明实施例2的基于图嵌入典型相关分析的特征层融合方法的仿真实验B中基于HOG和LBP融合算法的识别率统计图；
图3为本发明实施例2的基于图嵌入典型相关分析的特征层融合方法的仿真实验B中基于HOG和LND融合算法的识别率统计图；
图4为本发明实施例2的基于图嵌入典型相关分析的特征层融合方法的仿真实验B中基于LBP和LND融合算法的识别率统计图；
图5为本发明实施例2的基于图嵌入典型相关分析的特征层融合方法的仿真实验B中基于HOG、LBP和LND融合算法的识别率统计图；
图6为本发明实施例2的基于图嵌入典型相关分析的特征层融合方法的仿真实验C中掌纹和手指轮廓的平均识别率的统计图；
图7为本发明实施例2的基于图嵌入典型相关分析的特征层融合方法的仿真实验C中指静脉和手指轮廓的平均识别率的统计图；
图8为本发明实施例2的基于图嵌入典型相关分析的特征层融合方法的仿真实验C中指静脉和掌纹的平均识别率的统计图；
图9为本发明实施例2的基于图嵌入典型相关分析的特征层融合方法的仿真实验C中掌纹、指静脉和手指轮廓的平均识别率的统计图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
请参阅图1，本实施例提供了一种基于图嵌入典型相关分析的特征层融合方法，该方法能够应用在语音识别、情感识别、医学图像分析以及多媒体事件检测等方面。在本实施例中，该特征层融合方法主要分两个阶段，第一阶段对多个单模特征选择有代表性表示，第二阶段对多模特征之间建立相关性联系。
在本实施例中，假设需要融合的第i个模态的第j个样本为
Figure BDA0002390764610000071
Figure BDA0002390764610000072
n是每个模态的样本数，即样本数量。P表示需要融合的异构样本集数量，di表示第i模态样本维度，c是类别数。对于任意向量
Figure BDA0002390764610000073
对于一个矩阵A∈Rd×n，A的第i行表示为ai，第j列表示为aj，故
Figure BDA0002390764610000074
其中，本实施例的特征层融合方法包括以下这些步骤(步骤(1)-(3))。
(1)将所有模态中样本映射到同一分类结果的空间的投影矩阵，并对投影矩阵施加L21范数正则化，以实现同时在多个单模态特征空间中选择出独立互补特征。不同的数据模态处于不同的特征空间中，具有不同的表达方式，但他们在不同模态中样本都是属于同一类别。其中，基于l2,1范式对单模态的特征提取方法，一般是解决如下最小化问题：
Figure BDA0002390764610000081
s.t.XTU＝Y，U∈Rd×c为求解得到的投影矩阵，X∈Rd×n为单模态特征矩阵，Y∈Rn×c为类标签矩阵，d为特征维度。独立互补特征的选择方法包括以下步骤(步骤(1.1)-(1.3))。
(1.1)建立初始目标函数。初始目标函数用于学习各种模态的投影矩阵，且包括第一项和第二项。第一项为线性回归项，用于学习不同模态数据投影到公共空间的投影矩阵。第二项包含P了个l2,1范式，用于对投影矩阵进行约束，并在不同的单模态特征空间中实现特征选择。为了实现更好的分类效果，由此所得到的投影矩阵不仅考虑了类别信息，并且从原始特征空间中选择独立特征。从半二次优化的角度分析，l2,1范式最小化是合理的。在本实施例中，初始目标函数为：
Figure BDA0002390764610000082
式中，Ui∈Rdi×c为对应的第i个模态的投影矩阵，Xi∈Rdi×n为第i个模态的样本集。Y∈Rn×c为类标签矩阵，P为需要特征选择的模态数。
(1.2)对初始目标函数进行半二次最小化优化，获得优化目标函数。在本实施例中，将第二项替换成
Figure BDA0002390764610000083
式中，ε为平滑项，通常将其设置为较小的值。其中，可以证明
Figure BDA0002390764610000084
满足以下所有的条件，以半二次最小化方法可以优化
Figure BDA0002390764610000085
Figure BDA0002390764610000086
Figure BDA0002390764610000087
Figure BDA0002390764610000091
Figure BDA0002390764610000092
Figure BDA0002390764610000093
假如φ(.)(φ(.)表示最小化函数)满足上式中的所有的条件，通过在一个共轭函数对初始目标函数优化进行优化，且共轭函数为：
Figure BDA0002390764610000094
式中，a由最小化函数相对共轭函数确定。
(1.3)通过元素正则化对优化目标函数进行更新，获得正则化目标函数。在本实施例中，正则化目标函数为：
Figure BDA0002390764610000095
式中，Tr(.)为矩阵跟踪算子。Si＝diag(si)，si∈Rdi为一个辅助函数，且si中第j元素满足
Figure BDA0002390764610000096
则si元素正则化公式为：
Figure BDA0002390764610000097
其中，为了防止上式中分母为0，在分母处加了一个很小的量ε。
可以看出Si也是Ui的函数，而且Ui在分母中无法优化，因此优化更新目标函数，使用迭代算法而不是一次性解决所有的问题，轮流解决等式中出现的所有变量。在本实施例中，对正则化目标函数对Ui求微分得到：
Figure BDA0002390764610000098
因此，对优化目标函数的更新方法包括以下步骤：
(1.3.1)根据元素正则化公式计算
Figure BDA0002390764610000099
(1.3.2)根据以下公式更新
Figure BDA00023907646100000910
Figure BDA00023907646100000911
(1.3.3)增大t并返回至步骤(1.3.1)直至收敛。
(2)构造数据相似图矩阵，以表示单模态特征空间中样本点的相近关系。这里构造相似图矩阵是因为，单模态内类内样本之间存在相似性，为了使投影后的单模内样本依然保留着原始空间的样本几何结构。其中，数据相似图矩阵为：
Figure BDA0002390764610000101
式中，
Figure BDA0002390764610000108
表示第p个模态中第i个样本与第j个样本之间的欧几里德距离，
Figure BDA0002390764610000102
表示
Figure BDA0002390764610000103
的k个最近邻的样本集合，
Figure BDA0002390764610000104
表示第p个模态中第i个样本。
(3)通过正则化目标函数为每个模态学习相应的投影矩阵，将多个模态数据投影到具备最大辨别力、最大相关性及最小冗余性的投影子空间中，实现多模态数据融合；其中，多模态数据融合方法包括以下这些步骤(步骤(3.1)-(3.3))。
(3.1)确定多模态类内样本之间的相关性约束。由于本实施例采用的多模态样本之间存在类别一一对应关系，为了使样本投影到子空间中依然保持其相关性约束，即多模态类内样本之间相关性尽可能大，相关性约束为：
Figure BDA0002390764610000105
式中，
Figure BDA0002390764610000106
表示第p个模态中第i个样本，
Figure BDA0002390764610000107
表示第q个模态中第j个样本。即：当两个模态的样本属于同一类时，相关性约束为1,否则为0。
(3.2)根据相关性约束，建立准则函数以保持典型变量的唯一性。在本实施例中，为了在投影子空间中不仅单模内样本之间保留几何结构，并多模内同类样本相关性尽可能大，可以建立准则函数为：：
Figure BDA0002390764610000111
Figure BDA0002390764610000112
式中，P为模态数；V1V2…VP待求解的P个模态特征集对应的投影矩阵；Wij表示第i个模态与第j个模态之间的相似性矩阵，Di表示相关性约束中第P个模态的对角矩阵，其输入是矩阵Wi列(或行，因为Wp是对称的)的和，
Figure BDA0002390764610000113
这样，就可通过拉格朗日数乘法进行计算：
Figure BDA0002390764610000114
求导得到：
Figure BDA0002390764610000115
因此，求解准则函数实际上相当于解决下列等式最大特征值的求解过程。
Figure BDA0002390764610000116
其中：
Figure BDA0002390764610000117
Figure BDA0002390764610000118
Figure BDA0002390764610000119
Vi∈Rdi×r为单模Xi样本集所对应的投影矩阵，di为单模Xi中样本向量维度，r(r＝c-1)是投影矩阵的维度，r也是使多模态Xi同类样本间相关性尽可能大的典型变量个数。其中，当λ＞0时，得到的w对多模样本集的分类有很大的作用。当遇到小样本的情况，求解
Figure BDA0002390764610000121
广义特征问题中，R可能出现奇异矩阵情况，本实施例通过增加一个常数到公式中R对角线元素，如：R+ai,a＞0。即对公式的投影矩阵求解采用SVD分解。
(3.3)先将步骤(1)获得的投影矩阵与每个模态学习获得的投影矩阵进行并集，再将并集获得的投影矩阵与原样本集融合获得投影后的特征集。其中，第i个模态对应的投影矩阵为：
Figure BDA0002390764610000122
式中，
Figure BDA0002390764610000123
为步骤(1)获得的投影矩阵，
Figure BDA0002390764610000124
为步骤(3)中每个模态学习获得的投影矩阵；
投影后的特征集为：
Xi′＝Si T*Xi
式中，Xi为原样本集。
在一些实施例中，为了实现多模态信息的特征层融合，可以采用串行的方式，对特征向量进行融合：将
Figure BDA0002390764610000125
作为融合后的特征向量进行分类识别。
综上所述，相较于现有的特征融合方法，本实施例的基于图嵌入典型相关分析的特征层融合方法具有以下优点：
该基于图嵌入典型相关分析的特征层融合方法，其先将样本映射同一分类结果的空间的投影矩阵，并对投影矩阵进行L21范式正则化，通过建立目标函数并对目标函数进行优化更新，实现同时在多个单模态特征空间中选择出独立互补特征，消除了原特征空间中冗余信息的干扰，提高单模态特征鉴别力，然后构造数据相似图矩阵表示出单模态特征空间中样本点的相近关系，使得投影后的单模态类内样本之间保持原样本空间的几何结构，且多模态类内样本之间相关性尽可能大，最后为每个模态学习相应的投影矩阵，将多个模态数据投影到具备最大辨别力、最大相关性及最小冗余性的投影子空间中，实现多模态数据融合，提升识别性能和稳定性，特征融合效果好，识别效果佳。
实施例2
本实施例提供了一种基于图嵌入典型相关分析的特征层融合方法，其在实施例1的基础上进行仿真实验。在本实施例都的实验部分，提出了几组实验来验证特征层融合方法的有效性。这几组实验分别为组合单一模态中提取的多个特征以及组合不同模态中分别提取的特征。其中，实验分为三部分，A，B部分组合单一模态提取的不同特征向量的实验结果，分别采用UCI数据集中的多特征手写数据集、香港理工大学指静脉数据库。C部分是组合手部不同生物特征的实验结果，分别采用USM数据库提供的指静脉图库，香港理工大学的掌纹公开数据库和指形数据库。而且，本实施例使用平均分类正确率MCA来评价融合算法的性能。
假设有N个测试样本，其真实类别标签为{y1,y2,...,yN}，预测的类别标签为{y1,`y2,...,`yN}，则MCA定义如下：
Figure BDA0002390764610000131
其中，Ni表示预测的类别标签与真实类别标签之间的误差不大于k的样本个数，本实施例参数k设置为1。
实验A
在本实验中，使用多特征手写数据集，验证特征层融合方法对融合单一模态下所提取的多种特征的有效性。多特征手写数据集是UCI数据集中的其中一个多模态的数据集，包括0-9共10个手写数字的特征，每类200个样本，共有2000个样本。每个样本均包含6个特征，分别为形态学特征(mfeat_mor)，Zernik矩特征(mfeat_zer)，K-L展开系数(mfeat_kar)，傅立叶系数(mfeat_fou)，轮廓相关特征(mfeat_fac)和像素平均(mfeat_pix)。任意选择多个特征作为融合特征对象，则两个模态的组合方式具有15种，三个模态的组合方式选择10种。随机选取每类的100个样本作为训练集，剩下的样本作为测试集，本实验和所有的对比算法的实验均使用具有K＝1的简单KNN分类器用于分类，即最小距离分类器。测试过程重复独立循环20次，以20次平均得出的结果作为最终的识别指标。
表1为基于各个单模态特征的识别率，表2和表3分别为双模态、三个模态不同的组合方式情况下平均分类正确率，而本实施例的特征层融合方法分别与CCA及改进的经典算法进行对比试验。
表1单模态下的平均分类正确率统计表
Figure BDA0002390764610000141
表2双模态下平均分类正确率统计表
Figure BDA0002390764610000142
Serial:Yang J,Yang J,Zhang D,et al.Feature fusion:parallel strategyvs.serial strategy[J].Pattern recognition,2003,36(6):1369-1381.
CCA:Sun Quansen,Zeng Shenggen,Yang Maolong,et al.Combined featureextraction based on canonical correlation analysis and face recognition[J].Journal of Computer Research and Development,2005,42(4):614-621.
GCCA:C.Shen et al.,"Generalized canonical correlation analysis forclassification",J.Mu ltivariate Anal.,vol.130,pp.310-322,2014.
KCCA:Jia Zhenliang.Multi-feature combination face recognition basedon kernel canonica lcorrelation analysis[J].International Journal of SignalProcessing,Image Processing and Pattern Recognition,2016,9(7):221-230.
DCA:Haghighat M,Abdel-Mottaleb M.Alhalabi.Discriminant CorrelationAnalysisReal-Time Feature Level Fusion for Multimodal Biometric Recognition[J].IEEE Transactions on Information Forensics&Security,2016,11(9):1984-1996.
DCCA:O.
Figure BDA0002390764610000151
“Discriminative extended canonical correlationanalysis for pattern set matching,”Mach.Learn.,vol.94,no.3,pp.353–370,2013.
结合表1和表2可以观察到，在双模态下，本实施例提出的方法的MCA均高于输入的单模态下的MCA。表2中，双模态下15种特征组合方式有13种组合方式，本实施例的特征层融合方法识别率高于对比算法识别率，其中在kar+zer的组合方式下本实施例算法与GCCA持平，仅在kar+pix组合方式下略低于串联算法。这是由于在单模态数据集中挑选出独立互补的特征，消除了原特征空间中冗余信息的干扰，提高了特征集的鉴别能力。并在融合后的子空间中的单模态类内样本之间依然保留着原来样本空间的几何结构，多模态类内样本之间相关性尽可能大。
表2中对比算法仅限于两种特征情形下组合，因此，本实施例算法为了验证三个模态的特征层融合性能，与Serial、MCCA、DMCCA和LMCCA多模态特征层融合算法进行对比，实验结果总结在表3。表3中三个模态下采用10种特征组合方式，其中，8种特征组合方式，本实施例提出算法的识别率优于对比算法，仅在fou+kar+mor和fou+kar+pix两种组合方式下略低于LMCCA算法。这是由于这三种融合特征本身样本分布的不均匀性，致使增强三个样本集之间的相关性时，类均值有偏差的估计，无法真实反映类内协方差矩阵的情况，降低了算法性能。尽管如此，本实施例的特征层融合方法的识别率仍然优于大部分对比算法，可见直接对多个单模态的特征集去选择有判别力的特征，增强了单模特征集的鉴别能力，直接有助于分类效果。
表3在三个模态下平均分类正确率统计表
Figure BDA0002390764610000161
Serial:Yang J,Yang J,Zhang D,et al.Feature fusion:parallel strategyvs.serial strategy[J].Pattern recognition,2003,36(6):1369-1381.
DMCCA:Gao L,Qi L,Chen E,et al.Discriminative multiple canonicalcorrelation analy sis for information fusion[J].IEEE Transactions on ImageProcessing,2018,27(4):1951-1965.
MCCA:H.G.Yu et al.,"Multiset canonical correlation analysis using forblind source separation",Appl.Mechanics Mater.,vol.195,pp.104-108,2012.
LMCCA:Gao L,Zhang R,Qi L,et al.The Labeled Multiple CanonicalCorrelation Analysis for Information Fusion[J].IEEE Transactions onMultimedia,2019,21(2):375-387.
实验B：指静脉识别实验
本实验在香港理工大学手指图像数据库PolyU上进行。PolyU包含了从156个受试者采集的中3132张图片，分别在两个阶段获得，在第一个阶段中，对共156个受试者分别收集了6份食指和中指图像，共1872个图像(156人*2个手指*6个图像)。在第二阶段中，从第一阶段中的156个人中105个受试者中收集了6份食指和中指的图像，共有1260个图像(105人*2个手指*6个图像)，在本实验中仅使用第一阶段的图像，由于不同手指之间的手指静脉是不同的，故来自同一个体的不同手指静脉图像是不同类别(156人*2个手指)，每类6个样本，在实验中香港理工大学手指图像数据库被称为“PolyU"。
本实验使用三种传统的特征提取方法分别是：局部二值模式LBP、方向梯度直方图HOG、局部方向数字模式LDN对指静脉图像特征提取。LBP是以3x3窗口内的8个领域采样点半径为1，59个模式来提取特征，具有旋转不变性和灰度不变性等显著的优点；HOG特征以6*6个单元格提取，用于九个方向，由于是在图像的局部方格单元上操作，对图像几何的和光学的形变都能保持很好的不变性；LDN采用8个方向利用最大方向和最小方向的编码提取特征。值得注意的是，由于CCA及其改进算法都最终转换成求特征值问题，当样本中特征数量远大于样本的个数可能带来了奇异值问题，故在所有的实验方法中为解决奇异值问题均通过增加一个常数到R中对角线元素，如：R+ai,a＞0。
表4单个特征平均分类正确率统计表
Figure BDA0002390764610000171
表5组合多个特征下平均分类正确率表
Figure BDA0002390764610000172
Serial:Yang J,Yang J,Zhang D,et al.Feature fusion:parallel strategyvs.serial strategy[J].Pattern recognition,2003,36(6):1369-1381.
CCA:Sun Quansen,Zeng Shenggen,Yang Maolong,et al.Combined featureextraction based on canonical correlation analysis and face recognition[J].Journal of Computer Research and Development,2005,42(4):614-621.
MCCA:H.G.Yu et al.,"Multiset canonical correlation analysis using forblind source separation",Appl.Mechanics Mater.,vol.195,pp.104-108,2012.
DCCA:O.
Figure BDA0002390764610000173
“Discriminative extended canonical correlationanalysis for patternset matching,”Mach.Learn.,vol.94,no.3,pp.353–370,2013.
DMCCA:Gao L,Qi L,Chen E,et al.Discriminative multiple canonicalcorrelation analy sis for information fusion[J].IEEE Transactions on ImageProcessing,2018,27(4):1951-1965.
KCCA:Jia Zhenliang.Multi-feature combination face recognition basedon kernel canonica lcorrelation analysis[J].International Journal of SignalProcessing,Image Processing and Pattern Recognition,2016,9(7):221-230.
GCCA:C.Shen et al.,"Generalized canonical correlation analysis forclassification",J.Mu ltivariate Anal.,vol.130,pp.310-322,2014.
DCA:Haghighat M,Abdel-Mottaleb M.Alhalabi.Discriminant CorrelationAnalysisReal-Time Feature Level Fusion for Multimodal Biometric Recognition[J].IEEE Transactions on Information Forensics&Security,2016,11(9):1984-1996.
LMCCA:Gao L,Zhang R,Qi L,et al.The Labeled Multiple CanonicalCorrelation Analysis for Information Fusion[J].IEEE Transactions onMultimedia,2019,21(2):375-387.
表4和表5分别给出了单模态特征集和组合不同模态特征集的实验结果。从表4和表5中的结果可以得知，本实施例的特征层融合方法均高于输入特征向量识别率，并且相比于对比算法更加有效，该特征层融合方法学习不能功能的两种投影矩阵，其中一个投影矩阵功能是选择具有更佳分类效果并更小冗余性的数据子集，而另外一个投影矩阵的作用，使投影后的多模态同类样本之间相关性尽可能大并保留了单模态原样本空间的几何结构。对比算法中，仅仅增强多模态数据集之间的相关性，而在多模态特征层融合研究中，单模特征的独立性和多模特征之间的相关性都至关重要，直接影响了最后的分类效果。
表6本实施例的特征层融合方法进行结合的平均分类正确率统计表
Figure BDA0002390764610000181
从表6可知，步骤(1)与传统的CCA算法及CCA改进算法相结合后的识别率有明显提高，表6中步骤(1)、步骤(3)本身的平均分类正确率很高，其识别率分别均高于对比算法的识别率。这说明步骤(1)将对多个单模态数据集特征选择的合理性，以步骤(3)的有效性，约束单模态类内样本之间的几何结构同时最大化多模态类内样本之间的相关性。结合表5与表6得知，两个算法结合的识别结果与单个算法的识别结果对比，结合之后的平均分类正确率优于单个算法识别的效果，说明本实施例的特征层融合方法结合的合理性与有效性。
请参阅图2-5，从4个图可以得知，本实施例的特征层融合方法随着特征数目的增加呈稳定增长状态，最后趋于平稳。图2-4显示为两种输入特征向量的融合，可以发现DCA融合算法极其不稳定，这是由于数据的冗余信息，干扰了跨模态间的相关性能，导致识别率的降低。从上图中可以看出，有的特征融合算法在特性向量的维数较低时识别率非常有效，例如CCA，MCCA融合算法。原因可能是两个输入特征向量之间的冗余信息较少，当维度增加到一定的数量时，随着大量冗余信息的增加反之识别率在下降，如表5中所示，MCCA识别率仅仅达到87.50％。HOG+LBP+LDN的融合中，图5中LMCCA融合算法的识别率接近本实施例算法，甚至在一些维度的时候高于本实施例算法，但是在表5中其识别率仅仅97.86％，不具有稳定性。总体上来说，本实施例的特征层融合方法还是优于其他对比算法的。
实验C：手部特征层融合
实验C采用USM数据库、香港理工大学的掌纹公开数据库和指形数据库。USM指静脉数据库包括123个受试者，每位提供4个手指，共采集492类手指静脉，每类有6张图像，本实施例将USM指静脉数据库记为：FV_USM。PolyU掌纹数据库包含了386类不同，每类掌纹有20张图像，在前后相隔两个月的不同时间段各采集10张。指形数据库来自香港理工大学手指静脉数据库。
在本实验中，指静脉和掌纹均采用均值LBP方法进行特征提取，指形特征是通过检测指静脉的轮廓图像，通过分层梯度方向直方图(PHOG)计算得到。由于生物特征之间的无关性，因此针对每个用户的单模态特征折中地进行选取。共取312个用户，每个用户的单模态特征图像有6个样本，选取3幅作为训练样本，剩下3幅作为测试样本。采用KNN(K＝1)最近邻方法进行分类，测试过程重复独立循环20次，以20次平均得出的分类结果作为最终的分类指标。
表7单模态下的平均分类正确率统计表
Figure BDA0002390764610000201
表8多模态下的平均分类正确率统计表
Figure BDA0002390764610000202
Serial:Yang J,Yang J,Zhang D,et al.Feature fusion:parallel strategyvs.serial strategy[J].Pattern recognition,2003,36(6):1369-1381.
CCA:Sun Quansen,Zeng Shenggen,Yang Maolong,et al.Combined featureextraction based on canonical correlation analysis and face recognition[J].Journal of Computer Research and Development,2005,42(4):614-621.
MCCA:H.G.Yu et al.,"Multiset canonical correlation analysis using forblind source separation",Appl.Mechanics Mater.,vol.195,pp.104-108,2012.
DCCA:O.
Figure BDA0002390764610000203
“Discriminative extended canonical correlationanalysis for patternset matching,”Mach.Learn.,vol.94,no.3,pp.353–370,2013.
DMCCA:Gao L,Qi L,Chen E,et al.Discriminative multiple canonicalcorrelation analy sis for information fusion[J].IEEE Transactions on ImageProcessing,2018,27(4):1951-1965.
KCCA:Jia Zhenliang.Multi-feature combination face recognition basedon kernel canonica lcorrelation analysis[J].International Journal of SignalProcessing,Image Processing and Pattern Recognition,2016,9(7):221-230.
GCCA:C.Shen et al.,"Generalized canonical correlation analysis forclassification",J.Mu ltivariate Anal.,vol.130,pp.310-322,2014.
DCA:Haghighat M,Abdel-Mottaleb M.Alhalabi.Discriminant CorrelationAnalysisReal-Time Feature Level Fusion for Multimodal Biometric Recognition[J].IEEE Transactions on Information Forensics&Security,2016,11(9):1984-1996.
LMCCA:Gao L,Zhang R,Qi L,et al.The Labeled Multiple CanonicalCorrelation Analysis for Information Fusion[J].IEEE Transactions onMultimedia,2019,21(2):375-387.
表6和表7分别表示单模态特征和组合不同特征向量的识别率。从表6和表7中的结果得知本实施例算法均高于输入特征向量识别率。如表8所示，相对于CCA及其改进方法如MCCA，DCCA，DMCCA，KCCA，DCA，GCCA，LMCCA，所提出方法具有更高的识别率。其中，DCA算法在掌纹与手指轮廓融合、指静脉与手指轮廓融合中，识别率比较低。这是由于手指轮廓识别率仅有20.30％，故与手指轮廓的融合中，整体的识别率受到很大的影响。然而，本实施例算法表现更具有稳定性。
表9本实施例的特征层融合方法进行结合的平均分类正确率
Figure BDA0002390764610000211
为了验证步骤(1)在手部特征融合中的有效性，将步骤(1)与传统的CCA算法及CCA改进算法相结合，结合后的识别率均高于原始的传统CCA及CCA改进算法的识别率，这说明提取单模态独立互补特征提高了多模态之间相关性。表9中步骤(1)、步骤(3)算法本身的平均分类正确率很高，这说明步骤(1)与步骤(3)具有一定的有效性。而将两个算法进行结合，结合之后的平均分类正确率优于单个算法识别的效果，说明本实施例的特征层融合方法结合的合理性与有效性。
综上所述，本实施例展示了随着两个模态和三个模态之间的特征数量而增加的融合曲线。如图6-9所示，所提出的方法在识别性能和稳定性方面明显优于其他方法。随着特征维数的增加导致冗余信息的增加，对比算法均有很大的波动，而本实施例算法呈现出稳定上升状态。图8中的掌纹，指静脉和手指轮廓的生物特征融合中，与串联，LMCCA,MCCA，DMCCA算法对比，传统的串联特征融合在这方面表现的非常有效，本实施例所提的方法也取得了更好的效果。因此，该特征层融合方法学习到的投影矩阵将多模态特征投影到一个最大相关性，最小冗余性的子空间中。此外，通过基于图嵌入典型相关分析，融合后的特征集可以很好的保留了原样本空间中的几何结构。为了证明此算法的有效性，分别用同源异构生物特征和异源异构生物特征的进行特征层融合。在三个数据集的实验表明，该方法优于某些多模态特征层融合算法。
实施例3
本实施例提供了一种基于图嵌入典型相关分析的特征层融合装置，其应用实施例1或实施例2的基于图嵌入典型相关分析的特征层融合方法，而且包括特征选择模块、相似图矩阵构建模块以及融合模块。
特征选择模块用于将所有模态中样本映射到同一分类结果的空间的投影矩阵，并对投影矩阵施加L21范数正则化，以实现同时在多个单模态特征空间中选择出独立互补特征其中，特征选择模块包括初始目标函数建立单元、优化单元以及更新单元。初始目标函数建立单元用于建立初始目标函数。初始目标函数用于学习各种模态的投影矩阵，且包括第一项和第二项。第一项用于学习不同模态数据投影到公共空间的投影矩阵，第二项用于对投影矩阵进行约束，并在不同的单模态特征空间中实现特征选择。优化单元用于对初始目标函数进行半二次最小化优化，获得优化目标函数。更新单元用于通过元素正则化对优化目标函数进行更新，获得正则化目标函数。
相似图矩阵构建模块用于构造数据相似图矩阵，以表示单模态特征空间中样本点的相近关系。相似图矩阵构建模块能够实现实施例1中的特征层融合方法的步骤(2)，使投影后的单模内样本依然保留着原始空间的样本几何结构。
融合模块用于通过正则化目标函数为每个模态学习相应的投影矩阵，将多个模态数据投影到具备最大辨别力、最大相关性及最小冗余性的投影子空间中，实现多模态数据融合。其中，融合模块包括相关性约束确定单元、准则函数建立单元以及融合单元。相关性约束确定单元用于确定多模态类内样本之间的相关性约束。准则函数建立单元用于根据相关性约束，建立准则函数以保持典型变量的唯一性。融合单元用于先将特征选择模块获得的投影矩阵与每个模态学习获得的投影矩阵进行并集，再将并集获得的投影矩阵与原样本集融合获得投影后的特征集。
相较于现有的特征融合方案，本实施例的基于图嵌入典型相关分析的特征层融合装置所具备的优点与实施例1中的特征层融合方法的优点相同。
实施例4
本实施例提供了一种计算机终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现实施例1的基于图嵌入典型相关分析的特征层融合方法的步骤。
实施例1的特征层融合方法在应用时，可以软件的形式进行应用，如设计成独立运行的程序，安装在计算机终端上，计算机终端可以是电脑、智能手机、控制系统以及其他物联网设备等。实施例1的特征层融合方法也可以设计成嵌入式运行的程序，安装在计算机终端上，如安装在单片机上。
实施例5
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序。程序被处理器执行时，实现实施例1的基于图嵌入典型相关分析的特征层融合方法的步骤。
实施例1的特征层融合方法在应用时，可以软件的形式进行应用，如设计成计算机可读存储介质可独立运行的程序，计算机可读存储介质可以是U盘，设计成U盾，通过U盘设计成通过外在触发启动整个方法的程序。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图嵌入典型相关分析的特征层融合方法，其特征在于，其包括以下步骤：
(1)将所有模态中样本映射到同一分类结果的空间的投影矩阵，并对所述投影矩阵施加L21范数正则化，以实现同时在多个单模态特征空间中选择出独立互补特征；其中，所述独立互补特征的选择方法包括以下步骤：
(1.1)建立初始目标函数；所述初始目标函数用于学习各种模态的投影矩阵，且包括第一项和第二项；所述第一项用于学习不同模态数据投影到公共空间的投影矩阵，所述第二项用于对投影矩阵进行约束，并在不同的单模态特征空间中实现特征选择；
(1.2)对所述初始目标函数进行半二次最小化优化，获得优化目标函数；以及
(1.3)通过元素正则化对所述优化目标函数进行更新，获得正则化目标函数；
(2)构造数据相似图矩阵，以表示所述单模态特征空间中样本点的相近关系；以及
(3)通过所述正则化目标函数为每个模态学习相应的投影矩阵，将多个模态数据投影到具备最大辨别力、最大相关性及最小冗余性的投影子空间中，实现多模态数据融合；其中，多模态数据融合方法包括以下步骤：
(3.1)确定多模态类内样本之间的相关性约束；
(3.2)根据所述相关性约束，建立准则函数以保持典型变量的唯一性；
(3.3)先将(1)获得的投影矩阵与(2)获得的投影矩阵进行并集，再将并集获得的投影矩阵与原样本集融合获得投影后的特征集。
2.如权利要求1所述的基于图嵌入典型相关分析的特征层融合方法，其特征在于，所述初始目标函数为：
Figure FDA0002390764600000021
式中，Ui∈Rdi×c为对应的第i个模态的投影矩阵，Xi∈Rdi×n为第i个模态的样本集；Y∈Rn ×c为类标签矩阵，P为需要特征选择的模态数。
3.如权利要求2所述的基于图嵌入典型相关分析的特征层融合方法，其特征在于，在步骤(1.2)中，通过在一个共轭函数对所述初始目标函数优化进行优化，且所述共轭函数为：
Figure FDA0002390764600000022
式中，φ(.)表示最小化函数，a由所述最小化函数相对所述共轭函数确定。
4.如权利要求3所述的基于图嵌入典型相关分析的特征层融合方法，其特征在于，所述正则化目标函数为：
Figure FDA0002390764600000023
式中，Tr(.)为矩阵跟踪算子；Si＝diag(si)，si∈Rdi为一个辅助函数，且si中第j元素满足
Figure FDA0002390764600000024
元素正则化公式为：
Figure FDA0002390764600000025
式中，ε为平滑项。
5.如权利要求4所述的基于图嵌入典型相关分析的特征层融合方法，其特征在于，对所述优化目标函数的更新方法包括以下步骤：
(1.3.1)根据所述元素正则化公式计算
Figure FDA0002390764600000026
(1.3.2)根据以下公式更新
Figure FDA0002390764600000027
Figure FDA0002390764600000028
(1.3.3)增大t并返回至步骤(1.3.1)直至收敛。
6.如权利要求1所述的基于图嵌入典型相关分析的特征层融合方法，其特征在于，所述数据相似图矩阵为：
Figure FDA0002390764600000031
式中，
Figure FDA0002390764600000032
表示第p个模态中第i个样本与第j个样本之间的欧几里德距离，
Figure FDA0002390764600000033
Figure FDA0002390764600000034
表示
Figure FDA0002390764600000035
的k个最近邻的样本集合，
Figure FDA0002390764600000036
表示第p个模态中第i个样本。
7.如权利要求1所述的基于图嵌入典型相关分析的特征层融合方法，其特征在于，所述相关性约束为：
Figure FDA0002390764600000037
式中，
Figure FDA0002390764600000038
表示第p个模态中第i个样本，
Figure FDA0002390764600000039
表示第q个模态中第j个样本。
8.如权利要求1所述的基于图嵌入典型相关分析的特征层融合方法，其特征在于，所述准则函数为：
Figure FDA00023907646000000310
Figure FDA00023907646000000311
式中，P为模态数；V1,V2…VP待求解的P个模态特征集对应的投影矩阵；Wij表示第i个模态与第j个模态之间的相似性矩阵，Di表示所述相关性约束中第P个模态的对角矩阵，Xi为第i个模态的样本集。
9.如权利要求1所述的基于图嵌入典型相关分析的特征层融合方法，其特征在于，第i个模态对应的投影矩阵为：
Figure FDA00023907646000000312
式中，
Figure FDA00023907646000000313
为步骤(1)获得的投影矩阵，Vi 2为步骤(3)中每个模态学习获得的投影矩阵；
投影后的特征集为：
Xi′＝Si T*Xi
式中，Xi为原样本集。
10.一种基于图嵌入典型相关分析的特征层融合装置，其应用如权利要求1-9中任意一项所述的基于图嵌入典型相关分析的特征层融合方法，其特征在于，其包括：
特征选择模块，其用于将所有模态中样本映射到同一分类结果的空间的投影矩阵，并对所述投影矩阵施加L21范数正则化，以实现同时在多个单模态特征空间中选择出独立互补特征；其中，所述特征选择模块包括初始目标函数建立单元、优化单元以及更新单元；所述初始目标函数建立单元用于建立初始目标函数；所述初始目标函数用于学习各种模态的投影矩阵，且包括第一项和第二项；所述第一项用于学习不同模态数据投影到公共空间的投影矩阵，所述第二项用于对投影矩阵进行约束，并在不同的单模态特征空间中实现特征选择；所述优化单元用于对所述初始目标函数进行半二次最小化优化，获得优化目标函数；所述更新单元用于通过元素正则化对所述优化目标函数进行更新，获得正则化目标函数；
相似图矩阵构建模块，其用于构造数据相似图矩阵，以表示所述单模态特征空间中样本点的相近关系；以及
融合模块，其用于通过所述正则化目标函数为每个模态学习相应的投影矩阵，将多个模态数据投影到具备最大辨别力、最大相关性及最小冗余性的投影子空间中，实现多模态数据融合；其中，所述融合模块包括相关性约束确定单元、准则函数建立单元以及融合单元；所述相关性约束确定单元用于确定多模态类内样本之间的相关性约束；所述准则函数建立单元用于根据所述相关性约束，建立准则函数以保持典型变量的唯一性；所述融合单元用于先将所述特征选择模块获得的投影矩阵与每个模态学习获得的投影矩阵进行并集，再将并集获得的投影矩阵与原样本集融合获得投影后的特征集。
CN202010113414.0A 2020-02-24 2020-02-24 一种基于图嵌入典型相关分析的特征层融合方法及其装置 Active CN111340103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010113414.0A CN111340103B (zh) 2020-02-24 2020-02-24 一种基于图嵌入典型相关分析的特征层融合方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010113414.0A CN111340103B (zh) 2020-02-24 2020-02-24 一种基于图嵌入典型相关分析的特征层融合方法及其装置

Publications (2)

Publication Number Publication Date
CN111340103A true CN111340103A (zh) 2020-06-26
CN111340103B CN111340103B (zh) 2023-08-25

Family

ID=71181746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010113414.0A Active CN111340103B (zh) 2020-02-24 2020-02-24 一种基于图嵌入典型相关分析的特征层融合方法及其装置

Country Status (1)

Country Link
CN (1) CN111340103B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200317A (zh) * 2020-09-28 2021-01-08 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法
CN112989218A (zh) * 2021-03-12 2021-06-18 西华大学 基于多级属性嵌入和约束典型相关分析的身份链接方法
CN113222775A (zh) * 2021-05-28 2021-08-06 北京理工大学 融合多模态信息及权重张量的用户身份关联方法
CN114578011A (zh) * 2022-03-07 2022-06-03 上海蓝长科技集团有限公司 一种基于多传感器多源数据融合的水质监测方法
CN114863572A (zh) * 2022-07-07 2022-08-05 四川大学 一种多通道异构传感器的肌电手势识别方法
US11527092B1 (en) * 2020-11-16 2022-12-13 Amazon Technologies, Inc. System for determining embedding using spatial data
CN116071787A (zh) * 2023-01-06 2023-05-05 南京航空航天大学 一种多光谱掌纹识别方法、系统、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050286764A1 (en) * 2002-10-17 2005-12-29 Anurag Mittal Method for scene modeling and change detection
WO2017190337A1 (zh) * 2016-05-06 2017-11-09 中国科学院自动化研究所 有监督的多模态脑影像融合方法
CN108334574A (zh) * 2018-01-23 2018-07-27 南京邮电大学 一种基于协同矩阵分解的跨模态检索方法
CN108537137A (zh) * 2018-03-19 2018-09-14 安徽大学 基于标签鉴别相关分析的多模态生物特征融合识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050286764A1 (en) * 2002-10-17 2005-12-29 Anurag Mittal Method for scene modeling and change detection
WO2017190337A1 (zh) * 2016-05-06 2017-11-09 中国科学院自动化研究所 有监督的多模态脑影像融合方法
CN108334574A (zh) * 2018-01-23 2018-07-27 南京邮电大学 一种基于协同矩阵分解的跨模态检索方法
CN108537137A (zh) * 2018-03-19 2018-09-14 安徽大学 基于标签鉴别相关分析的多模态生物特征融合识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张志坚;赵松;张培仁;: "增强典型相关分析及其在多模态生物特征识别特征层融合中的应用", 中国科学技术大学学报, no. 08 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200317A (zh) * 2020-09-28 2021-01-08 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法
CN112200317B (zh) * 2020-09-28 2024-05-07 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法
US11527092B1 (en) * 2020-11-16 2022-12-13 Amazon Technologies, Inc. System for determining embedding using spatial data
CN112989218A (zh) * 2021-03-12 2021-06-18 西华大学 基于多级属性嵌入和约束典型相关分析的身份链接方法
CN112989218B (zh) * 2021-03-12 2022-06-28 西华大学 基于多级属性嵌入和约束典型相关分析的身份链接方法
CN113222775A (zh) * 2021-05-28 2021-08-06 北京理工大学 融合多模态信息及权重张量的用户身份关联方法
CN114578011A (zh) * 2022-03-07 2022-06-03 上海蓝长科技集团有限公司 一种基于多传感器多源数据融合的水质监测方法
CN114863572A (zh) * 2022-07-07 2022-08-05 四川大学 一种多通道异构传感器的肌电手势识别方法
CN114863572B (zh) * 2022-07-07 2022-09-23 四川大学 一种多通道异构传感器的肌电手势识别方法
CN116071787A (zh) * 2023-01-06 2023-05-05 南京航空航天大学 一种多光谱掌纹识别方法、系统、电子设备及介质
CN116071787B (zh) * 2023-01-06 2023-09-29 南京航空航天大学 一种多光谱掌纹识别方法、系统、电子设备及介质

Also Published As

Publication number Publication date
CN111340103B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN111340103B (zh) 一种基于图嵌入典型相关分析的特征层融合方法及其装置
Wen et al. Incomplete multiview spectral clustering with adaptive graph learning
Xie et al. Joint deep multi-view learning for image clustering
Zhu et al. Low-rank sparse subspace for spectral clustering
Xue et al. Deep low-rank subspace ensemble for multi-view clustering
Punyani et al. Neural networks for facial age estimation: a survey on recent advances
Guo et al. Learning from examples in the small sample case: face expression recognition
Liu et al. A cluster-weighted kernel k-means method for multi-view clustering
Fan et al. Multi-view subspace learning via bidirectional sparsity
Madhavan et al. Incremental methods in face recognition: a survey
CN113033398B (zh) 一种手势识别方法、装置、计算机设备及存储介质
Chen et al. LABIN: Balanced min cut for large-scale data
Huang et al. Locality-regularized linear regression discriminant analysis for feature extraction
Yang et al. Robust and efficient linear discriminant analysis with l 2, 1-norm for feature selection
Tapia et al. Clusters of features using complementary information applied to gender classification from face images
Liu et al. Locality preserving robust regression for jointly sparse subspace learning
Abbes et al. Fuzzy decision ontology for melanoma diagnosis using KNN classifier
Wang et al. Nonlinear clustering: methods and applications
Wu et al. Adaptive spectral rotation via joint cluster and pairwise structure
He et al. Unsupervised feature selection based on decision graph
CN112241680A (zh) 基于静脉相似图像知识迁移网络的多模态身份认证方法
Gao et al. Global structure-guided neighborhood preserving embedding for dimensionality reduction
Xu et al. A novel kernel-based maximum a posteriori classification method
Chen et al. Capped $ l_1 $-norm sparse representation method for graph clustering
Guo et al. Multi-attribute subspace clustering via auto-weighted tensor nuclear norm minimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant