CN111539466A - 一种基于超图的高阶特征融合方法 - Google Patents

一种基于超图的高阶特征融合方法 Download PDF

Info

Publication number
CN111539466A
CN111539466A CN202010301211.4A CN202010301211A CN111539466A CN 111539466 A CN111539466 A CN 111539466A CN 202010301211 A CN202010301211 A CN 202010301211A CN 111539466 A CN111539466 A CN 111539466A
Authority
CN
China
Prior art keywords
hypergraph
features
channel
order
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010301211.4A
Other languages
English (en)
Inventor
赵云灏
高炜
侯瑞
胡杨
刘敏
张劳社
白平
陈康
侯晓松
刘利军
付旭东
张建
袁梦
方苏婉
任羽圻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Yanchang Petroleum Power Sales Co ltd
North China Electric Power University
Original Assignee
Shaanxi Yanchang Petroleum Power Sales Co ltd
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Yanchang Petroleum Power Sales Co ltd, North China Electric Power University filed Critical Shaanxi Yanchang Petroleum Power Sales Co ltd
Priority to CN202010301211.4A priority Critical patent/CN111539466A/zh
Publication of CN111539466A publication Critical patent/CN111539466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于超图的高阶特征融合方法，包括以下步骤：1)获取多视觉通道特征{X1，X2…Xm}；2)计算多通道特征之间的高阶相关性；3)将多通道特征之间的高阶相关性通过超图的形式进行表示，得特征关系超图{κ1，…，κK}；4)利用特征关系超图{κ1，…，κK}，将整个多通道特征分类为K个聚类，并对各特征聚类计算相应的图像核，得K个图像核，然后将K个图像核组合成最终的图像核，再利用最终的图像核对核SVM分类器进行训练，然后利用训练后的核SVM分类器进行图像的分类，该方法能够将多通道特征较好的融合到鉴别图像表示中，继而提高图像分类的性能。

Description

一种基于超图的高阶特征融合方法
技术领域
本发明涉及一种高阶特征融合方法，具体涉及一种基于超图的高阶特征融合方法。
背景技术
人类视觉感知自然是多通道的，即在人类视觉认知过程中，多个视觉特征无缝地、协同地结合在一起。例如，很难仅通过颜色来区分不同类型的水果，因为许多水果如香蕉和梨具有相似的颜色，如图1所示。以这种方式，有必要获得额外的特征，例如纹理和轮廓，以对上述水果进行分类。在实践中，许多信息处理系统智能地将多通道视觉/听觉特征结合成一个鉴别特征，并将其用于图像分类。受这个例子的启发，已经提出了十几个多模态特征融合算法，旨在最佳地利用不同特征通道之间的互相关性。基于成功融合的特征，图像分类性能可以得到显著提高。这是因为与传统的单通道特征表示相比，多通道视觉特征包含更丰富的线索。
在机器学习和计算机视觉领域，已经提出了一系列多通道特征融合技术。值得强调的是，由于以下问题，以前的特征融合算法不能令人满意地利用多通道视觉特征。
(1)据我们所知，传统的多通道特征融合技术一致地描述了特征之间的二元关系，而忽略了特征之间潜在的高阶相关性。然而，在实践中，多个特征之间的内在相关性应该被建模，例如，颜色、纹理和轮廓之间的相关性对于在水果分类期间被利用是有价值的。然而，实现这样的任务是一个真正的挑战。潜在的困难包括:1)如何提出一个度量标准，以最佳方式衡量两个以上变量之间的相关性；2)如何设计一个描述性的数据结构，能够很好地表示任意多个特征通道之间的特征高阶相关性。
(2)众所周知，多渠道视觉特征分布在潜在空间中。在这样的潜在空间中挖掘多模态特征之间的关系具有重要意义。一般来说，我们应该很好地量化大量多通道视觉特征之间的高阶相关性，在此基础上我们可以将这些不同的特征分类成几个语义聚类，以便更好地进行特征分类。然而，由于特征之间复杂的高阶相关性，可能很难最优地执行这样的特征聚类任务。
(3)传统的特征融合算法通常手动为每个特征通道分配权重。每个权重代表多模态特征融合过程中每个通道特征的重要性。这种手动分配的特征加权方案很简单，但是严重依赖于系统设计者的领域经验。在现实世界的智能系统中，我们期望一个智能系统能够自动预测每个特征通道的权重。然而，设计这样一个系统仍然是一个艰巨的挑战。此外，如何优化连接不同渠道的分类结果仍然是一个悬而未决的问题。
总之，在现代计算机视觉系统中，有效地识别大规模的真实图像正成为一项具有挑战性但又不可或缺的任务。实际上，来自多个通道的视觉特征共同决定了每个图像的视觉内容，如何将这些多通道特征最佳地融合到鉴别图像表示中仍然是困难的。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供了一种基于超图的高阶特征融合方法，该方法能够将多通道特征较好的融合到鉴别图像表示中，继而提高图像分类的性能。
为达到上述目的，本发明所述的基于超图的高阶特征融合方法包括以下步骤：
1)获取多视觉通道特征{X1,X2…Xm}；
2)计算多通道特征之间的高阶相关性；
3)将多通道特征之间的高阶相关性通过超图的形式进行表示，得特征关系超图{κ1,…,κK}；
4)利用特征关系超图{κ1,…,κK}，将整个多通道特征分类为K个聚类，并对各特征聚类计算相应的图像核，得K个图像核，然后将K个图像核组合成最终的图像核，再利用最终的图像核对核SVM分类器进行训练，然后利用训练后的核SVM分类器进行图像的分类。
通过共享熵衡量多通道特征之间的高阶相关性。
多通道原始特征X1,X2…Xm的共享熵SE(X1,X2…Xm)为：
Figure BDA0002454052460000031
其中，m≥2，Xi表示第i维的原始特征，JE1…m表示多通道原始特征X1,X2…Xm的联合熵，联合熵(JE)[x]为量化多个原始特征X1,X2…Xm中包含的熵量的度量。
联合熵(JE)[x]的表达式为：
其中，
Figure BDA0002454052460000041
表示多通道原始特征X1,X2…Xm的联合概率，SE表示多个原始特征X1,X2…Xm共享的信息量。
步骤4)中利用MKL算法将K个图像核组合成最终的图像核。
步骤4)中使用超图聚类算法将整个多通道特征分类为K个聚类。
本发明具有以下有益效果：
本发明所述的基于超图的高阶特征融合方法在具体操作时，将多通道特征之间的高阶相关性通过超图的形式进行表示，得特征关系超图，然后利用特征关系超图{κ1,…,κK}，将整个多通道特征分类为K个聚类，并对各特征聚类计算相应的图像核，再将计算得到的K个图像核组合成最终的图像核，从而将多通道特征较好的融合到鉴别图像表示中，最后利用最终的图像核对核SVM分类器进行训练，然后利用训练后的核SVM分类器进行图像的分类，可广泛应用于大规模的图像分类中。
附图说明
图1为本发明的结构图；
图2为发明中基于超图的多通道特征融合的示意图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
本发明所述的提出了一种基于超图的高阶特征融合方法在具体操作时，先给定从各对象/场景提取的多个视觉通道，利用共享熵度量来表示多个特征之间的高阶相关性，即根据共享熵值的大小判断多个特征之间高阶相关性的高低程度，基于此，本发明提出了一种贪婪算法来构造每组多通道特征的超边，其中，每个超边的权重由相应的共享熵值决定，然后，对构造的超图进行特征聚类，将输入的多通道特征最优地分组为K个语义聚类，再基于特征聚类，采用Adaboost框架组合特征聚类进行决策，具体的，针对每个特征聚类训练一个子分类器，在此基础上采用Adaboost框架将各子分类器无缝地组合成一个健壮的子分类器，以输出最终的类标签。
本发明所述的基于超图的高阶特征融合方法具体包括以下步骤：
1)获取多视觉通道特征{X1,X2…Xm}；
2)计算多通道特征之间的高阶相关性，所述高阶相关性通过共享熵(SE)来度量；
Figure BDA0002454052460000051
其中，m≥2，Xi表示第i维的原始特征，JE1…m表示多通道原始特征X1,X2…Xm的联合熵，联合熵(JE)[x]为量化多个原始特征X1,X2…Xm中包含的熵量的度量，即，
Figure BDA0002454052460000052
其中，
Figure BDA0002454052460000053
表示多通道原始特征X1,X2…Xm的联合概率，SE表示多个原始特征X1,X2…Xm共享的共享熵。
将获取的多个视觉通道特征{X1,X2…Xm}作为输入，利用公式(1)计算多个原始特征X1,X2…Xm的共享熵SE，得到共享熵SE的同时计算出多通道特征之间的高阶相关性与否，即当SE的值越大，则表示这些原始特征之间的关系越密切，多通道特征之间越具有高阶相关性。
3)将多通道特征之间的高阶相关性通过超图的形式进行表示，得特征关系超图{κ1,…,κK}；
共享熵度量为来自多个模态的特征之间的相关性，因此将相关性类比为链接多个顶点的加权超边，基于这种类比，将多模态特征及其相关性建模为一个超图，在本发明中将一个模态的每个特征都表示为一个顶点，即多个模态的多个特征值的共享熵表示为对应顶点的加权值。在本发明中，将多模态特征及其相关性建模为一个超图的过程称之为特征关系超图(FRH)。
FRH的构建原理为：给定m个多模态特征、FRH的深度、其最小共享熵及和一个父超边数计数器，构造从2至d的卡片超边，并将超边存储到一组{L1,L2,…,Ld-1}列表中，为简化及特殊构造卡片2的超边，当共享熵足够大，则通过将一对特征链接到一条边来直接处理它，将边存储在列表L1中，卡片为3至d的超边通过迭代构造，例如，在k卡的迭代中，顺序检查Lk-1中的每个超边，确定其是否可用于产生子超边，当访问新的超边he1时，则继续访问其余的超边，以便找到与he1共享k-1特征的超边he2，当找到he2时，则将它链接到一个候选超边，然后继续访问Lk-1剩余的超边，检查剩余的k-2父超边是否存在Lk-1，当候选超边原本就是一个子超边，则检查he2后面的超边是否可以链接到一个候选超边，并且将he2被赋予这样的超边，在检查Lk-1中所有超边后，该轮迭代将终止，所有父超边都将从Lk-1中移除，根据经验发现，Lk-1中的超边的指数是按递增顺序排列的，即he2可以被限制为与he1共享第一k-1特征的超边。
例如，在由1、2、3、4、5索引的5个特征上的L2可以为(123)、(124)、(125)、(234)、(235)及(345)，其中，(·)表示超边索引，设he1为(123)，he2仅限于(124)及(125)，因为当he2为(124)和(125)时，已经检查了是否将he1与(234)或(235)链接到(1234)或(1235)，在列表L2中的最大m-1步行程中，可以更快地找到he2。
利用上述原理不断构造出所需的一系列特征关系超图{κ1,…,κK}。
4)利用特征关系超图{κ1,…,κK}，使用超图聚类算法将整个多通道特征分类为K个聚类，并对各特征聚类，计算相应的图像核，得K个图像核。
对于每个单核机器优化步骤，学习与最优SVM分类器的内部系数相关联的最优线性组合参数{α1,…,αK}，然后利用MKL算法将K个图像核组合成最终的图像核，MKL算法的重要属性是计算线性图像核组合的稀疏性，即只有少数语义上有意义的图像内核起作用，在实践中，当K＝40并且相应地获得40个图像核时，可以观察到只有6个图像核的参数是非零的，并且可以对最终的图像分类任务做出实质性贡献，最后利用最终的图像核训练核SVM分类器进行大规模图像分类。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (6)

1.一种基于超图的高阶特征融合方法，其特征在于，包括以下步骤：
1)获取多视觉通道特征；
2)计算多通道特征之间的高阶相关性；
3)将多通道特征之间的高阶相关性通过超图的形式进行表示，得特征关系超图；
4)利用特征关系超图，将整个多通道特征分类为K个聚类，并对各特征聚类计算相应的图像核，得K个图像核，然后将K个图像核组合成最终的图像核，再利用最终的图像核对核SVM分类器进行训练，然后利用训练后的核SVM分类器进行图像的分类。
2.根据权利要求1所述的基于超图的高阶特征融合方法，其特征在于，通过共享熵衡量多通道特征之间的高阶相关性。
3.根据权利要求1所述的基于超图的高阶特征融合方法，其特征在于，多通道原始特征X1，X2…Xm的共享熵SE(X1，X2…Xm)为：
Figure FDA0002454052450000011
其中，m≥2，Xi表示第i维的原始特征，JE1…m表示多通道原始特征X1，X2…Xm的联合熵，联合熵(JE)[x]为量化多个原始特征X1，X2…Xm中包含的熵量的度量。
4.根据权利要求3所述的基于超图的高阶特征融合方法，其特征在于，联合熵(JE)[x]的表达式为：
Figure FDA0002454052450000012
其中，
Figure FDA0002454052450000013
表示多通道原始特征X1，X2…Xm的联合概率，SE表示多个原始特征X1，X2…Xm共享的信息量。
5.根据权利要求1所述的基于超图的高阶特征融合方法，其特征在于，步骤4)中利用MKL算法将K个图像核组合成最终的图像核。
6.根据权利要求1所述的基于超图的高阶特征融合方法，其特征在于，步骤4)中使用超图聚类算法将整个多通道特征分类为K个聚类。
CN202010301211.4A 2020-04-16 2020-04-16 一种基于超图的高阶特征融合方法 Pending CN111539466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010301211.4A CN111539466A (zh) 2020-04-16 2020-04-16 一种基于超图的高阶特征融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010301211.4A CN111539466A (zh) 2020-04-16 2020-04-16 一种基于超图的高阶特征融合方法

Publications (1)

Publication Number Publication Date
CN111539466A true CN111539466A (zh) 2020-08-14

Family

ID=71973562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010301211.4A Pending CN111539466A (zh) 2020-04-16 2020-04-16 一种基于超图的高阶特征融合方法

Country Status (1)

Country Link
CN (1) CN111539466A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177627A (zh) * 2021-01-11 2021-07-27 联合微电子中心(香港)有限公司 优化系统、重新训练系统及其方法及处理器和可读介质
CN113177627B (zh) * 2021-01-11 2024-05-10 联合微电子中心有限责任公司 优化系统、重新训练系统及其方法及处理器和可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959323A (zh) * 2017-05-25 2018-12-07 腾讯科技（深圳）有限公司 视频分类方法和装置
CN109034253A (zh) * 2018-08-01 2018-12-18 华中科技大学 一种基于多尺度语义特征的慢性静脉疾病图像分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959323A (zh) * 2017-05-25 2018-12-07 腾讯科技（深圳）有限公司 视频分类方法和装置
CN109034253A (zh) * 2018-08-01 2018-12-18 华中科技大学 一种基于多尺度语义特征的慢性静脉疾病图像分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
周毅书;梁鹏;张海涛;周建雄;刘琦;: "一种基于高阶特征表示的图像分类方法" *
彭瑶;祖辰;张道强;: "基于超图的多模态特征选择算法及其应用" *
殷亚林;刘爱民;周祥东;: "基于高阶相关聚类的脱机手写文本行分割" *
罗永恩;胡继承;徐茜;: "基于超图的多模态关联特征处理方法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177627A (zh) * 2021-01-11 2021-07-27 联合微电子中心(香港)有限公司 优化系统、重新训练系统及其方法及处理器和可读介质
CN113177627B (zh) * 2021-01-11 2024-05-10 联合微电子中心有限责任公司 优化系统、重新训练系统及其方法及处理器和可读介质

Similar Documents

Publication Publication Date Title
Deng et al. Saliency detection via a multiple self-weighted graph-based manifold ranking
Liu et al. A hierarchical visual model for video object summarization
Yadollahpour et al. Discriminative re-ranking of diverse segmentations
dos Santos et al. A relevance feedback method based on genetic programming for classification of remote sensing images
US11055571B2 (en) Information processing device, recording medium recording information processing program, and information processing method
CN103136504B (zh) 人脸识别方法及装置
CN111462116A (zh) 基于影像组学特征的多模态参数模型优化融合方法
CN108921047B (zh) 一种基于跨层融合的多模型投票均值动作识别方法
CN110321805B (zh) 一种基于时序关系推理的动态表情识别方法
Wang et al. Zero-shot image classification based on deep feature extraction
US20200380292A1 (en) Method and device for identifying object and computer readable storage medium
Zhao et al. Men also do laundry: Multi-attribute bias amplification
CN112836755B (zh) 基于深度学习的样本图像生成方法及其系统
Shang et al. Learning spectral embedding for semi-supervised clustering
Xu Mt-resnet: a multi-task deep network for facial attractiveness prediction
Raman et al. Gender-specific facial age group classification using deep learning
JP7225731B2 (ja) 多変数データシーケンスの画像化
Qiu Convolutional neural network based age estimation from facial image and depth prediction from single image
CN108229552B (zh) 一种模型处理方法、装置及存储介质
Zhan et al. Age estimation based on extended non-negative matrix factorization
Sowmya et al. Significance of processing chrominance information for scene classification: a review
CN111539466A (zh) 一种基于超图的高阶特征融合方法
Taherkhani et al. Tasks structure regularization in multi-task learning for improving facial attribute prediction
Tang et al. Eigen-aging reference coding for cross-age face verification and retrieval
Moon et al. Image patch analysis and clustering of sunspots: A dimensionality reduction approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhao Yunhao

Inventor after: Liu Lijun

Inventor after: Fu Xudong

Inventor after: Zhang Jian

Inventor after: Yuan Meng

Inventor after: Fang Suwan

Inventor after: Ren Yuqi

Inventor after: Gao Wei

Inventor after: Hou Rui

Inventor after: Hu Yang

Inventor after: Liu Min

Inventor after: Zhang Laoshe

Inventor after: Bai Ping

Inventor after: Chen Kang

Inventor after: Hou Xiaosong

Inventor before: Zhao Yunhao

Inventor before: Liu Lijun

Inventor before: Fu Xudong

Inventor before: Zhang Jian

Inventor before: Yuan Meng

Inventor before: Fang Suwan

Inventor before: Ren Yuqi

Inventor before: Gao Wei

Inventor before: Hou Rui

Inventor before: Hu Yang

Inventor before: Liu Min

Inventor before: Zhang Laoshe

Inventor before: Bai Ping

Inventor before: Chen Kang

Inventor before: Hou Xiaosong

CB03 Change of inventor or designer information