CN110222794A - 多模态图像的自适应特征融合方法 - Google Patents

多模态图像的自适应特征融合方法 Download PDF

Info

Publication number
CN110222794A
CN110222794A CN201910539848.4A CN201910539848A CN110222794A CN 110222794 A CN110222794 A CN 110222794A CN 201910539848 A CN201910539848 A CN 201910539848A CN 110222794 A CN110222794 A CN 110222794A
Authority
CN
China
Prior art keywords
feature
self
modality images
multiple modalities
cov
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910539848.4A
Other languages
English (en)
Other versions
CN110222794B (zh
Inventor
余春艳
杨素琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910539848.4A priority Critical patent/CN110222794B/zh
Publication of CN110222794A publication Critical patent/CN110222794A/zh
Application granted granted Critical
Publication of CN110222794B publication Critical patent/CN110222794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种多模态图像的自适应特征融合方法，主要解决针对深度网络提取的高层特征的融合存在的冗余性问题。本发明的具体步骤如下：首先，构建编码器，分别获得多种模态的特征；其次，利用典型性相关的特征筛选策略对多种模态的特征进行筛选，获得多种模态的新特征；再次，构建解码器，所获的新特征作为输入，分别获得新的模态图像；然后，构建一个分类器，利用标签一致损失，更新自适应特征融合模型；最后，所获的多种模态的新特征，进行级联操作，获得融合特征。本发明能够自适应的学习不同模态的高层特征，具有更好的判别性。

Description

多模态图像的自适应特征融合方法
技术领域
本发明涉及一种图像处理领域，更具体地，涉及到多模态图像的特征融合方面。
背景技术
在图像处理领域中，不同模态的图像有各自的优缺点，可以从不同方面提供互补的信息，对多模态的图像进行融合，是提高分类、分割性能的一种重要手段。多模态图像融合常应用于钼靶图像与B超图像融合处理，红外线与可见光图像融合处理中。图像融合方法主要有三种，分别为像素级，特征级，决策级。像素级融合是目前比较成熟的融合方法，但像素级融合依赖于配准。配准需要尽可能多的找到对应的标注点，提供标注点不仅耗时耗力，而且会因为不同模态的方向成像形态不同，标注的错误率也很高。特征级融合介于像素级融合和决策级融合之间，在保留足够数量多有效信息的基础上，对信息进行一定的压缩，减少信息处理的繁杂度和信息的冗余性。无论是信息饱和度还是处理效率的角度来考虑，特征级融合是图像融合中合理有效的融合机制。
利用深度神经网络强大的特征学习能力提取高层特征，结合自适应方法对不同模态特征进行筛选，获取对类别空间更有效且互补的特征，可以避免像素级融合带来的配准难和噪声引入问题。
发明内容
有鉴于此，本发明的目的在于提供一种多模态图像的自适应特征融合方法，能够自适应的学习不同模态的高层特征，具有更好的判别性。
为实现上述目的，本发明采用如下技术方案：
一种多模态图像的自适应特征融合方法，包括以下步骤：
步骤S1:构建编码器，并输入多种模态图像，分别获得多种模态的特征；
步骤S2:利用典型性相关分析的特征筛选策略对多种模态的特征进行筛选，获得多种模态的新特征；
步骤S3:构建解码器，将多种模态的新特征作为输入，分别获得多种模态新的模态图像；
步骤S4.:构建分类器，并根据原模态图像和芯的模态图像，利用标签一致损失，更新自适应特征融合模型；
步骤S5:迭代训练自适应特征融合模型，使得标签一致损失收敛后，所获的多种模态的新特征，进行级联操作，获得融合特征。
进一步的，所述编码器为三层卷积层，使用BN正则化，激活函数为ReLU函数，每两层层卷积层中间加入一层最大池化层。
进一步的，所述的典型相关性分析,将两种模态作为第一对典型变量分析进行说明，多种模态则寻求一个依然最大化相关但与第一对模态典型变量不相关的向量；这样就得到了第二对典型变量。这个步骤会进行次。
设X，Y分别为模态1图像特征空间和模态2图像特征空间，x，y是多个特征空间的向量，将x，y投影到一维，对应的投影向量为a，b，则有：
x′＝aTx，y′＝bTy；
典型相关性分析的优化目标是最大化ρ(x′，y′)，得到对应的投影向量a，b，即
在投影前，对原始数据进行标准化，得到均值为0，方差为1的数据x，y，则有：
由于x，y的均值为0，则有：
D(x)＝cov(x，x)＝E(xxT)；D(y)＝cov(y，y)＝E(yyT)；
cov(x，y)＝E(xyT)；cov(y，x)＝E(yxT)
令Sxy＝cov(x，y)，则优化目标可以转化为：
进一步转化为：
然后，求出优化目标的最大值，得a，b向量，最后利用线性转换函数z＝aTx+bTy,得到新的特征。
进一步的，所述解码器为两层层反卷积层，使用BN正则化，激活函数为ReLU函数。
进一步的，所述步骤S4具体为：
步骤S41:构建分类器，第一层：全连接层，输入特征为32x32x1，输出特征4096；第二层：全连接层，输入特征为4096，输出为2，激活函数为sigmoid函数；
步骤S42:利用多种模态图像分别进行预训练，保存多个模型权重；
步骤S43:将原模态图像和经过解码器获得新的的模态图像分别输入到分类器中，获得分类得分；
步骤S44:利用多个分类得分计算交叉熵损失，即标签一致损失，更新编码器和解码器参数，即自适应特征融合模型。
本发明与现有技术相比具有以下有益效果：
本发明能够自适应的学习不同模态的高层特征，具有更好的判别性。
附图说明
图1是本发明方法示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种多模态图像的自适应特征融合方法，本实施例中，将通过乳腺钼靶图像和乳腺B超图像进行说明：所述图像为乳腺钼靶图像和乳腺B超图像的目标区域记为I琨和I2，手动进行匹配，作为成对图像，并重置图像大小为32x32。
步骤S1：构建编码器E，输入图像，分别获得两种模态的特征空间X，Y；
所述编码器具体结构如下：
第一层：卷积层，输入通道为1，输出通道为16，核大小为(3，3)，使用BN正则化，激活函数为ReLU函数；
第二层：最大池化层，核大小为2，步长为2；
第三层：卷积层，输入通道为16，输出通道为32，核大小为(3，3)，使用BN正则化，激活函数为ReLU函数；
第四层：最大池化层，核大小为2，步长为2；
第五层：卷积层，输入通道为32，输出通道为64，核大小为(3，3)，使用BN正则化，激活函数为ReLU函数；
步骤S2：利用典型性相关的特征筛选策略对该两种模态的特征进行筛选，获得两种模态的新特征，具体如下：
设x，y是两种模态的特征空间X,Y的向量，将x，y投影到一维，对应的投影向量为a，b，则有：
x′＝aTx，y′＝bTy；
典型相关性分析的优化目标是最大化ρ(x′，y′)，得到对应的投影向量a，b，即
在投影前，对原始数据进行标准化，得到均值为0，方差为1的数据x，y，则有：
由于x，y的均值为0，则有：
D(x)＝cov(x，x)＝E(xxT)；D(y)＝cov(y，y)＝E(yyT)；
cov(x，y)＝E(xyT)；cov(y，x)＝E(yxT)
令Sxy＝cov(x，y)，则优化目标可以转化为：
进一步转化为：
然后，求出优化目标的最大值，得a，b向量，最后利用线性转换函数z＝aTx+bTy,得到新的特征，并重置新的特征大小为32x32x64。
步骤S3：构建解码器，所获的新特征作为输入，分别获得新的模态图像，具体如下：
所述的编码器模型具体为：
第一层：反卷积层，输入通道为64，输出通道为32，核大小为(3，3)，使用BN正则化，激活函数为ReLU函数；
第二层：反卷积层，输入通道为32，输出通道为16，核大小为(3，3)，使用BN正则化，激活函数为ReLU函数；
第三层：卷积层，输入通道为16，输出为1，核大小为(1，1)，使用BN正则化，激活函数为ReLU函数。
步骤S4：构建分类器，利用标签一致损失，更新自适应特征融合模型，具体为：
第一步：构建所述的分类器，具体如下：
第一层：全连接层，输入特征为32x32x1，输出特征4096；
第二层：全连接层，输入特征为4096，输出为2，激活函数为sigmoid函数；
第二步：利用钼靶图像和B超图像分别进行预训练，保存两个模型权重；
第三步：将原图像和经过解码器获得的图像分别输入到分类器中，获得分类得分；
第四步：利用两个分类得分计算交叉熵损失，即标签一致损失，更新编码器和解码器参数，即自适应特征融合模型。
步骤S5：迭代训练自适应特征融合模型，使得标签一致损失收敛后，所获的两种模态的新特征，进行级联操作，获得融合特征。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种多模态图像的自适应特征融合方法，其特征在于，包括以下步骤：
步骤S1：构建编码器，并输入多种模态图像，分别获得多种模态的特征；
步骤S2：利用典型性相关分析的特征筛选策略对多种模态的特征进行筛选，获得多种模态的新特征；
步骤S3：构建解码器，将多种模态的新特征作为输入，分别获得多种模态新的模态图像；
步骤S4.：构建分类器，并根据原模态图像和新的模态图像，利用标签一致损失，更新自适应特征融合模型；
步骤S5：迭代训练自适应特征融合模型，使得标签一致损失收敛后，所获的多种模态的新特征，进行级联操作，获得融合特征。
2.根据权利要求1所述的一种多模态图像的自适应特征融合方法，其特征在于：所述编码器为三层卷积层，使用BN正则化，激活函数为ReLU函数，每多层卷积层中间加入一层最大池化层。
3.根据权利要求1所述的一种多模态图像的自适应特征融合方法，其特征在于，所述的典型相关性分析，将两种模态作为第一对典型变量分析进行说明，多种模态则寻求一个依然最大化相关但与第一对模态典型变量不相关的向量；这样就得到了第二对典型变量，这个步骤进行次，n为模态数；
设X，Y分别为模态1图像特征空间和模态2图像特征空间，x，y是两个特征空间的向量，将x，y投影到一维，对应的投影向量为a，b，则有：
x′＝aTx，y′＝bTy；
典型相关性分析的优化目标是最大化ρ(x′，y′)，得到对应的投影向量a，b，即
在投影前，对原始数据进行标准化，得到均值为0，方差为1的数据x，y，则有：
cov(x′，y′)＝cov(aTx，bTy)＝E(<aTx，，bTy>)＝E((aTx)(bTy)T)
＝aTE(xyT)b；
D(x′)＝D(aTx)＝aTE(xxT)a；
D(y′)＝D(bTy)＝bTE(yyT)b；
由于x，y的均值为0，则有：
D(x)＝cov(x，x)＝E(xxT)；D(y)＝cov(y，y)＝E(yyT)；
cov(x，y)＝E(xyT)；cov(y，x)＝E(yxT)
令Sxy＝cov(x，y)，则优化目标可以转化为：
进一步转化为：
然后，求出优化目标的最大值，得a，b向量，最后利用线性转换函数z＝aTx+bTy，得到新的特征。
4.根据权利要求1所述的一种多模态图像的自适应特征融合方法，其特征在于：所述解码器为两层反卷积层，使用BN正则化，激活函数为ReLU函数。
5.根据权利要求1所述的一种多模态图像的自适应特征融合方法，其特征在于，所述步骤S4具体为：
步骤S41：构建分类器，第一层：全连接层，输入特征为32x32x1，输出特征4096；第二层：全连接层，输入特征为4096，输出为2，激活函数为sigmoid函数；
步骤S42：利用多种模态图像分别进行预训练，保存多个模型权重；
步骤S43：将原模态图像和经过解码器获得新的的模态图像分别输入到分类器中，获得分类得分；
步骤S44：利用多个分类得分计算交叉熵损失，即标签一致损失，更新编码器和解码器参数，即自适应特征融合模型。
CN201910539848.4A 2019-06-21 2019-06-21 多模态图像的自适应特征融合方法 Active CN110222794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910539848.4A CN110222794B (zh) 2019-06-21 2019-06-21 多模态图像的自适应特征融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910539848.4A CN110222794B (zh) 2019-06-21 2019-06-21 多模态图像的自适应特征融合方法

Publications (2)

Publication Number Publication Date
CN110222794A true CN110222794A (zh) 2019-09-10
CN110222794B CN110222794B (zh) 2023-02-07

Family

ID=67814200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910539848.4A Active CN110222794B (zh) 2019-06-21 2019-06-21 多模态图像的自适应特征融合方法

Country Status (1)

Country Link
CN (1) CN110222794B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717335A (zh) * 2019-09-23 2020-01-21 中国科学院深圳先进技术研究院 用户评论数据处理方法、装置、存储介质及电子设备
CN111079283A (zh) * 2019-12-13 2020-04-28 四川新网银行股份有限公司 对信息饱和度不均衡数据的处理方法
CN111768436A (zh) * 2020-06-17 2020-10-13 哈尔滨理工大学 一种基于Faster-RCNN改进的图像特征块配准方法
CN112862830A (zh) * 2021-01-28 2021-05-28 陕西师范大学 一种多模态图像分割方法、系统、终端及可读存储介质
CN113191991A (zh) * 2021-04-07 2021-07-30 山东师范大学 基于信息瓶颈的多模态图像融合方法、系统、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203488A (zh) * 2016-07-01 2016-12-07 福州大学 一种基于受限玻尔兹曼机的乳腺图像特征融合方法
US20180089843A1 (en) * 2016-09-26 2018-03-29 Digitalglobe, Inc. Techniques for image co-registration
CN108182441A (zh) * 2017-12-29 2018-06-19 华中科技大学 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN108537137A (zh) * 2018-03-19 2018-09-14 安徽大学 基于标签鉴别相关分析的多模态生物特征融合识别方法
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203488A (zh) * 2016-07-01 2016-12-07 福州大学 一种基于受限玻尔兹曼机的乳腺图像特征融合方法
US20180089843A1 (en) * 2016-09-26 2018-03-29 Digitalglobe, Inc. Techniques for image co-registration
CN108182441A (zh) * 2017-12-29 2018-06-19 华中科技大学 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN108537137A (zh) * 2018-03-19 2018-09-14 安徽大学 基于标签鉴别相关分析的多模态生物特征融合识别方法
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALI-REZA MOHAMMADI-NEJAD ET AL.: "Discovering true association between multimodal data sets using structured and sparse canonical correlation analysis: A simulation study", 《2016 IEEE 13TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI)》 *
孙文辉: "多生物特征图像深度学习建模与识别研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717335A (zh) * 2019-09-23 2020-01-21 中国科学院深圳先进技术研究院 用户评论数据处理方法、装置、存储介质及电子设备
CN111079283A (zh) * 2019-12-13 2020-04-28 四川新网银行股份有限公司 对信息饱和度不均衡数据的处理方法
CN111768436A (zh) * 2020-06-17 2020-10-13 哈尔滨理工大学 一种基于Faster-RCNN改进的图像特征块配准方法
CN112862830A (zh) * 2021-01-28 2021-05-28 陕西师范大学 一种多模态图像分割方法、系统、终端及可读存储介质
CN112862830B (zh) * 2021-01-28 2023-12-22 陕西师范大学 一种多模态图像分割方法、系统、终端及可读存储介质
CN113191991A (zh) * 2021-04-07 2021-07-30 山东师范大学 基于信息瓶颈的多模态图像融合方法、系统、设备和介质
CN113191991B (zh) * 2021-04-07 2024-04-12 山东师范大学 基于信息瓶颈的多模态图像融合方法、系统、设备和介质

Also Published As

Publication number Publication date
CN110222794B (zh) 2023-02-07

Similar Documents

Publication Publication Date Title
CN110222794A (zh) 多模态图像的自适应特征融合方法
Liu et al. Video super-resolution based on deep learning: a comprehensive survey
Huang et al. Multi-scale dense convolutional networks for efficient prediction
CN1744657B (zh) 多分辨率分割和填充
CN110188795A (zh) 图像分类方法、数据处理方法和装置
CN112257572B (zh) 一种基于自我注意力机制的行为识别方法
US20150012472A1 (en) Systems, methods, and media for updating a classifier
US11062210B2 (en) Method and apparatus for training a neural network used for denoising
US20130070997A1 (en) Systems, methods, and media for on-line boosting of a classifier
CN112101359B (zh) 文本公式的定位方法、模型训练方法及相关装置
CN111047543A (zh) 图像增强方法、装置和存储介质
Lu et al. A no-reference image sharpness metric based on structural information using sparse representation
Tu et al. DTCM: Joint optimization of dark enhancement and action recognition in videos
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
CN111626178B (zh) 一种基于新时空特征流的压缩域视频动作识别方法和系统
US20240161488A1 (en) Independent positioning of auxiliary information in neural network based picture processing
CN115601791B (zh) 基于Multiformer及离群样本重分配的无监督行人重识别方法
Hu et al. Cnn-based deghosting in high dynamic range imaging
CN115761342A (zh) 一种肺部ct影像肺炎分类方法、装置及设备
KR20110057595A (ko) 상호 정보 최대화 기반의 국부 이진 패턴 코드를 이용한 패턴 인식 방법, 장치 및 그 기록 매체
US11783625B2 (en) Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image
JP2023092185A (ja) 画像処理装置、学習方法およびプログラム
Uchigasaki et al. Deep image compression using scene text quality assessment
WO2023066473A1 (en) Attention based context modelling for image and video compression
WO2022211657A9 (en) Configurable positions for auxiliary information input into a picture data processing neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant