CN110648332B - 基于多分支卷积神经网络特征正交的图像可判别区域提取方法 - Google Patents

基于多分支卷积神经网络特征正交的图像可判别区域提取方法 Download PDF

Info

Publication number
CN110648332B
CN110648332B CN201910866119.XA CN201910866119A CN110648332B CN 110648332 B CN110648332 B CN 110648332B CN 201910866119 A CN201910866119 A CN 201910866119A CN 110648332 B CN110648332 B CN 110648332B
Authority
CN
China
Prior art keywords
convolutional neural
branch
neural network
discriminable
branches
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910866119.XA
Other languages
English (en)
Other versions
CN110648332A (zh
Inventor
孟凡满
黄开旭
鲍俊玲
李宏亮
吴庆波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910866119.XA priority Critical patent/CN110648332B/zh
Publication of CN110648332A publication Critical patent/CN110648332A/zh
Application granted granted Critical
Publication of CN110648332B publication Critical patent/CN110648332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的一种基于多分支卷积神经网络特征正交的图像可判别区域提取方法，包括步骤：1)构建N个结构相同卷积神经网络作为多分支卷积神经网络的N个分支，N个卷积神经网络相互不共享参数；任意两个不同分支输出的特征之间作哈达玛积，将哈达玛积的矩阵中所有元素相加得到两两分支的特征正交损失；多分支卷积神经网络的总损失函数为所有分支的分类损失加上超参数乘两两分支的特征正交损失之和；2)得到训练集；3)训练多分支卷积神经网络；4)利用经过训练的多分支卷积神经网络进行图像可判别区域提取。本发明使用了多分支卷积神经网络，利用特征正交，使不同分支的卷积神经网络之间彼此不同，从而可以获得不同的可判别区域信息。

Description

基于多分支卷积神经网络特征正交的图像可判别区域提取 方法
技术领域
本发明涉及图像处理的卷积神经网络技术，特别涉及图像可判别区域提取技术。
背景技术
图像可判别区域显示了图像中属于特定类别的区域。它可以从具有图像级标签的图像中获取指定类别的像素级对象区域，并且最近已被广泛应用于许多计算机视觉弱监督分析任务中，例如图像分割，对象检测和和识别等任务。提取更高质量的图像可判别区域对于计算机视觉任务非常重要。
目前基于卷积神经网络进行图像可判别区域提取的算法，是基于单一卷积神经网络来提取图像可判别区域的。由于图像可判别区域提取算法的限制，单一卷积神经网络可以提取到的信息有限，即提取到的可判别区域比较小，无法提取到完整的可判别区域。
发明内容
本发明所要解决的技术问题是，提供的一种应用在图像可判别区域提取上的基于多分支卷积神经网络的特征正交模块。
本发明为解决上述技术问题所采用的技术方案是，基于多分支卷积神经网络特征正交的图像可判别区域提取方法，包括以下步骤：
1)基于特征正交模块构建多分支卷积神经网络作为分类网络；
构建N个结构相同卷积神经网络作为多分支卷积神经网络的N个分支，N个卷积神经网络相互不共享参数；N为大于2的整数；
将每个分支卷积神经网络最后一层卷积层输出的特征提取出来，任意两个不同分支输出的特征之间作哈达玛积，将哈达玛积的矩阵中所有元素相加得到两两分支的特征正交损失；N分支卷积神经网络的总损失函数Lall为：
Figure BDA0002201325500000011
其中Lci为第i个分支的分类损失，Lo为两两分支的特征正交损失之和，λ为超参数；
2)对准备好的数据库进行预处理得到训练集；
3)使用训练数据训练多分支卷积神经网络；
4)利用经过训练的多分支卷积神经网络进行图像可判别区域提取：
将测试图片输入其分支卷积神经网络中，对于每个分支获取测试图像可判别区域；将从N个分支网络获取到的测试图像的可判别区域进行融合，从而得到图像的可判别区域谱M，融合计算如下：
Figure BDA0002201325500000021
其中,Mi表示第i个分支提取到的可判别区域，M表示融合后最终的可判别区域。
本发明的有益效果是，针对目前图像可判别区域提取方法多基于单一卷积神经网络，这些方法提取到的可判别区域不够全面，本发明使用了多分支卷积神经网络，利用特征正交，使不同分支的卷积神经网络之间彼此不同，从而可以获得不同的可判别区域信息。融合从不同分支提取到的可判别区域，可以提取出图像更加完整可判别区域。
附图说明
图1为是实施例三分支卷积神经网络示意图；
图2为实施例的图像可判别区域提取过程示意图。
具体实施方式
步骤一，构建基于特征正交模块的卷积神经网络：
1.1构建多分支卷积神经网络。这里我们构建三分支卷积神经网络，即使用三个ResNet-50网络构建卷积神经网络。这三个ResNet-50网络作为我们卷积神经网络的三个分支，它们之间不共享参数。
1.2构建特征正交模块。我们将卷积神经网络的每个分支最后一层卷积层layer4输出的特征提取出来，然后任意两个不同分支输出的特征之间作哈达玛积，最后将得到的所有哈达玛积矩阵中所有元素相加构建特征正交损失。具体公式如下：
Figure BDA0002201325500000022
其中，i与j均表示分支序号变量，||x||sum表示求x矩阵中所有元素的和，
Figure BDA0002201325500000023
表示特征fi和特征fj之间作哈达玛积。
1.3构建卷积神经网络的总损失函数。对于卷积神经网络中的每一个分支网络，单独计算它的分类损失，这里我们使用的是二元交叉熵损失。总损失函数由所有分支的分类损失和1.2中构建的特征正交损失组成。具体公式如下：
Figure BDA0002201325500000024
其中，Lci表示第i个分支网络的分类损失，Lo表示1.2中的特征正交损失,λ为超参数，我们将它设定为0.00001.
步骤二、对分类数据库进行预处理得到训练集和测试集：
2.1我们选择Pascal VOC 2012数据集作为数据集。Pascal VOC 2012数据集包含了飞机、自行车、人、猫等20个类别的图片。选取Pascal VOC 2012数据集公布的训练集作为本发明的训练集，包含10582张图片；Pascal VOC 2012数据集公布的验证集作为本发明的测试集，包含1449张图片。
2.2我们将所有图片归一化为长256宽256,以适应分类网络的输入大小。
2.3我们将所有图片R、G、B三个通道分别减去整个数据集所有图片分别在R、G、B三个通道上的均值，以减少图像中光照，阴影等对分类网络的影响。
步骤三、训练基于特征正交模块的分类网络：
使用步骤一中设计好的多分支卷积神经网络模型作为分类网络对步骤二中准备好的训练数据进行分类训练，训练完成后保存分类网络。
步骤四、利用经过训练的卷积神经网络进行图像可判别区域提取：
4.1将测试图片输入其训练好的分类网络中，对于分类网络中每个分支网络，都通过grad-cam获取图像可判别区域。
4.2将各分支得到的图像可判别区域进行双线性上采样操作，使其大小和原图相等。
4.3将从3个分支网络获取到的图像的3个可判别区域进行融合，从而得到图像的可判别区域谱。融合计算公式如下：
Figure BDA0002201325500000031
其中Mi表示第i个分支提取到的进行双线性上采样操作后的可判别区域，M表示融合后最终的可判别区域。最终结果效果如图2所示。

Claims (7)

1.基于多分支卷积神经网络特征正交的图像可判别区域提取方法，其特征在于，包括以下步骤：
1)网络构建：
构建N个结构相同卷积神经网络作为多分支卷积神经网络的N个分支，N个卷积神经网络相互不共享参数；N为大于2的整数；
将每个分支卷积神经网络最后一层卷积层输出的特征提取出来，任意两个不同分支输出的特征之间作哈达玛积，将哈达玛积的矩阵中所有元素相加得到两两分支的特征正交损失；N分支卷积神经网络的总损失函数Lall为：
Figure FDA0002201325490000011
其中Lci为第i个分支的分类损失，Lo为两两分支的特征正交损失之和，λ为超参数；
2)构建训练集；
3)使用训练数据训练所述多分支卷积神经网络；
4)使用训练完成的所述多分支卷积神经网络进行图像可判别区域提取：
4-1)将测试图片输入其分支卷积神经网络中，对于每个分支获取测试图像可判别区域；
4-2)将各分支的测试图像的可判别区域进行双线性上采样，使其大小和原测试图片相等；
4-3)将从N个分支网络获取到的测试图像的可判别区域进行融合，从而得到图像的可判别区域谱M，融合计算如下：
Figure FDA0002201325490000012
其中,Mi表示第i个分支提取到的可判别区域，M表示融合后最终的可判别区域。
2.如权利要求1所述方法，其特征在于，各分支的分类损失的计算使用二元交叉熵损失。
3.如权利要求1所述方法，其特征在于，结构相同卷积神经网络为残差网络。
4.如权利要求3所述方法，其特征在于，残差网络为ResNet-50网络。
5.如权利要求1所述方法，其特征在于，超参数λ设定为0.00001。
6.如权利要求1所述方法，其特征在于，构建训练集时，先将数据集中所有图片进行尺寸归一化，再将所有图片R、G、B三个通道分别减去整个数据集所有图片分别在R、G、B三个通道上的均值。
7.如权利要求6所述方法，其特征在于，尺寸归一化大小为256*256。
CN201910866119.XA 2019-09-12 2019-09-12 基于多分支卷积神经网络特征正交的图像可判别区域提取方法 Active CN110648332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910866119.XA CN110648332B (zh) 2019-09-12 2019-09-12 基于多分支卷积神经网络特征正交的图像可判别区域提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910866119.XA CN110648332B (zh) 2019-09-12 2019-09-12 基于多分支卷积神经网络特征正交的图像可判别区域提取方法

Publications (2)

Publication Number Publication Date
CN110648332A CN110648332A (zh) 2020-01-03
CN110648332B true CN110648332B (zh) 2022-03-15

Family

ID=68991257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910866119.XA Active CN110648332B (zh) 2019-09-12 2019-09-12 基于多分支卷积神经网络特征正交的图像可判别区域提取方法

Country Status (1)

Country Link
CN (1) CN110648332B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750106B (zh) * 2020-12-31 2022-11-04 山东大学 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质
CN113378984B (zh) * 2021-07-05 2023-05-02 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质
CN118154979A (zh) * 2024-04-02 2024-06-07 宁波大学 基于特征分离的sMRI图像分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578060A (zh) * 2017-08-14 2018-01-12 电子科技大学 一种基于可判别区域的深度神经网络用于菜品图像分类的方法
CN107578445A (zh) * 2017-09-14 2018-01-12 电子科技大学 基于卷积特征谱的图像可判别区域提取方法
CN109410204A (zh) * 2018-10-31 2019-03-01 电子科技大学 一种基于cam的皮质白内障图像处理及增强方法
CN109557114A (zh) * 2017-09-25 2019-04-02 清华大学 检查方法和检查设备以及计算机可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578060A (zh) * 2017-08-14 2018-01-12 电子科技大学 一种基于可判别区域的深度神经网络用于菜品图像分类的方法
CN107578445A (zh) * 2017-09-14 2018-01-12 电子科技大学 基于卷积特征谱的图像可判别区域提取方法
CN109557114A (zh) * 2017-09-25 2019-04-02 清华大学 检查方法和检查设备以及计算机可读介质
CN109410204A (zh) * 2018-10-31 2019-03-01 电子科技大学 一种基于cam的皮质白内障图像处理及增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Class Activation Map Generation by Multiple Level Class Grouping and Orthogonal Constraint;Kaixu Huang等;《2019 Digital Image Computing: Techniques and Applications (DICTA)》;20200102;1-6 *
基于深度学习的图像语义分割技术研究;文宏雕;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20180915(第09期);I138-256 *
基于类语义关系的类别激活谱提取方法研究;黄开旭;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200715(第07期);I138-1232 *

Also Published As

Publication number Publication date
CN110648332A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110648332B (zh) 基于多分支卷积神经网络特征正交的图像可判别区域提取方法
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN107239759A (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
Zhang et al. Deep multi-scale dual-channel convolutional neural network for Internet of Things apple disease detection
CN111401380B (zh) 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法
CN113887645B (zh) 一种基于联合注意力孪生网络的遥感图像融合分类方法
Waldamichael et al. Coffee disease detection using a robust HSV color‐based segmentation and transfer learning for use on smartphones
CN111062329B (zh) 基于增广网络的无监督行人重识别方法
CN113628201A (zh) 基于深度学习的病理切片分析方法、电子设备及可读存储介质
CN108764287B (zh) 基于深度学习和分组卷积的目标检测方法及系统
Jiang et al. Forest-CD: Forest change detection network based on VHR images
Han et al. Spectral super-resolution for RGB images using class-based BP neural networks
CN116645579A (zh) 一种基于异质图注意力机制的特征融合方法
CN117058367A (zh) 高分辨率遥感影像建筑物语义分割方法及装置
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN111898614B (zh) 神经网络系统以及图像信号、数据处理的方法
CN116664954A (zh) 基于图卷积与卷积融合的高光谱地物分类方法
CN114898157A (zh) 用于高光谱图像分类的全局学习装置及方法
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
Qu et al. Non-local representation based mutual affine-transfer network for photorealistic stylization
CN114299382A (zh) 高光谱遥感图像分类方法及系统
CN117853862A (zh) 基于rgb通道信息融合的深度学习图像操作链取证方法
He et al. Classification of metro facilities with deep neural networks
CN117115675A (zh) 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant