CN114299298A - 一种基于全局相似度的深度网络特征改进方法 - Google Patents
一种基于全局相似度的深度网络特征改进方法 Download PDFInfo
- Publication number
- CN114299298A CN114299298A CN202111645024.9A CN202111645024A CN114299298A CN 114299298 A CN114299298 A CN 114299298A CN 202111645024 A CN202111645024 A CN 202111645024A CN 114299298 A CN114299298 A CN 114299298A
- Authority
- CN
- China
- Prior art keywords
- characteristic
- feature
- image
- similarity
- tensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000006872 improvement Effects 0.000 title claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于全局相似度的深度网络特征改进方法，包括：将输入图像划分成网格状图像块，基于输入特征张量获取图像块的特征张量；对两特征通道数进行精简；对两特征张量进行变维，得到特征矩阵；基于特征矩阵，在每个像素点特征和每个图像块特征之间计算相似度；对相似度进行归一化得到相似度权重；为每个像素点计算加权特征，进行矩阵变维，得到加权特征张量；将加权特征张量中精简的特征通道数变成初始的特征通道数；计算改进后的特征张量。本发明基于像素点和图像块之间的两两相似度对深度网络的输入特征进行改进，充分考虑到整个图像上不同区域间特征的依赖关系，有助于提高深度网络特征的表达能力，改进深度网络在图像识别上的性能。
Description
技术领域
本发明涉及一种基于全局相似度的深度网络特征改进方法，属于图像处理技术领域。
背景技术
卷积神经网络已经在计算机视觉和图像处理领域获得了广泛的应用，并使图像识别的性能得到了突飞猛进。深度卷积神经网络通过将网络的深度加深，能够更有效地提取高层语义特征，从而进一步提高图像识别的性能。现在已有很多研究工作基于深度卷积神经网络对计算机视觉和图像进行处理。
在深度网络中，基础的模块是卷积模块。卷积操作通常基于一个小的卷积核与小的局部图像滑动窗进行计算。所以，图像全局范围内的长距离依赖关系只能通过重复的卷积操作进行间接地获取。而重复的局部操作很容易使得图像的深层特征变得模糊，从而导致一些细长物体的特征在深层中消失。
发明内容
为解决上述问题，本发明提供一种基于全局相似度的深度网络特征改进方法，基于像素点和图像块之间的两两相似度对深度网络的输入特征进行改进，能够充分考虑到整个图像上不同区域间特征的依赖关系，有助于提高深度网络特征的表达能力，改进深度网络在图像识别上的性能。
为了达到上述目的，本发明提供如下技术方案：
一种基于全局相似度的深度网络特征改进方法，包括以下步骤：
S1：将输入图像划分成网格状的图像块，并基于输入特征张量获取图像块的特征张量；将输入图像的特征张量和图像块的特征张量进行特征通道数的精简；对输入图像的特征张量和图像块的特征张量进行变维，得到输入图像和图像块的特征矩阵；
S2：基于输入图像和图像块的特征矩阵，在每个像素点特征和每个图像块特征之间计算相似度；
S3：对相似度进行归一化得到相似度权重；
S4：为每个像素点计算加权特征，权重为上一步骤中计算而得的相似度权重；对加权特征进行矩阵变维，得到加权特征张量；将加权特征张量中精简的特征通道数变成初始的特征通道数；
S5：改进后的特征张量等于变换后的加权特征张量与初始的输入特征张量之和。
进一步的，所述步骤S1中，输入图像的特征张量为F∈RCxHxW，其中C代表特征通道数，H代表输入图像的高，W代表输入图像的宽，RCxHxW代表具有三个维度的实数特征张量；图像块的特征张量为P∈RCxGxG，其中G代表图像块在高和宽上的个数，G≤H并且G≤W；特征通道数的精简使用1x1的卷积核，精简后特征通道数从C变为C'，C'<C；图像和图像块的特征矩阵中，输入图像中一个元素的特征用Fi表示，1≤i≤HW，图像块中一个元素的特征用Pj表示，1≤j≤G2。
进一步的，所述步骤S2中，通过以下公式计算相似度：
Sim(Fi,Pj)＝FiPj T
由此得到相似度矩阵
进一步的，所述步骤S3中，使用softmax函数进行归一化，得到的相似度权重矩阵M表示为：
M＝softmax(Sim)。
进一步的，所述步骤S4中，一个像素点的加权特征等于所有相似图像块特征的加权和，计算公式如下：
变成初始的特征通道数的过程使用1x1的卷积核，特征通道数C'变成初始的特征通道数C。
进一步的，所述步骤S5通过以下公式计算：
Frefined＝Fweighted+F
其中，Frefined为改进后的特征张量，Fweighted为变换后的加权特征张量，F为初始的输入特征张量。
与现有技术相比，本发明具有如下优点和有益效果：
本发明方法显性地表示图像全局范围内的长距离依赖关系，通过计算全局相似度，使用全局范围内所有相似图像块的特征来完善某一图像像素点的特征。本发明充分考虑全局特征依赖关系，提高了深度网络的特征表达能力，有助于提高基于深度网络的图像识别性能。将本发明提供的深度网络特征改进方法应用于图像中的隐裂缺陷识别算法研究中时，能够有效提高隐裂缺陷识别的平均精确度(Average Precision,AP)，ROC曲线下面积(Area Under Curve,AUC),F1值(综合考虑精确率precision和召回率recall的指标)，平衡化准确率(Balanced Accuracy)和准确率(Accuracy)。
附图说明
图1为本发明实施例整体流程示意图。
图2为本发明应用于图像隐裂缺陷识别问题时，在4种基准网络上的PR曲线和ROC曲线性能比较结果图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本实施例提供的一种基于全局相似度的深度网络特征改进方法，其流程如图1所示，包括以下步骤：
S1：将输入图像划分成网格状的图像块，并基于输入图像的特征张量F∈RCxHxW(C代表特征通道数，H代表输入图像的高，W代表输入图像的宽，RCxHxW代表具有三个维度的实数特征张量)获取图像块的特征张量P∈RCxGxG(G代表图像块在高和宽上的个数，G≤H并且G≤W)；使用1x1的卷积核，将输入图像的特征张量和图像块的特征张量进行特征通道数的精简，使得特征通道数从C变为C'(C'<C)；对输入图像的特征张量和图像块的特征张量进行变维，得到输入图像和图像块的特征矩阵：输入图像中一个元素的特征用Fi表示(1≤i≤HW)，图像块中一个元素的特征用Pj表示(1≤j≤G2)。
S2：基于输入图像和图像块的特征矩阵，通过以下公式在每个像素点特征和每个图像块特征之间计算相似度：
Sim(Fi,Pj)＝FiPj T
根据上述公式，我们将得到一个相似度矩阵
S3：使用softmax函数对相似度进行归一化，得到相似度权重矩阵M；
M＝softmax(Sim)
S4：为每个像素点计算加权特征，一个像素点的加权特征等于所有相似图像块特征的加权和，计算公式如下：
权重为上一步骤中计算而得的相似度权重；对加权特征进行矩阵变维，得到加权特征张量；使用1x1的卷积核，将加权特征张量中精简的特征通道数C'变成初始的特征通道数C；
S5：改进后的特征张量Frefined等于变换后的加权特征张量Fweighted与初始的输入特征张量F之和，公式如下：
Frefined＝Fweighted+F
为验证本发明提供的基于全局相似度的深度网络特征改进方法的有效性，下面使用该方法改进深度网络特征并应用于图像中的隐裂缺陷识别算法。
此处，使用平均精确度(Average Precision，AP)，ROC曲线下面积(Area UnderCurve，AUC)，F1值(综合考虑精确率precision和召回率recall的指标)，平衡化准确率(Balanced Accuracy)和准确率(Accuracy)在4个基准网络(VGG16，ResNet56，DenseNet40和GoogleNet)上进行实验。本发明的方法简称为GSN。结果如图2和下表1所见，很显然，本发明提供的深度网络特征改进方法使得隐裂缺陷识别的性能得到进一步的提高，说明本发明能够提高深度网络的特征表达能力。
表1不同模型的AP，AUC，F1，balanced accuracy(B-Accuracy)和accuracy性能
| Model | AP | AUC | F1 | B-Accuracy | Accuracy |
| VGG16 | 90.86％ | 93.58％ | 80.66％ | 85.85％ | 87.98％ |
| VGG16+proposed GSN | 92.09％ | 94.57％ | 82.45％ | 87.31％ | 89.01％ |
| ResNet56 | 88.97％ | 92.22％ | 70.72％ | 80.17％ | 76.43％ |
| ResNet56+proposed GSN | 92.37％ | 94.69％ | 81.14％ | 87.43％ | 87.07％ |
| DenseNet40 | 85.34％ | 89.63％ | 69.15％ | 78.57％ | 76.17％ |
| DenseNet40+proposed GSN | 92.98％ | 95.37％ | 82.76％ | 88.46％ | 88.47％ |
| GoogleNet | 89.40％ | 92.73％ | 78.06％ | 83.57％ | 86.89％ |
| GoogleNet+proposed GSN | 92.62％ | 95.02％ | 81.92％ | 87.78％ | 87.92％ |
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (6)
1.一种基于全局相似度的深度网络特征改进方法，其特征在于，包括以下步骤：
S1：将输入图像划分成网格状的图像块，并基于输入特征张量获取图像块的特征张量；将输入图像的特征张量和图像块的特征张量进行特征通道数的精简；对输入图像的特征张量和图像块的特征张量进行变维，得到输入图像和图像块的特征矩阵；
S2：基于输入图像和图像块的特征矩阵，在每个像素点特征和每个图像块特征之间计算相似度；
S3：对相似度进行归一化得到相似度权重；
S4：为每个像素点计算加权特征，权重为上一步骤中计算而得的相似度权重；对加权特征进行矩阵变维，得到加权特征张量；将加权特征张量中精简的特征通道数变成初始的特征通道数；
S5：改进后的特征张量等于变换后的加权特征张量与初始的输入特征张量之和。
2.根据权利要求1所述的一种基于全局相似度的深度网络特征改进方法，其特征在于，所述步骤S1中，输入图像的特征张量为F∈RCxHxW，其中C代表特征通道数，H代表输入图像的高，W代表输入图像的宽，RCxHxW代表具有三个维度的实数特征张量；图像块的特征张量为P∈RCxGxG，其中G代表图像块在高和宽上的个数，G≤H并且G≤W；特征通道数的精简使用1x1的卷积核，精简后特征通道数从C变为C'，C'<C；图像和图像块的特征矩阵中，输入图像中一个元素的特征用Fi表示，1≤i≤HW，图像块中一个元素的特征用Pj表示，1≤j≤G2。
3.根据权利要求1所述的一种基于全局相似度的深度网络特征改进方法，其特征在于，所述步骤S2中，通过以下公式计算相似度：
Sim(Fi,Pj)＝FiPj T
由此得到相似度矩阵
4.根据权利要求1所述的一种基于全局相似度的深度网络特征改进方法，其特征在于，所述步骤S3中，使用softmax函数进行归一化，得到的相似度权重矩阵M表示为：
M＝softmax(Sim)。
5.根据权利要求1所述的一种基于全局相似度的深度网络特征改进方法，其特征在于，所述步骤S4中，一个像素点的加权特征等于所有相似图像块特征的加权和，计算公式如下：
变成初始的特征通道数的过程使用1x1的卷积核，特征通道数C'变成初始的特征通道数C。
6.根据权利要求1所述的一种基于全局相似度的深度网络特征改进方法，其特征在于，所述步骤S5通过以下公式计算：
Frefined＝Fweighted+F
其中，Frefined为改进后的特征张量，Fweighted为变换后的加权特征张量，F为初始的输入特征张量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111645024.9A CN114299298A (zh) | 2021-12-29 | 2021-12-29 | 一种基于全局相似度的深度网络特征改进方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111645024.9A CN114299298A (zh) | 2021-12-29 | 2021-12-29 | 一种基于全局相似度的深度网络特征改进方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299298A true CN114299298A (zh) | 2022-04-08 |
Family
ID=80971455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111645024.9A Pending CN114299298A (zh) | 2021-12-29 | 2021-12-29 | 一种基于全局相似度的深度网络特征改进方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299298A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090113481A (ko) * | 2008-04-28 | 2009-11-02 | 경북대학교 산학협력단 | 텐서 기반 데이터 생성 모델을 이용한 영상 데이터 분류방법 및 장치 |
| CN108615007A (zh) * | 2018-04-23 | 2018-10-02 | 深圳大学 | 基于特征张量的三维人脸识别方法、装置及存储介质 |
| US10467504B1 (en) * | 2019-02-08 | 2019-11-05 | Adhark, Inc. | Systems, methods, and storage media for evaluating digital images |
| CN112906720A (zh) * | 2021-03-19 | 2021-06-04 | 河北工业大学 | 基于图注意力网络的多标签图像识别方法 |
-
2021
- 2021-12-29 CN CN202111645024.9A patent/CN114299298A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090113481A (ko) * | 2008-04-28 | 2009-11-02 | 경북대학교 산학협력단 | 텐서 기반 데이터 생성 모델을 이용한 영상 데이터 분류방법 및 장치 |
| CN108615007A (zh) * | 2018-04-23 | 2018-10-02 | 深圳大学 | 基于特征张量的三维人脸识别方法、装置及存储介质 |
| US10467504B1 (en) * | 2019-02-08 | 2019-11-05 | Adhark, Inc. | Systems, methods, and storage media for evaluating digital images |
| CN112906720A (zh) * | 2021-03-19 | 2021-06-04 | 河北工业大学 | 基于图注意力网络的多标签图像识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596258B (zh) | 一种基于卷积神经网络随机池化的图像分类方法 | |
| Song et al. | Addersr: Towards energy efficient image super-resolution | |
| He et al. | Soft filter pruning for accelerating deep convolutional neural networks | |
| CN111325751B (zh) | 基于注意力卷积神经网络的ct图像分割系统 | |
| Isogawa et al. | Deep shrinkage convolutional neural network for adaptive noise reduction | |
| CN111951153B (zh) | 基于生成对抗网络隐空间解构的人脸属性精细化编辑方法 | |
| CN112233026A (zh) | 一种基于多尺度残差注意力网络的sar图像去噪方法 | |
| CN110648292B (zh) | 一种基于深度卷积网络的高噪声图像去噪方法 | |
| Wang et al. | Channel and space attention neural network for image denoising | |
| CN112634238B (zh) | 一种基于注意力模块的图像质量评价方法 | |
| CN112699899A (zh) | 一种基于生成对抗网络的高光谱图像特征提取方法 | |
| CN110443296B (zh) | 面向高光谱图像分类的数据自适应激活函数学习方法 | |
| Wu et al. | Deep multi-level wavelet-cnn denoiser prior for restoring blurred image with cauchy noise | |
| CN113111970B (zh) | 通过构建全局嵌入式注意力残差网络对图像分类的方法 | |
| CN113421187B (zh) | 一种超分辨率重建方法、系统、存储介质、设备 | |
| CN113449853A (zh) | 一种图卷积神经网络模型及其训练方法 | |
| CN109993026B (zh) | 亲属识别网络模型的训练方法及装置 | |
| CN116110113A (zh) | 一种基于深度学习的虹膜识别方法 | |
| CN115937693A (zh) | 一种基于遥感图像的道路识别方法及系统 | |
| Wang et al. | Global aligned structured sparsity learning for efficient image super-resolution | |
| CN108959956B (zh) | 基于贝叶斯网络的差分隐私数据发布方法 | |
| Xu et al. | Affine non-local Bayesian image denoising algorithm | |
| CN112115359B (zh) | 一种基于多阶近邻预测的推荐系统及方法 | |
| CN114299298A (zh) | 一种基于全局相似度的深度网络特征改进方法 | |
| CN109376241B (zh) | 一种基于DenseNet面向电力领域的电话诉求文本分类算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |