CN112329801B - 一种卷积神经网络非局部信息构建方法 - Google Patents

一种卷积神经网络非局部信息构建方法 Download PDF

Info

Publication number
CN112329801B
CN112329801B CN202011411926.1A CN202011411926A CN112329801B CN 112329801 B CN112329801 B CN 112329801B CN 202011411926 A CN202011411926 A CN 202011411926A CN 112329801 B CN112329801 B CN 112329801B
Authority
CN
China
Prior art keywords
image
graph
convolution
neural network
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011411926.1A
Other languages
English (en)
Other versions
CN112329801A (zh
Inventor
彭旭阳
刘伟锋
鲁效平
刘宝弟
王珺
王延江
齐玉娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202011411926.1A priority Critical patent/CN112329801B/zh
Publication of CN112329801A publication Critical patent/CN112329801A/zh
Application granted granted Critical
Publication of CN112329801B publication Critical patent/CN112329801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种卷积神经网络非局部信息构建方法，所述方法利用普通的卷积神经网络提取图像的卷积特征；采用自注意力机制计算图像的像素级全局注意力图；通过注意力图构建图像内部的全局图结构；采用图卷积神经网络在图像内部的全局图结构上提取具有非局部性的图特征；采用矩阵乘法将图像的图特征与卷积特征进行融合，并将融合的特征输入到后续网络中。本发明方法不仅仅能提取图像固定感受野下的局部特征，还能够提取非局部特征，减少卷积神经网络在图像特征提取上的误差，显著增加图像生成与分类有效性。

Description

一种卷积神经网络非局部信息构建方法
技术领域
本发明属于卷积神经网络技术领域，具体涉及一种基于自注意力机制与图卷积的卷积神经网络非局部信息构建方法。
背景技术
随着大数据时代的来临，神经网络被应用到人工智能的各个领域当中，如：图像识别，自动翻译，无人汽车等。其中的卷积神经网络更是在计算机视觉中占据越来越重要的地位，成为提取图像特征的一种重要方法。卷积神经网络中的卷积操作利用卷积滤波器进行参数共享和层与层之间的稀疏连接，提取固定感受野之下的卷积特征。这些卷积特征将输入到后续的网络中完成特定的任务，如人脸识别，图像分割，视频插帧等。
目前的卷积神经网络提取的特征是通过卷积滤波器提取固定感受野中的局部特征。为了使得网络能够提取到整张图像的特征，卷积神经网络需要堆叠卷积滤波器构建马尔科夫链。由于卷积滤波器本身不具备非局部性质，所以其获得的特征并不能很好地建模图像的全局特征，造成非局部信息的缺失。缺失非局部信息将导致网络的有效性降低，产生较大的误差。
发明内容
本发明提供了一种卷积神经网络非局部信息构建方法，克服现有卷积神经网络提取的图像特征为固定感受野中的局部特征，缺失非局部信息，导致卷积神经网络误差大、有效性降低的问题。
本发明提供的一种基于生成对抗网络的油藏自动历史拟合方法，依次包括以下步骤：
S1、利用普通的卷积神经网络提取图像的卷积特征；
S2、采用自注意力机制计算图像的像素级全局注意力图；
S3、通过注意力图构建图像内部的全局图结构；
S4、采用图卷积神经网络在图像内部的全局图结构上提取具有非局部性的图特征；
S5、采用矩阵乘法将图像的图特征与卷积特征进行融合，并将融合的特征输入到后续网络中。
优选的，步骤1进行数据采集的方法依次包括以下步骤：
S11、由SgeMS软件中的SNESIM模块生成渗透率场模型，
S12、由ECLIPSE软件进行数值模拟得到渗透率场对应的生产数据。
优选的，步骤2采用自注意力机制计算图像的像素级全局注意力图的方法为：通过四个卷积块将卷积特征图映射到四个特征空间中，分别记为F、G、J、M，其中特征图F经过矩阵转置后与特征图G进行矩阵乘法，再经过softmax函数计算得到注意力图。
优选的，步骤3通过注意力图构建图像内部的全局图结构的方法为：步骤2得到的注意力图在经过二值化函数后成为图像内部图结构的边信息，记为A，图像内部图结构的节点信息采用特征图J表示，A与J结合，将得到图像内部的一个全局图结构H＝(A,J)。
优选的，步骤4图卷积提取具有非局部性的图特征的公式为：其中
Figure BDA0002816954980000021
表示正则化的邻接矩阵，
Figure BDA0002816954980000022
表示正则化的度矩阵,为对角矩阵，对角线元素为
Figure BDA0002816954980000023
对应行的行和，J表示图结构节点特征矩阵，Θ表示图卷积的参数矩阵，Y表示图卷积提取到的具有非局部性的图特征。
本发明的有益效果：本发明基于注意力机制计算图像的注意力图，并通过注意力图构建图像内部的全局图结构，采用图卷积提取全局图结构的具有非局部性的图特征，并将图像的图特征与卷积特征进行融合，不仅仅能提取图像固定感受野下的局部特征，还能够提取非局部特征，减少卷积神经网络在图像特征提取上的误差，显著增加图像生成与分类有效性。
附图说明
图1所示为普通图像分类卷积神经网络工作流程图，
图2所示为本发明方法的总体流程图，
图3所示为本发明所采用的构建图像内部全局图结构方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，不能理解为对本发明具体保护范围的限定。
实施例
如图1所示为普通的图像分类卷积神经网络，其由多个卷积块堆叠而成，网络的最后为一个分类器。通常一个卷积块按照数据流的方向包括卷积滤波器层、批归一化层、激活函数层、池化层。输入图像依次经过上述操作进行采样得到卷积特征图并被输入到下一级卷积块中。经过各卷积块逐层提取之后，卷积神经网络将提取好的图像特征输入到分类器当中，分类器将根据图像特征完成分类任务。用户可以根据实际调整卷积神经网络的输入大小，预测类别数目等，以适配具体任务的需求。但逐层堆叠卷积块的方式导致网络在某一层时只能提取到感受野之内的固定特征，无法根据整张图片各区域之间的联系进行建模。
本实施例提供了一种卷积神经网络非局部信息构建方法，如图2所示，依次包括如下步骤：
S1、利用普通的卷积神经网络提取图像的卷积特征；
S2、采用自注意力机制计算图像的像素级全局注意力图；
S3、通过注意力图构建图像内部的全局图结构；
S4、采用图卷积神经网络在图像内部的全局图结构上提取具有非局部性的图特征；
S5、采用矩阵乘法将图像的图特征与卷积特征进行融合，并将融合的特征输入到后续网络中。
参照图3，作为本实施例的一个优选实施方式，步骤1提取到的卷积特征为x，步骤2采用自注意力机制计算图像的像素级全局注意力图的方法为：通过四个卷积块f、g、j、m将卷积特征图x映射到四个特征空间中，分别记为F、G、J、M，其中特征图F经过矩阵转置后与特征图G进行矩阵乘法，再经过softmax函数计算得到注意力图。
一个完整的图结构包括两方面信息，即：边信息和节点信息。边信息表示不同节点之间的关系，节点信息表示各个节点本身的特征。注意力图能够表示图像不同区域之间的关注度大小，所以注意力图能够代表图像不同区域的关系信息。
进一步的，步骤3通过注意力图构建图像内部的全局图结构的方法为：步骤2得到的注意力图在经过二值化函数b后成为图像内部图结构的边信息，记为A，其中二值化函数b将大于均值的值置1，小于均值的值置0。图像内部图结构的节点信息采用特征图J表示，A与J结合，将得到图像内部的一个全局图结构H＝(A,J)。
得到全局图结构H＝(A,J)之后，本实施例采用图卷积网络对G提取图特征，图卷积网络提取具有非局部性的图特征的公式为：
Figure BDA0002816954980000031
其中
Figure BDA0002816954980000032
表示正则化的邻接矩阵，
Figure BDA0002816954980000033
表示正则化的度矩阵,为对角矩阵，对角线元素为
Figure BDA0002816954980000034
对应行的行和，J表示图结构节点特征矩阵，Θ表示图卷积的参数矩阵，Y表示图卷积提取到的具有非局部性的图特征。
最后采用矩阵乘法对Y与M进行融合，将非局部信息补充到图像的卷积特征当中，即Z＝MY。对Z再次采用卷积，使得网络能够对Z进行学习，并采用一个可学习的参数控制非局部信息在网络中占有的权重，即：o＝αWvZ+x，其中α表示一个可学习的参数并且初始化为0，Wv表示一个卷积滤波器。
本实施例方法在生成对抗网络与普通分类卷积神经网络中进行了实验。实验结果表明，本实施例方法可以提升卷积神经网络在图像生成与分类任务中的效果。本实施例方法在图像生成实验中采用了Fréchet Inception Distance(FID)作为评价指标，在图像分类任务中采用了分类准确率作为评价指标。FID表示的为生成图像分布与真实图像分布的距离，FID值越小表明生成效果越好。
在图像生成任务中，对比模型为深度卷积生成对抗网络，实验采用的数据集为CelebA人脸与LSUN(church)教堂数据集。实验结果如下：
表1深度卷积神经网络生成对抗网络与本实施例方法在CelebA人脸与LSUN(church)教堂数据集上的FID结果
Figure BDA0002816954980000041
从表1可知，将本实施例方法应用于CelebA人脸和LSUN(church)教堂数据集的图像生成上，FID结果显著小于生成对抗网络模型。
在图像分类任务中，对比模型为分类卷积神经网络，采用的数据集为MNIST手写体数字与CIFAR10数据集。
表2分类卷积神经网络与本发明在MNIST与CIFAR10数据集上的分类结果
Figure BDA0002816954980000042
从表2可知，将本实施例方法应用于MNIST与CIFAR10数据集的图像分类上，本实施例方法的分类准确率也明显高于分类卷积神经网络。
因此，本实施例方法不仅仅能提取图像固定感受野下的局部特征，还能够提取非局部特征，减少卷积神经网络在图像特征提取上的误差，可显著增加图像生成与分类的有效性。

Claims (1)

1.一种卷积神经网络非局部信息构建方法，其特征在于，依次包括以下步骤：
S1、利用普通的卷积神经网络提取图像的卷积特征；
S2、采用自注意力机制计算图像的像素级全局注意力图：通过四个卷积块将卷积特征图映射到四个特征空间中，分别记为
Figure DEST_PATH_IMAGE001
、
Figure 361266DEST_PATH_IMAGE002
、
Figure 552076DEST_PATH_IMAGE003
、
Figure 120592DEST_PATH_IMAGE004
，其中特征图F经过矩阵转置后与特征图G进行矩阵乘法，再经过
Figure 385351DEST_PATH_IMAGE005
函数计算得到全局注意力图；
S3、通过全局注意力图构建图像内部的全局图结构，将步骤2得到的全局注意力图在经过二值化函数b后成为图像内部图结构的边信息，记为A，其中二值化函数
Figure 935281DEST_PATH_IMAGE006
将大于均值的值置1，小于均值的值置0；图像内部图结构的节点信息采用特征图
Figure 941284DEST_PATH_IMAGE003
表示，
Figure 172545DEST_PATH_IMAGE007
与
Figure 619707DEST_PATH_IMAGE003
结合，将得到图像内部的一个全局图结构
Figure 153587DEST_PATH_IMAGE008
；
S4、采用图卷积神经网络在图像内部的全局图结构上提取具有非局部性的图特征，卷积提取具有非局部性的图特征的公式为：
Figure 256672DEST_PATH_IMAGE009
，其中
Figure 88362DEST_PATH_IMAGE010
表示正则化的邻接矩阵，
Figure 983506DEST_PATH_IMAGE011
表示正则化的度矩阵且为对角矩阵，对角线元素为
Figure 547342DEST_PATH_IMAGE012
对应行的行和，
Figure 200041DEST_PATH_IMAGE003
表示图像内部图结构的节点信息，即图结构节点的特征矩阵，
Figure 911120DEST_PATH_IMAGE013
表示图卷积的参数矩阵，
Figure 4978DEST_PATH_IMAGE014
表示图卷积提取到的具有非局部性的图特征；
S5、采用矩阵乘法将Y与M进行融合，并将融合的特征输入到后续网络中。
CN202011411926.1A 2020-12-03 2020-12-03 一种卷积神经网络非局部信息构建方法 Active CN112329801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011411926.1A CN112329801B (zh) 2020-12-03 2020-12-03 一种卷积神经网络非局部信息构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011411926.1A CN112329801B (zh) 2020-12-03 2020-12-03 一种卷积神经网络非局部信息构建方法

Publications (2)

Publication Number Publication Date
CN112329801A CN112329801A (zh) 2021-02-05
CN112329801B true CN112329801B (zh) 2022-06-14

Family

ID=74302423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011411926.1A Active CN112329801B (zh) 2020-12-03 2020-12-03 一种卷积神经网络非局部信息构建方法

Country Status (1)

Country Link
CN (1) CN112329801B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781385B (zh) * 2021-03-19 2024-03-08 南京航空航天大学 用于大脑医学影像自动分类的联合注意力图卷积方法
CN113554665A (zh) * 2021-07-07 2021-10-26 杭州深睿博联科技有限公司 一种血管分割方法及装置
CN113920099B (zh) * 2021-10-15 2022-08-30 深圳大学 一种基于非局部信息提取的息肉分割方法及相关组件
CN114119627B (zh) * 2021-10-19 2022-05-17 北京科技大学 基于深度学习的高温合金微观组织图像分割方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685116B (zh) * 2018-11-30 2022-12-30 腾讯科技（深圳）有限公司 图像描述信息生成方法和装置及电子装置
US11544535B2 (en) * 2019-03-08 2023-01-03 Adobe Inc. Graph convolutional networks with motif-based attention
CN109977205B (zh) * 2019-03-08 2021-06-22 中南大学 一种计算机自主学习源代码的方法
WO2020237188A1 (en) * 2019-05-23 2020-11-26 Google Llc Fully attentional computer vision
CN111339818B (zh) * 2019-12-18 2023-06-06 中国人民解放军第四军医大学 一种人脸多属性识别系统
CN111325099B (zh) * 2020-01-21 2022-08-26 南京邮电大学 一种基于双流时空图卷积神经网络的手语识别方法及系统

Also Published As

Publication number Publication date
CN112329801A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112329801B (zh) 一种卷积神经网络非局部信息构建方法
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
Xu et al. Multi-scale continuous crfs as sequential deep networks for monocular depth estimation
CN109461157B (zh) 基于多级特征融合及高斯条件随机场的图像语义分割方法
Ricci et al. Monocular depth estimation using multi-scale continuous CRFs as sequential deep networks
Dong et al. Vehicle type classification using a semisupervised convolutional neural network
CN110232394B (zh) 一种多尺度图像语义分割方法
CN107767384B (zh) 一种基于对抗训练的图像语义分割方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN113313173B (zh) 基于图表示和改进Transformer的人体解析方法
CN111382759B (zh) 一种像素级分类方法、装置、设备及存储介质
CN112529069B (zh) 一种半监督节点分类方法、系统、计算机设备和存储介质
CN112241939B (zh) 一种基于多尺度和非局部的轻量去雨方法
CN110993037A (zh) 一种基于多视图分类模型的蛋白质活性预测装置
CN114170410A (zh) 基于PointNet的图卷积与KNN搜索的点云零件级分割方法
CN113449612B (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
CN112101364A (zh) 基于参数重要性增量学习的语义分割方法
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN112508181A (zh) 一种基于多通道机制的图池化方法
CN110348299B (zh) 三维物体的识别方法
CN110264483B (zh) 一种基于深度学习的语义图像分割方法
CN116612288B (zh) 一种多尺度轻量级实时语义分割方法、系统
CN115035402B (zh) 一种用于土地覆盖分类问题的多级特征聚合系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant