CN111738318B - 一种基于图神经网络的超大图像分类方法 - Google Patents

一种基于图神经网络的超大图像分类方法 Download PDF

Info

Publication number
CN111738318B
CN111738318B CN202010530337.9A CN202010530337A CN111738318B CN 111738318 B CN111738318 B CN 111738318B CN 202010530337 A CN202010530337 A CN 202010530337A CN 111738318 B CN111738318 B CN 111738318B
Authority
CN
China
Prior art keywords
image
graph
layer
matrix
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010530337.9A
Other languages
English (en)
Other versions
CN111738318A (zh
Inventor
姜楠
候亚庆
周东生
杨鑫
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010530337.9A priority Critical patent/CN111738318B/zh
Publication of CN111738318A publication Critical patent/CN111738318A/zh
Application granted granted Critical
Publication of CN111738318B publication Critical patent/CN111738318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像分类领域，涉及一种基于图神经网络的超大图像分类方法。本发明针对不同的超大图像可采取不同子图像筛选方法，进一步调整了特征提取网络，使得子图像的特征提取更加准确；将超大图像构建成为图数据，并且在传统的图卷积神经网络上引入了可微分池化操作，不仅可以挖掘超大图像的全局信息，同时可微池化操作还可以在训练过程中挖掘隐藏层的特征信息，充分分析各个子图像之间在特征空间的关联性，可以更加准确地对超大图像进行分类。

Description

一种基于图神经网络的超大图像分类方法
技术领域
本发明属于图像分类领域，涉及一种基于图神经网络的超大图像分类方法。
背景技术
随着科技和数字成像技术的快速发展，高分辨率成像设备的应用越来越广泛，所能获取的图像数据类型不断丰富，单幅图像所包含的数据量也从以前的几兆增加到现在的几百兆，几GB甚至几十GB，这种包含超大数据量，具有超高分辨率的图像，无法一次性读取至计算机内存中进行直接处理，这一类图像被统称为超大图像，最有代表性的超大图像包括显微镜成像的电子扫描图片，医学中的病理切片，以及卫星遥感图像等等。要对这些超大图像进行分析和处理除了需要传统的图像处理技术外，还需要一些特殊的方法进行更深层次的分析和理解。
近年来，随着深度学习的飞速发展，以卷积神经网络为代表的深度学习成为了图像处理的主流技术之一，尤其是卷积神经网络(CNN)，其原理是通过大量带有准确标签的数据训练模型，通过计算，以端到端的方法挖掘出图片中所包含的深层次的特征信息，在自然图片的分类，以及语义分割领域所能达到的精确度甚至已经超越人类，这是传统的图像处理技术难以相比的。但是卷积神经网络技术在超大图像分类任务中并不能直接应用，原因有以下几点：(1)图片大小不同：自然图片的大小通常在MB量级，可以直接读入计算机内存并送入神经网络进行特征提取及分类，但是超大图像平均大小在GB量级，直接读取和显示都会造成计算机内存溢出，无法用神经网络直接进行处理，通常需要将整张图片进行剪裁，切割得到多张子图像，在子图像上进行特征提取和分析；(2)图片标签情况不同：获得自然图片及其准确标签相对来说比较容易，然而在超大图像的分类任务中，由于图像过大，像素级别或者子图像级别的标注需要耗费大量的时间和精力，实现困难，因此子图像的标签并不一定可以获得，即使可以获得，其与原始图像的标签很可能是不同的，因此标签数据更为复杂；(3)图片本身性质差异：对于自然图片来说，直接对全图像进行处理完成分类任务，但对于超大图像来说，有时任务相关区域，即感兴趣区域ROI(RegionofInterest)只占整张图片的一小部分，大部分为背景区域或与任务无关区域，分类任务更为复杂；(4)超大图像质量参差不齐：超大图像由于扫描机器规格不同造成不同的图像之间差异较大，因此需要进行较为复杂的数据预处理。
发明内容
基于上面提到的超大图像与自然图片的差异，本发明提出了一种基于图神经网络的超大图像分类方法。通过本发明方法，将每张图片剪裁成多张大小适中的子图像并比现有方法更加准确地提取每张子图像的特征向量，探索子图像之间在特征空间的关联性，可以更加准确地判断整张超大图像的分类结果。
本发明方法大致分为两部分：
(1)数据预处理模块，将每张超大图像构建成一个图模型数据；数据预处理模块又分为三个小模块，第一个模块利用数字图像处理基本技术去除背景部分，将原始图片裁剪成多张子图像，并筛选出属于感兴趣区域(ROI)的子图像作为模型的训练数据；第二个模块是微调卷积神经网络作为子图像的特征提取容器，网络结构可选择不同深度的ResNet，VGGNet等；第三个模块将每张图像裁剪得到的子图像送入神经网络提取特征，用得到的特征向量作为图的结点，设定结点之间的欧式距离阈值作为是否有边的判断标准，以此构建图数据。
(2)超大图像分类模块：用数据预处理模块构建的图作为训练数据，训练一个基于可微池化操作的图神经网络，最后学习得到整张图的特征向量表示，将特征向量输入到全连接网络中进行分类，得到的结果即为原始超大图像的分类结果。整个过程更加深入地探索每张子图像之间在特征空间的关联性。
为了达到上述目的，本发明采用的技术方案如下：
一种基于图神经网络的超大图像分类方法，分类方法具体步骤如下：
步骤1、数据预处理，构建图结构数据，步骤如下：
(1.1)原始图像下采样(下采样因子为S)得到缩略图，在缩略图上利用阈值方法过滤掉背景部分，大津法(最大类间差法)对分割这种前景背景占比相差不大的图像效果很好，所以采用大津法确定分割阈值，像素值大于等于分割阈值的点为背景部分像素点，小于分割阈值的点为组织部分像素点，背景部分和组织部分中像素点的灰度方差越大，说明选取到的阈值分类越精确。
背景部分和组织部分中的像素点间方差计算公式为：g＝w0w1(μ0-μ1)2，其中
w0：前景像素点占整个图像的比例；
w1：背景像素点占整个图像的比例；
μ0：前景像素点平均灰度值；
μ1：背景像素点平均灰度值；
使用遍历的方法确定使背景部分和组织部分中的像素点方差g最大的阈值T，利用阈值T对图像的像素进行分类实现分割，再对分离后的前景图像进行形态学操作：通过腐蚀操作将局部图像外围的突出点加以腐蚀，通过膨胀操作将局部图像外围的突出点连接并向外延伸，处理后的图像保存为二进制掩膜用于原图像的裁剪。
(1.2)将步骤(1.1)得到的二进制掩膜与缩略图相乘，非零区域为图像前景，即要进行剪裁的区域，在非零区域内通过滑动窗口方式保存每个子图像的左上角坐标，即无重叠地对原始图像进行顺序裁剪，若子图像的大小为M*M，则在缩略图上保存坐标时的步长为M/S，其中S为下采样因子；最后按照保存的左上角坐标在原始超大图像中保存子图像，大小为M*M。
(1.3)如果部分超大图像由于扫描设备差异或者操作差异颜色会有很大差别，则需要选定一个颜色模板，对所有裁剪得到的子图像进行颜色归一化，即从步骤(1.2)得到的图片中选取一张色彩均匀、颜色清晰的图片作为参考图片，将剩下所有的子图像都转换为参考图片的色彩风格；转换步骤如下：
(1.3.1)将参考图片和目标图片都从RGB色彩空间转换到LAB空间；
(1.3.2)得到参考图片和目标图片在LAB空间的均值和标准差，以对目标图片进行调整；
(1.3.3)将目标图片重新转换回RGB空间，得到色彩归一化后的图像。
(1.4)特征提取容器训练：提取超大图像的感兴趣区域ROI的子图像作为训练数据训练卷积神经网络作为特征提取容器；
(1.4.1)若超大图像给出了感兴趣区域(ROI)的标注，则提取出ROI中的子图像作为训练数据，得到的这些子图像可以较准确地判断其标签，用来训练卷积神经网络，网络结构可以选择不同深度的ResNet或VGGNet，使用基于ImageNet的预训练模型作为初始化。
(1.4.2)若超大图像并未给出感兴趣区域(ROI)的标注，通过超大图像所具有的特性来判断原始图像中感兴趣区域(ROI)，则从判定后的ROI中提取子图像作为训练数据，网络结构的选择与步骤(1.4.1)相同。
(1.4.3)如果无法获得任何感兴趣区域(ROI)的相关信息，可随机选取子图像，特征提取容器直接选择使用基于ImageNet数据集的预训练模型。
(1.5)按照步骤(1.4)得到的子图像和卷积神经网络中进行特征提取，将子图像输入神经网络中，softmax层之前的全连接层的输出即为要提取的子图像特征向量(例：若选择ResNet50，则特征维度为1024)。
(1.6)将步骤(1.5)提取出的子图像特征向量进行主成分分析(PCA)得到降维后的特征向量；定义降维前的特征维度为N，降维后的特征维度为K，主成分分析(PCA)的具体过程如下：
(1.6.1)将原始数据按列组成n*N矩阵X，n为超大图像经剪裁筛选得到的子图像数量。
(1.6.2)将矩阵X的每一行(代表一个特征)进行零均值化。
(1.6.3)求出矩阵X的协方差矩阵。
(1.6.4)求出协方差矩阵的特征值及对应的特征向量。
(1.6.5)将特征向量按对应特征值大小从上到下按行排列成矩阵，取前K行组成矩阵P。
(1.6.6)令Y＝PX即为降维到K维后图像的特征向量。
(1.7)将步骤(1.6)降维后的特征向量作为图的节点，各个节点特征向量之间的平均欧氏距离作为阈值，用来衡量结点直接是否有边，两个节点特征向量之间距离大于阈值的说明关联性强，则两个节点之间设置为有边，两个节点特征向量之间距离小于阈值的说明联系较小，则两个节点之间设置为无边；以结点之间的平均欧氏距离为阈值，构建得到的图的表示方式如下：
G→(A,F)；
G：表示图；
A：表示图G的邻接矩阵，A中的元素值为0或1，A(i,j)表示节点i与j之间是否有边相连，若为1则表示有边，若为0则表示没有边；
F：表示图中节点的特征向量(即经主成分分析(PCA)降维得到的K维向量)。
步骤(2)训练用于图分类的图神经网络，用于图分类的图神经网络由图卷积神经网络层、可微池化层以及全连接网络层组成：
(2.1)图卷积神经网络层是为了不断更新结点的特征信息，图卷积神经网络的传播模型公式如下：
Figure BDA0002535155140000061
其中，H(b)是b轮信息传播后节点的特征向量，即节点嵌入，θ是传播模型的可训练参数；
A为图的邻接矩阵，
Figure BDA0002535155140000062
其中I为对角矩阵，代表结点自身到自身的边；
M为信息传播函数，采用ReLU函数；
W为参数矩阵，通过训练得到。
(2.2)为了实现层次化学习特征向量作为整张图的表示方法，每一层图卷积神经网络层后要加上可微池化操作层，二者交替设置，每一次池化操作都通过softmax层获得一个分配矩阵，分配矩阵代表softmax层的节点在下一层分配到每一个簇的概率值；利用分配矩阵将当前节点进行分配得到数量更少的簇，例如本层的网络结点数为a，则经过一次池化操作得到的下一层的结点个数c(c<a)。经过多次可微池化后，得到一个最终的特征向量，代表整张图的特征向量；
可微池化操作的公式如下：
(Al+1,Xl+1)＝POOL(Al,Zl) (1)
Figure BDA0002535155140000063
Figure BDA0002535155140000071
Zl＝GNNl,embed(Al,Xl) (4)
Sl＝softmax(GNNl,pool(Al,Xl)) (5)
公式(1)描述可微池化操作，其中的l表示第l层，输入参数Al为l层的图邻接矩阵，Zl为l层池化层计算得到的节点嵌入。每经过一次池化操作，就会得到一个比上一层更粗粒度的图(节点数更少)，为了实现图的粗粒度化，需要一个分配矩阵Sl，矩阵的规模为a*c，a为l层的图结点数，c为l+1层的图结点数(c<a)，a是根据具体实验需求而设定，最后一次池化操作时a为l。Sl矩阵中的元素(i，j)表示l层的i结点被分配到l+1层的j结点簇中的概率值。
公式(2)和(3)是可微池化操作的具体实现方式。输出分为两部分，Xl+1和Al+1。Xl+1为结点嵌入矩阵，矩阵规模为c*d，d为节点的特征维度，Al+1规模为c*c，是l+1层的图的邻接矩阵。
公式(4)和(5)描述可微池化操作中需要的分配矩阵和结点嵌入的计算方法，由两个不同参数的图神经网络层实现，二者的输入都是上一层的图神经网络输出的图结点嵌入Xl，在公式(5)计算分配矩阵时最后需要以行为单位的softmax操作，得到概率值；由于最后一次池化操作的c值为l，所以最终会得到一个代表整个图的特征向量；
(2.3)步骤(2.1)的图卷积神经网络层和步骤(2.2)的可微池化操作层是交替设置的，根据具体问题中图的结点数目可以选择不同的网络层数，至少设置两层(即两层图卷积层和两层池化层)，并且最后一层图卷积层的输出节点数一定是l，这样便可以得到整张图的特征向量表示。在图卷积层和池化层后还需要全连接层计算最终的分类结果，可以选择f层全连接网络，其中第f层为softmax层，f>＝2，输出判定为各个分类的概率值，最大的概率值做代表的类别即为分类结果。
(2.4)用于分类的图卷集神经网络的损失函数和训练参数的设定：图卷积神经网络结构中设置至少2层可微分池化，每次池化层的结点簇数目为上一层结点数的10％，训练方法采用10折验证法，训练次数为可根据具体实验进行设计(一般可以设置为3000epoch)，如果损失函数不再减小，则提前停止训练；
在普通图片的分类任务中一般设置用于训练的损失函数为交叉熵损失(crossEntropyLoss)，公式(a)中Lce是交叉熵损失，yc是类别c的概率值，C为要分类的类别总数。
Figure BDA0002535155140000081
但只有这个函数很难优化该非凸问题，容易陷入局部最优点，所以损失函数除了基本分类问题的交叉熵损失外，还增加了两个辅助损失函数项帮助训练，分别为边损失函数LLP(公式b)，信息熵损失函数LE(公式c)：
Figure BDA0002535155140000083
在边损失函数LLP中，A为邻接矩阵，S为分配矩阵，上标l代表层数，该损失函数计算了
Figure BDA0002535155140000084
之间的Frobenius范数(计算矩阵A(l)和矩阵
Figure BDA0002535155140000085
之间的距离)，最小化边损失函数LLP意味着在特征上相近的点应该被分配到同一个节点簇中，距离尽可能近。
Figure BDA0002535155140000082
在信息熵损失函数LE中，H为熵，熵用来衡量一个系统的混乱程度，是系统中信息量的总和，信息量越大，不确定性就越高，Si为分配矩阵的第i行，最小化每一行的信息熵表示希望分配矩阵的分配更加明确，行中的其中一个值趋近于1，其他值均趋近于0时信息熵损失越小，分配意图越明确。
本发明的有益效果：
本发明针对不同的超大图像可采取不同子图像筛选方法，进一步调整了特征提取网络，使得子图像的特征提取更加准确；将超大图像构建成为图数据，并且在传统的图卷积神经网络上引入了可微分池化操作，不仅可以挖掘超大图像的全局信息，同时可微池化操作还可以在训练过程中挖掘隐藏层的特征信息，充分分析各个子图像之间在特征空间的关联性，可以更加准确地对超大图像进行分类。
附图说明
图1为本发明的框架流程图。
图2为本发明所使用的图网络结构示意图。
图3为具体实施例病理图像分类的数据与处理模块。
具体实施例
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
本发明可用于多种超大图像的分类任务，本发明的流程如图1所示，所采用的图网络结构如图2所示。
本实施例应用到了对医疗病理图像和遥感图像的分类任务，所论述的具体实施例仅用于说明本发明的实现方式，而不限制本发明的范围。
下面主要针对医疗病理图像问题对本发明的实施方式进行详细说明，具体包括以下步骤(如图3所示)：
(1)按照发明内容中的模块一进行数据与处理，将病理切片进行前景与后景分离，并经过裁剪得到256*256大小的子图像，并对所有的子图像进行色彩归一化。对于病理切片，采用BlueRatio(BR)值进行感兴趣区域(ROI)的筛选，原理是：在病理切片上的病变区域，组织细胞的有丝分裂活跃，因此细胞核的数量众多，而细胞核在Blue Ratio(BR)图片下亮度很高，因此，图片的BR值越大，其属于病灶区的可能性越大，于是只要将图片转换为Blue ratio单通道图，求出子图像的BR均值(BR图片上每个像素点值之和/像素数量)，该值较高的图片即可认定为感兴趣区域(ROI)图片，选取得分为排名前10％的子图像作为特征提取网络的训练数据。但并不是所有的病理切片都会被用来训练神经网络，只有病理切片评级单一的图像裁剪后筛选出的子图像才会用来训练，如评级为3+3,4+4,5+5的病理图片，因为这样筛选得到的子图像才能相对准确地确定其真正的标签，从而进一步提升后续卷积神经网络的训练结果。
Blue Ratio图片的计算公式为：
Figure BDA0002535155140000101
其中：
B：代表蓝色通道的像素值；
R：代表红色通道的像素值；
G：代表绿色通道的像素值；
用筛选得到的子图像训练卷积神经网络，以预训练网络参数作为模型参数的初始化，最后得到相对准确的特征提取容器，得到子图像的特征向量后，进行PCA降维，得到最终的图结点特征向量，计算两两结点之间的欧氏距离，并求出平均值，也可以根据具体情况设定为某个合适的固定阈值，按照该阈值来构建结点之间的边。
(2)构建好图数据之后，将他们送入可微分池化的图卷积神经网络进行训练，就可以得到病理图像的分类结果。
除了医疗图像外，本发明方法也可应用于超高像素的遥感图像分类任务，对于遥感图像的分类，要完成的目标是，通过对图像的分析判断遥感图像的场景类别，步骤如下：
(1)遥感图像很多情况下可以找到ROI区域，并且得到子图像级别的标签。在子图像区域内进行滑动窗口裁剪，得到512*512的patch图片。
(2)选择基于ImageNet的预训练模型参数作为初始化，用得到的子图像对卷积神经网络进行训练，得到特征提取容器。
(3)提取子图像的特征向量，并进行主成分分析(PCA)处理降维，得到图结构的结点特征向量，然后依据结点之间的欧氏距离阈值建立图的边。
(4)由于遥感图像可以得到图节点的标签，所以在训练过程中，损失函数不仅包含最终分类的交叉熵损失，还有节点的分类交叉熵损失。

Claims (1)

1.一种基于图神经网络的超大图像分类方法，其特征在于，具体步骤如下：
步骤1、数据预处理，构建图结构数据，步骤如下：
(1.1)原始图像下采样得到缩略图，在缩略图上利用阈值方法过滤掉背景部分，所以采用大津法确定分割阈值，像素值大于等于分割阈值的点为背景部分像素点，小于分割阈值的点为组织部分像素点，背景部分和组织部分中像素点的灰度方差越大，说明选取到的阈值分类越精确；
背景部分和组织部分中的像素点间方差计算公式为：g＝w0w1(μ0-μ1)2，其中
w0：前景像素点占整个图像的比例；
w1：背景像素点占整个图像的比例；
μ0：前景像素点平均灰度值；
μ1：背景像素点平均灰度值；
使用遍历的方法确定使背景部分和组织部分中的像素点方差g最大的阈值T，利用阈值T对图像的像素进行分类实现分割，再对分离后的前景图像进行形态学操作：通过腐蚀操作将局部图像外围的突出点加以腐蚀，通过膨胀操作将局部图像外围的突出点连接并向外延伸，处理后的图像保存为二进制掩膜用于原图像的裁剪；
(1.2)将步骤(1.1)得到的二进制掩膜与缩略图相乘，非零区域为图像前景，即要进行剪裁的区域，在非零区域内通过滑动窗口方式保存每个子图像的左上角坐标，即无重叠地对原始图像进行顺序裁剪，若子图像的大小为M*M，则在缩略图上保存坐标时的步长为M/S，其中S为下采样因子；最后按照保存的左上角坐标在原始超大图像中保存子图像，大小为M*M；
(1.3)对于部分超大图像，需要选定一个颜色模板，对所有裁剪得到的子图像进行颜色归一化，即从步骤(1.2)得到的图片中选取一张色彩均匀、颜色清晰的图片作为参考图片，将剩下所有的子图像都转换为参考图片的色彩风格；转换步骤如下：
(1.3.1)将参考图片和目标图片都从RGB色彩空间转换到LAB空间；
(1.3.2)得到参考图片和目标图片在LAB空间的均值和标准差，以对目标图片进行调整；
(1.3.3)将目标图片重新转换回RGB空间，得到色彩归一化后的图像；
(1.4)特征提取容器训练：提取超大图像的感兴趣区域ROI的子图像作为训练数据训练卷积神经网络作为特征提取容器；
(1.4.1)若超大图像给出了感兴趣区域ROI的标注，则提取出ROI中的子图像作为训练数据，用来训练卷积神经网络，网络结构选择不同深度的ResNet或VGGNet，使用基于ImageNet的预训练模型作为初始化；
(1.4.2)若超大图像并未给出感兴趣区域ROI的标注，通过超大图像所具有的特性来判断原始图像中ROI，则从判定后的ROI中提取子图像作为训练数据，网络结构的选择与步骤(1.4.1)相同；
(1.4.3)如果无法获得任何感兴趣区域ROI的相关信息，则随机选取子图像，特征提取容器直接选择使用基于ImageNet数据集的预训练模型；
(1.5)按照步骤(1.4)得到的子图像和卷积神经网络中进行特征提取，将子图像输入神经网络中，softmax层之前的全连接层的输出即为要提取的子图像特征向量；
(1.6)将步骤(1.5)提取出的子图像特征向量进行主成分分析得到降维后的特征向量；定义降维前的特征维度为N，降维后的特征维度为K，主成分分析的具体过程如下：
(1.6.1)将原始数据按列组成n*N矩阵X，n为超大图像经剪裁筛选得到的子图像数量；
(1.6.2)将矩阵X的每一行进行零均值化；
(1.6.3)求出矩阵X的协方差矩阵；
(1.6.4)求出协方差矩阵的特征值及对应的特征向量；
(1.6.5)将特征向量按对应特征值大小从上到下按行排列成矩阵，取前K行组成矩阵P；
(1.6.6)令Y＝PX即为降维到K维后图像的特征向量；
(1.7)将步骤(1.6)降维后的特征向量作为图的节点，各个节点特征向量之间的平均欧氏距离作为阈值，用来衡量结点直接是否有边，两个节点特征向量之间距离大于阈值的说明关联性强，则两个节点之间设置为有边，两个节点特征向量之间距离小于阈值的说明联系较小，则两个节点之间设置为无边；以结点之间的平均欧氏距离为阈值，构建得到的图的表示方式如下：
G→(A,F)；
G：表示图；
A：表示图G的邻接矩阵，A中的元素值为0或1，A(i,j)表示节点i与j之间是否有边相连，若为1则表示有边，若为0则表示没有边；
F：表示图中节点的特征向量，即经主成分分析降维得到的K维向量；
步骤(2)训练用于图分类的图神经网络，用于图分类的图神经网络由图卷积神经网络层、可微池化层以及全连接网络层组成：
(2.1)图卷积神经网络的传播模型公式如下：
Figure FDA0002535155130000031
其中，H(b)是b轮信息传播后节点的特征向量，即节点嵌入，θ是传播模型的可训练参数；
A为图的邻接矩阵，
Figure FDA0002535155130000041
其中I为对角矩阵，代表结点自身到自身的边；
M为信息传播函数，采用ReLU函数；
W为参数矩阵，通过训练得到；
(2.2)为了实现层次化学习特征向量作为整张图的表示方法，每一层图卷积神经网络层后加上可微池化操作层，二者交替设置，每一次池化操作都通过softmax层获得一个分配矩阵，分配矩阵代表softmax层的节点在下一层分配到每一个簇的概率值；利用分配矩阵将当前节点进行分配得到数量更少的簇，经过多次可微池化后，得到一个最终的特征向量，代表整张图的特征向量；
可微池化操作的公式如下：
(Al+1,Xl+1)＝POOL(Al,Zl) (1)
Figure FDA0002535155130000042
Figure FDA0002535155130000043
Zl＝GNNl,embed(Al,Xl) (4)
Sl＝softmax(GNNl,pool(Al,Xl)) (5)
公式(1)描述可微池化操作，其中的l表示第l层，输入参数Al为l层的图邻接矩阵，Zl为l层池化层计算得到的节点嵌入；每经过一次池化操作，得到一个比上一层更粗粒度的图，为了实现图的粗粒度化，需要一个分配矩阵Sl，矩阵的规模为a*c，a为l层的图结点数，c为l+1层的图结点数，c<a，a是根据具体实验需求而设定，最后一次池化操作时a为l；Sl矩阵中的元素(i，j)表示l层的i结点被分配到l+1层的j结点簇中的概率值；
公式(2)和(3)是可微池化操作的具体实现方式；输出分为两部分，Xl+1和Al+1；Xl+1为结点嵌入矩阵，矩阵规模为c*d，d为节点的特征维度，Al+1规模为c*c，是l+1层的图的邻接矩阵；
公式(4)和(5)描述可微池化操作中需要的分配矩阵和结点嵌入的计算方法，由两个不同参数的图神经网络层实现，二者的输入都是上一层的图神经网络输出的图结点嵌入Xl，在公式(5)计算分配矩阵时最后需要以行为单位的softmax操作，得到概率值；由于最后一次池化操作的c值为l，最终得到一个代表整个图的特征向量；
(2.3)步骤(2.1)的图卷积神经网络层和步骤(2.2)的可微池化操作层是交替设置的，根据具体问题中图的结点数目选择不同的网络层数，至少设置两层，即两层图卷积层和两层池化层，并且最后一层图卷积层的输出节点数一定是l，则得到整张图的特征向量表示；在图卷积层和池化层后还需要全连接层计算最终的分类结果，选择f层全连接网络，其中第f层为softmax层，f>＝2，输出判定为各个分类的概率值，最大的概率值做代表的类别即为分类结果；
(2.4)用于分类的图卷集神经网络的损失函数和训练参数的设定：图卷积神经网络结构中设置至少2层可微分池化，每次池化层的结点簇数目为上一层结点数的10％，训练方法采用10折验证法，训练次数为根据具体实验进行设计，如果损失函数不再减小，则提前停止训练；
分类任务中设置用于训练的损失函数为交叉熵损失，并增加两个辅助损失函数项帮助训练，分别为边损失函数LLP，信息熵损失函数LE：
(a)
Figure FDA0002535155130000051
(b)
Figure FDA0002535155130000052
(c)
Figure FDA0002535155130000053
公式(a)中，Lce是交叉熵损失，yc是类别c的概率值，C为要分类的类别总数；
公式(b)中，A为邻接矩阵，S为分配矩阵，上标l代表层数；
公式(c)中，H为熵，Si为分配矩阵的第i行。
CN202010530337.9A 2020-06-11 2020-06-11 一种基于图神经网络的超大图像分类方法 Active CN111738318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010530337.9A CN111738318B (zh) 2020-06-11 2020-06-11 一种基于图神经网络的超大图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010530337.9A CN111738318B (zh) 2020-06-11 2020-06-11 一种基于图神经网络的超大图像分类方法

Publications (2)

Publication Number Publication Date
CN111738318A CN111738318A (zh) 2020-10-02
CN111738318B true CN111738318B (zh) 2022-09-30

Family

ID=72648892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010530337.9A Active CN111738318B (zh) 2020-06-11 2020-06-11 一种基于图神经网络的超大图像分类方法

Country Status (1)

Country Link
CN (1) CN111738318B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364747B (zh) * 2020-11-04 2024-02-27 重庆高新区飞马创新研究院 一种有限样本下的目标检测方法
CN112414401B (zh) * 2020-11-06 2023-02-28 北京理工大学 基于图神经网络的无人机协同定位系统及方法
CN112711032B (zh) * 2020-12-07 2022-05-13 中国人民解放军海军航空大学 一种基于图数据和gcn的雷达目标检测方法及系统
CN112927354B (zh) * 2021-02-25 2022-09-09 电子科技大学 基于实例分割的三维重建方法、系统、存储介质及终端
CN113011510B (zh) * 2021-03-25 2021-12-24 推想医疗科技股份有限公司 一种支气管分级及模型训练方法、装置及电子设备
CN113435268A (zh) * 2021-06-09 2021-09-24 武汉理工大学 基于图变换知识嵌入算法的地震灾区遥感影像解译方法
CN113436729A (zh) * 2021-07-08 2021-09-24 湖南大学 一种基于异构图卷积神经网络的合成致死相互作用预测方法
CN113673610A (zh) * 2021-08-25 2021-11-19 上海鹏冠生物医药科技有限公司 一种用于组织细胞病理图像诊断系统的图像预处理方法
CN116312809B (zh) * 2023-04-10 2023-08-29 杭州美赛生物医药科技有限公司 一种基于抗体偶联磁珠的细胞筛选方法
CN116542859B (zh) * 2023-07-06 2023-09-01 武汉船舶职业技术学院 用于智能建造的建筑结构柱图像缩略图智能生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122809B (zh) * 2017-04-24 2020-04-28 北京工业大学 基于图像自编码的神经网络特征学习方法
CN110991554B (zh) * 2019-12-16 2023-04-18 沈阳理工大学 一种基于改进pca的深度网络图像分类方法

Also Published As

Publication number Publication date
CN111738318A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738318B (zh) 一种基于图神经网络的超大图像分类方法
US10762608B2 (en) Sky editing based on image composition
CN109961049B (zh) 一种复杂场景下香烟品牌识别方法
US9824294B2 (en) Saliency information acquisition device and saliency information acquisition method
Preetha et al. Image segmentation using seeded region growing
Ugarriza et al. Automatic image segmentation by dynamic region growth and multiresolution merging
US8345974B2 (en) Hierarchical recursive image segmentation
CN109448015B (zh) 基于显著图融合的图像协同分割方法
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN109583483A (zh) 一种基于卷积神经网络的目标检测方法和系统
US20030198382A1 (en) Apparatus and method for removing background on visual
CN109978871B (zh) 融合概率型和确定型纤维束追踪的纤维束筛选方法
CN106897681A (zh) 一种遥感图像对比分析方法及系统
CN107564009A (zh) 基于深度卷积神经网络的室外场景多目标分割方法
US20110222796A1 (en) Image Processing Apparatus, Image Processing Method, Program, and Imaging Apparatus
CN110929746A (zh) 一种基于深度神经网络的电子卷宗标题定位提取与分类方法
CN115546466A (zh) 一种基于多尺度显著特征融合的弱监督图像目标定位方法
CN113743378B (zh) 一种基于视频的火情监测方法和装置
JP5464739B2 (ja) 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
CN111368775A (zh) 一种基于局部上下文感知的复杂场景密集目标检测方法
Qian et al. Spatial contextual noise removal for post classification smoothing of remotely sensed images
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
JP4285640B2 (ja) オブジェクト識別方法および装置ならびにプログラム
CN105956607B (zh) 一种改进的高光谱图像分类方法
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant