CN114612718B - 基于图结构特征融合的小样本图像分类方法 - Google Patents
基于图结构特征融合的小样本图像分类方法 Download PDFInfo
- Publication number
- CN114612718B CN114612718B CN202210236867.1A CN202210236867A CN114612718B CN 114612718 B CN114612718 B CN 114612718B CN 202210236867 A CN202210236867 A CN 202210236867A CN 114612718 B CN114612718 B CN 114612718B
- Authority
- CN
- China
- Prior art keywords
- deep
- low
- level
- image
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000010586 diagram Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 8
- 238000000691 measurement method Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 241000282887 Suidae Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Abstract
本发明公开了一种基于图结构特征融合的小样本图像分类方法，包括：步骤一、获取小样本图像数据集；步骤二、提取低层特征；步骤三、提取深层特征；步骤四、将低层特征转化为低层图结构特征，将深层特征转化为深层图结构特征；步骤五、将低层图结构特征和深层图结构特征进行特征融合；步骤六、将融合后的特征图作为图卷积神经网络的输入，获取分类结果。本发明采用HOG特征提取和和深度特征提取器并行的方式进行特征提取，并分别进行图结构特征转化，然后对图结构特征采用交叉并联特征融合的方式，实现了数据增强层面的特征融合，提高图像特征的表达能力，从而为小样本条件下的图像分类提供更多的特征表达，提高小样本条件下的图像分类精度。
Description
技术领域
本发明属于图像分类技术领域，具体涉及一种基于图结构特征融合的小样本图像分类方法。
背景技术
近几年来大数据技术、以卷积神经网络为核心的深度学习和硬件计算及性能都在飞速发展，大规模数据的图像任务，例如图像分类、目标检测、图像分割等都已经发展的非常成熟。计算机视觉领域经过了几十年的发展，如今已经被广泛应用到人们生活中的各个领域。
但是，在实际应用中，不同场景和角度带来的物体的光照、角度和遮挡等问题是图像识别分类技术一直以来面临的巨大挑战；除此之外，许多基于深度学习的图像识别分类算法在实际应用中都针对样本数量较大的任务提出，往往需要庞大的网络结构与海量的训练数据，却忽略了现实生活中大多数任务场景下数据量稀缺的问题。图像样本采集困难、人工标注费用高、图像获取途径等问题导致大多数图像分类任务的训练样本不足，即可能只有少量的样本，因此很难建立大量有价值且已标记的样本集。
相较于机器，人类只需少量样本就可以达到相当准确的学习效果，这主要是因为，在人类在漫长的进化过程中获得了快速获取样本区分性特征的能力。同样，在图像样本十分稀缺的情况下，如何使机器拥有在仅有的样本中尽可能多地获取关键特征的能力，成为了提高任务正确率的关键。
因此为了使图像分类问题得到更加广泛的应用，解决现实生活中众多实际的图像分类任务中因样本数据稀疏无法满足深度学习需要大规模数据的前提要求的问题，即如何实现基于小样本深度学习的图像分类问题具有十分重要的意义。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于图结构特征融合的小样本图像分类方法，其采用HOG特征提取和和深度特征提取器并行的方式进行特征提取，将低层特征转化为低层图结构特征，将深层特征转化为深层图结构特征，对低层图结构特征和深层图结构特征采用交叉并联特征融合的方式，实现了数据增强层面的特征融合，为实现在小样本条件下的图像分类提供更多的图像特征，提高小样本图像分类精度。
为解决上述技术问题，本发明采用的技术方案是：基于图结构特征融合的小样本图像分类方法，其特征在于，包括以下步骤：
步骤一、获取小样本图像数据集；
步骤二、对图像进行HOG特征提取，得到图像的HOG特征，即为低层特征，低层特征记为FL， 表示第i个图像的低层特征向量，/>的维度为1×q，1≤i≤n；
步骤三、采用深度特征提取器对图像进行特征提取，获得深层特征FH， 表示第i个图像的深层特征向量，/>的维度为1×q；
步骤四、将图像特征转化为图结构特征；
步骤401、将低层特征转化为低层图结构特征，低层图结构特征包括低层节点表示的低层图像特征和低层边对应的邻接矩阵，低层节点表示每幅图像提取得到的低层特征，低层节点用表示，所有低层边由低层邻接矩阵ML(j,k)表示；
步骤402、将深层特征转化为深层图结构特征，深层图结构特征包括深层节点表示的深层图像特征和深层边对应的邻接矩阵，深层节点表示每幅图像提取得到的深层特征，深层节点用表示，所有深层边由深层邻接矩阵MH(j,k)表示；
步骤五、将低层图结构特征和深层图结构特征进行特征融合；
步骤501、基于低层图结构特征更新深层图结构特征，不更新低层图结构特征：融合后的结果为： 表示融合后的第i个深层特征向量，融合后的深层特征向量/>在原先基础/>上，增加了/>其中/>表示低层图结构特征中第j个节点的特征向量/>与第i个节点和第j个节点间的低层边特征ML(i，j)的乘积，α表示深层融合率参数；深层图结构特征的所有特征向量全部更新完成后，再根据欧式空间距离度量方法重新更新深层图结构特征的邻接矩阵/>
步骤502、融合更新后，进行相似性度量，若相似性θL小于θset，则融合结束，输出融合后的特征图，进入步骤六，否则进入步骤503，其中θL表示更新后的低层图结构特征与更新前的低层图结构特征的相似性，θset表示相似性阈值；
步骤503、基于深层图结构特征更新低层图结构特征，不更新深层图结构特征：融合后的结果为： 表示融合后的第i个低层特征向量，融合后的低层特征向量/>是在原先基础/>上，增加了/>其中/>表示深层图结构特征中第j个节点的特征向量/>与第i个节点和第j个节点间的深层边特征MH(i，j)的乘积，β表示低层融合率参数；低层图结构特征的所有特征向量全部更新完成后，再根据欧式空间距离度量方法重新更新低层图结构特征的邻接矩阵/>
步骤504、融合更新后，进行相似性度量，若相似性θH小于θset，则融合结束，输出融合后的特征图，进入步骤六，否则返回步骤501，其中θH表示更新后的深层图结构特征与更新前的深层图结构特征的相似性；
步骤六、将融合后的特征图作为图卷积神经网络的输入，获取分类结果。
上述的基于图结构特征融合的小样本图像分类方法，其特征在于，步骤二中HOG特征提取的具体过程包括：
步骤201、对彩色图像进行归一化处理；
步骤202、将彩色图像分割为若干个小块，每块由相邻的4个单元组成，每个单元由8×8像素组成，块与块之间采用重叠两个单元的形式进行滑动，计算出图像中像素点的水平方向梯度和垂直方向的梯度；
步骤203、根据像素点的水平方向梯度和垂直方向的梯度计算像素点的梯度幅值和梯度方向；
步骤204、将每个梯度方向平均划分成16个无向的直方图通道，统计所有像素点各个方向的直方图特征，从而得到每个单元的直方图特征，然后得到每块的直方图；
步骤205、顺序级联每块的直方图特征，得到整幅图像的整体HOG特征。
上述的基于图结构特征融合的小样本图像分类方法，其特征在于：深度特征提取器基于ResNet网络构建，用于根据输入的图像获取其对应的深度特征。
上述的基于图结构特征融合的小样本图像分类方法，其特征在于：步骤401中低层邻接矩阵的具体计算过程包括：
步骤4011、分别计算每个低层节点与其他低层节点之间的欧式距离dL-jk，FjL(1,p)表示第j个图像的低层特征向量中第1行第p个元素，1≤j≤n，1≤k≤n，1≤p≤q，q为不小于2的正整数；
步骤4012、对每个低层节点与其他低层节点之间的欧式距离djk按照从小到大的顺序进行排序，得到低层顺序向量RjL；
步骤4013、获取低层邻接矩阵ML(j,k)，index(RjL)表示低层顺序向量RjL的列维度，mL表示低层列维度设定阈值，每个节点仅与低层顺序向量RjL的前m个低层节点相连。
上述的基于深度特征和深层特征融合的小样本图像分类方法，其特征在于：步骤402中深层邻接矩阵的具体计算过程包括：
步骤4021、分别计算每个深层节点与其他深层节点之间的欧式距离dH-jk，FjH(1,p)表示第j个图像的深层特征向量中第1行第p个元素，1≤j≤n，1≤k≤n，1≤p≤q，q为不小于2的正整数；
步骤4022、对每个深层节点与其他深层节点之间的欧式距离dH-jk按照从小到大的顺序进行排序，得到深层顺序向量RjH；
步骤4023、获取深层邻接矩阵MH(j,k)，index(RjH)表示深层顺序向量RjH的列维度，mH表示深层列维度设定阈值，每个节点仅与深层顺序向量RjH的前m个深层节点相连。
上述的基于图结构特征融合的小样本图像分类方法，其特征在于，步骤502中的相似性θL的计算公式为：
上述的基于图结构特征融合的小样本图像分类方法，其特征在于，步骤504中的相似性θH的计算公式为：
本发明与现有技术相比具有以下优点：
1、本发明的结构简单、设计合理，实现及使用操作方便。
2、本发明对低层图结构特征和深层图结构特征采用交叉并联特征融合的方式，将低层图结构特征和高层图结构特征的特征向量和邻接矩阵进行非线性交叉更新，直至两种图空间中节点的特征向量和邻接矩阵达到一定相似程度后则认为融合完成，实现了数据增强层面的特征融合，从而为实现小样本条件下的图像分类提供更多的特征表达。
3、本发明将低层特征转化为低层图结构特征，将深层特征转化为深层图结构特征，基于同种图像在图结构特征上具有较高相似度的思路，通过转化图结构特征，可以挖掘非欧式空间结构下数据的隐藏信息，从而可以提高同一类别的待处理图像的分类准确性。
4、本发明采用HOG特征提取和和深度特征提取器并行的方式进行特征提取，通过挖掘图像的低层特征和深度特征，使图像表达特征的层次更加丰富。提取效率高，使用效果好。
综上所述，本发明结构简单、设计合理，采用HOG特征提取和和深度特征提取器并行的方式进行特征提取，将低层特征转化为低层图结构特征，将深层特征转化为深层图结构特征，对低层图结构特征和深层图结构特征采用交叉并联特征融合的方式，实现了数据增强层面的特征融合，从而为实现在小样本条件下的图像分类提供更多的特征表达。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
如图1所示，本发明包括以下步骤：
步骤一、获取小样本图像数据集，小样本图像数据集包括多个图像，但是小样本图像数据集中可以用于训练的有标签图像数量极少。实际使用时，该方法对于获取图像的方法并无太多限制，可以有广泛的来源。可以是现成的小样本数据集，如miniImagenet、Omniglot等，也可以通过专门的图像传感器获取，如CCD传感器、CMOS传感器，还可以是雷达，如SAR(合成孔径雷达)。
步骤二、对图像进行HOG特征提取，得到图像的HOG特征，即为低层特征，低层特征记为FL， 表示第i个图像的低层特征向量，/>的维度为1×q，1≤i≤n。
实际使用时，q＝256。HOG特征提取的具体过程包括：
步骤201、归一化彩色图像，消除光照的影响；
步骤202、分割彩色图像为若干个小块，每块由相邻的4个单元组成，每个单元由8×8像素组成，块与块之间采用重叠两个单元的形式进行滑动，计算出图像中像素点的水平方向梯度和垂直方向的梯度；
步骤203、根据像素点的水平方向梯度和垂直方向的梯度计算像素点的梯度幅值和梯度方向；
步骤204、将每个梯度方向平均划分成16个无向的直方图通道，统计所有像素点各个方向的直方图特征，从而得到每个单元的直方图特征，然后得到每块的直方图；
步骤205、顺序级联每块的直方图特征，得到整幅图像的整体HOG特征。
HOG为传统的图像处理算法，不涉及卷积层和网络部分，在计算过程中只需要一个很小的时间量，其中对于各种尺度的平滑特征计算方法，使计算的耗时更少，使用效果好。
步骤三、采用深度特征提取器对图像进行特征提取，获得深层特征FH， 表示第i个图像的深层特征向量，/>的维度为1×q。
实际使用时，深度特征提取器基于ResNet-18网络构建，用于根据输入的图像获取其对应的深度特征。ResNet-18网络包括17层卷积、1层平均值池化层、残差单元和全连接层。
ResNet-18相比传统VGG模块，改变了网络结构，引入多个残差模块，残差单元表达式如下：y＝F(x)+x，x表示残差单元的输入。
采用HOG特征提取和和深度特征提取器并行的方式进行特征提取，提取效率高，使用效果好。
步骤四、将图像特征转化为图结构特征；
步骤401、将低层特征转化为低层图结构特征，低层图结构特征包括低层节点表示的低层图像特征和低层边对应的邻接矩阵，低层节点表示每幅图像提取得到的低层特征，低层节点用表示，所有低层边由低层邻接矩阵ML(j,k)表示；
低层邻接矩阵的具体计算过程包括：
步骤4011、分别计算每个低层节点与其他低层节点之间的欧式距离dL-jk，FjL(1,p)表示第j个图像的低层特征向量中第1行第p个元素，1≤j≤n，1≤k≤n，1≤p≤q，q为不小于2的正整数；
步骤4012、对每个低层节点与其他低层节点之间的欧式距离djk按照从小到大的顺序进行排序，得到低层顺序向量RjL；
步骤4013、获取低层邻接矩阵ML(j,k)，index(RjL)表示低层顺序向量RjL的列维度，mL表示低层列维度设定阈值，每个节点仅与低层顺序向量RjL的前m个低层节点相连。
本发明将低层特征转化为低层图结构特征，基于同种图像在图结构特征上具有较高相似度的思路，通过转化图结构特征，可以提高同一类别的待处理图像的分类准确性。本方法中，低层边表示所连两低层节点特征向量空间欧式距离度量值归一化的结果。
步骤402、将深层特征转化为深层图结构特征，深层图结构特征包括深层节点表示的深层图像特征和深层边对应的邻接矩阵，深层节点表示每幅图像提取得到的深层特征，深层节点用表示，所有深层边由深层邻接矩阵MH(j,k)表示。
深层邻接矩阵的具体计算过程包括：
步骤4021、分别计算每个深层节点与其他深层节点之间的欧式距离dH-jk，FjH(1,p)表示第j个图像的深层特征向量中第1行第p个元素，1≤j≤n，1≤k≤n，1≤p≤q，q为不小于2的正整数；
步骤4022、对每个深层节点与其他深层节点之间的欧式距离dH-jk按照从小到大的顺序进行排序，得到深层顺序向量RjH；
步骤4023、获取深层邻接矩阵MH(j,k)，index(RjH)表示深层顺序向量RjH的列维度，mH表示深层列维度设定阈值，每个节点仅与深层顺序向量RjH的前m个深层节点相连。
步骤五、将低层图结构特征和深层图结构特征进行特征融合；
步骤501、基于低层图结构特征更新深层图结构特征，不更新低层图结构特征：融合后的结果为： 表示融合后的第i个深层特征向量，融合后的深层特征向量/>在原先基础/>上，增加了/>其中/>表示低层图结构特征中第j个节点的特征向量/>与第i个节点和第j个节点间的低层边特征ML(i，j)的乘积，α表示深层融合率参数；深层图结构特征的所有特征向量全部更新完成后，再根据欧式空间距离度量方法重新更新深层图结构特征的邻接矩阵/>
每次只更新一种图结构特征，另一种图结构特征保持不变，在下一次进行融合更新。
步骤502、融合更新后，进行相似性度量，若相似性θL小于θset，则融合结束，输出融合后的特征图，进入步骤六，否则进入步骤503，其中θL表示更新后的低层图结构特征与更新前的低层图结构特征的相似性，θset表示相似性阈值。相似性θL的计算公式为：
在每次融合更新后，进行相似性度量，采用空间欧式距离度量，以此实现交叉并联特征融合，实现了数据增强层面的特征融合，从而为实现在小样本条件下的图像分类提供更多的数据。
步骤503、基于深层图结构特征更新低层图结构特征，不更新深层图结构特征：融合后的结果为： 表示融合后的第i个低层特征向量，融合后的低层特征向量/>是在原先基础/>上，增加了/>其中/>表示深层图结构特征中第j个节点的特征向量/>与第i个节点和第j个节点间的深层边特征MH(i，j)的乘积，β表示低层融合率参数；低层图结构特征的所有特征向量全部更新完成后，再根据欧式空间距离度量方法重新更新低层图结构特征的邻接矩阵/>
步骤504、融合更新后，进行相似性度量，若相似性θH小于θset，则融合结束，输出融合后的特征图，进入步骤六，否则返回步骤501，其中θH表示更新后的深层图结构特征与更新前的深层图结构特征的相似性；相似性θH的计算公式为：
步骤六、将融合后的特征图作为图卷积神经网络的输入，获取分类结果。
为了验证本方法在小样本条件下的图像分类的分类准确性，对本方法和CNN(卷积神经网络)、以及CNN(卷积神经网络)+GCN(图卷积神经网络)两种经典方法进行比较，在自制的数据集上进行实验，实验结果为五折交叉验证策略下的结果。具体如表1所示。
表1本方法和CNN、以及CNN+GCN的图像分类结果对照表
| 训练集中每类样本数 | CNN | CNN+GCN | 本申请 |
| 10 | 75.2443％ | 76.1388％ | 77.4597％ |
| 20 | 76.6953％ | 77.7572％ | 78.6198％ |
| 30 | 80.1411％ | 80.8684％ | 81.6875％ |
从表1可知，本申请的模型的效果在三种模型里是表现最好的。本申请所使用的方法，比CNN和CNN+GCN的分类准确性都高。同时考虑到此为小样本学习模型，故其准确率达到了正常的水平。
且随着训练样本数的增多，准确率也有着相应的提升，符合深度学习的规律。同时随着训练样本数的减少，数据融合部分所提升的效果也相应的进行提升，这符合小样本学习的规律。且CNN本身就为非常经典且实用的模型，在其基础上增进的效果是有限的，因此从结果来看，本申请的技术方案在图像分类准确性的提升效果是非常不错的。
可以说明GCN和数据融合环节分别起到了一定的效果提升作用，即将低层结构转换为低层图特征结构、将高层结构转换为高层图特征结构，并将低层图特征结构和高层图特征结构进行融合，有一定的积极作用。
以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。
Claims (7)
1.基于图结构特征融合的小样本图像分类方法，其特征在于，包括以下步骤：
步骤一、获取小样本图像数据集；
步骤二、对图像进行HOG特征提取，得到图像的HOG特征，即为低层特征，低层特征记为FL， 表示第i个图像的低层特征向量，/>的维度为1×q，1≤i≤n；
步骤三、采用深度特征提取器对图像进行特征提取，获得深层特征FH， 表示第i个图像的深层特征向量，/>的维度为1×q；
步骤四、将图像特征转化为图结构特征；
步骤401、将低层特征转化为低层图结构特征，低层图结构特征包括低层节点表示的低层图像特征和低层边对应的邻接矩阵，低层节点表示每幅图像提取得到的低层特征，低层节点用表示，所有低层边由低层邻接矩阵ML(j,k)表示；
步骤402、将深层特征转化为深层图结构特征，深层图结构特征包括深层节点表示的深层图像特征和深层边对应的邻接矩阵，深层节点表示每幅图像提取得到的深层特征，深层节点用表示，所有深层边由深层邻接矩阵MH(j,k)表示；
步骤五、将低层图结构特征和深层图结构特征进行特征融合；
步骤501、基于低层图结构特征更新深层图结构特征，不更新低层图结构特征：融合后的结果为： 表示融合后的第i个深层特征向量，融合后的深层特征向量/>在原先基础/>上，增加了/>其中/>表示低层图结构特征中第j个节点的特征向量/>与第i个节点和第j个节点间的低层边特征ML(i，j)的乘积，α表示深层融合率参数；深层图结构特征的所有特征向量全部更新完成后，再根据欧式空间距离度量方法重新更新深层图结构特征的邻接矩阵/>
步骤502、融合更新后，进行相似性度量，若相似性θL小于θset，则融合结束，输出融合后的特征图，进入步骤六，否则进入步骤503，其中θL表示更新后的低层图结构特征与更新前的低层图结构特征的相似性，θset表示相似性阈值；
步骤503、基于深层图结构特征更新低层图结构特征，不更新深层图结构特征：融合后的结果为： 表示融合后的第i个低层特征向量，融合后的低层特征向量/>是在原先基础/>上，增加了/>其中/>表示深层图结构特征中第j个节点的特征向量/>与第i个节点和第j个节点间的深层边特征MH(i，j)的乘积，β表示低层融合率参数；低层图结构特征的所有特征向量全部更新完成后，再根据欧式空间距离度量方法重新更新低层图结构特征的邻接矩阵/>
步骤504、融合更新后，进行相似性度量，若相似性θH小于θset，则融合结束，输出融合后的特征图，进入步骤六，否则返回步骤501，其中θH表示更新后的深层图结构特征与更新前的深层图结构特征的相似性；
步骤六、将融合后的特征图作为图卷积神经网络的输入，获取分类结果。
2.按照权利要求1所述的基于图结构特征融合的小样本图像分类方法，其特征在于，步骤二中HOG特征提取的具体过程包括：
步骤201、对彩色图像进行归一化处理；
步骤202、将彩色图像分割为若干个小块，每块由相邻的4个单元组成，每个单元由8×8像素组成，块与块之间采用重叠两个单元的形式进行滑动，计算出图像中像素点的水平方向梯度和垂直方向的梯度；
步骤203、根据像素点的水平方向梯度和垂直方向的梯度计算像素点的梯度幅值和梯度方向；
步骤204、将每个梯度方向平均划分成16个无向的直方图通道，统计所有像素点各个方向的直方图特征，从而得到每个单元的直方图特征，然后得到每块的直方图；
步骤205、顺序级联每块的直方图特征，得到整幅图像的整体HOG特征。
3.按照权利要求1所述的基于图结构特征融合的小样本图像分类方法，其特征在于：深度特征提取器基于ResNet网络构建，用于根据输入的图像获取其对应的深度特征。
4.按照权利要求1所述的基于图结构特征融合的小样本图像分类方法，其特征在于：步骤401中低层邻接矩阵的具体计算过程包括：
步骤4011、分别计算每个低层节点与其他低层节点之间的欧式距离dL-jk，FjL(1,p)表示第j个图像的低层特征向量中第1行第p个元素，1≤j≤n，1≤k≤n，1≤p≤q，q为不小于2的正整数；
步骤4012、对每个低层节点与其他低层节点之间的欧式距离djk按照从小到大的顺序进行排序，得到低层顺序向量RjL；
步骤4013、获取低层邻接矩阵ML(j,k)，index(RjL)表示低层顺序向量RjL的列维度，mL表示低层列维度设定阈值，每个节点仅与低层顺序向量RjL的前m个低层节点相连。
5.按照权利要求1所述的基于深度特征和深层特征融合的小样本图像分类方法，其特征在于：步骤402中深层邻接矩阵的具体计算过程包括：
步骤4021、分别计算每个深层节点与其他深层节点之间的欧式距离dH-jk，FjH(1,p)表示第j个图像的深层特征向量中第1行第p个元素，1≤j≤n，1≤k≤n，1≤p≤q，q为不小于2的正整数；
步骤4022、对每个深层节点与其他深层节点之间的欧式距离dH-jk按照从小到大的顺序进行排序，得到深层顺序向量RjH；
步骤4023、获取深层邻接矩阵MH(j,k)，index(RjH)表示深层顺序向量RjH的列维度，mH表示深层列维度设定阈值，每个节点仅与深层顺序向量RjH的前m个深层节点相连。
6.按照权利要求1所述的基于图结构特征融合的小样本图像分类方法，其特征在于，步骤502中的相似性θL的计算公式为：
7.按照权利要求1所述的基于图结构特征融合的小样本图像分类方法，其特征在于，步骤504中的相似性θH的计算公式为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210236867.1A CN114612718B (zh) | 2022-03-10 | 2022-03-10 | 基于图结构特征融合的小样本图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210236867.1A CN114612718B (zh) | 2022-03-10 | 2022-03-10 | 基于图结构特征融合的小样本图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114612718A CN114612718A (zh) | 2022-06-10 |
| CN114612718B true CN114612718B (zh) | 2024-03-01 |
Family
ID=81862531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210236867.1A Active CN114612718B (zh) | 2022-03-10 | 2022-03-10 | 基于图结构特征融合的小样本图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114612718B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107818299A (zh) * | 2017-10-17 | 2018-03-20 | 内蒙古科技大学 | 基于融合hog特征和深度信念网络的人脸识别算法 |
| KR20190131206A (ko) * | 2018-05-16 | 2019-11-26 | 한양대학교 산학협력단 | 영상의 전역 문맥 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 시스템 |
| CN113469224A (zh) * | 2021-06-16 | 2021-10-01 | 浙江大学 | 一种基于卷积神经网络与特征描述算子相融合的大米分类方法 |
-
2022
- 2022-03-10 CN CN202210236867.1A patent/CN114612718B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107818299A (zh) * | 2017-10-17 | 2018-03-20 | 内蒙古科技大学 | 基于融合hog特征和深度信念网络的人脸识别算法 |
| KR20190131206A (ko) * | 2018-05-16 | 2019-11-26 | 한양대학교 산학협력단 | 영상의 전역 문맥 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 시스템 |
| CN113469224A (zh) * | 2021-06-16 | 2021-10-01 | 浙江大学 | 一种基于卷积神经网络与特征描述算子相融合的大米分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| Triplet Attention Feature Fusion Network for SAR and Optical Image Land Cover Classification;Zhe Xu等;2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS;20211012;全文 * |
| 采用融合卷积网的图像分类算法;李聪;潘丽丽;陈蓉玉;周燕;邵伟志;;计算机工程与科学;20191215(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114612718A (zh) | 2022-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107273800B (zh) | 一种基于注意机制的卷积递归神经网络的动作识别方法 | |
| CN107066559B (zh) | 一种基于深度学习的三维模型检索方法 | |
| CN108154102B (zh) | 一种道路交通标志识别方法 | |
| CN108090472B (zh) | 基于多通道一致性特征的行人重识别方法及其系统 | |
| CN112633382B (zh) | 一种基于互近邻的少样本图像分类方法及系统 | |
| CN105956560A (zh) | 一种基于池化多尺度深度卷积特征的车型识别方法 | |
| CN109766873B (zh) | 一种混合可变形卷积的行人再识别方法 | |
| CN110175615B (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
| CN105654122B (zh) | 基于核函数匹配的空间金字塔物体识别方法 | |
| CN108154133B (zh) | 基于非对称联合学习的人脸画像-照片识别方法 | |
| CN108932518B (zh) | 一种基于视觉词袋模型的鞋印图像特征提取及检索方法 | |
| CN111709313A (zh) | 基于局部和通道组合特征的行人重识别方法 | |
| CN113269224A (zh) | 一种场景图像分类方法、系统及存储介质 | |
| CN110598746A (zh) | 一种基于ode求解器自适应的场景分类方法 | |
| CN114842264A (zh) | 一种基于多尺度空谱特征联合学习的高光谱图像分类方法 | |
| CN110287798B (zh) | 基于特征模块化和上下文融合的矢量网络行人检测方法 | |
| CN110349170B (zh) | 一种全连接crf级联fcn和k均值脑肿瘤分割算法 | |
| Tereikovskyi et al. | The method of semantic image segmentation using neural networks | |
| CN116012653A (zh) | 一种注意力残差单元神经网络高光谱图像分类方法及系统 | |
| CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 | |
| CN113505719A (zh) | 基于局部-整体联合知识蒸馏算法的步态识别模型压缩系统及方法 | |
| CN113505856A (zh) | 一种高光谱影像无监督自适应分类方法 | |
| CN105825215A (zh) | 一种基于局部近邻嵌入核函数的仪表定位方法及其使用载体 | |
| CN113205026A (zh) | 一种基于Faster RCNN深度学习网络改进的车型识别方法 | |
| CN112668662A (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |