CN113222041B - 图结构表征的高阶关联发现细粒度图像识别方法及装置 - Google Patents
图结构表征的高阶关联发现细粒度图像识别方法及装置 Download PDFInfo
- Publication number
- CN113222041B CN113222041B CN202110567940.9A CN202110567940A CN113222041B CN 113222041 B CN113222041 B CN 113222041B CN 202110567940 A CN202110567940 A CN 202110567940A CN 113222041 B CN113222041 B CN 113222041B
- Authority
- CN
- China
- Prior art keywords
- matrix
- network
- order
- vector
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000013598 vector Substances 0.000 claims abstract description 209
- 238000011176 pooling Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 196
- 238000010586 diagram Methods 0.000 claims description 62
- 238000013528 artificial neural network Methods 0.000 claims description 55
- 238000013507 mapping Methods 0.000 claims description 34
- 230000008447 perception Effects 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 12
- 238000012512 characterization method Methods 0.000 abstract description 10
- 238000003860 storage Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 10
- 230000002776 aggregation Effects 0.000 description 8
- 238000004220 aggregation Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 241000894007 species Species 0.000 description 6
- 230000008034 disappearance Effects 0.000 description 4
- 238000004880 explosion Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 241000009328 Perro Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种图结构表征的高阶关联发现细粒度图像识别方法及装置,其中方法包括:将待分类图像输入具有多个阶段的卷积神经网络特征提取器,提取最后一个阶段的两层网络特征图,根据网络特征图,构建混合高阶注意力模块,并根据混合高阶注意力模块形成高阶特征向量池,将向量池中的每一个向量作为节点,并利用高阶特征间的语义相似性,分组形成代表性向量节点,对代表性向量节点进行全局池化,得到分类向量,并基于分类向量,通过全连接层和分类器得到细粒度分类结果,无需依赖额外的部件特征提取网络,实现对图像特征的快速准确提取,利用图像自身信息构建图像特征间的关联关系,得到细粒度特征的精细表征,提高图像的识别效果。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图结构表征的高阶关联发现细粒度图像识别方法及装置。
背景技术
图像细粒度识别是根据大量细粒度分类类别和算法识别将输入的图像进行归纳分类的一种技术。该技术可广泛应用于互联网分析、人脸验证、行人识别以及智慧城市等各个领域中。
目前,大多数的图像细粒度识别都是倾向于利用区域特征,或部件级表征,来增强图像的识别效果。但这类方法需要依赖额外的部件特征提取网络,而部件提取到的特征容易存在不稳定表征,影响图像识别效果。
发明内容
本发明实施例提供一种图结构表征的高阶关联发现细粒度图像识别方法及装置,无需依赖额外的部件特征提取网络,通过单阶段的网络表征,实现对图像特征的快速准确提取,提高图像识别效果。
第一方面,本发明实施例提供一种图结构表征的高阶关联发现细粒度图像识别方法,所述方法包括:
将待分类图像输入具有多个阶段的卷积神经网络特征提取器,提取最后一个阶段的两层网络特征图Xi与Yi;
根据所述网络特征图Xi与Yi,构建空间门控网络增强的混合高阶注意力模块,并根据所述混合高阶注意力模块形成高阶特征向量池;
将所述高阶特征向量池中的每一个向量作为节点,构建图神经网络,并利用高阶特征间的语义相似性,分组形成代表性向量节点;
对所述代表性向量节点进行全局池化,得到分类向量,并基于所述分类向量,通过全连接层和分类器得到细粒度分类结果。
可选的,根据所述网络特征图Xi与Yi,构建空间门控网络增强的混合高阶注意力模块,并根据所述混合高阶注意力模块形成高阶特征向量池,包括:
根据所述网络特征图Xi与Yi,构建所述混合高阶注意力模块对应的注意力感知矩阵Pi;
将所述位置关联矩阵Ei转置后与编码后的网络特征图Yi融合,形成所述高阶特征向量池。
可选的,根据所述网络特征图Xi与Yi,构建所述混合高阶注意力模块对应的注意力感知矩阵Pi,包括:
对网络特征图Yi进行编码;
根据所述网络特征图Xi的转置和编码后的网络特征图Yi,确定所述混合高阶注意力模块中各位置的注意力感知矩阵Pi:
根据所述空间感知高阶矩阵,构建所述位置关联矩阵Ei:
可选的,将所述位置关联矩阵Ei转置后与编码后的网络特征图Yi融合,形成所述高阶特征向量池,包括:
其中,CN表示元素个数,C表示每个向量的维度。
可选的,将所述高阶特征向量池中的每一个向量作为节点,构建图神经网络,并利用高阶特征将的语义相似性,分组形成代表性向量节点,包括:
将所述高阶特征向量池中的每个向量作为一个节点,构建第一图神经网络,并根据语义相似性,构建邻接矩阵,提取图嵌入特征矩阵;
根据第二图神经网络,确定从高维节点到低维节点的分组映射规则;
根据所述分组映射规则以及所述图嵌入特征矩阵对节点进行分组,得到所述代表性向量节点。
可选的,将所述高阶特征向量池中的每个向量作为一个节点,构建第一图神经网络,并根据语义相似性,构建邻接矩阵,得到图嵌入特征矩阵,包括:
将向量池中的向量分解成CN个维度为C的向量组合,以每个C维度的向量作为一个特征节点,构建所述第一图神经网络的第一邻接矩阵Ai,j:
其中,Ai,j表示为第i个节点与j个节点之间的连接关系,τ(xi)表示为对向量池中的向量xi做τ编码;
根据所述第二邻接矩阵,构建似然度约束的图融合算法,得到图嵌入特征矩阵H:
可选的,根据第二图神经网络,确定从高维节点到低维节点的分组映射规则,包括:
其中,从高维节点到低维节点的分组映射规则矩阵G为:
可选的,根据所述分组映射规则以及所述图嵌入特征矩阵对节点进行分组,得到所述代表性向量节点,包括:
根据所述分组映射规则,将卷积后的图嵌入特征矩阵H聚类为Cr个节点的新图,形成所述代表性向量节点Z:
第二方面,本发明实施例提供一种图结构表征的高阶关联发现细粒度图像识别装置,所述装置包括:
提取模块,用于将待分类图像输入具有多个阶段的卷积神经网络特征提取器,提取最后一个阶段的两层网络特征图Xi与Yi;
第一形成模块,用于根据所述两层网络特征图Xi与Yi,构建空间门控网络增强的混合高阶注意力模块,并根据所述混合高阶注意力模块形成高阶特征向量池;
第二形成模块,用于将所述高阶特征向量池中的每一个向量作为节点,构建图神经网络,并利用高阶特征间的语义相似性,分组形成代表性向量节点;
得到模块,用于对所述代表性向量节点进行全局池化,得到分类向量,并基于所述分类向量,通过全连接层和分类器得到细粒度分类结果。
第三方面,本发明实施例提供一种图结构表征的高阶关联发现细粒度图像识别设备,包括:
至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面任一项所述的图结构表征的高阶关联发现细粒度图像识别方法。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时,用于实现如上第一方面任一项所述的图结构表征的高阶关联发现细粒度图像识别方法。
第五方面,本发明实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上第一方面任一项所述的图结构表征的高阶关联发现细粒度图像识别方法。
本发明实施例提供的图结构表征的高阶关联发现细粒度图像识别方法及装置,将待分类图像输入具有多个阶段的卷积神经网络特征提取器,提取最后一个阶段的两层网络特征图Xi与Yi,根据所述网络特征图Xi与Yi,构建空间门控网络增强的混合高阶注意力模块,并根据所述混合高阶注意力模块形成高阶特征向量池,将所述高阶特征向量池中的每一个向量作为节点,构建图神经网络,并利用高阶特征间的语义相似性,分组形成代表性向量节点,对所述代表性向量节点进行全局池化,得到分类向量,并基于所述分类向量,通过全连接层和分类器得到细粒度分类结果,选取分辨率较低的最后一阶段的特征图,降低了网络输出对于位移和变形的敏感程度,构建混合高阶注意力模块可增强特征的聚合,通过构建门控网络,可以学习跨度相对较长的依赖关系,避免出现梯度消失和梯度爆炸的问题,通过对节点进行分组形成代表性向量节点,可将相似的节点划分为一组,缩短计算时间,无需依赖额外的部件特征提取网络,通过单阶段的网络表征,实现对图像特征的快速准确提取,利用图像自身信息构建图像特征间的关联关系,得到细粒度特征的精细表征,提高图像的识别效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1为本发明实施例提供的一种应用场景示意图;
图2为本发明实施例提供的一种图结构表征的高阶关联发现细粒度图像识别方法的流程示意图;
图3为本发明实施例提供的一种构建高阶特征向量池的原理示意图;
图4为本发明实施例提供的一种图结构表征的高阶关联发现细粒度图像识别方法的原理示意图;
图5为本发明实施例提供的一种图结构表征的高阶关联发现细粒度图像识别装置的结构示意图;
图6为本发明实施例提供的一种图结构表征的高阶关联发现细粒度图像识别设备的结构示意图。
通过上述附图,已示出本发明明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
下面以具体地实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
下面对本发明实施例提供的一种应用场景进行解释:本发明实施例提供的方案,涉及到图像细粒度识别。传统的图像识别一般都是识别植物,动物等不同类别物种,而图像细粒度识别则可以识别同一类物体下的不同子类,进而可应用于国防军事、电影制作以及公共安全等领域的计算机视觉系统,具有广泛的应用前景。
在一些技术中,由某企业提出了一种循环注意力引导的卷积神经网络,通过一个细分类的子网络与一个注意力候选网络,利用分类标注的差异性,逐步探索出对分类影响更大的区域。方法最终通过多级网络模块融合与概率分布差异探究出有效区分的区域特征,并与全局特征进行融合,提升了细粒度的分类准确率。该方法需要额外的图像部件标注信息,但额外的图像部件标注信息具有不准确性,可能会影响图像的识别效果。
在另一些技术中,由某高校提出了一种基于显著区域的采样结构,通过在通用模型中嵌入改进的网络层,实现对显著区域的精确理解。算法利用显著区域特征,将预测到的区域使用网格化变形,得到冲采样后的高分辨率图像,将其与传统分类特征融合,实现对区域细节的高精度分类。但该方法需要依赖额外部的特征提取网络,而部件提取到的特征容易存在不稳定表征,影响图像识别效果。
因此,本发明的实施例提供了一种图结构表征的高阶关联发现细粒度图像识别方法,在深度网络多特征提取的基础上,使用网络门控增强的混合高阶模式,构建高阶特征向量池,并在此基础上,使用语义分组约束的图网络结构,将该高维表征分组降维,得到精简化的低维表征,并最终通过可学习的残差分类器进行分类操作,无需依赖额外的部件特征提取网络,通过单阶段的网络表征,实现对图像特征的快速准确提取,并利用图像自身信息构建图像特征间的关联关系,实现细粒度特征的精细表征,提高图像的识别效果。
图1为本发明实施例提供的一种应用场景示意图。如图1所示,将一图像信息为物种狗的动物图像输入到已训练好的模型中,经过一系列的计算过程,输出该图像为哈士奇的概率最大,因此判别图像中狗的物种为哈士奇。
下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图2为本发明实施例提供的一种图结构表征的高阶关联发现细粒度图像识别方法的流程示意图。如图2所示,本实施例中的方法可以包括:
步骤201、将待分类图像输入具有多个阶段的卷积神经网络特征提取器,提取最后一个阶段的两层网络特征图Xi与Yi。
其中,多个阶段可以为四个阶段。卷积网络特征提取器可以采用不同架构的ResNet以及多种变体网络,例如ResNeXt和SE-Net等。网络特征图又可以称为跨层特征。
可选的,每一阶段的网络特征图的分辨率可以不同,越到后面其网络特征图的分辨率逐渐降低。
可利用卷积神经网络特征提取器对待分类图像提取特征主干网络,提取最后一阶段的两层网络特征图Xi与Yi。可选的,可以提取最后一个阶段的倒数第二层和第三层网络特征图。可选的,最后一阶段的网络特征图Xi与Yi的长宽可以是原待分类图像长宽的1/32,通道数为2048。例如,当输入的图像的长宽的维度为32×32时,最后一阶段的特征图的长宽的维度为1×1。
步骤202、根据所述网络特征图Xi与Yi,构建空间门控网络增强的混合高阶注意力模块,并根据所述混合高阶注意力模块形成高阶特征向量池。
其中,门控网络,又可称为门控机制,用来控制神经网络中信息的传递,即有多少信息需要保留有多少信息需要舍弃。门控网络是在训练过程中,学习到的一种空间融合权重。
由网络特征图Xi与Yi,可构建混合高阶注意力模块,并通过门控网络增强的高阶注意力模块,可形成高阶特征向量池,实现细粒度表征模式。
步骤203、将所述高阶特征向量池中的每一个向量作为节点,构建图神经网络,并利用高阶特征间的语义相似性,分组形成代表性向量节点。
通过将高阶特征向量池中的每一个向量作为节点,得到与高阶特征向量池中的向量数量相同的节点,并构建图神经网络,得到各个节点的连接关系,利用高阶特征间的语义相似性,根据语义相似性的似然度进行图学习和融合,将具有关联关系的节点聚合到一起,并分组形成代表性向量节点。
步骤204、对所述代表性向量节点进行全局池化,得到分类向量,并基于所述分类向量,通过全连接层和分类器得到细粒度分类结果。
可选的,全局池化可以分为全局最大池化和全局均值池化,全局最大池化为选取特征图中的最大值,全局均值池化为选取特征图中的平均值。
将代表性向量节点进行全局池化,可得到分类向量,全连接层和分类器可以根据分类向量中的各特征存在的概率大小,得到最终的细粒度分类结果。其中,某一特征的概率越大时,该图像可认为是该特征的表征。
所述图结构表征的高阶关联发现细粒度图像识别方法的模型可以是预先训练好的模型。具体地,可以使用具体的动物或植物图像对图结构表征的高阶关联发现细粒度图像识别方法的模型参数进行训练,每一训练样本为具体的物种种类,目标变量可以是得到该物种种类的概率为最大值。在训练过程中可调节模型中的变量,得到最符合实际的结果。在得到训练好的模型后,可以基于训练好的模型判断某一图像具体为哪种物种。
本实施例提供的图结构表征的高阶关联发现细粒度图像识别方法,将待分类图像输入具有多个阶段的卷积神经网络特征提取器,提取最后一个阶段的两层网络特征图Xi与Yi,根据所述网络特征图Xi与Yi,构建空间门控网络增强的混合高阶注意力模块,并根据所述混合高阶注意力模块形成高阶特征向量池,将所述高阶特征向量池中的每一个向量作为节点,构建图神经网络,并利用高阶特征间的语义相似性,分组形成代表性向量节点,对所述代表性向量节点进行全局池化,得到分类向量,并基于所述分类向量,通过全连接层和分类器得到细粒度分类结果,选取分辨率较低的最后一阶段的特征图,降低了网络输出对于位移和变形的敏感程度,构建混合高阶注意力模块可增强特征的聚合,通过构建门控网络,可以学习跨度相对较长的依赖关系,避免出现梯度消失和梯度爆炸的问题,通过对节点进行分组形成代表性向量节点,可将相似的节点划分为一组,缩短计算时间,无需依赖额外的部件特征提取网络,通过单阶段的网络表征,实现对图像特征的快速准确提取,利用图像自身信息构建图像特征间的关联关系,得到细粒度特征的精细表征,提高图像的识别效果。
在上述实施例提供的技术方案的基础上,可选的,根据所述网络特征图Xi与Yi,构建空间门控网络增强的混合高阶注意力模块,并根据所述混合高阶注意力模块形成高阶特征向量池,包括:
根据所述网络特征图Xi与Yi,构建所述混合高阶注意力模块对应的注意力感知矩阵Pi;将根据所述注意力感知矩阵Pi和所述网络特征图Xi得到的空间感知高阶矩阵门控网络和所述网络特征图Xi进行融合,得到位置关联矩阵Ei;将所述位置关联矩阵Ei转置后与编码后的网络特征图Yi融合,形成所述高阶特征向量池。
其中,空间感知高阶矩阵,又称为空间关联构建,由两层网络特征图构建得到。位置关联矩阵,又称为增强后的特征矩阵。
通过构建注意力感知矩阵、门控网络以及位置关联矩阵,形成高阶特征向量池,可增强特征聚合,避免梯度消失或梯度爆炸的情况,对各评价要素在总体评价中的作用进行了区别对待。
可选的,根据所述网络特征图Xi与Yi,构建所述混合高阶注意力模块对应的注意力感知矩阵Pi,包括:
对网络特征图Yi进行编码;根据所述网络特征图Xi的转置和编码后的网络特征图Yi,确定所述混合高阶注意力模块中各位置的注意力感知矩阵Pi:
其中C可以为通道数,如2048。
根据所述空间感知高阶矩阵,构建所述位置关联矩阵Ei:
通过学习门控网络,选取合适的信息进行处理,实现对学习跨度较长的依赖关系,避免出现梯度消失和梯度爆炸的问题。
可选的,将所述位置关联矩阵Ei转置后与编码后的网络特征图Yi融合,形成所述高阶特征向量池,包括:
其中,CN表示元素个数,C表示每个向量的维度。
通过构建高阶特征向量池,得到原图像的细粒度表征,将图像中的细粒度特征提取出来,以便于对图像的识别。
图3为本发明实施例提供的一种构建高阶特征向量池的原理示意图。如图3所示,T表示转置,网络特征图Xi转置后与编码后的网络特征图Yi矩阵相乘,进行处理,得到维度为WH×WH的注意力矩阵Pi。注意力矩阵Pi通过学习门控网络得到自适应融合参数,利用网络特征图Xi转置后与注意力矩阵Pi相乘,构建出高阶特征再与门控网络相乘,与网络特征图Xi相加,得到位置关联矩阵Ei。
可选的,将所述高阶特征向量池中的每一个向量作为节点,构建图神经网络,并利用高阶特征将的语义相似性,分组形成代表性向量节点,包括:
将所述高阶特征向量池中的每个向量作为一个节点,构建第一图神经网络,并根据语义相似性,构建邻接矩阵,提取图嵌入特征矩阵;构建第二图神经网络,确定从高维节点到低维节点的分组映射规则;根据所述分组映射规则以及所述图嵌入特征矩阵对节点进行分组,得到所述代表性向量节点。
可选的,可将高阶特征向量池中的每个向量作为一个节点,构建第一图神经网络,并根据语义相似性,构建邻接矩阵,提取图嵌入特征。再使用第二图神经网络,学习从高维节点到低维节点的分组映射规则,根据分组映射规则和图嵌入特征对节点进行分组,得到代表性向量节点。
通过对高阶特征向量池中的节点进行分组降维,将相似性较高的节点归为一类,提高计算效率。
可选的,将所述高阶特征向量池中的每个向量作为一个节点,构建第一图神经网络,并根据语义相似性,构建邻接矩阵,得到图嵌入特征矩阵,包括:
将向量池中的向量分解成CN个维度为C的向量组合,以每个C维度的向量作为一个特征节点,构建所述第一图神经网络的第一邻接矩阵Ai,j:
其中,Ai,j表示为第i个节点与j个节点之间的连接关系,τ(xi)表示为对向量池中的向量xi做τ编码;
根据所述第二邻接矩阵,构建似然度约束的图融合算法,得到图嵌入特征矩阵H:
其中,当第一邻接矩阵中的元素Ai,j为1时,表示节点i和节点j具有连接关系,为0时,表示节点i和节点j没有连接关系。τ(xi)表示为对向量池中的向量xi做τ编码,也就是对向量池中的向量xi进行1×1卷积,用于对特征作线性变换。为对角矩阵,操作为对矩阵按照列方向求和,元素和置于矩阵对角线位置。为在训练过程中得到的可学习参数。
通过构建第一图神经网络模型,构建邻接矩阵,提取图嵌入特征矩阵,得到各节点的连接关系以及相似性关系。
可选的,构建第二图神经网络,确定从高维节点到低维节点的分组映射规则,包括:
其中,从高维节点(CN个节点)到低维节点(Cr个节点)的分组映射规则矩阵G为:
可选的,预设的向量节点可以是提前设定好的,是高阶特征向量池中节点的几分之几。例如,高阶特征向量池中的节点为8个,设定r=2,则高阶特征向量池中的节点个数变为原来的1/2,在通过第二图神经网络作用后,得到4个节点。若高阶特征向量池中的节点为9个,设定r=2,则高阶特征向量池中的节点个数变为原来的1/2,在通过第二图神经网络作用取整后,仍得到4个节点。
通过将高阶向量池中的节点进行降维处理,将语义相近的节点归为一类,减少数据维度和需要的存储空间。
可选的,根据所述分组映射规则以及所述图嵌入特征矩阵对节点进行分组,得到所述代表性向量节点,包括:
根据所述分组映射规则,将卷积后的图嵌入特征矩阵H聚类为Cr个节点的新图,形成所述代表性向量节点Z:
通过将维度C降为维度CN,在分别对CN×C中维度CN降为维度dh,维度C降为维度Cr,实现高维节点到低维节点的降维,有效缓解了高维空间的优化困难问题,节约模型训练计算时间,提高算法的准确度。
将分组降维后的代表性向量节点Z取得最大或平均池化操作,并与图嵌入特征矩阵H做残差链接,得到优化后的特征优化后的特征经过一个全连接层网络和分类器,得到最后的细粒度图像分类概率。概率最高的分类类别即为细粒度分类结果。
本发明实施例中,前述各部分的可学习参数、可学习权重等可以通过训练过程来确定。具体训练方法的实现原理可以参照常规的模型训练原理,此处不再赘述。
图4为本发明实施例提供的一种图结构表征的高阶关联发现细粒度图像识别方法的原理示意图。如图4所示:
步骤401、图像跨层特征提取。
输入图像,利用卷积神经网络特征提取器对图像的主干网络进行提取,提取最后一个阶段的倒数第二层与第三层特征网络图Xi与Yi。其中,特征网络图Xi与Yi的维度是W×H×C,W表示特征网络图宽的维度,H表示特征网络图高的维度,C表示特征网络图通道的维度。对特征网络图Yi进行1×1卷积,得到编码后的特征网络图Yi。
步骤402、高阶关联构建。
根据网络特征图Xi的转置和编码后的网络特征图Yi,实现空间关联构建,确定维度为WH×WH的注意力感知矩阵Pi,将注意力感知矩阵Pi与所述网络特征图Xi的转置进行矩阵乘法,得到所述空间感知高阶矩阵再与门控网络构建确定位置关联矩阵Ei,将所述位置关联矩阵Ei转置变形后与编码后的跨层矩阵Yi作用,并在WH维度取平均化,得到维度为的高阶特征模块,从而得到高阶特征向量池
步骤403、语义图关联聚合。
将高阶特征向量池中的向量分解成CN个维度为C的向量组合,以每个C维度的向量作为一个特征节点,根据第一图神经网络利用节点嵌入,得到第一邻接矩阵Ai,j,对所述第一邻接矩阵Ai,j添加自环操作,得到第二邻接矩阵根据所述第二邻接矩阵,构建似然度约束的图融合算法,得到节点数为CN的图嵌入特征矩阵H,再根据分组映射规则G,将卷积后的图嵌入特征矩阵H映射为Cr个节点数的特征网络图,再利用特征聚合形成1×1×C,得到dh个维度为Cr的选择性特征,也就是代表性向量节点Z。
步骤404、分类特征输出。
将分组降维后的代表性向量节点Z取得最大或平均池化操作,并与图嵌入特征矩阵H做残差聚合,得到优化后的特征其维度为1×1×Cr。再经过一个全连接层网络和分类器,得到维度为1×1×N的特征。利用SoftMax函数选取某一特征的概率,得到最后的预测结果。
图5为本发明实施例提供的一种图结构表征的高阶关联发现细粒度图像识别装置的结构示意图。如图5所示,本实施例提供的图结构表征的高阶关联发现细粒度图像识别装置,可以包括:
提取模块501,用于将待分类图像输入具有多个阶段的卷积神经网络特征提取器,提取最后一个阶段的两层网络特征图Xi与Yi;
第一形成模块502,用于根据所述两层网络特征图Xi与Yi,构建空间门控网络增强的混合高阶注意力模块,并根据所述混合高阶注意力模块形成高阶特征向量池;
第二形成模块503,用于将所述高阶特征向量池中的每一个向量作为节点,构建图神经网络,并利用高阶特征间的语义相似性,分组形成代表性向量节点;
得到模块504,用于对所述代表性向量节点进行全局池化,得到分类向量,并基于所述分类向量,通过全连接层和分类器得到细粒度分类结果。
可选的,所述第一形成模块502具体用于:
根据所述网络特征图Xi与Yi,构建所述混合高阶注意力模块对应的注意力感知矩阵Pi;
将所述位置关联矩阵Ei转置后与编码后的网络特征图Yi融合,形成所述高阶特征向量池。
可选的,所述第一形成模块502在根据所述网络特征图Xi与Yi,构建所述混合高阶注意力模块对应的注意力感知矩阵Pi时,具体用于:
对网络特征图Yi进行编码;
根据所述网络特征图Xi的转置和编码后的网络特征图Yi,确定所述混合高阶注意力模块中各位置的注意力感知矩阵Pi:
根据所述空间感知高阶矩阵,构建所述位置关联矩阵Ei:
可选的,所述第一形成模块502在将所述位置关联矩阵Ei转置后与编码后的网络特征图Yi融合,形成所述高阶特征向量池时,具体用于:
其中,CN表示元素个数,C表示每个向量的维度。
可选的,所述第二形成模块503具体用于:
将所述高阶特征向量池中的每个向量作为一个节点,构建第一图神经网络,并根据语义相似性,构建邻接矩阵,提取图嵌入特征矩阵;
根据第二图神经网络,确定从高维节点到低维节点的分组映射规则;
根据所述分组映射规则以及所述图嵌入特征矩阵对节点进行分组,得到所述代表性向量节点。
可选的,所述第二形成模块503在将所述高阶特征向量池中的每个向量作为一个节点,构建第一图神经网络,并根据语义相似性,构建邻接矩阵,得到图嵌入特征矩阵时,具体用于:
将向量池中的向量分解成CN个维度为C的向量组合,以每个C维度的向量作为一个特征节点,构建所述第一图神经网络的第一邻接矩阵Ai,j:
其中,Ai,j表示为第i个节点与j个节点之间的连接关系,τ(xi)表示为对向量池中的向量xi做τ编码;
根据所述第二邻接矩阵,构建似然度约束的图融合算法,得到图嵌入特征矩阵H:
可选的,所述第二形成模块503在根据第二图神经网络,确定从高维节点到低维节点的分组映射规则时,具体用于:
其中,从高维节点到低维节点的分组映射规则矩阵G为:
可选的,所述第二形成模块503在根据所述分组映射规则以及所述图嵌入特征矩阵对节点进行分组,得到所述代表性向量节点时,具体用于:
根据所述分组映射规则,将卷积后的图嵌入特征矩阵H聚类为Cr个节点的新图,形成所述代表性向量节点Z:
本实施例提供的装置可以执行如图1-图4所示的方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图6为本发明实施例提供的一种图结构表征的高阶关联发现细粒度图像识别设备的结构示意图。如图6所示,本实施例提供的设备,可以包括:至少一个处理器61和存储器62;
所述存储器62存储计算机执行指令;
所述至少一个处理器61执行所述存储器62存储的计算机执行指令,使得所述至少一个处理器61执行上述任一实施例所述的方法。
其中,存储器62和处理器61可以通过总线63连接。
本实施例提供的设备的具体实现原理和效果可以参见图1-图4所示实施例对应的相关描述和效果,此处不做过多赘述。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现本发明任一实施例提供的图结构表征的高阶关联发现细粒度图像识别方法。
本发明实施例还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本发明任一实施例所述的图结构表征的高阶关联发现细粒度图像识别方法。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本发明各个实施例所述方法的部分步骤。
应理解,上述处理器可以是中央处理单元(Central Processing Unit,简称CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture,简称ISA)总线、外部设备互连(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本发明附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求书指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种图结构表征的高阶关联发现细粒度图像识别方法,其特征在于,包括:
将待分类图像输入具有多个阶段的卷积神经网络特征提取器,提取最后一个阶段的两层网络特征图Xi与Yi;
根据所述网络特征图Xi与Yi,构建空间门控网络增强的混合高阶注意力模块,并根据所述混合高阶注意力模块形成高阶特征向量池;
将所述高阶特征向量池中的每一个向量作为节点,构建图神经网络,并利用高阶特征间的语义相似性,分组形成代表性向量节点;
对所述代表性向量节点进行全局池化,得到分类向量,并基于所述分类向量,通过全连接层和分类器得到细粒度分类结果。
6.根据权利要求1所述的方法,其特征在于,将所述高阶特征向量池中的每一个向量作为节点,构建图神经网络,并利用高阶特征将的语义相似性,分组形成代表性向量节点,包括:
将所述高阶特征向量池中的每个向量作为一个节点,构建第一图神经网络,并根据语义相似性,构建邻接矩阵,提取图嵌入特征矩阵;
根据第二图神经网络,确定从高维节点到低维节点的分组映射规则;
根据所述分组映射规则以及所述图嵌入特征矩阵对节点进行分组,得到所述代表性向量节点。
7.根据权利要求6所述的方法,其特征在于,将所述高阶特征向量池中的每个向量作为一个节点,构建第一图神经网络,并根据语义相似性,构建邻接矩阵,得到图嵌入特征矩阵,包括:
将向量池中的向量分解成CN个维度为C的向量组合,以每个C维度的向量作为一个特征节点,构建所述第一图神经网络的第一邻接矩阵Ai,j:
其中,Ai,j表示为第i个节点与j个节点之间的连接关系,τ(xi)表示为对向量池中的向量xi做τ编码;
根据所述第二邻接矩阵,构建似然度约束的图融合算法,得到图嵌入特征矩阵H:
10.一种图结构表征的高阶关联发现细粒度图像识别装置,其特征在于,包括:
提取模块,用于将待分类图像输入具有多个阶段的卷积神经网络特征提取器,提取最后一个阶段的两层网络特征图Xi与Yi;
第一形成模块,用于根据所述两层网络特征图Xi与Yi,构建空间门控网络增强的混合高阶注意力模块,并根据所述混合高阶注意力模块形成高阶特征向量池;
第二形成模块,用于将所述高阶特征向量池中的每一个向量作为节点,构建图神经网络,并利用高阶特征间的语义相似性,分组形成代表性向量节点;
得到模块,用于对所述代表性向量节点进行全局池化,得到分类向量,并基于所述分类向量,通过全连接层和分类器得到细粒度分类结果。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110567940.9A CN113222041B (zh) | 2021-05-24 | 2021-05-24 | 图结构表征的高阶关联发现细粒度图像识别方法及装置 |
US17/546,993 US20220382553A1 (en) | 2021-05-24 | 2021-12-09 | Fine-grained image recognition method and apparatus using graph structure represented high-order relation discovery |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110567940.9A CN113222041B (zh) | 2021-05-24 | 2021-05-24 | 图结构表征的高阶关联发现细粒度图像识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113222041A CN113222041A (zh) | 2021-08-06 |
CN113222041B true CN113222041B (zh) | 2022-06-07 |
Family
ID=77098346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110567940.9A Active CN113222041B (zh) | 2021-05-24 | 2021-05-24 | 图结构表征的高阶关联发现细粒度图像识别方法及装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220382553A1 (zh) |
CN (1) | CN113222041B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11511772B2 (en) * | 2021-04-30 | 2022-11-29 | Deepx Co., Ltd. | NPU implemented for artificial neural networks to process fusion of heterogeneous data received from heterogeneous sensors |
CN113762251B (zh) * | 2021-08-17 | 2024-05-10 | 慧影医疗科技(北京)股份有限公司 | 一种基于注意力机制的目标分类方法及系统 |
CN113642515B (zh) * | 2021-08-30 | 2023-11-24 | 北京航空航天大学 | 基于姿态关联的行人识别方法与装置、电子设备和介质 |
US11948358B2 (en) * | 2021-11-16 | 2024-04-02 | Adobe Inc. | Self-supervised hierarchical event representation learning |
CN116246331B (zh) * | 2022-12-05 | 2024-08-16 | 苏州大学 | 一种圆锥角膜自动分级方法、装置及存储介质 |
CN116030014B (zh) * | 2023-01-06 | 2024-04-09 | 浙江伟众科技有限公司 | 空调软硬管的智能化加工方法及其系统 |
CN116189275B (zh) * | 2023-02-13 | 2024-01-30 | 南通大学 | 一种基于面部地标热图的线上考试监考方法 |
CN116384448B (zh) * | 2023-04-10 | 2023-09-12 | 中国人民解放军陆军军医大学 | 基于混合高阶非对称卷积网络的cd严重程度分级系统 |
CN116468699B (zh) * | 2023-04-23 | 2024-06-07 | 浙江酷趣网络科技有限公司杭州分公司 | 随光强弱变色的面料的智能化生产系统及其方法 |
CN116659043A (zh) * | 2023-05-24 | 2023-08-29 | 碳次方(河南)科技有限责任公司 | 可减少碳排放的绿色建筑结构的控制系统及其方法 |
CN116393188B (zh) * | 2023-06-08 | 2024-02-27 | 杭州华得森生物技术有限公司 | 适用于循环肿瘤细胞捕捉的微流控芯片及其方法 |
CN117539149B (zh) * | 2023-11-08 | 2024-08-09 | 阿拉善盟众鑫新材料砂产业发展有限公司 | 石英砂超声波清洗控制系统及其方法 |
CN117272244B (zh) * | 2023-11-21 | 2024-03-15 | 中国石油大学(华东) | 一种融合特征提取和自适应构图的软测量建模方法 |
CN117708706B (zh) * | 2024-02-06 | 2024-05-28 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种端到端特征增强与选择的乳腺肿瘤分类方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
CN110751212A (zh) * | 2019-10-21 | 2020-02-04 | 南京大学 | 一种移动设备上高效的细粒度图像识别方法 |
US20200160124A1 (en) * | 2017-07-19 | 2020-05-21 | Microsoft Technology Licensing, Llc | Fine-grained image recognition |
-
2021
- 2021-05-24 CN CN202110567940.9A patent/CN113222041B/zh active Active
- 2021-12-09 US US17/546,993 patent/US20220382553A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200160124A1 (en) * | 2017-07-19 | 2020-05-21 | Microsoft Technology Licensing, Llc | Fine-grained image recognition |
CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
CN110751212A (zh) * | 2019-10-21 | 2020-02-04 | 南京大学 | 一种移动设备上高效的细粒度图像识别方法 |
Non-Patent Citations (4)
Title |
---|
"DISENTANGLING THE RESPONSE OF VAGETATION TO RAINFALL ANOMALIES FOR DROUGHT EVALUATION OVER THE INDUS BASIN";Jie Zhou 等;《IEEE》;20210217;全文 * |
"一种基于视图分类的3维模型检索方法";万丽莉 等;《中国图象图形学报》;20070331;全文 * |
"基于动作图的视角无关动作识别";杨跃东 等;《Journal of Software》;20090609;全文 * |
"虚拟现实技术研究进展";赵沁平 等;《科技导报》;20161231;全文 * |
Also Published As
Publication number | Publication date |
---|---|
US20220382553A1 (en) | 2022-12-01 |
CN113222041A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113222041B (zh) | 图结构表征的高阶关联发现细粒度图像识别方法及装置 | |
Zhong et al. | From shallow feature learning to deep learning: Benefits from the width and depth of deep architectures | |
Sultana et al. | A review of object detection models based on convolutional neural network | |
CN107506740B (zh) | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 | |
Yang et al. | Exploit bounding box annotations for multi-label object recognition | |
CN105354307B (zh) | 一种图像内容识别方法及装置 | |
US9811718B2 (en) | Method and a system for face verification | |
CN104598890B (zh) | 一种基于rgb‑d视频的人体行为识别方法 | |
CN111191526B (zh) | 行人属性识别网络训练方法、系统、介质及终端 | |
CN113822209B (zh) | 高光谱图像识别方法、装置、电子设备及可读存储介质 | |
JP7539971B2 (ja) | コンピュートインメモリアレイの列しきい値を調整することによってxnor等価演算を実施すること | |
WO2015192263A1 (en) | A method and a system for face verification | |
CN107292225B (zh) | 一种人脸识别方法 | |
CN103164701B (zh) | 手写体数字识别方法及装置 | |
Yu et al. | Vision‐based traffic accident detection using sparse spatio‐temporal features and weighted extreme learning machine | |
CN115565071A (zh) | 高光谱图像Transformer网络训练及分类方法 | |
CN110489423A (zh) | 一种信息抽取的方法、装置、存储介质及电子设备 | |
CN113822264A (zh) | 一种文本识别方法、装置、计算机设备和存储介质 | |
CN114821340A (zh) | 一种土地利用分类方法及系统 | |
Alhichri et al. | Tile‐Based Semisupervised Classification of Large‐Scale VHR Remote Sensing Images | |
CN115661484A (zh) | 一种轻量级的轮胎花纹分类方法及系统 | |
Dan et al. | PF‐ViT: Parallel and Fast Vision Transformer for Offline Handwritten Chinese Character Recognition | |
CN114494777A (zh) | 一种基于3D CutMix-Transformer的高光谱图像分类方法及系统 | |
Yu et al. | A novel discriminative dictionary pair learning constrained by ordinal locality for mixed frequency data classification | |
Hu et al. | Fully convolutional network variations and method on small dataset |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |