CN106156846B - 卷积神经网络特征的处理方法和装置 - Google Patents
卷积神经网络特征的处理方法和装置 Download PDFInfo
- Publication number
- CN106156846B CN106156846B CN201510144847.1A CN201510144847A CN106156846B CN 106156846 B CN106156846 B CN 106156846B CN 201510144847 A CN201510144847 A CN 201510144847A CN 106156846 B CN106156846 B CN 106156846B
- Authority
- CN
- China
- Prior art keywords
- characteristic pattern
- original image
- layers
- distribution
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种卷积神经网络特征即CNN特征的处理方法和处理装置，用于对将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的M个特征图进行处理，其中M、N均为整数并且M≥1、N≥1。所述处理方法包括：恢复各所述M个特征图在所述原始图像上的空间信息；计算各所述M个特征图在所述原始图像上的分布；提取与所述原始图像中的各元素对应的M维向量；针对所述原始图像中的关注区域，将该关注区域内的所有元素的M维向量相加，以得到与所述关注区域对应的M维向量。本发明能够基于CNN特征得到本身的区分力较强、又具有明确的空间含义的新局部特征，将该新局部特征应用于目标识别与检测，能够大大提高识别和检测精度。
Description
技术领域
本发明属于计算机视觉领域，涉及基于卷积神经网络的图像处理，尤其涉及一种卷积神经网络特征的处理方法和装置。
背景技术
基于卷积神经网络(英文：Convolutional Neural Networks，缩写：CNN)的图像识别、物体检测已经成为目前计算机视觉领域内精度最高的技术。通常，使用卷积神经网络进行图像识别的大致流程包括：首先，用海量图像样本训练用于图像分类或识别的卷积神经网络，学习其参数；当卷积神经网络训练完毕之后，如图1所示，将一幅待识别图像输入该卷积神经网络，经过层层的“卷积”和“降采样(pooling)”得到一系列小的特征图(featuremap)，并通过将这些特征图一维化成为向量之后输入已有分类器(比如SVM，SupportVector Machine，支持向量机)来进行识别。
其中，层层“卷积”和“降采样”将使得最后输出的特征在原始图像上的空间信息丢失了。然而，从以往的经验来看，在进行图像分类、识别、检测等工作时，特征的空间信息是非常重要的。如果能恢复出基于卷积神经网络获得的特征(以下称为卷积神经网络特征，又简写为CNN特征)在原始图像上的空间信息，相关领域的识别、检测精度会得到进一步的提升。因此，有必要恢复CNN特征的空间信息。
现有的工作中，有一些工作致力于恢复CNN特征在原始图像上的空间信息，例如非专利文献1和2、以及本发明人的申请号为201510106624.6的中国发明专利申请。然而，这些工作基本上都是用于观察通过卷积神经网络最终得到的特征与该卷积神经网络结构的关系，而没有利用得到的空间信息来重新组织特征并用于目标识别与检测。
引证文件列表
非专利文献
1、Zeiler,M.,Taylor,G.,and Fergus,R.Adaptive deconvolutional networksfor mid and high level feature learning.In ICCV,2011.
2、Matthew D.Zeiler,Rob Fergus.Visualizing and UnderstandingConvolutional Networks.In ECCV,2014.
发明内容
技术问题
有鉴于此，本发明要解决的技术问题是，如何对CNN特征进行处理，以使得处理后的特征既具有明确的空间含义、又能够保持较高的区分性。
解决方案
根据本发明的一个方面，提供了一种卷积神经网络特征即CNN特征的处理方法，用于对将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的M个特征图进行处理，其中M、N均为整数并且M≥1、N≥1，其特征在于，包括：恢复各所述M个特征图在所述原始图像上的空间信息，以获得所述原始图像中的各元素对各所述M个特征图的贡献度；基于所获得的贡献度计算各所述M个特征图在所述原始图像上的分布；根据所述M个特征图各自在所述原始图像上的分布，提取与所述原始图像中的各元素对应的M维向量；针对所述原始图像中的关注区域，将该关注区域内的所有元素的M维向量相加，以得到与所述关注区域对应的M维向量作为该关注区域的区域描述子。
对于上述CNN特征的处理方法，在一种可能的实现方式中，所述基于所获得的贡献度计算各所述M个特征图在所述原始图像上的分布包括：将所获得的贡献度分别按元素乘以所述原始图像，以得到各所述M个特征图在所述原始图像上的分布。
对于上述CNN特征的处理方法，在一种可能的实现方式中，恢复各所述M个特征图在所述原始图像上的空间信息，包括针对每一特征图分别执行如下步骤：从K等于N开始，依次根据所述特征图在第K层特征图上的分布重建出所述特征图在第K-1层特征图上的分布，其中K为整数并且0＜K≤N，所述特征图在第0层特征图上的分布表示所述特征图在所述原始图像上的空间信息；并且，根据所述特征图在第K层特征图上的分布重建出所述特征图在第K-1层特征图上的分布包括：对所述特征图在第K层特征图上的分布进行去降采样，以得到所述特征图在第K层特征图上的去降采样分布；获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；分别针对每一关注元素执行以下操作：确定关注元素对应的第K-1层特征图中的区域；将所述第K-1层特征图中的该区域内的元素置为与所述关注元素的值相对应的值，并将除该区域之外的其它区域中的元素置为非关注元素的值；就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重以得到所述关注元素在第K-1层特征图上的子分布；其中所述设定权重根据预存储的从第K-1层特征图通过卷积运算得到第K层特征图时所采用的卷积核生成；将所有关注元素各自在第K-1层特征图上的子分布进行叠加以生成所述特征图在第K-1层特征图上的分布。
对于上述CNN特征的处理方法，在一种可能的实现方式中，还包括：将从所述原始图像划分出的X个图像块的所述区域描述子按照预定编码规则进行编码，其中X为整数并且X≥1；根据所述编码规则对X个所述区域描述子进行映射，以得到用于描述所述原始图像的图像描述子。
对于上述CNN特征的处理方法，在一种可能的实现方式中，所述预定编码规则为K均值聚类算法。
根据本发明的另一个方面，提供了一种卷积神经网络特征即CNN特征的处理装置，用于对将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的M个特征图进行处理，其中M、N均为整数并且M≥1、N≥1，其特征在于，包括：空间信息恢复模块，被配置为恢复各所述M个特征图在所述原始图像上的空间信息，以获得所述原始图像中的各元素对各所述M个特征图的贡献度；分布计算模块，与所述空间信息恢复模块连接，被配置为基于所获得的贡献度计算各所述M个特征图在所述原始图像上的分布；特征提取模块，与所述分布计算模块连接，被配置为根据所述M个特征图各自在所述原始图像上的分布，提取与所述原始图像中的各元素对应的M维向量；区域描述子提取模块，与所述特征提取模块连接，被配置为针对所述原始图像中的关注区域，将该关注区域内的所有元素的M维向量相加，以得到与所述关注区域对应的M维向量作为该关注区域的区域描述子。
对于上述CNN特征的处理装置，在一种可能的实现方式中，所述分布计算模块被配置为将所获得的贡献度分别按元素乘以所述原始图像，以得到各所述M个特征图在所述原始图像上的分布。
对于上述CNN特征的处理装置，在一种可能的实现方式中，所述空间信息恢复模块被配置为针对每一特征图分别执行如下步骤：从K等于N开始，依次根据所述特征图在第K层特征图上的分布重建出所述特征图在第K-1层特征图上的分布，其中K为整数并且0＜K≤N，所述特征图在第0层特征图上的分布表示所述特征图在所述原始图像上的空间信息；并且，所述空间信息恢复模块包括：去降采样单元，被配置为对所述特征图在第K层特征图上的分布进行去降采样，以得到所述特征图在第K层特征图上的去降采样分布；重建单元，与所述去降采样单元连接，并且被配置为，获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；分别针对每一关注元素执行以下操作：确定关注元素对应的第K-1层特征图中的区域；将所述第K-1层特征图中的该区域内的元素置为与所述关注元素的值相对应的值，并将除该区域之外的其它区域中的元素置为非关注元素的值；就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重以得到所述关注元素在第K-1层特征图上的子分布；其中所述设定权重根据预存储的从第K-1层特征图通过卷积运算得到第K层特征图时所采用的卷积核生成；加法单元，与所述重建单元以及所述去降采样单元连接，被配置为将通过所述重建单元获得的所有关注元素各自在第K-1层特征图上的子分布进行叠加，并将相加所得到的结果作为所述特征图在第K-1层特征图上的分布输出至所述去降采样单元。
对于上述CNN特征的处理装置，在一种可能的实现方式中，还包括：编码模块，被配置为将从所述原始图像划分出的X个图像块的所述区域描述子按照预定编码规则进行编码，其中X为整数并且X≥1；映射模块，与所述编码模块连接，被配置为根据所述编码规则对X个所述区域描述子进行映射，以得到用于描述所述原始图像的图像描述子。
对于上述CNN特征的处理装置，在一种可能的实现方式中，所述预定编码规则为K均值聚类算法。
有益效果
本发明提供了一种CNN特征的处理方法和装置，能够基于CNN特征得到本身的区分力较强、又具有明确的空间含义的新的局部特征，并且通过将该新的局部特征应用于目标识别与检测，能够大大提高识别和检测的精度。
根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。
图1示出现有技术使用CNN进行图像识别的示意图；
图2示出根据本发明实施例的CNN特征的处理方法的流程图；
图3a～图3e示出根据本发明实施例的CNN特征的处理方法的各步骤示意图；
图4示出根据本发明实施例的CNN特征的处理方法的应用例的流程图；
图5示出根据本发明实施例的CNN特征的处理方法的应用例的各步骤示意图；
图6a示出现有技术采用CNN获得特征的示意图；
图6b示出采用本发明实施例的CNN特征的处理方法对传统CNN特征进程重新组织来获得特征的示意图；
图7示出根据本发明实施例的CNN特征的处理装置的框图；
图8示出根据本发明实施例的CNN特征的处理装置中空间信息恢复模块的框图。
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
本发明的CNN特征的处理方法用于对将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的M个特征图进行处理，其中M、N均为整数并且M≥1、N≥1。这里，M个特征图为位于神经网络最后一层的特征图，每一张特征图具有不同的物理意义，比如在物体图像分类网络中，有的特征图代表某一种特定物体的响应。一般在神经网络的最后一层，这种特征图的维度(n×n)很小，比如5×5、3×3、2×2等都很常见，甚至1×1。在传统的深度卷积神经网络中，把最终获得的M个特征图拉成一个长度为n×n×K的一个长向量，并用这个长向量代表原始图像进行运算，比如将该长向量作为特征输入一个分类器，进行图像搜索等等。
下面参考图2示出的CNN特征的处理方法的流程图以及图3a～3e示出的CNN特征的处理方法的各步骤示意图，来说明本发明实施例的CNN特征的处理方法。如图2所示，该处理方法主要包括：
步骤S210、基于空间信息恢复技术，恢复各所述M个特征图在所述原始图像上的空间信息(spatial layout)，以获得所述原始图像中的各元素对各所述M个特征图的贡献度；其中，M个特征图可以由图3a中示出的f1～fM来表示，所述原始图像中的各元素对各所述M个特征图的贡献度可以由图3a中示出的W1～WM表示，这是M幅稀疏图像，衡量了原始图像中的哪些元素对某一特征或者某一特征图贡献较大。
步骤S220、基于所获得的贡献度计算各所述M个特征图在所述原始图像上的分布；其中，各所述M个特征图在所述原始图像上的分布可以由图3a中示出的C1～CM表示，并可以采用将贡献度与原始图像按元素相乘的方式来计算出，即Cm＝Wm.*I。这里，I表示原始图像，m＝1,2,3…,M，“.*”表示按元素相乘(element-wise multiplication)，即将两个矩阵的对应的元素分别相乘。
步骤S230、根据所述M个特征图各自在所述原始图像上的分布，提取与所述原始图像中的各元素对应的M维向量；如在上述步骤S220中所述，如果是将神经网络的最后一层的每个特征图都还原至原始图像，那么可以得到M个分布图，即Cm，m＝1,2,3…,M。那么对于原始图像的每个像素p，都可以得到一个M维的向量，记为FM(p)。参考图3b，假设原始图像I中的任意元素p位于原始图像I中的第a行第b列，则其对应的M维向量FM(p)为[C1(a，b)，C2(a，b)，…，CM(a，b)]，其中，如果原始图像I的尺寸为A×B，则a为1～A的整数，b为1～B的整数。
步骤S240、针对所述原始图像中的关注区域，将该关注区域内的所有元素的M维向量相加，以得到与所述关注区域对应的M维向量作为该关注区域的区域描述子。如图3c所示，以原始图像左上角的圆圈示出的区域A为例，将该区域中每个元素对应的M维向量相加，就可以得到该区域A所对于的M维向量FM(A)，即其中，如图3d所示，区域A可以是以密集规则模式选取的图像块，如图3e所示，区域A也可以是任意指定的图像区域、例如通过图像分割方法得到的图像区域。另外，图像区域的大小、形状可以通过后续算法优化来确定。
在一种可能的实现方式中，在步骤S210中，恢复各所述M个特征图在所述原始图像上的空间信息，包括针对每一特征图分别执行如下步骤：
从K等于N开始，依次根据所述特征图在第K层特征图上的分布重建出所述特征图在第K-1层特征图上的分布，其中K为整数并且0＜K≤N，所述特征图在第0层特征图上的分布表示所述特征图在所述原始图像上的空间信息；并且，根据所述特征图在第K层特征图上的分布重建出所述特征图在第K-1层特征图上的分布包括：
对所述特征图在第K层特征图上的分布进行去降采样，以得到所述特征图在第K层特征图上的去降采样分布；
获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；
分别针对每一关注元素执行以下操作：确定关注元素对应的第K-1层特征图中的区域；将所述第K-1层特征图中的该区域内的元素置为与所述关注元素的值相对应的值，并将除该区域之外的其它区域中的元素置为非关注元素的值；就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重以得到所述关注元素在第K-1层特征图上的子分布；其中所述设定权重根据预存储的从第K-1层特征图通过卷积运算得到第K层特征图时所采用的卷积核生成；
将所有关注元素各自在第K-1层特征图上的子分布进行叠加以生成所述特征图在第K-1层特征图上的分布。
需要说明的是，作为示例，步骤S210使用的是本发明人在申请号为201510106624.6的中国发明专利申请中提出的一种不涉及卷积运算的新方法，但是本领域术人员能够理解，本发明应不限于此。也可以采用其它现有的恢复CNN特征在所述原始图像上的空间信息的方法。
这样，通过上述步骤，根据本发明上述实施例的CNN特征处理方法，能够基于CNN特征得到本身的区分力较强、又具有明确的空间含义的新的局部特征。
作为本发明的CNN特征的处理方法的一个应用例，可以将通过步骤S210～步骤S240得到的区域描述子替换尺度不变特征转换(英文：Scale-invariant featuretransform，缩写：SIFT)特征，以前一切适用于SIFT的算法依然适用。
下面参考图4示出的流程图和图5示出的示意图来说明根据本发明的CNN特征的处理方法的该应用例。在本应用例中，假设已经对将原始图像输入CNN所获得的特征进行了步骤S210～步骤S230的处理，并提取出与原始图像中各元素对应的M维向量。如图5所示，其中，(a)表示原始图像，(b)表示将原始图像输入CNN得到M个特征图f1～fM的过程，(c)表示对这M个特征图进行处理，并得到这M个特征图各自在原始图像上的分布C1～CM。通过分布C1～CM能够提取出与所述原始图像中的各元素对应的M维向量。
接下来，执行步骤S410、将原始图像划分为若干小块，如图5的(d)所示，所划分的小块可以是连续的、互相有重叠的图像块，当然也可以是利用特征点检测得到的稀疏块。另外，如在步骤S240中所说的，所划分的小块可以是以密集规则模式选取的图像块，也可以是任意指定的图像区域、例如通过图像分割方法得到的图像区域。并且图像区域的大小、形状可以通过后续算法优化来确定。
然后执行步骤S420、针对在步骤S410中划分出的每一个小块，通过步骤S240得到与所述每一小块对应的M维向量，并作为所述每一小块的区域描述子。接着执行步骤S430、将从所述原始图像分割出的每一图像块的所述区域描述子按照预定编码规则进行编码；编码后的区域描述子可以参见图5的(e)和(f)。在一种可能的实现方式中，所述预定编码规则为K均值(K-means)聚类算法，即对图像的各区域描述子实施K均值聚类算法，以将这些区域描述子分为K类。其中，K取值由实际应用决定，可以为256或者1024。
然后执行步骤S440、根据所述编码规则对各所述区域描述子进行映射，以得到用于描述所述原始图像的图像描述子。具体地，对于原始图像，将它的几十个(或者几百个)区域描述子分区域投影进入K类，从而能够得到一个用于描述该图像的新的描述子。其中，分区域投影的方法比如有SPM(空间金字塔匹配)，DPM(可变型部件模型)等等，可以参见图5的(g)。
之后对于所述原始图像的运算，比如识别和搜索等都可以基于在步骤S440中获取的图像描述子。例如，在对原始图像进行识别处理时，可以在预先设定的图像库中，找出与在步骤S440中获得的所述图像描述子相似度最高的图像描述子，从而识别出待处理图像。其中，预先设定的图像库即为样本库，该样本库中的图像已预先通过上述步骤S410～步骤S440处理，均以图像描述子的形式表示。
现有的对图像特征进行空间组织的方法有基于梯度的SIFT(Scale-invariantfeature transform)特征，由于该特征属于底层特征，能够较为直观地体现在原始图像的空间信息，但是区分度不好。相比较，经过CNN得到的特征是较为高级的、自适应的特征，但是空间信息不明确。
因此，本发明人创新性的想到将两者结合起来，并通过上述算法使用一种新的基于CNN的局部特征来取代SIFT特征，该新的局部特征具有SIFT特征的优点、即能准确反应特征的空间位置，同时又能弥补SIFT特征区分度较差的缺点(或者说兼具普通神经网络特征的优点)。由于所述新的特征既有明确的空间含义，特征本身的区分能力也较强。因此，将该新的特征应用于目标识别与检测，能够大大提高识别和检测的精度。
另外，可以通过图6a和图6b更好的说明采用本发明实施例的CNN特征处理方法所获得的特征的优异之处。图6a示出现有技术采用CNN获得特征图fa的示意图，图6b示出采用本发明对传统CNN特征进行重新组织来获得特征图fb的示意图。如图6a所示，在一种不理想的实现方式中，可能存在对于卷积核的选取、以及进行卷积和降采样的步长设置的不合适的情况，使得最终得到的CNN特征图fa并不能较好的反映原始图像的信息。
而如图6b所示，通过首先恢复该CNN特征图fa在所述原始图像上的空间信息，以获得原始图像中各元素对该特征图的贡献度Wa，然后将原始图像与所述贡献度Wa按元素相乘，从而能够计算出特征图fa在原始图像上的分布，这样能够抵消体现在贡献度Wa中的错误信息的影响。根据该分布，能够提取出与原始图像中各像素或者各区域对应的特征。例如，在原始图像中心点附近对应的特征为fb。明显可见，fb相比fa更能够体现原始图像的特征。
接下来，参考图7和图8来说明根据本发明实施例的CNN特征的处理装置的框图。本发明实施的CNN特征的处理装置用于对将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的M个特征图进行处理，其中M、N均为整数并且M≥1、N≥1。
如图7所示，本发明实施的CNN特征的处理装置包括：空间信息恢复模块710，被配置为恢复各所述M个特征图在所述原始图像上的空间信息，以获得所述原始图像中的各元素对各所述M个特征图的贡献度；分布计算模块720，与所述空间信息恢复模块710连接，被配置为基于所获得的贡献度计算各所述M个特征图在所述原始图像上的分布；特征提取模块730，与所述分布计算模块720连接，被配置为根据所述M个特征图各自在所述原始图像上的分布，提取与所述原始图像中的各元素对应的M维向量；以及区域描述子提取模块740，与所述特征提取模块730连接，被配置为针对所述原始图像中的关注区域，将该关注区域内的所有元素的M维向量相加，以得到与所述关注区域对应的M维向量作为该关注区域的区域描述子。
在一种可能的实现方式中，所述分布计算模块720被配置为将所获得的贡献度分别按元素乘以所述原始图像，以得到各所述M个特征图在所述原始图像上的分布。
在一种可能的实现方式中，所述空间信息恢复模块被配置为针对每一特征图分别执行如下步骤：从K等于N开始，依次根据所述特征图在第K层特征图上的分布重建出所述特征图在第K-1层特征图上的分布，其中K为整数并且0＜K≤N，所述特征图在第0层特征图上的分布表示所述特征图在所述原始图像上的空间信息；并且，如图8所示，所述空间信息恢复模块710包括：去降采样单元711，被配置为对所述特征图在第K层特征图上的分布进行去降采样，以得到所述特征图在第K层特征图上的去降采样分布；重建单元712，与所述去降采样单元711连接，并且被配置为，获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；分别针对每一关注元素执行以下操作：确定关注元素对应的第K-1层特征图中的区域；将所述第K-1层特征图中的该区域内的元素置为与所述关注元素的值相对应的值，并将除该区域之外的其它区域中的元素置为非关注元素的值；就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重以得到所述关注元素在第K-1层特征图上的子分布；其中所述设定权重根据预存储的从第K-1层特征图通过卷积运算得到第K层特征图时所采用的卷积核生成；加法单元713，与所述重建单元712以及所述去降采样单元711连接，被配置为将通过所述重建单元712获得的所有关注元素各自在第K-1层特征图上的子分布进行叠加，并将相加所得到的结果作为所述特征图在第K-1层特征图上的分布输出至所述去降采样单元711。
本发明实施例的CNN特征的处理装置的空间信息恢复模块710、分布计算模块720、特征提取模块730、以及区域描述子提取模块740的具体实现机理可以参考上述步骤S210～步骤S230。并且，通过上述装置，能够基于CNN特征得到本身的区分力较强、又具有明确的空间含义的新的局部特征。
在一种可能的实现方式中，本发明实施例的CNN特征的处理装置还包括：编码模块750，被配置为将从所述原始图像划分出的X个图像块的所述区域描述子按照预定编码规则进行编码，其中X为整数并且X≥1；映射模块760，与所述编码模块750连接，被配置为根据所述编码规则对X个所述区域描述子进行映射，以得到用于描述所述原始图像的图像描述子。其中，在一种可能的实现方式中，所述预定编码规则为K均值聚类算法。编码模块750与映射模块760的具体实现机理可以参考上述步骤S430和步骤S440。
通过本发明实施例的CNN特征的处理装置还包括的编码模块750和映射模块760，可以用通过空间信息恢复模块710、分布计算模块720、特征提取模块730、以及区域描述子提取模块740得到的区域描述子替换SIFT特征，以前一切适用于SIFT的算法依然适用。这样，由于所得到的区域描述子既有明确的空间含义，本身的区分能力也较强，因此能够大大提高识别和检测的精度。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种卷积神经网络特征即CNN特征的处理方法，用于对将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的M个特征图进行处理，其中M、N均为整数并且M≥1、N≥1，其特征在于，包括：
恢复各所述M个特征图在所述原始图像上的空间信息，以获得所述原始图像中的各元素对各所述M个特征图的贡献度；
基于所获得的贡献度计算各所述M个特征图在所述原始图像上的分布；
根据所述M个特征图各自在所述原始图像上的分布，提取与所述原始图像中的各元素对应的M维向量；
针对所述原始图像中的关注区域，将该关注区域内的所有元素的M维向量相加，以得到与所述关注区域对应的M维向量作为该关注区域的区域描述子。
2.根据权利要求1所述的CNN特征的处理方法，其特征在于，所述基于所获得的贡献度计算各所述M个特征图在所述原始图像上的分布包括：将所获得的贡献度分别按元素乘以所述原始图像，以得到各所述M个特征图在所述原始图像上的分布，其中在所述将所获得的贡献度分别按元素乘以所述原始图像时，将所获得的贡献度的各个元素与所述原始图像的相对应的元素分别相乘。
3.根据权利要求2所述的CNN特征的处理方法，其特征在于，恢复各所述M个特征图在所述原始图像上的空间信息，包括针对每一特征图分别执行如下步骤：
从K等于N开始，依次根据所述特征图在第K层特征图上的分布重建出所述特征图在第K-1层特征图上的分布，其中K为整数并且0＜K≤N，所述特征图在第0层特征图上的分布表示所述特征图在所述原始图像上的空间信息；
并且，根据所述特征图在第K层特征图上的分布重建出所述特征图在第K-1层特征图上的分布包括：
对所述特征图在第K层特征图上的分布进行去降采样，以得到所述特征图在第K层特征图上的去降采样分布；
获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；
分别针对每一关注元素执行以下操作：确定关注元素对应的第K-1层特征图中的区域；将所述第K-1层特征图中的该区域内的元素置为与所述关注元素的值相对应的值，并将除该区域之外的其它区域中的元素置为非关注元素的值；就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重以得到所述关注元素在第K-1层特征图上的子分布；其中所述设定权重根据预存储的从第K-1层特征图通过卷积运算得到第K层特征图时所采用的卷积核生成，在所述就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重时，将该区域的各个元素与所述设定权重的相对应的元素分别相乘；
将所有关注元素各自在第K-1层特征图上的子分布进行叠加以生成所述特征图在第K-1层特征图上的分布。
4.根据权利要求1至3中任一项所述的CNN特征的处理方法，其特征在于，还包括：
将从所述原始图像划分出的X个图像块的所述区域描述子按照预定编码规则进行编码，其中X为整数并且X≥1；
根据所述编码规则对X个所述区域描述子进行映射，以得到用于描述所述原始图像的图像描述子。
5.根据权利要求4所述的CNN特征的处理方法，其特征在于，所述预定编码规则为K均值聚类算法。
6.一种卷积神经网络特征即CNN特征的处理装置，用于对将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的M个特征图进行处理，其中M、N均为整数并且M≥1、N≥1，其特征在于，包括：
空间信息恢复模块，被配置为恢复各所述M个特征图在所述原始图像上的空间信息，以获得所述原始图像中的各元素对各所述M个特征图的贡献度；
分布计算模块，与所述空间信息恢复模块连接，被配置为基于所获得的贡献度计算各所述M个特征图在所述原始图像上的分布；
特征提取模块，与所述分布计算模块连接，被配置为根据所述M个特征图各自在所述原始图像上的分布，提取与所述原始图像中的各元素对应的M维向量；
区域描述子提取模块，与所述特征提取模块连接，被配置为针对所述原始图像中的关注区域，将该关注区域内的所有元素的M维向量相加，以得到与所述关注区域对应的M维向量作为该关注区域的区域描述子。
7.根据权利要求6所述的CNN特征的处理装置，其特征在于，所述分布计算模块被配置为将所获得的贡献度分别按元素乘以所述原始图像，以得到各所述M个特征图在所述原始图像上的分布，其中在所述将所获得的贡献度分别按元素乘以所述原始图像时，将所获得的贡献度的各个元素与所述原始图像的相对应的元素分别相乘。
8.根据权利要求7所述的CNN特征的处理装置，其特征在于，所述空间信息恢复模块被配置为针对每一特征图分别执行如下步骤：
从K等于N开始，依次根据所述特征图在第K层特征图上的分布重建出所述特征图在第K-1层特征图上的分布，其中K为整数并且0＜K≤N，所述特征图在第0层特征图上的分布表示所述特征图在所述原始图像上的空间信息；
并且，所述空间信息恢复模块包括：
去降采样单元，被配置为对所述特征图在第K层特征图上的分布进行去降采样，以得到所述特征图在第K层特征图上的去降采样分布；
重建单元，与所述去降采样单元连接，并且被配置为，获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；分别针对每一关注元素执行以下操作：确定关注元素对应的第K-1层特征图中的区域；将所述第K-1层特征图中的该区域内的元素置为与所述关注元素的值相对应的值，并将除该区域之外的其它区域中的元素置为非关注元素的值；就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重以得到所述关注元素在第K-1层特征图上的子分布；其中所述设定权重根据预存储的从第K-1层特征图通过卷积运算得到第K层特征图时所采用的卷积核生成，在所述就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重时，将该区域的各个元素与所述设定权重的相对应的元素分别相乘；
加法单元，与所述重建单元以及所述去降采样单元连接，被配置为将通过所述重建单元获得的所有关注元素各自在第K-1层特征图上的子分布进行叠加，并将相加所得到的结果作为所述特征图在第K-1层特征图上的分布输出至所述去降采样单元。
9.根据权利要求6至8中任一项所述的CNN特征的处理装置，其特征在于，还包括：
编码模块，被配置为将从所述原始图像划分出的X个图像块的所述区域描述子按照预定编码规则进行编码，其中X为整数并且X≥1；
映射模块，与所述编码模块连接，被配置为根据所述编码规则对X个所述区域描述子进行映射，以得到用于描述所述原始图像的图像描述子。
10.根据权利要求9所述的CNN特征的处理装置，其特征在于，所述预定编码规则为K均值聚类算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510144847.1A CN106156846B (zh) | 2015-03-30 | 2015-03-30 | 卷积神经网络特征的处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510144847.1A CN106156846B (zh) | 2015-03-30 | 2015-03-30 | 卷积神经网络特征的处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106156846A CN106156846A (zh) | 2016-11-23 |
| CN106156846B true CN106156846B (zh) | 2018-12-25 |
Family
ID=57339990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510144847.1A Active CN106156846B (zh) | 2015-03-30 | 2015-03-30 | 卷积神经网络特征的处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106156846B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803247B (zh) * | 2016-12-13 | 2021-01-22 | 上海交通大学 | 一种基于多级筛选卷积神经网络的微血管瘤图像识别方法 |
| KR102419136B1 (ko) * | 2017-06-15 | 2022-07-08 | 삼성전자주식회사 | 다채널 특징맵을 이용하는 영상 처리 장치 및 방법 |
| KR102442055B1 (ko) * | 2017-09-26 | 2022-09-13 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| CN108133217B (zh) * | 2017-11-22 | 2018-10-30 | 北京达佳互联信息技术有限公司 | 图像特征确定方法、装置及终端 |
| CN108814603B (zh) * | 2018-05-10 | 2021-11-09 | 上海东软医疗科技有限公司 | 一种磁共振成像方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8582807B2 (en) * | 2010-03-15 | 2013-11-12 | Nec Laboratories America, Inc. | Systems and methods for determining personal characteristics |
| CN103544506A (zh) * | 2013-10-12 | 2014-01-29 | Tcl集团股份有限公司 | 一种基于卷积神经网络的图像分类方法和装置 |
| CN104103033A (zh) * | 2014-08-05 | 2014-10-15 | 四川九成信息技术有限公司 | 图像实时处理方法 |
| CN104346622A (zh) * | 2013-07-31 | 2015-02-11 | 富士通株式会社 | 卷积神经网络分类器及其分类方法和训练方法 |
-
2015
- 2015-03-30 CN CN201510144847.1A patent/CN106156846B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8582807B2 (en) * | 2010-03-15 | 2013-11-12 | Nec Laboratories America, Inc. | Systems and methods for determining personal characteristics |
| CN104346622A (zh) * | 2013-07-31 | 2015-02-11 | 富士通株式会社 | 卷积神经网络分类器及其分类方法和训练方法 |
| CN103544506A (zh) * | 2013-10-12 | 2014-01-29 | Tcl集团股份有限公司 | 一种基于卷积神经网络的图像分类方法和装置 |
| CN104103033A (zh) * | 2014-08-05 | 2014-10-15 | 四川九成信息技术有限公司 | 图像实时处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| Deep Convolutional Neural Network for Image;Li Xu et al.;《NIPS"14 Proceedings of the 27th International Conference on Neural Information Processing Systems》;20141113;第1790-1798页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106156846A (zh) | 2016-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Babu et al. | Statistical features based optimized technique for copy move forgery detection | |
| Park et al. | Relation network for person re-identification | |
| CN106156846B (zh) | 卷积神经网络特征的处理方法和装置 | |
| Bo et al. | Unsupervised feature learning for RGB-D based object recognition | |
| Nosaka et al. | Feature extraction based on co-occurrence of adjacent local binary patterns | |
| Guevara et al. | Robust clustering of massive tractography datasets | |
| Kusakunniran | Attribute-based learning for gait recognition using spatio-temporal interest points | |
| Zhen et al. | Embedding motion and structure features for action recognition | |
| CN105160312A (zh) | 基于人脸相似度匹配的明星脸装扮推荐方法 | |
| Feng et al. | DLANet: a manifold-learning-based discriminative feature learning network for scene classification | |
| Michel et al. | Boosted metric learning for 3D multi-modal deformable registration | |
| Hu et al. | Delving into deep representations for remote sensing image retrieval | |
| Sudha et al. | Classification of brain tumor grades using neural network | |
| CN107223242A (zh) | 高效的局部特征描述符过滤 | |
| CN109284781A (zh) | 基于流形学习的图像分类算法和系统 | |
| Depeursinge et al. | Biomedical texture operators and aggregation functions: A methodological review and user's guide | |
| Cholakkal et al. | Top-down saliency with locality-constrained contextual sparse coding. | |
| Morioka et al. | Learning Directional Local Pairwise Bases with Sparse Coding. | |
| Sun et al. | Scale invariant texture classification via sparse representation | |
| Hsu et al. | Image Classification Using Naive Bayes Classifier With Pairwise Local Observations. | |
| CN114693923A (zh) | 一种基于上下文和注意力的三维点云语义分割方法 | |
| Fang et al. | Piecewise flat embedding for image segmentation | |
| Wang et al. | An improved SIFT feature extraction method for tyre tread patterns retrieval | |
| Liang et al. | Image segmentation and recognition for multi-class chinese food | |
| CN108510465A (zh) | 基于一致性约束非负稀疏表示的多聚焦图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |