CN106779055A - 图像特征提取方法和装置 - Google Patents

图像特征提取方法和装置 Download PDF

Info

Publication number
CN106779055A
CN106779055A CN201710018662.5A CN201710018662A CN106779055A CN 106779055 A CN106779055 A CN 106779055A CN 201710018662 A CN201710018662 A CN 201710018662A CN 106779055 A CN106779055 A CN 106779055A
Authority
CN
China
Prior art keywords
cnn
image
parameter
yardstick
resampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710018662.5A
Other languages
English (en)
Other versions
CN106779055B (zh
Inventor
李永
邹俊伟
李扬
田雷
吴琼
翟正元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201710018662.5A priority Critical patent/CN106779055B/zh
Publication of CN106779055A publication Critical patent/CN106779055A/zh
Application granted granted Critical
Publication of CN106779055B publication Critical patent/CN106779055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本发明提供一种图像特征提取方法和装置，其中，图像特征提取方法包括：获取第一图像的第一深度卷积神经网络CNN特征，第一CNN特征为第一图像在第一尺度时的CNN特征；重采样第一CNN特征得到重采样数据；将重采样数据与第一参数相乘得到第二CNN特征，第二CNN特征为第一图像在第二尺度时的CNN特征。本发明提供的图像特征提取方法和装置，将图像在第一尺度上的第一CNN特征经过重采样并与第一参数相乘后，能够得到图像在第二尺度上的第二CNN特征，减少了图像特征提取的计算量，并且使得空间变换网络应用于深度神经网络的其他位置时，空间变换网络对输入的深度神经网络的特征做尺度变换后能够得到尺度变换后的特征。

Description

图像特征提取方法和装置
技术领域
本发明涉及机器学习技术，尤其涉及一种图像特征提取方法和装置。
背景技术
深度卷积神经网络是模式识别领域重要的机器学习技术，可用于提取图像的特征。由于深度卷积神经网络能够学习具有强表达能力的图像的层级式特征，利用深度卷积神经网络能够实现目标检测、人脸识别和语义分割等。但是，深度卷积神经网络提取的特征对图像的尺寸变化较为敏感，不具备尺度不变性。即当待提取特征的图像的尺寸发生变化时，不能准确提取图像的特征。
现有技术中，将进行缩放后的图像输入到多列深度卷积神经网络中，深度卷积神经网络中的每一列分别为图像在该列对应尺度上提取的图像特征。或者，通过在深度卷积神经网络中加入空间变换网络，先将图像经过尺度变换后，再送入深度卷积神经网络提取图像的特征，从而使得深度卷积神经网络提取到的图像特征具备了尺度不变性。
采用现有技术，空间变换网络对输入的图像做尺度变换后通过神经网络以得到图像尺度变换后的特征，图像通过空间变换网络进行尺度变化的计算量较大。
发明内容
本发明提供一种图像特征提取方法和装置，减少了图像特征提取的计算量。本发明提供的一种图像特征提取方法和装置，还可以使得空间变换网络应用于深度神经网络的其他位置时，空间变换网络对输入的深度神经网络的特征做尺度变换后能够得到尺度变换后的特征。
本发明提供一种图像特征提取方法，包括：
获取第一图像的第一深度卷积神经网络CNN特征，所述第一CNN特征为所述第一图像在第一尺度时的CNN特征；
重采样所述第一CNN特征得到重采样数据；
将所述重采样数据与第一参数相乘得到第二CNN特征，所述第二CNN特征为所述第一图像在第二尺度时的CNN特征。
在本发明一实施例中，所述重采样所述第一CNN特征包括：
通过空间变换网络STN重采样所述第一CNN特征的到重采样数据。
在本发明一实施例中，所述获取所述第一图像的第一深度卷积神经网络CNN特征之前，还包括：
获取所述第一参数。
在本发明一实施例中，所述第一参数为s-λ，所述s为所述第一尺度与所述第二尺度的比值，所述λ为CNN特征统计量；
所述λ的获取方法包括如下步骤：
(1)获取第二图像的第一CNN特征C3，并获取所述第一CNN特征的平均值所述第一CNN特征为所述第二图像在第一尺度时的CNN特征；
(2)将所述第二图像进行任意尺度变换为第二尺度；
(3)获取所述第二图像的第二CNN特征C4，并获取所述第二CNN特征的平均值所述第二CNN特征为所述第二图像在第二尺度时的CNN特征；
(4)获取所述与所述的比值，记为
(5)更换所述第二图像并重复n次所述步骤(1)到所述步骤(4)得到不同的所述比值，记为μ1…μn，所述n为大于等于2的整数；
(6)获取的所述比值的平均值
(7)用最小二乘法求解方程μs＝a·s-λ，得到所述a和所述λ，丢弃所述a，得到所述λ；
所述将所述重采样数据与第一参数相乘得到第二CNN特征之后，还包括：
更新所述第一参数；
所述更新所述第一参数包括：在第p次通过CNN提取特征时计算所述第一参数；
在后续的q次计算中，由所述CNN的训练过程更新所述第一参数的数值，其中所述p和所述q的具体数值不作限定，所述p和所述q为大于零的整数。
本发明提供一种图像特征提取方法，包括：
获取第一图像组的第一深度卷积神经网络CNN特征组，所述第一图像组包括至少两张图像；
重采样所述第一CNN特征组得到重采样数组；
将所述重采样数组与第一参数相乘得到第二CNN特征组，所述第二CNN特征组包括所述第一图像组中的图像在第二尺度时的CNN特征，所述第一参数为s-λ，所述s为所述第二尺度与所述第一图像组中的图像的比值，所述λ为CNN特征统计量。
本发明提供一种图像特征提取装置，包括：特征提取模块，所述特征提取模块用于获取第一图像的第一深度卷积神经网络CNN特征，所述第一CNN特征为所述第一图像在第一尺度时的CNN特征；
重采样模块，所述重采样模块用于重采样所述第一CNN特征得到重采样数据；
参数匹配模块，所述参数匹配模块用于将所述重采样数据与第一参数相乘得到第二CNN特征，所述第二CNN特征为所述第一图像在第二尺度时的CNN特征。
在本发明一实施例中，所述重采样模块具体用于通过空间变换网络STN重采样所述第一CNN特征的到重采样数据。
在本发明一实施例中，还包括：
获取模块，所述获取模块用于获取所述第一参数。
在本发明一实施例中，所述第一参数为s-λ，所述s为所述第一尺度与所述第二尺度的比值，所述λ为CNN特征统计量；
所述λ的获取方法包括如下步骤：
(1)获取第二图像的第一CNN特征C3，并获取所述第一CNN特征的平均值所述第一CNN特征为所述第二图像在第一尺度时的CNN特征；
(2)将所述第二图像进行任意尺度变换为第二尺度；
(3)获取所述第二图像的第二CNN特征C4，并获取所述第二CNN特征的平均值所述第二CNN特征为所述第二图像在第二尺度时的CNN特征；
(4)获取所述与所述的比值，记为
(5)更换所述第二图像并重复n次所述步骤(1)到所述步骤(4)得到不同的所述比值，记为μ1…μn，所述n为大于等于2的整数；
(6)获取的所述比值的平均值
(7)用最小二乘法求解方程μs＝a·s-λ，得到所述a和所述λ，丢弃所述a，得到所述λ；
所述装置还包括：更新模块，所述更新模块用于更新所述第一参数；
所述更新所述第一参数包括：在第p次通过CNN提取特征时计算所述第一参数；
在后续的q次计算中，由所述CNN的训练过程更新所述第一参数的数值，其中所述p和所述q的具体数值不作限定，所述p和所述q为大于零的整数。
本发明提供一种图像特征提取装置，包括：
特征提取模块，所述特征提取模块用于获取第一图像组的第一深度卷积神经网络CNN特征组，所述第一图像组包括至少两张图像；
重采样模块，所述重采样模块用于重采样所述第一CNN特征组得到重采样数组；
参数匹配模块，所述参数匹配模块用于将所述重采样数组与第一参数相乘得到第二CNN特征组，所述第二CNN特征组包括所述第一图像组中的图像在第二尺度时的CNN特征，所述第一参数为s-λ，所述s为所述第二尺度与所述第一图像组中的图像的比值，所述λ为CNN特征统计量。
本发明提供一种图像特征提取方法和装置，其中，图像特征提取方法包括：获取第一图像的第一深度卷积神经网络CNN特征，第一CNN特征为第一图像在第一尺度时的CNN特征；重采样第一CNN特征得到重采样数据；将重采样数据与第一参数相乘得到第二CNN特征，第二CNN特征为第一图像在第二尺度时的CNN特征。本发明提供的图像特征提取方法和装置，将图像在第一尺度上的第一CNN特征经过重采样并与第一参数相乘后，能够得到图像在第二尺度上的第二CNN特征，减少了图像特征提取的计算量，并且使得空间变换网络应用于深度神经网络的其他位置时，空间变换网络对输入的深度神经网络的特征做尺度变换后能够得到尺度变换后的特征。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明图像特征提取方法实施例一的流程示意图；
图2为本发明图像特征提取方法实施例二的流程示意图；
图3为本发明图像特征提取方法实施例三的流程示意图；
图4为本发明图像特征提取装置实施例一的结构示意图；
图5为本发明图像特征提取装置实施例二的结构示意图；
图6为本发明图像特征提取装置实施例三的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明图像特征提取方法实施例一的流程示意图，如图1所示，本实施例图像特征提取方法包括以下步骤：
S101：获取第一图像的第一深度卷积神经网络(Convolutional Neural Network，简称：CNN)特征，第一CNN特征为第一图像在第一尺度时的CNN特征。
具体地，将第一图像输入CNN，CNN输出为第一图像的第一CNN特征。
S102：重采样第一CNN特征得到重采样数据。
具体地，由于第一CNN特征为第一图像在第一尺度时经过CNN得到，为了得到第一图像在第二尺度时的CNN特征，首先需要将第一CNN特征进行重采样，以得到重采样数据。其中，重采样的方法包括：最近邻插值、双线性插值、三线性插值、多线性插值、用反卷积实现双线性插值的上采样、用平均pooling实现下采样和用max-pooling实现非线性下采用等方式，此处对重采样的方法不作限定，目的是得到S101中的第一CNN特征经过重采样之后的重采样数据。
S103：将重采样数据与第一参数相乘得到第二CNN特征，第二CNN特征为第一图像在第二尺度时的CNN特征。
具体地，将S102中的到的重采样数据与第一参数相乘，以得到第一图像在第二尺度时的第二CNN特征。其中，第一参数的目的是将第一CNN特征的重采样数据以一定的对应关系得到第二CNN特征。第一参数包括第一CNN特征、第二CNN特征、第一尺度和第二尺度间的对应关系。从而将第一CNN特征与对应的第一参数相乘，根据第一参数中包含的对应关系，得到第二CNN特征。
本实施例提供一种图像特征提取方法，包括：获取第一图像的第一深度卷积神经网络CNN特征，第一CNN特征为第一图像在第一尺度时的CNN特征；重采样第一CNN特征得到重采样数据；将重采样数据与第一参数相乘得到第二CNN特征，第二CNN特征为第一图像在第二尺度时的CNN特征。本实施例提供的图像特征提取方法，将图像在第一尺度上的第一CNN特征经过重采样并与第一参数相乘后，能够得到图像在第二尺度上的第二CNN特征。与现有技术中先将图像从第一尺度变换至第二尺度再计算第二CNN的方法相比，在CNN的特征矩阵的维数小于图像的维数以及CNN特征的数据量小于图像的数据量时，通过先计算CNN特征，再对CNN特征进行尺度变换，从而不需要先对图像进行尺度变换后再提取CNN特征，进而减少了图像特征提取的计算量。并且使得空间变换网络应用于深度神经网络的其他位置时，空间变换网络对输入的深度神经网络的特征做尺度变换后能够得到尺度变换后的特征。
图2为本发明图像特征提取方法实施例二的流程示意图，如图2所示，本实施例图像特征提取方法包括以下步骤：
S201：获取第一参数。
可选地，在由CNN获取第一图像的第一深度卷积神经网络CNN特征之前，通过第二图像计算第一参数。其中，第一图像和第二图像无关。
S202：获取第一图像的第一深度卷积神经网络CNN特征，第一CNN特征为第一图像在第一尺度时的CNN特征。
本步骤的详细描述参见步骤S101，此处不再赘述。
S203：通过空间变换网络(Spatial Transformer Networks，简称：STN)重采样第一CNN特征的到重采样数据。
具体地，S203为图1所示S102的一种具体的实施方式，其中，通过STN对第一CNN特征进行重采样得到重采样数据。STN在对CNN特征主动引入尺度变换，用于对第一CNN特征做双线性插值建模的尺度变换。
S204：将重采样数据与第一参数相乘得到第二CNN特征，第二CNN特征为第一图像在第二尺度时的CNN特征。
本步骤的详细描述参见步骤S103，此处不再赘述。
可选地，在上述实施例中，第一参数为s-λ，其中，s为第一尺度与第二尺度的比值，λ为CNN特征统计量，λ与CNN中特征有关，CNN中不同的特征提取方法所对应的统计量。
具体地，获取CNN特征统计量λ的方法包括如下步骤：
(1)获取第二图像的第一CNN特征C3，并获取第一CNN特征的平均值第一CNN特征为第二图像在第一尺度时的CNN特征；其中，第二图像与第一图像无关，第二图像仅用于在获取第一图像CNN特征前由CNN通过第二图像得到第一参数λ。
(2)将第二图像进行任意尺度变换为第二尺度；即为对第二图像进行尺度变化，具体方式可以为线性插值等采样算法，在此不作限定。
(3)获取第二图像的第二CNN特征C4，并获取第二CNN特征的平均值第二CNN特征为第二图像在第二尺度时的CNN特征；
(4)获取与的比值，记为
(5)更换第二图像并重复n次步骤(1)到步骤(4)得到不同的比值，记为μ1…μn，n为大于等于2的整数；具体地，更换不同的图像作为第二图像执行上述步骤中第二图像的步骤(1)至步骤(4)，其计算次数最少为两次，而越多的计算次数能够计算出越精确的第一参数λ。
(6)获取的比值的平均值
(7)用最小二乘法求解方程μs＝a·s-λ，计算得到a和λ，a与λ无关，因此，丢弃a从而得到λ。
进一步地，在S204之后，还包括：更新第一参数。其中，通过S201至S204的计算中第一尺度、第二尺度、第一CNN特征和第二CNN特征之间的关系作为第一参数的一个学习样本更新第一参数。可选地，更新第一参数s-λ的步骤包括：在第p次通过CNN提取特征时计算一次第一参数s-λ，在后续的q次计算中，由CNN的训练过程更新第一参数s-λ的数值。其中p和q的具体数值不作限定，p和q为大于零的整数。
图3为本发明图像特征提取方法实施例三的流程示意图，如图3所示，本实施例图像特征提取方法包括以下步骤：
S301：获取第一图像组的第一深度卷积神经网络CNN特征组，第一图像组包括至少两张图像。
具体地，将第一图像组输入CNN，CNN计算第一图像组中每一照片的CNN特征，随后得到CNN输出的第一图像组的第一CNN特征组。其中，本实施例可以用于不存在STN的CNN中图像特征学习过程。
S302：重采样第一CNN特征组得到重采样数组。
具体地，由于第一CNN特征组为第一图像组中所有图片在各自原有尺度时经过CNN得到的，为了得到第一图像组在变化后的所有图片在第二尺度时的CNN特征，首先需要将第一CNN特征进行重采样，以得到重采样数据。其中，重采样的方法包括：最近邻插值、双线性插值、三线性插值、多线性插值、用反卷积实现双线性插值的上采样、用平均pooling实现下采样和用max-pooling实现非线性下采用等方式，此处对重采样的方法不作限定，目的是得到第一CNN特征组经过重采样之后的重采样数据。
S303：将重采样数组与第一参数相乘得到第二CNN特征组，第二CNN特征组包括第一图像组中的图像在第二尺度时的CNN特征，第一参数为s-λ，s为第二尺度与第一图像组中的图像的比值，λ为CNN特征统计量。
具体地，将S102中的到的重采样数据与第一参数相乘，以得到第一图像组在第二尺度时的第二CNN特征组。其中，第一参数的目的是将第一CNN特征组的重采样数据以一定的对应关系得到第二CNN特征组。第一参数包括第一CNN特征组、第二CNN特征组、第一图像组中每一图片的原有尺度和第一图像组的第二尺度之间的对应关系。从而将第一CNN特征组与对应的第一参数相乘，根据第一参数中包含的对应关系，得到第二CNN特征组。可选地，第一参数为s-λ，s为第二尺度与图像原尺度的比值，λ为CNN特征统计量，λ与CNN中特征有关，CNN中不同的特征提取方法所对应的统计量。
图4为本发明图像特征提取装置实施例一的结构示意图。如图4所示，本实施例图像特征提取装置包括：特征提取模块401、重采样模块402和参数匹配模块403。其中，特征提取模块401用于获取第一图像的第一深度卷积神经网络CNN特征，第一CNN特征为第一图像在第一尺度时的CNN特征，重采样模块402用于重采样第一CNN特征得到重采样数据；参数匹配模块403用于将重采样数据与第一参数相乘得到第二CNN特征，第二CNN特征为第一图像在第二尺度时的CNN特征。
可选地，在上述实施例中，重采样模块402具体用于通过空间变换网络STN重采样第一CNN特征的到重采样数据。
本实施例的装置对应地可用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图5为本发明图像特征提取装置实施例二的结构示意图。如图5所示，本实施例在图4所示实施例的基础上还包括：获取模块501和更新模块502。其中，获取模块501用于获取第一参数。
一种可能的实现方式为，第一参数为s-λ，s为第一尺度与第二尺度的比值，λ为CNN特征统计量；
λ的获取方法包括如下步骤：
(1)获取第二图像的第一CNN特征C3，并获取第一CNN特征的平均值第一CNN特征为第二图像在第一尺度时的CNN特征；
(2)将第二图像进行任意尺度变换为第二尺度；
(3)获取第二图像的第二CNN特征C4，并获取第二CNN特征的平均值第二CNN特征为第二图像在第二尺度时的CNN特征；
(4)获取与的比值，记为
(5)更换第二图像并重复n次步骤(1)到步骤(4)得到不同的比值，记为μ1…μn，n为大于等于2的整数；
(6)获取的比值的平均值
(7)用最小二乘法求解方程μs＝a·s-λ，得到a和λ，丢弃a，得到λ。
可选地，更新模块502用于更新第一参数。
进一步地，更新第一参数s-λ的步骤包括：在第p次通过CNN提取特征时计算一次第一参数s-λ，在后续的q次计算中，由CNN的训练过程更新第一参数s-λ的数值。其中p和q的具体数值不作限定，p和q为大于零的整数。
本实施例的装置对应地可用于执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图6为本发明图像特征提取装置实施例三的结构示意图。如图6所示，本实施例图像特征提取装置包括：特征提取模块601、重采样模块602和参数匹配模块603。其中，特征提取模块601用于获取第一图像组的第一深度卷积神经网络CNN特征组，第一图像组包括至少两张图像；重采样模块602用于重采样第一CNN特征组得到重采样数组；参数匹配模块603用于将重采样数组与第一参数相乘得到第二CNN特征组，第二CNN特征组包括第一图像组中的图像在第二尺度时的CNN特征，第一参数为s-λ，s为第二尺度与第一图像组中的图像的比值，λ为CNN特征统计量。
本实施例的装置对应地可用于执行图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一获取机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种图像特征提取方法，其特征在于，包括：
获取第一图像的第一深度卷积神经网络CNN特征，所述第一CNN特征为所述第一图像在第一尺度时的CNN特征；
重采样所述第一CNN特征得到重采样数据；
将所述重采样数据与第一参数相乘得到第二CNN特征，所述第二CNN特征为所述第一图像在第二尺度时的CNN特征。
2.根据权利要求1所述的方法，其特征在于，所述重采样所述第一CNN特征包括：
通过空间变换网络STN重采样所述第一CNN特征的到重采样数据。
3.根据权利要求2所述的方法，其特征在于，所述获取所述第一图像的第一深度卷积神经网络CNN特征之前，还包括：
获取所述第一参数。
4.根据权利要求3所述的方法，其特征在于，所述第一参数为s-λ，所述s为所述第一尺度与所述第二尺度的比值，所述λ为CNN特征统计量；
所述λ的获取方法包括如下步骤：
(1)获取第二图像的第一CNN特征C3，并获取所述第一CNN特征的平均值所述第一CNN特征为所述第二图像在第一尺度时的CNN特征；
(2)将所述第二图像进行任意尺度变换为第二尺度；
(3)获取所述第二图像的第二CNN特征C4，并获取所述第二CNN特征的平均值所述第二CNN特征为所述第二图像在第二尺度时的CNN特征；
(4)获取所述与所述的比值，记为
(5)更换所述第二图像并重复n次所述步骤(1)到所述步骤(4)得到不同的所述比值，记为μ1…μn，所述n为大于等于2的整数；
(6)获取的所述比值的平均值
(7)用最小二乘法求解方程μs＝a·s-λ，得到所述a和所述λ，丢弃所述a，得到所述λ；
所述将所述重采样数据与第一参数相乘得到第二CNN特征之后，还包括：
更新所述第一参数；
所述更新所述第一参数包括：在第p次通过CNN提取特征时计算所述第一参数；
在后续的q次计算中，由所述CNN的训练过程更新所述第一参数的数值，其中所述p和所述q的具体数值不作限定，所述p和所述q为大于零的整数。
5.一种图像特征提取方法，其特征在于，包括：
获取第一图像组的第一深度卷积神经网络CNN特征组，所述第一图像组包括至少两张图像；
重采样所述第一CNN特征组得到重采样数组；
将所述重采样数组与第一参数相乘得到第二CNN特征组，所述第二CNN特征组包括所述第一图像组中的图像在第二尺度时的CNN特征，所述第一参数为s-λ，所述s为所述第二尺度与所述第一图像组中的图像原尺度的比值，所述λ为CNN特征统计量。
6.一种图像特征提取装置，其特征在于，包括：
特征提取模块，所述特征提取模块用于获取第一图像的第一深度卷积神经网络CNN特征，所述第一CNN特征为所述第一图像在第一尺度时的CNN特征；
重采样模块，所述重采样模块用于重采样所述第一CNN特征得到重采样数据；
参数匹配模块，所述参数匹配模块用于将所述重采样数据与第一参数相乘得到第二CNN特征，所述第二CNN特征为所述第一图像在第二尺度时的CNN特征。
7.根据权利要求6所述的装置，其特征在于，
所述重采样模块具体用于通过空间变换网络STN重采样所述第一CNN特征的到重采样数据。
8.根据权利要求7所述的装置，其特征在于，还包括：
获取模块，所述获取模块用于获取所述第一参数。
9.根据权利要求8所述的装置，其特征在于，所述第一参数为s-λ，所述s为所述第一尺度与所述第二尺度的比值，所述λ为CNN特征统计量；
所述λ的获取方法包括如下步骤：
(1)获取第二图像的第一CNN特征C3，并获取所述第一CNN特征的平均值所述第一CNN特征为所述第二图像在第一尺度时的CNN特征；
(2)将所述第二图像进行任意尺度变换为第二尺度；
(3)获取所述第二图像的第二CNN特征C4，并获取所述第二CNN特征的平均值所述第二CNN特征为所述第二图像在第二尺度时的CNN特征；
(4)获取所述与所述的比值，记为
(5)更换所述第二图像并重复n次所述步骤(1)到所述步骤(4)得到不同的所述比值，记为μ1…μn，所述n为大于等于2的整数；
(6)获取的所述比值的平均值
(7)用最小二乘法求解方程μs＝a·s-λ，得到所述a和所述λ，丢弃所述a，得到所述λ；
所述装置还包括：更新模块，所述更新模块用于更新所述第一参数；
所述更新所述第一参数包括：在第p次通过CNN提取特征时计算所述第一参数；
在后续的q次计算中，由所述CNN的训练过程更新所述第一参数的数值，其中所述p和所述q的具体数值不作限定，所述p和所述q为大于零的整数。
10.一种图像特征提取装置，其特征在于，包括：
特征提取模块，所述特征提取模块用于获取第一图像组的第一深度卷积神经网络CNN特征组，所述第一图像组包括至少两张图像；
重采样模块，所述重采样模块用于重采样所述第一CNN特征组得到重采样数组；
参数匹配模块，所述参数匹配模块用于将所述重采样数组与第一参数相乘得到第二CNN特征组，所述第二CNN特征组包括所述第一图像组中的图像在第二尺度时的CNN特征，所述第一参数为s-λ，所述s为所述第二尺度与所述第一图像组中的图像的比值，所述λ为CNN特征统计量。
CN201710018662.5A 2017-01-10 2017-01-10 图像特征提取方法和装置 Active CN106779055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710018662.5A CN106779055B (zh) 2017-01-10 2017-01-10 图像特征提取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710018662.5A CN106779055B (zh) 2017-01-10 2017-01-10 图像特征提取方法和装置

Publications (2)

Publication Number Publication Date
CN106779055A true CN106779055A (zh) 2017-05-31
CN106779055B CN106779055B (zh) 2019-06-21

Family

ID=58947542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710018662.5A Active CN106779055B (zh) 2017-01-10 2017-01-10 图像特征提取方法和装置

Country Status (1)

Country Link
CN (1) CN106779055B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609541A (zh) * 2017-10-17 2018-01-19 哈尔滨理工大学 一种基于可变形卷积神经网络的人体姿态估计方法
CN108073910A (zh) * 2017-12-29 2018-05-25 百度在线网络技术（北京）有限公司 用于生成人脸特征的方法和装置
WO2018218643A1 (en) * 2017-06-02 2018-12-06 Shanghaitech University Method and apparatus for estimating depth of field information
CN112381131A (zh) * 2020-11-10 2021-02-19 中国地质大学（武汉） 岩石薄片识别的方法、装置、设备及存储介质
CN115311530A (zh) * 2022-07-15 2022-11-08 哈尔滨工业大学 一种基于深度卷积自编码器的流场特征提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092973A (ja) * 1999-09-24 2001-04-06 Fujitsu Ltd 画像解析装置及び方法並びにプログラム記録媒体
CN103473565A (zh) * 2013-08-23 2013-12-25 华为技术有限公司 一种图像匹配方法和装置
CN105512683A (zh) * 2015-12-08 2016-04-20 浙江宇视科技有限公司 基于卷积神经网络的目标定位方法及装置
CN105975929A (zh) * 2016-05-04 2016-09-28 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092973A (ja) * 1999-09-24 2001-04-06 Fujitsu Ltd 画像解析装置及び方法並びにプログラム記録媒体
CN103473565A (zh) * 2013-08-23 2013-12-25 华为技术有限公司 一种图像匹配方法和装置
CN105512683A (zh) * 2015-12-08 2016-04-20 浙江宇视科技有限公司 基于卷积神经网络的目标定位方法及装置
CN105975929A (zh) * 2016-05-04 2016-09-28 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李彦东 等: ""卷积神经网络研究综述"", 《计算机应用》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018218643A1 (en) * 2017-06-02 2018-12-06 Shanghaitech University Method and apparatus for estimating depth of field information
US10645368B1 (en) 2017-06-02 2020-05-05 Shanghaitech University Method and apparatus for estimating depth of field information
CN107609541A (zh) * 2017-10-17 2018-01-19 哈尔滨理工大学 一种基于可变形卷积神经网络的人体姿态估计方法
CN107609541B (zh) * 2017-10-17 2020-11-10 哈尔滨理工大学 一种基于可变形卷积神经网络的人体姿态估计方法
CN108073910A (zh) * 2017-12-29 2018-05-25 百度在线网络技术（北京）有限公司 用于生成人脸特征的方法和装置
US11270099B2 (en) 2017-12-29 2022-03-08 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating facial feature
CN112381131A (zh) * 2020-11-10 2021-02-19 中国地质大学（武汉） 岩石薄片识别的方法、装置、设备及存储介质
CN115311530A (zh) * 2022-07-15 2022-11-08 哈尔滨工业大学 一种基于深度卷积自编码器的流场特征提取方法
CN115311530B (zh) * 2022-07-15 2023-08-29 哈尔滨工业大学 一种基于深度卷积自编码器的流场特征提取方法

Also Published As

Publication number Publication date
CN106779055B (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
CN106779055A (zh) 图像特征提取方法和装置
CN108664981B (zh) 显著图像提取方法及装置
CN106980858B (zh) 一种语言文本检测与定位系统及应用该系统的语言文本检测与定位方法
CN106796716B (zh) 用于为低分辨率图像提供超分辨率的设备和方法
CN112348849B (zh) 一种孪生网络视频目标跟踪方法及装置
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN108182384A (zh) 一种人脸特征点定位方法及装置
CN110427968A (zh) 一种基于细节增强的双目立体匹配方法
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN108171249B (zh) 一种基于rgbd数据的局部描述子学习方法
CN107274378A (zh) 一种融合记忆cnn的图像模糊类型识别及参数整定方法
CN110210524A (zh) 一种图像增强模型的训练方法、图像增强方法及装置
CN110222607A (zh) 人脸关键点检测的方法、装置及系统
CN115222946B (zh) 一种单阶段实例图像分割方法、装置以及计算机设备
CN110349087A (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN109816098A (zh) 神经网络的处理方法及评估方法、数据分析方法及装置
CN112613356B (zh) 一种基于深度注意力融合网络的动作检测方法及装置
CN110210278A (zh) 一种视频目标检测方法、装置及存储介质
CN113449735A (zh) 一种超像素分割的语义分割方法及装置
CN110390393A (zh) 模型特征筛选方法及装置、可读存储介质
CN114639102B (zh) 基于关键点与尺寸回归的细胞分割方法和装置
CN113298129A (zh) 基于超像素和图卷积网络的极化sar图像分类方法
CN106951912A (zh) 一种果蔬外观变化识别模型的建立方法和识别方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN116343052B (zh) 一种基于注意力和多尺度的双时相遥感图像变化检测网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant