CN109934239A - 图像特征提取方法 - Google Patents

图像特征提取方法 Download PDF

Info

Publication number
CN109934239A
CN109934239A CN201910173459.4A CN201910173459A CN109934239A CN 109934239 A CN109934239 A CN 109934239A CN 201910173459 A CN201910173459 A CN 201910173459A CN 109934239 A CN109934239 A CN 109934239A
Authority
CN
China
Prior art keywords
image
sample
convolutional neural
neural networks
similar sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910173459.4A
Other languages
English (en)
Other versions
CN109934239B (zh
Inventor
冯建兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Haohua Science And Technology Co Ltd
Original Assignee
Shanghai Haohua Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Haohua Science And Technology Co Ltd filed Critical Shanghai Haohua Science And Technology Co Ltd
Priority to CN201910173459.4A priority Critical patent/CN109934239B/zh
Publication of CN109934239A publication Critical patent/CN109934239A/zh
Application granted granted Critical
Publication of CN109934239B publication Critical patent/CN109934239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明属于图像学习领域,并且具体提供了一种图像特征提取方法,旨在降低图像特征学习对硬件条件的过度依赖,同时提高图像特征学习效果。为此目的,本发明提供的图像特征提取方法主要包括以下步骤:通过预设的卷积神经网络获取目标图像的图像特征;该方法还包括对卷积神经网络进行网络训练,其具体包括获取图像样本集中每个图像样本的相似样本,并且分别对每个图像样本及其对应的相似样本进行图像变换;通过卷积神经网络并且根据图像变换结果获取相应的图像特征;根据目标函数、图像样本及其对应的相似样本的图像特征并利用机器学习算法对卷积神经网络进行网络训练。基于上述步骤,本发明可以保证图像特征的学习效果,又可以降低对硬件条件要求。

Description

图像特征提取方法
技术领域
本发明属于图像学习技术领域,具体涉及一种图像特征提取方法。
背景技术
基于深度学习的图像分类往往需要大量的标注数据,但是获取大量的标注数据成本很高甚至是不可能的,如何在无需标注数据的情况下(无监督)学习到图像中的重要特征,进而为后续的计算提供一个很好的基础具有很高的科研和实用价值。
现有的无监督图像特征学习方法大致可以分为以下四类:
第一类,基于生成模型的无监督图像特征学习方法,该方法主要是通过限制玻尔兹曼机、对抗生成网络以及自编码器等实现无监督特征图像学习。
第二类,基于自监督模型的无监督图像特征学习方法,该方法主要是通过输入图像的一部分信息预测输入图像中另一部分信息,对输入图像中的对象进行计数等实现无监督图像特征学习。
第三类,基于度量学习的无监督图像特征学习方法,该方法主要是根据任意两个输入图像,计算两个输入图像的得分,再根据两个输入图像的关系,获取这两个图像的得分所满足的特定关系实现无监督图像特征学习。
第四类,基于Memory bank的无监督图像特征学习方法,该方法主要是通过为每一个输入图像保存一个嵌入向量,再通过训练不断更新该嵌入向量来实现无监督图像特征学习。
现有的无监督图像特征学习方法中第四类学习方法的学习效果最好,但是第四类学习方法的缺点在于需要为每个输入图像保存一个嵌入向量,而且为了提高计算速度,每个嵌入向量必须保存在GPU中。对于大型数据或者嵌入向量长度较长的情况,则很可能没有足够的内存保存嵌入向量。此外,如果图像数据中包含类别信息,则还需要另外设计模型才能够将类别信息整合到相应的模型中。综上,现有的无监督特征图像学习方法要么学习效果不够理想,要么就是对硬件条件要求高,尤其是对GPU的依赖较大。
因此,如何提出一种既可以保证图像特征的学习效果,又可以降低对硬件条件要求的方案是本领域技术人员目前需要解决的问题。
发明内容
为了解决现有技术中的上述问题,即为了降低对硬件条件的过度依赖同时提高图像特征学习效果,本发明提供了一种图像特征提取方法,所述方法包括通过预设的卷积神经网络获取目标图像的图像特征;
所述方法还包括基于预设的图像样本集与预设的目标函数并利用机器学习算法对所述卷积神经网络进行网络训练,具体包括:
获取所述图像样本集中每个图像样本的相似样本,并且分别对所述每个图像样本及其对应的相似样本进行图像变换;
通过所述卷积神经网络并且根据图像变换结果获取相应的图像特征;
根据所述目标函数、所述图像样本及其对应的相似样本的图像特征并利用所述机器学习算法对所述卷积神经网络进行网络训练;
其中,所述相似样本取决于所述图像样本是否包含类别信息,所述目标函数是能够使所述图像样本及其对应的相似样本的图像特征之间的相似度最大,以及使所述图像样本及其对应的非相似样本的图像特征之间的相似度最小的函数。
可选地,在所述图像特征提取方法中,“获取所述图像样本集中每个图像样本的相似样本”的步骤具体包括:
若所述图像样本包含类别信息,则所述图像样本的相似样本是所述图像样本集中包含该类别信息的其他图像样本;
若所述图像样本不含类别信息,则所述图像样本的相似样本也是所述图像样本。
可选地,在所述图像特征提取方法中,“根据所述目标函数、所述图像样本及其对应的相似样本的图像特征并利用所述机器学习算法对所述卷积神经网络进行网络训练”的步骤具体包括根据所述图像特征、下式所示的目标函数T1并利用所述机器学习算法对所述卷积神经网络进行网络训练:
其中,所述M=exp(VTV′),所述V表示由所述当前网络训练中图像样本的图像特征构成的特征矩阵,所述VT表示V的转置矩阵,所述V′表示由所述图像样本对应的相似样本的图像特征构成的特征矩阵,所述Tr(M)表示M的轨迹,所述||M||0表示所述M的L0范数。
可选地,在所述图像特征提取方法中,当图像样本包含类别信息时,“根据所述目标函数、所述图像样本及其对应的相似样本的图像特征并利用所述机器学习算法对所述卷积神经网络进行网络训练”的步骤还包括根据所述图像特征、下式所示的目标函数T2并利用所述机器学习算法对所述卷积神经网络进行网络训练:
其中,所述M=exp(VTV′),所述V表示由所述当前网络训练中图像样本的图像特征构成的特征矩阵,所述VT表示V的转置矩阵,所述V′表示由所述图像样本对应的相似样本的图像特征构成的特征矩阵,所述||M||0表示所述M的L0范数;所述M′=M*S,所述S表示B行B列的类别矩阵,当S的第(i,j)个元素Sij=1时表示所述V对应的样本集中的第i个样本与所述V′对应的样本集中的第j个样本属于同一类别,当S的第(i,j)个元素Sij=0时表示所述V对应的样本集中的第i个样本与所述V对应的样本集中的第j个样本不属于同一类别。
可选地,在所述图像特征提取方法中,“通过所述卷积神经网络并根据图像变换结果获取相应的图像特征”的步骤之后,所述方法还包括:
对所述图像特征进行归一化处理。
可选地,在所述图像特征提取方法中,“对所述图像特征进行归一化处理”的步骤具体包括:
v′=v/||v||2
其中,所述v′表示对图像特征v进行归一化处理后的处理结果,所述||v||2表示v的L2范数。
可选地,在所述图像特征提取方法中,“分别对所述每个图像样本及其对应的相似样本进行图像变换”的步骤具体包括分别对所述图像样本和所述相似样本进行随机图像变换。
可选地,在所述图像特征提取方法中,“分别对所述图像样本和所述相似样本进行随机图像变换”的步骤具体包括:
对待变换图像进行随机裁剪和缩放、并且/或者随机改变所述待变换图像的亮度、对比度以及饱和度、并且/或者随机将所述待变换图像转变为灰度图、并且/或者对所述待变换图像进行随机水平或垂直翻转;
其中,所述待变换图像是所述图像样本或所述相似样本。
可选地,在所述图像特征提取方法中,所述卷积神经网络是基于Resnet18网络、Resnet34网络、Resnet50网络或Alexnet构建的神经网络;
其中,所述卷积神经网络不包含全连接层。
可选地,在所述图像特征提取方法中,所述方法还包括根据所述目标图像的图像特征进行图像分类。
与最接近的现有技术相比,上述技术方案至少具有如下有益效果:
本发明提供的图像特征提取方法主要包括以下步骤:通过预设的卷积神经网络获取目标图像的图像特征;该方法还包括基于预设的图像样本集与预设的目标函数并利用机器学习算法对卷积神经网络进行网络训练,其具体包括:获取图像样本集中每个图像样本的相似样本,并且分别对每个图像样本及其对应的相似样本进行图像变换;通过卷积神经网络并且根据图像变换结果获取相应的图像特征;根据目标函数、图像样本及其对应的相似样本的图像特征并利用机器学习算法对卷积神经网络进行网络训练。基于上述步骤,本发明的图像特征提取方法,对于目标图像无类别信息的情况,通过约束同一张图片不同变换下的图像特征相似,不同图片的图像特征不相似,以及对于目标图像有类别信息的情况,通过约束同一类别图片不同变换下的图像特征相似,不同类别图片的图像特征不相似进行无监督图像特征学习,无需将图像特征存入GPU,既可以保证图像特征的学习效果,又可以降低对硬件条件要求。
附图说明
图1为本发明一种实施例的基于不含类别信息的图像样本对卷积神经网络进行网络训练的示意图;
图2为本发明实施例中一种对卷积神经网络进行网络训练的步骤示意图;
图3为本发明一种实施例的基于含有类别信息的图像样本对卷积神经网络进行网络训练的示意图;
图4为本发明实施例中另一种对卷积神经网络进行网络训练的步骤示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
实施例一
参阅附图1,图1示例性地示出了本实施例中基于不含类别信息的图像样本对卷积神经网络进行网络训练的示意图;参阅附图2,图2示例性地示出了本发明实施例中一种对卷积神经网络进行网络训练的步骤示意图。如图2所示,本实施例中基于不含类别信息的图像样本对卷积神经网络进行网络训练可以包括下述步骤:
步骤S201:获取图像样本集中每个第一图像样本的相似样本,对每个第一图像样本及其对应的相似样本进行图像变换。
图像样本集是多种图像样本的集合,图像样本集可以包括含有类别标签的图像样本,也可以包括不含类别标签的图像样本,通过类别标签可以对图像进行分类,为相应的应用场景提供良好的计算条件。在实际应用中,对图像样本打上类别标签可能需要较高的成本,因此存在大量不含类别信息的图像样本。为了说明的简便,本发明实施例以不含类别信息的图像样本为第一图像样本为例进行说明。为了能够很好地提取第一图像样本的图像特征,可以通过第一图像样本及其对应的相似样本对卷积神经网络进行网络训练。
首先,可以获取图像样本集中每个第一图像样本的相似样本,对于第一图像样本,其对应的相似样本与该第一图像样本相同,即第一图像样本的相似样本是其本身。然后对每个第一图像样本及其对应的相似样本进行图像变换,具体地,如图1所示,在本发明实施例中,图像随机变换模块可以用于对图像样本进行随机变换,其中,随机变换可以包括四种随机图像变换:随机裁剪缩放变换、随机颜色变换、随机灰度图变换以及随机水平翻转变换。
其中,随机裁剪缩放变换可以从均匀分布U(0.2,1)中选取一个随机数r,然后从原图中随机选取一个面积为r的矩形(假设原图的面积为1),矩形的长宽比例也是一个服从均匀分布U(3/4,4/3)的随机数;随机颜色变换可以从均匀分布U(0.6,1.4)中随机选取三个随机数r1,r2,r3,按照随机数来改变图像的亮度,对比度和饱和度,此外,还可以随机地从均匀分布U(-0.4,0.4)中选取色调;随机灰度图变换可以以0.2的概率随机将图片变成灰度图;随机水平翻转变换可以以0.5的概率将图片进行水平翻转。
步骤S202:通过待训练的第一卷积神经网络并且根据图像变换结果获取相应的图像特征。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络,卷积神经网络的结构包括输入层、隐含层和输出层,其中,隐含层又包括卷积层、池化层和全连接层,卷积神经网络的卷积层和池化层能够响应输入特征的平移不变性,能够识别位于图像空间不同位置的相近特征,以此实现提取图像特征的目的。需要说明的是,本发明实施例的卷积神经网络可以是基于Resnet18网络、Resnet34网络、Resnet50网络或Alexnet构建的神经网络;其中,本发明实施例的卷积神经网络不包含全连接层。
虽然第一图像样本对应的相似样本与该第一图像样本相同,但是经过图像变换后,两者变成不同的图像,具体地,以图1左侧图像为第一图像样本,图1右侧图像为相似样本为例,对第一图像样本进行随机图像变换的结果可能是:首先进行随机裁剪缩放,选取一个随机数0.5,从原图中选取一个面积为0.5的矩形,矩形的长宽比例选取的随机数为1;然后进行随机颜色变换,选取三个随机数0.7,0.8,0.9改变经过裁剪缩放的图像的亮度、对比度和饱和度;接着将随机颜色变换后的图像变成灰度图;对第一图像样本对应的相似样本进行随机图像变换的结果可能是:首先进行随机裁剪缩放,选取一个随机数0.7,从原图中选取一个面积为0.7的矩形,矩形的长宽比例选取的随机数为5/4;然后进行随机颜色变换,选取三个随机数1.1,1.2,1.3改变经过裁剪缩放的图像的亮度、对比度和饱和度;接着将随机颜色变换后的图像进行水平翻转。由上可知,原本相同的第一图像样本和与其对应的相似样本经过图像变换后,得到不同的图像变换结果。
如图1所示,将第一图像样本和与其对应的相似样本的图像变换结果输入待训练的第一卷积神经网络,得到相应的图像特征,再对图像特征进行归一化处理,具体地,归一化模块可以按照公式(1)所示的方法进行图像特征归一化处理:
v′=v/||v||2 (1)
其中,v′表示对图像特征v进行归一化处理后的处理结果,||v||2表示v的L2范数。
在第一卷积神经网络输出图像特征的基础上,通过归一化处理,可以将每个图像特征的长度变成1,最后每张图像样本均对应一个长度恒定的列向量,在本发明实施例中,列向量的长度可以是128。
步骤S203:根据第一目标函数、第一图像样本及其对应的相似样本的图像特征并利用机器学习算法对第一卷积神经网络进行网络训练。
为了能够更好地从不含类别标签的图像样本中提取图像特征,可以对第一卷积神经网络进行网络训练,具体地,可以根据图像特征、公式(2)所示的第一目标函数T1并利用机器学习算法对第一卷积神经网络进行网络训练:
其中,M=exp(VTV′),V表示由当前网络训练中图像样本的图像特征构成的特征矩阵,VT表示V的转置矩阵,V′表示由图像样本对应的相似样本的图像特征构成的特征矩阵,Tr(M)表示M的轨迹,||M||0表示的L0范数。第一目标函数能够使同一张图像经过不同随机变换后得到的图像特征之间的相似性尽可能的大,任何两张不同的图像经过不同随机变换后得到的图像特征之间的相似性尽可能的小。如图1所示,以左侧第一张图像为例,将其得到的图像特征依次与右侧图像的图像特征进行比较,经过训练后的第一卷积神经网络能够根据图像特征很好地判断出左侧和右侧的图像是否为同一张图像。本发明可以采用SGD(Stochastic Gradient Descent,随机梯度下降)算法对第一卷积神经网络进行优化,其中,SGD算法的学习率可以是0.01,冲量值可以是0.9,权重衰减值可以是5e-4。通过在CIFAR10数据集上进行测试,本发明实施例的基于不含类别信息的图像样本的图像特征提取方法计算分类的准确性为0.81,与现有技术基于Memory bank的无监督图像特征学习方法的准确性相当。
在得到图像样本的图像特征后,还可以根据图像样本的图像特征进行图像分类。
实施例二
参阅附图3,图3示例性地示出了本实施例中基于含有类别信息的图像样本对卷积神经网络进行网络训练的示意图;参阅附图4,图4示例性地示出了本发明实施例中另一种对卷积神经网络进行网络训练的步骤示意图。如图4所示,本实施例中基于含有类别信息的图像样本对卷积神经网络进行网络训练可以包括下述步骤:
步骤S401:获取图像样本集中每个第二图像样本的相似样本,对每个第二图像样本及其对应的相似样本进行图像变换。
为了说明的简便,本发明实施例以含有类别信息的图像样本为第二图像样本为例进行说明。在本发明实施例中,第二图像样本的相似样本是图像样本集中包含与第二图像样本相同类别信息的其他图像样本,如图3所示,图3左侧图像为第二图像样本,其图像内容为一只小狗,图3右侧图像为第二图像样本的相似样本,其图像内容同样是一只小狗,但是该小狗的种类、所处图像背景以及拍摄角度等与左侧图像不同。对每个图像样本及其对应的相似样本进行图像变换,得到对应的图像变换结果。需要说明的是,实施例二的图像变换步骤与实施例一的图像变换步骤相同,只是具体参数可能不同,实施例二不再赘述。
步骤S402:通过待训练的第二卷积神经网络并且根据图像变换结果获取相应的图像特征。
将第二图像样本和与其对应的相似样本的图像变换结果输入待训练的第二卷积神经网络,得到相应的图像特征,再对图像特征进行归一化处理,得到图像样本对应的图像特征。
步骤S403:根据第二目标函数、第二图像样本及其对应的相似样本的图像特征并利用机器学习算法对第二卷积神经网络进行网络训练。
为了能够更好地从含有类别标签的图像样本中提取图像特征,可以对第二卷积神经网络进行网络训练,具体地,可以根据图像特征、公式(3)所示的第二目标函数T2并利用机器学习算法对第二卷积神经网络进行网络训练:
其中,M=exp(VTV′),V表示由当前网络训练中图像样本的图像特征构成的特征矩阵,VT表示V的转置矩阵,V′表示由图像样本对应的相似样本的图像特征构成的特征矩阵,||M||0表示的L0范数;M′=M*S,S表示B行B列的类别矩阵,当S的第(i,j)个元素Sij=1时表示V对应的样本集中的第i个样本与V′对应的样本集中的第j个样本属于同一类别,当S的第(i,j)个元素Sij=0时表示V对应的样本集中的第i个样本与V′对应的样本集中的第j个样本不属于同一类别。此外,需要说明的是,参数V表示图像样本集中的一部分图像样本,参数V′表示图像样本集中与这一部分图像样本能够构成相似样本的另一部分图像样本。
第二目标函数能够使同一类别的图像经过随机变换后得到的图像特征之间的相似性尽可能的大,任何两张不同类别的图像经过随机变换后得到的图像特征之间的相似性尽可能的小。通过在CIFAR10数据集上进行测试,本发明实施例的基于含有类别信息的图像样本的图像特征提取方法计算分类的准确性为0.93。
在得到图像样本的图像特征后,还可以根据图像样本的图像特征进行图像分类。
在本实施例的一个可选实施方案中,当基于含有类别信息的图像样本对卷积神经网络进行网络训练时,还可以按照以下步骤对第二卷积神经网络进行网络训练:
步骤S501:获取图像样本集中每个第二图像样本的相似样本,对每个第二图像样本及其对应的相似样本进行图像变换。
本实施方案中“获取图像样本集中每个第二图像样本的相似样本,对每个第二图像样本及其对应的相似样本进行图像变换”的具体方法与前述实施方案步骤S401中“获取图像样本集中每个第二图像样本的相似样本,对每个第二图像样本及其对应的相似样本进行图像变换”的具体方法相同,为了描述简洁,在此不再赘述。
步骤S502:通过待训练的第二卷积神经网络并且根据图像变换结果获取相应的图像特征。
本实施方案中“通过待训练的第二卷积神经网络并且根据图像变换结果获取相应的图像特征”的具体方法与前述实施方案步骤S402中“通过待训练的第二卷积神经网络并且根据图像变换结果获取相应的图像特征”的具体方法相同,为了描述简洁,在此不再赘述。
步骤S503:根据公式(2)所示的第一目标函数、第二图像样本及其对应的相似样本的图像特征并利用机器学习算法对第二卷积神经网络进行网络训练。
在本实施方案中“根据公式(2)所示的第一目标函数、第二图像样本及其对应的相似样本的图像特征并利用机器学习算法对第二卷积神经网络进行网络训练”的具体方法与前述实施方案中“根据第一目标函数、第一图像样本及其对应的相似样本的图像特征并利用机器学习算法对第一卷积神经网络进行网络训练”的具体方法相同,为了描述简洁,在此不再赘述。此外,需要说明的是,当根据公式(2)所示的第一目标函数对第二卷积神经网络进行网络训练时,参数V表示图像样本集中的一部分图像样本,参数V′表示图像样本集中与这一部分图像样本能够构成相似样本的另一部分图像样本。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述,但是本领域技术人员可以理解,为了实现本实施例的效果,不同的步骤之间不必按照这样的次序执行,其可以同时(并行)执行或以颠倒的次序执行,这些简单的变化都在本发明的保护范围之内。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种图像特征提取方法,其特征在于,所述方法包括通过预设的卷积神经网络获取目标图像的图像特征;
所述方法还包括基于预设的图像样本集与预设的目标函数并利用机器学习算法对所述卷积神经网络进行网络训练,具体包括:
获取所述图像样本集中每个图像样本的相似样本,并且分别对所述每个图像样本及其对应的相似样本进行图像变换;
通过所述卷积神经网络并且根据图像变换结果获取相应的图像特征;
根据所述目标函数、所述图像样本及其对应的相似样本的图像特征并利用所述机器学习算法对所述卷积神经网络进行网络训练;
其中,所述相似样本取决于所述图像样本是否包含类别信息,所述目标函数是能够使所述图像样本及其对应的相似样本的图像特征之间的相似度最大,以及使所述图像样本及其对应的非相似样本的图像特征之间的相似度最小的函数。
2.根据权利要求1所述的图像特征提取方法,其特征在于,“获取所述图像样本集中每个图像样本的相似样本”的步骤具体包括:
若所述图像样本包含类别信息,则所述图像样本的相似样本是所述图像样本集中包含该类别信息的其他图像样本;
若所述图像样本不含类别信息,则所述图像样本的相似样本也是所述图像样本。
3.根据权利要求1所述的图像特征提取方法,其特征在于,“根据所述目标函数、所述图像样本及其对应的相似样本的图像特征并利用所述机器学习算法对所述卷积神经网络进行网络训练”的步骤具体包括根据所述图像特征、下式所示的目标函数T1并利用所述机器学习算法对所述卷积神经网络进行网络训练:
其中,所述M=exp(VTV′),所述V表示由所述当前网络训练中图像样本的图像特征构成的特征矩阵,所述VT表示V的转置矩阵,所述V′表示由所述图像样本对应的相似样本的图像特征构成的特征矩阵,所述Tr(M)表示M的轨迹,所述||M||0表示的L0范数。
4.根据权利要求1所述的图像特征提取方法,其特征在于,当图像样本包含类别信息时,“根据所述目标函数、所述图像样本及其对应的相似样本的图像特征并利用所述机器学习算法对所述卷积神经网络进行网络训练”的步骤还包括根据所述图像特征、下式所示的目标函数T2并利用所述机器学习算法对所述卷积神经网络进行网络训练:
其中,所述M=exp(VTV′),所述V表示由所述当前网络训练中图像样本的图像特征构成的特征矩阵,所述VT表示V的转置矩阵,所述V′表示由所述图像样本对应的相似样本的图像特征构成的特征矩阵,所述||M||0表示的L0范数;所述M′=M*S,所述S表示B行B列的类别矩阵,当S的第(i,j)个元素Sij=1时表示所述V对应的样本集中的第i个样本与所述V′对应的样本集中的第j个样本属于同一类别,当S的第(i,j)个元素Sij=0时表示所述V对应的样本集中的第i个样本与所述V′对应的样本集中的第j个样本不属于同一类别。
5.根据权利要求1所述的图像特征提取方法,其特征在于,“通过所述卷积神经网络并根据图像变换结果获取相应的图像特征”的步骤之后,所述方法还包括:
对所述图像特征进行归一化处理。
6.根据权利要求5所述的图像特征提取方法,其特征在于,“对所述图像特征进行归一化处理”的步骤具体包括:
v′=v/||v||2
其中,所述v′表示对图像特征v进行归一化处理后的处理结果,所述||v||2表示v的L2范数。
7.根据权利要求1所述的图像特征提取方法,其特征在于,“分别对所述每个图像样本及其对应的相似样本进行图像变换”的步骤具体包括分别对所述图像样本和所述相似样本进行随机图像变换。
8.根据权利要求6所述的图像特征提取方法,其特征在于,“分别对所述图像样本和所述相似样本进行随机图像变换”的步骤具体包括:
对待变换图像进行随机裁剪和缩放、并且/或者随机改变所述待变换图像的亮度、对比度以及饱和度、并且/或者随机将所述待变换图像转变为灰度图、并且/或者对所述待变换图像进行随机水平或垂直翻转;
其中,所述待变换图像是所述图像样本或所述相似样本。
9.根据权利要求1所述的图像特征提取方法,其特征在于,所述卷积神经网络是基于Resnet18网络、Resnet34网络、Resnet50网络或Alexnet构建的神经网络;
其中,所述卷积神经网络不包含全连接层。
10.根据权利要求1至9中任一项所述的图像特征提取方法,其特征在于,所述方法还包括根据所述目标图像的图像特征进行图像分类。
CN201910173459.4A 2019-03-07 2019-03-07 图像特征提取方法 Active CN109934239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910173459.4A CN109934239B (zh) 2019-03-07 2019-03-07 图像特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910173459.4A CN109934239B (zh) 2019-03-07 2019-03-07 图像特征提取方法

Publications (2)

Publication Number Publication Date
CN109934239A true CN109934239A (zh) 2019-06-25
CN109934239B CN109934239B (zh) 2021-09-21

Family

ID=66986795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910173459.4A Active CN109934239B (zh) 2019-03-07 2019-03-07 图像特征提取方法

Country Status (1)

Country Link
CN (1) CN109934239B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111504927A (zh) * 2020-05-22 2020-08-07 清远市食品检验中心 用于食品检测的高效稳定的原子吸收光谱仪及其控制方法
CN112333798A (zh) * 2020-11-05 2021-02-05 珠海格力电器股份有限公司 一种智能设备的控制方法及装置
CN113011468A (zh) * 2021-02-25 2021-06-22 上海皓桦科技股份有限公司 图像特征提取方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810699A (zh) * 2013-12-24 2014-05-21 西安电子科技大学 基于无监督深度神经网络的sar图像变化检测方法
CN104035563A (zh) * 2014-06-19 2014-09-10 北京工业大学 基于w-pca和无监督ghsom的脑电信号识别方法
CN104110251A (zh) * 2014-06-24 2014-10-22 安徽多杰电气有限公司 一种基于art2的抽油机示功图识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810699A (zh) * 2013-12-24 2014-05-21 西安电子科技大学 基于无监督深度神经网络的sar图像变化检测方法
CN104035563A (zh) * 2014-06-19 2014-09-10 北京工业大学 基于w-pca和无监督ghsom的脑电信号识别方法
CN104110251A (zh) * 2014-06-24 2014-10-22 安徽多杰电气有限公司 一种基于art2的抽油机示功图识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CALVINPAEAN: "siamese详解", 《CSDN》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111504927A (zh) * 2020-05-22 2020-08-07 清远市食品检验中心 用于食品检测的高效稳定的原子吸收光谱仪及其控制方法
CN112333798A (zh) * 2020-11-05 2021-02-05 珠海格力电器股份有限公司 一种智能设备的控制方法及装置
CN113011468A (zh) * 2021-02-25 2021-06-22 上海皓桦科技股份有限公司 图像特征提取方法及装置

Also Published As

Publication number Publication date
CN109934239B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN104463209B (zh) 一种基于bp神经网络的pcb板上数字代码识别方法
CN109635141A (zh) 用于检索图像的方法、电子设备和计算机可读存储介质
Liu et al. Very deep convolutional neural network based image classification using small training sample size
Sun et al. Multiple instance learning convolutional neural networks for object recognition
Kussul et al. Improved method of handwritten digit recognition tested on MNIST database
CN110188725A (zh) 高分辨率遥感图像的场景识别系统及模型生成方法
CN109934239A (zh) 图像特征提取方法
CN110298361A (zh) 一种rgb-d图像的语义分割方法和系统
CN108537192A (zh) 一种基于全卷积网络的遥感影像地表覆盖分类方法
CN110472730A (zh) 一种卷积神经网络的自蒸馏训练方法和可伸缩动态预测方法
CN110276316A (zh) 一种基于深度学习的人体关键点检测方法
CN105205453B (zh) 基于深度自编码器的人眼检测和定位方法
CN110276269A (zh) 一种基于注意力机制的遥感图像目标检测方法
CN107330444A (zh) 一种基于生成对抗网络的图像自动文本标注方法
CN110472681A (zh) 基于知识蒸馏的神经网络训练方案和图像处理方案
CN107016689A (zh) 一种尺度自适应的相关滤波对冲目标跟踪方法
CN107749052A (zh) 基于深度学习神经网络的图像去雾方法及系统
CN110609979A (zh) 从部分观察中合成新的字体字形
CN109885671A (zh) 基于多任务学习的问答方法
CN108052884A (zh) 一种基于改进残差神经网络的手势识别方法
CN106951473A (zh) 面向视觉障碍人士的深度视觉问答系统的构建方法
CN109919183A (zh) 一种基于小样本的图像识别方法、装置、设备及存储介质
CN109829049A (zh) 利用知识库渐进时空注意力网络解决视频问答任务的方法
CN110033054A (zh) 基于协同笔画优化的个性化手写体迁移方法和系统
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant