CN105095902B - 图片特征提取方法及装置 - Google Patents

图片特征提取方法及装置 Download PDF

Info

Publication number
CN105095902B
CN105095902B CN201410223300.6A CN201410223300A CN105095902B CN 105095902 B CN105095902 B CN 105095902B CN 201410223300 A CN201410223300 A CN 201410223300A CN 105095902 B CN105095902 B CN 105095902B
Authority
CN
China
Prior art keywords
picture
sparse
integration
low
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410223300.6A
Other languages
English (en)
Other versions
CN105095902A (zh
Inventor
江焯林
孔庶
杨强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410223300.6A priority Critical patent/CN105095902B/zh
Publication of CN105095902A publication Critical patent/CN105095902A/zh
Application granted granted Critical
Publication of CN105095902B publication Critical patent/CN105095902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明实施例提供一种图片特征提取方法及装置。本发明图片特征提取方法,包括:使用聚类算法从待分类的图片数据集中获取多个聚类中心作为低层特征提取器;使用所述多个低层特征提取器对所述图片数据集中的每张图片做卷积操作,针对所述每张图片分别生成与所述多个低层特征提取器相同数量的多个卷积图片;对所述多个卷积图片分别进行阈值化操作获取多个稀疏图片;对所述多个稀疏图片进行低层特征整合获取多个整合后的图片;对所述多个整合后的图片进行中层特征提取操作获取中层特征。本发明实施例可以自适应的提取图片特征且提取效率较高。

Description

图片特征提取方法及装置
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种图片特征提取方法及装置。
背景技术
随着多媒体技术的发展和因特网的普及,人们获得各种多媒体信息越来越容易,其中图片是数量最多的一种,如何对图片进行分类以便有效地、快速地从大规模图片数据库中检索出所需要的图片已成为人们日益关注的问题。而对图片进行分类必然会对图片进行特征提取。
现有技术中,基于图片的分类技术通常构建一个分层的特征提取框架,即空间金字塔匹配/模型(Spatial Pyramid Matching/Model,简称SPM)方法。SPM方法通常采用一种定义好的低层特征,例如尺度不变特征变换(Scale-invariant feature transform,简称SIFT)特征。这种低层特征用来统计图片中小型区域中的边缘方向信息。因此SPM方法在低层框架中输出大量(基于区域)方向统计信息。之后,SPM方法在中层结构中,基于这些低层方向信息构架中层特征。所谓中层特征,就是在不涉及图片的高级含义信息的情况下(例如图片的物体信息或人脸图片的ID)从图片生成的信息。之后,该层次模型采用支持向量机(Support Vector Machine,简称SVM)分类器在这种中层特征上进行图片分类。一般地,中层特征能够很好地表达图片的主要信息,并能够产生很好的分类性能。
现有的提取图片特征的方法,由于低层特征是预先定义的边缘方向统计信息,即SIFT特征,所以该低层特征缺乏灵活性,不能针对每个图片自适应的提取特征且提取耗时太长。
发明内容
本发明实施例提供一种图片特征提取方法及装置,以解决现有技术中不能针对每个图片自适应的提取特征且提取耗时太长的问题。
第一方面,本发明实施例提供一种图片特征提取方法,包括:
使用聚类算法从待分类的图片数据集中获取多个聚类中心作为低层特征提取器;使用所述多个低层特征提取器对所述图片数据集中的每张图片做卷积操作,针对所述每张图片分别生成与所述多个低层特征提取器相同数量的卷积图片;
对所述多个卷积图片分别进行阈值化操作获取多个稀疏图片;
对所述多个稀疏图片进行低层特征整合获取多个整合后的图片;
对所述多个整合后的图片进行中层特征提取操作获取中层特征。
结合第一方面,在第一方面的第一种实现方式中,所述使用聚类算法从待分类的图片数据集中获取多个聚类中心作为低层特征提取器之前,包括:
对图片数据集中的图片进行归一化和去耦合的预处理操作得到所述待分类的图片数据集。
结合第一方面、或第一方面的第一种实现方式,在第一方面的第二种实现方式中,所述对多个卷积图片分别进行阈值化操作获取多个稀疏图片之后,包括:
对所述多个稀疏图片分别进行标准化操作,所述标准化操作,包括:将所述多个稀疏图片中的各个图片相同位置的像素值组成一个向量,对所述向量做归一化后分别将所述向量的各个分量放回到所述各个图片的对应位置得到多个标准化后的稀疏图片;
对应,所述对所述多个稀疏图片进行低层特征整合获取多个整合后的图片,包括:
对所述多个标准化后的稀疏图片进行低层特征整合获取多个整合后的图片。
结合第一方面、或第一方面的第一、第二种实现方式,在第一方面的第三种实现方式中,所述阈值化操作,包括:
对所述多个卷积图片中的每个卷积图片的每一个像素值进行判定,如果所述像素值大于预设的阈值,保留所述像素值,否则将所述像素值设置为0;将所述每个卷积图片的所述阈值化操作后的像素值对应生成一个稀疏图片,得到多个稀疏图片。
结合第一方面、或第一方面的第一~第三任一种实现方式,在第一方面的第四种实现方式中,所述对所述多个稀疏图片进行低层特征整合获取多个整合后的图片,包括:
将所述多个稀疏图片中的每个稀疏图片划分成多个m×m的区域,分别将多个所述区域的像素值组成m2维的向量,将多个所述向量的相同位置的像素值组成多个整合后的图片,所述m为大于等于2的整数,所述整合后的图片的数量为所述稀疏图片的数量的m2倍。
结合第一方面、或第一方面的第一~第四任一种实现方式,在第一方面的第五种实现方式中,所述对所述整合后的图片进行中层特征提取操作获取中层特征,包括:
通过预先训练好的字典对所述整合后的图片进行稀疏编码,所述字典包括所述稀疏编码的基向量;
对稀疏编码后的所述图片按照预设的区域大小划分区域,对所述区域运用最大池化方法获取描述所述图片的向量,所述最大池化方法指对同一区域不同位置的特征进行聚合统计;运用随机降维方法对所述描述所述图片的向量进行降维获取到所述中层特征。
第二方面,本发明实施例提供一种图片特征提取装置,包括:
低层特征提取模块,用于使用聚类算法从待分类的图片数据集中获取多个聚类中心作为低层特征提取器;卷积操作模块,用于使用所述多个低层特征提取器对所述图片数据集中的每张图片做卷积操作,针对所述每张图片分别生成与所述多个低层特征提取器相同数量的多个卷积图片;
稀疏操作模块,用于对所述多个卷积图片分别进行阈值化操作获取多个稀疏图片;
低层特征整合模块,用于对所述多个稀疏图片进行低层特征整合获取多个整合后的图片;
中层特征提取模块,用于对所述多个整合后的图片进行中层特征提取操作获取中层特征。
结合第二方面,在第二方面的第一种实现方式中,还包括:
预处理模块,用于对图片数据集中的图片进行归一化和去耦合的预处理操作得到所述待分类的图片数据集。
结合第二方面、或第一方面的第一种实现方式,在第二方面的第二种实现方式中,所述稀疏操作模块,具体用于:
对所述多个稀疏图片分别进行标准化操作,所述标准化操作,包括:将所述多个稀疏图片中的各个图片相同位置的像素值组成一个向量,对所述向量做归一化后分别将所述向量的各个分量放回到所述各个图片的对应位置得到多个标准化后的稀疏图片;
对应,所述低层特征整合模块,具体用于:对所述多个标准化后的稀疏图片进行低层特征整合获取多个整合后的图片。
结合第二方面、或第一方面的第一、第二种实现方式,在第二方面的第三种实现方式中,所述阈值化操作,包括:
对所述多个卷积图片中的每个卷积图片的每一个像素值进行判定,如果所述像素值大于预设的阈值,保留所述像素值,否则将所述像素值设置为0;将所述每个卷积图片的所述阈值化操作后的像素值对应生成一个稀疏图片,得到多个稀疏图片。
结合第二方面、或第一方面的第一~第三任一种实现方式,在第二方面的第四种实现方式中,所述低层特征整合模块,具体用于:
将所述多个稀疏图片中的每个稀疏图片划分成多个m×m的区域,分别将多个所述区域的像素值组成m2维的向量,将多个所述向量的相同位置的像素值组成多个整合后的图片,所述m为大于等于2的整数,所述整合后的图片的数量为所述稀疏图片的数量的m2倍。
结合第二方面、或第一方面的第一~第四任一种实现方式,在第二方面的第五种实现方式中,所述中层特征提取模块,具体用于:
通过预先训练好的字典对所述整合后的图片进行稀疏编码,所述字典包括所述稀疏编码的基向量;
对稀疏编码后的所述图片按照预设的区域大小划分区域,对所述区域运用最大池化方法获取描述所述图片的向量进行处理,所述最大池化方法指对同一区域不同位置的特征进行聚合统计;
运用随机降维方法对所述描述所述图片的向量进行降维获取到所述中层特征。
本发明实施例图片特征提取方法及装置,通过使用聚类算法从待分类的图片数据集中获取多个聚类中心作为低层特征提取器;使用所述多个低层特征提取器对所述图片数据集中的每张图片做卷积操作,分别生成与所述多个低层特征提取器相同数量的多个卷积图片;对所述多个卷积图片分别进行阈值化操作获取多个稀疏图片;对所述多个稀疏图片进行低层特征整合获取多个整合后的图片;对所述多个整合后的图片进行中层特征提取操作获取中层特征,实现了从图片数据本身自适应地学习低层特征抽取器,即可以自适应的提取图片特征且提取效率较高,解决了现有技术中不能针对每个图片自适应的提取特征且提取耗时太长的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明图片特征提取方法实施例一的流程图;
图2为本发明图片特征提取装置实施例一的结构示意图;
图3为本发明图片特征提取设备实施例一的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明图片特征提取方法实施例一的流程图,本实施例的执行主体为图片特征提取装置,该装置可以通过软件和/或硬件实现。该图片特征提取装置可以配置在终端、或云端服务器等设备中。如图1所示,本实施例的方法,可以包括:
步骤101、使用聚类算法从待分类的图片数据集中获取多个聚类中心作为低层特征提取器。
可选地,使用聚类算法从待分类的图片数据集中获取多个聚类中心作为低层特征提取器之前,还包括:
对图片数据集中的图片进行归一化和去耦合的预处理操作得到待分类的图片数据集。
具体地,运用聚类算法例如是k-means聚类算法,在已有的训练图片数据集中随机选择大量图片,并从这些图片中随机再提取足够量的图像区域(例如5×5大小)运行k-means聚类算法来取得一些聚类中心作为低层特征提取器(例如5×5大小),并将聚类中心进行归一化,例如使用L1归一化,使得归一化后的向量数值之和为1,在进行聚类分析之前可以对图片进行归一化和去耦合等预处理操作,这里的归一化例如可以采用L2归一化,使得归一化后的向量长度为1,去耦合是对每一个图像区域中的像素减去该图像区域中的像素均值,可以去掉每个图像区域中的冗余信息,留下重要信息。
L1归一化,指将输入的向量除以该向量的1-范数得到的向量,例如A=[a1,a2],L1归一化操作就是得到A’=[a1/(|a1|+|a2|),a2/(|a1|+|a2|)]。
L2归一化,指将输入的向量除以该向量的2-范数得到的向量,例如,A=[a1,a2],L2归一化操作就是得到A’=[a1/sqrt(a1^2+a2^2),a2/sqrt(a1^2+a2^2)],sqrt()是开根号运算,a1^2表示a1的平方。
低层特征主要指图像的可视特征,可分为通用特征和专用特征。通用特征是指针对通用图像数据的一类图像特征,如颜色、纹理和形状等。专用特征则针对特定应用领域的图像数据,如人脸、指纹和医疗图像等所设计出的特征。本发明实施例中低层特征提取器作为图片的低层特征。
步骤102、使用多个低层特征提取器对所述图片数据集中的每张图片做卷积操作,针对每张图片分别生成与多个低层特征提取器相同数量的多个卷积图片。
具体地,提取到这些低层特征提取器后,利用这些低层特征提取器对于每张图片做卷积操作,具体来说就是将归一化的低层特征提取器,以每个像素为中心,从左到右,从上到下,低层特征提取器覆盖的图像区域进行卷积操作,例如低层特征提取器大小为5×5,那么将以该图片的第一个像素为中心的5×5的图像区域与低层特征提取器的对应位置的像素进行相乘,并将所有乘积的结果相加,将最终得到的数值放到该像素位置,依次执行上述操作,直至该图片中以每个像素为中心的图像区域都计算完毕(图像边缘的像素可以忽略),那么就形成了卷积图片;一个低层特征提取器对应一个卷积图片,这样一张图片就生成若干卷积图片组成卷积图片堆,如果有N个低层特征提取器,一个输入图片的卷积图片堆包含N个卷积图片。
步骤103、对多个卷积图片分别进行阈值化操作获取多个稀疏图片。
可选地,对多个卷积图片分别进行阈值化操作获取多个稀疏图片之后,还包括:
对多个稀疏图片分别进行标准化操作,标准化操作,包括:将多个稀疏图片中的各个图片相同位置的像素值组成一个向量,对向量做归一化后分别将所述向量的各个分量放回到各个图片的对应位置得到多个标准化后的稀疏图片;
对应,所述对所述多个稀疏图片进行低层特征整合获取多个整合后的图片包括:
对所述多个标准化后的稀疏图片进行低层特征整合获取多个整合后的图片。
可选地,阈值化操作,包括:
对多个卷积图片中的每个卷积图片的每一个像素值进行判定,如果所述像素值大于预设的阈值,保留所述像素值,否则将所述像素值设置为0;将所述每个卷积图片的所述阈值化操作后的像素值对应生成一个稀疏图片,得到多个稀疏图片。
具体地,对卷积图片进行阈值化操作,例如是对卷积图片中每一个像素进行大小判定,如果大于预设的阈值,该像素值保留,否则设置为0,由于像素值很多为0值,那么就得到对应的稀疏图片。
对于稀疏图片堆中的所有稀疏图片进行标准化操作可以采用如下方式:即先将这些稀疏图片堆中各个图片的每一个相同位置的像素组成一个向量,对该向量中的各个元素做归一化后放回到稀疏图片堆中各个图片的对应位置。
步骤104、对多个稀疏图片进行低层特征整合获取多个整合后的图片。
可选地,对多个稀疏图片进行低层特征整合获取多个整合后的图片,包括:
将多个稀疏图片的每个稀疏图片划分成多个m×m的区域,分别将多个所述区域的像素值组成m2维的向量,将多个所述向量的相同位置的像素值组成多个整合后的图片,所述m为大于等于2的整数,整合后的图片的数量为所述稀疏图片的数量的m2倍。
具体地,对上述标准化了的稀疏图片进行低层特征整合,得到整合后的图片;在这里,低层特征整合意味着:预先定义一个m×m的邻域(例如2×2),在每个标准化的稀疏图片上,把由每个像素为基准的m×m的区域的像素值组成m2的向量,然后由m个m2维的向量描述该区域(每一个向量分别描述该基准像素),也就相当于把原始的标准化稀疏图片扩展到了m2倍的维度。这样,一张原始图片的图片堆数目就扩大到m2倍。
例如,一个图像区域为3×3大小以0.87为中心定义一个2×2 的邻域将该邻域的像素值组成4维的向量[0.87 0.29 0.00 0.91],用该4维 向量表示该区域第1行第1列位置的像素,再以0.29为中心定义一个2×2的邻域同样将该邻域的像素值组成4维的向量[0.29 0.12 0.91 0.11],用该4维向量 表示该区域第第2行第1列位置的像素,依此类推,最终用4个矩阵去表示该图像区域 (该图像区域的边缘像素可以忽 略),即最终将图片堆的数目扩大了4倍。
步骤105、对多个整合后的图片进行中层特征提取操作获取中层特征。
所谓中层特征,就是在不涉及图片的高级含义信息(或者监督信息)的情况下在低层特征上从图片生成的信息。高级含义信息(或者监督信息)如图片的物体信息或人脸图片的ID信息。
可选地,对多个整合后的图片进行中层特征提取操作获取中层特征,包括:
通过预先训练好的字典对所述整合后的图片进行稀疏编码,所述字典包括所述稀疏编码的基向量;
对稀疏编码后的所述图片按照预设的区域大小划分区域,对所述区域运用最大池化方法获取描述所述图片的向量,所述最大池化方法指对同一区域不同位置的特征进行聚合统计;
运用随机降维方法对所述描述所述图片的向量进行降维获取到所述中层特征。
为了描述大的图像,对不同位置的特征进行聚合统计,例如,人们可以计算图像一个区域上的某个特定特征的平均值(或最大值)。这些概要统计特征不仅具有低得多的维度(相比使用所有提取得到的特征),同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化(pooling)。有时也称为平均池化或者最大池化max pooling(取决于计算池化的方法)。
具体地,把上述的稀疏图片看作一个三阶张量,即一个立方体,张量的前两维为图片大小,第三维用作图片的索引。这样对于第三维度上抽取的所有向量(即将第三维度上的所有图片的对应位置的像素组成向量),通过预先训练好的字典进行稀疏编码。稀疏编码之后通常具有更高的维度(取决于预先训练好的字典的大小)。在稀疏编码后得到的三阶张量上,根据预先定义区域划分(这里可以是4×4,2×2,1×1)对三阶张量进行最大池化maxpooling,也就是将三阶张量划分成多个小张量,每个张量除了第三个维度不变,第一和第二维度通常变得更小,这些小的张量就通过max-pooling得到一个向量,向量的维度就是张量的第三维的维度。
最后把这些对应于小张量的向量拼接起来。由于拼接的向量维度太高,本发明选用随机降维的方法对这个向量进行降维。随机降维的具体做法是随机生成一个矩阵,用这个矩阵乘以这个大向量以得到维度更小的向量,如用M×N的矩阵乘以N×1的向量则得到M×1的向量,如果M很小,则得到的向量就很小,而这个小向量就用来表达原始图片。这样,降维后的小向量作为原始图片的中层特征就用于训练分类器和进行分类操作步骤。
本发明实施例提取特征效率较高,因为是自底向上的卷积,而不像现有的方法那样进行迭代求解以得到低层和中层特征;由于利用了稀疏卷积操作剔除了很大一部分的噪声信息,可以有效的抽取重要的前景目标特征信息,标准化操作还可以去除光照变化以及突出前景信息。
本发明的方案可以应用在如下的场景中:
场景一
将移动终端拍摄的人脸图片,在移动终端中进行上述步骤101~步骤105的特征提取的操作,最后应用分类器将上述图片进行分类。分类器可以是性别识别分类器、人脸识别分类器、种族分类器、年龄预测分类器、漂亮程度评分器、明星脸匹配打分器等。
场景二
将移动终端拍摄的人脸图片,将上述图片上传到云端服务器中,在云端服务器中进行上述步骤101~步骤105的特征提取的操作,最后应用分类器将上述图片进行分类,将分类后的图片传回移动终端中。
该场景中将信号识别的功能转移到服务器端,减小了客户端处理的复杂度,同时有利于服务器端及时更新识别模型,提高识别准确率。比较适合智能手机等移动终端。在服务器端提取特征,减少移动终端的计算量。
场景三
移动终端对采集到的图片进行简单的处理,然后将处理后的数据上传到云端服务器,由云端服务器完成提取特征的复杂处理,将最终的数据传回移动终端。
该场景中将图片的简单处理功能放在移动终端中,能够减轻客户端处理的复杂度,同时有利于云端及时更新模型,以提高未来的识别准确率。比较适合中等级别的智能手机等移动终端。在客户端进行简单图片处理,减少利用移动网络进行传输的数据量。
本实施例,通过使用聚类算法从待分类的图片数据集中获取多个低层特征提取器;使用所述多个低层特征提取器对所述图片数据集中的每张图片做卷积操作,分别生成与所述低层特征提取器相同数量的卷积图片;对所述卷积图片进行阈值化操作获取稀疏图片;对所述稀疏图片进行低层特征整合;对所述整合后的图片进行中层特征提取操作获取中层特征,实现了从图片数据本身自适应地学习低层特征抽取器,即可以自适应的提取图片特征且提取效率较高,解决了现有技术中不能针对每个图片自适应的提取特征且提取耗时太长的问题。
图2为本发明图片特征提取装置实施例一的结构示意图,如图2所示,本实施例的图片特征提取装置20可以包括:低层特征提取模块201、卷积操作模块202、稀疏操作模块203、低层特征整合模块204和处理模块205;其中,低层特征提取模块201,用于使用聚类算法从待分类的图片数据集中获取多个聚类中心作为低层特征提取器;卷积操作模块202,用于使用所述多个低层特征提取器对所述图片数据集中的每张图片做卷积操作,针对所述每张图片分别生成与所述多个低层特征提取器相同数量的多个卷积图片;稀疏操作模块203,用于对所述多个卷积图片分别进行阈值化操作获取多个稀疏图片;低层特征整合模块204,用于对所述多个稀疏图片进行低层特征整合获取多个整合后的图片;中层特征提取模块205,用于对所述多个整合后的图片进行中层特征提取操作获取中层特征。
可选地,本实施例的装置,还可以包括:
预处理模块,用于对图片数据集中的图片进行归一化和去耦合的预处理操作得到所述待分类的图片数据集。
可选地,稀疏操作模块203,具体用于:
对所述多个稀疏图片分别进行标准化操作,所述标准化操作,包括:将所述多个稀疏图片中的各个图片相同位置的像素值组成一个向量,对所述向量做归一化后分别将所述向量的各个分量放回到所述各个图片的对应位置得到多个标准化后的稀疏图片;
对应,所述低层特征整合模块204,具体用于:对所述多个标准化后的稀疏图片进行低层特征整合获取多个整合后的图片。
可选地,所述阈值化操作,包括:
对所述多个卷积图片中的每个卷积图片的每一个像素值进行判定,如果所述像素值大于预设的阈值,保留所述像素值,否则将所述像素值设置为0;将所述每个卷积图片的所述阈值化操作后的像素值对应生成一个稀疏图片,得到多个稀疏图片。
可选地,低层特征整合模块204,具体用于:
将所述多个稀疏图片中的每个稀疏图片划分成多个m×m的区域,分别将多个所述区域的像素值组成m2维的向量,将多个所述向量的相同位置的像素值组成多个整合后的图片,所述m为大于等于2的整数,所述整合后的图片的数量为所述稀疏图片的数量的m2倍。
可选地,中层特征提取模块205,具体用于:
通过预先训练好的字典对所述整合后的图片进行稀疏编码,所述字典包括所述稀疏编码的基向量;
对稀疏编码后的所述图片按照预设的区域大小划分区域,对所述区域运用最大池化方法进行处理获取描述所述图片的向量,所述最大池化方法指对同一区域不同位置的特征进行聚合统计;
运用随机降维方法对所述描述所述图片的向量进行降维获取到所述中层特征。
本实施例的装置,可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图3为本发明图片特征提取设备实施例一的结构示意图。如图3所示,本实施例提供的图片特征提取设备30包括处理器301和存储器302。图片特征提取设备30还可以包括发射器303、接收器304。发射器303和接收器304可以和处理器301相连。其中,发射器303用于发送数据或信息,接收器304用于接收数据或信息,存储器302存储执行指令,当图片特征提取设备30运行时,处理器301与存储器302之间通信,处理器301调用存储器302中的执行指令,用于执行方法实施例一所述的技术方案,其实现原理和技术效果类似,此处不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种图片特征提取方法,其特征在于,包括:
使用聚类算法从待分类的图片数据集中获取多个聚类中心作为低层特征提取器;
使用所述多个低层特征提取器分别对所述图片数据集中的每张图片做卷积操作,针对所述每张图片分别生成与所述多个低层特征提取器相同数量的多个卷积图片;
对所述多个卷积图片分别进行阈值化操作获取多个稀疏图片;
对所述多个稀疏图片进行低层特征整合获取多个整合后的图片;
对所述多个整合后的图片进行中层特征提取操作获取中层特征。
2.根据权利要求1所述的方法,其特征在于,所述使用聚类算法从待分类的图片数据集中获取多个聚类中心作为低层特征提取器之前,所述方法还包括:
对图片数据集中的图片进行归一化和去耦合的预处理操作得到所述待分类的图片数据集。
3.根据权利要求1所述的方法,其特征在于,所述对多个卷积图片分别进行阈值化操作获取多个稀疏图片之后,所述方法还包括:
对所述多个稀疏图片分别进行标准化操作,所述标准化操作包括:将所述多个稀疏图片中的各个图片相同位置的像素值组成一个向量,对所述向量做归一化后分别将所述向量的各个分量放回到所述各个图片的对应位置得到多个标准化后的稀疏图片;
对应,所述对所述多个稀疏图片进行低层特征整合获取多个整合后的图片包括:
对所述多个标准化后的稀疏图片进行低层特征整合获取多个整合后的图片。
4.根据权利要求1~3任一项所述的方法,其特征在于,所述对所述多个卷积图片分别进行阈值化操作获取多个稀疏图片包括:
对所述多个卷积图片中的每个卷积图片的每一个像素值进行判定,如果所述像素值大于预设的阈值,保留所述像素值,否则将所述像素值设置为0,将所述每个卷积图片的所述阈值化操作后的像素值对应生成一个稀疏图片,得到多个稀疏图片。
5.根据权利要求1~3任一项所述的方法,其特征在于,所述对所述多个稀疏图片进行低层特征整合获取多个整合后的图片,包括:
将所述多个稀疏图片中的每个稀疏图片划分成多个m×m的区域,分别将多个所述区域的像素值组成m2维的向量,将多个所述向量的相同位置的像素值组成多个整合后的图片,所述m为大于等于2的整数,所述整合后的图片的数量为所述稀疏图片的数量的m2倍。
6.根据权利要求1~3任一项所述的方法,其特征在于,所述对所述整合后的图片进行中层特征提取操作获取中层特征,包括:
通过预先训练好的字典对所述整合后的图片进行稀疏编码,所述字典包括所述稀疏编码的基向量;
对稀疏编码后的所述图片按照预设的区域大小划分区域,对所述区域运用最大池化方法获取描述所述图片的向量,所述最大池化方法指对同一区域不同位置的特征进行聚合统计;
运用随机降维方法对所述描述所述图片的向量进行降维获取到所述中层特征。
7.一种图片特征提取装置,其特征在于,包括:
低层特征提取模块,用于使用聚类算法从待分类的图片数据集中获取多个聚类中心作为低层特征提取器;
卷积操作模块,用于使用所述多个低层特征提取器对所述图片数据集中的每张图片做卷积操作,针对所述每张图片分别生成与所述多个低层特征提取器相同数量的多个卷积图片;
稀疏操作模块,用于对所述多个卷积图片分别进行阈值化操作获取多个稀疏图片;
低层特征整合模块,用于对所述多个稀疏图片进行低层特征整合获取多个整合后的图片;
中层特征提取模块,用于对所述多个整合后的图片进行中层特征提取操作获取中层特征。
8.根据权利要求7所述的装置,其特征在于,还包括:
预处理模块,用于对图片数据集中的图片进行归一化和去耦合的预处理操作得到所述待分类的图片数据集。
9.根据权利要求7所述的装置,其特征在于,所述稀疏操作模块,具体用于:
对所述多个稀疏图片分别进行标准化操作,所述标准化操作,包括:将所述多个稀疏图片中的各个图片相同位置的像素值组成一个向量,对所述向量做归一化后分别将所述向量的各个分量放回到所述各个图片的对应位置得到多个标准化后的稀疏图片;
对应,所述低层特征整合模块,具体用于:对所述多个标准化后的稀疏图片进行低层特征整合获取多个整合后的图片。
10.根据权利要求7~9任一项所述的装置,其特征在于,所述阈值化操作,包括:
对所述多个卷积图片中的每个卷积图片的每一个像素值进行判定,如果所述像素值大于预设的阈值,保留所述像素值,否则将所述像素值设置为0,将所述每个卷积图片的所述阈值化操作后的像素值对应生成一个稀疏图片,得到多个稀疏图片。
11.根据权利要求7~9任一项所述的装置,其特征在于,所述低层特征整合模块,具体用于:
将所述多个稀疏图片中的每个稀疏图片划分成多个m×m的区域,分别将多个所述区域的像素值组成m2维的向量,将多个所述向量的相同位置的像素值组成多个整合后的图片,所述m为大于等于2的整数,所述整合后的图片的数量为所述稀疏图片的数量的m2倍。
12.根据权利要求7~9任一项所述的装置,其特征在于,所述中层特征提取模块,具体用于:
通过预先训练好的字典对所述整合后的图片进行稀疏编码,所述字典包括所述稀疏编码的基向量;
对稀疏编码后的所述图片按照预设的区域大小划分区域,对所述区域运用最大池化方法获取描述所述图片的向量,所述最大池化方法指对同一区域不同位置的特征进行聚合统计;
运用随机降维方法对所述描述所述图片的向量进行降维获取到所述中层特征。
CN201410223300.6A 2014-05-23 2014-05-23 图片特征提取方法及装置 Active CN105095902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410223300.6A CN105095902B (zh) 2014-05-23 2014-05-23 图片特征提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410223300.6A CN105095902B (zh) 2014-05-23 2014-05-23 图片特征提取方法及装置

Publications (2)

Publication Number Publication Date
CN105095902A CN105095902A (zh) 2015-11-25
CN105095902B true CN105095902B (zh) 2018-12-25

Family

ID=54576287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410223300.6A Active CN105095902B (zh) 2014-05-23 2014-05-23 图片特征提取方法及装置

Country Status (1)

Country Link
CN (1) CN105095902B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3439288B1 (en) * 2016-03-30 2024-04-10 Nikon Corporation Feature extraction element, feature extraction system, and determination apparatus
CN105894032A (zh) * 2016-04-01 2016-08-24 南京大学 一种针对样本性质提取有效特征的方法
EP3451238A4 (en) * 2016-04-29 2020-01-01 Cambricon Technologies Corporation Limited DEVICE AND METHOD FOR CARRYING OUT A POOLING OPERATION
CN107679560B (zh) * 2017-09-15 2021-07-09 Oppo广东移动通信有限公司 数据传输方法、装置、移动终端及计算机可读存储介质
CN107679561A (zh) * 2017-09-15 2018-02-09 广东欧珀移动通信有限公司 图像处理方法和装置、系统、计算机设备
CN107679563A (zh) * 2017-09-15 2018-02-09 广东欧珀移动通信有限公司 图像处理方法和装置、系统、计算机设备
WO2019051799A1 (zh) * 2017-09-15 2019-03-21 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端、服务器和存储介质
CN107665261B (zh) * 2017-10-25 2021-06-18 北京奇虎科技有限公司 视频查重的方法及装置
CN108416371A (zh) * 2018-02-11 2018-08-17 艾视医疗科技成都有限公司 一种糖尿病性视网膜病变自动检测方法
CN108710902A (zh) * 2018-05-08 2018-10-26 江苏云立物联科技有限公司 一种基于人工智能的面向高分辨率遥感图像的分类方法
CN109934180B (zh) * 2019-03-18 2021-06-01 Oppo广东移动通信有限公司 指纹识别方法及相关装置
CN110033443B (zh) * 2019-04-04 2021-09-03 武汉精立电子技术有限公司 一种显示面板缺陷检测方法
CN110399972B (zh) * 2019-07-22 2021-05-25 上海商汤智能科技有限公司 数据处理方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923653A (zh) * 2010-08-17 2010-12-22 北京大学 一种基于多层次内容描述的图像分类方法
CN103679189A (zh) * 2012-09-14 2014-03-26 华为技术有限公司 场景识别的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306366B2 (en) * 2007-08-23 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature points from digital image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923653A (zh) * 2010-08-17 2010-12-22 北京大学 一种基于多层次内容描述的图像分类方法
CN103679189A (zh) * 2012-09-14 2014-03-26 华为技术有限公司 场景识别的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于稀疏编码的多核学习图像分类方法;亓晓振等;《电子学报》;20120430;第40卷(第4期);第773-779页 *
视频序列中的行为识别研究进展;徐勤军等;《电子测量与仪器学报》;20140430;第28卷(第4期);第343-351页 *

Also Published As

Publication number Publication date
CN105095902A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
CN105095902B (zh) 图片特征提取方法及装置
Maheswari et al. Intelligent fruit yield estimation for orchards using deep learning based semantic segmentation techniques—a review
CN107292298B (zh) 基于卷积神经网络和分类器模型的牛脸识别方法
CN104599275B (zh) 基于概率图模型的非参数化的rgb-d场景理解方法
Wang et al. Transferring visual prior for online object tracking
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN104951791B (zh) 数据分类方法和装置
CN113822209B (zh) 高光谱图像识别方法、装置、电子设备及可读存储介质
CN110222718B (zh) 图像处理的方法及装置
Zawbaa et al. An automatic flower classification approach using machine learning algorithms
Nawaz et al. AI-based object detection latest trends in remote sensing, multimedia and agriculture applications
CN106650804B (zh) 一种基于深度学习特征的人脸样本清洗方法及系统
CN109766437A (zh) 一种文本聚类方法、文本聚类装置及终端设备
CN108764019A (zh) 一种基于多源深度学习的视频事件检测方法
CN110751027B (zh) 一种基于深度多示例学习的行人重识别方法
Li et al. Recent advances of machine vision technology in fish classification
CN109815920A (zh) 基于卷积神经网络和对抗卷积神经网络的手势识别方法
CN109726725A (zh) 一种基于大间隔类间互异性多核学习的油画作者识别方法
Gonçalves et al. Carcass image segmentation using CNN-based methods
CN110322418A (zh) 一种超分辨率图像生成对抗网络的训练方法及装置
Guo et al. Underwater sea cucumber identification via deep residual networks
Ma et al. YOLOv5-lotus an efficient object detection method for lotus seedpod in a natural environment
CN110378245A (zh) 基于深度学习的足球比赛行为识别方法、装置及终端设备
Varghese et al. INFOPLANT: Plant recognition using convolutional neural networks
Gao et al. Evaluation of regularized multi-task leaning algorithms for single/multi-view human action recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant