CN105447190B - 基于卷积神经网络的图片检索方法、装置和服务器 - Google Patents
基于卷积神经网络的图片检索方法、装置和服务器 Download PDFInfo
- Publication number
- CN105447190B CN105447190B CN201510959003.2A CN201510959003A CN105447190B CN 105447190 B CN105447190 B CN 105447190B CN 201510959003 A CN201510959003 A CN 201510959003A CN 105447190 B CN105447190 B CN 105447190B
- Authority
- CN
- China
- Prior art keywords
- image
- size
- feature
- sample image
- pond
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开是关于一种基于卷积神经网络的图片检索方法、装置和服务器，该方法包括：根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸；根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征；根据所述高级图像特征从图片数据库中检索出至少一个目标图像。可见，所述第一池化窗口的尺寸根据样本图像的尺寸自适应变化(即无需对样本图像进行任何缩放形变)，因此，本公开实施例中提取到的图像特征的质量高，从而提高了图像检索的准确度和效率。
Description
技术领域
本发明涉及计算机技术，尤其涉及一种基于卷积神经网络的图片检索方法、装置和服务器。
背景技术
随着计算机网络技术的发展，越来越多用户通过网络下载或者查看需要的内容，例如图像等。图像检索通常采用两种方式：1)基于文本的传统的图像检索(即通过图像的名称或文字等信息进行检索的)；2)基于内容的图像检索(Content Based Image Retrieval，简称CBIR)。其中，基于内容的图像检索是指直接采用图像内容进行图像信息查询的检索，即在图像数据库中检索与用户所提交样本图像在内容上一致或相似的图像集合的过程，通过对图像底层特征的比较来实现检索。
相关技术中，基于内容的图像检索通常采用卷积神经网络对用户输入的样本图像进行特征提取，进而根据提取的图像特征进行检索；其中，需要先将样本图像的尺寸进行缩放形变，达到预设尺寸，进而对形变后具有预设尺寸的图像进行特征提取；对于样本图像的长宽比不同的图像，经过缩放形变会影响提取的图像特征的质量，进而会影响图像检索的准确度和效率。
发明内容
为克服相关技术中存在的问题，本公开提供一种基于卷积神经网络的图片检索方法、装置和服务器。
根据本公开实施例的第一方面，提供一种基于卷积神经网络的图片检索方法，包括：
根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸；其中，所述第一池化窗口包括所述卷积神经网络的最后一个池化层对应的池化窗口；
根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征；
根据所述高级图像特征从图片数据库中检索出至少一个目标图像；其中，所述图片数据库中包括：至少一个模板图像以及每个所述模板图像的高级图像特征；所述目标图像与所述样本图像在内容上相同或相似。
本公开的实施例提供的技术方案可以包括以下有益效果：通过根据样本图像的尺寸和预设的图像特征尺寸确定第一池化窗口的尺寸，根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征；进一步地，根据所述高级图像特征从图片数据库中检索出至少一个目标图像；可见，本公开实施例中，第一池化窗口的尺寸是根据样本图像的尺寸自适应变化的(即无需对样本图像进行任何缩放形变)，进而根据自适应变化的第一池化窗口的尺寸对所述样本图像的初级图像特征进行处理，保证了对不同尺寸的样本图像卷积神经网络中的全连接层的输入都为固定尺寸的图像特征，进而输出固定尺寸的图像特征；因此，本公开实施例中提取到的图像特征的质量高，从而提高了图像检索的准确度和效率。
进一步地，所述根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸，包括：
根据M＝W/w确定所述第一池化窗口的宽度M；
根据N＝H/h确定所述第一池化窗口的高度N；
其中，W为所述样本图像的宽度，H为所述样本图像的高度，w为所述预设的图像特征尺寸的宽度，h为所述预设的图像特征尺寸的高度。
进一步地，所述根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征，包括：
根据所述第一池化窗口的尺寸对所述样本图像的初级图像特征进行池化变换，得到所述样本图像的中级图像特征；其中，所述中级图像特征的尺寸等于所述预设的图像特征尺寸；
对所述中级图像特征中的每个特征进行叠加得到所述高级图像特征。
本公开的实施例提供的技术方案可以包括以下有益效果：公开了根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征的具体实现方式，通过根据所述自适应变化的第一池化窗口(即无需对样本图像进行任何缩放形变)的尺寸对所述样本图像的初级图像特征进行池化变换，得到所述样本图像的中级图像特征，进而对所述中级图像特征中的每个特征进行叠加得到所述高级图像特征，保证了对不同尺寸的样本图像卷积神经网络中的全连接层的输入都为固定尺寸的图像特征，进而输出固定尺寸的图像特征；因此，本公开实施例中提取到的图像特征的质量高，从而提高了图像检索的准确度和效率。
进一步地，所述根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸之前，还包括：
通过卷积变换和池化变换提取样本图像的初级图像特征；其中，所述池化变换对应的池化窗口的尺寸为预设的。
进一步地，所述根据所述高级图像特征从图片数据库中检索出至少一个目标图像，包括：
获取所述模板图像的高级图像特征；
根据所述样本图像的高级图像特征以及每个所述模板图像的高级图像特征进行相似性检索，得到所述目标图像。
本公开的实施例提供的技术方案可以包括以下有益效果：公开了根据所述高级图像特征从图片数据库中检索出至少一个目标图像的具体实现方式，由于本实施例中的模板图像的高级图像特征和样本图像的高级图像特征都是基于所述自适应变化的第一池化窗口(即无需对样本图像进行任何缩放形变)的尺寸对对应图像的初级图像特征进行处理得到的；因此，本公开实施例中提取到的图像特征的质量高，从而提高了图像检索的准确度和效率。
根据本公开实施例的第二方面，提供一种基于卷积神经网络的图片检索装置，包括：
确定模块，被配置为根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸；其中，所述第一池化窗口包括所述卷积神经网络的最后一个池化层对应的池化窗口；
处理模块，被配置为根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征；
检索模块，被配置为根据所述高级图像特征从图片数据库中检索出至少一个目标图像；其中，所述图片数据库中包括：至少一个模板图像以及每个所述模板图像的高级图像特征；所述目标图像与所述样本图像在内容上相同或相似。
进一步地，所述确定模块包括：
第一确定单元，被配置为根据M＝W/w确定所述第一池化窗口的宽度M；
第二确定单元，被配置为根据N＝H/h确定所述第一池化窗口的高度N；
其中，W为所述样本图像的宽度，H为所述样本图像的高度，w为所述预设的图像特征尺寸的宽度，h为所述预设的图像特征尺寸的高度。
进一步地，所述处理模块包括：
池化单元，被配置为根据所述第一池化窗口的尺寸对所述样本图像的初级图像特征进行池化变换，得到所述样本图像的中级图像特征；其中，所述中级图像特征的尺寸等于所述预设的图像特征尺寸；
叠加单元，被配置为对所述中级图像特征中的每个特征进行叠加得到所述高级图像特征。
进一步地，所述装置还包括：
提取模块，被配置为通过卷积变换和池化变换提取样本图像的初级图像特征；其中，所述池化变换对应的池化窗口的尺寸为预设的。
进一步地，所述检索模块包括：
获取单元，被配置为获取所述模板图像的高级图像特征；
检索单元，被配置为根据所述样本图像的高级图像特征以及每个所述模板图像的高级图像特征进行相似性检索，得到所述目标图像。
根据本公开实施例的第三方面，提供一种服务器，包括：处理器以及用于存储处理器可执行指令的存储器；
所述处理器被配置为：
根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸；其中，所述第一池化窗口包括所述卷积神经网络的最后一个池化层对应的池化窗口；
根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征；
根据所述高级图像特征从图片数据库中检索出至少一个目标图像；其中，所述图片数据库中包括：至少一个模板图像以及每个所述模板图像的高级图像特征；所述目标图像与所述样本图像在内容上相同或相似。
本公开的实施例提供的技术方案可以包括以下有益效果：提供一种卷积神经网络的图片检索方法、装置和服务器，通过所述第一池化窗口的尺寸根据样本图像的尺寸自适应变化(即无需对样本图像进行任何缩放形变)，进而根据自适应变化的第一池化窗口的尺寸对所述样本图像的初级图像特征进行处理，保证了对不同尺寸的样本图像卷积神经网络中的全连接层的输入都为固定尺寸的图像特征，进而输出固定尺寸的图像特征，以便进行检索；因此，本公开实施例中提取到的图像特征的质量高，从而提高了图像检索的准确度和效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的卷积神经网络的结构框图；
图2A是根据一示例性实施例示出的一种基于卷积神经网络的图片检索方法的流程图；
图2B是根据一示例性实施例示出的自适应池化层框图；
图2C是根据另一示例性实施例示出的自适应池化层框图；
图3是根据另一示例性实施例示出的一种基于卷积神经网络的图片检索方法的流程图；
图4A是根据另一示例性实施例示出的一种基于卷积神经网络的图片检索方法的流程图；
图4B是根据一示例性实施例示出的池化变换框图；
图5是根据另一示例性实施例示出的一种基于卷积神经网络的图片检索方法的流程图；
图6是根据一示例性实施例示出的一种基于卷积神经网络的图片检索装置实施例一的框图；
图7是根据一示例性实施例示出的一种基于卷积神经网络的图片检索装置实施例二的框图；
图8是根据一示例性实施例示出的一种基于卷积神经网络的图片检索装置实施例三的框图；
图9是根据一示例性实施例示出的一种基于卷积神经网络的图片检索装置实施例四的框图；
图10是根据一示例性实施例示出的一种基于卷积神经网络的图片检索装置实施例五的框图；
图11是根据一示例性实施例示出的一种服务器的实体的框图；
图12是根据一示例性实施例示出的一种服务器1900的框图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
首先对本公开实施例所涉及的几个名词进行解释：
图1是根据一示例性实施例示出的卷积神经网络的结构框图。卷积神经网络(Convolutional Neural Network，简称CNN)是一个多层的神经网络，如图1所示主要包括：卷积层、池化层和全连接层，每层都是一个变换(映射)(通常卷积层作卷积变换和池化层作池化变换)，每种变换都是对输入数据的一种处理，是输入特征的另一种特征表达；每层由多个二维平面组成，每个平面为各层处理后的特征图。其中，输入层为训练数据(即原始数据，本实施例中为样本图像)，网络中的每一个卷积层(即一次特征提取层)都紧跟着一个池化层(即二次特征提取层，又叫子采样层)，这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力(具体卷积层和池化层的层数不确定，依据具体案例而定，如图1所示，本实施例中以卷积层和池化层的层数为2为例作详细说明)，最后一个池化层(即第2个池化层)即完成了对原始数据的特征提取；全连接层把卷积层和池化层提取到的特征进行组合，然后连接到输出层。
本公开实施例的卷积神经网络中输入的样本图像无需任何缩放形变，1)第一层卷积层对所述样本图像进行特征提取并将提取的特征1作为第一层池化层的输入，2)所述第一层池化层对所述特征1进行子抽样和局部平均(或取最大值)得到特征2，并将所述特征2作为所述第二层卷积层的输入，3)所述第二层卷积层对所述特征2进行二次卷积得到特征3(即对应本公开实施例以下部分中的初级图像特征)，并将所述特征3作为所述第二层池化层的输入，4)所述第二层池化层对所述特征3进行二次子抽样和局部平均(或取最大值)得到特征4(即对应本公开实施例以下部分中的中级图像特征)，并将所述特征4作为所述全连接层的输入，5)所述全连接层可对所述特征4进行组合得到特征5(即对应本公开实施例以下部分中的高级图像特征)，并将所特征5连接至输出层。其中，第二层池化层对所述特征3进行二次子抽样和局部平均时采用的池化窗口(即为第一池化窗口)的尺寸为根据样本图像的尺寸自适应变化的；第一层池化层对所述特征1进行子抽样和局部平均时采用的池化窗口(即为第二池化窗口)的尺寸为固定的预设尺寸。
当然，图1所示仅为卷积神经网络的一种结构框图，本公开实施例中的卷积神经网络还可为其它结构，其中最后一层池化层的池化窗口的尺寸为根据样本图像的尺寸自适应变化的即可，本实施例对其它部分并不作限制。
图2A是根据一示例性实施例示出的一种基于卷积神经网络的图片检索方法的流程图，如图2A所示，该基于卷积神经网络的图片检索方法可应用于服务器中，根据用户输入的样本图像进行检索。包括以下步骤：
在步骤S201中，根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸。
其中，所述第一池化窗口包括所述卷积神经网络的最后一个池化层对应的池化窗口。
图2B是根据一示例性实施例示出的自适应池化层框图，图2C是根据另一示例性实施例示出的自适应池化层框图。本步骤中，根据所述样本图像的尺寸和预设的图像特征尺寸确定第一池化窗口的尺寸，如将所述样本图像的尺寸与所述预设的图像特征尺寸相除确定所述第一池化窗口的尺寸；可见本公开实施例中，所述图像特征尺寸为预设尺寸，第一池化窗口的尺寸是根据样本图像的尺寸自适应变化的(即无需对样本图像进行任何缩放形变，如图2B和图2C)，以便根据自适应变化的第一池化窗口的尺寸对所述样本图像的初级图像特征进行池化变换，以保证对不同尺寸的样本图像卷积神经网络中的全连接层的输入都为固定尺寸的高质量图像特征。
在步骤S202中，根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征。
本步骤中，在确定第一池化窗口的尺寸后，根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征(可选地，所述初级图像特征为所述样本图像的局部特征；所述初级图像特征包括：多个初级特征)进行处理(如池化处理和叠加处理等)，得到所述样本图像的高级图像特征。可见，根据自适应变化的第一池化窗口的尺寸对所述初级图像特征进行处理，保证了对不同尺寸的样本图像卷积神经网络中的全连接层的输入都为固定尺寸的图像特征，进而输出固定尺寸的图像特征。
在步骤S203中，根据所述高级图像特征从图片数据库中检索出至少一个目标图像。
在本步骤中，根据所述高级图像特征从图片数据库中检索出至少一个目标图像；其中，所述图片数据库中包括：至少一个模板图像以及每个所述模板图像的高级图像特征；所述目标图像与所述样本图像在内容上相同或相似；可选地，通过所述样本图像的高级图像特征与所述图片数据库中模板图像的高级图像特征进行对比，从所述至少一个模板图像中检索出与所述样本图像在内容上相同或相似的至少一个目标图像，进而可将检索出的所述至少一个目标图像显示给用户，可选地，可按照与所述样本图像的相似度高低顺序显示所述至少一个目标图像，以便用户快速地从所述至少一个目标图像中确定所需的图像，如将与所述样本图像相似度最高的目标图像作为第一个图像进行显示，将与所述样本图像相似度次高的目标图像作为第二个图像进行显示，依次类推。
本实施例提供的一种基于卷积神经网络的图片检索方法，通过根据样本图像的尺寸和预设的图像特征尺寸确定第一池化窗口的尺寸，并根据所述第一池化窗口的尺寸对所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征；可见，本公开实施例中，第一池化窗口的尺寸是根据样本图像的尺寸自适应变化的(即无需对样本图像进行任何缩放形变)，进而根据自适应变化的第一池化窗口的尺寸对所述初级图像特征进行处理，保证了对不同尺寸的样本图像卷积神经网络中的全连接层的输入都为固定尺寸的图像特征，进而输出固定尺寸的图像特征；因此，本公开实施例中提取到的图像特征的质量高，从而提高了图像检索的准确度和效率。
可选地，所述根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸之前，还包括：
通过卷积变换和池化变换提取样本图像的初级图像特征；其中，所述池化变换对应的池化窗口的尺寸为预设的。
本公开实施例中，当用户输入样本图像后，采用卷积神经网络直接提取所述样本图像的初级图像特征(无需对所述样本图像进行任何缩放形变)；其中，所述初级图像特征为所述样本图像的局部特征(所述初级图像特征包括：多个初级特征)；可选地，当该卷积神经网络包括L个(L为大于等于2的正整数)卷积层和L个池化层时(如图1所示)，通过卷积神经网络中的L个卷积层(如第一层卷积层和第二层卷积层)的卷积变换(即L次卷积变换)和前L-1个池化层(如第一层池化层)的池化变换(即L-1次池化变换)提取所述样本图像的初级图像特征，其中，所述L-1次池化变换对应的池化窗口(即第二池化窗口)的尺寸为预设的。可选地，通过卷积变换和池化变换提取样本图像的初级图像特征之前还包括：获取用户输入的所述样本图像，同时还可确定所述样本图像的尺寸等信息，以便后续根据所述样本图像的尺寸确定第一池化窗口的尺寸。
可选地，当该卷积神经网络包括1个卷积层和1个池化层时，通过卷积神经网络中的第一个卷积层的卷积变换提取所述样本图像的初级图像特征。当然，采用卷积神经网络还可通过其他方式提取样本图像的初级图像特征，本公开实施例对此并不作限制。
图3是根据另一示例性实施例示出的一种基于卷积神经网络的图片检索方法的流程图。在上述实施例的基础上，如图3所示，上述步骤S201的具体实现步骤包括：
在步骤S201A中，根据M＝W/w确定所述第一池化窗口的宽度M。
在步骤S201B中，根据N＝H/h确定所述第一池化窗口的高度N。
本实施例中，根据M＝W/w确定所述第一池化窗口的宽度M，其中，W为所述样本图像的宽度，w为所述预设的图像特征尺寸的宽度；根据N＝H/h确定所述第一池化窗口的高度N，其中，H为所述样本图像的高度，h为所述预设的图像特征尺寸的高度；可见本公开实施例中，第一池化窗口的尺寸是根据样本图像的尺寸自适应变化的(即无需对样本图像进行任何缩放形变)，提取到的图像特征的质量高。
图4A是根据另一示例性实施例示出的一种基于卷积神经网络的图片检索方法的流程图。在上述实施例的基础上，如图4A所示，上述步骤S202的具体实现步骤包括：
在步骤S202A中，根据所述第一池化窗口的尺寸对所述样本图像的初级图像特征进行池化变换，得到所述样本图像的中级图像特征；其中，所述中级图像特征的尺寸等于所述预设的图像特征尺寸；
在步骤S202B中，对所述中级图像特征中的每个特征进行叠加得到所述高级图像特征。
在步骤S202A中，根据所述第一池化窗口的尺寸对所述样本图像的初级图像特征进行池化变换，得到尺寸等于所述预设的图像特征尺寸的中级图像特征(其中，所述池化变换实现了降低所述初级图像特征的维度，所述中级图像特征的维度低于所述初级图像特征，所述中级图像特征中包括多个中级特征)，以保证卷积神经网络中的全连接层的输入为固定尺寸的图像特征。可选地，池化变换过程为将所述初级图像特征中的多个初级特征按照空间位置分成若干个所述第一池化窗口；进一步地，计算每个所述第一池化窗口中的中级特征得到所述中级图像特征，可选地，可通过计算每个所述第一池化窗口中初级特征的最大值作为该第一池化窗口的中级特征，如图4B所示(图4B是根据一示例性实施例示出的池化变换框图)，可选地，还可通过计算每个所述第一池化窗口中初级特征的平均值作为该第一池化窗口的中级特征。可选地，本步骤中卷积神经网络中的最后一个池化层根据所述第一池化窗口的尺寸对所述初级图像特征进行池化变换得到所述中级图像特征，如假设卷积神经网络包括P个卷积层(P为正整数)且每个卷积层后都包括一个池化层，卷积神经网络中第P个池化层(如图1中的第二层池化层)根据所述第一池化窗口的尺寸对所述初级图像特征进行池化变换得到所述中级图像特征，从而实现了在不对样本图像进行任何缩放形变的前提下，保证了对不同尺寸的样本图像卷积神经网络中的全连接层的输入都为固定尺寸的高质量图像特征，进而输出固定尺寸的高质量图像特征，以便进行检索。
在步骤S202B中，在得到所述中级图像特征后，根据所述中级图像特征获取所述样本图像的高级图像特征(所述高级图像特征中包括多个高级特征)，可选地，卷积神经网络中的全连接层通过对所述中级图像特征中的每个中级特征进行叠加(如线性组合)得到所述高级图像特征，以便根据所述样本图像的高级图像特征从图片数据库中检索出目标图像。
本实施例提供的一种基于卷积神经网络的图片检索方法，公开了根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征的具体实现方式，通过根据所述自适应变化的第一池化窗口(即无需对样本图像进行任何缩放形变)的尺寸对所述样本图像的初级图像特征进行池化变换，得到所述样本图像的中级图像特征，进而对所述中级图像特征中的每个特征进行叠加得到所述高级图像特征，保证了对不同尺寸的样本图像卷积神经网络中的全连接层的输入都为固定尺寸的图像特征，进而输出固定尺寸的图像特征；因此，本公开实施例中提取到的图像特征的质量高，从而提高了图像检索的准确度和效率。
图5是根据另一示例性实施例示出的一种基于卷积神经网络的图片检索方法的流程图。在上述实施例的基础上，如图5所示，上述步骤S203的具体实现步骤包括：
在步骤S203A中，获取所述模板图像的高级图像特征；
在步骤S203B中，根据所述样本图像的高级图像特征以及每个所述模板图像的高级图像特征进行相似性检索，得到所述目标图像。
在步骤S203A中，可选地，获取所述模板图像的高级图像特征，并建立索引，以便后续根据所述索引进行快速检索。可选地，获取所述模板图像的高级图像特征的方式与上述获取所述样本图像的高级图像特征的方式类似，此处不再赘述。
在步骤S203B中，根据所述样本图像的高级图像特征以及每个所述模板图像的高级图像特征进行相似性检索，得到所述目标图像；可选地，通过计算所述样本图像的高级图像特征分别与每个所述模板图像的高级图像特征之间的相似度(如余弦相似度或欧式距离相似度)，确定与所述样本图像的高级图像特征之间的相似度大于预设相似度的模板图像为所述目标图像，例如所述样本图像的高级图像特征与模板图像A的高级图像特征之间的相似度大于所述预设相似度，则确定所述模板图像A为所述目标图像。
本实施例提供的一种基于卷积神经网络的图片检索方法，公开了根据所述高级图像特征从图片数据库中检索出至少一个目标图像的具体实现方式，由于本实施例中的模板图像的高级图像特征和样本图像的高级图像特征都是基于所述自适应变化的第一池化窗口(即无需对样本图像进行任何缩放形变)的尺寸对对应图像的初级图像特征进行处理得到的；因此，本公开实施例中提取到的图像特征的质量高，从而提高了图像检索的准确度和效率。
图6是根据一示例性实施例示出的一种基于卷积神经网络的图片检索装置实施例一的框图，如图6所示，该基于卷积神经网络的图片检索装置60，包括：
确定模块601，被配置为根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸；其中，所述第一池化窗口包括所述卷积神经网络的最后一个池化层对应的池化窗口；
处理模块602，被配置为根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征；
检索模块603，被配置为根据所述高级图像特征从图片数据库中检索出至少一个目标图像；其中，所述图片数据库中包括：至少一个模板图像以及每个所述模板图像的高级图像特征；所述目标图像与所述样本图像在内容上相同或相似。
本公开实施例提供的基于卷积神经网络的图片检索装置，通过确定模块根据样本图像的尺寸和预设的图像特征尺寸确定第一池化窗口的尺寸；处理模块根据所述第一池化窗口的尺寸对提取到的所述样本图像的样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征；进一步地，检索模块根据所述高级图像特征从图片数据库中检索出至少一个目标图像，显示模块显示所述至少一个目标图像；可见，本公开实施例中，第一池化窗口的尺寸是根据样本图像的尺寸自适应变化的(即无需对样本图像进行任何缩放形变)，进而根据自适应变化的第一池化窗口的尺寸对所述初级图像特征进行处理，保证了对不同尺寸的样本图像卷积神经网络中的全连接层的输入都为固定尺寸的图像特征，进而输出固定尺寸的图像特征；因此，本公开实施例中提取到的图像特征的质量高，从而提高了图像检索的准确度和效率。
在上述图6所示的实施例的基础上，图7是根据一示例性实施例示出的一种基于卷积神经网络的图片检索装置实施例二的框图，参照图7，上述确定模块601包括：
第一确定单元601A，被配置为根据M＝W/w确定所述第一池化窗口的宽度M；
第二确定单元601B，被配置为根据N＝H/h确定所述第一池化窗口的高度N；
其中，W为所述样本图像的宽度，H为所述样本图像的高度，w为所述预设的图像特征尺寸的宽度，h为所述预设的图像特征尺寸的高度。
在上述图6或图7所示的实施例的基础上，图8是根据一示例性实施例示出的一种基于卷积神经网络的图片检索装置实施例三的框图，参照图8，上述处理模块602包括：
池化单元602A，被配置为根据所述第一池化窗口的尺寸对所述样本图像的初级图像特征进行池化变换，得到所述样本图像的中级图像特征；其中，所述中级图像特征的尺寸等于所述预设的图像特征尺寸；
叠加单元602B，被配置为对所述中级图像特征中的每个特征进行叠加得到所述高级图像特征。
在上述图6或图7所示的实施例的基础上，图9是根据一示例性实施例示出的一种基于卷积神经网络的图片检索装置实施例四的框图，参照图9，所述装置还包括：
提取模块604，被配置为通过卷积变换和池化变换提取样本图像的初级图像特征；其中，所述池化变换对应的池化窗口的尺寸为预设的。
在上述图6或图7所示的实施例的基础上，图10是根据一示例性实施例示出的一种基于卷积神经网络的图片检索装置实施例五的框图，参照图10，上述检索模块603，包括：
获取单元603A，被配置为获取所述模板图像的高级图像特征；
检索单元603B，被配置为根据所述样本图像的高级图像特征以及每个所述模板图像的高级图像特征进行相似性检索，得到所述目标图像。
上述任一个实施例提供的基于卷积神经网络的图片检索装置，用于执行上述任意基于卷积神经网络的图片检索方法实施例的技术方案，其实现原理和技术效果类似，通过所述第一池化窗口的尺寸根据样本图像的尺寸自适应变化(即无需对样本图像进行任何缩放形变)，进而根据自适应变化的第一池化窗口的尺寸对所述初级图像特征进行处理，保证了对不同尺寸的样本图像卷积神经网络中的全连接层的输入都为固定尺寸的图像特征，进而输出固定尺寸的图像特征，以便进行检索；因此，本公开实施例中提取到的图像特征的质量高，从而提高了图像检索的准确度和效率。
以上描述了基于卷积神经网络的图片检索装置的内部功能模块和结构示意，其实质上的执行主体应该为服务器，图11是根据一示例性实施例示出的一种服务器的实体的框图，参照图11，该服务器可具体实现为：处理器以及用于存储处理器可执行指令的存储器；
所述处理器被配置为：
根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸；其中，所述第一池化窗口包括所述卷积神经网络的最后一个池化层对应的池化窗口；
根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征；
根据所述高级图像特征从图片数据库中检索出至少一个目标图像；其中，所述图片数据库中包括：至少一个模板图像以及每个所述模板图像的高级图像特征；所述目标图像与所述样本图像在内容上相同或相似。
在上述信息的服务器的实施例中，应理解，该处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，而前述的存储器可以是只读存储器(英文：read-only memory，缩写：ROM)、随机存取存储器(英文：random access memory，简称：RAM)、快闪存储器、硬盘或者固态硬盘。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
图12是根据一示例性实施例示出的一种服务器1900的框图。参照图12，服务器1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述基于卷积神经网络的图片检索方法的全部或部分步骤。
服务器1900还可以包括一个电源组件1926被配置为执行服务器1900的电源管理，一个有线或无线网络接口1950被配置为将服务器1900连接到网络，和一个输入输出(I/O)接口1958。服务器1900可以操作基于存储在存储器1932的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (11)
1.一种基于卷积神经网络的图片检索方法，其特征在于，包括：
根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸；其中，所述第一池化窗口包括所述卷积神经网络的最后一个池化层对应的池化窗口；
根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征；
根据所述高级图像特征从图片数据库中检索出至少一个目标图像；其中，所述图片数据库中包括：至少一个模板图像以及每个所述模板图像的高级图像特征；所述目标图像与所述样本图像在内容上相同或相似。
2.根据权利要求1所述的方法，其特征在于，所述根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸，包括：
根据M＝W/w确定所述第一池化窗口的宽度M；
根据N＝H/h确定所述第一池化窗口的高度N；
其中，W为所述样本图像的宽度，H为所述样本图像的高度，w为所述预设的图像特征尺寸的宽度，h为所述预设的图像特征尺寸的高度。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征，包括：
根据所述第一池化窗口的尺寸对所述样本图像的初级图像特征进行池化变换，得到所述样本图像的中级图像特征；其中，所述中级图像特征的尺寸等于所述预设的图像特征尺寸；
对所述中级图像特征中的每个特征进行叠加得到所述高级图像特征。
4.根据权利要求1或2所述的方法，其特征在于，所述根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸之前，还包括：
通过卷积变换和池化变换提取样本图像的初级图像特征；其中，所述池化变换对应的池化窗口的尺寸为预设的。
5.根据权利要求1或2所述的方法，其特征在于，所述根据所述高级图像特征从图片数据库中检索出至少一个目标图像，包括：
获取所述模板图像的高级图像特征；
根据所述样本图像的高级图像特征以及每个所述模板图像的高级图像特征进行相似性检索，得到所述目标图像。
6.一种基于卷积神经网络的图片检索装置，其特征在于，包括：
确定模块，被配置为根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸；其中，所述第一池化窗口包括所述卷积神经网络的最后一个池化层对应的池化窗口；
处理模块，被配置为根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征；
检索模块，被配置为根据所述高级图像特征从图片数据库中检索出至少一个目标图像；其中，所述图片数据库中包括：至少一个模板图像以及每个所述模板图像的高级图像特征；所述目标图像与所述样本图像在内容上相同或相似。
7.根据权利要求6所述的装置，其特征在于，所述确定模块包括：
第一确定单元，被配置为根据M＝W/w确定所述第一池化窗口的宽度M；
第二确定单元，被配置为根据N＝H/h确定所述第一池化窗口的高度N；
其中，W为所述样本图像的宽度，H为所述样本图像的高度，w为所述预设的图像特征尺寸的宽度，h为所述预设的图像特征尺寸的高度。
8.根据权利要求6或7所述的装置，其特征在于，所述处理模块包括：
池化单元，被配置为根据所述第一池化窗口的尺寸对所述样本图像的初级图像特征进行池化变换，得到所述样本图像的中级图像特征；其中，所述中级图像特征的尺寸等于所述预设的图像特征尺寸；
叠加单元，被配置为对所述中级图像特征中的每个特征进行叠加得到所述高级图像特征。
9.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：
提取模块，被配置为通过卷积变换和池化变换提取样本图像的初级图像特征；其中，所述池化变换对应的池化窗口的尺寸为预设的。
10.根据权利要求6或7所述的装置，其特征在于，所述检索模块包括：
获取单元，被配置为获取所述模板图像的高级图像特征；
检索单元，被配置为根据所述样本图像的高级图像特征以及每个所述模板图像的高级图像特征进行相似性检索，得到所述目标图像。
11.一种服务器，其特征在于，包括：处理器以及用于存储处理器可执行指令的存储器；
所述处理器被配置为：
根据样本图像的尺寸和预设的图像特征尺寸，确定第一池化窗口的尺寸；其中，所述第一池化窗口包括卷积神经网络的最后一个池化层对应的池化窗口；
根据所述第一池化窗口的尺寸对提取到的所述样本图像的初级图像特征进行处理，得到所述样本图像的高级图像特征；
根据所述高级图像特征从图片数据库中检索出至少一个目标图像；其中，所述图片数据库中包括：至少一个模板图像以及每个所述模板图像的高级图像特征；所述目标图像与所述样本图像在内容上相同或相似。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510959003.2A CN105447190B (zh) | 2015-12-18 | 2015-12-18 | 基于卷积神经网络的图片检索方法、装置和服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510959003.2A CN105447190B (zh) | 2015-12-18 | 2015-12-18 | 基于卷积神经网络的图片检索方法、装置和服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105447190A CN105447190A (zh) | 2016-03-30 |
| CN105447190B true CN105447190B (zh) | 2019-03-15 |
Family
ID=55557366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510959003.2A Active CN105447190B (zh) | 2015-12-18 | 2015-12-18 | 基于卷积神经网络的图片检索方法、装置和服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105447190B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860772B (zh) * | 2016-04-29 | 2024-01-16 | 中科寒武纪科技股份有限公司 | 一种用于执行人工神经网络pooling运算的装置和方法 |
| CN106021364B (zh) * | 2016-05-10 | 2017-12-12 | 百度在线网络技术（北京）有限公司 | 图片搜索相关性预测模型的建立、图片搜索方法和装置 |
| CN109214308A (zh) * | 2018-08-15 | 2019-01-15 | 武汉唯理科技有限公司 | 一种基于焦点损失函数的交通异常图片识别方法 |
| CN109583584B (zh) * | 2018-11-14 | 2020-07-10 | 中山大学 | 可使具有全连接层的cnn接受不定形状输入的方法及系统 |
| CN109635790A (zh) * | 2019-01-28 | 2019-04-16 | 杭州电子科技大学 | 一种基于3d卷积的行人异常行为识别方法 |
| TWI712961B (zh) * | 2019-08-07 | 2020-12-11 | 瑞昱半導體股份有限公司 | 全連接卷積神經網路影像處理方法與電路系統 |
| CN110532414B (zh) * | 2019-08-29 | 2022-06-21 | 深圳市商汤科技有限公司 | 一种图片检索方法及装置 |
| CN110727819B (zh) * | 2019-10-10 | 2020-05-29 | 北京航空航天大学 | 一种尺度自适应病理全切片图像数据库检索方法 |
| CN111145097B (zh) * | 2019-12-31 | 2023-09-01 | 华为技术有限公司 | 图像处理方法、装置和图像处理系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104572965A (zh) * | 2014-12-31 | 2015-04-29 | 南京理工大学 | 基于卷积神经网络的以图搜图系统 |
| CN104850825A (zh) * | 2015-04-18 | 2015-08-19 | 中国计量学院 | 一种基于卷积神经网络的人脸图像颜值计算方法 |
| CN105139395A (zh) * | 2015-08-19 | 2015-12-09 | 西安电子科技大学 | 基于小波池化卷积神经网络的sar图像分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8503792B2 (en) * | 2010-12-17 | 2013-08-06 | Sony Corporation | Patch description and modeling for image subscene recognition |
-
2015
- 2015-12-18 CN CN201510959003.2A patent/CN105447190B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104572965A (zh) * | 2014-12-31 | 2015-04-29 | 南京理工大学 | 基于卷积神经网络的以图搜图系统 |
| CN104850825A (zh) * | 2015-04-18 | 2015-08-19 | 中国计量学院 | 一种基于卷积神经网络的人脸图像颜值计算方法 |
| CN105139395A (zh) * | 2015-08-19 | 2015-12-09 | 西安电子科技大学 | 基于小波池化卷积神经网络的sar图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 互联网内容相似图像搜索的研究;李楠;《科技信息》;20131230;第154-155、161页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105447190A (zh) | 2016-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105447190B (zh) | 基于卷积神经网络的图片检索方法、装置和服务器 | |
| US9349072B2 (en) | Local feature based image compression | |
| CN109086405B (zh) | 基于显著性和卷积神经网络的遥感图像检索方法及系统 | |
| CN108615036A (zh) | 一种基于卷积注意力网络的自然场景文本识别方法 | |
| JP7131195B2 (ja) | 物体認識装置、物体認識学習装置、方法、及びプログラム | |
| CN110516096A (zh) | 合成感知数字图像搜索 | |
| CN104199842B (zh) | 一种基于局部特征邻域信息的相似图片检索方法 | |
| CN108304573A (zh) | 基于卷积神经网络和监督核哈希的目标检索方法 | |
| CN111831844A (zh) | 图像检索方法、图像检索装置、图像检索设备及介质 | |
| CN105808757B (zh) | 基于多特征融合的bow模型的中草药植物图片检索方法 | |
| JP6107531B2 (ja) | 特徴抽出プログラム及び情報処理装置 | |
| CN110110800A (zh) | 自动图像标注方法、装置、设备及计算机可读存储介质 | |
| CN115019143A (zh) | 一种基于CNN和Transformer混合模型的文本检测方法 | |
| CN107169090A (zh) | 一种利用内容环绕信息提取图像表征的特定对象检索方法 | |
| CN110163061A (zh) | 用于提取视频指纹的方法、装置、设备和计算机可读介质 | |
| CN106156798A (zh) | 基于环形空间金字塔和多核学习的场景图像分类方法 | |
| CN116151263B (zh) | 多模态命名实体识别方法、装置、设备以及存储介质 | |
| CN109597906B (zh) | 图像检索方法及装置 | |
| Zhang et al. | Multiscale depthwise separable convolution based network for high-resolution image segmentation | |
| CN115861393B (zh) | 图像匹配方法、航天器着陆点定位方法及相关装置 | |
| Fierro-Radilla et al. | An effective visual descriptor based on color and shape features for image retrieval | |
| CN116383470A (zh) | 一种具有隐私保护的图像搜索方法 | |
| CN106951501A (zh) | 一种基于多图匹配的三维模型检索方法 | |
| CN116740078A (zh) | 图像分割处理方法、装置、设备以及介质 | |
| Liu et al. | A two step salient objects extraction framework based on image segmentation and saliency detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |