CN104679863A - 一种基于深度学习的以图搜图方法和系统 - Google Patents

Abstract

本发明涉及图像搜索技术领域，提供了一种基于深度学习的以图搜图的方法，其中，计算图像类别特征，使用已训练的深度卷积神经网络,对输入图像提取分类特征；计算图像自编码特征，使用已训练的深度学习的自动编码算法，对输入图像提取编码特征；混合特征编码压缩，综合所述分类特征和图像自编码特征,将这些特征通过深度学习自动编码算法进行编码；根据特征计算图像相似度并排序输出。本发明利用深度卷积神经网络产生出高级特征，保障以图搜图结果在图像类别上的相似；并利用自动编码算法产生低层次的图像编码特征,保障图像在内容上相似；混合自编码特征方法将分类特征,图像自编码特征进一步融合,降低维度，使得搜索结果更加快速、稳定。

Description

一种基于深度学习的以图搜图方法和系统

【技术领域】

本发明涉及图像搜索技术领域，特别是涉及一种基于深度学习的以图搜图的方法和系统。

【背景技术】

以图搜图，是通过输入图片来检索相似的图片的一种技术，为用户提供相关图形图像资料检索的搜索技术。涉及了数据库管理、计算机视觉、图像处理、模式识别、信息检索和认知心理学等诸多学科。其相关技术主要包括:特征表示和相似性度量这两类关键技术。在大数据图形图像检索,视频侦查,互联网，购物搜索引擎等多种领域都有广泛应用。

基于混合深度特征的以图搜图方法主要包括两个步骤:一是特征提取,提取可靠稳定的特征表达图像内容；二是特征相似度度量，将不同图像特征进行比较和相似度排序。

对于以图搜图算法,常用的方法种类比较多，比如基于颜色、纹理和形状等。深度学习是一种目的在于建立、模拟人脑进行分析学习的深度网络，它模仿人脑的机制来解释数据。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。它显著的优点是可抽象出高级特征，构建出复杂高性能的模型。文献《ImageNet Classification with Deep Convolutional Neural Networks》中所述的深度网络在一定程度上解决了特征提取的问题,但由于高等级特征常常过于抽象难于控制，需要进一步解决控制深度网络产生的高等级特征用于图像搜索。

【发明内容】

本发明要解决的技术问题高等级特征常常过于抽象难于控制，需要进一步解决控制深度网络产生的高等级特征用于图像搜索。

本发明为解决技术问题，一方面提供了一种基于深度学习的以图搜图系统， 包括图像输入平台、综合接入网关、智能管理服务器和智能分析服务器，所述图像输入平台、综合接入网关、智能管理服务器和智能分析服务器依次连接，具体的：

所述图像输入平台，用于图像录入、图像传输、图像存储和图像预处理；所述综合接入网关，用于图像输入平台的统计接入到所述智能管理服务器；所述智能管理服务器，用于管理和分析资源；所述智能分析服务器是以图搜图的功能实体，由多个图像分析单元组成，每个图像分析单元可独立完成一个图像输入平台的分析。

优选的，所述智能分析服务器的图像分析模块包括通用电脑和/或植入电脑内的功能软件。

优选的，所述智能分析服务器具体用于实现以图搜图检索算法；接入到智能管理服务器，由智能管理服务器集中管理；接收智能管理服务器的以图搜图分析请求，从图像输入平台获取图像并进行分析；将诊断结果上报给智能管理服务器。

本发明为解决技术问题，另一方面提供了一种基于深度学习的以图搜图方法，包括：

计算图像类别特征，使用已训练的深度卷积神经网络,对输入图像提取分类特征；计算图像自编码特征，使用已训练的深度学习的自动编码算法，对输入图像提取编码特征；混合特征编码压缩，综合所述分类特征和图像自编码特征,将这些特征通过深度学习自动编码算法进行编码；根据特征计算图像相似度并排序输出。

优选的，进行混合特征编码压缩的还包括自定义特征，所述自定义特征包括颜色特征、形状特征和/或纹理特征，则所述综合所述分类特征和图像自编码特征,将这些特征通过深度学习自动编码算法进行编码，具体为：综合所述分类特征、图像自编码特征和自定义特征,将这些特征通过深度学习自动编码算法进行编码。

优选的，所述根据特征计算图像相似度并排序输出，具体包括：

计算用户输入的图像和数据库内其他每一副图像的混合编码特征的几何距离，并按几何距离按从小到大排序，将排序结果输出。

优选的，所述的深度卷积神经网络,由卷积层,全连接层组成,网络层与层中间包括深度学习中的pooling方法、dropout方法和/或dropconnect方法。

优选的，所述的深度学习的自动编码算法,包括：自编码器、稀疏自编码器、栈式自编码器、降噪自动编码器中的任一种。

优选的，所述的综合特征压缩方法,具体为：自编码器,稀疏自编码器,栈式自编码器,降噪自动编码器,组成成分分析中的任一一种。

优选的，所述的计算图像相似度中特征间的距离,具体为：马氏距离、欧式距离、棋盘距离中的任一一种。

与现有技术相比，本发明的有益效果在于：本发明利用深度卷积神经网络产生出高级特征，帮助对图像类别分析，保障以图搜图结果在图像类别上的相似；并利用自动编码算法产生低层次的图像编码特征,保障图像在内容上相似,尽可能的符合人类感官；混合自编码特征方法:将分类特征,图像自编码特征进一步融合,降低维度,减少冗余特征对检索结果的影响。使搜索结果更加快速,稳定，同时能够满足快速分析需求。

【附图说明】

图1是本发明实施例提供的一种基于深度学习的以图搜图系统结构示意图；

图2是本发明实施例提供的一种基于深度学习的以图搜图方法的流程图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1:

本发明实施例1提供了一种基于深度学习的以图搜图系统，如图1所示， 包括图像输入平台10、综合接入网关20、智能管理服务器30和智能分析服务器40，所述图像输入平台10、综合接入网关20、智能管理服务器30和智能分析服务器40依次连接，具体的：

所述图像输入平台10，用于图像录入、图像传输、图像存储和图像预处理；所述综合接入网关20，用于图像输入平台的统计接入到所述智能管理服务器；所述智能管理服务器30，用于管理和分析资源；所述智能分析服务器40是以图搜图的功能实体，由多个图像分析单元组成，每个图像分析单元可独立完成一个图像输入平台的分析。

实施例2:

本发明实施例2提供了一种基于深度学习的以图搜图方法，其特征在于，包括：

在步骤201中，计算图像类别特征，使用已训练的深度卷积神经网络,对输入图像提取分类特征；

在步骤202中，计算图像自编码特征，使用已训练的深度学习的自动编码算法，对输入图像提取编码特征；

在步骤203中，混合特征编码压缩，综合所述分类特征和图像自编码特征,将这些特征通过深度学习自动编码算法进行编码；

在步骤204中，根据特征计算图像相似度并排序输出。

本实施例利用深度卷积神经网络产生出高级特征，帮助对图像类别分析，保障以图搜图结果在图像类别上的相似；并利用自动编码算法产生低层次的图像编码特征,保障图像在内容上相似,尽可能的符合人类感官；混合自编码特征方法:将分类特征,图像自编码特征进一步融合,降低维度,减少冗余特征对检索结果的影响。使搜索结果更加快速,稳定，同时能够满足快速分析需求。

结合本实施例，存在一种优选的方案，其中，进行混合特征编码压缩的还包括自定义特征，所述自定义特征包括颜色特征、形状特征和/或纹理特征，则所述步骤203具体执行为：综合所述分类特征、图像自编码特征和自定义特征,将这些特征通过深度学习自动编码算法进行编码。

并且，在所述步骤203之前，还包括步骤205，如图2所示，具体为：

在步骤205中，计算自定义特征。

结合本实施例，优选的，所述根据特征计算图像相似度并排序输出，具体包括：

计算用户输入的图像和数据库内其他每一副图像的混合编码特征的几何距离，并按几何距离按从小到大排序，将排序结果输出。

结合本实施例，优选的，所述的深度卷积神经网络,由卷积层,全连接层组成,网络层与层中间包括深度学习中的pooling方法、dropout方法和/或dropconnect方法。

结合本实施例，优选的，所述的深度学习的自动编码算法,包括：

自编码器、稀疏自编码器、栈式自编码器、降噪自动编码器中的任一种。

结合本实施例，优选的，所述的综合特征压缩方法,具体为：

自编码器,稀疏自编码器,栈式自编码器,降噪自动编码器,组成成分分析中的任一一种。

结合本实施例，优选的，所述的计算图像相似度中特征间的距离,具体为：

马氏距离、欧式距离、棋盘距离中的任一一种。

实施例3:

本发明实施例3结合实际的案例，为所述实施例1和实施例2的实现提供的具体的实现方法。具体包括如实施例2所述的计算图像类别特征、计算图像自编码特征、计算自定义特征、混合特征编码压缩和计算图像相似度并排序输出五个部分。

第一部分：计算图像类别特征

计算图像类别特征算法是利用深度卷积神经网络,如文章所述的《ImageNet Classification with Deep Convolutional Neural Networks》算法,网络由5个卷积层和3个全连接层构成,图像通过卷积层和全连接层,最终得出图像高级特征的方法,这些特征主要用于图像分类。

深度卷积神经网络训练步骤如下:

深度卷积网络采用ImgNet数据训练集训练,训练样本量为100万张有标注图像,分类类别为1000个类别,所用的网络参数和网络结构与论文《ImageNet Classification with Deep Convolutional Neural Networks》中的参数相同。

深度卷积神经网络实现步骤如下：

图像经过深度卷积神经网络,提取第三个全连接层的1000维节点数据作为类别特征。

第二部分：计算图像自编码特征

把输入图像通过3-5个编码层。使用第三层到第五层的任意一个编码层作为图像自编码特征。

深度学习自动编码算法训练采用10万张图片训练。类别包扩常见的人,车,物等无标注图片,以3层自编码网络为例,网络结构为输入图片缩放到大小为32*32,第一层自编码器输出节点数为500,第二层节点数为200,第三层为100,使用第三层输出的100维编码特征作为相似度特征。

第三部分：计算其他自定义特征

自定义特征包含用户感兴趣的特征。包含颜色直方图特征,形状特征,图像纹理特征。

第四部分：混合特征编码压缩

综合第一部分产生的分类特征,第二部分产生的图像自编码特征和第三部分产生的自定义特征,将这些特征使用自动编码算法进行进一步特征自编码.自编码采用深度学习自编码算法或组成成分分析算法,目的是降低特征维度,减少特征冗余。

第五部分：计算图像相似度并排序:

计算由第四部分产生的混合自编码特征,和数据库内其他每一副图像的混合自编码特征的对比,计算特征间的几何距离，并按几何距离按从小到大排序，距离越小代表图像越相似，距离越大代表图像差异越大，按从小到大输出排序结果。

本实施例中涉及的各种参数是为了方便说明方案而定义的，具体实现中可 以根据实际情况调整所述参数值，通过合理的推算得到的其他参数也属于本发明的保护范围内。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的以图搜图系统，其特征在于，包括图像输入平台、综合接入网关、智能管理服务器和智能分析服务器，所述图像输入平台、综合接入网关、智能管理服务器和智能分析服务器依次连接，具体的：

所述图像输入平台，用于图像录入、图像传输、图像存储和图像预处理；

所述综合接入网关，用于图像输入平台的统计接入到所述智能管理服务器；

所述智能管理服务器，用于管理和分析资源；

所述智能分析服务器是以图搜图的功能实体，由多个图像分析单元组成，每个图像分析单元可独立完成一个图像输入平台的分析。

2.根据权利要求1所述的系统，其特征在于，所述智能分析服务器的图像分析模块包括通用电脑和/或植入电脑内的功能软件。

3.根据权利要求1或2所述系统，所述智能分析服务器具体用于实现以图搜图检索算法；接入到智能管理服务器，由智能管理服务器集中管理；接收智能管理服务器的以图搜图分析请求，从图像输入平台获取图像并进行分析；将诊断结果上报给智能管理服务器。

4.一种基于深度学习的以图搜图方法，其特征在于，包括：

计算图像类别特征，使用已训练的深度卷积神经网络,对输入图像提取分类特征；

计算图像自编码特征，使用已训练的深度学习的自动编码算法，对输入图像提取编码特征；

混合特征编码压缩，综合所述分类特征和图像自编码特征,将这些特征通过深度学习自动编码算法进行编码；

根据特征计算图像相似度并排序输出。

5.根据权利要求4所述的方法，其特征在于，进行混合特征编码压缩的还包括自定义特征，所述自定义特征包括颜色特征、形状特征和/或纹理特征，则所述综合所述分类特征和图像自编码特征,将这些特征通过深度学习自动编码算法进行编码，具体为：

综合所述分类特征、图像自编码特征和自定义特征,将这些特征通过深度学习自动编码算法进行编码。

6.根据权利要求4或5所述的方法，其特征在于，所述根据特征计算图像相似度并排序输出，具体包括：

计算用户输入的图像和数据库内其他每一副图像的混合编码特征的几何距离，并按几何距离按从小到大排序，将排序结果输出。

7.根据权利要求4-6任一所述的方法，其特征在于，所述的深度卷积神经网络,由卷积层,全连接层组成,网络层与层中间包括深度学习中的pooling方法、dropout方法和/或dropconnect方法。

8.根据权利要求4-6任一所述的方法，其特征在于，所述的深度学习的自动编码算法,包括：

自编码器、稀疏自编码器、栈式自编码器、降噪自动编码器中的任一种。

9.根据权利要求4-6任一所述的方法，其特征在于，所述的综合特征压缩方法,具体为：

自编码器,稀疏自编码器,栈式自编码器,降噪自动编码器,组成成分分析中的任一一种。

10.根据权利要求4-6任一所述的方法，其特征在于，所述的计算图像相似度中特征间的距离,具体为：

马氏距离、欧式距离、棋盘距离中的任一一种。