CN109919208A - 一种外观图像相似度比对方法和系统 - Google Patents
一种外观图像相似度比对方法和系统 Download PDFInfo
- Publication number
- CN109919208A CN109919208A CN201910138282.4A CN201910138282A CN109919208A CN 109919208 A CN109919208 A CN 109919208A CN 201910138282 A CN201910138282 A CN 201910138282A CN 109919208 A CN109919208 A CN 109919208A
- Authority
- CN
- China
- Prior art keywords
- image
- library
- classification
- feature vector
- compared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种外观图像相似度比对方法和系统，包括利用图像库中的图像训练深度神经网络模型得到大类目识别模型，并根据图像库中图像的特征值构建分布式索引库，所述的外观图像相似度比对方法，还包括：利用所述大类目识别模型将待比对图像进行类目划分，得到相似类目；除去待比对图像的背景，并进行灰度化处理；采用卷积神经网络提取灰度化处理后的图像的特征向量；对提取的特征向量进行降维，并将降维后的特征向量在所述相似类目的分布式索引库中进行特征值相似度量，将度量结果按预定的排序方式输出。本发明结合大类目识别技术的同时采取基于图的方法创建分布式索引技术，解决了从海量图像数据中检索效率慢的问题。
Description
技术领域
本发明属于图像处理和深度学习算法领域，具体涉及一种外观图像相似度比对方法和系统。
背景技术
在很多行业中，比如专利管理机构、商标设计厂家、电商服装、日用产品设计等，经常会有图像相似度比对的需求。例如根据所见衣服的款式，在网站上搜索同款；又如某公司设计了一套新构造的茶具，需要在现有的茶具公开网站上查询该新构造的茶具是否已经存在；再如在进行商标注册或侵权判定时，需要从海量图像中检索以查看待注册商标是否已存在近似商标。
随着业务的增长，各行各业每天都会产生大量的图像数据，现有的图像检索技术存在采用浅层人工特征表达力弱、常规背景分割效果差、哈希索引效率慢等问题。这使得从全网搜索所需的时间成本是很大，并且准确率也难以保证。
随着深度学习技术的不断发展，深度学习技术在各个领域得到了广泛应用。比如，将深度学习技术应用于图像检索领域，用户上传一张图像后，即能够获取到与上传图像具有相似内容的图像。然而，目前训练出的图像检索模型进行特征提取时，提取到的同类图像对应的特征相差较大，导致后续基于特征相似度检索相似图像的准确性较低。
发明内容
本发明的目的在于提供一种外观图像相似度比对方法和系统，通过去除图像背景信息，使特征提取时的观察点聚焦于目标区域，结合大类目识别技术的同时采取基于图的方法创建分布式索引技术，解决了从海量图像数据中检索效率慢的问题。
为实现上述目的，本发明所采取的技术方案为：
一种外观图像相似度比对方法，包括利用图像库中的图像训练深度神经网络模型得到大类目识别模型，并提取图像库中图像的特征值构建分布式索引库，所述的外观图像相似度比对方法，还包括：
利用所述大类目识别模型将待比对图像进行类目划分，得到相似类目；
除去待比对图像的背景，并进行灰度化处理；
采用卷积神经网络提取灰度化处理后的图像的特征向量；
对提取的特征向量进行降维，并将降维后的特征向量在所述相似类目的分布式索引库中进行特征值相似度量，将度量结果按预定的排序方式输出。
作为优选，所述利用图像库中的图像训练深度神经网络模型得到大类目识别模型，包括：
对图像库中的图像按照外观相似性和结构相似性划分为若干类目；
采用DenseNet网络模型，以划分类目后的图像作为深度网络输入，以交叉熵为代价函数，最小化代价函数为优化目标，迭代训练DenseNet网络模型，直至DenseNet网络模型收敛到预设条件，得到大类目识别模型。
作为优选，所述提取图像库中图像的特征值构建分布式索引库，包括：
除去图像库中划分类目后的图像的背景，并进行灰度化处理；
采用卷积神经网络提取灰度化处理后的图像的特征向量；
对提取的特征向量进行降维，并根据降维后的特征向量以及其特征值，结合图像所划分的类目，采用基于图索引的HNSW方法构建若干个索引库；
将构建的若干个索引库分布式存储在若干个服务器上，得到分布式索引库。
作为优选，所述除去待比对图像的背景，并进行灰度化处理，包括：
利用基于深度学习的显著性检测和语义分割方法去除待比对图像的背景，得到完整的掩膜图像；
对所述掩膜图像进行二值化处理，将原始图像的彩色信息按照坐标对应关系映射到二值化的前景图上，并将二值化的背景填充为黑色进行归一化，则前景图上对应的信息即为有效的目标区域。
作为优选，采用卷积神经网络提取灰度化处理后的图像的特征向量，包括：
采用VGG16深度卷积神经网络模型，以所述目标区域的图像作为深度网络输入，经过多层网络结构，输出倒数第二个全连接层的隐层节点特征，作为对所述图像提取的特征向量。
作为优选，所述将度量结果按预定的排序方式输出，包括：
所述大类目识别模型对待比对图像进行类目划分得到的相似类目有N个，各相似类目按照与待比对图像的实际类目的相似程度匹配有对应的权重得分；
将在不同相似类目中检索得到的度量结果中的前K个图像按照与待比对图像的相似程度进行排序，并按照排序分别匹配有相似得分；
将各相似类目中的前K个图像的相似得分分别乘以所归属的相似类目的权重得分，得到最终得分；
将N个相似类目中的前K个图像进行汇总，得到N*K个图像，并将N*K个图像按照最终得分重新进行排序，得到新的排序方式，并按照新的排序方式将前K个图像输出。
作为优选，所述待比对图像通过移动端采集方式或PC端采集方式输入。
作为优选，所述移动端采集方式或PC端采集方式支持输入一张或同时输入多张待比对图像。
本发明还提供一种外观图像相似度比对系统，所述的外观图像相似度比对系统，包括：
离线建模模块，用于利用图像库中的图像训练深度神经网络模型得到大类目识别模型，并提取图像库中图像的特征值构建分布式索引库；
图像上传模块，用于上传待比对图像至指定位置；
类目识别模块，用于利用所述大类目识别模型将待比对图像进行类目划分，得到相似类目；
图像预处理模块，用于除去待比对图像的背景，并进行灰度化处理；
特征提取模块，用于采用卷积神经网络提取灰度化处理后的图像的特征向量；
特征检索模块，用于对提取的特征向量进行降维，并将降维后的特征向量在所述相似类目的分布式索引库中进行特征值相似度量，将度量结果按预定的排序方式输出；
人机交互模块，用于更改所述相似类目，并且按照所述特征检索模块输出的度量结果展示对应的相似图像。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的外观图像相似度比对方法的步骤。
本发明提供的外观图像相似度比对方法和系统，首先对海量图像数据按照外观和结构相似度进行大类目识别建模，后采用显著性检测和语义分割技术算法相结合去除目标图像的背景影响，采用深度卷积神经网络提取目标图像的深层次高维特征(深层高维特征具有更强的图像表征能力)，由于提取的特征中包含各式各样杂乱特征部分不利于表征图像的外观轮廓，因此需要特征降维，传统的PCA降维方式是一种线性降维，无法确保数据之间的相互关系，从而在降维过程中造成信息的损失。本发明采用非线性降维方法t-SNE在保证数据之间内在联系的前提下，保留主成分特征的同时去除冗余的特征杂质。最后采用图的方法创建分布式索引HNSW技术，保证高召回率的同时大大提高检索效率。
附图说明
图1是本发明外观图像相似度比对方法的一种实施例流程图；
图2是本发明外观图像相似度比对系统的一种实施例结构示意图；
图3是本发明相似度比对检索集群服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好地描述和说明本申请的实施例，可参考一幅或多幅附图，但用于描述附图的附加细节或示例不应当被认为是对本申请的发明创造、目前所描述的实施例或优选方式中任何一者的范围的限制。
应该理解的是，除非本文中有明确的说明，各步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图1所示，本实施例提供一种外观图像相似度比对方法，该方法包括离线建模和在线检索两部分。
具体地，离线建模包括：
S1、利用图像库中的图像训练深度神经网络模型得到大类目识别模型。
S11、对图像库中的图像按照外观相似性和结构相似性划分为若干类目，例如不同颜色、款式的水杯都具有外观相似性和结构相似性，因此都归为杯类。
S12、采用DenseNet网络模型，以划分类目后的图像作为深度网络输入，选用softmax激活函数输出Q个置信度结果，以交叉熵为代价函数，最小化代价函数为优化目标，采用随机梯度下降优化方法迭代训练DenseNet网络模型，直至DenseNet网络模型收敛到预设条件，得到大类目识别模型。
对所上传的图像先进行类目识别，再根据所识别的类目在指定类目中进行检索，显著提高了检索效率和准确性。在模型训练过程中，利用GPU服务器训练后得到网络模型权重参数，还用于对新图像的预测。Q应理解为所有类目数，在真正进行图像检索时，一般取Q个类目中与待比对图像的类目相似度比较靠前的几个类目，再从中关联到索引库进行检索，以提高图像检索的准确性，减少检索耗时。
S2、并根据图像库中图像的特征向量构建分布式索引库。
S21、除去图像库中划分类目后的图像的背景，并进行灰度化处理。利用基于深度学习的显著性检测方法得到图像的感兴趣区域，并结合基于深度学习的语义分割方法，精确定位目标的轮廓位置，最终得到完整的掩膜图像。
在进行图像处理时，可以在imageNet数据集和COCO数据集上选取大量数据，对imageNet预训练模型进行微调，得到本实施例需要的模型。
由于外观图像的特点，目标在图像中处于显著性区域位置，前景物体相对于背景更易于检测，基于深度学习的显著性检测和语义分割方法，对多样性目标种类的边界处理效果更平滑。并且借助于大量标定数据进行训练，很好的解决了过分割和欠分割现象。相对传统特征工程方法，基于深度学习的显著性检测和语义分割对边界的拟合能力更强，自适应及鲁棒性好。
对取出背景后的掩膜图像进行二值化处理，将原始图像的彩色信息按照坐标对应关系映射到二值化的前景图上，并将二值化的背景填充为黑色进行归一化，则前景图上对应的信息即为有效的目标区域。
试验发现目标图像的背景由不同颜色组成，提取的特征无法完全描述目标本身，如手机拍摄一个手提包的同时包含了部分花草信息，而花草信息则属于无关信息。试验证明去除图片中观察物以外的背景后再提取特征，能提升最终检索的准确率，因此去除背景是必不可少的。因此本实施例的目标区域去除了背景以及色彩信息的影响，重点关注目标物的形状、结构和纹理等，弱化颜色分量的影响，有利于特征的提取，以提高相似度对比的准确率。
S22、采用卷积神经网络提取灰度化处理后的图像的特征向量。采用深度卷积神经网络VGG16对去除背景后的图像提取高维特征，和大多数采用传统手段(SIFT/BOW)提取特征的方案相比，提取的特征具有更强的图像描述能力。
在特征向量提取时，采用VGG16深度卷积神经网络模型，以灰度化处理后所得的目标区域的图像作为深度网络输入，经过多层网络结构，输出倒数第二个全连接层的隐层节点共4096维特征，作为对图像提取的特征向量。
采用VGG16深度卷积神经网络模型时，借助于它全程使用小卷积核替代大卷积核，一方面减少参数计算量，另一方面进行更多的非线性映射，增加了网络的拟合/表达能力。
S23、对提取的特征向量进行降维，并根据降维后的特征向量以及其特征值，结合图像所划分的类目，采用基于图索引的HNSW方法构建若干个索引库。
每张图像提取4096维特征，高维向量对海量图像数据的存储和高效比对检索带来极大的挑战：纬度的增加带来计算复杂度的增加，同时检索效率大大降低。因此对原始特征进行降维是十分必要的，以达到不降低检索准确性的前提下，进一步提高检索效率和存储效率。
本实施例对三种降维方法：1)PCA线性降维；2)1*1卷积降维；3)t-SNE非线性降维进行对比实验，实验中分别将原始特征压缩至2048维、1024维、512维、256维、128维和64维共6种情形，实验证明在256维的t-SNE方法具有最高的检索召回率，且保留了原始特征98％的主成分。
本实施例采用t-SNE降维方法去除了冗余特征，降低向量维度的同时确保检索精度。在对特征向量进行降维时，借助于t-SNE降维方法，去除低频冗余特征，保留形状、纹理等明显具有区分性的特征成分，选择将原始特征压缩至256维，以提取出更高质量的特征值。
采用基于图索引的HNSW方法构建索引库，通过采用层状结构，将边按特征半径进行分层。实现方式为：对于待插入的元素，采用指数衰变概率分布来选取初始顶层，进而从顶层开始贪心算法遍历图结构，在某层中寻找最近邻后，初始化为新的输入点，重复搜索以上过程。HNSW算法使每个顶点在所有层中平均度数变为常数，将计算复杂度由多重对数复杂度降到了对数复杂度，相对于其他KNN方法，基于图索引的HNSW方法具有更高的检索召回率。
S24、将构建的索引库分布式存储在若干个服务器上，得到分布式索引库。
降维后的256维特征可以很好的描述外观图像的形状和结构组成，若将海量外观图像的256维特征部署在一台服务器上，存储和检索压力很大，因此有必要构建若干个索引库；借助于前述大类目建模，将所有外观图像划分成了L个类别，等分的存储在M台服务器，得到分布式索引库(每个索引库中包含L/M个类别标签的图像)。将数个索引库分布式存储在多个服务器上，结合多线程技术提升CPU的计算能力，显著提升检索效率。
在离线建模得到特征的索引库之后，可根据用户上传的图片进行实时在线检索，在线检索主要包括图像检索和比对排序，总体思路为当用户上传外观图像后，首先对类别进行识别过滤，取其top-N，即与实际类目相似度最大的前N个结果为当前图像的相似类目，并记录对应的权重得分(得分范围为0-1，越接近1说明当前top-N图像和待检索图像属于一个类别可能性越大)。并分别在指定类目对应的索引库中检索，取top-K排序作为当前图像的检索结果；最后将上传多张图像的top-K结果分别乘以对应权重得分后，按照相似度高低综合排序后，取前K个排序结果作为最终比对的结果进行展示。
依据在线检索的总体思路，进一步说明在线检索的具体步骤包括：
S1、利用所述大类目识别模型将待比对图像进行类目划分，得到相似类目。利用在海量图像数据上离线训练好的大类目识别模型，首先对待检索图像进行类目预测，按照置信度结果进行排序，并将其归到最相似类目中。此类目中都是具有相同或类似结构、形状的目标商品。
S2、除去待比对图像的背景，并进行灰度化处理。
S21、利用基于深度学习的显著性检测和语义分割方法去除待比对图像的背景，得到完整的掩膜图像。
S22、对所述掩膜图像进行二值化处理，将原始图像的彩色信息按照坐标对应关系映射到二值化的前景图上，并将二值化的背景填充为黑色进行归一化，则前景图上对应的信息即为有效的目标区域。
S3、采用卷积神经网络提取灰度化处理后的图像的特征向量。
采用VGG16深度卷积神经网络模型，以灰度化处理后所得的目标区域的图像作为深度网络输入，经过多层网络结构，输出倒数第二个全连接层的隐层节点特征，作为对图像提取的特征向量。
S4、对提取的特征向量进行降维，并将降维后的特征向量在所述相似类目的分布式索引库中进行特征值相似度量，将度量结果按预定的排序方式输出。
对提取的特征向量采用与离线建模时相同形式的t-SNE方法降维，得到与离线训练时同样维度的特征向量。
结合分布式服务器并行化机制，只在指定类目的索引库中进行相似度比较，这种策略在保证较高召回率的前提下加速检索效率，最后按照相似度顺序将检索结果输出。
在大类目模型对待比对图像进行类目划分时，可能会得到多个相似类目，且多个相似类目分别匹配有不同的权重得分，检索结果与各相似类目的权重得分相关，具体地，将度量结果按预定的排序方式输出，包括：
大类目识别模型对待比对图像进行类目划分得到的相似类目有N个，各相似类目按照与待比对图像的实际类目的相似程度匹配有对应的权重得分；
将在不同相似类目中检索得到的度量结果中的前K个图像按照与待比对图像的相似程度进行排序，并按照排序分别匹配有相似得分；
将各相似类目中的前K个图像的相似得分分别乘以所归属的相似类目的权重得分，得到最终得分；
将N个相似类目中的前K个图像进行汇总，得到N*K个图像，并将N*K个图像按照最终得分重新进行排序，得到新的排序方式，并按照新的排序方式将前K个图像输出作为待比对图像的相似图像。
采用上述方式输出的检索结果，不仅考虑了图像自身与待比对图像的相似度，同时还考虑了该图像所归属的类目与待比对图像所归属的类目的相近程度，最后输出的图像的准确性更高。本实施例中N取值为3，K取值为100，在得到足够相似图像的同时，降低在线检索的压力。
本实施例提供的外观图像相似度比对方法，首先对海量图像数据按照外观和结构相似度进行大类目识别建模，后采用显著性检测和语义分割技术算法相结合去除目标图像的背景影响，采用深度卷积神经网络提取目标图像的深层次高维特征(深层高维特征具有更强的图像表征能力)，由于提取的特征中包含各式各样杂乱特征部分不利于表征图像的外观轮廓，因此需要特征降维，保留主成分特征的同时去除冗余的特征杂质。最后采用图的方法创建分布式索引HNSW技术，保证高召回率的同时大大提高检索效率。
为了便于待比对图像的上传，本实施例中可通过移动端采集方式或PC端采集方式输入待比对图像。移动端采集方式应理解为采用移动端的设备，例如手机、手持相机、手持图像采集仪、平板电脑等进行图像上传；PC端采集方式应理解为采用PC段的设备，例如电脑等进行图像上传。
对于同一观测物，不同的角度往往会呈现出不同的结构或外观特征，故在进行图像检索时，往往需要对该观测物的不同角度的图像进行检索，以便于查找到最为相似的图像，此时可将该观测物不同角度的多张图像同时上传。
因此本实施例的移动端采集方式或PC端采集方式支持输入一张或同时输入多张待比对图像。若输入一张待比对图像，则针对该待比对图像进行相似度比对，并输出该待比对图像的相似图像；若同时输入多张待比对图像，则应对每一待比对图像进行相似度比对，得到针对每一待比对图像的多组排序结果，将所有待比对图像的多组排序结果进行组合后重新排序，并取指定的前若干个图像为最终输出的相似图像。
相对于输入一张待比对图像而言，输入多张待比对图像时，先检索得到每一待比对图像的N*K个图像以及对应的最终得分，然后将所有待比对图像的N*K个图像按照最终得分重新进行排序，得到新的排序方式，并按照新的排序方式将前K个图像输出。通过从不同角度来观测同一个物体的特征，全方位的进行比对，不错过任何一个微小的差异。
为了更加直观地呈现出图像相似度比对结果，可采用人机交互界面按照一定的顺序展示所检索出的图像。
如图2所示，本发明还提供一种外观图像相似度比对系统，该外观图像相似度比对系统的核心部分包括相似度比对检索集群服务器，手持式图像采集设备或PC端图像采集设备将所采集的图像上传至该服务器，相似度比对检索集群服务器负责图像数据的存储和图像特征提取、相似度比对等算法处理操作。图像比对服务器接收来自手持式图像采集设备或PC端图像采集设备上传的图像，经由深度学习算法进行大类目识别、背景去除、图像特征提取、分布式检索查询和相似度比对排序等处理后，输出至查询检索系统进行展示。
相似度比对检索集群服务器可以是由GPU服务器或CPU服务器组成的分布式集群，用于存储图像库和索引库并部署基于AI的相似度比对算法。
具体地，外观图像相似度比对系统包括以下部分：
离线建模模块，用于利用图像库中的图像训练深度神经网络模型得到大类目识别模型，并提取图像库中图像的特征值构建分布式索引库；
图像上传模块，用于上传待比对图像至指定位置；
类目识别模块，用于利用所述大类目识别模型将待比对图像进行类目划分，得到相似类目；
图像预处理模块，用于除去待比对图像的背景，并进行灰度化处理；
特征提取模块，用于采用卷积神经网络提取灰度化处理后的图像的特征向量；
特征检索模块，用于对提取的特征向量进行降维，并将降维后的特征向量在所述相似类目的分布式索引库中进行特征值相似度量，将度量结果按预定的排序方式输出；
人机交互模块，用于更改所述相似类目，并且按照所述特征检索模块输出的度量结果展示对应的相似图像。
其中，人机交互模块提供人机交互界面，人机交互界面可用于展示大类目识别模型的识别结果，借助大类目识别结果，用户可方便的对识别结果采取增加或缩小检索的类目范围，增加灵活性。
人机交互模块包括上文所提及的查询检索系统，人机交互模块按照所述特征检索模块输出的度量结果展示对应的相似图像时，人机交互模块可以是任意笔记本或台式机，要求有浏览器即可通过web访问系统进行结果展示和检索查询操作，部署简单便捷。且人机交互截面支持翻页和相似结果图像的详情页展示。
如图3所示，相似度比对检索集群服务器中包括了算法分析和集群调度服务器，用于接收手持式图像采集设备或PC端图像采集设备所上传的图像。该算法分析和集群调度服务器连接至若干个索引服务器，算法分析和集群调度服务器对图像进行处理后，利用若干个索引服务器并行检索，并将检索结果汇总以及优化排序后，输出至查询检索系统进行展示。
需要说明的是，外观图像相似度比对系统包括但不限于上述所提及的模块，例如外观图像相似度比对系统还可以设置文本过滤模块，增加文本关键字过滤等辅助功能如用途、材质和颜色等，帮助减少人工投入，提高工作人员的比对准确性和工作效率。文本过滤手段还对类目不清晰的图像进行辅助判别，增加灵活性，提高检索准确率，丰富系统的功能。
关于外观图像相似度比对系统的具体限定可以参见上文中对于外观图像相似度比对方法的限定，在此不再赘述。上述各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，即一种外观图像相似度比对系统，该计算机设备可以是终端，其内部结构可以包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现外观图像相似度比对方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种外观图像相似度比对方法，其特征在于，包括利用图像库中的图像训练深度神经网络模型得到大类目识别模型，并提取图像库中图像的特征值构建分布式索引库，所述的外观图像相似度比对方法，还包括：
利用所述大类目识别模型将待比对图像进行类目划分，得到相似类目；
除去待比对图像的背景，并进行灰度化处理；
采用卷积神经网络提取灰度化处理后的图像的特征向量；
对提取的特征向量进行降维，并将降维后的特征向量在所述相似类目的分布式索引库中进行特征值相似度量，将度量结果按预定的排序方式输出。
2.如权利要求1所述的外观图像相似度比对方法，其特征在于，所述利用图像库中的图像训练深度神经网络模型得到大类目识别模型，包括：
对图像库中的图像按照外观相似性和结构相似性划分为若干类目；
采用DenseNet网络模型，以划分类目后的图像作为深度网络输入，以交叉熵为代价函数，最小化代价函数为优化目标，迭代训练DenseNet网络模型，直至DenseNet网络模型收敛到预设条件，得到大类目识别模型。
3.如权利要求2所述的外观图像相似度比对方法，其特征在于，所述提取图像库中图像的特征值构建分布式索引库，包括：
除去图像库中划分类目后的图像的背景，并进行灰度化处理；
采用卷积神经网络提取灰度化处理后的图像的特征向量；
对提取的特征向量进行降维，并根据降维后的特征向量以及其特征值，结合图像所划分的类目，采用基于图索引的HNSW方法构建若干个索引库；
将构建的若干个索引库分布式存储在若干个服务器上，得到分布式索引库。
4.如权利要求1所述的外观图像相似度比对方法，其特征在于，所述除去待比对图像的背景，并进行灰度化处理，包括：
利用基于深度学习的显著性检测和语义分割方法去除待比对图像的背景，得到完整的掩膜图像；
对所述掩膜图像进行二值化处理，将原始图像的彩色信息按照坐标对应关系映射到二值化的前景图上，并将二值化的背景填充为黑色进行归一化，则前景图上对应的信息即为有效的目标区域。
5.如权利要求4所述的外观图像相似度比对方法，其特征在于，采用卷积神经网络提取灰度化处理后的图像的特征向量，包括：
采用VGG16深度卷积神经网络模型，以所述目标区域的图像作为深度网络输入，经过多层网络结构，输出倒数第二个全连接层的隐层节点特征，作为对所述图像提取的特征向量。
6.如权利要求1所述的外观图像相似度比对方法，其特征在于，所述将度量结果按预定的排序方式输出，包括：
所述大类目识别模型对待比对图像进行类目划分得到的相似类目有N个，各相似类目按照与待比对图像的实际类目的相似程度匹配有对应的权重得分；
将在不同相似类目中检索得到的度量结果中的前K个图像按照与待比对图像的相似程度进行排序，并按照排序分别匹配有相似得分；
将各相似类目中的前K个图像的相似得分分别乘以所归属的相似类目的权重得分，得到最终得分；
将N个相似类目中的前K个图像进行汇总，得到N*K个图像，并将N*K个图像按照最终得分重新进行排序，得到新的排序方式，并按照新的排序方式将前K个图像输出。
7.如权利要求1所述的外观图像相似度比对方法，其特征在于，所述待比对图像通过移动端采集方式或PC端采集方式输入。
8.如权利要求7所述的外观图像相似度比对方法，其特征在于，所述移动端采集方式或PC端采集方式支持输入一张或同时输入多张待比对图像。
9.一种外观图像相似度比对系统，其特征在于，所述的外观图像相似度比对系统，包括：
离线建模模块，用于利用图像库中的图像训练深度神经网络模型得到大类目识别模型，并提取图像库中图像的特征值构建分布式索引库；
图像上传模块，用于上传待比对图像至指定位置；
类目识别模块，用于利用所述大类目识别模型将待比对图像进行类目划分，得到相似类目；
图像预处理模块，用于除去待比对图像的背景，并进行灰度化处理；
特征提取模块，用于采用卷积神经网络提取灰度化处理后的图像的特征向量；
特征检索模块，用于对提取的特征向量进行降维，并将降维后的特征向量在所述相似类目的分布式索引库中进行特征值相似度量，将度量结果按预定的排序方式输出；
人机交互模块，用于更改所述相似类目，并且按照所述特征检索模块输出的度量结果展示对应的相似图像。
10.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的外观图像相似度比对方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910138282.4A CN109919208A (zh) | 2019-02-25 | 2019-02-25 | 一种外观图像相似度比对方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910138282.4A CN109919208A (zh) | 2019-02-25 | 2019-02-25 | 一种外观图像相似度比对方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109919208A true CN109919208A (zh) | 2019-06-21 |
Family
ID=66962144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910138282.4A Pending CN109919208A (zh) | 2019-02-25 | 2019-02-25 | 一种外观图像相似度比对方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919208A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111125418A (zh) * | 2020-01-15 | 2020-05-08 | 广东工业大学 | 一种商标检索系统 |
| CN111985554A (zh) * | 2020-08-18 | 2020-11-24 | 创新奇智(西安)科技有限公司 | 一种模型训练方法、手镯识别方法及对应装置 |
| CN112016448A (zh) * | 2020-08-27 | 2020-12-01 | 上海聚水潭网络科技有限公司 | 一种用于仓储商品图像识别的系统和方法 |
| CN112380003A (zh) * | 2020-09-18 | 2021-02-19 | 北京大学 | 一种gpu处理器上的k-nn的高性能并行实现装置 |
| CN112749296A (zh) * | 2019-10-31 | 2021-05-04 | 北京达佳互联信息技术有限公司 | 一种视频推荐方法、装置、服务器及存储介质 |
| CN112884005A (zh) * | 2021-01-21 | 2021-06-01 | 汉唐信通(北京)科技有限公司 | 一种基于sptag及卷积神经网的图像检索方法及装置 |
| CN113220916A (zh) * | 2021-05-31 | 2021-08-06 | 中国邮政储蓄银行股份有限公司 | 图像的检索方法及装置 |
| CN113225300A (zh) * | 2020-09-10 | 2021-08-06 | 深圳信息职业技术学院 | 一种基于图像的大数据分析方法 |
| CN113460523A (zh) * | 2020-03-30 | 2021-10-01 | 南京云思顿环保科技有限公司 | 一种可识别物体的智能垃圾箱 |
| CN117556289A (zh) * | 2024-01-12 | 2024-02-13 | 山东杰出人才发展集团有限公司 | 一种基于数据挖掘的企业数字化智能运营方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104392439A (zh) * | 2014-11-13 | 2015-03-04 | 北京智谷睿拓技术服务有限公司 | 确定图像相似度的方法和装置 |
| CN106528826A (zh) * | 2016-11-18 | 2017-03-22 | 广东技术师范学院 | 一种基于深度学习的多视图外观专利图像检索方法 |
| CN107368614A (zh) * | 2017-09-12 | 2017-11-21 | 重庆猪八戒网络有限公司 | 基于深度学习的图像检索方法及装置 |
| CN108197644A (zh) * | 2017-12-27 | 2018-06-22 | 深圳市大熊动漫文化有限公司 | 一种图像识别方法和装置 |
| CN108874889A (zh) * | 2018-05-15 | 2018-11-23 | 中国科学院自动化研究所 | 基于目标体图像的目标体检索方法、系统及装置 |
| CN109118519A (zh) * | 2018-07-26 | 2019-01-01 | 北京纵目安驰智能科技有限公司 | 基于实例分割的目标Re-ID方法、系统、终端和存储介质 |
| CN109710804A (zh) * | 2019-01-16 | 2019-05-03 | 信阳师范学院 | 一种教学视频图像知识点降维分析方法 |
-
2019
- 2019-02-25 CN CN201910138282.4A patent/CN109919208A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104392439A (zh) * | 2014-11-13 | 2015-03-04 | 北京智谷睿拓技术服务有限公司 | 确定图像相似度的方法和装置 |
| CN106528826A (zh) * | 2016-11-18 | 2017-03-22 | 广东技术师范学院 | 一种基于深度学习的多视图外观专利图像检索方法 |
| CN107368614A (zh) * | 2017-09-12 | 2017-11-21 | 重庆猪八戒网络有限公司 | 基于深度学习的图像检索方法及装置 |
| CN108197644A (zh) * | 2017-12-27 | 2018-06-22 | 深圳市大熊动漫文化有限公司 | 一种图像识别方法和装置 |
| CN108874889A (zh) * | 2018-05-15 | 2018-11-23 | 中国科学院自动化研究所 | 基于目标体图像的目标体检索方法、系统及装置 |
| CN109118519A (zh) * | 2018-07-26 | 2019-01-01 | 北京纵目安驰智能科技有限公司 | 基于实例分割的目标Re-ID方法、系统、终端和存储介质 |
| CN109710804A (zh) * | 2019-01-16 | 2019-05-03 | 信阳师范学院 | 一种教学视频图像知识点降维分析方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749296A (zh) * | 2019-10-31 | 2021-05-04 | 北京达佳互联信息技术有限公司 | 一种视频推荐方法、装置、服务器及存储介质 |
| CN112749296B (zh) * | 2019-10-31 | 2024-01-26 | 北京达佳互联信息技术有限公司 | 一种视频推荐方法、装置、服务器及存储介质 |
| CN111125418A (zh) * | 2020-01-15 | 2020-05-08 | 广东工业大学 | 一种商标检索系统 |
| CN113460523A (zh) * | 2020-03-30 | 2021-10-01 | 南京云思顿环保科技有限公司 | 一种可识别物体的智能垃圾箱 |
| CN111985554A (zh) * | 2020-08-18 | 2020-11-24 | 创新奇智(西安)科技有限公司 | 一种模型训练方法、手镯识别方法及对应装置 |
| CN112016448A (zh) * | 2020-08-27 | 2020-12-01 | 上海聚水潭网络科技有限公司 | 一种用于仓储商品图像识别的系统和方法 |
| CN113225300B (zh) * | 2020-09-10 | 2022-12-27 | 深圳信息职业技术学院 | 一种基于图像的大数据分析方法 |
| CN113225300A (zh) * | 2020-09-10 | 2021-08-06 | 深圳信息职业技术学院 | 一种基于图像的大数据分析方法 |
| CN112380003A (zh) * | 2020-09-18 | 2021-02-19 | 北京大学 | 一种gpu处理器上的k-nn的高性能并行实现装置 |
| CN112380003B (zh) * | 2020-09-18 | 2021-09-17 | 北京大学 | 一种gpu处理器上的k-nn的高性能并行实现装置 |
| CN112884005A (zh) * | 2021-01-21 | 2021-06-01 | 汉唐信通(北京)科技有限公司 | 一种基于sptag及卷积神经网的图像检索方法及装置 |
| CN113220916A (zh) * | 2021-05-31 | 2021-08-06 | 中国邮政储蓄银行股份有限公司 | 图像的检索方法及装置 |
| CN117556289A (zh) * | 2024-01-12 | 2024-02-13 | 山东杰出人才发展集团有限公司 | 一种基于数据挖掘的企业数字化智能运营方法及系统 |
| CN117556289B (zh) * | 2024-01-12 | 2024-04-16 | 山东杰出人才发展集团有限公司 | 一种基于数据挖掘的企业数字化智能运营方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919208A (zh) | 一种外观图像相似度比对方法和系统 | |
| CN107256246B (zh) | 基于卷积神经网络的印花织物图像检索方法 | |
| CN105243154B (zh) | 基于显著点特征和稀疏自编码的遥感图像检索方法及系统 | |
| CN110458107A (zh) | 用于图像识别的方法和装置 | |
| CN108984642B (zh) | 一种基于哈希编码的印花织物图像检索方法 | |
| CN109284675A (zh) | 一种用户的识别方法、装置及设备 | |
| Zheng et al. | Differential Learning: A Powerful Tool for Interactive Content-Based Image Retrieval. | |
| Shamsolmoali et al. | High-dimensional multimedia classification using deep CNN and extended residual units | |
| CN107832335A (zh) | 一种基于上下文深度语义信息的图像检索方法 | |
| Gao et al. | A mobile application for plant recognition through deep learning | |
| Ding et al. | Dynamic perception framework for fine-grained recognition | |
| CN104820711A (zh) | 复杂场景下对人形目标的视频检索方法 | |
| CN111814591A (zh) | 基于生成式对抗网络模型和ios平台的植物叶片识别系统 | |
| CN115223239A (zh) | 一种手势识别方法、系统、计算机设备以及可读存储介质 | |
| CN102298746A (zh) | 基于图像处理及图形学技术的戒指在线试戴系统实现方法 | |
| Wang et al. | Research on a thangka image classification method based on support vector machine | |
| Prasomphan | Toward Fine-grained Image Retrieval with Adaptive Deep Learning for Cultural Heritage Image. | |
| Zheng et al. | An end-to-end image retrieval system Based on gravitational field deep learning | |
| Mumtaz et al. | A novel texture image retrieval system based on dual tree complex wavelet transform and support vector machines | |
| CN114077682A (zh) | 一种图像检索智能识别匹配处理方法、系统和存储介质 | |
| Cord et al. | Interactive exploration for image retrieval | |
| Khan et al. | Vision prehension with CBIR for cloud robo | |
| Antonio et al. | Changing Input Shape Dimension Using VGG16 Network Model | |
| Hou et al. | Light-SRNet: a lightweight dual-attention feature fusion network for hand-drawn sketch recognition | |
| Tian et al. | Content-based image retrieval system via deep learning method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190621 |
|
| RJ01 | Rejection of invention patent application after publication |