CN110110113A - 图像搜索方法、系统及电子装置 - Google Patents
图像搜索方法、系统及电子装置 Download PDFInfo
- Publication number
- CN110110113A CN110110113A CN201910416797.6A CN201910416797A CN110110113A CN 110110113 A CN110110113 A CN 110110113A CN 201910416797 A CN201910416797 A CN 201910416797A CN 110110113 A CN110110113 A CN 110110113A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- searched
- search
- search result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种图像搜索方法、系统及电子装置,其中,该方法包括:获取待搜索图像;提取待搜索图像的第一特征,基于第一特征提取待搜索图像的第二特征;第二特征的数据量小于第一特征的数据量;从预先建立的图片特征库中搜索与待搜索图像的第二特征相匹配的图像,得到第一搜索结果;从第一搜索结果中搜索与待搜索图像的第一特征相匹配的图像,得到第二搜索结果;根据第二搜索结果确定搜索图像的最终搜索结果。该方法首先通过数据量较小的第二特征进行图片粗略搜索,然后使用数据量较大的第一特征从粗略搜索结果中进行高精度搜索,这种二次搜索的方式可以提高搜索速度,从而缩短了搜索时间。
Description
技术领域
本发明涉及图像识别开发技术领域,尤其是涉及一种图像搜索方法、系统及电子装置。
背景技术
目前,图像识别的应用日益广泛,识别的效果也逐渐提高。图像识别的过程逐渐从“有没有”、“是不是”逐渐进化到识别“是什么”的高级阶段。识别图像中的待测主体是什么的过程,就是以图搜图的过程。
以图搜图就是通过图像识别系统或服务器输入待测图片,通过识别运算从识别系统或服务器中检索出相似图片的过程,并为用户提供图片的相关资料的过程。以图搜图技术涉及数据库、模式识别、图像处理等相关领域,主要运用的技术包括特征的提取和相似性的度量。在如今的大数据图像检索、视频侦查、电商购物、搜索引擎等领域中有着广泛应用。
目前以图搜图的过程,主要是针对大数据量的图片库进行搜索,图片库的数据量通常都几千万个图片,有的图片库会有几个亿甚至几十亿的图片数据。正是由于图片库的大数据量,对以图搜图的算法有了更高的要求。传统以图搜图中,从图像中提取出来的特征大小在1K-4K之间,搜图时为了保证搜索速度,这些特征都需要加载到服务器内存中,使得内存的消耗较大。由于图像特征较大,在对大数量级的图片库中的图片进行特征对比时的运算量就比较大,导致了图片对比的速度较慢。
以图搜图服务一般不会是单个用户在进行识别操作,而是多用户同时操作,这就对服务的并发性提出了较高的要求。传统的依图搜图的过程一般是在服务器的CPU中实现,而CPU线程受限于自身核心数量,并发数很难进行提升,导致识别速度很难得到提升。
针对上述以图搜图过程中存在的问题表明,以图搜图的搜索速度还有待提升。
发明内容
有鉴于此,本发明的目的在于提供一种图像搜索方法、系统及电子装置,以提高图像搜索速度。
第一方面,本发明实施例提供了一种图像搜索方法,其中,该方法包括:获取待搜索图像;提取待搜索图像的第一特征,基于第一特征提取待搜索图像的第二特征;第二特征的数据量小于第一特征的数据量;从预先建立的图片特征库中搜索与待搜索图像的第二特征相匹配的图像,得到第一搜索结果;从第一搜索结果中搜索与待搜索图像的第一特征相匹配的图像,得到第二搜索结果;根据第二搜索结果确定搜索图像的最终搜索结果。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,图片特征库通过下述方式建立:获取指定数量的样本图像;对样本图像进行特征提取,得到样本图像的第一特征,将样本图像的标识信息和样本图像对应的第一特征保存至第一特征库中;将第一特征输入至预先完成训练的深度学习模型中,输出样本图像的第二特征,将样本图像的标识信息和样本图像对应的第二特征保存至第二特征库中;将第一特征库、第二特征库确定为图片特征库。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,基于第一特征提取待搜索图像的第二特征的步骤,包括:将待搜索图像的第一特征输入至预先完成训练的深度学习模型,输出待搜索图像的第二特征。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,从预先建立的图片特征库中搜索与待搜索图像的第二特征相匹配的图像,得到第一搜索结果的步骤,包括:将待搜索图像的第二特征与图片特征库中的第二特征库进行相似度计算,得到待搜索图像与图片特征库中每个图片的第一相似度计算结果;将第一相似度计算结果中,相似度高于第一预设阈值的样本图像作为第一搜索结果。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,从预先建立的图片特征库中搜索与待搜索图像的第二特征相匹配的图像,得到第一搜索结果的步骤,包括:将待搜索图像的第二特征、以及用户输入的搜索条件复制到GPU中;通过GPU从预先建立的图片特征库中搜索与待搜索图像的第二特征相匹配的图像,得到第一搜索结果;将第一搜索结果保存在内存中。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,从第一搜索结果中搜索与待搜索图像的第一特征相匹配的图像,得到第二搜索结果的步骤,包括:从图片特征库的第一特征库中,提取第一搜索结果中样本图像的第一特征;将待搜索图像的第一特征,分别与提取出的每个样本图像的第一特征进行相似度计算,得到待搜索图像的第一特征与每个提取出的每个样本图像的第一特征的第二相似度计算结果;将第二相似度计算结果中,相似度高于第二预设阈值的样本图像作为第二搜索结果。
结合第一方面的第五种可能的实施方式,本发明实施例提供了第一方面的第六种可能的实施方式,其中,从第一搜索结果中搜索与待搜索图像的第一特征相匹配的图像,得到第二搜索结果的步骤,包括:将待搜索图像的第一特征、以及用户输入的搜索条件复制到CPU中;通过CPU从待搜索图像的第一特征与每个提取出的每个样本图像中,搜索与待搜索图像的第一特征相匹配的图像,得到第二搜索结果。
结合第一方面,本发明实施例提供了第一方面的第七种可能的实施方式,其中,根据第二搜索结果确定待搜索图像的最终搜索结果的步骤,包括:按照相似度由高到低的顺序,对第二搜索结果中的样本图像进行排序;从排列在第一个的样本图像开始,依次提取指定数量的样本图像;将提取出的样本图像、以及样本图像的属性信息作为最终的搜索结果。
第二方面,本发明实施例提供了一种图像搜索系统,系统包括:输入模块,用于获取待搜索图像;第一计算模块,用于提取待搜索图像的第一特征,基于第一特征提取待搜索图像的第二特征;第二特征的数据量小于第一特征的数据量;第二计算模块,用于从预先建立的图片特征库中搜索与待搜索图像的第二特征相匹配的图像,得到第一搜索结果;第三计算模块,用于从第一搜索结果中搜索与待搜索图像的第一特征相匹配的图像,得到第二搜索结果;第四计算模块,用于根据第二搜索结果确定搜索图像的最终搜索结果。
第三方面,本发明实施例提供了一种电子装置,该装置包括处理器和机器可读存储介质,机器可读存储介质存储有能够被处理器执行的机器可执行指令,处理器执行机器可执行指令以实现第一方面中任一项可能的实施方式中的方法。
本发明实施例带来了以下有益效果:
本发明提供了一种图像搜索方法、系统及电子装置,该方法首先获取待搜索图像;然后提取待搜索图像的第一特征,基于第一特征提取待搜索图像的第二特征,其中第二特征的数据量小于第一特征的数据量;再从预先建立的图片特征库中搜索与待搜索图像的第二特征相匹配的图像,得到第一搜索结果;从第一搜索结果中搜索与待搜索图像的第一特征相匹配的图像,得到第二搜索结果;最后根据第二搜索结果确定搜索图像的最终搜索结果。该方法首先通过数据量较小的第二特征进行图片粗略搜索,然后使用数据量较大的第一特征从粗略搜索结果中进行高精度搜索,这种二次搜索的方式可以提高搜索速度,从而缩短了搜索时间。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像搜索方法的流程图;
图2为本发明实施例提供的另一种图像搜索方法中,建立图片特征库的流程图;
图3为本发明实施例提供的另一种图像搜索方法中,从预先建立的图片特征库中搜索与待搜索图像的第二特征相匹配的图像得到第一搜索结果的流程图;
图4为本发明实施例提供的另一种图像搜索方法中,从第一搜索结果中搜索与待搜索图像的第一特征相匹配的图像得到第二搜索结果的流程图;
图5为本发明实施例提供的另一种图像搜索方法中,根据第二搜索结果确定待搜索图像的最终搜索结果的流程图;
图6为本发明实施例提供的一种图像搜索系统结构示意图;
图7为本发明实施例提供的一种电子装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到目前的以图搜图过程中存在着速度较慢的问题,本发明的目的在于提供一种图像搜索方法、系统及电子装置,该技术可以应用于以图搜图等图像识别过程中;该技术可以采用相关的软件或硬件实现,下面通过实施例进行描述。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种图像搜索方法进行详细介绍。参见图1所示的一种图像搜索方法的流程图,包括:
步骤S110:获取待搜索图像;
待搜索的图像为用户输入的数字图像,数字图像的格式为JPEG、BMP、PNG、GIF格式等。用户输入的待搜索图像可通过上传工具进行获取,也可以通过网页提供上传界面进行上传后获取。获取的待搜索图像可进行初步处理,例如用户上传的图像尺寸过大,则对图像进行压缩处理,减小图像的大小及分辨率,在保证识别精度的前提下尽可能压缩图像,可提升搜索的速度。
步骤S120:提取待搜索图像的第一特征,基于第一特征提取待搜索图像的第二特征;第二特征的数据量小于第一特征的数据量;
第一特征通过特定的图片特征提取算法对待搜索图像进行运算并获取,特征提取算法可使用特征向量法和面纹模板法等传统方法,也可使用卷积神经网络进行特征提取,提取到的图像第一特征是一个多维数字特征向量,通过该数字特征向量可以表征图像的特征。
第二特征是通过第一特征进行获取的,通过特定的算法对以获取的第一特征进行二值化操作,第一特征通过二值化操作后的第二特征,数据量减少,但仍能表征图像的特征。因此使用第二特征进行搜索运算时可提升搜索速度。相对来说第二特征的准确度比如第一特征,但数据量大大缩小,在保证精度的前提下可大幅度提升搜索速度。
步骤S130:从预先建立的图片特征库中搜索与待搜索图像的第二特征相匹配的图像,得到第一搜索结果;
图片特征库是基于已有的图片库建立的,图片库中的图片实现经过收集,保存在服务器中,数据量会有几千万甚至上亿数量级。检索时不可能直接用待搜索图像与图片库中的图片进行逐一对比,而是实现将图片库中的图片进行特征提取,得到每一张图片的第一特征和第二特征,然后分别保存到第一特征库和第二特征库中,并将第一特征库和第二特征库统称图片特征库。第一特征库和第二特征库的实现形式可为数据库形式,也可以通过其它数据形式保存在硬盘或内存中。
在进行搜索时,首先使用数据量小但识别速度快的第二特征与图片特征库中的第二特征库进行对比操作,得到相匹配的图像结果,记为第一搜索结果。该搜索结果可理解为粗略的匹配,即使用精度降低但识别速度快的特征向量进行粗略筛选,快速得到图片的搜索集合,为下一步精细匹配做准备。
步骤S140:从第一搜索结果中搜索与待搜索图像的第一特征相匹配的图像,得到第二搜索结果;
在得到初步搜索的图片结果后,使用待搜索图像的第一特征对步骤S130得到的第一匹配结果进行匹配搜索,即通过待搜索图像的第一特征分别与第一匹配结果中对应图片的第一特征库进行匹配搜索,计算相互之间的相似度,并以相似度的值进行排序,得到第二搜索结果。虽然图片的第一特征数据量较大,但已通过步骤S130的粗略筛选后其识别数量已经明显减少,因此可以在保证精度的前提下降低整体的搜索时间。
步骤S150:根据第二搜索结果确定搜索图像的最终搜索结果。
步骤S140得到的第二搜索结果为经过相似度排序的图片集合,可根据实现设定的阈值确定显示结果的个数,并得到最终的搜索结果。搜索的结果包括图片的各种信息,例如图片的名称,图片主体的信息,图片拍摄时间等。
上述图像搜索的方法可知,使用经过待搜索的图片的第一特征和第二特征对图片库中的所有图片信息进行识别,这个过程中使用经过二值化的第二特征首先对图片库中所有图片进行遍历,由于图片库中的所有图片实现经过处理,保存在各自对应的第一特征和第二特征库中,因此通过第二特征对图片库中的图片进行粗略筛选,得到的结果再用第一特征进行高精度匹配搜索,最终得到搜索结果。比起传统单纯的使用第一特征进行搜索的方式,该方式在保证精度前提下大幅度降低了搜索时间。
本发明实施例还提供了另一种图像搜索方法,该方法重点描述如何建立图片特征库,如图2所述,该方法包括以下步骤:
步骤S210,获取指定数量的样本图像;
样本图像的获取可通过自身保存、购买其它图片数据库,或者在常用的搜索引擎中进行获取,样本图像数量越多,识别的精度就越高。因此通常所用的大数据量级的样本图像,其数量级为千万级,甚至上亿级别。这些样本图像汇总为图片库,并上传到服务器中,便于管理和搜索。
步骤S220,对样本图像进行特征提取,得到样本图像的第一特征,将样本图像的标识信息和样本图像对应的第一特征保存至第一特征库中;
第一特征通过特定的图片特征提取算法对待搜索图像进行运算并获取,特征提取算法可使用特征向量法、面纹模板法或卷积神经网络进行特征提取,提取到的图像第一特征是一个多维数字特征向量,通过该数字特征向量可以表征图像的特征。遍历所有的图片后,将提取到的图像第一特征保存在第一特征库中。为了能够快速找到第一特征,需要存储样本图像的标示信息。
步骤S230,将第一特征输入至预先完成训练的深度学习模型中,输出样本图像的第二特征,将样本图像的标识信息和样本图像对应的第二特征保存至第二特征库中;
上述深度学习模型训练的数据,是在第一特征的数字特征向量中选取不同的阈值进行二值化的结果作为模型训练的原始数据。将待搜索图像的第一特征输入到该模型中,得到的结果就是一个二值化的数字特征向量,记为第二特征,其中选取的阈值就是该模型给出的结果。第二特征相比第一特征,能够在保证搜索精度的前提下降低数字图像特征的数据量,在后续匹配搜索时提升识别速度。
遍历所有的图片,将所有图片对应的第一特征通过深度学习模型进行计算。得到对应的第二特征,并将提取到的图像第二特征保存在第二特征库中。为了能够快速找到第二特征,需要将样本图像的标示信息保存到相应标示信息库中。
步骤S240,将第一特征库、第二特征库确定为图片特征库。
样本图像遍历完毕后,将得到的第一特征库和第二特征库确定为图片特征库。图片特征库的建立使得检索过程中无需对大数据量级的样本图像进行一一对比,而是通过已建立的图片特征库中的图像信息进行匹配识别,可大大提升搜索的速度。
本发明实施例还提供了另一种图像搜索方法,该方法重点描述基于第一特征提取待搜索图像的第二特征,该方法包括以下步骤:
将待搜索图像的第一特征输入至预先完成训练的深度学习模型,输出待搜索图像的第二特征。
上述深度学习模型训练的数据,是在第一特征的数字特征向量中选取不同的阈值进行二值化的结果作为模型训练的原始数据。将待搜索图像的第一特征输入到该模型中,得到的结果就是一个二值化的数字特征向量,记为第二特征,其中选取的阈值就是该模型给出的结果。
例如,待搜索图像的第一特征是一个256维的数字特征向量,通过对各种256维的特征向量数据根据不同阈值进行二值化的结果输入到深度学习模型进行训练,训练完毕的模型可将第一特征的数字特征向量中每个维度的数值进行二值化,其阈值的选择就根据已训练完毕的模型进行确定。这样,原来1K大小的第一特征就缩小到一个32字节的第二特征。
第二特征相比第一特征,能够在保证搜索精度的前提下降低数字图像特征的数据量,在后续匹配搜索时提升识别速度。
本发明实施例还提供了另一种图像搜索方法,该方法重点描述如何从预先建立的图片特征库中搜索与待搜索图像的第二特征相匹配的图像得到第一搜索结果,如图3所示,该方法包括以下步骤:
步骤S310,将待搜索图像的第二特征、以及用户输入的搜索条件复制到GPU中;
GPU(Graphics Processing Unit,图形处理器)是一种用于处理图像运算的微型处理器,由于GPU可使用大量线程进行计算,相比传统只用CPU(Central Processing Unit,中央处理器)进行计算的方式,使用GPU进行图像搜索可进一步提升单条图片的搜索性能,也提升了多条图片的并发搜索性能,显著提升搜索的速度。因此将图像的第二特征以及用户输入的搜索条件通过GPU进行搜索运算。
步骤S320,通过GPU从预先建立的图片特征库中搜索与待搜索图像的第二特征相匹配的图像,得到第一搜索结果;
由于GPU在数字图像运算的优势,因此在预先建立的图片特征库中进行搜索匹配运算时可发挥其运算速度的优势。在将图片特征库中所有的图片进行匹配运算后,对相似度结果进行排序,并根据阈值选取特定个数的图片作为第一搜索结果。相似度结果在排序的过程中,也可以对图片特征库中的图片一边进行相似度运算,一边进行相似度大小的排序,这样可增加排序的速度。
步骤S330,将第一搜索结果保存在内存中。
传统以图搜图的过程中,会对第一特征持续加载到内存中,导致服务器的内存占用过多。而上述步骤中在第二特征完成粗略筛选后再将结果临时加载在内存中,因此大大降低内存的占用。
本发明实施例还提供了另一种图像搜索方法,该方法重点描述从第一搜索结果中搜索与待搜索图像的第一特征相匹配的图像得到第二搜索结果,如图4所示,该方法包括:
步骤S410,从图片特征库的第一特征库中,提取第一搜索结果中样本图像的第一特征;
第一搜索结果中包含图像的所有信息,为了方便提取第一特征,可通过事先保存的图片标识信息进行搜索。
步骤S420,将待搜索图像的第一特征,分别与提取出的每个样本图像的第一特征进行相似度计算,得到待搜索图像的第一特征与每个提取出的每个样本图像的第一特征的第二相似度计算结果;
该步骤中将待搜索图像的第一特征、以及用户输入的搜索条件复制到CPU中进行运算,通过CPU从待搜索图像的第一特征与每个提取出的每个样本图像中,搜索与待搜索图像的第一特征相匹配的图像,得到第二搜索结果。
步骤S430,将第二相似度计算结果中,相似度高于第二预设阈值的样本图像作为第二搜索结果。
对得到待搜索图像的第一特征与每个提取出的每个样本图像的第一特征的第二相似度计算结果进行排序,根据事先设定的阈值,选取相似度较高的样本图像作为第二搜索结果。虽然样本图片的第一特征数据量较大,但第一搜索结果已经经过粗略筛选后,其图片的识别数量已经明显减少,因此可以在保证精度的前提下降低整体的搜索时间。
本发明实施例还提供了另一种图像搜索方法,该方法重点描述根据第二搜索结果确定待搜索图像的最终搜索结果,如图5所示,该方法包括:
步骤S510,按照相似度由高到低的顺序,对第二搜索结果中的样本图像进行排序;
相似度的数值在第二搜索结果的计算中已经获取,因此通过这个相似度数据进行排序,将第二搜索结果中的图像进行排序。
步骤S520,从排列在第一个的样本图像开始,依次提取指定数量的样本图像;
上述的指定数量为实现设定的阈值,可根据实际情况自行判定,如果待搜索的图像经过识别运算返回的第二搜索结果中图片较少,则可指定1张;如果待搜索的图像经过识别运算后返回的第二搜索结果中图片较多,则可指定多张。
步骤S530,将提取出的样本图像、以及样本图像的属性信息作为最终的搜索结果。
最终的搜索结果包括图片的各种信息,例如图片的名称,图片主体的信息,图片拍摄时间等。
通过第二特征对图片库中的图片进行粗略筛选,得到的结果再用第一特征进行高精度匹配搜索,最终得到搜索结果。比起传统单纯的使用第一特征进行搜索的方式,该方式在保证精度前提下大幅度降低了搜索时间。
对应于上述方法实施例,参见图6所述的一种图像搜索系统,该系统设置于终端设备,该系统包括:
输入模块610,用于获取待搜索图像;
第一计算模块620,用于提取待搜索图像的第一特征,基于第一特征提取待搜索图像的第二特征;第二特征的数据量小于第一特征的数据量;
第二计算模块630,用于从预先建立的图片特征库中搜索与待搜索图像的第二特征相匹配的图像,得到第一搜索结果;
第三计算模块640,用于从第一搜索结果中搜索与待搜索图像的第一特征相匹配的图像,得到第二搜索结果;
第四计算模块650,用于根据第二搜索结果确定搜索图像的最终搜索结果。
本发明实施例所提供的图像搜索系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,实施例部分未提及之处,可参考前述方法实施例中相应内容。
本实施例还提供一种与上述实施例相对应的电子装置,图7为该电子装置的结构示意图,如图7所示,该设备包括处理器701和存储器700;其中,存储器700用于存储一条或多条计算机指令,一条或多条计算机指令被处理器执行,以实现上述图像搜索方法。
图7所示的服务器还包括总线702和通信接口703,处理器701、通信接口703和存储器700通过总线702连接。该服务器可以是网络边缘设备。
其中,存储器700可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。总线702可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
通信接口703用于通过网络接口与至少一个用户终端及其它网络单元连接,将封装好的IPv4报文或IPv4报文通过网络接口发送至用户终端。
处理器701可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processor,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器700,处理器701读取存储器700中的信息,结合其硬件完成前述实施例的方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以用软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种图像搜索方法,其特征在于,所述方法包括:
获取待搜索图像;
提取所述待搜索图像的第一特征,基于所述第一特征提取所述待搜索图像的第二特征;所述第二特征的数据量小于第一特征的数据量;
从预先建立的图片特征库中搜索与所述待搜索图像的第二特征相匹配的图像,得到第一搜索结果;
从所述第一搜索结果中搜索与所述待搜索图像的第一特征相匹配的图像,得到第二搜索结果;
根据所述第二搜索结果确定所述搜索图像的最终搜索结果。
2.根据权利要求1所述的方法,其特征在于,所述图片特征库通过下述方式建立:
获取指定数量的样本图像;
对所述样本图像进行特征提取,得到所述样本图像的第一特征,将所述样本图像的标识信息和所述样本图像对应的第一特征保存至第一特征库中;
将所述第一特征输入至预先完成训练的深度学习模型中,输出所述样本图像的第二特征,将所述样本图像的标识信息和所述样本图像对应的第二特征保存至第二特征库中;
将所述第一特征库、所述第二特征库确定为图片特征库。
3.根据权利要求2所述的方法,其特征在于,基于所述第一特征提取所述待搜索图像的第二特征的步骤,包括:
将所述待搜索图像的第一特征输入至预先完成训练的深度学习模型,输出所述待搜索图像的第二特征。
4.根据权利要求2所述的方法,其特征在于,从预先建立的图片特征库中搜索与所述待搜索图像的第二特征相匹配的图像,得到第一搜索结果的步骤,包括:
将所述待搜索图像的第二特征与所述图片特征库中的所述第二特征库进行相似度计算,得到所述待搜索图像与所述图片特征库中每个图片的第一相似度计算结果;
将所述第一相似度计算结果中,相似度高于第一预设阈值的样本图像作为第一搜索结果。
5.根据权利要求4所述的方法,其特征在于,从预先建立的图片特征库中搜索与所述待搜索图像的第二特征相匹配的图像,得到第一搜索结果的步骤,包括:
将所述待搜索图像的第二特征、以及用户输入的搜索条件复制到GPU中;
通过GPU从预先建立的图片特征库中搜索与所述待搜索图像的第二特征相匹配的图像,得到第一搜索结果;
将所述第一搜索结果保存在内存中。
6.根据权利要求2所述的方法,其特征在于,所述从第一搜索结果中搜索与所述待搜索图像的第一特征相匹配的图像,得到第二搜索结果的步骤,包括:
从所述图片特征库的所述第一特征库中,提取所述第一搜索结果中样本图像的第一特征;
将所述待搜索图像的第一特征,分别与提取出的每个样本图像的第一特征进行相似度计算,得到所述待搜索图像的第一特征与每个提取出的每个样本图像的第一特征的第二相似度计算结果;
将所述第二相似度计算结果中,相似度高于第二预设阈值的样本图像作为第二搜索结果。
7.根据权利要求6所述的方法,其特征在于,所述从第一搜索结果中搜索与所述待搜索图像的第一特征相匹配的图像,得到第二搜索结果的步骤,包括:
将所述待搜索图像的第一特征、以及用户输入的搜索条件复制到CPU中;
通过CPU从所述待搜索图像的第一特征与每个提取出的每个样本图像中,搜索与所述待搜索图像的第一特征相匹配的图像,得到第二搜索结果。
8.根据权利要求1所述的方法,其特征在于,根据所述第二搜索结果确定所述待搜索图像的最终搜索结果的步骤,包括:
按照相似度由高到低的顺序,对所述第二搜索结果中的样本图像进行排序;
从排列在第一个的样本图像开始,依次提取指定数量的样本图像;
将提取出的所述样本图像、以及所述样本图像的属性信息作为最终的搜索结果。
9.一种图像搜索系统,其特征在于,所述系统包括:
输入模块,用于获取待搜索图像;
第一计算模块,用于提取所述待搜索图像的第一特征,基于所述第一特征提取所述待搜索图像的第二特征;所述第二特征的数据量小于第一特征的数据量;
第二计算模块,用于从预先建立的图片特征库中搜索与所述待搜索图像的第二特征相匹配的图像,得到第一搜索结果;
第三计算模块,用于从所述第一搜索结果中搜索与所述待搜索图像的第一特征相匹配的图像,得到第二搜索结果;
第四计算模块,用于根据所述第二搜索结果确定所述搜索图像的最终搜索结果。
10.一种电子装置,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实现权利要求1至8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910416797.6A CN110110113A (zh) | 2019-05-20 | 2019-05-20 | 图像搜索方法、系统及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910416797.6A CN110110113A (zh) | 2019-05-20 | 2019-05-20 | 图像搜索方法、系统及电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110110113A true CN110110113A (zh) | 2019-08-09 |
Family
ID=67490959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910416797.6A Pending CN110110113A (zh) | 2019-05-20 | 2019-05-20 | 图像搜索方法、系统及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110110113A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110659373A (zh) * | 2019-08-27 | 2020-01-07 | 浙江大华技术股份有限公司 | 图像检索的方法、设备、计算机设备和存储介质 |
CN112257638A (zh) * | 2020-10-30 | 2021-01-22 | 重庆紫光华山智安科技有限公司 | 一种图像比对方法、系统、设备及计算机可读存储介质 |
CN112668597A (zh) * | 2019-10-15 | 2021-04-16 | 杭州海康威视数字技术股份有限公司 | 一种特征比对方法、装置及设备 |
CN113094539A (zh) * | 2019-12-23 | 2021-07-09 | 深圳云天励飞技术有限公司 | 一种图像数据的搜索方法、装置、电子设备及存储介质 |
CN113111206A (zh) * | 2021-04-19 | 2021-07-13 | 浙江商汤科技开发有限公司 | 图搜方法、装置、电子设备以及存储介质 |
CN113127659A (zh) * | 2019-12-31 | 2021-07-16 | 深圳云天励飞技术有限公司 | 图像数据录入方法、装置、电子设备及存储介质 |
CN113806577A (zh) * | 2021-08-24 | 2021-12-17 | 浙江大华技术股份有限公司 | 一种图像搜索方法、装置、存储介质和电子设备 |
CN115687670A (zh) * | 2023-01-03 | 2023-02-03 | 天津恒达文博科技股份有限公司 | 图像搜索方法、装置、计算机可读存储介质及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106227851A (zh) * | 2016-07-29 | 2016-12-14 | 汤平 | 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法 |
CN106682233A (zh) * | 2017-01-16 | 2017-05-17 | 华侨大学 | 一种基于深度学习与局部特征融合的哈希图像检索方法 |
WO2017156243A1 (en) * | 2016-03-11 | 2017-09-14 | Siemens Aktiengesellschaft | Deep-learning based feature mining for 2.5d sensing image search |
CN107577687A (zh) * | 2016-07-20 | 2018-01-12 | 北京陌上花科技有限公司 | 图像检索方法及装置 |
CN107577990A (zh) * | 2017-08-09 | 2018-01-12 | 武汉世纪金桥安全技术有限公司 | 一种基于gpu加速检索的大规模人脸识别方法 |
CN108280233A (zh) * | 2018-02-26 | 2018-07-13 | 南京邮电大学 | 一种基于深度学习的视频gis数据检索方法 |
CN108920720A (zh) * | 2018-07-30 | 2018-11-30 | 电子科技大学 | 基于深度哈希和gpu加速的大规模图像检索方法 |
-
2019
- 2019-05-20 CN CN201910416797.6A patent/CN110110113A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017156243A1 (en) * | 2016-03-11 | 2017-09-14 | Siemens Aktiengesellschaft | Deep-learning based feature mining for 2.5d sensing image search |
CN107577687A (zh) * | 2016-07-20 | 2018-01-12 | 北京陌上花科技有限公司 | 图像检索方法及装置 |
CN106227851A (zh) * | 2016-07-29 | 2016-12-14 | 汤平 | 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法 |
CN106682233A (zh) * | 2017-01-16 | 2017-05-17 | 华侨大学 | 一种基于深度学习与局部特征融合的哈希图像检索方法 |
CN107577990A (zh) * | 2017-08-09 | 2018-01-12 | 武汉世纪金桥安全技术有限公司 | 一种基于gpu加速检索的大规模人脸识别方法 |
CN108280233A (zh) * | 2018-02-26 | 2018-07-13 | 南京邮电大学 | 一种基于深度学习的视频gis数据检索方法 |
CN108920720A (zh) * | 2018-07-30 | 2018-11-30 | 电子科技大学 | 基于深度哈希和gpu加速的大规模图像检索方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110659373A (zh) * | 2019-08-27 | 2020-01-07 | 浙江大华技术股份有限公司 | 图像检索的方法、设备、计算机设备和存储介质 |
CN110659373B (zh) * | 2019-08-27 | 2022-11-08 | 浙江大华技术股份有限公司 | 图像检索的方法、设备、计算机设备和存储介质 |
CN112668597A (zh) * | 2019-10-15 | 2021-04-16 | 杭州海康威视数字技术股份有限公司 | 一种特征比对方法、装置及设备 |
CN112668597B (zh) * | 2019-10-15 | 2023-07-28 | 杭州海康威视数字技术股份有限公司 | 一种特征比对方法、装置及设备 |
CN113094539A (zh) * | 2019-12-23 | 2021-07-09 | 深圳云天励飞技术有限公司 | 一种图像数据的搜索方法、装置、电子设备及存储介质 |
CN113127659A (zh) * | 2019-12-31 | 2021-07-16 | 深圳云天励飞技术有限公司 | 图像数据录入方法、装置、电子设备及存储介质 |
CN112257638A (zh) * | 2020-10-30 | 2021-01-22 | 重庆紫光华山智安科技有限公司 | 一种图像比对方法、系统、设备及计算机可读存储介质 |
CN113111206A (zh) * | 2021-04-19 | 2021-07-13 | 浙江商汤科技开发有限公司 | 图搜方法、装置、电子设备以及存储介质 |
CN113806577A (zh) * | 2021-08-24 | 2021-12-17 | 浙江大华技术股份有限公司 | 一种图像搜索方法、装置、存储介质和电子设备 |
CN115687670A (zh) * | 2023-01-03 | 2023-02-03 | 天津恒达文博科技股份有限公司 | 图像搜索方法、装置、计算机可读存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110110113A (zh) | 图像搜索方法、系统及电子装置 | |
Radenović et al. | Revisiting oxford and paris: Large-scale image retrieval benchmarking | |
CN110472082B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
EP2805262B1 (en) | Image index generation based on similarities of image features | |
CN108334644B (zh) | 图像识别方法和装置 | |
CN103186538A (zh) | 一种图像分类方法和装置、图像检索方法和装置 | |
CN111259772A (zh) | 图像标注方法、装置、设备和介质 | |
CN111090763A (zh) | 一种图片自动标签方法及装置 | |
CN109426831B (zh) | 图片相似匹配及模型训练的方法、装置及计算机设备 | |
CN107808126A (zh) | 车辆检索方法及装置 | |
CN112084812B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN107133854A (zh) | 信息推荐方法和装置 | |
CN110059212A (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
CN113157962B (zh) | 图像检索方法、电子装置和存储介质 | |
CN110110120B (zh) | 一种基于深度学习的图像检索方法和装置 | |
Bhardwaj et al. | Palette power: Enabling visual search through colors | |
CN113688261A (zh) | 图像数据清理方法、装置、电子设备及可读存储介质 | |
US11874869B2 (en) | Media retrieval method and apparatus | |
CN113849679A (zh) | 图像检索方法、装置、电子设备及存储介质 | |
CN110674334A (zh) | 基于一致性区域深度学习特征的近重复图像检索方法 | |
CN111241329A (zh) | 基于图像检索的古文字考释方法和装置 | |
CN114021716A (zh) | 一种模型训练的方法、系统及电子设备 | |
CN114782720A (zh) | 文案的配图确定方法、装置、电子设备、介质及程序产品 | |
CN114385931A (zh) | 一种获得推荐表单的方法、装置及电子设备 | |
CN117076713B (zh) | 一种视频指纹提取和检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190809 |