CN110942046B - 图像检索方法、装置、设备及存储介质 - Google Patents
图像检索方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110942046B CN110942046B CN201911235697.XA CN201911235697A CN110942046B CN 110942046 B CN110942046 B CN 110942046B CN 201911235697 A CN201911235697 A CN 201911235697A CN 110942046 B CN110942046 B CN 110942046B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- feature
- sample
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了图像检索方法、装置、设备及存储介质,属于计算机技术领域。方法包括:获取至少一个待检索的目标图像和每个目标图像对应的目标特征;在样本特征库中,确定至少一个中心特征和每个中心特征对应的样本特征集;对于任一目标图像对应的目标特征,基于目标特征与各个中心特征的相似度,确定目标特征对应的至少一个目标中心特征;将各个目标中心特征对应的样本特征集的并集作为任一目标图像对应的第一候选样本特征集;基于各个目标图像对应的第一候选样本特征集,获取各个目标图像的检索结果。此种图像检索的过程,无需计算目标特征与全部样本特征的相似度,数据访问量和计算量较小,能够提高图像检索的速度,图像检索的效果较好。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种图像检索方法、装置、设备及存储介质。
背景技术
随着互联网技术的发展,越来越多的场景需要利用人工智能技术进行物体识别。例如,在刷脸支付场景需要进行人脸识别,以确定待支付的账户;在车辆监控场景需要进行车辆识别,以确定车主信息等。在利用人工智能技术进行物体识别的过程中,需要先获取待识别物体的图像,然后对图像进行检索,得到与图像对应的检索结果,之后,再基于检索结果确定待识别物体的识别结果。因此,图像检索是物体识别过程中的重要环节。
相关技术在进行图像检索的过程中,将任一待检索的图像的特征与全部样本特征中的各个样本特征逐个进行比对,得到该待检索的图像的特征与各个样本特征的相似度,基于该待检索的图像的特征与各个样本特征的相似度确定该待检索的图像的检索结果。在此种图像检索的过程中,数据访问量和计算量较大,图像检索的速度较慢,从而导致图像检索的效果较差。
发明内容
本申请实施例提供了一种图像检索方法、装置、设备及存储介质,可用于解决相关技术中的问题。所述技术方案如下:
一方面,本申请实施例提供了一种图像检索方法,所述方法包括:
获取至少一个待检索的目标图像和每个目标图像对应的目标特征;
在样本特征库中,确定至少一个中心特征和每个中心特征对应的样本特征集;
对于任一目标图像对应的目标特征,基于所述目标特征与各个中心特征的相似度,确定所述目标特征对应的至少一个目标中心特征;将各个目标中心特征对应的样本特征集的并集作为所述任一目标图像对应的第一候选样本特征集;
基于至少一个目标图像中的各个目标图像对应的第一候选样本特征集,获取所述至少一个目标图像中的各个目标图像的检索结果。
另一方面,提供了一种图像检索装置,所述装置包括:
第一获取模块,用于获取至少一个待检索的目标图像和每个目标图像对应的目标特征;
第一确定模块,用于在样本特征库中,确定至少一个中心特征和每个中心特征对应的样本特征集;
第二确定模块,用于对于任一目标图像对应的目标特征,基于所述目标特征与各个中心特征的相似度,确定所述目标特征对应的至少一个目标中心特征;将各个目标中心特征对应的样本特征集的并集作为所述任一目标图像对应的第一候选样本特征集;
第二获取模块,用于基于至少一个目标图像中的各个目标图像对应的第一候选样本特征集,获取所述至少一个目标图像中的各个目标图像的检索结果。
在一种可能实现方式中,所述第二获取模块,用于当所述至少一个目标图像的数量小于数量阈值时,对于所述任一目标图像,在所述任一目标图像对应的第一候选样本特征集中对所述任一目标图像进行检索,得到所述任一目标图像的检索结果。
在一种可能实现方式中,所述第二获取模块,包括:
划分单元,用于当所述至少一个目标图像的数量不小于数量阈值时,将所述至少一个目标图像划分为至少一个目标图像集;
确定单元,用于对于任一目标图像集,将所述任一目标图像集中的各个目标图像对应的第一候选样本特征集的并集作为所述任一目标图像集对应的第二候选样本特征集;
检索单元,用于在所述任一目标图像集对应的第二候选样本特征集中对所述任一目标图像集中的各个目标图像进行检索,得到所述任一目标图像集中的各个目标图像的检索结果。
在一种可能实现方式中,所述确定单元,还用于基于所述至少一个目标图像,确定包括第一参考数量的目标图像的全部候选图像集;
所述第二获取模块,还包括:
获取单元,用于获取所述全部候选图像集中的任一候选图像集对应的样本特征数量;
所述划分单元,用于基于所述全部候选图像集中的各个候选图像集对应的样本特征数量,将所述至少一个目标图像划分为第二参考数量的目标图像集,所述第二参考数量为所述至少一个目标图像的数量与所述第一参考数量的比值。
在一种可能实现方式中,所述确定单元,还用于基于所述全部候选图像集中的各个候选图像集对应的样本特征数量,确定各个第一图像集对应的样本特征数量,任一第一图像集中包括满足第一条件的两个候选图像集中的目标图像;基于所述各个第一图像集对应的样本特征数量和所述各个候选图像集对应的样本特征数量,确定各个第二图像集对应的样本特征数量,任一第二图像集中包括满足第二条件的三个候选图像集中的目标图像;以此类推,直至确定包括全部目标图像的最终图像集对应的样本特征数量;
所述第二获取模块,还包括:
推导单元,用于基于所述最终图像集对应的样本特征数量进行反向推导,确定与所述最终图像集对应的样本特征数量对应的第二参考数量的候选图像集;
所述划分单元,用于根据所述第二参考数量的候选图像集,将所述至少一个目标图像划分为第二参考数量的目标图像集。
在一种可能实现方式中,所述确定单元,还用于基于所述全部候选图像集中的各个候选图像集对应的样本特征数量,确定各个第一图像集对应的样本特征数量,任一第一图像集中包括满足第一条件的两个候选图像集中的目标图像;基于所述各个第一图像集对应的样本特征数量和所述各个候选图像集对应的样本特征数量,确定各个第二图像集对应的样本特征数量,任一第二图像集中包括满足第二条件的三个候选图像集中的目标图像;以此类推,直至确定各个中间图像集对应的样本特征数量,任一中间图像集中包括一半数量的目标图像;基于所述各个中间图像集对应的样本特征数量,确定包括全部目标图像的最终图像集对应的样本特征数量;
所述推导单元,用于基于所述最终图像集对应的样本特征数量进行反向推导,确定与所述最终图像集对应的样本特征数量对应的第二参考数量的候选图像集;
所述划分单元,用于根据所述第二参考数量的候选图像集,将所述至少一个目标图像划分为第二参考数量的目标图像集。
在一种可能实现方式中,所述第二获取模块,还包括:
计算单元,用于计算所述至少一个目标图像中的任两个目标图像对应的目标特征之间的汉明距离;
所述划分单元,用于基于所述至少一个目标图像中的任两个目标图像对应的目标特征之间的汉明距离,对所述至少一个目标图像进行聚类,得到所述至少一个目标图像集。
在一种可能实现方式中,所述第二获取模块,用于对于所述任一目标图像,获取所述任一目标图像对应的第三参考数量的目标样本特征,所述目标样本特征为与所述任一目标图像对应的目标特征的相似度满足第一参考条件的样本特征;对所述第三参考数量的目标样本特征进行排序,得到所述任一目标图像的检索结果。
在一种可能实现方式中,所述第一确定模块,包括:
聚类单元,用于在样本特征库中,对初始样本特征进行聚类,得到至少一个初始样本特征集;
确定单元,用于对于所述至少一个初始样本特征集中的任一初始样本特征集,将所述任一初始样本特征集的聚类中心对应的样本特征作为任一中心特征;
添加单元,用于对于除所述初始样本特征外的任一样本特征,将所述任一样本特征添加至与所述任一样本特征相似度最大的中心特征对应的初始样本特征集中;
所述确定单元,还用于当不存在未添加至初始样本特征集中的样本特征时,得到每个中心特征对应的样本特征集。
在一种可能实现方式中,所述第二确定模块,用于获取所述目标特征的类别;基于所述目标特征与各个类别匹配的中心特征的相似度,确定所述目标特征对应的至少一个目标中心特征。
在一种可能实现方式中,所述第二确定模块,用于对于任一中心特征,当所述目标特征与所述任一中心特征的相似度满足第二参考条件时,将所述任一中心特征作为所述目标特征对应的任一目标中心特征。
在一种可能实现方式中,所述第二确定模块,用于基于压缩处理后的目标特征与各个压缩处理后的中心特征的相似度,确定所述压缩处理后的目标特征对应的至少一个压缩处理后的目标中心特征。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现上述任一所述的图像检索方法。
另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现上述任一所述的图像检索方法。
本申请实施例提供的技术方案至少带来如下有益效果:
先基于目标图像对应的目标特征与各个中心特征的相似度,确定目标特征对应的目标中心特征,然后基于目标中心特征确定目标图像对应的第一候选样本特征集,基于第一候选样本特征集获取目标图像的检索结果。此种图像检索的过程,无需访问全部样本特征,也无需计算目标图像对应的目标特征与全部样本特征的相似度,数据访问量和计算量较小,能够提高图像检索的速度,使得图像检索的效果较好。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像检索方法的实施环境的示意图;
图2是本申请实施例提供的一种图像检索方法的流程图;
图3是本申请实施例提供的一种确定各个目标图像对应的第一候选样本特征集的并集的过程示意图;
图4是本申请实施例提供的一种动态规划路径的示意图;
图5是本申请实施例提供的一种图像检索的过程示意图;
图6是本申请实施例提供的一种图像检索装置的示意图;
图7是本申请实施例提供的一种第二获取模块的结构示意图;
图8是本申请实施例提供的一种第二获取模块的结构示意图;
图9是本申请实施例提供的一种第一确定模块的结构示意图;
图10是本申请实施例提供的一种图像检索设备的结构示意图;
图11是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
随着互联网技术的发展,越来越多的场景需要利用人工智能技术进行物体识别。例如,在刷脸支付场景需要进行人脸识别,以确定待支付的账户;在车辆监控场景需要进行车辆识别,以确定车主信息等。在利用人工智能技术进行物体识别的过程中,需要先获取待识别的物体的图像,然后对图像进行检索,得到与图像对应的检索结果,之后,再基于检索结果确定待识别物体的识别结果。因此,图像检索是物体识别过程中的重要环节。
对此,本申请实施例提供了一种图像检索方法,请参考图1,其示出了本申请实施例提供的图像检索方法的实施环境的示意图。该实施环境可以包括:终端11和服务器12。
其中,服务器12能够获取样本特征,然后将获取的样本特征发送至终端11;终端11能够将服务器12发送的样本特征存储于样本特征库中;终端11还能够获取待检索的图像和图像对应的特征,然后基于样本特征库中的样本特征对待检索的图像进行检索,获取检索结果。
服务器12可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端11可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端11以及服务器12可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本领域技术人员应能理解上述终端11和服务器12仅为举例,其他现有的或今后可能出现的终端或服务器如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
接下来对本申请涉及到的几个名词进行解释:
人工智能(Artificial Intelligence,AI):是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
人工智能云服务(Artificial Intelligence as a Service,AIaaS):一般也被称作是人工智能即服务。这是目前主流的一种人工智能平台的服务方式,具体来说AIaaS平台会把几类常见的AI服务进行拆分,并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城,所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务,部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。在本申请中,AIaaS平台在云端提供的多项人工智能服务中包括用于图像检索的人工智能服务,本申请中的执行主体可以通过API接口的方式接入平台使用该用于图像检索的人工智能服务进行图像检索。
基于图1所示的实施环境,本申请实施例提供一种图像检索方法,以该方法应用于终端为例。如图2所示,本申请实施例提供的方法可以包括如下步骤:
在步骤201中,获取至少一个待检索的目标图像和每个目标图像对应的目标特征。
目标图像是指需要进行检索的图像。待检索的目标图像的数量可以为一个或多个,本申请实施例对此不加以限定。在实际应用场景中,待检索的目标图像为待识别物体的图像。其中,待识别物体可以为任意类型的物体,本申请实施例对此不加以限定。例如,待识别物体可以为人脸,也可以为车辆等。
在一种可能实现方式中,终端获取任一待检索的目标图像的方式包括但不限于以下两种:
方式一:终端获取图像采集装置采集的任一待检索的目标图像。
终端安装有图像采集装置,当图像采集装置采集到任一待检索的目标图像时,终端即获取该任一待检索的目标图像。本申请实施例对图像采集装置不加以限定,例如,图像采集装置可以为摄像头,也可以为照相机。
方式二:终端获取由其它终端发送的任一待检索的目标图像。
在此种方式中,其它终端的图像采集装置采集任一待检索的目标图像,然后其它终端将该任一待检索的目标图像发送至该终端,由此,该终端获取任一待检索的目标图像。
在一种可能实现方式中,终端获取每个目标图像对应的目标特征的方式为:终端对每个目标图像分别进行特征提取,将提取到的特征作为每个目标图像对应的目标特征。本申请实施例对特征提取的方式不加以限定。例如,利用卷积神经网络(ConvolutionalNeural Networks,CNN)进行特征提取等。在一种可能实现方式中,目标特征可以用特征向量的形式表示,特征向量的维度可以为一维或多维。
在一种可能实现方式中,终端在获取每个目标图像对应的目标特征后,还可以对目标特征进行压缩处理,以减少目标特征的占用空间。对目标特征进行压缩处理的方式可以为:将各个目标特征分别进行正则化处理。
以目标特征的形式为向量为例,假设原始特征向量(原始目标特征)的每一维度为32比特的浮点数,将原始特征向量进行正则化处理,得到单位向量。此时,可以使32比特的浮点数线性映射到8比特的整数,从而达到特征压缩的目的,减少特征占用空间。在多数通用处理器架构下,浮点数的计算速度慢于整数的计算速度,因此,此种特征压缩方法还可以加快图像检索的计算速度,提高图像检索的效率。
在步骤202中,在样本特征库中,确定至少一个中心特征和每个中心特征对应的样本特征集。
终端存储有样本特征库,样本特征库中包括多个样本特征。样本特征是指属性已知的特征。其中,属性已知可以是指该样本特征对应的用户身份信息已知,也可以是指该样本特征对应的车辆标识信息已知等,属性可以根据样本特征的类别不同有所不同,本申请实施例对此不加以限定。
在一种可能实现方式中,在样本特征库中,确定至少一个中心特征和每个中心特征对应的样本特征集的过程包括以下步骤2021至步骤2024:
步骤2021:在样本特征库中,对初始样本特征进行聚类,得到至少一个初始样本特征集。
在样本特征库中任选指定数量的样本特征作为初始样本特征。其中,指定数量可以根据经验设置,也可以根据应用场景自由调整,本申请实施例对此不加以限定。
在确定初始样本特征后,对初始样本特征进行聚类,得到至少一个初始样本特征集。本申请实施例对聚类过程中采用的聚类算法不加以限定,例如,聚类算法包括但不限于K-Means(K-均值)聚类算法、DBSCAN(Density-Based Spatial Clustering ofApplications with Noise)聚类算法、K-Centroid(K-质心)聚类算法等。
经过聚类,可以将不同类别的初始样本特征划分到不同的样本特征集中,此外,通过调整聚类算法的参数,也可以将相同类别的初始样本特征划分到不同的样本特征集中。对于将相同类别的初始样本特征划分到不同的样本特征集中的情况,虽然不同样本集中的初始样本特征的类别相同,但是,同一样本集中的初始样本特征之间的相似度更高。
在一种可能实现方式中,在对初始样本特征进行聚类之前,可以先按照初始样本特征的类别对初始样本特征进行分组,然后分别对各个组中的初始样本特征进行聚类。此种方式,可以减少聚类过程的耗时,提高聚类速度。
步骤2022:对于至少一个初始样本特征集中的任一初始样本特征集,将任一初始样本特征集的聚类中心对应的样本特征作为任一中心特征。
对初始样本特征进行聚类后,得到P个初始样本特征集,P为不小于1的整数。由于初始样本特征集基于聚类过程确定,所以每个初始样本特征集均具有一个聚类中心,将聚类中心对应的样本特征作为该初始样本集对应的中心特征。由此,可以得到至少一个中心特征。
步骤2023:对于除初始样本特征外的任一样本特征,将任一样本特征添加至与任一样本特征相似度最大的中心特征对应的初始样本特征集中。
除初始样本特征外,终端的样本特征库中还具有其它样本特征。在将初始样本特征进行聚类后,需要将其它特征进行归类。对于除初始样本特征外的任一样本特征,归类的过程为:获取该任一样本特征与各个中心特征的相似度,将该任一样本特征添加至相似度最大的中心特征对应的初始样本特征集中。
步骤2024:当不存在未添加至初始样本特征集中的样本特征时,得到每个中心特征对应的样本特征集。
对除初始样本特征外的各个样本特征均执行上述步骤2023,将各个样本特征添加至对应的初始样本特征集中,直至不存在未添加至初始样本特征集中的样本特征。当不存在未添加至初始样本特征集中的样本特征时,即可得到与每个中心特征对应的样本特征集。
在确定至少一个中心特征以及每个中心特征对应的样本特征集的过程中,先对指定数量的初始样本特征进行聚类,然后对其它样本特征直接进行归类处理。此种处理方式,可以降低聚类所需的时间,提高聚类效率。
在一种可能实现方式中,在确定至少一个中心特征以及每个中心特征对应的样本特征集后,对各个中心特征以及各个样本特征集中的样本特征进行压缩处理,以降低样本特征存储所需的空间。
需要说明的是,在对初始样本特征进行聚类,得到至少一个初始样本特征集后,可以对各个初始样本特征集进行存储,每个初始样本特征集对应一个存储空间。
在一种可能实现方式中,存储空间为动态空间,任一初始样本特征集对应的存储空间可以根据实际情况进行变更。在将任一初始样本特征集存储至一个存储空间后,该任一初始样本特征集中可能需要添加新的样本特征,或者需要删除已有的样本特征。
当该任一初始样本特征集中需要添加一个新的样本特征时,先判断该任一初始样本特征集对应的存储空间中的剩余空间是否不小于存储该新的样本特征所需的空间;若存储空间中的剩余空间不小于存储该新的样本特征所需的空间,则直接将新的样本特征添加至该任一初始样本特征集中,也就是将新的样本特征存储至该任一初始样本特征集对应的存储空间中;若存储空间中的剩余空间小于存储该新的样本特征所需的空间,则为该任一初始样本特征集分配一个空间更大的新存储空间,将原存储空间中的数据复制至新存储空间,然后将新的样本特征添加该任一初始样本特征集中,也就是将新的样本特征存储至该任一初始样本特征集对应的新存储空间中。此种方式,可以保证该任一初始样本特征集中的各个样本特征在存储空间中为连续分布。在将原存储空间中的数据复制至新存储空间后,将原存储空间释放,以减少占用不必要的空间。
当该任一初始样本特征集中需要删除一个已有的样本特征时,查询该已有的样本特征在该任一初始样本特征集中的地址。将该已有的样本特征的地址与该任一初始样本特征集中位于最后一位的样本特征的地址进行交换,然后删除该已有的样本特征,以保证该任一初始样本特征集中的各个样本特征在存储空间中为连续分布。
在删除已有的样本特征后,更新该任一初始样本特征集中的样本特征的数量,此外,判断该任一初始样本特征集对应的存储空间中的剩余空间是否大于空间阈值;若该任一初始样本特征集对应的存储空间中的剩余空间是大于空间阈值,则为该任一初始样本特征集分配一个空间较小的新存储空间,将原存储空间中的数据复制至新存储空间,将原存储空间释放。此种方式,可以减少占用不必要的空间,并且保证删除样本特征的平均时间复杂度与删除的样本特征的数量线形相关。
在另一种可能实现方式中,除了利用动态空间存储初始样本特征集外,还可以利用块对初始样本特征集进行存储。
在步骤203中,对于任一目标图像对应的目标特征,基于目标特征与各个中心特征的相似度,确定目标特征对应的至少一个目标中心特征;将各个目标中心特征对应的样本特征集的并集作为任一目标图像对应的第一候选样本特征集。
对于任一目标图像对应的目标特征,先计算该目标特征与各个中心特征的相似度,然后基于该目标特征与各个中心特征的相似度,获取该目标特征对应的至少一个目标中心特征,以过滤掉部分与该目标特征相似度较小的中心特征,进而减小后续检索过程中的数据访问量和计算量。
在一种可能实现方式中,基于目标特征与各个中心特征的相似度,确定目标特征对应的至少一个目标中心特征的过程为:获取该目标特征的类别;基于该目标特征与各个类别匹配的中心特征的相似度,获取该目标特征对应的至少一个目标中心特征。
其中,目标特征的类别用于指示待识别物体的类型。本申请实施例对获取目标特征的类别的方式不加以限定。例如,将目标特征输入分类器,基于分类器的输出结果确定目标特征的类别。类别匹配的中心特征是指对应的类别与目标特征的类别相同的中心特征。基于此种方式,可以先过滤掉部分与该目标特征的类别不匹配的中心特征,然后再计算该目标特征与各个类别匹配的中心特征的相似度,减少计算量。
在另一种可能实现方式中,基于目标特征与各个中心特征的相似度,确定目标特征对应的至少一个目标中心特征的过程为:基于压缩处理后的目标特征与各个压缩处理后的中心特征的相似度,确定压缩处理后的目标特征对应的至少一个压缩处理后的目标中心特征。压缩处理后的特征占用空间较小,此种方式可以减少计算量。
需要说明的是,计算两个特征之间的相似度的方式有多种,本申请实施例对此不加以限定。接下来,以计算两个特征之间的余弦相似度为例进行说明。
在计算两个特征之间的余弦相似度时,可以将两个特征均用特征向量表示。假设两个特征分别对应特征向量X1和特征向量X2,特征向量X1和特征向量X2均为p维特征向量。则可以利用下述公式计算两个特征之间的余弦相似度:
其中,∥X1∥代表p维特征向量X1的二范数,∥X2∥代表p维特征向量X2的二范数。任一p维特征向量X的二范数∥X∥的计算公式如下:
在计算得到目标特征与各个中心特征的相似度后,即可基于目标特征与各个中心特征的相似度,确定目标特征对应的至少一个目标中心特征。在一种可能实现方式中,确定目标特征对应的任一目标中心特征的过程为:对于任一中心特征,当目标特征与任一中心特征的相似度满足第二参考条件时,将任一中心特征作为目标特征对应的任一目标中心特征。基于上述过程,即可确定目标特征对应的至少一个目标中心特征。
其中,目标特征与任一中心特征的相似度满足第二参考条件包括但不限于以下两种情况:
情况一:目标特征与任一中心特征的相似度不小于相似度阈值。
其中,相似度阈值可以根据经验设置,也可以根据应用场景自由调整,本申请实施例对此不加以限定。
情况二:目标特征与任一中心特征的相似度为目标特征与各个中心特征之间的最大的N个相似度中的一个相似度。
此种情况下,目标特征对应的目标中心特征的数量为N。
最大的N个相似度可以表示为topN相似度。topN相似度表示按照从大到小的顺序对相似度排序后,排在前N名的相似度。其中,N为正整数,N可以根据实际需求设置。例如,N可以设置为1,此时,目标特征对应的目标中心特征的数量为1;再例如,N可以设置为10,此时,目标特征对应的目标中心特征的数量为10。
由于每个目标中心特征均对应一个样本特征集,所以在根据任一目标图像对应的目标特征确定至少一个目标中心特征后,所以可以将各个目标中心特征对应的样本特征集的并集作为该任一目标图像对应的第一候选样本特征集。
示例性地,假设目标图像A对应的目标特征为目标特征a,目标特征a对应的目标中心特征为中心特征1、中心特征2和中心特征3。其中,中心特征1对应样本特征集1、中心特征2对应样本特征集2、中心特征3对应样本特征集3。那么,目标图像A对应的第一候选样本特征集为样本特征集1、样本特征集2和样本特征集3的并集。需要说明的是,由于不同的样本特征集中的样本特征无交叉,因此,不同样本特征集的并集即为各个样本集中的样本特征的简单合并。
在步骤204中,基于至少一个目标图像中的各个目标图像对应的第一候选样本特征集,获取至少一个目标图像中的各个目标图像的检索结果。
基于步骤203,可以获取至少一个目标图像中的各个目标图像对应的第一候选样本特征集,进而基于至少一个目标图像中的各个目标图像对应的第一候选样本特征集,获取至少一个目标图像中的各个目标图像的检索结果。相比于直接基于全部样本特征集获取各个目标图像的检索结果,本申请实施例提供的方法可以减少检索基数,提高图像检索的效率。
在一种可能实现方式中,基于至少一个目标图像中的各个目标图像对应的第一候选样本特征集,获取至少一个目标图像中的各个目标图像的检索结果的情况包括以下两种:
情况一:至少一个目标图像的数量小于数量阈值。
当至少一个目标图像的数量小于数量阈值时,分别在每个第一候选样本特征集中对每个目标图像进行检索,仍可以保证较快的检索速度。在此种情况下,基于至少一个目标图像中的各个目标图像对应的第一候选样本特征集,获取至少一个目标图像中的各个目标图像的检索结果的方式为:对于任一目标图像,在任一目标图像对应的第一候选样本特征集中对任一目标图像进行检索,得到任一目标图像的检索结果。由此,可以获取各个目标图像的检索结果。
数量阈值可以根据经验设置,也可以根据终端的实际运行情况进行调整,本申请实施例对此不加以限定。
在一种可能实现方式中,对于任一目标图像,在任一目标图像对应的第一候选样本特征集中对任一目标图像进行检索,得到任一目标图像的检索结果的过程为:终端访问任一目标图像对应的第一候选样本特征集;计算任一目标图像对应的目标特征与第一候选样本特征集中的各个样本特征的相似度;基于任一目标图像对应的目标特征与第一候选样本特征集中的各个样本特征的相似度,确定该任一目标图像的检索结果。
情况二:至少一个目标图像的数量不小于数量阈值。
当至少一个目标图像的数量不小于数量阈值时,由于分别访问每个第一候选样本特征集耗费的时间较长,因此,可以对多个目标图像进行批量检索。通过批量检索的方式可以在访问一次数据集的情况下,对多个目标图像进行检索,由于检索的时间相对于访问的时间而言很小,因此,批量检索可以提升平均检索速度。此外,批量检索还能够利用终端的RAM(Random Access Memory,随机存取存储器)和高速缓存的空间局部性特性加快检索速度。
在情况二下,基于至少一个目标图像中的各个目标图像对应的第一候选样本特征集,获取至少一个目标图像中的各个目标图像的检索结果的过程包括步骤2041至步骤2043:
步骤2041、将至少一个目标图像划分为至少一个目标图像集。
在批量检索的过程中,需要先将至少一个目标图像划分为至少一个目标图像集,每个目标图像集均为一个待检索的批量,每个目标图像集中包括一个或多个目标图像。不同目标图像集中的目标图像的数量可以相同,也可以不相同,本申请实施例对此不加以限定。
在一种可能实现方式中,将至少一个目标图像划分为至少一个目标图像集的方式包括但不限于以下两种:
方式一:计算至少一个目标图像中的任两个目标图像对应的目标特征之间的汉明距离;基于至少一个目标图像中的任两个目标图像对应的目标特征之间的汉明距离,对至少一个目标图像进行聚类,得到至少一个目标图像集。
基于每个目标图像对应的第一候选样本特征集,将每个目标图像对应的目标特征用H位的01比特串表示,其中,H表示样本特征集的总数量,第i位为1表示该目标图像对应的第一候选样本特征集中包括第i个样本特征集,第i位为0表示该目标图像对应的第一候选样本特征集中不包括第i个样本特征集。
在将各个目标图像对应的目标特征均用H位的01比特串表示后,可以计算至少一个目标图像中的任两个目标图像对应的目标特征之间的汉明距离,然后基于至少一个目标图像中的任两个目标图像对应的目标特征之间的汉明距离,对至少一个目标图像进行聚类,将聚类后得到的至少一个聚类簇作为至少一个目标图像集。此种方式可以减少检索量,提高检索效率。
方式二:利用动态规划算法,将至少一个目标图像划分为至少一个目标图像集。
利用方式二确定的每个目标图像集中包括第一参考数量的目标图像。也就是说,将至少一个目标图像进行均分。第一参考数量可以根据经验设置也可以根据终端的运行情况进行自由调整,本申请实施例对此不加以限定。一般情况下,第一参考数量为2或者4就能较好的利用RAM和缓存实现较好的批量检索效果。
利用动态规划算法,将至少一个目标图像划分为至少一个目标图像集的实现过程包括以下步骤1至步骤3:
步骤1:基于至少一个目标图像,确定包括第一参考数量的目标图像的全部候选图像集。
在至少一个目标图像中任选第一参考数量的目标图像,即可确定一个候选图像集。每个候选图像集中均包括第一参考数量的目标图像。需要说明的是,候选图像集并不是将至少一个目标图像进行实际划分得到的,而是动态规划过程中根据至少一个目标图像假设出来的目标图像的组合情况。
示例性地,假设目标图像的数量n=4,这4个目标图像分别记作1,2,3,4;第一参考数量为k=2,则包括2个目标图像的全部候选图像集的数量这6个候选图像集分别表示为{1,2}、{1,3}、{1,4}、{2,3}、{2,4}和{3,4}。
在确定包括第一参考数量的目标图像的全部候选图像集后,执行步骤2。
步骤2:获取全部候选图像集中的任一候选图像集对应的样本特征数量。
任一候选图像集对应的样本特征数量是指任一候选图像集中的各个目标图像对应的第一候选样本特征集的并集中的样本特征的数量。
示例性地,设X={x1,x2,…xk}为包含k(第一参考数量)个目标图像的任一候选图像集,其中,每个目标图像均对应一个第一候选样本特征集,也就是说,目标图像x1对应一个第一候选样本特征集stx1,目标图像x2对应一个第一候选样本特征集stx2,目标图像xk对应一个第一候选样本特征集stxk。那么该任一候选图像集中的各个目标图像对应的第一候选样本特征集的并集可以表示为Sx=stx1∪stx2∪…stxk。用∥Sx∥表示任一候选图像集中的各个目标图像对应的第一候选样本特征集的并集中的样本特征的数量。
例如,假设k=4,对于一个包括0,1,2,3这4个目标图像的一个候选图像集而言,Sx和st的例子如图3所示。在图3中,终端中存储有4096个样本特征集,这4096个样本特征集分别对应编号0-4095。图3中的表格中的1表示第一候选样本特征集中包括该编号对应的样本特征集,0表示第一候选样本特征集中不包括该编号对应的样本特征集。
从图3中可知,第一候选样本特征集st0中包括编号0、3对应的样本特征集,第一候选样本特征集st1中包括编号0、4095对应的样本特征集,第一候选样本特征集st2中包括编号3对应的样本特征集,第一候选样本特征集st3中包括编号0、3、4对应的样本特征集。st0、st1、st2、st3的并集中包括编号0、3、4、4095对应的样本特征集,也就是说,与该候选图像集中的各个目标图像对应的第一候选样本特征集的并集S{0,1,2,3}中包括编号0、3、4、4095对应的样本特征集。由于每个编号均对应一个样本特征集,所以可以提取编号0、3、4、4095对应的样本特征集,将编号0、3、4、4095对应的样本特征集的并集中的样本特征的数量作为该候选图像集的样本特征数量。
步骤3:基于全部候选图像集中的各个候选图像集对应的样本特征数量,将至少一个目标图像划分为第二参考数量的目标图像集,第二参考数量为至少一个目标图像的数量与第一参考数量的比值。
基于上述步骤2,可以获取全部候选图像集中的各个候选图像集对应的样本特征数量。然后基于全部候选图像集中的各个候选图像集对应的样本特征数量,将至少一个目标图像划分为第二参考数量的目标图像集。其中,第二参考数量为至少一个目标图像的数量与第一参考数量的比值。第二参考数量的目标图像集为根据全部候选图像集中能够使得整个检索所需的样本特征数量最少的第二参考数量的候选图像集,将至少一个目标图像进行划分得到的。
假设至少一个目标图像的数量为n,第一参考数量为k,则第二参考数量为n/k。也就是说,将至少一个目标图像分成n/k个小批量的目标图像集进行检索。
在一种可能实现方式中,基于全部候选图像集中的各个候选图像集对应的样本特征数量,将至少一个目标图像划分为第二参考数量的目标图像集的实现过程包括以下两种:
实现过程一包括以下步骤A至步骤E:
步骤A:基于全部候选图像集中的各个候选图像集对应的样本特征数量,确定各个第一图像集对应的样本特征数量,任一第一图像集中包括满足第一条件的两个候选图像集中的目标图像。
任一第一图像集对应的样本特征数量为该任一第一图像集对应的多个备选样本特征数量中最低的样本特征数量。
任一第一图像集中包括满足第一条件的两个候选图像集中的目标图像。满足第一条件的两个候选图像集是指目标图像无交叉的两个候选图像集。任一第一图像集可能对应多个包括两个候选图像集的候选图像集组,每个包括两个候选图像集的候选图像集组对应的备选样本特征数量可能不同,将各个包括两个候选图像集的候选图像集组对应的备选样本特征数量中最低的样本特征数量作为该任一第一图像集对应的样本特征数量。
示例性地,假设任一第一图像集为{1,2,3,4},则该任一第一图像集对应的包括两个候选图像集的候选图像集组有3个,分别为{{1,2},{3,4}}、{{1,3},{2,4}}和{{1,4},{2,3}}。假设各个候选图像集对应的样本特征数量分别为S{1,2}=6,S{1,3}=3,S{1,4}=1,S{2,3}=10,S{2,4}=4,S{3,4}=2。则候选图像集组{{1,2},{3,4}}对应的备选样本特征数量为8,候选图像集组{{1,3},{2,4}}对应的备选样本特征数量为7,候选图像集组{{1,4},{2,3}}对应的备选样本特征数量为11,则该任一第一图像集对应的3个备选样本特征数量中最低的样本特征数量为7,也就是说该任一第一图像集对应的样本特征数量为7。
基于上述步骤,可以确定各个第一图像集对应的样本特征数量。
步骤B:基于各个第一图像集对应的样本特征数量和全部候选图像集中的各个候选图像集对应的样本特征数量,确定各个第二图像集对应的样本特征数量,任一第二图像集中包括满足第二条件的三个候选图像集中的目标图像。
同样地,任一第二图像集对应的样本特征数量为该任一第二图像集对应的多个备选样本特征数量中最低的样本特征数量。
任一第二图像集中包括满足第二条件的三个候选图像集中的目标图像。满足第二条件的三个候选图像集为目标图像无交叉的三个候选图像集。任一第二图像集可能对应多个包括三个候选图像集的候选图像集组,三个候选图像集中的任两个候选图像集中的目标图像组成了该任一第二图像集对应的任一第一图像集。也就是说,任一第二图像集可能对应多个包括一个第一图像集和一个候选图像集的候选图像集组。每个候选图像集组对应的备选样本特征数量可能不同,将各个包括一个第一图像集和一个候选图像集的候选图像集组对应的备选样本特征数量中最低的样本特征数量作为该任一第二图像集对应的样本特征数量。
步骤C:以此类推,直至确定包括全部目标图像的最终图像集对应的样本特征数量。
在确定各个第二图像集对应的样本特征数量后,可以基于各个第二图像集对应的样本特征数量和全部候选图像集中的各个候选图像集对应的样本特征数量,确定各个第三图像集对应的样本特征数量,任一第三图像集中包括满足第三条件的四个候选图像集中的目标图像。其中,满足第三条件的四个候选图像集为目标图像无交叉的四个候选图像集。以此类推,直至确定包括全部目标图像的最终图像集对应的样本特征数量。最终图像集对应的样本特征数量为该最终图像集对应的多个备选样本特征数量中最低的样本特征数量。
上述确定最终图像集对应的样本特征数量的过程可以用下述动态规划方程表示:
其中,表示空集;Z表示一个第m图像集,fZ表示每轮迭代过程得到的一个第m图像集对应的样本特征数量;Y表示一个第(m-1)图像集,fY表示每轮迭代时,已知的一个第(m-1)图像集对应的样本特征数量;X表示第m图像集与第(m-1)图像集的差集对应的候选图像集,∥SX∥为第m图像集与第(m-1)图像集的差集对应的候选图像集对应的样本特征数量。X与Y的交集为空集,而且X与Y的并集为Z。基于上述动态规划方程迭代多轮,可以得到最终图像集对应的样本特征数量。
需要说明的是,根据至少一个目标图像的数量以及第一参考数量,可以灵活变化迭代轮数,也就是说,在确定最终图像集对应的样本特征数量的过程中,可能根据上述步骤a即可确定最终图像集对应的样本特征数量,也可能根据上述步骤a和步骤b即可确定最终图像集对应的样本特征数量,本申请实施例对此不加以限定。
示例性地,假设目标图像的数量n=4,这4个目标图像分别记作1,2,3和4;第一参考数量k=2,则包括2个目标图像的全部候选图像集共有6个,分别为{1,2}、{1,3}、{1,4}、{2,3}、{2,4}和{3,4}。假设各个候选图像集对应的样本特征数量分别为S{1,2}=6,S{1,3}=3,S{1,4}=1,S{2,3}=10,S{2,4}=4,S{3,4}=2。则基于上述动态规划方程的动态规划路径如图4所示。
在图4中,共进行了三轮迭代过程,第0轮迭代过程得到空集对应的样本特征数量为0,第1轮迭代过程得到各个候选图像集对应的样本特征数量,第2迭代过程得到第一图像集{1,2,3,4}对应的样本特征数量,该数量为7。由于第一图像集{1,2,3,4}中包括全部的目标图像,所以第一图像集即为最终图像集,最终图像集对应的样本特征数量为7。
步骤D:基于最终图像集对应的样本特征数量进行反向推导,确定与最终图像集对应的样本特征数量对应的第二参考数量的候选图像集。
由于最终图像集对应的样本特征数量是在不断迭代的过程中得到的,所以在确定最终图像集对应的样本特征数量后,可以对迭代过程进行反向推导,确定与最终图像集对应的样本特征数量对应的第二参考数量的候选图像集。
例如,如图4所示,在确定最终图像集对应的样本特征数量为7后,可以进行反向推导,确定与样本特征数量7对应的第二参考数量的候选图像集为{1,3}和{2,4}。
在一种可能实现方式中,采用一个记录数组g记录动态规划转移路径,根据记录数组g记录的动态规划转移路径即可反向推导出第二参考数量的候选图像集。
步骤E:根据第二参考数量的候选图像集,将至少一个目标图像划分为第二参考数量的目标图像集。
在确定与最终图像集对应的样本特征数量对应的第二参考数量的候选图像集后,即可根据该第二参考数量的候选图像集中的每个候选图像集包括的目标图像,对至少一个目标图像进行划分,得到第二参考数量的目标图像集。
实现过程二包括以下步骤a至步骤e:
步骤a:基于全部候选图像集中的各个候选图像集对应的样本特征数量,确定各个第一图像集对应的样本特征数量,任一第一图像集中包括满足第一条件的两个候选图像集中的目标图像。
该步骤的实现方式可以参见上述实施过程一中的步骤A,此处不再赘述。
步骤b:基于各个第一图像集对应的样本特征数量和全部候选图像集中的各个候选图像集对应的样本特征数量,确定各个第二图像集对应的样本特征数量,任一第二图像集中包括满足第二条件的三个候选图像集中的目标图像。
该步骤的实现方式可以参见上述实施过程一中的步骤B,此处不再赘述。
步骤c:以此类推,直至确定各个中间图像集对应的样本特征数量,任一中间图像集中包括一半数量的目标图像;基于各个中间图像集对应的样本特征数量,确定包括全部目标图像的最终图像集对应的样本特征数量。
由于任一中间图像集中包括一半数量的目标图像,所以,在确定各个中间图像集对应的样本特征数量后,即可获取与该任一中间图像集互补的另一中间图像集对应的样本特征数量,进而将该任一中间图像集的样本特征数量和与该任一中间图像集互补的另一中间图像集对应的样本特征数量的和作为最终图像集的一个备选样本特征数量。将各个备选样本特征数量中最低的备选样本特征数量作为最终图像集对应的样本特征数量。此种确定最终图像集对应的样本特征数量的方式可以减少迭代轮数,减少计算量,提高确定最终图像集对应的样本特征数量的效率。
在实际迭代过程中,由于计算所有的fY要消耗过多时间,所以可以采取折半算法,也就是说,只需确定各个中间图像集对应的fY,即可直接基于fZ=fY+fZ-Y确定最终图像集对应的fZ。
示例性地,假设全部目标图像的数量为24,只需确定所有包括12个目标图像的中间图像集对应的fY,即可得到包括24个目标图像的最终图像集对应的fZ,这样能够使迭代规模减小一半。
步骤d:基于最终图像集对应的样本特征数量进行反向推导,确定与最终图像集对应的样本特征数量对应的第二参考数量的候选图像集。
在反向推导的过程中,可以先确定与最终图像集对应的样本特征数量对应的两个中间图像集,然后进一步根据这两个中间图像集对应的样本特征数量进行反向推导。由于这两个中间图像集对应的样本特征数量是在不断迭代的过程中得到的,所以在确定这两个中间图像集对应的样本特征数量后,可以对迭代过程进行反向推导,确定与这两个中间图像集对应的样本特征数量对应的第二参考数量的候选图像集。
步骤e:根据第二参考数量的候选图像集,将至少一个目标图像划分为第二参考数量的目标图像集。
该步骤的实现方式可以参见上述实施过程一中的步骤E,此处不再赘述。
无论基于上述方式一还是方式二,均可以将至少一个目标图像划分为至少一个目标图像集。然后对任一目标图像集,执行下述步骤2042和步骤2043。
步骤2042、对于任一目标图像集,将任一目标图像集中的各个目标图像对应的第一候选样本特征集的并集作为任一目标图像集对应的第二候选样本特征集。
需要说明的是,由于不同目标图像对应的第一候选样本特征集中可能包括相同的样本特征集,所以在计算任一目标图像集中的各个目标图像对应的第一候选样本特征集的并集时,相同的样本特征集仅保留一个。
步骤2043、在任一目标图像集对应的第二候选样本特征集中对任一目标图像集中的各个目标图像进行检索,得到任一目标图像集中的各个目标图像的检索结果。
在确定任一目标图像集对应的第二候选样本特征集后,终端访问任一目标图像集对应的第二候选样本特征集;在该任一目标图像集对应的第二候选样本特征集中对该任一目标图像集中的各个目标图像进行检索,得到任一目标图像集中的各个目标图像的检索结果。
在一种可能实现方式中,在该任一目标图像集对应的第二候选样本特征集中对该任一目标图像集中的各个目标图像进行检索,得到任一目标图像集中的各个目标图像的检索结果的过程为:对于该任一目标图像集中的任一目标图像,计算该任一目标图像对应的目标特征与第二候选样本特征集中的各个样本特征的相似度;基于该任一目标图像对应的目标特征与第二候选样本特征集中的各个样本特征的相似度,确定该任一目标图像的检索结果。基于上述过程,得到任一目标图像集中的各个目标图像的检索结果。
基于上述步骤2041至步骤2043,可以基于批量检索过程,获取至少一个目标图像中的各个目标图像的检索结果。
在一种可能实现方式中,获取任一目标图像的检索结果的方式为:获取任一目标图像对应的第三参考数量的目标样本特征,目标样本特征为与任一目标图像对应的目标特征的相似度满足第一参考条件的样本特征;对第三参考数量的目标样本特征进行排序,得到任一目标图像的检索结果。
第三参考数量可以预先设置,用于表示任一目标图像对应的检索结果中包含的样本特征的数量。将第三参考数量用M表示,与任一目标图像对应的目标特征的相似度满足第一参考条件可以是指:与任一目标图像对应的目标特征的相似度不小于该任一目标图像对应的目标特征与各个检索的样本特征之间的第M大的相似度。需要说明的是,对于至少一个目标图像的数量小于数量阈值的情况,各个检索的样本特征是指该任一目标图像对应的第一候选样本特征集中的各个样本特征;对于至少一个目标图像的数量不小于数量阈值的情况,各个检索的样本特征是指该任一目标图像所在的目标图像集对应的第二候选样本特征集中的各个样本特征。
在一种可能实现方式中,获取任一目标图像对应的第三参考数量的目标样本特征的方式为:基于nth_element函数获取任一目标图像对应的目标特征与各个检索的样本特征之间的第M大的相似度,将与任一目标图像对应的目标特征的相似度不小于该第M大的相似度的M个样本特征作为第三参考数量的目标样本特征。此时,第三参考数量的目标样本特征为随机排序的。
在一种可能实现方式中,对第三参考数量的目标样本特征进行排序,得到任一目标图像的检索结果的过程为:将第三参考数量的目标样本特征按照与任一目标图像对应的目标特征的相似度从大到小或者从小到大进行排序,将排序后得到的目标样本特征及相似度的对应关系作为任一目标图像的检索结果。相比于先对全部相似度进行排序,再获取前M大的相似度对应的目标样本特征的方式,此种方式可以减少排序时间复杂度,加快图像检索速度。
在获取至少一个目标图像中的任一目标图像的检索结果后,在实际的应用场景,可以对任一目标图像的检索结果进行进一步处理。示例性地,在刷脸支付场景,任一目标图像为任一待支付的用户的人脸图像,在得到该人脸图像的检索结果后,判断检索结果中最大的相似度是否超过相似度阈值;若检索结果中最大的相似度超过相似度阈值,则将该最大的相似度对应的样本特征作为与该人脸图像对应的样本特征,查询该最大的相似度对应的样本特征对应的账户,在该账户中进行扣款操作;若检索结果中最大的相似度不超过相似度阈值,则说明检索失败,无法进行刷脸支付。
综上所述,图像检索的整个过程可以如图5所示,获取待检索的各个目标图像和每个目标图像对应的目标特征;将各个目标图像对应的目标特征进行压缩处理;获取各个目标图像对应的第一候选样本特征集;判断全部目标图像的数量是否小于数量阈值。当全部目标图像的数量小于数量阈值时,在任一目标图像对应的第一候选样本特征集中对任一目标图像进行检索。当全部目标图像的数量不小于数量阈值时,将各个目标图像划分为多个目标图像集;将任一目标图像集中的各个目标图像对应的第一候选样本特征集的并集作为任一目标图像集对应的第二候选样本特征集;在任一目标图像集对应的第二候选样本特征集中对任一目标图像集中的各个目标图像进行检索。在检索后,得到各个目标图像的检索结果,每个目标图像的检索结果中包括按照相似度排序后的第三参考数量的目标样本特征。
在本申请实施例中,先基于目标图像对应的目标特征与各个中心特征的相似度,确定目标特征对应的目标中心特征,然后基于目标中心特征确定目标图像对应的第一候选样本特征集,基于第一候选样本特征集获取目标图像的检索结果。此种图像检索的过程,无需访问全部样本特征,也无需计算目标图像对应的目标特征与全部样本特征的相似度,数据访问量和计算量较小,能够提高图像检索的速度,使得图像检索的效果较好。
基于相同技术构思,参见图6,本申请实施例提供了一种图像检索装置,该装置包括:
第一获取模块601,用于获取至少一个待检索的目标图像和每个目标图像对应的目标特征;
第一确定模块602,用于在样本特征库中,确定至少一个中心特征和每个中心特征对应的样本特征集;
第二确定模块603,用于对于任一目标图像对应的目标特征,基于目标特征与各个中心特征的相似度,确定目标特征对应的至少一个目标中心特征;将各个目标中心特征对应的样本特征集的并集作为任一目标图像对应的第一候选样本特征集;
第二获取模块604,用于基于至少一个目标图像中的各个目标图像对应的第一候选样本特征集,获取至少一个目标图像中的各个目标图像的检索结果。
在一种可能实现方式中,第二获取模块604,用于当至少一个目标图像的数量小于数量阈值时,对于任一目标图像,在任一目标图像对应的第一候选样本特征集中对任一目标图像进行检索,得到任一目标图像的检索结果。
在一种可能实现方式中,参见图7,第二获取模块604,包括:
划分单元6041,用于当至少一个目标图像的数量不小于数量阈值时,将至少一个目标图像划分为至少一个目标图像集;
确定单元6042,用于对于任一目标图像集,将任一目标图像集中的各个目标图像对应的第一候选样本特征集的并集作为任一目标图像集对应的第二候选样本特征集;
检索单元6043,用于在任一目标图像集对应的第二候选样本特征集中对任一目标图像集中的各个目标图像进行检索,得到任一目标图像集中的各个目标图像的检索结果。
在一种可能实现方式中,确定单元6042,还用于基于至少一个目标图像,确定包括第一参考数量的目标图像的全部候选图像集;
参见图8,第二获取模块604,还包括:
获取单元6044,用于获取全部候选图像集中的任一候选图像集对应的样本特征数量;
划分单元6041,用于基于全部候选图像集中的各个候选图像集对应的样本特征数量,将至少一个目标图像划分为第二参考数量的目标图像集,第二参考数量为至少一个目标图像的数量与第一参考数量的比值。
在一种可能实现方式中,确定单元6042,还用于基于全部候选图像集中的各个候选图像集对应的样本特征数量,确定各个第一图像集对应的样本特征数量,任一第一图像集中包括满足第一条件的两个候选图像集中的目标图像;基于各个第一图像集对应的样本特征数量和各个候选图像集对应的样本特征数量,确定各个第二图像集对应的样本特征数量,任一第二图像集中包括满足第二条件的三个候选图像集中的目标图像;以此类推,直至确定包括全部目标图像的最终图像集对应的样本特征数量;
参见图8,第二获取模块604,还包括:
推导单元6045,用于基于最终图像集对应的样本特征数量进行反向推导,确定与最终图像集对应的样本特征数量对应的第二参考数量的候选图像集;
划分单元6041,用于根据第二参考数量的候选图像集,将至少一个目标图像划分为第二参考数量的目标图像集。
在一种可能实现方式中,确定单元6042,还用于基于全部候选图像集中的各个候选图像集对应的样本特征数量,确定各个第一图像集对应的样本特征数量,任一第一图像集中包括满足第一条件的两个候选图像集中的目标图像;基于各个第一图像集对应的样本特征数量和各个候选图像集对应的样本特征数量,确定各个第二图像集对应的样本特征数量,任一第二图像集中包括满足第二条件的三个候选图像集中的目标图像;以此类推,直至确定各个中间图像集对应的样本特征数量,任一中间图像集中包括一半数量的目标图像;基于各个中间图像集对应的样本特征数量,确定包括全部目标图像的最终图像集对应的样本特征数量;
推导单元6045,用于基于最终图像集对应的样本特征数量进行反向推导,确定与最终图像集对应的样本特征数量对应的第二参考数量的候选图像集;
划分单元6041,用于根据第二参考数量的候选图像集,将至少一个目标图像划分为第二参考数量的目标图像集。
在一种可能实现方式中,参见图8,第二获取模块604,还包括:
计算单元6046,用于计算至少一个目标图像中的任两个目标图像对应的目标特征之间的汉明距离;
划分单元6041,用于基于至少一个目标图像中的任两个目标图像对应的目标特征之间的汉明距离,对至少一个目标图像进行聚类,得到至少一个目标图像集。
在一种可能实现方式中,第二获取模块604,用于对于任一目标图像,获取任一目标图像对应的第三参考数量的目标样本特征,目标样本特征为与任一目标图像对应的目标特征的相似度满足第一参考条件的样本特征;对第三参考数量的目标样本特征进行排序,得到任一目标图像的检索结果。
在一种可能实现方式中,参见图9,第一确定模块602,包括:
聚类单元6021,用于在样本特征库中,对初始样本特征进行聚类,得到至少一个初始样本特征集;
确定单元6022,用于对于至少一个初始样本特征集中的任一初始样本特征集,将任一初始样本特征集的聚类中心对应的样本特征作为任一中心特征;
添加单元6023,用于对于除初始样本特征外的任一样本特征,将任一样本特征添加至与任一样本特征相似度最大的中心特征对应的初始样本特征集中;
确定单元6022,还用于当不存在未添加至初始样本特征集中的样本特征时,得到每个中心特征对应的样本特征集。
在一种可能实现方式中,第二确定模块603,用于获取目标特征的类别;基于目标特征与各个类别匹配的中心特征的相似度,确定目标特征对应的至少一个目标中心特征。
在一种可能实现方式中,第二确定模块603,用于对于任一中心特征,当目标特征与任一中心特征的相似度满足第二参考条件时,将任一中心特征作为目标特征对应的任一目标中心特征。
在一种可能实现方式中,第二确定模块603,用于基于压缩处理后的目标特征与各个压缩处理后的中心特征的相似度,确定压缩处理后的目标特征对应的至少一个压缩处理后的目标中心特征。
在本申请实施例中,先基于目标图像对应的目标特征与各个中心特征的相似度,确定目标特征对应的目标中心特征,然后基于目标中心特征确定目标图像对应的第一候选样本特征集,基于第一候选样本特征集获取目标图像的检索结果。此种图像检索的过程,无需访问全部样本特征,也无需计算目标图像对应的目标特征与全部样本特征的相似度,数据访问量和计算量较小,能够提高图像检索的速度,使得图像检索的效果较好。
需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图10是本申请实施例提供的一种图像检索的设备结构示意图。该设备可以为终端,例如可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端包括有:处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的图像检索方法。
在一些实施例中,终端还可选包括有:外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地,外围设备包括:射频电路1004、触摸显示屏1005、摄像头组件1006、音频电路1007、定位组件1008和电源1009中的至少一种。
外围设备接口1003可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中,处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上;在一些其他实施例中,处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1004包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1004还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1005用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时,显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1005可以为一个,设置在终端的前面板;在另一些实施例中,显示屏1005可以为至少两个,分别设置在终端的不同表面或呈折叠设计;在再一些实施例中,显示屏1005可以是柔性显示屏,设置在终端的弯曲表面上或折叠面上。甚至,显示屏1005还可以设置成非矩形的不规则图形,也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1006用于采集图像或视频。可选地,摄像头组件1006包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1001进行处理,或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1007还可以包括耳机插孔。
定位组件1008用于定位终端的当前地理位置,以实现导航或LBS(Location BasedService,基于位置的服务)。
电源1009用于为终端中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于:加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号,控制触摸显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1012可以检测终端的机体方向及转动角度,陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端的3D动作。处理器1001根据陀螺仪传感器1012采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在终端的侧边框和/或触摸显示屏1005的下层。当压力传感器1013设置在终端的侧边框时,可以检测用户对终端的握持信号,由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在触摸显示屏1005的下层时,由处理器1001根据用户对触摸显示屏1005的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1014用于采集用户的指纹,由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份,或者,由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1001授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置在终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo时,指纹传感器1014可以与物理按键或厂商Logo集成在一起。
光学传感器1015用于采集环境光强度。在一个实施例中,处理器1001可以根据光学传感器1015采集的环境光强度,控制触摸显示屏1005的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1005的显示亮度;当环境光强度较低时,调低触摸显示屏1005的显示亮度。在另一个实施例中,处理器1001还可以根据光学传感器1015采集的环境光强度,动态调整摄像头组件1006的拍摄参数。
接近传感器1016,也称距离传感器,通常设置在终端的前面板。接近传感器1016用于采集用户与终端的正面之间的距离。在一个实施例中,当接近传感器1016检测到用户与终端的正面之间的距离逐渐变小时,由处理器1001控制触摸显示屏1005从亮屏状态切换为息屏状态;当接近传感器1016检测到用户与终端的正面之间的距离逐渐变大时,由处理器1001控制触摸显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图10中示出的结构并不构成对终端的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机设备,参见图11,该计算机设备包括处理器1101和存储器1102,该存储器1102中存储有至少一条程序代码。该至少一条程序代码由一个或者一个以上处理器1101加载并执行,以实现上述任一种图像检索方法。
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由计算机设备的处理器加载并执行,以实现上述任一种图像检索方法。
可选地,上述计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-OnlyMemory,CD-ROM)、磁带、软盘和光数据存储设备等。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (12)
1.一种图像检索方法,其特征在于,所述方法包括:
获取至少一个待检索的目标图像和每个目标图像对应的目标特征;
在样本特征库中,确定至少一个中心特征和每个中心特征对应的样本特征集;
对于任一目标图像对应的目标特征,基于所述目标特征与各个中心特征的相似度,确定所述目标特征对应的至少一个目标中心特征;将各个目标中心特征对应的样本特征集的并集作为所述任一目标图像对应的第一候选样本特征集;
基于至少一个目标图像中的各个目标图像对应的第一候选样本特征集,获取所述至少一个目标图像中的各个目标图像的检索结果;
其中,所述至少一个目标图像中的各个目标图像的检索结果的获取方式包括:
当所述至少一个目标图像的数量不小于数量阈值时,基于所述至少一个目标图像,确定包括第一参考数量的目标图像的全部候选图像集;获取所述全部候选图像集中的任一候选图像集对应的样本特征数量;
基于所述全部候选图像集中的各个候选图像集对应的样本特征数量,在所述全部候选图像集中确定使全部目标图像的检索所需的样本特征数量最少的第二参考数量的候选图像集;根据所述第二参考数量的候选图像集,将所述至少一个目标图像划分为所述第二参考数量的目标图像集,所述第二参考数量为所述至少一个目标图像的数量与所述第一参考数量的比值;
对于任一目标图像集,将所述任一目标图像集中的各个目标图像对应的第一候选样本特征集的并集作为所述任一目标图像集对应的第二候选样本特征集;在所述任一目标图像集对应的第二候选样本特征集中对所述任一目标图像集中的各个目标图像进行检索,得到所述任一目标图像集中的各个目标图像的检索结果。
2.根据权利要求1所述的方法,其特征在于,所述基于至少一个目标图像中的各个目标图像对应的第一候选样本特征集,获取所述至少一个目标图像中的各个目标图像的检索结果,包括:
当所述至少一个目标图像的数量小于数量阈值时,对于所述任一目标图像,在所述任一目标图像对应的第一候选样本特征集中对所述任一目标图像进行检索,得到所述任一目标图像的检索结果。
3.根据权利要求1所述的方法,其特征在于,所述基于所述全部候选图像集中的各个候选图像集对应的样本特征数量,在所述全部候选图像集中确定使全部目标图像的检索所需的样本特征数量最少的第二参考数量的候选图像集,包括:
基于所述全部候选图像集中的各个候选图像集对应的样本特征数量,确定各个第一图像集对应的样本特征数量,任一第一图像集中包括满足第一条件的两个候选图像集中的目标图像;
基于所述各个第一图像集对应的样本特征数量和所述各个候选图像集对应的样本特征数量,确定各个第二图像集对应的样本特征数量,任一第二图像集中包括满足第二条件的三个候选图像集中的目标图像;
以此类推,直至确定包括全部目标图像的最终图像集对应的样本特征数量;
基于所述最终图像集对应的样本特征数量进行反向推导,确定与所述最终图像集对应的样本特征数量对应的第二参考数量的候选图像集。
4.根据权利要求1所述的方法,其特征在于,所述基于所述全部候选图像集中的各个候选图像集对应的样本特征数量,在所述全部候选图像集中确定使全部目标图像的检索所需的样本特征数量最少的第二参考数量的候选图像集,包括:
基于所述全部候选图像集中的各个候选图像集对应的样本特征数量,确定各个第一图像集对应的样本特征数量,任一第一图像集中包括满足第一条件的两个候选图像集中的目标图像;
基于所述各个第一图像集对应的样本特征数量和所述各个候选图像集对应的样本特征数量,确定各个第二图像集对应的样本特征数量,任一第二图像集中包括满足第二条件的三个候选图像集中的目标图像;
以此类推,直至确定各个中间图像集对应的样本特征数量,任一中间图像集中包括一半数量的目标图像;基于所述各个中间图像集对应的样本特征数量,确定包括全部目标图像的最终图像集对应的样本特征数量;
基于所述最终图像集对应的样本特征数量进行反向推导,确定与所述最终图像集对应的样本特征数量对应的第二参考数量的候选图像集。
5.根据权利要求1所述的方法,其特征在于,所述获取所述至少一个目标图像中的各个目标图像的检索结果,包括:
对于所述任一目标图像,获取所述任一目标图像对应的第三参考数量的目标样本特征,所述目标样本特征为与所述任一目标图像对应的目标特征的相似度满足第一参考条件的样本特征;
对所述第三参考数量的目标样本特征进行排序,得到所述任一目标图像的检索结果。
6.根据权利要求1所述的方法,其特征在于,所述在样本特征库中,确定至少一个中心特征和每个中心特征对应的样本特征集,包括:
在样本特征库中,对初始样本特征进行聚类,得到至少一个初始样本特征集;
对于所述至少一个初始样本特征集中的任一初始样本特征集,将所述任一初始样本特征集的聚类中心对应的样本特征作为任一中心特征;
对于除所述初始样本特征外的任一样本特征,将所述任一样本特征添加至与所述任一样本特征相似度最大的中心特征对应的初始样本特征集中;
当不存在未添加至初始样本特征集中的样本特征时,得到每个中心特征对应的样本特征集。
7.根据权利要求1所述的方法,其特征在于,所述基于所述目标特征与各个中心特征的相似度,确定所述目标特征对应的至少一个目标中心特征,包括:
获取所述目标特征的类别;
基于所述目标特征与各个类别匹配的中心特征的相似度,确定所述目标特征对应的至少一个目标中心特征。
8.根据权利要求1所述的方法,其特征在于,所述基于所述目标特征与各个中心特征的相似度,确定所述目标特征对应的至少一个目标中心特征,包括:
对于任一中心特征,当所述目标特征与所述任一中心特征的相似度满足第二参考条件时,将所述任一中心特征作为所述目标特征对应的任一目标中心特征。
9.根据权利要求1所述的方法,其特征在于,所述基于所述目标特征与各个中心特征的相似度,确定所述目标特征对应的至少一个目标中心特征,包括:
基于压缩处理后的目标特征与各个压缩处理后的中心特征的相似度,确定所述压缩处理后的目标特征对应的至少一个压缩处理后的目标中心特征。
10.一种图像检索装置,其特征在于,所述装置包括:
第一获取模块,用于获取至少一个待检索的目标图像和每个目标图像对应的目标特征;
第一确定模块,用于在样本特征库中,确定至少一个中心特征和每个中心特征对应的样本特征集;
第二确定模块,用于对于任一目标图像对应的目标特征,基于所述目标特征与各个中心特征的相似度,确定所述目标特征对应的至少一个目标中心特征;将各个目标中心特征对应的样本特征集的并集作为所述任一目标图像对应的第一候选样本特征集;
第二获取模块,用于基于至少一个目标图像中的各个目标图像对应的第一候选样本特征集,获取所述至少一个目标图像中的各个目标图像的检索结果;
其中,所述至少一个目标图像中的各个目标图像的检索结果的获取方式包括:
当所述至少一个目标图像的数量不小于数量阈值时,基于所述至少一个目标图像,确定包括第一参考数量的目标图像的全部候选图像集;获取所述全部候选图像集中的任一候选图像集对应的样本特征数量;
基于所述全部候选图像集中的各个候选图像集对应的样本特征数量,在所述全部候选图像集中确定使全部目标图像的检索所需的样本特征数量最少的第二参考数量的候选图像集;根据所述第二参考数量的候选图像集,将所述至少一个目标图像划分为所述第二参考数量的目标图像集,所述第二参考数量为所述至少一个目标图像的数量与所述第一参考数量的比值;
对于任一目标图像集,将所述任一目标图像集中的各个目标图像对应的第一候选样本特征集的并集作为所述任一目标图像集对应的第二候选样本特征集;在所述任一目标图像集对应的第二候选样本特征集中对所述任一目标图像集中的各个目标图像进行检索,得到所述任一目标图像集中的各个目标图像的检索结果。
11.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现如权利要求1至9任一所述的图像检索方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现如权利要求1至9任一所述的图像检索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911235697.XA CN110942046B (zh) | 2019-12-05 | 2019-12-05 | 图像检索方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911235697.XA CN110942046B (zh) | 2019-12-05 | 2019-12-05 | 图像检索方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110942046A CN110942046A (zh) | 2020-03-31 |
CN110942046B true CN110942046B (zh) | 2023-04-07 |
Family
ID=69909613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911235697.XA Active CN110942046B (zh) | 2019-12-05 | 2019-12-05 | 图像检索方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110942046B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111859004A (zh) * | 2020-07-29 | 2020-10-30 | 书行科技(北京)有限公司 | 检索图像的获取方法、装置、设备及可读存储介质 |
CN111738362B (zh) * | 2020-08-03 | 2020-12-01 | 成都睿沿科技有限公司 | 对象识别方法及装置、存储介质及电子设备 |
CN113343009A (zh) * | 2021-01-05 | 2021-09-03 | 辽宁工程技术大学 | 一种基于K-centroid聚类和相关反馈的图像检索方法 |
CN113590898A (zh) * | 2021-09-26 | 2021-11-02 | 腾讯科技(深圳)有限公司 | 数据检索方法、装置、电子设备、存储介质及计算机产品 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2562690A2 (en) * | 2011-08-22 | 2013-02-27 | Siemens Aktiengesellschaft | Assigning a number of reference measurement data sets to an input measurement data set |
CN103678504A (zh) * | 2013-11-19 | 2014-03-26 | 西安华海盈泰医疗信息技术有限公司 | 基于相似度的乳腺图像的匹配图像检索方法及检索系统 |
CN103810223A (zh) * | 2012-11-15 | 2014-05-21 | 中国科学院软件研究所 | 一种基于数据分组的内存数据组织查询方法 |
CN104298713A (zh) * | 2014-09-16 | 2015-01-21 | 北京航空航天大学 | 一种基于模糊聚类的图片检索方法 |
WO2015053604A1 (en) * | 2013-10-08 | 2015-04-16 | Data Calibre Sdn Bhd | A face retrieval method |
CN106126572A (zh) * | 2016-06-17 | 2016-11-16 | 中国科学院自动化研究所 | 基于区域验证的图像检索方法 |
CN107220376A (zh) * | 2017-06-21 | 2017-09-29 | 北京奇艺世纪科技有限公司 | 一种数据查询方法和装置 |
CN108108499A (zh) * | 2018-02-07 | 2018-06-01 | 腾讯科技(深圳)有限公司 | 人脸检索方法、装置、存储介质及设备 |
CN109086376A (zh) * | 2018-07-24 | 2018-12-25 | 北京大学 | 基于sparql查询语言的多查询方法和装置 |
CN109101602A (zh) * | 2018-08-01 | 2018-12-28 | 腾讯科技(深圳)有限公司 | 图像检索模型训练方法、图像检索方法、设备及存储介质 |
CN109271545A (zh) * | 2018-08-02 | 2019-01-25 | 深圳市商汤科技有限公司 | 一种特征检索方法及装置、存储介质和计算机设备 |
WO2019020049A1 (zh) * | 2017-07-28 | 2019-01-31 | 杭州海康威视数字技术股份有限公司 | 一种图像检索方法、装置及电子设备 |
CN110134804A (zh) * | 2019-05-20 | 2019-08-16 | 北京达佳互联信息技术有限公司 | 图像检索方法、装置及存储介质 |
CN110209867A (zh) * | 2019-06-05 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 图像检索模型的训练方法、装置、设备及存储介质 |
CN110297935A (zh) * | 2019-06-28 | 2019-10-01 | 京东数字科技控股有限公司 | 图像检索方法、装置、介质及电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5104743B2 (ja) * | 2008-12-16 | 2012-12-19 | 富士通株式会社 | 画像検索プログラム、画像検索方法及び記録媒体 |
US8891902B2 (en) * | 2010-02-16 | 2014-11-18 | Imprezzeo Pty Limited | Band weighted colour histograms for image retrieval |
US10248960B2 (en) * | 2010-11-16 | 2019-04-02 | Disney Enterprises, Inc. | Data mining to determine online user responses to broadcast messages |
-
2019
- 2019-12-05 CN CN201911235697.XA patent/CN110942046B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2562690A2 (en) * | 2011-08-22 | 2013-02-27 | Siemens Aktiengesellschaft | Assigning a number of reference measurement data sets to an input measurement data set |
CN103810223A (zh) * | 2012-11-15 | 2014-05-21 | 中国科学院软件研究所 | 一种基于数据分组的内存数据组织查询方法 |
WO2015053604A1 (en) * | 2013-10-08 | 2015-04-16 | Data Calibre Sdn Bhd | A face retrieval method |
CN103678504A (zh) * | 2013-11-19 | 2014-03-26 | 西安华海盈泰医疗信息技术有限公司 | 基于相似度的乳腺图像的匹配图像检索方法及检索系统 |
CN104298713A (zh) * | 2014-09-16 | 2015-01-21 | 北京航空航天大学 | 一种基于模糊聚类的图片检索方法 |
CN106126572A (zh) * | 2016-06-17 | 2016-11-16 | 中国科学院自动化研究所 | 基于区域验证的图像检索方法 |
CN107220376A (zh) * | 2017-06-21 | 2017-09-29 | 北京奇艺世纪科技有限公司 | 一种数据查询方法和装置 |
WO2019020049A1 (zh) * | 2017-07-28 | 2019-01-31 | 杭州海康威视数字技术股份有限公司 | 一种图像检索方法、装置及电子设备 |
CN108108499A (zh) * | 2018-02-07 | 2018-06-01 | 腾讯科技(深圳)有限公司 | 人脸检索方法、装置、存储介质及设备 |
CN109086376A (zh) * | 2018-07-24 | 2018-12-25 | 北京大学 | 基于sparql查询语言的多查询方法和装置 |
CN109101602A (zh) * | 2018-08-01 | 2018-12-28 | 腾讯科技(深圳)有限公司 | 图像检索模型训练方法、图像检索方法、设备及存储介质 |
CN109271545A (zh) * | 2018-08-02 | 2019-01-25 | 深圳市商汤科技有限公司 | 一种特征检索方法及装置、存储介质和计算机设备 |
CN110134804A (zh) * | 2019-05-20 | 2019-08-16 | 北京达佳互联信息技术有限公司 | 图像检索方法、装置及存储介质 |
CN110209867A (zh) * | 2019-06-05 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 图像检索模型的训练方法、装置、设备及存储介质 |
CN110297935A (zh) * | 2019-06-28 | 2019-10-01 | 京东数字科技控股有限公司 | 图像检索方法、装置、介质及电子设备 |
Non-Patent Citations (3)
Title |
---|
XiangYang Wang."An image retrieval scheme with relevance feedback using feature reconstruction and SVM reclassifICation".《ELSEVIER》.2014,第214-230页. * |
张洪群等."深度学习的半监督遥感图像检索".《遥感学报》 .2017,第21卷(第3期),第406-414页. * |
熊舒羽等 ."基于深度哈希的批量图像并行检索方法".《重庆理工大学学报(自然科学)》.2018,第32卷(第1期),第188-194页. * |
Also Published As
Publication number | Publication date |
---|---|
CN110942046A (zh) | 2020-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109299315B (zh) | 多媒体资源分类方法、装置、计算机设备及存储介质 | |
CN110134804B (zh) | 图像检索方法、装置及存储介质 | |
CN110942046B (zh) | 图像检索方法、装置、设备及存储介质 | |
CN109189950B (zh) | 多媒体资源分类方法、装置、计算机设备及存储介质 | |
CN110222789B (zh) | 图像识别方法及存储介质 | |
CN111897996B (zh) | 话题标签推荐方法、装置、设备及存储介质 | |
CN111243668B (zh) | 分子结合位点检测方法、装置、电子设备及存储介质 | |
CN110162604B (zh) | 语句生成方法、装置、设备及存储介质 | |
CN111104980B (zh) | 确定分类结果的方法、装置、设备及存储介质 | |
CN110503160B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN112163428A (zh) | 语义标签的获取方法、装置、节点设备及存储介质 | |
CN113032587B (zh) | 多媒体信息推荐方法、系统、装置、终端和服务器 | |
CN110705614A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN111209377A (zh) | 基于深度学习的文本处理方法、装置、设备及介质 | |
CN113987326B (zh) | 资源推荐方法、装置、计算机设备及介质 | |
CN114299306A (zh) | 获取图像检索模型的方法、图像检索方法、装置和设备 | |
CN114281936A (zh) | 分类方法、装置、计算机设备及存储介质 | |
CN114282035A (zh) | 图像检索模型的训练和检索方法、装置、设备及介质 | |
CN113343709B (zh) | 意图识别模型的训练方法、意图识别方法、装置及设备 | |
CN114817709A (zh) | 排序方法、装置、设备及计算机可读存储介质 | |
CN112287193A (zh) | 数据聚类方法、装置、计算机设备及存储介质 | |
CN111782767A (zh) | 问答方法、装置、设备及存储介质 | |
CN111143441A (zh) | 性别确定方法、装置、设备及存储介质 | |
CN114417046B (zh) | 特征提取模型的训练方法、图像检索方法、装置及设备 | |
CN110458289B (zh) | 多媒体分类模型的构建方法、多媒体分类方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022982 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |