CN114329026A - 图像检索方法、装置、电子设备和计算机可读存储介质 - Google Patents
图像检索方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN114329026A CN114329026A CN202111018523.5A CN202111018523A CN114329026A CN 114329026 A CN114329026 A CN 114329026A CN 202111018523 A CN202111018523 A CN 202111018523A CN 114329026 A CN114329026 A CN 114329026A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- retrieval
- sample
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像检索方法、装置、电子设备和计算机可读存储介质;本发明实施例在获取原始图像、原始图像对应的原始图像特征、以及新增的至少一张目标图像后,对目标图像进行特征提取,得到目标图像对应的目标图像特征,然后,根据目标图像特征对原始图像特征进行更新,得到更新后图像特征,然后,将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征,当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像;该方案可以提升图像检索的效率。
Description
技术领域
本发明涉及通信技术领域,具体涉及一种图像检索方法、装置、电子设备和计算机可读存储介质。
背景技术
近年来,随着互联网技术的飞速发展,互联网上具有了海量的内容,比如,海量的图像。在图像数据库中检索出需要的图像需要通过图像特征进行对比。当图像检索存在异常时,往往就需要对图像数据进行更新。当存在新增图像时,现有图像检索方法往往需要将新增图像和原始图像统一进行特征提取来生成新的图像特征库,然后,基于新的图像特征库进行图像检索。
在对现有技术的研究和实践过程中,本发明的发明人发现将新增图像和原始图像统一进行特征提取意味着需要重新提取一次原始图像的图像特征,而新增图像数量相对原始图像的数量往往较少,从而造成计算资源的浪费,而且还增加图像特征的提取时间,因此,导致图像检索的效率大大降低。
发明内容
本发明实施例提供一种图像检索方法、装置、电子设备和计算机可读存储介质,可以提高图像检索的效率大大降低。
一种图像检索方法,包括:
获取原始图像、所述原始图像对应的原始图像特征、以及新增的至少一张目标图像,所述目标图像为针对所述原始图像检索错误而新增的图像;
对所述目标图像进行特征提取,得到所述目标图像对应的目标图像特征;
根据所述目标图像特征对所述原始图像特征进行更新,得到更新后图像特征,所述更新后图像特征与目标图像特征为同一特征空间下的图像特征;
将所述目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征;
当接收到图像检索请求时,对所述图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在所述原始图像和目标图像中检索出目标检索图像。
相应的,本发明实施例提供一种图像检索装置,包括:
获取单元,用于获取原始图像、所述原始图像对应的原始图像特征、以及新增的至少一张目标图像,所述目标图像为针对所述原始图像检索错误而新增的图像;
提取单元,用于对所述目标图像进行特征提取,得到所述目标图像对应的目标图像特征;
更新单元,用于根据所述目标图像特征对所述原始图像特征进行更新,得到更新后图像特征,所述更新后图像特征与目标图像特征为同一特征空间下的图像特征;
融合单元,用于将所述目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征;
检索单元,用于当接收到图像检索请求时,对所述图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在所述原始图像和目标图像中检索出目标检索图像。
可选的,在一些实施例中,所述更新单元,具体可以用于获取所述原始图像特征的原始特征空间信息和目标图像特征的目标特征空间信息,并将所述原始特征空间信息和目标特征空间信息进行对比;基于对比结果,采用训练后图像检索模型的特征映射网络将所述原始图像特征映射至所述目标图像特征的特征空间下,得到更新后图像特征。
可选的,在一些实施例中,所述图像检索装置还可以包括训练单元,所述训练单元,具体可以用于获取图像样本集合,所述图像样本集合中包括原始图像样本对和新增的目标图像样本对;在所述原始图像样本对和目标图像样本对中提取出用于训练的图像样本三元组;根据所述原始图像样本对和图像样本三元组对预设图像检索模型的第一图像检索网络进行训练,得到训练后第一图像检索网络;基于所述图像样本集合和图像样本三元组,对所述训练后第一图像检索网络和预设图像检索模型中的特征映射网络进行联合训练,得到训练后图像检索模型。
可选的,在一些实施例中,所述训练单元,具体可以用于获取原始图像样本对,并采集所述预设图像检索模型中的第二图像检索网络检索错误的图像,得到异常图像样本对,所述第二图像检索网络为所述原始图像样本对训练而来;获取所述原始图像样本对的泛化图像,得到泛化图像样本对,将所述异常图像样本对和泛化图像样本对作为新增的目标图像样本对;将所述目标图像样本对和原始图像样本对进行融合,得到所述图像样本集合。
可选的,在一些实施例中,所述训练单元,具体可以用于在所述原始图像样本对和目标图像样本对中筛选出目标图像样本;分别计算所述目标图像样本与图像样本集合中的剩余图像样本之间的图像距离;基于所述图像距离,在所述图像样本集合中筛选出所述目标图像样本对应的预设数量的图像负样本,并将所述图像负样本添加至所述目标图像样本对应的图像样本对中,得到所述目标图像样本的图像样本三元组。
可选的,在一些实施例中,所述训练单元,具体可以用于采用预设图像检索模型的第一图像检索网络对所述原始图像样本对中的原始图像样本进行特征提取,得到所述原始图像样本特征;在所述原始图像样本特征中筛选出所述图像样本三元组对应的目标原始图像特征;计算所述目标原始图像特征之间的特征距离,得到所述图像样本三元组对应的原始三元组损失信息;基于所述原始三元组损失信息对所述第一图像检索网络进行收敛,得到训练后第一图像检索网络。
可选的,在一些实施例中,所述训练单元,具体可以用于采用所述训练后第一图像检索网络对所述图像样本集合中的图像样本进行特征提取,得到第一图像特征;采用所述第二图像检索网络对所述图像样本集合中的图像样本进行特征提取,并采用所述预设图像检索模型中的特征映射网络对提取到的特征进行映射,得到第二图像特征;根据所述第一图像特征、第二图像特征和图像样本三元组,对所述训练后第一图像检索网络和特征映射网络进行收敛,得到训练后图像检索模型。
可选的,在一些实施例中,所述训练单元,具体可以用于在所述图像样本三元组中筛选出由所述目标图像样本对中的图像样本组成的三元组,得到目标图像样本三元组;在所述图像样本三元组中筛选出由所述目标图像样本对中的图像样本和原始图像样本对中的图像样本组成的三元组,得到混合图像样本三元组;根据所述目标图像样本三元组、混合图像样本三元组、第一图像特征和第二图像特征,确定所述图像样本集合对应的目标损失信息;根据所述目标损失信息,对所述训练后第一图像检索网络和特征映射网络进行收敛,得到训练后图像检索模型。
可选的,在一些实施例中,所述训练单元,具体可以用于根据第一图像特征,确定所述目标图像样本三元组的三元组损失信息,得到目标三元组损失信息;基于所述第二图像特征,确定所述混合图像样本三元组的三元组损失信息,得到混合三元组损失信息;将所述目标三元组损失信息和混合三元组损失信息进行融合,得到所述图像样本集合对应的目标损失信息。
可选的,在一些实施例中,所述训练单元,具体可以用于在所述混合图像样本三元组中筛选出任意一个图像样本作为计算三元组损失信息的当前图像样本;根据所述当前图像样本和第二图像特征,计算所述混合图像样本三元组的三元组损失信息,得到初始混合三元组损失信息;返回执行所述在所述混合图像样本三元组中筛选出任意一个图像样本作为计算三元组损失信息的当前图像样本的步骤,直至所述混合图像样本三元组中的所有图像样本都作为当前图像样本计算三元组损失信息为止,得到所述混合图像样本三元组中每一图像样本对应的初始混合三元组损失信息;将所述初始混合三元组损失信息进行融合,得到混合三元组损失信息。
可选的,在一些实施例中,所述检索单元,具体可以用于计算所述待检索图像特征与所述全量图像特征中的每一图像特征之间的特征距离,得到第一特征距离;对所述第一特征距离进行排序,并根据排序结果,在原始图像和目标图像中检索出目标检索图像。
可选的,在一些实施例中,所述检索单元,具体可以用于根据所述全量图像特征对所述原始图像对应的聚类中心进行更新;基于更新后聚类中心与待检索图像特征之间的特征距离,在更新后聚类中心对应的索引中筛选出目标索引;根据所述目标索引,在所述原始图像和目标图像中检索出目标检索图像。
可选的,在一些实施例中,所述检索单元,具体可以用于在所述原始图像和目标图像中筛选出目标索引对应的至少一张候选检索图像;计算所述待检索图像特征和候选检索图像的图像特征之间的特征距离,得到第二特征距离;根据第二特征距离,在所述候选检索图像中筛选出目标检索图像。
此外,本发明实施例还提供一种电子设备,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的图像检索方法。
此外,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种图像检索方法中的步骤。
本发明实施例在获取原始图像、原始图像对应的原始图像特征、以及新增的至少一张目标图像后,对目标图像进行特征提取,得到目标图像对应的目标图像特征,然后,根据目标图像特征对原始图像特征进行更新,得到更新后图像特征,然后,将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征,当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像;由于该方案可以将原始图像特征迁移至目标图像特征的特征空间下,从而可以快速更新用于图像检索的图像特征,无需重新对原始图像进行特征提取,避免了计算资源的浪费,而且还可以提升图像特征的提取效率,因此,可以提升图像检索的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像检索方法的场景示意图;
图2是本发明实施例提供的图像检索方法的流程示意图;
图3是本发明实施例提供的第二图像检索网络训练过程的示意图;
图4是本发明实施例提供的第一图像检索网络和特征映射网络进行联合训练的网络结构图;
图5是本发明实施例提供的分桶检索的流程示意图;
图6是本发明实施例提供的图像检索方法的另一流程示意图;
图7是本发明实施例提供的图像检索装置的结构示意图;
图8是本发明实施例提供的图像检索装置的另一结构示意图;
图9是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种图像检索方法、装置和计算机可读存储介质。其中,该图像检索装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视和智能车载终端等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
例如,参见图1,以图像检索装置集成在电子设备中为例,电子设备获取原始图像、原始图像对应的原始图像特征、以及新增的至少一张目标图像后,对目标图像进行特征提取,得到目标图像对应的目标图像特征,然后,根据目标图像特征对原始图像特征进行更新,得到更新后图像特征,然后,将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征,当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像,进而提升图像检索的效率。
以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例的图像检索方法可以由电子设备执行,该电子设备可以为图1的服务器,也可以为图2的终端等设备。
一种图像检索方法,包括:
获取原始图像、该原始图像对应的原始图像特征、以及新增的至少一张目标图像,该目标图像为针对原始图像检索错误而新增的图像,对目标图像进行特征提取,得到目标图像对应的目标图像特征,根据目标图像特征对原始图像特征进行更新,得到更新后图像特征,该更新后图像特征与目标图像特征为同一特征空间下的图像特征,将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征,当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像。
如图2所示,该图像检索方法可以由电子设备执行,具体流程如下:
101、获取原始图像、原始图像对应的原始图像特征、以及新增的至少一张目标图像。
其中,目标图像为针对原始图像检索错误而新增的图像,这里的原始图像检索错误可以理解为在原始图像中未检索到用户需要检索的图像或者检索出错误的图像,出现这种情况之后,就需要在原始图像构成的图像数据库中新增一张或多张目标图像,这里新增目标图像的作用就是使得图像数据库中存在用户需要检索的图像,从而提升图像检索的准确性。
其中,获取原始图像、原始图像特征和目标图像的方式可以有多种,具体可以如下:
例如,对于原始图像和原始图像特征来说,可以直接获取原始图像和原始图像特征,或者,还可以获取原始图像,采用原始图像检索模型对原始图像进行特征提取,得到原始图像对应的原始图像特征。
对于目标图像来说,可以采用原始图像检索模型对原始图像进行特征提取,得到原始图像对应的原始图像特征,将目标待检索图像输入至原始图像检索模型,通过原始图像检索模型根据原始图像特征在原始图像中检索出候选图像,当检索出的候选图像存在异常或者错误时,将该目标待检索图像作为需要新增的目标图像,或者,可以获取原始图像的图像类型,根据该图像类型,在预设图像数据库中筛选出与该图像类型不同的图像作为原始图像的泛化图像,将该泛化图像作为目标图像,或者,还可以接收用户通过终端上传的需要新增至原始图像中的图像,从而得到目标图像。
102、对目标图像进行特征提取,得到目标图像对应的目标图像特征。
例如,可以采用训练后图像检索模型的第一图像检索网络对目标图像进行特征提取,从而得到目标图像对应的目标图像特征。
其中,需要说明的是对目标图像进行特征提取的第一图像检索网络与提取原始图像的原始图像特征的图像检索网络是不同的,原始图像特征可以由图像检索装置中的原始图像检索模型或者预设图像检索模型中的第二图像检索网络对原始图像进行特征提取得到的,也可以是由其他装置或者其他设备对原始图像提取得到的。第一图像检索网络的网络结构可以有多种,比如,可以为神经网络(CNN)中的任意一个网络结构,譬如,可以为残差网络、深度网络或者其他结构的神经网络。
103、根据目标图像特征对原始图像特征进行更新,得到更新后图像特征。
其中,更新后图像特征与目标图像特征为同一特征空间下的图像特征,因此,这里的更新就可以理解为将原始图像特征映射至目标图像特征的特征空间下,使得目标图像特征和更新后图像特征可以相互进行特征检索,从而就可以构成图像检索装置的图像特征库中的图像特征。
其中,对原始图像特征进行更新的方式可以有多种,具体可以如下:
例如,可以获取原始图像特征的原始特征空间信息和目标图像特征的目标特征空间信息,并将原始特征空间信息和目标特征空间信息进行对比,基于对比结果,采用训练后图像检索模型的特征映射网络将原始图像特征映射至目标图像特征的特征空间下,得到更新后图像特征。
其中,基于对比结果,采用特征映射网络将原始图像特征映射至目标图像特征的特征空间的方式可以有多种,比如,基于对比结果,确定对原始图像特征映射的映射参数,基于该映射参数,采用特征映射网络将原始图像特征映射至目标图像特征的特征空间下,从而得到更新后图像特征,或者,基于对比结果,在特征映射网络的映射参数集合中筛选出对比结果对应的映射参数,得到目标映射参数,基于该目标映射参数,采用特征映射网络将原始图像特征映射至目标图像特征的特征空间下,从而得到更新后图像特征。
其中,该训练后图像检索模型可以根据实际应用的需求进行设置,另外,需要说明的是,该训练后图像检索模型可以由维护人员预先进行设置,也可以有图像检索装置自行进行训练,即步骤“基于对比结果,采用训练后图像检索模型的特征映射网络将所述原始图像特征映射至所述目标图像特征的特征空间下,得到更新后图像特征”之前,该图像检索方法还可以包括:
获取图像样本集合,该图像样本集合包括原始图像样本对和新增的目标图像样本对,在原始图像样本对和目标图像样本对中提取出用于训练的图像样本三元组,根据原始图像样本对和图像样本三元组对预设图像检索模型的第一图像检索网络进行训练,得到训练后第一图像检索网络,基于图像样本集合和图像样本三元组,对训练后第一图像检索网络和预设图像检索模型中的特征映射网络进行联合训练,得到训练后图像检索模型。
其中,获取图像样本集合的方式可以有多种,比如,可以获取原始图像样本,并采集预设图像检索模型中的第二图像检索网络检索错误的图像,得到异常图像样本对,该第二图像检索网络为原始图像样本对训练而来的,具体训练过程可以如图3所示。获取原始图像样本对的泛化图像,得到泛化图像样本对,将异常图像样本对和泛化图像样本对作为新增的目标图像样本对。
其中,原始图像样本对可以为现存的相似图像对(即标注两张图是否为相同/相似的图像对),成为正样本对,该原始图像样本对已经用于对第二图像检索模型进行训练了,但是由于数据覆盖不全等问题,有些图像样式检索效果差。异常图像样本对可以为理解为检索错误样本(badcase)的样式相同/相近的图像正样本对,采集的异常图像样本对都可以认为是第二图像检索网络下的badcase样本。泛化图像样本对可以为与原始图像样本对不同领域的样本,比如,以原始图像样本对中具有更多的真人场景样本,则泛化领域就可以包括游戏场景、动漫场景等正样本对训练集。
在获取到原始图像样本之后,便可以在原始图像样本对和目标图像样本对中提取出用于训练的图像样本三元组,所谓三元组可以为一个图像样本与该图像样本对应的正样本和负样本组成的图像样本组。提取该突显样本三元组的方式可以有多种,比如,可以在原始图像样本对和目标图像样本筛选出目标图像样本,分别计算目标图像样本与图像样本集合中的剩余图像样本之间的图像距离,基于图像距离,在图像样本集合中筛选出目标图像样本对应的预设数量的图像负样本,并将该图像负样本添加中目标图像样本对应的图像样本对中,得到目标图像样本的图像样本的图像样本三元组。
其中,可以发现图像样本三元组主要是通过图像样本的相似样本中进行挖掘得到的三元组,比如,可以将图像样本集合进行分批,每bs个图像样本分为一批,在每个batch(bs)的样本中任意选择一个图像样本作为目标图像样本x,从剩余的(bs-1)个图像样本对(每对随机选择一张图像样本)的图像样本中计算其与x的距离,按照距离从小到大排序,取TOP N个样本作为图像负样本,分别与x中的图像正样本组成三元组。需要注意的是,本方案中主要针对相同图像样本的学习,故对于某一张图像样本来说,所有不同图像样本都可以为负样本,上述从小到大排序后的图像样本相对于x是从相似到不相似的排序,由于图像样本三元组学习中难负样本对预设图像检索模型的训练效果更好,因此,选择最难的N个负样本作为图像负样本来构成图像样本三元组,从而就可以得到原始图像样本对和目标图像样本对中每一图像样本对应的图像样本三元组。因此,图像样本三元组中的图像样本的组成方式就可以包括三种:一是原始图像样本对+其他原始图像样本对中的某一张图像样本,二是目标图像样本对+其他目标图像样本对中的某一张图像样本,三是原始图像样本对+目标图像样本对中的某一张图像样本/目标图像样本对+原始图像样本对中的某一张图像样本。
在提取出用于训练的图像样本三元组之后,便可以基于该三元组对预设图像检索模型的第一检索网络进行训练,得到训练后第一图像检索网络,训练的方式可以有多种,比如,采用预设图像检索模型的第一图像检索网络对原始图像样本对中的原始图像样本进行特征提取,得到原始图像样本特征,在原始图像样本特征中筛选出图像样本三元组对应的目标原始图像特征,计算目标原始图像特征之间的特征距离,得到图像样本三元组对应的原始三元组损失信息,基于原始三元组损失信息对第一图像检索网络进行收敛,得到训练后第一图像检索网络。
其中,由于对第一图像检索网络进行训练时,输入的是全量的原始图像样本对,因此,需要提取的目标原始图像特征对应的图像样本三元组的类型就可以为原始图像样本对+其他原始图像样本对中的某一图像样本组成的三元组,也可以被称为原始图像样本三元组。因此,在原始图像特征中筛选出原始图像样本三元组对应的目标原始图像特征的方式可以有多种,比如,可以在原始图像样本特征中筛选出原始图像样本三元组中目标原始样本对应图像特征,得到第一原始图像特征,在原始图像样本特征中筛选出目标原始图像样本的图像正样本对应的图像特征,得到第二原始图像特征,在原始图像特征中筛选出目标原始图像样本的图像负样本对应的图像特征,得到第三原始图像特征,将第一原始图像特征、第二原始图像特征和第三原始图像特征作为目标原始图像特征。
在筛选出目标原始图像特征之后,便可以计算目标原始图像特征之间的特征距离,得到图像样本三元组对应的原始三元组损失信息,计算原始三元组损失信息的方式可以有多种,比如,可以计算第一原始图像特征与第二原始图像特征的特征距离,得到第一特征距离,计算第一原始图像特征与第三原始图像特征的特征距离,得到第二特征距离,并计算第一特征距离和第二特征距离的距离差值,将该距离差值与预设边缘距离进行融合,得到融合后距离差值。将该融合后距离差值与预设距离阈值进行对比,当融合后距离差值超过预设距离阈值时,将融合后距离差值作为原始三元组损失信息,当融合后距离差值未超过预设距离阈值时,将预设距离阈值作为原始三元组损失信息,具体可以如公式(1)所示:
ltri=max(||xa-xp||-||xa-xn||+α,0) (1)
其中,ltri为原始三元组损失信息,xa为第一原始图像特征,xp为第二原始图像特征,xn为第三原始图像特征,α为预设边缘距离,预设距离阈值为0。在图像样本三元组为原始图像样本三元组时,α可以设定为0.8或者根据实际应用设定其他数值。
其中,以第一图像检索网络为残差网络(resnet101),该残差网络为例,对第一图像检索网络的训练的过程可以如下所示:
(1)参数初始化:Conv1-Conv5采用预设图像检索模型的第二图像检索网络的参数进行初始化。
(2)设置学习参数:设置学习参数为表1和表2所示,即所有网络参数都需要学习。
(3)学习率:基础特征和图像特征层均采用lr1=0.0005学习率。
(4)学习过程:对全量数据,进行epoch(一轮)迭代;每轮迭代处理一次全量样本。
(5)每轮迭代中的具体操作如下:把全量的原始图像样本对的每batch-size个样本为一批次,分成Nb个批次,对于每个batch,进行如下训练过程:
A、网络前向:训练时第一图像检索网络对输入的一张原始图像样本进行前向计算得到预测结果,输出原始图像特征;
B、损失计算:在batch样本中找到原始图像样本三元组,并计算该原始图像样本三元组的目标原始图像特征的原始三元组损失信息。
C、第一图像检索网络的网络参数更新:采用SGD随机梯度下降算法或者其他梯度下降算法,把原始三元组损失信息进行梯度后向计算并得到全部网络参数的更新值,并更新第一检索网络。
D、停止条件(收敛条件):记录第一图像检索网络每epoch下的平均损失信息,当第一图像检索网络的平均损失信息持续5轮(epoch)未下降后,停止第一图像检索网络的训练。
表1 ResNet-101特征模块结构表
表2第一检索网络的网络结构
网络层标识 | Output size | 网络层 |
Pool | 1x2048 | 最大池化层 |
Embedding | 1x128 | 全连接层 |
L2Norm | 1x128 | 归一化层 |
在对第一图像检索网络训练之后,还可以基于图像样本集合和图像样本三元组,对训练后第一图像检索网络和预设图像检索模型中的特征映射网络进行联合训练,联合训练的方式可以有多种,比如,可以采用训练后第一图像检索网络对图像样本集合中的图像样本进行特征提取,得到第一图像特征,采用第二图像检索网络对图像样本集合中的图像样本进行特征提取,得到第二图像特征,根据第一图像特征、第二图像特征和图像样本三元组,对训练后第一图像检索网络和特征映射网络进行收敛,得到训练后图像检索模型。
其中,根据第一图像特征、第二图像特和图像样本三元组,对训练后第一图像检索网络和特征映射网络进行收敛的方式可以有多种,比如,可以在图像样本三元组中筛选出由所述目标图像样本对中的图像样本组成的三元组,得到目标图像样本三元组,在图像样本三元组中筛选出由所述目标图像样本对中的图像样本和原始图像样本对中的图像样本组成的三元组,得到混合图像样本三元组,根据目标图像样本三元组、混合图像样本三元组、第一图像特征和第二图像特征,确定图像样本集合对应的目标损失信息,根据目标损失信息,对训练后第一检索网络和特征映射网络进行收敛,得到训练后图像检索模型。
其中,目标图像样本三元组可以由目标图像样本对中的三个图像样本组成,混合图像样本三元组可以为由目标图像样本对和原始图像样本对中的图像样本对组成,比如,可以包括两个目标图像样本对中的图像样本和一个原始图像样本对中的图像样本,或者,还可以包括两个原始图像样本对中的图像样本和一个目标图像样本对中的图像样本。根据目标图像样本三元组、混合图像样本三元组、第一图像特征和第二图像特征,确定图像样本集合对应的目标损失信息的方式可以有多种,比如,根据第一图像特征,确定目标图像样本三元组的三元组损失信息,得到目标三元组损失信息,基于第二图像特征,确定混合图像样本三元组的三元组损失信息,得到混合三元组损失信息,将目标三元组损失信息和混合三元组损失信息进行融合,得到图像样本集合对应的目标损失信息。
其中,根据第一图像特征,确定目标三元组损失信息的方式可以参考原始三元组损失信息的计算方式,在此就不再赘述。根据第二图像特征,确定混合三元组损失信息的方式可以有多种方式,比如,可以在混合图像样本三元组中筛选出任意一个图像样本作为计算三元组损失信息的当前图像样本,根据当前图像样本和第二图像特征,计算混合图像样本三元组的三元组损失信息,得到初始混合三元组损失信息,返回执行在混合图像样本三元组中筛选出任意一个图像样本作为计算三元组损失信息的当前图像样本的步骤,直至混合图像样本三元组中所有图像样本都作为当前图像样本计算三元组损失信息为止,得到混合图像样本三元组中每一图像样本对应的初始混合三元组损失信息,将初始混合三元组损失信息进行融合,得到混合三元组损失信息。
其中,目标图像样本三元组损失信息针对的是第一图像检索网络分支,对于目标图像样本三元组(a-p-n)的第一图像特征计算该三元组损失信息。混合三元组损失信息针对的是特征映射网络,对于混合图像样本三元组(a-p-n),分别取其中一个为映射特征(当前图像样本映射出的第二图像特征),比如,可以将a作为映射特征,或者,可以将p作为映射特征,或者,还可以将n作为映射特征。比如,对于10*bs个三元组,就可以得到30*bs个混合triplet loss。混合三元组损失信息采用0.6作为margin(考虑到混合特征实际上会带来相似度度量效果的下降,若仍采用0.8margin,容易造成较大的混合triplet loss,在总loss中使得新特征triplet的占比变小)。
其中,根据当前图像样本和第二图像特征,计算混合图像样本三元组的三元组损失信息,得到初始混合三元组损失信息的方式可以参考原始三元组损失信息或目标三元组损失信息的计算方式,在此就不再一一赘述。
其中,将目标三元组损失信息和混合三元组损失信息进行融合,得到图像样本集合对应的目标损失信息的方式可以有多种,比如,可以获取目标三元组损失信息和混合三元组损失信息的加权系数,根据该加权系数,分别对目标三元组损失信息和混合三元组损失信息进行加权,并将加权后的目标三元组损失信息和混合三元组损失信息进行融合,得到图像样本集合对应的目标损失信息,具体可以如公式(2)所示:
L=Lnew-triplet+0.1*Lmix-triplet (2)
其中,L为目标损失信息,Lnew-triplet为目标三元组损失信息,Lmix-triplet为混合三元组损失信息。考虑到新特征(第一图像特征)更新需要优先保证新特征的检索效果,因此,对映射特征采用了小权重加权,根据上述混合三元组损失信息的原则,混合三元组损失信息的样本数量是目标三元组损失信息的样本数量的三倍,目标损失信息的计算公式还可以如公式(3)所示:
L=Lnew-triplet+0.1*(Lmix-triplet-a+Lmix-triplet-p+Lmix-triplet-n) (3)
其中,L为目标损失信息,Lnew-triplet为目标三元组损失信息,Lmix-triplet-a为当前图像样本为a的初始混合三元组损失信息,Lmix-triplet-p为当前图像样本你为p的初始混合三元组损失信息,Lmix-triplet-n为当前图像样本为n的初始混合三元组损失信息。
在对第一图像检索网络和特征映射网络进行联合训练时,可以针对目标三元组损失信息和混合三元组损失信息同时学习,一方面可以学习到特征的旧-新映射,另一方面可以让新特征进行微调,使得其可以在支持映射特征的检索。
其中,特征映射网络的映射结构为表3所示,可以由一层FC(全连接)层组成的FC_map映射结构(当然可以采用多层FC+relu激活模块作为映射结构,具体可以视数据及模型需求),当映射结构越复杂,应用中映射结构推理也更耗时耗资源,故映射结构的复杂程度也与现实应用有关。
表3
对第一图像检索网络和特征映射网络进行联合训练的网络结构可以如图4所示,以原始图像样本对为旧图像样本、目标图像样本对为新图像样本,第一图像检索网络为新网络,第二图像检索网络为旧网络为例,输入样本同时经过新旧网络,产生新旧图像特征(embedding),旧图像特征经过映射模块产生映射图像特征(第二图像特征)。采用第一图像特征的目标三元组损失信息、映射结构与新特征的混合三元组损失信息学习作为监督信息,更新特征映射网络和新网络(训练后第一图像检索网络),具体训练过程可以如下所示:
1)参数初始化:采用第一次新模型(即训练后第一图像检索网络)学习结果作为本次训练模型的初始化权重。
2)设置学习参数:设置学习参数为表1-2-3,即所有网络参数都需要学习。.
3)学习率:基础特征、embedding层均采用lr1=0.0005学习率。
4)学习过程:对全量数据,进行epoch轮迭代;每轮迭代处理一次全量样本;
5)每轮迭代中的具体操作如下:把全量样本(新旧图像样本对)每batch-size个样本为一批次,分成Nb个批次,对于每个batch,进行:
(1)模型前向:训练时神经网络对输入的一张图片进行前向计算得到预测结果,输出embedding结果(第一图像特征和第二图像特征)。
(2)loss计算:在batch样本中根据上述方法找到三元组计算,根据三元组样本的组成(三元组中三个图像的badcase标志组合)不同,计算某三元组loss,并对所有三元组损失信息求和得到目标损失信息。
(3)模型参数更新:采用SGD随机梯度下降法(或者其他收敛算法),把上一步的目标损失信息进行梯度后向计算并得到全部模型参数的更新值,并更新特征映射网络和训练后第一图像检索网络。
6)停止条件:记录模型每epoch下的平均损失信息,当模型的平均损失信息持续5轮(epoch)或者预设轮次未下降后,停止训练后第一图像检索网络和特征映射网络的联合训练。
104、将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征。
其中,全量图像特征可以为用于图像检索的全部的图像特征。
其中,将目标图像特征和更新后图像特征进行融合的方式可以有多种,具体可以如下:
例如,可以基于更新后图像特征,对预设图像特征集合进行更新,得到更新后图像特征集合,并将目标图像特征添加至更新后图像特征集合,得到全量图像特征,或者,还可以直接将目标图像特征和更新后图像特征进行合并,得到全量图像特征。
105、当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索目标检索图像。
其中,对图像检索请求中携带的待检索图像进行特征提取的方式可以有多种,比如,可以采用训练后图像检索模型中的第一图像检索网络对待检索图像进行特征提取,得到待检索图像的待检索图像特征,其中,这里的训练后图像检索模型中的第一图像检索网络可以为对训练后第一图像检索网络进行联合训练后得到的第一图像检索网络。
在提取出待检索图像特征之后,便可以根据待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像,检索的方式可以有多种,比如,可以计算待检索图像特征与全量图像特征中的每一图像特征之间的特征距离,得到第一特征距离,对第一特征距离进行排序,并根据排序结果,在原始图像和目标图像中检索出目标检索图像,或者,还可以根据全量图像特征对原始图像对应的聚类中心进行更新,基于更新后聚类中心与待检索图像特征之间的特征距离,在更新后距离中心对应的索引中筛选出目标索引,根据目标索引,在原始图像和目标图像中检索出目标检索图像。
其中,根据第一特征距离的排序结果,在原始图像和目标图像中检索出目标检索图像的方式可以有多种,比如,可以在原始图像和目标图像中筛选出排序结果中的top K个图像作为目标检索图像,或者,可以在原始图像和目标图像中筛选出第一特征距离最小的图像作为目标检索图像,或者,还可以在排序结果中筛选出top K个候选图像,将候选图像对应的第一特征距离与预设距离阈值进行对比,在候选图像中筛选出第一特征距离超过预设距离阈值的图像,得到至少一张目标图像,对目标图像进行分类,根据每一类型的目标图像的数量和特征距离,在目标图像中筛选出至少一张图像作为目标待检索图像,譬如,在目标图像中筛选出数量最多的目标类型的图像,在目标类型的图像中筛选出特征距离最小的topN的图像作为目标检索图像。
其中,根据目标索引,在原始图像和目标图像中筛选出目标索引对应的至少一张候选检索图像,计算待检索图像特征和候选检索图像的图像特征之间的特征距离,得到第二特征距离,根据第二特征距离,在候选检索图像中筛选出目标检索图像。
其中,采用聚类中心对应的索引进行检索方式可以为基于聚类的分桶检索,如图5所示,提取原始图像的原始图像特征,对原始图像特征进行聚类,得到至少一个聚类中心,把聚类中心作为检索的索引,建立索引与原始图像的关联关系。此时,当接收到图像检索请求时,提取图像检索请求中携带的待检索图像,根据待检索图像的待检索图像特征找到最近的个索引,获取这些索引的关联图像得到候选检索图像检索召回,计算召回图像的图像特征与待检索图像特征之间的特征距离,并从小到大进行排序,取排序中topK个原始图像作为输出的检索图像。当原始图像存在新增的目标图像时,对目标图像进行特征提取,并对原始图像的原始图像特征进行更新,并将目标图像特征和更新后图像特征进行合并,得到全量图像特征,然后,根据全量特征更新聚类中心和聚类中心对应的索引,即可在部分更新特征下支持优化的检索。
可选的,在检索出待检索图像对应的目标检索图像之后,还可以根据目标检索图像的类别来对待检索图像进行分类或识别,这里的分类或识别主要是对待检索图像进行类别级别的识别,不考虑对象的特定实例,仅考虑对象的类别(如人、狗、猫、鸟等)进行的识别并给出对象所属类别。进行分类或识别的方式可以有多种,比如,当目标检索图像的数量为1个时,此时待检索图像的分类或者识别结果就可以为目标检索图像的类别,当目标检索图像的数量为多个时,可以对目标检索图像进行分类,然后,获取每一类别的目标检索图像的图像数量,在图像类别中筛选出图像数量最多的目标图像类别,将该目标图像类别作为待检索图像的分类或识别结果,或者,当目标检索图像的数量为多个时,对目标检索图像进行分类,然后,计算每一个图像类别对应的特征距离总和,将特征距离总和最小的图像类别作为待检索图像的分类或识别结果。
由以上可知,本申请实施例在获取原始图像、原始图像对应的原始图像特征、以及新增的至少一张目标图像后,对目标图像进行特征提取,得到目标图像对应的目标图像特征,然后,根据目标图像特征对原始图像特征进行更新,得到更新后图像特征,然后,将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征,当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像;由于该方案可以将原始图像特征迁移至目标图像特征的特征空间下,从而可以快速更新用于图像检索的图像特征,无需重新对原始图像进行特征提取,避免了计算资源的浪费,而且还可以提升图像特征的提取效率,因此,可以提升图像检索的效率。
根据上面实施例所描述的方法,以下将举例作进一步详细说明。
在本实施例中,图像检索方法可以由电子设备执行,该电子设备可以为服务器来进行说明。
(一)服务器训练图像检索模型
S1、服务器获取图像样本集合。
例如,服务器可以获取原始图像样本,并采集预设图像检索模型中的第二图像检索网络检索错误的图像,得到异常图像样本对,该第二图像检索网络为原始图像样本对训练而来的,获取原始图像样本对的泛化图像,得到泛化图像样本对,将异常图像样本对和泛化图像样本对作为新增的目标图像样本对。
S2、服务器在原始图像样本对和目标图像样本对中提取出用于训练的图像样本三元组。
例如,服务器可以将图像样本集合进行分批,每bs个图像样本分为一批,在每个batch(bs)的样本中任意选择一个图像样本作为目标图像样本x,从剩余的(bs-1)个图像样本对(每对随机选择一张图像样本)的图像样本中计算其与x的距离,按照距离从小到大排序,取TOP N个样本作为图像负样本,分别与x中的图像正样本组成三元组,从而提取出图像样本集合对应的图像样本三元组。
S3、服务器根据原始图像样本对和图像样本三元组对预设图像检索模型的第一图像检索网络进行训练,得到训练后第一图像检索网络。
例如,以第一图像检索网络为残差网络(resnet101),该残差网络为例,服务器对第一图像检索网络的训练的过程可以如下所示:
(1)参数初始化:Conv1-Conv5采用预设图像检索模型的第二图像检索网络的参数进行初始化。
(2)设置学习参数:设置学习参数为表1和表2所示,即所有网络参数都需要学习。
(3)学习率:基础特征和图像特征层均采用lr1=0.0005学习率。
(4)学习过程:对全量数据,进行epoch(一轮)迭代;每轮迭代处理一次全量样本。
(5)每轮迭代中的具体操作如下:把全量的原始图像样本对的每batch-size个样本为一批次,分成Nb个批次,对于每个batch,进行如下训练过程:
A、网络前向:训练时第一图像检索网络对输入的一张原始图像样本进行前向计算得到预测结果,输出原始图像特征;
B、损失计算:在batch样本中找到原始图像样本三元组,并计算该原始图像样本三元组的目标原始图像特征的原始三元组损失信息,具体可以如公式(1)所示。
C、第一图像检索网络的网络参数更新:采用SGD随机梯度下降算法或者其他梯度下降算法,把原始三元组损失信息进行梯度后向计算并得到全部网络参数的更新值,并更新第一检索网络。
D、停止条件(收敛条件):记录第一图像检索网络每epoch下的平均损失信息,当第一图像检索网络的平均损失信息持续5轮(epoch)未下降后,停止第一图像检索网络的训练,得到训练后第一图像检索网络。
S4、服务器基于图像样本集合和图像样本三元组,对训练后第一图像检索网络和预设图像检索模型中的特征映射网络进行联合训练,得到训练后图像检索模型。
例如,以原始图像样本对为旧图像样本、目标图像样本对为新图像样本,第一图像检索网络为新网络,第二图像检索网络为旧网络为例,服务器输入样本同时经过新旧网络,产生新旧图像特征(embedding),旧图像特征经过映射模块产生映射图像特征(第二图像特征)。采用第一图像特征的目标三元组损失信息、映射结构与新特征的混合三元组损失信息学习作为监督信息,更新特征映射网络和新网络(训练后第一图像检索网络),具体训练过程可以如下所示:
1)参数初始化:采用第一次新模型(即训练后第一图像检索网络)学习结果作为本次训练模型的初始化权重。
2)设置学习参数:设置学习参数为表1-2-3,即所有网络参数都需要学习。.
3)学习率:基础特征、embedding层均采用lr1=0.0005学习率。
4)学习过程:对全量数据,进行epoch轮迭代;每轮迭代处理一次全量样本;
5)每轮迭代中的具体操作如下:把全量样本(新旧图像样本对)每batch-size个样本为一批次,分成Nb个批次,对于每个batch,进行:
(1)模型前向:训练时神经网络对输入的一张图片进行前向计算得到预测结果,输出embedding结果(第一图像特征和第二图像特征)。
(2)loss计算:在batch样本中根据上述方法找到三元组计算,根据三元组样本的组成(三元组中三个图像的badcase标志组合)不同,计算某三元组loss,并对所有三元组损失信息求和得到目标损失信息。
(3)模型参数更新:采用SGD随机梯度下降法(或者其他收敛算法),把上一步的目标损失信息进行梯度后向计算并得到全部模型参数的更新值,并更新特征映射网络和训练后第一图像检索网络。
6)停止条件:记录模型每epoch下的平均损失信息,当模型的平均损失信息持续5轮(epoch)或者预设轮次未下降后,停止训练后第一图像检索网络和特征映射网络的联合训练,从而得到训练后图像检索模型,该训练后图像检索模型包括更新后的第一图像检索网络和训练后的特征映射网络。
其中,对训练后第一图像检索网络和特征映射网络进行联合训练时计算目标损失信息的方式可以有多种,比如,服务器根据第一图像特征,确定目标图像样本三元组的三元组损失信息,得到目标三元组损失信息。服务器在混合图像样本三元组中筛选出任意一个图像样本作为计算三元组损失信息的当前图像样本,根据当前图像样本和第二图像特征,计算混合图像样本三元组的三元组损失信息,得到初始混合三元组损失信息,返回执行在混合图像样本三元组中筛选出任意一个图像样本作为计算三元组损失信息的当前图像样本的步骤,直至混合图像样本三元组中所有图像样本都作为当前图像样本计算三元组损失信息为止,得到混合图像样本三元组中每一图像样本对应的初始混合三元组损失信息,将初始混合三元组损失信息进行融合,得到混合三元组损失信息。
服务器获取目标三元组损失信息和混合三元组损失信息的加权系数,根据该加权系数,分别对目标三元组损失信息和混合三元组损失信息进行加权,并将加权后的目标三元组损失信息和混合三元组损失信息进行融合,得到图像样本集合对应的目标损失信息,具体可以如公式(2)所示。考虑到新特征(第一图像特征)更新需要优先保证新特征的检索效果,因此,对映射特征采用了小权重加权,根据上述混合三元组损失信息的原则,混合三元组损失信息的样本数量是目标三元组损失信息的样本数量的三倍,目标损失信息的计算公式还可以如公式(3)所示。
(二)服务器采用训练后图像检索模型进行图像检索
其中,训练后图像检索模型可以包括更新后的第一图像检索网络和训练后的特征映射网络。
如图6所示,一种图像检索方法,具体流程如下:
201、服务器获取原始图像、原始图像对应的原始图像特征、以及新增的至少一张目标图像。
例如,对于原始图像和原始图像特征来说,服务器可以直接获取原始图像和原始图像特征,或者,还可以获取原始图像,采用原始图像检索模型对原始图像进行特征提取,得到原始图像对应的原始图像特征。
对于目标图像来说,服务器可以采用原始图像检索模型对原始图像进行特征提取,得到原始图像对应的原始图像特征,将目标待检索图像输入至原始图像检索模型,通过原始图像检索模型根据原始图像特征在原始图像中检索出候选图像,当检索出的候选图像存在异常或者错误时,将该目标待检索图像作为需要新增的目标图像,或者,可以获取原始图像的图像类型,根据该图像类型,在预设图像数据库中筛选出与该图像类型不同的图像作为原始图像的泛化图像,将该泛化图像作为目标图像,或者,还可以接收用户通过终端上传的需要新增至原始图像中的图像,从而得到目标图像。
202、服务器对目标图像进行特征提取,得到目标图像对应的目标图像特征。
例如,服务器可以采用训练后图像检索模型的第一图像检索网络对目标图像进行特征提取,从而得到目标图像对应的目标图像特征。
203、服务器根据目标图像特征对原始图像特征进行更新,得到更新后图像特征。
例如,服务器可以获取原始图像特征的原始特征空间信息和目标图像特征的目标特征空间信息,并将原始特征空间信息和目标特征空间信息进行对比,基于对比结果,确定对原始图像特征映射的映射参数,基于该映射参数,采用特征映射网络将原始图像特征映射至目标图像特征的特征空间下,从而得到更新后图像特征,或者,基于对比结果,在特征映射网络的映射参数集合中筛选出对比结果对应的映射参数,得到目标映射参数,基于该目标映射参数,采用特征映射网络将原始图像特征映射至目标图像特征的特征空间下,从而得到更新后图像特征。
204、服务器将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征。
例如,服务器基于更新后图像特征,对预设图像特征集合进行更新,得到更新后图像特征集合,并将目标图像特征添加至更新后图像特征集合,得到全量图像特征,或者,还可以直接将目标图像特征和更新后图像特征进行合并,得到全量图像特征。
205、当接收到图像检索请求时,服务器对图像检索请求中携带的待检索图像进行特征提取。
例如,服务器可以采用训练后图像检索模型中的第一图像检索网络对待检索图像进行特征提取,得到待检索图像的待检索图像特征,其中,这里的训练后图像检索模型中的第一图像检索网络可以为对训练后第一图像检索网络进行联合训练后得到的第一图像检索网络。
206、服务器根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索目标检索图像。
例如,服务器可以计算待检索图像特征与全量图像特征中的每一图像特征之间的特征距离,得到第一特征距离,对第一特征距离进行排序,并根据排序结果,在原始图像和目标图像中检索出目标检索图像,或者,还可以根据全量图像特征对原始图像对应的聚类中心进行更新,基于更新后聚类中心与待检索图像特征之间的特征距离,在更新后距离中心对应的索引中筛选出目标索引,根据目标索引,在原始图像和目标图像中检索出目标检索图像。
可选的,在检索出待检索图像对应的目标检索图像之后,服务器还可以根据目标检索图像的类别来对待检索图像进行分类或识别,这里的分类或识别主要是对待检索图像进行类别级别的识别,不考虑对象的特定实例,仅考虑对象的类别(如人、狗、猫、鸟等)进行的识别并给出对象所属类别。进行分类或识别的方式可以有多种,比如,当目标检索图像的数量为1个时,此时待检索图像的分类或者识别结果就可以为目标检索图像的类别,当目标检索图像的数量为多个时,可以对目标检索图像进行分类,然后,获取每一类别的目标检索图像的图像数量,在图像类别中筛选出图像数量最多的目标图像类别,将该目标图像类别作为待检索图像的分类或识别结果,或者,当目标检索图像的数量为多个时,对目标检索图像进行分类,然后,计算每一个图像类别对应的特征距离总和,将特征距离总和最小的图像类别作为待检索图像的分类或识别结果。
由以上可知,本实施例服务器在获取原始图像、原始图像对应的原始图像特征、以及新增的至少一张目标图像后,对目标图像进行特征提取,得到目标图像对应的目标图像特征,然后,根据目标图像特征对原始图像特征进行更新,得到更新后图像特征,然后,将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征,当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像;由于该方案可以将原始图像特征迁移至目标图像特征的特征空间下,从而可以快速更新用于图像检索的图像特征,无需重新对原始图像进行特征提取,避免了计算资源的浪费,而且还可以提升图像特征的提取效率,因此,可以提升图像检索的效率。
为了更好地实施以上方法,本发明实施例还提供一种图像检索装置,该图像检索装置可以集成在网络设备,比如服务器或终端等设备中。
例如,如图7所示,该图像检索装置可以包括获取单元301、提取单元302、更新单元303、融合单元304和检索单元305,如下:
(1)获取单元301;
获取单元301,用于获取原始图像、该原始图像对应的原始图像特征、以及新增的至少一张目标图像,该目标图像为针对所述原始图像检索错误而新增的图像。
例如,获取单元301,具体可以用于获取原始图像,采用原始图像检索模型对原始图像进行特征提取,得到原始图像对应的原始图像特征,将目标待检索图像输入至原始图像检索模型,通过原始图像检索模型根据原始图像特征在原始图像中检索出候选图像,当检索出的候选图像存在异常或者错误时,将该目标待检索图像作为需要新增的目标图像,或者,获取原始图像的图像类型,根据该图像类型,在预设图像数据库中筛选出与该图像类型不同的图像作为原始图像的泛化图像,将该泛化图像作为目标图像,或者,还可以接收用户通过终端上传的需要新增至原始图像中的图像,从而得到目标图像。
(2)提取单元302;
提取单元302,用于对目标图像进行特征提取,得到目标图像对应的目标图像特征。
例如,提取单元302,具体可以用于采用训练后图像检索模型的第一图像检索网络对目标图像进行特征提取,从而得到目标图像对应的目标图像特征。
(3)更新单元303;
更新单元303,用于根据目标图像特征对原始图像特征进行更新,得到更新后图像特征,该更新后图像特征与目标图像特征为同一特征空间下的图像特征。
例如,更新单元303,具体可以用于获取原始图像特征的原始特征空间信息和目标图像特征的目标特征空间信息,并将原始特征空间信息和目标特征空间信息进行对比,基于对比结果,采用训练后图像检索模型的特征映射网络将原始图像特征映射至目标图像特征的特征空间下,得到更新后图像特征。
(4)融合单元304;
融合单元304,用于将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征。
例如,融合单元304,具体可以用于基于更新后图像特征,对预设图像特征集合进行更新,得到更新后图像特征集合,并将目标图像特征添加至更新后图像特征集合,得到全量图像特征,或者,还可以直接将目标图像特征和更新后图像特征进行合并,得到全量图像特征。
(5)检索单元305;
检索单元305,用于当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像。
例如,检索单元305,具体可以用于当接收到图像检索请求时,采用训练后图像检索模型中的第一图像检索网络对待检索图像进行特征提取,得到待检索图像的待检索图像特征。计算待检索图像特征与全量图像特征中的每一图像特征之间的特征距离,得到第一特征距离,对第一特征距离进行排序,并根据排序结果,在原始图像和目标图像中检索出目标检索图像,或者,还可以根据全量图像特征对原始图像对应的聚类中心进行更新,基于更新后聚类中心与待检索图像特征之间的特征距离,在更新后距离中心对应的索引中筛选出目标索引,根据目标索引,在原始图像和目标图像中检索出目标检索图像。
可选的,图像检索装置还可以包括训练单元306,如图8所示,具体可以如下:
训练单元306,用于对图像检索模型进行训练,得到训练后图像检索模型。
例如,训练单元306,具体可以用于获取图像样本集合,该图像样本集合包括原始图像样本对和新增的目标图像样本对,在原始图像样本对和目标图像样本对中提取出用于训练的图像样本三元组,根据原始图像样本对和图像样本三元组对预设图像检索模型的第一图像检索网络进行训练,得到训练后第一图像检索网络,基于图像样本集合和图像样本三元组,对训练后第一图像检索网络和预设图像检索模型中的特征映射网络进行联合训练,得到训练后图像检索模型。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由以上可知,本实施例在获取原始图像、原始图像对应的原始图像特征、以及新增的至少一张目标图像后,对目标图像进行特征提取,得到目标图像对应的目标图像特征,然后,根据目标图像特征对原始图像特征进行更新,得到更新后图像特征,然后,将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征,当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像;由于该方案可以将原始图像特征迁移至目标图像特征的特征空间下,从而可以快速更新用于图像检索的图像特征,无需重新对原始图像进行特征提取,避免了计算资源的浪费,而且还可以提升图像特征的提取效率,因此,可以提升图像检索的效率。
本发明实施例还提供一种电子设备,如图9所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图9中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,在有些实施例中,该电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取原始图像、该原始图像对应的原始图像特征、以及新增的至少一张目标图像,该目标图像为针对原始图像检索错误而新增的图像,对目标图像进行特征提取,得到目标图像对应的目标图像特征,根据目标图像特征对原始图像特征进行更新,得到更新后图像特征,该更新后图像特征与目标图像特征为同一特征空间下的图像特征,将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征,当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像。
例如,电子设备获取原始图像,采用原始图像检索模型对原始图像进行特征提取,得到原始图像对应的原始图像特征,将目标待检索图像输入至原始图像检索模型,通过原始图像检索模型根据原始图像特征在原始图像中检索出候选图像,当检索出的候选图像存在异常或者错误时,将该目标待检索图像作为需要新增的目标图像,或者,获取原始图像的图像类型,根据该图像类型,在预设图像数据库中筛选出与该图像类型不同的图像作为原始图像的泛化图像,将该泛化图像作为目标图像,或者,还可以接收用户通过终端上传的需要新增至原始图像中的图像,从而得到目标图像。采用训练后图像检索模型的第一图像检索网络对目标图像进行特征提取,从而得到目标图像对应的目标图像特征。获取原始图像特征的原始特征空间信息和目标图像特征的目标特征空间信息,并将原始特征空间信息和目标特征空间信息进行对比,基于对比结果,采用训练后图像检索模型的特征映射网络将原始图像特征映射至目标图像特征的特征空间下,得到更新后图像特征。基于更新后图像特征,对预设图像特征集合进行更新,得到更新后图像特征集合,并将目标图像特征添加至更新后图像特征集合,得到全量图像特征,或者,还可以直接将目标图像特征和更新后图像特征进行合并,得到全量图像特征。当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像。
以上各个操作的具体实施可参见前面的实施例,在此不作赘述。
由以上可知,本发明实施例在获取原始图像、原始图像对应的原始图像特征、以及新增的至少一张目标图像后,对目标图像进行特征提取,得到目标图像对应的目标图像特征,然后,根据目标图像特征对原始图像特征进行更新,得到更新后图像特征,然后,将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征,当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像;由于该方案可以将原始图像特征迁移至目标图像特征的特征空间下,从而可以快速更新用于图像检索的图像特征,无需重新对原始图像进行特征提取,避免了计算资源的浪费,而且还可以提升图像特征的提取效率,因此,可以提升图像检索的效率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种图像检索方法中的步骤。例如,该指令可以执行如下步骤:
获取原始图像、该原始图像对应的原始图像特征、以及新增的至少一张目标图像,该目标图像为针对原始图像检索错误而新增的图像,对目标图像进行特征提取,得到目标图像对应的目标图像特征,根据目标图像特征对原始图像特征进行更新,得到更新后图像特征,该更新后图像特征与目标图像特征为同一特征空间下的图像特征,将目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征,当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像。
例如,电子设备获取原始图像,采用原始图像检索模型对原始图像进行特征提取,得到原始图像对应的原始图像特征,将目标待检索图像输入至原始图像检索模型,通过原始图像检索模型根据原始图像特征在原始图像中检索出候选图像,当检索出的候选图像存在异常或者错误时,将该目标待检索图像作为需要新增的目标图像,或者,获取原始图像的图像类型,根据该图像类型,在预设图像数据库中筛选出与该图像类型不同的图像作为原始图像的泛化图像,将该泛化图像作为目标图像,或者,还可以接收用户通过终端上传的需要新增至原始图像中的图像,从而得到目标图像。采用训练后图像检索模型的第一图像检索网络对目标图像进行特征提取,从而得到目标图像对应的目标图像特征。获取原始图像特征的原始特征空间信息和目标图像特征的目标特征空间信息,并将原始特征空间信息和目标特征空间信息进行对比,基于对比结果,采用训练后图像检索模型的特征映射网络将原始图像特征映射至目标图像特征的特征空间下,得到更新后图像特征。基于更新后图像特征,对预设图像特征集合进行更新,得到更新后图像特征集合,并将目标图像特征添加至更新后图像特征集合,得到全量图像特征,或者,还可以直接将目标图像特征和更新后图像特征进行合并,得到全量图像特征。当接收到图像检索请求时,对图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在原始图像和目标图像中检索出目标检索图像。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本发明实施例所提供的任一种图像检索方法中的步骤,因此,可以实现本发明实施例所提供的任一种图像检索方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
其中,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述图像检索方面或者图像识别方面或者图像分类的各种可选实现方式中提供的方法。
以上对本发明实施例所提供的一种图像检索方法、装置和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种图像检索方法,其特征在于,包括:
获取原始图像、所述原始图像对应的原始图像特征、以及新增的至少一张目标图像,所述目标图像为针对所述原始图像检索错误而新增的图像;
对所述目标图像进行特征提取,得到所述目标图像对应的目标图像特征;
根据所述目标图像特征对所述原始图像特征进行更新,得到更新后图像特征,所述更新后图像特征与目标图像特征为同一特征空间下的图像特征;
将所述目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征;
当接收到图像检索请求时,对所述图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在所述原始图像和目标图像中检索出目标检索图像。
2.根据权利要求1所述的图像检索方法,其特征在于,所述根据所述目标图像特征对所述原始图像特征进行更新,得到更新后图像特征,包括:
获取所述原始图像特征的原始特征空间信息和目标图像特征的目标特征空间信息,并将所述原始特征空间信息和目标特征空间信息进行对比;
基于对比结果,采用训练后图像检索模型的特征映射网络将所述原始图像特征映射至所述目标图像特征的特征空间下,得到更新后图像特征。
3.根据权利要求2所述的图像检索方法,其特征在于,所述基于对比结果,采用训练后图像检索模型的特征映射网络将所述原始图像特征映射至所述目标图像特征的特征空间下,得到更新后图像特征之前,还包括:
获取图像样本集合,所述图像样本集合中包括原始图像样本对和新增的目标图像样本对;
在所述原始图像样本对和目标图像样本对中提取出用于训练的图像样本三元组;
根据所述原始图像样本对和图像样本三元组对预设图像检索模型的第一图像检索网络进行训练,得到训练后第一图像检索网络;
基于所述图像样本集合和图像样本三元组,对所述训练后第一图像检索网络和预设图像检索模型中的特征映射网络进行联合训练,得到训练后图像检索模型。
4.根据权利要求3所述图像检索方法,其特征在于,所述获取图像样本集合,包括:
获取原始图像样本对,并采集所述预设图像检索模型中的第二图像检索网络检索错误的图像,得到异常图像样本对,所述第二图像检索网络为所述原始图像样本对训练而来;
获取所述原始图像样本对的泛化图像,得到泛化图像样本对,将所述异常图像样本对和泛化图像样本对作为新增的目标图像样本对;
将所述目标图像样本对和原始图像样本对进行融合,得到所述图像样本集合。
5.根据权利要求3所述的图像检索方法,其特征在于,所述在所述原始图像样本对和目标图像样本对中提取出用于训练的图像样本三元组,包括:
在所述原始图像样本对和目标图像样本对中筛选出目标图像样本;
分别计算所述目标图像样本与图像样本集合中的剩余图像样本之间的图像距离;
基于所述图像距离,在所述图像样本集合中筛选出所述目标图像样本对应的预设数量的图像负样本,并将所述图像负样本添加至所述目标图像样本对应的图像样本对中,得到所述目标图像样本的图像样本三元组。
6.根据权利要求3所述的图像检索方法,其特征在于,所述根据所述原始图像样本对和图像样本三元组对预设图像检索模型的第一图像检索网络进行训练,得到训练后第一图像检索网络,包括:
采用预设图像检索模型的第一图像检索网络对所述原始图像样本对中的原始图像样本进行特征提取,得到所述原始图像样本特征;
在所述原始图像样本特征中筛选出所述图像样本三元组对应的目标原始图像特征;
计算所述目标原始图像特征之间的特征距离,得到所述图像样本三元组对应的原始三元组损失信息;
基于所述原始三元组损失信息对所述第一图像检索网络进行收敛,得到训练后第一图像检索网络。
7.根据权利要求4所述的图像检索方法,其特征在于,所述基于所述图像样本集合和图像样本三元组,对所述训练后第一图像检索网络和预设图像检索模型中的特征映射网络进行联合训练,得到训练后图像检索模型,包括:
采用所述训练后第一图像检索网络对所述图像样本集合中的图像样本进行特征提取,得到第一图像特征;
采用所述第二图像检索网络对所述图像样本集合中的图像样本进行特征提取,并采用所述预设图像检索模型中的特征映射网络对提取到的特征进行映射,得到第二图像特征;
根据所述第一图像特征、第二图像特征和图像样本三元组,对所述训练后第一图像检索网络和特征映射网络进行收敛,得到训练后图像检索模型。
8.根据权利要求7所述的图像检索方法,其特征在于,所述根据所述第一图像特征、第二图像特征和图像样本三元组,对所述训练后第一图像检索网络和特征映射网络进行收敛,得到训练后图像检索模型,包括:
在所述图像样本三元组中筛选出由所述目标图像样本对中的图像样本组成的三元组,得到目标图像样本三元组;
在所述图像样本三元组中筛选出由所述目标图像样本对中的图像样本和原始图像样本对中的图像样本组成的三元组,得到混合图像样本三元组;
根据所述目标图像样本三元组、混合图像样本三元组、第一图像特征和第二图像特征,确定所述图像样本集合对应的目标损失信息;
根据所述目标损失信息,对所述训练后第一图像检索网络和特征映射网络进行收敛,得到训练后图像检索模型。
9.根据权利要求8所述的图像检索方法,其特征在于,所述根据所述目标图像样本三元组、混合图像样本三元组、第一图像特征和第二图像特征,确定所述图像样本集合对应的目标损失信息,包括:
根据第一图像特征,确定所述目标图像样本三元组的三元组损失信息,得到目标三元组损失信息;
基于所述第二图像特征,确定所述混合图像样本三元组的三元组损失信息,得到混合三元组损失信息;
将所述目标三元组损失信息和混合三元组损失信息进行融合,得到所述图像样本集合对应的目标损失信息。
10.根据权利要求9所述的图像检索方法,其特征在于,所述基于所述第二图像特征,确定所述混合图像样本三元组的三元组损失信息,得到混合三元组损失信息,包括:
在所述混合图像样本三元组中筛选出任意一个图像样本作为计算三元组损失信息的当前图像样本;
根据所述当前图像样本和第二图像特征,计算所述混合图像样本三元组的三元组损失信息,得到初始混合三元组损失信息;
返回执行所述在所述混合图像样本三元组中筛选出任意一个图像样本作为计算三元组损失信息的当前图像样本的步骤,直至所述混合图像样本三元组中的所有图像样本都作为当前图像样本计算三元组损失信息为止,得到所述混合图像样本三元组中每一图像样本对应的初始混合三元组损失信息;
将所述初始混合三元组损失信息进行融合,得到混合三元组损失信息。
11.根据权利要求1至10任一项所述的图像检索方法,其特征在于,所述根据提取出的待检索图像特征和全量图像特征,在所述原始图像和目标图像中检索出目标检索图像,包括:
计算所述待检索图像特征与所述全量图像特征中的每一图像特征之间的特征距离,得到第一特征距离;
对所述第一特征距离进行排序,并根据排序结果,在原始图像和目标图像中检索出目标检索图像。
12.一种图像检索装置,其特征在于,包括:
获取单元,用于获取原始图像、所述原始图像对应的原始图像特征、以及新增的至少一张目标图像,所述目标图像为针对所述原始图像检索错误而新增的图像;
提取单元,用于对所述目标图像进行特征提取,得到所述目标图像对应的目标图像特征;
更新单元,用于根据所述目标图像特征对所述原始图像特征进行更新,得到更新后图像特征,所述更新后图像特征与目标图像特征为同一特征空间下的图像特征;
融合单元,用于将所述目标图像特征和更新后图像特征进行融合,得到用于图像检索的全量图像特征;
检索单元,用于当接收到图像检索请求时,对所述图像检索请求中携带的待检索图像进行特征提取,并根据提取出的待检索图像特征和全量图像特征,在所述原始图像和目标图像中检索出目标检索图像。
13.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行权利要求1至11任一项所述的图像检索方法中的步骤。
14.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至11任一项所述图像检索方法中的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至11任一项所述的图像检索方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111018523.5A CN114329026A (zh) | 2021-09-01 | 2021-09-01 | 图像检索方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111018523.5A CN114329026A (zh) | 2021-09-01 | 2021-09-01 | 图像检索方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114329026A true CN114329026A (zh) | 2022-04-12 |
Family
ID=81045607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111018523.5A Pending CN114329026A (zh) | 2021-09-01 | 2021-09-01 | 图像检索方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114329026A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116881485A (zh) * | 2023-06-19 | 2023-10-13 | 北京百度网讯科技有限公司 | 生成图像检索索引的方法及装置、电子设备和介质 |
-
2021
- 2021-09-01 CN CN202111018523.5A patent/CN114329026A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116881485A (zh) * | 2023-06-19 | 2023-10-13 | 北京百度网讯科技有限公司 | 生成图像检索索引的方法及装置、电子设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112560985B (zh) | 神经网络的搜索方法、装置及电子设备 | |
CN110598065A (zh) | 一种数据挖掘方法、装置和计算机可读存储介质 | |
WO2016095068A1 (en) | Pedestrian detection apparatus and method | |
CN112052759B (zh) | 一种活体检测方法和装置 | |
CN113569895A (zh) | 图像处理模型训练方法、处理方法、装置、设备及介质 | |
CN114329029B (zh) | 对象检索方法、装置、设备及计算机存储介质 | |
CN111382190A (zh) | 一种基于智能的对象推荐方法、装置和存储介质 | |
CN113806582B (zh) | 图像检索方法、装置、电子设备和存储介质 | |
CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
CN114329026A (zh) | 图像检索方法、装置、电子设备和计算机可读存储介质 | |
CN111310072B (zh) | 关键词提取方法、装置和计算机可读存储介质 | |
CN113987236A (zh) | 基于图卷积网络的视觉检索模型的无监督训练方法和装置 | |
CN114330090A (zh) | 一种缺陷检测方法、装置、计算机设备和存储介质 | |
CN113392867A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
CN112052399A (zh) | 一种数据处理方法、装置和计算机可读存储介质 | |
CN113824989B (zh) | 一种视频处理方法、装置和计算机可读存储介质 | |
CN113076963B (zh) | 一种图像识别方法、装置和计算机可读存储介质 | |
WO2023273171A1 (zh) | 图像处理方法、装置、设备和存储介质 | |
CN114267440A (zh) | 医疗订单信息处理方法、装置和计算机可读存储介质 | |
CN115630514A (zh) | 一种无人机集群协同任务分配方法与装置 | |
CN115410250A (zh) | 阵列式人脸美丽预测方法、设备及存储介质 | |
CN114462526A (zh) | 一种分类模型训练方法、装置、计算机设备及存储介质 | |
CN109308565B (zh) | 人群绩效等级识别方法、装置、存储介质及计算机设备 | |
CN114266352A (zh) | 模型训练结果优化方法、装置、存储介质及设备 | |
CN112818241A (zh) | 一种内容推广方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |