CN114139013A - 图像搜索方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像搜索方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114139013A
CN114139013A CN202111430300.XA CN202111430300A CN114139013A CN 114139013 A CN114139013 A CN 114139013A CN 202111430300 A CN202111430300 A CN 202111430300A CN 114139013 A CN114139013 A CN 114139013A
Authority
CN
China
Prior art keywords
image
sample
library
searched
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111430300.XA
Other languages
English (en)
Inventor
杨战波
黄泽元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Jizhi Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jizhi Digital Technology Co Ltd filed Critical Shenzhen Jizhi Digital Technology Co Ltd
Priority to CN202111430300.XA priority Critical patent/CN114139013A/zh
Publication of CN114139013A publication Critical patent/CN114139013A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及图像处理技术领域，提供了一种图像搜索方法、装置、电子设备及计算机可读存储介质。该方法包括：获取待搜索图像；将待搜索图像输入特征提取模型，得到待搜索图像的图像特征和质量分数；其中，特征提取模型是基于样本图像质量分数进行自适应间隔训练确定，样本图像质量分数由预设特征提取模型根据输入的样本图像确定；根据图像特征和质量分数，计算待搜索图像与各库图像之间的相似度；根据相似度，确定与待搜索图像关联的目标库图像。该方法的特征提取模型在训练时结合图像质量进行自适应间隔调整，得到的特征提取模型对输入的待搜索图像可以提取更准确的图像特征，进而在搜索图像时得到更准确的搜索结果。

Description

图像搜索方法、装置、电子设备及计算机可读存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像搜索方法、装置、电子设备及计算机可读存储介质。
背景技术
图像搜索，是通过搜索图像文本或者视觉特征，为用户提供互联网上相关图形图像资料检索服务的专业搜索引擎系统，是搜索引擎的一种细分。其中一种图像搜索方法为通过上传图片搜索与该图片相同或相似的图片。
然而，相关技术中以图搜图的方法仅对图像特征进行描述，没有考虑到图片的质量不一致的问题，对质量不一致的图片没有针对性的优化，得到的图像特征分布不够准确，容易导致图像搜索的结果不够准确。
发明内容
有鉴于此，本公开实施例提供了一种图像搜索方法、装置、电子设备及计算机可读存储介质，以解决现有技术中图像搜索的结果不够准确的问题。
本公开实施例的第一方面，提供了一种图像搜索方法，包括：
获取待搜索图像；
将所述待搜索图像输入特征提取模型，得到所述待搜索图像的图像特征和质量分数；其中，所述特征提取模型是基于样本图像质量分数进行自适应间隔训练确定，所述样本图像质量分数由预设特征提取模型根据输入的样本图像确定；
根据所述图像特征和所述质量分数，计算所述待搜索图像与各库图像之间的相似度；
根据所述相似度，确定与所述待搜索图像关联的目标库图像。
本公开实施例的第二方面，提供了一种图像搜索装置，包括：
获取模块，用于获取待搜索图像；
特征提取模块，用于将所述待搜索图像输入特征提取模型，得到所述待搜索图像的图像特征和质量分数；其中，所述特征提取模型是基于样本图像质量分数进行自适应间隔训练确定，所述样本图像质量分数由预设特征提取模型根据输入的样本图像确定；
相似度计算模块，用于根据所述图像特征和所述质量分数，计算所述待搜索图像与各库图像之间的相似度；
搜索模块，用于根据所述相似度，确定与所述待搜索图像关联的目标库图像。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：通过将获取的待搜索图像输入经训练确定的特征提取模型，得到待搜索图像的图像特征和质量分数；其中，特征提取模型是基于样本图像质量分数进行自适应间隔进行训练得到的，样本图像质量分数由预设特征提取模型根据样本图像确定；然后根据图像特征、质量分数在库图像中基于相似度的方式搜索得到与待搜索图像关联的目标库图像。上述方法的特征提取模型在训练时考虑了样本图像的图像质量，对样本图像确定对应的质量分数，并以图像质量分数为基础对预设特征提取模型提取的图像特征进行自适应间隔调整，从而训练得到特征提取模型，因此特征提取模型可以对输入的待搜索图像提取更准确的图像特征，进而在搜索图像时得到更准确的搜索结果。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图；
图2是本公开实施例提供的一种图像搜索方法的流程示意图；
图3是本公开实施例提供的根据图像特征和质量分数，计算待搜索图像与各库图像之间的相似度的流程示意图；
图4是本公开实施例提供的另一种图像搜索方法的流程示意图；
图5是本公开实施例提供的根据图像特征、质量分数、库图像特征和库图像质量分数，计算待搜索图像与各库图像之间的质量加权相似度的流程示意图；
图6是本公开实施例提供的特征提取模型的训练过程的流程示意图；
图7是本公开实施例提供的将样本余弦值、样本图像质量分数输入自适应间隔调整模块的流程示意图；
图8是本公开实施例提供的一种具体的图像搜索方法的流程示意图；
图9是本公开实施例提供的特征提取模型的结构示意图；
图10是本公开实施例提供的一种图像搜索装置的结构示意图；
图11是本公开实施例提供的另一种图像搜索装置的结构示意图；
图12是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种图像搜索方法和装置。
图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括终端设备1、2和3、服务器4以及网络5。
终端设备1、2和3可以是硬件，也可以是软件。当终端设备1、2和3为硬件时，其可以是具有显示屏且支持与服务器4通信的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等；当终端设备1、2和3为软件时，其可以安装在如上的电子设备中。终端设备1、2和3可以实现为多个软件或软件模块，也可以实现为单个软件或软件模块，本公开实施例对此不作限制。进一步地，终端设备1、2和3上可以安装有各种应用，例如数据处理应用、即时通信工具、社交平台软件、搜索类应用、购物类应用等。
服务器4可以是提供各种服务的服务器，例如，对与其建立通信连接的终端设备发送的请求进行接收的后台服务器，该后台服务器可以对终端设备发送的请求进行接收和分析等处理，并生成处理结果。服务器4可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本公开实施例对此不作限制。
需要说明的是，服务器4可以是硬件，也可以是软件。当服务器4为硬件时，其可以是为终端设备1、2和3提供各种服务的各种电子设备。当服务器4为软件时，其可以是为终端设备1、2和3提供各种服务的多个软件或软件模块，也可以是为终端设备1、2和3提供各种服务的单个软件或软件模块，本公开实施例对此不作限制。
网络5可以是采用同轴电缆、双绞线和光纤连接的有线网络，也可以是无需布线就能实现各种通信设备互联的无线网络，例如，蓝牙(Bluetooth)、近场通信(Near FieldCommunication，NFC)、红外(Infrared)等，本公开实施例对此不作限制。
用户可以通过终端设备1、2和3经由网络5与服务器4建立通信连接，以接收或发送信息等。具体地，在用户将待搜索图像导入到服务器4之后，服务器4获取待搜索图像，将待搜索图像输入到特征提取模型，得到待搜索图像对应的图像特征和质量分数。再根据该图像特征和质量分数计算待搜索图像与各库图像之间的相似度，根据相似度确定与待搜索图像关联的目标库图像。
需要说明的是，终端设备1、2和3、服务器4以及网络5的具体类型、数量和组合可以根据应用场景的实际需求进行调整，本公开实施例对此不作限制。
图2是本公开实施例提供的一种图像搜索方法的流程示意图。图2的图像搜索方法可以由图1的终端设备或服务器执行。如图2所示，该图像搜索方法包括步骤S201至步骤S204：
S201，获取待搜索图像。
其中，待搜索图像是用于在图像库中进行搜索的图像。在一个实施例中，待搜索图像可以是任意一种类型的图像；例如待搜索图像可以是人物图像(包含人脸)、景点地标图像、动物图像、植物图像，等等。
进一步地，在一个实施例中，待搜索图像可以是人工输入的，也可以是从数据库获取的，或者还可以是通过网络实时获取的，例如，通过网络从监控摄像头等装置处获取。
S202，将待搜索图像输入特征提取模型，得到待搜索图像的图像特征和质量分数。
其中，特征提取模型是基于样本图像质量分数进行自适应间隔训练确定，样本图像质量分数由预设特征提取模型根据输入的样本图像确定。
在本实施例中，图像特征表示从待搜索图像中提取的特征。图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征。颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质；纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质；形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征，图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域；空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。
在一个实施例中，图像特征为归一化图像特征。进一步地，归一化图像特征的确定过程包括：对输入的待搜索图像进行特征提取得到表示特征，对表示特征进行归一化得到归一化图像特征。其中，对表示特征进行归一化可以通过任意一种方式实现。
更进一步地，在一个实施例中，对输入的待搜索图像进行特征提取得到表示特征包括：对输入的待搜索图像进行卷积运算得到卷积特征，将卷积特征输入全连接层，输出表示特征。其中，全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。
更进一步地，在一个实施例中，对输入的待搜索图像进行卷积运算得到卷积特征包括：对待搜索图像进行卷积得到中间特征，并通过展平层将中间特征展平为一维的卷积特征。其中，展平层可以将三维的图像特征转换为一维向量，以适合全连接层的输入以进行分类。
在本实施例中，质量分数表示对待搜索图像的质量描述；在一个实施例中，对待搜索图像的质量进行量化得到质量分数。在一个具体实施例中，图像质量指对一幅图像视觉感受的评价，在本实施例中，图像质量可以是针对模型提取特征的难易程度确定图像质量。以人脸图像为例，具有正脸、光线亮度等合适的特点即可确定为图像质量较高的人脸图像，而侧脸、过曝光、光线过暗等特点的则为图像质量较低的人脸图像。在其他实施例中，图像质量也可以通过其他方式进行划定。需要说明的是，图像质量越高，图像质量分数越高，反之图像质量分数越低。
在一个实施例中，特征提取模型包括质量分数分支，将卷积特征输入质量分数分支，质量分数分支对卷积特征进行处理，将输出的数值作为待搜索图像的质量分数。在一个实施例中，质量分数分支包括全连接层和激活层。其中，激活层由激活函数构成；所谓激活函数(Activation Function)，就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。在一个具体实施例中，激活层的激活函数可以选择sigmoid函数。Sigmoid函数也称为S型生长曲线，Sigmoid函数将变量映射到[0,1]之间；在本实施例中，质量分数的取值范围为[0,1]。
在一个实施例中，特征提取模型包括第一特征提取模块、第二特征提取模块、质量分数分支和识别分支。其中，第一特征提取模块对输入的待搜索图像进行特征提取，得到的特征输入第二特征提取模块；第二特征提取模块包括展平层和全连接层，其中，展平层对第一特征提取模块输出的特征进行展平得到一维特征，在本实施例中记为卷积特征；全连接层对展平层输出的卷积特征进行变换，得到的特征在本实施例中记为表示特征。
进一步地，卷积特征输入质量分数分支，质量分数分支对输入的卷积特征进行处理得到质量分数。表示特征输入识别分支，识别分支对表示特征进行归一化处理，得到归一化的图像特征，在本实施例中记为待搜索图像的图像特征。
在一个实施例中，第一特征提取模块可以采用改进的残差网络。在一个具体实施例中，第一特征提取模块由批归一化-卷积-批归一化-激活-卷积-批归一化和残差连接的基本结构组成。其中，批归一化是对每一批数据进行归一化，可以利用优化变一下方差大小和均值位置，使得新的分布更切合数据的真实分布，保证模型的非线性表达能力。激活层对输入数据进行激活操作(一种函数变换)，常用的激活函数包括sigmoid,tanh,relu等。
在一个具体实施例中，展平层输出的一维卷积特征的长度为k。进一步地，在一个具体实施例中，全连接层将长度为k的一维卷积特征变换得到长度为512的表示特征。
S203，根据图像特征和质量分数，计算待搜索图像与各库图像之间的相似度。
其中，库图像为图像数据库中的图像，在一个实施例中，库图像可以存储在服务器中。
在一些实施例中，如图3所示，根据图像特征和质量分数，计算待搜索图像与各库图像之间的相似度，包括步骤S301和步骤S302：
S301，将各库图像输入特征提取模型，得到各库图像的库图像特征和库图像质量分数。
在本实施例中，将对库图像提取的图像特征记为库图像特征，将对库图像提取的特征进行质量描述得到的数值记为质量分数。在一个实施例中，库图像特征和库图像质量分数的确定过程与前述与待搜索图像提取图像特征和确定质量分数的过程相似，在此不再赘述。
在一个实施例中，步骤S301可以预先完成，并将得到的库图像特征和库图像质量分数存储；其中，库图像特征可以编码后进行存储；可以采用任意一种编码方式对库图像进行编码，例如在一个具体实施例中，库图像特征经过base64编码之后进行存储。base64是一种基于64个可打印字符来表示二进制数据的方法。在其他实施例中，也可以采用其他编码方法对库图像特征进行编码。
S302，根据图像特征、质量分数、库图像特征和库图像质量分数，计算待搜索图像与各库图像之间的质量加权相似度。
在一个实施例中，根据图像特征和质量分数计算待搜索图像和各库图像之间的相似度，可以通过特征提取模型提取各库图像各自对应的库图像特征和库图像质量分数，并分别根据待搜索图像和各库图像的图像特征和质量分数计算相似度。进一步地，在一个实施例中，根据图像特征和质量分数计算图像之间的相似度，可以基于质量分数对图像特征计算质量加权相似度。其中，基于质量分数对图像特征计算质量加权相似度可以通过任意一种方式实现；例如在一个实施例中，可以通过求和平均的方式计算质量加权相似度，公式如下：Sim＝(f*Fi)*1/2*(s+Si)；其中，Sim表示质量加权相似度，f表示待搜索图像的图像特征，Fi表示第i个库图像特征，s表示待搜索图像的质量分数，Si表示第i个库图像的质量分数；又如在另一个实施例中，也可以通过如下方式计算质量加权相似度：Sim＝(f*Fi)*2*s*Si/(s+Si)，同样地，Sim表示质量加权相似度，f表示待搜索图像的图像特征，Fi表示第i个库图像特征，s表示待搜索图像的质量分数，Si表示第i个库图像的质量分数。在其他实施例中，也可以通过其他方式计算图像与图像之间的质量加权相似度。
S204，根据相似度，确定与待搜索图像关联的目标库图像。
其中，目标库图像可以是一张或两张以上。在一个实施例中，根据相似度确定与待搜索图像关联的目标库图像，可以是通过相似度进行大小排序，取排序结果中满足预设相似度条件的库图像，作为目标库图像。进一步地，相似度条件可以根据实际情况进行设定。在一个具体实施例中，预设相似度条件可以设置为取相似度的大小排序结果中相似度最大的一张图像作为目标库图像。在另一个具体实施例中，预设相似度条件也可以设置为取相似度的大小排序结果中，大于第一相似度阈值的各相似度数值对应的库图像作为目标库图像。在另一个具体实施例中，预设相似度条件还可以设置为取相似度的大小排序结果中，相似度较大的前预设数目/前预设比例的相似度数值对应的各库图像作为目标库图像。在其他实施例中，也可以通过其他方式根据相似度确定目标库图像。
在一个实施例中，目标库图像包括两张以上时，确定目标库图像之后，还包括根据相似度由大到小排序显示各目标库图像。
根据本公开实施例提供的技术方案，通过训练好的特征提取模型对图像库中的各库图像提取图像特征和确定质量分数，并通过图像特征、质量分数计算待搜索图像与各库图像之间的相似度，在以图像搜索图像时，考虑了待搜索图像和库图像的质量，可以搜索得到更准确的结果，减少因图像质量导致的搜索不准确的问题。
根据本公开实施例提供的技术方案，通过将获取的待搜索图像输入经训练确定的特征提取模型，得到待搜索图像的图像特征和质量分数；其中，特征提取模型是基于样本图像质量分数进行自适应间隔进行训练得到的，样本图像质量分数由预设特征提取模型根据样本图像确定；然后根据图像特征、质量分数在库图像中基于相似度的方式搜索得到与待搜索图像关联的目标库图像。上述方法的特征提取模型在训练时考虑了样本图像的图像质量，对样本图像确定对应的质量分数，并以图像质量分数为基础对预设特征提取模型提取的图像特征进行自适应间隔调整，从而训练得到特征提取模型，因此特征提取模型可以对输入的待搜索图像提取更准确的图像特征，进而在搜索图像时得到更准确的搜索结果。
在一些实施例中，如图4所示，在根据图像特征、质量分数、库图像特征和库图像质量分数，计算待搜索图像与各库图像之间的质量加权相似度之前，还包括步骤S401至步骤S403：
步骤S401，对各库图像特征进行聚类，得到两簇以上库图像特征。
将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。在一个实施例中，对各库图像特征进行聚类可以采用任意一种可以实现的聚类算法。例如在一个具体实施例中，采用DBSCAN算法对各库图像特征进行聚类。DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。在其他实施例中，也可以采用其他聚类算法对各库图像特征进行聚类。
进一步地，在聚类算法中，可以设置第二相似度阈值，将相似度大于第二相似度阈值的库图像特征划分为一个簇。其中，第二相似度阈值可以根据实际情况进行设置，例如可以设置为0.5～0.7。
步骤S402，计算各簇库图像特征各自对应的平均图像特征，以及平均质量分数。
平均图像特征即为每一簇库图像特征中的所有库图像特征求平均得到；在一个具体实施例中，平均图像特征是由所在簇中各库图像特征对应的库图像质量分数加权平均得到，公式如下：Fia＝Si0*Fi0+Si1*Fi1+…+Si(ki-1)*Fi(ki-1)，其中，Fia表示第i簇库图像特征对应的平均图像特征，Si(ki-1)表示第i簇中第ki个库图像特征对应的库图像特征质量分数，Fi(ki-1)表示第i簇中第ki个库图像特征。在其他实施例中，平均图像特征也可以通过其他方式确定。
平均质量分数即为每一簇库图像特征库图像特征中的所有库图像质量分数求平均得到；在一个实施例中，平均质量分数可以通过对每一簇中各库图像质量分数求和平均，公式如下：Sia＝(Si0+Si1+…+Si(ki-1))/ki；其中，Sia表示第i簇库图像特征对应的平均质量分数，Si(ki-1)表示第i簇中第ki个库图像特征对应的库图像特征质量分数，ki表示第i簇中的库图像特征的数量。在其他实施例中，平均质量分数也可以通过其他方式确定。
步骤S403，存储各簇库图像特征对应的平均图像特征和平均质量分数。
本实施例中，将聚类得到的各簇库图像特征对应的平均图像特征和平均质量分数进行存储，在进行图像搜索时，获取平均图像特征和平均质量分数搜索目标库图像。
进一步地，在一些实施例中，如图5所示，根据图像特征、质量分数、库图像特征和库图像质量分数，计算待搜索图像与各库图像之间的质量加权相似度，包括步骤S501至步骤S503：
S501，基于图像特征、各平均图像特征、质量分数和各平均质量分数，分别计算图像特征与各簇库图像特征之间的第一相似度。
在本实施例中，基于待搜索图像的图像特征、质量分数和每一簇平均图像特征、平均质量分数计算相似度，与前述实施例中基于待搜索图像的图像特征、质量分数和各库图像特征、库图像质量分数计算相似度的过程相似，在此不再赘述。其中，在本实施例中，将待搜索图像与各簇库图像特征之间的相似度记为第一相似度。需要说明的是，本申请实施例中所使用的“第一”、“第二”、“第三”等仅用于区分命名，不表示任何实际含义。
S502，根据第一相似度确定与待搜索图像满足预设条件的目标簇。
其中，预设条件可以根据实际情况进行设置；在一个具体实施例中，预设条件设置为相似度大于第三相似度阈值；在本实施例中，第一相似度大于第三相似度阈值的簇即判定为满足预设条件，记为目标簇。第三相似度阈值可以根据实际情况进行设置，第三相似度阈值与第二相似度阈值可以设置为相同，也可以设置为不同。在一个实施例中，目标簇可以包括一个或者多个。
S503，基于图像特征、目标簇中的各库图像特征、质量分数以及目标簇中各库图像质量分数，分别计算图像特征与目标簇中各库图像特征之间的第二相似度。
在各簇中确定相似度较大的目标簇之后，分别对目标簇中各库图像特征与待搜索图像之间的相似度进行计算，以确定与待搜索图像的图像特征更为相似的库图像。在本实施例中，将待搜索图像的图像特征与目标簇中各库图像特征之间的相似度记为第二相似度。
需要说明的是，基于图像特征、目标簇中各库图像特征、质量分数和目标簇中各库图像质量分数计算相似度的过程，与前述实施例中基于待搜索图像的图像特征、质量分数和各库图像特征、库图像质量分数计算相似度的过程相似，在此不再赘述。
根据本公开实施例提供的技术方案，先将图像库中的各库图像基于库图像质量分数和库图像特征进行聚类和求平均图像特征和平均质量分数，并将聚类结果、平均图像特征、平均质量分数进行存储，当以待搜索图像在图像库中搜索图像时，先在聚类得到的各簇中以平均图像特征、平均质量分数搜索相似度(上述第一相似度)较大的部分目标簇，进一步分别计算待搜索图像和各目标簇中的库图像之间的相似度(上述第二相似度)，最后基于第二相似度确定与待搜索图像关联的目标库图像。如此，相比传统方法，在图像库中搜索图像时，可以减少相似度计算的次数，降低计算量，从而提高图像搜索效率。
在一些实施例中，预设特征提取模型包括第一特征提取模块、第二特征提取模块、质量分数分支、余弦计算分支和自适应间隔调整模块；在本实施例中，如图6所示，特征提取模型的训练过程包括步骤S601至步骤S608：
S601，获取样本图像。
样本图像用于训练特征提取模型。
S602，将样本图像输入第一特征提取模块，得到样本图像对应的样本中间特征。
第一特征提取模块对输入的样本图像进行特征提取，将得到的特征记为样本中间特征。在一个实施例中，第一特征提取模块采用改进的残差网络，由批归一化-卷积-批归一化-激活-卷积-批归一化和残差连接的基本结构组成。
S603，将样本中间特征输入第二特征提取模块，得到样本图像对应的样本卷积特征和样本表示特征。
第二特征提取模块对样本中间特征进行处理，得到的特征在本实施例中记为样本卷积特征和样本表示特征。在一个实施例中，第二特征提取模块包括展平层和全连接层，展平层对样本中间特征展平为一维特征，记为样本卷积特征；在一个具体实施例中，样本卷积特征的长度为k。进一步地，全连接层对样本卷积特征进行变换得到样本表示特征；在一个具体实施例中，样本表示特征的长度为512。
S604，将样本卷积特征输入质量分数分支，得到样本图像对应的样本图像质量分数。
在一个实施例中，质量分数分支由全连接层和激活层组成，其中激活层可以以sigmoid函数构成。本实施例中，将质量分数分支输出的数值记为样本图像质量分数，取值范围为[0,1]。
S605，将样本表示特征输入余弦计算分支，对样本表示特征进行归一化，并将归一化后的样本表示特征与初始权重矩阵相乘，得到样本表示特征与各图像类别的初始中心向量夹角的样本余弦值。
在本实施例中，余弦计算分支包括两部分，第一部分对样本表示特征进行归一化，第二部分将归一化后的样本表示特征与初始权重矩阵相乘。对样本表示特征进行归一化可以通过任意一种方式实现。在一个具体实施例中，余弦计算分支的第一部分即为前述实施例中所说的识别分支。
其中，初始权重矩阵为随机初始化得到；在一个实施例中，初始权重矩阵为归一化的权重矩阵。各图像类别的初始中心向量根据初始权重矩阵确定。在模型训练过程中，对初始权重矩阵进行优化调整，模型训练完成后得到最终的权重矩阵。
样本表示特征与各图像类别的初始中心向量夹角的样本余弦值，即样本图像属于各图像类别的logit值(逻辑回归值)。
S606，将样本余弦值、样本图像质量分数输入自适应间隔调整模块，得到调整后余弦值。
在一些实施例中，如图7所示，将样本余弦值、样本图像质量分数输入自适应间隔调整模块，得到调整后余弦值，包括步骤S701至步骤S703：
S701，将样本余弦值、样本图像质量分数输入自适应间隔调整模块，计算样本余弦值对应的样本夹角。
在确定样本图像属于各图像类别的logit值以后，可以通过反余弦函数确定对应的夹角大小，本实施例中记为样本夹角。
S702，基于样本图像质量分数对样本夹角添加自适应间隔得到调整后夹角。
具体地，基于样本图像质量分数对样本夹角添加自适应间隔可以通过任意一种方式实现。
在一些实施例中，基于样本图像质量分数对样本夹角添加自适应间隔得到调整后夹角，包括：计算样本图像质量分数与质量系数的乘积；计算乘积与基础间隔的和值；将和值与样本夹角相加，得到调整后夹角。对应公式为：θ1＝θ+(m0+0.2*score)；其中，θ1表示调整后夹角，θ表示样本夹角，m0表示基础间隔，基础间隔可以根据实际情况设置为0～1的数值，例如0.4，score表示样本图像质量分数。
其中，(m0+0.2*score)即表示上述自适应间隔，自适应间隔与样本图像质量分数相关联，样本图像质量分数越大，添加的自适应间隔越大，调整后夹角相比样本夹角变化越大；样本图像质量分数越小，添加的自适应间隔越小，调整后夹角相比样本夹角变化越小。在其他实施例中，自适应间隔也可以基于样本图像质量分数通过其他方式确定。
S703，计算调整后夹角对应的调整后余弦值。
对样本夹角添加自适应间隔之后，再将得到的调整后夹角通过余弦函数转换为对应的余弦值，记为调整后余弦值。
根据本公开实施例提供的技术方案，训练模型时，将对样本图像确定的样本质量分数作为基础，对样本图像属于各图像类别的logit值进行自适应间隔调整，使得特征提取模型对样本图像提取的特征分布降低因图像质量的影响，提高特征分布的准确性，在进行图像搜索时，减少因图像质量导致的搜索错误，提高搜索结果的准确性。
S607，基于调整后余弦值计算损失函数值。
损失函数(loss function)或代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在一个具体实施例中，损失函数采用交叉熵函数，交叉熵损失计算公式：
Figure BDA0003379937830000151
其中：L：交叉熵损失值，根据该值的大小对模型参数进行优化调整，通常该值越小，模型对图像的识别能力越强；
N：每次优化模型时输入的图片数，为固定值，取自然数，根据硬件计算能力进行设置，通常为512；
s：公式参数，通常设置为64；
n：模型训练时所有训练集图片包含的不同图像类别，如10000，以样本图像为人脸图像为例，n表示训练集中包含的不同人脸数；
θyi：当前图片的特征与本类中心特征的夹角；
θ当：当前图片的特征与第j类人脸中心特征的夹角；
m：即前述实施例中所说的自适应间隔，在一个实施例中为(m0+0.2*score)。
在其他实施例中，也可以采用其他损失函数
S608，根据损失函数值训练预设特征提取模型，直至达到预设终止条件，得到特征提取模型。
根据损失函数值对预设特征提取模型进行训练，使之达到预设终止条件时，判定为训练完成，得到特征提取模型。其中，预设终止条件可以根据实际情况设置为训练次数达到次数阈值，或者也可以设置为损失函数值小于函数阈值，等等。
根据本公开实施例提供的技术方案，预设特征提取模型中设置质量分数分支、余弦计算分支和自适应间隔调整模块，分别对样本图像的图像质量进行描述，确定样本图像属于各图像类别的logit值，以及基于样本图像质量分数对样本图像属于各图像类别的logit值进行自适应间隔的调整，最终基于自适应间隔计算损失函数来训练预设特征提取模型，使得到的特征提取模型在对输入的图像提取图像特征时考虑图像质量，能够对难易样本进行针对性优化，得到的图像特征分布更准确。在使用该特征提取模型进行图像搜索时，可以提高图像搜索的准确性。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
在一个具体实施例中，以待搜索图像、样本图像均为人脸图像为例，对上述图像搜索方法进行详细描述，如图8所示，包括以下步骤：
设计一种基于深度神经网络的特征提取模型，分为主干模块(即前述实施例中第一特征提取模块)、颈部模块(即前述实施例中第二特征提取模块)和头模块三部分。如图9所示，主干模块使用改进的残差网络(IResNet)，由批归一化-卷积-批归一化-激活-卷积-批归一化和残差连接的基本结构组成。颈部模块包含一个展平层和一个全连接层，展平层将主干模块输出的特征拉平为长度为k的一维特征(卷积特征)，全连接层将卷积特征变换为长度为512的一维特征(表示特征)。头模块的输入为卷积特征和表示特征，其中卷积特征经过质量分数分支，包括一个全连接层和一个sigmoid激活层得到人脸的质量分数S，范围为[0,1]。表示特征输入余弦计算分支，将表示特征归一化后与归一化的权重矩阵相乘，得到特征与每个图像类别中心向量夹角的余弦值，也即样本图像属于每个图像类别的logit值。对于目标类(即该样本图像特征所属类别)的logit值，计算对应的夹角θ，对该夹角添加一个自适应间隔，调整为θ+(m0+0.2*score)，其中m0表示基础间隔。调整后夹角重新转化为logit值，然后利用调整后logit值计算交叉熵损失，并返回梯度进行模型训练，得到特征提取模型。
对于规模较大的图像库，每次搜索时重新计算特征消耗时间较多。为减少搜索时间，需提前对图像库中的各库图像进行计算。对于图像库中的每张图片，首先使用人脸检测模型检测到人脸框和关键点，然后使用对齐算法进行关键点对齐和人脸裁剪，最后将裁剪得到的人脸图片输入特征提取模型中，同时得到人脸归一化特征值和质量分数。将特征值进行base64编码后，和质量分数一起保存到数据库中。其中，可以采用任意一种人脸检测模型对图像库中的图像进行处理。同样地，对于人脸检测模型检测到的人脸检测框和关键点可以采用任意一种对齐算法进行处理，例如5点对齐算法。
为进一步加速图片检索，对计算得到的人脸归一化特征使用DBSCAN聚类算法进行聚类，其中相似度阈值设置为0.6。聚类后得到N个簇，其中第i(i＝0,1,…,N-1)个簇包含ki个图片，其对应的特征和质量分分别为Fi0,Fi1,…,Fi(ki-1)和Si0,Si1,…,Si(ki-1)。该簇的平均图像特征计算方式为Fi＝Si0*Fi0+Si1*Fi1+…+Si(ki-1)*Fi(ki-1)，平均质量分数计算方式为Si＝(Si0+Si1+…+Si(ki-1))/ki。将计算得到的每个簇的平均特征和平均质量分数保存在数据库中。
获取待搜索图像query，将待搜索图像输入特征提取模型，由特征提取模型中的质量分数分支计算对应的质量分数，由特征提取模型中余弦计算分支中的前一部分输出对应的归一化图像特征，其中，该前一部分可以称为识别分支。
根据待搜索图像的归一化图像特征、质量分数，以及各簇库图像的平均图像特征、平均质量分数，计算待搜索图像的归一化图像特征与每个簇类中心特征值的第一相似度；对于第一相似度大于第三相似度阈值(可以设置为0.6)的目标簇，再计算待搜索图像的归一化图像特征与目标簇中每个库图像特征Fij的质量加权相似度，基于第二相似度确定与待搜索图像关联的目标库图像；进一步地，在一个实施例中，可以基于第二相似度从大到小排序返回最终搜索结果。
在一个实施例中，第一相似度的计算公式可以是：sim1＝(f*Fi)*2*s*Si/(s+Si)，第二相似度的计算公式为sim2＝(f*Fij)*2*s*Sij/(s+Sij)。在另一个实施例中，第一相似度的计算公式可以是：sim1＝(f*Fi)*1/2*(s+Si)；第二相似度的计算公式为sim2＝(f*Fij)*1/2*(s+Sij)。
其中，sim1：query图片(待搜索图像)与第i个簇的相似度(第一相似度)。f：query图片的归一化图像特征。s：query图片的质量分数。Fi：第i个簇的平均归一化特征。Si：第i个簇的平均质量。sim2：query图片与第i个簇的第j张库图像的相似度(第二相似度)。Fij：第i个簇的第j张库图像的归一化图像特征。Sij：第i个簇的第j张库图像的质量分数。
上述图像搜索方法，设计了自适应间隔的人脸特征提取模型，其中头模块包括余弦计算分支和质量分数分支，质量分数分支预测图像的质量，并转化为自适应间隔修正余弦计算分支计算得到的logit值，从而更好地进行模型训练。模型前向推理时，同时使用余弦计算分支的前部分和质量分数分支分别计算人脸归一化特征和图像质量分数，并利用图像质量分数计算质量加权相似度来查找与待搜索图像关联的库图像，提高搜索图像的准确性；使用聚类保存相似人脸类中心，使得图像搜索时减少计算相似度的次数，提高图像搜索效率，可以快速准确的召回待搜索图像关联的库图像。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图10是本公开实施例提供的一种图像搜索装置的示意图。如图10所示，该图像搜索装置包括：
获取模块1010，被配置为用于获取待搜索图像。
特征提取模块1020，被配置为用于将待搜索图像输入特征提取模型，得到待搜索图像的图像特征和质量分数；其中，特征提取模型是基于样本图像质量分数进行自适应间隔训练确定，样本图像质量分数由预设特征提取模型根据输入的样本图像确定。
相似度计算模块1030，被配置为用于根据图像特征和质量分数，计算待搜索图像与各库图像之间的相似度。
搜索模块1040，被配置为用于根据相似度，确定与待搜索图像关联的目标库图像。
根据本公开实施例提供的技术方案，通过将获取的待搜索图像输入经训练确定的特征提取模型，得到待搜索图像的图像特征和质量分数；其中，特征提取模型是基于样本图像质量分数进行自适应间隔进行训练得到的，样本图像质量分数由预设特征提取模型根据样本图像确定；然后根据图像特征、质量分数在库图像中基于相似度的方式搜索得到与待搜索图像关联的目标库图像。特征提取模型在训练时考虑了样本图像的图像质量，对样本图像确定对应的质量分数，并以图像质量分数为基础对预设特征提取模型提取的图像特征进行自适应间隔调整，从而训练得到特征提取模型，因此特征提取模型可以对输入的待搜索图像提取更准确的图像特征，进而在搜索图像时得到更准确的搜索结果。
在一些实施例中，如图11所示，上述装置的相似度计算模块1030包括：库图像处理子模块1031，被配置为将各库图像输入特征提取模型，得到各库图像的库图像特征和库图像质量分数；以及计算子模块1032，被配置为根据图像特征、质量分数、库图像特征和库图像质量分数，计算待搜索图像与各库图像之间的质量加权相似度。
在一些实施例中，上述装置还包括：聚类模块1050、平均数值计算模块1060，以及存储模块1070，其中：
聚类模块1050，被配置为对各库图像特征进行聚类，得到两簇以上库图像特征。
平均数值计算模块1060，被配置为计算各簇库图像特征各自对应的平均图像特征，以及平均质量分数。
存储模块1070，被配置为存储各簇库图像特征对应的平均图像特征和平均质量分数。
在一些实施例中，上述装置的计算子模块1032包括：第一计算单元，被配置为基于图像特征、各平均图像特征、质量分数和各平均质量分数，分别计算图像特征与各簇库图像特征之间的第一相似度；目标簇确定单元，被配置为根据第一相似度确定与待搜索图像满足预设条件的目标簇；第二计算单元，被配置为基于图像特征、目标簇中的各库图像特征、质量分数以及目标簇中各库图像质量分数，分别计算图像特征与目标簇中各库图像特征之间的第二相似度。
在一些实施例中，上述装置包括模型训练模块1080，模型训练模块包括：
样本图像获取子模块1081，用于获取样本图像；第一特征提取子模块1082，用于将样本图像输入第一特征提取模块，得到样本图像对应的样本中间特征；第二特征提取子模块1083，用于将样本中间特征输入第二特征提取模块，得到样本图像对应的样本卷积特征和样本表示特征；质量分数子模块1084，用于将样本卷积特征输入质量分数分支，得到样本图像对应的样本图像质量分数；余弦计算子模块1085，用于将样本表示特征输入余弦计算分支，对样本表示特征进行归一化，并将归一化后的样本表示特征与初始权重矩阵相乘，得到样本表示特征与各图像类别的初始中心向量夹角的样本余弦值；自适应调整子模块1086，用于将样本余弦值、样本图像质量分数输入自适应间隔调整模块，得到调整后余弦值；损失函数计算子模块1087，用于基于调整后余弦值计算损失函数值；训练子模块1088，用于根据损失函数值训练预设特征提取模型，直至达到预设终止条件，得到特征提取模型。
在一些实施例中，上述装置的自适应调整子模块，包括：余弦值夹角转换单元，用于将样本余弦值、样本图像质量分数输入自适应间隔调整模块，计算样本余弦值对应的样本夹角；夹角调整单元，用于基于样本图像质量分数对样本夹角添加自适应间隔得到调整后夹角；夹角余弦值转换单元，用于计算调整后夹角对应的调整后余弦值。
在一些实施例中，上述装置的夹角调整单元，具体被配置为：计算样本图像质量分数与质量系数的乘积；计算乘积与基础间隔的和值；和值与样本夹角相加，得到调整后夹角。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图12是本公开实施例提供的电子设备12的示意图。如图12所示，该实施例的电子设备12包括：处理器1201、存储器1202以及存储在该存储器1202中并且可在处理器1201上运行的计算机程序1203。处理器1201执行计算机程序1203时实现上述各个方法实施例中的步骤。或者，处理器1201执行计算机程序1203时实现上述各装置实施例中各模块/单元的功能。
示例性地，计算机程序1203可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器1202中，并由处理器1201执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序1203在电子设备12中的执行过程。
电子设备12可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备12可以包括但不仅限于处理器1201和存储器1202。本领域技术人员可以理解，图12仅仅是电子设备12的示例，并不构成对电子设备12的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。
处理器1201可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1202可以是电子设备12的内部存储单元，例如，电子设备12的硬盘或内存。存储器1202也可以是电子设备12的外部存储设备，例如，电子设备12上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)等。进一步地，存储器1202还可以既包括电子设备12的内部存储单元也包括外部存储设备。存储器1202用于存储计算机程序以及电子设备所需的其它程序和数据。存储器1202还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (10)

1.一种图像搜索方法，其特征在于，包括：
获取待搜索图像；
将所述待搜索图像输入特征提取模型，得到所述待搜索图像的图像特征和质量分数；其中，所述特征提取模型是基于样本图像质量分数进行自适应间隔训练确定，所述样本图像质量分数由预设特征提取模型根据输入的样本图像确定；
根据所述图像特征和所述质量分数，计算所述待搜索图像与各库图像之间的相似度；
根据所述相似度，确定与所述待搜索图像关联的目标库图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征和所述质量分数，计算所述待搜索图像与各库图像之间的相似度，包括：
将各所述库图像输入所述特征提取模型，得到各所述库图像的库图像特征和库图像质量分数；
根据所述图像特征、质量分数、库图像特征和所述库图像质量分数，计算所述待搜索图像与各所述库图像之间的质量加权相似度。
3.根据权利要求2所述的方法，其特征在于，在根据所述图像特征、质量分数、库图像特征和所述库图像质量分数，计算所述待搜索图像与各所述库图像之间的质量加权相似度之前，还包括：
对各所述库图像特征进行聚类，得到两簇以上库图像特征；
计算各簇所述库图像特征各自对应的平均图像特征，以及平均质量分数；
存储各簇所述库图像特征对应的平均图像特征和所述平均质量分数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述图像特征、质量分数、库图像特征和所述库图像质量分数，计算所述待搜索图像与各所述库图像之间的质量加权相似度，包括：
基于所述图像特征、各所述平均图像特征、质量分数和各所述平均质量分数，分别计算所述图像特征与各簇所述库图像特征之间的第一相似度；
根据所述第一相似度确定与所述待搜索图像满足预设条件的目标簇；
基于所述图像特征、所述目标簇中的各库图像特征、质量分数以及所述目标簇中各库图像质量分数，分别计算所述图像特征与所述目标簇中各库图像特征之间的第二相似度。
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述预设特征提取模型包括第一特征提取模块、第二特征提取模块、质量分数分支、余弦计算分支和自适应间隔调整模块；
所述特征提取模型的训练过程包括：
获取样本图像；
将所述样本图像输入所述第一特征提取模块，得到所述样本图像对应的样本中间特征；
将所述样本中间特征输入所述第二特征提取模块，得到所述样本图像对应的样本卷积特征和样本表示特征；
将所述样本卷积特征输入所述质量分数分支，得到所述样本图像对应的样本图像质量分数；
将所述样本表示特征输入所述余弦计算分支，对所述样本表示特征进行归一化，并将归一化后的所述样本表示特征与初始权重矩阵相乘，得到所述样本表示特征与各图像类别的初始中心向量夹角的样本余弦值；
将所述样本余弦值、所述样本图像质量分数输入所述自适应间隔调整模块，得到调整后余弦值；
基于所述调整后余弦值计算损失函数值；
根据所述损失函数值训练所述预设特征提取模型，直至达到预设终止条件，得到所述特征提取模型。
6.根据权利要求5所述的方法，其特征在于，所述将所述样本余弦值、所述样本图像质量分数输入所述自适应间隔调整模块，得到调整后余弦值，包括：
将所述样本余弦值、所述样本图像质量分数输入所述自适应间隔调整模块，计算所述样本余弦值对应的样本夹角；
基于所述样本图像质量分数对所述样本夹角添加自适应间隔得到调整后夹角；
计算所述调整后夹角对应的所述调整后余弦值。
7.根据权利要求6所述的方法，其特征在于，所述基于所述样本图像质量分数对所述样本夹角添加自适应间隔得到调整后夹角，包括：
计算所述样本图像质量分数与质量系数的乘积；
计算所述乘积与基础间隔的和值；
将所述和值与所述样本夹角相加，得到所述调整后夹角。
8.一种图像搜索装置，其特征在于，包括：
获取模块，用于获取待搜索图像；
特征提取模块，用于将所述待搜索图像输入特征提取模型，得到所述待搜索图像的图像特征和质量分数；其中，所述特征提取模型是基于样本图像质量分数进行自适应间隔训练确定，所述样本图像质量分数由预设特征提取模型根据输入的样本图像确定；
相似度计算模块，用于根据所述图像特征和所述质量分数，计算所述待搜索图像与各库图像之间的相似度；
搜索模块，用于根据所述相似度，确定与所述待搜索图像关联的目标库图像。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202111430300.XA 2021-11-29 2021-11-29 图像搜索方法、装置、电子设备及计算机可读存储介质 Pending CN114139013A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111430300.XA CN114139013A (zh) 2021-11-29 2021-11-29 图像搜索方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111430300.XA CN114139013A (zh) 2021-11-29 2021-11-29 图像搜索方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114139013A true CN114139013A (zh) 2022-03-04

Family

ID=80388878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111430300.XA Pending CN114139013A (zh) 2021-11-29 2021-11-29 图像搜索方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114139013A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115017359A (zh) * 2022-05-27 2022-09-06 浙江大华技术股份有限公司 一种搜索图片的方法、装置及电子设备
CN115687670A (zh) * 2023-01-03 2023-02-03 天津恒达文博科技股份有限公司 图像搜索方法、装置、计算机可读存储介质及电子设备
CN117421443A (zh) * 2023-12-19 2024-01-19 深圳须弥云图空间科技有限公司 一种针对跨域图片的检索方法及装置
WO2024109223A1 (zh) * 2023-07-18 2024-05-30 西北工业大学 一种用户需求驱动的关键数据提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019119505A1 (zh) * 2017-12-18 2019-06-27 深圳云天励飞技术有限公司 人脸识别的方法和装置、计算机装置及存储介质
CN111104911A (zh) * 2019-12-20 2020-05-05 湖南千视通信息科技有限公司 一种基于大数据训练的行人重识别方法及装置
CN112612913A (zh) * 2020-12-28 2021-04-06 厦门市美亚柏科信息股份有限公司 一种用于图像的搜索方法和系统
CN112765381A (zh) * 2021-01-18 2021-05-07 深圳市华尊科技股份有限公司 图像检索方法、电子设备及相关产品
CN113569895A (zh) * 2021-02-20 2021-10-29 腾讯科技（北京）有限公司 图像处理模型训练方法、处理方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019119505A1 (zh) * 2017-12-18 2019-06-27 深圳云天励飞技术有限公司 人脸识别的方法和装置、计算机装置及存储介质
CN111104911A (zh) * 2019-12-20 2020-05-05 湖南千视通信息科技有限公司 一种基于大数据训练的行人重识别方法及装置
CN112612913A (zh) * 2020-12-28 2021-04-06 厦门市美亚柏科信息股份有限公司 一种用于图像的搜索方法和系统
CN112765381A (zh) * 2021-01-18 2021-05-07 深圳市华尊科技股份有限公司 图像检索方法、电子设备及相关产品
CN113569895A (zh) * 2021-02-20 2021-10-29 腾讯科技（北京）有限公司 图像处理模型训练方法、处理方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵广复;张有顺: "一种改进的CHNN图像边缘检测方法-Weighted CHNN", 计算机应用与软件, no. 005, 31 December 2012 (2012-12-31) *
陈曦;仇蕾;黄泽元: "最小二乘支持向量机在太湖流域水质评价中的应用", 水生态学杂志, no. 006, 31 December 2013 (2013-12-31) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115017359A (zh) * 2022-05-27 2022-09-06 浙江大华技术股份有限公司 一种搜索图片的方法、装置及电子设备
CN115687670A (zh) * 2023-01-03 2023-02-03 天津恒达文博科技股份有限公司 图像搜索方法、装置、计算机可读存储介质及电子设备
WO2024109223A1 (zh) * 2023-07-18 2024-05-30 西北工业大学 一种用户需求驱动的关键数据提取方法
CN117421443A (zh) * 2023-12-19 2024-01-19 深圳须弥云图空间科技有限公司 一种针对跨域图片的检索方法及装置

Similar Documents

Publication Publication Date Title
WO2022083536A1 (zh) 一种神经网络构建方法以及装置
CN114139013A (zh) 图像搜索方法、装置、电子设备及计算机可读存储介质
EP3968179A1 (en) Place recognition method and apparatus, model training method and apparatus for place recognition, and electronic device
CN108280477B (zh) 用于聚类图像的方法和装置
US20220375213A1 (en) Processing Apparatus and Method and Storage Medium
CN111523621A (zh) 图像识别方法、装置、计算机设备和存储介质
CN107679466B (zh) 信息输出方法和装置
CN113326930B (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
CN104063686B (zh) 作物叶部病害图像交互式诊断系统与方法
WO2021098618A1 (zh) 数据分类方法、装置、终端设备及可读存储介质
CN114298122B (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
US20220237917A1 (en) Video comparison method and apparatus, computer device, and storage medium
CN113657087B (zh) 信息的匹配方法及装置
CN110689046A (zh) 图像识别方法、装置、计算机装置及存储介质
CN111144284A (zh) 深度人脸图像的生成方法、装置、电子设备及介质
CN114612987A (zh) 一种表情识别方法及装置
CN111814804A (zh) 基于ga-bp-mc神经网络的人体三维尺寸信息预测方法及装置
CN114330565A (zh) 一种人脸识别方法及装置
CN112614110A (zh) 评估图像质量的方法、装置及终端设备
CN112883980A (zh) 一种数据处理方法及系统
CN114170484B (zh) 图片属性预测方法、装置、电子设备和存储介质
CN114332993A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN110427870B (zh) 眼部图片识别方法、目标识别模型训练方法及装置
CN113128278A (zh) 一种图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221223

Address after: 518054 cable information transmission building 25f2504, no.3369 Binhai Avenue, Haizhu community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Xumi yuntu Space Technology Co.,Ltd.

Address before: No.103, no.1003, Nanxin Road, Nanshan community, Nanshan street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Jizhi Digital Technology Co.,Ltd.