CN110765292A - 图像检索方法、训练方法及相关装置 - Google Patents

图像检索方法、训练方法及相关装置 Download PDF

Info

Publication number
CN110765292A
CN110765292A CN201911015164.0A CN201911015164A CN110765292A CN 110765292 A CN110765292 A CN 110765292A CN 201911015164 A CN201911015164 A CN 201911015164A CN 110765292 A CN110765292 A CN 110765292A
Authority
CN
China
Prior art keywords
image
long
hash
comparison
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911015164.0A
Other languages
English (en)
Inventor
王滨洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201911015164.0A priority Critical patent/CN110765292A/zh
Publication of CN110765292A publication Critical patent/CN110765292A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像检索方法、训练方法及相关装置，涉及人脸识别领域。比对图像库包括多张比对图像，图像检索方法包括：获取待检索图像的长特征信息和哈希特征信息；长特征信息用于指示待检索图像与多张比对图像的相似度信息；获取比对图像库中的至少一张待确认图像；至少一张待确认图像为比对图像库中哈希特征信息符合第一条件的比对图像；将长特征信息与至少一张待确认图像进行匹配，获取目标图像；目标图像为至少一张待确认图像中长特征信息符合第二条件的比对图像。使用哈希特征信息和长特征信息进行人脸的二级检索，可以有效提高人脸检索速度和精度。

Description

图像检索方法、训练方法及相关装置
技术领域
本申请涉及人脸识别领域，具体而言，涉及图像检索方法、训练方法及相关装置。
背景技术
人脸图像检索广泛应用于安防领域，该技术的目的是从一个庞大的数据库中，找出与给定检索图像具有相同身份的图像。
随着应用场景的复杂化，人脸数据库的规模不断增大，在数据库中快速检索出目标人物图像的难度也随之提高。在实际使用过程中，人脸图像检索开始采用哈希特征替代原始的人脸特征做检索，以提高检索速度；但是现有实现方法中，利用哈希特征的区分来检索人脸图像的效果并不理想。因此，需要一种基于人脸特征的检索方法以解决上述问题。
发明内容
为了至少克服现有技术中的上述不足，本申请的目的之一在于提供一种图像检索方法、训练方法及相关装置。
第一方面，本申请实施例提供一种图像检索方法，比对图像库包括多张比对图像，所述方法包括：获取待检索图像的长特征信息和哈希特征信息；所述长特征信息用于指示所述待检索图像与所述多张比对图像的相似度信息。获取所述比对图像库中的至少一张待确认图像；所述至少一张待确认图像为所述比对图像库中哈希特征信息符合第一条件的比对图像。将所述长特征信息与所述至少一张待确认图像进行匹配，获取目标图像；所述目标图像为所述至少一张待确认图像中长特征信息符合第二条件的比对图像。
在可选的实施方式中，在所述获取待检索图像的长特征信息和哈希特征信息之前，所述方法还包括：根据多张训练图像，获取长特征模型；所述长特征模型用于获取所述多张训练图像的训练长特征；根据所述多张训练图像和所述长特征模型，获取哈希特征模型。
在可选的实施方式中，所述获取待检索图像的长特征信息和哈希特征信息，包括：将所述待检索图像输入至所述长特征模型，获取所述长特征信息；将所述长特征信息输入至所述哈希特征模型，获取所述哈希特征信息。
在可选的实施方式中，所述根据所述多张训练图像，获取长特征模型，包括：获取所述多张训练图像；将所述多张训练图像输入至第一损失函数进行训练，至所述第一损失函数收敛，以获取所述长特征模型。
在可选的实施方式中，所述多张训练图像具有身份标识，所述根据所述多张训练图像和所述长特征模型，获取哈希特征模型，包括：通过所述多张训练图像和所述长特征模型，获取所述训练长特征。根据所述身份标识和所述训练长特征，获取同类样本对和异类样本对；所述同类样本对为所述多张训练图像中具有相同身份标识的训练图像，所述异类样本中的训练图像具有和所述同类样本对不同的身份标识。将所述训练长特征输入至第二损失函数，至所述第二损失函数收敛，以获取所述哈希特征模型；所述第二损失函数包括以下任意一项或组合：综合分类损失、样本对距离损失、特征组合分类损失。
在可选的实施方式中，所述获取所述比对图像库中与所述哈希特征信息对应的至少一张待确认图像，包括：根据所述多张比对图像，获取所述待检索图像的所述哈希特征信息与每张比对图像的哈希特征信息的汉明距离；将所述汉明距离处于第一预设区间的比对图像作为所述至少一张待确认图像。
在可选的实施方式中，所述将所述长特征信息与所述至少一张待确认图像进行匹配，获取目标图像，包括：根据所述至少一张待确认图像，获取所述长特征信息与每张待确认图像的余弦相似度；将所述余弦相似度处于第二预设区间的待确认图像作为所述目标图像。
第二方面，本申请实施例提供一种图像特征提取模型的训练方法，比对图像库包括多张比对图像，所述方法包括：根据多张训练图像，获取长特征模型；所述长特征模型用于获取待检索图像的长特征信息，所述长特征信息用于指示所述待检索图像与所述多张比对图像的相似度信息。根据所述多张训练图像和所述长特征模型，获取哈希特征模型；所述哈希特征模型用于获取所述待检索图像的哈希特征信息，所述哈希特征信息用于确定所述比对图像库中的至少一张待确认图像；所述长特征信息还用于确定目标图像，所述目标图像为所述至少一张待确认图像中长特征信息符合第二条件的比对图像。将所述长特征模型和所述哈希特征模型作为图像特征提取模型。
第三方面，本申请实施例提供一种图像检索装置，比对图像库包括多张比对图像，所述图像检索装置包括：特征提取模块和图像确定模块。所述特征提取模块用于获取待检索图像的长特征信息和哈希特征信息；所述长特征信息用于指示所述待检索图像与所述多张比对图像的相似度信息。所述图像确定模块用于获取所述比对图像库中的至少一张待确认图像；所述至少一张待确认图像为所述比对图像库中哈希特征信息符合第一条件的比对图像。所述图像确定模块还用于将所述长特征信息与所述至少一张待确认图像进行匹配，获取目标图像；所述目标图像为所述至少一张待确认图像中长特征信息符合第二条件的比对图像。
第四方面，本申请实施例提供一种图像特征提取模型的训练装置，比对图像库包括多张比对图像，所述训练装置包括：长特征训练模块、哈希特征训练模块和处理模块。所述长特征训练模块用于根据多张训练图像，获取长特征模型；所述长特征模型用于获取待检索图像的长特征信息，所述长特征信息用于指示所述待检索图像与所述多张比对图像的相似度信息。所述哈希特征训练模块用于根据所述多张训练图像和所述长特征模型，获取哈希特征模型；所述哈希特征模型用于获取所述待检索图像的哈希特征信息，所述哈希特征信息用于确定所述比对图像库中的至少一张待确认图像；所述长特征信息还用于确定目标图像，所述目标图像为所述至少一张待确认图像中长特征信息符合第二条件的比对图像。所述处理模块用于将所述长特征模型和所述哈希特征模型作为图像特征提取模型。
第五方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一项所述的图像检索方法或前述实施方式所述的训练方法。
第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式任一项所述的图像检索方法或前述实施方式所述的训练方法。
本申请实施例提供一种图像检索方法、训练方法及相关装置，涉及人脸识别领域。比对图像库包括多张比对图像，图像检索方法包括：获取待检索图像的长特征信息和哈希特征信息；长特征信息用于指示待检索图像与多张比对图像的相似度信息；获取比对图像库中的至少一张待确认图像；至少一张待确认图像为比对图像库中哈希特征信息符合第一条件的比对图像；将长特征信息与至少一张待确认图像进行匹配，获取目标图像；目标图像为至少一张待确认图像中长特征信息符合第二条件的比对图像。使用哈希特征信息和长特征信息进行人脸的二级检索，可以有效提高人脸检索速度和精度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种图像检索方法的流程示意图；
图2为本申请实施例提供的另一种图像检索方法的流程示意图；
图3为本申请实施例提供的另一种图像检索方法的流程示意图；
图4为本申请实施例提供的另一种图像检索方法的流程示意图；
图5为本申请实施例提供的另一种图像检索方法的流程示意图；
图6为本申请实施例提供的一种哈希特征模型的训练示意图；
图7为本申请实施例提供的另一种图像检索方法的流程示意图；
图8为本申请实施例提供的另一种图像检索方法的流程示意图；
图9为本申请实施例提供的一种训练方法的流程示意图；
图10为本申请实施例提供的一种神经学习网络的结构示意图；
图11为本申请实施例提供的一种图像检索装置的方框示意图；
图12为本申请实施例提供的一种训练装置的方框示意图；
图13为本申请实施例提供的一种电子设备的方框示意图。
图标：40-图像检索装置，41-特征提取模块，42-图像确定模块，50-训练装置，51-长特征训练模块，52-哈希特征训练模块，53-处理模块，60-电子设备，61-存储器，62-处理器，63-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
人脸图像检索广泛应用于安防领域，该技术的目的是从一个庞大的数据库中，找出与给定检索图像具有相同身份的图像。随着应用场景的复杂化，人脸数据库的规模不断增大，在数据库中快速检索出目标人物图像的难度也随之提高。在实际使用过程中，人脸图像检索开始采用哈希特征替代原始的人脸特征做检索，以提高检索速度；但是现有的实现方法中，利用哈希特征的区分来检索人脸图像的效果并不理想。
为了解决上述的问题，本申请实施例提供一种图像检索方法，如图1，图1为本申请实施例提供的一种图像检索方法的流程示意图。比对图像库包括多张比对图像，该图像检索方法包括：
步骤S202、获取待检索图像的长特征信息和哈希特征信息。
上述长特征信息用于指示待检索图像与多张比对图像的相似度信息。
步骤S203、获取比对图像库中的至少一张待确认图像。
上述的至少一张待确认图像为比对图像库中哈希特征信息符合第一条件的比对图像。可以理解的，该第一条件可以是比对图像的哈希特征值处于一个预设区间，进而将符合第一条件的比对图像作为待确认图像，其具体范围可以依据实际的图像检索需求进行设置和调整。
步骤S204、将长特征信息与至少一张待确认图像进行匹配，获取目标图像。
上述的目标图像为至少一张待确认图像中长特征信息符合第二条件的比对图像。可以理解的，该第二条件可以是待确认图像中与待检索图像的相似度处于预设范围，进而将符合第二条件的待确认图像作为目标图像进行输出，上述的第二条件可以根据实际的图像检索需求进行设置和调整。
可以理解的，首先进行哈希特征信息的筛选，获取比对图像库中与待检索图像的哈希特征信息匹配的至少一张待确认图像；再使用长特征信息进行检索，获取上述的至少一张待确认图像与待检索图像的长特征信息匹配的目标图像。通过哈希特征信息和长特征信息的二级检索，可以有效的提高图像检索的精度，快速的获取符合检索需求的目标图像。
在可选的实施方式中，在图1的基础上，给出一种可能的哈希特征信息和长特征信息的模型获取方式，如图2，图2是本申请实施例提供的另一种图像检索方法的流程示意图。在步骤S202之前，图像检索方法还包括：
步骤S200、根据多张训练图像，获取长特征模型。
上述的长特征模型用于获取多张训练图像的训练长特征。例如，可以准备多张人脸训练图像作为长特征模型的训练样本，构件以ResNet100为基础网络的人脸长特征提取模型，其中ResNet的Block块可以是以“BatchNorm-Convolution-BatchNorm-Relu-Convolution-BatchNorm”为基础结构。
步骤S201、根据多张训练图像和长特征模型，获取哈希特征模型。
先将长特征模型训练完成，再使用长特征模型和多张训练图像获取哈希特征模型，可以使长特征模型不受后续哈希特征模型训练的影响，提高长特征模型的稳定性。
在可选的实施方式中，为了获取待检索图像的哈希特征信息和长特征信息，在图2的基础上，给出一种可能的实现方式，如图3，图3是本申请实施例提供的另一种图像检索方法的流程示意图。上述的步骤S202可以包括：
步骤S202a、将待检索图像输入至长特征模型，获取长特征信息。
步骤S202b、将长特征信息输入至哈希特征模型，获取哈希特征信息。
可以理解的，通过长特征模型来获取待检索图像的长特征信息，通过哈希特征模型来获取待检索图像的哈希特征信息；在获取哈希特征模型时，使用的输入是待检索图像的长特征信息，可以在不影响待检索图像的原始人脸特征的情况下，生成表达能力的强的哈希特征信息(如二值哈希码)，进而提高图像检索的速度。
在可选的实施方式中，为了获取上述的长特征模型，在图2的基础上，给出一种可能的实现方式，如图4，图4是本申请实施例提供的另一种图像检索方法的流程示意图。上述的步骤S200可以包括：
步骤S200a、获取多张训练图像。
步骤S200b、将多张训练图像输入至第一损失函数进行训练，至第一损失函数收敛，以获取长特征模型。
可以理解的，上述的第一损失函数可以是Combined-Margin Softmax Loss，其函数表达式为：
Figure BDA0002245453110000101
其中，M为多张训练图像的数量，s为向量模长拉伸系数，ma、mm、mb为角度间隔超参数，n为多张训练图像包含的人脸类别数量，θyi是当前训练图像与对应类别yi代表向量的角度，θj是当前训练图像与其他所有类别j代表向量的角度。
可以理解的，上述的第一损失函数还可以是其它函数，长特征模型训练使用的函数可以根据实际检索需求进行选择。通过使用损失函数对训练图像进行训练，获取长特征模型，可以减少长特征模型和哈希特征模型同时训练的不稳定性，进而提高图像检索的精度。
在可选的实施方式中，为了获取哈希特征模型，在图4的基础上，以多张训练图像具有身份标识为例，如图5，图5是本申请实施例提供的另一种图像检索方法的流程示意图。根据多张训练图像和长特征模型，获取哈希特征模型，包括：
步骤S201a、通过多张训练图像和长特征模型，获取训练长特征。
步骤S201b、根据身份标识和训练长特征，获取同类样本对和异类样本对。
上述的同类样本对为多张训练图像中具有相同身份标识的训练图像，异类样本中的训练图像具有和同类样本对不同的身份标识。
步骤S201c、将训练长特征输入至第二损失函数，至第二损失函数收敛，以获取哈希特征模型。
第二损失函数包括以下任意一项或组合：综合分类损失、样本对距离损失、特征组合分类损失。
通过训练图像的身份标识和训练长特征，将多张训练图像分为同类样本对和异类样本对，进而实现按照身份标识对哈希特征模型进行训练，获取一个较优的哈希特征模型。
例如，对于上述的第二损失函数，以其具有综合分类损失、样本对距离损失、特征组合分类损失为例，如图6，图6为本申请实施例提供的一种哈希特征模型的训练示意图。将训练长特征输入到主体模型(图6示出的残差全连接结构)中，该残差全连接结构的输出层可以使用自定义的Binary OP操作将输出值量化为{-1,1}，Binary OP的表达式可以为：
其中
Figure BDA0002245453110000122
部分不参与反向传播，其中x是哈希特征的连续值，X是哈希特征的哈希值。
对输出值采用综合分类损失函数进行训练，该综合分类损失函数可以为：
其中ma、mm、mb为角度间隔超参数，s为向量模长拉伸系数，取值分别为ma＝1.0,mm＝0.55,mb＝0.0,s＝64；m为人脸的训练图像，n为人脸的类别数量，θyi是当前训练图像与对应类别yi代表向量的角度，θj是当前样本与其他所有类别j代表向量的角度。
对上述的同类样本对和异类样本对构造样本对距离损失函数，该样本对距离损失函数可以为：
Figure BDA0002245453110000131
其中D为哈希特征之间的距离，γ为柯西分布的超参数，其取值可以为γ＝20，y是样本对标签(同类样本对为1，异类样本对为0)，M是人脸样本对数量。因为汉明距离可以使用归一化的欧氏距离表示，上述的D可以表达为：
其中K为哈希特征的维度，K可以取256，x1、x2对应样本对的哈希特征。
针对上述的特征，构造特征组合分类损失如下：
其中，xi是构造的组合特征，y是样本对标签(同类样本对为1，异类样本对为0)；
Figure BDA0002245453110000134
是模型中分类层对应类别yi的权重参数，byi是分类层对应类别yi的偏置参数；M是人脸训练图像的数量。
则总体损失可以表达如下：
L＝Lcls+αLpair+βLnew_cls
其中α和β的取值可以是：α＝0.1，β＝1.0。需要注意的是，上述的取值仅是示意性的，实际的损失计算参数可以根据图像检索需求进行设置和调整。
通过上述的处理，可以有效的提高长特征模型和哈希特征模型的稳定性，有效的提高获取待检索图像的长特征信息和哈希特征信息的准确性，进而提高图像检索的效率和精度。
在可选的实施方式中，为了确定待确定图像，在图1的基础上，给出一种可能的实现方式，如图7，图7是本申请实施例提供的另一种图像检索方法的流程示意图。上述的步骤S203可以包括：
步骤S203a、根据多张比对图像，获取待检索图像的哈希特征信息与每张比对图像的哈希特征信息的汉明距离。
汉明距离表示两个相同长度字符串之间对应位数不同的数量，计算可通过异或操作和累加得到。可以理解的，汉明距离可以通过归一化的欧氏距离表示，上述的D可以表达为：
其中K为哈希特征的维度，K可以取256，x1、x2对应样本对的哈希特征。
步骤S203b、将汉明距离处于第一预设区间的比对图像作为待确认图像。
使用哈希特征信息先进行一次快速的粗略检索，挑选出N个距离最小的比对图像作为待确认图像；N为大于或等于1的自然数，其具体数值可以根据图像检索需求进行确定。可以理解的，上述的第一预设区间可以根据图像检索需求进行确定，通过第一预设区间的设置，初步筛选N个待确认图像，进而提高图像检索的效率。
在可选的实施方式中，为了获取目标图像，在图7的基础上，给出一种可能的实现方式，如图8，图8是本申请实施例提供的另一种图像检索方法的流程示意图。上述的步骤S204可以包括：
步骤S204a、根据至少一张待确认图像，获取长特征信息与每张待确认图像的余弦相似度。
步骤S204b、将余弦相似度处于第二预设区间的待确认图像作为目标图像。
例如，上述的第二预设区间可以是设置为余弦相似度大于或等于某个阈值，才将该余弦相似度对应的待确认图像作为目标图像进行输出。
可以理解的，使用哈希特征信息先进行一次快速的粗略检索，对检索的N个待确认图像使用长特征进行精确检索，可以有效利用哈希特征的计算优势和长特征的精度优势，特别是对于千万量级以上的数据库检索尤为有效。
为了获取长特征模型和哈希特征模型，本申请实施例提供一种图像特征提取模型的训练方法，如图9，图9为本申请实施例提供的一种训练方法的流程示意图。比对图像库包括多张比对图像，该训练方法包括：
步骤S300、根据多张训练图像，获取长特征模型。
长特征模型用于获取待检索图像的长特征信息，长特征信息用于指示待检索图像与多张比对图像的相似度信息。
步骤S301、根据多张训练图像和长特征模型，获取哈希特征模型。
哈希特征模型用于获取待检索图像的哈希特征信息，哈希特征信息用于确定比对图像库中的至少一张待确认图像。长特征信息还用于确定目标图像，目标图像为至少一张待确认图像中长特征信息符合第二条件的比对图像。
步骤S302、将长特征模型和哈希特征模型作为图像特征提取模型。
可以理解的，通过多张训练图像，在训练得到长特征模型之后，再使用该长特征模型和多张训练图像，进而获取哈希特征信息模型，将该长特征模型和哈希特征信息模型作为图像特征提取模型，可以对待检索图像进行长特征信息和哈希特征信息进行提取，继而进行图像检索，提高图像检索的准确率。
例如，上述的模型训练可以使用图10示出的“BatchNorm-Convolution-BatchNorm-Relu-Convolution-BatchNorm”网络结构，图10为本申请实施例提供的一种神经学习网络的结构示意图。第一步，将多张训练图像输入到BatchNorm(加速神经网络训练)；第二步，使用卷积核为3×3、通道数为1进行卷积处理；第三步，将卷积后的输出结果输入到BatchNorm(加速神经网络训练)；第四步，通过非线性激活函数Relu进行模型处理；第五步，将经过非线性激活函数Relu处理后的数据进行卷积核为3×3、通道数为2进行卷积处理；第六步，将进行二次卷积处理的数据和初始输入数据通过Elewise-Sum处理，进而获得最终的输出结果。
为了实现上述的步骤S200～步骤S204，本申请实施例提供一种图像检索装置，如图11，图11为本申请实施例提供的一种图像检索装置的方框示意图。比对图像库包括多张比对图像，图像检索装置40包括：特征提取模块41和图像确定模块42。
特征提取模块41用于获取待检索图像的长特征信息和哈希特征信息。长特征信息用于指示待检索图像与多张比对图像的相似度信息。
图像确定模块42用于获取比对图像库中的至少一张待确认图像。该至少一张待确认图像为比对图像库中哈希特征信息符合第一条件的比对图像。
图像确定模块42还用于将长特征信息与至少一张待确认图像进行匹配，获取目标图像。目标图像为至少一张待确认图像中长特征信息符合第二条件的比对图像。
通过获取待检索图像的哈希特征信息和长特征信息进行二次检索，可以有效的利用哈希特征检索的速度和长特征检索的精度，有效的提高图像检索的效率和精度。
可以理解的，特征提取模块41和图像确定模块42可以协同实现上述的步骤S200～步骤S204。
为了实现上述的步骤S300～步骤S302，本申请实施例提供一种图像特征提取模型的训练装置，如图12，图12为本申请实施例提供的一种训练装置的方框示意图。比对图像库包括多张比对图像，训练装置50包括：长特征训练模块51、哈希特征训练模块52和处理模块53。
长特征训练模块51用于根据多张训练图像，获取长特征模型。长特征模型用于获取待检索图像的长特征信息，长特征信息用于指示待检索图像与多张比对图像的相似度信息。
哈希特征训练模块52用于根据多张训练图像和长特征模型，获取哈希特征模型。哈希特征模型用于获取待检索图像的哈希特征信息，哈希特征信息用于确定比对图像库中的至少一张待确认图像。长特征信息还用于确定目标图像，目标图像为至少一张待确认图像中长特征信息符合第二条件的比对图像。
处理模块53用于将长特征模型和哈希特征模型作为图像特征提取模型。
通过先通过多张训练图像获取长特征模型，再使用固定的长特征模型获取相应的哈希特征模型，可以提高长特征模型的稳定性，有利于获取更为准确的哈希特征模型，进而提高图像检索的效率和精度。
本申请实施例提供一种电子设备，如图13，图13为本申请实施例提供的一种电子设备的方框示意图。该电子设备60包括存储器61、处理器62和通信接口63。该存储器61、处理器62和通信接口63相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器61可用于存储软件程序及模块，如本申请实施例所提供的图像检索方法或训练方法对应的程序指令/模块，处理器62通过执行存储在存储器61内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口63可用于与其他节点设备进行信令或数据的通信。在本申请中该电子设备60可以具有多个通信接口63。
其中，存储器61可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器62可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
电子设备60可以实现本申请提供的任一种图像检索方法或训练方法。该电子设备60可以是，但不限于，手机、平板电脑、笔记本电脑、个人电脑、服务器或其它具有处理能力的电子设备。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项的图像检索方法或训练方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供一种图像检索方法、训练方法及相关装置，涉及人脸识别领域。比对图像库包括多张比对图像，图像检索方法包括：获取待检索图像的长特征信息和哈希特征信息；长特征信息用于指示待检索图像与多张比对图像的相似度信息；获取比对图像库中的至少一张待确认图像；至少一张待确认图像为比对图像库中哈希特征信息符合第一条件的比对图像；将长特征信息与至少一张待确认图像进行匹配，获取目标图像；目标图像为至少一张待确认图像中长特征信息符合第二条件的比对图像。使用哈希特征信息和长特征信息进行人脸的二级检索，可以有效提高人脸检索速度和精度。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种图像检索方法，其特征在于，比对图像库包括多张比对图像，所述方法包括：
获取待检索图像的长特征信息和哈希特征信息；所述长特征信息用于指示所述待检索图像与所述多张比对图像的相似度信息；
获取所述比对图像库中的至少一张待确认图像；所述至少一张待确认图像为所述比对图像库中哈希特征信息符合第一条件的比对图像；
将所述长特征信息与所述至少一张待确认图像进行匹配，获取目标图像；所述目标图像为所述至少一张待确认图像中长特征信息符合第二条件的比对图像。
2.根据权利要求1所述的方法，其特征在于，在所述获取待检索图像的长特征信息和哈希特征信息之前，所述方法还包括：
根据多张训练图像，获取长特征模型；所述长特征模型用于获取所述多张训练图像的训练长特征；
根据所述多张训练图像和所述长特征模型，获取哈希特征模型。
3.根据权利要求2所述的方法，其特征在于，所述获取待检索图像的长特征信息和哈希特征信息，包括：
将所述待检索图像输入至所述长特征模型，获取所述长特征信息；
将所述长特征信息输入至所述哈希特征模型，获取所述哈希特征信息。
4.根据权利要求2所述的方法，其特征在于，所述根据所述多张训练图像，获取长特征模型，包括：
获取所述多张训练图像；
将所述多张训练图像输入至第一损失函数进行训练，至所述第一损失函数收敛，以获取所述长特征模型。
5.根据权利要求2或4所述的方法，其特征在于，所述多张训练图像具有身份标识，所述根据所述多张训练图像和所述长特征模型，获取哈希特征模型，包括：
通过所述多张训练图像和所述长特征模型，获取所述训练长特征；
根据所述身份标识和所述训练长特征，获取同类样本对和异类样本对；所述同类样本对为所述多张训练图像中具有相同身份标识的训练图像，所述异类样本中的训练图像具有和所述同类样本对不同的身份标识；
将所述训练长特征输入至第二损失函数，至所述第二损失函数收敛，以获取所述哈希特征模型；所述第二损失函数包括以下任意一项或组合：综合分类损失、样本对距离损失、特征组合分类损失。
6.根据权利要求1所述的方法，其特征在于，所述获取所述比对图像库中与所述哈希特征信息对应的至少一张待确认图像，包括：
根据所述多张比对图像，获取所述待检索图像的所述哈希特征信息与每张比对图像的哈希特征信息的汉明距离；
将所述汉明距离处于第一预设区间的比对图像作为所述至少一张待确认图像。
7.根据权利要求1或6所述的方法，其特征在于，所述将所述长特征信息与所述至少一张待确认图像进行匹配，获取目标图像，包括：
根据所述至少一张待确认图像，获取所述长特征信息与每张待确认图像的余弦相似度；
将所述余弦相似度处于第二预设区间的待确认图像作为所述目标图像。
8.一种图像特征提取模型的训练方法，其特征在于，比对图像库包括多张比对图像，所述方法包括：
根据多张训练图像，获取长特征模型；所述长特征模型用于获取待检索图像的长特征信息，所述长特征信息用于指示所述待检索图像与所述多张比对图像的相似度信息；
根据所述多张训练图像和所述长特征模型，获取哈希特征模型；所述哈希特征模型用于获取所述待检索图像的哈希特征信息，所述哈希特征信息用于确定所述比对图像库中的至少一张待确认图像；所述长特征信息还用于确定目标图像，所述目标图像为所述至少一张待确认图像中长特征信息符合第二条件的比对图像；
将所述长特征模型和所述哈希特征模型作为图像特征提取模型。
9.一种图像检索装置，其特征在于，比对图像库包括多张比对图像，所述图像检索装置包括：特征提取模块和图像确定模块；
所述特征提取模块，用于获取待检索图像的长特征信息和哈希特征信息；所述长特征信息用于指示所述待检索图像与所述多张比对图像的相似度信息；
所述图像确定模块，用于获取所述比对图像库中的至少一张待确认图像；所述至少一张待确认图像为所述比对图像库中哈希特征信息符合第一条件的比对图像；
所述图像确定模块还用于将所述长特征信息与所述至少一张待确认图像进行匹配，获取目标图像；所述目标图像为所述至少一张待确认图像中长特征信息符合第二条件的比对图像。
10.一种图像特征提取模型的训练装置，其特征在于，比对图像库包括多张比对图像，所述训练装置包括：长特征训练模块、哈希特征训练模块和处理模块；
所述长特征训练模块，用于根据多张训练图像，获取长特征模型；所述长特征模型用于获取待检索图像的长特征信息，所述长特征信息用于指示所述待检索图像与所述多张比对图像的相似度信息；
所述哈希特征训练模块，用于根据所述多张训练图像和所述长特征模型，获取哈希特征模型；所述哈希特征模型用于获取所述待检索图像的哈希特征信息，所述哈希特征信息用于确定所述比对图像库中的至少一张待确认图像；所述长特征信息还用于确定目标图像，所述目标图像为所述至少一张待确认图像中长特征信息符合第二条件的比对图像；
所述处理模块，用于将所述长特征模型和所述哈希特征模型作为图像特征提取模型。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-7任一项所述的图像检索方法或权利要求8所述的训练方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的图像检索方法或权利要求8所述的训练方法。
CN201911015164.0A 2019-10-24 2019-10-24 图像检索方法、训练方法及相关装置 Pending CN110765292A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911015164.0A CN110765292A (zh) 2019-10-24 2019-10-24 图像检索方法、训练方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911015164.0A CN110765292A (zh) 2019-10-24 2019-10-24 图像检索方法、训练方法及相关装置

Publications (1)

Publication Number Publication Date
CN110765292A true CN110765292A (zh) 2020-02-07

Family

ID=69333830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911015164.0A Pending CN110765292A (zh) 2019-10-24 2019-10-24 图像检索方法、训练方法及相关装置

Country Status (1)

Country Link
CN (1) CN110765292A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666902A (zh) * 2020-06-10 2020-09-15 重庆紫光华山智安科技有限公司 行人特征提取模型的训练方法、行人识别方法及相关装置
CN112989093A (zh) * 2021-01-22 2021-06-18 深圳市商汤科技有限公司 检索方法、装置和电子设备
CN113343018A (zh) * 2021-06-17 2021-09-03 浙江大华技术股份有限公司 图像的特征值的确定方法及装置、存储介质、电子装置
CN113609886A (zh) * 2021-03-11 2021-11-05 上海汉时信息科技有限公司 实时行人数量统计方法、装置、相机和服务器
CN114048344A (zh) * 2021-11-25 2022-02-15 天翼数字生活科技有限公司 一种相似人脸搜索方法、装置、设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522435A (zh) * 2018-11-15 2019-03-26 中国银联股份有限公司 一种图像检索方法及装置
CN110084268A (zh) * 2019-03-18 2019-08-02 浙江大华技术股份有限公司 图像比对方法、人脸识别方法及装置、计算机存储介质
CN110147455A (zh) * 2017-08-30 2019-08-20 中兴通讯股份有限公司 一种人脸匹配检索装置及方法
CN110297931A (zh) * 2019-04-23 2019-10-01 西北大学 一种图像检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147455A (zh) * 2017-08-30 2019-08-20 中兴通讯股份有限公司 一种人脸匹配检索装置及方法
CN109522435A (zh) * 2018-11-15 2019-03-26 中国银联股份有限公司 一种图像检索方法及装置
CN110084268A (zh) * 2019-03-18 2019-08-02 浙江大华技术股份有限公司 图像比对方法、人脸识别方法及装置、计算机存储介质
CN110297931A (zh) * 2019-04-23 2019-10-01 西北大学 一种图像检索方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666902A (zh) * 2020-06-10 2020-09-15 重庆紫光华山智安科技有限公司 行人特征提取模型的训练方法、行人识别方法及相关装置
CN111666902B (zh) * 2020-06-10 2022-11-01 重庆紫光华山智安科技有限公司 行人特征提取模型的训练方法、行人识别方法及相关装置
CN112989093A (zh) * 2021-01-22 2021-06-18 深圳市商汤科技有限公司 检索方法、装置和电子设备
CN113609886A (zh) * 2021-03-11 2021-11-05 上海汉时信息科技有限公司 实时行人数量统计方法、装置、相机和服务器
CN113343018A (zh) * 2021-06-17 2021-09-03 浙江大华技术股份有限公司 图像的特征值的确定方法及装置、存储介质、电子装置
CN114048344A (zh) * 2021-11-25 2022-02-15 天翼数字生活科技有限公司 一种相似人脸搜索方法、装置、设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN110765292A (zh) 图像检索方法、训练方法及相关装置
CN110287312B (zh) 文本相似度的计算方法、装置、计算机设备及计算机存储介质
CN110069709B (zh) 意图识别方法、装置、计算机可读介质及电子设备
CN111695352A (zh) 基于语义分析的评分方法、装置、终端设备及存储介质
CN111461637A (zh) 简历筛选方法、装置、计算机设备和存储介质
CN105022754B (zh) 基于社交网络的对象分类方法及装置
CN109872162B (zh) 一种处理用户投诉信息的风控分类识别方法及系统
JP4697670B2 (ja) 識別用データ学習システム、学習装置、識別装置及び学習方法
CN112016313B (zh) 口语化要素识别方法及装置、警情分析系统
CN110401545B (zh) 聊天群组创建方法、装置、计算机设备和存储介质
CN110598019B (zh) 重复图像识别方法及装置
US20200210776A1 (en) Question answering method, terminal, and non-transitory computer readable storage medium
CN113657087B (zh) 信息的匹配方法及装置
CN117197904B (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN115034315B (zh) 基于人工智能的业务处理方法、装置、计算机设备及介质
CN111310743B (zh) 人脸识别方法、装置、电子设备及可读存储介质
CN111723287B (zh) 一种基于大规模机器学习的内容和服务推荐方法及其系统
CN112632248A (zh) 问答方法、装置、计算机设备和存储介质
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
CN111159481B (zh) 图数据的边预测方法、装置及终端设备
CN111241271A (zh) 文本情感分类方法、装置及电子设备
CN115618415A (zh) 敏感数据识别方法、装置、电子设备和存储介质
CN111786999B (zh) 一种入侵行为的检测方法、装置、设备和存储介质
CN117235137A (zh) 一种基于向量数据库的职业信息查询方法及装置
CN112766288A (zh) 图像处理模型构建方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207