CN113254687A - 图像检索、图像量化模型训练方法、装置和存储介质 - Google Patents
图像检索、图像量化模型训练方法、装置和存储介质 Download PDFInfo
- Publication number
- CN113254687A CN113254687A CN202110716270.2A CN202110716270A CN113254687A CN 113254687 A CN113254687 A CN 113254687A CN 202110716270 A CN202110716270 A CN 202110716270A CN 113254687 A CN113254687 A CN 113254687A
- Authority
- CN
- China
- Prior art keywords
- image
- quantization
- feature
- initial
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 title claims description 212
- 238000011002 quantification Methods 0.000 title claims description 11
- 238000013139 quantization Methods 0.000 claims abstract description 726
- 238000000605 extraction Methods 0.000 claims description 296
- 238000004364 calculation method Methods 0.000 claims description 97
- 230000004927 fusion Effects 0.000 claims description 71
- 238000013507 mapping Methods 0.000 claims description 56
- 238000004590 computer program Methods 0.000 claims description 21
- 238000012216 screening Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 239000013598 vector Substances 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- -1 e.g. Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像检索方法、装置、计算机设备和存储介质。所述方法包括：获取查询图像对应的类别量化特征以及内容量化特征，并获取各个候选图像对应的候选类别量化特征，基于类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征；基于一级索引关系查找目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征；基于内容量化特征从各个中间候选内容量化特征中确定目标候选内容量化特征；基于二级索引关系查找目标候选内容量化特征对应的候选图像，得到查询图像对应的检索结果图像。采用本方法能够提高图像检索效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像检索、图像量化模型训练方法、装置、计算机设备和存储介质。
背景技术
随着图像检索技术的发展，出现了图像去重检索技术，图像去重检索技术通常是提取到查询图像的特征，使用查询图像的特征与图像数据库中的保存的图像特征进行相似计算，从而检索到高相似的图像作为检索结果。目前，由于图像数据库中的图像越来越多，比如，超过200万样本。为了保证检索结果的准确性，通常要遍历所有样本，然后，由于图像的特征都是浮点向量，使浮点向量进行相似计算非常耗时，使得图像检索的效率低下。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高图像检索效率的图像搜索以及图像量化模型训练方法、装置、计算机设备和存储介质。
一种图像检索方法，所述方法包括：
获取查询图像，并获取查询图像对应的类别量化特征以及内容量化特征，查询图像对应的类别量化特征以及内容量化特征是基于查询图像进行二值量化特征提取得到的，类别量化特征用于表征图像类别，内容量化特征用于表征图像包含的具体内容；
获取各个候选图像对应的候选类别量化特征，基于类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征；
获取一级索引关系，一级索引关系是指各个候选类别量化特征与各个候选图像对应的候选内容量化特征的关联关系，基于一级索引关系查找目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征；
基于内容量化特征从各个中间候选内容量化特征中确定目标候选内容量化特征；
获取二级索引关系，二级索引关系是指各个候选内容量化特征与各个候选图像的关联关系，基于二级索引关系查找目标候选内容量化特征对应的候选图像，得到查询图像对应的检索结果图像。
在一个实施例中，所述初始图像特征提取模型还包括：初始深度特征提取网络和初始特征映射网络；
将所述训练图像集输入到初始图像特征提取模型中，所述初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行图像特征提取，得到所述训练图像集对应的初始类别特征集和初始内容特征集，包括：
将所述训练图像集输入初始深度特征提取网络中，得到初始深度特征集；
将所述初始深度特征集输入到所述初始特征映射网络中，得到初始映射特征集；
将所述初始映射特征集输入所述类别特征提取分支网络中进行图像类别特征提取，得到所述训练图像集对应的初始类别特征集，并将所述初始映射特征集输入到所述内容特征提取分支网络中进行图像内容特征提取，得到所述训练图像集对应的初始内容特征集。
在一个实施例中，所述训练图像集中包括各个图像三元组；
从训练图像集中确定图像三元组，包括：
获取当前训练图像，基于所述当前训练图像从训练图像集中确定当前图像三元组；
所述基于所述图像三元组和所述初始内容特征集进行图像三元组损失计算，得到分支三元组损失信息，包括：
从所述初始内容特征集中确定所述当前图像三元组对应的初始内容特征，基于所述当前图像三元组对应的初始内容特征进行图像三元组损失计算，得到当前图像三元组损失信息。
在一个实施例中，所述计算所述当前图像分别与所述各个待挖掘图像之间的相似度，基于所述相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像，包括：
从所述初始内容特征集中获取所述当前图像对应的当前初始内容特征和所述各个待挖掘图像对应的待挖掘初始内容特征；
计算所述当前初始内容特征分别与所述各个待挖掘图像对应的待挖掘初始内容特征的相似距离，得到各个相似度，基于所述各个相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像。
在一个实施例中，所述基于所述各个相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像，包括：
基于所述各个相似度从所述各个待挖掘图像中选取目标数量的待挖掘图像，得到所述当前正样本图像对对应的各个当前负样本图像；
所述基于所述当前正样本图像对和所述当前负样本图像得到所述当前正样本图像对对应的当前图像三元组，包括：
基于所述当前正样本图像对和所述各个当前负样本图像得到所述当前正样本图像对对应的各个当前图像三元组。
在一个实施例中，基于所述初始类别特征集和对应的图像类别标签进行损失计算，得到初始分类损失信息，包括：
基于所述初始类别特征集中的初始类别特征与对应的图像类别标签计算交叉熵损失，得到初始分类损失信息。
在一个实施例中，所述基于所述初始内容特征集和所述初始内容量化特征集进行量化损失计算，得到量化损失信息，包括：
基于所述初始内容特征集中初始内容特征与所述初始内容量化特征集中对应的初始内容量化特征进行回归损失计算，得到所述量化损失信息。
一种图像检索装置，所述装置包括：
图像获取模块，用于获取查询图像，并获取查询图像对应的类别量化特征以及内容量化特征，查询图像对应的类别量化特征以及内容量化特征是基于查询图像进行二值量化特征提取得到的，类别量化特征用于表征图像类别，内容量化特征用于表征图像包含的具体内容；
类别特征确定模块，用于获取各个候选图像对应的候选类别量化特征，基于类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征；
一级索引模块，用于获取一级索引关系，一级索引关系是指各个候选类别量化特征与各个候选图像对应的候选内容量化特征的关联关系，基于一级索引关系查找目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征；
内容特征确定模块，用于基于内容量化特征从各个中间候选内容量化特征中确定目标候选内容量化特征；
二级索引模块，用于获取二级索引关系，二级索引关系是指各个候选内容量化特征与各个候选图像的关联关系，基于二级索引关系查找目标候选内容量化特征对应的候选图像，得到查询图像对应的检索结果图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取查询图像，并获取查询图像对应的类别量化特征以及内容量化特征，查询图像对应的类别量化特征以及内容量化特征是基于查询图像进行二值量化特征提取得到的，类别量化特征用于表征图像类别，内容量化特征用于表征图像包含的具体内容；
获取各个候选图像对应的候选类别量化特征，基于类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征；
获取一级索引关系，一级索引关系是指各个候选类别量化特征与各个候选图像对应的候选内容量化特征的关联关系，基于一级索引关系查找目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征；
基于内容量化特征从各个中间候选内容量化特征中确定目标候选内容量化特征；
获取二级索引关系，二级索引关系是指各个候选内容量化特征与各个候选图像的关联关系，基于二级索引关系查找目标候选内容量化特征对应的候选图像，得到查询图像对应的检索结果图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取查询图像，并获取查询图像对应的类别量化特征以及内容量化特征，查询图像对应的类别量化特征以及内容量化特征是基于查询图像进行二值量化特征提取得到的，类别量化特征用于表征图像类别，内容量化特征用于表征图像包含的具体内容；
获取各个候选图像对应的候选类别量化特征，基于类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征；
获取一级索引关系，一级索引关系是指各个候选类别量化特征与各个候选图像对应的候选内容量化特征的关联关系，基于一级索引关系查找目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征；
基于内容量化特征从各个中间候选内容量化特征中确定目标候选内容量化特征；
获取二级索引关系，二级索引关系是指各个候选内容量化特征与各个候选图像的关联关系，基于二级索引关系查找目标候选内容量化特征对应的候选图像，得到查询图像对应的检索结果图像。
上述图像检索方法、装置、计算机设备和存储介质，通过获取查询图像对应的类别量化特征以及内容量化特征，类别量化特征以及内容量化特征是基于查询图像进行二值量化特征提取得到的，使用类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征，然后基于一级索引关系查找目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征，再基于内容量化特征从各个中间候选内容量化特征中确定目标候选内容量化特征，并使用二级索引关系查找目标候选内容量化特征对应的候选图像，得到查询图像对应的检索结果图像。通过一级索引关系和二级索引关系并使用内容量化特征和类别量化特征进行图像检索，提高了图像检索的效率。
一种图像量化模型训练方法，所述方法包括：
获取训练图像集，训练图像集包括图像类别标签；
将训练图像集输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集；
基于初始类别特征集和对应的图像类别标签进行损失计算，得到分类损失信息，并基于初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息；
基于分类损失信息和特征损失信息更新初始图像特征提取模型，并返回将训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像特征提取模型，基于目标图像特征提取模型得到图像量化模型，图像量化模型用于提取输入图像的类别量化特征和内容量化特征，输入图像包括查询图像和候选图像，候选图像对应的类别量化特征和内容量化特征用于建立一级索引关系和二级索引关系，一级索引关系和二级索引关系用于进行图像检索。
在一个实施例中，所述基于所述初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息，包括：
从训练图像集中确定图像三元组，基于所述图像三元组和所述初始内容特征集进行图像三元组损失计算，得到分支三元组损失信息；
将所述初始类别特征集和初始内容特征集融合，得到初始融合特征集，基于所述初始融合特征集进行图像三元组计算，得到图像三元组损失信息；
对所述初始内容特征集进行二值量化，得到初始内容量化特征集，基于所述初始内容特征集和所述初始内容量化特征集进行量化损失计算，得到量化损失信息；
基于所述分支三元组损失信息、所述图像三元组损失信息和所述量化损失信息得到所述特征损失信息。
一种图像量化模型训练装置，所述装置包括：
训练图像获取模块，用于获取训练图像集，训练图像集包括图像类别标签；
训练模块，用于将训练图像集输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集；
损失计算模块，用于基于初始类别特征集和对应的图像类别标签进行损失计算，得到分类损失信息，并基于初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息；
迭代模块，用于基于分类损失信息和特征损失信息更新初始图像特征提取模型，并返回将训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像特征提取模型，基于目标图像特征提取模型得到图像量化模型，图像量化模型用于提取输入图像的类别量化特征和内容量化特征，输入图像包括查询图像和候选图像，候选图像对应的类别量化特征和内容量化特征用于建立一级索引关系和二级索引关系，一级索引关系和二级索引关系用于进行图像检索。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取训练图像集，训练图像集包括图像类别标签；
将训练图像集输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集；
基于初始类别特征集和对应的图像类别标签进行损失计算，得到分类损失信息，并基于初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息；
基于分类损失信息和特征损失信息更新初始图像特征提取模型，并返回将训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像特征提取模型，基于目标图像特征提取模型得到图像量化模型，图像量化模型用于提取输入图像的类别量化特征和内容量化特征，输入图像包括查询图像和候选图像，候选图像对应的类别量化特征和内容量化特征用于建立一级索引关系和二级索引关系，一级索引关系和二级索引关系用于进行图像检索。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取训练图像集，训练图像集包括图像类别标签；
将训练图像集输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集；
基于初始类别特征集和对应的图像类别标签进行损失计算，得到分类损失信息，并基于初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息；
基于分类损失信息和特征损失信息更新初始图像特征提取模型，并返回将训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像特征提取模型，基于目标图像特征提取模型得到图像量化模型，图像量化模型用于提取输入图像的类别量化特征和内容量化特征，输入图像包括查询图像和候选图像，候选图像对应的类别量化特征和内容量化特征用于建立一级索引关系和二级索引关系，一级索引关系和二级索引关系用于进行图像检索。
上述图像量化模型训练方法、装置、计算机设备和存储介质，通过将训练图像集输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集，通过使用初始类别特征集和对应的图像类别标签进行损失计算，得到分类损失信息，并基于初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息，然后使用分类损失信息和特征损失信息更新初始图像特征提取模型，从而训练得到目标图像特征提取模型，能够使训练得到的目标图像特征提取模型提高特征提取的准确性，然后使用目标图像特征提取模型得到图像量化模型，从而提高了图像量化模型进行量化特征提取的准确性，然后使用候选图像对应的类别量化特征和内容量化特征用于建立一级索引关系和二级索引关系，从而提高了一级索引关系和二级索引关系的准确性，然后使用一级索引关系和二级索引关系用于进行图像检索，能够提高图像检索的准确性和效率。
附图说明
图1为一个实施例中图像检索方法的应用环境图；
图2为一个实施例中图像检索方法的流程示意图；
图3为一个实施例中量化特征提取的流程示意图；
图4为一个实施例中图像量化模型训练的流程示意图；
图5为一个实施例中初始特征提取的流程示意图；
图6为一个实施例中图像三元组筛选的流程示意图；
图7为一个实施例中分支三元组损失信息确定的流程示意图；
图8为一个实施例中图像三元组损失信息确定的流程示意图；
图9为一个实施例中索引关系建立的流程示意图；
图10为一个实施例中索引关系得到的流程示意图；
图11为一个实施例中图像量化模型训练方法的流程示意图；
图12为一个实施例中特征损失信息得到的流程示意图；
图13为一个实施例中图像量化模型训练的框架示意图；
图14为一个具体实施例中图像检索方法的流程示意图；
图15为一个具体实施例中图像检索的框架示意图；
图16为一个实施例中图像检索装置的结构框图；
图17为一个实施例中图像量化模型训练装置的结构框图；
图18为一个实施例中计算机设备的内部结构图；
图19为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的图像检索等技术，具体通过如下实施例进行说明:
本申请提供的图像检索方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104获取终端102发送的查询指令中携带的查询图像，并获取查询图像对应的类别量化特征以及内容量化特征，查询图像对应的类别量化特征以及内容量化特征是基于查询图像进行二值量化特征提取得到的，类别量化特征用于表征图像类别，内容量化特征用于表征图像包含的具体内容；服务器104获取各个候选图像对应的候选类别量化特征，基于类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征；服务器104获取一级索引关系，一级索引关系是指各个候选类别量化特征与各个候选图像对应的候选内容量化特征的关联关系，基于一级索引关系查找目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征；服务器104基于内容量化特征从各个中间候选内容量化特征中确定目标候选内容量化特征；服务器104获取二级索引关系，二级索引关系是指各个候选内容量化特征与各个候选图像的关联关系，基于二级索引关系查找目标候选内容量化特征对应的候选图像，得到查询图像对应的检索结果图像。其中，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视和便携式可穿戴设备等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制，在一个实施例中终端102中可以设置客户端，通过客户端发送查询指令。
在一个实施例中，如图2所示，提供了一种图像检索方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用在终端中，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。在本实施例中，包括以下步骤：
步骤202，获取查询图像，并获取查询图像对应的类别量化特征以及内容量化特征，查询图像对应的类别量化特征以及内容量化特征是基于查询图像进行二值量化特征提取得到的，类别量化特征用于表征图像类别，内容量化特征用于表征图像包含的具体内容。
其中，查询图像是指需要查询最相似图像的图像。二值量化是指把特征压缩到指定位数（如48位）取值为0、1的二进制码（称48bit压缩）。二值量化特征是指具有指定位数的二进制编码向量。类别量化特征是指用于图像类别的二值量化特征。内容量化特征是指用于表征图像包含的具体内容的二值量化特征。
具体地，服务器可以获取到用户终端提交的查询图像，服务器也可以从互联网采集到查询图像，也可以从数据库中获取到查询图像。然后服务器获取到查询图像对应的类别量化特征以及内容量化特征。服务器可以将查询图像进行量化特征提取得到类别量化特征以及内容量化特征，其中，服务器可以使用多任务学习模型提取到查询图像的类别量化特征以及内容量化特征。服务器也可以直接获取到数据库中保存的查询图像对应的类别量化特征以及内容量化特征。服务器还可以从提供服务数据的服务方获取到查询图像对应的类别量化特征以及内容量化特征。
步骤204，获取各个候选图像对应的候选类别量化特征，基于类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征。
其中，候选图像是指要检索的图像，即需要从各个候选图像中检索与查询图像最相似的图像。候选类别量化特征是指候选图像对应的类别量化特征。
具体地，服务器可以直接从数据库中获取到保存的各个候选图像对应的候选类别量化特征。服务器也可以将各个候选图像进行量化特征提取，得到各个候选图像对应的候选类别量化特征和候选内容量化特征。候选内容量化特征是指候选图像对应的内容量化特征。然后计算类别量化特征与各个候选类别量化特征之间的相似距离，根据相似距离从各个候选类别量化特征中确定目标候选类别量化特征。例如，可以使用汉明距离算法计算类别量化特征与各个候选类别量化特征之间的相似距离，根据相似度距离将各个候选类别量化特征依次从小到大排序，然后根据排序结果确定目标候选类别量化特征。其中，可以依次选取预先设置好数量的候选类别量化特征，得到各个目标候选类别量化特征。在一个实施例中，可以将相似度距离小于1，即编码位都相同的候选类别量化特征作为目标候选类别量化特征。汉明距离算法是指计算两个编码向量中差异位的数量，例如向量（0110）和向量（1000）的汉明距离为3，向量（0110）和向量（1110）为1。
步骤206，获取一级索引关系，一级索引关系是指各个候选类别量化特征与各个候选图像对应的候选内容量化特征的关联关系，基于一级索引关系查找目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征。
其中，一级索引关系中每个候选类别量化特征对应的多个候选内容量化特征。即同一候选类别量化特征的多个候选内容量化特征对应的候选图像都是同一类别的图像。中间候选内容量化特征是指通过一级索引关系检索到的候选图像对应的内容量化特征，该中间候选内容量化特征对应的候选图像是同一类图像，是相似的图像。
具体地，服务器预先建立每个候选类别量化特征与各个候选图像对应的候选内容量化特征的关联关系，得到一级索引关系，将一级索引关系保存。当需要使用时，服务器获取到一级索引关系，然后在一级索引关系中匹配一致的目标候选类别量化特征，并获到目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征。
步骤208，基于内容量化特征从各个中间候选内容量化特征中确定目标候选内容量化特征。
其中，目标候选内容量化特征是指与内容量化特征相似的候选内容量化特征。
具体地，服务器计算内容量化特征与各个中间候选内容量化特征的相似距离，根据相似距离从小到大将各个中间候选内容量化特征进行排序，然后依次选取目标数量的中间候选内容量化特征，得到目标候选内容量化特征。该目标数量可以根据需求设置。其中，可以使用汉明距离算法计算内容量化特征与各个中间候选内容量化特征的汉明距离，然后选取汉明距离小于2的中间候选内容量化特征，得到各个目标候选内容量化特征，该汉明距离小于2是指选取只有0个或1个编码位与内容量化特征不同的中间候选内容量化特征。
步骤210，获取二级索引关系，二级索引关系是指各个候选内容量化特征与各个候选图像的关联关系，基于二级索引关系查找目标候选内容量化特征对应的候选图像，得到查询图像对应的检索结果图像。
其中，二级索引关系中每个候选内容量化特征对应的多个候选图像。即从候选图像中选取高相似的候选图像。检索结果图像是指检索得到的与查询图像高相似度的图像，该高相似度的图像中包括有与查询图像相同的图像。
具体地，服务器预先建立指各个候选内容量化特征与各个候选图像的关联关系，得到二级索引关系，然后将二级索引关系保存，当需要使用时，在二级索引关系中找目标候选内容量化特征对应的各个候选图像，得到查询图像对应的检索结果图像。然后可以将检索结果图像返回到用户终端进行展示。在一个实施例中，可以将一级索引关系和二级索引关系保存于区块链上，防止索引关系被篡改。服务器可以从区块链获取到一级索引关系和二级索引关系进行使用。
上述图像检索方法中，通过获取查询图像对应的类别量化特征以及内容量化特征，类别量化特征以及内容量化特征是基于查询图像进行二值量化特征提取得到的，使用类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征，然后基于一级索引关系查找目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征，再基于内容量化特征从各个中间候选内容量化特征中确定目标候选内容量化特征，并使用二级索引关系查找目标候选内容量化特征对应的候选图像，得到查询图像对应的检索结果图像。通过一级索引关系和二级索引关系并使用内容量化特征和类别量化特征进行图像检索，提高了图像检索的效率
在一个实施例中，步骤202，获取查询图像对应的类别量化特征以及内容量化特征，查询图像对应的类别量化特征以及内容量化特征是基于查询图像进行二值量化特征提取得到的，包括：
将查询图像输入到图像量化模型中，图像量化模型通过类别量化特征提取分支网络进行二值量化特征提取，得到类别量化特征，并通过内容量化特征提取分支网络进行二值量化特征提取，得到内容量化特征。
其中，图像量化模型是用于将图像进行二值量化特征提取的多任务模型。该图像量化模型可以是使用神经网络算法建立的。类别量化特征提取分支网络是指图像量化模型中用于提取类别量化特征的分支网络，内容量化特征提取分支网络是指图像量化模型中用于提取内容量化特征的分支网络。
具体地，服务器可以使用训练数据训练好图像量化模型，然后将图像量化模型进行部署使用。服务器也可以获取到第三方服务器已训练好的图像量化模型，然后进行部署使用。在使用服务器，服务器调用图像量化模型，将查询图像输入到图像量化模型中，图像量化模型通过类别量化特征提取分支网络进行二值量化特征提取，得到类别量化特征，并通过内容量化特征提取分支网络进行二值量化特征提取，得到内容量化特征。
在一个实施例中，如图3所示，所述将查询图像输入到图像量化模型中，图像量化模型通过类别量化特征提取分支网络进行二值量化特征提取，得到类别量化特征，并通过内容量化特征提取分支网络进行二值量化特征提取，得到内容量化特征，包括：
步骤302，将查询图像输入到图像量化模型中，图像量化模型将查询图像输入到深度特征提取网络中进行深度特征提取，得到查询图像深度特征。
其中，深度特征提取网络是指用于对输入图像进行深度特征提取的神经网络，该深度特征提取网络可以是使用卷积神经网络（Convolutional Neural Networks, CNN）算法建立的，比如，可以使用残差网络（ResNet-101）建立深度特征提取网络。查询图像深度特征是指查询图像对应的深度特征。
具体地，服务器将查询图像输入到图像量化模型中，该图像量化模型先将查询图像输入到深度特征提取网络中进行深度特征提取，得到查询图像深度特征。
步骤304，将查询图像深度特征输入到特征映射网络中进行特征映射，得到查询图像映射特征。
其中，特征映射网络用于将深度特征进行特征映射，得到映射后的特征。特征映射网络可以使用神经网络算法建立的，比如，可以使用池化网络和全连接网络建立特征映射网络。查询图像映射特征是指查询图像对应的映射特征。
具体地，服务器中图像量化模型将查询图像深度特征输入到特征映射网络中进行特征映射，得到查询图像映射特征。
步骤306，将查询图像映射特征分别输入到类别量化特征提取分支网络和内容量化特征提取分支网络中。
步骤308a，类别量化特征提取分支网络基于查询图像映射特征进行分类识别，得到查询图像类别特征，将查询图像类别特征进行二值量化，得到类别量化特征。
其中，查询图像类别特征用于表征查询图像对应的类别。
具体地，服务器将查询图像映射特征输入到类别量化特征提取分支网络中，类别量化特征提取分支网络基于查询图像映射特征进行分类识别，得到查询图像类别特征，然后将查询图像类别特征进行二值量化，即将查询图像类别特征进行热编码，得到类别量化特征。
步骤308b，内容量化特征提取分支网络基于查询图像映射特征进行图像内容识别，得到查询图像内容特征，将查询图像内容特征进行二值量化，得到内容量化特征。
其中，查询图像内容特征用于表征查询图像具体的内容。
具体地，服务器中的图像量化模型进行多任务处理，即同时将查询图像映射特征输入到内容量化特征提取分支网络中，内容量化特征提取分支网络基于查询图像映射特征进行图像内容识别，得到查询图像内容特征，将查询图像内容特征进行二值量化，即将查询图像类别特征进行热编码，得到内容量化特征。
在上述实施例中，通过使用图像量化模型提取到查询图像对应的类别量化特征和内容量化特征，能够使提取的量化特征更加准确。
在一个实施例中，如图4所示，图像量化模型的训练包括以下步骤：
步骤402，获取训练图像集，训练图像集包括图像类别标签。
其中，训练图像集中包括各个训练图像，训练图像是训练图像量化模型的图像。每个训练图像都有对应的图像类别标签。图像类别标签用于表征训练图像对应的图像类别。该图像类别用于表征图像中对象所述的类别，比如，图像类别可以是人、狗、猫、鸟等。在一个具体的实施例中，训练图像集是大型通用物体识别开源数据集imagenet，该开源数据集imagenet中的识别任务用于识别图像对应的1000个类别。
具体地，服务器获取训练图像集，可以是从数据库中直接获取到训练图像集，也可以是从互联网采集到训练图像集，还可以是从提供数据服务的服务方获取到训练图像集。
步骤404，将训练图像集输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集。
其中，初始图像特征提取模型是指模型参数初始化的图像特征提取模型，其中，可以使用随机初始化、为零初始化以及高斯分布初始化等等，该图像特征提取模型用于进行图像特征的提取。图像特征是指图像对应的特征，用于表征图像。该初始类别特征提取分支网络是指网络参数初始化的类别特征提取分支网络，该类别特征提取分支网络用于提取输入图像的类别特征。初始内容特征提取分支网络是指网络参数初始化的内容特征提取分支网络，该内容特征提取分支网络用于提取输入图像的内容特征。初始类别特征集中包括各个初始类别特征，每个训练图像都对应有初始类别特征，该初始类别特征是指使用初始类别特征提取分支网络提取得到的特征。 初始内容特征集中包括各个初始内容特征，每个训练图像都对应有初始内容特征，该初始内容特征是指使用初始内容特征提取分支网络提取得到的特征。
具体地，服务器将训练图像集中的各个训练图像分别输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集。
步骤406，基于初始类别特征集和对应的图像类别标签进行损失计算，得到初始分类损失信息。
其中，初始分类损失信息用于表征初始类别特征和对应的图像类别标签之间的误差。具体地，服务器可以使用分类损失函数计算初始类别特征集中各个初始类别特征与对应的图像类别标签之间的误差，得到初始分类损失信息。
步骤408，从训练图像集中确定图像三元组，基于图像三元组和初始内容特征集进行图像三元组损失计算，得到分支三元组损失信息，并将初始类别特征集和初始内容特征集融合，得到初始融合特征集，基于初始融合特征集进行图像三元组计算，得到图像三元组损失信息。
其中，图像三元组是指训练图像中的正样本图像对和负样本图像组成的三元组。该正样本图像对可以是相似程度高于预设相似程度阈值的图像对。负样本图像是指与正样本图像对中图像之间的相似程度低于预设相似程度阈值的图像。分支三元组损失信息是指使用图像三元组中图像对应的初始内容特征计算得到的三元组损失。图像三元组损失信息是指使用图像三元组中图像对应的初始融合特征计算的到的三元组损失。初始融合特征集中包括各个初始融合特征。
具体地，服务器从训练图像集中确定图像三元组，在一个实施例中，训练图像集是直接已三元组的形式保存的，可以直接从训练图像集中获取到各个图像三元组。在一个实施例中，可以从训练图像集中进行图像三元组挖掘，得到各个图像三元组。然后使用每个图像三元组中图像对应的初始内容特征进行图像三元组损失计算，得到分支三元组损失信息。然后将初始类别特征集中每个初始类别特征和初始内容特征集中对应的初始内容特征进行融合，其中进行融合可以是拼接，也可以是进行向量运算，比如，计算向量的和，向量积等等，从而得到初始融合特征集。然后服务器使用图像三元组中图像对应的初始融合特征进行图像三元组计算，得到图像三元组损失信息。
步骤410，对初始内容特征集进行二值量化，得到初始内容量化特征集，基于初始内容特征集和初始内容量化特征集进行量化损失计算，得到量化损失信息。
其中，初始内容量化特征集中包括各个初始内容量化特征，初始内容量化特征是指将初始内容特征进行二值量化后得到的。
具体地，服务器对初始内容特征集中的每个初始内容特征进行二值量化，得到初始内容量化特征集，然后计算初始内容特征集中每个初始内容特征与初始内容量化特征集中对应的初始内容量化特征之间的误差，得到量化损失信息。
步骤412，基于分类损失信息、分支三元组损失信息、图像三元组损失信息和量化损失信息更新初始图像特征提取模型，并返回将训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像特征提取模型，基于目标图像特征提取模型得到图像量化模型。
具体地，服务器计算分类损失信息、分支三元组损失信息、图像三元组损失信息和量化损失信息的损失和，然后使用损失和更新初始图像特征提取模型中的模型参数，得到更新后的图像特征提模型，然后将更新后的图像特征提取模型作为初始图像特征提取模型，并返回将训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，该训练完成条件可以是模型参数保持不变，或者模型损失符合预先设置好的阈值、或者可以是训练达到最大的迭代次数。此时，就得到目标图像特征提取模型。然后在目标图像特征提取模型中添加编码函数对目标图像特征提取模型提取的图像特征进行二值化编码，从而得到图像量化模型。其中，编码函数可以是符号函数，0-1激活函数等等。在一个具体的实施例中，可以把全量的训练图像集划分为不同的批次，得到每个批次的训练图像，使用每个批次的训练图像进行训练。并进行多轮全量训练图像集的迭代。模型参数更新时可以使用梯度下降算法进行反向更新。比如，可以使用SGD（Stochastic GradientDescent）随机梯度下降法计算梯度后计算得到全部模型参数的更新值，并反向更新模型参数。
在上述实施例中，通过计算分类损失信息、分支三元组损失信息、图像三元组损失信息和量化损失信息，然后使用分类损失信息、分支三元组损失信息、图像三元组损失信息和量化损失信息来训练初始图像特征提取模型，从而得到目标图像特征提取模型，能够提高训练的准确性，然后基于目标图像特征提取模型得到图像量化模型，提高了图像量化模型在进行量化特征提取时的准确性。
在一个实施例中，初始图像特征提取模型还包括：初始深度特征提取网络和初始特征映射网络；如图5所示，步骤404，即将训练图像集输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行图像特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集，包括：
步骤502，将训练图像集输入初始深度特征提取网络中，得到初始深度特征集。
具体地，服务器将训练图像集输入待初始图像特征提取模型中，初始图像特征提取模型将每个训练图像输入初始深度特征提取网络中进行深度特征提取，得到各个初始深度特征，即得到初始深度特征集。该初始深度特征提取网络是网络参数初始化的深度特征提取网络。在一个实施例中，初始深度特征提取网络的网络参数可以是预训练得到的。比如，使用ImageNet数据集进行深度特征提取网络的预训练，当预训练完成时得到预训练深度特征提取网络，将预训练深度特征提取网络作为初始深度特征提取网络。在一个实施例中，也可以获取都其他预训练深度特征提取模型的参数作为初始深度特征提取网络。比如，使用openimage数据集预训练得到的模型参数。
步骤504，将初始深度特征集输入到初始特征映射网络中，得到初始映射特征集。
步骤506，将初始映射特征集输入类别特征提取分支网络中进行图像类别特征提取，得到训练图像集对应的初始类别特征集，并将初始映射特征集输入到内容特征提取分支网络中进行图像内容特征提取，得到训练图像集对应的初始内容特征集。
具体地，服务器将初始深度特征集中各个初始深度特征输入到初始特征映射网络中，得到各个初始映射特征，该初始特征映射网络是网络参数初始化的特征映射网络。然后使用初始映射特征进行二分支任务，即将初始映射特征分别输入到类别特征提取分支网络和内容特征提取分支网络中进行特征提取，从而得到初始类别特征集和初始内容特征集。其中，初始特征映射网络、类别特征提取分支网络和内容特征提取分支网络可以使用方差为0.01，均值为0的高斯分布进行网络参数初始化。当初始深度提取网络的参数是预训练得到的，则可以在参数更新时只更新初始特征映射网络、类别特征提取分支网络和内容特征提取分支网络的参数。也可以对初始特征提取模型中的模型参数全部进行更新，其中，学习率可以设置为0.005。
在一个具体的实施例中，建立的初始图像特征提取模型中的深度特征提取网络的网络结构如下表1所示，特征映射网络的网络结构如下表2所示，类别特征提取分支网络的网络结构如下表3所示，内容特征提取分支网络的网络结构如下表4所示。使用表1、表2、表3以及表4的网络建立的初始图像特征提取模型进行训练得到图像量化模型。
表1 深度特征提取网络的网络结构表
表2 特征映射网络的网络结构表
表3类别特征提取网络的网络结构表
表4 内容特征提取网络的网络结构表
其中，通过使用表1、表2、表3以及表4的网络结构建立初始图像特征提取模型，然后进行训练，得到目标图像特征提取模型，然后在目标图像特征提取模型中类别特征提取网络的输出之后添加softmax激活函数能够激活得到的1*100维由0、1组成的one-hot向量。然后在目标图像特征提取模型中内容特征提取网络中添加sign函数进行编码得到1*128维由0，1编码的结果，从而得到图像量化模型。在一个具体的实施例中，类别特征提取网络的网络结构还可以使用多层非线性神经网络层堆叠得到。比如，可以采用2个（全连接层和tanh激活函数）堆叠后最后接一个全连接层作为编码输出，即使用全连接层接tanh激活函数接全连接层接tanh激活函数再接全连接层的网络结构。
在一个实施例中，训练图像集中包括各个图像三元组；
步骤408，即从训练图像集中确定图像三元组，包括步骤：
获取当前训练图像，基于当前训练图像从训练图像集中确定当前图像三元组。
具体地，服务器获取到当前训练图像，该当前训练图像是指当前训练过程中使用的训练图像。训练图像集中包括各个图像三元组，然后服务器使用当前训练图像从训练图像集中查找到包括该当前训练图像的图像三元组，得到当前图像三元组。
步骤408，即基于图像三元组和初始内容特征集进行图像三元组损失计算，得到分支三元组损失信息，包括步骤：
从初始内容特征集中确定当前图像三元组对应的初始内容特征，基于当前图像三元组对应的初始内容特征进行图像三元组损失计算，得到当前图像三元组损失信息。
具体地，服务器根据当前图像三元组中的图像从初始内容特征集中确定每个图像对应的初始内容特征，然后使用当前图像三元组中图像对应的初始内容特征进行图像三元组损失计算，得到当前图像三元组损失信息。在一个实施例中，服务器也可以基于当前图像三元组从初始融合特征集中确定对应的初始融合特征，基于当前图像三元组对应的初始融合特征进行图像三元组损失计算，得到融合特征的三元组损失信息。
在上述实施例中，训练图像集中包括各个图像三元组，则可以直接使用图像三元组查找对应的初始内容特征进行图像三元组损失计算，得到当前图像三元组损失信息，提高了计算损失的效率，从而提高了训练效率。
在一个实施例中，训练图像集中包括各个正样本图像对；
步骤408，从训练图像集中确定图像三元组，包括：
基于各个正样本图像对进行负样本图像筛选，得到各个正样本图像对对应的负样本图像，基于各个正样本图像对和对应的负样本图像得到各个图像三元组。
其中，正样本图像对是指相似程度高于预设相似阈值的两张图像，在一个实施例中，正样本图像对是指具有图像相同标签的两张图片，即正样本图像对中的两张图像完全相同。负样本图像是指与正样本图像对中的图像之间的相似程度低于预设相似阈值的图像。图像三元组是指包括正样本图像对和负样本图像的三元组。
具体地，服务器从训练图像集中筛选每个正样本图像对对应的负样本图像，其中，可以通过使用模型训练过程中提取得到的图像特征计算正样本图像对中图像与训练图像集图像的相似程度来筛选负样本图像。然后根据每个正样本图像对和对应的负样本图像得到各个图像三元组。
步骤408，即基于图像三元组和初始内容特征集进行图像三元组损失计算，得到分支三元组损失信息，包括：
从初始内容特征集中查找各个图像三元组对应的初始内容特征，基于各个图像三元组对应的初始内容特征进行图像三元组损失计算，得到分支三元组损失信息。
具体地，服务器在挖掘得到图像三元组之后，然后再计算图像三元组的损失。即服务器需要从初始内容特征集中查找各个图像三元组对应的初始内容特征，然后计算每个图像三元组对应的初始内容特征之间的图像三元组损失，得到分支三元组损失信息。
在一个实施例中，如图6所示，基于各个正样本图像对进行负样本图像筛选，得到各个正样本图像对对应的负样本图像，基于各个正样本图像对和对应的负样本图像得到各个图像三元组，包括：
步骤602，基于各个正样本图像对确定当前正样本图像对和各个待挖掘正样本图像对。
其中，当前正样本图像对是指当前要确定负样本图像的正样本图像对。待挖掘正样本图像对是指需要进行负样本图像挖掘的正样本图像对。
具体地，服务器依次将各个正样本图像对作为当前正样本图像对，并将剩余的正样本图像对作为各个待挖掘正样本图像对，并依次筛选当前正样本图像对对应的负样本图像。
步骤604，从当前正样本图像对中随机选取，得到当前图像，并分别从各个待挖掘正样本图像对中随机选取，得到各个待挖掘图像。
其中，当前图像是指当前正样本图像对中的图像，待挖掘图像是指待挖掘正样本图像对中的图像。
具体地，服务器从当前正样本图像对中随机选取图像，得到当前图像，并分别从各个待挖掘正样本图像对中随机选取，得到各个待挖掘图像。其中，可以从当前正样本图像对按照预先设置的选取位置选取得到当前图像。比如，可以指定从当前正样本图像对选取第一个图像，得到当前图像。或者也可以指定从正样本图像对选取第二个图像，得到当前图像。每个待挖掘正样本图像对都随机选对应的待挖掘图像，该待挖掘图像也可以按照预先设置的选取位置选取得到待挖掘图像。
步骤606，计算当前图像分别与各个待挖掘图像之间的相似度，基于相似度从各个待挖掘图像中确定当前正样本图像对对应的当前负样本图像。
其中，相似度用于表征当前图像与待挖掘图像的相似程度。当前负样本图像是指筛选得到的当前正样本图像对对应的负样本图像。
具体地，服务器使用相似度算法计算当前图像分别与各个待挖掘图像之间的相似度，其中，相似度算法可以使用距离相似度算法，比如，欧式距离算法、曼哈顿距离算法、余弦相似度算法和汉明距离算法等等。在一个实施例中可以使用欧式距离算法计算当前图像分别与各个待挖掘图像之间的相似度，提高得到相似度的效率。然后使用相似度将各个待挖掘图像从小到大排序，并选取当前正样本图像对对应的当前负样本图像。其中，服务器可以在将各个待挖掘图像从小到大排序后，按照预先设置好的去噪数量进行图像去除，比如，去除5%的待挖掘图像。然后从剩余的待挖掘图像中选取当前正样本图像对对应的当前负样本图像。
步骤608，基于当前正样本图像对和当前负样本图像得到当前正样本图像对对应的当前图像三元组。
具体地，当前图像三元组是指当前正样本图像对对应的图像三元组。服务器筛选每个正样本图像对对应的负样本图像，即将每个样本图像对都作为当前正样本图像进行遍历，得到每个正样本图像对对应的图像三元组。
在上述实施例中，通过计算当前图像分别与各个待挖掘图像之间的相似度，基于相似度从各个待挖掘图像筛选负样本图像，从而得到图像三元组，提高得到图像三元组的准确性。
在一个实施例中，步骤706，计算当前图像分别与各个待挖掘图像之间的相似度，基于相似度从各个待挖掘图像中确定当前正样本图像对对应的当前负样本图像，包括步骤：
从初始内容特征集中获取当前图像对应的当前初始内容特征和各个待挖掘图像对应的待挖掘初始内容特征。计算当前初始内容特征分别与各个待挖掘图像对应的待挖掘初始内容特征的相似距离，得到各个相似度，基于各个相似度从各个待挖掘图像中确定当前正样本图像对对应的当前负样本图像。
其中，当前初始内容特征是指当前图像对应的初始内容特征。待挖掘初始内容特征是指待挖掘图像对应的初始内容特征。相似距离是指使用距离相似度算法计算的相似度。
具体地，服务器从初始内容特征集中查找当前图像对应的当前初始内容特征和各个待挖掘图像对应的待挖掘初始内容特征。然后使用欧式距离算法计算当前初始内容特征分别与各个待挖掘图像对应的待挖掘初始内容特征的相似距离，得到各个相似度。将各个相似度与预设相似阈值进行比较，预设相似阈值是指预先设置好的相似度的阈值。然后可以将低于预设相似阈值的各个待挖掘图像去除，然后将高于预设相似阈值的各个待挖掘图像从小到大排序，并选取当前正样本图像对对应的当前负样本图像。
在上述实施例中，通过使用汉明距离算法计算当前初始内容特征与待挖掘初始内容特征的相似距离，能够提高相似度计算的效率。
在一个实施例中，基于各个相似度从各个待挖掘图像中确定当前正样本图像对对应的当前负样本图像，包括步骤：
基于各个相似度从各个待挖掘图像中选取目标数量的待挖掘图像，得到当前正样本图像对对应的各个当前负样本图像。
其中，目标数量是指预先设置好的要选取的当前训练图像对应的负样本图像的数量。
具体地，服务器也可以根据各个相似度的大小从各个待挖掘图像中选取目标数量的待挖掘图像，得到当前正样本图像对对应的各个当前负样本图像。比如，可以选取10个待挖掘图像作为当前正样本图像对对应的各个当前负样本图像。
步骤708，即基于当前正样本图像对和当前负样本图像得到当前正样本图像对对应的当前图像三元组，包括步骤：
基于当前正样本图像对和各个当前负样本图像得到当前正样本图像对对应的各个当前图像三元组。
具体地，服务器在筛选得到目标数量的待挖掘图像后，得到每个正样本图像对对应的目标数量的图像三元组。即一个正样本图像对对应有目标数量的图像三元组。然后使用目标数量的图像三元组计算三元组损失信息，比如，可以计算正样本图像对对应的每个的图像三元组的损失，然后再计算平均值，得到该三元组损失信息。也可以计算正样本图像对对应的每个的图像三元组的损失，然后再计算损失的和，得到该三元组损失信息。能够提高得到的三元组损失的准确性。其中，三元组损失信息包括分支三元组损失信息和图像三元组损失信息。
在一个实施例中，步骤406，基于初始类别特征集和对应的图像类别标签进行损失计算，得到初始分类损失信息，包括：
基于初始类别特征集中的初始类别特征与对应的图像类别标签计算交叉熵损失，得到初始分类损失信息。
具体地，服务器可以使用多分类交叉熵损失函数计算初始类别特征集中的初始类别特征与对应的图像类别标签之间的误差，得到初始分类损失信息。多分类交叉熵损失函数是指在多分类任务中的交叉熵损失函数。
在一个实施例中，图像三元组包括第一正样本图像、第二正样本图像以及负样本图像；
如图7所示，步骤408，基于图像三元组和初始内容特征集进行图像三元组损失计算，得到分支三元组损失信息，包括：
步骤702，从初始内容特征集中查找第一正样本图像对应的初始内容特征、第二正样本图像对应的初始内容特征以及负样本图像对应的初始内容特征。
其中，第一正样本图像中正样本图像对中的第一个图像，第二正样本图像是指正样本图像对中的第二个图像。
具体地，服务器对图像三元组中的每个图像查找到对应的初始内容特征。
步骤704，计算第一正样本图像对应的初始内容特征与第二正样本图像对应的初始内容特征的第一相似距离，并计算第一正样本图像对应的初始内容特征与负样本图像对应的初始内容特征的第二相似距离。
其中，第一正样本图像中正样本图像对中的第一个图像，第二正样本图像是指正样本图像对中的第二个图像。第一相似距离是指正样本图像对应的初始内容特征之间的相似距离。第二相似距离是指正样本图像对应的初始内容特征与负样本图像对应的初始内容特征之间的相似距离。
具体地，服务器对图像三元组中的每个图像查找到对应的初始内容特征。然后使用距离相似度算法计算第一正样本图像对应的初始内容特征与第二正样本图像对应的初始内容特征的第一相似距离，并计算第一正样本图像对应的初始内容特征与负样本图像对应的初始内容特征的第二相似距离。在一个实施例中，也可以计算第二正样本图像对应的初始内容特征 与负样本图像对应的初始内容特征之间的相似距离，得到第二相似距离。
步骤706，计算第一相似距离与第二相似距离的分支距离误差，基于分支距离误差确定分支三元组损失信息。
其中，分支距离误差用于表征第一相似距离与第二相似距离之间的误差。
具体地，服务器计算第一相似距离与第二相似距离的差，得到分支距离误差，然后可以将分支距离误差作为分支三元组损失信息。
在一个具体的实施例中，使用如下所示的公式（1）计算分支三元组损失信息。
其中，
是指分支三元组损失信息。a1为第一正样本图像，p1为第二正样本图像，n1为负样本图像。
表示第一正样本图像对应的初始内容特征。
表示第二正样本图像对应的初始内容特征。
表示负样本图像对应的初始内容特征。
是超参，用于控制正负样本空间距离，可以根据需要设置，比如可以设置为0.6。通过使用分支三元组损失信息的目的是使得第一正样本图像对应的初始内容特征到第二正样本图像对应的初始内容特征之间的距离比第一正样本图像对应的初始内容特征到负样本图像对应的初始内容特征之间的距离大于超参设置的值。
表示计算第一正样本图像对应的初始内容特征与第二正样本图像对应的初始内容特征之间的L2距离。
是指计算第一正样本图像对应的初始内容特征与负样本图像对应的初始内容特征之间的L2距离，即欧式距离。
在一个实施例中，图像三元组包括第一正样本图像、第二正样本图像以及负样本图像；
如图8所示，步骤408，将初始类别特征集和初始内容特征集融合，得到初始融合特征集，基于初始融合特征集进行图像三元组计算，得到图像三元组损失信息，包括：
步骤802，将初始类别特征集中初始类别特征与初始内容特征集中对应的初始内容特征进行拼接，得到初始融合特征集。
其中，初始融合特征是指融合初始类别特征和初始内容特征得到的特征，是指对应的训练图像的总表征信息。
具体地，服务器将初始类别特征集中初始类别特征与初始内容特征集中对应的初始内容特征进行首尾拼接，得到初始融合特征集。比如，将初始类别特征与初始内容特征进行首尾拼接，得到初始融合特征。也可以将初始内容特征与初始类别特征进行首尾拼接，得到初始融合特征。
在一个具体的实施例中，将使用表3得到的1*100维的初始类别特征与使用表4得到的1*128维的初始类别特征进行拼接，得到1*228维的初始融合特征
步骤804，从初始融合特征集中查找第一正样本图像对应的初始融合特征、第二正样本图像对应的初始融合特征以及负样本图像对应的初始融合特征。
步骤806，计算第一正样本图像对应的初始融合特征与第二正样本图像对应的初始融合特征的第三相似距离，并计算第一正样本图像对应的初始融合特征与负样本图像对应的初始融合特征的第四相似距离。
其中，第三相似距离是指正样本图像对应的初始融合特征之间的相似距离。第四相似距离是指正样本图像对应的初始融合特征与负样本图像对应的初始融合特征之间的相似距离。
具体地，服务器对图像三元组中的每个图像查找到对应的初始融合特征。然后使用距离相似度算法计算第一正样本图像对应的初始融合特征与第二正样本图像对应的初始融合特征的第三相似距离，并计算第一正样本图像对应的初始融合特征与负样本图像对应的初始融合特征的第四相似距离。在一个实施例中，也可以计算第二正样本图像对应的初始融合特征与负样本图像对应的初始融合特征之间的相似距离，得到第四相似距离。其中距离相似度算法可以是使用汉明距离算法。
步骤808，计算第三相似距离与第四相似距离的图像距离误差，基于所诉图像距离误差确定图像三元组损失信息。
其中，图像距离误差用于表征第三相似距离与第四相似距离之间的误差。
具体地，服务器计算第三相似距离与第四相似距离的差，得到图像距离误差，然后可以将图像距离误差作为图像三元组损失信息。
在一个具体的实施例中，使用如下所示的公式（2）计算图像三元组损失信息。
其中，
是指图像三元组损失信息。a2为第一正样本图像，p2为第二正样本图像，n2为负样本图像。
表示第一正样本图像对应的初始融合特征。
表示第二正样本图像对应的初始融合特征。
表示负样本图像对应的初始融合特征。
是指两个特征之间的L2距离。
表示计算第一正样本图像对应的初始融合特征与第二正样本图像对应的初始融合特征之间的L2距离。
是指计算第一正样本图像对应的初始融合特征与负样本图像对应的初始融合特征之间的L2距离。
是超参，用于控制正负样本空间距离，可以根据需要设置，比如，可以设置为1。通过使用图像三元组损失信息的目的是使得第一正样本图像对应的初始融合特征到第二正样本图像对应的初始融合特征之间的距离比第一正样本图像对应的初始融合特征到负样本图像对应的初始融合特征之间的距离大于超参设置的值。
在上述实施例中，通过使用三元组损失函数来计算分支三元组损失信息和图像三元组损失信息，从而提高了损失计算的准确性。
在一个实施例中，步骤410，基于初始内容特征集和初始内容量化特征集进行量化损失计算，得到量化损失信息，包括：
基于初始内容特征集中初始内容特征与初始内容量化特征集中对应的初始内容量化特征进行回归损失计算，得到量化损失信息。
其中，量化损失信息用于表征初始内容特征与初始内容量化特征之间的误差。
具体地，服务器使用回归损失函数计算初始内容特征集中初始内容特征与初始内容量化特征集中对应的初始内容量化特征之间的误差，得到量化损失信息。
在一个具体的实施例中，可以使用如下所示的公式（3）使用初始内容特征进行二值量化编码得到初始内容量化特征。然后可以使用如下所示的公式（4）计算得到量化损失信息。
其中，
是指初始内容特征中的第i个位置的值，
是指初始内容量化特征中第i个位置的值。将初始内容特征的向量中每一位分别通过sgn函数进行编码，最终得到初始内容量化特征。
是指量化损失信息。128是指初始内容特征的维数。
在一个具体的实施例中，使用如下所示的公式（5）计算得到损失和，使用损失和更新初始图像特征提取模型的模型参数，得到更新后的图像特征提取模型。
其中，
是指所有损失的和。
是指分类损失信息的权重。
是指分支三元组损失信息的权重。
是指量化损失的权重。
是指图像三元组损失信息的权值。由于回归损失收敛速度比三元组损失快，为了保证提取得到的特征始终具有相似度独立的能力，则可以将
设置为0.5或者小于1的其他值，可根据需求确定，其他权重则设置为1。
在一个实施例中，如图9所示，在步骤202之前，即在获取查询图像，基于查询图像进行二值量化特征提取，得到查询图像类别量化特征和查询图像内容量化特征之前，还包括：
步骤902，获取各个候选图像。
步骤904，将各个候选图像输入到图像量化模型中，得到各个候选图像对应的候选类别量化特征和候选内容量化特征。
具体地，服务器获取到各个候选图像，该候选图像可以是从互联网采集到的，也可以是从数据库获取到的，还可以是从数据服务方获取到的。然后使用已训练好的并且部署在服务器中的图像量化模型对各个候选图像进行量化特征提取，得到各个候选图像对应的候选类别量化特征和候选内容量化特征。
步骤906，基于各个候选图像、各个候选图像对应的候选类别量化特征和候选内容量化特征建立一级索引关系和二级索引关系；
步骤910，将一级索引关系和二级索引关系保存。
具体地，服务器使用量化特征建立候选图像的索引，即将候选类别量化特征作为一级索引来建立一级索引关系，将候选内容量化特征作为一级索引下的二级索引来建立二级索引关系。然后将各个候选图像对应的一级索引关系和二级索引关系进行保存。在一个实施例中，可以将各个候选图像对应的一级索引关系和二级索引关系存储到区块链中，防止索引关系被篡改，保证数据安全。
在上述实施例中，通过图像量化模型提取到候选类别量化特征和候选内容量化特征，然后建立一级索引关系和二级索引关系并保存，从而使得保存的图像特征都是量化特征，从而避免了存储图像的浮点向量特征，降低数据存储压力，节省了存储资源。
在一个实施例中，如图10所示，步骤906，即基于各个候选图像、各个候选图像对应的候选类别量化特征和候选内容量化特征建立一级索引关系和二级索引关系，包括：
步骤1002，将各个候选图像对应的候选类别量化特征进行去重，得到各个一级候选类别量化特征。
具体地，一级候选类别量化特征是指具有唯一性的候选类别量化特征，是用于作为一级索引的。由于候选类别量化特征是进行二值量化后得到的，因此，各个候选图像对应的候选类别量化特征就可能存在相同的特征，此时，说明相同候选类别量化特征的候选图像都是同一类的候选图像。服务器将各个候选图像对应的候选类别量化特征进行去重处理，得到各个一级候选类别量化特征。该一级候选类别量化特征可能存在多个对应的候选图像。
步骤1004，获取各个一级候选类别量化特征对应的候选图像，得到各个一级候选类别量化特征对应的目标候选图像集，并获取目标候选图像集中候选图像对应的候选内容量化特征，得到候选内容量化特征集。
具体地，服务器获取到每个一级候选类别量化特征对应的候选图像。得到每个一级候选类别量化特征对应的目标候选图像集，然后从候选内容量化特征集中获取到每个目标候选图像集中候选图像对应的候选内容量化特征，得到候选内容量化特征集，该候选内容量化特征集中至少包括一个候选内容量化特征。
步骤1006，将各个一级候选类别量化特征与对应的候选内容量化特征集进行关联，得到一级索引关系。
具体地，服务器将每个一级候选类别量化特征与应的候选内容量化特征集进行关联，得到一级索引关系。在一个实施例中，可以将一级索引关系以数据表的形式存储，得到一级索引关系表。
步骤1008，将各个候选图像对应的候选内容量化特征进行去重，得到各个二级候选内容量化特征。
具体地，二级候选内容量化特征是指具有唯一性的候选类别量化特征，是用于作为一级索引下的二级索引。由于候选内容量化特征是进行二值量化后得到的，因此，各个候选图像对应的候选内容量化特征就可能存在相同的特征。服务器将各个候选图像对应的候选内容量化特征进行去重处理，得到各个二级候选内容量化特征。该二级候选内容量化特征可能存在多个对应的候选图像。
步骤1010，获取各个二级候选内容量化特征对应的候选图像，得到候选图像集。
步骤1012，将各个二级候选内容量化特征和对应的候选图像集进行关联，得到二级索引关系。
其中，候选图像集是指二级候选内容量化特征对应的候选图像，该候选图像集中的候选图像都是高相似的图像。
具体地，服务器获取到每个二级候选内容量化特征对应的候选图像，得到候选图像集，该候选图像集中包括至少一个图像，然后将各个二级候选内容量化特征和对应的候选图像集进行关联，得到二级索引关系。此时，相同图像将被关联到相同的量化索引一级索引关系和二级索引关系中，相同类别不同的图像将被关联到相同的一级索引关系中且不同的二级索引关系中，不同类别的图像将被关联到不同的一级索引关系和二级索引关系中。在一个实施例中，可以将二级索引关系以数据表的形式存储，得到二级索引关系表。
在一个具体的实施例中，对N个候选图像对应的候选内容量化特征进行去重，得到K个二级候选内容量化特征，包含[c1,c2…,ck]，c表示二级候选内容量化特征。将每个二级候选内容量化特征关联到对应的候选图像，得到二级索引关系，例如，[c1:[i1,i2]; c2:[i3,i5,i7];…,ck:[i4,iN-1,iN]]，其中，i表示候选图像。c1:[i1,i2]表示第一个二级候选内容量化特征关联的候选图像包括第一候选图像和第二候选图像。
在上述实施例中，通过使用图像量化模型计算得到的候选类别量化特征和候选内容量化特征建立一级索引关系和二级索引关系，而不需要对候选图像进行聚类计算，提高了索引关系建立的效率，方便后续的使用，从而提高图像检索效率。
在一个实施例中，如图11所示，提供了一种图像量化模型训练方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用在终端中，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。在本实施例中，包括以下步骤：
步骤1102，获取训练图像集，训练图像集包括图像类别标签。
步骤1104，将训练图像集输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集。
步骤1106，基于初始类别特征集和对应的图像类别标签进行损失计算，得到分类损失信息，并基于初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息。
步骤1108，基于分类损失信息和特征损失信息更新初始图像特征提取模型，并返回将训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像特征提取模型，基于目标图像特征提取模型得到图像量化模型，图像量化模型用于提取输入图像的类别量化特征和内容量化特征，输入图像包括查询图像和候选图像，候选图像对应的类别量化特征和内容量化特征用于建立一级索引关系和二级索引关系，一级索引关系和二级索引关系用于进行图像检索。
其中，特征损失信息是指使用初始类别特征集和初始内容特征集中的特征计算得到的损失信息。
具体地，服务器获取到训练图像集，将训练图像集作为全量训练样本进行多轮迭代训练。每轮迭代都使用全量训练样本。即将训练图像集输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集。基于初始类别特征集和对应的图像类别标签进行损失计算，得到分类损失信息，并基于初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息。基于分类损失信息和特征损失信息更新初始图像特征提取模型，并返回将训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像特征提取模型，基于目标图像特征提取模型得到图像量化模型。在一个实施例中，该图像量化模型可以是使用上述图像检索方法中图像量化模型训练的任意实施例得到。该图像量化模型也可以用于对图像特征进行二值量化。
上述图像量化模型训练方法、装置、计算机设备和存储介质，通过将训练图像集输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集，通过使用初始类别特征集和对应的图像类别标签进行损失计算，得到分类损失信息，并基于初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息，然后使用分类损失信息和特征损失信息更新初始图像特征提取模型，从而训练得到目标图像特征提取模型，能够使训练得到的目标图像特征提取模型提高特征提取的准确性，然后使用目标图像特征提取模型得到图像量化模型，从而提高了图像量化模型进行量化特征提取的准确性，然后使用候选图像对应的类别量化特征和内容量化特征用于建立一级索引关系和二级索引关系，从而提高了一级索引关系和二级索引关系的准确性，然后使用一级索引关系和二级索引关系用于进行图像检索，能够提高图像检索的准确性和效率。
在一个实施例中，如图12所示，步骤1106，基于初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息，包括：
步骤1202，从训练图像集中确定图像三元组，基于图像三元组和初始内容特征集进行图像三元组损失计算，得到分支三元组损失信息。
具体地，服务器可以从训练图像集中获取到图像三元组，然后使用图像三元组对应的初始内容特征进行图像三元组损失计算，得到分支三元组损失信息，其中，图像三元组损失信息可以使用公式（1）计算得到。
步骤1204，将初始类别特征集和初始内容特征集融合，得到初始融合特征集，基于初始融合特征集进行图像三元组计算，得到图像三元组损失信息。
具体地，服务器将每个初始类别特征和对应的初始内容特征集进行拼接，得到拼接后的特征，即得到初始融合特征。然后使用图像三元组对应的初始融合特征进行图像三元组计算，得到图像三元组损失信息。其中，图像三元组损失信息可以使用公式（2）计算得到。
步骤1206，对初始内容特征集进行二值量化，得到初始内容量化特征集，基于初始内容特征集和初始内容量化特征集进行量化损失计算，得到量化损失信息。
具体地，服务器将每个初始内容特征进行二值量化，得到初始内容量化特征，然后计算初始内容特征和初始内容量化特征之间的误差，得到量化损失信息。
步骤1208，基于分支三元组损失信息、图像三元组损失信息和量化损失信息得到特征损失信息。
具体地，服务器计算分支三元组损失信息、图像三元组损失信息和量化损失信息的总和得到特征损失信息。
在上述实施例中，通过计算分支三元组损失信息、图像三元组损失信息和量化损失信息得到特征损失信息，然后使用特征损失信息进行模型的训练，能够提高训练的准确性，其中，通过使用量化损失信息进行训练，从而能够保证图像量化模型进行量化特征提取的准确性。
在一个具体的实施例中，如图13所示，提供一种图像量化模型训练的框架示意图，其中，获取到样本图像，从样本图像中确定图像三元组，然后将图像输入到初始图像特征提取模型中进行特征提取，该初始图像特征提取模型是使用卷积神经网络算法CNN建立的，得到初始类别特征和初始内容特征，然后使用初始类别特征通过交叉熵损失函数计算分类损失Loss1，然后使用初始内容特征通过三元组损失函数计算三元组损失，并通过量化损失函数计算量化损失，计算三元组损失和量化损失的和，得到内容特征对应的损失Loss2，然后将初始类别认证和初始内容进行拼接，然后计算拼接后的三元组损失，得到损失Loss3，最终计算所有损失的和，得到总损失Total loss，使用总损失Total loss反向更新初始图像特征提取模型，直到训练完成时得到图像特征提取模型，并基于图像特征提取模型确定图像量化模型。
在一个具体的实施例中，如图14所示，提供一种图像检索方法，具体包括以下步骤：
步骤1402，获取各个候选图像，将各个候选图像输入到图像量化模型中，得到各个候选图像对应的候选类别量化特征和候选内容量化特征，将各个候选图像对应的候选类别量化特征进行去重，得到各个一级候选类别量化特征。
步骤1404，获取各个一级候选类别量化特征对应的候选图像，得到各个一级候选类别量化特征对应的目标候选图像集，并获取目标候选图像集中候选图像对应的候选内容量化特征，得到候选内容量化特征集，将各个一级候选类别量化特征与对应的候选内容量化特征集进行关联，得到一级索引关系。
步骤1406，将各个候选图像对应的候选内容量化特征进行去重，得到各个二级候选内容量化特征，获取各个二级候选内容量化特征对应的候选图像，得到候选图像集，将各个二级候选内容量化特征和对应的候选图像集进行关联，得到二级索引关系，将一级索引关系和二级索引关系保存。
步骤1408，获取查询图像，将查询图像输入到图像量化模型中，图像量化模型通过类别量化特征提取分支网络进行二值量化特征提取，得到类别量化特征，并通过内容量化特征提取分支网络进行二值量化特征提取，得到内容量化特征。
步骤1410，获取各个候选图像对应的候选类别量化特征，基于类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征。基于一级索引关系查找目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征；
步骤1412，基于内容量化特征从各个中间候选内容量化特征中确定目标候选内容量化特征；基于二级索引关系查找目标候选内容量化特征对应的候选图像，得到查询图像对应的检索结果图像。
在一个具体的实施例中，如图15所示，提供一种图像检索的框架示意图，具体来说：服务器将图像库中的候选图像使用图像量化模型进行量化特征提取，得到候选类别量化特征和候选内容量化特征，该特征都是0和1组成的向量。然后使用候选类别量化特征和候选内容量化特征建立一级索引关系和而是索引关系并保存。当服务器从用户终端获取到查询图像时，使用图像量化模型进行量化特征提取得到查询图像对应的类别量化特征（1,0,0）和内容量化特征（0,1,1,0,1），然后将类别量化特征作为一级索引，将内容量化特征作为二级索引，使用一级索引（1,0,0）进行特征对比，查找到对应的候选类别量化特征（1,0,0），然后在一级索引关系中查找候选类别量化特征（1,0,0）对应的候选内容量化特征，然后使用二级索引进行特征对比，查找对应的候选内容量化特征（0,1,1,0,1），然后获取从二级索引关系中查找到候选内容量化特征（0,1,1,0,1）对应的各个候选图像，将查找到的候选图像作为查询图像对应的图像检索结果，并返回给用户终端。
本申请还提供一种应用场景，该应用场景应用上述的图像检索方法。具体地：
在人脸识别应用场景中，用户终端拍摄到人脸图像，将人脸图像发送服务器，服务器接收到人脸图像，需要在人脸数据库中检索到与人脸图像对应的图像，从而得到人脸身份信息，该人脸数据库中存储有人脸图像对应的一级索引关系和二级索引关系。此时，服务器使用图像量化模型提取人脸图像对应的人脸类别量化特征和人脸内容量化特征。然后使用人脸类别量化特征在一级索引关系中查找对应的各个候选内容特征，然后使用人脸内容量化特征从各个候选内容特征中确定匹配的候选内容特征，然后从二级索引关系中查找到匹配的候选内容特征对应的候选人脸图像，从而得到人脸图像对应的图像检索结果。然后获取到图像检索结果中候选人脸图像关联的人脸身份信息，从而能够提高人脸识别的效率，然后可以使用人脸身份信息进行后续处理。比如，进行人脸开门、人脸验证、人脸支付等等。
应该理解的是，虽然图2-14的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-14中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图16所示，提供了一种图像检索装置1600，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：图像获取模块1602、类别特征确定模块1604、一级索引模块1606、内容特征确定模块1608和二级索引模块1610，其中：
图像获取模块1602，用于获取查询图像，并获取查询图像对应的类别量化特征以及内容量化特征，查询图像对应的类别量化特征以及内容量化特征是基于查询图像进行二值量化特征提取得到的，类别量化特征用于表征图像类别，内容量化特征用于表征图像包含的具体内容；
类别特征确定模块1604，用于获取各个候选图像对应的候选类别量化特征，基于类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征；
一级索引模块1606，用于获取一级索引关系，一级索引关系是指各个候选类别量化特征与各个候选图像对应的候选内容量化特征的关联关系，基于一级索引关系查找目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征；
内容特征确定模块1608，用于基于内容量化特征从各个中间候选内容量化特征中确定目标候选内容量化特征；
二级索引模块1610，用于获取二级索引关系，二级索引关系是指各个候选内容量化特征与各个候选图像的关联关系，基于二级索引关系查找目标候选内容量化特征对应的候选图像，得到查询图像对应的检索结果图像。
在一个实施例中，图像获取模块1602，包括：
模型提取单元，用于将查询图像输入到图像量化模型中，图像量化模型通过类别量化特征提取分支网络进行二值量化特征提取，得到类别量化特征，并通过内容量化特征提取分支网络进行二值量化特征提取，得到内容量化特征。
在一个实施例中，模型提取单元还用于将查询图像输入到图像量化模型中，图像量化模型将查询图像输入到深度特征提取网络中进行深度特征提取，得到查询图像深度特征；将查询图像深度特征输入到特征映射网络中进行特征映射，得到查询图像映射特征；将查询图像映射特征分别输入到类别量化特征提取分支网络和内容量化特征提取分支网络中；类别量化特征提取分支网络基于查询图像映射特征进行分类识别，得到查询图像类别特征，将查询图像类别特征进行二值量化，得到类别量化特征；内容量化特征提取分支网络基于查询图像映射特征进行图像内容识别，得到查询图像内容特征，将查询图像内容特征进行二值量化，得到内容量化特征。
在一个实施例中，图像检索装置1600，还包括：
训练图像获取模块，用于获取训练图像集，训练图像集包括图像类别标签；
初始训练模块，用于将训练图像集输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集；
分类损失计算模块，用于基于初始类别特征集和对应的图像类别标签进行损失计算，得到初始分类损失信息；
三元组损失计算模块，用于从训练图像集中确定图像三元组，基于图像三元组和初始内容特征集进行图像三元组损失计算，得到分支三元组损失信息，并将初始类别特征集和初始内容特征集融合，得到初始融合特征集，基于初始融合特征集进行图像三元组计算，得到图像三元组损失信息；
量化损失计算模块，用于对初始内容特征集进行二值量化，得到初始内容量化特征集，基于初始内容特征集和初始内容量化特征集进行量化损失计算，得到量化损失信息；
迭代训练模块，用于基于分类损失信息、分支三元组损失信息、图像三元组损失信息和量化损失信息更新初始图像特征提取模型，并返回将训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像特征提取模型，基于目标图像特征提取模型得到图像量化模型。
在一个实施例中，初始图像特征提取模型还包括：初始深度特征提取网络和初始特征映射网络；初始训练模块还用于将训练图像集输入初始深度特征提取网络中，得到初始深度特征集；将初始深度特征集输入到初始特征映射网络中，得到初始映射特征集；将初始映射特征集输入类别特征提取分支网络中进行图像类别特征提取，得到训练图像集对应的初始类别特征集，并将初始映射特征集输入到内容特征提取分支网络中进行图像内容特征提取，得到训练图像集对应的初始内容特征集。
在一个实施例中，训练图像集中包括各个图像三元组；三元组损失计算模块还用于获取当前训练图像，基于当前训练图像从训练图像集中确定当前图像三元组；三元组损失计算模块还用于从初始内容特征集中确定当前图像三元组对应的初始内容特征，基于当前图像三元组对应的初始内容特征进行图像三元组损失计算，得到当前图像三元组损失信息。
在一个实施例中，训练图像集中包括各个正样本图像对；三元组损失计算模块还用于基于各个正样本图像对进行负样本图像筛选，得到各个正样本图像对对应的负样本图像，基于各个正样本图像对和对应的负样本图像得到各个图像三元组；三元组损失计算模块还用于从初始内容特征集中查找各个图像三元组对应的初始内容特征，基于各个图像三元组对应的初始内容特征进行图像三元组损失计算，得到分支三元组损失信息。
在一个实施例中，三元组损失计算模块还用于基于各个正样本图像对确定当前正样本图像对和各个待挖掘正样本图像对；从当前正样本图像对中随机选取，得到当前图像，并分别从各个待挖掘正样本图像对中随机选取，得到各个待挖掘图像；计算当前图像分别与各个待挖掘图像之间的相似度，基于相似度从各个待挖掘图像中确定当前正样本图像对对应的当前负样本图像；基于当前正样本图像对和当前负样本图像得到当前正样本图像对对应的当前图像三元组。
在一个实施例中，三元组损失计算模块还用于从初始内容特征集中获取当前图像对应的当前初始内容特征和各个待挖掘图像对应的待挖掘初始内容特征；计算当前初始内容特征分别与各个待挖掘图像对应的待挖掘初始内容特征的相似距离，得到各个相似度，基于各个相似度从各个待挖掘图像中确定当前正样本图像对对应的当前负样本图像。
在一个实施例中，三元组损失计算模块还用于基于各个相似度从各个待挖掘图像中选取目标数量的待挖掘图像，得到当前正样本图像对对应的各个当前负样本图像；三元组损失计算模块还用于基于当前正样本图像对和各个当前负样本图像得到当前正样本图像对对应的各个当前图像三元组。
在一个实施例中，分类损失计算模块还用于基于初始类别特征集中的初始类别特征与对应的图像类别标签计算交叉熵损失，得到初始分类损失信息。
在一个实施例中，图像三元组包括第一正样本图像、第二正样本图像以及负样本图像；三元组损失计算模块还用于从初始内容特征集中查找第一正样本图像对应的初始内容特征、第二正样本图像对应的初始内容特征以及负样本图像对应的初始内容特征；计算第一正样本图像对应的初始内容特征与第二正样本图像对应的初始内容特征的第一相似距离，并计算第一正样本图像对应的初始内容特征与负样本图像对应的初始内容特征的第二相似距离；计算第一相似距离与第二相似距离的分支距离误差，基于分支距离误差确定分支三元组损失信息。
在一个实施例中，图像三元组包括第一正样本图像、第二正样本图像以及负样本图像；三元组损失计算模块还用于将初始类别特征集中初始类别特征与初始内容特征集中对应的初始内容特征进行拼接，得到初始融合特征集；从初始融合特征集中查找第一正样本图像对应的初始融合特征、第二正样本图像对应的初始融合特征以及负样本图像对应的初始融合特征；计算第一正样本图像对应的初始融合特征与第二正样本图像对应的初始融合特征的第三相似距离，并计算第一正样本图像对应的初始融合特征与负样本图像对应的初始融合特征的第四相似距离；计算第三相似距离与第四相似距离的图像距离误差，基于所诉图像距离误差确定图像三元组损失信息。
在一个实施例中，量化损失计算模块，还用于基于初始内容特征集中初始内容特征与初始内容量化特征集中对应的初始内容量化特征进行回归损失计算，得到量化损失信息。
在一个实施例中，图像检索装置1600，还包括：
索引关系建立模块，用于获取各个候选图像；将各个候选图像输入到图像量化模型中，得到各个候选图像对应的候选类别量化特征和候选内容量化特征；基于各个候选图像、各个候选图像对应的候选类别量化特征和候选内容量化特征建立一级索引关系和二级索引关系；将一级索引关系和二级索引关系保存。
在一个实施例中，索引关系建立模块还用于将各个候选图像对应的候选类别量化特征进行去重，得到各个一级候选类别量化特征；获取各个一级候选类别量化特征对应的候选图像，得到各个一级候选类别量化特征对应的目标候选图像集，并获取目标候选图像集中候选图像对应的候选内容量化特征，得到候选内容量化特征集；将各个一级候选类别量化特征与对应的候选内容量化特征集进行关联，得到一级索引关系；将各个候选图像对应的候选内容量化特征进行去重，得到各个二级候选内容量化特征；获取各个二级候选内容量化特征对应的候选图像，得到候选图像集；将各个二级候选内容量化特征和对应的候选图像集进行关联，得到二级索引关系。
在一个实施例中，如图17所示，提供了一种图像量化模型训练装置1700，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：训练图像获取模块1702、训练模块1704、损失计算模块 1706和迭代模块1708，其中：
训练图像获取模块1702，用于获取训练图像集，训练图像集包括图像类别标签；
训练模块1704，用于将训练图像集输入到初始图像特征提取模型中，初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到训练图像集对应的初始类别特征集和初始内容特征集；
损失计算模块1706，用于基于初始类别特征集和对应的图像类别标签进行损失计算，得到分类损失信息，并基于初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息；
迭代模块1708，用于基于分类损失信息和特征损失信息更新初始图像特征提取模型，并返回将训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像特征提取模型，基于目标图像特征提取模型得到图像量化模型，图像量化模型用于提取输入图像的类别量化特征和内容量化特征，输入图像包括查询图像和候选图像，候选图像对应的类别量化特征和内容量化特征用于建立一级索引关系和二级索引关系，一级索引关系和二级索引关系用于进行图像检索。
在一个实施例中，损失计算模块1706还用于从训练图像集中确定图像三元组，基于图像三元组和初始内容特征集进行图像三元组损失计算，得到分支三元组损失信息；将初始类别特征集和初始内容特征集融合，得到初始融合特征集，基于初始融合特征集进行图像三元组计算，得到图像三元组损失信息；对初始内容特征集进行二值量化，得到初始内容量化特征集，基于初始内容特征集和初始内容量化特征集进行量化损失计算，得到量化损失信息；基于分支三元组损失信息、图像三元组损失信息和量化损失信息得到特征损失信息。
关于图像检索装置和图像量化模型训练装置的具体限定可以参见上文中对于图像检索方法和图像量化模型训练方法的限定，在此不再赘述。上述图像检索装置和图像量化模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图18所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储训练图像数据和索引关系数据等等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像检索方法或者图像量化模型训练方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图19所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像检索方法或者图像量化模型训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图18或者19中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种图像检索方法，其特征在于，所述方法包括：
获取查询图像，并获取所述查询图像对应的类别量化特征以及内容量化特征，所述查询图像对应的类别量化特征以及内容量化特征是基于所述查询图像进行二值量化特征提取得到的，所述类别量化特征用于表征图像类别，所述内容量化特征用于表征图像包含的具体内容；
获取各个候选图像对应的候选类别量化特征，基于所述类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征；
获取一级索引关系，所述一级索引关系是指所述各个候选类别量化特征与所述各个候选图像对应的候选内容量化特征的关联关系，基于所述一级索引关系查找所述目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征；
基于所述内容量化特征从所述各个中间候选内容量化特征中确定目标候选内容量化特征；
获取二级索引关系，所述二级索引关系是指所述各个候选内容量化特征与所述各个候选图像的关联关系，基于所述二级索引关系查找所述目标候选内容量化特征对应的候选图像，得到所述查询图像对应的检索结果图像。
2.根据权利要求1所述的方法，其特征在于，所述获取所述查询图像对应的类别量化特征以及内容量化特征，所述查询图像对应的类别量化特征以及内容量化特征是基于所述查询图像进行二值量化特征提取得到的，包括：
将所述查询图像输入到图像量化模型中，所述图像量化模型通过类别量化特征提取分支网络进行二值量化特征提取，得到所述类别量化特征，并通过内容量化特征提取分支网络进行二值量化特征提取，得到所述内容量化特征。
3.根据权利要求2所述的方法，其特征在于，所述将所述查询图像输入到图像量化模型中，所述图像量化模型通过类别量化特征提取分支网络进行二值量化特征提取，得到所述类别量化特征，并通过内容量化特征提取分支网络进行二值量化特征提取，得到所述内容量化特征，包括：
将所述查询图像输入到所述图像量化模型中，所述图像量化模型将所述查询图像输入到深度特征提取网络中进行深度特征提取，得到查询图像深度特征；
将所述查询图像深度特征输入到特征映射网络中进行特征映射，得到查询图像映射特征；
将所述查询图像映射特征分别输入到所述类别量化特征提取分支网络和所述内容量化特征提取分支网络中；
所述类别量化特征提取分支网络基于所述查询图像映射特征进行分类识别，得到查询图像类别特征，将所述查询图像类别特征进行二值量化，得到所述类别量化特征；
所述内容量化特征提取分支网络基于所述查询图像映射特征进行图像内容识别，得到查询图像内容特征，将所述查询图像内容特征进行二值量化，得到所述内容量化特征。
4.根据权利要求3所述的方法，其特征在于，所述图像量化模型的训练包括以下步骤：
获取训练图像集，所述训练图像集包括图像类别标签；
将所述训练图像集输入到初始图像特征提取模型中，所述初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到所述训练图像集对应的初始类别特征集和初始内容特征集；
基于所述初始类别特征集和对应的图像类别标签进行损失计算，得到初始分类损失信息；
从训练图像集中确定图像三元组，基于所述图像三元组和所述初始内容特征集进行图像三元组损失计算，得到分支三元组损失信息，并将所述初始类别特征集和初始内容特征集融合，得到初始融合特征集，基于所述初始融合特征集进行图像三元组计算，得到图像三元组损失信息；
对所述初始内容特征集进行二值量化，得到初始内容量化特征集，基于所述初始内容特征集和所述初始内容量化特征集进行量化损失计算，得到量化损失信息；
基于所述分类损失信息、所述分支三元组损失信息、所述图像三元组损失信息和所述量化损失信息更新所述初始图像特征提取模型，并返回将所述训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像特征提取模型，基于所述目标图像特征提取模型得到所述图像量化模型。
5.根据权利要求4所述的方法，其特征在于，所述训练图像集中包括各个正样本图像对；
所述从训练图像集中确定图像三元组，包括：
基于所述各个正样本图像对进行负样本图像筛选，得到所述各个正样本图像对对应的负样本图像，基于所述各个正样本图像对和对应的负样本图像得到各个图像三元组；
所述基于所述图像三元组和所述初始内容特征集进行图像三元组损失计算，得到分支三元组损失信息，包括：
从所述初始内容特征集中查找所述各个图像三元组对应的初始内容特征，基于所述各个图像三元组对应的初始内容特征进行图像三元组损失计算，得到分支三元组损失信息。
6.根据权利要求5所述的方法，其特征在于，所述基于所述各个正样本图像对进行负样本图像筛选，得到所述各个正样本图像对对应的负样本图像，基于所述各个正样本图像对和对应的负样本图像得到各个图像三元组，包括：
基于所述各个正样本图像对确定当前正样本图像对和各个待挖掘正样本图像对；
从当前正样本图像对中随机选取，得到当前图像，并分别从所述各个待挖掘正样本图像对中随机选取，得到各个待挖掘图像；
计算所述当前图像分别与所述各个待挖掘图像之间的相似度，基于所述相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像；
基于所述当前正样本图像对和所述当前负样本图像得到所述当前正样本图像对对应的当前图像三元组。
7.根据权利要求4所述的方法，其特征在于，所述图像三元组包括第一正样本图像、第二正样本图像以及负样本图像；
所述基于所述图像三元组和所述初始内容特征集进行图像三元组损失计算，得到分支三元组损失信息，包括：
从所述初始内容特征集中查找所述第一正样本图像对应的初始内容特征、所述第二正样本图像对应的初始内容特征以及所述负样本图像对应的初始内容特征；
计算所述第一正样本图像对应的初始内容特征与所述第二正样本图像对应的初始内容特征的第一相似距离，并计算所述第一正样本图像对应的初始内容特征与所述负样本图像对应的初始内容特征的第二相似距离；
计算所述第一相似距离与所述第二相似距离的分支距离误差，基于所述分支距离误差确定所述分支三元组损失信息。
8.根据权利要求4所述的方法，其特征在于，所述图像三元组包括第一正样本图像、第二正样本图像以及负样本图像；
所述将所述初始类别特征集和初始内容特征集融合，得到初始融合特征集，基于所述初始融合特征集进行图像三元组计算，得到图像三元组损失信息，包括：
将所述初始类别特征集中初始类别特征与所述初始内容特征集中对应的初始内容特征进行拼接，得到初始融合特征集；
从所述初始融合特征集中查找所述第一正样本图像对应的初始融合特征、所述第二正样本图像对应的初始融合特征以及所述负样本图像对应的初始融合特征；
计算所述第一正样本图像对应的初始融合特征与所述第二正样本图像对应的初始融合特征的第三相似距离，并计算所述第一正样本图像对应的初始融合特征与所述负样本图像对应的初始融合特征的第四相似距离；
计算所述第三相似距离与所述第四相似距离的图像距离误差，基于所诉图像距离误差确定所述图像三元组损失信息。
9.根据权利要求2所述的方法，其特征在于，在所述获取查询图像，基于所述查询图像进行二值量化特征提取，得到查询图像类别量化特征和查询图像内容量化特征之前，还包括：
获取各个候选图像；
将所述各个候选图像输入到所述图像量化模型中，得到所述各个候选图像对应的候选类别量化特征和候选内容量化特征；
基于所述各个候选图像、所述各个候选图像对应的候选类别量化特征和候选内容量化特征建立所述一级索引关系和所述二级索引关系；
将所述一级索引关系和所述二级索引关系保存。
10.根据权利要求9所述的方法，其特征在于，所述基于所述各个候选图像、所述各个候选图像对应的候选类别量化特征和候选内容量化特征建立所述一级索引关系和所述二级索引关系，包括：
将所述各个候选图像对应的候选类别量化特征进行去重，得到各个一级候选类别量化特征；
获取所述各个一级候选类别量化特征对应的候选图像，得到所述各个一级候选类别量化特征对应的目标候选图像集，并获取所述目标候选图像集中候选图像对应的候选内容量化特征，得到候选内容量化特征集；
将所述各个一级候选类别量化特征与对应的候选内容量化特征集进行关联，得到一级索引关系；
将所述各个候选图像对应的候选内容量化特征进行去重，得到各个二级候选内容量化特征；
获取所述各个二级候选内容量化特征对应的候选图像，得到候选图像集；
将所述各个二级候选内容量化特征和对应的候选图像集进行关联，得到二级索引关系。
11.一种图像量化模型训练方法，其特征在于，所述方法包括：
获取训练图像集，所述训练图像集包括图像类别标签；
将所述训练图像集输入到初始图像特征提取模型中，所述初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到所述训练图像集对应的初始类别特征集和初始内容特征集；
基于所述初始类别特征集和对应的图像类别标签进行损失计算，得到分类损失信息，并基于所述初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息；
基于所述分类损失信息和所述特征损失信息更新所述初始图像特征提取模型，并返回将所述训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像特征提取模型，基于所述目标图像特征提取模型得到图像量化模型，所述图像量化模型用于提取输入图像的类别量化特征和内容量化特征，所述输入图像包括查询图像和候选图像，所述候选图像对应的类别量化特征和内容量化特征用于建立一级索引关系和二级索引关系，所述一级索引关系和二级索引关系用于进行图像检索。
12.一种图像检索装置，其特征在于，所述装置包括：
图像获取模块，用于获取查询图像，并获取所述查询图像对应的类别量化特征以及内容量化特征，所述查询图像对应的类别量化特征以及内容量化特征是基于所述查询图像进行二值量化特征提取得到的，所述类别量化特征用于表征图像类别，所述内容量化特征用于表征图像包含的具体内容；
类别特征确定模块，用于获取各个候选图像对应的候选类别量化特征，基于所述类别量化特征从各个候选类别量化特征中确定目标候选类别量化特征；
一级索引模块，用于获取一级索引关系，所述一级索引关系是指所述各个候选类别量化特征与所述各个候选图像对应的候选内容量化特征的关联关系，基于所述一级索引关系查找所述目标候选类别量化特征关联的各个候选内容量化特征，得到各个中间候选内容量化特征；
内容特征确定模块，用于基于所述内容量化特征从所述各个中间候选内容量化特征中确定目标候选内容量化特征；
二级索引模块，用于获取二级索引关系，所述二级索引关系是指所述各个候选内容量化特征与所述各个候选图像的关联关系，基于所述二级索引关系查找所述目标候选内容量化特征对应的候选图像，得到所述查询图像对应的检索结果图像。
13.一种图像量化模型训练装置，其特征在于，所述装置包括：
训练图像获取模块，用于获取训练图像集，所述训练图像集包括图像类别标签；
训练模块，用于将所述训练图像集输入到初始图像特征提取模型中，所述初始图像特征提取模型通过初始类别特征提取分支网络和初始内容特征提取分支网络进行特征提取，得到所述训练图像集对应的初始类别特征集和初始内容特征集；
损失计算模块，用于基于所述初始类别特征集和对应的图像类别标签进行损失计算，得到分类损失信息，并基于所述初始类别特征集和初始内容特征集进行损失计算，得到特征损失信息；
迭代模块，用于基于所述分类损失信息和所述特征损失信息更新所述初始图像特征提取模型，并返回将所述训练图像集输入到初始图像特征提取模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像特征提取模型，基于所述目标图像特征提取模型得到图像量化模型，所述图像量化模型用于提取输入图像的类别量化特征和内容量化特征，所述输入图像包括查询图像和候选图像，所述候选图像对应的类别量化特征和内容量化特征用于建立一级索引关系和二级索引关系，所述一级索引关系和二级索引关系用于进行图像检索。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110716270.2A CN113254687B (zh) | 2021-06-28 | 2021-06-28 | 图像检索、图像量化模型训练方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110716270.2A CN113254687B (zh) | 2021-06-28 | 2021-06-28 | 图像检索、图像量化模型训练方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113254687A true CN113254687A (zh) | 2021-08-13 |
| CN113254687B CN113254687B (zh) | 2021-09-17 |
Family
ID=77189828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110716270.2A Active CN113254687B (zh) | 2021-06-28 | 2021-06-28 | 图像检索、图像量化模型训练方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113254687B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023020214A1 (zh) * | 2021-08-17 | 2023-02-23 | 腾讯科技（深圳）有限公司 | 检索模型的训练和检索方法、装置、设备及介质 |
| WO2023024749A1 (zh) * | 2021-08-24 | 2023-03-02 | 腾讯科技（深圳）有限公司 | 视频检索的方法、装置、设备及存储介质 |
| CN118337532A (zh) * | 2024-06-13 | 2024-07-12 | 浙江鹏信信息科技股份有限公司 | 基于零信任的流量安全审计防护方法及系统、可读介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8611617B1 (en) * | 2010-08-09 | 2013-12-17 | Google Inc. | Similar image selection |
| CN106445939A (zh) * | 2015-08-06 | 2017-02-22 | 阿里巴巴集团控股有限公司 | 图像检索、获取图像信息及图像识别方法、装置及系统 |
| CN107766582A (zh) * | 2017-11-27 | 2018-03-06 | 深圳市唯特视科技有限公司 | 一种基于目标局部区域的图像检索方法 |
| CN108256082A (zh) * | 2018-01-22 | 2018-07-06 | 北京邮电大学 | 一种基于深度多相似度哈希的多标签图像检索方法 |
| CN108491430A (zh) * | 2018-02-09 | 2018-09-04 | 北京邮电大学 | 一种基于对特征方向进行聚类的无监督哈希检索方法 |
| CN111198959A (zh) * | 2019-12-30 | 2020-05-26 | 郑州轻工业大学 | 一种基于卷积神经网络的两阶段图像检索方法 |
| CN111353542A (zh) * | 2020-03-03 | 2020-06-30 | 腾讯科技（深圳）有限公司 | 图像分类模型的训练方法、装置、计算机设备和存储介质 |
| CN111859004A (zh) * | 2020-07-29 | 2020-10-30 | 书行科技(北京)有限公司 | 检索图像的获取方法、装置、设备及可读存储介质 |
| CN111966846A (zh) * | 2020-06-28 | 2020-11-20 | 北京百度网讯科技有限公司 | 图像查询方法、装置、电子设备和存储介质 |
| US20200380320A1 (en) * | 2019-04-08 | 2020-12-03 | Dropbox, Inc. | Semantic image retrieval |
-
2021
- 2021-06-28 CN CN202110716270.2A patent/CN113254687B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8611617B1 (en) * | 2010-08-09 | 2013-12-17 | Google Inc. | Similar image selection |
| CN106445939A (zh) * | 2015-08-06 | 2017-02-22 | 阿里巴巴集团控股有限公司 | 图像检索、获取图像信息及图像识别方法、装置及系统 |
| CN107766582A (zh) * | 2017-11-27 | 2018-03-06 | 深圳市唯特视科技有限公司 | 一种基于目标局部区域的图像检索方法 |
| CN108256082A (zh) * | 2018-01-22 | 2018-07-06 | 北京邮电大学 | 一种基于深度多相似度哈希的多标签图像检索方法 |
| CN108491430A (zh) * | 2018-02-09 | 2018-09-04 | 北京邮电大学 | 一种基于对特征方向进行聚类的无监督哈希检索方法 |
| US20200380320A1 (en) * | 2019-04-08 | 2020-12-03 | Dropbox, Inc. | Semantic image retrieval |
| CN111198959A (zh) * | 2019-12-30 | 2020-05-26 | 郑州轻工业大学 | 一种基于卷积神经网络的两阶段图像检索方法 |
| CN111353542A (zh) * | 2020-03-03 | 2020-06-30 | 腾讯科技（深圳）有限公司 | 图像分类模型的训练方法、装置、计算机设备和存储介质 |
| CN111966846A (zh) * | 2020-06-28 | 2020-11-20 | 北京百度网讯科技有限公司 | 图像查询方法、装置、电子设备和存储介质 |
| CN111859004A (zh) * | 2020-07-29 | 2020-10-30 | 书行科技(北京)有限公司 | 检索图像的获取方法、装置、设备及可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023020214A1 (zh) * | 2021-08-17 | 2023-02-23 | 腾讯科技（深圳）有限公司 | 检索模型的训练和检索方法、装置、设备及介质 |
| WO2023024749A1 (zh) * | 2021-08-24 | 2023-03-02 | 腾讯科技（深圳）有限公司 | 视频检索的方法、装置、设备及存储介质 |
| CN118337532A (zh) * | 2024-06-13 | 2024-07-12 | 浙江鹏信信息科技股份有限公司 | 基于零信任的流量安全审计防护方法及系统、可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113254687B (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112199375B (zh) | 跨模态的数据处理方法、装置、存储介质以及电子装置 | |
| CN111523621B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN113254687B (zh) | 图像检索、图像量化模型训练方法、装置和存储介质 | |
| CN113298197B (zh) | 数据聚类方法、装置、设备及可读存储介质 | |
| CN111582409A (zh) | 图像标签分类网络的训练方法、图像标签分类方法及设备 | |
| CN114332680A (zh) | 图像处理、视频搜索方法、装置、计算机设备和存储介质 | |
| CN112949740B (zh) | 一种基于多级度量的小样本图像分类方法 | |
| CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
| CN112819023A (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
| CN113033507B (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
| CN114358188A (zh) | 特征提取模型处理、样本检索方法、装置和计算机设备 | |
| CN111275060A (zh) | 识别模型更新处理方法、装置、电子设备及存储介质 | |
| CN111507285A (zh) | 人脸属性识别方法、装置、计算机设备和存储介质 | |
| CN113821670A (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
| CN110689323A (zh) | 图片审核方法、装置、计算机设备和存储介质 | |
| CN113343920A (zh) | 人脸识别照片的分类方法、装置、电子设备和存储介质 | |
| CN114358109A (zh) | 特征提取模型训练、样本检索方法、装置和计算机设备 | |
| CN113343020B (zh) | 基于人工智能的图像处理方法、装置及电子设备 | |
| CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
| CN114494809A (zh) | 特征提取模型优化方法、装置及电子设备 | |
| CN114329004A (zh) | 数字指纹生成、数据推送方法、装置和存储介质 | |
| JP6601965B2 (ja) | 探索木を用いて量子化するプログラム、装置及び方法 | |
| CN114329065A (zh) | 视频标签预测模型的处理方法、视频标签预测方法和装置 | |
| CN112149566A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN111611981A (zh) | 信息识别方法和装置及信息识别神经网络训练方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40052744 Country of ref document: HK |