CN112149566A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

一种图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112149566A
CN112149566A CN202011011422.0A CN202011011422A CN112149566A CN 112149566 A CN112149566 A CN 112149566A CN 202011011422 A CN202011011422 A CN 202011011422A CN 112149566 A CN112149566 A CN 112149566A
Authority
CN
China
Prior art keywords
image
vector
sample
stored
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011011422.0A
Other languages
English (en)
Inventor
冯世坤
朱烽
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202011011422.0A priority Critical patent/CN112149566A/zh
Publication of CN112149566A publication Critical patent/CN112149566A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像处理方法、装置、电子设备及存储介质，其中，该图像处理方法包括：获取待存储图像；提取所述待存储图像的第一信息向量；所述第一信息向量包含所述待存储图像在多维空间中对应的第一期望特征向量，以及所述待存储图像在所述多维空间中对应的第一方差向量，所述第一期望特征向量为多维向量，所述第一方差向量为一维向量；存储与所述待存储图像对应的所述第一信息向量。

Description

一种图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着深度学习普及和推广，基于图片视觉特征进行识别和检索的技术已经逐渐应用于各行各业，目前人脸识别技术已经广泛应用在安防以及安防相关领域，应用场景主要包含人脸布控、静态库检测、路人库轨迹搜索等。
目前基于深度学习的人脸识别的原理是通过提取人脸图像的特征值构成的特征向量，通过比对特征向量之间的距离来确定人脸图像之间的相似度，进而识别采集到的人脸图像。
基于该方式对人脸图像进行识别时，当采集到的人脸图像存在遮挡或者模糊的问题时，采集到的特征向量的准确度较低，基于该特征向量确定人脸图像之间的相似度时的准确度也就较低，无法完成对人脸图像的识别，需要重新拍摄人脸图像，造成图像识别效率较低。
发明内容
本公开实施例至少提供一种图像处理方案。
第一方面，本公开实施例提供了一种图像处理方法，包括：
获取待存储图像；
提取所述待存储图像的第一信息向量；所述第一信息向量包含所述待存储图像在多维空间中对应的第一期望特征向量，以及所述待存储图像在所述多维空间中对应的第一方差向量，所述第一期望特征向量为多维向量，所述第一方差向量为一维向量；
存储所述待存储图像对应所述第一信息向量。
本公开实施中，针对获取到的每张待存储图像，可以基于该待存储图像对应的第一期望特征向量和第一方差向量共同表示待存储图像在多维空间对应的分布区间，并按照待存储图像对应的分布区间来进行存储得到图像库，这样，后期接收到待比对图像时，比如针对人脸图像识别，可以基于预先存储的各个人脸图像对应的分布区间，来识别每张待比对图像和已存储的图像之间的相似度，这样通过分布区间的相似度来表征图像的相似度的方式，可以降低图像的图像质量对相似度精度的影响，从而提高识别效率。
进一步地，这里预先存储的每张图像对应的第一信息向量中，包含的是多维度的第一期望特征向量和一维度的第一方差向量，一维度的第一方差向量相比多维度的方差向量，其占用的存储内存较小，可以节省存储空间。
在一种可能的实施方式中，所述提取所述待存储图像的第一信息向量，包括：
将所述待存储图像输入预先训练的不确定性神经网络中的特征图提取网络，得到所述待存储图像对应的特征图；
将所述特征图输入所述不确定性神经网络中的特征值提取网络，得到所述待存储图像的特征点对应的特征值构成的所述第一期望特征向量；
将所述特征图输入所述不确定性神经网络中的方差提取网络，得到所述待存储图像对应的所述第一方差向量；
基于所述待存储图像对应的所述第一期望特征向量和所述第一方差向量，确定所述待存储图像的所述第一信息向量。
本公开实施例中，提出引入不确定性神经网络来提取待存储图像对应的第一信息向量，可以得到该待存储图像对应的一维度的第一方差向量，这样可以在进行图像比对识别时，降低对待比对图像的质量要求，从而提高识别效率。
在一种可能的实施方式中，所述基于所述待存储图像对应的所述第一期望特征向量和所述第一方差向量，确定所述待存储图像的所述第一信息向量，包括：
将所述第一方差向量与所述第一期望特征向量进行拼接后，得到所述第一信息向量；或者，
将所述第一方差向量替换所述第一期望特征向量中目标维度对应的特征值后，得到所述第一信息向量。
本公开实施例中，在存储待存储图像对应的第一信息向量时，将一维度的第一方差向量与第一期望特征向量进行拼接，或者替换第一期望特征向量中目标维度的特征值，这样在对第一信息向量进行存储时，可以节省存储空间。
在一种可能的实施方式中，所述图像处理方法还包括：
获取待比对图像；
提取所述待比对图像的第二信息向量；所述第二信息向量包含所述待比对图像在多维空间中对应的第二期望特征向量，以及所述待比对图像在所述多维空间中对应的第二方差向量，所述第二期望特征向量为多维向量，所述第二方差向量为一维向量；
基于所述待比对图像的所述第二信息向量，以及预先构建的图像库中多张图像各自的所述第一信息向量，确定与所述待比对图像匹配的目标图像。
本公开实施例中，针对获取到的待比对图像，可以基于该比对图像对应的第二期望特征向量和第二方差向量共同表示待比对图像在多维空间对应的分布区间，这样可以基于预先存储的各个人脸图像对应的分布区间，来识别待比对图像和已存储的图像之间的相似度，这样通过分布区间的相似度来表征图像的相似度的方式，可以降低图像的图像质量对相似度精度的影响，从而提高识别效率。
在一种可能的实施方式中，所述基于所述待比对图像的第二信息向量，以及所述图像库中多张图像各自的所述第一信息向量，确定与所述待比对图像匹配的目标图像之前，所述图像处理方法还包括：
基于所述待比对图像的第二期望特征向量，以及所述图像库中多张图像分别对应的第一期望特征向量，从所述图像库中筛选出与所述待比对图像的第一相似度位于从高至低排序序列中前设定个数的候选图像。
本公开实施例中，在通过期望特征向量搜索候选图像的过程中，可以使用现有的矩阵计算库提高搜索速度，从而快速筛选出候选图像。
在一种可能的实施方式中，所述基于所述待比对图像的所述第二信息向量，以及所述图像库中多张图像各自的所述第一信息向量，确定与所述待比对图像匹配的目标图像，包括：
基于所述待比对图像的所述第二信息向量和每张所述候选图像的所述第一信息向量，确定所述待比对图像与每张所述候选图像之间的第二相似度；
选择与所述待比对图像的第二相似度最高，且所述第二相似度大于预设阈值的所述候选图像，作为与所述待比对图像匹配的目标图像。
本公开实施例中，在得到设定个数的候选图像后，再按照待比对图像的第一信息向量和每张候选图像的第二信息向量，来确定与待比对图像最相似的目标图像，该过程不需要与图像库中的每张图像进行一一比对，从而可以提高确定目标图像的效率。
在一种可能的实施方式中，所述基于所述待比对图像的所述第二信息向量和每张所述候选图像的所述第一信息向量，确定所述待比对图像与每张所述候选图像之间的第二相似度，包括：
针对每张所述候选图像，基于所述待比对图像对应的第二期望特征向量和每张所述候选图像中一张所述候选图像对应的第一期望特征向量，确定所述待比对图像和一张所述候选图像之间的余弦相似度；
基于所述余弦相似度、所述待比对图像对应的第二方差向量和所述一张候选图像对应的第一方差向量，确定所述待比对图像与所述一张候选图像之间的第二相似度。
本公开实施例中，在通过标量一维度的第一方差向量代替多维度的方差向量表示图像在多维空间中对应的各个特征向量与期望特征向量的之间的偏离程度时，可以简化在基于不确定方式确定待比对图像和任一候选图像之间的相似度的过程，从而提高图像识别效率。
在一种可能的实施方式中，所述图像处理方法还包括：训练不确定性神经网络模型以得到所述训练后的不确定性神经网络；
所述训练不确定性神经网络模型以得到所述训练后的不确定性神经网络，包括：
获取样本图像集，所述样本图像集中包含多张样本图像，以及每张样本图像对应的样本类别信息；
基于所述样本图像集以及每张样本图像对应的样本类别信息，对待训练神经网络中的待训练特征图提取网络、以及所述待训练神经网络中的待训练特征值提取网络进行训练，得到训练完成的所述特征图提取网络和所述特征值提取网络；
基于所述样本图像集中包含的对应相同样本类别信息的正样本图像对，和对应不同样本类别信息的负样本图像对，对所述待训练神经网络中的待训练方差提取网络进行训练，得到训练完成的所述方差提取网络。
在一种可能的实施方式中，在得到训练完成的所述特征图提取网络和所述特征值提取网络后，所述图像处理方法还包括：
将所述样本图像集依次输入所述特征图提取网络和所述特征值提取网络，得到每张样本图像对应的样本期望特征向量；
所述基于所述样本图像集中包含的对应相同样本类别信息的正样本图像对，和对应不同样本类别信息的负样本图像对，对所述待训练神经网络中的待训练方差提取网络进行训练，得到训练完成的所述方差提取网络，包括：
将所述样本图像集以及所述样本图像集中包含的正样本图像对信息和负样本图像对信息输入所述待训练神经网络中的待训练方差提取网络，预测每张样本图像对应的预测方差向量；所述正样本图像对信息对应类别信息相同的一对正样本图像，所述负样本图像信息对应类别信息不同的一对负样本图像；
基于所述正样本图像对分别对应的预测方差向量、所述正样本图像对的样本期望特征向量之间的相似度，以及所述负样本图像对分别对应的预测方差向量、所述负样本图像对的样本期望特征向量之间的相似度，确定所述待训练方差提取网络对应的损失函数值；
基于所述损失函数值对所述待训练方差提取网络对应的网络参数值进行调整，得到所述方差提取网络。
本公开实施例中，一方面通过一维度的方差向量来表示图像在多维空间中对应的特征向量与期望特征向量的之间的偏离程度，可以简化损失函数值的确定流程，提高不确定性神经网络的训练速度，另一方面通过引入正样本图像对和负样本图像共同对一维度的方差向量进行训练，可以进一步提高方差提取网络的精度。
进一步地，在提高方差提取网络的精度的基础上，可以基于该方差提取网络提取到准确度较高的一维度的方差向量，这样，在用一维度的方差特征向量与多维度的期望特征向量表示待存储图像的信息向量用于后续处理(例如图像比对，图像检索等处理)时，不影响后续图像处理的准确率及精度。
第二方面，本公开实施例提供了一种图像处理装置，包括：
获取模块，用于获取待存储图像；
提取模块，用于提取所述待存储图像的第一信息向量；所述第一信息向量包含所述待存储图像在多维空间中对应的第一期望特征向量，以及所述待存储图像在所述多维空间中对应的第一方差向量，所述第一期望特征向量为多维向量，所述第一方差向量为一维向量；
存储模块，用于存储与所述待存储图像对应的所述第一信息向量。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的图像处理方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的图像处理方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像处理方法的流程图；
图2示出了本公开实施例所提供的一种确定待存储图像对应的第一信息向量的方法流程图；
图3示出了本公开实施例所提供的一种不确定性神经网络的结构示意图；
图4示出了本公开实施例所提供的图像库中存储图像对应的不同第一信息向量时对存储空间的占用情况示意图；
图5示出了本公开实施例所提供的一种不确定性神经网络的训练方法流程图；
图6示出了本公开实施例所提供的一种确定与待比对图像匹配的目标图像的方法流程图；
图7示出了本公开实施例提供的另一种确定待比对图像匹配的目标图像的方法流程图；
图8示出了本公开实施例所提供的一种图像处理装置的结构示意图；
图9示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
随着深度学习的发展，图像识别技术逐渐兴起，以人脸识别为例，应用于多种领域，比如安控领域、目标追踪领域等，在这些领域中可以通过预先存储大量人脸图像对应的类别信息，确定接收到的人脸图像对应的类别信息，以安控领域为例，在接收到待比对图像后，可以提取待比对图像包含的表征人脸特征的特征向量，基于该特征向量与预先保存的图像库中的每张人脸图像对应的特征向量进行比对，确定待比对图像和图像库中每张人脸图像的相似度，进而确定待比对图像对应的身份信息。
在基于特征向量确定图像的相似度时，若图像的图像质量较差，比如存在遮挡、模糊的问题时，提取到的特征向量的准确度较低，此时再基于该准确度较低的特征向量确定待比对图像与图像库中每张图像的相似度时，可能很难准确找到与待比对图像相似的人脸图像，此时需要提示重新上传清晰度较高的待比对图像，导致识别效率较低。
基于上述研究，本公开提供了一种图像处理方法，针对获取到的待存储图像，可以提取待存储图像在多维空间中对应的期望特征向量，以及该张图像在多维空间中对应的一维度的方差向量，示例性地，待存储图像对应的期望特征向量可以表示该待存储图像在多维空间中最大概率密度值对应的位置，然后结合该张图像在多维空间中对应的方差向量，可以得到表征待存储图像在多维空间中对应的分布区间，这样，在获取到待存储图像后，可以存储待存储图像的信息向量，即包括期望特征向量和方差向量，后期在接收到待比对图像后，同样可以按照待比对图像的信息向量和已存储的图像的信息向量，来确定待比对图像和已存储的图像的相似度，即可以通过分布区间的相似度来确定图像的相似度，该不确定方式可以降低图像质量对相似度精度的影响，从而提高识别效率，另外，这里预先存储的每张图像对应的信息向量中，包含的是多维度的期望特征向量和一维度的方差向量，一维度的方差向量相比多维度的方差向量，其占用的存储内存较小，可以节省存储空间。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像处理方法进行详细介绍，本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的图像处理方法的流程图，该图像处理方法包括以下S101～S103：
S101，获取待存储图像。
示例性地，本公开实施例提出的待存储图像为采集的人脸图像，在不同的应用领域，待存储图像的来源方式可以不同，比如在安全控制应用场景下，可以是通过预先安装在门禁处的图像采集部件拍摄获取的待存储图像。
S102，提取待存储图像包含的第一信息向量；第一信息向量包含待存储图像在多维空间中对应的期望特征向量，以及该待存储图像在多维空间中对应的第一方差向量，其中，第一期望特征向量为多维向量，第一方差向量为一维向量。
示例性地，可以基于预先训练的不确定性神经网络中的特征值提取网络，通过提取待存储图像中人脸的特征点对应的特征值，比如表征面部的特征点、表征五官的特征点等对应的特征值，得到由这些特征值构成的第一期望特征向量。
示例性地，第一期望特征向量中包含的多个特征值可以对应多个维度，可以按照该第一期望特征向量将待存储图像映射至多维空间中，得到该待存储图像在多维空间中概率密度值最高的位置。
示例性地，可以按照预先训练的不确定性神经网络中的方差提取网络，提取待存储图像对应的一维度的第一方差向量，该第一方差向量可以表示待存储图像在多维空间中对应的大部分第一特征向量与第一期望特征向量之间的偏离程度，即待存储图像在多维空间中对应的多种可能的第一特征向量符合以第一期望特征向量为均值，以第一方差向量为方差的正态分布，通过该正态分布，可以得到待存储图像在多维空间中的分布区间情况。
此外，结合方差值的含义，当第一方差向量越大，代表待存储图像对应的第一特征向量分布越分散，反之，当第一方差向量越小，代表待存储图像对应的大部分第一特征向量分布集中在第一期望特征向量附近，这样可以表示第一方差向量越大，待存储图像对应的第一特征向量越不稳定，对应的第一期望特征向量的准确度越低，反之，第一方差向量越小，待存储图像对应的第一特征向量越稳定，对应的第一期望特征向量的准确度越高，因此可以将第一方差向量作为衡量第一期望特征向量准确度的指标，这样可以将第一期望特征向量和第一方差向量作为该待存储图像的第一信息向量，便于后期可以基于第一信息向量确定图像之间的相似度。
与第一期望特征向量类似，一般性的，当待存储图像在多维空间进行特征提取时，所得到的第一期望特征向量为多维，对应的方差特征向量也为多维，例如当在256维空间提取图像特征时，相应的第一期望特征向量为256维，对应的方差特征向量也为256维。本发明将多维度的方差向量缩减为一维度的第一方差向量，并且经过验证，在用一维度的第一方差特征向量与多维度的第一期望特征向量表示待存储图像的第一信息向量用于后续处理(例如图像比对，图像检索等处理)时，不影响后续图像处理的准确率及精度等，此外，由于一维度的第一方差向量包含的方差值数量远远小于多维度的方差向量包含的方差值数量，因此，使用一维度的第一方差向量构成待存储图像的第一信息向量时，可以降低存储空间。
S103，存储与待存储图像对应的第一信息向量。
在得到待存储图像对应的第一信息向量后，可以按照不同应用场景的存储需求进行存储，以构建用于进行人脸身份识别的存储库为例，这里在构建存储库时，可以将待存储图像和对应的第一信息向量进行关联后存储至存储库中。
除此之外，在构建用于进行人脸识别的存储库时，除了待存储图像对应的第一信息向量还，还可以存储该待存储图像对应的类别信息，具体可以对每张图像对应的用户身份进行编码，比如针对企业的门禁系统，可以预先存储企业内每个员工对应的编码，将每个员工对应的编码作为该员工的类别信息进行存储。
本公开实施中，针对获取到的每张待存储图像，可以基于该待存储图像对应的第一期望特征向量和第一方差向量共同表示待存储图像在多维空间对应的分布区间，并按照待存储图像对应的分布区间来进行存储得到图像库，这样，后期接收到待比对图像时，比如针对人脸图像识别，可以基于预先存储的各个人脸图像对应的分布区间，来识别每张待比对图像和已存储的图像之间的相似度，这样通过分布区间的相似度来表征图像的相似度的方式，可以降低图像的图像质量对相似度精度的影响，从而提高识别效率。
进一步地，这里预先存储的每张图像对应的第一信息向量中，包含的是多维度的第一期望特征向量和一维度的第一方差向量，一维度的第一方差向量相比多维度的方差向量，其占用的存储内存较小，可以节省存储空间。
下面将结合具体实施例对上述S101～S103进行阐述。
针对上述S102，在提取待存储图像包含的第一信息向量时，如图2所示，可以包括以下S201～S204：
S201，将待存储图像输入预先训练的不确定性神经网络中的特征图提取网络，得到待存储图像对应的特征图；
S202，将特征图输入不确定性神经网络中的特征值提取网络，得到待存储图像的特征点对应的特征值构成的第一期望特征向量；
S203，将特征图输入不确定性神经网络中的方差提取网络，得到待存储图像对应的第一方差向量；
S204，基于待存储图像对应的第一期望特征向量和第一方差向量，确定待存储图像对应的第一信息向量。
具体地，这里引入不确定性神经网络，如图3所示，该不确定性神经网络可以包含特征图提取网络、特征值提取网络和方差提取网络，其中，特征图提取网络用于针对待存储图像进行特征图提取，得到待存储图像对应的特征图，然后将特征图分别输入特征值提取网络和方差提取网络，分别得到该待存储图像对应的多个特征点的特征值构成的第一期望特征向量，以及待存储图像对应的第一方差向量。
这里的第一方差向量为一维向量，可以看作是标量，在得到待存储图像对应的第一期望特征向量和第一方差向量后，可以按照预设的组合方式构成该待存储图像对应的第一信息向量。
本公开实施例中，提出引入不确定性神经网络来提取待存储图像对应的第一信息向量，可以得到该待存储图像对应的一维度的第一方差向量，这样可以在进行图像比对识别时，降低对待比对图像的质量要求，从而提高识别效率。
示例性地，在基于待存储图像对应的第一期望特征向量和第一方差向量，确定待存储图像的第一信息向量时，可以包括以下两种方式：
第一种方式：将第一方差向量与第一期望特征向量进行拼接后，得到第一信息向量；
第二种方式：将第一方差向量替换第一期望特征向量中目标维度对应的特征值后，得到第一信息向量。
针对第一种方式，在将第一方差向量与第一期望特征向量进行拼接时，可以将第一方差向量拼接在第一期望特征向量最后一个维度后的位置，比如第一期望特征向量为维度为256的特征向量，在拼接一维度的第一方差向量后，得到维度为257的第一信息向量。
针对第二种方式，可以直接通过一维度的第一方差向量替换掉第一期望特征向量中目标维度对应的特征值，比如第一期望特征向量为维度为256的特征向量，在通过该一维度的第一方差向量替换掉第一期望特征向量中的最后一个维度的特征值后，得到维度为256的第一信息向量。这样得到的第一信息向量与第一期望特征向量的维度相同，未增加对存储空间的额外占用。
以上述第二种情况为例，结合图4所示，其中(a)为图像库中存储每张图像对应的特征向量时对存储空间的占用情况，(b)为图像库中存储每张图像对应的第一期望特征向量以及与第一期望特征向量相同维度的方差向量时对存储空间的占用情况，(c)为图像库中存储每张图像对应的第一期望特征向量以及一维度的第一方差向量时对存储空间的占用情况，可见，(c)相比(a)，虽然增加了方差向量，但并未增加对存储空间的额外占用，(c)相比(b)占用的存储空间较小。
本公开实施例中，在存储待存储图像对应的第一信息向量时，将一维度的第一方差向量与第一期望特征向量进行拼接，或者替换第一期望特征向量中目标维度的特征值，这样在对第一信息向量进行存储时，可以节省存储空间。
具体地，针对上文提到的不确定性神经网络，本公开实施例提供的图像处理方法还包括：训练不确定性神经模型以得到训练后的不确定性神经网络；
其中，训练不确定性神经模型以得到训练后的不确定性神经网络，如图5所示，包括以下S301～S303：
S301，获取样本图像集，样本图像集中包含多张样本图像，以及每张样本图像对应的样本类别信息。
这里样本类别信息与上述提到的类别信息相似，在此不再赘述。
S302，基于样本图像集以及每张样本图像对应的样本类别信息，对待训练神经网络中的待训练特征图提取网络、以及待训练神经网络中的待训练特征值提取网络进行训练，得到训练完成的特征图提取网络和特征值提取网络。
具体地，可以对样本图像集进行分组，得到多组样本图像，每组样本图像可以包含多张样本图像，从第一组样本图像开始，可以将该组样本图像输入待训练特征图提取网络，得到每张样本图像对应的预测特征图，然后将该组样本图像对应的预测特征图输入待训练特征值提取网络，得到预测类别信息，然后基于该组样本图像对应的样本类别信息和预测类别信息，确定待训练特征图提取网络和待训练特征值提取网络对应的损失函数的函数损失值，然后基于该函数损失值调整待训练特征图提取网络和待训练特征值提取网络的网络参数值，然后进一步换下一组样本图像继续上述操作，直至达到设定训练次数，或者待训练特征图提取网络和待训练特征值提取网络对应的损失函数收敛后，得到训练完成的特征图提取网络和特征值提取网络。
S303，基于样本图像集中包含的对应相同样本类别信息的正样本图像对，和对应不同样本类别信息的负样本图像对，对待训练神经网络中的待训练方差提取网络进行训练，得到训练完成的方差提取网络。
示例性地，正样本图像对包含两张对应相同样本类别信息的样本图像，比如表示相同用户“张三”的两张样本图像可以作为一对正样本图像对；负样本图像对包含两张对应不同样本类别信息的样本图像，比如表示“张三”的一张样本图像和表示“李四”的一张样本图像可以作为一对负样本图像对。
具体地，上述提到的在得到训练完成的特征图提取网络和特征值提取网络后，图像处理方法还包括：
将样本图像集依次输入特征图提取网络和特征值提取网络，得到每张样本图像对应的样本期望特征向量。
上述在得到训练完成的特征图提取网络和特征值提取网络后，可以进一步基于该特征图提取网络的网络参数值和特征值提取网络的网络参数值得到每张样本图像对应的样本期望特征向量，这里样本期望特征向量的含义与上述提到的第一期望特征向量的含义相似，在此不再赘述。
在得到每张样本图像对应的样本期望特征向量后，在基于样本图像集中包含的对应相同样本类别信息的正样本图像对，和对应不同样本类别信息的负样本图像对，对待训练神经网络中的待训练方差提取网络进行训练，得到训练完成的方差提取网络时，可以包括：
S3031，将样本图像集以及样本图像集中包含的正样本图像对信息和负样本图像对信息输入待训练神经网络中的待训练方差提取网络，预测每张样本图像集对应的预测方差向量；正样本图像对信息对应类别信息相同的一对正样本图像，负样本图像信息对应类别信息不同的一对负样本图像。
同样，这里也是分组将每组样本图像输入待训练方差提取网络，在输入待训练方差提取网络之前，可以对该组样本图像中包含的正样本图像对进行标注，得到该组样本图像中包含的正样本图像对信息，以及对该组样本图像中包含的负样本图像对进行标注，得到该组样本图像中包含的负样本图像对信息。
S3032，基于正样本图像对分别对应的预测方差向量、正样本图像对的样本期望特征向量之间的相似度，以及负样本图像对分别对应的预测方差向量、负样本图像对的样本期望特征向量之间的相似度，确定待训练方差提取网络对应的损失函数值。
上述提到每张样本图像对应的样本特征向量(在多维空间中对应的位置)服从的正态分布，这里可以引入样本图像的样本特征向量服从的正态分布公式，以正样本图像对包含样本图像Xi和样本图像Xj为例，样本图像Xi的样本特征向量服从的正态分布可以通过以下公式(1)表示：
p(zi|Xi)＝N(μi,σi 2I) (1)；
其中，zi表示样本图像Xi的类别信息；μi表示样本图像Xi的样本特征向量对应的样本期望特征向量；σi 2表示样本图像Xi的样本特征向量对应的样本方差向量；I表示与样本期望特征向量相同维度的单位对角矩阵。
样本图像Xj的样本特征向量服从的正态分布可以通过以下公式(2)表示：
p(zj|Xj)＝N(μj,σj 2I) (2)；
其中，zj表示样本图像Xj的类别信息；μj表示样本图像Xj的样本特征向量对应的样本期望特征向量；σj 2表示样本图像Xj的样本特征向量对应的样本方差向量；I表示与样本期望特征向量相同维度的单位对角矩阵。
进一步地，样本图像Xi和样本图像Xj之间的样本特征向量之差服从的正态分布可以通过以下公式(3)表示：
p(Δzij|Xi,Xj)＝N(μi-μj,(σi 2+σj 2)I) (3)；
其中，Δzij表示样本图像Xi和样本图像Xj之间的样本特征向量之差。
待训练方差提取网络中的损失函数对应的损失函数值可以包含优化正样本图像对的样本特征向量之差Δzij＝0的概率密度值p(Δzij＝0)，以及最大化负样本图像对(样本图像Xm和样本图像Xn)的样本特征向量之差Δzmn＝2um(其中，μm表示样本图像Xm的样本期望特征向量)的概率密度值p(Δzmn＝2μm)，这样，待训练方差提取网络可以按照以下公式(4)来确定损失函数对应的损失函数值：
L＝-(log(p(Δzij＝0)+λlog(p(Δzmn＝2μm) (4)；
其中，λ表示负样本图像对的权重，可以为预设的参数值。
具体地，在通过多维度的方差向量(比如D维度)表示图像在多维空间中映射的各个位置与概率密度值最高的位置之间的偏离程度时，基于正样本图像对确定的损失函数值L1可以通过以下公式(5)确定：
Figure BDA0002697676960000141
其中，D表示样本图像Xi和样本图像Xj的样本期望特征向量的维度，l为变量，表示第l个维度，μi (l)表示样本图像Xi的样本期望特征向量中第l个维度的特征值；μj (l)表示样本图像Xj的样本期望特征向量中第l个维度的特征值；
Figure BDA0002697676960000142
表示样本图像Xi的样本方差向量中第l个维度的方差值；
Figure BDA0002697676960000143
表示样本图像Xj的样本方差向量中第l个维度的方差值。
具体地，在通过一维度的方差向量代替多维度的方差向量，即通过标量方差值表示图像在多维空间中映射的各个位置与概率密度值最高的位置之间的偏离程度时，上述公式(5)可以简化为以下公式(6)：
Figure BDA0002697676960000144
其中，cosθ表示正样本图像对(样本图像Xi和样本图像Xj)的样本期望特征向量之间的相似度。
同样地，在通过多维度方差向量(比如D维度)表示图像在多维空间中映射的各个位置与概率密度值最高的位置之间的偏离程度时，基于正样本图像对确定的损失函数值L2可以通过以下公式(7)确定：
Figure BDA0002697676960000151
其中，D表示样本图像Xm和样本图像Xn的样本期望特征向量的维度，l为变量，表示第l个维度，μm (l)表示样本图像Xm的样本期望特征向量中第l个维度的特征值；μn (l)表示样本图像Xn的样本期望特征向量中第l个维度的特征值；
Figure BDA0002697676960000152
表示样本图像Xm的样本方差向量中第l个维度的方差值；
Figure BDA0002697676960000153
表示样本图像Xn的样本方差向量中第l个维度的方差值。
具体地，在通过一维度的方差向量代替多维度的方差向量，即通过标量方差值表示图像在多维空间中映射的各个位置与概率密度值最高的位置之间的偏离程度时，上述公式(7)可以简化为以下公式(8)：
Figure BDA0002697676960000154
这样，可以根据上述公式(4)、公式(6)和公式(8)确定出待训练方差提取网络对应的损失函数值。
S3033，基于损失函数值对待训练方差提取网络对应的网络参数值进行调整，得到方差提取网络。
通过多组样本图像对待训练方差提取网络进行不断训练，直至上述待训练方差提取网络对应的损失函数值小于设定阈值，或者训练达到设定次数后，得到训练完成的方差提取网络。
本公开实施例中，一方面通过一维度的方差向量来表示图像在多维空间中对应的特征向量与期望特征向量的之间的偏离程度，可以简化损失函数值的确定流程，提高不确定性神经网络的训练速度，另一方面通过引入正样本图像对和负样本图像共同对一维度的方差向量进行训练，可以进一步提高方差提取网络的精度。
进一步地，在提高方差提取网络的精度的基础上，可以基于该方差提取网络提取到准确度较高的一维度的方差向量，这样，在用一维度的方差特征向量与多维度的期望特征向量表示待存储图像的信息向量用于后续处理(例如图像比对，图像检索等处理)时，不影响后续图像处理的准确率及精度。
在得到待存储图像的第一信息向量后，可以对该待存储图像对应的第一信息向量进行存储，便于后续基于存储的各个图像对应的第一信息向量，对接收到的待比对图像进行识别，如图6所示，本公开实施例提供的图像处理方法还包括以下S401～S403：
S401，获取待比对图像。
这里待比对图像可以为待进行身份识别的人脸图像。
S402，提取待比对图像的第二信息向量；第二信息向量包含待比对图像在多维空间中对应的第二期望特征向量，以及待比对图像在多维空间中对应的第二方差向量，第二期望特征向量为多维向量，第二方差向量为一维向量。
这里提取待比对图像的第二信息向量，与上文介绍的提取待存储图像的第一信息向量的过程相似，在此不再赘述。
S403，基于待比对图像的第二信息向量，以及预先构建的图像库中已存储的多张图像各自的第一信息向量，确定与待比对图像匹配的目标图像。
以待比对图像为图像Xi，以图像库中多张图像中的一张图像Xj为例，在结合多维度的方差向量确定图像Xi和图像Xj之间的相似度S(Xi,Xj)时，可以通过以下公式(9)来确定：
Figure BDA0002697676960000161
在通过一维度的方差向量代替多维度的方差向量，即通过标量方差值表示图像在多维空间中映射的各个位置与概率密度值最高的位置之间的偏离程度时，上述公式(9)可以简化为以下公式(10)：
Figure BDA0002697676960000162
通过公式(10)来确定与待比对图像与匹配的目标图像时，相比通过公式(9)的方式将大大降低运算量，提高运算速度，然而在确定目标图像过程中，若通过公式(10)在多张图像中找到与待比对图像匹配的目标图像，一般需要遍历完图像库中的所有图像，才能找到与待比对图像最相似的目标图像，这种方式过程繁琐，针对此，本公开实施例提出基于待比对图像的第二信息向量，以及图像库中多张图像各自的第一信息向量，确定与待比对图像匹配的目标图像之前，本公开实施例提供的图像处理方法还包括：
基于待比对图像的第二期望特征向量，以及图像库中多张图像分别对应的第一期望特征向量，从图像库中筛选出与待比对图像的第一相似度位于从高至低排序中前设定个数的候选图像。
这里提出先基于待比对图像的第一期望特征向量和图像库中多张图像分别对应的第一期望特征向量，来确定待比对图像与多张图像之间的第一相似度，在基于期望特征向量确定第一相似度时，可以根据利于计算的矩阵计算库来快速确定出与待比对图像的第一相似度位于从高至低排序中前设定个数的候选图像，比如考虑将图像库中每张图像对应的第一期望特征向量按照二叉树的方式建立搜索索引，具体可以建立k-d树索引，这样在计算待比对图像的第二期望特征向量与图像库中的图像的第一期望特征向量的相似度时，可以按照二叉树搜索算法，排除掉不需要和待比对图像比对的图像，从而提高确定出候选图像的效率。
本公开实施例中，基于期望特征向量搜索候选图像的过程，可以使用现有的矩阵计算库提高搜索速度，从而快速筛选出与待比对图像的第一相似度位于从高至低排序序列中前设定个数的候选图像，便于后续按照信息向量来确定候选图像与待比对图像之间的第二相似度，可以减少比对的图像数目，从而提高对待比对图像的识别效率。
具体地，在基于待比对图像的第二期望特征向量，以及图像库中多张图像分别对应的第一期望特征向量，从图像库中筛选出与待比对图像的第一相似度位于从高至低排序序列中前设定个数的候选图像时，可以包括以下S5011～S5012：
S5011，将图像库中的多种图像的第一期望特征向量作为二叉树的索引节点，按照二叉树搜索算法，搜索多张图像的第一期望特征向量，计算搜索到的多张图像的第一期望特征向量和待比对图像的第二期望特征向量之间的第一相似度；
S5012，将得到的多个第一相似度按照从高至低的顺序排序后，选择与待比对图像的第一相似度位于从高至低排序序列中前设定个数的候选图像。
具体地，可以按照图像库中每张图像对应的第一期望特征向量，将图像库中的每个图像映射至多维空间中，然后按照图像库中的每张图像在多维空间对应的位置对空间进行分割，按照分割后每张图像在多维空间对应的位置，生成图像库中包含的图像对应的二叉树索引后，然后可以基于待比对图像对应的第二期望特征向量，计算和任一节点之间的初始距离，该任一节点的其中一个子节点的第一期望特征向量和该待比对图像的第二期望特征向量之间的距离小于该初始距离，另一个子节点的第一期望特征向量和该待比对图像的第二期望特征向量之间的距离大于该初始距离，因此，当初始距离大于设定距离阈值时，即不满足作为筛选图像的条件时，可以向小于初始距离的子节点方向进行继续搜索，大于初始距离的子节点方向的图像可以被排除，这样无需计算图像库中的所有图像与待比对图像之间的第一相似度，进而可以提高得到候选图像的速度。
这里候选图像可以为多张也可以为一张，在一张的情况下，即选择与待比对图像的第一相似度最高的图像作为候选图像。
本公开实施例中，可以按照图像库中预先构建的二叉树搜索索引，减少比对的图像数目，从而可以快速找到符合要求的候选图像。
进一步地，在基于待比对图像的第二信息向量，以及图像库中多张图像各自的第一信息向量，确定与待比对图像匹配的目标图像时，如图7所示，可以包括以下S501～S502：
S501，基于待比对图像的第二信息向量和每张候选图像的第一信息向量，确定待比对图像与每张候选图像之间的第二相似度；
S502，选择与待比对图像的第二相似度最高，且第二相似度大于预设阈值的候选图像，作为与待比对图像匹配的目标图像。
针对上述S501，在基于待比对图像的第二信息向量和每张候选图像的第一信息向量，确定待比对图像与每张候选图像之间的第二相似度时，可以包括以下S5011～S5012：
S5011，针对每张候选图像，基于待比对图像对应的第二期望特征向量和每张候选图像中一张候选图像对应的第一期望特征向量，确定待比对图像和一张候选图像之间的余弦相似度；
S5012，基于余弦相似度、待比对图像对应的第二方差向量和一张候选图像对应的第一方差向量，确定待比对图像与一张候选图像之间的第二相似度。
其中，一张候选图像可以为多种候选图像中的任一候选图像。
首先可以先基于待比对图像对应的第二期望特征向量和每张候选图像对应的第一期望特征向量，计算待比对图像和每张候选图像之间的余弦相似度，然后可以通过上述公式(10)来确定待比对图像与候选图像之间的第二相似度。
本公开实施例中，在通过标量一维度的方差向量代替多维度的方差向量表示图像在多维空间中对应的各个特征向量与期望特征向量的之间的偏离程度时，可以简化在基于不确定方式确定待比对图像和任一候选图像之间的相似度的过程，从而提高图像识别效率。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与图像处理方法对应的图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图8所示，为本公开实施例提供的一种图像处理装置600的示意图，该图像处理装置600包括：
获取模块601，用于获取待存储图像；
提取模块602，用于提取待存储图像的第一信息向量；第一信息向量包含待存储图像在多维空间中对应的第一期望特征向量，以及待存储图像在多维空间中对应的第一方差向量，第一期望特征向量为多维向量，第一方差向量为一维向量；
存储模块603，用于存储与待存储图像对应的第一信息向量。
在一种可能的实施方式中，提取模块602在用于提取待存储图像的第一信息向量时，包括：
将待存储图像输入预先训练的不确定性神经网络中的特征图提取网络，得到待存储图像对应的特征图；
将特征图输入不确定性神经网络中的特征值提取网络，得到待存储图像的特征点对应的特征值构成的第一期望特征向量；
将特征图输入不确定性神经网络中的方差提取网络，得到待存储图像对应的第一方差向量；
基于待存储图像对应的第一期望特征向量和第一方差向量，确定待存储图像的第一信息向量。
在一种可能的实施方式中，提取模块602在用于基于待存储图像对应的第一期望特征向量和第一方差向量，确定待存储图像的第一信息向量时，包括：
将第一方差向量与第一期望特征向量进行拼接后，得到第一信息向量；或者，
将第一方差向量替换第一期望特征向量中目标维度对应的特征值后，得到第一信息向量。
在一种可能的实施方式中，图像处理装置600还包括比对模块604，比对模块604用于：
获取待比对图像；
提取待比对图像的第二信息向量；第二信息向量包含待比对图像在多维空间中对应的第二期望特征向量，以及待比对图像在多维空间中对应的第二方差向量，第二期望特征向量为多维向量，第二方差向量为一维向量；
基于待比对图像的第二信息向量，以及预先构建的图像库中多张图像各自的第一信息向量，确定与待比对图像匹配的目标图像。
在一种可能的实施方式中，比对模块604在用于基于待比对图像的第二信息向量，以及图像库中多张图像各自的第一信息向量，确定与待比对图像匹配的目标图像之前，还用于：
基于待比对图像的第二期望特征向量，以及图像库中多张图像分别对应的第一期望特征向量，从图像库中筛选出与待比对图像的第一相似度位于从大至少排序序列中前设定个数的候选图像。
在一种可能的实施方式中，比对模块604在用于基于待比对图像的第二信息向量，以及图像库中多张图像各自的第一信息向量，确定与待比对图像匹配的目标图像时，包括：
基于待比对图像的第二信息向量和每张候选图像的第一信息向量，确定待比对图像与每张候选图像之间的第二相似度；
选择与待比对图像的第二相似度最高，且第二相似度大于预设阈值的候选图像，作为与待比对图像匹配的目标图像。
在一种可能的实施方式中，比对模块604在用于基于待比对图像的第二信息向量和每张候选图像的第一信息向量，确定待比对图像与每张候选图像之间的第二相似度时，包括：
针对每张候选图像，基于待比对图像对应的第二期望特征向量和每张候选图像中一张候选图像对应的第一期望特征向量，确定待比对图像和一张候选图像之间的余弦相似度；
基于余弦相似度、待比对图像对应的第二方差向量和一张候选图像对应的第一方差向量，确定待比对图像与一张候选图像之间的第二相似度。
在一种可能的实施方式中，图像处理装置600还包括训练模块605：训练模块605用于训练不确定性神经网络模型以得到训练后的不确定性神经网络；
训练模块605在用于训练不确定性神经网络模型以得到训练后的不确定性神经网络时，包括：
获取样本图像集，样本图像集中包含多张样本图像，以及每张样本图像对应的样本类别信息；
基于样本图像集以及每张样本图像对应的样本类别信息，对待训练神经网络中的待训练特征图提取网络、以及待训练神经网络中的待训练特征值提取网络进行训练，得到训练完成的特征图提取网络和特征值提取网络；
基于样本图像集中包含的对应相同样本类别信息的正样本图像对，和对应不同样本类别信息的负样本图像对，对待训练神经网络中的待训练方差提取网络进行训练，得到训练完成的方差提取网络。
在一种可能的实施方式中，在得到训练完成的特征图提取网络和特征值提取网络后，训练模块605还用于：
将样本图像集依次输入特征图提取网络和特征值提取网络，得到每张样本图像对应的样本期望特征向量；
基于样本图像集中包含的对应相同样本类别信息的正样本图像对，和对应不同样本类别信息的负样本图像对，对待训练神经网络中的待训练方差提取网络进行训练，得到训练完成的方差提取网络，包括：
将样本图像集以及样本图像集中包含的正样本图像对信息和负样本图像对信息输入待训练神经网络中的待训练方差提取网络，预测每张样本图像对应的预测方差向量；正样本图像对信息对应类别信息相同的一对正样本图像，负样本图像信息对应类别信息不同的一对负样本图像；
基于正样本图像对分别对应的预测方差向量、正样本图像对的样本期望特征向量之间的相似度，以及负样本图像对分别对应的预测方差向量、负样本图像对的样本期望特征向量之间的相似度，确定待训练方差提取网络对应的损失函数值；
基于损失函数值对待训练方差提取网络对应的网络参数值进行调整，得到方差提取网络。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
对应于图1中的图像处理方法，本公开实施例还提供了一种电子设备700，如图8所示，为本公开实施例提供的电子设备700结构示意图，包括：
处理器71、存储器72、和总线73；存储器72用于存储执行指令，包括内存721和外部存储器722；这里的内存721也称内存储器，用于暂时存放处理器71中的运算数据，以及与硬盘等外部存储器722交换的数据，处理器71通过内存721与外部存储器722进行数据交换，当电子设备700运行时，处理器71与存储器72之间通过总线73通信，使得处理器71执行以下指令：获取待存储图像；提取待存储图像的第一信息向量；第一信息向量包含待存储图像在多维空间中对应的第一期望特征向量，以及待存储图像在多维空间中对应的第一方差向量，第一期望特征向量为多维向量，第一方差向量为一维向量；存储与待存储图像对应的第一信息向量。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的图像处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
获取待存储图像；
提取所述待存储图像的第一信息向量；所述第一信息向量包含所述待存储图像在多维空间中对应的第一期望特征向量，以及所述待存储图像在所述多维空间中对应的第一方差向量，所述第一期望特征向量为多维向量，所述第一方差向量为一维向量；
存储与所述待存储图像对应的所述第一信息向量。
2.根据权利要求1所述的图像处理方法，其特征在于，所述提取所述待存储图像的第一信息向量，包括：
将所述待存储图像输入预先训练的不确定性神经网络中的特征图提取网络，得到所述待存储图像对应的特征图；
将所述特征图输入所述不确定性神经网络中的特征值提取网络，得到所述待存储图像的特征点对应的特征值构成的所述第一期望特征向量；
将所述特征图输入所述不确定性神经网络中的方差提取网络，得到所述待存储图像对应的所述第一方差向量；
基于所述待存储图像对应的所述第一期望特征向量和所述第一方差向量，确定所述待存储图像的所述第一信息向量。
3.根据权利要求2所述的图像处理方法，其特征在于，所述基于所述待存储图像对应的所述第一期望特征向量和所述第一方差向量，确定所述待存储图像的所述第一信息向量，包括：
将所述第一方差向量与所述第一期望特征向量进行拼接后，得到所述第一信息向量；或者，
将所述第一方差向量替换所述第一期望特征向量中目标维度对应的特征值后，得到所述第一信息向量。
4.根据权利要求1至3任一所述的图像处理方法，其特征在于，所述图像处理方法还包括：
获取待比对图像；
提取所述待比对图像的第二信息向量；所述第二信息向量包含所述待比对图像在多维空间中对应的第二期望特征向量，以及所述待比对图像在所述多维空间中对应的第二方差向量，所述第二期望特征向量为多维向量，所述第二方差向量为一维向量；
基于所述待比对图像的所述第二信息向量，以及预先构建的图像库中已存储的多张图像各自的所述第一信息向量，确定与所述待比对图像匹配的目标图像。
5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述待比对图像的第二信息向量，以及所述图像库中多张图像各自的所述第一信息向量，确定与所述待比对图像匹配的目标图像之前，所述图像处理方法还包括：
基于所述待比对图像的第二期望特征向量，以及所述图像库中多张图像分别对应的第一期望特征向量，从所述图像库中筛选出与所述待比对图像的第一相似度位于从高至低排序序列中前设定个数的候选图像。
6.根据权利要求5所述的图像处理方法，其特征在于，所述基于所述待比对图像的所述第二信息向量，以及所述图像库中多张图像各自的所述第一信息向量，确定与所述待比对图像匹配的目标图像，包括：
基于所述待比对图像的所述第二信息向量和每张所述候选图像的所述第一信息向量，确定所述待比对图像与每张所述候选图像之间的第二相似度；
选择与所述待比对图像的第二相似度最高，且所述第二相似度大于预设阈值的所述候选图像，作为与所述待比对图像匹配的目标图像。
7.根据权利要求6所述的图像处理方法，其特征在于，所述基于所述待比对图像的所述第二信息向量和每张所述候选图像的所述第一信息向量，确定所述待比对图像与每张所述候选图像之间的第二相似度，包括：
针对每张所述候选图像，基于所述待比对图像对应的第二期望特征向量和每张所述候选图像中一张所述候选图像对应的第一期望特征向量，确定所述待比对图像和一张所述候选图像之间的余弦相似度；
基于所述余弦相似度、所述待比对图像对应的第二方差向量和一张所述候选图像对应的第一方差向量，确定所述待比对图像与一张所述候选图像之间的第二相似度。
8.根据权利要求2所述的图像处理方法，其特征在于，所述图像处理方法还包括：训练不确定性神经网络模型以得到所述训练后的不确定性神经网络；
所述训练不确定性神经网络模型以得到所述训练后的不确定性神经网络，包括：
获取样本图像集，所述样本图像集中包含多张样本图像，以及每张样本图像对应的样本类别信息；
基于所述样本图像集以及每张样本图像对应的样本类别信息，对待训练神经网络中的待训练特征图提取网络、以及所述待训练神经网络中的待训练特征值提取网络进行训练，得到训练完成的所述特征图提取网络和所述特征值提取网络；
基于所述样本图像集中包含的对应相同样本类别信息的正样本图像对，和对应不同样本类别信息的负样本图像对，对所述待训练神经网络中的待训练方差提取网络进行训练，得到训练完成的所述方差提取网络。
9.根据权利要求8所述的图像处理方法，其特征在于，在得到训练完成的所述特征图提取网络和所述特征值提取网络后，所述图像处理方法还包括：
将所述样本图像集依次输入所述特征图提取网络和所述特征值提取网络，得到每张样本图像对应的样本期望特征向量；
所述基于所述样本图像集中包含的对应相同样本类别信息的正样本图像对，和对应不同样本类别信息的负样本图像对，对所述待训练神经网络中的待训练方差提取网络进行训练，得到训练完成的所述方差提取网络，包括：
将所述样本图像集以及所述样本图像集中包含的正样本图像对信息和负样本图像对信息输入所述待训练神经网络中的待训练方差提取网络，预测每张样本图像对应的预测方差向量；所述正样本图像对信息对应类别信息相同的一对正样本图像，所述负样本图像信息对应类别信息不同的一对负样本图像；
基于所述正样本图像对分别对应的预测方差向量、所述正样本图像对的样本期望特征向量之间的相似度，以及所述负样本图像对分别对应的预测方差向量、所述负样本图像对的样本期望特征向量之间的相似度，确定所述待训练方差提取网络对应的损失函数值；
基于所述损失函数值对所述待训练方差提取网络对应的网络参数值进行调整，得到所述方差提取网络。
10.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待存储图像；
提取模块，用于提取所述待存储图像的第一信息向量；所述第一信息向量包含所述待存储图像在多维空间中对应的第一期望特征向量，以及所述待存储图像在所述多维空间中对应的第一方差向量，所述第一期望特征向量为多维向量，所述第一方差向量为一维向量；
存储模块，用于存储与所述待存储图像对应的所述第一信息向量。
11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的图像处理方法的步骤。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任一所述的图像处理方法的步骤。
CN202011011422.0A 2020-09-23 2020-09-23 一种图像处理方法、装置、电子设备及存储介质 Pending CN112149566A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011011422.0A CN112149566A (zh) 2020-09-23 2020-09-23 一种图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011011422.0A CN112149566A (zh) 2020-09-23 2020-09-23 一种图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112149566A true CN112149566A (zh) 2020-12-29

Family

ID=73897824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011011422.0A Pending CN112149566A (zh) 2020-09-23 2020-09-23 一种图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112149566A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668718A (zh) * 2021-01-19 2021-04-16 北京市商汤科技开发有限公司 神经网络训练方法、装置、电子设备以及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010087487A (ko) * 2000-03-07 2001-09-21 윤종용 가버 필터링 반응값의 차원 공간 변환을 이용한 얼굴 인식방법 및 그 장치
US20140348420A1 (en) * 2013-05-24 2014-11-27 Tata Consultancy Services Limited Method and system for automatic selection of one or more image processing algorithm
KR20170053069A (ko) * 2015-11-05 2017-05-15 수원대학교산학협력단 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법
CN107145855A (zh) * 2017-04-28 2017-09-08 努比亚技术有限公司 一种无参考质量模糊图像预测方法、终端及存储介质
CN107578028A (zh) * 2017-09-20 2018-01-12 广东工业大学 一种人脸识别方法、装置、设备及计算机可读存储介质
US20180357258A1 (en) * 2015-06-05 2018-12-13 Beijing Jingdong Shangke Information Technology Co., Ltd. Personalized search device and method based on product image features
CN109117726A (zh) * 2018-07-10 2019-01-01 深圳超多维科技有限公司 一种识别认证方法、装置、系统及存储介质
CN109189961A (zh) * 2018-07-23 2019-01-11 上海斐讯数据通信技术有限公司 一种人脸识别可信度的计算方法及系统
CN109740686A (zh) * 2019-01-09 2019-05-10 中南大学 一种基于区域池化和特征融合的深度学习图像多标记分类方法
CN110825904A (zh) * 2019-10-24 2020-02-21 腾讯科技（深圳）有限公司 一种图像匹配方法、装置、电子设备和存储介质
CN110838119A (zh) * 2019-11-15 2020-02-25 珠海全志科技股份有限公司 人脸图像质量评估方法、计算机装置及计算机可读存储介质
CN111523605A (zh) * 2020-04-28 2020-08-11 新疆维吾尔自治区烟草公司 一种图像识别方法、装置、电子设备及介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010087487A (ko) * 2000-03-07 2001-09-21 윤종용 가버 필터링 반응값의 차원 공간 변환을 이용한 얼굴 인식방법 및 그 장치
US20140348420A1 (en) * 2013-05-24 2014-11-27 Tata Consultancy Services Limited Method and system for automatic selection of one or more image processing algorithm
US20180357258A1 (en) * 2015-06-05 2018-12-13 Beijing Jingdong Shangke Information Technology Co., Ltd. Personalized search device and method based on product image features
KR20170053069A (ko) * 2015-11-05 2017-05-15 수원대학교산학협력단 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법
CN107145855A (zh) * 2017-04-28 2017-09-08 努比亚技术有限公司 一种无参考质量模糊图像预测方法、终端及存储介质
CN107578028A (zh) * 2017-09-20 2018-01-12 广东工业大学 一种人脸识别方法、装置、设备及计算机可读存储介质
CN109117726A (zh) * 2018-07-10 2019-01-01 深圳超多维科技有限公司 一种识别认证方法、装置、系统及存储介质
CN109189961A (zh) * 2018-07-23 2019-01-11 上海斐讯数据通信技术有限公司 一种人脸识别可信度的计算方法及系统
CN109740686A (zh) * 2019-01-09 2019-05-10 中南大学 一种基于区域池化和特征融合的深度学习图像多标记分类方法
CN110825904A (zh) * 2019-10-24 2020-02-21 腾讯科技（深圳）有限公司 一种图像匹配方法、装置、电子设备和存储介质
CN110838119A (zh) * 2019-11-15 2020-02-25 珠海全志科技股份有限公司 人脸图像质量评估方法、计算机装置及计算机可读存储介质
CN111523605A (zh) * 2020-04-28 2020-08-11 新疆维吾尔自治区烟草公司 一种图像识别方法、装置、电子设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张惠凡;罗泽;: "基于卷积神经网络的鸟类视频图像检索研究", 科研信息化技术与应用, no. 05, 20 September 2017 (2017-09-20) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668718A (zh) * 2021-01-19 2021-04-16 北京市商汤科技开发有限公司 神经网络训练方法、装置、电子设备以及存储介质
CN112668718B (zh) * 2021-01-19 2023-07-18 北京市商汤科技开发有限公司 神经网络训练方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
Van Der Maaten Barnes-hut-sne
JP7360497B2 (ja) クロスモーダルな特徴の抽出方法、抽出装置、ならびに、プログラム
CN110188223B (zh) 图像处理方法、装置及计算机设备
Van Der Maaten Accelerating t-SNE using tree-based algorithms
US11294624B2 (en) System and method for clustering data
Leibe et al. Efficient clustering and matching for object class recognition.
JP6566397B2 (ja) 認識装置、実数行列分解方法、認識方法
CN105069457B (zh) 图像识别方法和装置
CN111611395B (zh) 一种实体关系的识别方法及装置
CN109271486A (zh) 一种相似性保留跨模态哈希检索方法
CN108229358B (zh) 索引建立方法和装置、电子设备、计算机存储介质
CN113254687B (zh) 图像检索、图像量化模型训练方法、装置和存储介质
CN113536020B (zh) 数据查询的方法、存储介质和计算机程序产品
CN112395487A (zh) 信息推荐方法、装置、计算机可读存储介质及电子设备
CN114238329A (zh) 向量相似度计算方法、装置、设备及存储介质
CN113343920A (zh) 人脸识别照片的分类方法、装置、电子设备和存储介质
JP6259671B2 (ja) 関連性判定装置、関連性判定プログラム、及び関連性判定方法
CN110083731B (zh) 图像检索方法、装置、计算机设备及存储介质
CN114255381A (zh) 图像识别模型的训练方法、图像识别方法、装置及介质
CN112149566A (zh) 一种图像处理方法、装置、电子设备及存储介质
Johns et al. Pairwise probabilistic voting: Fast place recognition without RANSAC
Huang et al. RWBD: learning robust weighted binary descriptor for image matching
CN115408379A (zh) 终端重复数据的确定方法、装置、设备和计算机存储介质
CN112651590B (zh) 一种指令处理流程推荐的方法
Yang et al. Learning online structural appearance model for robust object tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination