CN112529018A - 图像局部特征的训练方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种图像局部特征的训练方法、装置及存储介质，涉及计算机视觉和深度学习技术等人工智能领域。具体实现方案为：获取训练样本，所述训练样本中包括样本图像，和所述样本图像标注的局部哈希特征；根据图像特征提取模型对所述训练样本中的样本图像处理，得到样本局部哈希特征；根据所述样本局部哈希特征和所述标注的局部哈希特征，对所述图像特征提取模型的参数进行调整，直至所述样本局部哈希特征和所述标注的局部哈希特征之间的误差小于或等于预设误差时，得到训练完成的图像特征提取模型。以端到端的方式进行图像特征提取模型的训练，更加直接和简便，不会引入中间误差。

Description

图像局部特征的训练方法、装置及存储介质

技术领域

本申请涉及计算机视觉和深度学习技术等人工智能领域，尤其涉及一种图像局部特征的训练方法、装置及存储介质。

背景技术

图像的局部特征由于数量丰富、特征间相关度小，且不容易受到遮挡、光照等噪声的影响，因此在很多场景下具有不可替代的作用，尤其在图像的相似性搜索等领域具有广泛的应用。

目前的图像的局部特征的获取方法，首先需要通过第一个模型进行局部特征的初步提取，例如卷积神经网络(Convolutional Neural Networks，简称CNN)，然后通过第二个模型进行哈希处理得到最终的局部特征。其中，第一个模型和第二个模型为两个独立的模型，需要分别进行训练。在第一个模型训练完成之后，根据第一个模型的输出结果，进行第二个模型的训练。

这种训练方式，由于涉及两个独立的模型，且第二个模型的训练结果依赖于第一个模型的训练结果的好坏，容易产生较大的中间环节误差。

发明内容

本申请提供了一种图像局部特征的训练方法、装置及存储介质。

根据本申请的第一方面，提供了一种图像局部特征的训练方法。

获取训练样本，所述训练样本中包括样本图像，和所述样本图像标注的局部哈希特征；

根据图像特征提取模型对所述训练样本中的样本图像处理，得到样本局部哈希特征；

根据所述样本局部哈希特征和所述标注的局部哈希特征，对所述图像特征提取模型的参数进行调整，直至所述样本局部哈希特征和所述标注的局部哈希特征之间的误差小于或等于预设误差时，得到训练完成的图像特征提取模型。

根据本申请的第二方面，提供了一种图像局部特征的训练装置。

获取模块，用于获取训练样本，所述训练样本中包括样本图像，和所述样本图像标注的局部哈希特征；

处理模块，用于根据图像特征提取模型对所述训练样本中的样本图像处理，得到样本局部哈希特征；

训练模块，用于根据所述样本局部哈希特征和所述标注的局部哈希特征，对所述图像特征提取模型的参数进行调整，直至所述样本局部哈希特征和所述标注的局部哈希特征之间的误差小于或等于预设误差时，得到训练完成的图像特征提取模型。

根据本申请的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。

根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法。

根据本申请的第五方面，提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

本申请实施例提供的图像局部特征的训练方法、装置、设备及存储介质，首先获取训练样本，训练样本中包括样本图像，和样本图像标注的局部哈希特征；然后根据图像特征提取模型对训练样本中的样本图像处理，得到样本局部哈希特征；最后根据样本局部哈希特征和标注的局部哈希特征，对图像特征提取模型的参数进行调整，直至样本局部哈希特征和标注的局部哈希特征之间的误差小于或等于预设误差时，得到训练完成的图像特征提取模型。训练完成的图像特征提取模型可以用户图像的局部哈希特征的提取。本申请实施例的方案，以端到端的方式进行图像特征提取模型的训练，即进行图像特征提取模型训练时，图像特征提取模型是一个完整的独立模块。与非端到端的方式相比，图像局部特征的获取和哈希处理均由这一个模型完成，获取方式更加直接和简便，不会引入中间误差。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例提供的一种应用场景示意图；

图2为通过CNN进行哈希特征获取的示意图；

图3为本申请实施例提供的图像局部特征的训练方法的流程示意图；

图4为本申请实施例提供的获取样本局部哈希特征的流程示意图；

图5为本申请实施例提供的图像特征提取模型的示意图；

图6为本申请实施例提供的样本子图像获取示意图；

图7为本申请实施例提供的参数调整的流程示意图；

图8为本申请实施例提供的获取误差示意图；

图9为本申请实施例提供的图像局部特征的训练装置的结构示意图；

图10为本申请实施例提供的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图像局部特征在很多场景下具有不可替代的作用，能够反映图像局部的特殊性，且图像局部特征数量丰富，特征间的相关度小，不容易受到部分遮挡、光照等噪声的影响，也不会因为部分特征的消失而影响其他特征的检测和匹配。因此，图像的局部特征在图像的相似性搜索及检索等领域具有非常广泛的应用。

图像的局部特征的匹配搜索过程往往是比较耗时的，为了能在实际场景中进行大规模的应用，通常在获取了图像的局部特征后，还会对图像的局部特征进行哈希处理，得到图像的局部哈希特征。例如，可以将“float”(浮点型)的局部特征哈希为“bit”型的局部哈希特征，以加速距离计算过程。因此，在实际应用中，图像局部特征的获取通常包括两个部分，第一部分是初步的局部特征的获取，第二部分是对获取的局部特征进行哈希处理，得到对应的局部哈希特征。

图1为本申请实施例提供的一种应用场景示意图，如图1所示，包括客户端11和服务器12，客户端11和服务器12之间可以进行有线或无线连接。

客户端11用于向服务器12发送图像13，服务器12接收到图像13后，可以对图像13进行处理，得到图像13的局部哈希特征。

目前针对图像的局部哈希特征的获取主要有两种方式，下面分别进行简要介绍。

第一种方式是，通过图像变换来获取图像的局部特征，然后对获取的局部特征进行哈希处理。图像变换例如可以为尺度不变特征变换(Scale-invariant featuretransform，简称SIFT)变换。在获取图像后，对图像进行SIFT变换，可以确定图像上的特征点，然后针对每个特征点，根据该特征点附近的像素点的亮度、像素值等信息来得到特征点的局部特征。

在获取了图像的局部特征之后，对局部特征进行哈希处理，哈希处理的方法例如可以为PQ乘积量化等方法。哈希处理后，就得到图像的局部哈希特征。

该方式的缺点是，在通过SIFT变化确定了图像上的特征点后，只能根据特征点附近的像素点的亮度、像素值等信息来得到对应的局部特征，而忽视了特征点更高层更丰富的语义信息，因此得到的局部特征的质量较低。

第二种方式是，通过CNN来进行局部哈希特征的获取。具体的，可以通过一个卷积神经网络模型来提取图像的特征，然后对提取的特征进行哈希处理，得到哈希特征。其中，哈希处理也是通过卷积神经网络模型完成的，但是哈希处理所用的卷积神经网络模型与提取特征所用的卷积神经网络模型不同。

图2为通过CNN进行哈希特征获取的示意图，如图2所示，第二种方式中，涉及到两个模型，分别是第一卷积神经网络模型和第二卷积神经网络模型。

第一卷积神经网络模型用于获取图像的特征。在应用第一卷积神经网络模型之前，需要对第一卷积神经网络模型进行训练。具体的，将样本图像输入至第一卷积神经网络模型，通过第一卷积神经网络模型对样本图像进行处理，输出样本图像特征。然后，根据样本图像特征和样本图像上标注的图像特征之间的误差，对第一卷积神经网络模型的参数进行调整。重复上述操作，直至第一卷积神经网络模型收敛后，模型训练完成。此时，向训练完成后的第一卷积神经网络模型中输入图像后，第一卷积神经网络模型对该图像处理，就可以得到该图像的特征。

第二卷积神经网络模型用于获取图像的哈希特征。在应用第二卷积神经网络模型之前，需要对第二卷积神经网络模型进行训练。而第二卷积神经网络模型在进行训练之前，需要先训练好第一卷积神经网络模型，因为第二卷积神经网络模型的输入为图像特征，图像特征需要通过第一卷积神经网络模型来获取。

第二卷积神经网络模型的训练，通常是将特征组成二元组或者三元组，结合激活函数，用二元组或者三元组来指导第二卷积神经网络模型的训练。

具体的，二元组是指将同一个图像输入至第一卷积神经网络模型中，得到两个输出，分别是第一图像特征和第二图像特征。第一图像特征和第二图像特征都是将该图像输入至第一卷积神经网络模型中后得到的图像特征，由于是同一个图像对应的图像特征，因此第一图像特征和第二图像特征是非常相近的。然后，将第一图像特征输入第二卷积神经网络模型得到第一样本哈希特征，将第二图像特征输入第二卷积神经网络得到第二样本哈希特征。根据第一样本哈希特征和第二样本哈希特征调整第二卷积神经网络模型的参数。重复上述处理后，使得第一样本哈希特征和第二样本哈希特征之间越来越相近。

三元组这是在二元组的基础上加上了另一个图像对应的图像特征进行训练，由于另一个图像对应的图像特征与二元组中的图像对应的图像特征不同，因此结合另一个图像对应的图像特征训练后，另一个图像对应的第三样本哈希特征与第一样本哈希特征的差异较大，与第二样本哈希特征的差异也较大。

该方式的缺点是，首先，需要分别对第一卷积神经网络模型和第二卷积神经网络模型进行训练，其中第二卷积神经网络模型的训练基于第一卷积神经网络模型的训练结果，第一卷积神经网络模型的好坏会对第二卷积神经网络模型的训练产生较大的影响，这种非端到端的训练方式，容易引入较多的中间误差，且获取特征的方式较为复杂。同时，卷积神经网络模型通常是进行图像的全局特征的获取，并不是直接进行局部特征的获取的。

基于此，本申请实施例提供一种图像局部特征的训练方案，实现端到端的模型训练，能够得到图像的质量更佳的局部哈希特征。下面将结合附图进行介绍。

图3为本申请实施例提供的图像局部特征的训练方法的流程示意图，如图3所示，该方法可以包括：

S31，获取训练样本，训练样本中包括样本图像，和样本图像标注的局部哈希特征。

本申请实施例的执行主体可以为服务器，服务器可以单独设置，也可以设置在其他设备中。

本申请实施例的方案，通过图像特征提取模型来获取图像的局部哈希特征，在得到图像特征提取模型之前，首先要对图像特征提取模型进行训练。在训练之前，需要获取训练样本，该训练样本中包括样本图像和对该样本图像进行标注的局部哈希特征。

S32，根据图像特征提取模型对训练样本中的样本图像处理，得到样本局部哈希特征。

在获取训练样本后，可以将训练样本中的样本图像输入至图像特征提取模型中，图像特征提取模型会对样本图像进行处理，输出对应的样本局部哈希特征。

S33，根据样本局部哈希特征和标注的局部哈希特征，对图像特征提取模型的参数进行调整，直至样本局部哈希特征和标注的局部哈希特征之间的误差小于或等于预设误差时，得到训练完成的图像特征提取模型。

在初始时，图像特征提取模型输出的样本局部哈希特征可能不够准确，这是由于图像特征提取模型还未训练好。此时，可以根据图像特征提取模型输出的样本局部哈希特征，和标注的局部哈希特征，对图像特征提取模型的参数进行调整，得到标注的局部哈希特征和图像特征提取模型之间的误差。

每进行一次训练，都重复上述处理。经过多次训练后，样本局部哈希特征和标注的局部哈希特征之间的误差会逐渐缩小。当样本局部哈希特征和标注的局部哈希特征之间的误差小于或等于预设误差时，图像特征提取模型收敛，此时图像特征提取模型训练完成。

在图像特征提取模型训练完成后，就可以将其应用于图像的局部哈希特征的提取。

本申请实施例提供的图像局部特征的训练方法，首先获取训练样本，训练样本中包括样本图像，和样本图像标注的局部哈希特征；然后根据图像特征提取模型对训练样本中的样本图像处理，得到样本局部哈希特征；最后根据样本局部哈希特征和标注的局部哈希特征，对图像特征提取模型的参数进行调整，直至样本局部哈希特征和标注的局部哈希特征之间的误差小于或等于预设误差时，得到训练完成的图像特征提取模型。训练完成的图像特征提取模型可以用户图像的局部哈希特征的提取。本申请实施例的方案，以端到端的方式进行图像特征提取模型的训练，即进行图像特征提取模型训练时，图像特征提取模型是一个完整的独立模块。与非端到端的方式相比，图像局部特征的获取和哈希处理均由这一个模型完成，获取方式更加直接和简便，不会引入中间误差。

下面结合附图对本申请的方案进行详细介绍。

首先结合图4介绍通过图像特征提取模型获取样本局部哈希特征的过程。

图4为本申请实施例提供的获取样本局部哈希特征的流程示意图，其中图像特征提取模型包括特征点提取模块和卷积神经网络模块，如图4所示，包括：

S41，根据特征点提取模块对样本图像进行处理，确定样本图像中的样本特征点。

图5为本申请实施例提供的图像特征提取模型的示意图，如图5所示，图像特征提取模型50主要由两个部分组成，分别是特征点提取模块和卷积神经网络模块。

设置这两个模块是由于通常卷积神经网络模块是用于进行图像的全局特征的提取的，本申请实施例中将卷积神经网络引入局部特征的获取，在卷积神经网络模块之前设置特征点提取模块，提取图像中的特征点。

然后针对特征点得到子图像，通过卷积神经网络模块提取子图像的全局特征，而子图像为图像的局部图像，相当于获取的是原图像的局部特征。

针对样本图像，特征点提取模块对样本图像进行处理，可以得到样本图像中的样本特征点。特征点提取模块对样本图像的处理可以是一些图像变换。

可选的，特征点提取模块可以对样本图像进行SIFT变换，得到样本图像中的样本特征点。SIFT变换为图像处理中的一种描述，具有尺度不变性，可在图像中检测出关键点，即特征点，是一种局部特征描述子。

由于SIFT特征是基于物体上的一些局部外观的兴趣点而与图像的大小和旋转无关，对于光线、噪声等的变化的容忍度也较高，因此SIFT特征是高度显著且相对容易获取的，对于部分物体遮蔽的侦测率也较高，使得在海量数据库中快速准确匹配。基于上述优点，本申请实施例中采用SIFT来获取样本图像中的样本特征点。

S42，通过卷积神经网络模块对样本图像中的样本特征点进行处理，得到样本局部哈希特征。

在确定了样本图像中的样本特征点后，就可以通过卷积神经网络模块对样本特征点进行处理，得到样本局部哈希特征。

具体的，针对样本图像中的任意样本特征点，首先根据该样本特征点在样本图像上确定对应的样本子图像。

图6为本申请实施例提供的样本子图像获取示意图，如图6所示，包括样本图像60，样本图像60上包括两个样本特征点，分别是样本特征点A和样本特征点B。

在确定了样本特征点A和样本特征点B后，可以以样本特征点为中心，在样本图像60上截取N*N个像素点，就得到对应的样本子图像，其中，N为正整数，例如可以为3、9、15等等。

例如在图6中，以特征点A为中心，在样本图像60上截取9*9的像素点，即得到样本特征点A对应的样本子图像61。通过类似的方式，根据样本特征点B也可以得到对应的样本子图像62。

在得到样本子图像后，通过卷积神经网络模块对每个样本特征点对应的样本子图像进行处理，得到每个样本特征点对应的样本局部哈希特征。

卷积神经网络模块通常是用于获取图像的全局特征的，这里的卷积神经网络模块可以获取每个样本子图像的全局特征，而样本子图像是样本图像的部分，因此得到的样本局部哈希特征是针对于样本图像而言的，最终输出的是样本图像的局部哈希特征。

在获取了样本局部哈希特征后，需要根据样本哈希特征和标注的局部哈希特征对图像特征提取模块的参数进行调整。

图7为本申请实施例提供的参数调整的流程示意图，如图7所示，包括：

S71，确定每个样本子图像的样本局部哈希特征和标注的局部哈希特征之间的误差。

具体的，根据每个样本子图像的样本局部哈希特征和标注的局部哈希特征，获取对应的第一损失值。然后，对第一损失值进行哈希处理，得到位于预设区间的第二损失值。最后，根据第一损失值和第二损失值，得到该误差。

图8为本申请实施例提供的获取误差示意图，如图8所示，将样本图像输入图像提取模型，图像提取模型中的特征点提取模型获取样本图像中的样本特征点，然后将样本图像中的样本特征点输入至卷积神经网络模块后，卷积神经网络模块对样本特征点进行处理。

具体的，卷积神经网络模块根据样本特征点在样本图像上确定每个样本特征点对应的样本子图像，然后对每个样本子图像进行处理，得到每个样本子图像的样本局部哈希特征。进一步的，根据样本局部哈希特征和标注的局部哈希特征，获取样本子图像对应的第一损失值。

在图8中，计算第一损失值采用的损失函数可以为arcface损失函数。在arcface损失函数的基础上，本申请实施例引入了另一个辅助损失函数，即1dis_loss损失函数，1dis_loss＝abs(abs(x)-1)，其中，x为采用激活函数tanh处理后的输入。

在获取第一损失值后，通过激活函数tanh对第一损失值进行处理，得到x，然后利用1dis_loss损失函数对x进行处理，得到对应的第二损失值。1dis_loss损失函数度量了float类型的特征描述子与1的绝对值的接近程度，将float类型的特征描述子映射到[-1,1]的区间，使得哈希过程的损失尽可能的小。

激活函数tanh和1dis_loss损失函数共同对第一损失值的处理即为哈希处理，两者结合起来得到第二损失值。然后，将第一损失值和第二损失值相加，即可得到每个样本子图像的样本局部哈希特征和标注的局部哈希特征之间的误差。

S72，根据所述误差对所述卷积神经网络模块的参数进行调整。

在得到每个样本子图像的样本局部哈希特征和标注的局部哈希特征之间的误差后，根据该误差就可以对卷积神经网络模块的参数进行调整。在S71中，通过第一损失值反映了样本图像的局部特征和标注的局部哈希特征之间的误差，通过第二损失值反映的样本图像的哈希特征和标注的局部哈希特征之间的误差，通过两者结合进行训练，将局部特征的获取过程和哈希处理过程结合，进行卷积神经网络模块的参数的调整。直至误差小于或等于预设误差时，模型收敛，得到训练完成的图像特征提取模型。

图像特征提取模型可以完成图像的局部特征的提取以及哈希处理，最终得到图像的局部哈希特征。在模型训练完成之后，可以获取任意的第一图像，然后根据图像特征提取模型对第一图像处理，得到第一图像的局部哈希特征。

具体的处理过程为，先通过图像特征提取模型中的特征点提取模块提取第一图像中的特征点，然后将特征点传输给卷积神经网络模块。卷积神经网络模块首先根据特征点在第一图像中确定对应的子图像，然后对每个特征点的子图像进行处理，得到第一图像的局部哈希特征。

得到第一图像的局部哈希特征之后，可以将其应用于图像的相似性检索中。例如，可以根据第一图像的局部哈希特征，以及预设图像库中的图像的局部哈希特征，在预设图像库中确定第一图像的相似图像。由于本申请中获取的是图像的局部哈希特征，与全局特征相比具有更加的检索效果，且进行了哈希处理，计算和检索的速度也较快。

本申请实施例提供的图像局部特征的训练方法，首先获取训练样本，训练样本中包括样本图像，和样本图像标注的局部哈希特征；然后根据图像特征提取模型对训练样本中的样本图像处理，得到样本局部哈希特征；最后根据样本局部哈希特征和标注的局部哈希特征，对图像特征提取模型的参数进行调整，直至样本局部哈希特征和标注的局部哈希特征之间的误差小于或等于预设误差时，得到训练完成的图像特征提取模型。训练完成的图像特征提取模型可以用户图像的局部哈希特征的提取。本申请实施例的方案，以端到端的方式进行图像特征提取模型的训练，即进行图像特征提取模型训练时，图像特征提取模型是一个完整的独立模块。与非端到端的方式相比，图像局部特征的获取和哈希处理均由这一个模型完成，获取方式更加直接和简便，不会引入中间误差。

图9为本申请实施例提供的图像局部特征的训练装置的结构示意图，如图9所示，该图像局部特征的训练装置90包括：

获取模块91，用于获取训练样本，训练样本中包括样本图像，和所述样本图像标注的局部哈希特征；

处理模块92，用于根据图像特征提取模型对所述训练样本中的样本图像处理，得到样本局部哈希特征；

训练模块93，用于根据所述样本局部哈希特征和所述标注的局部哈希特征，对所述图像特征提取模型的参数进行调整，直至所述样本局部哈希特征和所述标注的局部哈希特征之间的误差小于或等于预设误差时，得到训练完成的图像特征提取模型。

在一种可能的实施方式中，所述图像特征提取模型包括特征点提取模块和卷积神经网络模块；所述处理模块92包括：

第一处理单元，用于根据所述特征点提取模块对所述样本图像进行处理，确定所述样本图像中的样本特征点；

第二处理单元，用于通过所述卷积神经网络模块对所述样本图像中的样本特征点进行处理，得到所述样本局部哈希特征。

在一种可能的实施方式中，所述第一处理单元包括：

第一处理子单元，用于通过所述特征点提取模块对所述样本图像进行SIFT变换，确定所述样本图像中的样本特征点。

在一种可能的实施方式中，所述第二处理单元包括：

确定子单元，用于针对所述样本图像中的任意样本特征点，根据所述样本特征点，在所述样本图像上确定对应的样本子图像；

第二处理子单元，用于通过所述卷积神经网络模块对每个样本特征点对应的样本子图像进行处理，得到每个样本特征点对应的样本局部哈希特征。

在一种可能的实施方式中，所述训练模块93包括：

确定单元，用于确定每个样本子图像的样本局部哈希特征和标注的局部哈希特征之间的误差；

调整单元，用于根据所述误差对所述卷积神经网络模块的参数进行调整。

在一种可能的实施方式中，所述确定单元包括：

获取子单元，用于根据每个样本子图像的样本局部哈希特征和标注的局部哈希特征，获取对应的第一损失值；

第三处理子单元，用于对所述第一损失值进行哈希处理，得到位于预设区间的第二损失值；

第四处理子单元，用于根据所述第一损失值和所述第二损失值，得到所述误差。

在一种可能的实施方式中，还包括检索模块，所述检索模块包括：

提取单元，用于获取第一图像，并根据所述图像特征提取模型对所述第一图像处理，得到所述第一图像的局部哈希特征；

检索单元，用于根据所述第一图像的局部哈希特征，在预设图像库中确定所述第一图像的相似图像。

本申请实施例提供的图像局部特征的训练装置，用于执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图10示出了可以用来实施本申请的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，电子设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如图像局部特征的训练方法。例如，在一些实施例中，图像局部特征的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的图像局部特征的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像局部特征的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (17)

1.一种图像局部特征的训练方法，包括：

获取训练样本，所述训练样本中包括样本图像，和所述样本图像标注的局部哈希特征；

根据图像特征提取模型对所述训练样本中的样本图像处理，得到样本局部哈希特征；

根据所述样本局部哈希特征和所述标注的局部哈希特征，对所述图像特征提取模型的参数进行调整，直至所述样本局部哈希特征和所述标注的局部哈希特征之间的误差小于或等于预设误差时，得到训练完成的图像特征提取模型。

2.根据权利要求1所述的方法，其中，所述图像特征提取模型包括特征点提取模块和卷积神经网络模块；根据图像特征提取模型对所述训练样本中的样本图像处理，得到样本局部哈希特征，包括：

根据所述特征点提取模块对所述样本图像进行处理，确定所述样本图像中的样本特征点；

通过所述卷积神经网络模块对所述样本图像中的样本特征点进行处理，得到所述样本局部哈希特征。

3.根据权利要求2所述的方法，其中，根据所述特征点提取模块对所述样本图像进行处理，确定所述样本图像中的样本特征点，包括：

通过所述特征点提取模块对所述样本图像进行尺度不变特征SIFT变换，确定所述样本图像中的样本特征点。

4.根据权利要求2或3所述的方法，其中，通过所述卷积神经网络模块对所述样本图像中的样本特征点进行处理，得到所述样本局部哈希特征，包括：

针对所述样本图像中的任意样本特征点，根据所述样本特征点，在所述样本图像上确定对应的样本子图像；

通过所述卷积神经网络模块对每个样本特征点对应的样本子图像进行处理，得到每个样本特征点对应的样本局部哈希特征。

5.根据权利要求4所述的方法，其中，根据所述样本局部哈希特征和所述标注的局部哈希特征，对所述图像特征提取模块的参数进行调整，包括：

确定每个样本子图像的样本局部哈希特征和标注的局部哈希特征之间的误差；

根据所述误差对所述卷积神经网络模块的参数进行调整。

6.根据权利要求5所述的方法，其中，确定每个样本子图像的样本局部哈希特征和标注的局部哈希特征之间的误差，包括：

根据每个样本子图像的样本局部哈希特征和标注的局部哈希特征，获取对应的第一损失值；

对所述第一损失值进行哈希处理，得到位于预设区间的第二损失值；

根据所述第一损失值和所述第二损失值，得到所述误差。

7.根据权利要求1-6任一项所述的方法，其中，所述方法还包括：

获取第一图像，并根据所述图像特征提取模型对所述第一图像处理，得到所述第一图像的局部哈希特征；

根据所述第一图像的局部哈希特征，在预设图像库中确定所述第一图像的相似图像。

8.一种图像局部特征的训练装置，包括：

获取模块，用于获取训练样本，所述训练样本中包括样本图像，和所述样本图像标注的局部哈希特征；

处理模块，用于根据图像特征提取模型对所述训练样本中的样本图像处理，得到样本局部哈希特征；

训练模块，用于根据所述样本局部哈希特征和所述标注的局部哈希特征，对所述图像特征提取模型的参数进行调整，直至所述样本局部哈希特征和所述标注的局部哈希特征之间的误差小于或等于预设误差时，得到训练完成的图像特征提取模型。

9.根据权利要求8所述的装置，其中，所述图像特征提取模型包括特征点提取模块和卷积神经网络模块；所述处理模块包括：

第一处理单元，用于根据所述特征点提取模块对所述样本图像进行处理，确定所述样本图像中的样本特征点；

第二处理单元，用于通过所述卷积神经网络模块对所述样本图像中的样本特征点进行处理，得到所述样本局部哈希特征。

10.根据权利要求9所述的装置，其中，所述第一处理单元包括：

第一处理子单元，用于通过所述特征点提取模块对所述样本图像进行SIFT变换，确定所述样本图像中的样本特征点。

11.根据权利要求9或10所述的装置，其中，所述第二处理单元包括：

确定子单元，用于针对所述样本图像中的任意样本特征点，根据所述样本特征点，在所述样本图像上确定对应的样本子图像；

第二处理子单元，用于通过所述卷积神经网络模块对每个样本特征点对应的样本子图像进行处理，得到每个样本特征点对应的样本局部哈希特征。

12.根据权利要求11所述的装置，其中，所述训练模块包括：

确定单元，用于确定每个样本子图像的样本局部哈希特征和标注的局部哈希特征之间的误差；

调整单元，用于根据所述误差对所述卷积神经网络模块的参数进行调整。

13.根据权利要求12所述的装置，其中，所述确定单元包括：

获取子单元，用于根据每个样本子图像的样本局部哈希特征和标注的局部哈希特征，获取对应的第一损失值；

第三处理子单元，用于对所述第一损失值进行哈希处理，得到位于预设区间的第二损失值；

第四处理子单元，用于根据所述第一损失值和所述第二损失值，得到所述误差。

14.根据权利要求8-13任一项所述的装置，其中，还包括检索模块，所述检索模块包括：

提取单元，用于获取第一图像，并根据所述图像特征提取模型对所述第一图像处理，得到所述第一图像的局部哈希特征；

检索单元，用于根据所述第一图像的局部哈希特征，在预设图像库中确定所述第一图像的相似图像。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。

Images