CN113821658A

CN113821658A - 对编码器进行训练的方法、装置、设备及存储介质

Info

Publication number: CN113821658A
Application number: CN202110736879.6A
Authority: CN
Inventors: 欧子菁; 赵瑞辉
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-06-30
Filing date: 2021-06-30
Publication date: 2021-12-21

Abstract

本申请公开了一种对编码器进行训练的方法、装置、设备及存储介质，属于图像处理领域。所述方法包括：获取属于同一图像类别的第一样本图像和第二样本图像；将所述第一样本图像和所述第二样本图像分别输入到编码器，得到所述第一样本图像对应的第一哈希码以及所述第二样本图像对应的第二哈希码；确定所述第一哈希码和所述第二哈希码的对比损失；基于所述对比损失，对所述编码器进行训练。采用本申请提供的对编码器进行训练的方法，可以提高编码器在对图像进行分类、检索的精准度。

Description

对编码器进行训练的方法、装置、设备及存储介质

技术领域

本申请涉及图像处理领域，特别涉及一种对编码器进行训练的方法、装置、设备及存储介质。

背景技术

图像哈希方法是图像检索领域中常见的一种图像检索方法，即可以将图像分别编码成哈希码，然后在对图像进行检索时，根据图像对应哈希码的匹配度，确定各图像显示的内容是否接近。

在相关技术中，可以通过完成训练的生成模型得到图像对应的哈希码。在对生成模型进行训练时，生成模型中可以包括编码器和解码器，对应的训练过程如下：将样本图像输入到编码器中，得到样本图像对应的哈希码，然后将样本图像对应的哈希码输入到解码器中，由解码器还原出哈希码对应的图像，最后通过解码器还原的图像与样本图像确定对应的损失值，进而通过损失值对编码器和解码器进行训练。

由于对生成模型进行训练时，解码器只有在很好的还原出样本图像时，生成模型才会在训练过程中变得收敛，这样就需要训练后的编码器输出样本图像的哈希码，能够尽可能的包含样本图像中对应图像内容的所有信息。但是在对图像进行分类或检索时，往往只需要基于图像中的某个特征即可完成，例如，对同一辆车拍摄的两个图像，一个是在地下停车场拍摄的，另一个是在室外拍摄的，虽然拍摄地点不同导致两个图像中的背景不同，但这两个图像都属于“车”这一类的图像。而如果编码器对上述两个图像输出的哈希码中，包括了大量的背景信息，就会导致两个图像对应的哈希码的匹配度较低，进而可能会将两个图像确定为不同的类别。

基于以上推理可知，目前的对生成模型的训练方法，使得训练后的编码器输出图像的哈希码，可以较为全面的包含对应图像内容的所有信息，反而可能会降低对图像进行检索、分类的精准度。

发明内容

本申请实施例提供了一种对编码器进行训练的方法、装置、设备及存储介质，能够提高编码器对图像进行分类、检索的精准度，所述技术方案如下：

第一方面，提供了一种对编码器进行训练的方法，所述方法包括：

获取属于同一图像类别的第一样本图像和第二样本图像；

将所述第一样本图像和所述第二样本图像分别输入到编码器，得到所述第一样本图像对应的第一哈希码以及所述第二样本图像对应的第二哈希码；

确定所述第一哈希码和所述第二哈希码的对比损失；

基于所述对比损失，对所述编码器进行训练。

可选的，所述获取属于同一图像类别的第一样本图像和第二样本图像，包括：

获取目标图像，对所述目标图像进行两次随机数据增强处理，得到属于同一图像类别的第一样本图像和第二样本图像。

可选的，所述基于所述对比损失，对所述编码器进行训练，包括：

基于所述对比损失以及信息瓶颈优化方程，分别确定所述第一哈希码对应的第一损失值以及所述第二哈希码对应的第二损失值，其中，所述信息瓶颈优化方程中包括样本图像对应的哈希码与所述样本图像对应图像标签的互信息，以及所述样本图像对应哈希码与所述样本图像的互信息；

分别基于所述第一损失值以及所述第二损失值，对所述编码器进行训练。

可选的，所述基于所述对比损失以及预设的信息瓶颈优化方程，分别确定所述第一哈希码对应的第一损失值以及所述第二哈希码对应的第二损失值，包括：

将所述对比损失确定为所述第一哈希码与第一样本图像对应图像标签的第一互信息；对所述第一样本图像进行变分估计，确定所述第一哈希码与所述第一样本图像的第二互信息，基于确定的第一互信息、所述第二互信息以及所述信息瓶颈优化方程，确定所述第一损失值；

将所述对比损失确定为所述第二哈希码与第二样本图像对应图像标签的第三互信息；对所述第二样本图像进行变分估计，确定所述第二哈希码与所述第二样本图像的第四互信息，基于确定的所述第三互信息、所述第四互信息以及所述信息瓶颈优化方程，确定所述第二损失值，其中，所述第一样本图像对应图像标签与所述第二样本图像对应图像标签相同。

第二方面、提供了一种对编码器进行训练的装置，所述装置包括：

获取模块，用于获取属于同一图像类别的第一样本图像和第二样本图像；

输入模块，用于将所述第一样本图像和所述第二样本图像分别输入到编码器，得到所述第一样本图像对应的第一哈希码以及所述第二样本图像对应的第二哈希码；

确定模块，用于确定所述第一哈希码和所述第二哈希码的对比损失；

训练模块，用于基于所述对比损失，对所述编码器进行训练。

可选的，所述获取模块，用于：

可选的，所述训练模块，用于：

第三方面、提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如第一方面所述的对编码器进行训练的方法所执行的操作。

第四方面、提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如第一方面所述的对编码器进行训练的方法所执行的操作。

本申请实施例提供的技术方案带来的有益效果是：

在本申请中，通过属于同一类别图像对应哈希码的对比损失对编码器进行训练，不需要依靠解码器输出图像的哈希码使编码器变得收敛，也就说，在本申请中只有在编码器输出的两个图像的哈希码匹配度较高时，即输出的两个图像的哈希码中更多的包含两个图像共同包括的与图像类别相关信息时，才能使得编码器变的收敛。这样训练得到的编码器输出的图像的哈希码，可以更多的包括与图像类别相关的信息，在应用到图像分类、检索任务时，可以提高对图像进行分类、检索任务精确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种现有的训练生成模型的方法流程图；

图2是本申请实施例提供的一种对编码器进行训练的方法流程图；

图3是本申请实施例提供的一种对编码器进行训练的方法示意图；

图4是本申请实施例提供的一种对编码器进行训练的方法流程图；

图5是本申请实施例提供的一种对编码器进行训练的方法流程图；

图6是本申请实施例提供的一种对编码器进行训练的方法示意图；

图7是本申请实施例提供的一种对编码器进行训练的装置结构示意图；

图8是本申请实施例提供的一种计算机设备结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请提供的一种对编码器进行训练的方法涉及人工智能的技术领域。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟，延伸和扩展人的智能、感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。例如在本申请提供的实施例中，可以根据人工智能技术对图像数据进行处理，得到图像的哈希码，然后可以根据两个的图像的哈希码的匹配度，确定该两个图像在显示内容是否接近，进而可以代替人工去看两个图像的显示内容是否接近。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

其中，计算机视觉(Computer Vision，CV)技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

语音技术(Speech Technology)的关键技术有自动语音识别技术(AutomaticSpeech Recognition，ASR)和语音合成技术(Text to Speech，TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。

自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自定驾驶技术有着广泛的应用前景。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案可涉及人工智能技术中的计算机视觉、机器学习等技术，可应用在图像检索、图像分类、智能医疗等领域，具体可通过本申请提供的实施例进行说明。

本申请提供的一种对编码器进行训练的方法可以由计算机设备实现。

该计算机设备可以是终端或服务器等，当该计算机设备为终端时，终端可以但不限于是手机、平板电脑、智能穿戴设备、台式计算机、笔记本电脑等各种具有数据处理能力的设备。当该计算机设备为服务器时，该服务器可以是一台单独的服务器也可以是一个服务器组，如果是单独的服务器，该服务器可以负责下述方案中的所有处理，如果是服务器组，服务器组中的不同服务器分别可以负责下述方案中的不同处理，具体的处理分配情况可以由技术人员根据实际需求任意设置，此处不再赘述。

在计算机设备中可具备存储器和处理器，存储器可用本申请对编码器进行训练的方法对应的数据和指令，其中，数据可以是各种样本图像，指令可以是用于实现对编码器进行训练的方法对应的程序代码。处理器可以根据存储器中存储的指令，对存储器中存储的数据进行处理，以实现本申请提供的对编码器进行训练的方法。

为了便于理解本申请的实施例，先对本申请中可能涉及的一些名词和概念进行解释：

数据增强处理是一种对图像进行处理的方法，包括但不限于翻转、旋转、平移、缩放、裁剪、高斯模糊。

互信息是一个随机变量中包含的关于另一个随机变量的信息量，在信息瓶颈理论中，互信息可用于表示两个数据中共同包括的信息量，可表示为I(X；Y)，X，Y表两个不同的数据。

信息瓶颈理论是信息论中的一种方法，可用于对数据进行压缩处理，使得压缩处理后的数据，尽可能的保留数据中与数据对应概念标签最相关的特征信息。

生成模型是用于实现无监督图像哈希方法的一种机器学习模型，其中在现有技术中，对生成模型进行训练时，生成模型的结构可如图1所示，包括编码器和解码器。图1中的X为输入到编码器(Encoder)的图像数据，X’为解码器(Decoder)还原的图像数据。本申请提供的对编码器进行训练的方法中，不需要借助解码器对编码器进行训练，可直接对对编码器进行训练。

图2是本申请实施例提供的一种对编码器进行训练的方法流程图。参见图2，该实施例包括：

步骤201、获取属于同一图像类别的第一样本图像和第二样本图像。

其中，图像的类别可以由技术人员根据训练的编码器对应的下游任务进行设置。例如对应的下游任务为医疗图像检索任务，则图像的类别可以根据医疗图像中显示的病理部位对应的病症进行区分，即显示有相同病理部位且对应的病症相同的医疗图像，可以认为是同一图像类别的医疗图像。其中，医疗图像可以是通过摄像设备直接拍摄的患者体外的图像(如对皮炎患者的皮肤拍摄的图像)，也可以通过内窥镜拍摄的患者体内的图像，或者是通过X光机拍摄的X片等等。技术人员可以通过获取历史病历信息，进而获取不同图像类别对应的样本图像，之后可以对获取的样本图像进行分类得到属于同一图像类别的第一样本图像和第二样本图像。

可选的，在本申请中还提供了一种获取样本图像的方法，无需技术人员对样本图像进行分类，相对应的处理如下：获取目标图像，对目标图像进行两次随机数据增强处理，得到属于同一图像类别的第一样本图像和第二样本图像。

在实施中，技术人员可以直接获取目标图像，其中，目标图像可以是对应编码器下游任务的任一样本图像，然后对每个目标图像进行两次随机数据增强处理，在经过两次随机数据增强处理后，可以得到处理后的两个样本图像，这两个样本图像即为第一样本图像和第二样本图像。其中，随机数据增强处理，可以是基于随机的翻转角度对样本图像进行翻转，然后基于随机的裁剪尺寸对翻转后的样本图像进行裁剪，然后再基于随机的半径对裁剪后的样本图像进行高斯模糊等。在对目标图像分别经过上述两次随机数据增强处理后，得到的第一样本图像和第二样本图像可能在显示的内容上存在一些差异，但是仍然为属于同一类别的图像。例如对一个包括“猫”的目标图像进行上述两次随机数据增强处理后，第一样本图像和第二样本图像在尺寸、色彩、清晰度等方面都存在或多或少的差异，但是第一样本图像和第二样本图像中仍然共同包括“猫”的信息，都属于“猫”这一类图像。

可见采用本申请，技术人员还可以不对样本图像预先进行分类，能够通过随机数据增强的处理，获取属于同一图像类别的样本图像，可以提高获取样本图像的效率。

步骤202、将第一样本图像和第二样本图像分别输入到编码器，得到第一样本图像对应的第一哈希码以及第二样本图像对应的第二哈希码。

其中，在本申请中对编码器进行训练时，并不需要解码器参与训练过程。在实施中，在得到第一样本图像和第二样本图像后，可以将第一样本图像和第二样本图像输入到训练过程中的编码器。由编码器输出第一样本图像对应的第一哈希码以及第二样本图像对应的第二哈希码，处理如下：

给定一组目标图像x^(k),其中k＝1,2,…N代表目标图像的编号。对于每个目标图像x，可以进行两次随机数据增强处理，得到目标图像对应的第一样本图像

以及第二样本图像

然后可以将

分别输入到编码器f_θ(v)，如下：

其中，为了得到第一样本图像和第二样本图像对应的哈希码可以进一步引入概率模型，如下：

其中，σ表示sigmoid函数(一种S型函数)。第一样本图像和第二样本图像对应的哈希码可以通过对多维伯努利分布进行采样得到，如下：

另外，在得到第一样本图像和第二样本图像对应的哈希码的过程中，涉及到采样的过程，因此得到的哈希码是不可导的。为了后续对编码器进行训练时，能使用梯度下降算法最小化对比损失，还可以通过梯度估计器(straight through，直通梯度估计器)来进行梯度估计，如下：

其中，u为预设参数，代表[0,1]之间的均匀分布，其具体值可以由技术人员预先设置，例如可以设置为0.4、0.5、0.6等。

步骤203、确定第一哈希码和第二哈希码的对比损失。

如图3所示，通过目标图像x，得到第一样本图像

和第二样本图像

后，可以将第一样本图像和第二样本图像分别输入到训练过程中的编码器中。由编码器输出第一样本图像对应的第一哈希码

以及第二样本图像对应的第二哈希码

然后可以根据

确定对应的对比损失L。

由于

都是基于同一个目标图像对应的两个数据增强处理后的第一样本图像和第二样本图像中得到的，所以应该包含相似的语义信息。其中，对比损失可以由预先设置的对比损失函数得到，对比损失函数如下：

其中，τ为温度系数，用来控制分布的均匀程度；

为余弦距离。

步骤204、基于对比损失，对编码器进行训练。

在得到第一哈希码和第二哈希码的对比损失之后，可以根据梯度下降法，对编码器进行训练。其中，基于梯度下降法，对编码器进行训练的过程属于现有技术，此处不再进行详细介绍。

其中，在对编码器进行大量的训练之后，或者当编码器中的参数收敛至一定程度时，可以确定完成了对编码器的训练。在得到训练完成的编码器后，可以将编码器应用在图像检索、图像分类的下游任务中。

图4是本申请实施例提供的一种对编码器进行训练的方法流程图。参见图4，该实施例包括：

步骤401、获取属于同一图像类别的第一样本图像和第二样本图像。

步骤402、将第一样本图像和第二样本图像分别输入到编码器，得到第一样本图像对应的第一哈希码以及第二样本图像对应的第二哈希码。

步骤403、确定第一哈希码和第二哈希码的对比损失。

其中上述步骤401-403的处理，与上述步骤201-203的处理相同，此处不再赘述。

步骤404、基于对比损失以及预设的信息瓶颈优化方程，分别确定第一哈希码对应的第一损失值以及第二哈希码对应的第二损失值。

其中，信息瓶颈优化方程中包括两项，信息瓶颈优化方程中的第一项为样本图像对应的哈希码与样本图像对应图像标签的互信息，其中，样本图像对应图像标签可用于标识样本图像的类别，对于同一类别的样本图像具有相同的图像标签。信息瓶颈优化方程中的第二项为样本图像对应哈希码与样本图像的互信息，如下：

其中，

为优化目标，θ表示编码器中的参数，I(Y,B)表示样本图像对应的哈希码与样本图像对应图像标签的互信息，虽然I(Y,B)很难直接计算，但是如果样本图像对应哈希码与图像标签之间的互信息越大，则样本图像对应哈希码能够更多的体现出样本图像对应图像标签的信息，当样本图像对应哈希码能够更多的体现出样本图像的图像标签信息时，对于具有相同图像标签的第一样本图像对应的第一哈希码与第二样本图像对应的第二哈希码也就越接近，也就是第一哈希码与第二哈希码的对比损失越小。所以这里对样本图像对应哈希码与图像标签之间的互信息的优化，可以转变为对第一哈希码与第二哈希码的对比损失的优化，因此对应的优化方程如下：

其中，β为预设参数，I(B,V)用于表示样本图像对应哈希码与样本图像的互信息，可通过对样本图像进行变分估计确定，如下：

I(B，V)≤E_p(υ)[KL(p(b|υ)||q(b))]

其中，E_p(v)表示期望，KL(p(b|v)||q(b))对应的计算公式如下：

其中γ为变分分布的参数，其具体值可以由技术人员预先设定，例如可以是0.5，D表示哈希码的维度，d表示哈希码的每一个维度。

如上可知，对可以将信息瓶颈优化方程转换为如下方程：

基于以上推理，对应的确定第一哈希码对应的第一损失值以及第二哈希码对应的第二损失值的处理如下：

(1)将对比损失确定为第一哈希码与第一样本图像对应图像标签的第一互信息；对第一样本图像进行变分估计，确定第一哈希码与第一样本图像的第二互信息，基于确定的第一互信息、第二互信息以及信息瓶颈优化方程，确定第一损失值。

在实施中，可以将第一哈希码与第二哈希码对应的对比损失，确定信息瓶颈优化方程中第一项对应的互信息(即第一互信息)，然后对第一样本图像进行变分估计，而得到第一哈希码与第一样本图像的第二互信息。

其中，变分估计属于现有技术，此处不再进行详细说明。可基于上述公式I(B,V)≤E_p(v)[KL(p(b|v)||q(b))]实现。在得到第一互信息、第二互信息后，可以基于上述信息瓶颈优化方程，确定对应的第一损失值，即第一损失值等于第一互信息与β倍的第二互信息的差值。

(2)将对比损失确定为第二哈希码与第二样本图像对应图像标签的第三互信息；对第二样本图像进行变分估计，确定第二哈希码与第二样本图像的第四互信息，基于确定的第三互信息、第四互信息以及信息瓶颈优化方程，确定第二损失值，其中，第一样本图像对应图像标签与第二样本图像对应图像标签相同。

在实施中，可以将第一哈希码与第二哈希码对应的对比损失，确定信息瓶颈优化方程中第一项对应的互信息(即第三互信息)，然后对第二样本图像进行变分估计，而得到第二哈希码与第二样本图像的第四互信息。

其中，变分估计属于现有技术此处不再进行详细说明。可基于上述公式I(B,V)≤E_p(v)[KL(p(b|v)||q(b))]实现。在得到第三互信息、第四互信息后，可以基于上述信息瓶颈优化方程，确定对应的第二损失值，即第二损失值等于第三互信息与β倍的第四互信息的差值。

如图5所示，本申请实施例可以先对目标图像x进行两次随机数据增强处理，可以得到第一样本图像

和第二样本图像

以及第二样本图像对应的第二哈希码

然后可以根据

分别确定信息瓶颈优化方程中的第一样本图像

和第二样本图像

与对应图像标签的互信息I(Y,B)，其中，Y为第一样本图像

和第二样本图像

对应的图像标签。并可以根据第一样本图像

和第二样本图像

以及对应的第一哈希码

以及第二哈希码

分别确定第一样本图像

和第二样本图像

与对应哈希码的互信息I(B,V)，(也就是分别对第一样本图像

和第二样本图像

进行变分估计)。之后可以根据上述得到的互信息与信息瓶颈优化方程，分别计算第一哈希码

对应的第一损失值以及第二哈希码

对应的第二损失值。

步骤405、分别基于第一损失值以及第二损失值，对编码器进行训练。

在实施中，在得到第一损失值以及第二损失值后，可以分别基于第一损失值以及第二损失值对编码器进行训练，即通过第一损失值对编码器进行一次训练，在通过第二损失值对编码器进行再一次训练。其中，通过损失值对编码器的训练，可以基于梯度下降法完成，属于现有技术，此处不再进行详细介绍。

例如下游任务为医疗图像检索任务。技术人员可以将完成训练的编码器设置在医疗图像检索程序中，其中，该医疗图像检索程序可以是设置在终端等低资源场景的设备中的处理程序，或者是设置在处理能力更强的服务器的后台程序。在终端用户可以在获取到医疗图像之后，可以将对应的医疗图像上传至医疗图像检索程序对应的界面中，如图6所示，后续终端或服务器可以对上传的医疗图像输入到编码器中，得到该医疗图像的哈希码，然后在对应的医疗图像数据库中确定与该哈希码匹配的至少一个医疗图像，然后将匹配的医疗图像显示在图6所示的界面中。其中在医疗图像数据库中，可以包括历史病历信息，即包括各种医疗图像、各医疗图像对应的症状、以及对于每个医疗图像对应症状进行的治疗手段等。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本申请还提供了一种对编码器进行训练的装置，该装置可以是上述实施例该的终端或服务器，如图7所示，该装置包括：

获取模块710，用于获取属于同一图像类别的第一样本图像和第二样本图像；

输入模块720，用于将所述第一样本图像和所述第二样本图像分别输入到编码器，得到所述第一样本图像对应的第一哈希码以及所述第二样本图像对应的第二哈希码；

确定模块730，用于确定所述第一哈希码和所述第二哈希码的对比损失；

训练模块740，用于基于所述对比损失，对所述编码器进行训练。

可选的，所述获取模块810，用于：

可选的，所述训练模块740，用于：

需要说明的是：上述实施例提供的对编码器进行训练的装置在对编码器进行训练时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的对编码器进行训练的装置与对编码器进行训练的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图8示出了本申请一个示例性实施例提供的计算机设备800的结构框图。该计算机设备可以是上述实施例中的终端或服务器，该计算机设备800可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(moving picture experts group audio layer III，动态影像专家压缩标准音频层面3)、MP4(moving picture experts group audio layerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，计算机设备800包括有：处理器801和存储器802。

处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(digital signal processing，数字信号处理)、FPGA(field－programmable gate array，现场可编程门阵列)、PLA(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(central processingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有GPU(graphics processing unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(artificial intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的对编码器进行训练的方法。

在一些实施例中，计算机设备800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。

外围设备接口803可被用于将I/O(input/output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路804用于接收和发射RF(radio frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(near field communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏805用于显示UI(user interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置在计算机设备800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在计算机设备800的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在计算机设备800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(liquid crystal display，液晶显示屏)、OLED(organic light-emittingdiode，有机发光二极管)等材质制备。

摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。

定位组件808用于定位计算机设备800的当前地理位置，以实现导航或LBS(location based service，基于位置的服务)。定位组件808可以是基于美国的GPS(globalpositioning system，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源809用于为计算机设备800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，计算机设备800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。

加速度传感器811可以检测以计算机设备800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器812可以检测计算机设备800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对计算机设备800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器813可以设置在计算机设备800的侧边框和/或显示屏805的下层。当压力传感器813设置在计算机设备800的侧边框时，可以检测用户对计算机设备800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置在计算机设备800的正面、背面或侧面。当计算机设备800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商Logo集成在一起。

光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。

接近传感器816，也称距离传感器，通常设置在计算机设备800的前面板。接近传感器816用于采集用户与计算机设备800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与计算机设备800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与计算机设备800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图8中示出的结构并不构成对计算机设备800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中对编码器进行训练的的方法。该计算机可读存储介质可以是非暂态的。例如，所述计算机可读存储介质可以是ROM(read-onlymemory，只读存储器)、RAM(random access memory，随机存取存储器)、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种对编码器进行训练的方法，其特征在于，所述方法包括：

获取属于同一图像类别的第一样本图像和第二样本图像；

确定所述第一哈希码和所述第二哈希码的对比损失；

基于所述对比损失，对所述编码器进行训练。

2.根据权利要求1所述的方法，其特征在于，所述获取属于同一图像类别的第一样本图像和第二样本图像，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述对比损失，对所述编码器进行训练，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述对比损失以及预设的信息瓶颈优化方程，分别确定所述第一哈希码对应的第一损失值以及所述第二哈希码对应的第二损失值，包括：

5.一种对编码器进行训练的装置，其特征在于，所述装置包括：

输入模块，用于将所述第一样本图像和所述第二样本图像分别输入编码器，得到所述第一样本图像对应的第一哈希码以及所述第二样本图像对应的第二哈希码；

6.根据权利要求5所述的装置，其特征在于，所述获取模块，用于：

7.根据权利要求5所述的装置，其特征在于，所述训练模块，用于：

8.根据权利要求7所述的装置，其特征在于，所述训练模块，用于：

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至权利要求4任一项所述的对编码器进行训练的方法所执行的操作。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求4任一项所述的对编码器进行训练的方法所执行的操作。