CN114494809A - 特征提取模型优化方法、装置及电子设备 - Google Patents

Abstract

本发明实施例涉及一种特征提取模型优化方法、装置及电子设备，该方法包括：获取多个教师网络模型；提取每一个教师网络模型中的骨干网络；利用每一个骨干网络，分别提取训练图像中的第一高维图像特征；将训练图像的多个第一高维图像特征进行融合，获取融合特征；对融合特征进行降维，获取降维特征；将训练图像输入到学生网络模型中，获取训练图像的第二高维图像特征；根据降维特征和第二高维图像特征，对学生网络模型进行优化。本申请所优化的学生网络模型可以达到在提升模型预测速度的同时，不增加推理成本。

Description

特征提取模型优化方法、装置及电子设备

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种特征提取模型优化方法、装置及电子设备。

背景技术

随着人工智能技术的发展与进步，特征提取模型优化技术能够实现跨越时间和空间对目标人群进行跟踪、匹配与身份鉴定，并大量应用于社会生活中的方方面面。特征提取模型优化技术是近年来计算机视觉领域的研究热点之一，目前通用的特征提取模型优化方法是利用深度学习模型学习人体之间的关系以提取特征和搜索。通过多个模型提取特征并加以拼接搜索的方法能大幅提升模型精度。但使用多个模型进行预测会导致大幅的额外资源消耗。尤其是在模型较多时，对应的模型预测的计算量也较大。如此一来，不仅降低模型预测速率，还会增加推理成本。

发明内容

本申请提供了一种特征提取模型优化方法、装置及电子设备，以解决现有技术中多模型提取特征使得计算量比较大，降低模型预测速率，并增加推理成本的技术问题。

第一方面，本申请提供了一种特征提取模型优化方法，该方法包括：

获取多个教师网络模型；

提取每一个教师网络模型中的骨干网络；

利用每一个骨干网络，分别提取训练图像中的第一高维图像特征；

将训练图像的多个第一高维图像特征进行融合，获取融合特征；

对融合特征进行降维，获取降维特征；

将训练图像输入到学生网络模型中，获取训练图像的第二高维图像特征；

根据降维特征和第二高维图像特征，对学生网络模型进行优化。

在一种可选的实施方式中，利用每一个骨干网络，分别提取训练图像中的第一高维图像特征之后，该方法还包括：

对第一高维图像特征执行归一化处理，以便后续将同一训练图像的经过归一化处理后的高维图像特征进行融合，获取融合特征。

第二方面，本申请提供了一种多特征提取模型优化装置，该装置包括：

处理模块，用于获取多个教师网络模型；

提取模块，用于提取每一个教师网络模型中的骨干网络；利用每一个骨干网络，分别提取训练图像中的第一高维图像特征；

融合模块，用于将训练图像的多个第一高维图像特征进行融合，获取融合特征；

降维模块，用于对融合特征进行降维，获取降维特征；

处理模块，还用于将训练图像输入到学生网络模型中，获取训练图像的第二高维图像特征；

优化模块，根据降维特征和第二高维图像特征，对学生网络模型进行优化。

在一种可选的实施方式中，处理模块还用于，对第一高维图像特征执行归一化处理，以便后续将同一训练图像的经过归一化处理后的高维图像特征进行融合，获取融合特征。

第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例的特征提取模型优化方法的步骤。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项实施例的特征提取模型优化方法的步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例提供的该方法，获取多个教师网络模型，然后提取每个教师网络模型中的骨干网络，利用每一个骨干网络，分别提取训练图像中的第一高维图像特征，将同一训练图像对应的多个第一高维图像特征进行融合，获取融合特征。融合特征集成了多个教师网络模型的输出结果，相较于单个教师网络模型的输出结果，将会更加全面。融合特征是一个k乘以第一高维图像特征维度的“超高维”图像特征，为了后续降低计算量，还需要对其进行降维处理。以此来对数据进行压缩和消除冗余，提取信息的主要成分。将训练图像输入到学生网络模型中，获取与训练图像对应的第二高维图像特征，然后根据降维特征和第二高维图像特征，对学生网络模型进行优化训练，最终使得学生网络模型的性能能够接近甚至达到多个教师网络模型集成的效果。但是，单个学生网络模型的计算量以及参数量等都是单个网络模型的量级，其模型的预测速度接近多个教师网络模型集成的预测速度，但是其推理成本则是单个网络模型的推理成本。因此，本申请所优化的学生网络模型可以达到在提升模型预测速度的同时，不增加推理成本。

附图说明

图1为本发明实施例提供的一种特征提取模型优化方法流程示意图；

图2为本发明提供的传统的人体重识别方法中人体底库中图片特征向量的整体提取流程示意图；

图3为本发明实施例提供的另一种特征提取模型优化方法流程示意图；

图4为本发明实施例提供的另一种特征提取模型优化方法流程示意图；

图5为本发明提供的根据当前训练的迭代次数，交叉选择不同的损失函数对所述网络模型中的参数进行更新的方法流程示意图；

图6为本发明提供的利用归一化处理后的高维图像特征进行特征融合的整体流程示意图；

图7为本发明实施例提供的另一种特征提取模型优化方法流程示意图；

图8为本发明提供的第二高维图像特征，以及与降维特征计算损失函数，并完成对学生网络模型中的参数更新的方法流程示意图；

图9为本发明实施例提供的一种多特征提取模型优化装置结构示意图；

图10为本发明实施例提供一种电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。

针对背景技术中所提及的技术问题，本申请实施例提供了一种特征提取模型优化方法，具体参见图1所示，图1为本发明实施例提供的一种特征提取模型优化方法流程示意图。

在介绍本发明实施例提供的特征提取模型优化方法之前，首先介绍一下特征提取模型的应用场景。

在一个具体的例子中，其可以应用到人体重识别等应用场景。就目前的技术而言，常用的人体重识别技术是利用利用Yolo等检测算法将视频文件中多帧原图的人体图片检测出来，并裁剪保存形成人体底库。使用特征提取网络对裁剪得到的人体底库中所有图片提取特征向量，每张图片的特征向量用多位浮点数字表示，并以欧式距离或余弦距离等指标作为衡量，推荐出与搜索图片特征向量最接近的底库图片。

具体参见图2所示，图2中示意出了传统的人体重识别方法中人体底库中图片特征向量的整体提取流程示意图。具体包括：

步骤210，摄像头采集原图片。

步骤220，对原图片执行人体检测定位。

步骤230，对人体检测定位后的图像执行裁剪等操作后存入底库。

步骤240，使用特征提取网络对裁剪得到的人体底库中所有图片提取特征向量并保存。

其中，每张图片的特征向量用多位浮点数字表示。

当有新的图片需要进行人体重识别时，同样需要执行步骤210和步骤220的操作。然后，执行对人体检测定位后的图像执行裁剪等操作。再之后，使用特征提取网络对裁剪得到的人体图像提取特征向量，然后将新提取的特征向量分别与底库中的每张图片的特征向量计算欧式距离或者余弦相似度，并根据欧式距离或者余弦相似度，从底库中推荐出与当前图片最接近的底库图片。

整个过程中，是利用深度学习模型学习人体之间的关系来提取特征和搜索最接近的图片的。如背景技术所介绍的，通过深度学习中的多个模型提取特征加以拼接搜索的方法能大幅提升模型精度，但是使用多个模型进行预测会导致大幅的额外资源消耗。而通过本申请实施例的方法，则可以实现对特征模型的优化，以减少计算量，以及参数量的量级，在提升模型预测速度的同时，不增加推理成本。本申请实施例的方法在对特征提取模型进行优化后，经过优化的特征提取模型应用到人体重识别的应用场景后，将会更加方便快捷的在底库中向需求方提供与待搜索图片更接近的底库图片。

当然，本发明实施例提供的特征提取模型除了可以优化人体重识别技术中的特征提取模型外，也可以适用于对其他特征提取模型的优化，例如人脸识别技术中的特征提取模型。又或者其他应用场景中所需要的特征提取模型的优化，具体可以适用于何种场景，完全可以根据实际情况设定，这里不做任何限定。

下面，将详细介绍本发明实施例提供的一种特征提取模型的优化方法，该方法步骤包括：

步骤110，获取多个教师网络模型。

具体的，教师网络模型就是一种经过训练后所获取的用于实现图像分类或者图像识别的网络模型，例如神经网络模型。

步骤120，提取每一个教师网络模型中的骨干网络。

具体的，每一个教师网络模型中都至少包括有特征提取层和分类层(全连接层)。

而在本实施例中，则是将每一个教师网络模型中的全连接层去除掉，所获取的剩下的网络模型部分则定义为骨干网络。去掉全连接层的原因在于，全连接层主要是最后用于根据图像特征对样本数据进行分类，其不参与图像特征的提取，对本实施例而言，没有太多用处。且执行过程占用系统资源，加长计算时间等，因此去除掉全连接层，只保留骨干网络。

类似的道理，下文中所提及的学生网络模型在具体应用时也会去除全连接层，仅保留特征提取网络，因为在应用时，应用场景的人体类别一般不会出现在训练样本中，因此只需要比对特征相似度来确定目标图像即可。下文中将不再赘述该部分内容。

在一个可选的具体的例子中，可以选取经典的残差网络作为骨干网络。

步骤130，利用每一个骨干网络，分别提取训练图像中的第一高维图像特征。

具体的，训练图像进行特征提取后，例如可以是216维的向量特征，或者是512维的向量特征。具体是多少维度的向量特征，这里不再过多限定。

步骤140，将训练图像的多个第一高维图像特征进行融合，获取融合特征。

具体的，考虑到每一个教师网络模型针对同一张图像都会提取如步骤 130中所介绍的一个第一高维图像特征。那么多个教师网络模型，则会生成多个第一高维图像特征。将不同教师网络模型所输出的不同的第一高位图像特征进行融合，也即是集成不同教师网络模型的输出成果，可以保证融合特征的全面性。

步骤150，对融合特征进行降维，获取降维特征。

在一个具体的例子中，假设教师网络模型的数量为100个，第一高维图像特征为512维的特征向量，当100个第一高维图像特征进行融合后，所生成的融合特征则是512维乘以100维度，即51200维度的特征向量。也正是因为该特征向量为更高维度的特征向量，必然会导致最终的计算量、参数等的量级明显增加，由此，也会降低模型的预测速度，还会增加推理成本。因此，需要对融合特征进行降维，获取降维特征。

具体的降维方式可以采用主成分分析的降维策略。其中，主成分分析是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用，利用正交变换来对一系列可能相关的变量的观测值进行线性变换，从而投影为一系列线性不相关变量的值。

在本实施例中，通过主成分分析的方法将上文中所列举的例子中的 51200维拼接融合特征降维至512维并保存下来，用于下文中所介绍的后续方法步骤中使用。具体的主成分分析方法的执行步骤参见现有技术，这里不再过多赘述。

步骤160，将训练图像输入到学生网络模型中，获取训练图像的第二高维图像特征。

步骤170，根据降维特征和第二高维图像特征，对学生网络模型进行优化。

具体的，学生网络用来模仿教师网络，使得学生网络的性能能够接近甚至达到教师网络的性能，是监督学习方法的思想。

因此，还需要将训练图像输入到学生网络模型中，获取训练图像的第二高维图像特征。

在一个可选的例子中，学生网络模型即为上文所提及的多个骨干网络模型中的任一个网络模型。

将降维特征作为教师模型的特征，采用骨干网络模型作为学生网络模型蒸馏教师模型的特征。

也即是，将降维特征和第二高维图像特征进行对比，二者的差距作为反向输入，对学生网络模型进行优化。

最终得到的学生网络模型的计算量以及参数等量级与单个网络模型的量级基本相同，但是其性能因为接近于多个教师网络模型集成的效果，所以会明显优于单个网络模型。而且，因为计算量相较于多个教师网络模型而言明显降低，自然预测速度不会降低，而且也不会增加推理成本。即，在提升模型精度的同时，不降低模型的预测速度，以及不增加推理成本。

本发明实施例提供的特征提取模型优化方法，获取多个教师网络模型，然后提取每个教师网络模型中的骨干网络，利用每一个骨干网络，分别提取训练图像中的第一高维图像特征，将同一训练图像对应的多个第一高维图像特征进行融合，获取融合特征。融合特征集成了多个教师网络模型的输出结果，相较于单个教师网络模型的输出结果，将会更加全面。融合特征是一个k乘以第一高维图像特征维度的“超高维”图像特征，为了后续降低计算量，还需要对其进行降维处理。以此来对数据进行压缩和消除冗余，以及提取信息的主要成分。将训练图像输入到学生网络模型中，获取与训练图像对应的第二高维图像特征，然后根据降维特征和第二高维图像特征，对学生网络模型进行优化训练，最终使得学生网络模型的性能能够接近甚至达到多个教师网络模型集成的效果。但是，单个学生网络模型的计算量以及参数量等都是单个网络模型的量级，其模型的预测速度接近多个教师网络模型集成的预测速度，但是其推理成本则是单个网络模型的推理成本。因此，本申请所优化的学生网络模型可以达到在提升模型预测速度的同时，不增加推理成本。

本发明实施例还提供了另一种特征提取模型优化方法，具体参见图3 所示，与上述实施例中相同或类似的内容这里将不再赘述。本实施例中侧重说明一下如何获取多个教师网络模型。

具体参见如下，包括：

步骤310，获取样本数据后，对样本数据划分为多组。

步骤320，将多组样本数据中的每一组样本数据均作为一次验证集，其余样本数据作为训练集，构成多个训练子集。

步骤330，分别利用每一个训练子集，训练一个网络模型，最终获取多个教师网络模型。

具体的，在深度学习建模过程中，通常的做法是将数据分为训练集和测试集。测试集是与训练独立的数据，完全不参与训练，只用于最终模型的评估。在训练过程中，经常会出现过拟合的问题，就是模型可以很好的匹配训练数据，却不能很好在预测训练集外的数据。如果此时就使用测试数据来调整模型参数，就相当于在训练时已知部分测试数据的信息，会影响最终评估结果的准确性。

通常的做法是在训练数据中再分出一部分做为验证数据，用来评估模型的训练效果。验证数据取自训练数据，但不参与训练，这样可以相对客观的评估模型对于训练集之外数据的匹配程度。模型在验证数据中的评估常用的是交叉验证，又称循环验证。具体的，就是将原始数据分成k组，将每个子集数据分别做一次验证集，其余的k-1组子集数据作为训练集。例如，一共有5组数据，当第一组数据作为验证集时，其他4组数据作为训练集，来训练一个网络模型，得到一个教师网络模型。

同样的道理，例如5组数据中的第二组数据作为验证集，其他4组数据作为训练集，来训练另一个网络模型，得到另一个教师网络模型。以此类推，可以得到5个教师网络模型。

可选的，在本发明的另一个实施例中，为了增加教师网络模型的表达能力。在训练某一个网络模型，获取教师网络模型时，还可以执行如下操作，具体参见图4所示，该方法步骤包括：

步骤410，利用训练子集中的训练数据对网络模型进行训练时，确定当前训练的迭代次数。

步骤420，根据当前训练的迭代次数，交叉选择不同的损失函数对网络模型中的参数进行更新。

即，当目前的训练子集中的多组训练数据中，每一次利用一组数据对网络模型进行训练，每执行有一次，记一次迭代次数。那么k-1组训练数据分别对网络模型进行训练时，则可以确定迭代次数包括k-1次。在每次执行当前次的迭代之前，可以事先确定本次迭代的次数。例如目前是第5 次迭代，则可以根据第5次迭代确定需要选择的损失函数对网络模型的采纳数进行更新。

在一个具体的例子中，可以根据迭代次数为奇数次或者为偶数次，选择不同的损失函数对网络模型中的参数进行迭代更新。具体参见图5所示。图5中使出了根据迭代次数不同，交叉选择不同的损失函数对网络模型中的参数进行更新的流程示例。以损失函数包括三元组损失函数、交叉熵损失函数以及Arcface损失函数为例进行说明。

当迭代次数为奇数次时，可以选择Arcface损失函数和交叉熵损失函数对网络模型中的参数进行更新。因为这两种损失函数对样本数据没有什么要求，所以可以随机选取n张图片执行训练即可。

当迭代次数为偶数次时，则选择三元组损失函数和交叉熵损失函数对网络模型中的参数进行更新。

考虑到三元组损失函数对于样本数据有一定的要求，因此需要从训练集中选出P个人，每个人选出m张图片作为输入的样本数据来计算损失。并根据这两种损失更新网络参数。具体的计算损失的过程以及更新网络参数的过程可以通过已有的技术实现，这里不再赘述。

需要说明的是，在本实施例中，不论是奇数迭代次数，还是偶数迭代次数，都是采用两种损失函数。而在实际应用中，可以选择一种或多种损失函数。而且，选择交叉损失函数的机制不局限于是奇数次迭代次数，或者是偶数次迭代次数，也可以考虑迭代次数的倍数，例如2次的倍数，当迭代次数为2次时，选择其中某些损失函数更新网络模型的参数。当迭代次数为4次时，选择其他损失函数更新网络模型的参数等。而从训练集中选择图片则可以根据损失函数的需求进行选择。以上，仅为列举有限实例说明本发明的上述技术方案，并不代表只有上述所列举的有限方式，其他可实现方式依然在本申请实施例所包含的范围内。

选择损失函数计算损失值，来对网络模型的参数进行更新的目的就是为了增加模型表达能力，以保证最终获取的教师网络性能更佳。

可选的，在本发明的另一个实施例中，考虑到多个教师网络模型所输出的第一个高维图像特征之间可能存在一些差异。为了去除这些差异，该方法还可以包括：

对第一高维图像特征执行归一化处理，以便后续将同一训练图像经过归一化处理后的高维图像特征进行融合，获取融合特征。

具体的归一化处理公式参见如下：

其中，x为第一高维图像特征的维度。

经过归一化处理后的高维图像特征进行融合，整体流程具体参见图6 所示，包括：

人体裁剪图片，将人体裁剪图片分别输入到骨干网络中，将骨干网络输出的第一高维图像特征进行L2归一化。然后将经过L2归一化后的高维图像特征进行特征融合。

L2归一化，可以保证所有第一高维图像特征体现形式统一化，更加规范。

在另一个可选的实施例中，在上述任一实施例的基础上，本发明实施例还提供了另一种特征提取模型的优化方法，在该方法中，将详细说明如何根据降维特征和第二高维图像特征，对学生网络模型进行优化，具体参见图7所示，该方法包括：

步骤710，确定降维特征和第二高维图像特征之间的损失；

步骤720，利用损失对学生网络模型进行优化。

具体的，通过计算降维特征和第二高维图像特征之间的损失，例如欧式距离，亦或是余弦相似度等。并根据损失对学生网络模型中的参数进行迭代优化，可以使得学生网络模型的计算量以及参数等量级与单个网络模型的量级基本相同，但是其性能因为接近于多个教师网络模型集成的效果，所以会明显优于单个网络模型。而且，因为计算量相较于多个教师网络模型而言明显降低，自然预测速度不会降低，而且也不会增加推理成本。即，在提升模型精度的同时，不降低模型的预测速度，以及不增加推理成本。

图8示意出通过学生网络模型提取第二高维图像特征，以及与降维特征计算损失函数，并完成对学生网络模型中的参数更新的一个示例性的方法流程示意图。

具体包括获取固定尺寸的人体图片输入到学生网络模型中提取特征，获取第二高维图像特征。降维特征与第二高维特征计算损失，利用损失对学生网络模型的参数进行更新。

以上，为本申请所提供的多特征提取模型优化几个方法实施例，下文中则介绍说明本申请所提供的多特征提取模型优化其他实施例，具体参见如下。

图9为本发明实施例提供的一种多特征提取模型优化装置结构示意图，该装置包括：处理模块901、提取模块902、融合模块903、降维模块904，以及优化模块905。

处理模块901，用于获取多个教师网络模型；

提取模块902，用于提取每一个教师网络模型中的骨干网络；利用每一个骨干网络，分别提取训练图像中的第一高维图像特征；

融合模块903，用于将训练图像的多个第一高维图像特征进行融合，获取融合特征；

降维模块904，用于对融合特征进行降维，获取降维特征；

处理模块901，还用于将训练图像输入到学生网络模型中，获取训练图像的第二高维图像特征；

优化模块905，根据降维特征和第二高维图像特征，对学生网络模型进行优化。

可选的，处理模块901，具体用于：

获取样本数据后，对样本数据划分为多组；

将多组样本数据中的每一组样本数据均作为一次验证集，其余样本数据作为训练集，构成多个训练子集；

分别利用每一个训练子集，训练一个网络模型，最终获取多个教师网络模型。

可选的，处理模块901，具体用于：

利用训练子集中的训练数据对网络模型进行训练时，确定当前训练的迭代次数；

根据当前训练的迭代次数，交叉选择不同的损失函数对网络模型中的参数进行更新，其中，每次选择的损失函数包括至少一种。

可选的，提取模块902具体用于，从教师网络模型中，去除教师网络模型的全连接层，获取骨干网络。

可选的，优化模块905具体用于，确定降维特征和第二高维图像特征之间的损失；

利用损失对学生网络模型进行优化。

可选的，处理模块901，还用于对第一高维图像特征执行归一化处理，以便后续将同一训练图像的经过归一化处理后的高维图像特征进行融合，获取融合特征。

本发明实施例提供的一种多特征提取模型优化装置中各部件所执行的功能均已在上述任一方法实施例中做了详细的描述，因此这里不再赘述。

本发明实施例提供的一种多特征提取模型优化装置，获取多个教师网络模型，然后提取每个教师网络模型中的骨干网络，利用每一个骨干网络，分别提取训练图像中的第一高维图像特征，将同一训练图像对应的多个第一高维图像特征进行融合，获取融合特征。融合特征集成了多个教师网络模型的输出结果，相较于单个教师网络模型的输出结果，将会更加全面。融合特征是一个k乘以第一高维图像特征维度的“超高维”图像特征，为了后续降低计算量，还需要对其进行降维处理。以此来对数据进行压缩和消除冗余，提取信息的主要成分。将训练图像输入到学生网络模型中，获取与训练图像对应的第二高维图像特征，然后根据降维特征和第二高维图像特征，对学生网络模型进行优化训练，最终使得学生网络模型的性能能够接近甚至达到多个教师网络模型集成的效果。但是，单个学生网络模型的计算量以及参数量等都是单个网络模型的量级，其模型的预测速度接近多个教师网络模型集成的预测速度，但是其推理成本则是单个网络模型的推理成本。因此，本申请所优化的学生网络模型可以达到在提升模型预测速度的同时，不增加推理成本。

如图10所示，本申请实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口 112，存储器113通过通信总线114完成相互间的通信。

存储器113，用于存放计算机程序；

在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的特征提取模型优化方法，包括：

获取多个教师网络模型；

提取每一个教师网络模型中的骨干网络；

利用每一个骨干网络，分别提取训练图像中的第一高维图像特征；

将训练图像的多个第一高维图像特征进行融合，获取融合特征；

对融合特征进行降维，获取降维特征；

将训练图像输入到学生网络模型中，获取训练图像的第二高维图像特征；

根据降维特征和第二高维图像特征，对学生网络模型进行优化。

可选的，获取样本数据后，对样本数据划分为多组；

将多组样本数据中的每一组样本数据均作为一次验证集，其余样本数据作为训练集，构成多个训练子集；

分别利用每一个训练子集，训练一个网络模型，最终获取多个教师网络模型。

可选的，利用训练子集中的训练数据对网络模型进行训练时，确定当前训练的迭代次数；

根据当前训练的迭代次数，交叉选择不同的损失函数对网络模型中的参数进行更新，其中，每次选择的损失函数包括至少一种。

可选的，从教师网络模型中，去除教师网络模型的全连接层，获取骨干网络。

可选的，确定降维特征和第二高维图像特征之间的损失；

利用损失对学生网络模型进行优化。

可选的，对第一高维图像特征执行归一化处理，以便后续将同一训练图像的经过归一化处理后的高维图像特征进行融合，获取融合特征。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述任意一个方法实施例提供的特征提取模型优化方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种特征提取模型优化方法，其特征在于，所述方法包括：

获取多个教师网络模型；

提取每一个所述教师网络模型中的骨干网络；

利用每一个所述骨干网络，分别提取训练图像中的第一高维图像特征；

将所述训练图像的多个所述第一高维图像特征进行融合，获取融合特征；

对所述融合特征进行降维，获取降维特征；

将所述训练图像输入到学生网络模型中，获取所述训练图像的第二高维图像特征；

根据所述降维特征和所述第二高维图像特征，对学生网络模型进行优化。

2.根据权利要求1所述的方法，其特征在于，所述获取多个教师网络模型，具体包括：

获取样本数据后，对所述样本数据划分为多组；

将多组所述样本数据中的每一组样本数据均作为一次验证集，其余样本数据作为训练集，构成多个训练子集；

分别利用每一个训练子集，训练一个网络模型，最终获取多个所述教师网络模型。

3.根据权利要求2所述的方法，其特征在于，所述分别利用每一个训练子集，训练一个网络模型时，所述方法还包括：利用所述训练子集中的训练数据对所述网络模型进行训练时，确定当前训练的迭代次数；

根据当前训练的迭代次数，交叉选择不同的损失函数对所述网络模型中的参数进行更新，其中，每次选择的损失函数包括至少一种。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述提取每一个所述教师网络模型中的骨干网络，具体包括：

从所述教师网络模型中，去除所述教师网络模型的全连接层，获取所述骨干网络。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述降维特征和所述第二高维图像特征，对学生网络模型进行优化，具体包括：

确定所述降维特征和所述第二高维图像特征之间的损失；

利用所述损失对所述学生网络模型进行优化。

6.一种多特征提取模型优化装置，其特征在于，所述装置包括：

处理模块，用于获取多个教师网络模型；

提取模块，用于提取每一个所述教师网络模型中的骨干网络；利用每一个所述骨干网络，分别提取训练图像中的第一高维图像特征；

融合模块，用于将所述训练图像的多个所述第一高维图像特征进行融合，获取融合特征；

降维模块，用于对所述融合特征进行降维，获取降维特征；

所述处理模块，还用于将所述训练图像输入到学生网络模型中，获取所述训练图像的第二高维图像特征；

优化模块，根据所述降维特征和所述第二高维图像特征，对学生网络模型进行优化。

7.根据权利要求6所述的装置，其特征在于，所述处理模块，具体用于：

获取样本数据后，对所述样本数据划分为多组；

将多组所述样本数据中的每一组样本数据均作为一次验证集，其余样本数据作为训练集，构成多个训练子集；

分别利用每一个训练子集，训练一个网络模型，最终获取多个所述教师网络模型。

8.根据权利要求6或7所述的装置，其特征在于，所述处理模块，具体用于：

利用所述训练子集中的训练数据对所述网络模型进行训练时，确定当前训练的迭代次数；

根据当前训练的迭代次数，交叉选择不同的损失函数对所述网络模型中的参数进行更新，其中，每次选择的损失函数包括至少一种。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一项所述的特征提取模型优化方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的特征提取模型优化方法的步骤。

Images