CN114882307A - 分类模型训练和图像特征提取方法及装置 - Google Patents

Abstract

本申请公开了一种分类模型训练和图像特征提取方法及装置。本申请包括：依次获取最新的训练样本集合，通过每次获取到的训练样本集合中的样本图像训练出对应的第一特征提取模型；根据每次训练出的第一特征提取模型输出的对应样本图像的描述值，从当前训练样本集合中筛选出目标样本集合并对训练样本集合进行更新，确定每次筛选出的目标样本集合对应的目标特征提取模型，目标特征提取模型为第一特征提取模型或第二特征提取模型，第二特征提取模型由目标样本集合训练得到；基于多次训练得到的目标特征提取模型和对应的目标样本集合，训练得到数据分类模型。本申请解决了现有技术不适用于提取复杂场景图像的特征的问题，提高特征提取方法的适用性。

Description

分类模型训练和图像特征提取方法及装置

技术领域

本申请涉及图像技术领域，尤其涉及一种分类模型训练和图像特征提取方法及装置。

背景技术

随着图像处理技术的快速发展，图像特征提取技术越发成熟，图像特征数据被广泛应用于各种图像处理任务中，如三维地图重建、目标检测和类型识别等。图像特征提取是图像处理任务中的重要环节之一，有效特征数据是图像处理任务成功的关键。

目前提取图像中的有效特征数据时，不对图像进行分类，而是直接通过深度学习模型从图像中提取特征数据。当图像数据集覆盖的数据类型较广泛时，该深度学习模型只能提取到特定类型图像中的有效特征数据。而其余图像的特征数据并不能准确表达图像中的信息，影响特征数据的提取结果，降低图像处理任务的成功率。因此直接通过深度学习模型进行特征提取的方案不适用于复杂场景图像的特征提取。

发明内容

本申请提供一种分类模型训练和图像特征提取方法及装置，解决了现有技术不适用于提取复杂场景图像的特征的问题，提高特征提取方法的适用性，高效提取各种复杂场景图像的有效特征数据，提高图像处理任务的成功率。

第一方面，本申请提供了一种分类模型训练方法，包括：

依次获取最新的训练样本集合，通过每次获取到的训练样本集合中的样本图像训练出对应的第一特征提取模型；

根据每次训练出的第一特征提取模型输出的对应样本图像的描述值，从当前训练样本集合中筛选出目标样本集合并对所述训练样本集合进行更新，确定每次筛选出的目标样本集合对应的目标特征提取模型，所述目标特征提取模型为第一特征提取模型或第二特征提取模型，所述第二特征提取模型由所述目标样本集合训练得到；

基于多次训练得到的目标特征提取模型和对应的目标样本集合，训练得到数据分类模型。

第二方面，本申请提供了一种图像特征提取方法，包括：

获取待提取特征的图像数据，将所述图像数据输入预设的数据分类模型中，得到所述数据分类模型输出的分类结果；其中，所述数据分类模型通过第一方面所述的分类模型训练方法训练得到；

根据所述分类结果确定所述图像数据对应的目标样本集合，将所述目标样本集合对应的目标特征提取模型确定为所述图像数据对应的目标特征提取模型；其中，所述目标特征提取模型通过第一方面所述的分类模型训练方法训练得到；

将所述图像数据输入对应的目标特征提取模型中，得到所述目标特征提取模型输出的所述图像数据的特征信息。

第三方面，本申请提供了一种分类模型训练装置，包括：

第一训练模块，被配置为依次获取最新的训练样本集合，通过每次获取到的训练样本集合中的样本图像训练出对应的第一特征提取模型；

第二训练模块，被配置为根据每次训练出的第一特征提取模型输出的对应样本图像的描述值，从当前训练样本集合中筛选出目标样本集合并对所述训练样本集合进行更新，确定每次筛选出的目标样本集合对应的目标特征提取模型，所述目标特征提取模型为第一特征提取模型或第二特征提取模型，所述第二特征提取模型由所述目标样本集合训练得到；

第三训练模块，被配置为基于多次训练得到的目标特征提取模型和对应的目标样本集合，训练得到数据分类模型。

第四方面，本申请提供了一种图像特征提取装置，包括：

数据分类模块，被配置为获取待提取特征的图像数据，将所述图像数据输入预设的数据分类模型中，得到所述数据分类模型输出的分类结果；其中，所述数据分类模型通过第一方面所述的分类模型训练方法训练得到；

第一模型确定模块，被配置为根据所述分类结果确定所述图像数据对应的目标样本集合，将所述目标样本集合对应的目标特征提取模型确定为所述图像数据对应的目标特征提取模型；其中，所述目标特征提取模型通过第一方面所述的分类模型训练方法训练得到；

第一特征提取模块，被配置为将所述图像数据输入对应的目标特征提取模型中，得到所述目标特征提取模型输出的所述图像数据的特征信息。

第五方面，本申请提供了一种电子设备，包括：

一个或多个处理器；存储装置，存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的分类模型训练方法或如第二方面所述的图像特征提取方法。

第六方面，本申请提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面的分类模型训练方法或第二方面所述的图像特征提取方法。

本申请通过第一特征提取模型输出的描述值，将第一特征提取模型可以提取到有效特征信息的样本图像划分至目标样本集合中，目标样本集合中的样本图像中的有效特征信息分布于第一特征提取模型重点关注的分布区域，因此第一特征提取模型可作为目标样本集合对应的目标特征提取模型，以用于重点提取目标样本集合中样本图像的有效特征信息所在的分布区域的特征信息。第二特征提取模型是基于目标样本集合训练得到的，其着重训练对目标样本集合中样本图像的有效特征信息所在分布区域进行特征提取，模型更加收敛。对于训练样本集合筛选出目标样本集合后剩余的样本图像，这部分样本图像的有效特征信息分布在其他分布区域，在后续目标特征提取模型训练过程中，可训练出重点关注其他分布区域的目标特征提取模型，实现多种目标特征提取模型的训练，以便后续通过多种目标特征提取模型从各种类型的图像数据中提取到有效特征信息。目标特征提取模型对应的目标样本集合中的样本图像属于同一数据类型，因此可将样本图像所属的目标样本集合作为该样本图像的标签信息，通过多个目标样本集合训练出数据分类模型，以便后续根据数据分类模型确定与图像数据的特征信息类型相类似的目标样本集合，并通过目标样本集合对应的目标特征提取模型提取到图像数据中的有效特征信息，保证特征信息的可靠性，提高图像处理任务的成功率。通过多种目标特征提取模型可高效提取各种复杂场景图像的有效特征数据，提高特征提取方法的适用性。

附图说明

图1是本申请实施例提供的一种分类模型训练方法的流程图；

图2是本申请实施例提供的通过训练样本集合训练目标特征提取模型的流程图；

图3是本申请实施例提供的划分每一批次的训练样本集合的流程图；

图4是本申请实施例提供的通过目标样本集合训练目标特征提取模型的流程图；

图5是本申请实施例提供的第一特征提取模型和第二特征提取模型的损失值的示意图；

图6是本申请实施例提供的数据分类模型训练阶段的流程图；

图7是本申请实施例提供的一种图像特征提取方法的流程图；

图8是本申请实施例提供的提取图像序列的特征信息的流程图；

图9为本申请实施例提供的一种分类模型训练装置的结构示意图；

图10为本申请实施例提供的一种图像特征提取装置的结构示意图；

图11是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

本实施例中提供的分类模型训练方法可以由分类模型训练设备执行，图像特征提取方法可以由图像特征提取设备执行，分类模型训练设备和图像特征提取设备可以是同一电子设备，也可以是不同的电子设备。该电子设备可以通过软件和/或硬件的方式实现，该电子设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。例如该电子设备可以是服务器等运算能力较强的设备，也可以是采集图像数据的智能设备。

该电子设备安装有至少一类操作系统，其中，操作系统包括但不限定于安卓系统、Linux系统及Windows系统。该电子设备可以基于操作系统安装至少一个应用程序，应用程序可以为操作系统自带的应用程序，也可以为从第三方设备或者服务器中下载的应用程序，实施例中，该电子设备至少按照有可以执行分类模型训练方法和/或图像特征提取方法的应用程序，因此，电子设备也可以是应用程序本身。

为便于理解，本实施例以服务器为执行分类模型训练方法和图像特征提取方法的主体为例，进行描述。

在一实施例中，以图像处理任务为测绘区域的三维地图重建为例进行描述。示例性的，无人设备采集测绘区域的遥感影像数据，并根据遥感影像数据的特征信息构建测绘区域的三维地图为例进行描述。遥感影像数据中的特征信息的精度直接影响到三维地图的精度。传统图像特征提取方法是通过深度学习模型提取遥感影像数据中的特征数据。由于不同类型的图像数据中的有效特征区域不同，使用深度学习模型这类只能提取到单一类型的特征数据的特征提取方法时，会重点关注对应类型中的有效特征区域，导致遥感影像数据中只有部分图像的特征数据能够有效表达出对应图像中的图像信息。而其余图像的特征数据因深度学习模型重点关注的特征区域包括无关或不重要信息，导致该特征数据不能准确表达对应图像中的图像信息。因此当测绘区域的地域跨度较大，图像数据集覆盖的数据类型较广泛时，传统图像特征提取方法存在特征数据的提取结果差等问题，降低了图像处理任务的成功率。

为解决上述问题，本实施例提供了一种分类模型训练方法和图像特征提取方法，以优化特征提取的提取结果，提高图像处理任务的成功率。

图1给出了本申请实施例提供的一种分类模型训练方法的流程图。如图1所示，该分类模型训练方法具体包括：

S110、依次获取最新的训练样本集合，通过每次获取到的训练样本集合中的样本图像训练出对应的第一特征提取模型，根据每次训练出的第一特征提取模型输出的对应样本图像的描述值，从当前训练样本集合中筛选出目标样本集合并对训练样本集合进行更新，确定每次筛选出的目标样本集合对应的目标特征提取模型，目标特征提取模型为第一特征提取模型或第二特征提取模型，第二特征提取模型由目标样本集合训练得到。

其中，训练样本集合包括多个样本图像，样本图像为训练阶段用于训练目标特征提取模型的图像数据。示例性的，无人设备可事先通过多个飞行架次采集的遥感图像数据，并将该遥感图像数据作为样本图像。在本实施例中，通过分批训练多个目标特征提取模型，每一批次对应一个训练样本集合，基于每一批次的训练样本集合训练出一个目标特征提取模型。其中，下一批次的训练样本集合对应从上一批次的训练样本集合中获取，因此每一批次训练时都会获取到新的训练样本集合。

在一实施例中，事先获取总训练样本集合，通过总训练样本集合进行第一批次训练后得到第一个目标特征提取模型，从总训练样本集合中筛选出目标样本集合，将总训练样本集合中剩余的样本图像更新为第二批次的训练样本集合，以通过更新后的训练样本集合训练出第二个目标特征提取模型，依次类推，直至目标特征提取模型的数量等于预设数量。其中，目标样本集合可看作包括同一数据类型的样本图像的集合，目标特征提取模型为一种神经网络模型，其用于重点关注对应目标样本集合中的样本图像的有效特征信息的分布区域。可理解，每一批次用于训练目标特征提取模型的样本图像是不同的，每一批次对应训练出一种图像数据类型对应的目标特征提取模型，多个批次后可训练出多种图像数据类型对应的目标特征提取模型。相应的，在图像特征提取过程中，如果待提取特征的图像数据的数据类型与某一目标样本集合中的样本图像的数据类型相同，即图像数据中有效特征信息的分布区域与同一类型的样本图像中的有效特征信息的分布区域相同。那么通过对应的目标样本集合的目标特征提取模型提取图像数据中的特征信息时，目标特征提取模型会重点关注其有效特征信息所在的区域，进而目标特征提取模型会提取到该图像数据的有效特征信息。

本实施例提供了两种生成目标特征提取模型的实现方式，第一种是将训练样本集合训练出的第一特征提取模型作为目标特征提取模型，第二种是将目标样本集合训练出的第二特征提取模型作为目标特征提取模型。通过以下实施例分别描述两种实现方式的具体步骤。

在将训练样本集合训练出的第一特征提取模型作为目标特征提取模型的实施例中，图2是本申请实施例提供的通过训练样本集合训练目标特征提取模型的流程图。如图2所示，通过训练样本集合训练目标特征提取模型的步骤具体包括S1101-S1105：

S1101、通过当前训练样本集合中的样本图像对预设的第一神经网络模型进行训练，得到当前第一特征提取模型。

其中，第一神经网络模型由卷积网络构成，卷积网络可用于提取图像数据中深度特征。在每一批次通过对应的训练样本集合对同一第一神经网络模型进行训练，在网络模型结构不变的情况下，通过网络模型参数的差异性反应每一批次的第一特征提取模型的差异性。通过第一特征提取模型对应的模型参数规定模型对图像各区域的关注度，进而体现出不同批次的第一特征提取模型提取到的特征信息的差异性。

示例性的，在第一批次的训练阶段，将总训练样本集合作为第一批次的训练样本集合D1。对训练样本集合D1中的每一样本图像进行初始化，如赋予每一样本图像同一初始权重值，并通过初始化后的样本图像训练第一神经网络模型。其中，将初始化后的样本图像输入第一神经网络模型，得到第一神经网络模型输出的特征信息和描述值，该描述值可以是损失值或置信度值等。根据第一神经网络模型输出的特征信息和描述值调整模型参数，以将第一神经网络模型训练成重点关注描述值较高的样本图像的特征信息的分布区域，得到第一批次的第一特征提取模型M1。

S1102、将当前训练样本集合中的每一样本图像输入当前第一特征提取模型，得到当前第一特征提取模型输出的对应样本图像的描述值。

示例性的，将样本图像输入第一特征提取模型M1，得到第一特征提取模型M1输出的特征信息和描述值。由于第一特征提取模型M1重点关注图像中的某一分布区域的特征信息，当第一特征提取模型M1从重点关注的分布区域中提取到样本图像的有效特征信息时，第一特征提取模型M1会输出较高的描述值。相反的，当第一特征提取模型M1从重点关注的分布区域中提取到样本图像的无效特征信息时，第一特征提取模型M1会输出较低的描述值。因此，通过样本图像的描述值可确定样本图像的有效特征信息是否分布于第一特征提取模型重点关注的分布区域，进而确定样本图像的数据类型是否为第一特征提取模型对应的数据类型。

S1103、根据描述值从当前训练样本集合中筛选出当前目标样本集合，并将当前训练样本集合剩余的样本图像更新为下一次训练的训练样本集合，目标样本集合中的样本图像的描述值大于剩余的样本图像的描述值。

示例性的，当样本图像的数据类型为第一特征提取模型M1对应的数据类型时，可将样本图像划分至第一批次的目标样本集合D1’中，以便后续通过目标样本集合和对应的目标特征提取模型训练数据分类模型。当样本图像的数据类型不为第一特征提取模型M1对应的数据类型时，可将样本图像划分至第二批次的训练样本集合D2中，以便后续训练出不同数据类型对应的目标特征提取模型。

在一实施例中，设置描述值阈值，描述值阈值可理解为每一批次的目标样本集合中的样本图像的最低描述值。当样本图像的描述值大于描述值阈值时，确定该样本图像属于对应批次的目标样本集合，当样本图像的描述值小于或等于描述值阈值时，确定该样本图像不属于对应批次的目标样本集合。示例性的，根据描述值阈值将训练样本集合D1划分为第一批次的目标样本集合D1’和第二批次的训练样本集合D2。在该实施例中，以描述平均值作为描述值阈值划分每一批次的训练样本集合。图3是本申请实施例提供的划分每一批次的训练样本集合的流程图。如图3所示，划分每一批次的训练样本集合的步骤具体包括S11031-S11032：

S11031、根据当前训练样本集合中每一样本图像的描述值，计算当前训练样本集合的描述平均值。

以描述值为置信度值为例进行描述。将第一批次的训练样本集合D1中每一样本图像的置信度值求和再除以样本图像数量，得到置信度平均值V_avg。

S11032、将描述值大于描述平均值的样本图像划分至当前目标样本集合，将描述值小于或等于描述平均值的样本图像划分至下一次训练的训练样本集合。

示例性的，将置信度值大于V_avg的样本图像划分至第一批次的目标样本集合D1’，将置信度值小于或等于V_avg的样本图像划分至第二批次的训练样本集合D2。

在另一实施例中，利用高斯分布拟合第一批次的训练样本集合D1中每个样本图像的置信度分布均值mu和方差sigma，计算样本图像的置信度是否在整体分布(mu-0.5*sigma，mu+0.5*sigma)的范围内。如果在则将该样本图像划分至第一批次的目标样本集合D1’，如果不在则将该样本图像划分至第二批次的训练样本集合D2。

S1104、将当前第一特征提取模型设置为当前筛选出的目标样本集合对应的目标特征提取模型。

示例性的，由于目标样本集合中的样本图像是基于第一特征提取模型输出的描述值进行划分的，即目标样本集合中的样本图像的有效特征信息所在的分布区域，正好是第一特征提取模型重点关注的分布区域。因此可将第一特征提取模型作为目标样本集合对应的目标特征提取模型，以用于重点提取目标样本集合中这类样本图像的有效特征信息所在的分布区域的特征信息，优化各种数据类型的特征提取的效果。

S1105、确定第一特征提取模型的数量小于预设数量时，通过下一批次的训练样本集合训练出下一批次的第一特征提取模型，直至第一特征提取模型的数量等于预设数量。

假设预设数量为N，N>1。示例性的，在获取到第一批次的第一特征提取模型M1和目标样本集合D1’后，通过第二批次的训练样本集合D2训练出第二批次的第一特征提取模型M2，并将第二批次训练得到的第一特征提取模型M2作为目标特征提取模型。示例性的，对第二批次的训练样本集合D2中的样本图像赋予同一权重值，并通过权重处理后的样本图像训练第一神经网络模型，得到第二批次的第一特征提取模型M2。将第二批次的训练样本集合D2的样本图像输入第二批次的第一特征提取模型M2中，得到第二批次的第一特征提取模型M2输出的描述值。根据描述值将第二批次的训练样本集合D2划分为第二批次的目标样本集合D2’和第三批次的训练样本集合D3。以此类推，在第i批次的训练阶段时，通过第i批次的训练样本集合Di训练出第i批次的第一特征提取模型Mi，并将第i批次训练样本集合Di输入第i批次第一特征提取模型Mi，根据第i批次的第一特征提取模型Mi输出的描述值，确定第i批次的目标样本集合Di’和第i+1批次的训练样本集合Di+1。当i＝N时，获取到第N批次的第一特征提取模型M_N和目标样本集合D_N’后，停止训练。

在将目标样本集合训练出的第二特征提取模型作为目标特征提取模型的实施例中，图4是本申请实施例提供的通过目标样本集合训练目标特征提取模型的流程图。如图4所示，通过目标样本集合训练目标特征提取模型的步骤具体包括S1106-S1110：

S1106、通过当前训练样本集合中的样本图像对预设的第一神经网络模型进行训练，得到当前第一特征提取模型。

S1107、将当前训练样本集合中的每一样本图像输入当前第一特征提取模型，得到当前第一特征提取模型输出的对应样本图像的描述值。

S1108、根据描述值从当前训练样本集合中筛选出当前目标样本集合，并将当前训练样本集合剩余的样本图像更新为下一次训练的训练样本集合，目标样本集合中的样本图像的描述值大于剩余的样本图像的描述值。

示例性的，步骤S1106-步骤S1108可参考步骤S1101-S1103。需要说明的，本实施例中的第一特征提取模型是用于筛选目标样本集合的模型，而非目标特征提取模型。

S1109、通过当前筛选出的目标样本集合对预设的第一神经网络模型进行训练，得到当前第二特征提取模型，并将当前第二特征提取模型设置为当前筛选出的目标样本集合对应的目标特征提取模型。

示例性的，通过第i批次的目标样本集合Di’训练第一神经网络模型，得到第i批次的第二特征提取模型Mi’，并将第i批次的第二特征提取模型Mi’作为第i批次的目标样本集合对应的目标特征提取模型。

S1110、确定第二特征提取模型的数量小于预设数量时，从最新生成的训练样本集合中获取下一批次的目标样本集合，并基于下一批次的目标样本集合训练出下一批次的第二特征提取模型，直至第二特征提取模型的数量等于预设数量。

示例性的，通过第i批次的训练样本集合Di训练出第i批次的第一特征提取模型Mi，并将训练样本集合Di中的样本图像输入第一特征提取模型Mi，得到第一特征提取模型Mi输出的描述值。根据该描述值将训练样本集合Di划分为第i+1批次的训练样本集合Di+1和第i批次的目标样本集合Di’。通过第i批次的目标样本集合Di’训练出第i批次的第二特征提取模型Mi’，并将第二特征提取模型Mi’作为第i批次的目标特征提取模型。当i＝N时，获取到第N批次的第二特征提取模型M_N’和目标样本集合D_N’后，停止训练。

图5是本申请实施例提供的第一特征提取模型和第二特征提取模型的损失值的示意图。如图5所示，在第i批次的目标特征提取模型中，第一特征提取模型Xi的损失值Li大于第二特征提取模型Xi’的损失值Li’。其中，损失值可以表征模型的收敛程度，损失值越大收敛程度越小，损失值越小，收敛程度越大，因此第二特征提取模型Xi’比第一特征提取模型Xi更加收敛，第二特征提取模型Xi’更能描述对应目标样本集合Di’的特征信息。

S120、基于多次训练得到的目标特征提取模型和对应的目标样本集合，训练得到数据分类模型。

其中，数据分类模型为用于确定图像数据的数据类型的神经网络模型。示例性的，数据分类模型包括卷积网络和全连接层，通过卷积网络提取图像数据中的特征信息并将特征信息输入全连接层，通过全连接层根据特征信息输出图像数据的分类结果。

在该实施例中，目标特征提取模型对应的目标样本集合中的样本图像属于同一数据类型，因此可将样本图像所属的目标样本集合作为该样本图像的标签信息，通过样本图像和对应的标签信息训练第二神经网络模型，得到数据分类模型。

在一实施例中，图6是本申请实施例提供的数据分类模型训练阶段的流程图。如图6所示，数据分类模型训练阶段的步骤具体包括S1201-S1203：

S1201、将样本图像所属的目标样本集合作为对应样本图像的标签信息。

S1202、将样本图像输入预设的第二神经网络模型，得到第二神经网络模型输出的对应样本图像的分类结果。

S1203、根据样本图像对应的分类结果和标签信息，调整第二神经网络模型的参数，得到数据分类模型。

本实施例以目标特征提取模型为第二特征提取模型为例进行描述。经过分批训练多个目标特征提取模型后，得到各个目标特征提取模型(M1’，M2’，…，M_N’)对应的目标样本集合{D1’，D2’，…，D_N’}。通过目标样本集合中的样本图像训练出数据分类模型Mc。

在另一实施例中，在第N批次的训练阶段，还获取到了第N批次除目标样本集合D_N’以外的样本图像，将这些样本图像划分至困难样本集合D_N+1’中。通过目标样本集合{D1’，D2’，…，D_N’}和困难样本集合D_N+1’中的样本图像训练出数据分类模型Mc。在数据分类模型训练阶段，将样本图像输入第二神经网络模型，得到第二神经网络模型输出的分类结果。将样本图像的分类结果和对应的标签信息代入预设的损失函数，根据损失函数输出的损失结果调整第二神经网络模型的模型参数。当第二神经网络模型收敛或迭代次数达到上限时，完成训练并获取到数据分类模型Mc。

在该实施例中，将图像数据输入数据分类模型Mc，数据分类模型Mc确定该图像数据属于困难样本集合D_N+1’，即图像数据不属于任一目标样本集合。进而确定该图像数据中不存在有效特征信息，因此可将该图像数据作为无效数据，不提取该图像数据中的特征信息。

在上述实施例的基础上，将分类模型训练方法训练得到的数据分类模型和目标特征提取模型应用到图像特征提取方法中，以提取到图像数据中的有效特征信息。图7是本申请实施例提供的一种图像特征提取方法的流程图。参考图7，该图像特征提取方法具体包括：

S210、获取待提取特征的图像数据，将图像数据输入预设的数据分类模型中，得到数据分类模型输出的分类结果。

在本实施例中，数据分类模型通过步骤S110-S120描述的分类训练方法训练得到。待提取特征的图像数据为无人设备执行测绘任务时采集到的包含有测绘区域的遥感影像数据。无人设备在完成测绘任务后通过蜂窝网络或无线通信将图像数据传输至服务器，服务器接收到图像数据后执行本实施例中的图像特征提取方法，以获取到图像数据中关于测绘区域的特征信息。

在一实施例中，数据分类模型输出的分类结果可以为分类数值，如数据分类模型预先设置五种数据类型，每种数据类型对应一个分类数值范围，如[0，1]、(1，2]、(2，3]、(3，4]和(4，5]。根据数据分类模型输出的分类数值所在的分类数值范围，确定图像数据的数据类型。

S220、根据分类结果确定图像数据对应的目标样本集合，将目标样本集合对应的目标特征提取模型确定为图像数据对应的目标特征提取模型。

在本实施例中，目标特征提取模型通过步骤S110-S120描述的分类训练方法训练得到。

在一实施例中，每一目标样本集合对应一个分类数值范围，根据全连接层输出的分类数值所在的分类数值范围，确定图像数据对应的目标样本集合，进而确定图像数据对应的目标特征提取模型。

S230、将图像数据输入对应的目标特征提取模型中，得到目标特征提取模型输出的图像数据的特征信息。

示例性的，将图像数据输入对应的目标特征提取模型中，通过目标特征提取模型中的卷积网络从图像数据的有效特征信息的分布区域提取深度特征，得到图像数据的有效特征信息。

在上述实施例的基础上，图8是本申请实施例提供的提取图像序列的特征信息的流程图。如图8所示，提取图像序列的特征信息的步骤具体包括S240-S260：

S240、从待提取特征的架次图像集合中获取多个图像数据，将多个图像数据输入数据分类模型，得到数据分类模型输出的分类结果。

其中，架次图像集合是指无人设备在一个架次中采集到的遥感影像数据。示例性的，如果无人设备在一个架次中采集到的图像数据的内容大致相同，那么可从该架次图像集合中挑选出多个图像数据，根据多个图像数据确定该架次图像集合的数据类型，将该数据类型对应的目标特征提取模型提取该架次中的所有图像数据的特征信息。将多个图像数据输入数据分类模型Mc，得到数据分类模型Mc输出的分类数值。其中，如果数据分类模型输出的分数数值对应到困难样本集合，则将该图像数据丢弃。

S250、对多个图像数据的分类结果进行加权处理，得到架次图像集合的分类结果，根据架次图像集合的分类结果确定架次图像集合对应的目标特征提取模型。

示例性的，将多个图像数据的分数数值做加权融合，将加权融合得到的分数数值作为架次图像集合的分类数值。根据该分类数值对应的分数数值范围，确定该分数数值范围对应的目标样本集合中的样本图像与该架次图像集合中的图像数据属于同一数据类型，并确定该目标样本集合对应的目标特征提取模型为对应架次的目标特征提取模型。

S260、将架次图像集合中的每一图像数据输入对应的目标特征提取模型中，得到目标特征提取模型输出的特征信息。

示例性的，将架次图像集合中的所有图像数据输入对应的目标特征提取模型中，得到目标特征提取模型输出的每一图像数据的特征信息。通过本实施例无需确定每一图像数据的数据类型，提高特征信息的提取效率。

综上，本申请实施例提供的分类模型训练方法和图像特征提取方法，通过第一特征提取模型输出的描述值，将第一特征提取模型可以提取到有效特征信息的样本图像划分至目标样本集合中，目标样本集合中的样本图像中的有效特征信息分布于第一特征提取模型重点关注的分布区域，因此第一特征提取模型可作为目标样本集合对应的目标特征提取模型，以用于重点提取目标样本集合中样本图像的有效特征信息所在的分布区域的特征信息。第二特征提取模型是基于目标样本集合训练得到的，其着重训练对目标样本集合中样本图像的有效特征信息所在分布区域进行特征提取，模型更加收敛。对于训练样本集合筛选出目标样本集合后剩余的样本图像，这部分样本图像的有效特征信息分布在其他分布区域，在后续目标特征提取模型训练过程中，可训练出重点关注其他分布区域的目标特征提取模型，实现多种目标特征提取模型的训练，以便后续通过多种目标特征提取模型从各种类型的图像数据中提取到有效特征信息。目标特征提取模型对应的目标样本集合中的样本图像属于同一数据类型，因此可将样本图像所属的目标样本集合作为该样本图像的标签信息，通过多个目标样本集合训练出数据分类模型，以便后续根据数据分类模型确定与图像数据的特征信息类型相类似的目标样本集合，并通过目标样本集合对应的目标特征提取模型提取到图像数据中的有效特征信息，保证特征信息的可靠性，提高图像处理任务的成功率。通过多种目标特征提取模型可高效提取各种复杂场景图像的有效特征数据，提高特征提取方法的适用性。

在上述实施例的基础上，图9为本申请实施例提供的一种分类模型训练装置的结构示意图。参考图9，本实施例提供的分类模型训练装置具体包括：第一训练模块31、第二训练模块32和第三训练模块33：

第一训练模块，被配置为依次获取最新的训练样本集合，通过每次获取到的训练样本集合中的样本图像训练出对应的第一特征提取模型；

第二训练模块，被配置为根据每次训练出的第一特征提取模型输出的对应样本图像的描述值，从当前训练样本集合中筛选出目标样本集合并对训练样本集合进行更新，确定每次筛选出的目标样本集合对应的目标特征提取模型，目标特征提取模型为第一特征提取模型或第二特征提取模型，第二特征提取模型由目标样本集合训练得到；

第三训练模块，被配置为基于多次训练得到的目标特征提取模型和对应的目标样本集合，训练得到数据分类模型。

在上述实施例的基础上，第一训练模块包括：第一模型训练单元，被配置为通过当前训练样本集合中的样本图像对预设的第一神经网络模型进行训练，得到当前第一特征提取模型。

在上述实施例的基础上，第二训练模块包括：描述值确定单元，被配置为将当前训练样本集合中的每一样本图像输入当前第一特征提取模型，得到当前第一特征提取模型输出的对应样本图像的描述值；目标样本集合确定单元，被配置为根据描述值从当前训练样本集合中筛选出当前目标样本集合，并将当前训练样本集合剩余的样本图像更新为下一次训练的训练样本集合，目标样本集合中的样本图像的描述值大于剩余的样本图像的描述值。

在上述实施例的基础上，目标样本集合确定单元包括：描述平均值确定子单元，被配置为根据当前训练样本集合中每一样本图像的描述值，计算当前训练样本集合的描述平均值；样本图像划分子单元，被配置为将描述值大于描述平均值的样本图像划分至当前目标样本集合，将描述值小于或等于描述平均值的样本图像划分至下一次训练的训练样本集合。

在上述实施例的基础上，第二训练模块包括：第一模型设置单元，被配置为将当前第一特征提取模型设置为当前筛选出的目标样本集合对应的目标特征提取模型。

在上述实施例的基础上，第二训练模块包括：第二模型设置单元，被配置为通过当前筛选出的目标样本集合对预设的第一神经网络模型进行训练，得到当前第二特征提取模型，并将当前第二特征提取模型设置为当前筛选出的目标样本集合对应的目标特征提取模型。

在上述实施例的基础上，第三训练模块包括：标签信息确定单元，被配置为将样本图像所属的目标样本集合作为对应样本图像的标签信息；模型分类单元，被配置为将样本图像输入预设的第二神经网络模型，得到第二神经网络模型输出的对应样本图像的分类结果；参数调整单元，被配置为根据样本图像对应的分类结果和标签信息，调整第二神经网络模型的参数，得到数据分类模型。

在上述实施例的基础上，图10为本申请实施例提供的一种图像特征提取装置的结构示意图。参考图10，本实施例提供的图像特征提取装置具体包括：数据分类模块41、第一模型确定模块42和第一特征提取模块43：

数据分类模块，被配置为获取待提取特征的图像数据，将图像数据输入预设的数据分类模型中，得到数据分类模型输出的分类结果；其中，数据分类模型通过上述的分类模型训练方法训练得到；

第一模型确定模块，被配置为根据分类结果确定图像数据对应的目标样本集合，将目标样本集合对应的目标特征提取模型确定为图像数据对应的目标特征提取模型；其中，目标特征提取模型通过上述的分类模型训练方法训练得到；

第一特征提取模块，被配置为将图像数据输入对应的目标特征提取模型中，得到目标特征提取模型输出的图像数据的特征信息。

在上述实施例的基础上，图像特征提取装置还包括：多图获取模块，被配置为从待提取特征的架次图像集合中获取多个图像数据，将多个图像数据输入数据分类模型，得到数据分类模型输出的分类结果；第二模型确定模块，被配置为对多个图像数据的分类结果进行加权处理，得到架次图像集合的分类结果，根据架次图像集合的分类结果确定架次图像集合对应的目标特征提取模型；第二特征提取模块，被配置为将架次图像集合中的每一图像数据输入对应的目标特征提取模型中，得到目标特征提取模型输出的特征信息。

上述，本申请实施例提供的分类模型训练装置和图像特征提取装置，通过第一特征提取模型输出的描述值，将第一特征提取模型可以提取到有效特征信息的样本图像划分至目标样本集合中，目标样本集合中的样本图像中的有效特征信息分布于第一特征提取模型重点关注的分布区域，因此第一特征提取模型可作为目标样本集合对应的目标特征提取模型，以用于重点提取目标样本集合中样本图像的有效特征信息所在的分布区域的特征信息。第二特征提取模型是基于目标样本集合训练得到的，其着重训练对目标样本集合中样本图像的有效特征信息所在分布区域进行特征提取，模型更加收敛。对于训练样本集合筛选出目标样本集合后剩余的样本图像，这部分样本图像的有效特征信息分布在其他分布区域，在后续目标特征提取模型训练过程中，可训练出重点关注其他分布区域的目标特征提取模型，实现多种目标特征提取模型的训练，以便后续通过多种目标特征提取模型从各种类型的图像数据中提取到有效特征信息。目标特征提取模型对应的目标样本集合中的样本图像属于同一数据类型，因此可将样本图像所属的目标样本集合作为该样本图像的标签信息，通过多个目标样本集合训练出数据分类模型，以便后续根据数据分类模型确定与图像数据的特征信息类型相类似的目标样本集合，并通过目标样本集合对应的目标特征提取模型提取到图像数据中的有效特征信息，保证特征信息的可靠性，提高图像处理任务的成功率。通过多种目标特征提取模型可高效提取各种复杂场景图像的有效特征数据，提高特征提取方法的适用性。

本申请实施例提供的分类模型训练装置可以用于执行上述实施例提供的分类模型训练方法，具备相应的功能和有益效果。同样的，本申请实施例提供的图像特征提取装置可以用于执行上述实施例提供的图像特征提取方法，具备相应的功能和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的分类模型训练方法或图像特征提取方法。

图11是本申请实施例提供的一种电子设备的结构示意图。该电子设备可以是分类模型训练设备或图像特征提取设备。参考图11，该电子设备包括：处理器51、存储器52、通信装置53、输入装置54及输出装置55。该电子设备中处理器31的数量可以是一个或者多个，该电子设备中的存储器52的数量可以是一个或者多个。该电子设备的处理器51、存储器52、通信装置53、输入装置54及输出装置55可以通过总线或者其他方式连接。

存储器52作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例的分类模型训练方法或图像特征提取方法对应的程序指令/模块(例如，分类模型训练装置中的第一训练模块31、第二训练模块32和第三训练模块33，或图像特征提取装置中的数据分类模块41、第一模型确定模块42和第一特征提取模块43)。存储器52可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信装置53用于进行数据传输。

处理器51通过运行存储在存储器52中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的分类模型训练方法或图像特征提取方法。

输入装置54可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置55可包括显示屏等显示设备。

上述提供的电子设备可用于执行上述实施例提供的分类模型训练方法或图像特征提取方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行上述的分类模型训练方法或图像特征提取方法。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的分类模型训练方法或图像特征提取方法，还可以执行本申请任意实施例所提供的分类模型训练方法或图像特征提取方法中的相关操作。

上述实施例中提供的存储介质及电子设备可执行本申请任意实施例所提供的分类模型训练方法或图像特征提取方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的分类模型训练方法或图像特征提取方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (13)

1.一种分类模型训练方法，其特征在于，包括：

依次获取最新的训练样本集合，通过每次获取到的训练样本集合中的样本图像训练出对应的第一特征提取模型；

根据每次训练出的第一特征提取模型输出的对应样本图像的描述值，从当前训练样本集合中筛选出目标样本集合并对所述训练样本集合进行更新，确定每次筛选出的目标样本集合对应的目标特征提取模型，所述目标特征提取模型为第一特征提取模型或第二特征提取模型，所述第二特征提取模型由所述目标样本集合训练得到；

基于多次训练得到的目标特征提取模型和对应的目标样本集合，训练得到数据分类模型。

2.根据权利要求1所述的分类模型训练方法，其特征在于，所述依次获取最新的训练样本集合，通过每次获取到的训练样本集合中的样本图像训练出对应的第一特征提取模型，包括：

通过当前训练样本集合中的样本图像对预设的第一神经网络模型进行训练，得到当前第一特征提取模型。

3.根据权利要求1所述的分类模型训练方法，其特征在于，所述根据每次训练出的第一特征提取模型输出的对应样本图像的描述值，从当前训练样本集合中筛选出目标样本集合并对所述训练样本集合进行更新，包括：

将当前训练样本集合中的每一样本图像输入当前第一特征提取模型，得到当前第一特征提取模型输出的对应样本图像的描述值；

根据所述描述值从当前训练样本集合中筛选出当前目标样本集合，并将当前训练样本集合剩余的样本图像更新为下一次训练的训练样本集合，所述目标样本集合中的样本图像的描述值大于剩余的样本图像的描述值。

4.根据权利要求3所述的分类模型训练方法，其特征在于，所述根据所述描述值从当前训练样本集合中筛选出当前目标样本集合，并将当前训练样本集合剩余的样本图像更新为下一次训练的训练样本集合，包括：

根据当前训练样本集合中每一所述样本图像的描述值，计算当前训练样本集合的描述平均值；

将描述值大于所述描述平均值的样本图像划分至当前目标样本集合，将描述值小于或等于所述描述平均值的样本图像划分至下一次训练的训练样本集合。

5.根据权利要求1-4任一所述的分类模型训练方法，其特征在于，所述确定每次筛选出的目标样本集合对应的目标特征提取模型，包括：

将当前第一特征提取模型设置为当前筛选出的目标样本集合对应的目标特征提取模型。

6.根据权利要求1-4任一所述的分类模型训练方法，其特征在于，所述确定每次筛选出的目标样本集合对应的目标特征提取模型，包括：

通过当前筛选出的目标样本集合对预设的第一神经网络模型进行训练，得到当前第二特征提取模型，并将当前第二特征提取模型设置为当前筛选出的目标样本集合对应的目标特征提取模型。

7.根据权利要求1-4任一所述的分类模型训练方法，其特征在于，所述基于多次训练得到的目标特征提取模型和对应的目标样本集合，训练得到数据分类模型，包括：

将所述样本图像所属的目标样本集合作为对应样本图像的标签信息；

将所述样本图像输入预设的第二神经网络模型，得到所述第二神经网络模型输出的对应样本图像的分类结果；

根据所述样本图像对应的分类结果和标签信息，调整所述第二神经网络模型的参数，得到所述数据分类模型。

8.一种图像特征提取方法，其特征在于，包括：

获取待提取特征的图像数据，将所述图像数据输入预设的数据分类模型中，得到所述数据分类模型输出的分类结果；其中，所述数据分类模型通过权利要求1-7任一项所述的分类模型训练方法训练得到；

根据所述分类结果确定所述图像数据对应的目标样本集合，将所述目标样本集合对应的目标特征提取模型确定为所述图像数据对应的目标特征提取模型；其中，所述目标特征提取模型通过权利要求1-7任一项所述的分类模型训练方法训练得到；

将所述图像数据输入对应的目标特征提取模型中，得到所述目标特征提取模型输出的所述图像数据的特征信息。

9.根据权利要求8所述的图像特征提取方法，其特征在于，所述图像特征提取方法，还包括：

从待提取特征的架次图像集合中获取多个图像数据，将所述多个图像数据输入所述数据分类模型，得到所述数据分类模型输出的分类结果；

对所述多个图像数据的分类结果进行加权处理，得到所述架次图像集合的分类结果，根据所述架次图像集合的分类结果确定所述架次图像集合对应的目标特征提取模型；

将所述架次图像集合中的每一图像数据输入对应的目标特征提取模型中，得到所述目标特征提取模型输出的特征信息。

10.一种分类模型训练装置，其特征在于，包括：

第一训练模块，被配置为依次获取最新的训练样本集合，通过每次获取到的训练样本集合中的样本图像训练出对应的第一特征提取模型；

第二训练模块，被配置为根据每次训练出的第一特征提取模型输出的对应样本图像的描述值，从当前训练样本集合中筛选出目标样本集合并对所述训练样本集合进行更新，确定每次筛选出的目标样本集合对应的目标特征提取模型，所述目标特征提取模型为第一特征提取模型或第二特征提取模型，所述第二特征提取模型由所述目标样本集合训练得到；

第三训练模块，被配置为基于多次训练得到的目标特征提取模型和对应的目标样本集合，训练得到数据分类模型。

11.一种图像特征提取装置，其特征在于，包括：

数据分类模块，被配置为获取待提取特征的图像数据，将所述图像数据输入预设的数据分类模型中，得到所述数据分类模型输出的分类结果；其中，所述数据分类模型通过权利要求1-7任一项所述的分类模型训练方法训练得到；

第一模型确定模块，被配置为根据所述分类结果确定所述图像数据对应的目标样本集合，将所述目标样本集合对应的目标特征提取模型确定为所述图像数据对应的目标特征提取模型；其中，所述目标特征提取模型通过权利要求1-7任一项所述的分类模型训练方法训练得到；

第一特征提取模块，被配置为将所述图像数据输入对应的目标特征提取模型中，得到所述目标特征提取模型输出的所述图像数据的特征信息。

12.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的分类模型训练方法或如权利要求8-9任一所述的图像特征提取方法。

13.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的分类模型训练方法或如权利要求8-9任一所述的图像特征提取方法。

Images