CN116012684A - 特征提取方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及一种特征提取方法、装置、电子设备及存储介质，方法包括：提取目标图像的特征图；将所述特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型，得到所述目标图像的通道注意力特征和空间注意力特征；分别利用预设的加权距离特征融合算法和加权乘积特征融合算法，对所述通道注意力特征和所述空间注意力特征进行特征融合，得到加权距离融合特征和加权乘积融合特征；基于所述加权距离融合特征和所述加权乘积融合特征，确定自注意力参数；基于所述特征图和所述自注意力参数，确定所述目标图像的自注意力特征。由此，实现了提高特征提取的精度。

Description

特征提取方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种特征提取方法、装置、电子设备及存储介质。

背景技术

在深度学习卷积神经网络中，一个特征提取模型往往包含很多层(如卷积层，全连接层，池化层等等)，通过多层的堆叠可以实现对输入图像(语音等其他输入)特征的层层提取，从而实现最终的任务目的(如分类，回归等)。

而随着技术发展，为了能更高精度的实现任务目的，研究者们提出了一种注意力机制(Attention Mechanisms)加到网络模型中。Attention源于人类视觉系统，当人类观察外界事物的时候，一般不会把事物当成一个整体去看，往往倾向于根任务目的的需要选择性的去获取被观察事物的某些重要部分，以人脸为例，当我们需要知道眼睛的位置时，我们会把注意力更多的放在眼睛区域，而自动的忽略鼻子、嘴巴、额头、头发等人脸的其他区域，因为相对于眼睛位置的信息，其他部位的信息都是干扰信息，或者说背景信息。

同理，自注意机制可以帮助模型对输入的每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断。

然而，现有的自注意力特征提取方法一般是针对特征图的通道做注意力特征提取或者是针对特征图的空间位置做注意力特征提取，其无法全方面地确定图像每个维度特征的自注意力参数，使得提取的图像的特征精度较低。

发明内容

鉴于此，为解决现有现有的自注意力特征提取方法无法全方面地确定图像每个维度特征的自注意力参数，使得提取的图像的特征精度较低的技术问题，本发明实施例提供一种特征提取方法、装置、电子设备及存储介质。

第一方面，本发明实施例提供一种特征提取方法，所述方法包括：

提取目标图像的特征图；

将所述特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型，得到所述目标图像的通道注意力特征和空间注意力特征；

分别利用预设的加权距离特征融合算法和加权乘积特征融合算法，对所述通道注意力特征和所述空间注意力特征进行特征融合，得到加权距离融合特征和加权乘积融合特征；

基于所述加权距离融合特征和所述加权乘积融合特征，确定自注意力参数；

基于所述特征图和所述自注意力参数，确定所述目标图像的自注意力特征。

作为一个可能的实现方式，利用预设的加权距离特征融合算法对所述通道注意力特征和所述空间注意力特征进行特征融合，得到加权距离融合特征，包括：

确定所述通道注意力特征对应的第一权重值，以及确定所述空间注意力特征对应的第二权重值；

将所述通道注意力特征乘以所述第一权重值，得到第一乘积，并将所述空间注意力特征乘以所述第二权重值，得到第二乘积；

确定所述第一乘积和所述第二乘积的平方和；

对所述平方和进行开方运算，得到加权距离融合特征。

作为一个可能的实现方式，利用预设的加权乘积特征融合算法对所述通道注意力特征和所述空间注意力特征进行特征融合，得到加权乘积融合特征，包括：

确定乘积特征融合权重值；

将所述通道注意力特征、所述空间注意力特征以及所述乘积特征融合权重值进行三者相乘，得到加权乘积融合特征。

作为一个可能的实现方式，所述基于所述加权距离融合特征和所述加权乘积融合特征，确定自注意力参数，包括：

将所述加权距离融合特征和所述加权乘积融合特征进行求和，得到自注意力参数；

或者，将所述加权距离融合特征和所述加权乘积融合特征进行加权求和，得到自注意力参数。

作为一个可能的实现方式，所述通道注意力特征提取模型包括全局平均池化层、全局最大池化层、融合层、全连接层，以及Sigmod算子；将所述特征图输入至训练好的通道注意力特征提取模型，得到所述目标图像的通道注意力特征，包括：

将所述特征图输入至训练好的通道注意力特征提取模型，以由所述全局平均池化层对所述特征图进行全局平均特征提取，得到平均通道特征，并由所述全局最大池化层对所述特征图进行全局最大特征提取，得到最大通道特征，并由所述融合层对所述平均通道特征和所述最大通道特征进行特征融合，得到融合特征，并由所述全连接层和所述Sigmod算子对所述融合特征依次进行处理，得到所述目标图像的通道注意力特征。

作为一个可能的实现方式，所述融合层通过以下方式对所述平均通道特征和所述最大通道特征进行特征融合，得到融合特征：

确定所述平均通道特征对应的第三权重值，以及所述最大通道特征对应的第四权重值；

将所述平均通道特征乘以所述第三权重值，得到第三乘积，并将所述最大通道特征乘以所述第四权重值，得到第四乘积；

将所述第三乘积和所述第四乘积进行求和，得到融合特征。

作为一个可能的实现方式，所述空间注意力特征提取模型包括卷积层、Softmax算子，以及Reshape算子。

第二方面，本发明实施例提供一种特征提取装置，所述装置包括：

提取模块，用于提取目标图像的特征图；

输入模块，用于将所述特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型，得到所述目标图像的通道注意力特征和空间注意力特征；

特征融合模块，用于分别利用预设的加权距离特征融合算法和加权乘积融合算法，对所述通道注意力特征和所述空间注意力特征进行特征融合，得到加权距离融合特征和加权乘积融合特征；

第一确定模块，用于基于所述加权距离融合特征和所述加权乘积融合特征，确定自注意力参数；

第二确定模块，用于基于所述特征图和所述自注意力参数，确定所述目标图像的自注意力特征。

作为一个可能的实现方式，所述特征融合模块，具体用于：

确定所述通道注意力特征对应的第一权重值，以及确定所述空间注意力特征对应的第二权重值；

将所述通道注意力特征乘以所述第一权重值，得到第一乘积，并将所述空间注意力特征乘以所述第二权重值，得到第二乘积；

确定所述第一乘积和所述第二乘积的平方和；

对所述平方和进行开方运算，得到加权距离融合特征。

作为一个可能的实现方式，所述特征融合模块，具体用于：

确定乘积特征融合权重值；

将所述通道注意力特征、所述空间注意力特征以及所述乘积特征融合权重值进行三者相乘，得到加权乘积融合特征。

作为一个可能的实现方式，所述第一确定模块，具体用于：

将所述加权距离融合特征和所述加权乘积融合特征进行求和，得到自注意力参数；

或者，将所述加权距离融合特征和所述加权乘积融合特征进行加权求和，得到自注意力参数。

作为一个可能的实现方式，所述通道注意力特征提取模型包括全局平均池化层、全局最大池化层、融合层、全连接层，以及Sigmod算子；将所述特征图输入至训练好的通道注意力特征提取模型，得到所述目标图像的通道注意力特征，包括：

将所述特征图输入至训练好的通道注意力特征提取模型，以由所述全局平均池化层对所述特征图进行全局平均特征提取，得到平均通道特征，并由所述全局最大池化层对所述特征图进行全局最大特征提取，得到最大通道特征，并由所述融合层对所述平均通道特征和所述最大通道特征进行特征融合，得到融合特征，并由所述全连接层和所述Sigmod算子对所述融合特征依次进行处理，得到所述目标图像的通道注意力特征。

作为一个可能的实现方式，所述融合层通过以下方式对所述平均通道特征和所述最大通道特征进行特征融合，得到融合特征：

确定所述平均通道特征对应的第三权重值，以及所述最大通道特征对应的第四权重值；

将所述平均通道特征乘以所述第三权重值，得到第三乘积，并将所述最大通道特征乘以所述第四权重值，得到第四乘积；

将所述第三乘积和所述第四乘积进行求和，得到融合特征。

作为一个可能的实现方式，所述空间注意力特征提取模型包括卷积层、Softmax算子，以及Reshape算子。

第三方面，本发明实施例提供一种电子设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的特征提取程序，以实现第一方面中任一项所述的特征提取方法。

第四方面，本发明实施例提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第一方面中任一项所述的特征提取方法。

本发明实施例提供的技术方案，通过提取目标图像的特征图，将特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型，得到目标图像的通道注意力特征和空间注意力特征，分别利用预设的加权距离特征融合算法和加权乘积特征融合算法，对通道注意力特征和空间注意力特征进行特征融合，得到加权距离融合特征和加权乘积融合特征，基于加权距离融合特征和加权乘积融合特征，确定自注意力参数。这一技术方案，通过在对目标图像进行特征提取时，通过提取目标图像的特征图的通道注意力特征和空间注意力特征，并根据通道注意力特征和空间注意力特征两个维度的注意力特征确定自注意力参数，并基于目标图像的特征图和自注意力参数确定目标图像的自注意力特征，这相较于仅根据目标图像的通道注意力特征或者空间注意力特征这一个维度的注意力特征提取目标图像的特征而言，更能准确提取特征，实现了提高特征提取的精度。

附图说明

图1为本发明实施例提供的一种特征提取方法的实施例流程图；

图2为本发明实施例提供的一种通道注意力特征提取模型的示意图；

图3为本发明实施例提供的一种空间注意力特征提取模型的示意图；

图4为本发明实施例提供的另一种特征提取方法的实施例流程图；

图5为本发明实施例提供的一种特征提取装置的实施例框图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图以具体实施例对本发明提供的特征提取方法做进一步的解释说明，实施例并不构成对本发明实施例的限定。

参见图1，为本发明实施例提供的一种特征提取方法的实施例流程图。如图1所示，该流程可包括以下步骤：

步骤101、提取目标图像的特征图。

上述目标图像为采集的待提取特征的对象的图像。

上述特征图中可包括目标图像的全局特征，也可包括目标图像的局部特征，本发明实施例对此不做限制。

在一实施例中，本发明实施例的执行主体可为特征提取模型，该模型在接收到输入的目标图像时，可通过预设的特征提取模块提取该目标图像的特征图，该特征提取模块可为基础网络层，其包括但不限于：卷积层、全连接层，以及池化层等。

步骤102、将特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型，得到目标图像的通道注意力特征和空间注意力特征。

本发明实施例中，为了提高特征提取的精度，可在特征提取模型中加入自注意力特征提取模块。该自注意力特征提取模块应用了自注意力机制(Attention Mechanisms)，注意力源于人类视觉系统，当人类观察外界事物的时候，一般不会把事物当成一个整体去看，往往倾向于根任务目的的需要选择性的去获取被观察事物的某些重要部分。

举个例子，在人脸观察的应用场景中，当我们需要知道眼睛的位置时，我们会把注意力更多的放在眼睛区域，而自动的忽略鼻子、嘴巴、额头、头发等人脸的其他区域，因为相对于眼睛位置的信息，其他部位的信息都是干扰信息，或者说背景信息。

同理，自注意力机制可以帮助模型对输入的每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的开销。

基于此，本发明实施例的执行主体通过对特征图进行通道注意力特征和空间注意力特征提取，以提高对特征提取的精度。

具体的，可将上述特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型，得到该目标图像的通道注意力特征和空间注意力特征。

在一实施例中，上述通道注意力特征提取模型可包括全局平均池化层、全局最大池化层、融合层、全连接层，以及Sigmod算子。

基于此，本发明实施例的执行主体可将特征图输入至上述训练好的通道注意力特征提取模型，以由上述全局平均池化层对上述特征图进行全局平均特征提取，得到平均通道特征。并由上述全局最大池化层对特征图进行全局最大特征提取，得到最大通道特征，并由上述融合层对上述平均通道特征和最大通道特征进行特征融合，得到融合特征。

可选的，在融合层对上述平均通道特征和最大通道特征进行特征融合时，可首先确定平均通道特征对应的第三权重值，以及最大通道特征对应的第四权重值。然后，将上述平均通道特征乘以第三权重值，得到第三乘积，并将最大通道特征乘以第四权重值，得到第四乘积。最后，可将上述第三乘积和第四乘积进行求和，得到融合特征。

之后，可由上述全连接层和上述Sigmod算子对上述融合特征依次进行处理，得到目标图像的通道注意力特征。

举个例子，参见图2，为本发明实施例提供的一种通道注意力特征提取模型的示意图。如图2所示，该通道注意力特征提取模型可包括全局平均池化层、全局最大池化层、融合层、全连接层，以及Sigmod算子。

假设输入特征I(也即特征图)为(B，H，W，C)，其中B表示图片数目，即batch，H和W表示特征图的长宽，C表示特征图的通道数。具体过程如下：

步骤(1)、输入特征I先并行经过1个全局平均池化和1个全局最大池化。

步骤(2)、融合层对上述全局平均池化和全局最大池化输出的两个特征直接做特征融合，输出特征维度为(B，1，1，C)。

步骤(3)、对步骤(2)输出特征经过1个全连接层和1个sigmod算子，得到最终的通道注意力特征ca，维度为(B，1，1，C)。

在一实施例中，上述空间注意力特征提取模型可包括卷积层Softmax算子，以及Reshape算子。

基于此，本发明实施例的执行主体可将特征图输入至上述训练好的空间注意力特征提取模型，以由上述卷积层对上述特征图进行处理后，并通过上述Softmax算子进行激活，以及通过该Reshape算子进行维度转换，从而得到目标图像的空间注意力特征。

举例例子，参见图3，为本发明实施例提供的一种空间注意力特征提取模型的示意图。如图3所示，该空间注意力特征提取模型可包括1*1卷积层、Softmax算子，以及Reshape算子。

假设输入特征I(也即特征图)为(B，H，W，C)，其中B表示图片数目，即batch，H和W表示特征图的长宽，C表示特征图的通道数。具体过程如下：

步骤(1)、输入特征I先经过1个1*1卷积，输出特征维度为(B，H，W，1)，1*1卷积会将通道数C修改为1。

步骤(2)、对步骤(1)输出特征经过1个softmax算子，输出特征维度为(B，H，W，1)。

步骤(3)、经过reshape算子，该算子会对输入特征的形状进行修改，从而得到最终的空间注意力特征sa，维度为(B，H，W，C)。

步骤103、分别利用预设的加权距离特征融合算法和加权乘积特征融合算法，对通道注意力特征和空间注意力特征进行特征融合，得到加权距离融合特征和加权乘积融合特征。

步骤104、基于加权距离融合特征和加权乘积融合特征，确定自注意力参数。

以下对步骤103和步骤104进行统一说明：

本发明实施例中，为了提高特征提取的精度，可在特征模型中加入自注意力机制，并分别确定特征图的通道注意力特征和空间注意力特征，将通道注意力特征和空间注意力特征进行特征融合，以得到该特征图对应的自注意力参数。

可选的，可利用预设的加权距离特征融合算法，对通道注意力特征和空间注意力特征进行特征融合，得到加权距离融合特征。

具体的，可确定通道注意力特征对应的第一权重值，以及确定空间注意力特征对应的第二权重值。之后，将通道注意力特征乘以第一权重值，得到第一乘积，并将空间注意力特征乘以第二权重值，得到第二乘积。再之后，可确定第一乘积和第二乘积的平方和，并对该平方和进行开方运算，得到加权距离融合特征。为便于理解上述加权距离融合特征的计算过程，以下示出加权距离特征融合算法公式，具体的，如下式(一)：

其中，W₁为上述加权距离融合特征，w₁为第一权重值，w₂为第二权重值，ca为通道注意力特征，sa为空间注意力特征。

可选的，上述第一权重值和第二权重值通过在训练特征提取模型时，根据目标图像所要提取的目标特征训练得到。

同时，利用预设的加权乘积特征融合算法，对通道注意力特征和空间注意力特征进行特征融合，得到加权乘积融合特征。

具体的，可先确定乘积特征融合权重值。之后，可将上述通道注意力特征、空间注意力特征以及上述乘积特征融合权重值进行三者相乘，从而得到加权乘积融合特征。为便于理解上述加权乘积融合特征的计算过程，以下示出加权乘积特征融合算法公式，具体的，如下式(二)：

W₂＝w₃*ca*sa式(二)

其中，所述W₂为上述加权乘积融合特征，w₃为乘积特征融合权重值，ca为通道注意力特征，sa为空间注意力特征。

可选的，上述第三权重值通过在训练特征提取模型时，根据目标图像所要提取的目标特征训练得到。

在一实施例中，可将加权距离融合特征和上述加权乘积融合特征之和，确定为上述特征图的自注意力参数。

在另一实施例中，可将上述加权距离融合特征和加权乘积融合特征进行加权求和，得到上述特征图的自注意力参数。

步骤105、基于上述特征图和自注意力参数，确定目标图像的自注意力特征。

上述特征图中可包括目标图像的全局特征或者局部特征。

本发明实施例，为了确定上述特征图中的关键特征，可将上述特征图中包括的全局特征或者局部特征乘以上述特征图对应的自注意力参数，从而得到目标图像的自注意力特征。

本发明实施例提供的技术方案，通过提取目标图像的特征图，将特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型，得到目标图像的通道注意力特征和空间注意力特征，分别利用预设的加权距离特征融合算法和加权乘积特征融合算法，对通道注意力特征和空间注意力特征进行特征融合，得到加权距离融合特征和加权乘积融合特征，基于加权距离融合特征和加权乘积融合特征，确定自注意力参数。这一技术方案，通过在对目标图像进行特征提取时，通过提取目标图像的特征图的通道注意力特征和空间注意力特征，并根据通道注意力特征和空间注意力特征两个维度的注意力特征确定自注意力参数，并基于目标图像的特征图和自注意力参数确定目标图像的自注意力特征，这相较于仅根据目标图像的通道注意力特征或者空间注意力特征这一个维度的注意力特征提取目标图像的特征而言，更能准确提取特征，实现了提高特征提取的精度。

参见图4，为本发明实施例提供的另一种特征提取方法的实施例流程图。如图4所示，该流程可包括如下内容：

本发明实施例的执行主体可通过通道注意力模块C中的通道注意力特征提取模型，以及空间注意力模块S中的空间注意力特征提取模型分别确定输入特征I的通道注意力特征和空间注意力特征。

之后，通过对通道注意力特征和空间注意力特征进行特征融合，可得到自注意力参数，其中，可通过将上述通道注意力特征和空间注意力特征输入下式(三)所示的特征融合公式，得到特征图的自注意力参数。之后可将该输入特征I乘以上述自注意力参数，则可得到目标图像的自注意力特征。

其中，w为自注意力参数，w₁、w₂，以及w₃为预设参数，ca为通道注意力特征，sa为空间注意力特征。

本发明实施例提供的技术方案，通过通道注意力模块C中的通道注意力特征提取模型，以及空间注意力模块S中的空间注意力特征提取模型分别确定输入特征I的通道注意力特征和空间注意力特征，并通过对通道注意力特征和空间注意力特征进行特征融合，可得到自注意力参数，之后可将该输入特征I乘以上述自注意力参数，则可得到目标图像的自注意力特征。这一技术方案，通过在对目标图像进行特征提取时，通过提取目标图像的特征图的通道注意力特征和空间注意力特征，并根据通道注意力特征和空间注意力特征两个维度的注意力特征确定自注意力参数，并基于目标图像的特征图和自注意力参数确定目标图像的自注意力特征，这相较于根据目标图像的通道注意力特征或者空间注意力特征这一个维度的注意力特征提取目标图像的特征而言，更能准确提取特征，实现了提高特征提取的精度。

参见图5，为本发明实施例提供的一种特征提取装置的实施例框图。如图5所示，该装置包括：

提取模块51，用于提取目标图像的特征图；

输入模块52，用于将所述特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型，得到所述目标图像的通道注意力特征和空间注意力特征；

特征融合模块53，用于分别利用预设的加权距离特征融合算法和加权乘积融合算法，对所述通道注意力特征和所述空间注意力特征进行特征融合，得到加权距离融合特征和加权乘积融合特征；

第一确定模块54，用于基于所述加权距离融合特征和所述加权乘积融合特征，确定自注意力参数；

第二确定模块55，用于基于所述特征图和所述自注意力参数，确定所述目标图像的自注意力特征。

作为一个可能的实现方式，所述特征融合模块53，具体用于：

确定所述通道注意力特征对应的第一权重值，以及确定所述空间注意力特征对应的第二权重值；

将所述通道注意力特征乘以所述第一权重值，得到第一乘积，并将所述空间注意力特征乘以所述第二权重值，得到第二乘积；

确定所述第一乘积和所述第二乘积的平方和；

对所述平方和进行开方运算，得到加权距离融合特征。

作为一个可能的实现方式，所述特征融合模块53，具体用于：

确定乘积特征融合权重值；

将所述通道注意力特征、所述空间注意力特征以及所述乘积特征融合权重值进行三者相乘，得到加权乘积融合特征。

作为一个可能的实现方式，所述第一确定模块54，具体用于：

将所述加权距离融合特征和所述加权乘积融合特征进行求和，得到自注意力参数；

或者，将所述加权距离融合特征和所述加权乘积融合特征进行加权求和，得到自注意力参数。

作为一个可能的实现方式，所述通道注意力特征提取模型包括全局平均池化层、全局最大池化层、融合层、全连接层，以及Sigmod算子；将所述特征图输入至训练好的通道注意力特征提取模型，得到所述目标图像的通道注意力特征，包括：

将所述特征图输入至训练好的通道注意力特征提取模型，以由所述全局平均池化层对所述特征图进行全局平均特征提取，得到平均通道特征，并由所述全局最大池化层对所述特征图进行全局最大特征提取，得到最大通道特征，并由所述融合层对所述平均通道特征和所述最大通道特征进行特征融合，得到融合特征，并由所述全连接层和所述Sigmod算子对所述融合特征依次进行处理，得到所述目标图像的通道注意力特征。

作为一个可能的实现方式，所述融合层通过以下方式对所述平均通道特征和所述最大通道特征进行特征融合，得到融合特征：

确定所述平均通道特征对应的第三权重值，以及所述最大通道特征对应的第四权重值；

将所述平均通道特征乘以所述第三权重值，得到第三乘积，并将所述最大通道特征乘以所述第四权重值，得到第四乘积；

将所述第三乘积和所述第四乘积进行求和，得到融合特征。

作为一个可能的实现方式，所述空间注意力特征提取模型包括卷积层、Softmax算子，以及Reshape算子。

图6为本发明实施例提供的一种电子设备的结构示意图，图6所示的电子设备600包括：至少一个处理器601、存储器602、至少一个网络接口604和用户接口603。电子设备600中的各个组件通过总线系统605耦合在一起。可理解，总线系统605用于实现这些组件之间的连接通信。总线系统605除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统605。

其中，用户接口603可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等)。

可以理解，本发明实施例中的存储器602可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的存储器602旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器602存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统6021和应用程序6022。

其中，操作系统6021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序6022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序6022中。

在本发明实施例中，通过调用存储器602存储的程序或指令，具体的，可以是应用程序6022中存储的程序或指令，处理器601用于执行各方法实施例所提供的方法步骤，例如包括：

提取目标图像的特征图；

将所述特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型，得到所述目标图像的通道注意力特征和空间注意力特征；

分别利用预设的加权距离特征融合算法和加权乘积特征融合算法，对所述通道注意力特征和所述空间注意力特征进行特征融合，得到加权距离融合特征和加权乘积融合特征；

基于所述加权距离融合特征和所述加权乘积融合特征，确定自注意力参数；

基于所述特征图和所述自注意力参数，确定所述目标图像的自注意力特征。

上述本发明实施例揭示的方法可以应用于处理器601中，或者由处理器601实现。处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本实施例提供的电子设备可以是如图6中所示的电子设备，可执行如图1和图2中特征提取方法的所有步骤，进而实现图1和图2所示特征提取方法的技术效果，具体请参照图1和图2相关描述，为简洁描述，在此不作赘述。

本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。

当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述在电子设备侧执行的特征提取方法。

所述处理器用于执行存储器中存储的特征提取程序，以实现以下在电子设备侧执行的特征提取方法的步骤：

提取目标图像的特征图；

将所述特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型，得到所述目标图像的通道注意力特征和空间注意力特征；

分别利用预设的加权距离特征融合算法和加权乘积特征融合算法，对所述通道注意力特征和所述空间注意力特征进行特征融合，得到加权距离融合特征和加权乘积融合特征；

基于所述加权距离融合特征和所述加权乘积融合特征，确定自注意力参数；

基于所述特征图和所述自注意力参数，确定所述目标图像的自注意力特征。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种特征提取方法，其特征在于，所述方法包括：

提取目标图像的特征图；

将所述特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型，得到所述目标图像的通道注意力特征和空间注意力特征；

分别利用预设的加权距离特征融合算法和加权乘积特征融合算法，对所述通道注意力特征和所述空间注意力特征进行特征融合，得到加权距离融合特征和加权乘积融合特征；

基于所述加权距离融合特征和所述加权乘积融合特征，确定自注意力参数；

基于所述特征图和所述自注意力参数，确定所述目标图像的自注意力特征。

2.根据权利要求1所述的方法，其特征在于，利用预设的加权距离特征融合算法对所述通道注意力特征和所述空间注意力特征进行特征融合，得到加权距离融合特征，包括：

确定所述通道注意力特征对应的第一权重值，以及确定所述空间注意力特征对应的第二权重值；

将所述通道注意力特征乘以所述第一权重值，得到第一乘积，并将所述空间注意力特征乘以所述第二权重值，得到第二乘积；

确定所述第一乘积和所述第二乘积的平方和；

对所述平方和进行开方运算，得到加权距离融合特征。

3.根据权利要求1所述的方法，其特征在于，利用预设的加权乘积特征融合算法对所述通道注意力特征和所述空间注意力特征进行特征融合，得到加权乘积融合特征，包括：

确定乘积特征融合权重值；

将所述通道注意力特征、所述空间注意力特征以及所述乘积特征融合权重值进行三者相乘，得到加权乘积融合特征。

4.根据权利要求1所述的方法，其特征在于，所述基于所述加权距离融合特征和所述加权乘积融合特征，确定自注意力参数，包括：

将所述加权距离融合特征和所述加权乘积融合特征进行求和，得到自注意力参数；

或者，将所述加权距离融合特征和所述加权乘积融合特征进行加权求和，得到自注意力参数。

5.根据权利要求1所述的方法，其特征在于，所述通道注意力特征提取模型包括全局平均池化层、全局最大池化层、融合层、全连接层，以及Sigmod算子；将所述特征图输入至训练好的通道注意力特征提取模型，得到所述目标图像的通道注意力特征，包括：

将所述特征图输入至训练好的通道注意力特征提取模型，以由所述全局平均池化层对所述特征图进行全局平均特征提取，得到平均通道特征，并由所述全局最大池化层对所述特征图进行全局最大特征提取，得到最大通道特征，并由所述融合层对所述平均通道特征和所述最大通道特征进行特征融合，得到融合特征，并由所述全连接层和所述Sigmod算子对所述融合特征依次进行处理，得到所述目标图像的通道注意力特征。

6.根据权利要求5所述的方法，其特征在于，所述融合层通过以下方式对所述平均通道特征和所述最大通道特征进行特征融合，得到融合特征：

确定所述平均通道特征对应的第三权重值，以及所述最大通道特征对应的第四权重值；

将所述平均通道特征乘以所述第三权重值，得到第三乘积，并将所述最大通道特征乘以所述第四权重值，得到第四乘积；

将所述第三乘积和所述第四乘积进行求和，得到融合特征。

7.根据权利要求1所述的方法，其特征在于，所述空间注意力特征提取模型包括卷积层、Softmax算子，以及Reshape算子。

8.一种特征提取装置，其特征在于，所述装置包括：

提取模块，用于提取目标图像的特征图；

输入模块，用于将所述特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型，得到所述目标图像的通道注意力特征和空间注意力特征；

特征融合模块，用于分别利用预设的加权距离特征融合算法和加权乘积融合算法，对所述通道注意力特征和所述空间注意力特征进行特征融合，得到加权距离融合特征和加权乘积融合特征；

第一确定模块，用于基于所述加权距离融合特征和所述加权乘积融合特征，确定自注意力参数；

第二确定模块，用于基于所述特征图和所述自注意力参数，确定所述目标图像的自注意力特征。

9.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的特征提取程序，以实现权利要求1～7中任一项所述的特征提取方法。

10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～7中任一项所述的特征提取方法。

Images