CN112418243A - 特征提取方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种特征提取方法、装置及电子设备，涉及图像处理的技术领域，包括：获取待提取特征的目标图像；获取目标图像对应的掩膜图像；其中，掩膜图像与目标图像中的感兴趣区域对应；将目标图像和掩膜图像输入至特征提取网络，通过特征提取网络基于掩膜图像对目标图像进行特征提取。本发明可以有效提高特征提取效率。

Description

特征提取方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种特征提取方法、装置及电子设备。

背景技术

在现有的图像识别等任务中大多涉及到特征提取操作，以提取出图像的特征信息。目前，在对图像执行特征提取的操作前，大多需要通过检测的方式将图像中的物体所在区域抠取出来，然后对抠取得到的物体所在区域进行特征提取，基于此，特征提取效率往往依赖于抠图效率，抠图效率已成为特征提取效率的制约瓶颈。

发明内容

有鉴于此，本发明的目的在于提供一种特征提取方法、装置及电子设备，无需抠图即可执行特征提取操作，可以有效提高特征提取效率。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种特征提取方法，包括：获取待提取特征的目标图像；获取所述目标图像对应的掩膜图像；其中，所述掩膜图像与所述目标图像中感兴趣区域对应；将所述目标图像和所述掩膜图像输入至特征提取网络，通过所述特征提取网络基于所述掩膜图像对所述目标图像进行特征提取。

进一步，所述特征提取网络包括多个依次连接的卷积层；所述通过所述特征提取网络基于所述掩膜图像对所述目标图像进行特征提取的步骤，包括：对于所述特征提取网络中的每个所述卷积层，确定该卷积层对应的输入特征图，并通过该卷积层对其输入特征图进行特征提取，得到该卷积层对应的输出特征图；其中，所述特征提取网络中第一卷积层对应的输入特征图与所述目标图像和所述掩膜图像相关，所述特征提取网络中第二卷积层对应的输入特征图与前一卷积层的输出特征图和所述掩膜图像相关；根据所述特征提取网络的输出特征图确定所述目标图像中感兴趣区域的特征。

进一步，所述确定该卷积层对应的输入特征图的步骤，包括：当该卷积层为所述第一卷积层时，将所述目标图像与所述掩膜图像进行按位相乘，得到该第一卷积层对应的输入特征图；当该卷积层为所述第二卷积层，将该第二卷积层的前一卷积层的输出特征图与所述掩膜图像进行按位相乘，得到该第二卷积层对应的输入特征图。

进一步，所述感兴趣区域中包括至少一个目标对象；所述根据所述特征提取网络的输出特征图确定所述目标图像中感兴趣区域的特征的步骤，包括：确定所述目标图像中各个所述目标对象的目标特征点；获取所述特征提取网络的输出特征图中各个所述目标对象的目标特征点对应的特征；将各个所述目标对象的目标特征点对应的特征均确定为所述目标图像中感兴趣区域的特征。

进一步，所述获取所述特征提取网络的输出特征图中各个所述目标对象的目标特征点对应的特征的步骤，包括：对于每个所述目标对象的目标特征点，将所述特征提取网络的输出特征图与该目标对象的目标特征点进行按位相乘，得到该目标对象的目标特征点对应的特征。

进一步，所述确定所述目标图像中各个所述目标对象的目标特征点的步骤，包括：对所述目标图像进行对象检测，得到所述目标图像中的各个所述目标对象；对于每个所述目标对象，确定该目标对象的目标特征点。

进一步，所述获取所述目标图像对应的掩膜图像的步骤，包括：根据所述目标图像的尺寸建立初始图像；其中，所述初始图像的像素为第一数值；确定所述目标图像中的感兴趣区域；将所述初始图像中与所述目标图像的感兴趣区域对应的区域内的像素从所述第一数值调整为第二数值，得到所述目标图像对应的掩膜图像。

第二方面，本发明实施例还提供一种，特征提取装置，包括：目标图像获取模块，用于获取待提取特征的目标图像；掩膜图像获取模块，用于获取所述目标图像对应的掩膜图像；其中，所述掩膜图像与所述目标图像中感兴趣区域对应；特征提取模块，用于将所述目标图像和所述掩膜图像输入至特征提取网络，通过所述特征提取网络基于所述掩膜图像对所述目标图像进行特征提取。

第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面提供的任一项所述的方法的步骤。

本发明实施例提供了一种特征提取方法、装置及电子设备，首先获取待提取特征的目标图像和目标图像对应的掩膜图像(与目标图像中感兴趣区域对应)，然后将目标图像和掩膜图像输入至特征提取网络，通过特征提取网络基于掩膜图像对目标图像进行特征提取。上述方法利用掩码图像标注目标图像中的感兴趣区域，可使特征提取网络关注目标图像中的感兴趣区域并对感兴趣区域进行特征提取，相较于现有技术中先抠图再特征提取的方式，本发明实施例可以省去抠图过程，从而节约了特征提取前抠图所耗费的时间，也不再受到抠图效率的制约，有效提高了特征提取效率。

本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种特征提取方法的流程示意图；

图3示出了本发明实施例所提供的一种特征提取网络的结构示意图；

图4示出了本发明实施例所提供的另一种特征提取方法的流程示意图；

图5示出了本发明实施例所提供的一种特征提取装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

目前在提取图像特征前，通常需要对待提取特征的区域进行抠图处理，从而导致特征提取的效率依赖于抠图效率，若图像中包含有较多待特征提取的区域，此时将需要对图像进行多次抠图，而在每次抠图过程中均伴随着计算机内存的搬运(包括移动和复制)，也即抠图所需时间与计算机DMA(Direct Memory Access，直接内存存取)所需的时间直接相关，因此抠图过程中DMA所需时间将随着抠图次数的增加而增加，从而导致抠图效率较低，进而对特征提取效率产生影响。为改善此问题，本发明实施例提供的一种特征提取方法、装置及电子设备，该技术可应用于需要进行特征提取的场景，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的一种特征提取方法及装置的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备可以具有图1示出的部分组件，也可以具有图1未示出其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的特征提取方法及装置示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端。

实施例二：

参见图2所示的一种特征提取方法的流程示意图，该方法主要包括以下步骤S202至步骤S206：

步骤S202，获取待提取特征的目标图像。

其中，目标图像可以包括至少一个待提取特征的目标对象，也可以包括至少一个待提取特征的区域。在一种实施方式中，执行特征提取方法的电子设备可以通过具有拍摄功能的设备(诸如，智能手机或相机)拍摄得到目标图像，也可以为用户提供人工上传通道，用户可从电子设备的本地存储区选择待提取特征的图像或者通过网络下载待提取特征的图像，并通过该人工上传通道上传用户所选择或下载的图像，从而得到目标图像。

步骤S204，获取目标图像对应的掩膜图像。

其中，掩膜图像与目标图像中感兴趣区域对应，掩膜图像的尺寸与目标图像的尺寸相同，感兴趣区域可以理解为特征提取过程中所关注的区域，可以用于表征目标对象(诸如人物、动物或物体等)在目标图像中所在区域，也可以用于表征目标图像中的指定区域，该指定区域可以由用户根据实际需求进行确定，诸如天空区域等。在一种实施方式中，可以预先确定目标图像中的感兴趣区域，并建立与目标图像尺寸相同的初始图像，然后在初始图像中将感兴趣区域内的点的掩膜值设置为1，感兴趣区域外的点的掩膜值设置为0，即可得到目标图像对应的掩膜图像。在确定目标图像中的感兴趣区域时，可以采用诸如目标检测算法、目标识别算法、目标分割算法等确定，也可以直接由人工圈定。

步骤S206，将目标图像和掩膜图像输入至特征提取网络，通过特征提取网络基于掩膜图像对目标图像进行特征提取。

其中，特征提取网络可以采用CNN(Convolutional Neural Network，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)或Transform(空间变换网络)等实现，特征提取网络用于基于掩膜图像对目标图像进行特征提取，该特征提取网络的输入为目标图像和掩膜图像，其输出为目标图像的特征图。以采用CNN网络作为特征提取网络为例进行说明，特征提取网络中包含有多个卷积层，由于掩膜图像中感兴趣区域内的像素为1且感兴趣区域外的像素为0，因此基于掩膜图像可使特征提取网络中的各个卷积层关注感兴趣区域，进而可以对感兴趣区域进行特征提取，得到目标图像的特征。

本发明实施例提供的上述特征提取方法，利用掩码图像标注目标图像中的感兴趣区域，可使特征提取网络关注目标图像中的感兴趣区域并对感兴趣区域进行特征提取，相较于现有技术中先抠图再特征提取的方式，本发明实施例可以省去抠图过程，从而节约了特征提取前抠图所耗费的时间，也不再受到抠图效率的制约，进而有效提高了特征提取效率。

对于上述步骤S204，在一种具体的实施方式中，可参照如下步骤a至步骤c执行获取目标图像对应的掩膜图像的步骤：

步骤a，根据目标图像的尺寸建立初始图像。其中，初始图像中的像素为第一数值，第一数值可以为0，初始图像的尺寸与目标图像的尺寸相同。在一种实施方式中，初始图像中的像素可通过二维矩阵的形式体现，也即二维矩阵中的每个元素分别对应初始图像中的像素，若初始图像中像素点均为0，则二维矩阵中的每个元素的值也将均为0。

步骤b，确定目标图像中的感兴趣区域。在一些实施方式中，可以对目标图像进行对象检测，检测出目标图像中包含的目标对象，并将目标对象在目标图像中所在的区域确定为感兴趣区域；当然也可以将目标图像中用户指定的区域确定为感兴趣区域。

步骤c，将初始图像中与目标图像的感兴趣区域对应的区域内的像素从第一数值调整为第二数值，得到目标图像对应的掩膜图像。其中，第二数值可以为1。在实际应用中，初始图像中的点与目标图像中的点一一对应，确定初始图像中与感兴趣区域对应的区域，并将初始图像的该区域内的像素从0调整为1，即可得到用于标注感兴趣区域的掩膜图像，该掩膜图像中值为1的像素所在的区域对应于上述感兴趣区域。

在一种实施方式中，上述特征提取网络包括多个依次连接的卷积层。其中，每个卷积层的输入为该卷积层对应的输入特征图，每个卷积层的输出为该卷积层对应的输出特征图。对于特征提取网络中第一卷积层，该第一卷积层对应的输入特征图可基于目标图像和掩膜图像得到；对于特征提取网络中第二卷积层，该第二卷积层对应的输入特征图可基于该卷积层的前一卷积层对应的输出特征图与掩膜图像得到；各个卷积层对应的输出特征图可通过该卷积层对该卷积层对应的输入特征图进行特征提取得到。

基于上述特征提取网络，本发明实施例提供了一种通过特征提取网络基于掩膜图像对目标图像进行特征提取的实施方式，具体可参见如下步骤1至步骤2：

步骤1，对于特征提取网络中的每个卷积层，确定该卷积层对应的输入特征图，并通过该卷积层对其输入特征图进行特征提取，得到该卷积层对应的输出特征图。其中，特征提取网络中第一卷积层对应的输入特征图与目标图像和掩膜图像相关，特征提取网络中第二卷积层对应的输入特征图与前一卷积层的输出特征图和掩膜图像相关。其中，上述第一卷积层可以为特征提取网络中位于首段的卷积层，该第一卷积层对应的输入特征图与目标图像相关，且该第一卷积层对应的输入特征图还与掩膜图像相关；上述第二卷积层可以为特征提取网络中除第一卷积层之外的卷积层，该第二卷积层对应的输入特征图与前一卷积层的输出特征图相关，且该第二卷积层对应的输入特征图还与掩膜图像相关。本发明实施例以特征提取网络包括三个卷积层为例进行说明，其中，第一个卷积层对应的输入特征图A1与目标图像和掩膜图像共同相关，第一个卷积层对该卷积层对应的输入特征图A1进行特征提取，得到第一个卷积层对应的输出特征图B1；第二个卷积层对应的输入特征图A2与第一个卷积层对应的输入特征图A1和掩膜图像共同相关，第二个卷积层该卷积层对应的输入特征图A2进行特征提取，得到第二个卷积层对应的输出特征图B2；第三个卷积层对应的输入特征图A3与第二个卷积层对应的输出特征图B2和掩膜图像共同相关，第三个卷积层对该卷积层对应的输入特征图A3进行特征提取，得到第三个卷积层对应的输出特征图B3。

在实际应用中，本发明实施例需要确定各个卷积层对应的输入特征图，具体的，可采用如下(1)和(2)所示的方法确定各个卷积层对应的输入特征图：

(1)当该卷积层为第一卷积层时，将目标图像与掩膜图像进行按位相乘，得到该第一卷积层对应的输入特征图。其中，掩膜图像具有屏蔽作用，当该卷积层位于特征提取网络的首端时，即可确定该卷积层为第一卷积层。可以理解的，假设目标图像中的点Q与掩膜图像中的点P相对应，若掩膜图像中点P的掩膜值为0，则在目标图像中点Q与掩膜图像中的点P按位相乘时，得到的输入特征图中该点的特征值也将为0，即此时输入特征图无法体现该点的特征，相当于屏蔽了输入特征图中的该点；若掩膜图像中的点P的掩膜值为1，则在目标图像中点Q与掩膜图像中的点P按位相乘时，得到的输入特征图中该点的特征值将保持不变，从而可使卷积层关注该点并提取该点的特征。

(2)当该卷积层为第二卷积层，将该第二卷积层对应的前一卷积层的输出特征图与掩膜图像进行按位相乘，得到该第二卷积层对应的输入特征图。其中，当该卷积层并未位于特征提取网络的首端时，即可确定该卷积层为第二卷积层。考虑到特征提取过程中感兴趣区域可能产生偏差，因此本发明实施例对每个卷积层对应的输出特征图均与掩膜图像进行按位相乘，从而对各个输出特征图中的感兴趣区域进行校正，提高输出特征图中感兴趣区域的准确度，进而在一定程度上提高卷积层提取特征的准确度。

步骤2，根据特征提取网络的输出特征图确定目标图像中感兴趣区域的特征。在一种实施方式中，感兴趣区域中包括至少一个目标对象，此时感兴趣区域可以理解为目标对象在目标图像中所在的区域。为便于对上述步骤2进行理解，本发明实施例还提供了一种根据特征提取网络的输出特征图确定目标图像中感兴趣区域的特征的实施方式，参见如下步骤2.1至步骤2.3：

步骤2.1，确定目标图像中各个目标对象的目标特征点。在一种实施方式中，可以对目标图像进行对象检测，得到目标图像中的各个目标对象，并且对于每个目标对象，确定该目标对象的中心点，并将该目标对象的中心点作为该目标对象的目标特征点。在具体实现时，可以通过R-CNN(Regions with CNN features)或Fast R-CNN(Fast Regions withCNN features)等多种目标检测方法对目标图像进行对象检测，确定目标图像中所包含的目标对象，其中，目标对象可以包括人物、动物或物体等。在确定目标图像中所包含的目标对象后，对于每个目标对象，可以分别确定各个目标对象的轮廓线，对于诸如人物等不规则的轮廓线，可以确定其轮廓外接最小旋转矩形，并将该最小旋转矩形的中心点作为目标对象的中心点。应当注意的是，上述实施例仅是示例性提供一种确定目标对象的中心点的实施方式，在实际应用中可采用其他确定目标对象中心点的方式，本发明实施例对此不进行限制。

步骤2.2，获取特征提取网络的输出特征图中各个目标对象的目标特征点对应的特征。其中，目标对象的中心点在特征提取网络的输出特征图中的特征映射，可以体现该目标对象的特征，因此本发明实施例通过抓取特征提取网络的输出特征图中与目标对象的中心点的特征，作为该目标对象对应的特征，可选的，上述特征提取网络的输出特征图可以为特征提取网络中位于末端的卷积层的输出特征图。在一种实施方式中，输出特征图可通过矩阵表示，矩阵中每个元素分别表示输出特征图中每个点的特征值，因此可以通过抓取目标对象的中心点对应的特征值，得到该目标对象对应的特征。

在一种具体的实施方式中，对于每个目标对象的目标特征点，将特征提取网络的输出特征图与该目标对象的目标特征点进行按位相乘，得到该目标对象的目标特征点对应的特征。例如，通过矩阵形式表示每个目标对象的中心点，也即，目标对象中心点对应的元素值设置为1，而其余元素值设置为0，通过将矩阵形式的目标对象中心点与矩阵形式的输出特征图进行按位相乘，即可得到各个目标对象的中心点对应的特征值，并将各个目标对象对应的中心点对应的特征值作为该目标对象的特征。

步骤2.3，将各个目标对象的目标特征点对应的特征均确定为目标图像中感兴趣区域的特征。

综上所述，本发明实施例提供的上述特征提取方法，基于掩膜图像对目标图像进行特征提取，省去了特征提取前的抠图操作，从而减少由于细粒度特征提取过程中抠图带来的内存移动造成的速度损失，进而可以提高特征提取效率。另外，通过掩膜图像强行使特征提取网络关注(attention)目标图像中的感兴趣区域，可以有效提高特征提取的准确度，也可以在一定程度上避免特征提取网络在特征提取过程中周围环境像素对特征提取带来的影响。

实施例三：

在前述实施例的基础上，本实施例提供了一种应用前述特征提取方法的具体示例，首先，本发明实施例提供了一种特征提取网络，特征提取网络包括多个卷积层，本发明实施例以特征提取网络包括三个卷积层为例，提供了如图3所示的一种特征提取网络的结构示意图，特征提取网络的输入为目标图像、掩膜图像和对象中心点，特征提取网络的输出为目标图像对应的特征图，斜线区域表示各个卷积层对应的输入特征图，其中，该目标图像的特征图中包括目标图像中各个目标对象的物体特征。

在图3的基础上，本发明实施例提供了另一种特征提取方法，参见图4所示的另一种特征提取方法的流程示意图，该方法主要包括以下步骤S402至步骤S406：

步骤S402，获取原始图像、mask和物体中心点。其中，原始图像也即上述目标图像，mask也即上述掩膜图像，物体中心点也即上述对象中心点。在一种实施方式中，可对原始图像进行目标检测，从而确定原始图像中包含的目标对象，进而根据目标对象在原始图像中所在区域，确定mask和物体中心点。

步骤S404，利用Attention机制，通过特征提取网络中的卷积层基于物体mask对原始图像进行特征提取。其中，卷积层可以采用3*3卷积结构，由于特征提取网络中卷积层具有平移不变性，因此通过Mask和输出特征图进行按位相乘以避免特征提取过程中的周围环境的影响。在具体实现时，将原始图像和mask按位相乘的结果，作为第一个卷积层的输入特征图，第一个卷积层对该输入特征图进行特征提取得到第一个卷积层的输出特征图；将第一个卷积层的输出特征图和mask按位相乘的结果，作为第二个卷积层的输入特征图，第二个卷积层对该输入特征图进行特征提取得到第二个卷积层的输出特征图，以此类推，直至得到特征提取网络中位于末端的卷积层的输出特征图。

步骤S406，抓取位于特征提取网络中位于末端的卷积层的输出特征图中与物体中心点对应的物体特征，得到原始图像的特征。其中，输出特征图上的每一个点均可以体现目标对象的特征，因此通过取出物体中心点在输出特征图上的特征映射，即可实现物体的特征提取，也即将输出特征图中与物体中心点对应的特征作为该物体中心点对应的目标对象的特征，如图3所示，示意出了将输出特征图中与物体中心点对应位置的特征取出，得到各个物体中心点分别对应的物体特征，具体可参见前述实施例提供的步骤2.1至步骤2.3，本发明实施例在此不再赘述。

综上所述，本发明实施例提供的上述特征提取方法，首先获取原始图像、mask和物体中心点，然后利用Attention机制，通过特征提取网络中的卷积层基于物体mask对原始图像进行特征提取，并抓取特征提取网络中位于末端的卷积层的输出特征图中与物体中心点对应的物体特征，以得到原始图像的特征。上述方法基于mask和物体中心点可以更为快速准确地对原始图像进行特征提取，利用mask不仅可以省去特征提取前的抠图操作，减少抠图操作带来的速度损失，还可以使特征提取网络关注目标图像中的感兴趣区域，进而有效提高特征提取的准确度。

实施例四：

对于实施例二中所提供的特征提取方法，本发明实施例提供了一种特征提取装置，参见图5所示的一种特征提取装置的结构示意图，该装置主要包括以下部分：

目标图像获取模块502，用于获取待提取特征的目标图像。

掩膜图像获取模块504，用于获取目标图像对应的掩膜图像；其中，掩膜图像与目标图像中感兴趣区域对应。

特征提取模块506，用于将目标图像和掩膜图像输入至特征提取网络，通过特征提取网络基于掩膜图像对目标图像进行特征提取。

本发明实施例提供的上述特征提取装置，利用掩码图像标注目标图像中的感兴趣区域，可使特征提取网络关注目标图像中的感兴趣区域并对感兴趣区域进行特征提取，相较于现有技术中先抠图再特征提取的方式，本发明实施例可以省去抠图过程，从而节约了特征提取前抠图所耗费的时间，也不再受到抠图效率的制约，进而有效提高了特征提取效率。

在一种实施方式中，特征提取网络包括多个依次连接的卷积层；上述特征提取模块506还用于：对于特征提取网络中的每个卷积层，确定该卷积层对应的输入特征图，并通过该卷积层对其输入特征图进行特征提取，得到该卷积层对应的输出特征图；其中，特征提取网络中第一卷积层对应的输入特征图与目标图像和掩膜图像相关，特征提取网络中第二卷积层对应的输入特征图与前一卷积层的输出特征图和掩膜图像相关；根据特征提取网络的输出特征图确定目标图像中感兴趣区域的特征。

在一种实施方式中，上述特征提取模块506还用于：当该卷积层为所述第一卷积层时，将目标图像与掩膜图像进行按位相乘，得到该第一卷积层对应的输入特征图；当该卷积层为所述第二卷积层，将第二该卷积层对应的前一卷积层的输出特征图与掩膜图像进行按位相乘，得到该第二卷积层对应的输入特征图。

在一种实施方式中，感兴趣区域中包括至少一个目标对象；上述特征提取模块506还用于：确定目标图像中各个目标对象的目标特征点；获取特征提取网络的输出特征图中各个目标对象的目标特征点对应的特征；将各个目标对象的目标特征点对应的特征均确定为目标图像中感兴趣区域的特征。

在一种实施方式中，上述特征提取模块506还用于：对于每个目标对象的目标特征点，将特征提取网络的输出特征图与该目标对象的目标特征点进行按位相乘，得到该目标对象的目标特征点对应的特征。

在一种实施方式中，上述特征提取模块506还用于：对目标图像进行对象检测，得到目标图像中的各个目标对象；对于每个目标对象，确定该目标对象的目标特征点。

在一种实施方式中，上述掩膜图像获取模块504还用于：根据目标图像的尺寸建立初始图像；其中，初始图像中的像素为第一数值；确定目标图像中的感兴趣区域；将初始图像中与目标图像的感兴趣区域对应的区域内的像素从第一数值调整为第二数值，得到目标图像对应的掩膜图像。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例所提供的特征提取方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种特征提取方法，其特征在于，包括：

获取待提取特征的目标图像；

获取所述目标图像对应的掩膜图像；其中，所述掩膜图像与所述目标图像中的感兴趣区域对应；

将所述目标图像和所述掩膜图像输入至特征提取网络，通过所述特征提取网络基于所述掩膜图像对所述目标图像进行特征提取。

2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括多个依次连接的卷积层；

所述通过所述特征提取网络基于所述掩膜图像对所述目标图像进行特征提取的步骤，包括：

对于所述特征提取网络中的每个所述卷积层，确定该卷积层对应的输入特征图，并通过该卷积层对其输入特征图进行特征提取，得到该卷积层对应的输出特征图；其中，所述特征提取网络中第一卷积层对应的输入特征图与所述目标图像和所述掩膜图像相关，所述特征提取网络中第二卷积层对应的输入特征图与前一卷积层的输出特征图和所述掩膜图像相关；

根据所述特征提取网络的输出特征图确定所述目标图像中感兴趣区域的特征。

3.根据权利要求2所述的方法，其特征在于，所述确定该卷积层对应的输入特征图的步骤，包括：

当该卷积层为所述第一卷积层时，将所述目标图像与所述掩膜图像进行按位相乘，得到该第一卷积层对应的输入特征图；

当该卷积层为所述第二卷积层，将该第二卷积层的前一卷积层的输出特征图与所述掩膜图像进行按位相乘，得到该第二卷积层对应的输入特征图。

4.根据权利要求2所述的方法，其特征在于，所述感兴趣区域中包括至少一个目标对象；所述根据所述特征提取网络的输出特征图确定所述目标图像中感兴趣区域的特征的步骤，包括：

确定所述目标图像中各个所述目标对象的目标特征点；

获取所述特征提取网络的输出特征图中各个所述目标对象的目标特征点对应的特征；

将各个所述目标对象的目标特征点对应的特征均确定为所述目标图像中感兴趣区域的特征。

5.根据权利要求4所述的方法，其特征在于，所述获取所述特征提取网络的输出特征图中各个所述目标对象的目标特征点对应的特征的步骤，包括：

对于每个所述目标对象的目标特征点，将所述特征提取网络的输出特征图与该目标对象的目标特征点进行按位相乘，得到该目标对象的目标特征点对应的特征。

6.根据权利要求4所述的方法，其特征在于，所述确定所述目标图像中各个所述目标对象的目标特征点的步骤，包括：

对所述目标图像进行对象检测，得到所述目标图像中的各个所述目标对象；

对于每个所述目标对象，确定该目标对象的目标特征点。

7.根据权利要求1所述的方法，其特征在于，所述获取所述目标图像对应的掩膜图像的步骤，包括：

根据所述目标图像的尺寸建立初始图像；其中，所述初始图像中的像素为第一数值；

确定所述目标图像中的感兴趣区域；

将所述初始图像中与所述目标图像的感兴趣区域对应的区域内的像素从所述第一数值调整为第二数值，得到所述目标图像对应的掩膜图像。

8.一种特征提取装置，其特征在于，包括：

目标图像获取模块，用于获取待提取特征的目标图像；

掩膜图像获取模块，用于获取所述目标图像对应的掩膜图像；其中，所述掩膜图像与所述目标图像中感兴趣区域对应；

特征提取模块，用于将所述目标图像和所述掩膜图像输入至特征提取网络，通过所述特征提取网络基于所述掩膜图像对所述目标图像进行特征提取。

9.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7任一项所述的方法的步骤。

Images