CN108229531B - 对象特征提取方法、装置、存储介质和电子设备 - Google Patents

Abstract

本发明实施例提供一种对象特征提取方法、装置、存储介质和电子设备。其中，对象特征提取方法包括：从待检图像获取目标对象的多个尺度的特征数据；根据各个尺度的特征数据生成各个尺度各自的注意力热度数据，所述注意力热度数据表征所述目标对象各个关注部位区域的关注热度；根据各个尺度的特征数据和所述各个尺度的注意力热度数据，获取所述目标对象的融合特征数据。由此，获得融合了细节和整体语义的特征数据和注意力热度数据的融合特征数据，有助于后续基于该融合特征数据准确地完成图像处理任务。

Description

对象特征提取方法、装置、存储介质和电子设备

技术领域

本发明实施例涉及人工智能技术，尤其涉及一种对象特征提取方法、 装置、计算机可读存储介质和电子设备。

背景技术

对于例如用于对象属性检测任务、对象识别任务等的解决方案中， 通常直接从图像提取全局特征，根据提取的全局特征来完成相应的任务。 由于全局特征表征图像的高层语义特征，可能丢失图像中对完成前述任 务非常有用的细节信息，如衣服条纹、是否戴眼镜等，因此影响了完成 前述任务的准确性。

发明内容

本发明实施例的目的在于，提供一种对象特征提取技术。

根据本发明实施例的第一方面，提供一种对象特征提取方法，包括： 从待检图像获取目标对象的多个尺度的特征数据；根据各个尺度的特征 数据生成各个尺度各自的注意力热度数据，所述注意力热度数据表征所 述目标对象各个关注部位区域的关注热度；根据各个尺度的特征数据和 所述各个尺度的注意力热度数据，获取所述目标对象的融合特征数据。

可选地，任一所述尺度的特征数据包括所述尺度的与多个特征通道 对应的第一特征图；所述根据各个尺度的特征数据生成各个尺度各自的 注意力热度数据，包括：对任一所述尺度的与多个特征通道对应的第一 特征图，通过对所述多个第一特征图进行降维卷积和非线性处理，获取 所述尺度的注意力热度图。

可选地，任一所述尺度的注意力热度图包括所述尺度的一个或多个 注意力热度图，在所述注意力热度图中，所述关注部位区域的关注响应 程度值高于其他部位区域的关注响应程度值。

可选地，所述多个尺度为N个尺度，N为大于1的整数；所述根据各个尺度的特征数据和所述各个尺度的注意力热度数据，获取所述目标对象的融合特征数据，包括：针对所述N个尺度中的每个尺度的第一特征图，根据每个所述尺度的注意力热度图分别进行强化，获得N×N个第二特征图；将所述N个尺度的第一特征图和所述N×N个第二特征图进行融合，获得所述目标对象的融合特征数据。

可选地，所述根据各个尺度的特征数据生成各个尺度各自的注意力 热度数据，包括：通过第一神经网络，根据各个尺度的特征数据生成各 个尺度各自的注意力热度数据；所述根据各个尺度的特征数据和所述各 个尺度的注意力热度数据，获取所述目标对象的融合特征数据，包括： 通过第一神经网络，根据各个尺度的特征数据和所述各个尺度的注意力 热度数据，获取所述目标对象的融合特征数据。

可选地，所述第一神经网络包括与所述尺寸的个数对应的尺度特征 强化子网；所述对任一所述尺度的与多个特征通道对应的第一特征图， 通过对所述多个第一特征图进行降维卷积和非线性处理，获取所述尺度 的注意力热度图，包括：通过任一所述尺度的尺度特征强化子网，对所 述尺度的与多个特征通道对应的第一特征图，通过对所述多个第一特征 图进行降维卷积和非线性处理，获取所述尺度的注意力热度图；所述针 对所述N个尺度中的每个尺度的第一特征图，根据每个所述尺度的注意 力热度图分别进行强化，获得N×N个第二特征图，包括：通过各个尺 度的尺度特征强化子网，针对所述N个尺度中的每个尺度的第一特征图， 根据每个所述尺度的注意力热度图分别进行强化，获得N×N个第二特征图。

可选地，所述第一神经网络还包括具有全局平均池化层和全连接层 的特征融合子网；所述将所述N个尺度的第一特征图和所述N×N个第 二特征图进行融合，获得所述目标对象的融合特征数据，包括：通过所 述特征融合子网将所述N个尺度的第一特征图和所述N×N个第二特征 图进行融合，获得所述目标对象的融合特征数据。

可选地，所述从待检图像获取目标对象的多个尺度的特征数据，包 括：通过第二神经网络，从待检图像获取目标对象的多个尺度的特征数 据。

可选地，所述方法还包括：根据所述目标对象的融合特征数据，获 取所述目标对象的属性信息，或者，获取所述目标对象的分类信息。

可选地，所述目标对象为行人。

根据本发明实施例的第二方面，提供一种对象特征提取装置，包括： 特征获取模块，用于从待检图像获取目标对象的多个尺度的特征数据； 注意力热度生成模块，用于根据所述特征获取模块获取到的各个尺度的 特征数据生成各个尺度各自的注意力热度数据，所述注意力热度数据表 征所述目标对象各个关注部位区域的关注热度；融合特征获取模块，用 于根据所述特征获取模块获取到的各个尺度的特征数据和所述注意力热 度生成模块生成的各个尺度的注意力热度数据，获取所述目标对象的融 合特征数据。

可选地，任一所述尺度的特征数据包括所述尺度的与多个特征通道 对应的第一特征图；所述注意力热度生成模块用于对任一所述尺度的与 多个特征通道对应的第一特征图，通过对所述多个第一特征图进行降维 卷积和非线性处理，获取所述尺度的注意力热度图。

可选地，任一所述尺度的注意力热度图包括所述尺度的一个或多个 注意力热度图，在所述注意力热度图中，所述关注部位区域的关注响应 程度值高于其他部位区域的关注响应程度值。

可选地，所述多个尺度为N个尺度，N为大于1的整数；所述融合 特征获取模块用于针对所述N个尺度中的每个尺度的第一特征图，根据 每个所述尺度的注意力热度图分别进行强化，获得N×N个第二特征图， 并且将所述N个尺度的第一特征图和所述N×N个第二特征图进行融合， 获得所述目标对象的融合特征数据。

可选地，所述注意力热度生成模块用于通过第一神经网络，根据各 个尺度的特征数据生成各个尺度各自的注意力热度数据，并且通过第一 神经网络，根据各个尺度的特征数据和所述各个尺度的注意力热度数据， 获取所述目标对象的融合特征数据。

可选地，所述第一神经网络包括与所述尺寸的个数对应的尺度特征 强化子网；所述尺度特征强化子网用于对其对应尺度的与多个特征通道 对应的第一特征图，通过对所述多个第一特征图进行降维卷积和非线性 处理，获取所述尺度的注意力热度图，并且用于针对所述N个尺度中的 每个尺度的第一特征图，根据每个所述尺度的注意力热度图分别进行强 化，获得N×N个第二特征图。

可选地，所述第一神经网络还包括具有全局平均池化层和全连接层 的特征融合子网；所述特征融合子网用于将所述N个尺度的第一特征图 和所述N×N个第二特征图进行融合，获得所述目标对象的融合特征数 据。

可选地，所述特征获取模块用于通过第二神经网络，从待检图像获 取目标对象的多个尺度的特征数据。

可选地，所述装置还包括：任务处理模块，用于根据所述目标对象 的融合特征数据，获取所述目标对象的属性信息，或者，根据所述目标 对象的融合特征数据，获取所述目标对象的分类信息。

可选地，所述目标对象为行人。

根据本发明实施例的第三方面，提供一种电子设备，包括：处理器、 存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元 件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可 执行指令，所述可执行指令使所述处理器执行前述任一对象特征提取方 法相应的操作。

根据本发明实施例的第四方面，提供一种计算机可读存储介质，其 上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现前 述任一对象特征提取方法的步骤。

根据本发明实施例的第五方面，提供一种计算机程序，其包括有计 算机程序指令，其中，所述程序指令被处理器执行时实现前述任一对象 特征提取方法的步骤。

根据本发明实施例提供的对象特征提取方案，通过从待检图像获取 多个尺度的特征数据来反映图像的细节和整体语义的特征，为各个尺度 的特征数据生成各自的注意力热度数据，并且融合各个尺度的特征数据 和注意力热度数据，来生成所述目标对象的融合特征数据。由此，获得 融合了细节和整体语义的特征数据和注意力热度数据的融合特征数据， 有助于后续基于该融合特征数据准确地完成图像处理任务。

附图说明

图1是示出根据本发明实施例一的对象特征提取方法的流程图；

图2是示出根据本发明实施例二的对象特征提取方法的流程图；

图3是示出根据本发明实施例三的对象特征提取方法的流程图；

图4是示出根据本发明实施例三的步骤S320的一种示例性处理的流 程图；

图5是示出步骤S220的示例性处理的示意图；

图6是示出步骤S230的示例性处理的示意图；

图7是示出根据本发明实施例三的对象特征提取方法的示例性处理 的示意图；

图8是示出根据本发明实施例四的对象特征提取装置的逻辑框图；

图9是示出根据本发明实施例五的对象特征提取装置的逻辑框图；

图10是示出根据本发明实施例七的电子设备的结构示意图。

具体实施方式

在本申请中，“多个”指两个或两个以上，“至少一个”指一个、 两个或两个以上。对于本申请中提及的任一部件、数据或结构，在没有 明确限定一个的情况下，可理解为一个或多个。

下面将结合附图详细描述本发明实施例的示例性实施例。

实施例一

图1是示出根据本发明实施例一的对象特征提取方法的流程图。

参照图1，在步骤S110，从待检图像获取目标对象的多个尺度的特 征数据。

这里，该待检图像可以是含有目标对象的静态图像或视频帧图像。 目标对象可以是例如行人、车辆、动物、飞行物等具有可见形状的物体 对象。

可通过适用的图像处理方法从待检图像提取目标对象的多个尺度的 特征数据。这里，多个尺度可以理解为多个尺度分辨率，任一尺度的特 征数据可以例如，图像的纹理特征数据、图像的色彩特征数据、物体的 形状特征数据，或者，从另一个角度，针对该尺度提取的图像的特征向 量矩阵等。

从待检图像提取的多个尺度分辨率的特征数据，可表征图像不同程 度的细节特征和/或整体语义特征。例如，通过大尺度分辨率的特征数据 可获得表达图像的细节特征(如纹理表达、结构表达等)的信息；通过 小尺度分辨率的特征数据可获得表达图像的语义特征(如图像的前景和 背景、物体的形状特征等)。

在步骤S120，根据各个尺度的特征数据生成各个尺度各自的注意力 热度数据，所述注意力热度数据表征所述目标对象各个关注部位区域的 关注热度。

具体地，可通过对任一尺度的特征数据进行映射、池化等，生成表 征在该尺度各个关注部位区域的关注热度的注意力热度数据。这里的关 注部位区域即为对于目标对象来说较为关键、重要的部位或区域，例如 行人的腿部区域、人脸的眼部区域、人脸的嘴部等；关注热度与部位区 域的特征显著性或重要性相应。例如，对于大尺度分辨率的特征数据， 为具有显著纹理特征的关注部位区域以及/或者小的关注部位区域生成 高响应度的注意力热度数据；对于小尺度分辨率的特征，为图像整体或 大的关注部位区域生成高响应度的注意力热度数据；对于大尺度分辨率 的特征数据，为具有显著结构和形状特征的关注部位区域生成低响应度 的注意力热度数据；等等。

在步骤S130，根据各个尺度的特征数据和所述各个尺度的注意力热 度数据，获取所述目标对象的融合特征数据。

例如，可通过对与高响应度的注意力热度数据对应的尺度的特征数 据进行强化，对与低响应度的注意力热度数据对应的尺度的特征数据进 行弱化，来生成目标对象的融合特征数据，这些融合特征数据可用于进 行目标对象的分类、对目标对象的关键点提取、对目标对象的属性标识 等等，但不限于此。

根据本发明实施例一的对象特征提取方法，通过从待检图像获取多 个尺度的特征数据来反映图像的细节和整体语义的特征，为各个尺度的 特征数据生成各自的注意力热度数据，并且融合各个尺度的特征数据和 注意力热度数据，来生成所述目标对象的融合特征数据。由此，获得融 合了细节和整体语义的特征数据和注意力热度数据的融合特征数据，有 助于后续基于该融合特征数据准确地完成图像处理任务。

实施例二

图2是示出根据本发明实施例二的对象特征提取方法的流程图。

为了便于说明，在本公开中，假设前述多个尺度为N个尺度，N为 大于1的整数。

此外，根据本实施例，任一尺度的特征数据包括该尺度的与多个特 征通道对应的第一特征图。这里，多个特征通道可与预定多个图像特征 或对象特征相应，以表征图像对各个特征通道对应的图像特征或对象特 征的响应程度。

参照图2，在步骤S210，从待检图像获取目标对象的N个尺度的第 一特征图。

可例如，对待检图像执行多次卷积及多次降采样池化来分别获取目 标对象的N个尺度的第一特征图。这些第一特征图表征在相应的尺度， 待检图像对图像特征或对象特征的响应程度。响应程度越高，则待检图 像具有该图像特征或对象特征的可能性越大；响应程度越低，则待检图 像具有该图像特征或对象特征的可能性越小。

此后，对每个尺度/任一尺度的第一特征图，分别执行步骤S220～S240 的处理。

在步骤S220，通过对该尺度的多个第一特征图进行降维卷积和非线 性处理，获取所述尺度的注意力热度图。

例如，可对该尺度的与多个特征通道对应的第一特征图进行1×1卷 积，再使用激活函数进行非线性处理，生成所述尺度的与多个特征通道 对应的注意力热度图，使得在生成的注意力热度图中，关键的部位区域 的关注权值较大，而对于目标对象的不重要的部位区域的关注权值较小。

通过对各个特征通道的第一特征图进行1×1卷积和非线性处理，可 获得反映在该尺度待检图像对各个关注部位区域的关注热度，获取该尺 度的注意力热度图。

根据本发明的示例性实施例，可以为任一尺度的第一特征图生成该 尺度的一个注意力热度图，也可以为该尺度的第一特征图生成该尺度的 多个注意力热度图。在每个注意力热度图中，所述关注部位区域的关注 响应程度值高于其他部位区域的关注响应程度值。

根据本发明的一种可选实施方式，在步骤S220，对任一所述尺度的 与多个特征通道对应的第一特征图，随机地初始化该尺度的一个或多个 注意力热度图，通过对所述多个第一特征图进行降维卷积以及非线性处 理，获取所述尺度的一个或多个注意力热度图，其中，所述关注部位区 域的关注响应程度值高于其他部位区域的关注响应程度值。

注意力热度图的个数可以是任意多个，3个、5个、8个或10个等。 此后，将每个注意力热度图复制为与多个特征通道的个数相同的多个注 意力热度图。由此，在该尺度，与每个特征通道也对应有多个(3个、5 个、8个或10个等)注意力热度图。

在生成多个注意力热度图的情形中，由于该尺度的一个或多个注意 力热度图被随机地初始化，因此获得的多个注意力热度图不同，多个注 意力热度图均用于步骤S230的特征图注意力强化处理，以获得更优的特 征融合效果。

图5是示出步骤S220的示例性处理的示意图。在图5中的(a)部 分示出通过步骤S220的处理从左侧的待检图像获取到的三个尺度的各 一个注意力热度图α¹、α²和α³。在图5中的(b)部分示出通过步骤S220 的处理，由尺度3的第一特征图获得的尺度3的8个注意力热度图

这些注意力热度图

捕获了与人体部分、突出对象以及背景 相关的不同视觉特点。

在步骤S230，根据所述尺度的注意力热度图，分别对所述N个尺度 的第一特征图进行强化，获得N个第二特征图。

也就是说，使用该尺度的注意力热度图对每个尺度的第一特征图进 行强化。由于在注意力热度图中，关注响应程度值高于其他部位区域的 关注响应程度值，因此通过步骤S230的处理，使得在第一特征图中，与 关注响应程度值高于其他部位区域的关注响应程度值的位置的特征值加 强，而其他位置的特征值减弱。例如，假设在步骤S210，为待检图像进行9×9尺度、5×5尺度和3×3尺度共3个尺度的第一特征图。在步骤 S220，针对3×3尺度的第一特征图获取到3×3尺度的注意力热度图。 相应地，在步骤S230，使用3×3尺度的注意力热度图，分别与9×9尺 度的第一特征图、5×5尺度的第一特征图以及3×3尺度的第一特征图 进行点乘，获得3个经过3×3尺度的注意力热度图强化的第二特征图。

图6是示出步骤S230的一种示例性处理的示意图。首先，在图6中 的(a)部分中示出三个尺度1、2和3，通过步骤S210的处理，分别获 取到该三个尺度的第一特征图。其次，在图6中的(b)部分中示出，通 过步骤S220对尺度2的第一特征图的处理获得的注意力热度图α2分别被 用于对各个第一特征图进行注意力强化(例如进行点乘)，以获得尺度 2的3个第二特征图。

通过对每个尺度的第一特征图执行步骤S220和S230的处理，可获 得经过多层次注意力强化的N×N个第二特征图。

需要指出，每个第二特征图还可进一步包括对前述各个特征通道对 应的第一特征图分别进行注意力强化得到各个特征通道对应的第二特征 图。

此后，在步骤S240，将N个尺度的第一特征图和所述N×N个第二 特征图进行融合，获得所述目标对象的融合特征数据。

具体地，将最初获取的N个尺度的第一特征图和经过各个尺度注意 力强化的N×N个第二特征图进行叠加、降维，获得目标对象的融合特 征数据。

在步骤S250，根据所述目标对象的融合特征数据，获取所述目标对 象的属性信息，或者，获取所述目标对象的分类信息。

具体地，可针对对象属性分类的任务或对象识别的任务，执行步骤 S210～S240的处理，来获得用于对象属性分类的任务或对象识别的任务 的融合特征数据。

相应地，在步骤S250，根据融合了细节和整体语义特征的融合特征 数据，获取目标对象的属性信息，以完成对象属性分类的任务，或者， 根据融合了细节和整体语义特征的融合特征数据，获取所述目标对象的 分类信息。

例如，通过步骤S210～S240的处理，获得行人的融合特征数据；在 步骤S250，根据行人的融合特征数据获取行人的属性信息(例如，性别、 年龄、上衣的颜色等)，或者，根据行人的融合特征数据进行行人的跟 踪，获取行人的身份识别信息等。

需要指出，本发明实施例提出的对象特征提取方法，具有通用性， 其适用于针对任何与目标对象相关的任务的特征提取，而不限于前述对 象属性分类任务或对象识别任务。在此，仅将对象属性分类任务或对象 识别任务作为示例来描述本发明实施例的对象特征提取方法。

根据本发明实施例二的对象特征提取方法，通过从待检图像获取N 个尺度的特征图来反映图像的细节和整体语义的特征，为N个尺度的特 征图生成各自的注意力热度图，通过每个尺度的注意力热度图分别对N 个尺度的特征图进行强化，获取到N×N个经过不同尺度、注意力强化 的特征图；再将最初获取的特征图与经过不同尺度、注意力强化的特征图进行融合，获得目标对象的融合特征数据。从而，获得融合了细节和 整体语义的特征数据和注意力热度数据的融合特征数据，基于该融合特 征数据准确地完成例如对象属性分类任务或对象识别任务等的图像处理 任务。

实施例三

图3是示出根据本发明实施例三的对象特征提取方法的流程图。

在本发明实施例三的对象特征提取方法中，可使用用于生成融合特 征数据的第一神经网络和/或用于特征提取的第二神经网络来执行相应 步骤的处理。

参照图3，在步骤S310，通过第二神经网络，从待检图像获取目标 对象的多个尺度的特征数据。

具体地，可通过预先训练的第二神经网络，从待检图像获取目标对 象的多个尺度的特征数据。第二神经网络可通过对待检图像进行多次卷 积、池化，获取目标对象的多个尺度的特征数据。

如前所述，可选地，任一尺度的特征数据包括该尺度的与多个特征 通道对应的第一特征图。

在步骤S320，通过第一神经网络，根据各个尺度的特征数据生成各 个尺度各自的注意力热度数据，并且根据各个尺度的特征数据和所述各 个尺度的注意力热度数据，获取所述目标对象的融合特征数据。

具体地，第一神经网络可包括与所述尺寸的个数对应的尺度特征强 化子网，用于执行步骤S320的处理。每个尺度特征强化子网与某个尺度 对应。

为了对各个尺度的特征数据执行步骤S320的处理，可对前述各个尺 度的特征数据进行复制，作为每个尺度特征强化子网的输入和处理对象。 例如，假设在步骤S310，从待检图像获取目标对象的三个尺度的特征数 据，则将这三个尺度的特征数据分别复制三次，将复制的三个尺度的特 征数据分别作为尺度特征强化子网的输入和处理对象。

图4是示出根据本发明实施例三的步骤S320的一种示例性处理的流 程图。具体地，通过各个尺度特征强化子网分别执行步骤S410～S420的 处理。

参照图4，在步骤S410，通过尺度特征强化子网，对对应尺度的与 多个特征通道对应的第一特征图进行降维卷积和非线性处理，获取所述 对应尺度的注意力热度图。

该步骤的处理与前述步骤S220的处理类似，可通过尺度特征强化子 网，获得反映在该尺度待检图像对各个特征的关注热度，获取注意力热 度图。

在步骤S420，通过尺度特征强化子网，根据所述对应尺度的注意力 热度图，分别对所述N个尺度的第一特征图进行强化，获得N个第二特 征图。

该步骤的处理与前述步骤S230的处理类似，可通过尺度特征强化子 网，获得N个经过该尺度的注意力热度图强化的第二特征图。

在通过各个尺度特征强化子网完成前述S410～S420的处理后，获得 经过多层次注意力强化的N×N个第二特征图。

根据本发明的一种可选实施方式，第一神经网络还包括具有全局平 均池化层和全连接层的特征融合子网，用于对提取的第一特征图和第二 特征图进行融合，以用于完成图像处理任务。其中，全局平均池化层用 于对多个尺度的第一特征图和所述N×N个第二特征图进行全局平均池 化，获取待检图像的经过强化的全局图像特征；全连接层用于基于全局 平均池化层获取的经过强化的全局图像特征，来提取与图像处理任务相 关的目标对象的融合特征数据。

相应地，可选地，在步骤S430，通过特征融合子网，将所述多个尺 度的第一特征图和所述N×N个第二特征图进行融合，获得所述目标对 象的融合特征数据。

图7是示出根据本发明实施例三的对象特征提取方法的示例性处理 的示意图。

参照图7，首先，通过第二神经网络710，从左侧示出的待检图像获 取到目标对象的三个尺度的特征数据(步骤S410)，即第一特征图F1、 F2和F3。然后，将这三个尺度的第一特征图F1、F2和F3分别复制三 次，将复制的三个尺度的第一特征图F1、F2和F3分别作为第一神经网 络720的尺度特征强化子网721-1、721-2和721-3的输入和处理对象。 此后，分别通过尺度特征强化子网721-1、721-2和721-3进行步骤 S410～S420的处理，再通过第一神经网络720的特征融合子网723对N 个尺度的第一特征图F1、F2和F3和3×3个第二特征图进行融合，获 得与图像处理任务相关的目标对象的融合特征数据(步骤S430)。

根据本发明实施例三的对象特征提取方法，通过第二神经网络从待 检图像获取多个尺度的特征数据来反映图像的细节和整体语义的特征， 通过第一神经网络为各个尺度的特征数据生成各自的注意力热度数据， 并且融合各个尺度的特征数据和注意力热度数据，来精确地生成所述目 标对象的融合特征数据。由此，获得融合了细节和整体语义的特征数据 和注意力热度数据的融合特征数据，有助于后续基于该融合特征数据准 确地完成图像处理任务。

实施例四

图8是示出根据本发明实施例四的对象特征提取装置的逻辑框图。

参照图8，本发明实施例四的对象特征提取装置包括：

特征获取模块810，用于从待检图像获取目标对象的多个尺度的特 征数据；

注意力热度生成模块820，用于根据特征获取模块810获取到的各 个尺度的特征数据生成各个尺度各自的注意力热度数据，所述注意力热 度数据表征所述目标对象各个关注部位区域的关注热度；

融合特征获取模块830，用于根据特征获取模块810获取到的各个 尺度的特征数据和注意力热度生成模块820生成的各个尺度的注意力热 度数据，获取所述目标对象的融合特征数据。

本实施例的对象特征提取装置用于实现前述方法实施例中相应的对 象特征提取方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例五

图9是示出根据本发明实施例五的对象特征提取装置的逻辑框图。

根据本发明实施例五，任一所述尺度的特征数据包括所述尺度的与 多个特征通道对应的第一特征图。

相应地，注意力热度生成模块820用于对任一所述尺度的与多个特 征通道对应的第一特征图，通过对所述多个第一特征图进行降维卷积和 非线性处理，获取所述尺度的注意力热度图。

可选地，任一所述尺度的注意力热度图包括所述尺度的一个或多个 注意力热度图，在所述注意力热度图中，所述关注部位区域的关注响应 程度值高于其他部位区域的关注响应程度值。

可选地，所述多个尺度为N个尺度，N为大于1的整数；融合特征 获取模块830用于针对所述N个尺度中的每个尺度的第一特征图，根据 每个所述尺度的注意力热度图分别进行强化，获得N×N个第二特征图， 并且将所述N个尺度的第一特征图和所述N×N个第二特征图进行融合， 获得所述目标对象的融合特征数据。

可选地，注意力热度生成模块820用于通过第一神经网络，根据各 个尺度的特征数据生成各个尺度各自的注意力热度数据，并且通过第一 神经网络，根据各个尺度的特征数据和所述各个尺度的注意力热度数据， 获取所述目标对象的融合特征数据。

可选地，所述第一神经网络包括与所述尺寸的个数对应的尺度特征 强化子网；所述尺度特征强化子网用于对其对应尺度的与多个特征通道 对应的第一特征图，通过对所述多个第一特征图进行降维卷积和非线性 处理，获取所述尺度的注意力热度图，并且用于针对所述N个尺度中的 每个尺度的第一特征图，根据每个所述尺度的注意力热度图分别进行强 化，获得N×N个第二特征图。

可选地，所述第一神经网络还包括具有全局平均池化层和全连接层 的特征融合子网；所述特征融合子网用于将所述N个尺度的第一特征图 和所述N×N个第二特征图进行融合，获得所述目标对象的融合特征数 据。

可选地，特征获取模块810用于通过第二神经网络，从待检图像获 取目标对象的多个尺度的特征数据。

可选地，所述装置还包括：任务处理模块840，用于根据所述目标 对象的融合特征数据，获取所述目标对象的属性信息，或者，根据所述 目标对象的融合特征数据，获取所述目标对象的分类信息。

可选地，所述目标对象为行人。

本实施例的对象特征提取装置用于实现前述方法实施例中相应的对 象特征提取方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例六

根据本发明实施例六提供一种计算机可读存储介质，其上存储有计 算机程序指令，其中，所述程序指令被处理器执行时实现前述任一对象 特征提取方法的步骤。

该计算机可读存储介质用于实现前述方法实施例中相应的对象特征 提取方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例七

图10是示出根据本发明实施例七的电子设备的结构示意图。

本发明实施例还提供了一种电子设备，例如可以是移动终端、个人 计算机(PC)、平板电脑、服务器等。下面参考图10，其示出了适于用 来实现本发明实施例的终端设备或服务器的电子设备1000的结构示意 图。

如图10所示，电子设备1000包括一个或多个处理器、通信元件等， 所述一个或多个处理器例如：一个或多个中央处理单元(CPU)1001， 和/或一个或多个图像处理器(GPU)1013等，处理器可以根据存储在只 读存储器(ROM)1002中的可执行指令或者从存储部分1008加载到随 机访问存储器(RAM)1003中的可执行指令而执行各种适当的动作和处 理。通信元件包括通信组件1012和通信接口1009。其中，通信组件1012 可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡， 通信接口1009包括诸如LAN卡、调制解调器等的网络接口卡的通信接 口，通信接口1009经由诸如因特网的网络执行通信处理。

处理器可与只读存储器1002和/或随机访问存储器1030中通信以执 行可执行指令，通过总线1004与通信组件1012相连、并经通信组件1012 与其他目标设备通信，从而完成本发明实施例提供的任一项方法对应的 操作，例如，从待检图像获取目标对象的多个尺度的特征数据；根据各 个尺度的特征数据生成各个尺度各自的注意力热度数据，所述注意力热 度数据表征所述目标对象各个关注部位区域的关注热度；根据各个尺度 的特征数据和所述各个尺度的注意力热度数据，获取所述目标对象的融 合特征数据。

在一种可选的实施方式中，任一所述尺度的特征数据包括所述尺度 的与多个特征通道对应的第一特征图；可执行指令用于使得处理器进一 步执行以下操作：：对任一所述尺度的与多个特征通道对应的第一特征 图，通过对所述多个第一特征图进行降维卷积和非线性处理，获取所述 尺度的注意力热度图。

在一种可选的实施方式中，任一所述尺度的注意力热度图包括所述 尺度的一个或多个注意力热度图，在所述注意力热度图中，所述关注部 位区域的关注响应程度值高于其他部位区域的关注响应程度值。

在一种可选的实施方式中，所述多个尺度为N个尺度，N为大于1 的整数；所述可执行指令进一步使所述处理器执行以下操作：针对所述 N个尺度中的每个尺度的第一特征图，根据每个所述尺度的注意力热度 图分别进行强化，获得N×N个第二特征图；将所述N个尺度的第一特 征图和所述N×N个第二特征图进行融合，获得所述目标对象的融合特 征数据。

在一种可选的实施方式中，所述可执行指令进一步使所述处理器执 行以下操作：通过第一神经网络，根据各个尺度的特征数据生成各个尺 度各自的注意力热度数据；通过第一神经网络，根据各个尺度的特征数 据和所述各个尺度的注意力热度数据，获取所述目标对象的融合特征数 据。

在一种可选的实施方式中，所述第一神经网络包括与所述尺寸的个 数对应的尺度特征强化子网；所述可执行指令进一步使所述处理器执行 以下操作：通过任一所述尺度的尺度特征强化子网，对所述尺度的与多 个特征通道对应的第一特征图，通过对所述多个第一特征图进行降维卷 积和非线性处理，获取所述尺度的注意力热度图；通过各个尺度的尺度 特征强化子网，针对所述N个尺度中的每个尺度的第一特征图，根据每 个所述尺度的注意力热度图分别进行强化，获得N×N个第二特征图。

在另一种可选的实施方式中，所述第一神经网络还包括具有全局平 均池化层和全连接层的特征融合子网；所述可执行指令进一步使所述处 理器执行以下操作：通过所述特征融合子网将所述N个尺度的第一特征 图和所述N×N个第二特征图进行融合，获得所述目标对象的融合特征 数据。

在一种可选的实施方式中，所述可执行指令进一步使所述处理器执 行以下操作：通过第二神经网络，从待检图像获取目标对象的多个尺度 的特征数据。

在一种可选的实施方式中，根据所述目标对象的融合特征数据，获 取所述目标对象的属性信息，或者，获取所述目标对象的分类信息。

在一种可选的实施方式中，所述目标对象为行人。

此外，在RAM 1003中，还可存储有装置操作所需的各种程序和数 据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。在 有RAM 1003的情况下，ROM 1002为可选模块。RAM 1003存储可执行 指令，或在运行时向ROM 1002中写入可执行指令，可执行指令使处理 器1001执行上述通信方法对应的操作。输入/输出(I/O)接口1005也连 接至总线1004。通信组件1012可以集成设置，也可以设置为具有多个 子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006； 包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的 输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、 调制解调器等的网络接口卡的通信接口1009。驱动器1010也根据需要 连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半 导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的 计算机程序根据需要被安装入存储部分1008。

需要说明的是，如图10所示的架构仅为一种可选实现方式，在具体 实践过程中，可根据实际需要对上述图10的部件数量和类型进行选择、 删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成 设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在 CPU上，通信组件1012可分离设置，也可集成设置在CPU或GPU上， 等等。这些可替换的实施方式均落入本发明的保护范围。

特别地，根据本发明实施例，上文参考流程图描述的过程可以被实 现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品， 其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用 于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明 实施例提供的方法步骤对应的指令，例如，用于从待检图像获取目标对 象的多个尺度的特征数据的可执行代码；用于根据各个尺度的特征数据 生成各个尺度各自的注意力热度数据的可执行代码，所述注意力热度数 据表征所述目标对象各个关注部位区域的关注热度；用于根据各个尺度 的特征数据和所述各个尺度的注意力热度数据，获取所述目标对象的融 合特征数据的可执行代码。在这样的实施例中，该计算机程序可以通过 通信元件从网络上被下载和安装，和/或从可拆卸介质1011被安装。在 该计算机程序被中央处理单元(CPU)1001执行时，执行本发明实施例 的方法中限定的上述功能。

本发明实施例七提供的电子设备，通过从待检图像获取多个尺度的 特征数据来反映图像的细节和整体语义的特征，为各个尺度的特征数据 生成各自的注意力热度数据，并且融合各个尺度的特征数据和注意力热 度数据，来生成所述目标对象的融合特征数据。由此，获得融合了细节 和整体语义的特征数据和注意力热度数据的融合特征数据，有助于后续 基于该融合特征数据准确地完成图像处理任务。

需要指出，根据实施的需要，可将本申请中描述的各个部件/步骤拆 分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分 操作组合成新的部件/步骤，以实现本发明实施例的目的。

可能以许多方式来实现本发明的方法和装置、设备。例如，可通过 软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明实施 例的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明， 本发明实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方 式特别说明。

本发明实施例的描述是为了示例和描述起见而给出的，而并不是无 遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的 普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明 的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而 设计适于特定用途的带有各种修改的各种实施例。

Claims (18)

1.一种对象特征提取方法，包括：

从待检图像获取目标对象的多个尺度的特征数据，任一所述尺度的特征数据包括所述尺度的与多个特征通道对应的第一特征图；

根据各个尺度的特征数据生成各个尺度各自的注意力热度数据，所述注意力热度数据表征所述目标对象各个关注部位区域的关注热度；

根据各个尺度的特征数据和所述各个尺度的注意力热度数据，获取所述目标对象的融合特征数据，

其中，所述根据各个尺度的特征数据生成各个尺度各自的注意力热度数据，包括：

对任一所述尺度的与多个特征通道对应的第一特征图，通过对所述多个第一特征图进行降维卷积和非线性处理，获取所述尺度的一个或多个注意力热度图；

其中，所述多个尺度为N个尺度，N为大于1的整数，并且所述根据各个尺度的特征数据和所述各个尺度的注意力热度数据，获取所述目标对象的融合特征数据，包括：

针对所述N个尺度中的每个尺度的第一特征图，根据每个所述尺度的注意力热度图分别进行强化，获得N×N个第二特征图；

将所述N个尺度的第一特征图和所述N×N个第二特征图进行融合，获得所述目标对象的融合特征数据。

2.根据权利要求1所述的对象特征提取方法，其中，任一所述尺度的注意力热度图包括所述尺度的一个或多个注意力热度图，在所述注意力热度图中，所述关注部位区域的关注响应程度值高于其他部位区域的关注响应程度值。

3.根据权利要求1～2中任一项所述的对象特征提取方法，其中，所述根据各个尺度的特征数据生成各个尺度各自的注意力热度数据，包括：

通过第一神经网络，根据各个尺度的特征数据生成各个尺度各自的注意力热度数据；

所述根据各个尺度的特征数据和所述各个尺度的注意力热度数据，获取所述目标对象的融合特征数据，包括：

通过第一神经网络，根据各个尺度的特征数据和所述各个尺度的注意力热度数据，获取所述目标对象的融合特征数据。

4.根据权利要求3所述的对象特征提取方法，其中，所述第一神经网络包括与所述尺度的个数对应的尺度特征强化子网，

所述对任一所述尺度的与多个特征通道对应的第一特征图，通过对所述多个第一特征图进行降维卷积和非线性处理，获取所述尺度的注意力热度图，包括：

通过任一所述尺度的尺度特征强化子网，对所述尺度的与多个特征通道对应的第一特征图，通过对所述多个第一特征图进行降维卷积和非线性处理，获取所述尺度的注意力热度图；

所述针对所述N个尺度中的每个尺度的第一特征图，根据每个所述尺度的注意力热度图分别进行强化，获得N×N个第二特征图，包括：

通过各个尺度的尺度特征强化子网，针对所述N个尺度中的每个尺度的第一特征图，根据每个所述尺度的注意力热度图分别进行强化，获得N×N个第二特征图。

5.根据权利要求4所述的对象特征提取方法，其中，所述第一神经网络还包括具有全局平均池化层和全连接层的特征融合子网，

所述将所述N个尺度的第一特征图和所述N×N个第二特征图进行融合，获得所述目标对象的融合特征数据，包括：

通过所述特征融合子网将所述N个尺度的第一特征图和所述N×N个第二特征图进行融合，获得所述目标对象的融合特征数据。

6.根据权利要求1～2中任一项所述的对象特征提取方法，其中，所述从待检图像获取目标对象的多个尺度的特征数据，包括：

通过第二神经网络，从待检图像获取目标对象的多个尺度的特征数据。

7.根据权利要求1～2中任一项所述的对象特征提取方法，其中，所述方法还包括：

根据所述目标对象的融合特征数据，获取所述目标对象的属性信息，或者，获取所述目标对象的分类信息。

8.根据权利要求7所述的对象特征提取方法，其中，所述目标对象为行人。

9.一种对象特征提取装置，包括：

特征获取模块，用于从待检图像获取目标对象的多个尺度的特征数据，任一所述尺度的特征数据包括所述尺度的与多个特征通道对应的第一特征图；

注意力热度生成模块，用于根据所述特征获取模块获取到的各个尺度的特征数据生成各个尺度各自的注意力热度数据，所述注意力热度数据表征所述目标对象各个关注部位区域的关注热度；

融合特征获取模块，用于根据所述特征获取模块获取到的各个尺度的特征数据和所述注意力热度生成模块生成的各个尺度的注意力热度数据，获取所述目标对象的融合特征数据，

其中，所述注意力热度生成模块用于对任一所述尺度的与多个特征通道对应的第一特征图，通过对所述多个第一特征图进行降维卷积和非线性处理，获取所述尺度的一个或多个注意力热度图；

其中，所述多个尺度为N个尺度，N为大于1的整数，所述融合特征获取模块用于：针对所述N个尺度中的每个尺度的第一特征图，根据每个所述尺度的注意力热度图分别进行强化，获得N×N个第二特征图，并且将所述N个尺度的第一特征图和所述N×N个第二特征图进行融合，获得所述目标对象的融合特征数据。

10.根据权利要求9所述的对象特征提取装置，其中，任一所述尺度的注意力热度图包括所述尺度的一个或多个注意力热度图，在所述注意力热度图中，所述关注部位区域的关注响应程度值高于其他部位区域的关注响应程度值。

11.根据权利要求9～10中任一项所述的对象特征提取装置，其中，所述注意力热度生成模块用于通过第一神经网络，根据各个尺度的特征数据生成各个尺度各自的注意力热度数据，并且通过第一神经网络，根据各个尺度的特征数据和所述各个尺度的注意力热度数据，获取所述目标对象的融合特征数据。

12.根据权利要求11所述的对象特征提取装置，其中，所述第一神经网络包括与所述尺度的个数对应的尺度特征强化子网，

所述尺度特征强化子网用于对其对应尺度的与多个特征通道对应的第一特征图，通过对所述多个第一特征图进行降维卷积和非线性处理，获取所述尺度的注意力热度图，并且用于针对所述N个尺度中的每个尺度的第一特征图，根据每个所述尺度的注意力热度图分别进行强化，获得N×N个第二特征图。

13.根据权利要求12所述的对象特征提取装置，其中，所述第一神经网络还包括具有全局平均池化层和全连接层的特征融合子网，

所述特征融合子网用于将所述N个尺度的第一特征图和所述N×N个第二特征图进行融合，获得所述目标对象的融合特征数据。

14.根据权利要求9～10中任一项所述的对象特征提取装置，其中，所述特征获取模块，用于通过第二神经网络，从待检图像获取目标对象的多个尺度的特征数据。

15.根据权利要求9～10中任一项所述的对象特征提取装置，其中，所述装置还包括：

任务处理模块，用于根据所述目标对象的融合特征数据，获取所述目标对象的属性信息，或者，根据所述目标对象的融合特征数据，获取所述目标对象的分类信息。

16.根据权利要求15所述的对象特征提取装置，其中，所述目标对象为行人。

17.一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1～8中任一项所述的对象特征提取方法相应的操作。

18.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求1～8中任一项所述对象特征提取方法的步骤。

Images