CN111027455B - 行人特征提取方法、装置、电子设备及存储介质 - Google Patents

行人特征提取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111027455B
CN111027455B CN201911238919.3A CN201911238919A CN111027455B CN 111027455 B CN111027455 B CN 111027455B CN 201911238919 A CN201911238919 A CN 201911238919A CN 111027455 B CN111027455 B CN 111027455B
Authority
CN
China
Prior art keywords
pedestrian
training
feature
map
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911238919.3A
Other languages
English (en)
Other versions
CN111027455A (zh
Inventor
徐阳
王�义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201911238919.3A priority Critical patent/CN111027455B/zh
Publication of CN111027455A publication Critical patent/CN111027455A/zh
Application granted granted Critical
Publication of CN111027455B publication Critical patent/CN111027455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供的行人特征提取方法、装置、电子设备及存储介质，涉及行人再识别领域，该方法获取待识别行人图像的掩码图和高层语义特征图；该掩码图中包括第一像素值和第二像素值；该第一像素值表征待剔除的背景特征；第二像素值表征待识别行人特征；该高层语义特征图中包括背景特征和待识别行人特征；根据掩码图对高层语义特征图中的背景特征进行剔除，获得目标特征图；目标特征图中包含待识别行人特征的特征向量。与现有技术相比，本发明通过掩码图取剔除原始图像的背景特征，从而提高了特征提取的准确度，提高了行人识别的准确率。

Description

行人特征提取方法、装置、电子设备及存储介质
技术领域
本发明涉及行人再识别领域，具体而言，涉及一种行人特征提取方法、装置、电子设备及存储介质。
背景技术
行人再识别(Personre-identification，简称reid)是视频监控和公共安全中的一个热门课题，指的是在非重叠视域的不同摄像机中识别匹配同一行人问题。行人再识别最大的挑战性问题之一就是跨场景识别，即在不同摄像头所拍摄的不同场景中辨识行人。
现有技术中通过提取行人图像的特征向量。然后计算特征向量之间的相似度来度量行人识别的准确率，但是，由于各个场景下拍摄的图像中包含的背景复杂，使得提取的行人特征准确度不高，降低了行人识别的准确率。
发明内容
有鉴于此，本发明的目的在于提供的一种行人特征提取方法、装置、电子设备及存储介质，用以实现降低了行人识别的准确率的有益效果。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明提供一种行人特征提取方法，所述方法包括：
获取待识别行人图像的掩码图和高层语义特征图；所述掩码图中包括第一像素值和第二像素值；所述第一像素值表征待剔除的背景特征；所述第二像素值表征待识别行人特征；所述高层语义特征图中包括背景特征和待识别行人特征；
根据所述掩码图对所述高层语义特征图中的背景特征进行剔除，获得目标特征图；所述目标特征图中包含所述待识别行人特征的特征向量。
可选地，在获取待识别行人图像的掩码图和高层语义特征图之前，所述方法还包括：通过特征提取获得所述待识别行人图像的低层语义特征图。
可选地，所述获取待识别行人图像的掩码图和高层语义特征图的步骤，包括：通过语义分割模型获得所述掩码图；所述语义分割模型经过训练获得；通过行人再识别模型获得所述高层语义特征图；所述语义分割模型经过训练获得。
可选地，所述语义分割模型经过训练后获得的步骤，包括：获得所述多张训练图像；所述多张训练图像包含所述待剔除背景特征和所述待识别行人特征；将所述待剔除背景特征对应的像素标注为所述第一像素值，所述待识别行人特征对应的像素标注为所述第二像素值；获得所述多张训练图像的训练低层语义特征图；将所述训练掩码图输入至第一损失函数进行训练，至所述第一损失函数收敛，以获取所述语义分割模型。
可选地，所述行人再识别模型经过训练后获得的步骤，包括：根据所述训练低层语义特征图获得训练高层语义特征图；根据所述训练高层语义特征图和所述训练掩码图获得所述多张训练图像的训练特征向量；将所述训练特征向量输入至第二损失函数进行训练，至所述第二损失函数收敛，以获取所述行人再识别模型。
可选地，所述高层语义特征图的通道数为M；所述掩码图的通道数为N；其中M大于N；在根据所述掩码图对所述高层语义特征图中的背景特征进行剔除的步骤之前，所述方法还包括：将所述掩码图进行求取Argmax值并以及进行通道复制，以使所述掩码图通道数与所述高层语义特征图的通道数一致。
可选地，根据所述掩码图对所述高层语义特征图中的背景特征进行剔除的步骤之后，所述方法还包括：将所述高层语义特征图与所述目标特征图的通道进行连接。
第二方面，本发明提供一种行人特征提取装置，包括：获取模块和剔除模块；
所述获取模块，用于获取待识别行人图像的掩码图和高层语义特征图；所述掩码图中包括第一像素值和第二像素值；所述第一像素值表征待剔除的背景特征；所述第二像素值表征待识别行人特征；所述高层语义特征图中包括背景特征和待识别行人特征；
所述剔除模块，用于根据所述掩码图对所述高层语义特征图中的背景特征进行剔除，获得目标特征图；所述目标特征图中包含所述待识别行人特征的特征向量。
可选地，所述行人特征提取装置还包括：特征提取模块；所述特征提取模块，用于通过特征提取获得所述待识别行人图像的低层语义特征图。
第三方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现如上所述的行人特征提取方法。
第四方面，本发明提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的行人特征提取方法。
通过上述描述可知，本发明实施例具有以下有益效果：
本发明实施例提供的行人特征提取方法、装置、电子设备及存储介质，首先获取待识别行人图像的掩码图和高层语义特征图；该掩码图中包括第一像素值和第二像素值；该第一像素值表征待剔除的背景特征；第二像素值表征待识别行人特征；该高层语义特征图中包括背景特征和待识别行人特征；然后在根据掩码图对高层语义特征图中的背景特征进行剔除，获得目标特征图；目标特征图中包含待识别行人特征的特征向量。与现有技术相比，本发明在获取待识别图像的特征向量之前，通过掩码图取剔除原始图像的背景特征，从而使得目标特征图中仅包含待识别行人特征向量，从而提高了行人识别的准确率。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种行人特征提取方法的流程示意图；
图2为本发明实施例提供的另一种行人特征提取方法的流程示意图；
图3为本发明实施例提供的另一种行人特征提取方法的流程示意图；
图4为本发明实施例提供的另一种行人特征提取方法的流程示意图；
图5为本发明实施例提供的另一种行人特征提取方法的流程示意图；
图6为本发明实施例提供的另一种行人特征提取方法的流程示意图；
图7为本发明实施例提供的另一种行人特征提取方法的流程示意图；
图8为图8为本发明实施例提供的行人特征提取实例示意图；
图9为本发明实施例提供的一种行人特征提取装置的方框示意图；
图10为本发明实施例提供的另一种行人特征提取装置的方框示意图；
图11为本发明实施例提供的一种电子设备的方框示意图。
图标：10-待识别行人图像；11-语义分割模块；12-行人再识别模块；40-行人特征提取装置；401-获取模块；402-剔除模块；403-特征提取模块；50-电子设备；501-通信接口；502-处理器；503-存储器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
行人再识别广泛应用于视频监控和公共安全领域，该技术指的是在庞大的视频图像库中识别匹配同一行人的图像。随着行人识别场景的复杂化，不同摄像机拍摄的关于同一个行人的图像中，背景复杂多样，使得行人识别的难度随之增加。在实际的使用过程中，行人再识别方法通过提取图像的特征向量来计算特征向量之间的相似度，根据相似度的高低顺序来对待识别图像进行匹配排序，但由于不同拍摄图像中存在的背景复杂，直接通过提取具有复杂背景的原始图片特征向量的方式使得行人识别准确率低。
为了解决上述问题，本发明提出一种行人特征提取的方法，其核心在于结合语义分割网络和行人再识别网络进行行人特征提取，通过文义分割网络生成的待识别图像的掩码图，并利用该掩码图对行人再识别网络的高层特征图进行逐点乘掩码操作，去除背景特征，使得行人再识别网络生成的行人特征不受背景干扰。
为了详细描述本发明实施例提供一种行人再识别方法，参见图1，与本发明实施例提供的一种行人再识别方法的流程示意图，该方法包括：
步骤201、获取待识别行人图像的掩码图和高层语义特征图。
上述的掩码图中包括第一像素值和第二像素值；该第一像素值表征待剔除背景特征；该第二像素值表征待识别行人特征，其中，第一像素值低于第二像素值；在本发明实施例中，第一像素值可以为0，第二像素值为1。
上述的高层语义特征图包括背景特征和待识别行人特征，该高层语义特征是图是在低层语义特征图的基础上进行多次卷积计算获得。
步骤204、根据掩码图对高层语义特征图中的背景特征进行剔除，获得目标特征图。
可以理解的是，由于掩码图中带剔除背景特征的像素值可以设置为0，行人特征可以设置为1，将高层掩码图和掩码图相乘时，就能通过待剔除背景的像素值将高层语义特征图中的背景特征剔除掉，从而能够提高行人识别的准确率。
上述目标特征图中包含待识别行人特征的特征向量，根据该特征向量可以在比对图像库中进行图像比对以获得与待识别行人图像相似的目标图像，在可选的实现方式中，可以通过计算待识别行人图像的特征向量和比对图像的特征向量之间的相似对来获得相似图像，在一种可选的方式中，可以通过余弦距离的方式来计算相似度。
本发明提供的一种行人特征提取方法，首先获取待识别行人图像的掩码图和高层语义特征图；该掩码图中包括第一像素值和第二像素值；该第一像素值表征待剔除的背景特征；第二像素值表征待识别行人特征；该高层语义特征图中包括背景特征和待识别行人特征；然后在根据掩码图对高层语义特征图中的背景特征进行剔除，获得目标特征图；目标特征图中包含待识别行人特征的特征向量。与现有技术相比，本方法在获取待识别图像的特征向量之前，通过掩码图取剔除原始图像的背景特征，从而使得目标特征图中仅包含待识别行人特征向量，从而提高了行人识别的准确率。
在可选的实施方式中，在图1的基础上，给出一种可能的实现方式，如图2，图2是本发明实施例提供的另一种行人特征提取方法的流程示意图。在获取待识别行人图像的掩码图和高层语义特征图的步骤之前，行人特征提取方法还包括：
步骤200、通过特征提取获得待识别行人图像的低层语义特征图。
可选地，上述的低层语义特征图指得是包含颜色、形状、纹理等简单特征的特征图，可以通过卷积计算来进行低层语义特征提取。低层语义特征图可以适用与各个网络模型，在本发明实施例中，可以通过行人再识别网络来提取原始图片的低层语义特征图。
在可选的实施方式中，为了详细描述所述获得待识别图像的掩码图和高层语义特征图的过程，在图2的基础上，给出一种可能的实现方式，如图3，图3是本发明实施例提供的另一种行人特征提取方法的流程示意图。其中，步骤201的一种可能的实现方式为：
步骤201a、通过语义分割模型获得掩码图。
可选地，上述的语义分割模型经过训练获得。
步骤201b、通过行人再识别模型获得高层语义特征图。
可选地，上述语义分割模型经过训练获得。
在可选地实施方式中，为了获取语义分割模型，给出一种可能的实现方式，如图4，图4是本发明实施例提供的另一种行人特征提取方法的流程示意图，其中，步骤201a的一种可能的实现方式为：
步骤201a-1、获得所张训练图像。
可选地，多张训练图像包含待剔除背景特征和待识别行人特征。
步骤201a-2、将待剔除背景特征对应的像素标注为第一像素值，待识别行人特征对应的像素标注为第二像素值。
步骤201a-3、获得多张训练图像的训练低层语义特征图。
步骤201a-4、将训练掩码图输入至第一损失函数进行训练，至第一损失函数收敛，以获取语义分割模型。
可选地，由于在进行特征提取的时候进行的下采样操作，所以在进行语义分割模型训练时需要将经过下采样的图像尺寸还原为原始图像尺寸，因此需要进行上采样，第一损失函数可以为交叉熵函数等。
在可选的实施方式中，为了行人再识别模型，给出一种可选的实现方式，参见图5，图5是本发明实施例提供的另一种行人特征提取方法的流程示意图，获取行人再识别模型的方法包括：
步骤201b-1、根据训练低层语义特征图获得训练高层语义特征图。
步骤201b-2、根据训练高层语义特征图和训练掩码图获得多张训练图像的训练特征向量。
步骤201b-3、将训练特征向量输入至第二损失函数进行训练，至第二损失函数收敛，以获取行人再识别模型。
可选地，为了使语义分割模型生成的掩码图的通道数为和行人识别模型生成的高层语义特征图的通道数一致，在在图1的基础上，给出一种可能的实现方式，参见图6，图6为本发明实施例提供的另一种行人特征提取方法的流程示意图。其中，在将高层语义特征图和掩码图相乘获得目标特征图的步骤之前，所述方法还包括：
步骤203、将掩码图求取Argmax值并进行通道复制，以使掩码图通道数与高层语义特征图的通道数一致。
可选地，行人再识别模型生成的高层语义特征图的通道数为M，在一些实施例中，M可以取值为128、256等，语义分割模型生成的掩码图的通道数为N，在在一些实施例中，N可以取值为2，通过通道复制，可以将掩码图的通道数有N复制成M。
可选地，由于实际的场景中，当掩码图不完全正确时，生成的目标特征图容易丢失全局信息，所以对高层特征图直接进行掩码点乘操作会丢失全局信息。因此需要对目标特征图如和高层特征图进行通道连接操作，在图1的基础上给出一种可能的实现方式，参见图7，图7为本发明实施例提供的另一种行人特征提取方法的流程示意图，在根据掩码图对高层语义特征图中的背景特征进行剔除的过程之后，还包括：
步骤205、将高层语义特征图与目标特征图的通道进行通道连接。
可选地，进行通道连接的过程是将高层语义特征图与目标特征图进行相加操作，这样一来就能保留全局信息。
为了详细描述本方案的发明思路，下面将以具体的实例来描述本发明方案，参见图8，图8为本发明实施例提供的行人特征提取实例示意图。其中包括待识别图像10、语义分割模块11和行人再识别模块12。
将待识别图像10输入至行人再识别模块12，经过卷积运算进行特征提取获得待识别图像10的低层语义特征图。
需要说明的是，在实际过程中，由于待识别图像的尺寸较大，所以在进行低层特征提取的时候可以进行下采样，使得图像的尺寸适合操作。例如，假设待识别图像的尺寸800*800，那么在进行特征提取的过程中，可以进行8倍下采样，使得图像尺寸变为100*100，方便后续操作。
获得的低层语义特征图分别输入到语义分割模块11和行人再识别模块12的残差单元中，之后继续将特征图进行卷积运算提取特征图；
经过多次特征提取之后，获得高层语义特征图，即语义分割模块中节点1处的特征图和行人再识别模块12中节点2和节点6处特征图。
可以理解的是，因为待识别图像10可以按照语义分割规则划分为前景(行人)、背景两个类别，所以在经过语义分割模块11中进过特征提取后，节点1处的特征图的通道数为2；经过行人再识别模块12进行特征提取后，节点2和节点6处特征图通道数为M，其中M可以取值为256或者128。
需要说明的是，为了保证语义分割模块11中节点1处的特征图和行人再识别模块12中节点2和节点6处特征图的尺寸大小一致，所以在语义分割模块11和行人再识别模块12中卷积特征提取时需要进行相同次数的下采样。
针对保证语义分割模块11中节点1处的特征图，可以进行Argmax计算方法来获取掩码图，具体计算方式如下所示：
outputi,j＝0 if input0,i,j≥input1,i,j i∈W,j∈H (1)
outputi,j＝1 if input0,i,j<input1,i,j i∈W,j∈H (2)
其中，input为语义分割网络节点1状态出的特征图，output为进行Argmax计算后输出的像素值0,1的掩码图，其中“0”表示给像素为背景，“1”表达给像素为背景行人；W和H分别为节点1状态处的特征图的宽、高。
通过公式(1)和公式(2)即可以获得待识别图像的掩码图，即节点3处的特征图，通过将该掩码图输入到行人再识别网络中与高层特征图相乘就可以剔除背景了。
需要说明的是，由于语义分割模块11中节点1处的特征图通道数2，经过Argmax计算后生成的掩码图，也就是节点3处的图的通道数变为1；而节点2和节点6处的特征图的通道数为M，其中M大于2，所以在将掩码图输入至行人再识别网络之前，需要掩码图的通道数与节点2处特征图的通道数一致，才能将掩码图与高层特征图相乘，所以需要节点3处的将掩码图进行通道复制(channelrepeat)，具体实现方式如下：
outputk,i,j＝inputi,j k∈C,i∈W,j∈H (3)
其中：input为节点3处输入的掩码图，W和H分别为节点2处的高层特征图的宽、高；C为节点2处的高层特征图的通道数。
通过公式(3)完成了通道复制，即获得节点4处的掩码图，将该掩码图与节点2处的高层特征图像进行相乘就可以剔除背景特征了，具体实下方式如下：
outputk,i,j＝input2k,i,j*input4k,i,j k∈C,i∈W,j∈H (4)
其中，input2和input4分别为节点2处的高层特征图和节点4处的掩码图；output为高层特征图和掩码图相乘后生成的目标特征图，即节点5处的目标特征图。
实际的场景中不可能保证所生成的掩码都绝对正确，同时也容易丢失全局信息，所以对高层特征图直接进行掩码点乘操作会丢失全局信息。因此需要对目标特征图如和高层特征图进行通道连接操作，具体实现方式如下：
Figure BDA0002305659140000121
其中，output为进行通道连接之后输出的目标特征图，input5和input6分别为节点5处的目标特征图和节点6处的高层特征图。
获得掩码后的特征图的同时也保留本来的全局信息，之后在进行卷积操作进行特征融合以及全连接层就能获得待识别图像的特征向量，该特征向量仅包含行人特征向量。
生成的特征向量可以输入损失函数中用于训练行人识别模块12，可选地，每次训练可以有三张图片，其中两张相同，一张不同，分别生成三个特征向量分别为f1、f2、f3，计算f1、f2、f3之间的相似度就可以匹配出相同的图像。
为了实现上述实施例的各个步骤，以达到对应的技术效果，下面给出一种行人特征提取装置的实现方式，图9为本发明实施例提供的行人特征提取装置的方框示意图，参见图9，该行人特征提取装置40包括：获取模块401和剔除模块402。
获取模块401，用于获取待识别行人图像的掩码图和高层语义特征图。
可选地，该掩码图中包括第一像素值和第二像素值，该第一像素值表征待剔除的背景特征，第二像素值表征待识别行人特征，该高层语义特征图中包括背景特征和待识别行人特征。
剔除模块402，用于根据掩码图对高层语义特征图中的背景特征进行剔除，获得目标特征图。
可选地，目标特征图中包含待识别行人特征的特征向量。
可以理解的是，获取模块401和剔除模块402可以用来协同的执行步骤201和步骤204以实现相应的技术效果。
本发明实施例提供的行人特征提取装置，包括获取模块和剔除模块；获取模块用于获取待识别行人图像的掩码图和高层语义特征图；该掩码图中包括第一像素值和第二像素值，该第一像素值表征待剔除的背景特征，第二像素值表征待识别行人特征，该高层语义特征图中包括背景特征和待识别行人特征。剔除模块，用于根据掩码图对高层语义特征图中的背景特征进行剔除，获得目标特征图；本装置通过获取模块获取的掩码图能够将获取的高层语义特征图中的背景特征剔除，从而使得提取的行人特征向量更准确，提高了行人再识别是准确率。
可选地，为了获得掩码图和高层语义图，在图9的基础上，下面给出一种可能的实现方式，参见图10，图10为本发明实施例提供的另一种行人特征提取装置的方框示意图，该行人特征提取装置40包括特征提取模块403。
特征提取模块403，用于通过特征提取获得待识别行人图像的低层语义特征图。
可以理解的是，特征提取模块403可以用来的执行步骤200以实现相应的技术效果。
可选地，获取模块401还用来通过语义分割模型获得掩码图，通过行人再识别模型获得高层语义特征图。
可以理解的，获取模块401还可以用来执行步骤201a、步骤201b以实现相应的技术效果。
可选地，该行人特征提取装置40还包括标注模块和训练模块；获取模块401还可以用来获得多张训练图像；
上述的多张训练图像包含待剔除背景特征和待识别行人特征。
标注模块用于将待剔除背景特征对应的像素标注为第一像素值，待识别行人特征对应的像素标注为第二像素值。
获取模块401还用来获得多张训练图像的训练掩码图。
训练模块用来将训练掩码图输入至第一损失函数进行训练，至第一损失函数收敛，以获取语义分割模型。
可以理解的是，获取模块401、标注模块和训练模块可以协同执行步骤201a-1～201a-4以实现相应的技术效果。
可选地，获取模块401还用于根据训练低层语义特征图获得训练高层语义特征图，根据训练高层语义特征图和训练掩码图获得多张训练图像的训练特征向量；训练模块还用于将训练特征向量输入至第二损失函数进行训练，至第二损失函数收敛，以获取行人再识别模型。
可以理解的是，获取模块401、训练模块可以协同执行步骤201a-1～201b-3以实现相应的技术效果。
可选地，该行人特征提取装置40还包括通道复制模块，通道复制模块用于将掩码图求取Argmax值并进行通道复制，以使掩码图的通道数与高层语义特征图的通道数一致。
可以理解的是，通道复制模块可以用来执行步骤203以实现相应的技术效果。
可选地，该行人特征提取装置40还包括通道连接模块，通道连接模块用于将高层语义特征图与目标特征图的通道进行连接。
可以理解的是，通道复制模块可以用来执行步骤205以实现相应的技术效果。
本发明实施例还提供一种电子设备，如图11，图11为本发明实施例提电子设备结构框图。该电子设备50包括通信接口501、处理器502和存储器503。该处理器502、存储器503和通信接口501相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器503可用于存储软件程序及模块，如本发明实施例所提供的行人特征提取方法对应的程序指令/模块，处理器502通过执行存储在存储器503内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口501可用于与其他节点设备进行信令或数据的通信。在本发明中该电子设备50可以具有多个通信接口501。
其中，存储器503可以是但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。
处理器502可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
本发明实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项的行人特征提取方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的各种实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种行人特征提取方法，其特征在于，所述方法包括：
获取待识别行人图像的掩码图和高层语义特征图；所述掩码图中包括第一像素值和第二像素值；所述第一像素值表征待剔除的背景特征；所述第二像素值表征待识别行人特征；所述高层语义特征图中包括背景特征和待识别行人特征；所述获取待识别行人图像的掩码图和高层语义特征图的步骤，包括：
通过语义分割模型获得所述掩码图；所述语义分割模型经过训练获得；所述语义分割模型经过训练后获得的步骤，包括：获得多张训练图像；所述多张训练图像包含所述待剔除背景特征和所述待识别行人特征；将所述待剔除背景特征对应的像素标注为所述第一像素值，所述待识别行人特征对应的像素标注为所述第二像素值；获得所述多张训练图像的训练低层语义特征图和训练掩码图；将所述训练掩码图输入至第一损失函数进行训练，至所述第一损失函数收敛，以获取所述语义分割模型；
通过行人再识别模型获得所述高层语义特征图；所述行人再识别模型经过训练获得；所述行人再识别模型经过训练后获得的步骤，包括：根据所述训练低层语义特征图获得训练高层语义特征图；根据所述训练高层语义特征图和所述训练掩码图获得所述多张训练图像的训练特征向量；将所述训练特征向量输入至第二损失函数进行训练，至所述第二损失函数收敛，以获取所述行人再识别模型；
根据所述掩码图对所述高层语义特征图中的背景特征进行剔除，获得目标特征图；所述目标特征图中包含所述待识别行人特征的特征向量。
2.根据权利要求1所述的行人特征提取方法，其特征在于，在获取待识别行人图像的掩码图和高层语义特征图之前，所述方法还包括：
通过特征提取获得所述待识别行人图像的低层语义特征图。
3.根据权利要求1所述的行人特征提取方法，其特征在于；所述高层语义特征图的通道数为M；所述掩码图的通道数为N；其中M大于N；在根据所述掩码图对所述高层语义特征图中的背景特征进行剔除的步骤之前，所述方法还包括：
将所述掩码图求取Argmax值并进行通道复制，以使所述掩码图的通道数与所述高层语义特征图的通道数一致。
4.根据权利要求1所述的行人特征提取方法，其特征在于，根据所述掩码图对所述高层语义特征图中的背景特征进行剔除的步骤之后，所述方法还包括：
将所述高层语义特征图与所述目标特征图的通道进行连接。
5.一种行人特征提取装置，其特征在于，包括：获取模块和剔除模块；
所述获取模块，用于获取待识别行人图像的掩码图和高层语义特征图；所述掩码图中包括第一像素值和第二像素值；所述第一像素值表征待剔除的背景特征；所述第二像素值表征待识别行人特征；所述高层语义特征图中包括背景特征和待识别行人特征；所述获取模块，具体用于：通过语义分割模型获得所述掩码图；所述语义分割模型经过训练获得；通过行人再识别模型获得所述高层语义特征图；所述行人再识别模型经过训练获得；
所述该行人特征提取装置还包括标注模块和训练模块；
所述获取模块，还用于获得多张训练图像；所述多张训练图像包含所述待剔除背景特征和所述待识别行人特征；所述标注模块，还用于将所述待剔除背景特征对应的像素标注为所述第一像素值，所述待识别行人特征对应的像素标注为所述第二像素值；所述获取模块，还用于获得所述多张训练图像的训练低层语义特征图和训练掩码图；所述训练模块，还用于将所述训练掩码图输入至第一损失函数进行训练，至所述第一损失函数收敛，以获取所述语义分割模型；
所述获取模块，还用于根据所述训练低层语义特征图获得训练高层语义特征图；根据所述训练高层语义特征图和所述训练掩码图获得所述多张训练图像的训练特征向量；所述训练模块，还用于将所述训练特征向量输入至第二损失函数进行训练，至所述第二损失函数收敛，以获取所述行人再识别模型；
所述剔除模块，用于根据所述掩码图对所述高层语义特征图中的背景特征进行剔除，获得目标特征图；所述目标特征图中包含所述待识别行人特征的特征向量。
6.根据权利要求5所述的行人特征提取装置，其特征在于，还包括：特征提取模块；
所述特征提取模块，用于通过特征提取获得所述待识别行人图像的低层语义特征图。
7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-4任一项所述的行人特征提取方法。
8.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的行人特征提取方法。
CN201911238919.3A 2019-12-06 2019-12-06 行人特征提取方法、装置、电子设备及存储介质 Active CN111027455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911238919.3A CN111027455B (zh) 2019-12-06 2019-12-06 行人特征提取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911238919.3A CN111027455B (zh) 2019-12-06 2019-12-06 行人特征提取方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111027455A CN111027455A (zh) 2020-04-17
CN111027455B true CN111027455B (zh) 2021-01-26

Family

ID=70207471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911238919.3A Active CN111027455B (zh) 2019-12-06 2019-12-06 行人特征提取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111027455B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639654B (zh) * 2020-05-12 2023-12-26 博泰车联网(南京)有限公司 一种图像处理方法、装置及计算机存储介质
CN111612763B (zh) * 2020-05-20 2022-06-03 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN112801008B (zh) * 2021-02-05 2024-05-31 电子科技大学中山学院 行人重识别方法、装置、电子设备及可读存储介质
CN113033428A (zh) * 2021-03-30 2021-06-25 电子科技大学 一种基于实例分割的行人属性识别方法
CN113298049B (zh) * 2021-07-12 2021-11-02 浙江大华技术股份有限公司 图像特征降维方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598225A (zh) * 2018-11-29 2019-04-09 浙江大学 尖锐注意力网络、神经网络及行人再识别方法
CN109614907A (zh) * 2018-11-28 2019-04-12 安徽大学 基于特征强化引导卷积神经网络的行人再识别方法及装置
CN109635763A (zh) * 2018-12-19 2019-04-16 燕山大学 一种人群密度估计方法
CN110188835A (zh) * 2019-06-05 2019-08-30 国家广播电视总局广播电视科学研究院 基于生成式对抗网络模型的数据增强行人再识别方法
CN110443818A (zh) * 2019-07-02 2019-11-12 中国科学院计算技术研究所 一种基于涂鸦的弱监督语义分割方法与系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679502B (zh) * 2017-10-12 2019-10-08 南京行者易智能交通科技有限公司 一种基于深度学习图像语义分割的人数估计方法
CN109949316B (zh) * 2019-03-01 2020-10-27 东南大学 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
CN110070044B (zh) * 2019-04-23 2023-03-10 中国民航大学 基于深度学习的行人属性识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614907A (zh) * 2018-11-28 2019-04-12 安徽大学 基于特征强化引导卷积神经网络的行人再识别方法及装置
CN109598225A (zh) * 2018-11-29 2019-04-09 浙江大学 尖锐注意力网络、神经网络及行人再识别方法
CN109635763A (zh) * 2018-12-19 2019-04-16 燕山大学 一种人群密度估计方法
CN110188835A (zh) * 2019-06-05 2019-08-30 国家广播电视总局广播电视科学研究院 基于生成式对抗网络模型的数据增强行人再识别方法
CN110443818A (zh) * 2019-07-02 2019-11-12 中国科学院计算技术研究所 一种基于涂鸦的弱监督语义分割方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Di Chen et al..Person Search via A Mask-Guided Two-Stream CNN Model.《arXiv:1807.08107v1》.2018,第1-17页. *
Person Search via A Mask-Guided Two-Stream CNN Model;Di Chen et al.;《arXiv:1807.08107v1》;20180721;第3节，图1 *

Also Published As

Publication number Publication date
CN111027455A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111027455B (zh) 行人特征提取方法、装置、电子设备及存储介质
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
CN108710847B (zh) 场景识别方法、装置及电子设备
CN109325954B (zh) 图像分割方法、装置及电子设备
WO2020098250A1 (zh) 字符识别方法、服务器及计算机可读存储介质
CN108229591B (zh) 神经网络自适应训练方法和装置、设备、程序和存储介质
US11321966B2 (en) Method and apparatus for human behavior recognition, and storage medium
Mery et al. Student attendance system in crowded classrooms using a smartphone camera
CN107871130A (zh) 图像处理
CN111080670B (zh) 图像提取方法、装置、设备及存储介质
Nguyen et al. Few-shot object counting and detection
CN109063776B (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
CN112329663B (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
JP7419080B2 (ja) コンピュータシステムおよびプログラム
CN110781911A (zh) 一种图像匹配方法、装置、设备及存储介质
CN111339884A (zh) 图像识别方法以及相关设备、装置
CN112766028B (zh) 人脸模糊处理方法、装置、电子设备及存储介质
CN115690488A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN111753766A (zh) 一种图像处理方法、装置、设备及介质
CN108764248B (zh) 图像特征点的提取方法和装置
CN114168768A (zh) 图像检索方法及相关设备
CN111626212A (zh) 图片中对象的识别方法和装置、存储介质及电子装置
CN113705666B (zh) 分割网络训练方法、使用方法、装置、设备及存储介质
CN110287943A (zh) 图像的对象识别方法、装置、电子设备及存储介质
CN115858695A (zh) 一种信息处理方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant