CN109934177A - 行人再识别方法、系统及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种行人再识别方法、系统及计算机可读存储介质，行人再识别方法，包括以下步骤：获取标定数据集，训练标定数据集形成分割模型；采集行人图像，对行人图像背景分割，获得前景图像和环境图像；提取包含行人的前景图像中行人的身形关键点，基于身形关键点对前景图像分割，形成感兴趣区域ROI；基于特征提取模型，对前景图像及感兴趣区域ROI特征提取，获得全局特征及加权特征，并串联构成多维特征向量；将多维特征向量与对目标行人提取的特征进行相似度对比，确定行人是否为目标行人。通过去除不同摄像头下抓拍行人的背景图像，消除了特征提取时的冗余特征，对于行人再识别的识别结果仅基于纯特征，减少了误识别情况的发生。

Description

行人再识别方法、系统及计算机可读存储介质

技术领域

本发明涉及智能监控领域，尤其涉及一种行人再识别方法、系统及计算机可读存储介质。

背景技术

随着时代进步和发展，当前社会环境越来越复杂，人们对自身人身安全的保障越来越重视。为此在商场、医院、地铁以及车站等人流密集场所，都部署了密集的高清摄像头，一方面提供便捷的视频监控管理，另一方面为公安破案和安防指挥提供很大的帮助。而这些密集高清摄像头则构成了可用于部署智能视频分析网格化的监控系统。

此类监控系统，通常采用传统的人工操作方式，发现并比对出特定目标的行人，由于人工操作方式完全依赖于人工审核与主观判断，很难有客观的评价标准，其效率和准确率是相当低下的，因此若能提供一种自动的行人比对方法，显得尤为重要。

在上述情况下，科技市场出现了一种行人再识别技术，行人再识别技术又叫行人重识别技术，负责在不同环境下的多摄像头场景中捕获到的多幅行人图像中，识别出特定目标的行人。具体地，行人再识别技术并非借助于人脸信息，而是综合衣着颜色、纹理等多维特征融合进行判断。

行人再识别技术的实现，有如深度学习兴起之前基于传统特征工程的度量学习的方法，提取全局颜色、纹理等特征结合加权特征，应用机器学习算法中的度量学习，计算特征之间的距离，使得类似目标之间距离更近，不同目标之间距离更远，以此来度量目标之间的相似性。正由于行人再识别技术的上述实现方式，受环境的干扰较多，在提取图像特征中往往包含背景的特征成分，由于同一目标行人在不同摄像头背景下呈现出来的背景各不相同、拍摄角度的不同也会导致提取的特征在一定程度上具有较大差异。

因此，需要一种新型的行人再识别方法，可将行人再识别中背景特征成分完全去除，并结合全局特征和加权特征得到融合特征，提高行人再识别的准确率。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种行人再识别方法、系统及计算机可读存储介质，通过去除不同摄像头下抓拍行人的背景图像，消除了特征提取时的冗余特征，对于行人再识别的识别结果仅基于纯特征，减少了误识别情况的发生。

本发明公开了一种行人再识别方法，包括以下步骤：

S100：获取标定数据集，并训练所述标定数据集以形成分割模型；

S200：采集行人图像，基于所述分割模型对所述行人图像进行背景分割，以获得包含行人的前景图像和包含背景的环境图像；

S300：提取包含行人的所述前景图像中行人的身形关键点，基于所述身形关键点对所述前景图像分割，形成至少两个感兴趣区域ROI；

S400：基于特征提取模型，分别对所述前景图像及每一感兴趣区域ROI进行特征提取，获得基于所述前景图像的全局特征及基于每一感兴趣区域ROI的加权特征，并将所述全局特征与加权特征串联构成多维特征向量；

S500：将所述多维特征向量与对目标行人提取的特征进行相似度对比，以确定所述前景图像包含的行人是否为所述目标行人。

优选地，获取标定数据集，并训练所述标定数据集以形成分割模型的步骤S100包括：

S110：获取图像标定等级为像素级标定的标定数据集；

S120：利用深度学习基于Mask_RCNN构建语义分割的分割模型。

优选地，采集行人图像，基于所述分割模型对所述行人图像进行背景分割，以获得包含行人的前景图像和包含背景的环境图像的步骤S200包括：

S210：采集行人图像，将每一所述行人图像修改至一预设像素大小；

S220：基于分割模型对行人图像进行背景分割，输出前景图像及环境图像，其中所述前景图像及环境图像为掩膜二值图像。

优选地，提取包含行人的所述前景图像中行人的身形关键点，基于所述身形关键点对所述前景图像分割，形成至少两个感兴趣区域ROI的步骤S300包括：

S310：基于先验知识构建人体姿态模型；

S320：根据人体姿态模型提取所述行人的骨架关键点作为所述身形关键点；

S330：将所述身形关键点与所述行人对齐，并基于身形关键点的头肩区域、上半身区域、左腿区域和右腿区域对所述前景图像分割，形成四个感兴趣区域ROI。

优选地，将所述身形关键点与所述行人对齐，并基于身形关键点的头肩区域、上半身区域、左腿区域和右腿区域对所述前景图像分割，形成四个感兴趣区域ROI的步骤S330包括：

S331：计算每一身形关键点的平均置信度；

S332：将所述平均置信度作为每一感兴趣区域ROI的权重系数；

将所述全局特征与加权特征串联构成多维特征向量的步骤S400包括：

S400-1：将所述加权特征乘以所述权重系数后与所述全局特征串联融合。

优选地，基于特征提取模型，分别对所述前景图像及每一感兴趣区域ROI进行特征提取，获得基于所述前景图像的全局特征及基于每一感兴趣区域ROI的加权特征，并将所述全局特征与加权特征串联构成多维特征向量的步骤S400包括：

S410：以ResNet50为基础网络，于所述基础网络内构建第一分支及第二分支；

S420：所述第一分支提取所述前景图像的全局特征，所述第二分支提取每一感兴趣区域ROI的加权特征；

S430：将所述全局特征及加权特征与全卷积网络特征提取层串联。

优选地，将所述全局特征及加权特征与全卷积网络特征提取层串联的步骤S430包括：

S431：基于

f(x_all)＝f(λ₁x_l1+λ₂x_l2+λ₃x_l3+λ₄x_l4+x_g)

融合所述全局特征及加权特征，其中λ₁～λ₄分别为感兴趣区域ROI的权重系数，x_g为全局特征，x_all为融合特征。

优选地，将所述多维特征向量与对目标行人提取的特征进行相似度对比，以确定所述前景图像包含的行人是否为所述目标行人的步骤S500包括：

S510：基于所述多维特征向量，根据：

于所述标定数据库内识别出相似度概率最高的图像为识别结果，其中

表示自所述标定数据库提取的图像特征，孪生网络Siamese模型为：

优选地，所述步骤S510包括：

S510-1：基于Market1501数据集和VIPeR数据集，组建训练集和测试集；

S510-2：选取包含的图像对，其中所述图像对包含2幅同一行人的不同图像及不同行人的1幅图像；

S510-3：基于：

构建损失函数Triplet Loss，其中x^a为随机样本，x^p为与x^a相同类别的同类样本，xⁿ为与x^a不同类别的异类样本；

S510-4：训练所述损失函数Triplet Loss，使得损失函数Triplet Loss中α+Dis(x^a，x^p)＜Dis(x^a，xⁿ)，其中Dis()为两特征间的欧式距离。

本发明还公开了一种行人再识别系统，所述行人再识别系统包括：

训练模块，获取标定数据集，并对所述标定数据集训练以形成分割模型；

分割模块，采集行人图像，基于所述分割模型对所述行人图像进行背景分割，以获得包含行人的前景图像和包含背景的环境图像，并提取包含行人的所述前景图像中行人的身形关键点，基于所述身形关键点对所述前景图像分割，形成至少两个感兴趣区域ROI；

特征提取模块，基于特征提取模型，分别对所述前景图像及每一感兴趣区域ROI进行特征提取，获得基于所述前景图像的全局特征及基于每一感兴趣区域ROI的加权特征，并将所述全局特征与加权特征串联构成多维特征向量；

再识别模块，将所述多维特征向量与对目标行人提取的特征进行相似度对比，以确定所述前景图像包含的行人是否为所述目标行人。

本发明又公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的行人再识别方法。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.通过将行人图像中背景分割的方式消除了行人图像的冗余特征，提高行人再识别的准确率；

2.通过对于不同图像质量的区域分配不同权重，以放大易识别区域，以弱化由于遮挡、模糊造成的图像块不清晰情况下提取的特征。

附图说明

图1为符合本发明一优选实施例中行人再识别方法的流程示意图；

图2为符合本发明一优选实施例中行人再识别方法中步骤S100的流程示意图；

图3为符合本发明一优选实施例中行人再识别方法中步骤S200的流程示意图；

图4为符合本发明一优选实施例中行人再识别方法中步骤S300的流程示意图；

图5为符合本发明一优选实施例中行人再识别方法中步骤S400的流程示意图；

图6为符合本发明一优选实施例中行人再识别方法中步骤S200和S300的效果示意图；

图7为符合本发明一优选实施例中行人再识别网络设计原理图；

图8为符合本发明一优选实施例中行人再识别系统的结构示意图。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

参阅图1，为符合本发明一优选实施例中行人再识别方法的流程示意图，在该实施例中，行人再识别方法包括以下步骤：

S100：获取标定数据集，并训练标定数据集以形成分割模型

标定数据集依托于数据库形成，数据库则基于服务设备，如服务器、中继器等建立，也基于智能设备如智能手机、终端等建立，因此获取标定数据集时，搭建数据库而使用，或是从某一已有/新建数据库内调取所得。数据库中的数据指的是以一定的数据模型组织、描述和储存在一起，具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点，并可在一定范围内为多个访问的用户或硬件设备共享。

标定数据集为集成在数据库中，反应多人特征的数据，或反应同一人在不同状态、表情、心情下的人脸、身形、体征表现。其根据选定的某些条件提取包含众多用户的数据库中符合条件的部分人的数据，以作后用。例如，标定的条件为亚洲人，则标定数据集内主要包括的便是亚洲人的数据；标定的条件为通缉犯等可疑人员时，标定数据集内主要包括的便是可能对社会造成危害的人员的数据。因此，在实际应用场景中，可根据用户所需过滤要求，获取不同的标定数据集。

基于设定条件下获取的标定数据集，便可对标定数据集进行训练，以获得分割模型。分割模型为行人再识别时，将任意行人图像分割，以形成包含行人的部分和完全不包含行人部分的基础。因此，可以理解的是，通过如深度学习的方式所训练所得的分割模型，当标定数据集中的数据越清晰、数量越多、训练越久，则分割模型的分割准确率也将越高。

S200：采集行人图像，基于分割模型对行人图像进行背景分割，以获得包含行人的前景图像和包含背景的环境图像

在布控有摄像头的监控区域内，利用摄像头采集包含人脸、行人全身的行人图像，则该行人图像为待识别的图像，行人图像中的待识别行人为需识别是否属于标定数据集内的行人的对象。后基于已训练所得的分割模型，对行人图像进行背景分割，如图6所示，一行人图像中以行人为图像中心，占据行人图像的大部分尺寸，行人外部分为行人所处的环境背景。当行人图像的背景分割后，获得有包含行人的前景图像，和包含背景的环境图像，即前景图像以行人的外轮廓为分割线，仅包含行人的全部特征，而环境图像同样以行人的外轮廓为分割线，不包含任何有关于行人的特征，仅包含原行人图像中的背景部分。

通过步骤S200的执行，可去除行人图像中的背景部分的冗余特征，为后续进行行人再识别时减少了噪音特征的影响。

S300：提取包含行人的前景图像中行人的身形关键点，基于身形关键点对前景图像分割，形成至少两个感兴趣区域ROI

基于分割而出的前景图像，首先将对其中行人的身形关键点作提取，身形关键点为表示人类体征上的关键点，例如行人的双肩最远点、关节点、脖子所处的位置、头型外轮廓、上半身与下半身分界线等，基于这些身形关键点，可将人类的大致身形描绘而出。

在身形关键点确定完成后，以其为基础，对前景图像进行分块，形成至少两个感兴趣区域(region of interest，ROI)。感兴趣区域ROI，为机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，也就是说，圈定出前景图像中需在图像分析时所关注的重点部分，以便进行进一步处理。使用ROI圈定期望目标可以减少处理时间，增加精度。

S400：基于特征提取模型，分别对前景图像及每一感兴趣区域ROI进行特征提取，获得基于前景图像的全局特征及基于每一感兴趣区域ROI的加权特征，并将全局特征与加权特征串联构成多维特征向量

对于分割后的感兴趣区域ROI，利用预先训练得到的特征提取模型，对前景图像及每一感兴趣区域ROI作特征提取。在该步骤S400中，不仅对感兴趣区域ROI作处理，更是对于原始的前景图像以相同的特征提取模式作特征提取，以防止对前景图像作分割时出现特征缺失或特征遗漏现象的发生。

前景图像和感兴趣区域ROI分别送至卷积神经网络后，以前景图像为基础，提取出的行人图像的全局特征，以及以感兴趣区域ROI为基础，提取出的行人图像的加权特征，将进一步串联以融合为多维特征向量。以感兴趣区域ROI为四处为例，每一感兴趣区域ROI提取出256维特征向量，前景图像提取出512维特征向量，融合后共输出1536维特征向量，使得多维特征向量既包含表示整个前景图像的全局特征，又包含前景图像内不同位置的加权特征，更具表征力。

S500：将多维特征向量与对目标行人提取的特征进行相似度对比，以确定前景图像包含的行人是否为目标行人

利用反应行人特征的多维特征向量与标定数据库中各目标行人的特征进行比较，通过匹配度阈值的设定或匹配概率阈值的设定，以确定当前采集的前景图像中包含的行人是否为标定数据库中的目标行人。

通过上述实施例中的配置，对原始行人图像的二次分割分别去除了背景冗余特征，及将行人所具有的身形特征限定至指定区域，一方面可消除冗余特征对识别结果的影响，提高行人再识别准确率，另一方面行人再识别时的提取特征更具表征力，对待比较行人和目标行人的比对更精准、更有针对性。

参阅图2，获取标定数据集，并训练标定数据集以形成分割模型的步骤S100包括：

S110：获取图像标定等级为像素级标定的标定数据集；

S120：利用深度学习基于Mask_RCNN构建语义分割的分割模型

该优选实施例中，标定数据集为像素级标定，即以图像最小单元为标定登记对标定数据集内的图像作标定，从而区分标定数据集内图像的两个类别，行人前景和无关背景，即前景像素区域(含行人)和背景像素区域(不含行人)。在学习基础——标定数据集上，基于Mask_RCNN深度学习语义分割模型所得为分割模型。Mask R-CNN(Mask Region_basedConvolutional Neural Network)，掩膜基于区域的卷积神经网络，是基于Python 3，Keras，and TensorFlow实现的。该模型为图片中的对象实例产生边界框和分割掩膜。该模型基于特征金字塔网络(FPN)和一个ResNet101(一种神经网络)主结构(框架、骨架)。分割模型所基于的语义分割，即可自适应背景，自动分割并识别出图像中的内容。

参阅图3，在该实施例中，采集行人图像，基于分割模型对行人图像进行背景分割，以获得包含行人的前景图像和包含背景的环境图像的步骤S200包括：

S210：采集行人图像，将每一行人图像修改至一预设像素大小；

S220：基于分割模型对行人图像进行背景分割，输出前景图像及环境图像，其中前景图像及环境图像为掩膜二值图像。

鉴于分割模型以像素级图像为标定基础，则对行人图像采集后，同样将对行人图像进行像素级修订，例如将行人图像修改至一预设像素大小(如64*128)，通过统一像素大小，实现对任何行人图像均可处理的普适性。

基于分割模型对行人图像作背景分割去除后，将输出前景图像和环境图像，两者均为掩膜二值图像。当然，可以理解的是，行人图像的彩色信息仍可最终被附加到二值图像掩膜中。

参阅图4，提取包含行人的前景图像中行人的身形关键点，基于身形关键点对前景图像分割，形成至少两个感兴趣区域ROI的步骤S300包括：

S310：基于先验知识构建人体姿态模型；

S320：根据人体姿态模型提取行人的骨架关键点作为身形关键点；

S330：将身形关键点与行人对齐，并基于身形关键点的头肩区域、上半身区域、左腿区域和右腿区域对前景图像分割，形成四个感兴趣区域ROI。

步骤S310中的先验知识，为人们对于世界的“语义”，即我们所认知的世界是被我们重新构筑在心灵中的“认知世界”。从认知心理学上说，这种认知世界所具有的规律，便是先验知识。如上身穿的必然是衣服，下身穿的必然是裤子，脚上穿的必然是鞋子等。鉴于该先验知识将构建人体姿态模型，例如人体站立时，身形如何表示、捡东西时，身形如何变化等。通过人体姿态模型提取行人的骨架关键点作为身形关键点，如右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶、脖子这14个关键点。将前景图像中行人的上述位置与骨架关键点对应，使得行人与先验知识中的人体结构对齐，首先确保对于人体的识别位置无误。

具体地，根据这些身形关键点，可确定行人的头肩区域、上半身区域、左腿区域及右腿区域这四个感兴趣区域ROI，则对前景图像分割时，也将以上述四个感兴趣区域ROI为基础分割，即前景图像分为四块，分别为仅包括行人的头部、上半身、左腿、右腿的感兴趣区域ROI(如图6所示)。通过上述方式，一方面可以最小负载运行图像处理计算量，另一方面也可通过局部识别提高行人再识别的准确性。

在上述步骤S300执行时，步骤S330可进一步优选包括：

S331：计算每一身形关键点的平均置信度，即行人图像中待识别行人的每处身形关键点是否真实的概率，当某些外部因素遮挡住身形关键点时，则可以理解的是，该身形关键点作为识别的真实性应怀疑；

S332：将平均置信度作为每一感兴趣区域ROI的权重系数，以平均置信度为基础，叠加至感兴趣区域ROI内，即高质量图像的感兴趣区域ROI分配有高权重，反之亦然。

基于上述步骤，将全局特征与加权特征串联构成多维特征向量的步骤S400包括：

S400-1：将加权特征乘以权重系数后与全局特征串联融合，即将权重系数叠加至多维特征向量内，可弱化由于遮挡、模糊造成的图像块不清晰情况下提取的特征，增强具有显著性颜色、纹理图像区域下提取的特征，可提高比对准确率。

参阅图5，一优选实施例中，步骤S400包括：

S410：以ResNet50为基础网络，于基础网络内构建第一分支及第二分支。ResNet50为深度残差网络，包括三个主要部分：输入部分、输出部分和中间卷积部分，整个ResNet类似于多个网络分支的集成学习，相比其他网络ResNet对于部分路径的缺失不敏感；

S420：第一分支提取前景图像的全局特征，第二分支提取每一感兴趣区域ROI的加权特征；

S430：将全局特征及加权特征与全卷积网络特征提取层串联，从而构建特征提取网络模型，如包含1536维特征向量的特征提取网络模型。

具体地，构建特征提取网络模型时，通过以下步骤实现：

S431：基于f(x_all)＝f(λ₁x_l1+λ₂x_l2+λ₃x_l3+λ₄x_l4+x_g)融合所述全局特征及加权特征，其中λ₁～λ₄分别为感兴趣区域ROI的权重系数，x_g为全局特征，x_all为融合特征，各权重系数的范围为[0，1]，使得增加全局特征和多个感兴趣区域ROI融合得到的特征更具特征表现力。

而对于多维特征向量和对目标行人提取的特征的相似度对比，讲具体通过执行以下步骤实现：

S510：基于多维特征向量，根据：

于标定数据库内识别出相似度概率最高的图像为识别结果，其中表示自标定数据库提取的图像特征，j^*通过Siamese网络度量函数得到，该孪生网络Siamese模型为：

其中F为提取的图像对应特征表示。

更进一步地，训练孪生网络Siamese模型过程如下

S510-1：基于Market1501数据集和VIPeR数据集，组建训练集和测试集两部分；

S510-2：选取包含的图像对，其中图像对包含2幅同一行人的不同图像及不同行人的1幅图像；

S510-3：基于：

构建损失函数Triplet Loss，其中x^a为随机样本，x^p为与x^a相同类别的同类样本，xⁿ为与x^a不同类别的异类样本，训练目的使得相同类别间的距离尽可能地小，而不同类别间的距离尽可能地大，使得同一人在不同图像特征中的距离不小于不同行人。

S510-4：训练损失函数Triplet Loss，使得损失函数Triplet Loss中α+Dis(x^a，x^p)＜Dis(x^a，xⁿ)，其中Dis()为两特征间的欧式距离，以此训练网络，使得损失降低。

实施例具体实现时，如图7所示，通过采用三元组x^a，x^p，xⁿ训练卷积神经网络，在基础网络基础上对全局特征及加权特征融合后训练损失网络，得到融合卷积神经网络模型，差异化与目标行人不匹配的行人图像。

参阅图8，为符合本发明一优选实施例中行人再识别系统的结构示意图，该行人再识别系统包括：

训练模块，获取标定数据集，并对标定数据集训练以形成分割模型；

分割模块，采集行人图像，基于分割模型对行人图像进行背景分割，以获得包含行人的前景图像和包含背景的环境图像，并提取包含行人的前景图像中行人的身形关键点，基于身形关键点对前景图像分割，形成至少两个感兴趣区域ROI；

特征提取模块，基于特征提取模型，分别对前景图像及每一感兴趣区域ROI进行特征提取，获得基于前景图像的全局特征及基于每一感兴趣区域ROI的加权特征，并将全局特征与加权特征串联构成多维特征向量；

再识别模块，将多维特征向量与目标行人进行相似度对比，以确定前景图像包含的行人是否为目标行人。

基于上述行人再识别方法，可在服务器、终端、中心平台等安装计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的行人再识别方法。

智能终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的智能终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是智能终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (11)

1.一种行人再识别方法，其特征在于，包括以下步骤：

S100：获取标定数据集，并训练所述标定数据集以形成分割模型；

S200：采集行人图像，基于所述分割模型对所述行人图像进行背景分割，以获得包含行人的前景图像和包含背景的环境图像；

S300：提取包含行人的所述前景图像中行人的身形关键点，基于所述身形关键点对所述前景图像分割，形成至少两个感兴趣区域ROI；

S400：基于特征提取模型，分别对所述前景图像及每一感兴趣区域ROI进行特征提取，获得基于所述前景图像的全局特征及基于每一感兴趣区域ROI的加权特征，并将所述全局特征与加权特征串联构成多维特征向量；

S500：将所述多维特征向量与对目标行人提取的特征进行相似度对比，以确定所述前景图像包含的行人是否为所述目标行人。

2.如权利要求1所述的行人再识别方法，其特征在于，

获取标定数据集，并训练所述标定数据集以形成分割模型的步骤S100包括：

S110：获取图像标定等级为像素级标定的标定数据集；

S120：利用深度学习基于Mask_RCNN构建语义分割的分割模型。

3.如权利要求1所述的行人再识别方法，其特征在于，

采集行人图像，基于所述分割模型对所述行人图像进行背景分割，以获得包含行人的前景图像和包含背景的环境图像的步骤S200包括：

S210：采集行人图像，将每一所述行人图像修改至一预设像素大小；

S220：基于分割模型对行人图像进行背景分割，输出前景图像及环境图像，其中所述前景图像及环境图像为掩膜二值图像。

4.如权利要求1所述的行人再识别方法，其特征在于，

提取包含行人的所述前景图像中行人的身形关键点，基于所述身形关键点对所述前景图像分割，形成至少两个感兴趣区域ROI的步骤S300包括：

S310：基于先验知识构建人体姿态模型；

S320：根据人体姿态模型提取所述行人的骨架关键点作为所述身形关键点；

S330：将所述身形关键点与所述行人对齐，并基于身形关键点的头肩区域、上半身区域、左腿区域和右腿区域对所述前景图像分割，形成四个感兴趣区域ROI。

5.如权利要求4所述的行人再识别方法，其特征在于，

将所述身形关键点与所述行人对齐，并基于身形关键点的头肩区域、上半身区域、左腿区域和右腿区域对所述前景图像分割，形成四个感兴趣区域ROI的步骤S330包括：

S331：计算每一身形关键点的平均置信度；

S332：将所述平均置信度作为每一感兴趣区域ROI的权重系数；

将所述全局特征与加权特征串联构成多维特征向量的步骤S400包括：

S400-1：将所述加权特征乘以所述权重系数后与所述全局特征串联融合。

6.如权利要求1所述的行人再识别方法，其特征在于，

基于特征提取模型，分别对所述前景图像及每一感兴趣区域ROI进行特征提取，获得基于所述前景图像的全局特征及基于每一感兴趣区域ROI的加权特征，并将所述全局特征与加权特征串联构成多维特征向量的步骤S400包括：

S410：以ResNet50为基础网络，于所述基础网络内构建第一分支及第二分支；

S420：所述第一分支提取所述前景图像的全局特征，所述第二分支提取每一感兴趣区域ROI的加权特征；

S430：将所述全局特征及加权特征与全卷积网络特征提取层串联。

7.如权利要求6所述的行人再识别方法，其特征在于，

将所述全局特征及加权特征与全卷积网络特征提取层串联的步骤S430包括：

S431：基于

f(x_all)＝f(λ₁x_l1+λ₂x_l2+λ₃x_l3+λ₄x_l4+x_g)

融合所述全局特征及加权特征，其中λ₁～λ₄分别为感兴趣区域ROI的权重系数，x_g为全局特征，x_all为融合特征。

8.如权利要求1所述的行人再识别方法，其特征在于，

将所述多维特征向量与对目标行人提取的特征进行相似度对比，以确定所述前景图像包含的行人是否为所述目标行人的步骤S500包括：

S510：基于所述多维特征向量，根据：

j^*＝arg Max(Siamese[q，g_j])

j∈1，2，..N

于所述标定数据库内识别出相似度概率最高的图像为识别结果，其中

表示自所述标定数据库提取的图像特征，孪生网络Siamese模型为：

9.如权利要求8所述的行人再识别方法，其特征在于，

所述步骤S510包括：

S510-1：基于Market1501数据集和VIPeR数据集，组建训练集和测试集；

S510-2：选取包含的图像对，其中所述图像对包含2幅同一行人的不同图像及不同行人的1幅图像；

S510-3：基于：

构建损失函数Triplet Loss，其中x^a为随机样本，x^p为与x^a相同类别的同类样本，xⁿ为与x^a不同类别的异类样本；

S510-4：训练所述损失函数Triplet Loss，使得损失函数Triplet Loss中α+Dis(x^a，x^p)＜Dis(x^a，xⁿ)，其中Dis()为两特征间的欧式距离。

10.一种行人再识别系统，其特征在于，所述行人再识别系统包括：

训练模块，获取标定数据集，并对所述标定数据集训练以形成分割模型；

分割模块，采集行人图像，基于所述分割模型对所述行人图像进行背景分割，以获得包含行人的前景图像和包含背景的环境图像，并提取包含行人的所述前景图像中行人的身形关键点，基于所述身形关键点对所述前景图像分割，形成至少两个感兴趣区域ROI；

特征提取模块，基于特征提取模型，分别对所述前景图像及每一感兴趣区域ROI进行特征提取，获得基于所述前景图像的全局特征及基于每一感兴趣区域ROI的加权特征，并将所述全局特征与加权特征串联构成多维特征向量；

再识别模块，将所述多维特征向量与对目标行人提取的特征进行相似度对比，以确定所述前景图像包含的行人是否为所述目标行人。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的行人再识别方法。